Die Robots.txt ist eine praktische Möglichkeit, wenn man zum Beispiel auf seiner News-Seite Zitate von anderen Homepages, Nachrichtenausschnitte oder anderen kopierten Content einsetzen möchte, ohne eine negative Beurteilung von Google wegen doppelten Content zu riskieren. Mithilfe einer einfachen Textdatei, die sich am besten mit dem Editor erzeugen lässt, kann man den Googlebots klar definieren welche Dateien einer Homepage nicht von den Suchmaschinenprogrammen erfasst werden sollen.