Die Robots.txt ist eine praktische Möglichkeit, wenn man zum Beispiel auf seiner News-Seite Zitate von anderen Homepages, Nachrichtenausschnitte oder anderen kopierten Content einsetzen möchte, ohne eine negative Beurteilung von Google wegen doppelten Content zu riskieren. Mithilfe einer einfachen Textdatei, die sich am besten mit dem Editor erzeugen lässt, kann man den Googlebots klar definieren welche Dateien einer Homepage nicht von den Suchmaschinenprogrammen erfasst werden sollen.

Wie vielen bekannt ist, durchsucht Google über den html Dateien auch alle andere im sogenannten Root-Ordner liegende Dateien und Ordner. Man kann Google über diese Ordnerstrukturen zusätzliche Informationen geben, man sollte es jedoch nicht unnötig übertreiben und Ordnerstrukturen zu tief verschachteln.

Falsch wäre: /index/pics/15.jpg

Besser ist: /Fotogalerie/Nuernbergbilder/Stadtmitte.jpg

Wenn ihr einfach mitdenkt, ist euch klar das dies nicht nur die Übersichtlichkeit steigert, sondern auch mehr Informationen an die Suchmaschinen übermittelt.

Tipp:

Insgesamt kann ich aus Erfahrung raten, eine Ordnerstruktur maximal auf bis zu 3 Ebenen zu unterteilen, aber auch nur wenn dieses wirklich sinnvoll ist.