Die robots.txt dient zur Rechteverwaltung einer Webseite für die Crawler der Suchmaschinen, nähere Infos unter:

http://de.wikipedia.org/wiki/Robots.txt

Zusätzlich sollte dort die jeweilige sitemap.xml eingetragen werden. Magento verwaltet die Sitemap.xml’s auf Webseitenebene, daher ist es wichtig pro Webseite eine eigene sitemap.xml anzulegen sowie diese regelmäßig zu aktualisieren.

Ebenfalls zu beachten ist, dass bei einem Multi Domain Shop jeweils eine eigene robots.txt pro Domain ausgeliefert wird und auch die Sitemap.xml jeweils mit der korrekten Domain verlinkt ist.

Irrelevante Seiten sperren

Auch die interne Linkstruktur ist ein wesentlicher Faktor für die Suchmaschinenoptimierung. Nicht alle Seiten einer Webseite sind auch für Suchmaschinen interessant. Folgende Seiten bzw. Links sollten nicht in den Index der Suchmaschinen aufgenommen werden und deshalb mittels dem meta-robots  „noindex“-Attribut (<meta name=“robots“ content=“noindex,follow“>) gesperrt werden, z.B.:

• Kundenkonto-Login
• Warenkorb
• Hinzufügen zum Warenkorb aus Produkten
• Kommentar/Bewertungs-Funktion
• Allgemeine Geschäftsbedingungen
• Datenschutzerklärung

Daniel Briegert

xing: https://www.xing.com/profile/Daniel_Briegert

More Posts - Website

Follow Me: