Es muss eine sitemap.xml erstellt werden zur einen Auflistung der einzelnen Seiten für die Suchmaschinen. Diese sollte regelmäßig bei Änderungen automatisch durch ein Cron aktualisiert werden.
Infos zur Sitemap.xml unter http://de.wikipedia.org/wiki/Sitemaps-Protokoll
Bei Sitemaps mit vielen Inhalten, daher > 10.000 URLs bitte eine gepackte sitemap.gz zur Verfügung stellen. Google akzeptiert zum aktuellen Stand max. 50.0000 Produkte/URLs pro ungepackter sitemap.xml.
Die sitemap.xml sollte in der robots.txt sowie in den Google Webmastertools eintragen werden.
Zu beachten ist, dass Links nicht doppelt gelistet werden dürfen und die Links immer eindeutig sein müssen. Daher auch darauf achten dass die Links einheitlich sind, z.B immer mit oder ohne endenden Slash, etc.!
Wenn z.B. an allen URLs automatisch per 301-Weiterleitung ein endender Slash angehängt wird, um zu vermeiden dass dadurch duplicate Content entsteht, so muss die endende URL in der Sitemap.xml eingetragen werden. In der Sitemap dürfen keine Links enthalten sein welche umgeleitet werden, dies führt zu Fehlermeldungen seitens Google. Generell ist in den Google Webmastertools zu prüfen ob die Sitemap.xml erfolgreich validiert wurde bzw. entsprechende Fehlermeldungen auszuwerten.
Die enthaltenen URLs müssen identisch mit den real verwendeten Shop-URLs sein, daher keine Weiterleitungen, da diese bei der Aufnahme durch Google abgelehnt werden.
Tipp
Ebenfalls zu beachten ist, dass bei einem Multi Domain Shop jeweils eine eigene robots.txt pro Domain ausgeliefert wird und auch die Sitemap.xml jeweils mit der korrekten Domain verlinkt ist.