Des Öfteren werde ich gefragt welche die Beste Möglichkeit ist die indexierung einer Seite durch Google zu unterbinden.

Methoden um die indexierung von webseiten zu unterbinden

Dazu gibt es bekannterweise verschiedene Möglichkeiten, am interessantesten ist hierbei der Einsatz der robots.txt sowie den meta noindex-Metatag .

Klingt erst mal einfach, ist es aber nicht! 😉

Der Irrglaube

Weit verbreitet ist der Irrglaube dass eine in der robots.txt mit disallow markierte URL nicht indexiert werden kann. Das ist schlichtweg falsch! Die robots.txt dient nur zur Steuerung des jeweiligen Crawlers der Suchmaschinenanbieter. In der Regel halten sich diese an die Einträge in der robots.txt, eine Pflicht dazu gibt es allerdings nicht. Praxis Erfahrungen zeigen das selbst Google sich nicht immer an diese Einträge hält.

Übrigens der historische Zweck der robots.txt war, den Crawler von den Bereichen der Website fern zu halten, die eine besonders hohe Serverlast erzeugten. Der Nebeneffekt dabei: die per robots.txt “geschützten” URLs konnten nicht in den Index gelangen.

Aktuell ist es allerdings so, das Google selbst eintscheidet welche Links sie verfolgen und indexieren und welche nicht. Hat ein Link bzw. eine Seite für Google eine sehr hohe Bedeutung, so kann bereits ein Link auf eine URL reichen um die URL in den Index mit aufzunehmen. Dabei nimmt Google so gar Seiten auf, wenn sie vom Crawler noch nicht einmal besucht wurden.

Und schwups sind Seiten im Index die per robots.txt gesperrt sind.

Die Praxis-Falle

In der Praxis würde jetzt der Webseitenbetreiber nachträglich ein meta-tag mit noindex setzen – <meta name=“robots“ content=“noindex“>. Gut gemeint aber jetzt passiert folgendes: nix

???

Da die Seite per Disallow-Anweisung in der robots.txt-Datei für den crawler gesperrt ist, besucht dieser die Seite nicht und z.B. Google kennt diesen Meta-Tag auf dieser Seite nicht, da die Seite selbst nicht besucht wird.

Der Einsatz von robots.txt und des Noindex-Metatags widerspricht sich hiermit und deshalb sollten die Einträge abgestimmt werden!

robots.txt und metatag-nofollow richtig einsetzen

Wie lösen wir jetzt das Problem bzw. wie setzen wir die beiden „Tools“ korrekt ein?

Die robots.txt sollte immer nur dann verwendet werden, wenn es erwünscht ist dass ein Crawler auf eine geschützten URLs nicht zugreifen soll oder einfach die Last des Servers gesenkt werden soll. Das kann sein z.b. der Login-Bereich, bestimmte Bilder, Dateien, etc. pp, auch das duplicate Content Problem kann damit angegangen werden.

So erreichen wir dass der Crawler sich nicht mit unnötigen URLs verlustiert und anschließend keine Ressourcen mehr für die wichtigen Seiten übrig hat. Aus SEO-Sicht müssen wir ggf. damit leben, dass manche URLs trotzdem im Google-Index gelistet werden.

Wollen wir definitiv das Listing einer Seite im Google-Index verhindern, so kommen wir um den Einsatz eines noindex-Metatag nicht herum. Dabei ist zu berücksichtigen dass die Suchmaschinen Zugriff auf diese Seite haben und sie NICHT per robots.txt als disallow markiert ist.

Übrigens, der Einsatz des nofollow-attributes für links ist nur eine Empfehlung für die Suchmaschinen diese Seite nicht zu indexieren. In der Praxis hält sich Google sowieso nicht daran, bewertet die Links nur schlechter beim Ranking. Hinzu kommt das Google seiten auch negativ sieht welche nur nofollow-tags haben. Ist ja klar, die Seite erlaubt Google keine ausgehenden Links zu scannen und ist für den Crawler eine Sackgasse.

Wenn euch der Tipp geholfen hat, bitte diesen Artikel auch bei Google+ und Facebook teilen, danke für euren Support!

Per Standard ist es in Magento möglich alle URLs jeweils mit /index.php/ in der URI, als auch ohne aufzurufen.
Hierdurch entsteht im schlimmstenfall ein „duplicate content“ Problem.

Um das Problem zu lösen, ist es sinnvoll die URL mit der /index.php/ auf die URL ohne diesen URI-Part zu leiten,
daher per mod_rewrite von z.b. /index.php/katalog auf /katalog

So geht’s:

RewriteRule ^index.php/(.*) $1 [R=301,QSA,L]

Zu empfehlen ist den Admin-Bereich auszugliedern, da Suchmaschinen auf diesen sowieso kein Zugriff haben (sollten)!

Admin Bereich als Ausnahme definierfen

RewriteCond %{REQUEST_URI} !^/index.php/admin/
RewriteRule ^index.php/(.*) $1 [R=301,QSA,L]

 

Fandet ihr diesen Tipp nützlich?
Dann bewertet diesen doch bitte und teilt ihn bei Google+ oder Facebook, danke!

Die Seitengeschwindigkeit (engl. Pagespeed) bzw. genauer die Ladezeit einer Webseite, ist seit 2010 laut Google ein wichtiges Ranking-Kriterium. Daher ist es wichtig diese regelmäßig zu überwachen (Monitoring), bei schlechten Werten zu analysieren und schlussendlich zu optimieren.

An dieser Stelle möchte ich hierzu ein paar Optimierungs-Tipps geben.

Gerne könnt ihr in den Kommentaren Ergänzungen oder Kritiken schreiben, wenn sinnvoll nehme ich diese gerne in den Artikel mit auf.

Test-Tools / Seitengeschwindigkeit analysieren

Google stellt dafür ein kostenloses Tool zum Performance evaluieren der Webseite zur Verfügung, zu erreichen über den folgenden Link.

https://developers.google.com/pagespeed

Das Tool gibt es auch als kostenloses Browser Plugin:

https://developers.google.com/speed/pagespeed/download

Ladezeit mit Google-Analytics messen

Ich empfehle ebenfalls die Ladezeiten auch mit Google-Analytics regelmäßig zu monitoren.
Detailierte Informationen hierzu unter Google-Analytics.

Ziel: regelmäßiges automatisches Monitoring der Ladezeit

Grafiken komprimieren

Die Ladezeit von Grafiken lässt sich durch automatische Komprimierung wesentlich verkürzen,
Qualitätsunterschiede sind für das menschliche Auge fast nicht erkennen. Ein guter Komprimierungs-Dienst ist z.B.:

Tipp:    JPEGmini.com

Ziel: Grafiken verkleinern ohne merklichen Qualitätsverlust – weniger Datenvolumen zwischen Client & Server

Gzip Komprimierung aktiveren

Die automatische Gzip komprimierung lässt sich über die .htaccess ggf. über den Webserver (Provider) konfigurieren und sollte entsprechend aktiviert sein.

Ziel: Datenvolumen zwischen Client & Server verringern

CSS + Javascript Dateien zusammenfassen

Oft werden mehrere CSS und/oder JS-Dateien verwendet. Durch das zusammenfassen dieser Dateien, vermindern sich die HTTP-Requests (aus verschiedenen wird nur noch einer), dadurch erhöht sich ebenfalls die Ladezeit der Webseite.

Ziel: Weniger HTTP-Requests

Cache aktivieren

Wenn möglich ein Cache-Module des Webservers einbinden und aktivieren (z.B. APC oder MemCache).

Ziel: Webseiten werden im Cache vorgehalten, dadurch verringert sich die Last & Ladezeit des Webservers

1) Was ist bei einem für SEO optimierten Text wichtig?

Häufig wird von Keyword-Density (Keyword-Dichte) gesprochen, wobei darauf zu achten ist das kein Keyword-SPAM entsteht welcher schlimmstenfalls zu einem Google-Penalty (Abstrafung durch Google) führt. Praxis-Tests haben gezeigt, dass lange Texte besser im Ranking positioniert werden, also kurz optimierte Texte. Google legt immer mehr Wert auf guten und viel Content, umso mehr, umso besser. Ca. 100 Wörter ist eine gute Richtlinie, auch weil viele Webseiten-Besucher Texte über diese Länge meiden bzw. zu Ende lesen. Bei kürzeren Texten kommt meist der Informationsgehalt zu kurz.

Keyword-Density ist unwichtig! Ein Keyword am Anfang, in der Mitte und zum Ende des Textes reichen völlig in der Größenordnung von ca. 100 Wörtern.

Wichtiger ist dagegen an Neben-Keywords zu denken. Ein Keyword-Optimizer kann helfen ähnliche Wörter/Kombinationen oderKombinationen finden, wichtig vor allem um besseren Longtail zu erhalten.

2) Welcher Mehrwert haben Bilder, Videos oder optimierte Listen?

Durch Bilder wird die Seite auf, des weiteren wird die Seite bzw. die Bilder in der Google-Bildersuche gefunden, wodurch der Besucherstrom/Webseitenreichweite verbessert wird und Schluss endlich der Longtail optimiert.

Videos sind gut um die Verweildauer zu verlängern.

Eine Strukturierte Webseite mit Zwischenüberschriften und Listen kann durch Google besser indexiert werden, hinzu kommt das eine semantisch gute Webseite (Stichwort: Web 3.0) besser für jegliche Maschinen, Clients, etc. gelesen werden kann.

3) Welche Meta-Angaben sind wichtig?

Das Meta-Tag „Description“ kann die Klickrate bei Google verbessern.

Die Sprach- und Länderangaben können sehr nützlich sein, auch weil Google das Ranking von dem Standort des Suchmaschinen-Benutzers abhängig macht.

Tags die „noodp“ (besagt dass der Beschreibungs-Text nicht aus dem Open Directory Project übernehmen werden soll) und anderte, kann verzichtet werden.

4) Welche Meta-Angaben sind denn wirklich wichtig?

Das Meta-Tag „Description“ ist für die Durchklickrate bei Google wichtig.

Auch Sprach- und Länderangaben können sehr nützlich sein.

Auf „noodp“ (= nicht den Text aus dem Open Directory Project übernehmen) und den meisten anderen Kram können wir verzichten.

Zu erst sollt man analysieren welche Seiten „wichtig“ und welche „unwichtig“ sind!

Unwichtige Seiten sind z.B. Fehler-Seiten (404 Error Page), Leere Ergebnisseiten aus Filterfunktionen, paginierte Kategorieseiten (Duplicate Content vermeiden), etc.

Allg. kann man sagen, alle Seiten welche kein Mehrwert für den Besucher bringen.

Die einfachste Möglichkeit Google zu sagen, dass diese Webseiten nicht indexiert werden soll ist den „noindex“ Tag auf der Seite zu setzen. Bei Übersichtsseiten (Listen) sollte ein „follow“ dahinter gesetzt werden, wenn eine Indexierung der verlinkten Seiten erwünscht ist.

Ebenfals nützlich ist das Cononical-Tag, auch um für Google bei Duplicate Content die Ursprungsseite zu markieren.

5) Welche sind die häufigsten Einsteiger-Fehler im Bereich SEO?

Die Verwendung falscher Keywörter ohne Abgleich nach dem Suchvolumen. Selbst eine Keywort optimierte Seite bringt keine Besucher, wenn niemand danach sucht.

Zu glauben, dass man mit einer beliebigen Firmenwebseite mit einem heiß umkämpften Keyword (z.B. „Arzt“), ohne weiteres auf Platz 1 landen kann. Wichtig wäre dagegen mehr auf Suchphrasen zu optimieren.

Die Verwendung unnötiger oder veralteter Tags, z.B. das Meta-Keyword-Tag wird nicht mehr von den Suchmaschinen verwendet, muss deshalb auch nicht gesetzt sein. Viele Einsteiger setzen hingegen dies gar manuell, einfach verschwendete Zeit.

6) Welche Fehler machen erfahrene SEOs am häufigsten?

Zu lange Inhalte mit falscher Keyword-Density von z.B. 10 Prozent, danach Penalty durch Google oder gar Ausschluss aus dem Index.

Weiterbildung, selbst wenn vor 2-3 Jahren ein Projekt mit diversen Praktiken/Tricks gut gerankt hat, so muss dies heute nicht mehr gelten. Google verändert nahezu täglich ihren Algo und die Gewichtung der Einfluss-Faktoren. Z.B. Social-Media war vor 2 Jahren kaum ein wichtiger Ranking-Faktor, aktuell hat Google den Social-Graph geschaffen und eine Webseite welche gut im Social-Media-Umfeld vernetzt ist deren Wert steigt bei Google und damit ebenfalls das Ranking.

Die Optimierung sollte jeweils passend zur Seite sein, die Methoden zur Optimierung sind bei einem Webshiop anders als bei einem Portal, einer Community oder Affiliate-/Landing-Page.

Projekte nicht regelmäßig beobachten und Erfolge auswerten. Gerade aufgrund des sich regelmäßig sich ändernden Algorhytmus und die Gewichtung der Einflussfaktoren, sollte eine Webseite in regelmäßigen Abständen (mind. alle 1/2 Jahre) neu auf die aktuelle SEO & Social-Media-Optimierung analysiert werden.

Schauen was die anderen Webseiten so machen. Gerade wenn es um Werbeeinnahmen, Besuchertreue oder Konversion-Optimierung geht, ist Verweildauer ein wichtiges Thema. Vielleicht wird dieser Faktor gar in der Zukunft ein wichtiges Ranking-Kriterium? Eine kurze Verweildauer spiegelt auch den Wert der Webseite wieder, maßnahmen zur Verlängerung sollten umgesetzt, zu minntest diskutiert werden.

7) Welche Tipps und Trends im Bereich Onsite gibt es für das SEO Jahr 2011?

HTML5

Rich Snippets für Bewertungen, Kommentare und viele andere Informationen.

Integration in Social-Media – Google lässt die Besucher entscheiden welche Webseite wertvoll ist. Umso mehr „Likes“, Tweeds, Verlinkungen, etc. umso höher der Wert des Artikels oder der Seite (Stichwort: Social Media Graph)

Semantisches Web 3.0 (Jedes Jahr auf’s neue, bis es endlich flächen deckend umgesetzt wurde)

Webseiten ohne Flash mit Alternativer Umsetzung mit HTML5 oder Java-Script (Stichwort: Barrierefreie Webseiten)

und noch viele weitere, 1 Internet Jahr kann sehr lang sein, das internet ist schließlich sehr schnelllebig

Sollte Ihre Webseite aus unerklärlichen Gründen stark im Ranking fallen (Position in den Google-Suchergebnisliste) oder gar komplett aus den Index der Suchmaschine verschwinden, so liegt höchst wahrscheinlich ein Google Penalty vor. Und diese sehr wirksamen Strafen gegen Webseiten Betreiber kommen häufiger als einige Webmaster ahnen.

Der Suchmaschinenanbieter Google unterscheidet dabei zwei Arten von Bestrafungen. Algorithmisch ausgelöste Bestrafungen und manuell ausgelöste Bestrafungen. Die Möglichkeiten denen entgegen zu wirken bzw. wieder hinter sich zu lassen unterscheiden sich.

Die Algorithmische Bestrafungen

Die Algorithmische Bestrafungen finden immer dann statt, wenn Google anhand eines Algorithmus automatisch erkennt, dass gegen die Richtlinien für Webmaster verstossen wurde. Diese sind kostenlos auf der Google-Webseite für Webmaster einzusehen oder herunter zu laden und sollten jedem Webseiten-Entwickler oder SEO geläufig sein. Beispiele für ein Verstoß gegen die Webmaster-Richtlinien welche zu einer automatischen Abstrafung führen sind: Content Spamming, Keyword Stuffing, heimliche Java Redirects.

Hat eine Webseite ein Penalty durch Google erhalten, so wird diese in regelmäßigen Abständen automatisch überprüft. Stellt Google fest, dass die algorithmische Abstrafung nicht mehr notwendig ist, so wird die Webseite nach einer Strafzeit (Penalty-Time) wieder entsperrt. Als Webseitenbetreiber ist in so einem Fall notwendig, mögliche Verstöße gegen die Google Webmasterrichtlienien für Webmaster zu beheben und die Seite damit zu „säubern“.

Eine Kontaktaufnahme zum Suchmaschinenanbieter ist nicht notwendig, da keine manuelle Interaktion durch einen Google-Mitarbeiter erfolgen muss.

Die Manuelle Bestrafungen

Unter anderem Cloaking auf der Webseite oder die Verteilung von Schadsoftware (Viren, Würmer, etc.) fallen in diesen Bereich. Ein Vergehen in diesem Bereich werden deutlich länger bestraft, so dauert eine Abstrafung z.B. durch verwendung von unsichtbaren Text (Cloaking) laut dem Google-SEO-Sprecher Matt Cutts 30 Tage.

Webmaster welche ihre Webseite schnell wieder ordentlich im Index aufnehmen lassen möchten, können einen Antrag zur Wiederaufnahme direkt über die Google-Webmaster-Tools an Google stellen. Sind zu diesem Zeitpunkt zweifelsfrei die Ursachen für die manuelle Bestrafung beseitigt (und wurden idealerweise als Grund in dem Wiederaufnahmeantrag genannt), so kommt die Webseite meist schnell wieder in den Index der Suchmaschine bzw. das Ranking Ranking normalisiert sich. Die Bearbeitung eines Antrages zur Wiederaufnahme erfolgt manuell vom Google Spamteamt. Dabei wird geprüft ob die Strafe algorithmisch oder manuell ausgelöst wurde. Nur die manuelle Auslösung als Ursache, kann das Google Spamteam nach erfolgreicher Überprüfung wieder von der Bestrafungssperre befreien.

Algorithmische Bestrafungen können dagegen ausschließlich durch die erneute Berechnung der Algorithmen eleminiert (dies erfolgt bei einem erneuten Besuch des Google-Crawler).

Im folgenden Video erklärt Matt Cutts, Sprecher bei Google für die Bereich SEO und Spam, das Thema.