Aufbau der Datei robots.txt – Seiten für die Robots konfigurieren

29. Oktober 2009 at 14:04

Oft ist es sinnvoll bestimmte Seiten oder gar Bereiche einer Web-Seite vor der Indizierung von Suchmaschinen zu schützen. Zum Beispiel wenn es sich um Administrative, oder Seiten an denen noch gearbeitet wird, handelt.
Ggf. wollen Sie auch bestimmte Bilder, Logfiles oder Programmdateien vor der Indizierung der Suchmaschinen schützen damit diese nicht in den Suchergebnissen angezeigt werden.

Um dem gerecht zu werden wurde der Robots Exclusion Standard eingeführt, an den sich seriöse Suchmaschinen wie Google, Bing oder Yahoo! orientieren.

Nach diesem Standard muss eine Textdatei mit dem Namen robots.txt erstellt und diese im Stammverzeichnis der Domain platziert werden, so dass die Robots sie finden und beachten können.

<pre>http://www.beispiel.de/robots.txt
http://download.beispiel.de/robots.txt
http://beispiel.de:8080/robots.txt
</pre>

Der Aufbau der robots.txt erfolgt nach dem folgendem Shema. Zuerst gibt man an für welchen Crwaler eine Anweisung gelten soll, gefolgt von den einzelnen Anweisungen:

# robots.txt fuer http://www.beispiel.de/
User-agent: BeispielRobot
Disallow: /temp/       # Die Dateien sind nur Temporär und nicht von Bedeutung
Disallow: /logfiles/   # Sollen nicht allg. Verfügbar sein
Disallow: /bilder/     # Bilder sind teilweise geschützt und nicht zum download bestimmt
Disallow: /cgi-bin/    # CGI Ausgaben nicht indizieren
Disallow: /privat.html # Die pirivat.html soll nicht über die Suchmaschine gefunden werden

Mit User-agent: BeispielRobot bestimmt man, dass die Anweisungen nur für den genannten Crawler (BeispielRobot) gelten. Mit Hilfe der einzelnen Disallow Einträgen werden Verzeichnisse und Dateien bestimmt, welche nicht indiziert werden sollen. Mit Hilfe des Raute-Symbol (#)können Kommentare definiert werden, diese werden von den Robots ignoriert.

Ein Ausschluss aller Crawler ist mit Hilfe des sog. Wildchar * möglich:

# Alle Robots ausschließen
User-agent: *
Disallow: /temp/

Sollen nur bestimmte Crawler ausgeschlossen werden, sondern kann man diese wie folgt realisieren:

# Download-Tools vom CGI Verzeichnis fernhalten
User-agent: webmirror
User-agent: webzip
User-agent: webcopy
User-agent: wget
Disallow: /cgi-bin/

Eine Seite ganz von der Indizierung durch Suchmaschinen auszuschließen geht wie folgt:

# Komplette Webseite für alle Robots sperren
User-agent: *
Disallow: /

Durch entfernen des Slash (/) wird die Seite ganz für die Indizierung frei gegeben:

# Ganze Seite für Robots freigeben
User-agent: *
Disallow:

Die Groß- und Kleinschreibung wird bei Disallow Einträgen nicht durch die Robots berücksichtigt.

Sie Benötigen Unterstützung bei der Anpassung Ihrer robots.txt oder Optimierung (SEO) Ihrer Webseite bzw. Optimierung der Inhalte?

Fly2Mars-Media unterstützt Sie in diesen und vielen anderen Bereichen rund um das Thema Internet & IT!

Für ein individuelles Angebot nehmen Sie noch heute Kontakt mit uns auf.

30 wichtige Magento Extensions

26. Oktober 2009 at 14:42

magento

Eine Übersicht der derzeit 30 wichtigsten Magento Extensions findet ihr unter folgenden Links:

Teil 1

Teil 2

Magento: Nach Datenbank-Import Fehlermeldung im Front-End

22. Oktober 2009 at 14:58

Notice: Undefined index:  0  in /var/www/…/httpdocs/app/code/core/Mage/Core/Model/Mysql4/Config.php on line 92

#0 /var/www/…/httpdocs/app/code/core/Mage/Core/Model/Mysql4/Config.php(92): mageCoreErrorHandler(8, ‚Undefined index…‘, ‚/var/www/…‘, 92, Array)
#1 /var/www/…/httpdocs/app/code/core/Mage/Core/Model/Config.php(268): Mage_Core_Model_Mysql4_Config->loadToXml(Object(Mage_Core_Model_Config))
#2 /var/www/…/httpdocs/app/code/core/Mage/Core/Model/App.php(263): Mage_Core_Model_Config->init(Array)
#3 /var/www/…/httpdocs/app/Mage.php(434): Mage_Core_Model_App->init(“, ’store‘, Array)
#4 /var/www/…/httpdocs/app/Mage.php(455): Mage::app(“, ’store‘, Array)
#5 /var/www/…/httpdocs/index.php(79): Mage::run(“)
#6 {main}

Ihr habt ein Magento-Backup wieder in eine Datenbank importiert und bekommt beim Aufruf des Shops über das Front-End eine ähnliche Fehlermeldung?

Magento speichert bei der Installation die Website-IDs in die Datenbank mit der ID 0. Bei dem Import oder der Übertragung der Datenbank in eine Andere ist ggf. aus der ID 0 für den Admin-Teil der Website eine 2 geworden (so bei uns im aktuellen Fall).

Ändert ihr nun in der Tabelle core_website und core_store die website_id des Datensatzes mit dem Code admin zurück in eine 0, so ist der Fehler behoben.

Unabhängig davon auch beim Import den Fremdschlüssel-Check deaktivieren wie diesem Artikel beschrieben.

Magento: Live (Inline)-Übersetzung im Front- oder Backend-End aktivieren

21. Oktober 2009 at 09:02

Ihr möchtet Übersetzungen im Front- oder Back-End tätigen? Magento liefert dazu eine Live (Inline) Übersetzungs-Option an.

Diese könnt ihr im Admin-Menu unter „Entwickleroptionen/Inline übersetzungen“ aktivieren.

Ab sofort er haltet ihr durch klick auf die entsprechende Wort-Phrase die Möglichkeit direkt Übersetzungen vorzunehmen.

magento screenshot - live uebersetzung

magento screenshot - live uebersetzung

Alternativ in der Config-Datei „\app\code\core\Mage\Core\etc\config.xml “ im folgenden Bereich:

<translate_inline>
<
active>1</active>

<
active_admin>0</active_admin>

</
translate_inline>

Debugging im „Opera“ mit „Dragonfly“

15. Oktober 2009 at 13:05

Gerade Webentwickler die von Firefox zu Opera umsteigen vermissen ggf. ein Webmaster-Tool wie das Plugin Firebug.

Als Alternative dazu findet ihr im Opera unter „Extras -> Weiteres -> Entwicklerwergzeuge“ ein Tool Namens „Opera Dragonfly“, welches ähnlich dem Firefox Plugin Firebug, als nützliches Debugging-Tool für Webmaster ist.

Opera Dragonflyer Screenshot 1

Opera Dragonflyer Screenshot 1

Dragon Flyer ScreenShot 2

Dragon Flyer ScreenShot 2

Neben der aufbereiteten (X)HTML, CSS, XML & JavaScripts besteht die Möglichkeit der Debug-Ausgabe, z.B. Debuggen von JavaScript mit Hilfe von Haltepunkten.

In der Kommandozeile ist die direkte Eingabe von Befehlen möglich, wodurch das Testen und Probieren ungemein erleichtert wird.

Anzeigen und Bearbeiten von CSS-Eigenschaften ist ebenso möglich wie die Vorschau des gesamten Seitenlayouts.

Eine Navigation durch den DOM-Baum und die Durchführung von Änderungen klappt ebenfalls wunderbar.

Ähnlich dem Firebug gibt es eine Console, die Fehlermeldungen und sonstige Ausgaben anzeigt und praktische Filtermöglichkeiten zur bereit stellt.

Download Opera Dragonflyer

Englische Einleitung in DragonFlyer

Yahoo nutzt ebenfalls keine Keywords Meta-Tags mehr beim Ranking

13. Oktober 2009 at 11:27

Wie aktuell auf mehreren Newsseiten zu lesen, macht auch Yahoo keinen Gebrauch mehr von Keywords Meta-Tag beim Ranking der Suchergebnisse (Stand: Oktober 2009).

or einigen Tagen gab es zu der Thematik schon ein offizielles Statement von Mat Cutts von Google bzgl. nicht Berücksichtigung beim Ranking durch Google, wir berichteten.

Bleibt die Annahme als würden die Keywords bei allen Suchmaschinen wegfallen.

Google: Neue Funktion „Google Labs“ in Webmastertools

13. Oktober 2009 at 09:19
Neue Google Labs Funktionen in Webmaster Tools

Neue Google Labs Funktionen in Webmaster Tools

In den Google Webmastertools gibt es jetzt im Menu die Funktion „Google Labs“ (siehe Screenshot). Aktuell befinden sich dort die Punkte „Abruf wie beim Googlebot“ und „Maleware Details“.

Gute Idee Google-Labs mit zu verknüpfen, wir sind gespannt welche weiteren Funktionen zu erwarten sind.

Hier ein paar Screenshots der einzelnen Funktionen:

Abruf wie beim Googlebot

Abruf wie beim Googlebot

screenshot3

Malware-Details

Meet Magento am 2. November 2009 in Frankfurt a.M.

12. Oktober 2009 at 21:26

Meet -Magento #2.09 – 2. November 2009, Frankfurt am Main

Bereits 3 Wochen vor Beginn der Veranstaltung ist Meet Magento #2.09 ausverkauft. Über 300 Teilnehmer haben sich für das Event angemeldet.

Nach der erfolgreichen Veranstaltung im Februar diesen Jahres, freuen wir uns, auch dieses Mal wieder hochkarätige Referenten bei Meet Magento #2.09 in Frankfurt am Main begrüßen zu dürfen. An dieser Stelle möchten wir uns auch noch einmal für die Vielzahl der eingereichten Themenvorschläge bedanken.

Die Teilnehmer können sich auf ein buntes Programm einstellen. So werden ganztags Referenten in Vorträgen über erfolgreiche Magento Projekte, Magentomodule oder auch Themen rund um den Online-Handel berichten. Nach der Mittagspause wird es viele parallel laufende Knowledge-Cafés – Gesprächsrunden – geben bei denen man sich in lockerer Atmosphäre über Programmier-Tipps und Tricks, spannende Magento-Projekte, neue Extensions oder Trends und Themen rund um den Online-Shop informieren kann. Die Gesprächsrunden lassen Platz für weiterführende Fragen oder Diskussionen. Ein besonders Highlight der Veranstaltung ist die abschließende Panel-Diskussion mit Experten aus dem Open Source und Closed Source Lager – wir freuen uns auf Wilfried Beek (CEO ePages), Roland Fesenmayr (CEO OXID eSales), Jochen Krisch (Blog ExcitingCommerce.de), Roy Rubin (CEO Varien), Björn Schotte (CEO MAYFLOWER GmbH) und Andreas Lenz (t3n Magazin). Moderiert wird die Diskussion von Dominik Grollmann, Chefredakteur der Internetworld Business.

Uhrzeit

Thema

von – bis was wer wo
08:30 – 09:15 Empfang und Businessfrühstück
09:15 – 09:30 Eröffnungrede Thomas Fleck, Rico Neitzel Ludwig-Erhard-Saal (EG)
09:30 – 10:00
Keynote Roy Rubin, Yoav Kutner Ludwig-Erhard-Saal (EG)
10:00 – 10:45 Vortrag O’Reilly Magento- Das Handbuch für Entwickler Diagnose am laufenden System – Session-basiertes Debugging auf Produktionssystemen ohne Störung des regulären Betriebs Dimitri Gatowski Ludwig-Erhard-Saal (EG)
11:00 – 11:45 Vortrag: Vorsicht Falle: die häufigsten Rechtsfehler bei Online-Shops
Thomas Karst Ludwig-Erhard-Saal (EG)
12:00 – 12:45 Vortrag: Magento als Entwicklungsframework
Josef Willkommer Ludwig-Erhard-Saal (EG)
12:45 – 13:45 Mittagspause
13:45 – 14:00
Keynote der Community Manager Rico Neitzel, Koby Oz Lichthof (OG)
14:00 – 14:45 Vortrag: Magento goes in the cloud – Cloud Computing für Magento Boris Lokschin Ludwig-Erhard-Saal (EG)
Café: TypoGento 1.0 Michael Türk Lichthof (OG)

Café: Optimierung der Bestellprozesse mit PayPal Express
Markus Fuchs Lichthof (OG)
Café: Modulprogrammierung: Source-, Backend- und Attribute-Models verwenden Vinai Kopp Lichthof (OG)

Café: Relaunch des Liveshopping-Portals Preisbock.de auf Magento: Erfahrungen aus Migration und Betrieb
Marcus Funk Lichthof (OG)
Café: Web 3.0 mit Widgets – alias: gadgets, apps, badges, modules, plugins, … Hendrik Lennarz Lichthof (OG)

Café: O’Reilly Magento- Das Handbuch für Entwickler Frontend-Anpassung – Beispiel aus dem Rezept-Teil: Blättern im  Produktlisting direkt auf der Produktseite, Darstellung des Mehrwerts  für den Nutzer und Vorstellung der nötigen Anpassungen.
Daniel Brylla, Sebastian Heuer Lichthof (OG)
15:00 – 15:45 Vortrag: Wer nicht automatisiert verliert Jan Sperber, Jan Gerle Ludwig-Erhard-Saal (EG)
Café: Schnittstellen für Magento – Wie sich der Shop an externe Systeme anbinden lässt Roman Zenner Lichthof (OG)
Café: Praxisbeispiel Modulentwicklung: Integration einer Risikoprüfung
Andreas von Studnitz Lichthof (OG)
Café: Stärken bündeln – Integration von Magento in kommerzielle Business-Systeme (ERP/CRM/Payment) Alexander Janthur,Matthias Gronwald Lichthof (OG)
Café: Wie Sie mit Web Shop Controlling die Conversion Ihres Magento Shops mehr als verdoppeln
Herbert Hohn Lichthof (OG)
Café: Magento PIM Edition Stefan Eisenreich Lichthof (OG)
Café: Media Commerce Experience: Bewegtbild revolutioniert eCommerce
Hasan Cigdem Lichthof (OG)
16:00 – 16:45 Vortrag:
Einführung in die Modulprogrammierung Vinai Kopp Ludwig-Erhard-Saal (EG)
Café: Vernetzung von komplexen Prozessen im internationalen Versandhandel
Marc Wahlert Lichthof (OG)
Café: Programmierung und Erweiterung  der Magento API am Beispiel einer Magento-eBay Anbindung Michael Schäfer Lichthof (OG)
Café: Kundenorientierung als Erfolgskriterium im  Online-Handel
Thorsten Mühling Lichthof (OG)
Café: Magento Software as a Service (SaaS) Boris Lokschin Lichthof (OG)
Café: Extending Magento: Build- und Deploymentprozess
Johann Zelger, Michael Leiss Lichthof (OG)
17:00 – 18:00 Paneldiskussion: Crossing the Rubicon with OpenSource?

Google führt neue Suchoptionen ein

2. Oktober 2009 at 17:58

Neue Google OptionGoogle hat seine Suchoptionen erweitert. Ab sofort können die Ergebnisse mit nur zwei Klicks gefiltert, verfeinert und sortiert werden.
Die Sortierung der Suchergebnisse kann z.B. nach Alter sortiert oder nach bereits besuchten und neuen Ergebnissen gefiltert werden.
Derzeit ist die neue Option nur auf der englischen Seite von Google zu finden.

Um den Filter „Visited pages“ und „Not yet visited“ zu benutzen, muss der Nutzer allerdings mit seinem Google-Account eingeloggt sein und die Webhistory aktiviert haben. Damit können schnell die Seiten aus den Suchergebnissen gefunden werden, die schon besucht wurden.

Quelle: golem.de

Impressum

22. September 2009 at 14:01

Die Inhalte dieser Webseite sind Eigentum des Webseiten-Betreibers und dürfen nur mit schriftlicher Genehmigung des Webseiten-Inhabers verwendet werden.

Dieser Blog wird betrieben von Daniel Briegert im Auftrag von www.fly2mars-media.de
Wer mit uns Kontakt aufnehmen möchte, bzgl. Angeboten, Hinweisen, Kommentare, Spenden oder ernstgemeinte Bestechungsversuche, der kann dies gerne per Mail tun, und zwar an: info (at) fly2mars-media.de

Fly2Mars-Media

Daniel Briegert
Rosemeyerstr. 6
30459 Hannover

Webseite: fly2mars-media.de
E-Mail-Kontakt: http://fly2mars-media.de/kontakt.html
E-Mail: info@fly2mars-media.de

Haftungsausschluss

1. Inhalt des Onlineangebotes

Der Autor übernimmt keinerlei Gewähr für die Aktualität, Korrektheit, Vollständigkeit oder Qualität der bereitgestellten Informationen. Haftungsansprüche gegen den Autor, welche sich auf Schäden materieller oder ideeller Art beziehen, die durch die Nutzung oder Nichtnutzung der dargebotenen Informationen bzw. durch die Nutzung fehlerhafter und unvollständiger Informationen verursacht wurden, sind grundsätzlich ausgeschlossen, sofern seitens des Autors kein nachweislich vorsätzliches oder grob fahrlässiges Verschulden vorliegt. Alle Angebote sind freibleibend und unverbindlich. Der Autor behält es sich ausdrücklich vor, Teile der Seiten oder das gesamte Angebot ohne gesonderte Ankündigung zu verändern, zu ergänzen, zu löschen oder die Veröffentlichung zeitweise oder endgültig einzustellen.

2. Verweise und Links

Bei direkten oder indirekten Verweisen auf fremde Webseiten (”Hyperlinks”), die außerhalb des Verantwortungsbereiches des Autors liegen, würde eine Haftungsverpflichtung ausschließlich in dem Fall in Kraft treten, in dem der Autor von den Inhalten Kenntnis hat und es ihm technisch möglich und zumutbar wäre, die Nutzung im Falle rechtswidriger Inhalte zu verhindern. Der Autor erklärt hiermit ausdrücklich, dass zum Zeitpunkt der Linksetzung keine illegalen Inhalte auf den zu verlinkenden Seiten erkennbar waren. Auf die aktuelle und zukünftige Gestaltung, die Inhalte oder die Urheberschaft der gelinkten/verknüpften Seiten hat der Autor keinerlei Einfluss. Deshalb distanziert er sich hiermit ausdrücklich von allen Inhalten aller gelinkten /verknüpften Seiten, die nach der Linksetzung verändert wurden. Diese Feststellung gilt für alle innerhalb des eigenen Internetangebotes gesetzten Links und Verweise sowie für Fremdeinträge in vom Autor eingerichteten Gästebüchern, Diskussionsforen und Mailinglisten. Für illegale, fehlerhafte oder unvollständige Inhalte und insbesondere für Schäden, die aus der Nutzung oder Nichtnutzung solcherart dargebotener Informationen entstehen, haftet allein der Anbieter der Seite, auf welche verwiesen wurde, nicht derjenige, der über Links auf die jeweilige Veröffentlichung lediglich verweist.

3. Urheber- und Kennzeichenrecht

Der Autor ist bestrebt, in allen Publikationen die Urheberrechte der verwendeten Grafiken, Tondokumente, Videosequenzen und Texte zu beachten, von ihm selbst erstellte Grafiken, Tondokumente, Videosequenzen und Texte zu nutzen oder auf lizenzfreie Grafiken, Tondokumente, Videosequenzen und Texte zurückzugreifen. Alle innerhalb des Internetangebotes genannten und ggf. durch Dritte geschützten Marken- und Warenzeichen unterliegen uneingeschränkt den Bestimmungen des jeweils gültigen Kennzeichenrechts und den Besitzrechten der jeweiligen eingetragenen Eigentümer. Allein aufgrund der bloßen Nennung ist nicht der Schluss zu ziehen, dass Markenzeichen nicht durch Rechte Dritter geschützt sind! Das Copyright für veröffentlichte, vom Autor selbst erstellte Objekte bleibt allein beim Autor der Seiten. Eine Vervielfältigung oder Verwendung solcher Grafiken, Tondokumente, Videosequenzen und Texte in anderen elektronischen oder gedruckten Publikationen ist ohne ausdrückliche Zustimmung des Autors nicht gestattet.

4. Datenschutz

Sofern innerhalb des Internetangebotes die Möglichkeit zur Eingabe persönlicher oder geschäftlicher Daten (Emailadressen, Namen, Anschriften) besteht, so erfolgt die Preisgabe dieser Daten seitens des Nutzers auf ausdrücklich freiwilliger Basis. Die Inanspruchnahme und Bezahlung aller angebotenen Dienste ist – soweit technisch möglich und zumutbar – auch ohne AngabesolcherDaten bzw. unter Angabe anonymisierter Daten oder eines Pseudonyms gestattet. Die Nutzung der im Rahmen des Impressums oder vergleichbarer Angaben veröffentlichten Kontaktdaten wie Postanschriften, Telefon- und Faxnummern sowie Emailadressen durch Dritte zur übersendung von nicht ausdrücklich angeforderten Informationen ist nicht gestattet. Rechtliche Schritte gegen die Versender von sogenannten Spam-Mails bei Verstössen gegen dieses Verbot sind ausdrücklich vorbehalten.

5. Rechtswirksamkeit dieses Haftungsausschlusses

Dieser Haftungsausschluss ist als Teil des Internetangebotes zu betrachten, von dem aus auf diese Seite verwiesen wurde. Sofern Teile oder einzelne Formulierungen dieses Textes der geltenden Rechtslage nicht, nicht mehr oder nicht vollständig entsprechen sollten, bleiben die übrigen Teile des Dokumentes in ihrem Inhalt und ihrer Gültigkeit davon unberührt.