Die Drachin ist wachsam und beißt unnützen, zu neugierigen Suchtierlein den Kopf ab.
Es langt.
Ich habe nichts gegen Spinnentiere, aber etwas gegen ganz üble Stöbermaschinen, die meinen, sie müßten ihre Nase sonstwo reinhalten.
Solch Geziefer wird mittels eines heißen Strahl erledigt und in die ewigen Tiefen des Webs verbannt.
Nicht ganz umsonst könnte .htaccess auch eine Abkürzung für I hate your access sein.
Wieso wollen und können sich manche Suchmaschinen nicht an den robots.txt-Standard halten!?
Ich könnte platzen.
Kommentare
#1 GwenDragon schrieb am 19.7.2007 2:27 folgendes:
Ach ja, robots.txt scheint auch für Gockel und Yuhu ein Fremdwort zu sein. Warum aber dann auf deren Webseiten irreführende Informationen bezüglich der Einträge User-agent: * und Disallow: /Verzeichnis/ stehen, ist mir ein Rätsel.
#2 GwenDragon schrieb am 21.7.2007 22:10 folgendes:
Ja, auch gewisse Krabbler mit ms scheren sich nicht um die robots.txt. Spidern auch bei Verbot.
#3 Gwendragon schrieb am 29.7.2007 22:00 folgendes:
Dafür ist unter http://googlewebmastercentral.blogspot.com/2006/08/all-about-googlebot.html folgendes zu finden:
>>If my robots.txt file contains a directive for all bots as well as a specific directive for Googlebot, how does Googlebot interpret the line addressed to all bots?
If your robots.txt file contains a generic or weak directive plus a directive specifically for Googlebot, Googlebot obeys the lines specifically directed at it.
For instance, for this robots.txt file:
User-agent: *
Disallow: /
User-agent: Googlebot
Disallow: /cgi-bin/
Googlebot will crawl everything in the site other than pages in the cgi-bin directory. <<
Das besagt doch alles. Gockel hält sich eben nicht an die Wildcards.
Wildcards für alle Spider sind also Unsinn. Damit muss also jeder Krabbler separat gesperrt werden. Schöne neue Welt. :(
#4 GwenDragon schrieb am 27.1.2008 16:00 folgendes:
Lycos
Yahoo
Wer sich nicht an Regeln hält, klebt eben an. :P
↑Artikel
Kommentar für Blogeintrag
Vorschau des Kommentars
TrackBack-URL:
http://gwendragon.de/blog/Web/Suchmaschinen/schnapp-zu-und-dem-gockel-fehlt-der-kopf.html/trackback↑Artikel