Wer meint, ich hacke armen Suchmaschinen was ab, hat hier im Blog Recht.
Die Spielzeuge der ungezogenen Suchdatenbanken bekommen nicht mehr Inhalt als den zweier unterschiedliche Tagabfragen im Blog zu sehen.
Warum? Na, damit die Dummbackse nicht alle Kombinationen ausprobieren und damit mehrere Tausend 404-Fehler bekommen. Wozu Inhalte ausliefern müssen, welche es nicht gibt, aber die sich eine Suchmaschine wahnhaft ausdenkt, um ihren gefräßigen Bauch zu füllen.

In jedem Fall frisst Gockelchen im Blog, was es kann und es mag Links mit Atrributen wie nofollow auch gern. Und was es da aufpickt und dann als Inhalte verknüpft. Sensationell. Seltsame Art. Merkwürdig.

Nachdem Gockel meinte, es müsste alle Kombinationen …weiter lesen

Erst in den Honigtopf stolpern und darin herumwüten ohne Grund und Erlaubnis - sprich Verbot eines Verzeichnisses in der robots.txt - und dann das Blog hier nur als Hauptlink ohne Inhalt indizieren - trotz Erlaubnis oder bedeutet das Fehlen von <meta name="googlebot" content="index,follow"> mittlerweile ein Indizierverbot!???
Früher war es so, dass das Fehlen des index-Meta-Tags eine Erlaubnis darstellte.

Und ganz ultimativ böse scheint wohl zu sein, dass die Startseite über <meta name="robots" content="index,follow"> , also brav aktuelles erflattern und fressen, verfügt, während Archivseiten und Kategorien nur über <meta name="robots" content="noindex,follow"> , also nur weiterflattern und nix fressen bis es zu den einzelnen Stories kommt.
Die einzelnen Stories haben natürlich keinerlei Einschränkung per Meta-Tag, da fehlt das bezuglich Indizieren und Linkfolgen, also ist alles erlaubt, also fressen und weiterflattern.

Gut gemacht! Erst die robots.txt ignorieren und dann wegen sowas
<meta name="googlebot" content="noarchive">
<meta name="robots" content="noarchive">
<meta name="robots" content="noodp">
keine Inhalte mehr scannen.

Standards? Wozu denn?
Suchmaschinen sind Götter.
Sie handeln wie sie wollen.

Wir sind SuMa, SE, Webcrawler, Schnüffler, Auf-den-Index-Steller, Filter - wir sind Gott!
Webseiten, Webmaster, ihr seid ein Nichts! Kriecht vor Uns.
Ohne Uns findet euch niemand!

Ich sage dazu: Mist Ungeziefer!
Allerdings frage ich mich auch leise, ob Big Colored G auch schon hier zensiert? Das Blog ist ja schließlich nichts für Brave Gockel.

Die Drachin ist wachsam und beißt unnützen, zu neugierigen Suchtierlein den Kopf ab.

Es langt.
Ich habe nichts gegen Spinnentiere, aber etwas gegen ganz üble Stöbermaschinen, die meinen, sie müßten ihre Nase sonstwo reinhalten.
Solch Geziefer wird mittels eines heißen Strahl erledigt und in die ewigen Tiefen des Webs verbannt.
Nicht ganz umsonst könnte .htaccess auch eine Abkürzung für I hate your access sein.

Wieso wollen und können sich manche Suchmaschinen nicht an den robots.txt-Standard halten!?
Ich könnte platzen.

Sie ignorieren nicht nur die Ausschlüsse in der robots.txt sondern auch gar vorhandene Meta-Tags wie:
<meta name="googlebot" content="noarchive">
<meta name="robots" content="noarchive">

Ich finde das ärgerlich.

Zumal die Suchmaschinenbetreiber sowas als Meta-Information für Robots vorschlagen, damit es nicht im Cache landet.

Kein Wunder, dass die mittlerweile Datenkrake heißen – aber ganz ehrlich, Datenschnüffler oder -dieb wäre irgendwie passender, da die Tierwelt nichts fär den Datenklau kann.

So hält es auf einer Seite einen völlig falschen Titel im Index, während es auf der Domain mit SSL-Zugang den Titel richtig übernahm.
Der falsche Titel ist schon 1½ Jahre alt, die Webseite wurde auch schon öfters mal aktualisiert.

Webspider sind selbstdenkend. Und sei es noch so falsch.
Oder sollte doch gar eine redaktionelle Bearbeitung stattfinden!?

Da kann eine nur den Kopf schütteln.