Robots gehören ausgesperrt

Warum? Weil sie unnütz spidern.
Da helfen keine nofollow-Attribute in Links, keine Einträge in der robots.txt, sondern nur die rohe Programmiergewalt.

Nachdem Gockel meinte, es müsste alle Kombinationen von Tags ausprobieren und die dazugehörigen Seiten abrufen, was netterweise unnützen Traffic verursachte, musste eingegriffen werden.
Jetzt gibt es nur noch ein Tag, das durch Robots angefragt werden kann. Nicht mehr. Und eine Tagwolke für das Suchgetier schon gar nicht.

Und wehe, die Bots halten sich nicht daran, dann werden sie eben per IP gesperrt. Selbst schuld!

Nachtrag: Diese Viecher haben es doch glatt geschafft innerhalb von vier Tagen 4 GB unnützen Traffic zu machen. Danke ihr lieben SuMas – jetzt langt’s! Das hat Folgen!