Martin’s Meinung

Es kommt ja immer mal wieder vor, dass man bestimmte Unterseiten nicht in den Suchmaschinen wie Google, Yahoo und MSN gelistet haben möchte. Bisher hat man dann immer empfohlen diese Seiten in der robots.txt zu sperren. Eine andere Möglichkeit wäre ein noindex im robots-Metatag.

Was sagen diese beiden Methoden aus und welche Auswirkungen haben sie:

robots.txt

Hier wird angegeben welche Webseiten ein Bot nicht besuchen darf. Eigentlich klar, er darf sie nicht besuchen, also kann er sie auch nicht kennen. Falsch….

Sobald nur 1 Link auf diese Seite zeigt, kennt der Bot die URL dieser Seite und die Suchmaschine listet sie auch mit auf. Dass die gesperrte Seite aufgrund externer Links dann auch sogar bei Google-Suchabfragen als Ergebnis angezeigt werden kann, bestätigt Matt Cutts in einem Kommentar innerhalb seines Blogs am Beispiel Nissan.

So kann man die robots.txt eigentlich nur empfehlen, wenn man den Seitenaufruf durch einen Bot verhindern möchte, z.B. bei einem Klick-Counter. So verfälscht dann ein Bot diese Statistik nicht mehr.

noindex (robots-metatag)

Mit dem noindex robots-metatag wird den Bots mitgeteilt, dass diese Seite nicht in den Suchergebnissen auftauchen soll. Also genau das was man erreichen wollte. Hierzu ist dann aber nötig, dass der Bot diese Seite auch besuchen darf, ansonsten bekommt er diese Anweisung ja garnicht zu Gesicht. Also als Sicherheit beides, robots.txt und noindex, einsetzen bringt nichts, da der Bot dann das noindex nie sehen würde.

Hier sei am Rande auch zu erwähnen, dass ein Link auf einer Seite mit einem “noindex, follow” robots metatag bei den Suchmaschinen nicht als Backlink angezeigt wird, aber dennoch als einer zählt.

Wenn man jetzt nur ein paar bestimmte Informationen vor den Bots verbergen möchte, kann dies erreichen indem diese Informationen als Grafik hinterlegt. Auch mit Javascript und anderen Dingen gibt es noch Möglichkeiten, ein paar davon zeigt der Artikel “Links Maskieren“.