robots.txt oder noindex - Unterschiede und Auswirkungen
Es kommt ja immer mal wieder vor, dass man bestimmte Unterseiten nicht in den Suchmaschinen wie Google, Yahoo und MSN gelistet haben möchte. Bisher hat man dann immer empfohlen diese Seiten in der robots.txt zu sperren. Eine andere Möglichkeit wäre ein noindex im robots-Metatag.
Weiterlesen: robots.txt oder noindex - Unterschiede und Auswirkungen