D6.16 und "Who is online" Block
Eingetragen von RaRi (117)am 07.03.2010 - 17:39 Uhr in
Seit dem Update auf Version 6.16 werden die Web-Crawler als Gäste im Who is online Block mitgezählt.
Die robots.txt ist unverändert gegenüber der Vorgängerversion.
Hab ich da was in der Konfiguration übersehen ;) ?
Wie bekomme ich das wieder geregelt. Natürlich will ich aber weiterhin die Seite(n) von Google indizieren lassen.
Tipps willkommen...
User im System
Users
* admin
Guests
* 66.249.71.37 crawl-66-249-71-37.googlebot.com
* 66.249.71.228 crawl-66-249-71-228.googlebot.com
* 66.249.71.116 crawl-66-249-71-116.googlebot.com
* 66.249.65.113 crawl-66-249-65-113.googlebot.com
* 66.249.71.49 crawl-66-249-71-49.googlebot.com
* 66.249.71.33 crawl-66-249-71-33.googlebot.com
usw - immer zwischen 120 - 290 Einträge.
- Anmelden oder Registrieren um Kommentare zu schreiben
Crawler im Who ist online Block
am 09.03.2010 - 19:27 Uhr
Mmmh .. da es anscheinend keine wirkliche Lösung des Problems gibt hab ich erstmal die IPs der Crawler über die Zugriffsregeln geblockt.
Anscheinend wird die robots.txt komplett ignoriert - warum auch immer :(