Robots.txt
Eingetragen von Klabautermann (10)am 05.01.2006 - 12:20 Uhr in
Hallo allerseits,
bei den Meldungen die Drupal unter Verwalten angibt, steht täglich das die robots.txt nicht gefunden werden kann. Muss ich diese nun seler anlegen?
- Anmelden oder Registrieren um Kommentare zu schreiben
Hattes auch diese Meldungen
am 05.01.2006 - 14:00 Uhr
Und habe mir vor einer Stunde von irendeiner Site (im Drupalcenter oder drupal.org Suche robots.txt eingegeben und dann ein paar Links gefolgt) die folgende Robots.txt geholt, ob die wirklich der der Weisheit letzter Schluss ist weiss ich auch nicht. Wäre fein wenn sich jemand dazu äußern könnte.
# robots.txt from www.melgabinternational.com
User-agent: *
Disallow: /admin
Disallow: /book/print
Disallow: /comment/reply
Disallow: /database/
Disallow: /files/
Disallow: /images/
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /node/add
Disallow: /node/feed
Disallow: /quotes/
Disallow: /scripts/
Disallow: /search
Disallow: /taxonomy
Disallow: /themes/
Disallow: /trackback
Disallow: /tracker
Disallow: /user
Disallow: /cron.php
Disallow: /xmlrpc.php
Disallow: /email_disclaimer
Disallow: /privacy_policy
Disallow: /thank_you
# Google
User-agent: googlebot
Disallow: */add/
Disallow: */feed/
Disallow: */reply/
Disallow: /comment/*
Disallow: /quotes/*
Disallow: /taxonomy/*
Disallow: /trackback/*
Disallow: /user/*
# Inktomi
User-agent: slurp
Crawl-Delay: 10
# MSN
User-agent: msnbot
Crawl-Delay: 10
robots.txt
am 05.01.2006 - 22:56 Uhr
meine schaut so aus: http://www.stnetwork.de/robots.txt
alles andere wird eh durch die benutzerrechte gesteuert und ich habe speziell bei google und msn gute erfahrungen mit der kurzversion :-)
mfg holger
www.ebec.net | www.stnetwork.de
Beste Grüße, Holger
---
IT-News und IT-Jobs auf w3Projekt.com
Brauch ich eine?
am 23.05.2006 - 15:26 Uhr
Brauch ich eigentlich zwingend eine robots.txt, damit google indiziert?
MfG
--------------------------------
http://www.autokauf-und-recht.de
--------------------------------
Re: Brauch ich eine?
am 23.05.2006 - 15:57 Uhr
Brauch ich eigentlich zwingend eine robots.txt, damit google indiziert?
Nein, dazu brauchst Du keine robots.txt
Re: Brauch ich eine?
am 23.05.2006 - 17:05 Uhr
Brauch ich eigentlich zwingend eine robots.txt, damit google indiziert?
Nein, aber sie verbessert die Zugriffe der Bots und reduziert so unnötige Serverlast. So dürfte es für die Bots unerheblich sein, was unter user, admin etc. steht.
Re: Robots.txt
am 23.05.2006 - 17:22 Uhr
bei den Meldungen die Drupal unter Verwalten angibt, steht täglich das die robots.txt nicht gefunden werden kann. Muss ich diese nun seler anlegen?
Normalerweise steht die Datei robots.txt im Web-Root. Für Drupal existiert jedoch ein Modul (robotstxt), mit dessen Hilfe Du die Einstellungen aus dem Administrationsbereich vornehmen kannst.
Ich habe dort folgende Einstellungen:
User-agent: *Allow: /node/
Disallow: /node/add
Disallow: /node
Disallow: /database
Disallow: /includes
Disallow: /misc
Disallow: /modules
Disallow: /sites
Disallow: /themes
Disallow: /admin
Disallow: /user
Die Regeln werden von oben nach unten bearbeitet, weshalb für /node die Sonderbehandlung vorhanden ist. Es gilt dabei immer First-Match, also wenn etwas passt, wird die Abfrage beendet. /user umfasst auch /user/1, user.html oder user-page.html.
Link: www.robotstxt.org
Disallow: /node ?
am 23.05.2006 - 17:53 Uhr
Vielen Dank für die Erklärungen,
nur das mit "Disallow: /node" verstehe ich noch nicht. Ist doch der zentrale Inhalt der Seiten - oder habe ich da was noch nicht geblickt?
MfG
--------------------------------
http://www.autokauf-und-recht.de
--------------------------------
Disallow node
am 23.05.2006 - 17:58 Uhr
Damit verbiete ich nur den Zugriff auf node, der in meinem Fall identisch mit der Frontpage ist, und insofern redundant wäre.