Bei Multisiteinstallation mit Robots.txt Domain auf Disallow setzen
Eingetragen von Anonymous (0)am 19.03.2010 - 11:17 Uhr in
Hallo Forum,
ich habe eine Frage und finde nichts dazu. Ich betreibe eine Multisiteinstallation. jetzt gibt es innerhalb dieser Multisiteinstallation
eine Domain wo ich nicht möchte, dass diese von Suchmaschinen indiziert wird.
Wenn ich in die Robots schreibe:
User-agent: *
Crawl-delay: 10
# Directories
Disallow: /sites/www.example.com/
......
dann bringt das nur die Hälfte der Miete, weil damit das Verzeichnis gemeint ist.
Was ist aber mit dem Inhalt auf www.example.com ? Oder habe ich da einen Denkfehler?
Danke
- Anmelden oder Registrieren um Kommentare zu schreiben
Modul "RobotsTxt"
am 19.03.2010 - 13:13 Uhr
Die Frage hab ich mir neulich auch schon gestellt. Ich würde eine robots.txt in das jeweilig sites-Verzeichnis packen:
User-agent: *Disallow: /
Weiß aber nicht, ob das der funktionierende und korrekte Weg ist. (EDIT: Wohl nicht...)
Gibt aber 'ne Menge Postings zum Thema: http://drupal.org/search/apachesolr_search/multisite+robots.txt
Und das scheint die Lösung zu sein: RobotsTxt-Modul.