user/login usw. aus Suchmaschinen entfernen
Eingetragen von Jenna (1883)am 02.02.2017 - 17:14 Uhr in
Ich möchte gern die folgenden URLs aus der Googlesuche entfernen:
/user/register
/user/login
Dabei bin ich auf diesen Thread gekommen mit der Info das es am abschliessenden / liegen könnte.
https://www.drupal.org/node/1663322#comment-8203397
Kann mir jemand sagen ob der Eintrag in der robots.txt geändert werden sollte oder gibt es einen besseren Weg?
Grüße Jenna
- Anmelden oder Registrieren um Kommentare zu schreiben
robots.txt bringt nur dann
am 02.02.2017 - 22:36 Uhr
robots.txt bringt nur dann war, wenn die noch gar nicht im Index sind. Denn die besagt lediglich, dass Google (oder welche seriösen Suchmaschinen Du sonst so ausgeschlossen hast) das Verzeichnis bzw. die Datei nicht (mehr) crawlen darf. Für Seiten, die bereits im Index sind, bringt das aber nix.
Ich mache gerade SEO für eine größere Seite auf Basis von D7. Hier habe ich diese Seiten über das Metatag-Modul und dort "By path" auf "noindex" gesetzt (und dort dann auch mit Wildcards gearbeitet). Das ist der korrekte Weg.
Wenn Du die Seite auf "noindex" setzt und dann aber auch per robots.txt sperrst, bevor sie aus dem Index ist, kommt es zu der blöden Situation, dass der Bot, da er ja die Seite nicht mehr crawlen darf, das neue "noindex" gar nicht mehr zu Gesicht bekommt.
Es kann allerdings je nach Seitengröße und Verlinkung was dauern, bis sich die Änderungen im Index auswirken - muss ja erst wieder gecrawlt werden.