Simple XML Sitemap
Eingetragen von quiddi (52)am 15.07.2020 - 13:18 Uhr in
Hallo zusammen,
ich habe Probleme mit dem Crawlen bei Google. Ich habe die sitemap.xml mit dem Module Simple XML Sitemap erstellt. Das Erstellen der Sitemap funktioniert wunderbar. Auch einlesen kann ich die sitemap.xml mit der Google Search Console ohne Probleme. Er beendet das Einlesen mit 0 Fehlern. Jedoch indexiert er mir die Seiten unter ausgeschlossen. Siehe untenstehendes Bild.
Ich verwende auf den zu indexierenden Seiten kein "noindex". Die Google-Console hat noch die Möglichkeit über die robots.txt die Indexierung zu testen. Auch dies passt, siehe folgendes Bild:
Hat einer von euch noch eine Idee, warum ich hier bei der Indexierung Ausgeschlossen bekomme?
Schönen Gruß
quiddi
- Anmelden oder Registrieren um Kommentare zu schreiben
die robots text ist
am 16.07.2020 - 06:49 Uhr
die robots text ist wahrscheinlich falsch. man sieht das nicht im bild...
du musst explizit die crawler erlauben!
Vielen Dank für deine
am 17.07.2020 - 08:35 Uhr
Vielen Dank für deine Antwort. Dürfte ich dir im Anhang meine robots.txt einmal zur Durchsicht geben. Hier stand, dass man einfach Disallow leer lassen soll (Link zu Google)
#
# robots.txt
#
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
#
# This file will be ignored unless it is at the root of your host:
# Used: http://example.com/robots.txt
# Ignored: http://example.com/site/robots.txt
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/robotstxt.html
# # # Ab heir beginnt meine Modifizierung # # #
User-agent: Googlebot
Disallow:
User-agent: AdsBot-Google
Disallow:
User-agent: Googlebot-Image
Disallow:
Sitemap: https://www.meineseite.de/sitemap.xml
# # # Ab hier endet meine Modifizierung # # #
User-agent: *
# CSS, JS, Images
Allow: /core/*.css$
Allow: /core/*.css?
Allow: /core/*.js$
Allow: /core/*.js?
Allow: /core/*.gif
Allow: /core/*.jpg
Allow: /core/*.jpeg
Allow: /core/*.png
Allow: /core/*.svg
Allow: /profiles/*.css$
Allow: /profiles/*.css?
Allow: /profiles/*.js$
Allow: /profiles/*.js?
Allow: /profiles/*.gif
Allow: /profiles/*.jpg
Allow: /profiles/*.jpeg
Allow: /profiles/*.png
Allow: /profiles/*.svg
# Directories
Disallow: /core/
Disallow: /profiles/
# Files
Disallow: /README.txt
Disallow: /web.config
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /filter/tips
Disallow: /node/add/
Disallow: /search/
Disallow: /user/register/
Disallow: /user/password/
Disallow: /user/login/
Disallow: /user/logout/
# Paths (no clean URLs)
Disallow: /index.php/admin/
Disallow: /index.php/comment/reply/
Disallow: /index.php/filter/tips
Disallow: /index.php/node/add/
Disallow: /index.php/search/
Disallow: /index.php/user/password/
Disallow: /index.php/user/register/
Disallow: /index.php/user/login/
Disallow: /index.php/user/logout/