Wie Google Seiten crawlt, die an das Gebietsschema angepasst sind

Wenn deine Website an die Sprache angepasste Seiten enthält, die basierend auf dem erkannten Land oder der bevorzugten Sprache des Besuchers unterschiedliche Inhalte zurückgeben, crawlt oder indexiert Google möglicherweise nicht alle deine Inhalte für verschiedene Gebiete oder weist nicht allen einen Rang zu. Das ist darauf zurückzuführen, dass die Standard-IP-Adressen des Googlebot-Crawlers offenbar aus den USA stammen. Außerdem sendet der Crawler HTTP-Anfragen ohne die Einstellung Accept-Language im Anfrageheader.

Standortbasiertes Crawling

Der Googlebot crawlt neben IP-Adressen, die aus den USA stammen, auch ausländische IP-Adressen.

Wir empfehlen immer, den Googlebot wie jeden anderen Nutzer aus diesem Land zu behandeln, wenn er offenbar aus einem bestimmten Land stammt. Wenn du also den Zugriff auf deine Inhalte für Nutzer aus den USA blockierst, jedoch zulässt, dass Nutzer aus Australien diese Inhalte aufrufen können, sollten deine Server den Googlebot blockieren, wenn er offenbar aus den USA stammt, jedoch den Zugriff für den Googlebot zulassen, wenn er offenbar aus Australien kommt.

Weitere Hinweise