Crawling-Frequenz von Google verringern

Die Crawler-Infrastruktur von Google verfügt über ausgefeilte Algorithmen, um die optimale Crawling-Frequenz für eine Website zu bestimmen. Wir bemühen uns, bei jedem Besuch möglichst viele Seiten deiner Website zu crawlen, ohne dass dein Server zu sehr beansprucht wird. In manchen Fällen kann das Crawlen deiner Website durch Google eine kritische Belastung deiner Infrastruktur bedeuten oder unerwünschte Kosten während eines Ausfalls verursachen. Um das zu vermeiden, kannst du die Anzahl der von Google-Crawlern gestellten Anfragen verringern.

Ursache für den starken Anstieg des Crawlings überprüfen

Ein starker Anstieg des Crawlings kann durch eine ineffiziente Websitestruktur oder anderweitige Probleme mit deiner Website verursacht werden. Basierend auf den Meldungen, die wir in der Vergangenheit erhalten haben, sind die häufigsten Ursachen folgende:

• Ineffiziente Konfiguration von URLs auf der Website, was in der Regel durch eine bestimmte Funktion der Website verursacht wird:
  • Facettensuche oder andere Sortier- und Filterfunktionen der Website
  • Ein Kalender mit vielen URLs für bestimmte Daten
• Ein Ziel für dynamische Suchanzeigen

Wir empfehlen dir dringend, dich an dein Hostingunternehmen zu wenden und die letzten Zugriffsprotokolle deines Servers zu prüfen, um die Quelle des Traffics zu finden und zu sehen, ob sie zu den oben genannten häufigen Ursachen für den starken Anstieg des Crawlings passt. Sieh dir dann unsere Anleitungen Crawling von Facettensuche-URLs verwalten und Optimierung der Crawling-Effizienz an.

Crawler-Traffic dringend reduzieren (für Notfälle)

Warnung: Wenn du die Crawling-Frequenz von Google verringern möchtest, solltest du bedenken, dass dies weitreichende Auswirkungen hat. Der Googlebot erkennt in der Google Suche weniger neue Seiten und vorhandene Seiten werden seltener aktualisiert (z. B. kann es länger dauern, bis Preise und Produktverfügbarkeit in der Suche angezeigt werden) und entfernte Seiten bleiben möglicherweise länger im Index. In Google Ads werden deine Kampagnen möglicherweise gekündigt oder pausiert und deine Anzeigen werden möglicherweise nicht ausgeliefert.

Wenn du die Crawling-Frequenz dringend für einen kurzen Zeitraum verringern musst (z. B. für ein paar Stunden oder ein bis zwei Tage), gib auf die Crawling-Anfragen den HTTP-Antwortstatuscode 500, 503 oder 429 anstatt 200 zurück. Die Crawling-Infrastruktur von Google verringert die Crawling-Frequenz deiner Website, wenn eine große Anzahl von URLs mit den HTTP-Antwortstatuscodes 500, 503 oder 429 gefunden wird, z. B. wenn du deine Website deaktiviert hast. Die reduzierte Crawling-Frequenz wirkt sich auf den gesamten Hostnamen deiner Website aus (z. B. subdomain.example.com), sowohl auf das Crawlen der URLs, die Fehler zurückgeben, als auch auf das Crawlen der URLs, die Inhalte zurückgeben. Sobald die Anzahl dieser Fehler reduziert ist, wird die Crawling-Frequenz automatisch wieder erhöht.

Warnung: Wir empfehlen, dies nicht über einen längeren Zeitraum zu tun (d. h. länger als 1–2 Tage), da sich das negativ auf die Darstellung deiner Website in Google-Produkten auswirken kann. Wenn der Googlebot beispielsweise in der Google Suche diese Statuscodes mehrere Tage lang unter derselben URL feststellt, wird die URL möglicherweise aus dem Google-Index entfernt.

Außergewöhnliche Anfragen zum Verringern der Crawling-Frequenz

Falls es in deiner Infrastruktur nicht möglich ist, den Crawlern von Google Fehler anzuzeigen, sende eine spezielle Anfrage, um ein Problem mit einer ungewöhnlich hohen Crawling-Frequenz zu melden. Gib dabei die optimale Frequenz für deine Website an. Eine Erhöhung der Crawling-Frequenz kann nicht beantragt werden. Außerdem kann es mehrere Tage dauern, bis die Anfrage geprüft und bearbeitet wird.