Freitag, 24. November 2023
Das Tool zur Beschränkung der Crawling-Frequenz in der Search Console wird am 8. Januar 2024 eingestellt. Dieses Tool ist seit über einem Jahrzehnt verfügbar. Dank der Verbesserungen, die wir an unserer Crawling-Logik und anderen Tools für Publisher vorgenommen haben, ist es aber nicht mehr so nützlich.
Der Googlebot reagiert darauf, wie die Website – oder genauer gesagt der Server, der die Website verarbeitet – auf die HTTP-Anfragen des Googlebots reagiert. Wenn der Server beispielsweise dauerhaft HTTP-500-Statuscodes für einen Bereich von URLs zurückgibt, verlangsamt der Googlebot automatisch und fast sofort das Crawling. Ebenso verlangsamt sich der Googlebot automatisch, wenn die Antwortzeit für Anfragen deutlich länger wird. Falls ihr ein ungewöhnlich intensives Crawling feststellt, das eure Website nicht allein bewältigen kann, findet ihr in diesem Hilfeartikel weitere Informationen.
Im Gegensatz dazu hatte das Tool zur Ratenbegrenzung einen viel langsameren Effekt. Es kann sogar möglicherweise mehr als einen Tag gedauert haben, bis die neuen Limits auf das Crawling angewendet wurden. Glücklicherweise mussten Websiteinhaber das Tool jedoch nur selten nutzen und jene, die es verwendet haben, haben die Crawling-Geschwindigkeit in vielen Fällen auf das erforderliche Minimum festgelegt. Im Rahmen der Einstellung des Crawling-Beschränkungs-Tools wird auch die minimale Crawling-Geschwindigkeit so verringert, dass sie mit den bisherigen Limits der Crawling-Frequenz vergleichbar ist. Das bedeutet, dass wir weiterhin die Einstellungen berücksichtigen, die einige Websiteinhaber in der Vergangenheit festgelegt haben, wenn das Suchinteresse gering ist, und dass unsere Crawler die Bandbreite der Website nicht verschwenden.
Aufgrund der nun verbesserten automatischen Handhabung der Crawling-Frequenz und aus Gründen der Einfachheit für die Nutzer werden wir dieses Tool in der Search Console einstellen. Wir behalten das Googlebot-Meldungsformular bei, um ungewöhnliche Googlebot-Aktivitäten und Notfälle zu melden. Am schnellsten lässt sich die Crawling-Frequenz jedoch reduzieren, indem ihr den Googlebot anweist, wie in unserer Dokumentation beschrieben.
Wenn ihr Fragen oder Kommentare habt, schreibt sie in die Google Search Central-Community.