Mehr Einfluss auf Googlebots Crawling-Geschwindigkeit

Montag, 8. Dezember 2008

Wir haben die Einstellungen zur Crawling-Geschwindigkeit in den Webmaster-Tools erweitert, damit Webmaster, die Probleme mit Googlebot feststellen, uns genauere Informationen geben können. Die Crawling-Geschwindigkeit für eure Site bestimmt, wie viel Zeit Googlebot pro Besuch auf eurer Site verbringt. Wir wollen eure Site gründlich crawlen (damit eure Seiten indexiert werden und in den Suchergebnissen auftauchen können!), ohne die Bandbreite eures Servers spürbar zu beanspruchen. Die meisten Webmaster sind zufrieden mit der Crawling-Standardeinstellung (d. h., es sind keine Änderungen nötig, mehr dazu weiter unten), doch einige Webmaster haben spezifischere Anforderungen.

Googlebot verwendet komplizierte Algorithmen, die bestimmen, wie umfassend jede vom ihm besuchte Site gecrawlt wird. Für die große Mehrheit an Sites ist es wahrscheinlich am besten, die Option "Von Google meine Crawling-Geschwindigkeit ermitteln lassen" zu wählen; dies ist die Standardeinstellung. Wenn ihr jedoch fortgeschrittene Benutzer seid oder ihr Probleme mit der Bandbreite eures Servers habt, dann könnt ihr die Crawling-Geschwindigkeit so anpassen, dass sie den Gegebenheiten eures Webservers optimal entspricht. Mithilfe der Option "Benutzerdefinierte Crawling-Geschwindigkeit festlegen" könnt ihr Googlebot mitteilen, was die für eure Site maximale Anzahl an Anfragen pro Sekunde sein sollte und wie viele Sekunden zwischen den Anfragen liegen sollten.


Googlebot bestimmt den Bereich, innerhalb dessen ihr die Crawling-Geschwindigkeit in den Webmaster-Tools festlegen könnt. Dies basiert auf unserem Verständnis der Bandbreite eures Servers. Der Bereich kann von Website zu Website sowie mit der Zeit aufgrund mehrerer Faktoren variieren. Falls ihr die Crawling-Geschwindigkeit auf einen Wert setzt, der unter der Standardeinstellung liegt, kann dies die Anzahl und Aktualität eurer Seiten in Googles Suchergebnissen beeinflussen. Ein höherer Wert als die Standardeinstellung verbessert jedoch nicht den Umfang oder das Ranking eurer Seiten in den Suchergebnissen. Wenn ihr eine benutzerdefinierte Crawling-Geschwindigkeit angebt, dann ist diese für 90 Tage gültig. Danach wird die Geschwindigkeit wieder auf den von Google empfohlenen Wert zurückgestellt.

Die benutzerdefinierte Option kann nur für Sites auf der Root-Ebene verwendet werden und nicht für Sites, die auf einer großen Domain gehostet werden, wie beispielsweise blogspot.com (für diese Sites haben wir spezielle Einstellungen). Loggt euch in die Webmaster-Tools ein und klickt den Tab "Einstellungen" an, um die Einstellungen eurer Crawling-Geschwindigkeit zu überprüfen. Wenn ihr weitere Fragen habt, dann schaut doch in die Hilfe für Webmaster oder kommt in unserem Forum für Webmaster vorbei.

More control of Googlebot's crawl rate (English version)

Post von Pooja Shah, Software Engineer, Webmaster Tools Team (Übersetzung von Johanna, Search Quality)