Googlebot 크롤링 속도 낮추기
Google은 특정 사이트에 가장 적합한 크롤링 속도를 결정하는 정교한 알고리즘을 사용합니다. Google의 목표는 방문한 사이트에서 서버의 대역폭에 무리를 주지 않으면서 가능한 한 많은 페이지를 크롤링하는 것입니다. 경우에 따라 Google에서 사이트를 크롤링하면 인프라에 심각한 부하가 발생하거나 중단된 기간에 원치 않는 비용이 발생할 수 있습니다. 이 문제를 완화하려면 Googlebot이 생성하는 요청 횟수를 줄이도록 선택하세요.
Googlebot 크롤링 속도를 낮추려면 다음 옵션을 사용하세요.
Search Console을 사용하여 크롤링 속도 낮추기(권장)
크롤링 속도를 신속하게 낮추려면 Search Console에서 Googlebot 크롤링 속도를 변경하세요. 이 설정의 변경사항은 일반적으로 며칠 내에 반영됩니다. 이 설정을 사용하려면 먼저 사이트 소유권을 확인하세요. 사이트의 요구에 비해 너무 낮은 값으로 크롤링 속도를 설정하지 않아야 합니다. 크롤링 예산이 Googlebot의 작동 방식에 미치는 영향을 자세히 알아보세요.
사이트에서 크롤링 속도 설정을 사용할 수 없다면 특별 요청을 제출하여 크롤링 속도를 낮추세요. 크롤링 속도를 높여달라고 요청할 수 없습니다.
Google에서 크롤링 속도를 자동으로 낮추도록 설정하기
짧은 기간 동안(예: 2~3시간 또는 1~2일) 긴급하게 크롤링 속도를 낮춰야 한다면 모든 콘텐츠 대신 500, 503 또는 429 HTTP 응답 상태 코드가 포함된 정보 제공용 오류 페이지를 반환하세요.
500, 503 또는 429 HTTP 응답 상태 코드가 포함된 URL을 다수 발견하게 되면(예: 웹사이트를 사용 중지한 경우) Googlebot이 사이트의 크롤링 속도를 낮춥니다.
이러한 오류를 반환하는 URL의 크롤링과 웹사이트 전체에 변경사항이 반영됩니다. 이러한 오류의 수가 줄어들면 크롤링 속도가 자동으로 다시 높아집니다.