Googlebot 크롤링 속도 낮추기
Google은 특정 사이트에 가장 적합한 크롤링 속도를 결정하는 정교한 알고리즘을 사용합니다. Google의 목표는 방문한 사이트에서 서버의 대역폭에 무리를 주지 않으면서 가능한 한 많은 페이지를 크롤링하는 것입니다. 경우에 따라 Google에서 사이트를 크롤링하면 인프라에 심각한 부하가 발생하거나 중단된 기간에 원치 않는 비용이 발생할 수 있습니다. 이 문제를 완화하려면 Googlebot이 생성하는 요청 횟수를 줄이도록 선택하세요.
짧은 기간 동안(예: 2~3시간 또는 1~2일) 긴급하게 크롤링 속도를 낮춰야 한다면 200
대신 500
, 503
또는 429
HTTP 응답 상태 코드를 크롤링 요청으로 반환하세요. 500
, 503
또는 429
HTTP 응답 상태 코드가 포함된 URL을 다수 발견하게 되면(예: 웹사이트를 사용 중지한 경우) Googlebot이 사이트의 크롤링 속도를 낮춥니다.
크롤링 속도가 감소하면 사이트의 전체 호스트 이름(예: subdomain.example.com
), 오류를 반환하는 URL 크롤링 및 콘텐츠를 반환하는 URL 모두에 영향을 줍니다. 이러한 오류의 수가 줄어들면 크롤링 속도가 자동으로 다시 높아집니다.
비효율적인 사이트 구조나 사이트 관련 문제로 인해 크롤링이 급격히 증가할 수 있습니다. Google의 크롤링 효율성 최적화 가이드를 확인하세요.
인프라에서 Googlebot에 오류를 제공할 수 없다면 특별 요청을 제출하여 크롤링 속도를 낮추세요. 크롤링 속도를 높여달라고 요청할 수 없습니다.