2023년 11월 24일 금요일
2024년 1월 8일부터 Search Console의 크롤링 속도 제한 도구 지원이 중단됩니다. 이 도구는 10년 넘게 제공되었으나 크롤링 로직과 기타 게시자가 사용할 수 있는 도구가 개선되면서 더 이상 유용하지 않게 되었습니다.
Googlebot은 사이트, 구체적으로는 사이트를 처리하는 서버가 Googlebot의 HTTP 요청에 응답하는 방식에 반응합니다. 예를 들어 서버에서 다양한 URL의 HTTP 500 상태 코드를 지속적으로 반환하면 Googlebot이 거의 즉시 크롤링 속도를 자동으로 저하시킵니다. 마찬가지로 요청에 응답하는 시간이 현저하게 길어지면 Googlebot의 속도는 자동으로 느려집니다. 사이트에서 자체적으로 감당할 수 없는 비정상적으로 많은 크롤링이 발생하는 경우 이 도움말을 참고하세요.
대조적으로 속도 제한 도구의 효과는 훨씬 느렸습니다. 실제로 크롤링에 새 한도를 적용하는 데 하루 이상이 걸릴 수 있습니다. 다행스러운 점은 사이트 소유자는 이 도구를 사용할 필요가 거의 없었고, 이 도구를 사용하는 소유자 대부분이 크롤링 속도를 최소로 설정했습니다. 크롤링 제한 도구를 지원 중단함에 따라 최소 크롤링 속도를 기존 크롤링 속도 제한과 비슷한 수준으로 낮은 속도로 설정하고 있습니다. 즉, Google 검색 관심도가 낮고 Google 크롤러가 사이트의 대역폭을 낭비하지 않는다면 일부 사이트 소유자가 이전에 설정해 둔 설정을 효과적으로 계속 유지할 수 있습니다.
자동 크롤링 속도 처리가 개선되고 사용자의 편의를 위해 Search Console에서 이 도구를 지원 중단할 예정입니다. Google은 비정상적인 Googlebot 활동 신고 및 긴급 상황에 대비하여 Googlebot의 신고 양식을 유지하고 있지만, 크롤링 속도를 낮추는 가장 빠른 방법은 Google 문서에 자세히 나와 있는 대로 서버 응답을 통해 Googlebot에 지시하는 것입니다.
질문이나 의견이 있다면 Google 검색 센터 커뮤니티에 남겨 주시기 바랍니다.