LinkedIn에서 Google 검색 확인하기:
LinkedIn에서 팔로우하고 검색 가능한 사이트를 만드는 방법에 관한 Google 검색 뉴스와 리소스를 확인하세요.
Search Console의 크롤링 속도 제한 도구 지원 중단 예정
컬렉션을 사용해 정리하기
내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요.
2023년 11월 24일 금요일
2024년 1월 8일부터 Search Console의 크롤링 속도 제한 도구 지원이 중단됩니다. 이 도구는
10년 넘게 제공되었으나
크롤링 로직과 기타 게시자가 사용할 수 있는 도구가 개선되면서
더 이상 유용하지 않게 되었습니다.
Googlebot은 사이트, 구체적으로는 사이트를 처리하는 서버가 Googlebot의 HTTP 요청에 응답하는 방식에 반응합니다. 예를 들어 서버에서 다양한 URL의 HTTP 500 상태 코드를 지속적으로 반환하면 Googlebot이 거의 즉시 크롤링 속도를 자동으로 저하시킵니다. 마찬가지로 요청에 응답하는 시간이 현저하게 길어지면 Googlebot의 속도는 자동으로 느려집니다. 사이트에서 자체적으로 감당할 수 없는 비정상적으로 많은 크롤링이 발생하는 경우 이 도움말을 참고하세요.
대조적으로 속도 제한 도구의 효과는 훨씬 느렸습니다. 실제로 크롤링에 새 한도를 적용하는 데
하루 이상이 걸릴 수 있습니다. 다행스러운 점은 사이트 소유자는 이 도구를 사용할 필요가 거의 없었고, 이 도구를 사용하는 소유자 대부분이 크롤링 속도를 최소로 설정했습니다.
크롤링 제한 도구를 지원 중단함에 따라 최소 크롤링 속도를 기존 크롤링 속도 제한과 비슷한 수준으로 낮은 속도로 설정하고 있습니다. 즉, Google 검색 관심도가 낮고 Google 크롤러가 사이트의 대역폭을 낭비하지 않는다면 일부 사이트 소유자가 이전에 설정해 둔 설정을 효과적으로 계속 유지할 수 있습니다.
자동 크롤링 속도 처리가 개선되고 사용자의 편의를 위해 Search Console에서 이 도구를 지원 중단할 예정입니다. Google은 비정상적인 Googlebot 활동 신고 및 긴급 상황에 대비하여 Googlebot의
신고 양식을 유지하고 있지만, 크롤링 속도를 낮추는 가장 빠른 방법은 Google 문서에 자세히 나와 있는 대로 서버 응답을 통해 Googlebot에 지시하는 것입니다.
질문이나 의견이 있다면 Google 검색 센터 커뮤니티에 남겨 주시기 바랍니다.
게시자: 게리 일리에스, 니르 칼루쉬
달리 명시되지 않는 한 이 페이지의 콘텐츠에는 Creative Commons Attribution 4.0 라이선스에 따라 라이선스가 부여되며, 코드 샘플에는 Apache 2.0 라이선스에 따라 라이선스가 부여됩니다. 자세한 내용은 Google Developers 사이트 정책을 참조하세요. 자바는 Oracle 및/또는 Oracle 계열사의 등록 상표입니다.
[null,null,[],[[["\u003cp\u003eThe crawl rate limiter tool in Google Search Console will be deprecated on January 8, 2024, due to advancements in Google's crawling technology.\u003c/p\u003e\n"],["\u003cp\u003eGooglebot automatically adjusts its crawl rate based on website and server responses, like HTTP errors or slow response times.\u003c/p\u003e\n"],["\u003cp\u003eFor persistent crawling issues, refer to the provided help article for guidance on reducing Googlebot's crawl rate.\u003c/p\u003e\n"],["\u003cp\u003eSite owners experiencing unusually high crawl rates are encouraged to use the Googlebot report form for assistance.\u003c/p\u003e\n"],["\u003cp\u003eWhile the crawl rate limiter is being removed, Google will still honor previously set limits for sites with low search interest.\u003c/p\u003e\n"]]],["The Search Console's crawl rate limiter tool will be removed on January 8th, 2024. Googlebot now automatically adjusts crawling speed based on server responses, slowing down with HTTP `500` errors or increased response times. The tool's impact was slow, and it was rarely used. The minimum crawl speed will be reduced to match previous limits. While the tool is deprecated, reporting unusual Googlebot activity remains available via a report form, but the fastest way to adjust crawl rate is through server responses.\n"],null,["# Upcoming deprecation of Crawl Rate Limiter Tool in Search Console\n\nFriday, November 24, 2023\n\n\nThe crawl rate limiter tool in Search Console is being deprecated on Jan 8th, 2024. This tool has\nbeen\n[available for over a decade](/search/blog/2008/12/more-control-of-googlebots-crawl-rate),\nbut with the improvements we've made to our crawling logic and other tools available to\npublishers, its usefulness has dissipated.\n\n\nGooglebot reacts to how the site--or more specifically the server handling the site--\nresponds to Googlebot's HTTP requests. For example, if the server persistently returns HTTP\n`500` status codes for a range of URLs, Googlebot will automatically, and almost\nimmediately slow down crawling. Similarly, Googlebot slows down automatically if the response time\nfor requests gets significantly longer. If you do experience unusually heavy crawling that your\nsite can't manage on its own, refer to this\n[help article](/search/docs/crawling-indexing/reduce-crawl-rate).\n\n\nIn contrast, the rate limiter tool had a much slower effect; in fact it may have taken over a day\nfor the new limits to be applied on crawling. Fortunately though, site owners rarely had to resort\nto using the tool, and those who have, in many cases set the crawling speed to the bare minimum.\nWith the deprecation of the crawl limiter tool, we're also setting the minimum crawling speed to a\nlower rate, comparable to the old crawl rate limits. This means that we effectively continue\nhonoring the settings that some site owners have set in the past if the Search interest is low,\nand our crawlers don't waste the site's bandwidth.\n\n\nBecause of the advances in the automated crawl rate handling, and in the spirit of keeping things\nsimple for users, we'll be deprecating this tool in Search Console. We are keeping the Googlebot\n[report form](/search/docs/crawling-indexing/reduce-crawl-rate) for reporting unusual\nGooglebot activities and for emergency cases, but keep in mind that the fastest way to reduce\ncrawl rate is to instruct Googlebot through server responses as detailed in\n[our documentation](/search/docs/crawling-indexing/reduce-crawl-rate).\n\n\nIf you have questions or comments, write in our\n[Google Search Central Community](https://support.google.com/webmasters/community).\n\nPosted by [Gary Illyes](/search/blog/authors/gary-illyes) and [Nir Kalush](/search/blog/authors/nir-kalush)"]]
