Googlebot인지 확인

서버에 액세스하는 웹 크롤러가 Googlebot인지 아니면 다른 Google 사용자 에이전트인지 확인할 수 있습니다. 이 방법은 스팸 발송자나 악의적 사용자가 Googlebot을 가장하여 사이트에 액세스하는 것을 방지하는 데 도움이 됩니다. Google에서는 웹사이트 소유자가 허용 목록에 등록할 IP 주소의 공개 목록을 게시하지 않습니다. IP 주소 범위는 변경될 수 있으며, IP 주소가 변경되면 IP 주소 범위를 하드코딩하는 웹사이트 소유자에게 문제가 발생할 수 있기 때문입니다. 따라서 다음에 설명된 내용대로 DNS 조회를 실행해야 합니다.

Googlebot이 크롤러인지 확인

명령줄 도구 사용

  1. host 명령어를 사용해 로그의 액세스 IP 주소에 역방향 DNS 조회를 실행합니다.
  2. 도메인 이름이 googlebot.com 또는 google.com인지 확인합니다.
  3. 검색된 도메인 이름에서 host 명령어를 사용해 1단계에서 검색된 도메인 이름에 순방향 DNS 조회를 실행합니다. 로그의 원래 액세스 IP 주소와 동일한지 확인합니다.

예 1:

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

예 2:

> host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

> host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

자동 솔루션 사용

Google에서는 크롤러를 식별할 수 있는 소프트웨어 라이브러리를 제공하지 않습니다. 오픈소스 라이브러리를 사용하여 Googlebot인지 확인할 수 있습니다.