Google 크롤러(사용자 에이전트) 개요

'크롤러'는 로봇 또는 스파이더와 같이 웹페이지 간 링크를 따라가며 웹사이트를 자동으로 발견하고 검색하는 데 사용되는 프로그램을 가리키는 일반적인 용어입니다. Google의 기본 크롤러를 Googlebot이라고 합니다. 다음 표를 참고하여 리퍼러 로그에서 볼 수 있는 일반적인 Google 크롤러와 이러한 크롤러를 robots.txt, robots 메타 태그, X-Robots-Tag HTTP 명령어에 지정하는 방법을 알아보세요.

다음 표는 다양한 Google 제품 및 서비스에서 사용되는 크롤러를 표시합니다.

  • 사용자 에이전트 토큰은 사이트의 크롤링 규칙을 설정할 때 크롤러 유형과 일치시키기 위해 robots.txt의 User-agent: 행에 사용됩니다. 표에서 볼 수 있는 것처럼 일부 크롤러에는 토큰이 두 개 이상 있습니다. 규칙을 적용하려면 크롤러 토큰 하나만 일치시켜야 합니다. 이 목록은 완전하지는 않지만 웹사이트에서 볼 수 있는 대부분의 크롤러를 다룹니다.
  • 전체 사용자 에이전트 문자열은 크롤러의 전체 설명이며 요청과 웹 로그에 표시됩니다.
크롤러 사용자 에이전트 토큰(제품 토큰) 전체 사용자 에이전트 문자열
APIs-Google

APIs-Google

APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
애드센스

Mediapartners-Google

Mediapartners-Google

AdsBot 모바일 웹 Android

(Android 웹페이지 광고 품질 확인)

AdsBot-Google-Mobile

Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot 모바일 웹

(iPhone 웹페이지 광고 품질 확인)

AdsBot-Google-Mobile

Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

(데스크톱 웹페이지 광고 품질 확인)

AdsBot-Google

AdsBot-Google (+http://www.google.com/adsbot.html)
Googlebot 이미지
  • Googlebot-Image
  • Googlebot
Googlebot-Image/1.0
Googlebot 뉴스
  • Googlebot-News
  • Googlebot
Googlebot-News
Googlebot 동영상
  • Googlebot-Video
  • Googlebot
Googlebot-Video/1.0

Googlebot(데스크톱)

Googlebot

  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

    또는(거의 사용되지 않음):
  • Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot(스마트폰)

Googlebot

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

모바일 애드센스

Mediapartners-Google

(다양한 휴대기기 유형)(compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

모바일 앱 Android

(Android 앱 페이지 광고 품질 확인, AdsBot-Google 로봇 규칙 준수)

AdsBot-Google-Mobile-Apps

AdsBot-Google-Mobile-Apps

Feedfetcher

FeedFetcher-Google

robots.txt 규칙을 따르지 않음 - 이유

FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

Google Read Aloud

Google-Read-Aloud

robots.txt 규칙을 따르지 않음 - 이유

현재 에이전트:

  • 데스크톱 에이전트: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +/search/docs/advanced/crawling/overview-google-crawlers)
  • 모바일 에이전트: Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +/search/docs/advanced/crawling/overview-google-crawlers)

이전 에이전트(지원 중단됨): google-speakr

Duplex on the web

DuplexWeb-Google

* 와일드 카드를 무시할 수 있음 - 이유

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Mobile Safari/537.36

Google 파비콘

(다양한 서비스의 파비콘 검색)

Google Favicon

사용자가 시작한 요청의 경우 robots.txt 규칙 무시

Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon
Web Light

googleweblight

robots.txt 규칙을 따르지 않음 - 이유

Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19
Google StoreBot Storebot-Google

데스크톱 에이전트: Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36

모바일 에이전트: Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36

robots.txt의 사용자 에이전트

robots.txt 파일에서 여러 개의 사용자 에이전트가 인식되는 경우 Google에서는 가장 구체적인 사용자 에이전트를 추적합니다. Google 전체에서 내 페이지를 크롤링할 수 있게 하려면 robots.txt 파일을 사용할 필요가 없습니다. 모든 Google 크롤러가 내 콘텐츠 일부에 액세스하는 것을 차단 또는 허용하려면 Googlebot을 사용자 에이전트로 지정하면 됩니다. 예를 들어 내 모든 페이지가 Google 검색에 표시되고 애드센스 광고가 내 페이지에 표시되도록 하려면 robots.txt 파일을 사용할 필요가 없습니다. 마찬가지로 내 페이지 일부가 Google에서 아예 표시되지 않도록 하려는 경우 Googlebot 사용자 에이전트를 차단하면 Google의 다른 사용자 에이전트도 모두 차단됩니다.

그러나 좀 더 구체적으로 지정하면 더욱 세밀하게 제어할 수 있습니다. 예를 들어 모든 페이지가 Google 검색에 표시되기를 원하지만 개인 디렉터리에 있는 이미지는 크롤링되지 않기를 원하는 경우 다음과 같이 robots.txt를 사용해 Googlebot-Image 사용자 에이전트가 개인 디렉터리에 있는 파일을 크롤링하는 것을 차단하면 됩니다(Googlebot은 모든 파일을 크롤링할 수 있음).

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal
또는 모든 페이지에 광고가 표시되도록 하고 싶지만 이러한 페이지가 Google 검색에는 나타나지 않도록 하고 싶을 수 있습니다. 이 경우 다음과 같이 Googlebot은 차단하고 Mediapartners-Google 사용자 에이전트는 허용하면 됩니다.
User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

robots 메타 태그의 사용자 에이전트

일부 페이지는 다음과 같이 여러 개의 robots 메타 태그를 사용하여 각기 다른 크롤러를 대상으로 명령어를 지정합니다.

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

이 경우 Google에서는 부정 명령어의 합계를 사용하고 Googlebot은 noindexnofollow 명령어를 모두 따릅니다. Google의 사이트 크롤링 및 색인 생성 방법 제어에 관해 자세히 알아보기