Duplex on the Web 사용자 에이전트

DuplexWeb-Google은 Duplex on the web 서비스를 지원하는 사용자 에이전트입니다. 사용자 에이전트 토큰과 전체 사용자 에이전트 문자열은 여기에서 확인할 수 있습니다.

크롤링 빈도 및 동작

  • DuplexWeb-Google을 사용하는 서비스에서는 사이트 크롤링 시 결제 또는 기타 중요 작업을 하지 않습니다.
  • DuplexWeb-Google 크롤링은 학습 중인 기능에 따라 하루에 수 차례에서 시간당 수 차례까지 발생하지만, 이 크롤링 실행 빈도는 사이트에 과부하가 발생하거나 트래픽에 지장을 주지 않도록 계산됩니다.
  • Google 검색에서는 색인 생성에 DuplexWeb-Google 크롤링을 사용하지 않습니다. 색인 생성에 사용되지 않으므로 DuplexWeb-Google 사용자 에이전트는 NOINDEX 명령어를 인식하지 못합니다.
  • Google 애널리틱스는 크롤링과 분석 중에 DuplexWeb-Google에서 생성한 페이지 요청을 기록하지 않습니다.

robots.txt 규칙을 사용한 크롤링 제어

사이트 크롤링을 막으려면 Disallow robots.txt 규칙을 사용하여 DuplexWeb-Google을 명시적으로 차단해야 합니다. Search Console 속성 설정에서 크롤링(학습)을 중지하는 것만으로는 충분하지 않습니다.

DuplexWeb-Google은 보통 robots.txt 규칙을 따르며 여기에는 다음과 같은 중대한 예외가 있습니다.

  • Duplex on the web이 Search Console을 통해 사용 설정된 경우(기본값) DuplexWeb-Google 사용자 에이전트는 Disallow 구문에서 * 와일드 카드 사용자 에이전트 문자열의 영향을 받지 않습니다. Duplex on the web이 Search Console을 통해 중지된 경우 DuplexWeb-Google 사용자 에이전트는 Disallow 구문의 * 와일드 카드 사용자 에이전트 문자열을 따릅니다. 예:

# Example 1: Block DuplexWeb-Google from crawling your site
User-agent: DuplexWeb-Google
Disallow: /

# Example 2:
# * If Duplex on the web is enabled for this property in Search Console,
#   block all user agents except DuplexWeb-Google.
# * If Duplex on the web is disabled for this property in Search Console,
#   block all user agents including Duplex-WebGoogle.
User-agent: *
Disallow: /