크롤링 및 색인 생성 주제 개요

이 섹션에 포함된 주제에서는 Google 검색 및 기타 Google 서비스에 콘텐츠를 표시하기 위해 콘텐츠를 찾고 파싱하는 Google의 기능을 제어하는 방법과 Google이 사이트의 특정 콘텐츠를 크롤링하지 못하게 하는 방법을 설명합니다.

다음은 각 페이지의 간략한 설명입니다. 전체 내용 읽어 보기

주제
사이트맵	사이트의 새 페이지 또는 업데이트된 페이지에 관해 Google에 알립니다.
robots.txt	robots.txt 파일은 검색엔진 크롤러에 크롤러가 사이트에 요청할 수 있거나 요청할 수 없는 페이지 또는 파일을 알려 줍니다.
메타 태그	Google에서는 검색 노출 및 동작을 제어하는 여러 태그 확장을 지원합니다.
크롤러 관리	Google에 URL 재크롤링 요청하기 Googlebot 크롤링 속도 낮추기 Googlebot인지 확인하기 크롤링 예산 관리를 위한 대규모 사이트 소유자 가이드 Google 크롤러
삭제	Google과 공유하는 정보 관리하기 사이트에 호스팅된 페이지를 Google에서 삭제하기 페이지에 호스팅된 이미지가 검색결과에 표시되지 않도록 이미지 삭제하기 Search Console을 사용하여 Google 로컬 및 기타 Google 서비스에 표시되지 않도록 설정하기
중복 콘텐츠	과도한 크롤링을 방지하기 위해 사이트에 있는 중복 페이지에 관해 Google에 알립니다. Google에서 중복 콘텐츠를 자동으로 감지하는 방법, 중복 콘텐츠를 처리하는 방법, 발견된 중복 페이지 그룹에 표준 페이지를 할당하는 방법을 알아보세요.
사이트 이전 및 변경	리디렉션 및 Google 검색 사이트 이전하기 일시적으로 웹사이트 중지 또는 사용 중지하기 soft 404 오류
국제 및 다국어 사이트	사이트에 다른 언어로 된 콘텐츠가 있거나 지역마다 다른 콘텐츠를 제공하는 경우 Google에서 사이트를 파악하는 데 도움을 주는 방법을 알아봅니다.
자바스크립트 콘텐츠	크롤러가 콘텐츠에 액세스하고 렌더링하는 방법을 반영하려면 페이지와 애플리케이션을 설계할 때 몇 가지 차이점과 제한사항을 고려해야 합니다.