크롤링 및 색인 생성 주제 개요
이 섹션에 포함된 주제에서는 Google 검색 및 기타 Google 서비스에 콘텐츠를 표시하기 위해 콘텐츠를 찾고 파싱하는 Google의 기능을 제어하는 방법과 Google이 사이트의 특정 콘텐츠를 크롤링하지 못하게 하는 방법을 설명합니다.
다음은 각 페이지의 간략한 설명입니다. 크롤링 및 색인 생성에 관한 개요를 보려면 Google 검색 작동 방식에 관한 고급 가이드를 참고하세요.
| 주제 | |
|---|---|
| 사이트맵 | 사이트의 새 페이지 또는 업데이트된 페이지에 관해 Google에 알립니다. |
| robots.txt | robots.txt 파일은 검색엔진 크롤러에 크롤러가 사이트에 요청할 수 있거나 요청할 수 없는 페이지 또는 파일을 알려 줍니다. |
| 메타 태그 | Google에서는 검색 노출 및 동작을 제어하는 여러 태그 확장을 지원합니다. |
| 크롤러 관리 | |
| 삭제 | |
| 중복 콘텐츠 | 과도한 크롤링을 방지하기 위해 사이트에 있는 중복 페이지에 관해 Google에 알립니다. Google에서 중복 콘텐츠를 자동으로 감지하는 방법, 중복 콘텐츠를 처리하는 방법, 발견된 중복 페이지 그룹에 표준 페이지를 할당하는 방법을 알아보세요. |
| 사이트 이전 및 변경 | |
| 국제 및 다국어 사이트 | 사이트에 다른 언어로 된 콘텐츠가 있거나 지역마다 다른 콘텐츠를 제공하는 경우 Google에서 사이트를 파악하는 데 도움을 주는 방법을 알아봅니다. |
| 자바스크립트 콘텐츠 | 크롤러가 콘텐츠에 액세스하고 렌더링하는 방법을 반영하려면 페이지와 애플리케이션을 설계할 때 몇 가지 차이점과 제한사항을 고려해야 합니다. |