크롤링 및 색인 생성 관련 주제 개요

이 섹션에 포함된 주제에서는 Google 검색 및 기타 Google 서비스에 콘텐츠를 표시하기 위해 콘텐츠를 찾고 파싱하는 Google의 기능을 제어하는 방법과 Google이 사이트의 특정 콘텐츠를 크롤링하지 못하게 하는 방법을 설명합니다.

다음은 각 페이지의 간략한 설명입니다. 크롤링 및 색인 생성에 관한 개요를 보려면 Google 검색 작동 방식 가이드를 참고하세요.

주제
Google에서 색인을 생성할 수 있는 파일 형식 Google은 대부분의 페이지 및 파일 형식의 콘텐츠를 색인 생성할 수 있습니다. Google 검색에서 색인을 생성할 수 있는 가장 일반적인 파일 형식 목록을 살펴보세요.
URL 구조 콘텐츠를 정리하여 URL을 논리적이고 가장 이해하기 쉬운 방식으로 구성하는 것이 좋습니다.
사이트맵 사이트의 새 페이지 또는 업데이트된 페이지에 관해 Google에 알립니다.
크롤러 관리
robots.txt robots.txt 파일은 검색엔진 크롤러에 크롤러가 사이트에 요청할 수 있거나 요청할 수 없는 페이지 또는 파일을 알려 줍니다.
표준화 URL 정규화의 정의, 그리고 과도한 크롤링을 방지하기 위해 사이트의 중복 페이지에 관해 Google에 알리는 방법을 알아보세요. Google에서 중복 콘텐츠를 자동으로 감지하는 방법, 중복 콘텐츠를 처리하는 방법, 발견된 중복 페이지 그룹에 표준 페이지를 할당하는 방법을 알아보세요.
모바일 사이트 모바일 기기에 맞게 사이트를 최적화하고 적절하게 크롤링하고 색인을 생성하는 방법을 알아보세요.
AMP AMP 페이지가 있다면 Google 검색에서 AMP가 어떻게 작동하는지 알아보세요.
JavaScript 크롤러가 콘텐츠에 액세스하고 렌더링하는 방법을 반영하려면 페이지와 애플리케이션을 설계할 때 몇 가지 차이점과 제한사항을 고려해야 합니다.
페이지 및 콘텐츠 메타데이터
삭제
사이트 이전 및 변경