2012년 3월 12일 월요일
크롤링 오류는 웹마스터 도구에서 가장 인기 있는 기능 중 하나로, 유용성을 강화하기 위해 오늘 몇 가지 중요한 개선 사항을 출시합니다.
이제는 여러 새로운 유형의 오류가 감지되고 보고됩니다. 새 데이터에 관한 이해를 높기 위해 오류를 사이트 오류와 URL 오류로 나누었습니다.
사이트 오류
사이트 오류는 특정 URL에만 국한되지 않는 오류로, 전체 사이트에 영향을 미칩니다. 여기에는 DNS 변환 오류, 웹 서버와의 연결 문제, robots.txt 파일을 가져오는 중에 발생하는 오류 등이 포함됩니다. 과거에는 이러한 오류를 URL별로 보고했습니다. 하지만 이러한 오류는 특정 URL에 국한되지 않아 그리 효과적이지 못했습니다. 실제로 이러한 오류로 인해 Googlebot에서 URL을 요청하지 못할 수 있습니다. 대신 이제는 사이트 전체 오류 유형별로 실패율을 추적합니다. 또한 이러한 오류가 주의를 요구할 만큼 자주 발생하면 가급적 알림도 보내 드리도록 하겠습니다.
또한 많은 사이트가 그러하듯 이러한 영역에 아무런 문제가 없고 최근에도 없었던 경우 이 섹션에는 아무런 신경을 쓰지 않아도 됩니다. 모든 항목이 더할 나위 없이 좋음을 알려주는 친근한 체크표시가 대신 표시됩니다.
URL 오류
URL 오류는 특정 페이지와 관련된 오류입니다. Googlebot이 URL을 크롤링하려고 시도할 때 DNS를 변환하고 서버에 연결하고 robots.txt 파일을 가져와서 읽은 다음 이 URL을 요청할 수 있었지만, 그 이후에 문제가 발생했다는 의미입니다. URL 오류는 오류 원인을 기준으로 다양한 카테고리로 분류됩니다. 사이트에서 Google 뉴스 또는 모바일(CHTML/XHTML) 데이터를 처리하는 경우 이러한 오류와 관련해 별도의 카테고리가 표시됩니다.
간결해진 뷰
이전에는 유형별로 최대 100,000개의 오류가 표시되었습니다. 이렇게 넘쳐나는 정보를 모두 확인하는 것은 매우 어려웠고, 수많은 오류 중 어떤 오류가 중요하고(홈페이지가 작동하지 않음) 그렇지 않은지(내 사이트로 연결되며 다른 사용자의 개인 사이트에 표시된 링크에 오타가 있음) 구분할 방법이 없었습니다. 100,000개에 달하는 오류를 모두 볼 수 있는 실질적인 방법이 없었으며, 정렬 또는 검색하거나 진행 상태를 표시할 방법도 없었습니다. 이 기능의 새 버전에서는 가장 중요한 오류만 우선으로 보여주는 데 초점을 맞추었습니다. 카테고리별로 가장 중요하고 조치를 취할 수 있는 것으로 판단되는 오류 1,000개가 표시됩니다. 이러한 상위 1,000개의 오류를 정렬하고 필터링하고 세부정보를 볼 수 있으며, 해결되었다고 판단되었을 때 Google에 알릴 수도 있습니다.
일부 사이트에서는 특정 유형의 오류가 1,000개가 넘습니다. 따라서 각 유형의 총 오류 수는 물론 지난 90일간의 과거 데이터를 보여주는 그래프도 계속 표시됩니다. 1,000개의 오류에 대한 세부정보와 총 집계 수가 충분하지 않다고 우려하는 웹마스터를 위해 마지막 오류 하나까지 모두 다운로드할 수 있는 프로그래매틱 액세스(API)를 추가하는 방안을 고려 중입니다. 따라서 더 많은 오류 정보가 필요한 경우 의견을 보내 주시기 바랍니다.
또한 robots.txt에 의해 차단되는 페이지 목록이 삭제되었습니다. 이러한 페이지가 robots.txt 파일 문제 진단에 도움이 되기도 하지만 웹마스터가 의도적으로 차단하는 페이지에 해당하는 경우도 자주 있기 때문입니다. 실제로 Google에서는 오류에 초점을 두고자 했고, 그에 따라서 크롤링된 URL에 관한 정보를 '사이트 구성'의 '크롤러 액세스' 기능에 곧 표시할 예정입니다.
세부정보 확인하기
기본 목록에서 개별 오류 URL을 클릭하면 URL에 관한 크롤링이 마지막으로 시도된 시간, 문제가 처음 감지된 시점, 간단한 오류 설명 등 추가 정보가 있는 세부정보 창이 표시됩니다.
세부정보 창에서 오류가 발생한 URL 링크를 클릭하여 URL을 방문하려고 하면 어떤 일이 일어나는지 직접 확인할 수 있습니다. 이 외에도 오류를 '해결됨'(이후에 자세히 설명)으로 표시하고 오류 유형에 관한 도움말 콘텐츠를 보고 URL이 포함된 사이트맵을 나열하고 이 URL로 연결되는 다른 페이지를 볼 수도 있습니다. 심지어는 Googlebot에서 지금 바로 URL을 가져오도록 하여 추가 정보를 확인하거나 문제가 해결되었는지 다시 확인할 수도 있습니다.
조치 취하기
이번 새 버전의 크롤링 오류 기능에서 가장 기대되는 요소는 웹마스터가 실제로 가장 중요한 문제를 제일 먼저 집중적으로 해결할 수 있게 되었다는 점입니다. Google에서는 오류에 순위를 지정해 두었습니다. 이에 따라 우선순위 목록의 상단에는 조치를 취할 수 있는 오류가 옵니다. 자체 사이트의 깨진 링크를 수정하거나 서버 소프트웨어의 버그를 해결하거나 작동하지 않는 URL을 없애도록 사이트맵을 업데이트하거나 사용자를 '실제' 페이지로 연결하도록 301 리디렉션을 추가하는 등의 조치가 이에 해당합니다. 이와 같은 순위 지정은 많은 요소를 기반으로 정해집니다. 웹마스터가 사이트맵에 URL을 포함했는지, URL이 연결된 위치의 개수(그러한 위치가 내 사이트에도 있는지), 최근 검색을 통해 URL에 트래픽이 발생했는지 등이 고려됩니다.
문제가 해결되었다고 판단(URL을 Googlebot 형태로 가져와서 수정 사항 테스트 가능)되면 웹마스터가 전체 액세스 권한을 소유한 사용자인 경우 오류를 '해결됨'으로 표시하여 Google에 알려주면 됩니다. 그러면 목록에서 오류가 삭제됩니다. URL을 다시 크롤링할 때 동일한 오류가 발생하지 않는 한, 앞으로는 해결됨으로 표시한 오류는 상위 오류 목록에 포함되지 않습니다.
Google은 많은 노력을 기울인 이 크롤링 오류 기능이 많은 도움이 되기를 바랍니다. 사용해 보고 여러분의 생각을 들려주세요. 제안하고 싶은 사항이 있다면 포럼을 방문해 주시길 바랍니다.