2011년 5월 2일 월요일
비즈니스를 위해 웹마스터 도구를 사용해 사이트가 얼마나 멋진지 확인하고 계시는군요. 하지만, 잠시 멈추세요! 크롤링 오류 페이지에 404 (Not found) 오류가 가득합니다.
곧 큰 일이 벌어지는 건가요?
두려워 마시게, 어린 견습생이여. 404 오류는 무엇인지, 이 오류가 사이트에 어떤 영향을 미치는지, 또는 미치지 않는지에 관해 한 번 살펴보겠습니다.
Q: 웹마스터 도구에 보고된 404 오류가 사이트 순위에 영향을 미치나요?
A: 404 오류는 웹에서 완전히 정상적인 부분입니다. 인터넷은 항상 변화하고, 새로운 콘텐츠가 생성되고, 오래된 콘텐츠가 소멸되는데 콘텐츠가 소멸될 때 404 HTTP 응답 코드를 (이상적으로는) 반환합니다. 검색엔진은 이를 알고 있습니다. 위에서 볼 수 있듯이 사이트에 404 오류가 있으며 웹 전체에서 오류를 찾습니다. 실제로 Google에서는 사이트에서 페이지를 삭제할 때 페이지가 적절한 404 또는 410 응답 코드(soft
404 아님)를 반환하는 것을 선호합니다. 크롤러에서 URL의 HTTP 응답 코드를 보려면 해당 URL을 크롤링할 수 있어야 합니다. robots.txt 파일이 URL을 차단한 경우에는 URL을 크롤링할 수 없으며 응답 코드를 볼 수 없습니다. 사이트의 일부 URL이 더 이상 존재하지 않거나 404 에러를 반환하는 것은 사이트의 다른 URL(200 (Success) 상태 코드를 반환하는 URL)이 검색결과에서 수행되는 방식에는 영향을 미치지 않습니다.
Q: 그렇다면 404 오류는 웹사이트에 전혀 해가 되지 않나요?
A: 사이트의 일부 URL이 404인 경우, 이 사실만으로는 Google 검색결과에서 사용자의 웹사이트에 부정적이거나 불리한 영향을 미치지 않습니다. 그러나 특정 유형의 404 오류를 해결해야 하는 다른 이유가 있을 수도 있습니다. 예를 들어 404 페이지 중 일부가 실제로 중요한 페이지라면, Google에서 크롤링할 때 404 오류가 나타나는지 알아봐야 합니다. URL(www.example.com/awesome 대신 www.example.com/awsome)에 오타가 있는 경우 사이트로 연결되는 링크를 의도했으나 단순히 철자를 잘못 입력했을 가능성이 있습니다. 404를 반환하는 대신 오타가 있는 URL을 올바른 URL로 301 리디렉션하고 해당 링크에서 의도한 트래픽을 유도할 수 있습니다. 또한 사용자가 사이트의 404 페이지를 방문했을 때 '찾을 수 없음(404)' 대신 원하는 정보를 찾을 수 있도록 도와야 합니다.
Q: 'soft 404 오류'에 관해 자세히 알려주세요.
A: soft 404는 웹 서버에서 존재하지 않는 URL에 대해 404 또는 410 이외의 응답 코드를 반환하는 경우입니다. 일반적인 예를 하나 들어보면, 사이트 소유자는 사용자에게 유용한 정보가 포함된 멋진 404 페이지를 반환하고 싶지만 사용자에게 콘텐츠를 제공하려면 200 응답 코드를 반환해야 한다고 생각합니다. 그렇지 않습니다. 원하는 콘텐츠를 제공함과 동시에 404 응답 코드를 반환할 수 있습니다. 알 수 없는 URL에 대해 사이트에서 404 오류를 반환하는 대신 홈페이지로 리디렉션하는 경우도 또 다른 예가 될 수 있습니다. 두 경우 모두 Google에서 사이트를 이해하고 색인을 생성하는 데 부정적인 영향을 미칠 수 있으므로 존재하지 않는 콘텐츠에 대하여 서버에서 적절한 응답 코드를 반환하도록 하는 것이 좋습니다. 페이지에 '404 찾을 수 없음'이라고 표시된다고 해서 반드시 404 HTTP 응답 코드를 반환하는 것은 아닙니다. 웹마스터 도구의 Fetch as Googlebot 기능을 사용해 한 번 더 확인하세요. 올바른 응답 코드를 반환하도록 서버를 구성하는 방법을 모른다면 웹 호스트의 도움말 문서를 참고하세요.
Q: URL이 404, 301, 410 중에서 어느 것에 해당하는지 어떻게 알 수 있나요?
A: 사이트에서 페이지를 삭제할 때는 해당 콘텐츠를 다른 곳으로 이동할지, 아니면 사이트에 해당 유형의 콘텐츠를 더 이상 표시할 계획이 없는지 생각해 보아야 합니다. 콘텐츠를 새 URL로 옮기는 경우 이전 URL을 새 URL로 301 리디렉션해야 합니다. 이렇게 하면 사용자가 해당 콘텐츠를 찾기 위해 이전 URL을 방문하면 사용자가 찾고 있는 내용과 관련된 항목으로 자동 리디렉션됩니다. 해당 콘텐츠를 완전히 없애고 동일한 사용자 요구사항을 충족할 어떠한 콘텐츠도 사이트에 두지 않으려면 이전 URL이 404 또는 410를 표시해야 합니다. 현재 Google은 410 (Gone)을 404 (Not found)와 동일하게 취급하므로 둘 중 무엇을 반환하든 Google에는 중요하지 않습니다.
Q: Search Console에 표시되는 404 오류 중에서 대부분이 사이트에 존재한 적이 없는 bizarro URL과 관련된 오류입니다.
왜 이런 문제가 생기죠? 이유가 무엇인가요?
A: Google이 웹 어딘가에서 도메인의 URL로 연결되는 링크를 발견하면 콘텐츠의 실제 존재 여부와 관계없이 링크를 크롤링하려고 할 수 있습니다. 링크가 크롤링되었을 때 콘텐츠가 없는 경우 서버에서 404를 반환해야 합니다. 이러한 링크는 누군가 URL로 이동하려다가 오타를 내거나, 구성이 질못되었을 때(예를 들어 CMS에 의해 링크가 자동 생성된 경우) 발생할 수 있습니다. 또한 Google에서 자바스크립트에 삽입된 링크 또는 다른 삽입된 콘텐츠를 보다 효과적으로 인식하고 크롤링하기 위한 노력을 강화하고 있는데 이로 인해 생긴 부산물일 수도 있고, Google에서 웹마스터님의 서버가 알 수 없는 URL을 어떻게 처리하고 있는지 확인하는 과정에서 깨진 링크가 발생할 수도 있습니다. 웹마스터 도구에 내 사이트에 존재하지 않는 URL의 404 오류가 보고되면 무시해도 됩니다. Google에서는 어떤 URL이 사용자에게 중요한지 또는 404로 간주되어야 하는지를 알 수 없으므로 사이트에서 발견된 모든 404 오류를 표시합니다. 표시된 오류를 살펴보면서 주의를 기울여야 하는 오류가 있는지 판단하세요.
Q: 누군가 내 사이트를 스크랩했으며 그 과정에서 404 오류가 많이 발생했습니다. https://www.example.com/images/kittens.jpg" width="100" height="300" alt="kittens"/>와 같이 다른 코드가 추가된 '실제' URL입니다. 사이트에 해가 될까요?
A: 일반적으로 '깨진 링크'는 사이트에 피해를 주지 않습니다. 사이트 소유자가 사이트를 스크래핑하거나 이상한 방식으로 링크를 연결하는 사용자를 거의 또는 전혀 통제할 수 없다는 것을 알고 있습니다. 정규식을 잘 아는 경우에는 이러한 URL을 리디렉션하는 것을 고려할 수 있지만 일반적으로 걱정할 필요가 없습니다. 누군가가 웹사이트의 원본 콘텐츠를 도용하고 있다고 생각되면 게시 중단 요청을 제출할 수도 있습니다.
Q: 지난주에 웹마스터 도구에 보고된 404 오류를 전부 수정했는데도 계정에 계속 표시됩니다. 제가 올바르게 수정하지 않은 걸까요? 이 오류가 사라지는 데 얼마나 걸리나요?
A: 크롤링 오류 페이지의 '감지됨' 열을 확인하세요. 이는 각각의 오류가 감지된 가장 최근 날짜입니다. 이 열의 날짜가 오류를 수정한 시점 이전이라면 해당 날짜 이후에는 이러한 오류가 발생하지 않은 것입니다. 이 날짜가 오류를 수정한 시점보다 최근인 경우 크롤링할 때 이 404 오류가 계속 표시됨을 나타냅니다.
오류를 수정한 다음 Fetch as Googlebot을 사용하여 Google 크롤러에 새 응답 코드가 표시되는지 확인할 수 있습니다. 몇 가지 URL을 테스트하여 정상적으로 표시되는지 확인하세요. 정상적으로 표시되면 크롤링 오류 목록에서 이러한 오류가 곧 사라질 것입니다.
Q: Google URL 삭제 도구를 사용해 계정에서 404 오류가 더 빠르게 사라지게 할 수 있나요?
A: 아니요. URL 삭제 도구는 웹마스터 도구 계정이 아닌 Google 검색결과에서 URL을 삭제합니다. URL 삭제 도구는 긴급 삭제를 요청할 수 있도록 마련된 도구로, URL에서 이미 404를 반환한다면 사용할 필요가 없습니다. 시간이 지남에 따라 URL이 검색결과에서 자연스럽게 삭제되기 때문입니다. 이 블로그 게시물의 하단에서 URL 삭제 도구에서 할 수 있는 작업과 할 수 없는 작업에 관해 자세히 알아보세요.
404 오류에 관해 자세히 알고 싶으신가요? 블로그에서 404 주간을 확인하거나 웹마스터 도움말 포럼을 방문하세요.