quarta-feira, 16 de julho de 2014
Rastrear, ou não rastrear, eis a pergunta.
Às vezes, criar e manter os arquivos robots.txt corretos pode ser difícil. Embora muitos sites não tenham problemas com isso (dica: eles geralmente nem precisam de um arquivo robots.txt!), encontrar as diretivas em um grande arquivo robots.txt que estão ou estavam bloqueando URLs individuais, pode ser um pouco complicado. Para facilitar esse processo, anunciamos uma atualização na ferramenta de teste de arquivos robots.txt nas Ferramentas do Google para webmasters.
A ferramenta de teste atualizada está na seção Rastreamento das Ferramentas do Google para webmasters :
Aqui você encontrará o arquivo robots.txt e poderá testar os novos URLs para verificar se eles estarão desautorizados para rastrear. A fim de guiá-lo através das diretivas complexas, a ferramenta destacará a diretiva específica que levou à decisão final. É possível realizar alterações no arquivo e testá-las também. Para tal, basta fazer o upload da nova versão do arquivo com as alterações para o servidor para que elas entrem em vigor. Nosso site para desenvolvedores tem mais informações sobre as diretivas do robots.txt e como os arquivos são processados .
Além disso, será possível revisar as versões mais antigas do seu arquivo robots.txt e saber quando problemas de acesso nos impedem de fazer o rastreamento. Por exemplo, se o Googlebot verificar um erro de servidor 500 para o arquivo robots.txt, normalmento faremos uma pausa do rastreamento do site.
Já que é possível haver alguns erros ou alertas exibidos para seus sites existentes, recomendamos voltar a verificar seus arquivos robots.txt. Também é possível combinar esta nova funcionalidade com outras partes das Ferramentas do Google para webmasters. Por exemplo, é possível usar a ferramenta Buscar como Google , recentemente atualizada, para processar páginas importantes no seu website. Se for informado que qualquer URL foi bloqueado, use a ferramenta de teste de robots.txt para encontrar a diretiva que o está a bloquear e melhore o seu arquivo robots.txt. Um problema comum já visto ocorre a partir de arquivos robots.txt antigos que bloqueiam CSS, JavaScript ou conteúdo para celular. Corrigir esse problema é fácil após identificá-lo.
Esperamos que essa ferramenta atualizada facilite o teste e a manutenção do arquivo robots.txt. Em caso de dúvidas ou se precisar de ajuda para criar um bom conjunto de diretivas, passe no fórum de ajuda para webmasters .
Escrito por Asaph Arnon, Equipe de Webmaster Tools
Publicado por Diogo Botelho , Equipe de Search Quality e Webmaster Outreach
Às vezes, criar e manter os arquivos robots.txt corretos pode ser difícil. Embora muitos sites não tenham problemas com isso (dica: eles geralmente nem precisam de um arquivo robots.txt!), encontrar as diretivas em um grande arquivo robots.txt que estão ou estavam bloqueando URLs individuais, pode ser um pouco complicado. Para facilitar esse processo, anunciamos uma atualização na ferramenta de teste de arquivos robots.txt nas Ferramentas do Google para webmasters.
A ferramenta de teste atualizada está na seção Rastreamento das Ferramentas do Google para webmasters :
Aqui você encontrará o arquivo robots.txt e poderá testar os novos URLs para verificar se eles estarão desautorizados para rastrear. A fim de guiá-lo através das diretivas complexas, a ferramenta destacará a diretiva específica que levou à decisão final. É possível realizar alterações no arquivo e testá-las também. Para tal, basta fazer o upload da nova versão do arquivo com as alterações para o servidor para que elas entrem em vigor. Nosso site para desenvolvedores tem mais informações sobre as diretivas do robots.txt e como os arquivos são processados .
Além disso, será possível revisar as versões mais antigas do seu arquivo robots.txt e saber quando problemas de acesso nos impedem de fazer o rastreamento. Por exemplo, se o Googlebot verificar um erro de servidor 500 para o arquivo robots.txt, normalmento faremos uma pausa do rastreamento do site.
Já que é possível haver alguns erros ou alertas exibidos para seus sites existentes, recomendamos voltar a verificar seus arquivos robots.txt. Também é possível combinar esta nova funcionalidade com outras partes das Ferramentas do Google para webmasters. Por exemplo, é possível usar a ferramenta Buscar como Google , recentemente atualizada, para processar páginas importantes no seu website. Se for informado que qualquer URL foi bloqueado, use a ferramenta de teste de robots.txt para encontrar a diretiva que o está a bloquear e melhore o seu arquivo robots.txt. Um problema comum já visto ocorre a partir de arquivos robots.txt antigos que bloqueiam CSS, JavaScript ou conteúdo para celular. Corrigir esse problema é fácil após identificá-lo.
Esperamos que essa ferramenta atualizada facilite o teste e a manutenção do arquivo robots.txt. Em caso de dúvidas ou se precisar de ajuda para criar um bom conjunto de diretivas, passe no fórum de ajuda para webmasters .
Escrito por Asaph Arnon, Equipe de Webmaster Tools
Publicado por Diogo Botelho , Equipe de Search Quality e Webmaster Outreach