O Googlebot e os 15 MB

Terça-feira, 28 de junho de 2022

Nos últimos dias, recebemos várias perguntas sobre uma atualização recente na documentação do Googlebot. A questão foi nossa declaração de que o Googlebot só "vê" os primeiros 15 megabytes (MB) ao buscar determinados tipos de arquivos. Esse limite não é novo. Na verdade, ele já existe há muitos anos. Só o adicionamos à documentação porque ele raramente muda e pode ser útil na depuração em alguns casos.

Esse limite se aplica somente aos bytes (conteúdo) recebidos para a solicitação inicial do Googlebot, não aos recursos referenciados na página. Por exemplo, quando você abre https://example.com/puppies.html, o navegador faz o download inicial dos bytes do arquivo HTML. Com base nesses bytes, ele pode fazer mais solicitações de JavaScript externo, imagens ou qualquer outro elemento referenciado com um URL no HTML. O Googlebot faz o mesmo.

O limite de 15 MB faz alguma diferença para mim?
É muito provável que não. Existem bem poucas páginas na Internet que são maiores do que esse limite. Provavelmente, nenhuma delas é sua, já que o tamanho médio de um arquivo HTML é cerca de 500 vezes menor: 30 kilobytes (KB). No entanto, se você tem uma página HTML com mais de 15 MB, que tal transferir uns restos de CSS e scripts inline para arquivos externos? Os usuários agradecem.

O que acontece com o conteúdo depois dos primeiros 15 MB?
O conteúdo que vai além dos 15 MB é descartado pelo Googlebot, e apenas os primeiros 15 MB são encaminhados para a indexação.

A qual tipo de conteúdo o limite de 15 MB se aplica?
O limite de 15 MB é válido para buscas feitas pelo Googlebot (Googlebot para smartphones e computadores) ao buscar tipos de arquivos compatíveis com a Pesquisa Google.

Isso significa que o Googlebot não vê meu vídeo ou imagem?
Não. O Googlebot busca vídeos e imagens que são referenciados no HTML com um URL (por exemplo, <img src="https://example.com/images/puppy.jpg" alt="cute puppy looking very disappointed" />) de maneira separada e consecutiva.

Os URIs de dados aumentam o tamanho do arquivo HTML?
Sim. Usar data URIs afeta o tamanho do HTML, já que eles fazem parte do arquivo.

Como posso descobrir o tamanho de uma página?
Há diversas maneiras, mas a mais fácil é usar o navegador e as Ferramentas para desenvolvedores dele. Carregue a página normalmente, use as Ferramentas para desenvolvedores e acesse a guia "Rede". Atualize a página para ver todas as solicitações que o navegador fez para a renderizar. A solicitação principal é o que você procura: veja o tamanho da página em bytes na coluna "Tamanho".

Por exemplo, com as Ferramentas para desenvolvedores do Chrome, você vai ver algo parecido com a imagem abaixo, com 150 KB na coluna "Tamanho":

A guia &quot;Rede&quot; nas Ferramentas para desenvolvedores do Chrome

Se você gosta de aventuras, use cURL em uma linha de comando:

curl \
-A "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36" \
-so /dev/null https://example.com/puppies.html -w '%{size_download}'

Se tiver outras dúvidas, acesse o Twitter e os Fóruns da Central da Pesquisa. Já se precisar de mais esclarecimentos sobre a documentação, envie feedback nas próprias páginas dela.