Poniedziałek, 16 stycznia 2017 r.
Ostatnio pojawia się wiele definicji „budżetu indeksowania”, jednak nie ma 1 stosowanego poza Google terminu, który obejmowałby całość tej koncepcji. W tym poście wyjaśnimy, czym właściwie jest budżet indeksowania i co to oznacza dla Googlebota.
Przede chcemy podkreślić, że większość wydawców nie musi się przejmować opisanym poniżej budżetem indeksowania. Jeśli indeksowanie nowych stron zwykle odbywa się tego samego dnia, w którym są one publikowane, webmasterzy nie muszą się na tym skupiać. Podobnie witryny z mniej niż kilkoma tysiącami adresów URL są zwykle efektywnie indeksowane.
Określanie priorytetów treści do indeksowania, czasu skanowania i ilości zasobów, które można na to przeznaczyć na serwerze hostującym witrynę, jest ważniejsze w przypadku większych witryn lub takich, które np. automatycznie generują strony na podstawie parametrów adresów URL.
Limit szybkości indeksowania
Googlebot został zaprojektowany z myślą o sprawnym funkcjonowaniu w internecie. Jego głównym priorytetem jest indeksowanie stron bez obniżania komfortu użytkowników witryny. „Limit szybkości indeksowania” ogranicza maksymalną częstotliwość pobierania dla danej witryny.
Mówiąc prościej, jest to maksymalna liczba jednoczesnych połączeń, których Googlebot może użyć do zindeksowania witryny, a także czas, jaki musi upłynąć między pobraniami. Zwiększenie lub zmniejszenie szybkości indeksowania zależy od kilku czynników:
- Stan indeksowania: jeśli przez jakiś czas witryna reaguje naprawdę szybko, limit się zwiększa, czyli do indeksowania można wykorzystać więcej połączeń. Jeśli czas reakcji witryny się wydłuży lub wystąpią błędy serwera, limit zostanie zmniejszony, a Googlebot będzie indeksować mniej.
- Limit ustawiony w Search Console: właściciele witryn mogą ograniczyć ich indeksowanie przez Googlebota. Pamiętaj, że ustawienie wyższych limitów nie zwiększa automatycznie wydajności indeksowania.
Zapotrzebowanie na indeksowanie
Nawet jeśli limit szybkości indeksowania nie zostanie osiągnięty, w przypadku braku zapotrzebowania na indeksowanie aktywność Googlebota będzie niska. Oto 2 czynniki, które odgrywają istotną rolę w określaniu zapotrzebowania na indeksowanie:
- Popularność: adresy URL, które cieszą się większą popularnością w internecie, są indeksowane częściej, aby ich stan w naszym indeksie był aktualny.
- Brak aktualizacji: nasze systemy starają się zapobiegać wyświetlaniu nieaktualnych adresów URL w indeksie.
Poza tym zdarzenia dotyczące całej witryny (np. jej przeniesienie) mogą spowodować wzrost zapotrzebowania na indeksowanie w celu ponownego zindeksowania treści pod nowymi adresami URL.
Biorąc pod uwagę szybkość indeksowania i zapotrzebowanie na indeksowanie, definiujemy budżet indeksowania jako liczbę adresów URL, które Googlebot może i zamierza zindeksować.
Czynniki wpływające na budżet indeksowania
Z naszych analiz wynika, że wiele adresów URL o niskiej wartości może negatywnie wpływać na skanowanie i indeksowanie witryny. Stwierdziliśmy, że adresy URL o niskiej wartości należą do tych kategorii (uporządkowanych według istotności):
- nawigacja fasetowa i identyfikatory sesji,
- powielone treści w witrynie,
- strony pozornych błędów,
- zhakowane strony,
- nieskończone przestrzenie i serwery proxy,
- treści o niskiej jakości i spam.
Niepotrzebne przeznaczenie zasobów serwera na takie strony spowoduje zmniejszenie aktywności związanej z indeksowaniem stron, które faktycznie są wartościowe, co może znacznie opóźnić odkrywanie świetnych treści w witrynie.
Najpopularniejsze pytania
Indeksowanie to punkt wejścia witryn do wyników wyszukiwania Google. Efektywne skanowanie witryny ułatwia indeksowanie jej w wyszukiwarce Google.
Czy szybkość witryny wpływa na mój budżet indeksowania? A błędy?
Przyspieszenie działania witryny poprawia wygodę użytkowników i jednocześnie zwiększa szybkość indeksowania. Szybka witryna oznacza stabilne serwery, dzięki czemu Googlebot może pobrać więcej treści w ramach tej samej liczby połączeń. Z drugiej strony znaczna liczba błędów 5xx lub przypadków przekroczenia limitu czasu połączenia sygnalizuje odwrotną sytuację, więc szybkość indeksowania spada.
Zalecamy uważne przeglądanie raportu Błędy indeksowania w Search Console i pilnowanie, aby liczba błędów serwera była niska.
Czy indeksowanie jest czynnikiem wpływającym na ranking?
Zwiększenie szybkości indeksowania nie musi prowadzić do poprawy pozycji witryny w wynikach wyszukiwania. Google porządkuje wyniki na podstawie kilkuset sygnałów. Indeksowanie jest konieczne, aby strona pojawiła się w wynikach wyszukiwania, ale nie jest to czynnik decydujący o pozycji w rankingu.
Czy budżet indeksowania uwzględnia alternatywne adresy URL i treści umieszczone?
Ogólnie każdy URL skanowany przez Googlebota jest wliczany do budżetu indeksowania witryny. Alternatywne adresy URL (np. strony AMP lub strony z parametrem hreflang), a także umieszczone treści takie jak kod CSS i JavaScript, w tym wywołania AJAX (takie jak XHR), mogą wymagać skanowania, które jest uwzględniane w budżecie indeksowania witryny. Długie łańcuchy przekierowań też mogą mieć negatywny wpływ na indeksowanie.
Czy mogę kontrolować Googlebota za pomocą reguły crawl-delay?
Googlebot nie przetwarza niestandardowej reguły crawl-delay z pliku robots.txt.
Czy reguła nofollow wpływa na budżet indeksowania?
To zależy. Każdy zindeksowany URL wpływa na budżet indeksowania, więc nawet jeśli adres URL jest na stronie objęty parametrem nofollow, strona ta może zostać zindeksowana, o ile inna strona w Twojej witrynie lub dowolna inna strona w sieci nie oznaczy linku regułą nofollow.
Czy adresy URL zabronione w pliku robots.txt mają jakiś wpływ na mój budżet indeksowania?
Nie. Niedozwolone adresy URL nie mają wpływu na budżet indeksowania.
Informacje o optymalizacji indeksowania witryny znajdziesz w naszym poście na blogu z 2009 roku, który nadal jest aktualny. Jeśli masz jakieś pytania, zadaj je na forach.