2017 年 1 月 16 日，星期一
近來，我們聽到許多關於「檢索預算」的說法，不過光就「檢索預算」這個詞本身，一般人並無法直接從字面上瞭解它所代表的完整概念。因此，我們希望藉由本文釐清「檢索預算」的實際意涵，並說明這個概念對於 Googlebot 的影響。
首先要強調的是，如同下文所述，檢索預算不是大多數發布者需要擔心的課題。如果新網頁一般會在發布當天受到檢索，網站管理員便不必特別在意檢索預算的分配。同樣地，如果網站包含的網址少於幾千個，檢索作業通常都很有效率。
如果網站規模較大，或是會根據網址參數自動產生網頁等，這時網站管理員才比較需要重視該如何排定檢索目標的優先順序與時間，以及網站代管伺服器可以分配多少資源給檢索作業。
檢索頻率上限
Googlebot 有如一位良善的網路公民，主要任務是檢索網站，同時確保檢索作業不會破壞網站的使用體驗。為此，我們會用所謂的「檢索頻率上限」來限制特定網站的最高擷取頻率。
簡單來說，檢索頻率上限就是 Googlebot 檢索特定網站時可以使用的同時連線數量，以及每次擷取之間的間隔時間。檢索頻率可能因為下列兩種因素而有所起伏：
- 檢索狀態：如果網站的回應速度很快，檢索頻率上限就會提高，讓 Googlebot 可使用更多連線進行檢索。如果網站的回應速度變慢或出現伺服器錯誤，檢索容量上限則會降低，Googlebot 的檢索次數也會隨之減少。
- 在 Search Console 中設定的限制：網站擁有者可以調降 Googlebot 對於自家網站的檢索頻率。請注意，設定較高的上限並不會使檢索次數自動增加。
檢索需求
如果沒有建立索引的需求，即使未達檢索頻率上限，Googlebot 仍不會提高檢索作業的頻率。以下是決定檢索需求的兩大重要因素：
- 熱門程度：為了盡可能在索引中提供最新的資訊，在網際網路上越熱門的網址，其檢索頻率也會越高。
- 過時程度：我們的系統會避免在索引中納入資料過時的網址。
此外，關聯到整個網站的事件 (例如網站遷移) 可能會使檢索需求增加，因為我們需要為新網址中的內容重新建立索引。
綜合檢索頻率和檢索需求兩個層面來看，我們可以將檢索預算視為 Googlebot 有能力檢索且想要檢索的網址數量。
影響檢索預算的因素
根據我們的分析，擁有許多低附加價值的網址並不利於網站的檢索和索引作業。如果依照重要性排序，低附加價值網址可分為以下幾類：
如果將伺服器資源浪費在這類網頁上，會使得真正有價值的網頁錯失檢索機會，導致 Googlebot 發掘網站上優質內容的進度嚴重推後。
常見問題
每個網站都必須經過檢索才會出現在 Google 的搜尋結果中，高效率的檢索作業有助於網站編入 Google 搜尋索引。
網站速度會影響檢索預算嗎？發生錯誤又會有何影響？
提高網站速度不僅可帶來更流暢的使用者體驗，還能提升檢索頻率。執行速度快的網站代表伺服器的運作情況良好，能讓 Googlebot 透過相同的連線數量擷取更多內容。反過來說，如果出現重大錯誤 (例如 5xx 錯誤) 或是連線逾時，則表示伺服器運作情況不佳，檢索速度也會因此變慢。
建議您密切注意 Search Console 中的檢索錯誤報告，盡量避免伺服器發生錯誤。
檢索是排名依據之一嗎？
提高檢索頻率不代表網站一定能獲得更好的搜尋結果排名。 Google 會參考數百種信號來決定搜尋結果排名，雖然網站必須經過檢索才能顯示在搜尋結果中，但並非排名信號。
替代網址和嵌入內容也會計入檢索預算嗎？
一般來說，Googlebot 在網站上檢索到的所有網址都會計入檢索預算。 由於替代網址 (例如 AMP 或 hreflang) 和嵌入內容 (例如 CSS 和 JavaScript，包括 AJAX 中的 XHR) 都需要經過檢索，所以會占用網站的檢索預算。同樣地，多次連續重新導向也會對檢索造成負面影響。
我可以使用 crawl-delay 規則來控制 Googlebot 嗎？
Googlebot 不會處理非標準的 crawl-delay robots.txt 規則。
nofollow 規則是否會影響檢索預算？
視情況而定。任何受到檢索的網址都會影響檢索預算，因此，即使將網頁的網址加上 nofollow 標記，但只要您網站上的其他網頁 (或網路上的任何網頁) 未將連至該網址的連結加上 nofollow 標籤，系統就仍會檢索該網址。
透過 robots.txt 禁止的網址對檢索預算有任何影響嗎？
沒有。已經封鎖的網址不會影響檢索預算。
如要進一步瞭解如何針對網站的檢索作業進行最佳化調整，請參閱這篇關於最佳化檢索作業的網誌文章 (該文雖發布於 2009 年，但內容依然實用)。如有任何問題，歡迎前往論壇提問！