Senin, 9 Desember 2024
Mohon izinkan kami menyimpan cache.
Seiring dengan berkembangnya internet dari tahun ke tahun, jumlah halaman yang di-crawl Google juga meningkat. Meskipun infrastruktur crawling Google sudah lama mendukung mekanisme penyimpanan cache heuristik, jumlah permintaan yang dapat ditampilkan dari cache lokal makin menurun: 10 tahun lalu, hanya sekitar 0,026% dari total pengambilan dapat disimpan dalam cache, yang sebenarnya sudah tidak terlalu mengesankan; saat ini, angka tersebut turun menjadi 0,017%.
Mengapa penyimpanan cache itu penting?
Mekanisme penyimpanan cache adalah komponen krusial dalam infrastruktur internet yang kompleks. Penyimpanan cache memungkinkan halaman dimuat dengan sangat cepat saat dibuka kembali, menghemat resource komputasi, sehingga menghemat sumber daya alam dan bandwidth yang sangat mahal untuk klien dan server.
Terutama jika Anda memiliki situs besar dengan konten yang jarang berubah di setiap URL, mengizinkan
penyimpanan cache secara lokal dapat membantu situs Anda di-crawl secara lebih efisien. Infrastruktur crawling Google
mendukung penyimpanan cache HTTP heuristik seperti yang ditentukan oleh
standar penyimpanan cache HTTP,
khususnya melalui header respons ETag
dan
permintaan If-None-Match
, serta header respons Last-Modified
dan
permintaan If-Modified-Since
.
Sebaiknya gunakan ETag
karena lebih jarang mengalami error dan kesalahan (nilainya
tidak terstruktur, tidak seperti nilai Last-Modified
). Selain itu, jika memungkinkan,
Anda dapat menetapkan keduanya: mungkin hal itu dapat berdampak positif di internet. Bisa jadi demikian.
Anda yang menentukan perubahan apa yang mengharuskan klien memuat ulang cache. Sebaiknya Anda meminta pembaruan cache jika ada perubahan yang signifikan pada konten Anda; jika Anda hanya memperbarui tanggal hak cipta di bagian bawah halaman, hal itu mungkin tidak terlalu signifikan.
ETag
dan If-None-Match
Crawler Google mendukung permintaan bersyarat berbasis ETag
persis seperti yang ditentukan dalam
standar penyimpanan cache HTTP.
Artinya, untuk memberikan sinyal preferensi penyimpanan cache ke crawler Google, tetapkan nilai Etag
ke
string ASCII arbitrer (biasanya hash konten atau nomor versi, tetapi juga dapat berupa
bagian dari π, sesuai pilihan Anda) unik untuk representasi konten yang dihosting oleh URL yang diakses.
Misalnya, jika Anda menghosting versi berbeda dari konten yang sama dengan URL yang sama (misalnya, versi seluler
dan desktop), setiap versi dapat memiliki nilai ETag
uniknya sendiri.
Crawler Google yang mendukung penyimpanan cache akan mengirimkan nilai ETag
yang ditampilkan untuk
crawl sebelumnya dari URL tersebut di If-None-Match header
. Jika nilai ETag
yang dikirim oleh crawler cocok dengan nilai saat ini yang dihasilkan server, server Anda akan
menampilkan kode status HTTP 304
(Tidak diubah) tanpa isi HTTP. Bagian terakhir ini,
yaitu tidak adanya isi HTTP, sangat penting karena beberapa alasan:
- server Anda tidak perlu menghabiskan resource komputasi untuk membuat konten sebenarnya; artinya, Anda menghemat uang
- server Anda tidak perlu mentransfer isi HTTP; sekali lagi, Anda menghemat uang
Di sisi klien, seperti browser pengguna atau Googlebot, konten di URL tersebut diambil dari cache internal klien. Karena tidak melibatkan transfer data, proses ini terjadi dengan sangat cepat, sehingga membuat pengguna senang sekaligus berpotensi menghemat sejumlah resource untuk klien.
Last-Modified
dan If-Modified-Since
Mirip dengan ETag
, crawler Google juga mendukung permintaan bersyarat Last-Modified based
,
persis seperti yang ditetapkan dalam standar Penyimpanan Cache HTTP. Secara semantik,
ETag
memiliki cara kerja yang sama, yaitu menggunakan ID untuk menentukan
apakah resource dapat disimpan dalam cache. Mekanisme ini juga memberikan manfaat yang sama seperti ETag
di
sisi klien.
Kami memiliki beberapa rekomendasi jika Anda menggunakan Last-Modified
sebagai perintah
penyimpanan cache:
-
Tanggal di header
Last-Modified
harus diformat sesuai dengan standar HTTP. Untuk menghindari masalah penguraian, sebaiknya gunakan format tanggal berikut: "Hari, DD Mon YYYY HH:MM:SS Zona Waktu". Misalnya, "Fri, 4 Sep 1998 19:15:56 GMT". -
Meskipun tidak wajib, sebaiknya tetapkan kolom
max-age
dari headerCache-Control
untuk membantu crawler menentukan kapan harus meng-crawl ulang URL tertentu. Tetapkan nilai kolommax-age
dengan perkiraan waktu dalam detik ketika kontennya tetap sama. Misalnya,Cache-Control: max-age=94043
.
Contoh
Sama seperti saya, Anda mungkin kesulitan memahami cara kerja penyimpanan cache heuristik.
Namun, melihat contoh rantai permintaan dan respons bisa membantu kita memahaminya dengan lebih baik. Berikut dua
rantai—satu untuk ETag
/If-None-Match
dan satu lagi untuk
Last-Modified
/If-Modified-Since
—untuk mendapatkan gambaran tentang cara
kerjanya:
ETag /If-None-Match |
Last-Modified /If-Modified-Since |
|
---|---|---|
Respons server terhadap crawling: Ini adalah respons yang dapat digunakan crawler untuk
menyimpan kolom header prasyarat ETag dan Last-Modified .
|
HTTP/1.1 200 OK Content-Type: text/plain Date: Fri, 4 Sep 1998 19:15:50 GMT ETag: "34aa387-d-1568eb00" ... |
HTTP/1.1 200 OK Content-Type: text/plain Date: Fri, 4 Sep 1998 19:15:50 GMT Last-Modified: Fri, 4 Sep 1998 19:15:56 GMT Cache-Control: max-age=94043 ... |
Permintaan bersyarat crawler berikutnya: Permintaan bersyarat didasarkan pada
nilai header prasyarat yang disimpan dari permintaan sebelumnya. Nilai dikirim kembali ke
server untuk divalidasi di header permintaan
If-None-Match dan If-Modified-Since .
|
GET /hello.world HTTP/1.1 Host: www.example.com Accept-Language: en, hu User-Agent: Googlebot/2.1 (+http://www.google.com/bot.html) If-None-Match: "34aa387-d-1568eb00" ... |
GET /hello.world HTTP/1.1 Host: www.example.com Accept-Language: en, hu User-Agent: Googlebot/2.1 (+http://www.google.com/bot.html) If-Modified-Since: Fri, 4 Sep 1998 19:15:56 GMT ... |
Respons server terhadap permintaan bersyarat: Karena nilai header prasyarat
yang dikirim oleh crawler divalidasi di sisi server, server akan menampilkan kode status HTTP
304 (tanpa isi HTTP) ke crawler. Hal ini akan terjadi pada setiap permintaan
berikutnya hingga prasyarat gagal divalidasi (perubahan tanggal ETag atau
Last-Modified di sisi server).
|
HTTP/1.1 304 Not Modified Date: Fri, 4 Sep 1998 19:15:50 GMT Expires: Fri, 4 Sep 1998 19:15:52 GMT Vary: Accept-Encoding If-None-Match: "34aa387-d-1568eb00" ... |
HTTP/1.1 304 Not Modified Date: Fri, 4 Sep 1998 19:15:50 GMT Expires: Fri, 4 Sep 1998 19:15:51 GMT Vary: Accept-Encoding If-Modified-Since: Fri, 4 Sep 1998 19:15:56 GMT ... |
Jika Anda ingin membuat pengguna senang dan mungkin juga ingin menghemat biaya hosting, hubungi penyedia hosting atau CMS, atau developer Anda tentang cara mengaktifkan cache HTTP untuk situs Anda. Setidaknya, pengguna akan lebih berterima kasih kepada Anda.
Jika ada hal lain yang perlu didiskusikan terkait penyimpanan cache, buka komunitas bantuan Pusat Penelusuran, dan jika ingin menyampaikan sesuatu terkait cara kami menyimpan cache, berikan masukan di dokumentasi tentang penyimpanan cache yang kami publikasikan bersamaan dengan postingan blog ini.
Ingin mempelajari crawling lebih lanjut? Lihat seluruh seri Crawling Edisi Desember:
Tanya Jawab tentang pembaruan Google Penelusuran
Kamis, 2 November 2023 Google Penelusuran memperbarui sistem peringkat penelusuran secara rutin untuk memastikan kami menampilkan konten yang paling relevan dan bermanfaat. Kami telah membagikan serangkaian pembaruan penting dalam beberapa minggu
Cara Google Penelusuran menangani penelusuran multilingual
Jumat, 8 September 2023 Di banyak negara dan wilayah di seluruh dunia, orang-orang umumnya berbicara dan melakukan penelusuran dalam lebih dari satu bahasa. Agar dapat menyajikan pengalaman dengan sebaik mungkin, Google menggunakan berbagai cara
Peran pengalaman halaman dalam membuat konten yang bermanfaat
Rabu, 19 April 2023 Konten yang bermanfaat umumnya menawarkan pengalaman halaman yang baik. Itulah sebabnya kami menambahkan bagian terkait pengalaman halaman ke panduan membuat konten yang bermanfaat dan merevisi halaman bantuan tentang pengalaman
Panduan Google Penelusuran tentang konten buatan AI
Dalam postingan ini, kami akan menjelaskan lebih lanjut bagaimana konten hasil buatan AI sejalan dengan pendekatan kami selama ini untuk menampilkan konten yang bermanfaat kepada pengguna di Penelusuran.
Memperkenalkan panduan baru kami untuk sistem peringkat Google Penelusuran
Senin, 21 November 2022 Selama bertahun-tahun, Google secara rutin membagikan informasi tentang sistem peringkat otomatis kami dan cara kerjanya melalui postingan blog dan komunikasi publik lainnya. Sekarang kami telah membuat halaman terpusat yang
Rilis pembaruan inti Mei 2022 untuk Google Penelusuran
Rabu, 25 Mei 2022 Beberapa kali dalam setahun, kami melakukan peningkatan substansial pada proses pemberian peringkat secara keseluruhan, yang kami sebut sebagai pembaruan inti. Pembaruan inti dirancang untuk meningkatkan relevansi hasil penelusuran
Informasi selengkapnya tentang cara Google membuat judul untuk hasil halaman web
Jumat, 17 September 2021 Bulan lalu, kami membagikan informasi tentang sistem baru untuk membuat judul hasil halaman web. Berkat masukan Anda yang sangat berarti, kami telah meningkatkan kualitas sistem judul kami. Berikut informasi selengkapnya
Pembaruan terkait cara pembuatan judul halaman web
Selasa, 24 Agustus 2021 Salah satu cara utama dalam menentukan hasil penelusuran yang mungkin relevan dengan kueri seseorang adalah dengan meninjau judul halaman web yang tercantum. Karena itulah Google Penelusuran berupaya keras memberikan judul
Jawaban atas beberapa pertanyaan umum tentang konten yang ditampilkan di Google Berita
Jumat, 16 Juli 2021 Di Google, kami ingin membantu semua orang memahami keadaan dunia dengan menampilkan berita resmi dan relevan yang berasal dari berbagai penerbit tepercaya. Hari ini, kami akan menjawab beberapa pertanyaan yang kami dengar dari
Menyoroti metode dukungan pelanggan di Google Penelusuran
Rabu, 7 Juli 2021 Pelanggan biasanya mencari cara untuk menghubungi bisnis, dan Google berupaya menampilkan informasi terbaik yang tersedia untuk sebisa mungkin membantu pelanggan dalam berbagai cara. Anda dapat membantu kami dengan mengikuti
Informasi penting bagi kreator tentang pembaruan ulasan produk April 2021 di Google
Kamis, 8 April 2021 Google Penelusuran selalu berupaya menampilkan informasi yang bermanfaat dan membantu, melalui proses pengujian, eksperimen, dan peninjauan. Dari sini, kami mengetahui bahwa orang lebih menghargai ulasan produk yang membagikan
Memperkenalkan cara baru bagi situs untuk menyorot pengumuman COVID-19 di Google Penelusuran
Jumat, 3 April 2020 Akibat wabah COVID-19, banyak organisasi dan kelompok memublikasikan pengumuman penting terkait virus corona yang memengaruhi kehidupan kita sehari-hari. Menanggapi hal ini, kami memperkenalkan cara baru agar pengumuman khusus
Mengembangkan "nofollow" – cara baru untuk mengidentifikasi sifat link
Selasa, 10 September 2019 Hampir 15 tahun yang lalu, atribut nofollow diperkenalkan untuk membantu memerangi spam komentar. Atribut ini juga dengan cepat menjadi salah satu metode yang direkomendasikan Google untuk menandai link terkait iklan atau
Informasi penting bagi pemilik situs tentang pembaruan inti Agustus 2019 di Google
Kamis, 1 Agustus 2019 Setiap hari, Google biasanya merilis satu atau beberapa perubahan yang didesain untuk mengoptimalkan hasil penelusuran kami. Meskipun sebagian besar tidaklah signifikan, perubahan ini membantu kami terus melakukan pengoptimalan
Cara meraih kesuksesan di Google Berita
Kamis, 17 Januari 2019 Tahun Baru belum lama bergulir, dan berikut kami sajikan beberapa saran serta praktik terbaik yang kami harapkan akan membantu penerbit meraih kesuksesan yang lebih besar di Google Berita selama 2019. Ada banyak informasi