Pada hari Selasa, 28 Juni 2022, Google merilis pembaruan dokumentasi di Googlebot yang menjelaskan bahwa Googlebot hanya dapat "melihat" 15 megabita pertama saat mengambil jenis file tertentu. Batasan ini telah ada selama bertahun-tahun, tetapi baru-baru ini ditambahkan ke dokumentasi untuk membantu debugging tersebut. Perlu diperhatikan bahwa pembatasan ini hanya berlaku untuk permintaan awal yang dibuat oleh Googlebot, bukan untuk sumber daya yang dirujuk di halaman (misalnya, jika halaman HTML merujuk file JavaScript, Googlebot akan tetap dapat melihat dan mengambil file JavaScript). Sepertinya batas baru Googlebot sebesar 15 MB tidak akan banyak berpengaruh, karena beberapa halaman di internet berukuran lebih besar. Namun, jika Anda memiliki halaman HTML lebih dari 15 MB, Anda dapat mencoba memindahkan beberapa skrip sebaris dan CSS ke file eksternal. Konten setelah 15 MB pertama dihapus oleh Googlebot, dan hanya 15 MB pertama yang diteruskan ke indeks. Ini berlaku untuk pengambilan oleh Googlebot (ponsel cerdas Googlebot dan desktop Googlebot) saat mengambil jenis file yang didukung oleh Google Penelusuran. Tidak akan. Googlebot mengambil video dan gambar yang dirujuk dalam HTML menggunakan URL (misalnya, <img src="https://example.com/images/puppy.jpg" alt="Anak anjing lucu terlihat kecewa" />
terpisah dari ekstraksi berkelanjutan. Ya. Menggunakan Data URI{rel="nofollow"} akan meningkatkan ukuran file HTML karena berada dalam file HTML. Ada banyak cara, tetapi mungkin yang paling mudah adalah menggunakan browser Anda sendiri dan alat pengembangnya. Muat halaman seperti biasa, lalu luncurkan alat pengembang dan alihkan ke tab Jaringan. Muat ulang halaman dan Anda akan melihat semua permintaan yang harus dibuat browser untuk merender halaman. Permintaan teratas adalah yang Anda cari, dan ukuran halaman dalam byte ada di kolom Ukuran. Misalnya, mungkin terlihat seperti ini di Alat Pengembang Chrome{rel="nofollow"}, dengan 150 kB di kolom ukuran: jika Anda ingin periksa berapa banyak data yang diunduh Googlebot saat merayapi situs Anda, Anda dapat menggunakan tab Jaringan di Alat Pengembang Chrome atau menggunakan cURL dari baris perintah. Untuk menggunakan cURL, masukkan kode berikut: curl \ -A "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36" \ -so /dev / null https://example.com/puppies.html -w '%{size_download}' Ganti "https://example.com/puppies.html" dengan URL halaman yang ingin Anda periksa. Jika Anda memiliki pertanyaan lebih lanjut tentang proses ini, Anda dapat menemukan informasi lebih lanjut di Twitter dan forum Pusat Pencarian. Anda juga dapat meninggalkan umpan balik di halaman dokumentasi jika Anda memerlukan klarifikasi lebih lanjut.