Mau baca artikel apa? request Buat Blog!

Menguji Robot.txt Pada Blogger

robots.txt adalah alat untuk menunjukkan apakah file robots.txt memblokir web crawler Google anda dari URL tertentu di situs Anda.

Apa itu robot.txt?

       Alat Penguji robots.txt adalah alat untuk menunjukkan apakah file robots.txt memblokir web crawler Google anda dari URL tertentu di situs Anda. Misalnya, Anda dapat menggunakan alat ini untuk menguji apakah crawler Googlebot-Image dapat meng-crawl URL gambar yang ingin Anda blokir dari Google Penelusuran Gambar.

Anda dapat mengirimkan URL ke alat Penguji robots.txt. Alat ini beroperasi sebagai Googlebot yang akan memeriksa file robots.txt dan memverifikasi apakah URL telah diblokir dengan benar.

Cara Menguji file robots.txt sebagai berikut:

1. Pertama Buka alat penguji situs Anda, dan scroll kode robots.txt untuk menemukan peringatan sintaksis dan error logika yang ditandai. Jumlah peringatan sintaksis dan error logika segera ditampilkan di bawah editor. 

2. Selanjutnya Ketik URL halaman pada situs Anda dalam kotak teks di bagian bawah halaman.

Contoh:

3. Pilih agen pengguna yang ingin Anda simulasikan pada daftar tarik-turun di sebelah kanan kotak teks.

4. Klik tombol UJI untuk menguji akses.

Periksa untuk melihat apakah tombol UJI sekarang menjadi DITERIMA atau DIBLOKIR untuk mengetahui apakah URL yang Anda masukkan diblokir dari web crawler Google.

Contoh:



6. Edit file di halaman dan uji kembali jika perlu. Perhatikan bahwa perubahan yang dilakukan pada halaman tidak tersimpan ke situs Anda. Lihat langkah berikutnya.

7. Salin perubahan ke file robots.txt pada situs. Alat ini hanya menguji salinan yang dihosting pada alat dan tidak mengubah file aktual di situs Anda.

NB: 

  • Alat ini hanya berfungsi dengan properti awalan URL; tidak berfungsi dengan Properti domain.
  • Perubahan yang Anda lakukan di editor alat tidak tersimpan secara otomatis di server web. Anda perlu menyalin dan menempel konten dari editor ke file robots.txt yang tersimpan di server.
  • Alat Penguji robots.txt hanya menguji robots.txt dengan agen pengguna atau perayap web Google, seperti Googlebot. Ini tidak dapat memprediksi penafsiran web crawler lain atas file robots.txt Anda.

Sekian, semoga bermanfaat, Terimkasih. 

Menguji Robot.txt Pada Blogger
Menguji Robot.txt Pada Blogger

About the Author

Hai! saya Yudistira, saya suka menulis tentang teknologi, geme, bisnis, & digital marketing.

Posting Komentar

Berkomentarlah dengan bijak dan sopan :)