Memahami dan Cara Membuat Robots TXT Custom di Blogspot
Blog dan website tidak terlepas dari pengaturan robot txt, untuk itu kalian harus memahami arti robot txt di blog atau website serta bagaiman cara membuat robot txt custom di blogger atau blogspot yang akan Milsmilo Blog bahas sekarang.
Apa Itu Robots TXT
Robots Txt adalah Pengaturan pada sebuah blog atau web untuk mengelola crawling mesin pencari.
Fungsi robots txt adalah untuk membuat perintah kepada crawling untuk menyembunyikan atau perintah untuk tidak merayapi beberapa halaman atau file pada blog atau web sehingga mesin pencari tidak mengindeksnya dan tidak muncul di pencarian.
Perintah robots txt untuk tidak merayapi adalah bukan jaminan untuk tidak muncul pada Search Engine Google jika halaman atau file tersebut telah ditautkan pada blog atau web lainnya.
Sebaiknya Jangan menggunakan robots txt untuk menyembunyikan halaman blog atau web dari hasil penelusura google karena jika halaman lain mengarah ke halaman kalian dengan teks deskriptif maka halaman kalian dapat di indeks tanpa mengunjungi halaman.
Arti Istilah Pada File robots.txt
Inilah arti istilah yang terdapat pada pengaturan robot.txt.1. User-Agent
User-agent artinya bot atau mesin pencari yang boleh merayapi blog atau web misalnya Googlebot, Bingbot, Yahoobot dan bot-bot lainnya.
2. Disallow
Disallow artinya Mesin bot dilarang untuk mengcrawl atau merayapi.
3. Allow
Allow artinya Mesin bot diperbolehkan atau diijinkan untuk mengcrawl atau merayapi.
4. Sitemap
Sitemap artinya sitemap yang gunakan pada blog atau web.
Robots TXT di Blogger atau Blogspot
Di blogger sudah menyamatkan pengaturan robots txt secara default.
Untuk mengetahui pengaturan robots txt pada blog atau website kalian dengan cara mengetikan pada search atau memasukan URL dengan format dibawah ini :
Pengaturan Robots Txt default sebelum diubah pada blogger :
Arti dan Fungsi Robots Txt Default di Blogger
User-agent : Mediapartners-Google artinya Mesin bot yang diijinkan atau boleh merayapi adalah Media Parter Google. Pengaturan ini sangat penting jika wesite kalian telah didaftarkan pada google adsense.
Disallow : artinya Dilarang merayapi dengan nilai kosong, maksudnya bahwa google diijinkan untuk merayapi semua website atau blog.
Arti keseluruhan Mediapartners Google diijinkan atau diperbolehkan untuk mengcrawl atau merayapi semua isi blog atau web.
User agent : * artinya semua bot diijinkan atau dibolehkan untuk merayapi blog atau web (yang ditandai dengan *).
Disallow : /search artinya semua bot tidak diibolehkan untuk merayapi semua nilai search atau pencarian di blog atau web.
Allow : /artinya semua mesin bot dibolehkan untuk merayapi web atau blog.
Arti keselurahan aturan robot txt ini adalah semua bot diijinkan atau diperbolehkan untuk mengcrawl atau merayapi blog atau web kecuali pada bagian search atau pencarian.
Bagaimana penerapannya pada blog atau website, apakah tetap menggunakan default robots txt default atau merubah pengaturannya pada robots txt kustom.
Robots txt kustom adalah setting file robots.txt yang dibuat sendiri untuk mengganti robots txt default blogger.
Robots txt custom mengatur arahan crawling untuk merayapi Url halaman mana saja yang boleh dirayapi dan yang dilarang dirayapi untuk dimasukan dalam indeks google.
Melakukan setting robots txt di blogspot atau blogger adalah cara seo yang sesuai dengan aturan perayapan terhadap bot untuk melakukan indeks Url halaman yang ada di website.
Pengaturan robots txt default sebenarnya sudah sesuai dengan standart dari blogger tetapi apabila kalian menginginkan beberapa halaman atau url tidak ingin dirayapai atau dindeks.
Robots txt kustom dapat digunakan mengatur perayapan pada blog dan website tetapi harus sesuai dengan aturan google tentang format robots txt yang benar agar artikel atau halaman tetap dapat terindeks dan tidak diblokir oleh robots txt.
Untuk blog atau web yang memuat beberapa file atau informasi yang dianggap penting yang tidak boleh dirayapi maka menggunakan robots txt kustom adalah hal yang tepat, tetapi dengan format yang sesuai dengan aturan pada google search console.
Cara Membuat Robots TXT Kustom di Blogspot
1. Buka dashboard blogger.
2. Masuk ke menu Setelan Crawling dan pengindeksan Aktifkan robots txt kustom dengan cara tombol Geser Ke kanan.
3. Masukan format robots txt yang telah di buat.
4. Cek robots txt kustom apakah sudah berubah atau tersimpan dengan cara cek robots txt tester seperti di atas.
Kemungkinan Yang Terjadi Setelah Membuat Robots txt Custom
Saat kalian menggunakan pengaturan robot txt di blogger maka kemungkinan munculnya laporan pada cakupan yang berkaitan dengan hal berikut ini
1. Diindeks - Meski diblokir oleh robots.txt
Biasanya notifikasi muncul karena adanya perintah larangan untuk mengindek URL halaman Label sehingga muncul pesan ini yang berupa saran penyempurnaan agar googlebot dapat merayapi semua halaman blog atau website tanpa menggunakan larangan Disallow : /
2. Diblokir oleh Robots txt
Pada laporan cakupan ini memberi isyarat bahwa halaman atau URL ini telah diblokir karena perintah larangan tidak boleh diindeks dengan Disallow atau Noindex.
Pertimbangan yang mendasar agar halaman tidak diindeks adalah merupakan pertmbangan kalian sendiri akan tetapi memblokir googleblot akan mempersulit pengambilan halaman artikel sehingga akan berpengaruh terhadap URL lainnya yang mengarah ke Url tersebut.
Demikian memahami arti robots txt pada blog dan website serta cara membuat robots txt kustom serta cara menggunakan robot txt yang benar agar artikel tetap terindeks dan tidak salah dalam memasukan robots txt kustom. Semoga bermanfaat.
