Cara Memahami Penulisan Robots.txt Dengan Benar
Google Webmaster mengulas beberapa kali tentang penggunaan File Robots.txt, hal ini menandakan jika terdapat sesuatu yang sangat penting untuk google dalam melakukan perayapan terhadap blog sobat. Robots.txt dapat mengatur agar mesin pencari google, orang menyebutnya "googlebot", berinteraksi dengan blog sobat.
Apa yang dimaksud dengan File Robot.txt ?
Robot.txt adalah sebuah ketentuan untuk mencegah web crawler atau googlebot dan robot pada web lain, untuk mengakses seluruh atau sebagian situs web.
Baca juga :
- Cara Atasi Blocked by Robots Pada Blog Sulit Di Index Google
- Cara Mengatasi Gambar Artikel Tidak Muncul Saat Di Share Facebook
- 10 Hal Penting Yang Harus Diperhatikan Sebelum Ganti Template Blog
Apa fungsi dari File Robots.txt ?
Script yang dibuat pada Robots.txt dapat mengarahkan googlebot bagaimana semestinya untuk perayapi blog sobat. Bila ingin blog dapat dirayapi oleh googlebot secara penuh, atau di index buka sebagian, maka jawabannya adalah sobat harus menggunakan file Robots.txt.
Pada umumnya file Robots.txt adalah sebuah file yang sederhana yang disimpan di web server, dan bila sobat ingin melihat file robots.txt, maka bisa di akses setelah nama domain web sobat, contoh :
https://www.buatkuingat.com/robots.txt
Ketika googlebot merayapi blog sobat, file yang pertama kali didatangi adalah file robots.txt. Dalam file robots.txt. ini berisi apa yang harus dan tidak dirayapi, sehingga googlebot memiliki pekerjaan yang jelas dalam perayapi sebuah blog.
Bagi para blogger pemula pembuatan file robots.txt ini tidak dilakukan, padahal pengaruh terhadap perayapan dan ujungnya mendapatkan "Page Rank" di mesin pencari lebih besar.
Apa yang harus sobat lakukan dengan File Robots.txt ?
Semua jawaban kembali ke diri sobat sendiri, berani ambil resiko harus siap menanggung resiko. Tapi hampir semua orang yang memiliki blog, ingin segera dapat di rayapi oleh googlebot agar menempati posisi yang baik pada "Page Range".Apabila masih merasa bingung, disini saya buat 3 opsi untuk mengambil keputusan tentang Robots.txt :
1. Tidak menggunakan File Robots.txt pada blog
Bila blog tidak sama sekali menggunakan File Robots.txt, maka googlebot hanya akan merayapi sebagian dari blog sobat.2. Menggunakan File Robots.txt pada blog dengan isi yang kosong
Kondisinya sama dengan tidak menggunakan file Robots.txt, mesin pencari googlebot hanya akan merayapi sebagian dari blog.
3. Membuat dan menggunakan file Robots.txt
Mesin pencari googlebot akan mengikuti mengaturan pada File Robots.txt apa yang boleh dan tidak boleh dirayapi, dengan kata lain sobat mengundang secara special googlebot untuk segera melakukan perayapan, dan hasilnya diharapkan dapat meningkatkan trafik kunjungan blog.Memahami Penulisan File Robots.txt Berikut Pengertiannya.
Dalam penulisan script File Robots.txt ada baiknya mengetahui serta memahami apa saja yang dianggap penting dalam penulisannya, serta maksud dari tulisan tersebut. Berikut penulisan file Robots.txt secara umum.
Allow artinya di perbolehkan mesin pencari untuk perayapi dan mengindex isi blog
Contoh :
Allow: /imagelogo.png
Artinya memperbolehkan image logo.png untuk di index
-------------------------
Disallow artinyga tidak diperbolehkan mesin pencari untuk dirayapi
Contoh :
Disallow: /image
Artinya tidak dipegbolehkan folder image untuk di index.
-------------------------
Contoh gabungan :
User-agent: *
Disallow: /image
Allow: /image/logo.png
Artinya : memberitahukan kepada googlebot untuk mengunjungi "logo.png", walaupun folder "/image" dilarang di rayapi.
-------------------------
Contoh penulisan Robots.txt secara umum :
User-agent: *
Disallow: /
Allow: /
Sitemap: http://www.buatkuingat.com/sitemap.xml
Artinya bahwa blog www.buatkuingat.com diperbolehkan untuk dirayapi oleh mesin pencari baik googlebot, bingbot, yandexbot dll, dengan tidak diperbolehkan mengindex folder root dan diperbolehkan merayapi dari sitemap yang telah di daftarkan.
Memasukan File Robots.txt
Terdapat 2 cara untuk memasukan file Robots.txt diantaranya adalah :
Memasukan Script Robots.txt di Blog
Login ke blogger.com klik Menu Setting kemudian Search Preferences
Tuliskan script Robots.txt pada kotak yang telah disediakan kemudian klik Save Change
Memasukan Script Robots.txt di Webmaster
Masuk ke halaman Webmaster https://www.google.com/webmastersCari menu Perayapan kemudian Penguji Robot.txt
Masukan script Robots.txt pada kotak yang disediakan, lalu klik Kirim
Tunggu hingga muncul sukses, lihat gambar di bawah ini
- Cara Atasi Blocked by Robots Pada Blog Sulit Di Index Google
- Cara Mengatasi Gambar Artikel Tidak Muncul Saat Di Share Facebook
- 10 Hal Penting Yang Harus Diperhatikan Sebelum Ganti Template Blog
Setelah File Robots.txt dimasukan sobat harus bersabar menunggu mesin pencari melakukan perayapan, maksimal 1 minggu setelah perubahan Robots.txt baru akan terlihat efeknya. Demikian artikel yang saya buat tentang Cara Memahami Penulisan Robots.txt Dengan Benar, semoga bermanfaat.