Cara Memahami Penulisan Robots.txt Dengan Benar

Cara Memahami Penulisan Robots.txt Dengan Benar

Google Webmaster mengulas beberapa kali tentang penggunaan File Robots.txt, hal ini menandakan jika terdapat sesuatu yang sangat penting untuk google dalam melakukan perayapan terhadap blog sobat. Robots.txt dapat mengatur agar mesin pencari google, orang menyebutnya "googlebot", berinteraksi dengan blog sobat.

Apa yang dimaksud dengan File Robot.txt ?


Robot.txt adalah sebuah ketentuan untuk mencegah web crawler atau googlebot dan robot pada web lain, untuk mengakses seluruh atau sebagian situs web.

Baca juga :


Apa fungsi dari File Robots.txt ?


Script yang dibuat pada Robots.txt dapat mengarahkan googlebot bagaimana semestinya untuk perayapi blog sobat. Bila ingin blog dapat dirayapi oleh googlebot secara penuh, atau di index buka sebagian, maka jawabannya adalah sobat harus menggunakan file Robots.txt.

Pada umumnya file Robots.txt adalah sebuah file yang sederhana yang disimpan di web server, dan bila sobat ingin melihat file robots.txt, maka bisa di akses setelah nama domain web sobat, contoh :

https://www.buatkuingat.com/robots.txt

Ketika googlebot merayapi blog sobat, file yang pertama kali didatangi adalah file robots.txt. Dalam file robots.txt. ini berisi apa yang harus dan tidak dirayapi, sehingga googlebot memiliki pekerjaan yang jelas dalam perayapi sebuah blog.

Bagi para blogger pemula pembuatan file robots.txt ini tidak dilakukan, padahal pengaruh terhadap perayapan dan ujungnya mendapatkan "Page Rank" di mesin pencari lebih besar.

Apa yang harus sobat lakukan dengan File Robots.txt ?

Semua jawaban kembali ke diri sobat sendiri, berani ambil resiko harus siap menanggung resiko. Tapi hampir semua orang yang memiliki blog, ingin segera dapat di rayapi oleh googlebot agar menempati posisi yang baik pada "Page Range".

Apabila masih merasa bingung, disini saya buat 3 opsi untuk mengambil keputusan tentang Robots.txt :

1. Tidak menggunakan File Robots.txt pada blog

Bila blog tidak sama sekali menggunakan File Robots.txt, maka googlebot hanya akan merayapi sebagian dari blog sobat.

2. Menggunakan File Robots.txt pada blog dengan isi yang kosong

Kondisinya sama dengan tidak menggunakan file Robots.txt, mesin pencari googlebot hanya akan merayapi sebagian dari blog.

3. Membuat dan menggunakan file Robots.txt

Mesin pencari googlebot akan mengikuti mengaturan pada File Robots.txt apa yang boleh dan tidak boleh dirayapi, dengan kata lain sobat mengundang secara special googlebot untuk segera melakukan perayapan, dan hasilnya diharapkan dapat meningkatkan trafik kunjungan blog.


Memahami Penulisan File Robots.txt Berikut Pengertiannya.


Cara Memahami Penulisan Robots.txt Dengan Benar

Dalam penulisan script File Robots.txt ada baiknya mengetahui serta memahami apa saja yang dianggap penting dalam penulisannya, serta maksud dari tulisan tersebut. Berikut penulisan file Robots.txt secara umum.

Allow artinya di perbolehkan mesin pencari untuk perayapi dan mengindex isi blog
Contoh :

Allow: /imagelogo.png

Artinya memperbolehkan image logo.png untuk di index

-------------------------
Disallow artinyga tidak diperbolehkan mesin pencari untuk dirayapi
Contoh :

Disallow: /image

Artinya tidak dipegbolehkan folder image untuk di index.

-------------------------

Contoh gabungan :
User-agent: *
Disallow: /image
Allow: /image/logo.png

Artinya : memberitahukan kepada googlebot untuk mengunjungi "logo.png", walaupun folder "/image" dilarang di rayapi.

-------------------------

Contoh penulisan Robots.txt secara umum :

User-agent: *
Disallow: /
Allow: /
Sitemap: http://www.buatkuingat.com/sitemap.xml 

Artinya bahwa blog www.buatkuingat.com diperbolehkan untuk dirayapi oleh mesin pencari baik googlebot, bingbot, yandexbot dll, dengan tidak diperbolehkan mengindex folder root dan diperbolehkan merayapi dari sitemap yang telah di daftarkan.


Memasukan File Robots.txt 

Terdapat 2 cara untuk memasukan file Robots.txt diantaranya adalah :

Memasukan Script Robots.txt di Blog

Login ke blogger.com klik Menu Setting kemudian Search Preferences 
Tuliskan script Robots.txt pada kotak yang telah disediakan kemudian klik Save Change

Cara Memahami Penulisan Robots.txt Dengan Benar


Memasukan Script Robots.txt di Webmaster

Masuk ke halaman Webmaster https://www.google.com/webmasters
Cari menu Perayapan kemudian Penguji Robot.txt


Cara Memahami Penulisan Robots.txt Dengan Benar

Masukan script Robots.txt pada kotak yang disediakan, lalu klik Kirim

Cara Memahami Penulisan Robots.txt Dengan Benar

Tunggu hingga muncul sukses, lihat gambar di bawah ini


Baca juga :


Setelah File Robots.txt dimasukan sobat harus bersabar menunggu mesin pencari melakukan perayapan, maksimal 1 minggu setelah perubahan Robots.txt baru akan terlihat efeknya. Demikian artikel yang saya buat tentang Cara Memahami Penulisan Robots.txt Dengan Benar, semoga bermanfaat.


Saya seorang penulis berusaha mengabadikan setiap pengalaman dan keahlian. Karena ilmu pengetahuan akan tetap abadi hingga manusia tidak bisa berdiri lagi dimuka bumi ini.

Pergunakan komentar yang bijak, saran yang baik dan kritikan yang membangun.
EmoticonEmoticon