Cara Mengatur Custom Robots.txt Dan Header Tags Terbaru Untuk Blogspot

Cara Mengatur Custom Robots.txt Dengan Header Tags Terbaru Untuk Blogspot

Robots.txt adalah sebuah ketentukan yang dibuat oleh mesin pencari, untuk mencegah web crawler dan robot web lain, baik dari perayapan sebagaian maupun secara keseluruhan dari sebuah web.

Robot ini berfungsi untuk melakukan pengawasan terhadap halaman-halaman web, agar dapat segera di index atau tidak sama sekali di index oleh mesin pencari seperti google, bing, yandex dll.

Apa yang dimaksud dengan Ter-Index ?

Arinya bahwa halaman web yang sobat buat akan terdaftar di halaman pencarian, contoh untuk google dari setiap halaman akan menampilkan 10 halaman web, dan masih terdapat jumlah halaman lain yang bisa dibuka oleh orang yang mencari sesuatu di dalamnya.


Semakin web sobat menempati halaman kecil misalkan terdapat di halaman ke 3 ke 2 atau bahkan halaman pertama (page one), maka kemungkinan besar web sobat akan dibanjiri pengunjung. Sehingga menjadi keuntungan yang luar biasa.

Baca juga :


Cara mengatur Custom Robots.txt di Blogspot.

  • Silahkan masuk ke dashboard blog sobat
  • Pilih menu Setelan (Settings)
  • Pilih Preferensi Penelusuran (Search preferences)
  • Klik Edit di Custom robots.txt

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.buatkuingat.com/sitemap.xml
  • Warna merah silahkan isi dengan nama web sobat
  • Setingan di atas termasuk umum dan banyak digunakan
  • User-agent: Mediaparthners-Google artinya memperbolehkan robot yang juga merupakan partner google untuk perayapi web sobat
  • Dissallow: Tidak dijinkan
  • User-agent: * artinya selain robot google juga diperbolehkan untuk merayapi
  • Disallow: /search artinya tidak diperbolehkan untuk merayapi alamat pencarian
  • Allow: / Sitemap .... artinya diperbolehkan untuk dirayapi bagian file sitemap.xml web sobat.
Nah, jiga sobat menginginkan beberapa halaman tidak di index oleh google, bisa menambahkan script berikut :
Disallow: /p/kontak-kami.html

Jangan menggunakan beberapa script di bawah ini, bila tidak ingin web sobat tidak terindex.

  • Disallow: /* artinya semua halaman web tidak akan diijinkan untuk dirayapi
  • Disallow: /?m=1 artinya web sobat tidak akan dirayapi bila terdapat pengunjung dari seluler
  • Disallow: /?m=0 termasuk juga ini
  • Disallow: /*?m=1 juga ini
  • Disallow: /*?m=0 dan ini.
Bila terdapat script tersebut pada file Robots.txt silahkan segera dihapus saja, agar web sobat dapat normal kembali dan google dapat segera melakukan perayapan ulang.

Untuk mendapatkan hasil perayapan yang maksimal, sobat dapat menambahan script di bawah ini untuk disematkan di robots.txt.

User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
User-agent: Bingbot
Disallow: /search
Disallow: /p/kontak-kami.html
Disallow: /p/tentang.html 
Allow: /
Sitemap: http://www.buatkuingat.com/sitemap.xml

Penggunaan Googlebot dan Bingbot dapat lebih memokuskan perayapan terhadap halaman web sobat, sehingga mendapatkan perayapan yang maksimal. Dengan script robots.txt di atas saya sudah rekomendasikan silahkan untuk digunakan.

Cara Mengatur Custom Header Tags Untuk Blogspot

  • Pada Custom Header Tags khusus bisa diaktifkan
  • Pada Header page : ceklis all
  • Pada Archive and search pages : ceklish nonindex dan nosnippet
  • Pada Default for Post and Page : ceklish all

  • Tujuan dari pengaturan ini adalah masih untuk melakukan usaha untuk mempercepat robot mesin pencari melakukan perayapan terhadap web sobat.

Baca juga :

Demikian artikel tentang Cara Mengatur Custom Robots.txt dan Header Tags Terbaru Untuk Blogspot. Semoga bermanfaat.


Saya seorang penulis berusaha mengabadikan setiap pengalaman dan keahlian. Karena ilmu pengetahuan akan tetap abadi hingga manusia tidak bisa berdiri lagi dimuka bumi ini.

Pergunakan komentar yang bijak, saran yang baik dan kritikan yang membangun.
EmoticonEmoticon