Cara Setting Robot.txt dan Tag Tajuk Robot Khusus di Blogger

Sebagai seorang Blogger tentu sudah sering mendengar istilah 'Robot.txt' karena ini merupakan salah satu fitur yang sebenarnya memiliki fungsi yang berguna bila mengerti cara menggunakannya. Namun, fitur ini pun dapat menjadi bumerang ketika digunakan tidak sebagaimana mestinya. Perlu tingkat hati-hati yang ekstra memang.

Karena takut terkena dampak dari salah penggunaannya, banyak blogger akhirnya enggan menggunakan fitur ini padahal cara menggunakannya mudah dan dapat berpengaruh pada meningkatnya visitor blog. Untuk kamu yang belum menggunakannya karena takut atau belum mengetahui caranya cara setting robot.txt dan tag tajuk robot khusus di blog mu, sebaiknya kamu simak artikel berikut ini agar dapat mempertimbangkan menggunakan robot.txt.

Cara Setting Robot.txt dan Tag Tajuk Robot Khusus di Blogger

Apa itu Robot.txt?

Dilansir dari situs Moz, Robots.txt adalah sebuah file teks webmaster yang dibuat untuk mengarahkan robot web (biasanya robot mesin pencari) untuk merayapi situs web pemilik file tersebut. File robots.txt adalah bagian dari Robot Exclusion Protocol (REP), sebuah kelompok standar web yang mengatur cara robot merayapi situs web, mengakses dan mengindeks konten, dan menyajikan konten tersebut kepada pengunjung. REP juga mencakup arahan seperti robot meta, serta instruksi halaman, subdirektori, atau situs untuk bagaimana mesin pencari harus memperlakukan URL yang ada di suatu situs web, entah itu dofollow atau nofollow.

Dalam praktiknya, file robots.txt menunjukkan apakah suatu situs web dapat dirayapi atau tidak. Instruksi perayapan ini ditentukan dengan "tidak mengizinkan" atau "mengizinkan" agen perayap tertentu yang terdaftar di dalam file ini.

Sistem Kerja Robot.txt

Search engine memiliki dua pekerjaan utama:

• Merayapi web untuk menemukan konten
• Mengindeks konten itu sehingga dapat disajikan hingga penelusur yang mencari informasi.

Untuk merayapi situs, search engine mengikuti suatu tautan/link untuk berpindah dari satu situs ke situs lainnya, dimana search engine merayapi miliaran tautan dan situs web. Perayapan ini terkadang dikenal dengan istilah "spidering".

Sebelum merayapi suatu situs web, search engine akan mencari file robots.txt. Jika menemukannya, perayap akan membaca file itu terlebih dahulu sebelum melakukan perayapan karena file robots.txt berisi informasi tentang bagaimana cara perayap harus merayapi situs web tersebut. Informasi yang ditemukan di sana akan menginstruksikan tindakan perayapan lebih lanjut di situs tertentu ini. Jika file robots.txt tidak berisi arahan apa pun yang melarang aktivitas perayapan, maka perayap akan melanjutkan untuk merayapi informasi lain di situs.

Alasan Dibutuhkannya Robot.txt

File robots.txt mengontrol akses perayap ke area tertentu di situs mu. Hal ini tentu bisa menjadi sangat berbahaya jika kamu secara tidak sengaja melarang Googlebot merayapi seluruh situs mu karena dapat mempengaruhi index pada situs web mu. Namun, ada beberapa situasi di mana file robots.txt bisa sangat berguna.

Beberapa kasus penggunaan umum termasuk:

• Mencegah duplikat konten agar tidak muncul di SERP
• Menjaga seluruh bagian dari situs web pribadi mu
• Menjaga halaman hasil pencarian internal muncul di SERP publik
• Menentukan lokasi sitemap
• Mencegah mesin pencari mengindeks file tertentu di situs web mu (gambar, PDF, dll.)
• Menentukan penundaan perayapan untuk mencegah server mu kelebihan muatan saat perayap memuat banyak konten sekaligus

Jika tidak ada area di situs mu yang ingin kamu kontrol akses perayapannya, kamu mungkin tidak memerlukan file robots.txt sama sekali.

Cara Setting Robot.txt dan Tag Tajuk Robot Khusus di Blog

Cara Mengaktifkan Robot.txt

• Buka dasbor Blogger
• Pilih tab Setelan > Preferensi Penelusuran
• Pada bagian Perayapan dan Pengindeksan, pilih Edit pada Robot.txt khusus
• Pilih aktifkan dan masukan kode berikut

User-agent: Mediapartners-Google 

Disallow: 




User-agent: * 

Disallow: /search 

Allow: / 




Sitemap: https://alamatblogmu.com/sitemap.xml

Mediapartneers-Google: Menandakan bahwa blog mu merupakan partner dari Google (gunakan bila kamu merupakan publisher Google Adsense).
Sitemap: merupakan URL sitemap milik situs mu. Ubahlah sesuai URL sitemap mu.
Disallow: Perintah yang digunakan untuk memberi tahu user-agent agar tidak merayapi URL tertentu.
Allow: Perintah ini bertujuan memberi tahu Bot agar dapat mengakses halaman atau subfolder meskipun halaman induk atau subfoldernya mungkin tidak diizinkan.
User-agent: Mesin pencari yang kamu berikan izin (contohnya Google, Bing, dll.) tanda * menandakan kamu mengizinkan seluruhnya.

• Simpan setelan

Cara Setting Tag Tajuk Robot Khusus

• Buka dasbor Blogger
• Pilih tab Setelan > Preferensi Penelusuran
• Pada bagian Perayapan dan Pengindeksan, pilih Edit pada Tag tajuk robot khusus
• Ubah sesuai gambar berikut ini

• Simpan perubahan

***

Semoga artikel ini bermanfaat. Bila kamu juga ingin mengetahui cara memasang Ads.txt, silahkan simak artikel Cara Mengaktifkan Ads.txt di Blog. Jika memiliki pertanyaan seputar artikel Cara Setting Robot.txt dan Tag Tajuk Robot Khusus di Blogger, silahkan tulis dikolom komentar ya.

banner: seobook.com

Baca juga: