Trik Dan Tips Mengenal Lebih Dalam Robots.Txt Khusus

Robots.txt default

Jika pada ketika pengujian robots.txt tertera "diizinkan" itu artinya googlebot sanggup mengakses dan merayapi situs, jikalau tertera "dicekal" itu artinya googlebot tidak diizinkan untuk merayapi url situs. Ujilah url situs anda dengan 7 jenis googlebot ibarat diatas, jikalau semua berstatus "diizinkan" maka pengaturan robots.txt tersebut sudah benar. Copy instruksi robots.txt nya kemudian pasang ke pengaturan situs blogger anda supaya tool penguji SEO (Search Engine Optimization) sanggup membacanya.

Kode Robots.txt Dasar (Default)

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://yoursitename.blogspot.com/sitemap.xml

Sekarang bagaimana contoh robots.txt khusus? Setelah mengetahui pengaturan default robots.txt maka sangat gampang untuk memahami robots.txt khusus, "Khusus" yang dimaksud pada pengaturan robots.txt yaitu pengaturan optional dari pihak pengelola situs untuk mengatur kanal robot crawl, misalnya;

Pada sebuah laman situs web terdapat halaman yang privasi atau bersifat diam-diam atau halaman yang berlawanan dengan kebijakan google, Nah, pada kasus ibarat ini pengelola situs sanggup menggunakan robots.txt khusus untuk membatasi perayapan dan peng-index-an robot crawl pada laman tersebut.

Contoh:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/cepika-cepiki.html
Disallow: /document-privacy.html
Allow: /
Sitemap: https://yoursitename.blogspot.com/sitemap.xml

Perhatikan dua baris instruksi "Disallow" yang ditandai dengan abjad tebal diatas yaitu pola robots.txt khusus, kedua url tersebut tidak akan dirayapi oleh robot.crawl dan tidak ditampilkan pada laman hasil pencarian. Makara sangat sanggup dipahami kan bahwa robots.txt khusus merupakan pengaturan optional/pengaturan kita sendiri untuk membatasi kanal robot crawl dalam merayapi situs kita.

Jika tidak ada laman yang bersifat diam-diam (privasi) maka kita tidak perlu melaksanakan pembatasan kanal terhadap robot crawl (perayap google), Dianjurkan "cukup" gunakan pengaturan default robots.txt, sesudah benar-benar paham silahkan berkreasi dengan Robots.txt Khusus.

Upload File Robots.txt Khusus ke Webmaster (Search Console)

Bagaimana cara meng-update atau meng-upload robots.txt khusus dari situs blogger ke webmaster tool (search console)?

Memperbaharui robots.txt khusus baik itu menambah atau mengurangi robots.txt dilakukan melalui dashboard "settingan" blogger, kemudian kemudian masuk ke search console dan buka fitur robots.txt tester, tekan tombol submit untuk mengupdate / upload robots.txt. Biasanya akan muncul pop-up yang berisi 3 pilihan, silahkan pilih submit untuk pembaharuan robots.txt, sesudah final lakukan refresh pada search console untuk melihat hasilnya.

Baca Juga: Setting Robots.txt Untuk Adsense

Demikian klarifikasi ihwal "robots.txt khusus" dari saya semoga bermanfaat dan menambah ilmu pengetahuan. Artikel ini saya dedikasikan kepada para blogger khususnya visitor yang menanyakan "kenapa kode robots.txt disini pendek sedangkan di situs tetangga sebelah panjang". Jika dipahami dengan benar maka artikel ini sudah cukup untuk menjawab-nya. Mohon maaf saya tidak mempublikasikan komentar dia lantaran tidak subscribe dulu gres komentar, sekian.