Trik Dan Tips Mengenal Lebih Dalam Robots.Txt Khusus

Mengenal Lebih Dalam Robots.txt Khusus - Delapan belas bulan yang kemudian saya sudah menuliskan artikel ihwal Cara memasang robots.txt khusus, namun disana saya belum menjelaskan secara spesifik mengenai robots.txt khusus tersebut dan kali ini saya akan mencoba membahas dan menjelaskan lebih dalam mengenai robots.txt khusus ini. Search engine ibarat google contohnya intinya sudah mempunyai setelan default robots.txt pada robot crawl (perayap google).

Perintah yang paling fundamental pada robots.txt default perayap google yaitu merayapi semua penggalan laman situs terkecuali laman pencarian (search). Itu sebabnya konten unik dari blogger pemula tetap sanggup terindex dan muncul dihasil pencarian google meskipun tanpa melaksanakan Submit url maupun Fetch as Google. Dan peran robots.txt khusus pada sebuah laman web yaitu untuk membatasi perayapan yang dilakukan oleh robot crawl, itulah penyebab kenapa pengembang situs dianjurkan supaya berhati-hati dalam menggunakan robots.txt khusus.

Mengenal Lebih Dalam Robots.txt Khusus

Bagaimana Contoh Robots.txt Default

Robots.txt Default Google sanggup dilihat melaui search console atau biasa disebut dengan webmaster tool, buatlah situs web gres tanpa robots.txt khusus kemudian tambahkan ke situs search console, kemudian verifikasi kepemilikan situs, kemudian buka tab Crawl pada search console dan lihat pada penggalan Robots.txt Tester.

Disana kau sanggup melihat pengaturan Robots.txt Default google dan kau sanggup menguji pengaturan Robots.txt tersebut dengan 7 bot google yaitu: Googlebot, Googlebot-News, Googlebot-Image, Googlebot-Video, Googlebot-Mobile, Mediapartners-Google, Adsbot-Google.
Lihat pola gambar dibawah ini;

Robots.txt default

Jika pada ketika pengujian robots.txt tertera "diizinkan" itu artinya googlebot sanggup mengakses dan merayapi situs, jikalau tertera "dicekal" itu artinya googlebot tidak diizinkan untuk merayapi url situs. Ujilah url situs anda dengan 7 jenis googlebot ibarat diatas, jikalau semua berstatus "diizinkan" maka pengaturan robots.txt tersebut sudah benar. Copy instruksi robots.txt nya kemudian pasang ke pengaturan situs blogger anda supaya tool penguji SEO (Search Engine Optimization) sanggup membacanya.

Kode Robots.txt Dasar (Default)

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://yoursitename.blogspot.com/sitemap.xml

Sekarang bagaimana contoh robots.txt khusus? Setelah mengetahui pengaturan default robots.txt maka sangat gampang untuk memahami robots.txt khusus, "Khusus" yang dimaksud pada pengaturan robots.txt yaitu pengaturan optional dari pihak pengelola situs untuk mengatur kanal robot crawl, misalnya;

Pada sebuah laman situs web terdapat halaman yang privasi atau bersifat diam-diam atau halaman yang berlawanan dengan kebijakan google, Nah, pada kasus ibarat ini pengelola situs sanggup menggunakan robots.txt khusus untuk membatasi perayapan dan peng-index-an robot crawl pada laman tersebut.

Contoh:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/cepika-cepiki.html
Disallow: /document-privacy.html
Allow: /
Sitemap: https://yoursitename.blogspot.com/sitemap.xml

Perhatikan dua baris instruksi "Disallow" yang ditandai dengan abjad tebal diatas yaitu pola robots.txt khusus, kedua url tersebut tidak akan dirayapi oleh robot.crawl dan tidak ditampilkan pada laman hasil pencarian. Makara sangat sanggup dipahami kan bahwa robots.txt khusus merupakan pengaturan optional/pengaturan kita sendiri untuk membatasi kanal robot crawl dalam merayapi situs kita.

Jika tidak ada laman yang bersifat diam-diam (privasi) maka kita tidak perlu melaksanakan pembatasan kanal terhadap robot crawl (perayap google), Dianjurkan "cukup" gunakan pengaturan default robots.txt, sesudah benar-benar paham silahkan berkreasi dengan Robots.txt Khusus.

Upload File Robots.txt Khusus ke Webmaster (Search Console)

Bagaimana cara meng-update atau meng-upload robots.txt khusus dari situs blogger ke webmaster tool (search console)?

Memperbaharui robots.txt khusus baik itu menambah atau mengurangi robots.txt dilakukan melalui dashboard "settingan" blogger, kemudian kemudian masuk ke search console dan buka fitur robots.txt tester, tekan tombol submit untuk mengupdate / upload robots.txt. Biasanya akan muncul pop-up yang berisi 3 pilihan, silahkan pilih submit untuk pembaharuan robots.txt, sesudah final lakukan refresh pada search console untuk melihat hasilnya.

Baca Juga: Setting Robots.txt Untuk Adsense

Demikian klarifikasi ihwal "robots.txt khusus" dari saya semoga bermanfaat dan menambah ilmu pengetahuan. Artikel ini saya dedikasikan kepada para blogger khususnya visitor yang menanyakan "kenapa kode robots.txt disini pendek sedangkan di situs tetangga sebelah panjang". Jika dipahami dengan benar maka artikel ini sudah cukup untuk menjawab-nya. Mohon maaf saya tidak mempublikasikan komentar dia lantaran tidak subscribe dulu gres komentar, sekian.