Cara Setting Robots.Txt Di Blogger Yang Benar
Jadi mari kita mulai panduan ini...
Contents
Apa itu Robots.txt?
Robots.txt ialah file teks yang berisi beberapa baris kode sederhana.
Ini disimpan di situs web atau server blog yang menginstruksikan perayap web tentang cara mengindeks dan merayapi blog kamu dalam hasil pencarian.
Itu berarti kamu mampu membatasi halaman web di blog dari crawler web sehingga tidak bisa di indeks di mesin pencari seolah-olah halaman label blog , halaman demo atau halaman lain yang tidak penting untuk di indeks.
Selalu ingat bahwa perayap pencarian memindai file robots.txt sebelum merayapi laman web mana pun.
Setiap blog yang dihosting di blogger memiliki file robots.txt default yang terlihat seperti ini:
User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Allow: / Sitemap: https://masjoid.blogspot.com/sitemap.xmlPenjelasan Kode Pada Robots.txt
Kode di atas dibagi menjadi tiga bagian. Pertama mari kita pelajari masing-masing setelah itu kita akan belajar cara menambahkan file robots.txt kustom di blog blogspot.
User-agent: Mediapartners-Google
Kode ini untuk robot Google Adsense yang membantu mereka menampilkan iklan yang lebih baik di blog . Entah kamu menggunakan Google Adsense di blog atau tidak. biarkan begitu saja.
Disallow:
Yang tidak di bolehkan tidak ada.
Disallow: /search
Ini berarti tautan yang memiliki pencarian kata kunci tepat setelah nama domain akan diabaikan. Lihat contoh di bawah ini yang merupakan tautan halaman label bernama SEO.
https://masjoid.blogspot.com/ search / label / SEO
Dan jika kita menghapus Disallow: / search dari kode di atas maka crawler akan mengakses seluruh blog kita untuk mengindeks dan merangkak semua konten dan halaman webnya.
User-agent: *
Ini untuk semua robots yang ditandai dengan tanda bintang (*). Dalam pengaturan standar, tautan label blog kami dibatasi untuk diindeks oleh crawler pencarian yang berarti crawler web tidak akan mengindeks tautan halaman label.
Allow: /
Yang di ijinkan unutk di rayapi oleh robots.txt tanda / yakni blog kamu.
Sitemap:
Kode ini mengacu pada peta situs blog kita. Dengan menambahkan tautan sitemap di sini kami hanya mengoptimalkan tingkat perayapan blog kami.
Berarti kapan pun perayap web memindai file robots.txt kami, mereka akan menemukan jalur ke sitemap kami daerah semua tautan pos yang kami terbitkan hadir.
Perayap web akan gampang merayapi semua postingan
Karenanya, ada peluang yang lebih baik bahwa perayap web merayapi semua posting blog kami tanpa mengabaikan satu pun..
Menambahkan Robots.Txt Default di Blogger
Sekarang cuilan utama dari tutorial ini yakni bagaimana cara menambahkan custom robots.txt di blogger. Makara di bawah ini yaitu langkah untuk menambahkannya.
1. Login ke blogger kamu.
2. Pilih ke Pengaturan >> Preferensi Penelusuran ›› Perayap dan pengindeksan ›› Robots.txt khusus ›› Edit ›› Ya
4. Sekarang tempel kode file robots.txt di dalam kotak.
5. Klik tombol Simpan Perubahan.
6. Kamu selesai!
Di tutorial ini saya menggunakan robot.txt default saja bila ingin menggunkan file robot.txt yang sudah di modifikasi di bawah ini text nya.
Costume robots.txt Blogger yang Aman dan SEO Friendly
Untuk cara pemasangan sama saja dengan di atas.
User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /p/about.html Disallow: /p/contact.html Allow: / Sitemap: https://blog-anda.blogspot.com/sitemap.xmlGanti sitemap dengan alamat blog kamu, robots.txt di atas memberikan perintah untuk tidak mengindek halaman about dan contact,
Cara Memeriksa File Robots.txt
Kamu mampu mengusut file ini di blog dengan menambahkan /robots.txt di balasan URL blog kamu di browser web. Sebagai teladan:
https://masjoid.blogspot.com/ robots.txtSetelah kamu mengunjungi URL file robots.txt akan melihat seluruh kode yang gunakan dalam file robots.txt kustom.
Lihat gambar di bawah ini..
Baca Juga : Setting Tag Tajuk Robot Khusus Blogger yang aman di blogger
Pastikan untuk tidak memasukkan kode apa pun di pengaturan robots.txt khusus kamu tanpa mengetahuinya. atau bisa bekomentar di postingan ini untuk bertanya tentang artikel ini.
Demikian untuk Cara Setting Robots.txt Default dan Custom Robots di Blogger semoga bermanfaat terimakasih.
