Cara Atasi Blocked by Robots Pada Blog Sulit Di Index Google
Setiap waktu Googlebot melakukan perayapan terhadap konten dari blog, waktu yang diperlukan google untuk melakukan perayapan adalah tergantung dari konten dan blog sobat. Pastikan bahwa konten yang dibuat bukan "copas" dari blog orang lain, serta template yang digunakan ringan untuk diakses.
Seiring waktu, bila konten memenuhi persyaratan yang ditetapkan google maka setiap konten akan dapat terindex dengan baik. Minimal 1 bulan setelah konten di publish perlu di analisis, apakah sudah terindex atau belum ?. Pertanyaan muncul ketika setelah lama artikel dibuat namun tidak juga terindex di google.
Baca juga :
- Cara Memahami Penulisan Robots.txt Dengan Benar
- Pilih Google Adsense Hosted atau Non-Hosted Menentukan Arah Anda
- 10 Hal Penting Yang Harus Diperhatikan Sebelum Ganti Template Blog
- Cara Mengatasi Gambar Artikel Tidak Muncul Saat Di Share Facebook
Beberapa kemungkinan bisa terjadi, salah satu faktor penyebabnya adalah terblok oleh robot.txt. Bagi blogger pemula sangat direkomendasikan untuk tidak melakukan pengedikan robot.txt yang sudah default. Namun bila sudah dipahami cara membuat robot.txt google akan cepat sekali melakukan perayapan.
Bagaimana cara mengatasi blocked by robots ?
Disini saya tidak akan membahas Cara membuat robot.txt, namun akan dijelaskan Cara Mengatasi Blocked by Robots Pada Blog Sehingga Sulit Di Index Google.
1. Kosongkan Robot.txt pada Crawlers and indexing di dashboard blog.
Untuk blog baru dibuat pastinya kondisi Robot.txt masih dalam kondisi kosong, namun tidak ada salahnya untuk tau dan mengecek secara langsung pada dashboard blog.
Pastikan pada bagian Custom robots.txt dalam kondisi off
2. Buat Robot.txt dengan hati-hati yang Memahami Maksudnya.
Resiko dari mengutak atik robots.txt dengan adanya perintah yang salah adalah, google tidak akan perayapi halaman blog sobat, namun pastinya juga sobat akan tergiur apabila ternyata dengan mengaktifkan robots.txt dan menuliskan beberapa script yang benar, Googlebot dapat diundang secara langsung untuk melakukan perayapan.
Semua terdapat resiko yang harus diterima, bila sobat nekad untuk mencoba menuliskan script pada robot.txt, pastikan tau maksud dari setiap script dan tidak terdapat kesalahan dalam menulis. Dibawah ini sedikit saya jelaskan menulis script pada Robots.txt secara standar.
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://[alamat blog]/sitemap.xml
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://[alamat blog]/sitemap.xml
User-agent: * : artinya bahwa blog sobat diberikan ijin kepada google dan partnernya untuk melakukan perayapan.
Dissallow: /search : artinya perayapan tidak dijinkan untuk jenis pencarian misal pengunjung menggunakan kotak pencarian, nah itu tidak akan di periksa oleh google.
Allow: /
Sitemap: http://[alamat blog]/sitemap.xml : artinya bahwa googlebot di ijinkan untuk melakukan perayapan pada pemetaan situs yang disimpan dalam file sitemap.xml (setiap blog pasti memiliki file sitemap.xml. dan dapat dilihat oleh setiap orang)
Untuk mengecek sitemap.xml silahkan ketikan URL sobat dan tambahkan /sitemap.xml. Maka akan tampil seperti gambar di bawah ini.
Script Robot.txt yang saya tulis adalah sangat standar, untuk mempelajari lebih dalam lagi tentang penulisan script Robot.txt. bisa kunjungi artikel saya tentang Cara Memahami Penulisan Script Robot.txt.
4. Mendaftarkan Sitemap Blog ke Webmaster
Lakukan pendaftaran Peta Situs (Sitemap) pada halaman webmaster https://www.google.com/webmasters
Klik Tambah/Uji Peta Situs dan masukan alamat URL, kemudian klik tombol Kirim
5. Lakukan Fetch as Google pada Halaman Webmaster
Apabila pada Robots.txt tidak terdapat kesalahan, sobat harus secara rutin untuk melakukan Fetch as Google pada halaman webmaster. Hal ini berfungsi agar mesin google segera mengetahui link artikel terbaru yang dibuat pada blog sobat.
Biasanya google hanya membatasi Fetch as Google sebanyak 100 URL setiap hari, namun sobat harus bijak dengan tidak secara sekaligus melakukannya, buatlah rutin misal 10 alamat URL artikel dalam setiap hari. Hal ini dilakukan agar google tidak mencurigai sobat sebagai spam.
Masuk ke halaman Webmaster Cari menu Perayapan, klik Fetch as Google
Setelah klik tombol Ambil dan Render tunggu beberapa saat kemudian lanjutkan dengan klik tombol Minta Pengindeksan
Ceklish Kotak Chaptcha, pilih mode Rayapi URL ini dan link langsungnya
Lakukan Fetch as Google setiap sobat memiliki artikel baru, agar link dari artikel tersebut dapat dengan cepat diketahui oleh mesin google.
6. Perbaiki link yang rusak pada Menu Errors and redirections di dashboard blog
Usia blog semakin lama dan semakin banyak konten, dimungkinkan terdapatnya link artikel yang rusak bisa karena diganti, atau dihapus. Oleh karena itu sobat harus rajin memeriksa di halaman Webmaster pada menu Kesalahan Perayapan, lihat bila terdapat kesalahan perayapan disebabkan adanya perubahan link, maka sobat harus perbaiki.
Berikut cara memperbaiki link yang rusak. Silahkan masuk ke dashboard blog klik menu Setting kemudian Search Preferences
Masukan link artikel yang salah dari webmaster ke kotak nomor 1, kemudian masukan link yang benar ke kotak nomor 2, selanjutnya ceklish Permanen dan Save lanjutkan dengan mengklik tombol Save Change.
Baca juga :
7. Menunggu dan Rutin melakukan pengecekan kesahalan perayapan
Nah disini adalah sobat harus bersabar menunggu beberapa sambil terus memproduksi berbagai artikel lainnya, agar google dapat melakukan perayapan terhadap link artikel yang telah di daftarkan. Jadi kesimpulan dari artikel yang saya buat adalah.
Tidak terindex-nya alamat situs atau link dari artikel karena adanya Block by Robots, dapat diatasi dengan berbagai hal, bahkan saya jelaskan dengan sedikit tambahan untuk mempercepat proses perayapan, Sehingga diharapkan semua artikel yang sobat tulis berdapa "Page Rank" Google.
Demikian penjelasan saya tentang Cara Atasi Blocked by Robots Pada Blog Sehingga Sulit di Index Oleh Google, nantikan artikel lainnya dengan topik yang sama atau dalam cakupan kategori Dunia Teknologi Komputer. Semoga bermanfaat.