Apakah Restricted by Robots.txt Pada Webmaster Tools Perlu di Bersihkan?

Berbicara soal webmaster tools selalu menarik. Oleh karena itu sebaiknya Anda ikuti tutorial lengkap mulai dari nol optimasi blog dengan webmaster tools untuk kesuksesan blog Anda. Yang mirip yang saya posting sebelumnya mengenai google webmaster tools adalah tentang Not Found Link (Baca: Bersihkan Not Found Link di Google Webmaster Tools).


Apa itu Restricted by Robots.txt (Dibatasi Oleh Robot.txt)
Sama seperti laporan not found link, angka pada Laporan restricted by robot.txt juga menunjukkan halaman-halaman yang gagal diakses. Jika pada not found link, gagal aksesnya karena halaman tidak ditemukan, soal restricted by robots.txt ini, Google tidak bisa akses karena memang ditolak oleh robot.txt meski sebenarnya halaman tersebut ada. Penolakan itu bisa beraneka ragam sebabnya. Misalnya Anda tidak ingin gambar-gambar di blog Anda diindeks Google, maka Anda bisa sisipkan perintah di robot.txt untuk lakukan penjagaan dan menolak saat google akan indeks gambar Anda. Nah, setiap kali google ditolak, dia laporkan tersebut di webmaster tools.

Saya Tak Lakukan Apapun
Banyak yang berpikir, saya tak lakukan apapun, kenapa tiba-tiba angka itu bisa membengkak? Perlu diketahui, untuk mesin blogger secara default memang sudah ada pembatasan utk robot google. Yakni untuk akses label. Label dituliskan:

http://www.bloganda.blogspot.com/search/label/namalabel

Halaman label memang diatur agar tidak dikunjungi bot. Semakin banyak label di blog Anda memungkinkan semakin banyak angka laporan restricted by robots.txt.

Mungkin Saya Tak Lakukan Apapun
Saya merasa tak melakukan apapun, namun mengapa laporannya bukan hanya untuk halaman-halaman label? Untuk masalah ini mungkin hanya karena tidak sadar saja Anda telah tambahkan kode. Misal saja Anda menambahkan gadget realated posts yang didalamnya mengandung script pembatasan agar tak terjadi duplicat content. Selain itu jika Anda temukan seperti ini
http://www.masdoyok.co.cc/search?updated-max=2010-05-10T16%3A08%3A00%2B07%3A00&max-results=6

artinya itu adalah halaman hasil klik older post link atau newer post link pada blog Anda. Sama saja ini juga dibatasi.

Lalu, Apakah Bermasalah?
Anda mungkin akan kebingungan karena angka yang ditunjukkan bisa sangat besar pada bagian ini. Namun ini bukan masalah. Google bahkan menyediakan fasilitas di webmaster tools yang bisa digunakan untuk membatasi halaman tertentu yang tidak ingin diindeks. Beberapa orang curang menggunakannya untuk halaman tukar link mereka sehingga link keluar mereka bukan lagi back link yang efektif. Tapi semoga Anda adalah blogger yang bertanggung jawab.

Apa Kata Google?
Jawabn resmi Google soal ini adalah:

"Google was unable to crawl the URL due to a robots.txt restriction. This can happen for a number of reasons. For instance, your robots.txt file might prohibit the Googlebot entirely; it might prohibit access to the directory in which this URL is located; or it might prohibit access to the URL specifically. Often, this is not an error. You may have specifically set up a robots.txt file to prevent us from crawling this URL. If that is the case, there's no need to fix this; we will continue to respect robots.txt for this file.

If a URL redirects to a URL that is blocked by a robots.txt file, the first URL will be reported as being blocked by robots.txt (even if the URL is listed as Allowed in the robots.txt analysis tool)."

sumber: http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=35235

Intinya Google mengatakan bahwa pembatasan oleh robot.txt itu tidak masalah. Jika Anda lakukan pembatasan untuk konten tertentu dalam blog Anda, Google menghormatinya jadi mereka tidak akan memaksa masuk atau menganggapnya sebagai pelanggaran.

Check Untuk Tenangkan Anda
Jika Anda ingin check apakah terjadi pembatasan yang tak seharusnya mengenai blog Anda, silahkan cek halaman robot Anda di http://alamatanda.blogspot.com/robots.txt
Secara default seperti ini

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Sitemap: http://www.bloganda.blogspot.com/feeds/posts/default?orderby=updated

Untuk edit atau atur pembatasan robot.txt, silahkan
1. Login WebmasterTools
2. Klik blog yang Anda inginkan

3. Pilih Konfigurasi Situs lalu klik Akses Perayap

Semoga postingan ini menambah pengetahuan Anda... Semoga apa yang saya berikan selama ini bisa bermanfaat.... Selasa?... sepertinya akan menjadi hari yang menyenangkan...