Cara Mengatur Validasi Robots.txt

Pengertian Robot.txt
Robot.txt adalah sebuah file yang berguna untuk membatasi penulusuran robot mesin pencari seperti: Google.com Bing.com yahoo.com Yang sedang menjelajahi blog yang sobat punya. Sebelum mereka menjelajahi blog anda, dia akan memeriksa blog untuk melihat apakah di dalam blog sobat terdapat sebuah file Robot.txt. dan mesin pencari itu juga memeriksa folder di dalam Robot.txt apakah ada perintah pengindekkan atau tidak. yang bertujuan untuk mencegah mereka mengakses halaman tertentu yang berada di blog.

Tujuan Pemasangan Robot.txt
Tujuan pemasangannya adalah agar robot - robot mesin pencari itu tidak mengindeks halaman di search engine Google, Bing, Yahoo dll yang tidak anda inginkan

• Kunjungi website http://tool.motoricerca.info/robots-checker.phtml
  
• Masukkan alamat blog anda seperti contoh http://www.contohblog.com/robots.txt atau http://contohblog.blogspot.com/robots.txt dan tekan tomol check robot.txt
   
• Bila anda belum memasang robot.txt di blog silahkan abaikan langkah ini
  Setelah anda cek robot.txt dan terdapat eror seperti di bawah ini maka anda perlu mengatur robot.txt yang sobat pakai.
  WARNING: The tool has found some directory paths that don't include a trailing slash character. Since a missing trailing slash can be both a deliberate decision or an error, and since this tool can't ipotize the real intentions of the webmaster, here follow some clarifications that could prevent a potential problem:
  The following command will disable just the directory "private" and all its contents:
  Disallow: /private/
  ...while the following command will disable both the "private" directory and any file or directory path starting with the text "/private" (so "/private-eye.html", "/privateroom/page.html", etc.):
  Disallow: /private
  Please be sure to use the correct syntax, according to your needs.
• Biasanya robot.txt yang di pasang oleh para blogger adalah sperti dibawah ini :
  User-agent: Mediapartners-Google
  Disallow:
  
  User-agent: *
  Disallow: /search
  Allow: /
  Sitemap: http://www.nama-blog-sobat.com/feeds/posts/default?orderby=UPDATED
  
  Kesalahan robot.txt di atas adalah terletak pada Line 6, disana ada perintah Allow: / padahal perintah itu tidak di terima oleh "User-agent" dan perintah yang di terima "User-agent" adalah "Disallow".
• Untuk memperbaiki ERROR tersebut, silakan Edit robot.txt yang salah tadi sehingga menjadi seperti dibawah ini:
  User-agent: Mediapartners-Google
  Disallow:
  
  User-agent: *
  Disallow:
  
  Sitemap: http://www.nama-blog-sobat.com/feeds/posts/default?orderby=UPDATED
• Setelah itu simpan perbuhan tersebut, kemudian cek kembali robot.txt sudah valid atau belum?

Untuk anda yang memiliki blogger namun belum memasang robot.txt dan ingin memasangnya silahkan pakai robot.txt diatas dengan cara ikuti langkah dibawah ini:
Masuklah ke dashboard Blogger - Setelan - Preferensi Penelusuran - Klik Edit pada Robots.txt - Aktifkan - Isi dengan robot.txt. kemudian simpan.

Semoga artikel ini bermanfaat!