Robots.txt dan Fungsinya

Menurut WikiPedia Robots txt adalah sebuah ketentuan untuk mencegah web crawler dan robot web lain, dari pengaksesan seluruh atau sebagian situs web. Robot ini berguna untuk mengontrol halaman-halaman tertentu agar tidak diindeks oleh spider mesin pencari, atau situs jejaring sosial seperti Friendster, Facebook, dan Twitter. Penemu "robots.txt" adalah Martijn Koster, saat bekerja di WebCrawler pada tahun 1994.
   Robots pada blogspot berfungsi sebagai lalu lintas saat mencrawls semua artikel yang ada di website kita. Oleh karena itu, bagian mana yang boleh di index atau tidak bisa setting pada bagian robots.txt tepatnya untuk blogger terdapat pada menu Settings ->> Search Preferences ->> Crawlers and Indexing.

Berikut ini adalah contoh Robots txt yang saya buat untuk blog in, saya menggunakan Robot Control Code Generation Tool 

Itulah Artikel Saya mengenai Robots.txt dan Fungsinya. Silahkan lihat-lihat artikel Wa-Pres Blog yang lain, Barangkali bermanfaat.. :), Jangan lupa Bagikan Link Artikel ini ke teman anda ...