Robots.txt untuk blogspot

Robots pada blogspot berfungsi sebagai lalu lintas saat mencrawls semua artikel yang ada di website kita. Oleh karena itu, bagian mana yang boleh di index atau tidak bisa setting pada bagian robots.txt tepatnya untuk blogger terdapat pada menu Settings ->> Search Preferences ->> Crawlers and Indexing.

Berikut ini adalah contoh Robots txt yang jaka buat untuk blog ini yang dimana berfungsi untuk meningkatkan indexing mesin pencari khususnya google.