Mengenal Robots.txt


Apa itu robots.txt? robots.txt adalah file yang berguna untuk mencegah atau mengizinkan spider search engine atau robots search engine mengindex atau mengcrawl konten atau isi dari website kita. Secara default suatu website pasti di crawl oleh para spider search engine. Tiap informasi yang ada di website kita pasti tercrawl oleh spiderbot search engine baik itu googlebot, yahoo bot, msn bot atau yang lainnya untuk kepentingan mereka. Kasarnya website kita ditelanjangi oleh mereka! digeledah! Mangnya kita mau ditelanjangin mereka??

Nah untuk itulah kita menggunakan file yang bernama robots.txt yang berguna mencegah dan melindungi privasi kita :)

Bagaimana cara membuat file robots.txt?
Bentuk file robots.txt adalah text biasa jadi kita bisa membuatnya pake notepad atau text editor lainnya. Jadi kita tinggal bikin pake notepad lalu upload ke bagian root website kita misalnya di ahmadalimuddin.com/robots.txt, file robots.txt ini hanya berlaku untuk satu domain saja tidak berlaku untuk subdomain jadi file robots di ahmadalimuddin.com/robots.txt tidak berlaku untuk subdomain blog.ahmadalimuddin.com ;)

Apa isinya?
Ini isi dasar dari file robots.txt

User-agent: *
Disallow: /


Ini berarti menghalangi semua robot (User-agent : *) mengindex semua yang ada website kita ( Dissallow: / )

Sekarang kita buat pengecualian. misalnya kita pengen google's image bot mengcrawling tiap gambar yang ada diwebsite kita. maka isi robots.txt kita jadi seperti ini..

User-agent: Googlebot-image
Disallow: /


Nah kalo kita pengen menghalangi semua bot mengindex halaman-halaman tertentu yang penting bagi kita misalnya konten /phpmyadmin/ atau direktori /admin/ maka kita isi file robots.txt kita jadi seperti ini...

User-agent: *
Disallow: /phpmyadmin/
Disallow: /admin/


Kalo kita pengen ngizinin spider bot / crawler mengindex semua yang ada di website kita ya kita ga usah pake robots.txt atau kalo mau robots.txt nya isi dengan..

User-agent: *
Disallow:


jadi Disallow: nya di kosongin aja.. ;D

Referensi :
en.wikipedia.org/wiki/Robots_Exclusion_Standard
www.javascriptkit.com/howto/robots.shtml
Ahmad Alimuddin

Pegiat IT, pencinta startup. Pemrograman, Jaringan, Edukasi IT, makananku sehari-hari. Saat ini fokus kepada Pengembangan produk, product Management dan User Experience Research. Bapak dari 4 orang anak dari 1 istri :)

Posting Komentar

Lebih baru Lebih lama