Robots.txt sangat penting bagi blog Anda. Dengan adanya robots.txt search engine seperti Google akan lebih mudah mengindex blog Anda. Robots.txt merupakan informasi bagi search engine mengenai directry mana yang boleh diakses atau tidak. Selain itu, dengan robots.txt kita bisa memblock search engine agar tidak mengakses blog kita.
Membuat robots.txt di blog wordpress dengan selft hosting tidaklah susah. Anda bisa membuat robots.txt dengan sebuah text editor misalnya Notepad. Setelah itu disimpan dengan ekstensi .txt, file robots.txt tersebut kemudian mesti di upload ke directory public_html pada webhosting. Namun, cara membuat robots.txt dengan notepad dan menguploadnya sendiri ke web hosting mungkin cukup sulit dilakukan oleh sebagian orang. Untuk itu, agar lebih mudah dalam membuat robots.txt, Anda bisa menggunakan sebuah plugins wordpress. Nama plugins tersebut adalah KB Robots.txt.
Untuk membuat robots.txt pada blog wordpress.org pertama-tama Anda mesti menginstall plugin KB Robots.txt terlebih dahulu. Berikut caranya:
- Pada Dashboard blog Anda klik Plugins » Add New Plugins
- Di kotak pencarian plugins, ketik KB Robots.txt dan klik search
- Kemudian klik install pada KB-Robots.txt yang muncul pada halaman hasil cari tadi.
- Klik install Now pada jendela instalasi yang muncul.
- Setelah selesai menginstall plugin, klik tulisan Activate Plugins untuk mengaktifkan plugins.
Poses instalasi plugins KB Robots.txt telah selesai. Kini saatnya Anda memasukkan kode robots.txt melalui setting plugins tersebut. Untuk itu ikuti langkah-langkah berikut:
- Masih pada dashboard blog, klik menu Setting » KB Robots.txt.
- Selanjutnya, ketik kode berikut pada editor yang ada pada jendela setting:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-contentUser-agent: Mediapartners-Google
Allow: /User-agent: Adsbot-Google
Allow: /User-agent: Googlebot-Image
Allow: /User-agent: Googlebot-Mobile
Allow: /Sitemap: http://www.gusadit.com/sitemap.xml
Untuk sitemap yang ada pada baris terakhir, silahkan Anda ganti dengan sitemap blog Anda. Misalkan http://www.namadomain.com/sitemap.xml. Jika belum mempunyai sitemap, silahkan baca panduan membuat sitemap untuk search engine yang telah saya post sebelumnya.
- Terakhir klik tombol Submit untuk menyimpan robots.txt Anda.
Sekarang pembuatan robots.txt telah selesai. Untuk memeriksa apakah robots.txt sudah terbuat dengan benar, Anda bisa memeriksanya dengan mengetikkan URLblog/robots.txt. Contohnya untuk blog ini, http://www.gusadit.com/robots.txt. Jika hasilnya sama dengan kode yang Anda ketik tadi berarti robots.txt Anda telah benar dan terpasang dengan baik.
Sekian tutorial cara membuat robots.txt pada blog wordpress. Semoga bermanfaat. Jika Anda ingin menambahkan silahkan ajuka pada kotak komentar.
Langganan Melalui RSS
Gus Adit di Google+
thx ilmunya…
tapi saya pasang kok ga bisa, hasilnya tidak sama dengan kode yang diatas….??
Maksudnya mas? Tidak sema bagaimana?
gan, tolong jelasin donk..kegunaan robot.txt tu apa ya?? ngaruh ke SEO ya sob?
Ngaruh gan. Memberi panduan pada robot search engine pada saat meng-crawl blog. Directory mana yang boleh di lihat atau tidak sama search engine. Kalau ga dikasi ntar semua directory ga perlu di index.
Gan, ane nubie mau tanya nih? Kl mau saya mau ngeblog alamat bagian teretntu dari blog. Misalnya bagian ini ‘aboutHN.html’ dari blog ane, coding-nya pegimana yak? makasih sebelumnya buat arahannya.
Kalau mau buat halaman About, pake halaman statis aja. Di dashboard klik Pages » Add New
Saya coba pake plugin di atas, kok error mulu ya mas. Akhirnya saya coba pake cara manual, eh malah bisa
. Btw makasih dah sharing tips-nya
Banyak yang bilang begitu mas. Tapi saya coba di semua blog saya, ga pernah error nie. Sama2. Semoga tipsnya bermanfaat.
thanks gan infonya
Infonya sangat bermanfaat Bro, thanks ya
info yang sangat bermanfaat buat newbie kayak ane hiks2. tetep semangat kang!
makasih infonya. boleh nanya ya? misalkan dalam satu hosting banyak domain/folder apakah folderfile atau folder domain lain perlu juga di disallow juga. masih bingung nih newbi
Makasih untuk tipsnya mas…
Buat Blogspot ada ga gan?…………..mohon bantuan.
Sudah dicoba robotnya mas.. dan Alhamdulillah berhasil.. Thanks alot..
sebagai pelengkap info gan http://internet-tipsdantrik.blogspot.com/2010/11/submit-site-map-ke-google-bing-dan.html kunjungi balik yah…….
info menarik nih
nice blog…… termkh….sangat membantu saya BOSS, sebg nubi di Wp
terimakasih gan..ane udah praktek dan hasilnya benar………sekali lagi terima kasih
Robot Saya Bagus Ga Ya ?
thx boss, ane cb dulu …
saya sudah mengikuti petunjuknya. malah robots.txtnya saya copy paste
hasilnya: saya langsung online dari wordpress.com dan tidak saya simpan di pc saya.
Not found
The requested URL /robots.txt was not found on this server.
Additionally, a 404 Not Found error was encountered while trying to use an ErrorDocument to handle the request.
robots yang mas sampaikan tadi bisa memblok tampilnya menu di google search apa g?
Artikelnya bagus2 um..
Lumayan buat saya belajar.. Maklum saya masih pemula..
makasih om infonya… sudah terpasang d blog saya berkat tutorialnya yg gampang d pahami
kalo ada kesalahan pd seting robot.txt, apa ngaruh diseo gan
akhirnya ketenu juga artikelnya…thanks inponya om…saya coba dulu…
I enjoyed reading this blog post! Keep up the great work.
Thanks
kalau buat di blogspot cara masukin nya gimana ya gan? need help
Klo blogspot ga bisa buat sendiri gan. Mesti blog yang dihosting sendiri.
Gus, kalau pakai “Robots Meta Configuration” itu yang dicentang dan yang gag dicentang yang mana..?
(maksud ane menurut pengalaman Gusadit sendiri – saya masih newbie, bingung)
Maksud mas, Anda pakai plugin Robots Meta Configuration? Maaf saya belum pernah paki plugin tersebut mas.
Saya sudah gunakan seperti saran anda untuk setting awal, hasilnya memuaskan. terima kasih.
MAKAIH INFONYA GAN,, SUKSES SELALU YA
terima kasih ya tutorialnya
thanks infonya mas ,, sangat membantu ,,
BTw web saya sudah 3 bulan gak keindex google , tp di bing , n yahoo terindex , itu apa ada hubungannya dengan robot.txt ini ya ??
bls di email sangat senang hehehe
Mungkin saja ya mungkin juga tidak mas. Bisa dipost isi robot.txt nya.
mas, saya ada blog tumblr. kebetulan dia udah otomatis ada robot.txt nya tapi ngga bisa saya setting sendiri. misal allow robot apa, dll.
ada alternatif lain?
tq
Klo tumblr, wordpress.com ama blogspot memang ga bisa kita setting robot.txt-nya. Lain halnya dengan blog yang kita host sendiri. Misalnya self-hosted wordpress.