Membuat Robots.txt dengan Plugin WordPress SEO

Robots.txt sangat penting bagi blog Anda. Dengan adanya robots.txt search engine seperti Google akan lebih mudah mengindex blog Anda. Robots.txt merupakan informasi bagi search engine mengenai directry mana yang boleh diakses atau tidak. Selain itu, dengan robots.txt kita bisa memblock search engine agar tidak mengakses blog kita.

Membuat robots.txt di blog wordpress dengan self hosting tidaklah susah. Anda bisa membuat robots.txt dengan sebuah text editor misalnya Notepad. Setelah itu disimpan dengan nama file robots.txt (ingat gunakan ekstensi .txt), file robots.txt tersebut kemudian mesti di upload ke directory utama blog Anda pada webhosting.

Namun bagi Anda yang menggunakan plugin WordPress SEO dari Yoast, Anda tidak perlu membuat robots.txt dengan notepad dan menguploadnya sendiri ke web hosting. Dengan fitur Edit Files dari plugin ini, Anda dapat mengubah file robots.txt dari Dashboard blog.

Nah untuk lebih mudahnya, saya sarankan Anda menginstall plugin WordPress SEO ini. Selain untuk membuat robots.txt, fungsi utama plugin ini adalah untuk mengatur SEO On Page dari situs Anda.

Isi file Robots.txt

Sebelum Anda mengupload file robots.txt, ada baiknya Anda lebih tahu dahulu dari isi file tersebut. Berikut isi lengkapnya:
[sourcecode language=”plain”]
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/upgrade
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$

Sitemap: https://www.gusadit.com/sitemap_index.xml
[/sourcecode]

Baris terakhir (13) adalah sitemap (xml sitemap) blog Anda. Silahkan Anda ganti dengan sitemap blog Anda. Misalkan http://www.namadomain.com/nama_file_sitemap.xml. Jika belum mempunyai sitemap, silahkan baca panduan membuat sitemap untuk search engine yang telah saya post sebelumnya.

Mengupload file Robots.txt ke Hosting

Untuk membuat robots.txt pada blog wordpress.org pertama-tama Anda mesti menginstall plugin WordPress SEO terlebih dahulu. Berikut caranya:

  1. Pada Dashboard blog Anda klik Plugins » Add New
  2. Di kotak pencarian plugins, ketik WordPress SEO dan tekan tombol Enter pada keyboard
  3. Cari Plugin WordPress SEO

  4. Kemudian klik install pada WordPress SEO by Yoast yang muncul pada halaman hasil cari tadi.
  5. Install Plugin WordPress SEO

  6. Jika muncul pemberitahuan “Are your sure yo want to install this plugin?”, klik OK. Proses instalasi pun berjalan.
  7. Setelah selesai menginstall plugin, klik tulisan Activate Plugins untuk mengaktifkan plugins.
  8. Activasi Plugin WordPress SEO

Poses instalasi plugins telah selesai. Kini saatnya Anda memasukkan kode robots.txt menggunakan fitur Edit Files dari plugins tersebut. Untuk itu ikuti langkah-langkah berikut:

  1. Masih pada dashboard blog, klik menu SEO » Edit Files. Menu ini berada dibawah menu Settings
  2. Menu Edit Files Plugin WordPress SEO

  3. Pada jendela Edit Files lihat pada bagaian Robots.txt. Jika blog Anda belum mempunyai file Robots.txt, maka akan ada peberitahuan “You don’t have a robots.txt file. Create one here”. Klik pada tombol Create robots.txt file. Setelah itu akan muncul sebuah kotak editor.
  4. Tombol Buat Robots.txt

  5. Masukkan atau ketik isi dari file robots.txt pada editor tersebut. Anda bisa menggunakan contoh diatas, namun jangan lupa ubah baris terakhir dengan alamat sitemap Anda. Terakhir klik tombol Save changes to Robots.txt untuk menyimpan perubahan.
  6. Simpan File Robots.txt

Sekarang pembuatan robots.txt telah selesai. Untuk memeriksa apakah robots.txt sudah terbuat dengan benar, Anda bisa memeriksanya dengan mengetikkan URLblog/robots.txt. Contohnya untuk blog ini, https://www.gusadit.com/robots.txt. Jika hasilnya sama dengan kode yang Anda ketik tadi berarti robots.txt Anda telah benar dan terpasang dengan baik.

Sekian tutorial cara membuat robots.txt pada blog wordpress. Semoga bermanfaat. Jika Anda ingin menambahkan silahkan ajuka pada kotak komentar.

47 komentar ke “Membuat Robots.txt dengan Plugin WordPress SEO

    • Ngaruh gan. Memberi panduan pada robot search engine pada saat meng-crawl blog. Directory mana yang boleh di lihat atau tidak sama search engine. Kalau ga dikasi ntar semua directory ga perlu di index.

  1. Gan, ane nubie mau tanya nih? Kl mau saya mau ngeblog alamat bagian teretntu dari blog. Misalnya bagian ini ‘aboutHN.html’ dari blog ane, coding-nya pegimana yak? makasih sebelumnya buat arahannya.

  2. makasih infonya. boleh nanya ya? misalkan dalam satu hosting banyak domain/folder apakah folderfile atau folder domain lain perlu juga di disallow juga. masih bingung nih newbi

  3. saya sudah mengikuti petunjuknya. malah robots.txtnya saya copy paste
    hasilnya: saya langsung online dari wordpress.com dan tidak saya simpan di pc saya.

    Not found
    The requested URL /robots.txt was not found on this server.

    Additionally, a 404 Not Found error was encountered while trying to use an ErrorDocument to handle the request.

  4. Gus, kalau pakai “Robots Meta Configuration” itu yang dicentang dan yang gag dicentang yang mana..?
    (maksud ane menurut pengalaman Gusadit sendiri – saya masih newbie, bingung) :)

  5. thanks infonya mas ,, sangat membantu ,,

    BTw web saya sudah 3 bulan gak keindex google , tp di bing , n yahoo terindex , itu apa ada hubungannya dengan robot.txt ini ya ??

    bls di email sangat senang hehehe

  6. mas, saya ada blog tumblr. kebetulan dia udah otomatis ada robot.txt nya tapi ngga bisa saya setting sendiri. misal allow robot apa, dll.
    ada alternatif lain?
    tq

    • Klo tumblr, wordpress.com ama blogspot memang ga bisa kita setting robot.txt-nya. Lain halnya dengan blog yang kita host sendiri. Misalnya self-hosted wordpress.

  7. saya sudah coba pakai pluginsnya tapi eror gan, trus saya pake manual dan bisa. apa ada perbedaan antara pemasangan manual dan pakai plugins terhadap bolg kita? trims

    • Sebenarnya tidak ada bedanya. Plugin ini juga sudah tidak pernah di update. Mendingan install WordPress SEO dari Yoast. Ada editor robots.txt nya juga

Berikan Komentar

Gunakan nama real Anda (bukan nama blog atau kata kunci blog) pada kolom nama dibawah atau komentar Anda akan dianggap spam.