Cara setting Robot Txt Blog SEO friendly (Blogspot dan Wordpress )

Oke,langsung saja .. kali ini saya akan menuliskan sebuah catatan pengaturan Tag robot txt blogger.

Blogspot merupakan platform yang cukup mudah dalam mengatur robot txt . Platform ini cukup banyak di gunakan oleh blogger Indonesia maupun manca negara di belahan dunia lain.

Selain itu tidak kalah menariknya WP, pengguna wordpress juga tidak kalah banyaknya. Platform ini di nilai memiliki banyak kelebihan,salah satunya plugin SEO Nya.

Dalam konteks belajar SEO on page tidak bisa di lewatkan begitu saja terkait dengan pengaturan robot txt.

Ini mempengaruhi bot google ( Search engine ) melakukan Crawling , Indexing sebuah halaman website kamu.

Fungsi robot txt blog.

Cara setting robot txt blogger, WordPress
Sebelum mengatur robot txt , kamu harus tau terlebih dulu fungsinya.

Ini erat sekali kaitannya dengan mempelajari SEO ,meningkatkan pencarian google maupun faktor penting blog ramai pengunjung.

Dalam hal ini sebagai webmaster harus bisa memaksimalkan semua lini optimasi website agar dapat merangking blognya.

Tentu salah satu parameter kesuksesan optimasi SEO adalah dengan adanya trafik, pengunjung website banyak.

Dalam hal ini salah satunya mengatur robot txt supaya lebih SEO friendly. Baik pengguna platform blogger / blogspot maupun CMS lain seperti wordpress.

Meskipun tanpa optimasi SEO sering robot txt setiap web bisa di akses sama seseorang. Tetapi banyak hal yang perlu di maksimalkan supaya mampu nangkring di pencarian halaman pertama.

Apa itu robot txt ? Robot txt adalah file yang berisi instruksi atau perintah dasar perayapan bot search engine untuk crawl halaman yang terdapat pada website.

Hal ini bertujuan di lakukan optimasi yakni supaya menjadi lebih SEO. Dan sisi lain dapat berdampak buruk apabila salah dalam mengatur robot txt sebuah website.

Secara pengertian robot txt dapat diatur / memerintah crawl bot search engine dan mengarahkan halaman mana saja yang tidak boleh di index, contoh halaman admin. Atau ketentuan lain yang di sesuaikan oleh keinginan pemilik website.

Secara umum Bagan dalam sebuah website biasanya , file admin , halaman , isi artikel. Dan jenis lain yang merupakan isi konten website .

Dari berbagai isi dari sebuah website itulah dapat di sesuaikan, mana yang boleh di rayapi, atau siapa yang boleh merayapi.

Berkaitan dengan fungsi robot txt website ,mengapa seorang webmaster harus menggunakanya.. ? Terjawab sudah .

Jadi dapat di simpulkan bahwa fungsi robot txt adalah :

  1. Mengarahkan spider web merayapi halaman, dan memerintahkan untuk index dan no index.
  2. Membatasi dan mengontrol akses , blokir halaman konten supaya tidak diakses dan terindex pada mesin telusur (Google ,Bing, yandex).
  3. Memberikan informasi penting yang menjadi perintah bot search engine.
Itulah gambaran umum terkait fungsi robot txt.

Perintah dasar robot txt.


Tahap berikutnya adalah mengenal perintah atau sintax yang di gunakan pada penggunaan robot txt.

Secara umum semua website menggunakan perintah dasar berikut.

User-agent :
Allow :
Disallow :
Sitemap :

Dari sintax diatas adalah pondasi awal sebuah perintah yang dapat di mengerti spider web dan akan di jadikan sebuah landasan instruksi.

Contoh apabila akan melarang bot untuk Crawling seluruh isi dari situs ,

User-agent: * Disallow: /

Dalam penggunaan perintah tersebut dalam beberapa situasi situs masih dapat terindeks , meskipun belum dilakukan crawl. Aturan tersebut tidak cocok dengan bot crawl adsbot.

Jadi jika kita pahami perintah dasar dari fungsi robot txt maka sebagai berikut.


  1. User-agent : / Adalah jenis bot yang akan di klasifikasikan. Yakni bisa menjadi lebih spesifik dengan menampilkan jenisnya sepeti , mediapatner , dll.
  2. Allow : Merupakan pernyataan memperbolehkan perayapan terhadap halaman atau sisi website.
  3. Disallow : adalah perintah yang menyatakan larangan diratapi. Dalam hal ini penggunanya dapat menunjuk halaman mana yang tidak di perbolehkan.
  4. Site : Merupakan pernyataan dari situs yang menggunakan perintah diatas.

Jadi harus paham terkait dasar dari perintah robot txt , nah saya akan bahas secara detail sehingga kamu tidak salah melangkah dalam mempelajari SEO .

Disini kamu bisa mengerti cara setting robot, memahami isi dan perintah dari sintax file robot txt serta cara menerapkan langsung pada sebuah website.

Cara SEO menghilangkan Akhiran Kode ?m=0 dan ?m=1

Cara setting robot txt.


Ada 3 jenis platform situs yang umum di gunakan oleh pengelola website. Dan pembahasan menerapkan robot txt ini tidak terpaut hanya pengguna blogspot saja, atau wordpress  melainkan saya akan ulas penerapannya ke semua platform.

Apa saja, iya umumnya pengguna blogger, wordpress dan native blog atau sebuah website yang di bangun menggunakan bahasa pemrograman secara native. Sebut saja seperti memakai PHP, html , atau frame work Code igniter, dan lain sebagainya.

1. Setting robot txt blogger.

Langkah berikut nya adalah menerapkan atau mengaplikasikan nya di sebuah blog. Pada saat anda ingin menjadi blogger sukses dan memiliki banyak pengunjung, tidak dapat di hindari mempelajari SEO.

Setting robot txt merupakan bagian dari teknik SEO on page. Jika kamu pengguna platform blogspot ,sebenarnya sudah ada terdapat robot txt yang secara otomatis tertanam didalamnya.

Yakni default, namun agar lebih optimal lagi perlu setting ulang. Bagaimana caranya, berikut langkah setting tag robot txt blogger.

Pertama silahkan login ke dasbor blog kalian , kemudian gulir kebawah pilih "Settings" >> "Search preference".
Cara setting robot txt seo
Berikutnya untuk mengaktifkan custom robot txt ,silahkan pilih edit, dan "Yes" seperti gambar di bawah.

Berikutnya isikan sintax ,seperti contoh di bawah.

User-agent: Mediapartners-GoogleDisallow:User-agent: *Disallow: /searchAllow: /Sitemap:https://www.inforesep.xyz/feeds/posts/default?orderby=UPDATED

Cara SEO robot txt
Kemudian pilih,save changes ,selesai.

Note
Bagian sitemap, sisi sesuai alamat website anda.

2. Setting robot txt WP.


Dan yang kedua adalah menerapkan setting robot txt pada platform WordPress. Menjadi salah satu platform yang memiliki banyak pengguna dan mudah dalam mengoptimasi SEO on pages karena dukungan berbagai plugin.

File robot txt pada umunya di simpan pada directory root pada sebuah hosting. Dalam bentuk sederhana nya di simpan pada folder "Public " .

Membuat robot txt pada WordPress biasanya sintax nya seperti di bawah.

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://www.webanda.com/sitemap_index.xml

Jika di baca format diatas artinya mengizinkan semua spider bot untuk merayapi situs yang ada pada wp-content / upload/ yang sesuai pada sitemap.

Sedangkan bot dilarang merayapi dan mengindeks pada folder plugin dan wp-admin.

Itulah bentuk sederhana dalam penerapan robot txt pada WordPress, namun saya rekomendasikan menggunakan seperti dibawah.

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: http://www.webanda.com/post-sitemap.xml
Sitemap: http://www.webanda.com/page-sitemap.xml

 Berdasarkan sintax tersebut yakni menginstruksikan robot untuk merayapi dan mengindeks semua file dan gambar supaya bisa masuk dalam pencarian google (Mesin pencari).

Selain itu melarang merayapi dan mengindeks pada folder wp-admin,readme.html,dan folder refer.

Dan berikut cara buat robot txt WP 

  1. Pertama silahkan install plugin Yoast SEO.
  2. Setelah terinstall ,silahkan menuju Tools setelah terinstall kemudian pilih "SEO >> tools ". Pada halaman tersebut kamu bisa dapat menggunakan pilihan "File editor".
  3. Berikutnya ke tahap membuat file dengan pilih "Create a new robot.txt" . Pada halaman ini kamu bisa masukan setelan robot txt seperti contoh diatas, lalu simpan.


Itulah cara pertama dalam mengatur dan membuat robot txt pada platform WordPress. Nah cara kedua dapat mengikuti instruksi seperti di bawah.

3. Setting robot txt website / native.


Cara yang ketiga bisa di terapkan pada webmaster yang sedang mengembangkan website dengan native programing.

Secara konsep setelan penggunan sama dengan robot txt diatas. Yakni dengan memahami sintax dan perintah. Langkahnya mudah.

Pertama buka notepad pada komputer, kemudian tuliskan isi robot txt yang akan kamu sesuaikan dengan karakter website.  Mulai dari menentukan halaman yang boleh di rayapi dan tidak boleh, menetapkan folder yang tidak perbolehkan untuk di index serta mengarahkan peta situs.

Setelah itu simpan file , dan beri nama  "Robot.txt" , selanjutnya upload di directory root web ada.

Itulah tutorial lengkap tentang cara membuat robot txt pada blogspot, wordpress maupun website lainya. Semoga bermanfaat.

0 Response to "Cara setting Robot Txt Blog SEO friendly (Blogspot dan Wordpress )"

Post a comment

Iklan Atas Artikel

Iklan Tengah Artikel 1

Iklan Tengah Artikel 2

Iklan Bawah Artikel