knowledge

SEARCH KNOWLEDGE

Robots txt: Fungs...

Robots txt: Fungsi dan Cara Setting Robots txt

01 Apr ·

2 min read

14.081

Website & Mobile Apps

Anda perlu melakukan pengaturan file robots txt agar konten website dapat terindeks oleh Google. Jangan sampai artikel sudah di-publish, namun tidak terindeks Google.

Kalau hal ini yang terjadi, tentu bikin rugi. Mengapa? Sebab, robots txt memiliki peranan besar dalam optimasi SEO dan dapat menaikkan peringkat situs di Search Engine Result Pages (SERP).

Nah, agar hasilnya optimal, baca penjelasan lengkap mengenai apa itu robot txt, fungsinya, dan cara setting robot txt di artikel ini.

Apa Itu Robots Txt?

Robots txt merupakan gabungan dua kata, robots dan txt (text). Jadi, pengertian robots txt adalah kode atau file berisi perintah kepada robots search engine untuk melakukan indexing.

Perintah yang dimaksudkan di sini agar Google melakukan crawling terhadap setiap URL yang ada di dalam website, termasuk URL yang tidak boleh diindeks.

Mengapa harus memberitahu Google tentang halaman apa saja yang harus di-crawl dan mana halaman yang tidak boleh diindeks? Karena Googlebot memiliki limit perayapan.

Jadi, saat Anda tidak memasukan file robots txt, bisa jadi URL yang seharusnya diindeks malah tidak dirayapi Google.

Peran penting lain dari robots txt yaitu, tanpa adanya perintah, Googlebot memerlukan banyak waktu dalam melakukan indexing.

Apa Itu File Robot Txt?

File robots txt adalah elemen penting dalam mengelola aksesibilitas situs web oleh mesin pencari.

Dengan memahami fungsi dan cara pengaturannya, Anda dapat mengontrol bagaimana Google berinteraksi dengan halaman-halaman spesifik pada situs Anda.

Fungsi Robots Txt

Adapun fungsi robots txt, yaitu:

Memberikan perintah kepada Google untuk melakukan perayapan / crawling terhadap halaman situs tertentu.
Mencegah mesin pencari Google melakukan crawling pada duplikat konten.
Membatasi indexing untuk halaman situs tertentu agar beban server menjadi ringan.

Istilah-Istilah Robots Txt

Ada beberapa istilah robots txt yang perlu Anda ketahui untuk memahami cara kerja dan pada saat melakukan pengaturan. Beberapa istilah tersebut, yaitu:

User-Agent: mendeskripsikan jenis / nama robot yang akan mendapatkan instruksi untuk melakukan perayapan.
Disallow: memberikan perintah kepada User-Agent agar tidak melakukan crawling pada halaman tertentu.
Allow: memberikan izin ke mesin pencari Google agar melakukan indexing pada halaman maupun subfolder, walaupun folder utama tidak diizinkan indexing.
Crawl-delay: untuk mengatur kecepatan Google dalam melakukan crawling.
Sitemap: untuk memberitahu lokasi peta situs XML yang berkaitan dengan URL.

Cara Setting Robots Txt di Wordpress

Setelah memahami apa itu robots txt, selanjutnya lakukan pengaturan pada situs web agar mesin pencari Google dapat merayapi situs secara maksimal. Berikut ini cara setting robots txt untuk Wordpress.

1. Cara Setting Robots Txt untuk Wordpress

Untuk pengguna Wordpress, mengatur file robots txt dapat dilakukan dengan mengunggah file yang sudah ditentukan secara manual.

Cara lain yang lebih mudah, Anda bisa memanfaatkan fitur yang tersedia pada plugin SEO, seperti Yoast SEO dan All in One SEO Pack.

Yoast adalah plugin SEO yang populer untuk platform WordPress. Plugin ini memudahkan Anda untuk mengelola pengaturan teknis, seperti pengindeksan halaman, penanganan tautan yang rusak, dan penyesuaian algoritma mesin pencari.

Ikuti langkah berikut jika ingin melakukan pengaturan robot txt di Yoast:

Install Plugin Yoast SEO.
Klik SEO-Tools, lalu akan muncul beberapa pilihan. Selanjutnya klik File Editor.
Dari File Editor, Anda akan diarahkan untuk membuat file robots txt.
Silakan buat pengaturan sesuai kebutuhan.

2. Mengatur File Robots Txt Secara Manual

Cara manual setting robots txt di Wordpress, yaitu menggunakan FTP dari CPanel. Perhatikan langkah-langkah pengaturannya di bawah ini:

Buat file dan simpan robots.txt terlebih dahulu seperti di bawah ini.

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.pe-we.com/sitemap_index.xml

Note: Silahkan ganti alamat situs di atas sesuai alamat web Anda.

3. Unggah File ke Server Hosting

Setelah membuat file robots txt, Anda perlu memasukkan file melalui FTP Cpanel atau melalui admin hosting.

Untuk mencoba sudah berhasil atau belum, lakukan testing dengan mengetik namadomain/robots.txt.

4. Submit ke Google Search Console

Dengan menggunakan Google Search Console, Anda dapat melacak indeksasi halaman, mengidentifikasi masalah crawl, dan memahami bagaimana Googlebot mengakses dan memahami konten situs.

Jadi, jangan lupa memasukkan sitemap dan robots.txt pada Google Search Console, agar keterbacaan pada web semakin mudah.

Cara Setting Robots Txt untuk Blogspot

Untuk pengguna Blogspot, ikuti cara setting robots txt berikut:

Masuk ke setting atau pengaturan blog.
Klik Search Preferences, lalu cari customs robots txt.
Pada customs robots txt, klik enable dan pilih yes.
Selanjutnya, Anda tinggal memasukan pengaturan file robots txt seperti di bawah ini:

Note: ganti URL situs dengan alamat situs anda.

Demikian cara setting robots txt di Wordpress maupun Blogspot. Dengan memasukkan file robots txt, maka Googlebot akan melakukan perayapan sesuai yang diperintahkan.

Pengaturan yang tepat pada robots txt dapat meningkatkan kinerja SEO dan membantu Googlebot fokus pada konten yang benar-benar ingin ditampilkan di hasil pencarian.

Masih kesulitan melakukan setting robot txt? Anda bisa menggunakan Jasa SEO Profesional dari salah satu digital marketing agency Indonesia atau Jakarta. Yuk, langsung hubungi Kontak Redcomm.