Mesin pencari dilengkapi dengan robot, juga dikenal sebagai spider atau bot, yang merayapi dan mengindeks halaman web. Jika situs atau halaman Anda sedang dalam pengembangan atau berisi konten sensitif, Anda mungkin ingin memblokir bot agar tidak merayapi dan mengindeks situs Anda. Pelajari cara memblokir seluruh situs web, halaman, dan tautan dengan file robots.txt dan memblokir halaman dan tautan tertentu dengan tag html. Baca terus untuk mengetahui cara memblokir bot tertentu agar tidak mengakses konten Anda.
Langkah
Metode 1 dari 2: Memblokir Mesin Pencari dengan File robots.txt
Langkah 1. Pahami file robots.txt
File robots.txt adalah file teks biasa atau ASCII yang menginformasikan spider mesin telusur apa yang boleh mereka akses di situs Anda. File dan folder yang tercantum dalam file robots.txt tidak boleh dirayapi dan diindeks oleh spider mesin pencari. Anda mungkin memerlukan file robots.txt jika:
- Anda ingin memblokir konten tertentu dari spider mesin pencari.
- Anda sedang mengembangkan situs langsung dan tidak siap jika laba-laba mesin pencari merayapi dan mengindeks situs
- Anda ingin membatasi akses ke bot yang bereputasi baik.
Langkah 2. Buat dan simpan dan file robots.txt
Untuk membuat file, luncurkan editor teks biasa atau editor kode. Simpan file sebagai: robots.txt. Nama file harus huruf kecil semua.
- Jangan lupa "s".
- Saat Anda menyimpan file, pilih ekstensi "'.txt"'. Jika Anda menggunakan Word, pilih opsi "Teks Biasa".
Langkah 3. Tulis file robots.txt yang sepenuhnya dilarang
Dimungkinkan untuk memblokir setiap spider mesin telusur terkemuka agar tidak merayapi dan mengindeks situs Anda dengan robots.txt "larangan penuh". Tulis baris berikut dalam file teks Anda:
Agen-pengguna: * Larang: /
Langkah 4. Tulis file robots.txt bersyarat-izinkan
Alih-alih memblokir semua bot, pertimbangkan untuk memblokir spider tertentu dari area tertentu di situs Anda. Perintah bersyarat-izinkan yang umum meliputi:
- Blokir bot tertentu: ganti tanda bintang di sebelah Agen pengguna dengan googlebot, googlebot-berita, googlebot-gambar, bingbot, atau teoma.
-
Blokir direktori dan isinya:
Agen-pengguna: * Larang: /sample-directory/
-
Blokir halaman web:
Agen-pengguna: * Larang: /private_file.html
-
Memblokir gambar:
Agen-pengguna: googlebot-image Larang: /images_mypicture.jpg
-
Blokir semua gambar:
Agen-pengguna: googlebot-image Larang: /
-
Blokir format file tertentu:
Agen-pengguna: * Larang: /p*.gif$
Langkah 5. Dorong bot untuk mengindeks dan merayapi situs Anda
Banyak orang ingin menyambut, alih-alih memblokir, spider mesin pencari karena mereka ingin seluruh situs mereka diindeks. Untuk mencapai ini, Anda memiliki tiga opsi. Pertama, Anda dapat memilih untuk tidak membuat file robots.txt-saat robot tidak menemukan file robots.txt, robot akan terus merayapi dan mengindeks seluruh situs Anda. Kedua, Anda dapat membuat file robots.txt kosong-robot akan menemukan file robots.txt, mengenali bahwa itu kosong, dan terus merayapi dan mengindeks situs Anda. Terakhir, Anda dapat menulis file robots.txt full-allow. Gunakan kode:
Agen-pengguna: * Larang:
Langkah 6. Simpan file txt ke root domain Anda
Setelah Anda menulis file robots.txt, simpan perubahannya. Unggah file ke direktori root situs Anda. Misalnya, jika domain Anda adalah www.domainanda.com, letakkan file robots.txt di www.domainanda.com/robots.txt.
Metode 2 dari 2: Memblokir Mesin Pencari dengan Meta Tag
Langkah 1. Pahami tag meta robot HTML
Tag meta robot memungkinkan pemrogram untuk mengatur parameter untuk bot, atau spider mesin telusur. Tag ini digunakan untuk memblokir bot agar tidak mengindeks dan merayapi seluruh situs atau hanya sebagian situs. Anda juga dapat menggunakan tag ini untuk memblokir spider mesin pencari tertentu agar tidak mengindeks konten Anda. Tag ini muncul di kepala file HTML Anda.
Metode ini biasanya digunakan oleh programmer yang tidak memiliki akses ke direktori root situs web
Langkah 2. Blokir bot dari satu halaman
Dimungkinkan untuk memblokir semua bot agar tidak mengindeks halaman dan atau mengikuti tautan halaman. Tag ini biasanya digunakan saat situs langsung sedang dikembangkan. Setelah situs selesai, sangat disarankan agar Anda menghapus tag ini. Jika Anda tidak menghapus tag, halaman Anda tidak akan diindeks atau dapat dicari melalui mesin pencari.
- Anda dapat memblokir bot agar tidak mengindeks halaman dan mengikuti salah satu tautan:
- Anda dapat memblokir semua bot agar tidak mengindeks halaman:
- Anda dapat memblokir semua bot agar tidak mengikuti tautan halaman:
Langkah 3. Izinkan bot untuk mengindeks halaman, tetapi tidak mengikuti tautannya
Jika Anda mengizinkan bot untuk mengindeks halaman, halaman akan diindeks; jika Anda mencegah laba-laba mengikuti tautan, jalur tautan dari halaman khusus ini ke halaman lain akan terputus. Masukkan baris kode berikut ke dalam header Anda:
Langkah 4. Biarkan spider mesin pencari mengikuti tautan tetapi tidak mengindeks halaman
Jika Anda mengizinkan bot untuk mengikuti tautan, jalur tautan dari halaman khusus ini ke halaman lain akan tetap berlaku; jika Anda membatasi mereka dari pengindeksan halaman, halaman web Anda tidak akan muncul dalam indeks. Masukkan baris kode berikut ke dalam header Anda:
Langkah 5. Blokir satu tautan keluar
Untuk menyembunyikan satu tautan di halaman, sematkan rel tag di dalam tag tautan. Anda mungkin ingin menggunakan tag ini untuk memblokir tautan di halaman lain yang mengarah ke halaman tertentu yang ingin Anda blokir.
Sisipkan Tautan ke Halaman yang Diblokir
Langkah 6. Blokir spider mesin pencari tertentu
Alih-alih memblokir semua bot dari halaman web Anda, Anda mungkin ingin mencegah satu bot merayapi dan mengindeks halaman. Untuk melakukannya, ganti "'robot"' di dalam tag meta dengan nama bot tertentu. Contohnya meliputi: googlebot, googlebot-berita, googlebot-gambar, bingbot, dan teoma.
Langkah 7. Dorong bot untuk merayapi dan mengindeks halaman Anda
Jika Anda ingin memastikan bahwa halaman Anda akan diindeks dan tautannya akan diikuti, Anda dapat memasukkan follow-allow meta "robot" tag ke header Anda. Gunakan kode berikut:
