Memasuki era kecerdasan buatan (AI), lanskap optimasi mesin pencari (SEO) di Indonesia mengalami perubahan yang sangat drastis. Jika dulu para pemilik website, mulai dari pemilik blog pribadi hingga e-commerce raksasa seperti Tokopedia dan Shopee, hanya fokus menarik perhatian Googlebot, kini ada pemain baru yang tidak kalah agresif: AI Crawlers.
Sebagai pemilik bisnis atau praktisi SEO di Indonesia, Anda mungkin menyadari adanya lonjakan aktivitas bot di server Anda. Pertanyaan besar yang sering muncul di komunitas SEO lokal adalah: “Bot AI ini terus-menerus mampir ke website saya, tapi sebenarnya mereka membawa manfaat tidak sih? Apakah sebaiknya saya blokir saja agar hemat bandwidth, atau justru dibiarkan?”
Artikel ini akan mengupas tuntas dilema tersebut, membantu Anda memahami berbagai jenis AI crawler, cara mengukur nilainya bagi bisnis Anda, serta langkah taktis yang bisa langsung Anda terapkan hari ini.
—
Memahami Jenis-Jenis Bot yang Berkunjung ke Website Anda
Sebelum kita memutuskan untuk memblokir atau mengizinkan bot, kita harus paham dulu bahwa tidak semua bot itu sama. Di dunia digital, bot bisa dianalogikan seperti tamu yang datang ke toko fisik Anda. Ada yang datang untuk membeli (pelanggan), ada yang sekadar mengecek harga untuk membandingkannya dengan toko sebelah (competitor scraper), dan ada juga yang berniat jahat.
Secara umum, bot dibagi menjadi beberapa kategori:
1. Bot Mesin Pencari Klasik (Search Engine Bots)
Ini adalah bot yang sangat kita harapkan kedatangannya, seperti Googlebot atau Bingbot. Tugas mereka adalah mengindeks halaman website Anda agar bisa muncul di halaman hasil pencarian (SERP). Tanpa mereka, website Anda akan “tak kasat mata” di internet.
2. Bot Alat & Keamanan (Tools & Security Bots)
Bot ini berasal dari layanan pengawas uptime website, tools SEO seperti Ahrefs atau Semrush, serta pemindai celah keamanan (vulnerability scanners). Kehadiran mereka penting untuk menjaga kesehatan teknis website Anda.
3. Bot AI (AI Crawlers)
Nah, di sinilah letak abu-abunya. Bot AI tidak semuanya bekerja dengan cara yang sama. Untuk menentukan sikap, Anda harus membagi AI crawler ini ke dalam tiga kategori utama berikut:
—
3 Kategori AI Bot: Mana yang Menguntungkan Bisnis Anda?
Kategori A: AI Training Bots (Si “Rakus” Data)
Contoh utamanya adalah GPTBot dari OpenAI. Tugas utama bot ini adalah menjelajahi seluruh internet untuk mengumpulkan data mentah. Data ini kemudian digunakan untuk melatih model bahasa besar (LLM) mereka agar semakin pintar.
Bagi pemilik website atau pelaku UMKM Indonesia, bot ini adalah yang paling kontroversial. Mengapa? Karena mereka menyerap konten berharga Anda, mempelajarinya, lalu menyajikan jawabannya langsung kepada pengguna di platform mereka tanpa memberikan trafik balik (referral traffic) ke website Anda. Ini sering dianggap sebagai tindakan “pencurian” hak kekayaan intelektual secara halus.
Kategori B: AI Search Bots (Si Pembawa Trafik)
Contohnya adalah OAI-SearchBot. Berbeda dengan bot pelatihan, bot jenis ini bekerja lebih mirip dengan mesin pencari tradisional. Mereka merayapi website Anda untuk menyajikan informasi terkini yang nantinya akan dicantumkan sebagai sumber referensi lengkap dengan tautan (link) aktif di hasil pencarian AI.
Untuk kategori ini, sangat disarankan untuk tetap mengizinkannya. Jika konten Anda dikutip di platform seperti ChatGPT Search atau Perplexity, ini bisa menjadi sumber trafik baru yang sangat potensial bagi pasar Indonesia.
Kategori C: User-Triggered AI Bots (Si Peminat Serius)
Bot seperti ChatGPT-User atau Perplexity-User bekerja hanya ketika ada pengguna yang secara aktif menanyakan hal spesifik tentang website atau produk Anda. Misalnya, seorang pengguna memasukkan perintah: “Tolong ringkas spesifikasi produk kerajinan kulit dari website [NamaUMKMAnda].com.”
Ketika ini terjadi, bot akan langsung mengunjungi website Anda secara real-time untuk mengambil data tersebut. Ini adalah sinyal bahwa ada calon konsumen yang memiliki minat sangat tinggi terhadap brand Anda. Memblokir bot ini sama saja dengan menolak pelanggan yang sudah berdiri di depan pintu toko Anda.
—
Masalah Baru: Robots.txt Kini Tidak Lagi Ampuh
Selama bertahun-tahun, praktisi SEO mengandalkan file sederhana bernama robots.txt untuk mengatur bot mana saja yang boleh masuk ke website mereka. Namun, aturan mainnya kini telah berubah.
OpenAI baru-baru ini memperbarui dokumentasi mereka yang menyatakan bahwa bot berbasis pemicu pengguna (seperti ChatGPT-User) tidak lagi berkomitmen penuh untuk mematuhi aturan di file robots.txt. Hal serupa juga dilakukan oleh Perplexity. Artinya, meskipun Anda sudah menulis perintah “Disallow” di robots.txt, beberapa bot AI nakal atau bot pemicu pengguna akan tetap menerobos masuk.
Lalu, bagaimana solusinya? Jika Anda benar-benar ingin memblokir bot tersebut karena alasan keamanan data atau keterbatasan bandwidth hosting, Anda harus menggunakan perlindungan di tingkat server atau menggunakan WAF (Web Application Firewall) seperti Cloudflare. Cloudflare sangat populer di kalangan webmaster Indonesia karena memiliki fitur sekali klik untuk memblokir AI scrapers yang dicurigai merugikan.
—
Tips Praktis Mengukur Nilai AI Crawler untuk Website Anda
Sebelum Anda buru-buru menekan tombol blokir pada Cloudflare Anda, mari kita lakukan analisis berbasis data terlebih dahulu. Berikut adalah langkah praktis yang bisa Anda lakukan:
- Pantau Google Analytics 4 (GA4): Masuk ke laporan akuisisi trafik Anda. Perhatikan apakah ada trafik masuk yang berasal dari domain seperti
chatgpt.com,perplexity.ai, atau platform AI lainnya. Jika trafik dari sumber ini menghasilkan konversi atau waktu tinggal (session duration) yang tinggi, itu tandanya bot AI tersebut memberikan dampak positif nyata bagi bisnis Anda. - Cek Log Server Anda: Mintalah bantuan developer atau tim IT Anda untuk memeriksa log server. Lihat seberapa besar bandwidth yang dihabiskan oleh bot seperti GPTBot. Jika konsumsi bandwidth mereka membuat website Anda lambat (yang bisa merusak pengalaman pengguna asli), maka membatasi atau memblokir mereka adalah keputusan bijak.
- Lakukan Audit Brand Mention di AI: Cobalah gunakan ChatGPT atau Perplexity dan ketikkan pertanyaan seputar industri Anda di Indonesia. Lihat apakah nama brand Anda muncul sebagai rekomendasi. Jika ya, lacak dari mana AI tersebut mendapatkan informasi tersebut.
—
Ringkasan & Langkah Penting (Key Takeaways)
Agar memudahkan Anda dalam mengambil keputusan strategis ini, berikut adalah ringkasan poin penting yang harus Anda bawa pulang:
- Jangan blokir semua bot AI secara membabi buta: Bedakan antara bot yang melatih model data (GPTBot) dan bot yang mencari informasi real-time untuk pengguna (ChatGPT-User).
- Gunakan WAF (seperti Cloudflare) untuk kontrol penuh: File
robots.txtkonvensional sudah tidak lagi 100% efektif menahan laju bot AI modern. - Trafik dari AI memiliki konversi tinggi: Pengguna yang datang melalui rekomendasi chatbot AI biasanya adalah prospek hangat (warm leads) yang siap melakukan pembelian atau transaksi.
- Evaluasi beban server secara berkala: Jika hosting Anda sering mengalami down akibat beban crawl dari bot AI tanpa adanya kontribusi trafik yang jelas, segera batasi akses mereka demi kenyamanan pengguna lokal Anda.
Pada akhirnya, keputusan untuk memblokir atau merangkul AI crawler berada di tangan Anda selaku pemilik bisnis. Kuncinya adalah tidak mengambil keputusan berdasarkan ketakutan, melainkan berdasarkan data performa website Anda sendiri. Selamat mencoba!
Referensi artikel asli: Klik disini