NeovaPlatform SEO Tingkat Lanjut

Crawler AI: Apa yang Dilakukan GPTBot, ClaudeBot, dan PerplexityBot, dan Cara Mengendalikannya

Crawler AI mengambil halaman Anda untuk melatih model bahasa, membangun indeks pencarian AI, atau menjawab pertanyaan seseorang saat itu juga. Setiap jenis punya nama sendiri di robots.txt, jadi Anda bisa mengizinkan sebagian dan memblokir yang lain. Berikut siapa mereka, apa yang dilakukan masing-masing, dan cara mengecek apa yang sebenarnya mereka dapatkan.

Pencarian AIcrawler aiDiperbarui 21 November 2026Oleh tim Neova

Apa Itu Crawler AI?

Crawler AI, disebut juga crawler LLM, adalah bot yang dijalankan perusahaan AI. Mereka tidak semuanya sama, dan memperlakukan mereka sebagai satu kelompok menghasilkan aturan robots.txt yang buruk. Ada tiga jenis:

  • Crawler pelatihan mengumpulkan halaman yang mungkin dipakai untuk melatih model berikutnya. GPTBot dan ClaudeBot yang paling dikenal.
  • Crawler pencarian membangun indeks yang dicari asisten AI saat menjawab dengan sumber dan link. OAI-SearchBot, Claude-SearchBot, dan PerplexityBot termasuk kelompok ini.
  • Fetcher yang dipicu pengguna memuat halaman karena seseorang bertanya kepada asisten tentang halaman itu, misalnya dengan menempelkan URL. ChatGPT-User, Claude-User, dan Perplexity-User bekerja dengan cara ini.

Memblokir crawler pelatihan menjauhkan halaman Anda dari set pelatihan di masa depan. Memblokir crawler pencarian bisa membuat Anda tidak muncul di jawaban AI yang bersumber, padahal sering kali justru itu yang diinginkan bisnis.

Crawler AI Utama dan Token robots.txt-nya

Setiap vendor mendokumentasikan bot-nya sendiri. Inilah nama yang dipakai di robots.txt, dengan link ke halaman resmi vendor:

TokenPerusahaanJenisBot sendiri
GPTBotOpenAIPelatihan✓
OAI-SearchBotOpenAIPencarian AI✓
ChatGPT-UserOpenAIPermintaan pengguna✓
ClaudeBotAnthropicPelatihan✓
Claude-SearchBotAnthropicPencarian AI✓
Claude-UserAnthropicPermintaan pengguna✓
PerplexityBotPerplexityPencarian AI✓
Perplexity-UserPerplexityPermintaan pengguna✓
Google-ExtendedGooglePemakaian konten oleh Gemini–
Applebot-ExtendedApplePelatihan model Apple–
CCBotCommon CrawlArsip web terbuka✓

Google-Extended dan Applebot-Extended adalah token, bukan bot terpisah: keduanya mengatur bagaimana konten yang sudah di-crawl Googlebot atau Applebot boleh dipakai. Google menyatakan Google-Extended tidak memengaruhi keikutsertaan di Google Search maupun ranking. Untuk membatasi tampilan konten Anda di fitur AI di Search milik Google, Google merujuk ke kontrol snippet seperti nosnippet. Untuk daftar lebih panjang berisi setiap bot dan tujuannya, lihat peta crawler AI di SEO ProCheck.

Haruskah Anda Memblokir Crawler LLM?

Tidak ada satu jawaban yang benar. Semuanya tergantung tujuan konten Anda. Dalam istilah robots.txt, tiga kebijakan mencakup sebagian besar situs:

KebijakanPelatihanPencarian AIPermintaan pengguna
Terbuka untuk semua✓✓✓
Dikutip, tidak untuk pelatihan–✓✓
Tertutup untuk AI––◐
  • Izinkan crawler pencarian jika Anda ingin dikutip dan ditautkan di ChatGPT search, Claude, dan Perplexity. Bagi sebagian besar bisnis, ini visibilitas yang diinginkan.
  • Pertimbangkan memblokir crawler pelatihan jika konten Anda adalah produk Anda: berita, riset, kursus, data berbayar. Memblokir menghentikan pengumpulan berikutnya; tidak menghapus apa yang sudah dikumpulkan.
  • Pikirkan dua kali sebelum memblokir fetcher yang dipicu pengguna. Mereka bertindak untuk seseorang yang bertanya tentang halaman Anda, dan sebagian vendor menyatakan fetcher ini mungkin tidak mengikuti robots.txt seperti crawler, karena itu tertulis sebagian di atas.

Tuliskan keputusannya: bot mana yang diizinkan, mana yang diblokir, dan alasannya. Lalu sesuaikan robots.txt dengan keputusan itu. Kebijakan tertulis inilah yang mencegah developer di masa depan memblokir semuanya saat redesain.

robots.txt untuk Bot AI: Contoh

Ini setup yang umum: izinkan pencarian AI, blokir pelatihan.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

Beberapa baris User-agent bisa berbagi satu grup aturan. Waspadai satu jebakan. Menurut standar robots.txt, RFC 9309, crawler hanya mengikuti grup paling spesifik yang menyebut namanya. Jika Anda menambahkan grup untuk GPTBot, GPTBot mengabaikan grup * sepenuhnya, termasuk Disallow: /search/ Anda. Itulah sebabnya grup pencarian di atas mengulang dua aturan bersama. Apa pun yang tidak dilarang oleh grup bernama berarti diizinkan.

Untuk memblokir satu folder dari pelatihan, bukan seluruh situs:

User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /research/
Disallow: /search/

Untuk fetcher yang dipicu pengguna, baca halaman masing-masing vendor sebelum mengandalkan robots.txt.

Uji setiap aturan dengan URL sungguhan sebelum dirilis. Kami menemukan dua aturan di neova.app, 20 November 2026, yang memblokir lebih dari yang dimaksud:

Aturan yang terkenaDampakJangkauan
/cdn-cgi/ diblokirScript email Cloudflare diblokir1.320 halaman
Disallow: / menutupi faviconHuruf polos alih-alih logo di GoogleSetiap hasil pencarian

Keduanya diperbaiki dengan mengizinkan path tersebut. Disallow yang ditulis untuk satu bot atau satu folder menjangkau setiap file di bawahnya, termasuk script dan ikon.

Di Luar robots.txt: Firewall, CDN, dan Verifikasi

robots.txt adalah permintaan, bukan kunci. Perusahaan AI di atas mendokumentasikan bagaimana crawler mereka memperlakukannya, tetapi bot lain bisa saja mengabaikannya.

  • Cek juga firewall-nya. Sebagian CDN dan WAF punya pengaturan yang memblokir crawler AI, kadang secara default. Sebuah situs bisa mengizinkan GPTBot di robots.txt tetapi tetap menjawabnya dengan 403. Uji apa yang benar-benar diterima setiap crawler.
  • Verifikasi sebelum percaya. OpenAI dan Perplexity menerbitkan daftar IP untuk bot mereka, begitu juga Google dan Microsoft. Permintaan yang mengaku sebagai bot tertentu dari alamat di luar daftar perusahaannya bukanlah bot itu.
  • Blokir pelaku nakal di edge. Untuk scraper yang mengabaikan robots.txt, aturan di CDN atau server Anda adalah satu-satunya yang ampuh.

Seberapa sering hal ini salah dalam praktik: SEO ProCheck menguji apa yang benar-benar diterima crawler AI di 400 situs dalam Can AI Crawlers Actually Read Your Site? 400 Sites Measured.

Buat Halaman Anda Bisa Dibaca Crawler AI

Mengizinkan crawler adalah separuh dari SEO untuk crawler AI. Separuh lainnya adalah memastikan ia bisa membaca apa yang diambilnya.

  • Taruh konten utama di HTML. Tidak semua crawler menjalankan JavaScript. Jika teks Anda baru muncul setelah script berjalan, anggap saja sebagian crawler AI tidak pernah melihatnya.
  • Langsung ke intinya. Menu panjang dan boilerplate sebelum teks utama mendorong jawabannya makin ke bawah halaman.
  • Jangan sembunyikan fakta penting di gambar, PDF, atau widget. Harga, spesifikasi, dan detail kontak seharusnya berupa teks HTML biasa.
  • Kembalikan kode status yang sebenarnya. Halaman rusak atau ter-redirect yang dikutip jawaban AI akan mengirim pembacanya ke halaman error.
  • Jaga HTML tetap ringan. Googlebot membaca 2 MB pertama file HTML; Neova menandai halaman yang melebihinya di HTML Lebih dari 2 MB atau Core Web Vitals Tidak Masuk Rentang Good.
  • llms.txt bersifat opsional. Ini format yang diusulkan, bukan standar web. Jika Anda menerbitkannya, pastikan valid dan terkini.

Cara Mengecek Apa yang Dilihat Crawler AI

Neova menunjukkan apa yang diizinkan untuk setiap crawler AI dan apa yang benar-benar disajikan kepadanya, di aplikasi desktop dan di Neova Online:

  • Apa yang Disajikan ke Setiap Asisten AI meminta halaman sampel sebagai 10 agen AI, termasuk ChatGPT, Claude, dan Perplexity beserta crawler-nya, Meta AI, Google-Extended, dan Common Crawl, lalu menunjukkan siapa yang mendapat akses penuh dan apa yang diizinkan robots.txt.
  • Crawl sebagai crawler AI. Jalankan seluruh crawl sebagai GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, atau user agent AI lainnya.
  • robots.txt Tester menunjukkan apa yang boleh diambil Googlebot, Bingbot, dan crawler AI, dengan URL yang diblokir untuk masing-masing, dan memberi tahu saat grup milik sebuah crawler menggugurkan aturan grup *.
  • Layar Rendering menunjukkan berapa banyak halaman yang butuh JavaScript dan apa yang disajikan ke setiap crawler AI.
  • Log server, di aplikasi desktop, menunjukkan kunjungan crawler AI yang terverifikasi dan penolakan per URL.
  • Kutipan AI dari Bing Webmaster Tools dan dari AI Visibility di Microsoft Clarity, saat Anda menghubungkannya. Lihat Microsoft Clarity.

Pemeriksaan untuk memulai: permintaan dengan user agent crawler pencarian AI diblokir, aturan crawler AI di robots.txt berbeda dari kebijakan tertulis, fetcher AI yang dipicu pengguna diblokir, halaman penting membatasi snippet atau memblokir crawler pencarian AI, dan bot AI meminta URL yang menjawab error. Paket Free sudah mencakup tampilan Pencarian AI; lihat Harga atau unduh Neova.

Checklist SEO Crawler AI

ItemSelesai jika
Kebijakan tertulisSetiap bot AI: izinkan atau blokir
robots.txtSesuai kebijakan
Grup bernamaAturan bersama diulang
Crawler pencarian AIDiizinkan di halaman yang ingin dikutip
Firewall dan CDNSama dengan kebijakan
Yang diterima setiap crawler200 dan halaman lengkap
Konten utamaDi HTML, di bagian awal
Fakta pentingDalam teks, bukan gambar
LogKunjungan terverifikasi, yang palsu dihitung terpisah
Halaman yang dikutipMenjawab 200

Pertanyaan

Apa itu GPTBot?

GPTBot adalah crawler OpenAI untuk mengumpulkan konten yang mungkin dipakai melatih model-modelnya. Crawler ini terpisah dari OAI-SearchBot, yang mencari halaman untuk ChatGPT search. Lihat halaman crawler OpenAI.

Apakah memblokir GPTBot menghapus situs saya dari ChatGPT search?

Tidak. OpenAI memakai bot terpisah, dan masing-masing membaca aturan robots.txt-nya sendiri. ChatGPT search mengandalkan OAI-SearchBot, jadi Anda bisa memblokir GPTBot dan tetap mengizinkan OAI-SearchBot.

Apakah Google-Extended memengaruhi ranking Google saya?

Google menyatakan tidak memengaruhi keikutsertaan di Google Search dan bukan sinyal ranking. Token ini mengatur apakah konten Anda boleh dipakai untuk model Gemini.

Bagaimana cara memblokir crawler LLM?

Tambahkan grup di robots.txt yang menyebut setiap crawler, seperti GPTBot, ClaudeBot, dan CCBot, dengan Disallow: /. Untuk bot yang mengabaikan robots.txt, tambahkan aturan di firewall atau CDN Anda.

Bagaimana saya tahu crawler AI mengunjungi situs saya?

Baca log server atau CDN Anda, dan verifikasi setiap permintaan terhadap daftar IP yang diterbitkan perusahaannya. Tool Log server di Neova melakukan ini per URL. Lihat Impor Tanpa Menghubungkan untuk format log-nya.

Bawa panduan ini

Link asisten membuka pertanyaan tentang halaman ini yang sudah siap dikirim.

Crawl situs Anda dengan NeovaPaket Free menjalankan semua pemeriksaan di Mac, Windows, dan Linux. Tanpa kartu kredit.

Lanjut Membaca