llms.txt: Apa Itu, Cara Kerja Formatnya, dan Apakah Anda Membutuhkannya
llms.txt adalah file Markdown di root situs yang memberi tahu model bahasa tentang situs itu dan halaman mana yang layak dibaca. File ini diusulkan pada September 2024. Ini bukan standar web, tidak ada mesin pencari besar yang menyatakan memakainya, dan sekitar satu dari enam situs tersibuk menyajikannya. Berikut formatnya, angka hasil pengukuran, dan jawaban lugas soal perlu tidaknya Anda memublikasikannya.
Apa Itu llms.txt?
llms.txt adalah file Markdown biasa yang disajikan di /llms.txt. File ini memperkenalkan situs dalam satu atau dua kalimat, lalu mencantumkan URL yang sebaiknya dibaca model bahasa, dikelompokkan di bawah heading. Idenya adalah memberi asisten AI peta yang singkat dan bersih, alih-alih seluruh situs HTML yang penuh menu, script, dan iklan.
Jeremy Howard mengusulkannya di llmstxt.org pada 3 September 2024. Ini usulan komunitas: tidak ada badan standar yang menerbitkannya, dan tidak ada perusahaan AI yang berkomitmen membacanya.
| Fakta | Nilai |
|---|---|
| Diusulkan | 3 September 2024 |
| Spesifikasi | llmstxt.org |
| Lokasi | /llms.txt, atau subpath |
| Format | Markdown |
| Bagian wajib | Satu H1 |
| Badan standar | – |
| Dipakai Google Search | – |
File ini sering dikira robots.txt. Keduanya punya tugas berbeda: robots.txt menyatakan apa yang boleh diambil crawler, dan crawler mematuhinya berdasarkan RFC 9309. llms.txt hanya menyarankan apa yang layak dibaca. File ini tidak mengizinkan maupun memblokir apa pun. Untuk sisi crawler, lihat panduan crawler AI dan panduan robots.txt tester.
Format llms.txt, Baris demi Baris
Spesifikasi di llmstxt.org menetapkan bagian-bagiannya dalam urutan tetap. Hanya heading pertama yang wajib.
| Bagian | Wajib | Markdown |
|---|---|---|
| Nama situs atau proyek | ✓ | H1 (#) |
| Ringkasan singkat | – | Blockquote (>) |
| Detail | – | Paragraf atau daftar |
| Daftar file | – | H2 (##) + link |
| Bagian opsional | – | H2 bernama Optional |
Setiap item dalam daftar file adalah link Markdown, opsional diikuti titik dua dan catatan. Link di bawah H2 bernama Optional adalah link yang boleh dilewati asisten saat butuh konteks lebih pendek. File minimal terlihat seperti ini:
# Example Store
> Hand-made ceramic tableware, shipped from Portugal to the EU and the US.
Prices are in euros. Every product page lists dimensions and care.
## Products
- [Plates](https://example.com/plates/): dinner, side and serving plates
- [Mugs](https://example.com/mugs/): 250 ml and 350 ml
## Help
- [Shipping](https://example.com/shipping/): costs and delivery times
- [Returns](https://example.com/returns/): 30 days
## Optional
- [Our story](https://example.com/about/)
Spesifikasinya juga menyarankan salinan Markdown dari setiap halaman yang berguna di URL yang sama dengan tambahan .md, misalnya page.html.md. File pendamping, llms-full.txt, adalah ekstensi yang umum: teks lengkap halaman dalam satu file, bukan link ke halaman-halaman itu. Usulan ini juga mengizinkan file di subpath, seperti /docs/llms.txt, yang mencakup halaman di bawahnya.
Siapa yang Benar-Benar Menyajikan llms.txt? Angkanya
SEO ProCheck meminta lima file agent dari 184 situs yang paling banyak dikunjungi pada 29 September 2026. Hanya totalnya:
| File | Situs yang menyajikan | Porsi |
|---|---|---|
| /llms.txt | 31 dari 184 | 16.8% |
| /llms-full.txt | 6 dari 184 | 3.3% |
| /AGENTS.md | 1 dari 184 | 0.5% |
| /.well-known/llms.txt | 0 dari 184 | 0% |
| /ai.txt | 0 dari 184 | 0% |
Hampir semua situs yang menyajikannya menjual software atau tool developer. Median ukuran file-nya 12.490 byte, jadi ini file sungguhan, bukan placeholder. Metode lengkapnya ada di Who Actually Serves an llms.txt? 184 Top Sites Measured. Adopsi menunjukkan siapa yang mau memublikasikannya. Itu tidak menunjukkan apa pun soal apakah ada asisten yang membacanya.
Dua situs kami sendiri, dicek pada 21 November 2026:
| Situs | /llms.txt | Content-Type | Ukuran |
|---|---|---|---|
| seoprocheck.com | 200 | text/plain | 3.078 byte |
| neova.app | 404 | text/html | tidak ada |
SEO ProCheck memublikasikannya karena pembacanya adalah orang SEO yang menguji file semacam itu. neova.app belum. Keduanya tidak masalah. llms.txt yang tidak ada bukanlah error.
Apakah Google atau Asisten AI Mana Pun Memakai llms.txt?
Berikut yang dinyatakan setiap perusahaan dalam dokumentasinya sendiri, per 21 November 2026:
| Perusahaan | Membaca llms.txt | Sumber |
|---|---|---|
| Google Search | – | Panduan optimasi AI |
| OpenAI | Tidak didokumentasikan | Dokumentasi crawler |
| Anthropic | Tidak didokumentasikan | Dokumentasi crawler |
| Perplexity | Tidak didokumentasikan | Dokumentasi bot |
Google satu-satunya yang menyatakannya secara terang. Panduan optimasi untuk fitur AI generatif miliknya, yang dipublikasikan 15 Mei 2026, menyatakan Anda tidak butuh file yang bisa dibaca mesin, file teks AI, markup, atau Markdown untuk muncul di Google Search. Panduan itu menambahkan bahwa llms.txt yang dibuat untuk layanan lain tidak membantu maupun merugikan visibilitas di Google Search, karena Google Search mengabaikannya. John Mueller dari Google pernah mengatakan pada Juni 2025 bahwa tidak ada sistem AI yang memakai file itu dan log server menunjukkannya.
Tempat file ini bisa membantu adalah saat inference: asisten coding atau agent yang diarahkan seseorang ke dokumentasi Anda mungkin mengambilnya dan mengikuti link-nya. Karena itulah perusahaan tool developer memimpin adopsinya. llms.txt Explained di SEO ProCheck membahas buktinya, termasuk apa yang ditunjukkan log server.
Perlukah Anda Memublikasikan llms.txt?
| Situs Anda | Publikasikan? | Mengapa |
|---|---|---|
| Dokumentasi developer atau API | ✓ | Agent membaca dokumentasi saat diminta |
| Produk software | ◐ | Murah, manfaat kecil |
| Toko online | ◐ | Feed dan halaman lebih penting |
| Berita atau penerbit | – | Tidak ada pembaca yang terdokumentasi |
| Bisnis lokal | – | Business Profile lebih penting |
Jika Anda memublikasikannya, biayanya satu jam dan sedikit perawatan. Jika tidak, Anda tidak kehilangan apa pun yang terukur di Google Search, satu-satunya tempat di mana sebuah perusahaan menyatakannya secara tertulis. Yang benar-benar penting untuk setiap asisten AI adalah crawler-nya bisa mengambil halaman Anda dan mendapatkan konten utama di HTML. Perbaiki itu dulu; hal ini dibahas di optimasi pencarian AI dan SEO ChatGPT.
Dua peringatan. Pertama, llms.txt bersifat publik, jadi apa pun yang Anda cantumkan adalah saran untuk semua orang, termasuk scraper. Kedua, file ini bukan kontrol akses: halaman yang tidak dicantumkan di llms.txt tetap terbuka bagi crawler mana pun yang diizinkan robots.txt.
Cara Menulis dan Menyajikan llms.txt
- Pilih halamannya. 10 sampai 50 URL yang menjawab hal yang ditanyakan orang tentang Anda: produk, harga, dokumentasi, kebijakan, kontak. Bukan setiap URL; itu tugas sitemap.
- Tulis H1 dan ringkasannya. Nama, lalu satu kalimat yang bisa dipahami orang asing.
- Kelompokkan link di bawah H2 dan tambahkan catatan singkat setelah masing-masing.
- Sajikan sebagai teks.
/llms.txt, status 200,Content-Type: text/plainatautext/markdown, UTF-8. - Link hanya ke URL yang aktif. Setiap link seharusnya menjawab 200, bukan redirect atau 404.
- Jaga tetap mutakhir. Buat ulang saat halaman berpindah. File yang usang mengarahkan asisten ke halaman mati.
| Item | Good | Masalah |
|---|---|---|
| Status | 200 | 5xx |
| Content-Type | text/plain | text/html |
| Baris pertama | # Nama | Apa pun selain itu |
| Link | Menjawab 200 | 404 atau redirect |
| Ukuran | Beberapa KB | Seluruh situs dimasukkan |
Kesalahan umum adalah CMS atau CDN yang menjawab /llms.txt dengan beranda atau halaman 404 bergaya dan status 200. Bagi pembaca, itu halaman HTML, bukan llms.txt.
Cek llms.txt dan File Agent Anda dengan Neova
Neova mengecek llms.txt yang dipublikasikan dan file agent lainnya. Neova tidak menuliskannya untuk Anda, dan situs tanpa file itu tidak ditandai. Pemeriksaannya:
- llms.txt rusak atau mengembalikan error server: 5xx, atau 200 dengan Content-Type bukan teks atau baris pertama yang bukan
# title. 404, 410, atau halaman HTML dihitung sebagai tidak ada file. - Versi Markdown kosong atau memuat kurang dari separuh teks utama, saat URL awal menjawab
Accept: text/markdowndengan Markdown. - Manifest agent discovery tidak valid atau tidak disajikan, untuk file agent discovery yang diumumkan di robots.txt atau di sebuah link.
- Permintaan dengan user agent crawler pencarian AI diblokir, karena file yang tidak bisa diambil siapa pun tidak membantu siapa pun.
- Halaman HTML utama membatasi snippet atau memblokir crawler pencarian AI.
- Konten utama dimulai setelah 5.000 karakter pertama teks isi, sisi HTML dari pertanyaan yang sama.
Yang disajikan ke setiap asisten AI meminta halaman sampel sebagai 10 agent AI dan menunjukkan siapa yang mendapat halaman lengkap dan apa yang diizinkan robots.txt. Semua ini berjalan di aplikasi desktop di Mac, Windows, dan Linux serta di Neova Online di browser. Paket Free meng-crawl 1.000 URL dengan semua pemeriksaan; lihat Harga atau unduh Neova.
Pertanyaan
Apa itu llms.txt?
File Markdown di /llms.txt yang menyebut nama situs, merangkumnya, dan mencantumkan halaman yang sebaiknya dibaca model bahasa. File ini diusulkan di llmstxt.org pada 3 September 2024, dan bukan standar web resmi.
Apakah Google memakai llms.txt?
Tidak. Panduan Google tentang fitur AI generatif, yang dipublikasikan 15 Mei 2026, menyatakan Google Search mengabaikan llms.txt dan file itu tidak membantu maupun merugikan visibilitas di sana.
Apakah llms.txt sama dengan robots.txt?
Tidak. robots.txt memberi tahu crawler apa yang boleh diambil dan merupakan standar, RFC 9309. llms.txt hanya menyarankan apa yang dibaca dan tidak memblokir apa pun.
Berapa banyak situs yang punya llms.txt?
Dalam pengukuran SEO ProCheck pada 29 September 2026, 31 dari 184 situs teratas menyajikan /llms.txt (16,8%), hampir semuanya perusahaan software atau tool developer.
Apa itu llms-full.txt?
File pendamping yang memuat teks lengkap halaman-halaman yang tercantum dalam satu file Markdown, bukan link ke halaman itu. Dalam pengukuran yang sama, 6 dari 184 situs menyajikannya.