Analisis Log File untuk SEO: Cara Membaca Apa yang Sebenarnya Dilakukan Googlebot
Crawler memberi tahu apa yang bisa diambil mesin pencari. Log server memberi tahu apa yang benar-benar diambilnya. Analisis log file untuk SEO adalah kebiasaan membaca log itu untuk melihat di mana Googlebot, Bingbot, dan crawler AI menghabiskan waktunya, dan ke mana mereka tidak pernah pergi.
Apa Itu Analisis Log File?
Setiap web server menulis satu baris untuk setiap permintaan yang dijawabnya: siapa yang meminta, untuk URL apa, kapan, dan apa balasan server. Baris-baris itu masuk ke access log. Analisis log file berarti membaca log itu, biasanya disaring ke mesin pencari dan crawler AI, lalu mengubahnya menjadi jawaban.
Untuk SEO, pertanyaannya sederhana. Halaman mana yang dikunjungi Googlebot, dan seberapa sering? Mana yang tidak pernah dikunjungi? Di mana Googlebot menemui redirect dan error? Apakah ia membuang permintaan untuk URL yang seharusnya tidak ada?
Tidak ada sumber lain yang menjawabnya dengan detail yang sama. Laporan Statistik Crawl di Search Console memberi ringkasan. Crawl menunjukkan apa yang diekspos link Anda. Hanya log yang menunjukkan setiap permintaan nyata.
| Sumber | Setiap permintaan | Setiap bot | Per URL |
|---|---|---|---|
| Log server | ✓ | ✓ | ✓ |
| Statistik Crawl | – | ◐ | ◐ |
| Crawl Anda sendiri | – | – | ✓ |
Statistik Crawl hanya mencakup Googlebot, selama 90 hari, dengan contoh URL. Untuk pembahasan metode yang lebih panjang, lihat analisis log file untuk SEO di SEO ProCheck.
Mengapa Analisis Log File Penting untuk SEO
- Temukan halaman yang diabaikan Googlebot. Halaman yang di-link, dapat diindeks, dan ada di sitemap tetapi tidak pernah diminta adalah halaman yang menurut Google tidak layak dikunjungi.
- Tangkap pemborosan crawl budget. Parameter, URL faceted, dan redirect lama muncul di log jauh setelah Anda melupakannya.
- Lihat error seperti yang dilihat Googlebot. 5xx yang hanya terjadi saat beban tinggi, atau 429 dari firewall, mungkin tidak pernah muncul di crawl Anda sendiri.
- Temukan orphan. URL yang diminta bot tetapi tidak dituju internal link mana pun sering kali halaman lama yang masih mendapat perhatian.
- Lihat crawler AI. GPTBot, ClaudeBot, PerplexityBot, dan lainnya juga meninggalkan baris, jadi Anda bisa melihat apa yang mereka ambil dan apa yang ditolak.
- Cek migrasi. Setelah pindahan, log menunjukkan apakah Googlebot mengikuti redirect Anda dan sampai ke URL baru.
Isi Satu Baris Log Server
Format paling umum adalah Apache combined log format, yang juga merupakan default Nginx. Satu baris terlihat seperti ini:
66.249.66.1 - - [10/Nov/2026:13:55:36 -0600] "GET /shoes/ HTTP/1.1" 200 2326 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
| Lapangan | Contoh | Mengapa penting |
|---|---|---|
| IP klien | 66.249.66.1 | Satu-satunya cara memverifikasi bahwa bot itu asli |
| Waktu | 10/Nov/2026:13:55:36 | Frekuensi crawl dan interval recrawl |
| Permintaan | GET /shoes/ | URL mana yang diambil |
| Status | 200 | Sukses, redirect, atau error |
| Byte | 2326 | Ukuran respons |
| User agent | Googlebot/2.1 | Crawler mana yang mengaku meminta |
IIS menulis format W3C extended, dengan baris #Fields: yang menyebut nama kolomnya. CDN dan load balancer, seperti Cloudflare, CloudFront, load balancer AWS, Google Cloud, Akamai, dan Fastly, punya tata letak sendiri, sering dalam JSON. Common format biasa dari Apache tidak memuat user agent, jadi tidak ada bot yang bisa dibedakan di dalamnya. Mintalah combined format.
Cara Mendapatkan Log Server Anda
| Host | Lokasi log |
|---|---|
| cPanel | Metrics, Raw Access (.gz) |
| Plesk | Logs, Manage Log Files |
| Amazon | Bucket S3, setelah logging diaktifkan |
| Google Cloud | Cloud Logging, setelah diaktifkan |
| Cloudflare | Logpush, atau akun Anda sendiri |
| Lainnya | Tanyakan ke tim IT atau host Anda |
Di Amazon dan Google Cloud, access logging nonaktif sampai Anda mengaktifkannya. Saat meminta log, buat permintaannya kecil dan mudah disetujui:
| Minta | Nilai |
|---|---|
| Hari | 30 atau lebih |
| Baris | Hanya crawler |
| Field | Waktu, URL, status, user agent, IP |
| Format | Combined, bukan common |
Tidak menyertakan pengunjung biasa membuat data pribadi tidak ikut diminta, sesuatu yang dihargai tim keamanan. Dengan kurang dari 30 hari, halaman yang jarang di-crawl terlihat seolah tidak pernah dikunjungi.
Verifikasi Googlebot Sebelum Memercayai Satu Baris
Siapa pun bisa menaruh Googlebot di string user agent. Scraper melakukannya terus-menerus. Sebelum menghitung sebuah permintaan, pastikan permintaan itu benar-benar datang dari perusahaan yang disebutnya:
| Bot | Reverse DNS berakhiran | Daftar IP dipublikasikan |
|---|---|---|
| Googlebot | googlebot.com, google.com, googleusercontent.com | ✓ |
| Bingbot | search.msn.com | ✓ |
| GPTBot, OAI-SearchBot, ChatGPT-User | Gunakan daftar IP | ✓ |
| PerplexityBot, Perplexity-User | Gunakan daftar IP | ✓ |
Untuk DNS, jalankan reverse lookup pada IP, cek namanya, lalu forward lookup untuk memastikan nama itu mengarah kembali ke IP yang sama. Permintaan yang menyebut nama bot tetapi gagal dalam pengecekan ini bukan bot tersebut. Hitung terpisah. Jika permintaan tak terverifikasi yang mengaku crawler AI mendapat jawaban 200, seseorang sedang mengumpulkan konten Anda dengan nama pinjaman; Neova menandainya sebagai Permintaan crawler AI yang tidak terverifikasi mendapat 2xx, dan Nama crawler AI hanya muncul di permintaan yang tidak terverifikasi saat tidak ada satu pun permintaan yang lolos pengecekan.
Yang Perlu Dicari: Checklist Analisis Log
Baca log dengan membandingkannya ke crawl. Crawl lengkap kami atas seoprocheck.com pada 17 Oktober 2026 menemukan 4.561 halaman HTML yang menjawab 200: itulah daftar yang dibandingkan dengan log situs tersebut, halaman demi halaman. Sinyal yang layak dibaca, dengan ambang yang dipakai pemeriksaan log Neova bila ada:
| Sinyal | Sehat | Waspadai jika |
|---|---|---|
| Porsi 3xx, 4xx, 5xx per bot | Rendah dan datar | Lebih dari 1% dan naik dua kali lipat |
| 429 dan 403 untuk bot | 0 | Berapa saja |
| Halaman kunci tidak pernah dikunjungi | 0 | Berapa saja |
| Interval recrawl Googlebot | Datar | Naik 50% atau lebih |
| URL yang belum pernah terlihat per hari | Datar | 10+ per hari, naik dua kali lipat |
| CSS dan JS yang diambil | Menjawab 200 | Error apa pun |
Hitung juga permintaan terverifikasi per hari per bot, dan lihat URL yang diminta bot tetapi tidak ditemukan crawl Anda: orphan, halaman lama, parameter, atau link dari situs lain. Lonjakan mendadak URL yang belum pernah terlihat sering berarti crawl trap atau template rusak baru saja live.
Analisis Log File di Neova
Aplikasi desktop Neova punya tool Log server yang menggabungkan log dengan crawl, sehingga setiap URL menunjukkan apa yang ditemukan crawl sekaligus apa yang dilakukan bot.
- 8 sumber log, dikenali dari baris-barisnya sendiri: Apache dan Nginx combined, IIS W3C, Amazon CloudFront, load balancer Amazon, Cloudflare Logpush, Google Cloud load balancing, Akamai DataStream, serta Fastly atau log JSON dan CSV lain dengan nama field yang umum. Biasa, .gz, atau beberapa file dalam satu .zip.
- Hanya bot terverifikasi. Sebuah permintaan dihitung untuk Googlebot, Bingbot, atau crawler AI hanya jika alamatnya ada di daftar yang dipublikasikan perusahaannya. Reverse DNS juga bisa diaktifkan untuk Google dan Microsoft.
- Never Visited dan Orphans: halaman HTML yang tidak pernah dikunjungi Googlebot dalam rentang log, dan URL yang diminta bot tetapi tidak dikenal crawl.
- Refusals: jawaban 429 dan 403 yang diterima setiap bot.
- Cloudflare: untuk situs di balik Cloudflare, Neova bisa mengumpulkan permintaan crawler di akun Cloudflare Anda sendiri, tanpa perlu akses server.
- Ask for the Log menuliskan permintaan untuk dikirim ke tim IT: hanya baris crawler, tanpa perlu menginstal apa pun.
- Dibaca di komputer Anda. File-nya tidak pernah keluar dari komputer itu, dan tidak ada alamat IP yang ditulis di mana pun.
Pemeriksaan log mencakup pangsa respons 3xx, 4xx, atau 5xx bot pencarian yang meningkat, interval recrawl Googlebot yang bertambah 50% atau lebih, permintaan bot untuk URL yang belum pernah terlihat yang naik dua kali lipat, dan orphan yang dapat diindeks yang ditemukan lewat log. Langkah demi langkahnya ada di Impor Tanpa Menghubungkan, dan Harga menunjukkan paket mana yang menyertakan log server.
Kesalahan Umum
- Memercayai user agent. Tanpa verifikasi IP, Googlebot palsu menggelembungkan setiap angka.
- Memakai log satu minggu. Banyak halaman di-crawl lebih jarang dari itu. Gunakan minimal 30 hari.
- Menganalisis jumlah hit, bukan permintaan. Ringkasan log adalah gambaran umum yang baik, tetapi detailnya ada di baris mentah. Mintalah baris mentah itu.
- Melupakan CDN. Jika CDN menjawab dari cache, log server origin Anda tidak mencatat permintaan itu. Gunakan log CDN.
- Membaca log tanpa crawl. Log saja tidak bisa memberi tahu halaman mana yang dilewati bot. Anda butuh daftar halaman yang ada sebagai pembanding.
FAQ analisis log file di SEO ProCheck menjawab pertanyaan yang biasanya muncul berikutnya.
Pertanyaan
Apa itu analisis log file dalam SEO?
Membaca access log server Anda untuk melihat URL mana yang diminta mesin pencari dan crawler AI, seberapa sering, dan apa jawaban server Anda. Analisis ini menunjukkan perilaku crawl nyata, bukan sekadar apa yang bisa dijangkau crawler.
Berapa hari log yang saya butuhkan?
Minimal 30 hari. Rentang yang lebih pendek membuat halaman yang dikunjungi Googlebot setiap beberapa minggu terlihat seolah tidak pernah di-crawl.
Bisakah saya melakukan analisis log file tanpa akses server?
Sering kali bisa. Jika situs berada di balik CDN seperti Cloudflare atau CloudFront, log-nya memuat permintaan crawler. Neova bisa mengumpulkan permintaan crawler di akun Cloudflare Anda sendiri tanpa akses server.
Apakah Statistik Crawl di Search Console menggantikan log server?
Tidak. Statistik Crawl memberi total dan contoh untuk Googlebot. Log memberi setiap permintaan, untuk setiap bot, per URL, sehingga Anda bisa mencocokkannya dengan crawl Anda.
Apakah log server memuat data pribadi?
Log memuat alamat IP pengunjung, jadi perlakukan dengan hati-hati. Minta hanya baris crawler. Neova membaca log di komputer Anda dan tidak menulis alamat IP di mana pun.