NeovaPlatform SEO Tingkat Lanjut

Analisis Log File untuk SEO: Cara Membaca Apa yang Sebenarnya Dilakukan Googlebot

Crawler memberi tahu apa yang bisa diambil mesin pencari. Log server memberi tahu apa yang benar-benar diambilnya. Analisis log file untuk SEO adalah kebiasaan membaca log itu untuk melihat di mana Googlebot, Bingbot, dan crawler AI menghabiskan waktunya, dan ke mana mereka tidak pernah pergi.

Audit, Log, dan Monitoringanalisis log file seoDiperbarui 21 November 2026Oleh tim Neova

Apa Itu Analisis Log File?

Setiap web server menulis satu baris untuk setiap permintaan yang dijawabnya: siapa yang meminta, untuk URL apa, kapan, dan apa balasan server. Baris-baris itu masuk ke access log. Analisis log file berarti membaca log itu, biasanya disaring ke mesin pencari dan crawler AI, lalu mengubahnya menjadi jawaban.

Untuk SEO, pertanyaannya sederhana. Halaman mana yang dikunjungi Googlebot, dan seberapa sering? Mana yang tidak pernah dikunjungi? Di mana Googlebot menemui redirect dan error? Apakah ia membuang permintaan untuk URL yang seharusnya tidak ada?

Tidak ada sumber lain yang menjawabnya dengan detail yang sama. Laporan Statistik Crawl di Search Console memberi ringkasan. Crawl menunjukkan apa yang diekspos link Anda. Hanya log yang menunjukkan setiap permintaan nyata.

SumberSetiap permintaanSetiap botPer URL
Log server✓✓✓
Statistik Crawl–◐◐
Crawl Anda sendiri––✓

Statistik Crawl hanya mencakup Googlebot, selama 90 hari, dengan contoh URL. Untuk pembahasan metode yang lebih panjang, lihat analisis log file untuk SEO di SEO ProCheck.

Mengapa Analisis Log File Penting untuk SEO

  • Temukan halaman yang diabaikan Googlebot. Halaman yang di-link, dapat diindeks, dan ada di sitemap tetapi tidak pernah diminta adalah halaman yang menurut Google tidak layak dikunjungi.
  • Tangkap pemborosan crawl budget. Parameter, URL faceted, dan redirect lama muncul di log jauh setelah Anda melupakannya.
  • Lihat error seperti yang dilihat Googlebot. 5xx yang hanya terjadi saat beban tinggi, atau 429 dari firewall, mungkin tidak pernah muncul di crawl Anda sendiri.
  • Temukan orphan. URL yang diminta bot tetapi tidak dituju internal link mana pun sering kali halaman lama yang masih mendapat perhatian.
  • Lihat crawler AI. GPTBot, ClaudeBot, PerplexityBot, dan lainnya juga meninggalkan baris, jadi Anda bisa melihat apa yang mereka ambil dan apa yang ditolak.
  • Cek migrasi. Setelah pindahan, log menunjukkan apakah Googlebot mengikuti redirect Anda dan sampai ke URL baru.

Isi Satu Baris Log Server

Format paling umum adalah Apache combined log format, yang juga merupakan default Nginx. Satu baris terlihat seperti ini:

66.249.66.1 - - [10/Nov/2026:13:55:36 -0600] "GET /shoes/ HTTP/1.1" 200 2326 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
LapanganContohMengapa penting
IP klien66.249.66.1Satu-satunya cara memverifikasi bahwa bot itu asli
Waktu10/Nov/2026:13:55:36Frekuensi crawl dan interval recrawl
PermintaanGET /shoes/URL mana yang diambil
Status200Sukses, redirect, atau error
Byte2326Ukuran respons
User agentGooglebot/2.1Crawler mana yang mengaku meminta

IIS menulis format W3C extended, dengan baris #Fields: yang menyebut nama kolomnya. CDN dan load balancer, seperti Cloudflare, CloudFront, load balancer AWS, Google Cloud, Akamai, dan Fastly, punya tata letak sendiri, sering dalam JSON. Common format biasa dari Apache tidak memuat user agent, jadi tidak ada bot yang bisa dibedakan di dalamnya. Mintalah combined format.

Cara Mendapatkan Log Server Anda

HostLokasi log
cPanelMetrics, Raw Access (.gz)
PleskLogs, Manage Log Files
AmazonBucket S3, setelah logging diaktifkan
Google CloudCloud Logging, setelah diaktifkan
CloudflareLogpush, atau akun Anda sendiri
LainnyaTanyakan ke tim IT atau host Anda

Di Amazon dan Google Cloud, access logging nonaktif sampai Anda mengaktifkannya. Saat meminta log, buat permintaannya kecil dan mudah disetujui:

MintaNilai
Hari30 atau lebih
BarisHanya crawler
FieldWaktu, URL, status, user agent, IP
FormatCombined, bukan common

Tidak menyertakan pengunjung biasa membuat data pribadi tidak ikut diminta, sesuatu yang dihargai tim keamanan. Dengan kurang dari 30 hari, halaman yang jarang di-crawl terlihat seolah tidak pernah dikunjungi.

Verifikasi Googlebot Sebelum Memercayai Satu Baris

Siapa pun bisa menaruh Googlebot di string user agent. Scraper melakukannya terus-menerus. Sebelum menghitung sebuah permintaan, pastikan permintaan itu benar-benar datang dari perusahaan yang disebutnya:

BotReverse DNS berakhiranDaftar IP dipublikasikan
Googlebotgooglebot.com, google.com, googleusercontent.com✓
Bingbotsearch.msn.com✓
GPTBot, OAI-SearchBot, ChatGPT-UserGunakan daftar IP✓
PerplexityBot, Perplexity-UserGunakan daftar IP✓

Untuk DNS, jalankan reverse lookup pada IP, cek namanya, lalu forward lookup untuk memastikan nama itu mengarah kembali ke IP yang sama. Permintaan yang menyebut nama bot tetapi gagal dalam pengecekan ini bukan bot tersebut. Hitung terpisah. Jika permintaan tak terverifikasi yang mengaku crawler AI mendapat jawaban 200, seseorang sedang mengumpulkan konten Anda dengan nama pinjaman; Neova menandainya sebagai Permintaan crawler AI yang tidak terverifikasi mendapat 2xx, dan Nama crawler AI hanya muncul di permintaan yang tidak terverifikasi saat tidak ada satu pun permintaan yang lolos pengecekan.

Yang Perlu Dicari: Checklist Analisis Log

Baca log dengan membandingkannya ke crawl. Crawl lengkap kami atas seoprocheck.com pada 17 Oktober 2026 menemukan 4.561 halaman HTML yang menjawab 200: itulah daftar yang dibandingkan dengan log situs tersebut, halaman demi halaman. Sinyal yang layak dibaca, dengan ambang yang dipakai pemeriksaan log Neova bila ada:

SinyalSehatWaspadai jika
Porsi 3xx, 4xx, 5xx per botRendah dan datarLebih dari 1% dan naik dua kali lipat
429 dan 403 untuk bot0Berapa saja
Halaman kunci tidak pernah dikunjungi0Berapa saja
Interval recrawl GooglebotDatarNaik 50% atau lebih
URL yang belum pernah terlihat per hariDatar10+ per hari, naik dua kali lipat
CSS dan JS yang diambilMenjawab 200Error apa pun

Hitung juga permintaan terverifikasi per hari per bot, dan lihat URL yang diminta bot tetapi tidak ditemukan crawl Anda: orphan, halaman lama, parameter, atau link dari situs lain. Lonjakan mendadak URL yang belum pernah terlihat sering berarti crawl trap atau template rusak baru saja live.

Analisis Log File di Neova

Aplikasi desktop Neova punya tool Log server yang menggabungkan log dengan crawl, sehingga setiap URL menunjukkan apa yang ditemukan crawl sekaligus apa yang dilakukan bot.

  • 8 sumber log, dikenali dari baris-barisnya sendiri: Apache dan Nginx combined, IIS W3C, Amazon CloudFront, load balancer Amazon, Cloudflare Logpush, Google Cloud load balancing, Akamai DataStream, serta Fastly atau log JSON dan CSV lain dengan nama field yang umum. Biasa, .gz, atau beberapa file dalam satu .zip.
  • Hanya bot terverifikasi. Sebuah permintaan dihitung untuk Googlebot, Bingbot, atau crawler AI hanya jika alamatnya ada di daftar yang dipublikasikan perusahaannya. Reverse DNS juga bisa diaktifkan untuk Google dan Microsoft.
  • Never Visited dan Orphans: halaman HTML yang tidak pernah dikunjungi Googlebot dalam rentang log, dan URL yang diminta bot tetapi tidak dikenal crawl.
  • Refusals: jawaban 429 dan 403 yang diterima setiap bot.
  • Cloudflare: untuk situs di balik Cloudflare, Neova bisa mengumpulkan permintaan crawler di akun Cloudflare Anda sendiri, tanpa perlu akses server.
  • Ask for the Log menuliskan permintaan untuk dikirim ke tim IT: hanya baris crawler, tanpa perlu menginstal apa pun.
  • Dibaca di komputer Anda. File-nya tidak pernah keluar dari komputer itu, dan tidak ada alamat IP yang ditulis di mana pun.

Pemeriksaan log mencakup pangsa respons 3xx, 4xx, atau 5xx bot pencarian yang meningkat, interval recrawl Googlebot yang bertambah 50% atau lebih, permintaan bot untuk URL yang belum pernah terlihat yang naik dua kali lipat, dan orphan yang dapat diindeks yang ditemukan lewat log. Langkah demi langkahnya ada di Impor Tanpa Menghubungkan, dan Harga menunjukkan paket mana yang menyertakan log server.

Kesalahan Umum

  • Memercayai user agent. Tanpa verifikasi IP, Googlebot palsu menggelembungkan setiap angka.
  • Memakai log satu minggu. Banyak halaman di-crawl lebih jarang dari itu. Gunakan minimal 30 hari.
  • Menganalisis jumlah hit, bukan permintaan. Ringkasan log adalah gambaran umum yang baik, tetapi detailnya ada di baris mentah. Mintalah baris mentah itu.
  • Melupakan CDN. Jika CDN menjawab dari cache, log server origin Anda tidak mencatat permintaan itu. Gunakan log CDN.
  • Membaca log tanpa crawl. Log saja tidak bisa memberi tahu halaman mana yang dilewati bot. Anda butuh daftar halaman yang ada sebagai pembanding.

FAQ analisis log file di SEO ProCheck menjawab pertanyaan yang biasanya muncul berikutnya.

Pertanyaan

Apa itu analisis log file dalam SEO?

Membaca access log server Anda untuk melihat URL mana yang diminta mesin pencari dan crawler AI, seberapa sering, dan apa jawaban server Anda. Analisis ini menunjukkan perilaku crawl nyata, bukan sekadar apa yang bisa dijangkau crawler.

Berapa hari log yang saya butuhkan?

Minimal 30 hari. Rentang yang lebih pendek membuat halaman yang dikunjungi Googlebot setiap beberapa minggu terlihat seolah tidak pernah di-crawl.

Bisakah saya melakukan analisis log file tanpa akses server?

Sering kali bisa. Jika situs berada di balik CDN seperti Cloudflare atau CloudFront, log-nya memuat permintaan crawler. Neova bisa mengumpulkan permintaan crawler di akun Cloudflare Anda sendiri tanpa akses server.

Apakah Statistik Crawl di Search Console menggantikan log server?

Tidak. Statistik Crawl memberi total dan contoh untuk Googlebot. Log memberi setiap permintaan, untuk setiap bot, per URL, sehingga Anda bisa mencocokkannya dengan crawl Anda.

Apakah log server memuat data pribadi?

Log memuat alamat IP pengunjung, jadi perlakukan dengan hati-hati. Minta hanya baris crawler. Neova membaca log di komputer Anda dan tidak menulis alamat IP di mana pun.

Bawa panduan ini

Link asisten membuka pertanyaan tentang halaman ini yang sudah siap dikirim.

Crawl situs Anda dengan NeovaPaket Free menjalankan semua pemeriksaan di Mac, Windows, dan Linux. Tanpa kartu kredit.

Lanjut Membaca