NeovaNền tảng SEO chuyên sâu

Phân tích log file cho SEO: cách đọc những gì Googlebot thực sự làm

Crawler cho bạn biết công cụ tìm kiếm có thể tải những gì. Log server cho bạn biết nó đã thực sự tải gì. Phân tích log file cho SEO là thói quen đọc các log đó để thấy Googlebot, Bingbot và AI crawler dành thời gian ở đâu, và những nơi chúng không bao giờ ghé.

Audit, log và giám sátphân tích log file cho seoCập nhật ngày 21 tháng 11 năm 2026Tác giả: đội ngũ Neova

Phân tích log file là gì?

Mỗi web server ghi một dòng cho mỗi request nó trả lời: ai hỏi, URL nào, khi nào, và server đã trả lời gì. Các dòng đó nằm trong access log. Phân tích log file nghĩa là đọc log đó, thường lọc theo công cụ tìm kiếm và AI crawler, và biến nó thành câu trả lời.

Với SEO, các câu hỏi rất đơn giản. Googlebot ghé những trang nào, và bao lâu một lần? Những trang nào nó không bao giờ ghé? Nó gặp redirect và lỗi ở đâu? Nó có đang lãng phí request vào những URL không nên tồn tại không?

Không nguồn nào khác trả lời các câu hỏi này với cùng mức chi tiết. Báo cáo Thống kê thu thập dữ liệu của Search Console cho một bản tóm tắt. Một lần crawl cho thấy những gì link của bạn để lộ ra. Chỉ log mới cho thấy từng request thật.

NguồnTừng requestMọi botTheo từng URL
Log server✓✓✓
Thống kê thu thập dữ liệu–◐◐
Lần crawl của chính bạn––✓

Thống kê thu thập dữ liệu chỉ bao gồm Googlebot, trong 90 ngày, với các URL mẫu. Để xem phương pháp chi tiết hơn, hãy đọc phân tích log file cho SEO trên SEO ProCheck.

Vì sao phân tích log file quan trọng với SEO

  • Tìm trang Googlebot bỏ qua. Một trang có link, có thể index và nằm trong sitemap nhưng không bao giờ được request là trang mà Google không cho là đáng ghé.
  • Bắt lãng phí crawl budget. Tham số, URL faceted và redirect cũ xuất hiện trong log rất lâu sau khi bạn đã quên chúng.
  • Phát hiện lỗi như Googlebot thấy. Một lỗi 5xx chỉ xảy ra khi tải cao, hoặc 429 từ firewall, có thể không bao giờ xuất hiện trong lần crawl của chính bạn.
  • Tìm trang mồ côi. Các URL bot request mà không có link nội bộ nào dẫn tới thường là trang cũ vẫn đang được chú ý.
  • Thấy AI crawler. GPTBot, ClaudeBot, PerplexityBot và các bot khác cũng để lại dòng log, nên bạn thấy được chúng lấy gì và bị từ chối gì.
  • Kiểm tra một đợt migration. Sau khi chuyển, log cho thấy Googlebot có đi theo redirect và tới được URL mới hay không.

Một dòng log server chứa gì

Định dạng phổ biến nhất là Apache combined log format, cũng là mặc định của Nginx. Một dòng trông như sau:

66.249.66.1 - - [10/Nov/2026:13:55:36 -0600] "GET /shoes/ HTTP/1.1" 200 2326 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
Thực tếVí dụVì sao quan trọng
IP client66.249.66.1Cách duy nhất để xác minh bot là thật
Thời gian10/Nov/2026:13:55:36Tần suất crawl và khoảng cách crawl lại
RequestGET /shoes/URL nào đã được tải
Trạng thái200Thành công, redirect hay lỗi
Byte2326Kích thước phản hồi
User agentGooglebot/2.1Crawler nào tự nhận là đang hỏi

IIS ghi theo định dạng W3C extended, với một dòng #Fields: nêu tên các cột. CDN và load balancer, như Cloudflare, CloudFront, AWS load balancer, Google Cloud, Akamai và Fastly, có bố cục riêng, thường là JSON. Định dạng common thuần của Apache không có user agent, nên không thể phân biệt bot nào trong đó. Hãy yêu cầu định dạng combined.

Cách lấy log server

HostLog nằm ở đâu
cPanelMetrics, Raw Access (.gz)
PleskLogs, Manage Log Files
AmazonBucket S3, sau khi bật ghi log
Google CloudCloud Logging, sau khi bật
CloudflareLogpush, hoặc tài khoản của chính bạn
Bất kỳ ai khácHỏi bộ phận IT hoặc nhà cung cấp hosting

Trên Amazon và Google Cloud, ghi access log ở trạng thái tắt cho tới khi bạn bật. Khi xin log, hãy giữ yêu cầu nhỏ và dễ duyệt:

Yêu cầuGiá trị
Số ngàyTừ 30 trở lên
DòngChỉ crawler
Trường dữ liệuThời gian, URL, trạng thái, user agent, IP
Định dạngCombined, không phải common

Loại bỏ khách truy cập thông thường giúp yêu cầu không chứa dữ liệu cá nhân, điều mà đội bảo mật rất đánh giá cao. Với ít hơn 30 ngày, các trang được crawl chậm sẽ trông như chưa từng được ghé.

Xác minh Googlebot trước khi tin một dòng log

Ai cũng có thể đặt Googlebot vào chuỗi user agent. Scraper làm điều đó suốt. Trước khi tính một request, hãy kiểm tra nó đến từ đúng công ty mà nó nêu tên:

BotReverse DNS kết thúc bằngDanh sách IP công bố
Googlebotgooglebot.com, google.com, googleusercontent.com✓
Bingbotsearch.msn.com✓
GPTBot, OAI-SearchBot, ChatGPT-UserDùng danh sách IP✓
PerplexityBot, Perplexity-UserDùng danh sách IP✓

Với DNS, chạy reverse lookup trên IP, kiểm tra tên, rồi forward lookup để xác nhận nó trỏ về đúng IP đó. Một request nêu tên bot nhưng không qua được bước kiểm tra thì không phải bot đó. Hãy tính riêng. Nếu các request chưa xác minh tự nhận là AI crawler lại nhận phản hồi 200, ai đó đang thu thập nội dung của bạn dưới một cái tên mượn; Neova đánh dấu trường hợp đó là Yêu cầu của bot AI chưa xác minh được trả về 2xx, và Tên bot AI chỉ xuất hiện trong các yêu cầu chưa xác minh khi không request nào được xác minh cả.

Cần tìm gì: checklist phân tích log

Đọc log đối chiếu với một lần crawl. Lần crawl đầy đủ seoprocheck.com của chúng tôi ngày 17 tháng 10 năm 2026 tìm thấy 4.561 trang HTML trả về 200: đó là danh sách mà log của website ấy được so sánh, từng trang một. Các tín hiệu đáng đọc, kèm ngưỡng mà các mục kiểm tra log của Neova dùng nếu có:

Tín hiệuKhỏe mạnhĐáng lo khi
Tỷ lệ 3xx, 4xx, 5xx theo từng botThấp và ổn địnhTrên 1% và tăng gấp đôi
429 và 403 trả cho bot0Không giới hạn
Trang quan trọng chưa từng được ghé0Không giới hạn
Khoảng cách crawl lại của GooglebotỔn địnhTăng từ 50% trở lên
URL chưa từng thấy mỗi ngàyỔn địnhTừ 10 mỗi ngày, tăng gấp đôi
CSS và JS được tảiTrả về 200Bất kỳ lỗi nào

Hãy đếm cả số request đã xác minh mỗi ngày theo từng bot, và xem các URL bot request mà lần crawl của bạn không tìm thấy: trang mồ côi, trang cũ, tham số, hoặc link từ website khác. URL chưa từng thấy tăng đột ngột thường có nghĩa là một crawl trap hoặc một template lỗi vừa được đưa lên.

Phân tích log file trong Neova

App desktop Neova có công cụ Log server ghép log với kết quả crawl, nên mỗi URL cho thấy cả những gì lần crawl tìm thấy lẫn những gì bot đã làm.

  • 8 nguồn log, nhận diện từ chính các dòng log: Apache và Nginx combined, IIS W3C, Amazon CloudFront, Amazon load balancer, Cloudflare Logpush, Google Cloud load balancing, Akamai DataStream, và Fastly hoặc log JSON và CSV khác với tên trường thông dụng. File thường, .gz hoặc nhiều file trong một .zip.
  • Chỉ bot đã xác minh. Một request chỉ được tính cho Googlebot, Bingbot hoặc một AI crawler khi địa chỉ của nó nằm trong danh sách công ty đó công bố. Reverse DNS cũng có thể bật cho Google và Microsoft.
  • Chưa từng ghé và trang mồ côi: các trang HTML Googlebot chưa từng ghé trong khoảng thời gian của log, và các URL bot đã hỏi mà lần crawl không biết.
  • Bị từ chối: các phản hồi 429 và 403 mà mỗi bot nhận được.
  • Cloudflare: với website đứng sau Cloudflare, Neova có thể thu thập request của crawler trong chính tài khoản Cloudflare của bạn, không cần truy cập server.
  • Xin file log soạn sẵn yêu cầu để gửi bộ phận IT: chỉ các dòng của crawler, không cần cài gì.
  • Đọc trên máy tính của bạn. File không bao giờ rời khỏi máy, và không địa chỉ IP nào được ghi ở đâu cả.

Các mục kiểm tra log gồm tỷ lệ phản hồi 3xx, 4xx hoặc 5xx cho bot tìm kiếm đang tăng, khoảng cách crawl lại của Googlebot tăng từ 50% trở lên, request của bot tới URL chưa từng thấy tăng gấp đôi và trang mồ côi có thể index tìm thấy qua log. Hướng dẫn từng bước có trong Nhập thay vì kết nối, và Bảng giá cho thấy gói nào có log server.

Những lỗi thường gặp

  • Tin vào user agent. Không xác minh IP, Googlebot giả sẽ thổi phồng mọi con số.
  • Dùng log của một tuần. Nhiều trang được crawl thưa hơn thế. Hãy dùng ít nhất 30 ngày.
  • Phân tích số lượt hit thay vì request. Bản tóm tắt log là cái nhìn tổng quan tốt, nhưng chi tiết nằm trong các dòng gốc. Hãy xin các dòng đó.
  • Quên CDN. Nếu CDN trả lời từ cache, log của server gốc sẽ thiếu những request đó. Hãy dùng log của CDN.
  • Đọc log mà không crawl. Chỉ riêng log không thể cho biết bot đã bỏ qua trang nào. Bạn cần danh sách các trang đang tồn tại để so sánh.

FAQ phân tích log file trên SEO ProCheck trả lời những câu hỏi tiếp theo.

Câu hỏi

Phân tích log file trong SEO là gì?

Đó là đọc access log của server để xem công cụ tìm kiếm và AI crawler đã request những URL nào, bao lâu một lần, và server của bạn đã trả lời gì. Nó cho thấy hành vi crawl thực tế thay vì những gì một crawler có thể tới được.

Tôi cần log của bao nhiêu ngày?

Ít nhất 30 ngày. Khoảng thời gian ngắn hơn khiến các trang Googlebot ghé vài tuần một lần trông như chưa từng được crawl.

Có thể phân tích log file mà không cần truy cập server không?

Thường là có. Nếu website đứng sau một CDN như Cloudflare hoặc CloudFront, log của CDN chứa request của crawler. Neova có thể thu thập request của crawler trong chính tài khoản Cloudflare của bạn mà không cần truy cập server.

Thống kê thu thập dữ liệu của Search Console có thay thế được log server không?

Không. Thống kê thu thập dữ liệu cho tổng số và mẫu của Googlebot. Log cho mọi request, của mọi bot, theo từng URL, nên bạn có thể đối chiếu với lần crawl của mình.

Log server có chứa dữ liệu cá nhân không?

Có chứa địa chỉ IP của khách truy cập, nên hãy xử lý cẩn thận. Chỉ xin các dòng của crawler. Neova đọc log trên máy tính của bạn và không ghi địa chỉ IP nào ở đâu cả.

Lưu lại hoặc chia sẻ

Các link tới trợ lý AI sẽ mở sẵn một câu hỏi về trang này.

Crawl website của bạn với NeovaGói Free chạy mọi mục kiểm tra trên Mac, Windows và Linux. Không cần thẻ tín dụng.

Đọc tiếp