Crawler SEO cho JavaScript: cách crawl website JavaScript
Một website xây bằng React, Vue, Angular hay Next.js có thể trông hoàn hảo trong trình duyệt mà vẫn trả cho crawler một trang gần như trống. Một JavaScript SEO crawler cho bạn thấy cả hai phiên bản, HTML server gửi và trang sau khi script chạy, cùng những chỗ chúng khác nhau.
Vì sao website JavaScript cần cách crawl khác
Google xử lý trang JavaScript theo ba giai đoạn: crawl, kết xuất trong Chromium headless khi có tài nguyên, rồi index. Kiến thức cơ bản về JavaScript SEO của Google giải thích hàng đợi giữa crawl và kết xuất. Cho tới khi kết xuất xong, Google làm việc với HTML gốc.
Các crawler khác có thể không bao giờ kết xuất. Nhiều AI crawler và một số công cụ tìm kiếm chỉ đọc HTML server gửi. Vì vậy câu hỏi thực sự là cái gì bị thiếu trước khi kết xuất, và có gì thay đổi trong quá trình đó không.
Một crawler HTML thông thường chỉ thấy phản hồi gốc. Một JavaScript SEO crawler tải từng trang trong trình duyệt thật, chờ trang ổn định, và giữ cả hai phiên bản cạnh nhau. SEO ProCheck giải thích từng bước công cụ tìm kiếm và AI crawler kết xuất trang của bạn thế nào.
Trang kết xuất phía client, phía server, tĩnh và hydrate
Cách website dựng trang quyết định HTML gốc nên chứa những gì.
| Cách trang được dựng | HTML gốc chứa | Văn bản khi không có JavaScript | Thiết lập điển hình |
|---|---|---|---|
| Kết xuất phía client | Một div gốc, các thẻ script | – | App React, Vue hoặc Angular |
| Kết xuất phía server | Toàn bộ trang | ✓ | Next.js, Nuxt, Angular SSR |
| Tạo trang tĩnh | Toàn bộ trang, dựng sẵn | ✓ | Bản xuất tĩnh, trình tạo website |
| Hydration | Toàn bộ trang, rồi tới script | ✓ | Phần lớn website dùng framework |
| Kết hợp | Tùy template | ◐ | Phần lớn website thực tế |
Một website Next.js có thể phục vụ trang sản phẩm từ server và dựng trang kết quả tìm kiếm hay trang tài khoản trong trình duyệt. Đó là lý do bạn kiểm tra theo từng template: một template kết xuất phía client có thể giấu hàng nghìn URL.
HTML đã kết xuất và HTML gốc: cần so sánh gì
So sánh từng phần tử. Với mỗi phần tử: nó có trong HTML gốc không, và JavaScript có thay đổi nó không?
| Phần tử | Rủi ro nếu chỉ có khi kết xuất | Mục kiểm tra của Neova |
|---|---|---|
| Title | Trang không có tên | Title chỉ xuất hiện trong HTML đã kết xuất |
| Meta description | Không có nguồn cho snippet | Meta description chỉ xuất hiện trong HTML đã kết xuất |
| H1 | Không thấy chủ đề | H1 chỉ xuất hiện trong HTML đã kết xuất |
| Canonical | Hai tín hiệu khác nhau | Canonical bị JavaScript thay đổi hoặc xóa |
| Noindex | Google có thể bỏ qua bước kết xuất | Chỉ thị noindex bị JavaScript gỡ bỏ |
| Internal link | Được tìm thấy muộn, hoặc không bao giờ | Internal link chỉ xuất hiện trong HTML đã kết xuất |
| Nội dung chính | Trang gốc mỏng | Phần lớn nội dung chính chỉ xuất hiện trong HTML đã kết xuất |
Dữ liệu có cấu trúc và hreflang cũng có thể được script chèn vào. Hãy kiểm tra chúng có mặt, và giống hệt nhau, trong cả hai phiên bản. Cách an toàn nhất là cách nhàm chán: mọi thứ quan trọng cho tìm kiếm nằm trong HTML từ server, còn JavaScript chỉ thêm tương tác.
Những con số quan trọng trên website JavaScript
| Giới hạn | Giá trị | Nguồn |
|---|---|---|
| HTML Googlebot tải cho mỗi file | 15 MB đầu tiên | |
| Thời gian kết xuất bị đánh dấu | Trên 4 giây | Kết xuất JavaScript mất hơn 4 giây |
| Nội dung chính chỉ có trong HTML đã kết xuất | Hơn một nửa, từ 50 từ trở lên | Nhóm trang phụ thuộc vào kết xuất JavaScript cho nội dung chính hoặc điều hướng |
| Link điều hướng chỉ có khi kết xuất | Một nửa trở lên | Nhóm trang phụ thuộc vào kết xuất JavaScript cho nội dung chính hoặc điều hướng |
| Route dạng hash gửi tới server | Không có gì sau dấu # | RFC 3986 |
Mốc 4 giây và một nửa văn bản là ngưỡng của Neova, được nêu trong quy tắc của từng mục kiểm tra. Mốc 15 MB và quy tắc về fragment đến từ Google và tiêu chuẩn URI.
Cách thiết lập một lần crawl JavaScript SEO
- Crawl không kết xuất trước. Một lần crawl gốc nhanh cho thấy server gửi gì. Nếu nó tìm thấy rất ít trang, điều hướng có lẽ cần JavaScript.
- Kết xuất một mẫu cho mỗi template. Vài trang mỗi nhóm trang cho thấy template nào phụ thuộc vào script. Chỉ kết xuất toàn website ở những chỗ đó.
- Để trang ổn định. Chờ mạng yên lặng và trang ngừng thay đổi.
- Đừng chặn script. Xem Trang HTML dùng file JavaScript bị robots.txt disallow.
- Giữ tốc độ lịch sự. Một trang kết xuất có thể kéo theo hàng chục request cho script, style và API.
- Đọc cả các lỗi. Xem Kết xuất JavaScript thất bại hoặc hết thời gian chờ.

Hướng dẫn cách crawl một website bao gồm phạm vi, tốc độ và quyền.
Các vấn đề JavaScript SEO thường gặp mà crawler tìm ra
- Link không phải là link. Google đi theo phần tử
acóhref. Một nút có trình xử lý click không phải là link. Xem hướng dẫn của Google về link crawl được. - Route phía sau dấu hash.
/#/productstrông như một trang, vì phần sau dấu hash không bao giờ tới server. Hãy dùng History API và đường dẫn thật. - Soft 404. Một single page app thường trả 200 cho mọi route, rồi hiện thông báo không tìm thấy trong trình duyệt.
- Nội dung chờ một cú click hoặc cuộn. Crawler không bấm vào tab. Ghi chú của Google về nội dung lazy-load chỉ cách tải để nó được index.
- Metadata kẹt ở route đầu tiên. Title và canonical giữ giá trị của trang đầu tiên trừ khi router cập nhật chúng.
- Redirect bằng JavaScript. Được nhận ra chậm hơn redirect từ server, và một số crawler không bao giờ thấy.
- Lỗi làm mất nội dung. Một lần gọi API thất bại có thể khiến trang mất title hoặc nội dung chính. Xem Lỗi JavaScript làm mất title, canonical hoặc nội dung chính khi kết xuất.
Thêm câu trả lời trong FAQ JavaScript SEO của SEO ProCheck.
Crawl website React, Next.js và single page app
Một single page app. Hãy chờ đợi HTML gốc gần như trống và một lần crawl gốc nhỏ. Kết xuất một mẫu cho mỗi loại route và kiểm tra mỗi route có URL, title và canonical riêng, cùng mã trạng thái 404 thật cho trang không tồn tại. Kết xuất phía server hoặc tạo trang tĩnh là cách sửa giúp mọi crawler cùng lúc.
Một website Next.js hoặc Nuxt. Phần lớn trang đã có trong HTML gốc. Hãy tìm các ngoại lệ: route dựng trong trình duyệt, metadata do client component đặt, menu chỉ hiện sau khi hydrate.
Kiểu kết hợp. Gom URL theo template và xem tỷ lệ trang có nội dung trong HTML gốc, theo từng nhóm. Một nhóm thấp hơn hẳn các nhóm khác thường là một template cần sửa. Kiểm tra sau mỗi bản phát hành: một thay đổi nhỏ ở component có thể chuyển title hoặc link từ server sang trình duyệt.
Ngoài Google: AI crawler và HTML gốc
Trợ lý AI tải trang để trả lời câu hỏi, và nhiều crawler của chúng đọc HTML đúng như khi nó tới. Một trang cần JavaScript cho nội dung chính có thể gần như trống với chúng, ngay cả khi Google index bình thường. SEO ProCheck trình bày SSR, CSR và khả năng hiển thị trong AI.
Vì vậy một lần crawl JavaScript SEO cũng nên cho thấy mỗi AI crawler được trả về gì. Hướng dẫn AI crawler bao gồm các token và quy tắc robots.txt.
Neova crawl website JavaScript thế nào
Neova chạy trên Mac (Apple silicon), Windows và Linux, cùng Neova Online trong trình duyệt. Kết xuất JavaScript có trong mọi gói, kể cả Gói miễn phí.
| Tính năng | Nó làm gì |
|---|---|
| Đang kết xuất trong Chrome | Mọi trang, hoặc vài trang mỗi nhóm |
| Thời gian chờ kết xuất | Chờ tới khi trang ổn định |
| Cột Kết xuất | Kết xuất phía máy chủ, Đã hydrate, Cần JavaScript |
| Mã nguồn, gốc và đã kết xuất | Cả hai phiên bản HTML, cạnh nhau |
| Màn hình Kết xuất | Mỗi AI crawler được trả về gì |
| Huy hiệu Crawled Without Rendering | Các mục kiểm tra bị bỏ qua, crawl lại bằng một cú nhấp |
| Tải bằng Chrome | Cho website có bảo vệ chống bot |
Kết xuất mặc định tắt, nên lần crawl đầu vẫn nhanh. Tải bằng Chrome có trong app desktop. Trang tính năng liệt kê phần còn lại, So sánh cho thấy các crawler khác xử lý kết xuất thế nào, và hướng dẫn crawler SEO nâng cao bàn về kết xuất ở quy mô lớn.
Câu hỏi
JavaScript SEO crawler là gì?
Một crawler tải trang trong trình duyệt thật, chạy script của trang và giữ trang đã kết xuất cạnh HTML gốc server gửi. So sánh hai bản cho thấy title, link, canonical và văn bản chỉ tồn tại sau khi JavaScript chạy.
Google có kết xuất JavaScript không?
Có. Google crawl một URL, đưa nó vào hàng đợi kết xuất trong Chromium headless, rồi index trang đã kết xuất. Việc kết xuất có thể diễn ra muộn hơn lần crawl, và nhiều AI crawler chỉ đọc HTML gốc.
HTML gốc và HTML đã kết xuất khác nhau thế nào?
HTML gốc là những gì server gửi trước khi script nào chạy. HTML đã kết xuất là trang sau khi trình duyệt chạy JavaScript. Trên website kết xuất phía server, hai bản gần giống nhau; trên app kết xuất phía client, HTML gốc có thể gần như trống.
Tôi có cần kết xuất mọi trang của website JavaScript không?
Thường là không. Hãy kết xuất vài trang mỗi template trước. Template đã đầy đủ trong HTML từ server không cần kết xuất toàn bộ; template phụ thuộc JavaScript thì cần.