Crawl Budget (ngân sách thu thập dữ liệu) là khái niệm chỉ số lượng URL mà các công cụ tìm kiếm như Googlebot có thể thu thập và lập chỉ mục trên website của bạn trong một khoảng thời gian nhất định (thường tính theo ngày).
Nó bao gồm hai yếu tố chính: Crawl Rate Limit (giới hạn tốc độ thu thập, dựa trên khả năng server chịu tải) và Crawl Demand (nhu cầu thu thập, dựa trên độ tươi mới và chất lượng nội dung). Crawl Budget quan trọng vì nếu bị lãng phí (ví dụ: crawl vào trang lỗi, trùng lặp hoặc không quan trọng), Google sẽ không thu thập hết các trang chất lượng, dẫn đến giảm thứ hạng SEO, chậm index và mất cơ hội tiếp cận người dùng.
Dưới đây là hướng dẫn chi tiết, từng bước để kiểm tra hoạt động thu thập dữ liệu liên quan đến Crawl Budget. Tôi sẽ tập trung vào các công cụ miễn phí và phổ biến nhất như Google Search Console (GSC), log server, và một số tool hỗ trợ.
Quy trình này phù hợp cho website tại Việt Nam, dựa trên các cập nhật mới nhất từ Google.
Bước 1: Chuẩn bị tài khoản và công cụ cần thiết
- Tạo/Đăng nhập Google Search Console: Truy cập search.google.com/search-console. Xác minh quyền sở hữu website (qua DNS, HTML tag, hoặc Google Analytics). Nếu chưa có, thêm property cho domain chính (ví dụ: example.com).
- Truy cập log server: Nếu dùng hosting như VietHost, Hostinger hoặc VPS, kiểm tra file log (thường là access.log hoặc error.log) qua cPanel/FTP. Hoặc dùng công cụ như Google Analytics, Ahrefs, Semrush (có phiên bản miễn phí hạn chế).
- Công cụ hỗ trợ:
- Semrush Site Audit (miễn phí 100 trang/audit).
- Screaming Frog SEO Spider (miễn phí đến 500 URL).
- Google Analytics để xem traffic từ bot.
Bước 2: Kiểm tra Crawl Stats trong Google Search Console (Cách chính thức và dễ nhất)
GSC cung cấp dữ liệu trực tiếp từ Google về hoạt động crawl trong 90 ngày qua. Đây là nơi bạn thấy rõ Crawl Budget đang được sử dụng thế nào.
- Truy cập báo cáo: Trong GSC, chọn website → Nhấn vào Settings (Cài đặt) → Chọn Crawl stats (Thống kê thu thập dữ liệu).
- Phân tích các chỉ số chính:
- Total crawl requests: Số lượng yêu cầu crawl tổng (bao gồm thành công và thất bại). Nếu thấp so với kích thước site (ví dụ: site 10.000 trang nhưng chỉ crawl 100/ngày), budget đang bị hạn chế.
- Crawl requests by response: Phân loại theo mã phản hồi (200 OK: thành công; 404: lỗi; 301: redirect). Nếu nhiều 404/500, budget bị lãng phí.
- Crawl requests by file type: Xem crawl vào HTML, hình ảnh, JS/CSS. Nếu crawl nhiều file không cần thiết (như hình ảnh lớn), cần tối ưu.
- Crawl requests by purpose: Phân loại theo mục đích (Discovery: tìm trang mới; Refresh: cập nhật trang cũ). Nếu Refresh thấp, nội dung cũ không được cập nhật.
- Hostload: Tốc độ server chịu tải (nếu cao, Google sẽ crawl chậm hơn để tránh overload).
- Pages crawled per day: Chỉ số trực tiếp cho Crawl Budget. So sánh với số trang site (dùng công cụ như site:example.com trên Google để ước lượng).
- Kiểm tra thay đổi theo thời gian: Xem biểu đồ 90 ngày để phát hiện đột biến (ví dụ: crawl giảm sau update site).
- Thời gian crawl cuối cùng: Trong báo cáo Indexing → Pages, xem “Last crawl” cho từng trang cụ thể.
Nếu không thấy báo cáo Crawl Stats (hiếm xảy ra với site lớn), nghĩa là site nhỏ và budget không bị hạn chế.
Bước 3: Phân tích log server để xem hoạt động crawl thực tế
Log server ghi lại mọi truy cập từ bot, giúp tính toán Crawl Budget chính xác hơn (số trang crawl/ngày).
- Truy cập log:
- Trên cPanel: Logs → Raw Access Logs → Tải file access.log.
- Lọc bằng công cụ: Sử dụng Excel hoặc công cụ như Log Analyzer (Splunk miễn phí) để lọc user-agent chứa “Googlebot” hoặc “Google-InspectionTool”.
- Tính toán:
- Đếm số request từ Googlebot trong 24h (ví dụ: dùng lệnh grep ‘Googlebot’ access.log | wc -l trên Linux).
- Phân loại: Xem URL nào được crawl nhiều nhất (top pages), thời gian crawl (peak hour), và lỗi (status code).
- Ước lượng budget: Số unique URL crawl/ngày. Nếu < 80% tổng trang, cần tối ưu.
- Công cụ hỗ trợ:
- Screaming Frog: Chạy crawl site → Export log → Phân tích tần suất Googlebot truy cập.
- Ahrefs/Semrush: Kết nối log để xem “Crawl Frequency”.
Bước 4: Kiểm tra các yếu tố ảnh hưởng đến Crawl Budget
Để hiểu tại sao budget bị hạn chế, kiểm tra các vấn đề sau:
- Robots.txt: Truy cập example.com/robots.txt. Đảm bảo không block Googlebot vào trang quan trọng (User-agent: Googlebot \ Allow: /).
- Sitemap.xml: Gửi qua GSC (Indexing → Sitemaps). Kiểm tra lỗi và số trang submitted vs. indexed.
- Lỗi crawl trong GSC: Indexing → Pages → Xem “Why pages aren’t indexed” (404, duplicate, noindex). Sửa ngay để tránh lãng phí budget.
- Tốc độ site: Dùng PageSpeed Insights (developers.google.com/speed). Nếu >3s load, Google crawl chậm hơn.
- Duplicate content: Sử dụng thẻ canonical hoặc noindex cho trang trùng.
- Cấu trúc site: Đảm bảo internal link tốt, tránh orphan pages (trang không liên kết).
Bước 5: Tối ưu Crawl Budget dựa trên kết quả kiểm tra
Sau khi kiểm tra, áp dụng các chiến lược để tăng hiệu quả:
- Cập nhật nội dung thường xuyên: Google ưu tiên crawl site có nội dung mới.
- Giảm redirect chain: Giới hạn redirect <3 lần.
- Nén file lớn: Hình ảnh/JS dưới 100KB.
- Block trang không cần: Dùng robots.txt cho /admin, /cart.
- Tăng server capacity: Nâng hosting nếu hostload cao.
- Sử dụng fetch as Google: Trong GSC, test crawl thủ công cho trang mới.
- Theo dõi định kỳ: Kiểm tra GSC hàng tuần.
Lưu ý quan trọng mà bạn cần biết
- Crawl Budget chỉ ảnh hưởng lớn với site >10.000 trang; site nhỏ thường không cần lo.
- Không thể xem budget trực tiếp, chỉ ước lượng qua stats.
- Nếu site bị penalty, crawl giảm mạnh – kiểm tra Manual Actions trong GSC.
- Công cụ trả phí như Moz, Ahrefs cung cấp báo cáo chi tiết hơn, nhưng bắt đầu với GSC là đủ.
