Hướng dẫn · Audit
Robots.txt: cú pháp, ví dụ và lỗi cần tránh
Xuất bản 16/11/2026 · Cập nhật 17/11/2026
Tóm lại: robots.txt là file văn bản ở thư mục gốc website, cho bot biết những đường dẫn nào không nên tải. Nó kiểm soát việc thu thập, không kiểm soát việc lập chỉ mục, và chỉ một dòng sai cũng có thể giấu cả website khỏi kết quả tìm kiếm.
File robots.txt nằm ở thư mục gốc của website, ví dụ https://tencuaban.vn/robots.txt, và là việc đầu tiên nhiều bot làm trước khi thu thập. File này không giấu trang khỏi Google; nó chỉ nói bot được phép đi vào đâu.
Cú pháp robots.txt là gì?
File chia thành các nhóm. Mỗi nhóm bắt đầu bằng một hoặc nhiều dòng User-agent, theo sau là các quy tắc Allow và Disallow. Có thể thêm một hoặc nhiều dòng Sitemap: với địa chỉ đầy đủ của sitemap. Google đọc 500 KiB đầu tiên và bỏ qua phần còn lại.
User-agent: *
Disallow: /cart/
Disallow: /search
Allow: /search/results
Sitemap: https://tencuaban.vn/sitemap.xml
Khi nhiều quy tắc khớp, quy tắc nào thắng?
Bot chỉ dùng nhóm có user-agent khớp tên mình cụ thể nhất, và quay về nhóm * nếu không có. Trong nhóm đó, quy tắc khớp dài nhất được áp dụng; nếu Allow và Disallow dài bằng nhau thì Allow thắng. Đây là quy tắc Google công bố và được chuẩn hóa trong RFC 9309.
robots.txt nên chứa gì?
Một website thông thường chỉ cần: cho phép thu thập hầu hết trang, chặn các khu vực không đáng lập chỉ mục như giỏ hàng hay kết quả tìm kiếm, và khai báo sitemap. Website WordPress thường chặn /wp-admin/ nhưng cho phép /wp-admin/admin-ajax.php. Ứng dụng một trang phải trả về file văn bản thật ở /robots.txt, không phải HTML của ứng dụng.
robots.txt có xóa trang khỏi Google không?
Không. Disallow chỉ ngăn thu thập, không ngăn lập chỉ mục. Một URL bị chặn vẫn có thể hiện trong kết quả nếu website khác liên kết tới, chỉ là không có đoạn mô tả. Muốn giữ trang ngoài Google, hãy cho phép thu thập và thêm thẻ meta robots noindex, hoặc bảo vệ trang bằng đăng nhập. robots.txt là công khai, nên đừng liệt kê đường dẫn riêng tư mà bạn không muốn ai biết.
Những lỗi robots.txt hay gặp nhất
- Chặn cả website.
Disallow: /dướiUser-agent: *thường bị chép nhầm từ bản staging. - robots.txt thực chất là một trang web. Ứng dụng một trang trả về HTML cho mọi đường dẫn, kể cả /robots.txt. Bot không đọc được.
- Lỗi máy chủ. Nếu robots.txt trả về lỗi 5xx, Google có thể coi như cả website bị chặn trong một thời gian.
- Trường không được hỗ trợ.
Noindex:trong robots.txt không còn tác dụng với Google từ năm 2019; Googlebot bỏ qua Crawl-delay.
Làm sao kiểm tra robots.txt trước khi đưa lên?
Dùng công cụ kiểm tra robots.txt miễn phí để xem file có đang chặn cả website không, đã có dòng Sitemap chưa, và bot AI nào đang bị chặn. Công cụ cũng có phần tạo robots.txt để bạn sao chép. Google thường lưu robots.txt tối đa 24 giờ; bạn có thể yêu cầu làm mới trong báo cáo robots.txt của Search Console.
Công cụ miễn phí: Kiểm tra robots.txt
Xem file có đang chặn Google hoặc bot AI không, và đã khai báo sitemap chưa.
robots.txt có bắt buộc không?
Không, nhưng nên có. Nếu thiếu, bot coi như được phép thu thập toàn bộ. Một file ngắn với dòng Sitemap và vài quy tắc Disallow rõ ràng sẽ giúp hơn là không có file.
robots.txt có chặn được bot AI không?
Bạn có thể từ chối từng bot bằng nhóm User-agent riêng. Các công ty lớn thường tuyên bố tuân thủ; không phải mọi bot đều làm vậy. Xem hướng dẫn về việc chặn GPTBot.