Kiểm tra robots.txt
Kiểm tra robots.txt: có đang chặn Google không?
robots.txt dùng để làm gì?
robots.txt là tệp văn bản ở gốc website, cho các bot biết phần nào được thu thập. Một dòng Disallow: / dưới User-agent: * sẽ chặn toàn bộ website, lỗi rất hay gặp khi chuyển website từ bản thử nghiệm sang chạy thật.
Nên khai báo Sitemap: https://tencuaban.vn/sitemap.xml trong robots.txt để Google và Bing tìm sitemap nhanh hơn. Nếu muốn xuất hiện trong câu trả lời của ChatGPT, Claude hay Perplexity, đừng chặn OAI-SearchBot, ClaudeBot, PerplexityBot.
Câu hỏi thường gặp
robots.txt có giấu được trang khỏi Google không?
Không hẳn. robots.txt chỉ ngăn thu thập; trang vẫn có thể xuất hiện nếu có liên kết trỏ tới. Muốn ẩn hẳn, dùng thẻ noindex và cho phép bot đọc trang.
Không có robots.txt có sao không?
Google vẫn thu thập bình thường. Tuy vậy nên có tệp này để khai báo sitemap và tránh lỗi 404 trong nhật ký máy chủ.