Audit

Hướng dẫn · Chặn GPTBot?

Hướng dẫn · Audit

Có nên chặn GPTBot trong robots.txt không?

Xuất bản 16/11/2026 · Cập nhật 17/11/2026

Tóm lại: chặn một bot huấn luyện như GPTBot giữ nội dung của bạn ngoài dữ liệu huấn luyện mô hình sau này, nhưng không loại bạn khỏi tìm kiếm AI. Chặn một bot tìm kiếm như OAI-SearchBot hay PerplexityBot thì có. Hãy quyết định riêng cho từng nhóm, rồi kiểm tra CDN không tự chặn chúng thay bạn.

Có hai nhóm bot AI, và việc chặn một nhóm khác hẳn việc chặn nhóm kia. Trước khi thêm quy tắc vào robots.txt, hãy biết bot đó dùng để huấn luyện mô hình hay để tìm và trích dẫn trang của bạn.

Hai loại crawler AI là gì?

Bot huấn luyện thu thập nội dung để đưa vào dữ liệu huấn luyện tương lai. GPTBot (OpenAI), CCBot (Common Crawl) và Google-Extended thuộc nhóm này theo cách các công ty mô tả. Chặn chúng thường không xóa website khỏi tìm kiếm thông thường.

Bot tìm kiếm / tác nhân người dùng thăm trang khi một sản phẩm AI cần nguồn cho câu trả lời, hoặc khi người dùng nhờ trợ lý mở trang. Tên cụ thể thay đổi (ví dụ OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot trong một số ngữ cảnh). Chặn chúng có thể làm giảm cơ hội được dẫn làm nguồn, dù không ảnh hưởng thứ hạng Google Search.

Vì sao nên chặn bot huấn luyện?

Bạn có thể không muốn nội dung được dùng để huấn luyện mô hình của người khác, đặc biệt với nội dung gốc tốn công hoặc nội dung dành cho khách trả phí đã vô tình để công khai. Đó là lựa chọn chính đáng. Google nói việc từ chối Google-Extended không ảnh hưởng thứ hạng trên Google Search.

Vì sao nên cho phép chúng?

Một số chủ website muốn được nằm trong kiến thức của mô hình, hoặc không muốn duy trì danh sách bot dài. Cho phép bot tìm kiếm (khác với bot huấn luyện thuần) sẽ hữu ích nếu bạn muốn xuất hiện trong câu trả lời của ChatGPT hay Perplexity. Xem cách để được AI trích dẫn.

Tôi copy quy tắc robots.txt nào?

Ví dụ chặn một số bot huấn luyện phổ biến, đồng thời vẫn cho phép thu thập tìm kiếm thông thường:

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /
Sitemap: https://tencuaban.vn/sitemap.xml

Chỉ thêm các nhóm bạn thật sự muốn chặn. Đừng đặt Disallow: / dưới User-agent: * trừ khi bạn muốn chặn mọi bot, gồm cả Googlebot.

robots.txt có thật sự chặn được bot AI không?

Các công ty lớn thường tuyên bố tuân thủ robots.txt; không phải mọi bot đều làm vậy. robots.txt là tín hiệu công khai, không phải hàng rào pháp lý. Việc thay đổi thường mất tới 24 giờ mới tới Google, và có thể lâu hơn với bot khác. Chặn GPTBot không xóa những gì đã được huấn luyện trước đây, và không bảo đảm ChatGPT sẽ ngừng nhắc tới website của bạn từ các nguồn khác.

Người ta thường mắc lỗi gì với quy tắc bot AI?

Lỗi hay gặp nhất là chặn nhầm cả Googlebot bằng Disallow: / trong nhóm *, nhầm Google-Extended với Googlebot, chặn bot tìm kiếm AI rồi bất ngờ vì không được trích dẫn, và sửa robots.txt mà không kiểm tra lại file bot thật sự tải về.

  • Chặn nhầm mọi bot, kể cả Googlebot, bằng Disallow: / trong nhóm *.
  • Nhầm Google-Extended với Googlebot.
  • Chặn bot tìm kiếm rồi bất ngờ vì không được trích dẫn.
  • Sửa robots.txt nhưng không kiểm tra file mà bot thật sự tải được.

Làm sao kiểm tra website đang cho phép gì?

Chạy kiểm tra robots.txt và kiểm tra khả năng hiển thị với AI. Nếu bạn có nhật ký máy chủ, công cụ phân tích log bot AI cho thấy bot nào thật sự đã ghé, chạy ngay trong trình duyệt.

Công cụ miễn phí: Kiểm tra khả năng hiển thị với AI

Xem tường lửa hoặc robots.txt có đang chặn bot AI không.

Chạy kiểm tra miễn phí
Chặn GPTBot có hại thứ hạng Google không?

Không, nếu bạn chỉ chặn GPTBot (hoặc Google-Extended) chứ không chặn Googlebot. Đừng dùng Disallow: / trong nhóm User-agent: *.

Nếu tôi chặn GPTBot, ChatGPT có ngừng nhắc tới website không?

Không bảo đảm. Việc chặn chủ yếu ảnh hưởng thu thập sau này, không gỡ nội dung đã học hay các lượt nhắc từ nguồn khác.

Thay đổi có hiệu lực sau bao lâu?

Google thường lưu robots.txt tối đa 24 giờ. Các bot khác có thể lâu hơn.

Mọi bot AI đều tuân thủ robots.txt chứ?

Các công ty lớn thường tuyên bố là có. Không phải mọi bot đều tuân thủ, và robots.txt không phải hàng rào pháp lý.