Trình tạo Robots.txt

Xây dựng các chỉ thị quy tắc Robots.txt có cấu trúc đầy đủ để cho phép hoặc hạn chế các bot thu thập dữ liệu và tham chiếu đến vị trí chỉ mục sitemap XML động của bạn.

Chỉ thị Robots

Bot tìm kiếm mặc định (User-agent: *):

Chính sách Googlebot:

URL Sitemap XML:

Các thư mục bị chặn (mỗi dòng một thư mục):

Kết quả Robots.txt:

Tính năng

Trình Tạo Tiện Ích Robots.txt

Xác định các nguyên tắc rõ ràng để công cụ tìm kiếm thu thập dữ liệu cấu trúc trang của bạn.

🤖

Bộ bảo vệ chống bot thu thập dữ liệu

Ngăn các bot thu thập dữ liệu tiêu tốn ngân sách thu thập dữ liệu để lập chỉ mục các khu vực không công khai như bảng điều khiển quản trị hoặc đường dẫn phát triển.

📄

Lập chỉ mục Sitemap

Khai báo rõ ràng đường dẫn sitemap của bạn trong các chỉ thị robots, giúp trình thu thập dữ liệu lập bản đồ liên kết nhanh hơn.

🔒

Không Tải Lên Máy Chủ

Cấu hình 100% dựa trên trình duyệt. Chúng tôi không đăng ký, lưu hoặc theo dõi các tệp tên miền.

🕷️

Tùy chỉnh Googlebot

Dễ dàng xác định các quy tắc riêng biệt cho các bot lập chỉ mục của Google.

💾

Tải xuống tích hợp

Tải trực tiếp bộ quy tắc cuối cùng dưới dạng tệp văn bản robots.txt gọn gàng, sẵn sàng để tải lên.

⚙️

Ghi đè mặc định

Thiết lập các cài đặt chính sách cho phép/chặn mặc định tiêu chuẩn bằng cấu hình danh sách thả xuống đơn giản.

Câu hỏi thường gặp

Tệp robots.txt là một tệp văn bản do người quản trị web tạo ra để hướng dẫn các robot của công cụ tìm kiếm (như Googlebot) cách thu thập dữ liệu các trang trên trang web của họ. Đây là một phần của Giao thức loại trừ robot (REP).

Tệp robots.txt phải được tải lên thư mục gốc của máy chủ website của bạn (ví dụ: https://yourdomain.com/robots.txt) để các trình thu thập dữ liệu tìm kiếm có thể tự động phát hiện tệp này.

Không hẳn. Quy tắc disallow trong robots.txt yêu cầu Googlebot không thu thập dữ liệu trang đó, nhưng nếu một website khác liên kết đến trang đó, nó vẫn có thể được lập chỉ mục. Để ẩn hoàn toàn các trang, hãy dùng thẻ meta "noindex" hoặc cơ chế xác thực trên máy chủ.

Việc liên kết sơ đồ trang XML của bạn trong robots.txt cho các trình thu thập dữ liệu của công cụ tìm kiếm biết chính xác nơi tìm thấy bố cục sơ đồ trang web của bạn, giúp chúng lập chỉ mục các bài viết mới nhất của bạn nhanh hơn.

Có, trình thu thập dữ liệu của công cụ tìm kiếm hỗ trợ các ký tự đại diện như * (chuỗi ký tự bất kỳ) và $ (kết thúc dòng) để xác định các mẫu khớp.

Bạn có thể kiểm tra các quy tắc của mình bằng Công cụ kiểm tra Robots của Google Search Console hoặc các tùy chọn kiểm tra chỉ mục trong Bing Webmaster Tools.