ตัวสร้าง Robots.txt

สร้างคำสั่งกฎ Robots.txt ที่มีโครงสร้างครบถ้วนเพื่ออนุญาตหรือจำกัดบอทรวบรวมข้อมูล และอ้างอิงตำแหน่งดัชนี XML sitemaps แบบไดนามิกของคุณ

คำสั่ง Robots

บอทค้นหาเริ่มต้น (User-agent: *):

นโยบาย Googlebot:

URL ของ Sitemap XML:

ไดเรกทอรีที่ไม่อนุญาต (บรรทัดละหนึ่งรายการ):

ผลลัพธ์ Robots.txt:

คุณสมบัติ

เครื่องมือสร้างไฟล์ Robots.txt

กำหนดแนวทางที่ชัดเจนให้เครื่องมือค้นหาเก็บข้อมูลโครงสร้างหน้าเว็บของคุณ

🤖

ตัวป้องกันบอทรวบรวมข้อมูล

ป้องกันไม่ให้บอทรวบรวมข้อมูลสิ้นเปลืองงบประมาณการรวบรวมข้อมูลไปกับการจัดทำดัชนีส่วนที่ไม่ใช่สาธารณะ เช่น แดชบอร์ดผู้ดูแลระบบหรือพาธสำหรับการพัฒนา

📄

การจัดทำดัชนีแผนผังเว็บไซต์

ประกาศเส้นทางไซต์แมปของคุณอย่างชัดเจนภายในไดเรกทิฟของ robots ช่วยให้โปรแกรมรวบรวมข้อมูลจับคู่ลิงก์ได้เร็วขึ้น

🔒

ไม่ต้องอัปโหลดขึ้นเซิร์ฟเวอร์

การตั้งค่าทำงานบนเบราว์เซอร์ 100% เราไม่ลงทะเบียน จัดเก็บ หรือติดตามไฟล์โดเมน

🕷️

การปรับแต่ง Googlebot

กำหนดกฎที่แตกต่างกันสำหรับสไปเดอร์จัดทำดัชนีของ Google ได้อย่างง่ายดาย

💾

ดาวน์โหลดการผสานรวม

ดาวน์โหลดชุดกฎสุดท้ายได้โดยตรงในรูปแบบไฟล์ข้อความ robots.txt ที่สะอาดและพร้อมอัปโหลด

⚙️

การแทนที่ค่าเริ่มต้น

ตั้งค่านโยบายอนุญาต/ไม่อนุญาตเริ่มต้นแบบมาตรฐานได้ด้วยการกำหนดค่าจากดรอปดาวน์ที่ใช้งานง่าย

คำถามที่พบบ่อย

ไฟล์ robots.txt คือไฟล์ข้อความที่ผู้ดูแลเว็บไซต์สร้างขึ้นเพื่อบอกโรบ็อตของเครื่องมือค้นหา (เช่น Googlebot) ว่าควรรวบรวมข้อมูลหน้าเว็บต่าง ๆ บนเว็บไซต์ของตนอย่างไร ไฟล์นี้เป็นส่วนหนึ่งของ Robots Exclusion Protocol (REP)

ต้องอัปโหลดไฟล์ robots.txt ไปยังไดเรกทอรีรากของโฮสต์เว็บไซต์ของคุณ (เช่น https://yourdomain.com/robots.txt) เพื่อให้สไปเดอร์ของเครื่องมือค้นหาสามารถค้นพบไฟล์ได้โดยอัตโนมัติ

ไม่จำเป็นเสมอไป กฎ disallow ใน robots.txt จะบอก Googlebot ว่าไม่ให้รวบรวมข้อมูลหน้านั้น แต่ถ้าเว็บไซต์อื่นลิงก์มายังหน้านั้น หน้านั้นก็ยังอาจถูกจัดทำดัชนีได้ หากต้องการซ่อนหน้าเว็บอย่างสมบูรณ์ ให้ใช้แท็ก meta "noindex" หรือการกำหนดสิทธิ์บนเซิร์ฟเวอร์

การใส่ลิงก์ XML sitemap ของคุณไว้ใน robots.txt จะบอกบอทรวบรวมข้อมูลของเครื่องมือค้นหาได้อย่างชัดเจนว่าจะหาโครงสร้างแผนผังเว็บไซต์ของคุณได้ที่ใด ซึ่งช่วยให้จัดทำดัชนีบทความล่าสุดของคุณได้เร็วขึ้น

ใช่ บอทรวบรวมข้อมูลของเครื่องมือค้นหารองรับไวลด์การ์ด เช่น * (ลำดับอักขระใดก็ได้) และ $ (จุดสิ้นสุดบรรทัด) เพื่อกำหนดการจับคู่รูปแบบ

คุณสามารถตรวจสอบกฎของคุณได้โดยใช้ Robots Testing Tool ของ Google Search Console หรือตัวเลือกการตรวจสอบการจัดทำดัชนีใน Bing Webmaster Tools