
บริษัทเทคยอมรับสัญญาณใหม่ใน robots.txt เพื่อบล็อกการ scraping สำหรับ AI
Google, OpenAI, Anthropic และ Microsoft ตอบรับสัญญาณเดียวในไฟล์ robots.txt เพื่อบล็อกการ scraping สำหรับการ train AI
บริษัทเทคใหญ่ตอบรับสัญญาณเดียวในไฟล์ robots.txt
Google, Anthropic, OpenAI และ Microsoft ประกาศว่าจะยอมรับ directive ใหม่ในไฟล์ robots.txt ที่อนุญาตให้เจ้าของเว็บไซต์ระบุความต้องการไม่ให้มีการขูดข้อมูล (scraping) เพื่อใช้สำหรับการฝึกโมเดล generative AI.
ข้อเสนอฉบับนี้มาจาก Kevin Kelley หัวหน้าฝ่ายมาตรฐานทางเทคนิคของ Anthropic และกำลังพิจารณาในองค์กรมาตรฐานอินเทอร์เน็ต IETF จุดประสงค์คือสร้างสัญญาณกลางตัวเดียวที่หลายบริษัทจะยอมรับ แทนที่เจ้าของเว็บต้องระบุ crawler แต่ละตัวแยกกัน
รูปแบบสัญญาณและการใช้งาน
เจ้าของเว็บจะต้องเพิ่ม user agent ใหม่ในไฟล์ robots.txt สำหรับการ train AI ซึ่งตัวอย่างรูปแบบคือ:
User-Agent: __usage_ai-training Disallow: / Allow: /press-kit/
สัญญาณนี้จะบล็อก crawler ที่ตั้งใจเก็บข้อมูลเพื่อการ train โดยส่วน Allow ให้สิทธิ์อนุญาตเฉพาะบางส่วนของเว็บไซต์ เช่น press kit แต่ไม่ได้ห้ามการ crawling ทั้งหมดหรือการแสดงผลบน Google Search
ข้อยกเว้นและระยะเวลา
- directive นี้ไม่สามารถย้อนคืนข้อมูลที่บริษัทเก็บไปแล้วได้ หากเคย crawl หน้าเว็บในอดีต ข้อมูลนั้นยังคงอยู่
- Anthropic เริ่มรองรับสัญญาณนี้แล้ว
- Microsoft ระบุว่าจะเริ่มรองรับตั้งแต่วันที่ 1 กุมภาพันธ์ 2027
- Google บอกว่าจะรองรับในช่วงต้นปี 2027 และ OpenAI จะเริ่มใช้งานสัญญาณนี้ในอีกไม่กี่เดือนข้างหน้า
ตัวอย่างเช่น Google จะตีความสัญญาณนี้เป็นสัญญาณหยุดสำหรับ user agent ชื่อ Google-Extended ซึ่งใช้เก็บข้อมูลเพื่อนำไป train โมเดลเช่น Gemini
ความหมายต่อเจ้าของเว็บ
เจ้าของเว็บไซต์ได้เครื่องมือควบคุมมากขึ้นในการบอกว่าอนุญาตให้ใช้ข้อมูลส่วนไหนสำหรับการ train AI แต่ต้องตั้งค่าไฟล์ robots.txt ให้ถูกต้องและเข้าใจข้อจำกัดว่าการเปลี่ยนแปลงจะมีผลตั้งแต่เวลาที่เริ่มรองรับเท่านั้น
รีวิวจากผู้ใช้จริง
รีวิวทั้งหมด: (/0)
ดูรีวิวทั้งหมด


















