
OpenAI, Google, Microsoft และ Anthropic รับสัญญาณ 'policy token' ในไฟล์ robots.txt เพื่อ opt-out การ scraped
OpenAI, Google, Microsoft และ Anthropic จะใช้สัญญาณ 'policy token' ให้เว็บ opt-out จากการถูก scrape
บริษัท AI ใหญ่ประกาศรองรับสัญญาณเดียวสำหรับการ opt-out
OpenAI, Google, Microsoft และ Anthropic ระบุว่าจะนำสัญญาณใหม่ที่อนุญาตให้ผู้เผยแพร่เนื้อหาเลือกไม่ให้เว็บของตัวเองถูก scrape สำหรับการฝึกโมเดล AI มาใช้ร่วมกัน ข้อมูลนี้รายงานโดย Search Engine Roundtable
สัญญาณ "policy token" ทำงานยังไง
แนวทางคือให้เจ้าของเว็บใส่สัญญาณที่เรียกว่า "policy token" ลงในไฟล์ robots.txt ซึ่งเป็นไฟล์ที่เว็บใช้บอก crawler อยู่แล้วว่าอนุญาตหรือไม่อนุญาตให้ตัวใดเข้ามาดึงข้อมูลได้ จุดต่างคือสัญญาณนี้จะส่งความต้องการของเจ้าของเว็บไปยังผู้ให้บริการ AI หลายรายพร้อมกัน แทนที่จะต้องแจ้งทีละบริษัท
ใครสนับสนุนแล้ว ใครจะตาม
- Anthropic ประกาศนำสัญญาณนี้ไปใช้แล้ว
- Google และ Microsoft ตั้งใจจะรองรับสัญญาณดังกล่าวในปีหน้า
- OpenAI ระบุว่าจะเริ่มใช้งานภายใน "coming months"
- Meta แสดงท่าทีสนับสนุนการสร้างสัญญาณร่วม แต่ยังไม่ยืนยันว่าจะปฏิบัติตามหรือไม่
กรณีใช้งานและผลกระทบ
การประกาศนี้เกิดขึ้นในเวลาที่ผู้เผยแพร่เนื้อหากำลังเผชิญกับการเพิ่มขึ้นของ AI crawler ที่ดึงบทความไปใส่ในโมเดล บางองค์กรพยายามป้องกันด้วยมาตรการอื่น เช่น มาตรฐาน Really Simple Licensing (RSL) ที่เปิดช่องให้เรียกเก็บค่าจาก crawler หรือ Cloudflare ที่บล็อก AI crawler เป็นค่าเริ่มต้น
Microsoft ระบุว่าจะให้การควบคุมแบบละเอียด (granular controls) แก่เจ้าของเว็บ เพื่อให้เลือกได้ว่าจะ opt-out การใช้ข้อมูลสำหรับ AI training หรือสำหรับ AI grounding (การเชื่อมโยงโมเดลกับแหล่งข้อมูลที่ตรวจสอบได้เพื่อลด hallucination) ทั้งนี้ Microsoft บอกว่าเว็บจะยังปรากฏในผลการค้นหาของ Bing ไม่ว่าผู้เผยแพร่จะตั้งค่าอย่างไร เช่นเดียวกับ Google ที่มีระบบควบคุมการใช้เนื้อหาในฟีเจอร์ค้นหาแบบ AI โดยไม่กระทบการปรากฏใน search
"We believe creating a common signal that conveys such preferences to multiple providers at once is an important step," — Andy Stone, Meta communications
ใครเสนอแนวทางนี้
Kevin Kelley ซึ่งเป็น technical lead ด้านมาตรฐานที่ Anthropic เสนอสัญญาณ "policy token" นี้ต่อ Internet Engineering Task Force (IETF) เพื่อให้เป็นมาตรฐานร่วมที่ผู้เผยแพร่และผู้ให้บริการ AI ใช้ได้สะดวกขึ้น
ภาพรวมคือถ้ามาตรฐานนี้ถูกใช้อย่างแพร่หลาย เจ้าของเว็บจะมีเครื่องมือกลางในการควบคุมการให้ข้อมูลแก่ AI ต่างๆ มากขึ้น ขณะที่บริษัท AI ก็จะมีวิธีปฏิบัติที่ชัดเจนเมื่อตรวจพบสัญญาณในไฟล์ robots.txt
รีวิวจากผู้ใช้จริง
รีวิวทั้งหมด: (/0)
ดูรีวิวทั้งหมด


















