499K Logo
เข้าสู่ระบบ / สมัครสมาชิก
บริษัทเทคยอมรับสัญญาณใหม่ใน robots.txt เพื่อบล็อกการ scraping สำหรับ AI
ยอดเข้าชม: 16 ครั้ง

บริษัทเทคยอมรับสัญญาณใหม่ใน robots.txt เพื่อบล็อกการ scraping สำหรับ AI

เผยแพร่ 31 ต.ค. 2569·อ่าน 2 นาที·เรียบเรียงจาก Engadget · ต้นฉบับ 31 ต.ค. 2569

Google, OpenAI, Anthropic และ Microsoft ตอบรับสัญญาณเดียวในไฟล์ robots.txt เพื่อบล็อกการ scraping สำหรับการ train AI

บริษัทเทคใหญ่ตอบรับสัญญาณเดียวในไฟล์ robots.txt

Google, Anthropic, OpenAI และ Microsoft ประกาศว่าจะยอมรับ directive ใหม่ในไฟล์ robots.txt ที่อนุญาตให้เจ้าของเว็บไซต์ระบุความต้องการไม่ให้มีการขูดข้อมูล (scraping) เพื่อใช้สำหรับการฝึกโมเดล generative AI.

ข้อเสนอฉบับนี้มาจาก Kevin Kelley หัวหน้าฝ่ายมาตรฐานทางเทคนิคของ Anthropic และกำลังพิจารณาในองค์กรมาตรฐานอินเทอร์เน็ต IETF จุดประสงค์คือสร้างสัญญาณกลางตัวเดียวที่หลายบริษัทจะยอมรับ แทนที่เจ้าของเว็บต้องระบุ crawler แต่ละตัวแยกกัน

รูปแบบสัญญาณและการใช้งาน

เจ้าของเว็บจะต้องเพิ่ม user agent ใหม่ในไฟล์ robots.txt สำหรับการ train AI ซึ่งตัวอย่างรูปแบบคือ:

User-Agent: __usage_ai-training Disallow: / Allow: /press-kit/

สัญญาณนี้จะบล็อก crawler ที่ตั้งใจเก็บข้อมูลเพื่อการ train โดยส่วน Allow ให้สิทธิ์อนุญาตเฉพาะบางส่วนของเว็บไซต์ เช่น press kit แต่ไม่ได้ห้ามการ crawling ทั้งหมดหรือการแสดงผลบน Google Search

ข้อยกเว้นและระยะเวลา

  • directive นี้ไม่สามารถย้อนคืนข้อมูลที่บริษัทเก็บไปแล้วได้ หากเคย crawl หน้าเว็บในอดีต ข้อมูลนั้นยังคงอยู่
  • Anthropic เริ่มรองรับสัญญาณนี้แล้ว
  • Microsoft ระบุว่าจะเริ่มรองรับตั้งแต่วันที่ 1 กุมภาพันธ์ 2027
  • Google บอกว่าจะรองรับในช่วงต้นปี 2027 และ OpenAI จะเริ่มใช้งานสัญญาณนี้ในอีกไม่กี่เดือนข้างหน้า

ตัวอย่างเช่น Google จะตีความสัญญาณนี้เป็นสัญญาณหยุดสำหรับ user agent ชื่อ Google-Extended ซึ่งใช้เก็บข้อมูลเพื่อนำไป train โมเดลเช่น Gemini

ความหมายต่อเจ้าของเว็บ

เจ้าของเว็บไซต์ได้เครื่องมือควบคุมมากขึ้นในการบอกว่าอนุญาตให้ใช้ข้อมูลส่วนไหนสำหรับการ train AI แต่ต้องตั้งค่าไฟล์ robots.txt ให้ถูกต้องและเข้าใจข้อจำกัดว่าการเปลี่ยนแปลงจะมีผลตั้งแต่เวลาที่เริ่มรองรับเท่านั้น

อ่านจบแล้ว ลองตอบดู
2 ข้อ จากเนื้อข่าวนี้
1. directive ใหม่นี้ในไฟล์ robots.txt มีจุดประสงค์หลักเพื่ออะไร
2. บริษัทไหนระบุว่าจะเริ่มรองรับ directive นี้ตั้งแต่ 1 กุมภาพันธ์ 2027
ที่มาของข่าว
Engadget
“Google joins OpenAI and Anthropic in promising new scraping controls - Engadget”
บทความนี้เป็นการเรียบเรียงและสรุปเป็นภาษาไทยโดยทีมงาน 499K Network ไม่ใช่คำแปลอย่างเป็นทางการ ลิขสิทธิ์เนื้อหาต้นฉบับเป็นของ Engadget · เผยแพร่ต้นฉบับ 31 ต.ค. 2569
อ่านต้นฉบับภาษาอังกฤษ

ฝากร้านขายเกม Steam ทั้งไอดีมือ 1 มือ 2 และ CD-Key ไว้หน่อยนะครับผม สนใจเลือกดูสินค้า คลิ๊ก 499K Network

รีวิวจากผู้ใช้จริง

‌

รีวิวทั้งหมด: (/0)

ดูรีวิวทั้งหมด
‌

กำลังฮิตในตอนนี้

...

-95%

Phantom Blade Zero Deluxe Edition (ไอดี 5)

฿90.00฿1890.00

ไอดี Offline Steam

...

-96%

[DLC ครบ] Marvel's Spider-Man 2 (ID 2)

฿70.00฿1990.00

ไอดี Offline Steam

...

-97%

[มี DLC] Cyberpunk 2077 + Phantom Liberty

฿70.00฿2482.16

ไอดี Offline Steam

...

[DLC ครบ] The Last of Us™ Part I

ไอดี Offline Steam
฿60.00฿1990.00
...

-97%

[DLC ครบ] The Last of Us™ Part I

฿60.00฿1990.00

ไอดี Offline Steam

...

God of War

ไอดี Offline Steam
฿39.00฿1290.00
...

-97%

God of War

฿39.00฿1290.00

ไอดี Offline Steam

...

Forza Horizon 6 Premium Edition

ไอดี Offline Steam
฿85.00฿3500.00
...

-98%

Forza Horizon 6 Premium Edition

฿85.00฿3500.00

ไอดี Offline Steam

...

Marvel’s Spider-Man Remastered

ไอดี Offline Steam
฿32.00฿1690.00Flash -20%
...

-98%

Flash -20%

Marvel’s Spider-Man Remastered

฿32.00฿1690.00

ไอดี Offline Steam

...

[มี DLC] ELDEN RING + Shadow of the Erdtree

ไอดี Offline Steam
฿63.00฿2390.00Flash -10%
...

-97%

Flash -10%

[มี DLC] ELDEN RING + Shadow of the Erdtree

฿63.00฿2390.00

ไอดี Offline Steam

...

The Isle

ไอดีมือ 1 Steam
฿255.00฿400.00
...

-36%

The Isle

฿255.00฿400.00

ไอดีมือ 1 Steam

...

Ghost of Tsushima DIRECTOR'S CUT

ไอดี Offline Steam
฿60.00฿1690.00
...

-96%

Ghost of Tsushima DIRECTOR'S CUT

฿60.00฿1690.00

ไอดี Offline Steam

...

[มี DLC] Resident Evil 4 Gold Edition

ไอดี Offline Steam
฿40.00฿1350.00
...

-97%

[มี DLC] Resident Evil 4 Gold Edition

฿40.00฿1350.00

ไอดี Offline Steam

ข่าวสารจากทางร้าน