
Sam Altman อธิบาย ทำไม RAM ควรอยู่ใน data center มากกว่าอยู่บนโต๊ะคุณ
CEO OpenAI บอกการเก็บ RAM ไว้ในเครื่องคนทำให้ใช้ทรัพยากรไม่คุ้มค่า
Sam Altman: เหตุผลที่อยากให้ RAM อยู่ใน data center
Sam Altman ซีอีโอของ OpenAI ให้สัมภาษณ์กับพอดคาสต์ Cheeky Pint โดยพูดถึงปัญหาอุปทาน RAM (รวมถึง DRAM) ที่ตึงตัวทั่วโลก และอธิบายว่าทำไมเขาถึงต้องการหน่วยความจำจำนวนมากสำหรับโครงการต่างๆ ของบริษัท
“A lot of people want local inference. And somehow, they assume that the problem is solved now because we are going to have open-source models, we’re going to be able to run them on our computers, and so we’re not going to need all the stuff in the data center. But from a global allocation perspective, actually, it’s quite terrible to have everybody have a bunch of the world’s limited supply of DRAM sitting in their own computer and being used five percent of the time.”
Altman ชี้ว่าคนจำนวนมากคิดว่าการรันโมเดลแบบ local inference บนพีซีส่วนตัวจะลดความจำเป็นต้องมีทรัพยากรใน data center แต่จากมุมมองการจัดสรรทรัพยากรในระดับโลก การที่ RAM กระจายอยู่ตามเครื่องผู้ใช้และถูกใช้งานเพียงเล็กน้อย (เช่น 5%) เป็นเรื่องที่ไม่เหมาะสม
ผลกระทบของการจองหน่วยความจำ
ตอนนี้ผู้ผลิตหน่วยความจำรายใหญ่อย่าง Samsung และ SK Hynix ทำสัญญาระยะยาวกับผู้ให้บริการ cloud และโปรเจกต์อย่าง OpenAI ที่ชื่อ Stargate ซึ่งจองปริมาณ RAM ในช่วงปีต่อๆ ไปไว้จำนวนมาก การจ่ายเงินก้อนใหญ่ของฝั่งคลาวด์จึงเป็นเหตุผลหนึ่งที่ทำให้อุปกรณ์อย่าง laptops และ phones มีราคาเพิ่มขึ้น
- Altman ต้องการให้ทรัพยากรถูกใช้งานอย่างมีประสิทธิภาพสูงสุดใน cloud แทนกระจายอยู่ตามอุปกรณ์ส่วนบุคคล
- ความเชื่อเรื่อง open-source models ที่จะรันได้บนพีซี ยังไม่สอดคล้องกับความเป็นจริงด้านการจัดสรร DRAM ระดับโลก
- ผู้ใช้ทั่วไปและนักพัฒนา (เช่น บน Surface RTX Spark Dev Box หรือ MacBook Pro จอสัมผัส) เจอผลกระทบเดียวกันจากการถูกจองหน่วยความจำนี้
- สถานการณ์อาจทำให้ราคาฮาร์ดแวร์เพิ่มขึ้นในระยะสั้น เนื่องจากอุปทานถูกผูกไว้กับสัญญาของผู้ให้บริการคลาวด์
สรุปคือ Altman มองว่าถ้าต้องจัดการกับความตึงตัวของ supply chain ให้ดีที่สุด การรวม RAM ไว้ใน data center เพื่อให้ utilization สูงกว่าจะเป็นแนวทางที่ดีกว่าการปล่อยให้กระจายตามพีซีผู้ใช้
รีวิวจากผู้ใช้จริง
รีวิวทั้งหมด: (/0)
ดูรีวิวทั้งหมด


















