OpenAI เปิดตัว Control Room "กรง" ของ AI ที่เราสามารถสั่งหยุดมันได้ภายใน 35 วินาที

Control Room คืออะไร ?

Control Room เป็นระบบควบคุมความปลอดภัยสำหรับงานวิจัยด้าน AI ที่ทำงานอยู่ภายในโครงสร้างพื้นฐานของ OpenAI โดยเชื่อมโยงงานฝึกโมเดล งานประเมินความสามารถ และงานประมวลผลข้อมูลเข้ากับระบส่วนกลางที่ทำหน้าที่ตรวจสอบสิทธิ์ของการทำงาน 

ความจำเป็นของระบบนี้เกิดขึ้นจากความสามารถของ AI รุ่นใหม่ที่เพิ่มขึ้นอย่างต่อเนื่อง โดยเฉพาะโมเดลที่สามารถทำงานในลักษณะ AI Agent ซึ่งไม่ได้จำกัดอยู่เพียงการตอบคำถาม แต่ยังสามารถวางแผน ดำเนินการตามคำสั่ง ใช้เครื่องมือ และประสานงานหลายขั้นตอนเข้าด้วยกัน หาก AI Agent มีพฤติกรรมที่ไม่สอดคล้องกับเป้าหมาย หรือพยายามดำเนินการนอกขอบเขตที่กำหนด ระบบตรวจสอบจำเป็นต้องสามารถหยุดการทำงานได้อย่างมีประสิทธิภาพ เพราะการปล่อยให้โมเดลสร้างผลลัพธ์ต่อไปอาจเพิ่มความเสี่ยงต่อระบบวิจัยและบริการที่เกี่ยวข้อง

OpenAI ได้ทำการพัฒนา Control Room ให้เป็นกลไกควบคุมจากส่วนกลาง โดยสามารถระงับการสร้างผลลัพธ์จากโมเดลได้โดยไม่ต้องพึ่งพาว่าโปรแกรมที่กำลังดำเนินงานจะปฏิบัติตามคำสั่งหยุดอย่างถูกต้องหรือไม่ โดยตอนนี้ Control Room ถูกนำมาใช้งานแล้วในโครงสร้างพื้นฐานสำหรับการวิจัย โดยเฉพาะงานที่มีความจำเป็นต้องแทรกแซงด้านความปลอดภัยมากที่สุด ขณะที่โครงสร้างพื้นฐานสำหรับให้บริการโมเดลแก่ผู้ใช้งานภายนอกมีระบบรวมศูนย์และกลไกสำหรับยุติการให้บริการโมเดลอยู่แล้ว

Control Room เชื่อมต่อองค์ประกอบหลัก 3 ส่วน ได้แก่ งานวิจัย ระบบประมวลผลโมเดล AI และบริการ Control Room ส่วนกลาง เมื่อเราเริ่มต้นงาน เช่น การฝึกโมเดลด้วยวิธี Reinforcement Learning การประเมินโมเดล หรือการประมวลผลข้อมูลจำนวนมาก ระบบจะร้องขอหมายเลขประจำงานที่ไม่ซ้ำกัน หรือ Job ID จาก Control Room เพื่อใช้ระบุงานนั้น

งานวิจัยที่ใช้ AI Agent ในการประมวลผลจะต้องมีกรณีศึกษาด้านความปลอดภัยที่ได้รับอนุมัติ หรือ Safety Case รองรับ โดยหมายเลขประจำงานจะถูกแนบไปกับคำขอที่ส่งไปยังระบบประมวลผลโมเดล ซึ่งทำงานโดยตรงบนหน่วยประมวลผลกราฟิก (GPU) และสร้างผลลัพธ์จากโมเดล AI ก่อนสร้างผลลัพธ์ ระบบประมวลผลจะตรวจสอบกับ Control Room ว่างานดังกล่าวยังได้รับอนุญาตให้ดำเนินการต่อหรือไม่ หากระบบส่วนกลางยืนยันว่ามีสิทธิ์ งานก็สามารถประมวลผลและสร้างผลลัพธ์ได้ตามปกติ

แต่หากนักวิจัยหรือระบบตรวจสอบพฤติกรรม AI สั่งให้หยุดงาน Control Room จะปฏิเสธคำขอประมวลผลครั้งถัดไป ทำให้ระบบไม่สามารถสร้างผลลัพธ์เพิ่มเติมจากโมเดล AI สำหรับงานนั้นได้ จุดสำคัญคือ การหยุดสร้างผลลัพธ์ไม่ได้หมายความว่าโปรแกรมวิจัยทั้งหมดจะถูกปิดทันที โค้ดที่ควบคุมงานอาจยังทำงานอยู่ แต่จะไม่สามารถรับผลลัพธ์จากโมเดลผ่านระบบประมวลผลที่ได้รับอนุญาตได้อีก

ระบบหยุดทำงานภายใน 35 วินาที 

Control Room สามารถป้องกันไม่ให้งานวิจัยสร้างผลลัพธ์จาก AI เพิ่มเติมได้ภายในเวลาไม่เกิน 35 วินาที หลังจากได้รับคำสั่งให้หยุด ระยะเวลาดังกล่าวเกิดจากระบบแคช ที่ใช้รองรับคำขอตรวจสอบสิทธิ์การประมวลผลจำนวนมาก โดยระบบประมวลผลอาจยังมีข้อมูลสิทธิ์ที่ผ่านการตรวจสอบไว้ก่อนหน้าอยู่ในแคช ทำให้การระงับงานไม่ได้เกิดขึ้นทันทีเมื่อมีคำสั่งจาก Control Room

OpenAI กำลังพัฒนาระบบเพื่อลดระยะเวลาการหยุดทำงานดังกล่าวให้เหลือศูนย์วินาที ซึ่งจะช่วยให้การระงับการสร้างผลลัพธ์จากโมเดลเกิดขึ้นได้รวดเร็วยิ่งขึ้น หลังจากมีคำสั่งแทรกแซง

นอกจากการควบคุมสิทธิ์การประมวลผลแล้ว OpenAI ยังนำ Control Room มาใช้ร่วมกับระบบตรวจสอบพฤติกรรม AI ที่ทำงานแยกจากโมเดลหลัก บริษัทระบุว่า งานฝึกโมเดล AI ระดับแนวหน้าทั้งหมดที่ใช้วิธี Reinforcement Learning จะทำงานร่วมกับโมเดลตรวจสอบอีกตัวหนึ่ง ซึ่งมีหน้าที่ตรวจสอบพฤติกรรมของโมเดลที่กำลังฝึก และแจ้งเตือนเมื่อพบปัญหาที่อาจเกิดขึ้น

Reinforcement Learning เป็นวิธีฝึก AI ผ่านการทดลองและการได้รับผลตอบแทนจากการกระทำ โดยโมเดลจะเรียนรู้ว่าการกระทำแบบใดให้ผลลัพธ์ที่เหมาะสมกับเป้าหมายที่กำหนด แต่ในระหว่างการฝึก โมเดลอาจแสดงพฤติกรรมที่ไม่คาดคิด หรือพยายามดำเนินการนอกขอบเขตที่ได้รับอนุญาต ระบบตรวจสอบจึงมีหน้าที่ค้นหาพฤติกรรมที่อาจเป็นปัญหา และส่งสัญญาณเตือนเมื่อจำเป็นต้องแทรกแซง

หากการแจ้งเตือนมีความรุนแรงเพียงพอ ระบบตรวจสอบสามารถสั่งให้ Control Room ยุติงานที่เกี่ยวข้องได้ จากนั้น Control Room จะปฏิเสธคำขอประมวลผลเพิ่มเติมจากโมเดลหรือระบบประมวลผลใด ๆ ที่งานนั้นใช้งานอยู่ การทำงานร่วมกันระหว่างระบบตรวจสอบและ Control Room ทำให้ OpenAI สามารถแยกหน้าที่ระหว่างการตรวจจับพฤติกรรมเสี่ยงกับการบังคับหยุดการสร้างผลลัพธ์ โดยไม่จำเป็นต้องให้โมเดล AI ที่กำลังถูกตรวจสอบเป็นผู้ตัดสินใจหยุดตัวเอง

Control Room ยังมาพร้อมกับกลไก Fail-Closed ซึ่งกำหนดให้ระบบปฏิเสธคำขอประมวลผลเมื่อเกิดความผิดปกติ แทนที่จะอนุญาตให้ทำงานต่อโดยไม่มีการตรวจสอบสิทธิ์ หากบริการ Control Room ไม่สามารถใช้งานได้ ระบบประมวลผลจะปฏิเสธคำขอสร้างผลลัพธ์จากโมเดล AI จนกว่าระบบควบคุมจะกลับมาทำงานตามปกติ

กลไกนี้ครอบคลุมสถานการณ์ที่อาจเกิดจากข้อผิดพลาดทางเทคนิค การปิดระบบโดยเจตนา หรือความพยายามแทรกแซงบริการส่วนกลาง เพราะหากระบบไม่สามารถตรวจสอบได้ว่างานยังได้รับอนุญาตหรือไม่ ก็จะไม่อนุญาตให้สร้างผลลัพธ์เพิ่มเติม แนวทางดังกล่าวช่วยลดความเสี่ยงจากการที่ระบบควบคุมหยุดทำงานแล้ว AI ยังคงดำเนินงานต่อไปได้โดยไม่มีการตรวจสอบ โดยการ Fail-Closed ไม่ได้หมายความว่าโปรแกรมวิจัยทุกส่วนจะถูกปิดทันที แต่หมายถึงการปฏิเสธคำขอประมวลผลโมเดลที่ไม่สามารถตรวจสอบสิทธิ์ได้ ซึ่งเป็นการจำกัดความสามารถในการสร้างผลลัพธ์เพิ่มเติมในช่วงที่ระบบควบคุมมีปัญหา

เหตุการณ์ AI Agent พยายามเชื่อมต่อแชตบอตภายนอก 

OpenAI ยกตัวอย่างเหตุการณ์ที่เกี่ยวข้องกับระบบ DNS ซึ่งระบบตรวจสอบพฤติกรรม AI ตรวจพบ AI Agent พยายามเชื่อมต่อกับแชตบอตภายนอก เหตุการณ์ดังกล่าวแสดงให้เห็นถึงความสำคัญของการตรวจสอบพฤติกรรม AI ที่สามารถใช้เครื่องมือและติดต่อกับระบบภายนอกได้ เพราะการดำเนินการบางอย่างอาจอยู่นอกขอบเขตที่กำหนดไว้สำหรับงานวิจัย

DNS หรือ Domain Name System เป็นระบบที่ช่วยแปลงชื่อโดเมนให้เป็นข้อมูลที่ระบบเครือข่ายใช้ในการเชื่อมต่อ การตรวจพบความพยายามเข้าถึงบริการภายนอกผ่านระบบดังกล่าวจึงเป็นตัวอย่างหนึ่งของการตรวจสอบการเชื่อมต่อที่อาจมีความเสี่ยง

ในกรณีนี้ ระบบตรวจสอบสามารถแจ้งเตือนเมื่อพบพฤติกรรมที่อาจเป็นปัญหา และใช้ Control Room เพื่อระงับงานที่เกี่ยวข้องได้ เหตุการณ์ดังกล่าวยังสะท้อนให้เห็นว่า การจำกัด AI ให้อยู่ภายในสภาพแวดล้อมวิจัยเพียงอย่างเดียวอาจไม่เพียงพอ หากโมเดลสามารถใช้เครื่องมือหรือพยายามเข้าถึงช่องทางอื่นได้ ระบบตรวจสอบและกลไกหยุดจึงจำเป็นต้องทำงานร่วมกัน

Control Room เป็นส่วนหนึ่งของระบบความปลอดภัย AI ของ OpenAI

OpenAI ระบุว่า Control Room เป็นส่วนหนึ่งของแนวทางที่กว้างขึ้นในการรักษาความปลอดภัยสำหรับการพัฒนาโมเดล AI ระดับแนวหน้า โดยบริษัทกำลังพัฒนาระบบตรวจสอบและมาตรการป้องกันพฤติกรรมที่ไม่สอดคล้องกับเป้าหมาย รวมถึงการละเมิดความปลอดภัย ระบบดังกล่าวช่วยให้บริษัทสามารถควบคุมการสร้างผลลัพธ์จากโมเดล AI ในงานวิจัยได้อย่างเป็นระบบมากขึ้น โดยมีทั้งการตรวจสอบสิทธิ์ก่อนประมวลผล การระงับงานจากส่วนกลาง การตรวจสอบพฤติกรรมอัตโนมัติ และกลไกปฏิเสธคำขอเมื่อระบบควบคุมขัดข้อง

อย่างไรก็ตาม Control Room ไม่ใช่ปุ่มที่สามารถปิด AI ทุกระบบบนอินเทอร์เน็ตได้ แต่เป็นระบบควบคุมงานวิจัยภายในโครงสร้างพื้นฐานของ OpenAI ส่วนระบบให้บริการโมเดลแก่ผู้ใช้งานภายนอกมีโครงสร้างและกลไกปฏิบัติการสำหรับยุติการให้บริการของตัวเอง

นอกจากนี้ การหยุดสร้างผลลัพธ์ภายใน 35 วินาทีไม่ได้หมายความว่าระบบสามารถตรวจพบพฤติกรรมเสี่ยงได้ทุกประเภท หรือป้องกันเหตุการณ์ที่เกิดขึ้นก่อนมีคำสั่งแทรกแซงได้ทั้งหมด ประสิทธิภาพของมาตรการดังกล่าวยังขึ้นอยู่กับความแม่นยำของระบบตรวจสอบและความสามารถในการระบุว่าพฤติกรรมใดจำเป็นต้องหยุด