เมื่อโมเดลเรือธงของสามยักษ์ใหญ่ AI อย่าง OpenAI, Anthropic และ Google ลงสนามประลองพร้อมกัน ใครจะควบคุมหุ่นยนต์ได้เก่งกว่ากัน?
เมื่อวันที่ 20 ตุลาคม RoboColiseum สนามประลอง Embodied AI ซึ่งร่วมก่อตั้งโดยNearly 20 สถาบันอุดมศึกษา องค์กร และสถาบันวิจัยชั้นนำทั่วโลก เช่น MeeBoom Technology, Hugging Face, NVIDIA และมหาวิทยาลัยชิงหัว ได้ประกาศผลการประเมินรอบนี้: Claude Opus 5.5 คว้าอันดับหนึ่ง Overall ในกลุ่มโมเดลเรือธงทั้งสี่รุ่น โดยมี GPT-6 Astra ตามมาเป็นอันดับสอง
เมื่อพิจารณารายด้าน ในบรรดาโมเดลเรือธงทั้งสี่รุ่น GPT-6 Astra นำในด้านการปฏิบัติตามคำสั่งและการปรับตัวต่อการรบกวนโดยรวม โดยได้คะแนนด้านการปฏิบัติตามคำสั่งถึง 99.35; Opus มีผลงานดีกว่าในด้านความเข้าใจเชิงพื้นที่และการปฏิบัติการทั่วไป และคว้าอันดับหนึ่ง Overall ในกลุ่มเรือธงด้วยการใช้ token ในการประเมินครบทุกรอบน้อยที่สุด ในการทดสอบที่คุณภาพภาพถูกรบกวน GPT-6.1 Sol ตามหลังโมเดลอีกสามรุ่นอย่างชัดเจน เผยให้เห็นความแตกต่างด้านเสถียรภาพของแต่ละโมเดลเมื่อต้องรับมือกับการเปลี่ยนแปลงของข้อมูลภาพ
แต่สองอันดับแรกในการจัดอันดับ Overall รอบนี้ยังคงเป็นของโมเดลเชิงนโยบาย Embodied โดยเฉพาะอย่างยิ่งที่ยังคงรักษาความได้เปรียบในมิติการปฏิบัติการทั่วไป
การประลองบนเวทีเดียวกันนี้ มอบข้อมูลอ้างอิงที่ตรงไปตรงมาให้อุตสาหกรรมได้เห็นจุดแข็งและจุดอ่อนของความสามารถระหว่างโมเดลภาษาขนาดใหญ่ทั่วไปกับโมเดลเชิงนโยบาย Embodied
RoboColiseum นำเสนอตารางอันดับความสามารถย่อยสี่ประเภทและภารกิจประเมินผลจำลองความละเอียดสูง 78 ภารกิจ ครอบคลุมการปฏิบัติตามคำสั่ง ความเข้าใจเชิงพื้นที่ การปรับตัวต่อการรบกวน และการปฏิบัติการทั่วไป โดยแสดงทั้งผลงานรายด้านของโมเดลและบันทึกขั้นตอนการทำภารกิจและตำแหน่งที่ล้มเหลว ช่วยให้นักพัฒนาระบุจุดอ่อนของความสามารถโมเดลได้อย่างรวดเร็ว
ในฐานะผู้ร่วมก่อตั้ง MeeBoom มอบสินทรัพย์วัตถุความละเอียดสูงและฉากจำลองให้กับ RoboColiseum สนับสนุนการสร้างสภาพแวดล้อมการประเมินสำหรับภารกิจการปฏิบัติการหุ่นยนต์ที่ซับซ้อน และจัดหาทรัพยากรพื้นฐานสำหรับการทดสอบความสามารถของโมเดลภายใต้การโต้ตอบกับวัตถุที่แตกต่างกัน การจัดวางเชิงพื้นที่ และสภาพแวดล้อมที่แตกต่างกัน
คะแนนของโมเดลในการจำลองสามารถสะท้อนผลการปฏิบัติงานจริงได้หรือไม่นั้นก็เป็นกุญแจสำคัญของการประเมินเช่นกัน จากผลการทดสอบจริงที่แพลตฟอร์มเผยแพร่ ความสัมพันธ์ระหว่างการประเมินจำลองของ RoboColiseum กับการติดตั้งบนหุ่นยนต์จริงสูงถึง 89.5% ความแตกต่างของการประเมินโมเดลเดียวกันระหว่างการจำลองและโลกจริงน้อยกว่า 10% ซึ่งสามารถเป็นข้อมูลอ้างอิงสำหรับการคัดกรองโมเดลและการระบุปัญหาก่อนที่นักพัฒนาจะเข้าสู่การทดสอบบนหุ่นยนต์จริง
MeeBoom Technology นำเสนอระบบการจัดหาข้อมูลที่ "ครบ ถ้วน ดี และรวดเร็ว" ครอบคลุมสามกระบวนทัศน์ข้อมูล ได้แก่ หุ่นยนต์จริง การจำลอง และไร้ตัวเครื่อง ด้านการจำลอง MeeBoom จัดหาทรัพยากรสองประเภท คือ สินทรัพย์วัตถุและสินทรัพย์สภาพแวดล้อม ครอบคลุมสิ่งของในชีวิตประจำวันหลากหลายประเภทและฉากในร่ม พร้อมทั้งความสามารถในการสร้างฉากใหม่ การเก็บข้อมูลเส้นทางการเคลื่อนที่ของผู้เชี่ยวชาญ และการแสดงผลการประเมินให้เห็นภาพ ช่วยให้ทีมโมเดลดำเนินการฝึกอบรมและประเมินผลที่หลากหลาย
Coliseum แต่เดิมหมายถึงสนามกีฬากลางแจ้งรูปวงรีในโรมโบราณ RoboColiseum ใช้ภาพนี้เป็นสัญลักษณ์ในการสร้างระบบการประเมินหลายมิติ ด้วยการประเมินจำลองที่สอดคล้องกับผลงานบนหุ่นยนต์จริงในระดับสูง เพื่อสร้าง "สนามประลอง" และ "สนามฝึกซ้อม" ที่เปิดกว้าง เป็นกลาง และทำซ้ำได้ให้กับโมเดล Embodied AI สถาบันอุดมศึกษา สถาบันวิจัย หรือนักพัฒนาองค์กรใดก็สามารถส่งโมเดลของตนเข้ารับ "การสอบ" มาตรฐานชุดหนึ่งได้ นับตั้งแต่เปิดตัวในเดือนสิงหาคม มีทีมจากในและต่างประเทศกว่าหนึ่งร้อยทีมได้ดำเนินการฝึกอบรมและประเมินโมเดลบนแพลตฟอร์มแล้ว
ปัจจุบัน RoboColiseum เปิดให้บริการสำหรับนักพัฒนาทั่วโลกแล้ว ยินดีต้อนรับทีมโมเดลเข้าร่วมการประเมิน
