เกณฑ์วัด AI ใหญ่สุดอัปเดต กระทบคู่แข่งจีน

วงการปัญญาประดิษฐ์กำลังจับตาการเปลี่ยนแปลงครั้งสำคัญ หลัง Artificial Analysis ประกาศอัปเดตดัชนี Intelligence Index จากเวอร์ชัน v4 เป็น v5 การเปลี่ยนแปลงครั้งนี้ไม่ได้เป็นเพียงการปรับสูตรคำนวณเล็กน้อย แต่ถือเป็นการยกระดับวิธีประเมินความสามารถของโมเดล AI อย่างจริงจัง โดยเฉพาะการเพิ่มคำถามที่ไม่เปิดเผยต่อสาธารณะ เพื่อป้องกันไม่ให้บริษัทต่าง ๆ เตรียมโมเดลด้วยการฝึกจากชุดคำถามเก่าที่เผยแพร่บนอินเทอร์เน็ต

ประเด็นดังกล่าวส่งผลโดยตรงต่อ Kimi K3.1 Pro โมเดลภาษาขนาดใหญ่จาก Moonshot AI บริษัทในกรุงปักกิ่ง ประเทศจีน ก่อนหน้านี้ Kimi K3.1 Pro สร้างความประหลาดใจด้วยการขึ้นไปอยู่ในอันดับที่ 4 ของ Intelligence Index v4 และยังครองอันดับ 1 ใน Terminal Bench 4.0 ซึ่งเน้นวัดความสามารถด้านการใช้งานคอมพิวเตอร์และการทำงานผ่านเครื่องมือดิจิทัล

เกณฑ์วัด AI ใหญ่สุดอัปเดต กระทบคู่แข่งจีน

เมื่อ Intelligence Index v5 เปิดตัว ผลลัพธ์ของ Kimi K3.1 Pro เปลี่ยนไปอย่างเห็นได้ชัด โมเดลนี้ตกจากอันดับ 4 มาอยู่ที่อันดับ 9 การร่วงลงหลายอันดับทำให้เกิดคำถามเกี่ยวกับความน่าเชื่อถือของคะแนนเดิม รวมถึงวิธีที่โมเดล AI ใช้เตรียมตัวสำหรับการทดสอบต่าง ๆ

Artificial Analysis ระบุว่า ประมาณ 60 เปอร์เซ็นต์ของการทดสอบชุดใหม่ใช้คำถามที่ไม่เปิดเผยหรือ held-out answers แนวทางนี้มีเป้าหมายเพื่อลดปัญหาที่เรียกว่า benchmaxxing ซึ่งหมายถึงการปรับแต่งโมเดลให้ตอบชุดคำถามมาตรฐานได้ดีเป็นพิเศษ เพราะบริษัทหรือผู้พัฒนาอาจนำโจทย์เก่าจาก GitHub, Hugging Face หรือแหล่งข้อมูลออนไลน์อื่นไปใช้ฝึกโมเดลล่วงหน้า

เกณฑ์วัด AI ใหญ่สุดอัปเดต เปลี่ยนอันดับโมเดลอย่างไร

การอัปเดตครั้งนี้ทำให้ช่องว่างระหว่างโมเดลแบบเปิดน้ำหนักกับโมเดลเชิงพาณิชย์กลับมากว้างขึ้น Artificial Analysis เคยชี้ว่า หาก Kimi K3.1 Pro เปิดเผยน้ำหนักโมเดลตั้งแต่เปิดตัว โมเดลนี้อาจกลายเป็นโมเดล open-weight ที่มีคะแนนสูงที่สุด และอาจเป็นโมเดลจีนที่ทำคะแนนดีที่สุดด้วย

อย่างไรก็ตาม Moonshot AI ยังไม่ได้เปิดเผยน้ำหนักของ Kimi K3.1 Pro ในช่วงเวลาที่มีการจัดอันดับ โดยบริษัทระบุว่าจะเปิดตัวในวันที่ 4 พฤศจิกายน เมื่อยังไม่มีน้ำหนักโมเดลให้ตรวจสอบอย่างสมบูรณ์ หลายฝ่ายจึงมองว่าความสำเร็จของ Kimi เป็นช่วงเวลาสั้น ๆ ที่สะท้อนศักยภาพ แต่ยังไม่เพียงพอจะยืนยันความแข็งแกร่งในทุกด้าน

• Kimi K3.1 Pro ตกจากอันดับ 4 มาอยู่ที่อันดับ 9 ใน Intelligence Index v5
• Gemini 4 Carbon ขึ้นเป็นอันดับ 1 ด้วยคะแนน 59
• การทดสอบใหม่ใช้คำถามที่ไม่เปิดเผยประมาณ 60 เปอร์เซ็นต์
• ช่องว่างระหว่างโมเดลแบบเปิดน้ำหนักกับโมเดลปิดเพิ่มขึ้นจาก 3 คะแนนเป็น 12 คะแนน
• Artificial Analysis เป็นบริษัทเอกชน ไม่ใช่หน่วยงานมาตรฐานหรือสถาบันการศึกษา

ผู้ชนะรายใหม่ของดัชนีคือ Gemini 4 Carbon จาก Google ซึ่งได้รับการประเมินแล้ว แม้ยังไม่ได้เปิดให้ผู้ใช้ทั่วไปเข้าถึงอย่างเป็นทางการ Google นำอันดับหนึ่งดังกล่าวมาใช้เป็นจุดเด่นในบล็อกประกาศผลิตภัณฑ์ โดยระบุว่า Gemini 4 Carbon ครองอันดับ 1 ใน Intelligence Index v5 ด้วยคะแนน 59 คะแนน ความสำเร็จนี้สะท้อนว่าโมเดลของ Google มีความโดดเด่นด้านการให้เหตุผลที่ซับซ้อน คณิตศาสตร์ วิทยาศาสตร์ และงานที่ต้องวิเคราะห์หลายขั้นตอน

นอกจาก Gemini 4 Carbon แล้ว Claude Opus 5.5 จาก Anthropic ยังมีบทบาทสำคัญในอีกดัชนีหนึ่งที่วัดความสามารถของ Coding Agent โดยอยู่เหนือ Gemini 4 Carbon ในด้านการเขียนโปรแกรมและการทำงานร่วมกับเครื่องมือสำหรับนักพัฒนา ผลลัพธ์จึงแสดงให้เห็นว่าไม่มีโมเดลใดเก่งที่สุดในทุกประเภท การจัดอันดับขึ้นอยู่กับวิธีทดสอบและภารกิจที่เลือกใช้

ทำไมผลทดสอบ AI จึงเปลี่ยนแปลงได้

คะแนนจากการทดสอบ AI ไม่ควรถูกมองว่าเป็นคำตอบสุดท้าย โมเดลหนึ่งอาจโดดเด่นในการเขียนโค้ด แต่ทำได้ไม่ดีเท่ากันในด้านความรู้ทั่วไป การใช้เหตุผลเชิงวิทยาศาสตร์ หรือการทำงานกับข้อมูลหลายรูปแบบ นอกจากนี้ ชุดข้อมูลที่ใช้ประเมินยังมีผลต่ออันดับอย่างมาก หากคำถามบางส่วนเคยปรากฏบนอินเทอร์เน็ต โมเดลอาจได้รับประโยชน์จากข้อมูลที่คล้ายกันระหว่างการฝึก

การใช้คำถามลับจึงเป็นวิธีช่วยให้ผลทดสอบสะท้อนความสามารถจริงมากขึ้น แต่ก็ยังมีข้อจำกัด เพราะบริษัทผู้จัดทำดัชนีเป็นองค์กรเอกชนที่มีวิธีการและน้ำหนักคะแนนของตนเอง Artificial Analysis ก่อตั้งขึ้นเมื่อประมาณปี 2023 และมีอิทธิพลต่อการพูดคุยในวงการ AI อย่างรวดเร็ว แม้ไม่ได้เป็นหน่วยงานมาตรฐานสากลหรือสถาบันวิจัยทางวิชาการ

อีกปัจจัยหนึ่งที่อาจอธิบายผลงานของโมเดลจีนคือการให้ความสำคัญกับทักษะบางด้าน นักฟิสิกส์ Stephen Hsu แสดงความคิดเห็นว่า ห้องทดลอง AI ในจีนหลายแห่งอาจยังไม่ได้ให้ความสำคัญกับคณิตศาสตร์และวิทยาศาสตร์มากเท่ากับทีมพัฒนาในสหรัฐฯ หากข้อสังเกตนี้ถูกต้อง การแข่งขันในอนาคตอาจไม่ได้วัดกันที่ขนาดโมเดลหรือจำนวนข้อมูลเพียงอย่างเดียว แต่จะขึ้นอยู่กับคุณภาพของข้อมูล วิธีฝึก และการออกแบบความสามารถเฉพาะทางด้วย

ประเด็น open-weight ยังเป็นหัวข้อถกเถียงสำคัญ Anthropic เคยเตือนว่าโมเดลที่เปิดน้ำหนักสามารถถูกปรับแต่งเพื่อลบข้อจำกัดด้านความปลอดภัยได้ง่าย ขณะที่ผู้สนับสนุนมองว่าการเปิดน้ำหนักช่วยให้ชุมชนนักพัฒนาตรวจสอบ ปรับปรุง และสร้างนวัตกรรมได้รวดเร็วขึ้น ด้าน Jensen Huang ซีอีโอของ Nvidia เคยแสดงความเห็นว่าการกลั่นความรู้จากโมเดลหนึ่งไปยังอีกโมเดลหนึ่งเป็นส่วนหนึ่งของการแข่งขัน ไม่ใช่เรื่องผิดปกติของอุตสาหกรรม

โดยสรุป เกณฑ์วัด AI ใหญ่สุดอัปเดตครั้งนี้สร้างผลกระทบต่อภาพลักษณ์ของ Kimi K3.1 Pro และโมเดลจีนอย่างชัดเจน แต่ไม่ได้หมายความว่าโมเดลเหล่านั้นไม่มีความสามารถ ผลลัพธ์ที่เปลี่ยนไปชี้ให้เห็นว่าอันดับของ AI ขึ้นอยู่กับชุดทดสอบ วิธีให้คะแนน และการป้องกันข้อมูลรั่วไหล ผู้ใช้งานจึงควรดูคะแนนหลายด้านประกอบกัน ไม่ควรตัดสินโมเดลจากอันดับเดียว

มุมมองที่น่าสนใจคือ การแข่งขัน AI กำลังเปลี่ยนจากการทำคะแนนบนข้อสอบเดิมไปสู่การพิสูจน์ความสามารถกับโจทย์ใหม่จริง ๆ ผู้พัฒนาที่ต้องการก้าวขึ้นเป็นผู้นำจะต้องลงทุนทั้งด้านการวิจัย ความปลอดภัย ข้อมูลคุณภาพสูง และการประเมินที่โปร่งใส สำหรับผู้ใช้งาน การติดตามผลทดสอบหลายแหล่งจะช่วยให้เลือกเครื่องมือได้เหมาะกับงานมากกว่าการเชื่อคำโฆษณาหรืออันดับเพียงอย่างเดียว

ที่มา – The Biggest Benchmark in AI Just Updated, Dealing a Major Blow to a Chinese Contender