โมเดล AI จิ๋วใน Chrome หลอนเพียบ

เพื่อนร่วมงานของผมเพิ่งเขียนเมื่อวันพุธว่า เบราว์เซอร์ Chrome กำลังดาวน์โหลดโมเดล AI ขนาด 4GB ลงเครื่องผู้ใช้แบบเงียบๆ โดยซ่อนอยู่ในโฟลเดอร์ชื่อ OptGuideOnDeviceModel แบบเหมือนกระรอกขโมยของ Alexander Hanff หรือ "That Privacy Guy" บอกว่าไฟล์ใหญ่สุดชื่อ weights.bin นั่นคือ Gemini Nano นั่นเอง

โมเดล AI จิ๋วใน Chrome หลอนเพียบ แต่ทำงานยังไง?

Google บอก Gizmodo ว่า Gemini Nano อยู่บนอุปกรณ์มาตั้งแต่ปี 2024 ตามบล็อกของ Google โมเดลเล็กๆ นี้ช่วยนักพัฒนาสร้างประสบการณ์ AI แบบ generative โดยไม่ต้องเชื่อมเน็ตหรือส่งข้อมูลไปคลาวด์ เหมาะสำหรับกรณีที่อยากประหยัดค่าใช้จ่ายและรักษาความเป็นส่วนตัว

มีชุมชนออนไลน์อย่าง r/LocalLLaMA ที่คนแลกเปลี่ยนเคล็ดลับใช้ AI local ที่ไม่ต้องเน็ต ข้อดีคือไม่รันใน data center "โรงงานปีศาจ" ของยุคนี้ ใช้พลังเครื่องผู้ใช้ล้วนๆ และข้อมูลไม่รั่วไหล แต่พอเป็น LLM ที่โผล่ในเบราว์เซอร์แบบไม่บอกผู้ใช้ ก็ไม่ค่อยน่าไว้วางใจเท่าไหร่

ผมเจอเว็บ user-friendly สำหรับรัน Gemini Nano ใน Chrome แบบ ChatGPT ชื่อ ChromeAI.org มาจาก GitHub user pipizhu หรือ debugtheworldbot จากเซี่ยงไฮ้

โมเดล AI จิ๋วใน Chrome หลอนเพียบ: ลองใช้จริงเจออะไร?

ตอนแรกเปิด Chrome ของผมไม่ได้เลย ต้องเปิด "Experimental Flags" ที่น่าขนลุกหลายตัวถึงจะ chat ได้ ไม่แนะนำให้ทำตามนะ หลังจากนั้นปิด WiFi เพื่อยืนยันว่า local จริงๆ แล้วเริ่ม chat เหมือนปี 2022 ที่ ChatGPT เพิ่งออก

โมเดลเร็วและเก่งเกินคาด รันบน M2 chip กับ RAM 8GB ของผม แต่ไม่มี chain-of-thought หรือค้นเว็บได้ มันคือ LLM 纯ๆ ที่หลอนหนัก ประมาณโมเดล AI จิ๋วใน Chrome หลอนเพียบแบบนี้แหละ

ลองถามเมืองหลวง Burkina Faso: ตอบ "Ouagadougou" ถูกเป๊ะ!

จากบทความก่อน ลองให้ pretend เป็น Jeeves จาก P.G. Wodehouse มันตอบแบบนี้:

"Oh, my dear fellow! A splendid notion indeed! …" แค่ภาษาเก่าๆ สะกด British ร่าเริงเกิน แต่ใกล้เคียง

บอก "scrap the jeeves thing" แล้วถาม trivia Monkey Island: มันยังพูด Jeeves! ตอบผิดว่ากุญแจอยู่ใน "lower cheek pouch" รูป coconut shell (ผิด! จริงๆ หู รูป Q-Tip)

บอกหยุด 3-4 ครั้งถึงยอม แต่ยังหลงเหลือ บอกใหม่ก็ยอมรับผิด coconut แล้วบอก "rounded indentation" ยังผิด

ลองให้ list ประธานาธิบดีสหรัฐเรียงอายุตอนเข้ารับตำแหน่ง:

• John F. Lincoln (สมมติ!)
• อื่นๆ สุ่มๆ ไม่เรียง ไม่พูด Teddy Roosevelt ที่เด็กสุด

ถาม John F. Lincoln มัน list ซ้ำ! นี่แหละโมเดล AI จิ๋วใน Chrome หลอนเพียบ

GPT-3 ใช้ 350GB แต่ยังหลอน โมเดล 4GB on-device แบบนี้ impressive โดยเฉพาะเทียบโมเดลเก่า Google บอกใช้สำหรับ scam detection และ API ไม่ใช่ chatbot

สรุป อย่าใช้ Gemini Nano เป็น chatbot แม้ Google ยังไม่อยากให้ใช้ ถึงจะหลอนแต่เทคโนโลยี on-device กำลังมา ลองเช็คเครื่องคุณดู (แต่ระวัง privacy นะ!)

ที่มา – The Tiny AI Model That Lives Inside the Chrome Browser Hallucinates a Whole Lot