ONNX Runtime CUDA Plugin 0.4.0 ย้าย MoE expert ข้าม CPU/GPU รองรับ GGUF และน้ำหนักบีบอัด
ONNX Runtime CUDA Plugin EP 0.4.0 เพิ่ม MoE expert offload ระหว่าง CPU/GPU, GGUF block-packed และ quantized kernels โดยต้องตรวจความเข้ากันได้กับ core 1.32.0
ONNX Runtime ออก CUDA Plugin Execution Provider (EP) 0.4.0 เมื่อวันที่ 14 พฤศจิกายน 2026 เวลา 06:34 UTC โดยรอบนี้เน้นการรันโมเดล Mixture-of-Experts (MoE) ที่มีน้ำหนักมากกว่าหน่วยความจำ GPU เครื่องเดียว รองรับการเก็บ expert บางส่วนไว้บน CPU เพิ่มเคอร์เนลสำหรับน้ำหนักที่บีบอัดหลายรูปแบบ และปรับเส้นทางอ่านน้ำหนักจาก GGUF ผู้ดูแลระบบที่ใช้ ONNX Runtime เพื่อเสิร์ฟโมเดลควรอ่านเงื่อนไขความเข้ากันได้ก่อนเปลี่ยนปลั๊กอิน เพราะความสามารถสำคัญหลายอย่างต้องใช้ตัว core รุ่น 1.32.0 ร่วมด้วย
Offload expert เพื่อใช้ GPU ที่มี VRAM จำกัด
หัวใจของรุ่นนี้คือ session.moe.offload.* ซึ่งเป็นชุดตัวเลือกในระดับ session สำหรับ com.microsoft::QMoE โดยไม่ต้องแก้โครงสร้างโมเดล โหมด auto จะวาง expert ทั้งหมดบน GPU เมื่อพื้นที่พอ และเปลี่ยนเป็นการใช้ CPU/GPU ร่วมกันเมื่อไม่พอ ส่วน required จะให้การสร้าง session ล้มเหลวหากโหนดที่ต้อง offload ไม่สามารถรับเข้าแผนได้ ตัวเลือกหลังเหมาะกับระบบที่ต้องการตรวจความสามารถตั้งแต่เริ่มต้น แทนการปล่อยให้รูปแบบการรันต่างจากที่คาดในภายหลัง
ตัววางแผนจะจัดสรรจำนวน expert ที่อยู่บน GPU แยกตามชั้นของโมเดล และรับไฟล์ประวัติความนิยม expert-profile.bin เพื่อช่วยตัดสินใจได้ ระหว่างขั้น decode expert ที่ไม่ได้อยู่บน GPU จะทำงานผ่าน CPU; ระหว่าง prefill ระบบสามารถทยอยส่ง expert ที่เย็นกว่าไปยัง GPU เป็นระลอก ส่วนการจัดวางแบบ adaptive จะเลื่อน expert ที่เริ่มถูกเรียกใช้บ่อยขึ้นเข้ามาในการทำงานรอบถัดไป ประโยชน์ในเชิงปฏิบัติคือทีมอาจทดลองโมเดลขนาดใหญ่บนเครื่องที่มี VRAM จำกัดได้ แต่ต้องวัด latency, throughput และการใช้ RAM จริง เพราะการย้ายงานข้าม CPU/GPU มีต้นทุนและผลลัพธ์ขึ้นกับรูปแบบการเลือก expert ของแต่ละโมเดล
ปลั๊กอินรองรับ expert แบบ NVFP4 ที่เตรียมน้ำหนักล่วงหน้า, INT4 แบบ prepacked บน SM80, INT2 และ INT3 แบบดิบ รวมถึงโมเดลที่ผสมความกว้างบิตต่างกัน มีเคอร์เนล CPU สำหรับเครื่องที่รองรับ AVX-512 หรือ AVX2 ร่วมกับ FMA และ F16C ซึ่งอ่านเลย์เอาต์น้ำหนักเดียวกับฝั่ง GPU โดยไม่ต้องแปลงใหม่ นอกจากนี้ยังมีทางเลือกทำ memory map ให้คลัง expert และกำหนดเพดาน host cache ด้วย session.moe.offload.host_expert_bytes สำหรับเครื่องที่ RAM ไม่มาก การตั้งค่าเหล่านี้ควรตรวจร่วมกับพื้นที่หน่วยความจำที่ระบบปฏิบัติการและงานอื่นใช้อยู่ ไม่ใช่ดูแต่ VRAM ที่หน้าแดชบอร์ด
GGUF และเคอร์เนล quantized มีผลต่อเส้นทาง inference
สำหรับโมเดลที่เก็บ expert ใน GGUF แบบ block-packed รุ่น 0.4.0 เพิ่มทางรัน MoEPacked โดยตรง และทำ prefill เป็น pipeline สามขั้น รวมทั้งรองรับการประมวลผล cold route หลาย token ส่วนเส้นทาง QMoE เพิ่มเคอร์เนลสำหรับ NVFP4 แบบ K-packed, INT3 และรูปแบบผสม INT2/INT3/INT4 พร้อมการใช้ Tensor Core บน GPU ที่รองรับ รายละเอียดระดับเคอร์เนลเหล่านี้มีความหมายกับผู้ดูแล inference server เพราะขนาดไฟล์น้ำหนักเพียงอย่างเดียวไม่บอกว่าการรันจริงจะเร็วขึ้นหรือใช้หน่วยความจำน้อยลงเท่าใด ต้องทดสอบกับสถาปัตยกรรม GPU, batch size, ความยาว prompt และสัดส่วน expert ที่ถูกเรียกจริง
มีตัวเลือกเร่งเพิ่มเติมที่เปลี่ยนผลลัพธ์ได้ เช่น การตัด expert ปลายทางที่มีน้ำหนักการ route ต่ำ หรือการแทน expert เย็นด้วยตัวที่อยู่บน GPU อยู่แล้ว ทั้งสองอย่าง ปิดไว้โดยค่าเริ่มต้น และเอกสาร release ระบุให้ตรวจความแม่นยำของโมเดลก่อนเปิดใช้ ทีมที่ทำระบบตอบคำถามหรือสร้างโค้ดควรเก็บชุดทดสอบผลลัพธ์เดิมไว้ เปรียบเทียบคำตอบและเมตริกด้านคุณภาพกับการตั้งค่าใหม่ แล้วค่อยตัดสินใจว่าการลดเวลาตอบคุ้มกับความคลาดเคลื่อนหรือไม่
จับคู่ core กับ plugin ก่อนอัปเกรด
จุดที่ควรระวังที่สุดคือความเข้ากันได้: แม้ปลั๊กอินจะยังระบุ ONNX Runtime core ขั้นต่ำเป็น 1.24.4 แต่ขั้นต่ำนี้ไม่ได้รับประกันว่า operator ใหม่ทั้งหมดทำงานร่วมกันได้ ความสามารถ CPU/GPU MoE offload, การโหลดน้ำหนักภายนอกแบบ pipeline และการสอบถามความจุหน่วยความจำอุปกรณ์ต้องใช้ core 1.32.0 ส่วนโมเดลที่ใช้ contributed operators ใหม่หรือ ONNX opset 28 ก็ต้องมี core ที่ลงทะเบียน schema ตรงกัน ทางทีมจึงแนะนำให้สร้าง core และปลั๊กอินจาก revision เดียวกัน โดยคู่รุ่นที่ตรงกับ release นี้คือ ONNX Runtime 1.32.0
ความไม่ตรงกันของ operator schema อาจนำไปสู่ผลการคำนวณผิดหรือ crash และอาจไม่ถูกจับได้ตั้งแต่ตอนลงทะเบียนปลั๊กอิน ดังนั้นกระบวนการอัปเกรดที่ปลอดภัยคือบันทึกเวอร์ชัน core, plugin และชุดโมเดลที่ให้บริการ ทดสอบการสร้าง session และผล inference ด้วย input ที่รู้คำตอบ จากนั้นวัด memory และเวลาในโหลดแบบ production ก่อนสลับ traffic จริง หากเปิด capacity-aware partitioning ผ่าน session.resource_cuda_partitioning_settings ให้สังเกตคำเตือนด้วย เพราะ core 1.32.0 อาจไม่มอบโหนด GroupQueryAttention ให้ปลั๊กอินเมื่อยังประเมิน workspace ของเส้นทางนั้นไม่ได้
ผู้ใช้ CUDA Graph และงานเสิร์ฟหลาย session ควรตรวจตัวเลือกเพดานหน่วยความจำ session.moe.offload.gpu_device_mem_limit ซึ่งครอบคลุมการจัดสรรผ่าน CUDA allocator ของ session กว้างกว่า gpu_mem_limit ที่จำกัดเฉพาะ BFC arena แต่ใช้ไม่ได้กับ external CUDA allocator หรือ CUDA memory pool หากมี target และ draft session สำหรับ speculative decoding ยังสามารถจัดให้อยู่ใน budget group เดียวกันได้ การวางแผนทรัพยากรแบบนี้ช่วยลดความเสี่ยงที่สอง session ต่างคิดว่าตนมี VRAM เหลือเต็มจำนวน
โดยสรุป รุ่นนี้เป็นการขยับจากการเร่งเคอร์เนลบน GPU อย่างเดียวไปสู่การจัดการ expert และน้ำหนักข้าม CPU/GPU ที่ละเอียดขึ้น ผู้พัฒนาที่จะนำไปใช้ควรเริ่มจากโมเดล QMoE หรือ GGUF ที่ปลั๊กอินรองรับ จับคู่ core 1.32.0 ทดสอบผลลัพธ์และหน่วยความจำในโหลดจริง แล้วเปิดตัวเลือกที่เปลี่ยน routing เฉพาะเมื่อมีหลักฐานว่าคุณภาพยังอยู่ในเกณฑ์
แหล่งข่าวต้นทาง: บันทึกการออก ONNX Runtime CUDA Plugin EP 0.4.0