llama.cpp b12433 แก้ AMD หยุดทำงานเมื่อใช้ LoRA Rank 1 กับ MoE
llama.cpp b12433 แก้ fast path MMVF บน AMD ที่ abort เมื่อ LoRA rank 1 ทำให้มิติ src0 เป็นเลขคี่ในการคำนวณ MoE
llama.cpp b12433 แก้การหยุดทำงานบน AMD เมื่อใช้ LoRA rank 1 กับ MoE
โครงการ llama.cpp ติดแท็ก b12433 เมื่อ 16 พฤศจิกายน 2026 เวลา 09:53 UTC พร้อมการแก้ปัญหาที่เฉพาะเจาะจงสำหรับการรันโมเดลบน GPU ของ AMD: คำสั่ง MUL_MAT_ID อาจหยุดทำงานเมื่อจำนวนคอลัมน์ของ src0 เป็นเลขคี่ โดยเฉพาะกรณี LoRA rank 1 บนน้ำหนัก expert ของโมเดล Mixture of Experts (MoE) รายละเอียดอยู่ใน บันทึกของแท็กอย่างเป็นทางการ และ คำอธิบาย pull request #32385 การเปลี่ยนนี้เป็นการแก้การเลือก kernel สำหรับรูปร่างข้อมูลเฉพาะ ไม่ใช่การเพิ่มความสามารถ MoE หรือ LoRA ใหม่ทั้งระบบ
สาเหตุในโค้ดคือ ggml_cuda_mul_mat_id มีทางลัดสำหรับ batch ที่มี ไม่เกิน 8 tokens บน AMD ทางลัดเดิมส่ง src0 ชนิด F32, F16 หรือ BF16 ซึ่งไม่ได้ quantize และไม่ใช่ FP8 ไปยัง kernel MMVF โดยไม่ตรวจว่ามิติ ne[0] เป็นเลขคู่หรือไม่ แต่ MMVF อ่านค่าจาก src0 ครั้งละสองค่า และ launcher มีเงื่อนไขว่า ncols % 2 == 0 เมื่อข้อมูลมีจำนวนคอลัมน์เป็นเลขคี่จึงเกิด assertion และโปรเซสหยุด ไม่ใช่เพียงผลลัพธ์คำตอบเพี้ยน
ทำไม LoRA rank 1 จึงชนเงื่อนไขนี้
ในเส้นทาง build_lora_mm_id ของการใช้ LoRA กับ expert weights จะสร้างงาน MUL_MAT_ID ที่ใช้ lora_b เป็น src0 และ lora_b มี ne[0] เท่ากับค่า rank ดังนั้น rank 1 ทำให้มิตินี้เป็น 1 ซึ่งเป็นเลขคี่พอดี หากคำสั่งเดินเข้า fast path ของ AMD ที่ batch เล็ก จึงเจอ assertion จาก MMVF กรณีนี้มีประโยชน์ในการวินิจฉัย: ถ้าระบบหยุดเฉพาะเมื่อเปิด adapter LoRA บางตัว บน AMD และภาระงานเป็นการถอดรหัสทีละ token การตรวจ rank และ backend มีน้ำหนักกว่าการเดาว่าไฟล์โมเดลเสีย
แพตช์ใน b12433 เพิ่มเงื่อนไขให้ AMD ใช้ MMVF เฉพาะเมื่อ ne[0] เป็น เลขคู่ ถ้าเป็นเลขคี่จะตกไปใช้เส้นทาง per-expert ที่มีอยู่แล้ว ซึ่งเป็นเส้นทางที่ batch มากกว่า 8 tokens ใช้อยู่ก่อน ผู้พัฒนายังปรับ ggml_cuda_mul_mat_id_needs_sync ให้ตัดสินใจสอดคล้องกับการเลือก kernel ด้วย เพื่อไม่ให้ส่วนที่คาดการณ์การ synchronize ใช้เงื่อนไขต่างจากทางรันจริง สำหรับมิติเลขคู่และอุปกรณ์ที่ไม่ใช่ AMD ทีมโครงการระบุว่าไม่มีการเปลี่ยนพฤติกรรม
ด้านการทดสอบ โครงการเพิ่มกรณี MUL_MAT_ID ที่ k = 1 สำหรับ 1 และ 2 tokens ใน test-backend-ops โดยคำอธิบาย PR ระบุว่าเมื่อคอมไพล์แบบ HIP กรณีนี้หยุดก่อนแก้และผ่านหลังแก้ ขอบเขตหลักฐานนี้ควรอ่านตามจริง: เป็นการยืนยัน shape ที่เคยทำให้ assertion ในชุดทดสอบ ไม่ได้แปลว่าทุกโมเดล MoE, ทุก adapter หรือทุกการ์ด AMD ได้รับการ benchmark แล้ว
ผู้ดูแลระบบควรตรวจอะไร
ทีมที่รัน llama.cpp บน AMD หรือใช้ binary ที่สร้างจากโค้ดก่อน b12433 ควรตรวจว่า workload มี MoE expert LoRA ที่ rank เป็นเลขคี่หรือไม่ และบันทึก log กับคำสั่งเริ่มเซิร์ฟเวอร์เมื่อพบการหยุดทำงาน ถ้าอัปเดตเป็น build ที่รวมแพตช์นี้ ควรทดสอบ prompt สั้นที่ทำให้ decode ใน batch เล็ก รวมถึงกรณี 1–2 tokens ตามชุดทดสอบ upstream แล้วเปรียบเทียบการตอบกลับและความเสถียรของโปรเซสกับ build เดิม ไม่ควรใช้เพียงการโหลดโมเดลสำเร็จเป็นหลักฐาน เพราะปัญหาเกิดเมื่อมีการคำนวณ MUL_MAT_ID ใน shape ที่เข้าเงื่อนไข
สำหรับระบบให้บริการหลายผู้ใช้ ควรแยกผลทดสอบระหว่าง adapter rank 1 กับ rank คู่ และระหว่าง AMD กับ backend อื่น เพื่อยืนยันว่าปัญหาที่พบตรงกับเงื่อนไขที่แพตช์แก้ หากยังมี abort หลังอัปเดต ให้เก็บรุ่น build, ชนิดข้อมูล F32/F16/BF16, ค่า rank, จำนวน tokens ใน batch และ backtrace แล้วรายงาน upstream ข้อมูลชุดนี้ช่วยแยกกรณีเดิมออกจากข้อผิดพลาด kernel อื่นได้ชัดเจนกว่าเพียงระบุว่า “LoRA บน AMD ล่ม”
หมายเหตุเรื่องการติดตั้ง: b12433 เป็นแท็ก build ของโครงการ ผู้ใช้ควรตรวจแพ็กเกจหรือ container ที่ตนใช้อีกครั้งว่ารวม commit แก้นี้แล้วหรือยัง แท็กของต้นทางเผยแพร่แล้วไม่ได้หมายความว่าทุกผู้จัดจำหน่าย binary อัปเดตพร้อมกัน และการแก้ครั้งนี้มีขอบเขตกับการเลือก MMVF ในเส้นทาง AMD สำหรับมิติเลขคี่เท่านั้น
แหล่งต้นทาง: llama.cpp b12433 ติดแท็ก 16 พฤศจิกายน 2026 เวลา 09:53 UTC และ PR #32385
URL ต้นทาง: https://github.com/ggml-org/llama.cpp/releases/tag/b12433