Databricks เพิ่ม OpenJev เป็น Evaluator ใน LLM-as-a-Judge Policy

Databricks เพิ่ม OpenJev (Qwen3.5 4B) เป็นตัวเลือก evaluator สำหรับ LLM-as-a-judge service policy ใน Unity Gateway แบบ beta เมื่อ 9 ตุลาคม 2026 โมเดลลักษณะนี้จัดประเภทหรือให้คะแนนแทนการสร้างคำตอบยาว จึงอาจลดเวลาของการตรวจคำขอก่อนหรือหลังเรียกโมเดลหลัก

ผลต่อเส้นทางคำขอ

service policy ของ gateway สามารถใช้ evaluator ตรวจเนื้อหาตามเกณฑ์ที่องค์กรกำหนด แล้วตัดสินใจว่าจะให้ผ่านหรือไม่ การเลือก OpenJev ไม่ได้ทำให้ policy ดีเอง คุณภาพขึ้นกับคำถามหรือเกณฑ์ที่ตั้ง ตัวอย่างที่ต้องแยกคือข้อความอ่อนไหวจริง ข้อความที่แค่กล่าวถึงคำอ่อนไหว และข้อความที่มีหลายภาษา

Databricks ระบุว่า OpenJev จัดประเภทโดยไม่ต้องสร้าง output tokens จึงมักตอบเร็วกว่าการใช้ chat evaluator แต่ยังต้องวัด latency ที่เพิ่มใน request path และอัตรา false positive กับ false negative ของข้อมูลจริง ระบบที่เรียกโมเดลจำนวนมากควรวัด throughput และต้นทุนรวมของการตรวจด้วย

วิธีทดสอบ

สร้างชุดตัวอย่างที่มีคำตอบถูกต้องจากคน พร้อมกรณีขอบ เช่น ข้อความภาษาไทยผสมอังกฤษ ข้อมูลส่วนตัวที่ถูกปิดบัง และ prompt injection ให้ evaluator ตรวจโดยไม่รู้ label แล้วคำนวณ precision และ recall แยกตามประเภท ตรวจว่าคำขอที่ policy ปฏิเสธมี log และเหตุผลให้ผู้ดูแลแก้เกณฑ์ได้

หาก gateway ใช้ป้องกันการรั่วของข้อมูลสำคัญ ให้มีมาตรการอื่นร่วมด้วย เช่น สิทธิ์ dataset, masking และการจำกัด tool การตัดสินของโมเดลเพียงชั้นเดียวไม่ใช่การรับประกันด้านความปลอดภัย

สถานะ

ฟีเจอร์ evaluator นี้ยังเป็น beta ส่วน availability ของโมเดลขึ้นกับ region และบัญชี ควรตรวจเอกสารก่อน rollout

อ่านต้นทาง: Databricks release notes, 9 ตุลาคม 2026