Cloudflare AI Search เพิ่ม Trigram ให้ค้นข้อความจีน ญี่ปุ่น เกาหลี

Cloudflare ประกาศเมื่อวันที่ 16 ตุลาคม 2026 ว่า AI Search รองรับตัวตัดคำสำหรับ keyword search แบบ trigram เพื่อช่วยการค้นหาข้อความภาษาจีน ญี่ปุ่น และเกาหลี ปัญหาที่แก้คือ tokenizer แบบ porter ซึ่งเหมาะกับภาษาอังกฤษ ไม่แบ่งคำในกลุ่มภาษานี้ได้ดีพอ หากใช้ระบบค้นเอกสารหลายภาษา การเลือก tokenizer จึงมีผลต่อผลลัพธ์ตั้งแต่ขั้นสร้างดัชนี ไม่ใช่แค่ตอนผู้ใช้พิมพ์คำค้น

Trigram ทำงานอย่างไรในภาพรวม

แนวคิดของ trigram คือแบ่งลำดับอักขระเป็นช่วงที่ซ้อนทับกันทีละสามหน่วยเพื่อใช้สร้างดัชนีและจับคู่ข้อความ วิธีนี้ช่วยกรณีที่ขอบเขตคำไม่ได้แสดงด้วยช่องว่างตามรูปแบบภาษาอังกฤษ แต่ไม่ได้หมายความว่าระบบเข้าใจความหมายของประโยคหรือแก้ทุกปัญหาการค้นหา การเลือก keyword search ยังต้องดูโครงสร้างเอกสาร คำค้นของผู้ใช้ และการจัดอันดับผลลัพธ์ร่วมด้วย

Cloudflare ระบุให้เปลี่ยนการตั้งค่า keyword_tokenizer เป็น trigram สำหรับดัชนีที่ต้องการใช้คุณสมบัตินี้ การเปลี่ยนค่าจะกระตุ้นการทำดัชนีใหม่ทั้งหมด ประเด็นนี้มีผลต่อแผนปฏิบัติการโดยตรง เพราะระหว่าง reindex อาจมีภาระประมวลผลเพิ่มและผลค้นหาควรได้รับการตรวจซ้ำ อย่าเปลี่ยนค่ากลางช่วงงานหนาแน่นโดยไม่มีข้อมูลว่าดัชนีใหญ่แค่ไหนและระบบมีวิธีย้อนกลับอย่างไร

กรณีใช้งานที่ควรทดสอบ

ทีมที่ทำฐานความรู้คู่มือผลิตภัณฑ์ภาษาญี่ปุ่นอาจพบว่าชื่อฟีเจอร์ที่ผู้ใช้พิมพ์ไม่คืนหน้าคู่มือที่ควรเจอ หรือรายการถูกจัดอันดับต่ำกว่าหน้าทั่วไป วิธีวัดผลที่ดีกว่าการลองค้นสองสามคำคือเก็บชุดคำถามจริงและคำตอบที่คาดหวังไว้ก่อนเปลี่ยน tokenizer จากนั้นเทียบ recall, อันดับของผลลัพธ์ และจำนวนการค้นที่ไม่พบผล ระบุคำค้นสั้น ชื่อเฉพาะ รหัสสินค้า และข้อความผสมอักษรละตินกับ CJK ในชุดทดสอบ เพราะกลุ่มเหล่านี้มักเผยจุดอ่อนต่างกัน

หาก AI Search เป็นส่วนหนึ่งของระบบตอบคำถามด้วยโมเดลภาษา ให้ตรวจเอกสารที่ถูกดึงกลับมาจริง ไม่ใช่ตัดสินจากคำตอบสุดท้ายอย่างเดียว คำตอบที่ฟังลื่นไหลอาจอ้างเอกสารผิดหน้าได้ เมื่อเปลี่ยนวิธีสร้างดัชนี ให้บันทึกเวอร์ชันการตั้งค่า วันที่ reindex และผลการทดสอบไว้ เพื่อแยกผลจาก tokenizer ออกจากการเปลี่ยนเนื้อหาหรือโมเดลในวันเดียวกัน

ข้อจำกัดในการตีความข่าว

ประกาศของ Cloudflare พูดถึงภาษาจีน ญี่ปุ่น และเกาหลีโดยตรง ไม่ได้ประกาศว่าการตั้งค่านี้ได้รับการรับรองสำหรับภาษาไทย จึงไม่ควรนำข่าวนี้ไปสรุปว่าปัญหาตัดคำภาษาไทยใน AI Search ถูกแก้แล้ว ทีมที่ทำฐานความรู้ภาษาไทยควรทดสอบกับข้อมูลจริงและติดตามเอกสารผลิตภัณฑ์เพิ่มเติมก่อนเปลี่ยนดัชนี production

การเปิด tokenizer ทางเลือกทำให้ทีมมีเครื่องมือปรับการค้นหาให้เข้ากับภาษาเอกสารมากขึ้น แต่ผลที่ดีต้องพิสูจน์ด้วยคำค้นของผู้ใช้จริง วางช่วงเวลา reindex ตรวจการทำงานหลังเปลี่ยนค่า และเตรียมวิธีกลับไปการตั้งค่าเดิมหากคุณภาพผลค้นลดลง

แหล่งข่าว: Cloudflare Changelog — CJK keyword search tokenizer, 16 ตุลาคม 2026