Postman ทดลอง Context Graph กับ Haiku 5.5: เร็วขึ้น 23% และค่า Model ลด 19%

Postman เผยแพร่ผลทดลองเมื่อ 19 ตุลาคม 2026 ว่าเมื่อให้ Claude Haiku 5.5 ใช้ Context Graph API หนึ่งครั้งก่อนตอบคำถามเกี่ยวกับ codebase ขนาดใหญ่ งานเฉลี่ยตอบเร็วขึ้น 23% และค่า model ลด 19% เทียบกับการให้โมเดลค้น repository เอง ประเด็นสำคัญคือผลมาจาก benchmark ของ Postman เอง ไม่ใช่หลักฐานว่า graph จะทำให้ทุกทีมประหยัดเท่านี้

เขาทดลองอย่างไร

Postman ใช้คำถามวิศวกรรม 17 ข้อเกี่ยวกับองค์กร GitHub สาธารณะที่มี 802 repositories รันแต่ละคำถามสามครั้งต่อเงื่อนไข รวม 102 runs ทั้งสองฝั่งใช้ Haiku 5.5, read-only tools และ commit เดียวกัน ความต่างเดียวคือฝั่ง graph เรียก Context Graph ก่อนหนึ่งครั้งเพื่อได้รายชื่อ service, endpoint, schema และความสัมพันธ์ข้าม repository ให้โมเดลใช้เป็นจุดเริ่มค้น ส่วน baseline ไม่เห็น graph

ตัวชี้วัดที่เผยแพร่คิดเฉลี่ย 51 runs ต่อฝั่ง เวลาให้คำตอบรวมช่วง query graph อยู่ที่ 19.6 นาทีเมื่อไม่มี graph และ 15.2 นาทีเมื่อมี graph ค่า model ต่อ prompt จาก 0.273 เป็น 0.221 ดอลลาร์ input tokens ลดจาก 459,000 เป็น 365,000 และ steps จาก 10.2 เหลือ 8.5 Postman ระบุว่าค่า accuracy ใน 16 คำถามที่มี answer key ขยับจาก 0.623 เป็น 0.638 ซึ่งเป็นการเพิ่มเล็กน้อย ไม่ควรอ้างว่าดีกว่าอย่างมีนัยสำคัญจากข้อมูลชุดนี้เพียงอย่างเดียว

จุดแข็งและจุดที่ต้องอ่านอย่างระวัง

Graph ช่วยให้โมเดลรู้ว่าควรเริ่มอ่านไฟล์หรือ repository ใด โดยเฉพาะคำถามข้าม service ที่การ grep จาก checkout เดียวอาจไม่เห็นระบบทั้งหมด แต่โมเดลยังต้องเปิดไฟล์และยืนยันหลักฐาน Postman ตรวจ answer key จากโค้ดใน commit ที่ pin ไว้ ไม่ให้ graph ให้คะแนนตัวเอง อย่างไรก็ดี benchmark เป็นของผู้ผลิต Context Graph และค่าใช้จ่ายที่รายงานนับ model tokens ไม่รวมค่าใช้จ่ายของ graph query หรือการดูแลดัชนี จึงต้องคำนวณ total cost ขององค์กรเอง

บางคำถามในผลทดลองใช้ graph แล้วแพงขึ้น เช่นรายการ HTTP endpoints หรือ runtime calls เพราะ graph ส่ง candidate มากให้โมเดลอ่านเพิ่ม อีกทั้งค่า accuracy ของบางงานอาจไม่ดีขึ้นอย่างชัดเจน ก่อนซื้อหรือสร้างระบบลักษณะเดียวกัน ควรเก็บคำถามจริงของทีมอย่างน้อยหลายหมวด ทั้ง dependency, inventory และ impact analysis แล้ววัดแยก ไม่ใช้ค่าเฉลี่ยรวมตัวเดียวตัดสิน

วิธีทำ benchmark ในองค์กร

สร้างชุดคำถามพร้อมเฉลยที่มี path และ line จาก source ที่ตรวจแล้ว pin commit และเครื่องมือให้อ่านเท่ากันทั้งสองฝั่ง รันซ้ำหลายครั้งเพราะเอเจนต์มีความแปรปรวน วัดเวลา end-to-end รวมเวลาค้น graph, ค่า model, ค่า graph service, ความถูกต้องและจำนวน citation ที่ตรวจได้ ระวังไม่ให้ answer key ถูกสร้างจาก graph เดียวกับที่นำมาทดสอบ เพราะจะเกิดการให้คะแนนตามระบบของตัวเอง

ข่าวนี้ชี้ว่า context ที่จัดรูปเป็นความสัมพันธ์อาจลดเวลาค้นของ agent ใน codebase ใหญ่ได้ แต่ผลลัพธ์ต้องผ่านการยืนยันใน repo ของทีมก่อนนำตัวเลข 23% หรือ 19% ไปใช้คาดการณ์งบ

รายงานต้นทาง: https://blog.postman.com/context-graph-makes-haiku-5-5-23-faster-for-19-less-money-in-fewer-steps/