Chuyển đến nội dung chính
Quay lại danh sách bài viết

Gemini Agent Platform เปิด Inference Metadata Logs แบบ GA วัด Token และ Latency รายคำขอ

Google Cloud เปิด inference metadata logging แบบ GA เก็บโมเดล รีเจียน token latency และ error โดยไม่เก็บ prompt หรือคำตอบ พร้อมข้อจำกัดของ API ที่รองรับ

Gemini Agent Platform เปิด Inference Metadata Logs แบบ GA วัด Token และ Latency รายคำขอ

Google Cloud ระบุใน release notes วันที่ 30 ตุลาคม 2026 ว่า inference request metadata logging ของ Gemini Enterprise Agent Platform เปิดใช้งานทั่วไปแล้ว ผู้ดูแลสามารถบันทึกข้อมูลระดับคำขอเกี่ยวกับโมเดล รีเจียน จำนวน token latency รูปแบบการใช้ Provisioned Throughput และรหัสข้อผิดพลาดลง Cloud Logging ได้ จุดเด่นคือ log เก็บ metadata โดยไม่เก็บ prompt หรือคำตอบ จึงช่วยวิเคราะห์ต้นทุนและประสิทธิภาพของระบบ AI โดยไม่ต้องเปิดเนื้อหาการสนทนาใน log ประเภทนี้

ทำไม metric รวมจึงไม่พอ

กราฟ token หรือ latency รวมของทั้งโปรเจกต์บอกได้ว่าภาระงานเพิ่ม แต่ไม่บอกว่าทีม แอปพลิเคชัน หรือ tenant ใดเป็นต้นเหตุ Log ระดับคำขอทำให้ไล่ช่วงที่เกิด 429 หรือ latency สูงไปยังโมเดล รีเจียน และรูปแบบการใช้ทรัพยากรได้ Google ยังให้ส่ง header ที่ขึ้นต้น x-goog-agent-platform-observability-label- เพื่อระบุทีม แอป หรือ tenant แล้วนำ label ไปกรองหรือรวมใน Observability Analytics การออกแบบ label ควรใช้ค่าที่ไม่เป็นข้อมูลส่วนบุคคลหรือข้อความของผู้ใช้

หนึ่ง entry เก็บจำนวน input, output, cached และ thought tokens ตามที่บริการรายงาน รวมถึงข้อมูลการใช้ Provisioned Throughput ผู้ดูแลจึงแยกคำขอที่ใช้โควตาที่ซื้อไว้จากคำขอที่ไปใช้ pay-as-you-go ได้ การวิเคราะห์นี้ช่วยตอบว่าเกิด spillover เพราะโหลดสูงจริงหรือเพราะการตั้ง routing ของ client ต่างกัน แต่ทีมต้องอ่าน field ตามคู่มือของโมเดลที่ใช้ เพราะการนับ token และผลของ cache ของ Gemini กับ Claude ไม่ควรถูกรวมแบบเหมารวมจนตีความค่าใช้จ่ายผิด

ขอบเขตที่รองรับและจุดที่ log อาจหาย

เอกสารระบุว่ารองรับ Gemini ที่เรียก generateContent หรือ streamGenerateContent และ Claude ที่เรียก rawPredict หรือ streamRawPredict ครอบคลุมทั้ง Provisioned Throughput และตัวเลือก pay-as-you-go ที่รองรับ ส่วน chatCompletions, embedContent, predict, countTokens, งาน batch, โมเดล fine-tune และ custom container ไม่อยู่ในขอบเขตนี้ คำขอที่ client ยกเลิกก่อนเสร็จอาจไม่มี log entry ด้วย ดังนั้นจำนวน log ไม่จำเป็นต้องเท่ากับจำนวนทุกคำขอที่แอปพยายามส่ง

Google ให้เปิด log ได้ทั้งระดับโปรเจกต์และแบบเจาะจงโมเดลกับรีเจียน หากเปิดจาก Console จะครอบคลุมโมเดล Gemini และ Claude ที่รองรับในโปรเจกต์ และเปิด detailed metrics พร้อมกระบวนการอัปเกรด log bucket _Default สำหรับการใช้ Observability Analytics การอัปเกรด bucket มีผลที่ย้อนกลับไม่ได้ และรายการที่เขียนก่อนอัปเกรดจะไม่สามารถนำมาถามด้วย SQL ย้อนหลังตามที่เอกสารระบุ ทีมควรตรวจสิทธิ์ IAM ระยะเก็บ log และค่าใช้จ่าย Cloud Logging ก่อนเปิดวงกว้าง

ถ้าเปิดผ่าน REST API เฉพาะโมเดล ต้องใช้ updateMask ให้ถูกต้อง เพราะการตั้งค่าที่ไม่ระบุ mask อาจเขียนทับการกำหนด publisher model อื่น รวมถึง request-response logging ที่มีอยู่แล้ว นอกจากนี้ค่าแบบเจาะจงโมเดลและรีเจียนมีลำดับความสำคัญเหนือค่าเริ่มต้นของโปรเจกต์ การปิดระดับโปรเจกต์จึงไม่รับประกันว่าทุกโมเดลหยุดเขียน log ถ้าเคยเปิด override ไว้ ต้องตรวจ configuration ทั้งสองระดับ

เริ่มต้นวัดผลอย่างไร

เลือกแอปทดลองที่ทราบจำนวนคำขอและโมเดลชัด เปิด logging เฉพาะขอบเขตที่จำเป็น แล้วตรวจว่า entry ปรากฏใน Logs Explorer พร้อม model, region, latency และ error code จากนั้นตั้ง label ของทีมและแอป ตรวจการ query ที่รวม token ต่อช่วงเวลาและเปรียบเทียบกับ metric ที่ใช้อยู่ หากจุดประสงค์คือการสืบสวนคำตอบผิดของโมเดล log ประเภท metadata ไม่พอ ต้องใช้เครื่องมือบันทึกเนื้อหาคำขอและคำตอบอีกชนิดตามนโยบายข้อมูลขององค์กร

ค่าเก็บ log และปริมาณ request อาจสูงในระบบที่เรียกโมเดลถี่ เอกสารระบุค่า retention เริ่มต้นของ bucket 30 วัน และอาจมีค่า ingestion กับ storage จึงควรตั้งขอบเขตการเปิด ระยะเก็บ และการแจ้งเตือนค่าใช้จ่ายให้ตรงกับคำถามที่ต้องตอบจริง ไม่ใช่เปิดทุกโมเดลแล้วรอคัดข้อมูลภายหลัง

แหล่งข่าวต้นทาง: Google Cloud release notes วันที่ 30 ตุลาคม 2026 และ คู่มือ inference request metadata logging

Chia sẻ bài viết:
Xem thêm bài viết