AgentCore Gateway รองรับ InvokeModel และ Model Fallback พร้อม Circuit Breaker

Amazon Bedrock AgentCore Gateway ประกาศวันที่ 22 ตุลาคม 2026 เพิ่มการรองรับ InvokeModel และ InvokeModelWithResponseStream บน inference endpoint พร้อม model fallback routing ทำให้แอปที่ใช้ Bedrock SDK มีทางเชื่อมผ่าน gateway กลาง และกำหนดเส้นทางสำรองเมื่อโมเดลหลักใช้ไม่ได้โดยไม่ต้องเขียนกลไกนี้ซ้ำในทุก client

Fallback ต้องกำหนดทั้งลำดับและเงื่อนไข

ตามประกาศ ผู้ดูแลสร้าง ordered chain ของปลายทางสำรองใน gateway rule และกำหนดเงื่อนไขสลับ เช่น throttling, server error หรือ timeout ระบบมี circuit breaker ข้ามปลายทางที่กำลังล้มเหลวเพื่อไม่เพิ่มเวลารอจากการลองเส้นทางเดิมซ้ำ ผู้เรียกส่งคำขอหนึ่งครั้งและได้รับคำตอบหนึ่งชุด แม้ gateway จะจัดการการเลือกปลายทางภายใน

สิ่งที่เปลี่ยนจึงเป็นการรวมความรับผิดชอบด้าน routing ไว้ส่วนกลาง แต่โมเดลใน chain ไม่ควรถูกถือว่าแทนกันได้ทุกด้าน คำสั่งรูปแบบเดียวกันอาจให้โครงสร้างคำตอบหรือความสามารถต่างกัน ทีมควรตรวจการรองรับพารามิเตอร์ ความยาว context รูปแบบ tool call และการส่งคำตอบแบบ stream ของแต่ละปลายทางก่อนจัดให้อยู่ใน chain เดียวกัน

ความพร้อมใช้งานต้องไม่แลกกับคุณภาพโดยไม่รู้ตัว

ตัวอย่างเช่น agent ที่อ่านคำตอบไปสร้างคำสั่งฐานข้อมูลอาจต้องการ schema ที่แน่นอน การได้คำตอบจากโมเดลสำรองเร็วกว่าการรอไม่ได้แปลว่าผลลัพธ์เหมาะนำไปทำงานต่อ ควรใช้ validation ของข้อมูลขาออกและชุดประเมินเดียวกันกับทุกโมเดลใน chain พร้อมกำหนดกรณีที่ควรหยุดและแจ้งผู้ใช้แทนการเปลี่ยนโมเดล

นโยบายข้อมูลก็ต้องตรวจตามปลายทางสำรองด้วย หากองค์กรอนุมัติเพียงโมเดลหรือผู้ให้บริการหนึ่งสำหรับข้อมูลบางชนิด การทำ fallback ไปอีกแห่งอาจต้องผ่านการอนุมัติเพิ่ม ควรออกแบบ rule ตามชนิดงานและข้อจำกัดข้อมูล ไม่ตั้งเส้นทางสำรองกว้างเหมือนกันให้ทุกคำขอเพียงเพื่อให้ error rate ดูต่ำลง

ทดสอบเหตุขัดข้องก่อนเปิดจริง

ทีมควรจำลอง throttling และ timeout ในขอบเขตที่ควบคุมได้ ดูทั้งเวลาตอบสนองรวม จำนวนคำขอไปแต่ละปลายทาง ค่าใช้จ่าย และความถูกต้องของคำตอบ หากแอปมี retry อยู่เดิม ให้ตรวจว่าการ retry ฝั่ง client และ fallback ฝั่ง gateway ไม่ทำให้ความพยายามรวมสูงเกินที่ตั้งใจ โดยเฉพาะงานที่เชื่อมต่อ tool หรือมีผลข้างเคียงภายหลังการสร้างคำตอบ

AWS ระบุว่าฟีเจอร์นี้มีใน Region ที่ให้บริการ AgentCore Gateway ยกเว้นจีน การนำไปใช้จึงควรเริ่มจากการตรวจ endpoint และ Region จริง แล้วเก็บ metric แยกการตอบจากโมเดลหลักกับสำรอง การรวมผลทั้งหมดเป็นเส้นเดียวอาจซ่อนปัญหาว่าคุณภาพลดลงหรือค่าใช้จ่ายเพิ่มระหว่าง incident การตั้งค่า routing กลางจะมีคุณค่ามากที่สุดเมื่อทีมอธิบายได้ว่าคำตอบมาจากเส้นทางใดและทำไมจึงสลับ

แหล่งข่าว: ประกาศทางการวันที่ 22 ตุลาคม 2026