ข้ามไปยังเนื้อหา
กลับหน้ารายการบทความ

CloudWatch EKS Container Insights เพิ่มแดชบอร์ดในตัวสำหรับเครื่องมือโอเพนซอร์ส

Amazon CloudWatch EKS Container Insights เพิ่มแดชบอร์ดในตัวสำหรับเครื่องมือโอเพนซอร์สบน Amazon EKS พร้อมเงื่อนไขด้านรุ่น ภูมิภาค และค่ารับเข้าเมตริก

CloudWatch EKS Container Insights เพิ่มแดชบอร์ดในตัวสำหรับเครื่องมือโอเพนซอร์ส

CloudWatch EKS Container Insights เพิ่มแดชบอร์ดในตัวสำหรับเครื่องมือโอเพนซอร์ส

Amazon CloudWatch EKS Container Insights เพิ่มแดชบอร์ดในตัวสำหรับเครื่องมือโอเพนซอร์สบน Amazon EKS พร้อมเงื่อนไขด้านรุ่น ภูมิภาค และค่ารับเข้าเมตริกที่ผู้ดูแลควรประเมินก่อนเปิดใช้ hero.webp

แดชบอร์ดใหม่แสดงอะไร

Amazon CloudWatch EKS Container Insights เพิ่มแดชบอร์ดในตัวสำหรับเครื่องมือโอเพนซอร์สบนคลัสเตอร์ Amazon EKS รวมถึง Karpenter, KEDA, vLLM, KServe, SGLang, Ray และ Knative Serving ผู้ดูแลที่ใช้เครื่องมือเหล่านี้เปิดใช้แดชบอร์ดได้โดยไม่ต้องรัน Prometheus หรือ Grafana เอง คำแนะนำคือประเมินว่าแดชบอร์ดใหม่ครอบคลุมงานเฝ้าระวังส่วนใดก่อนปรับระบบเดิม

การติดตามเริ่มโดยอัตโนมัติเมื่อเปิด OTel Container Insights สำหรับงาน AI inference ผู้ดูแลดูคำขอที่รอคิว เวลาที่ใช้จนได้โทเคนแรก และการใช้ KV cache ของแต่ละเซิร์ฟเวอร์โมเดลได้ ส่วนงานปรับขนาดอัตโนมัติแสดงว่าตัวปรับขนาดใดทำงานล้มเหลวและแต่ละรอบใช้เวลาเท่าไร CloudWatch ระบุพ็อด เวิร์กโหลด และโหนดกำกับทุกเมตริก จึงช่วยไล่จากเซิร์ฟเวอร์โมเดลที่ตอบสนองช้าไปถึงโหนดที่รันอยู่

เงื่อนไขการใช้งานและสิ่งที่ควรตรวจ

ฟีเจอร์นี้ใช้ได้กับแอดออนและ Helm chart ตั้งแต่รุ่น 8.0.0 ในภูมิภาค AWS ที่ CloudWatch รองรับเมตริก OpenTelemetry โดยคิดค่ารับเข้าเมตริกตามอัตรา Amazon EKS OpenTelemetry ที่ 0.08 ดอลลาร์สหรัฐต่อ GB

คำแนะนำก่อนเปิดใช้คือเช็กรุ่นและการรองรับในภูมิภาคของคลัสเตอร์ จากนั้นใช้ปริมาณเมตริกที่รับเข้าจริงมาประเมินค่าใช้จ่ายตามอัตราที่ประกาศ เพราะข้อมูลที่ให้มาระบุราคาต่อ GB แต่ไม่ได้ระบุปริมาณเมตริกที่แต่ละคลัสเตอร์จะส่ง

คำแนะนำหลังเปิดใช้คือเลือกเวิร์กโหลดตัวอย่างแล้วตรวจว่าแดชบอร์ดแสดงเมตริกที่ทีมใช้วิเคราะห์ปัญหา เช่น เวลาจนได้โทเคนแรกหรือระยะเวลารอบการปรับขนาด และตรวจว่าข้อมูลกำกับช่วยระบุพ็อด เวิร์กโหลด และโหนดที่เกี่ยวข้องได้ก่อนนำไปใช้ในขั้นตอนรับมือเหตุขัดข้อง

หากทีมดูแลทั้งคลัสเตอร์ Amazon EKS และงานบน VPS ควรระบุในคู่มือของทีมว่าแต่ละเวิร์กโหลดต้องเปิดดูจากระบบติดตามใด เพื่อให้ผู้ดูแลเริ่มตรวจสอบจากแหล่งข้อมูลที่ตรงกับงานเมื่อเกิดปัญหา

แหล่งข้อมูล