跳到主要内容
返回文章列表

Dataflow เพิ่ม Latency Tiers และตาราง Autoscaling สำหรับ Streaming Engine

Google Cloud ให้ปรับ backlog sensitivity และกำหนดช่วงเวลา override worker เพื่อสมดุล latency กับต้นทุนของ streaming job

Dataflow เพิ่ม Latency Tiers และตาราง Autoscaling สำหรับ Streaming Engine

Google Cloud ประกาศใน release notes วันที่ 29 ตุลาคม 2026 ว่า Dataflow เพิ่มตัวเลือกปรับ Horizontal Autoscaling สำหรับ streaming job ที่ใช้ Streaming Engine สองกลุ่ม ได้แก่ latency tier เพื่อกำหนดความไวต่อ backlog และ autoscaling schedule เพื่อปรับพารามิเตอร์ตามช่วงเวลาที่เกิดซ้ำ ข่าวนี้มีประโยชน์กับทีมที่รับข้อมูลเป็นรอบ เช่น ยอดธุรกรรมพุ่งตอนเปิดตลาดหรือ log เพิ่มช่วง deploy เพราะการขยาย worker แบบเดียวตลอดวันอาจเสียค่าใช้จ่ายมากหรือรับ peak ไม่ทัน

latency tier มีค่า low_latency, medium_latency และ high_latency เอกสาร Dataflow ระบุว่า low ตั้งเป้าให้ backlog ต่ำกว่า 15 วินาทีและเป็นค่าปริยาย, medium ต่ำกว่า 2 นาที และ high ต่ำกว่า 10 นาที ระบบไม่ได้เพิ่ม worker ทันทีเมื่อ backlog แตะขอบเพียงชั่วครู่ แต่พิจารณาหลัง backlog เกิน tier ที่เลือกต่อเนื่องหลายนาที ดังนั้นค่า tier เป็นแนวทางกำหนดความไวของ autoscaler ไม่ใช่สัญญาว่าทุก record จะถูกประมวลผลก่อนเวลาเป้าหมายเสมอ

หากงาน downstream ต้องเห็นเหตุการณ์แทบเรียลไทม์ เช่น การแจ้งเตือนการชำระเงิน low_latency อาจเหมาะกว่า แต่ถ้างานวิเคราะห์ยอมให้ข้อมูลช้าได้หลายนาที medium หรือ high อาจลดการขยาย worker ที่ไม่จำเป็น ทีมควรกำหนด SLO จากเวลาที่ข้อมูลเข้าระบบจนผลพร้อมใช้จริง แล้ววัดทั้ง p95/p99 processing delay และค่าใช้จ่าย ไม่ควรเลือก high_latency จากความหวังว่าจะประหยัดโดยไม่ตรวจว่า backlog ช่วง peak จะระบายทันก่อนรอบถัดไปหรือไม่

การตั้ง tier เมื่อสร้าง job ใช้ experiment enable_latency_tier_lightweight_update ตามเอกสาร ส่วน job ที่กำลังทำงานสามารถใช้ gcloud dataflow jobs update-options กับ --latency-tier และ --region ได้โดยไม่หยุด job และมี --unset-latency-tier เพื่อกลับไปค่าปริยาย ความสามารถปรับขณะรันทำให้ทีมทดลองกับ traffic จริงได้ แต่ควรเปลี่ยนทีละปัจจัยและเก็บกราฟก่อนหลัง เพราะจำนวน worker ยังขึ้นกับสัญญาณอื่น เช่น CPU utilization, จำนวน key ที่ประมวลผลได้พร้อมกัน และการตั้งขอบเขต worker

autoscaling schedule ช่วยตั้ง override ที่เกิดซ้ำได้ เช่น เพิ่มขั้นต่ำของ worker ในช่วงเวลาเปิดระบบ ลดเพดานตอนทราฟฟิกต่ำ หรือเปลี่ยน utilization hint กับ latency tier ตามช่วงธุรกิจ เอกสารระบุว่า job หนึ่งกำหนด schedule ได้สูงสุด 10 รายการ แต่ละรายการมี crontab, ระยะเวลาอย่างน้อย 5 นาที, time zone ที่ระบุได้, priority และพารามิเตอร์ override เมื่อช่วงเวลาสิ้นสุด Dataflow จะกลับไปใช้ค่าปกติของ job หาก schedule ซ้อนกัน ตัวที่มี priority สูงกว่าจะมาก่อน และหาก priority เท่ากันจะใช้รายการที่แก้ล่าสุด

การมี time zone ใน schedule สำคัญต่อทีมที่ทำงานหลายประเทศ ถ้าต้องการปรับกำลังตามเวลาเปิดตลาดกรุงเทพฯ ให้กำหนดโซนที่ตรงกับธุรกิจและตรวจพฤติกรรมช่วงวันหยุดหรือการเปลี่ยนเวลาท้องถิ่นของตลาดอื่นด้วย หากตั้งจากคำสั่งเริ่ม job เอกสารเตือนว่า crontab ที่มี comma อาจชนกับรูปแบบคั่น pipeline options; กรณีนั้นให้สร้างหลาย schedule หรือแก้ภายหลังด้วย in-flight update การทดสอบควรดู log ว่า schedule เริ่มและหมดเวลาตามที่คิดจริง

ตัวเลือกใหม่ไม่ได้แทนการแก้คอขวดของ pipeline หาก sink เขียนช้า, hot key ทำให้ parallelism ต่ำ หรือ external API จำกัดอัตรา การเพิ่ม worker อาจไม่ลด backlog ตามคาด ควรตรวจ stage ที่ช้าและจำนวน key พร้อมประมวลผลก่อนขยายเพดาน worker เอกสาร Dataflow อธิบายด้วยว่า worker utilization hint และขอบเขต min/max ยังมีผลร่วมกัน การตั้ง schedule ที่เพิ่ม max workers โดยไม่มี quota หรือ capacity รองรับอาจไม่แก้ปัญหา peak

แนวทางเริ่มต้นคือบันทึกกราฟ input rate, backlog duration, worker count และต้นทุนช่วงปกติและ peak จากนั้นทดลอง medium_latency กับ job ที่ยอมช้าได้หนึ่งรายการ หรือ schedule ก่อน peak ที่คาดการณ์ได้หนึ่งช่วง วัดว่าผลตอบโจทย์ SLO หรือไม่และมีการขยายเกินจำเป็นเท่าไร หากไม่ดีสามารถปรับ tier ระหว่างรันหรือยกเลิก schedule โดยไม่ต้องเขียน pipeline ใหม่

การประกาศวันที่ 29 ตุลาคมเน้น Streaming Engine jobs และเอกสารเป็นแหล่งรายละเอียดการตั้งค่า ผู้ดูแลควรตรวจข้อกำหนดของ job ตนเองก่อนเปิด เพราะงาน batch หรือ streaming ที่ไม่ใช้ Streaming Engine ไม่ได้อยู่ในขอบเขตของตัวเลือกเดียวกันนี้

แหล่งข่าวต้นทาง: Google Cloud release notes, ประกาศวันที่ 29 ตุลาคม 2026 — https://docs.cloud.google.com/release-notes/