BigQuery Data Transfer เปิด Incremental จาก PostgreSQL และ ServiceNow แบบ GA

Google Cloud ประกาศวันที่ 12 ตุลาคม 2026 ว่า incremental data transfers ของ BigQuery Data Transfer Service สำหรับ PostgreSQL และ ServiceNow เปิดใช้ทั่วไปแล้ว จุดร่วมของสองแหล่งข้อมูลคือทีมไม่จำเป็นต้องดึงทั้งตารางหรือทั้งชุดข้อมูลซ้ำทุกครั้งเพื่ออัปเดตข้อมูลใน BigQuery การย้ายจาก preview เป็น GA ทำให้เหมาะกับการประเมินใช้งานจริงมากขึ้น แต่ pipeline ยังคงต้องจัดการความถูกต้องของข้อมูลที่เปลี่ยน ลบ หรือมาช้า

ประโยชน์ของการดึงเฉพาะส่วนที่เปลี่ยน

การ full refresh ใช้ทรัพยากรตามขนาดข้อมูลทั้งหมด แม้มี record เปลี่ยนเพียงเล็กน้อย วิธี incremental ตั้งใจดึงเฉพาะส่วนใหม่หรือส่วนที่แก้ไข ทำให้ลดเวลาการถ่ายโอนและภาระต้นทางในหลายกรณี สำหรับ PostgreSQL อาจใช้กับตารางธุรกรรมที่เพิ่มแถวต่อเนื่อง ส่วน ServiceNow อาจใช้ข้อมูล ticket หรือ configuration items ที่เปลี่ยนตลอดวัน แต่รายละเอียดการตั้งค่า watermark หรือข้อจำกัดของแต่ละ connector ไม่ควรเดาจากคำว่า incremental ต้องตรวจเอกสารของแหล่งนั้นโดยตรง

สิ่งที่ควรถามก่อนย้ายคือคอลัมน์หรือกลไกใดบอกว่าข้อมูลเปลี่ยน ถ้ามีการแก้ record เก่าแต่ระบบจับได้เฉพาะแถวใหม่ ผลลัพธ์ปลายทางจะล้าหลัง หากมีการลบ record ต้นทาง BigQuery จะรู้การลบนั้นหรือไม่ และถ้า job รอบหนึ่งล้มเหลว รอบถัดไปจะย้อนเก็บช่วงเวลาที่พลาดอย่างไร ทีมต้องกำหนด SLA ของความสดของข้อมูลและตรวจว่ารูปแบบ incremental ที่ connector รองรับตรงกับ SLA นั้น

เปลี่ยนจาก full refresh อย่างปลอดภัย

เริ่มจากตารางหรือชุดข้อมูลที่มีปริมาณพอให้เห็นผลและมีวิธีตรวจยอดชัด สร้าง transfer ใน environment ทดสอบ แล้วเทียบจำนวนแถว ค่า checksum หรือยอดรวมสำคัญกับต้นทางหลายรอบ ไม่ควรตรวจแค่รอบแรก เพราะข้อผิดพลาด incremental มักปรากฏหลัง record ถูกแก้หรือลบ ทดสอบช่วงที่ไม่มีข้อมูลใหม่ ช่วงที่มีข้อมูลมาเป็นจำนวนมาก และช่วงที่ transfer ถูกหยุดไปหนึ่งรอบ

สำหรับ PostgreSQL ให้เฝ้าภาระ query บนฐานข้อมูลหลักและพิจารณา read replica ตามข้อกำหนดของ connector ถ้าระบบต้นทางมีงานหนักอยู่แล้ว การลด full refresh อาจช่วยได้ แต่ job incremental ที่ตั้งถี่เกินก็สร้างภาระใหม่ สำหรับ ServiceNow ให้ทบทวน rate limit, สิทธิ์ API และความสัมพันธ์ระหว่างตาราง เพราะข้อมูล ticket ที่ดึงมาแต่ไม่มี reference ที่ใช้แปลความหมายอาจไม่พอสำหรับรายงาน

สิ่งที่ GA ไม่ได้การันตี

สถานะ GA บอกว่าฟีเจอร์พร้อมใช้ทั่วไปตามขอบเขตบริการ ไม่ได้การันตีว่าข้อมูลจะตรงกันทุกกรณีโดยไม่ต้อง monitor ทีมยังต้องตั้ง alert เมื่อ transfer ล้มเหลวหรือ lag สูง ตรวจ schema drift เมื่อแหล่งต้นทางเพิ่ม field และกำหนดวิธี backfill เมื่อพบช่องว่าง หากใช้ข้อมูลเหล่านี้ทำ dashboard หรือฝึกโมเดล ให้ใส่เวลาปรับปรุงข้อมูลล่าสุดและคำเตือนเมื่อ freshness เกินเกณฑ์

ก่อนเปิด production อ่านเอกสารของ PostgreSQL transfer และ ServiceNow transfer แยกกัน เพราะสองแหล่งมีโครงสร้าง API และเงื่อนไขแตกต่าง การปล่อยครั้งนี้ทำให้การซิงก์ข้อมูลประจำวันมีทางเลือกที่ประหยัดกว่า full refresh แต่การวัดความถูกต้องต้องเป็นส่วนหนึ่งของการออกแบบ pipeline ตั้งแต่แรก

อ่าน release notes ต้นทางวันที่ 12 ตุลาคม 2026: Google Cloud release notes พร้อมเอกสาร PostgreSQL transfers และ ServiceNow transfers