跳到主要内容
返回文章列表

BigQuery ObjectRef เปิด GA: วิเคราะห์ไฟล์ใน Cloud Storage ร่วมกับข้อมูลตารางด้วย SQL

BigQuery ObjectRef เปิดทั่วไปแล้ว รองรับ End User Credentials, metadata หลายแหล่ง และ array ของไฟล์สำหรับการวิเคราะห์ด้วย AI

BigQuery ObjectRef เปิด GA: วิเคราะห์ไฟล์ใน Cloud Storage ร่วมกับข้อมูลตารางด้วย SQL

Google Cloud ประกาศเมื่อ 21 ตุลาคม 2026 ว่า ObjectRef และการวิเคราะห์ข้อมูลหลายรูปแบบใน BigQuery เปิดใช้งานทั่วไปแล้ว ObjectRef เป็นชนิดข้อมูลที่เก็บตัวอ้างอิงไปยังไฟล์ใน Cloud Storage ทำให้ตารางเดียวมีทั้งคอลัมน์ธุรกิจตามปกติและจุดเชื่อมไปยังภาพ เสียง วิดีโอ หรือเอกสาร ข่าวนี้สำคัญกับทีมข้อมูลที่เคยต้องแยก pipeline สกัดข้อมูลจากไฟล์ แล้วนำผลกลับมา join กับ warehouse ภายหลัง

ทำไม ObjectRef จึงต่างจากเก็บ URI เป็นข้อความ

การเก็บ URI ในคอลัมน์ STRING ช่วยรู้ว่าไฟล์อยู่ที่ใด แต่ระบบยังต้องจัดการสิทธิ์ เวอร์ชัน และการส่งไฟล์ให้โมเดลเอง ObjectRef เป็น STRUCT ที่ BigQuery รู้จัก มีข้อมูลเช่น URI ตัวกำหนดสิทธิ์ เวอร์ชัน และ metadata ของ Cloud Storage จึงส่งไฟล์เข้า BigQuery AI functions หรือ Python UDF ได้โดยเชื่อมกับแถวข้อมูลเดิม ตัวอย่างเช่นตารางสายโทรศัพท์สามารถเก็บ customer ID วันที่โทร และ ObjectRef ของเสียงในแถวเดียว แล้วเพิ่มประเภทปัญหาที่ AI สกัดได้โดยไม่ทำสำเนาไฟล์เสียงเข้า warehouse

Google เรียกแนวทางนี้ว่า zero-copy เพราะไฟล์ขนาดใหญ่อยู่ใน Cloud Storage ต่อไป ตาราง BigQuery และไฟล์มีวงจรชีวิตแยกกันได้ แต่การอ้างอิงเวอร์ชันต้องวางแผน หากเปลี่ยนหรือลบ object ต้นทาง query ที่คาดว่าจะตรวจย้อนหลังอาจใช้ไม่ได้ บทความต้นทางระบุว่า ObjectRef สามารถติดตาม generation ของ GCS เพื่ออ้างถึงเวอร์ชันเฉพาะ ซึ่งมีประโยชน์ต่อการทำผลลัพธ์ซ้ำและการตรวจสอบ แต่ทีมยังต้องกำหนด retention ของ object ให้สอดคล้องกับข้อกำหนดธุรกิจ

สิ่งที่เพิ่มในรุ่น GA

รุ่น GA รองรับ End User Credentials ให้ผู้ใช้สำรวจข้อมูลด้วยตัวตน IAM ของตนเองได้ ส่วนการใช้ BigQuery connection ซึ่งต้องตั้งค่ามากกว่า ยังเป็นแนวทางที่ Google แนะนำสำหรับ pipeline production ที่ขับเคลื่อนด้วย service account นอกจากนี้ ObjectRef สร้างจากแหล่ง metadata ได้หลายแบบ ทั้ง BigQuery object tables, Cloud Storage insights datasets และ URI ในตารางปกติ จึงลดงานย้ายข้อมูลก่อนเริ่มทดลอง

อีกจุดคือ array ของ ObjectRef ในการเรียก AI หนึ่งครั้ง สามารถส่งไฟล์หลายชิ้นเพื่อเปรียบเทียบได้ เช่น ภาพหน้า login ของจริงกับภาพเว็บต้องสงสัย หรือเอกสารสองรุ่นที่ต้องหาเนื้อหาต่างกัน BigQuery มี OBJ.MAKE_REF() สำหรับสร้างตัวอ้างอิง และตัวดำเนินการ AI อย่าง AI.CLASSIFY(), AI.IF() และ AI.GENERATE() ช่วยเขียนเวิร์กโฟลว์ใน SQL ทีมจึงสามารถคัดกรองข้อมูลตามวันที่หรือสถานะก่อนเรียกโมเดลเพื่อลดงานที่ไม่จำเป็น

ทดลองอย่างไรไม่ให้ต้นทุนบาน

เลือกชุดข้อมูลขนาดเล็กที่มีคำตอบตรวจได้ เช่น ภาพสินค้าที่ทราบหมวดหรือเสียงบริการลูกค้าที่มีป้ายกำกับแล้ว สร้างตารางที่เก็บ ID, metadata และ ObjectRef จากนั้นทดลอง AI function กับเพียงบางแถว บันทึกจำนวนแถว ขนาดไฟล์ จำนวนการเรียกโมเดล ค่าใช้จ่าย และสัดส่วนผลลัพธ์ที่ต้องแก้มือ อย่าเริ่มด้วย query ครอบทั้ง bucket เพราะการเรียกโมเดลใน SQL อาจสร้างค่าใช้จ่ายและเวลาแฝงต่างจากการอ่านคอลัมน์ปกติมาก

สิทธิ์ต้องครอบทั้งข้อมูลใน BigQuery และไฟล์ Cloud Storage ตามที่งานอนุญาต ไม่ควรให้ analyst ทุกคนอ่านไฟล์ต้นทางทั้งหมดเพียงเพราะเข้าถึงตาราง metadata ได้ ทดสอบกรณีไฟล์ถูกลบหรือย้าย และกำหนดวิธีรับมือเมื่อ AI function คืน error หรือผลลัพธ์ไม่แน่นอน ข่าวนี้ทำให้การทำ multimodal analytics ใน SQL ง่ายขึ้น แต่การกำกับข้อมูลและการวัดคุณภาพยังเป็นงานของทีมเอง

แหล่งข่าว: ประกาศ Google Cloud วันที่ 21 ตุลาคม 2026