ฉันพยายามทำความเข้าใจประสิทธิภาพของการใช้ Azure Data Factory เพื่อแปลงข้อมูลภายใน Snowflake (อิงจาก Azure) เรามีสองสถานการณ์ที่เป็นไปได้และต้องการเลือกสถานการณ์ที่มีประสิทธิภาพที่สุด:
สถานการณ์ที่ 1:
- Data Factory จัดเตรียมการนำเข้าข้อมูลดิบไปยัง Azure SQL
- Data Factory จัดการการแปลงและการโหลดข้อมูลดิบใน Azure SQL ไปยังตารางสรุปใน Snowflake ข้อมูลดิบในอดีตถูกเก็บไว้ใน Azure SQL
สถานการณ์ที่ 2:
- Data Factory จัดการการนำเข้าข้อมูลดิบไปยัง Snowflake
- Data Factory จัดการการแปลงข้อมูลดิบใน Snowflake ให้เป็นตารางสรุปใน Snowflake ข้อมูลดิบในอดีตจะถูกเก็บไว้ใน Snowflake
สถานการณ์ที่ 2 มีค่าใช้จ่ายเพิ่มเติมในการส่งข้อมูลดิบไปยัง ADF (ชุดข้อมูล) จาก Snowflake ในขั้นตอนการแปลงหรือไม่ หรือทั้งหมดนี้เกิดขึ้นใน Snowflake โดยไม่มีข้อมูลขาออก
เมื่ออ่านเอกสารประกอบของ ADF ดูเหมือนว่าการประมวลผลจะเกิดขึ้นบนบริการที่เชื่อมโยง (เช่น Snowflake) ไม่ใช่ภายใน ADF เอง แต่นั่นหมายความว่าข้อมูลจะไม่ออกจาก Snowflake เมื่อ ADF แปลงข้อมูลหรือไม่
แจ้งให้เราทราบหากคำถามไม่ชัดเจน
ขอบคุณ!