Score:0

ปัญหาเกี่ยวกับการซิงค์ข้อมูลจาก Amazon RDS ไปยัง Amazon S3

ธง ai

ฉันกำลังพยายามซิงค์ binlogs ใน RDS mysql DB กับ Amazon S3 แบบเรียลไทม์เพื่อสอบถามโดยใช้ Amazon Athena ฉันได้ลองใช้ debezium เป็นตัวเชื่อมต่อต้นทางสำหรับ Apache Kafka connect- kafka เก็บข้อมูลการสตรีมจาก RDS และดัมพ์ไปยัง S3- https://debezium.io/documentation/reference/1.6/architecture.html

อย่างไรก็ตาม ปัญหาของสิ่งนี้คือเมื่อเราสืบค้นข้อมูลใน s3 โดยใช้ athena เราสามารถสืบค้นส่วนแทรกใดๆ ลงใน rds db ได้ แต่ดูเหมือนว่าการอัปเดตใดๆ ในตารางจะสร้างรายการซ้ำซ้อนทั้งฟิลด์เก่าและใหม่

เราจะเอาชนะสิ่งนี้ได้อย่างไร มีวิธีอื่นที่เราสามารถใช้สำหรับการซิงค์ข้อมูลระหว่าง rds และ s3 แบบเรียลไทม์หรือไม่

ar flag
ควรถามคำถาม Debezium ใน StackOverfow

โพสต์คำตอบ

คนส่วนใหญ่ไม่เข้าใจว่าการถามคำถามมากมายจะปลดล็อกการเรียนรู้และปรับปรุงความสัมพันธ์ระหว่างบุคคล ตัวอย่างเช่น ในการศึกษาของ Alison แม้ว่าผู้คนจะจำได้อย่างแม่นยำว่ามีคำถามกี่ข้อที่ถูกถามในการสนทนา แต่พวกเขาไม่เข้าใจความเชื่อมโยงระหว่างคำถามและความชอบ จากการศึกษาทั้ง 4 เรื่องที่ผู้เข้าร่วมมีส่วนร่วมในการสนทนาด้วยตนเองหรืออ่านบันทึกการสนทนาของผู้อื่น ผู้คนมักไม่ตระหนักว่าการถามคำถามจะมีอิทธิพลหรือมีอิทธิพลต่อระดับมิตรภาพระหว่างผู้สนทนา