Score:0

โครงสร้างพื้นฐาน AWS ใดที่ดีที่สุดในการเรียกใช้การย้ายข้อมูลจากเซิร์ฟเวอร์ SQL หนึ่งไปยัง mongoDB

ธง id

ฉันมีข้อมูลหลายเทราไบต์ในระบบเดิมของเราซึ่งรันเซิร์ฟเวอร์ SQL เวอร์ชันที่ใหม่กว่าของเราทำงานบน MongoDB เรากำลังย้ายข้อมูลนี้ไปยัง MongoDB เราได้เขียนสคริปต์ไพธอนและตรวจสอบแล้ว การเคลื่อนย้ายข้อมูลทั้งหมดเกิดขึ้นอย่างถูกต้อง

เราทำในเครื่องที่ต่ำกว่าซึ่งมี 4 คอร์ ถ้าเราทำในเครื่องที่ใหญ่กว่า มันจะแพงมาก AWS Lambda มีเวลาประมวลผล 15 นาที ซึ่งใช้เวลามากกว่า 24 ชั่วโมงในการทำซ้ำหนึ่งครั้งจึงจะเสร็จสิ้น ฟังก์ชันขั้นตอนของ AWS ให้คำมั่นสัญญา แต่ไม่แน่ใจว่าถูกต้องหรือไม่

in flag
สิ่งนี้ตอบคำถามของคุณหรือไม่ [คุณช่วยฉันวางแผนความจุได้ไหม](https://serverfault.com/questions/384686/can-you-help-me-with-my-capacity-planning)
J Bourne avatar
id flag
ขอบคุณสำหรับการตอบสนอง แต่ฉันไม่ได้มองหาการวางแผนความจุ ฉันมีรายละเอียดเหล่านั้น ฉันต้องการอินฟาราที่ดีที่สุด (ส่วนใหญ่มาจากคลาวด์ AWS) เพื่อเรียกใช้สคริปต์ของฉันโดยไม่หยุดชะงักเป็นเวลาสองสามวัน ซึ่งจะย้ายข้อมูลของ SQL ไปยัง mongo ดังนั้น พวกเขาเสร็จตรงเวลา
Score:2
ธง gp
Tim

คุณไม่สามารถทำ "mongoexport" ในเครื่อง ส่งออกไปยัง S3 (หรืออุปกรณ์ AWS Snowcone จริง) ใช้อินสแตนซ์ EC2 เพื่อ "mongoimport" จากนั้นเรียกใช้สคริปต์ของคุณเพื่อทำการอัปเดตใด ๆ ตั้งแต่ดัมพ์ได้หรือไม่

สำหรับวิธีเรียกใช้ คุณอาจหลีกเลี่ยงการใช้อินสแตนซ์ EC2 แบบสปอต โดยเฉพาะอย่างยิ่งหากคุณใช้นอกชั่วโมงเร่งด่วนสำหรับภูมิภาค - อาจเป็นวันหยุดสุดสัปดาห์ หากงานของคุณไม่สามารถถูกขัดจังหวะได้ EC2 แบบออนดีมานด์ m5.xlarge ที่มี 4 คอร์ / 16GB RAM คือ 0.20 USD ต่อชั่วโมง 2-3 วันเท่ากับ 10 USD

ฉันจะชี้ให้เห็นว่า 3TB ที่ 100Mbps จะใช้เวลา 2.6 วันในการส่ง แต่ที่ 800Mbps จะใช้เวลา 7 ชั่วโมง แต่การรักษาแบนด์วิธนั้นอาจทำได้ยากหากไม่มี DirectConnect คุณอาจจะดีที่สุดถ้าใช้ AWS Snowcone ซึ่งเป็นอุปกรณ์จริงที่คุณคัดลอกข้อมูลเพื่อส่งไปยัง AWS

ฉันขอแนะนำให้ใช้บริการย้ายฐานข้อมูล AWS เพื่อ โยกย้าย จาก MongoDB ถึง AWS DocumentDBซึ่งเป็นเวอร์ชันของ MongoDB ที่มีชื่ออื่น DMS จะย้ายข้อมูล จากนั้นคุณเพียงแค่ชี้แอปพลิเคชันของคุณไปที่อินสแตนซ์ใหม่และปิดตัวเก่า

Oscar De León avatar
la flag
สำหรับ "เพียง" 3 TB สโนว์บอลอาจเกินความจำเป็น อาจพิจารณา Snowcone?
Tim avatar
gp flag
Tim
ใช่ ฉันกำลังคิดถึงตระกูลสโนว์ ฉันจะแก้ไขให้แม่นยำยิ่งขึ้น
J Bourne avatar
id flag
ฉันใช้ m5.xlarge อยู่แล้ว มันไม่ได้ช่วยอะไรมาก แต่ขอบคุณสำหรับสโนว์โคนและครอบครัวสโนว์ จะลองดู
Tim avatar
gp flag
Tim
คุณควรพิจารณาข้อกำหนดของอินสแตนซ์ได้ดีที่สุดเนื่องจากคุณสามารถเข้าถึงเมตริกได้ - คุณต้องการ CPU มากขึ้น, RAM มากขึ้น, ที่เก็บข้อมูลมากขึ้นหรือเร็วขึ้น หรืออย่างอื่นหรือไม่ ฉันคิดว่าอุปกรณ์ตระกูลหิมะจะเป็นตัวเลือกที่ดีสำหรับสิ่งนี้
J Bourne avatar
id flag
ใช่ ฉันต้องการ CPU และ RAM เพิ่ม ความเร็วสูง ฉันไม่ได้ทำการย้ายข้อมูลแบบออฟไลน์ ฉันกำลังทำการย้ายจากเซิร์ฟเวอร์ DB สดเครื่องหนึ่งไปยังเซิร์ฟเวอร์ DB สดอีกเครื่องหนึ่ง
Tim avatar
gp flag
Tim
ค่าใช้จ่ายของอินสแตนซ์ขนาดใหญ่สำหรับวันหรือสองวันในการโยกย้ายฐานข้อมูลขนาดใหญ่ไม่ควรจะมาก ฉันจะดูที่การใช้ AWS Database Migration Service เพื่อย้ายไปยัง AWS DocumentDB ซึ่งโดยทั่วไปคือ MongoDB ที่มีป้ายกำกับอื่น แทนที่จะใช้สคริปต์ที่กำหนดเองและอินสแตนซ์ EC2 ของคุณเอง อัปเดตคำตอบแล้ว

โพสต์คำตอบ

คนส่วนใหญ่ไม่เข้าใจว่าการถามคำถามมากมายจะปลดล็อกการเรียนรู้และปรับปรุงความสัมพันธ์ระหว่างบุคคล ตัวอย่างเช่น ในการศึกษาของ Alison แม้ว่าผู้คนจะจำได้อย่างแม่นยำว่ามีคำถามกี่ข้อที่ถูกถามในการสนทนา แต่พวกเขาไม่เข้าใจความเชื่อมโยงระหว่างคำถามและความชอบ จากการศึกษาทั้ง 4 เรื่องที่ผู้เข้าร่วมมีส่วนร่วมในการสนทนาด้วยตนเองหรืออ่านบันทึกการสนทนาของผู้อื่น ผู้คนมักไม่ตระหนักว่าการถามคำถามจะมีอิทธิพลหรือมีอิทธิพลต่อระดับมิตรภาพระหว่างผู้สนทนา