MySQL จำลองข้อมูลที่เปลี่ยนแปลงครั้งใหญ่

สวัสดี ฉันมีเซิร์ฟเวอร์ MySQL หลักที่มีข้อมูล 950 gb และสลาฟหยุดทำงานด้วยเหตุผลบางประการ และมีข้อมูลต่างกัน 80 กิกะไบต์ ดังนั้นฉันจึงเริ่มตั้งค่าทาสใหม่

เนื่องจากข้อมูลมีการเปลี่ยนแปลงและการทิ้งฐานข้อมูลจำนวนมาก การคัดลอกและกู้คืนจะใช้เวลามาก ดังนั้นฉันมีตัวเลือกอื่น

แก้ไขปัญหาได้ในที่สุด

นี่คือความท้าทายบางอย่างที่ฉันเผชิญและแก้ไขได้

1. การจำลองแบบทาสหยุดลง (มีเพียงมาสเตอร์เท่านั้นที่จัดการทุกอย่าง R&W)
2. เซิร์ฟเวอร์หลักเป็นแบบส่วนตัวและไม่สามารถเข้าถึงได้โดยสาธารณะ (มาสเตอร์และทาสอยู่ในคลาวด์ส่วนตัว)
3. ไม่สามารถดัมพ์และกู้คืนได้เนื่องจากตารางเดียวมีขนาดประมาณ 300GB (เนื่องจาก MySQL เก็บตารางไว้ใน /tmp/shm/ ก่อนกู้คืน ซึ่งในกรณีของฉันมีเพียง 80GB เท่านั้น)
4. เซิร์ฟเวอร์ master-slave ไม่มีการเชื่อมต่ออินเทอร์เน็ตที่ใช้งานอยู่ (ไม่สามารถติดตั้งแพ็คเกจใดๆ ได้

และนี่คือวิธีที่ฉันแก้ไข

1 . พยายามเพิ่มเส้นทางเพื่อติดตั้งแพ็คเกจ (เพื่อติดตั้ง NFS -utils และ percona xtrabackup)

2. ทาสเท่านั้นที่มีการเชื่อมต่ออินเทอร์เน็ต เจ้านายยังคงถูกบล็อก

3. แพ็คเกจที่ติดตั้งในสลาฟ (ติดตั้งแพ็คเกจทั้งหมดในมาสเตอร์ด้วยตนเองประมาณ 35 แพ็คเกจ)

4 สร้าง NFS ในสลาฟในไดเร็กทอรี / และติดตั้งเข้ากับมาสเตอร์

5 ดำเนินการ percona xtrabackup และทำการสำรองข้อมูลในโฟลเดอร์ที่ติดตั้งในไฟล์ master

6 ย้ายโฟลเดอร์ไปที่ /var/lib/mysql หลังจากสำรองข้อมูลและเริ่ม mysql

ทำงานได้ดี

หากข้อมูลของคุณมีการเปลี่ยนแปลงอยู่เสมอและมีขนาดใหญ่ เสมอ percona xtrabackup ควรเป็นตัวเลือกแรกของคุณ

ด้านล่างนี้เป็นเอกสารที่ฉันติดตามสำหรับการตั้งค่า percona https://www.percona.com/doc/percona-xtrabackup/2.4/backup_scenarios/full_backup.html

อย่าตื่นตกใจ. ขนาด (บนดิสก์) ของตาราง (หรือฐานข้อมูลทั้งหมด) ไม่น่าจะเหมือนกันระหว่างหลักและแบบจำลอง

เลือก COUNT(*) จาก tbl จะให้จำนวนแถวที่แน่นอนแก่คุณ (ณ เวลาที่แบบสอบถามเริ่มต้น) เรียกใช้บนเซิร์ฟเวอร์ทั้งสอง หากเหมือนกัน (หรือใกล้เคียงกัน) ฉันขอแจ้งว่า "สัญญาณเตือนผิดพลาด" หากแตกต่าง เราต้องการรายละเอียดเพิ่มเติมเพื่อช่วยเหลือคุณ

dba.stackexchange.com จะเป็นฟอรัมที่ดีกว่าสำหรับคำถามการดูแลระบบ MySQL