Score:-1

การเพิ่มพื้นที่เก็บข้อมูลจำนวนมาก (500TB) ให้กับ 1 VM

ธง cn

วิธีที่ดีที่สุดในการเพิ่มที่เก็บข้อมูลจำนวนมากให้กับโฮสต์ Windows เดียวใน VMware vSphere 7 คืออะไร พูด 500TB? ในอดีต ฉันได้สร้างที่เก็บข้อมูล VMFS จำนวนมากและแบ่งมันออกเป็นแต่ละไดรฟ์ใน Windows โดยหนึ่งไดรฟ์คือ VMFS ขนาด 50TB และหนึ่งไดรฟ์ Windows ขนาด 50TB คูณด้วย 10 อย่างไรก็ตาม แอปพลิเคชันใหม่จะทำงานได้ดีขึ้นหากรวมทั้งหมดไว้ในไดรฟ์เดียว... ฉันรู้ว่าฉันสามารถรวมมันเข้าด้วยกันใน Windows ได้ แต่นั่นดูเหมือนจะยุ่งเหยิงไม่มีประสิทธิภาพ

paladin avatar
id flag
คุณสร้างเซิร์ฟเวอร์ super NAS ไดรฟ์ SAS 25x 20TB เชื่อมต่อกับคอนโทรลเลอร์ SAS หลายตัวบนเมนบอร์ดเซิร์ฟเวอร์ประสิทธิภาพสูงภายในแชสซีขนาดใหญ่ เช่น _SuperMicro SuperChassis 847BE2C-R1K23WB_ อย่าลืมซื้อไดรฟ์เทปภายนอกหรือเซิร์ฟเวอร์เทปสำหรับการสำรองข้อมูล (อย่างน้อย LTO-9!) เซิร์ฟเวอร์ NAS จะรวมไดรฟ์ทั้งหมดไว้ให้คุณและจะให้บริการผ่านเครือข่าย ซึ่งสามารถนำไปใช้เป็นไดรฟ์เครือข่ายใน Windows ได้ ฉันแนะนำให้ใช้ BTRFS เป็นระบบไฟล์สำหรับ super NAS
cn flag
@paladin ฉันมีพื้นที่เก็บข้อมูลอยู่แล้ว ฉันแค่ต้องเพิ่มทั้งหมดลงใน VM เดียว
Score:2
ธง br

ฉันไม่รู้ว่าควรจริงจังกับคำถามนี้แค่ไหน เมื่อพิจารณาจากงบประมาณจำนวนมากที่คุณมี ประกอบกับการขาดประสบการณ์ในคำถามของคุณ แต่ฉันจะตอบราวกับว่าคุณจริงจัง

สำหรับทั้งหมด ฉันรู้ว่าฮาร์ดไดรฟ์เสมือนหนึ่งตัวสามารถมีขนาดสูงสุด 62 TB (https://docs.vmware.com/en/VMware-vSphere/7.0/com.vmware.vsphere.vm_admin.doc/GUID-BF2C8E24-B530-4C94-85F6-09E5AE781466.html).
คุณต้องตั้งค่า soft RAID ใน Windows ที่ประกอบด้วยดิสก์เสมือนขนาดเล็กหลายตัว สิ่งนี้จะซับซ้อนอย่างรวดเร็วในแง่ของการบำรุงรักษา

คุณควรมองหาโอเพ่นซอร์สที่ปรับขนาดได้หรือโซลูชันพื้นที่เก็บข้อมูลที่เป็นกรรมสิทธิ์จะดีกว่า และอย่าลืมเผื่องบประมาณสำหรับการสำรองข้อมูลและการกู้คืนระบบ

ณ จุดนั้น คุณควรปรึกษาเกี่ยวกับการออกแบบซอฟต์แวร์กับนักพัฒนาของคุณ: จะใช้ที่เก็บข้อมูลนี้อย่างไร สามารถแยกย่อยเป็นชิ้นเล็ก ๆ ได้หรือไม่? ทั้งหมดนี้จำเป็นต้องสามารถเข้าถึงได้ด้วยลำดับความสำคัญเท่ากัน หรือสามารถแบ่งพื้นที่จัดเก็บออกเป็นพูลประสิทธิภาพสูงและต้นทุนต่ำตามลำดับได้หรือไม่ การโฮสต์โซลูชันกับผู้ให้บริการระบบคลาวด์เป็นตัวเลือกหรือไม่ และอื่น ๆ

Score:0
ธง id

วิธีที่ดีที่สุดคือถ้าคุณรวมระบบไฟล์ทั้งหมดเหล่านั้นเข้ากับระบบไฟล์เดียวและเมานต์ระบบไฟล์เดียวใน Windows การสร้างเครือข่าย JBOD บางประเภทนั้นไม่เป็นมิตรกับประสิทธิภาพและมีข้อเสียมากมาย หากคุณยืนยันที่จะทำเช่นนั้นจริง ๆ ฉันขอแนะนำสิ่งต่อไปนี้

กำหนดค่าระบบ 50TB-NAS สิบระบบของคุณแต่ละระบบเพื่อให้บริการพื้นที่ดิสก์รวมกันเป็นอุปกรณ์ iSCSI ไปยังเซิร์ฟเวอร์ MasterNAS บางประเภท

จากนั้นเซิร์ฟเวอร์ MasterNAS (ควรเป็นระบบ Linux) ควรรวมอุปกรณ์ iSCSI ทั้ง 10 เครื่องเป็นระบบไฟล์ super btrfs

คุณจะต้องการ sudo apt ติดตั้ง open-iscsi btrfs-progs (สำหรับเซิร์ฟเวอร์อูบุนตู/เดเบียน) สำหรับสิ่งนี้

  1. คุณกำหนดค่า NAS ทั้ง 10 เครื่องของคุณเพื่อให้บริการพื้นที่ดิสก์ทั้งหมดเป็นอุปกรณ์ iSCSI แบบรวม ตัวอย่าง: เซิร์ฟเวอร์ NAS ของคุณใช้ตัวควบคุมการโจมตีด้วยฮาร์ดแวร์ซึ่งแมปดิสก์ไดร์ฟทั้งหมดกับโลจิคัลไดร์ฟ 1 ตัว ไดรฟ์แบบลอจิคัล 1 นี้เผยแพร่โดย ผู้ริเริ่ม iSCSI.

  2. คุณใช้เซิร์ฟเวอร์ MasterNAS ใหม่ที่มีประสิทธิภาพและเป็นอิสระ ซึ่งกำลัง "รวบรวม/ติดตั้ง" เป้าหมาย iSCSI ทั้งหมด 10 ตัวจากเซิร์ฟเวอร์ NAS ทั้งหมด 10 ตัว ฉันขอแนะนำให้ MasterNAS นี้ใช้ Linux ที่ทันสมัยและใช้ btrfs เป็นระบบไฟล์สำหรับไดรฟ์ iSCSI-NASจากนั้นคุณเพียงแค่สร้างระบบไฟล์ super btrfs ในโหมดเดียว (ซึ่งจำเป็นอย่างยิ่งสำหรับอุปกรณ์ JBOD เจ๋ง ๆ ซึ่งใช้การหยุดข้อมูลระดับระบบไฟล์) คุณสามารถทำได้ดังนี้:

sudo mkfs.btrfs --data single /dev/sda /dev/sdb /dev/sdc /dev/sdd /dev/sde /dev/sdf /dev/sdg /dev/sdh /dev/sdi /dev/sdj (ซึ่งรวมไดรฟ์ทั้ง 10 ตัวเข้ากับ JBOD เช่นระบบไฟล์ btrfs เชิงเส้น)

คุณสามารถเมานต์ระบบไฟล์ super btrfs ได้โดยใช้อุปกรณ์ใดๆ ของมัน เช่น: เมานต์ /dev/sda /mnt.

ข้อดีของ btrfs JBOD like device คือ หากเซิร์ฟเวอร์ NAS ตัวใดตัวหนึ่งหยุดทำงาน ระบบไฟล์ของคุณจะไม่พัง คุณจะ "สูญเสีย" ไฟล์จากเซิร์ฟเวอร์ NAS แบบออฟไลน์ (โอเค ​​การตั้งค่าเริ่มต้นจะพัง แต่การกู้คืนข้อมูลทำได้ง่ายกว่ามาก เนื่องจากการลอกไฟล์เกิดขึ้นที่ระดับระบบไฟล์ด้วย btrfs)

หลังจากดำเนินการทั้งหมดนี้แล้ว คุณจะติดตั้งเซิร์ฟเวอร์ samba ลงใน MasterNAS ของคุณและแชร์ระบบไฟล์ super btrfs นี้ไปยัง WindowsVM ของคุณ

ป.ล. นอกจากนี้ยังมีไดรเวอร์ btrfs ฟรีสำหรับ Windows แต่ฉันไม่มีประสบการณ์เลย --> https://github.com/maharmstone/btrfs

Mikael H avatar
br flag
การวางซ้อน RAID ทั้งแบบกายภาพและแบบเสมือนเช่นนี้จะเปราะบางมาก ในระดับนี้ ผมว่าคลัสเตอร์สตอเรจอย่าง Ceph น่าจะเป็นทางเลือกที่ดีหาก OP ยืนยันที่จะจัดการโซลูชันภายในองค์กร การพิจารณาการออกแบบซอฟต์แวร์ใหม่เพื่อใช้พื้นที่จัดเก็บแบบออบเจกต์แทนระบบไฟล์แบบดั้งเดิมหรือการแชร์เครือข่ายอาจช่วยเพิ่มความยืดหยุ่นและความสามารถในการปรับขนาดของโซลูชัน
Score:-1
ธง br

อาจไม่ใช่สิ่งที่คุณต้องการได้ยิน แต่คุณเคยพิจารณาใช้ที่เก็บข้อมูลบนคลาวด์สาธารณะบางรูปแบบสำหรับสิ่งนี้หรือไม่ 500TB จะใช้เวลาสักครู่จึงจะเต็ม ดังนั้นทำไมต้องจ่ายจนกว่าคุณจะรู้ว่าคุณต้องการมันจริงๆ เห็นได้ชัดว่าคุณต้องเลือกระบบคลาวด์และบริการใด แต่ฉันแค่อยากให้คุณพิจารณาก่อนที่คุณจะแข่งขันและจ่ายเงินเป็นจำนวนมากในวันแรก

โพสต์คำตอบ

คนส่วนใหญ่ไม่เข้าใจว่าการถามคำถามมากมายจะปลดล็อกการเรียนรู้และปรับปรุงความสัมพันธ์ระหว่างบุคคล ตัวอย่างเช่น ในการศึกษาของ Alison แม้ว่าผู้คนจะจำได้อย่างแม่นยำว่ามีคำถามกี่ข้อที่ถูกถามในการสนทนา แต่พวกเขาไม่เข้าใจความเชื่อมโยงระหว่างคำถามและความชอบ จากการศึกษาทั้ง 4 เรื่องที่ผู้เข้าร่วมมีส่วนร่วมในการสนทนาด้วยตนเองหรืออ่านบันทึกการสนทนาของผู้อื่น ผู้คนมักไม่ตระหนักว่าการถามคำถามจะมีอิทธิพลหรือมีอิทธิพลต่อระดับมิตรภาพระหว่างผู้สนทนา