Score:3

Raid 10 ปัญหาด้านประสิทธิภาพ

ธง dk

ฉันอยู่ในขั้นตอนการตั้งค่าระบบจัดเก็บข้อมูลแบบมิเรอร์สำหรับธุรกิจของเรา

เราไม่มีงบประมาณสำหรับงานพรีบิลด์ ดังนั้นฉันจึงพยายามทำทุกอย่างเพื่อให้ได้ผลตอบแทนที่ดีที่สุดจากเงินที่จ่ายไป นี่คือรายละเอียดของฮาร์ดแวร์ของเรา:

San1 และ San2 เซิร์ฟเวอร์ Windows 2019

ซุปเปอร์ไมโคร MBD-H11SSL-I ซีพียู Amd Epyc 7251 8 คอร์

แรม 64GB แรม 8GB x8

SSD สำหรับระบบปฏิบัติการ 500GB

LSI 9380-8i8e

Intel 10G nic, 4 พอร์ต - เครือข่าย Iscsi

Intel 25G nic, 2 พอร์ต - ซิงค์ระหว่างเซิร์ฟเวอร์ - Jumbo Frames-9014

1 nic ภายใน 1G (ข้อมูล), 1 IPMI ใช้งานบน MB

IW-RJ224-03 24bay SSD Enclosure, บรรจุด้วย 24 2TB Samsung 860 Pros, การกำหนดค่า Raid10 เชื่อมต่อผ่านสาย sas 2 เส้นกับการ์ด 9380

เราจะใช้ Starwind เพื่อซิงค์ 2 เซิร์ฟเวอร์

ขณะที่อยู่ในขั้นตอนการตั้งค่า Starwind ฉันได้พยายามดูประสิทธิภาพการซิงค์ของเราโดยใช้ขนาดรูปภาพที่แตกต่างกันตั้งแต่ 500G ถึง 5TB

เมื่อการซิงค์เริ่มขึ้น ระบบที่เขียนข้อมูลการซิงค์จะใช้งานไม่ได้ ระบบกระตุก การตรวจสอบประสิทธิภาพหยุดทำงาน และทุกอย่างทำงานอย่างน่ากลัว เว้นแต่ฉันจะปิดตัวเลือกการแคชทั้งหมด ถ้าฉันเปิดใช้งานการเขียนกลับหรือเปิดใช้งานดิสก์แคช ฉันสังเกตเห็นว่า Core0 บน numa 0 peg 100% และทุกอย่างลดลง... คอร์อื่นๆ แสดงน้อยมากหรือไม่มีการใช้งานเลย ลบสองสามรายการ

ฉันได้ลองใช้การตั้งค่าไดรฟ์แบบผสมผสานทุกประเภทเพื่อแก้ไขปัญหานี้ แต่ตอนนี้ฉันยังไปไม่ถึงไหนเลย ฉันคงขาดอะไรไป ฉันได้กำหนดค่า Array ในการตั้งค่า 2x8, 6x4 และ 4x6 (แถบ 64k มาตรฐาน) โดยคิดว่ามันเป็นข้อจำกัดของไดรฟ์ที่รั้งฉันไว้ แต่ฉันมี 1 อินสแตนซ์ที่ไม่มีอะไรผิดพลาด และไดรฟ์เขียนการซิงค์ 5TB โดยไม่มีปัญหา และในหนึ่งชั่วโมงด้วยการตอบสนองของระบบที่สมบูรณ์แบบ ขณะนั้นมีความเร็วมากกว่า 1.6GB/s โดยเปิดใช้งานแคชทั้งสองบนอาร์เรย์ 4x6 ฉันสังเกตเห็นว่า core0, numa0 ใกล้ไม่ได้ใช้งานในเวลานั้น และ core 2, numa 0 กำลังทำงานหนัก เอาทุกอย่างลงเพื่อทำซ้ำและสร้างใหม่ ติดอยู่ตั้งแต่นั้นมา ตอนนี้ทุกๆ การถ่ายโอนจะสูงสุดที่การเขียนประมาณ 600MB โดยปิดแคช และเมื่อใช้งานถึงประมาณ 1GB/s ก่อนที่จะมีปัญหาอย่างเห็นได้ชัด

ความคิดใด ๆ ที่จะช่วยชี้ฉันไปในทิศทางที่ถูกต้องจะได้รับการชื่นชม! เฟิร์มแวร์บน 9380 เป็นเวอร์ชันล่าสุด ไดรเวอร์สำหรับการ์ด Raid, Nics และส่วนประกอบ MB เป็นเวอร์ชันล่าสุดทั้งหมด

Score:5
ธง vn

ต่อไปนี้เป็นข้อคิดที่อาจช่วยแก้ปัญหาได้:

  1. หากคุณกำลังใช้ NIC-Teaming บางประเภท อาจส่งผลต่อประสิทธิภาพของ iSCSI และการจำลองแบบในลักษณะที่คาดเดาไม่ได้ผู้ให้บริการ SAN/VSAN ส่วนใหญ่ไม่สนับสนุน Teaming และแนะนำ MPIO แทน ปิดใช้งาน NIC-Teaming
  2. คุณพูดถึง Intel 25G NIC รุ่น XXV710 อาจมีปัญหากับ Jumbo Frames ที่เปิดใช้งาน ปิดใช้งาน Jumbo Frames และเรียกใช้การทดสอบเพิ่มเติม
  3. ค่า Jumbo Frame 9126 ไม่ใช่ค่าปกติสำหรับ Windows OS และส่วนใหญ่จะใช้กับสวิตช์ ค่าเริ่มต้นของ Windows คือ 9014
  4. LSI 9380 ไม่มี Samsung 980 Pro ในรายการไดรฟ์ที่รองรับ นอกจากนี้ 980 Pro ยังเป็นไดรฟ์ NVMe (ไม่ใช่ SATA) คุณแน่ใจหรือว่าคุณมี 980 Pro?

ฉันยังแนะนำให้ติดต่อฝ่ายสนับสนุนของ Starwind ดังที่ BaronSamedi1958 กล่าวไว้

dk flag
ใช่ฉันอยู่ทั่วที่นั่นใช่มั้ย ใช่ พวกเขาคือ 860 SSDs.. และใช่ มันคือ 9014... เร่งรีบหลังจากดึงผมออกมา 10 ชั่วโมง :) ฉันตรึงไว้กับ 710 25GB nic โดยไม่ได้เปิดใช้งาน numa scaling ที่เคลียร์ปัญหาที่ฉันมีในทันที
Score:3
ธง kz

คุณต้องปรับลำดับความสำคัญของการซิงโครไนซ์อย่างละเอียดเพื่อให้สิ่งทั้งหมดทำงานได้อย่างถูกต้อง

https://www.starwindsoftware.com/help/ChangingSynchronizationPriority.html

เมื่อคุณจัดการกับโซลูชันแบบชำระเงิน เราขอแนะนำให้สมัครขอรับการสนับสนุน

dk flag
ลำดับความสำคัญไม่ควรส่งผลต่อประสิทธิภาพของเซิร์ฟเวอร์ มันอยู่บนเซิร์ฟเวอร์ 2x25Gb เพื่อซิงค์เซิร์ฟเวอร์ แบนด์วิธมากมาย การซิงค์กำลังทำให้เซิร์ฟเวอร์สำลักเมื่อใช้เพียงประมาณ 5Gb ต่อการเชื่อมต่อ
BaronSamedi1958 avatar
kz flag
สิ่งนี้ไม่เกี่ยวกับเครือข่าย แต่เกี่ยวกับการซิงโครไนซ์ปริมาณการใช้แบนด์วิธของ DISK
dk flag
ขอบคุณสำหรับความช่วยเหลือ จริงๆ แล้ว NUMA scaling ไม่ได้เปิดอยู่บน 25G nic... ดังนั้นมันจึงตรึง 1 คอร์และยึดทุกอย่างไว้ ทำให้ระบบเข้าสู่สถานะไม่ตอบสนอง ขอขอบคุณ.
BaronSamedi1958 avatar
kz flag
ดีใจที่ได้ยินปัญหาหายไป! :)

โพสต์คำตอบ

คนส่วนใหญ่ไม่เข้าใจว่าการถามคำถามมากมายจะปลดล็อกการเรียนรู้และปรับปรุงความสัมพันธ์ระหว่างบุคคล ตัวอย่างเช่น ในการศึกษาของ Alison แม้ว่าผู้คนจะจำได้อย่างแม่นยำว่ามีคำถามกี่ข้อที่ถูกถามในการสนทนา แต่พวกเขาไม่เข้าใจความเชื่อมโยงระหว่างคำถามและความชอบ จากการศึกษาทั้ง 4 เรื่องที่ผู้เข้าร่วมมีส่วนร่วมในการสนทนาด้วยตนเองหรืออ่านบันทึกการสนทนาของผู้อื่น ผู้คนมักไม่ตระหนักว่าการถามคำถามจะมีอิทธิพลหรือมีอิทธิพลต่อระดับมิตรภาพระหว่างผู้สนทนา