Score:0

iowait สูงพร้อม RAID0 ซีพียู 100% ข้อมูลแบบคงที่จะไม่ถูกแคชใน RAM

ธง us

ฉันขอความช่วยเหลือจากคุณ ตัวฉันเองก็มองไม่เห็นทางออกอีกต่อไป

ฉันมีเซิร์ฟเวอร์
1x ซีออน E-2236
32RAM
ดิสก์ 4 x 10TB (WDC WD101KRYZ-01) - รวบรวมใน RAID-0
ดิสก์มีความรวดเร็ว แต่ละตัวให้การอ่าน/เขียน 250MB/s อาร์เรย์ RAID-0 ผลิต 900MB / s ซึ่งเพียงพอสำหรับการปั๊มช่องสัญญาณ 7 กิกะบิต ดำเนินการทดสอบด้วย hdparm -t /dev/md0

เซิร์ฟเวอร์ได้รับการออกแบบมาเพื่อกระจายไฟล์วิดีโอขนาดใหญ่ - เป็นเซิร์ฟเวอร์วิดีโอสตรีมมิ่ง

เมื่อฉันเปิดใช้งานทราฟฟิกไปยังเซิร์ฟเวอร์นี้ ทุกอย่างดำเนินไปได้ด้วยดีชั่วขณะหนึ่ง แต่เมื่อเวลาผ่านไป iowait จะเติบโตถึงขีดสุด HDD จัดการได้เพียง 40 คำขอต่อวินาที ซึ่งน้อยมาก iowait เป็นกระบวนการของผู้ปฏิบัติงานที่ไม่ว่าง (nginx)

1. ทำไม? ผมทำอะไรผิดหรือเปล่า?

ฉันพยายามเปิดใช้งาน aio สำหรับมัลติเธรดใน nginx ซึ่งช่วยได้ แต่ไม่จำเป็น

ฉันเพิ่ม readahead = 8192, blockdev --setra 65536 - ไม่มีผลลัพธ์

2. เหตุใดเคอร์เนลจึงไม่พยายามแคชข้อมูลคงที่ใน RAM ที่โหลด CPU สูงสุด

ฉันตรวจสอบดิสก์ ไม่มีเซกเตอร์เสีย HDDs - ยอดเยี่ยม

3. เหตุใดบนยอดจึงแสดงการโหลดสูงในดิสก์เพียงแผ่นเดียว (ดูภาพหน้าจอ)
4. RAID-0 ไม่ควรขนานโหลดข้ามดิสก์ทั้งหมดใช่หรือไม่

ฉันขอความช่วยเหลือจากคุณ ขอขอบคุณ!

Michael Hampton avatar
cz flag
สนิมที่หมุนได้มีค่า IOPS ต่ำ ซึ่งมีความสำคัญมากกว่าความเร็วในการอ่านแบบต่อเนื่อง คุณจะทำได้ดีกว่ามากด้วยดิสก์ 4TB สิบแผ่น และใช้เงินน้อยลง
Grey Hill avatar
us flag
ฉันมีเซิร์ฟเวอร์ตัวที่สองเหมือนกันกับดิสก์ตัวเดียวกัน ทำงานได้อย่างสมบูรณ์แบบ ข้อแตกต่างเพียงอย่างเดียวคือใน RAID RAID-10 บนเซิร์ฟเวอร์เก่า บนเซิร์ฟเวอร์ RAID-0 ใหม่ RAID-0 ควรเร็วกว่า 10 - ใช่ไหม
djdomi avatar
za flag
Hdparm ไม่เคยเป็นแหล่งข้อมูลที่เชื่อถือได้สำหรับเกณฑ์มาตรฐาน และคำพูดของ Michael ก็เป็นความจริง Spinning Storage นั้นต่ำมากสำหรับ ios
djdomi avatar
za flag
คุณสามารถใช้การแคชเพื่อให้ได้ประสิทธิภาพที่ดีขึ้น
Grey Hill avatar
us flag
Djdomi ได้โปรดบอกฉันว่าคุณเสนอให้ทำสิ่งนี้ด้วยวิธีใด
Paul avatar
cn flag
RAID 10 มีปริมาณดิสก์เท่ากันหรือไม่ จำนวนดิสก์ที่เท่ากันใน RAID 10 และ 0 จะให้อัตราการอ่านที่เท่ากัน (4x) ฉันสงสัยว่าการเพิ่ม SSD และการสลับจะเพิ่ม IOPS อย่างมีประสิทธิภาพหรือไม่
Score:0
ธง ca

ดิสก์ 4 x 10TB (WDC WD101KRYZ-01) - รวบรวมใน RAID-0

ก่อนอื่นให้ฉันเตือน ต่อต้าน RAID0 เว้นแต่คุณจะเป็น แน่ใจจริงๆ การสูญเสียข้อมูลทั้งหมดต่อหน้าดิสก์ที่ไม่ดีนั้นเป็นเรื่องปกติ หากต้องการบอกความจริงก็แค่ scratchpad ควรใส่ข้อมูลชั่วคราวหรือสร้างใหม่อย่างง่ายดายในอาร์เรย์ RAID0

เซิร์ฟเวอร์ได้รับการออกแบบมาเพื่อแจกจ่ายไฟล์วิดีโอขนาดใหญ่ - เป็นไฟล์ เซิร์ฟเวอร์วิดีโอสตรีมมิ่ง

เมื่ออ่านไฟล์ขนาดใหญ่ตามลำดับ โดยที่ "ขนาดใหญ่" จริงๆ หมายถึง "ใหญ่กว่าแคช RAM" การแคชจะไม่ได้ผล: ไม่สามารถแคชข้อมูลไฟล์ทั้งหมดใน RAM ได้ การอ่านไฟล์เดียวกันซ้ำใหม่แต่ละครั้งจะทำให้ข้อมูลที่แคชไว้ก่อนหน้านี้หลุดออกไป ทิ้งแคชของคุณเองอย่างมีประสิทธิภาพอย่างต่อเนื่อง

HDD จัดการได้เพียง 40 คำขอต่อวินาที ซึ่งน้อยมาก

น่าเสียดายที่ HDD เชิงกลนั้นช้ามากสำหรับ IO ขนาดเล็กและสุ่ม: HDD 7200 RPM ที่ดีนั้นให้ ~70 IOPS โดยเฉลี่ยเมื่อทดสอบแบบแยกส่วน ซึ่งอาจจะน้อยกว่านี้เมื่อใส่ในอาร์เรย์ RAID

ที่กล่าวว่าควรใช้บริการสตรีมมิ่ง ไม่ ทุบดิสก์ด้วย IO แบบสุ่มขนาดเล็ก คุณสามารถให้ผลลัพธ์ของคำสั่งต่อไปนี้ในระหว่างกรณีที่มี iowait สูงเช่นนี้ได้หรือไม่?

  • lsblk
  • dstat -d -n -f
  • ไอโอท็อป -a
  • ไอโอสแตท -x -k 1
Score:-2
ธง us

มีทางออกเดียวเท่านั้น!

หากคุณต้องการความเร็วดิสก์ที่ดี ไม่ควรพิจารณา RAID 0 และ 5 ทดสอบส่วนตัว)) ใช่ ใน RAID 0 และ 5 คุณจะมีพื้นที่ว่างจำนวนมาก แต่ความเร็วจะต่ำมาก ภายใต้โหลดสูงเซิร์ฟเวอร์ของคุณจะขอความช่วยเหลือ

ฉันติดตั้งซอฟต์แวร์ RAID 10 และปัญหาของฉันก็หายไป

ข้อเสียของ RAID 10 คือมีราคาแพง แต่ถ้าคุณโชคดีคุณจะพบกับโฮสต์ที่มีราคาดีสำหรับเซิร์ฟเวอร์

โชคดีนะทุกคน!

ป.ล.ปิดคำถาม!

Nikita Kipriyanov avatar
za flag
**อันนี้ผิดแน่นอน**. RAID0 นั้นเหมาะสำหรับการสูญเสียข้อมูลด้วยความเร็วเชิงเส้นที่สูงมาก เนื่องจากการขนานกันและขาดความซ้ำซ้อน สถานะที่เหมาะสมที่สุด RAID5 และ RAID6 ควรแสดงความเร็วในการอ่านที่ค่อนข้างสูง น้อยกว่า RAID0 เล็กน้อย เนื่องจากพวกเขาทำการขนานกันปัญหาของคุณอยู่ที่อื่น ไม่ใช่แค่ระดับ RAID เท่านั้น การทดสอบของคุณน่าจะผิดพลาด โปรดอย่าชี้นำผู้อื่นในทางที่ผิด
OnkelJ avatar
in flag
ฉันเห็นด้วยกับ @NikitaKipriyanov ที่นี่ - RAID0 เร็วกว่า ต้องมีบางอย่างผิดปกติกับซอฟต์แวร์และ/หรือฮาร์ดแวร์เพื่อให้ RAID10 เร็วขึ้น น่าจะเป็นซอฟต์แวร์/การกำหนดค่า เนื่องจากคุณได้รับความเร็วที่พอใช้ด้วย RAID10
vidarlo avatar
ar flag
สำหรับการอ่านอย่างเดียว เช่น การกระจายวิดีโอ 10 อาจเร็วกว่ามาก เนื่องจากสามารถอ่าน *ข้อมูลเดียวกัน* ได้จากดิสก์สองแผ่นในแบบขนาน
Nikita Kipriyanov avatar
za flag
@vidario เป็นไปได้ยังไง? ฉันค่อนข้างเชื่อว่า RAID10 จะแสดงประสิทธิภาพเหมือนกับ RAID0 ในจำนวนสปินเดิลเท่ากันทุกประการ ไม่มากไม่น้อยเพราะไม่มีเหตุผลที่จะมากขึ้นไม่มีเหตุผลที่จะน้อยลง และดีกว่า RAID5 เพียงเล็กน้อยเนื่องจากบล็อกข้อมูลในแต่ละแถบน้อยกว่า RAID0 และดีกว่า RAID6 เล็กน้อยเพราะมีบล็อกข้อมูลน้อยกว่าสองบล็อกในแต่ละแถบของจำนวนแกนหมุนที่เท่ากัน

โพสต์คำตอบ

คนส่วนใหญ่ไม่เข้าใจว่าการถามคำถามมากมายจะปลดล็อกการเรียนรู้และปรับปรุงความสัมพันธ์ระหว่างบุคคล ตัวอย่างเช่น ในการศึกษาของ Alison แม้ว่าผู้คนจะจำได้อย่างแม่นยำว่ามีคำถามกี่ข้อที่ถูกถามในการสนทนา แต่พวกเขาไม่เข้าใจความเชื่อมโยงระหว่างคำถามและความชอบ จากการศึกษาทั้ง 4 เรื่องที่ผู้เข้าร่วมมีส่วนร่วมในการสนทนาด้วยตนเองหรืออ่านบันทึกการสนทนาของผู้อื่น ผู้คนมักไม่ตระหนักว่าการถามคำถามจะมีอิทธิพลหรือมีอิทธิพลต่อระดับมิตรภาพระหว่างผู้สนทนา