Score:0

I/O ประสิทธิภาพของดิสก์ผิดปกติ (แย่มาก) (Debian/Proxmox)

ธง us

สรุป

ฉันเห็นประสิทธิภาพ I/O ที่ผันผวนอย่างมากบนมิเรอร์ ZFS SSD ใน Proxmox VE 7 (Bullseye) ฉันเป็นเพียงมือใหม่มากเกินไปที่จะสามารถติดตามมันได้ด้วยตัวเอง

รายละเอียด

นี่เป็นประสิทธิภาพที่ต่ำมากอย่างเห็นได้ชัดในงานในโลกแห่งความเป็นจริง ดังนั้นมันจึงไม่ใช่แค่เกณฑ์มาตรฐานเทียม แต่เพื่อช่วยในการวินิจฉัยฉันกำลังเรียกใช้:

sysbench fileio --file-test-mode=rndrw เรียกใช้

กำลังเรียกใช้ "โลหะเปลือย" จากเทอร์มินัล Proxmox โดยที่ไม่มี VM ทำงานอยู่ ผลลัพธ์แตกต่างกันอย่างมาก นี่คือสองตัวอย่าง:

การทำงานของไฟล์:
    อ่าน/วินาที: 2316.07
    เขียน/s: 1544.08
    fsyncs/s: 4949.70

ปริมาณงาน:
    อ่าน MiB/s: 36.19
    เขียน, MiB/s: 24.13

สถิติทั่วไป:
    เวลาทั้งหมด: 10.0062 วินาที
    จำนวนเหตุการณ์ทั้งหมด: 88040

เวลาแฝง (มิลลิวินาที):
         นาที: 0.00
         เฉลี่ย: 0.11
         สูงสุด: 35.66
         เปอร์เซ็นไทล์ที่ 95: 0.65
         ผลรวม: 9947.54

ความเป็นธรรมของเธรด:
    เหตุการณ์ (เฉลี่ย/stddev): 88040.0000/0.00
    เวลาดำเนินการ (เฉลี่ย/stddev): 9.9475/0.00

และ

การทำงานของไฟล์:
    อ่าน/วินาที: 22.60
    เขียน/วินาที: 15.07
    fsyncs/s: 56.98

ปริมาณงาน:
    อ่าน, MiB/s: 0.35
    เขียน, MiB/s: 0.24

สถิติทั่วไป:
    เวลาทั้งหมด: 10.6162 วินาที
    จำนวนเหตุการณ์ทั้งหมด: 877

เวลาแฝง (มิลลิวินาที):
         นาที: 0.00
         เฉลี่ย: 11.43
         สูงสุด: 340.62
         เปอร์เซ็นไทล์ที่ 95: 77.19
         ผลรวม: 1,0020.19

ความเป็นธรรมของเธรด:
    เหตุการณ์ (เฉลี่ย/stddev): 877.0000/0.00
    เวลาดำเนินการ (เฉลี่ย/stddev): 10.0202/0.00

อย่างที่คุณเห็น มีการแกว่ง 10,000 เท่าของจำนวนเหตุการณ์ทั้งหมดและเวลาแฝงที่เพิ่มขึ้นอย่างมาก การชิงช้าเหล่านี้ไม่ใช่ "ครั้งเดียว" มันผันผวนตลอดเวลาระหว่างความสุดโต่งประเภทนี้

ฉันพยายามอย่างเต็มที่เพื่อพยายามจำกัดปัญหาฮาร์ดแวร์ทั่วไปให้แคบลง SSD ทั้งสองเป็นของใหม่ที่มีทั้งหมด 100 ตัวใน smartctl ฉันเปลี่ยนสาย SATA แล้ว ฉันเรียกใช้โดยกระจกเสื่อมลงเพื่อพยายามแยกปัญหาไดรฟ์เดียว ฉันได้ย้ายไดรฟ์ไปยังคอนโทรลเลอร์ SATA แยกต่างหาก ไม่มีอะไรให้ผลลัพธ์ที่แตกต่างกับฉัน

ฉันมีเซิร์ฟเวอร์ตัวที่สองที่กำหนดค่าในลักษณะเดียวกัน แม้ว่าจะมี SSD ที่เก่ากว่า (และไม่ตรงกัน) ในมิเรอร์ ไม่เห็นปัญหานี้ ฮาร์ดแวร์ของเซิร์ฟเวอร์นั้นแตกต่างกัน ผลลัพธ์ที่ไม่ดีมาจากระบบที่อธิบายไว้ด้านล่างผลลัพธ์ที่ดูเหมือน "ปกติ" มาจากพีซีเก่าที่แปลงแล้วซึ่งมี E3-1275v2

สิ่งที่ฉันหวังว่าจะเป็นเคล็ดลับเพื่อช่วยในการวินิจฉัยปัญหานี้ ดูเหมือนว่าปัญหาอยู่ที่เวลาแฝง สิ่งนี้สามารถทำให้เกิดอะไรได้บ้าง? ฉันควรทำขั้นตอนต่อไปอย่างไร

ขอบคุณล่วงหน้า!

ระบบ (ถ้ามันช่วยได้)

  • MB: ซูเปอร์ไมโคร X9DRi-F
  • ซีพียู: Dual Xeon E5-2650 v2.2
  • แรม: 128GB (8 x 16GB)
  • คอนโทรลเลอร์ SATA: ออนบอร์ด SATA 3 (ทดสอบ SATA 2 แยกต่างหากด้วย)
  • SSD: 2x 1GB TeamGroup SATA (ใช่ ถูก แต่น่าจะใช้ได้)
  • การ์ด PCIe:
    • เมลลาน็อกซ์ MCX312B
    • LSI SAS9207-8i (HBA เชื่อมต่อกับดิสก์ที่ไม่ได้ต่อเชื่อม 8 ตัว...ส่งผ่านไปยัง VM)
    • Nvidia GTX 750 (ส่งผ่านไปยัง VM)
Andrew Henle avatar
ph flag
*SSD: 2x 1GB TeamGroup SATA (ใช่ ถูก แต่น่าจะใช้ได้)* เป็นดิสก์ที่มีปัญหาด้านประสิทธิภาพหรือไม่ ถ้างั้นก็ "น่าจะดี" เหมือนมโนไปเอง...
us flag
@AndrewHenle แน่นอนคุณอาจพูดถูก บางที TLC อาจช้าเป็นพิเศษและแคช SLC มีขนาดเล็กเกินไป และการเขียนผ่านได้รับการออกแบบมาไม่ดี และ... แต่สำหรับคำถามเดิมของฉัน ฉันจะวินิจฉัยได้อย่างไร
Score:0
ธง ck

สิ่งที่คล้ายกันเกิดขึ้นกับฉันเมื่อวานนี้ด้วยการตั้งค่าใหม่ของฉัน: Proxmox VE 7 บน Intel 11500 พร้อม RAM 32 GB และ 2x SSD Crucial BX500 (ซึ่งเป็นระดับผู้บริโภค) กำหนดค่าเป็นมิเรอร์ ZFS

ฉันทำเกณฑ์มาตรฐานโดยใช้ วว เพื่อเขียนเลขศูนย์ 1GB ไปยัง SSD และมันทำงานที่ 5 MB/s (ฉันรู้ วว มันไม่ดีสำหรับการเปรียบเทียบ แต่ก็ยัง...) ระหว่างการวัดประสิทธิภาพ ไอโอสแตท อยู่ที่ 100% ของการใช้ประโยชน์ ในกรณีของฉัน ฉันแก้ไขปัญหาประสิทธิภาพด้วยการตัดแต่ง SSD คุณสามารถบังคับได้โดยใช้ zpool ตัดแต่ง rpool และคุณสามารถเปิดใช้งานการตัดแต่งอัตโนมัติด้วย zpool ตั้ง autotrim=บน rpool. หลังจากตัดแต่งดิสก์แล้ว ฉันรันเบนช์มาร์กอีกครั้งและรันใน 7 วินาที (153 MB/วินาที)

ในระหว่างขั้นตอนเพื่อค้นหาวิธีปรับปรุงประสิทธิภาพ ฉันตั้งค่า xattr ถึง สา ตามที่ได้แนะนำไว้ใน วิกิ Proxmox และฉันได้ปรับแต่ง zfs_arc_min/zfs_arc_max และพารามิเตอร์เคอร์เนลอื่นๆ

ฉันหวังว่าสิ่งนี้จะเหมาะกับคุณเช่นกัน

us flag
ขอบคุณ!!! ฉันจะลองดูและแจ้งให้คุณทราบ

โพสต์คำตอบ

คนส่วนใหญ่ไม่เข้าใจว่าการถามคำถามมากมายจะปลดล็อกการเรียนรู้และปรับปรุงความสัมพันธ์ระหว่างบุคคล ตัวอย่างเช่น ในการศึกษาของ Alison แม้ว่าผู้คนจะจำได้อย่างแม่นยำว่ามีคำถามกี่ข้อที่ถูกถามในการสนทนา แต่พวกเขาไม่เข้าใจความเชื่อมโยงระหว่างคำถามและความชอบ จากการศึกษาทั้ง 4 เรื่องที่ผู้เข้าร่วมมีส่วนร่วมในการสนทนาด้วยตนเองหรืออ่านบันทึกการสนทนาของผู้อื่น ผู้คนมักไม่ตระหนักว่าการถามคำถามจะมีอิทธิพลหรือมีอิทธิพลต่อระดับมิตรภาพระหว่างผู้สนทนา