ประสิทธิภาพของ ZFS: ความเร็วในการเขียนต่ำมาก

ฉันใช้โฮมเซิร์ฟเวอร์ขนาดเล็ก ข้อกำหนดคือ:

• ซีพียู: AMD Ryzen 5 2600
• RAM: 32 GB ECC
• ไดรฟ์ระบบ: 128GB NVMe SSD
• ไดรฟ์ข้อมูล: Seagate Barracuda HDD 3x4 TB

เซิร์ฟเวอร์เรียกใช้บางแอปพลิเคชันเช่น Nextcloud หรือ Gitea และฉันต้องการเรียกใช้ 1-2 VM บนนั้น ดังนั้นจึงมีเว็บแอปพลิเคชัน ฐานข้อมูล และ VM บางส่วน

แอปพลิเคชันและอิมเมจ qcow2 ถูกจัดเก็บไว้ในพูล Raidz1:

สถานะ $ sudo zpool
  สระว่ายน้ำ: ถัง
 สถานะ: ออนไลน์
การกำหนดค่า:

        ชื่อ รัฐ อ่าน เขียน CKSUM
        ถังออนไลน์ 0 0 0
          Raidz1-0 ออนไลน์ 0 0 0
            sdb ออนไลน์ 0 0 0
            เอสดีซี ออนไลน์ 0 0 0
            sdd ออนไลน์ 0 0 0

ข้อผิดพลาด: ไม่มีข้อผิดพลาดของข้อมูลที่ทราบ

เมื่อฉันใช้แอปพลิเคชันในสัปดาห์แรก ฉันไม่พบปัญหาใดๆ แต่ไม่กี่สัปดาห์ต่อมา ฉันก็พบว่าความเร็วการเขียนต่ำมาก อินสแตนซ์ nextcloud ไม่เร็วมาก และเมื่อฉันพยายามเริ่ม VM ใหม่ด้วย Windows 10 จะใช้เวลาประมาณ 5 นาทีเพื่อไปที่หน้าจอเข้าสู่ระบบ

ฉันทำการทดสอบประสิทธิภาพโดยใช้ ฟิโอ และได้ผลดังนี้

ฉันทำการค้นคว้าก่อนที่จะโพสต์ที่นี่และอ่านว่าฉันควรเพิ่ม SLOG ลงในพูล zfs เพื่อประสิทธิภาพที่ดีขึ้นด้วยฐานข้อมูลและ VM แต่นั่นไม่ใช่ทางเลือกในขณะนี้ ฉันต้องได้ของขวัญคริสต์มาสก่อน :D

แต่ถึงแม้จะไม่มี SLOG ฉันก็ไม่คิดว่าตัวเลขเหล่านี้ถูกต้อง :(

ไม่มีใครมีความคิด? :)

As a first-order approximation raidz provides the random performances of a single disk, which for a 7.2K HDD are about 70 IOPS. Your test shows 50% less IOPS (ie: ~30 vs ~70) and this can be explained with the relatively large recordsize you selected.

Especially for random writes, any recordsize larger than 4KB is going to face considerable read/modify/write penalty. Please note that I am not advocating for using such a small recordsize on mechanical disks as it commands a very high metadata overhead, high fragmentation and (almost) no compression. As a reference, when using HDDs I leave the default (128KB) recordsize even for virtualization hosts.

You can do the following to improve performance:

• use mirror vs raidz where applicable (but you only have 3 disks, preventing the use of mirroring+striping)
• use RAW image files rather than QCOW2 (if QCOW2 files really are required, be sure to preallocate their metadata)
• try setting sync=disabled (but be sure to understand that in case of sudden power loss your system will lose up to 5s of written data)