Score:0

ZFS / Zpool ที่จำกัดการใช้ดิสก์?

ธง ve

ฉันมีเซิร์ฟเวอร์ที่มีดิสก์ JBOD ขนาด 36 x 14TB ซึ่งมีความจุการใช้งานรวม 12.7TB (ดิสก์คือ WUH721414AL5201)

ฉันสร้าง zpool สองรายการแล้ว:

  • zpool1 ซึ่งมี 3 vdev's (แต่ละตัวมี 8 ดิสก์และเป็น Raidz-1) โดยที่พูลมี 3 Hot-spare

  พูล: zpool1
 สถานะ: ออนไลน์
การกำหนดค่า:

        ชื่อ รัฐ อ่าน เขียน CKSUM
        zpool1 ออนไลน์ 0 0 0
          Raidz1-0 ออนไลน์ 0 0 0
            scsi-35000 ออนไลน์ 0 0 0
            scsi-35000 ออนไลน์ 0 0 0
            scsi-35000 ออนไลน์ 0 0 0
            scsi-35000 ออนไลน์ 0 0 0
            scsi-35000 ออนไลน์ 0 0 0
            scsi-35000 ออนไลน์ 0 0 0
            scsi-35000 ออนไลน์ 0 0 0
            scsi-35000 ออนไลน์ 0 0 0
          Raidz1-1 ออนไลน์ 0 0 0
            scsi-35000 ออนไลน์ 0 0 0
            scsi-35000 ออนไลน์ 0 0 0
            scsi-35000 ออนไลน์ 0 0 0
            scsi-35000 ออนไลน์ 0 0 0
            scsi-35000 ออนไลน์ 0 0 0
            scsi-35000 ออนไลน์ 0 0 0
            scsi-35000 ออนไลน์ 0 0 0
            scsi-35000 ออนไลน์ 0 0 0
          Raidz1-2 ออนไลน์ 0 0 0
            scsi-35000 ออนไลน์ 0 0 0
            scsi-35000 ออนไลน์ 0 0 0
            scsi-35000 ออนไลน์ 0 0 0
            scsi-35000 ออนไลน์ 0 0 0
            scsi-35000 ออนไลน์ 0 0 0
            scsi-35000 ออนไลน์ 0 0 0
            scsi-35000 ออนไลน์ 0 0 0
            scsi-35000 ออนไลน์ 0 0 0
        อะไหล่
          scsi-35000 มีจำหน่าย
          scsi-35000 มีจำหน่าย
          scsi-35000 มีจำหน่าย

  • zpool2 ซึ่งมี 1 vdev (มี 9 ดิสก์และเป็น Raidz-2)

พูล: zpool2
 สถานะ: ออนไลน์
การกำหนดค่า:

        ชื่อ รัฐ อ่าน เขียน CKSUM
        zpool2 ออนไลน์ 0 0 0
          Raidz2-0 ออนไลน์ 0 0 0
            scsi-35000 ออนไลน์ 0 0 0
            scsi-35000 ออนไลน์ 0 0 0
            scsi-35000 ออนไลน์ 0 0 0
            scsi-35000 ออนไลน์ 0 0 0
            scsi-35000 ออนไลน์ 0 0 0
            scsi-35000 ออนไลน์ 0 0 0
            scsi-35000 ออนไลน์ 0 0 0
            scsi-35000 ออนไลน์ 0 0 0
            scsi-35000 ออนไลน์ 0 0 0


อย่างที่คุณเห็น ตาม zfs ขนาดที่ใช้งานได้ทั้งหมดของ zpool1 คือ ~306TB และ zpool2 คือ ~115tb โดยทั้งสองพูลอ้างว่ามีพื้นที่ว่างหลาย TB


รูท:~# รายการ zpool
ขนาดชื่อ ALLOC ฟรี CKPOINT ขยาย Z FRAG CAP DEDUP HEALTH ALTROOT
zpool1 306T 296T 9.55T - - 47% 96% 1.00x ออนไลน์ -
zpool2 115T 110T 4.46T - - 26% 96% 1.00x ออนไลน์ -

อย่างไรก็ตามเมื่อฉันเรียกใช้ df -h ฉันได้รับสิ่งต่อไปนี้:

รูท: ~ # df -h
ขนาดระบบไฟล์ที่ใช้ Avail Use% Mounted on
zpool1 250T 250T 5.5M 100% /zpool1
zpool2 85T 84T 684G 100% /zpool2.1

สิ่งนี้ได้รับการสำรองข้อมูลโดยระบบไฟล์ที่ส่งข้อยกเว้นแบบเต็มของดิสก์เมื่อฉันพยายามเพิ่มข้อมูลอีกต่อไปไปยังพูล

ใครช่วยกรุณายืนยันว่ามีข้อ จำกัด บางอย่างที่ฉันกดบน linux หรือ zfs หรือไม่ ความคิดเริ่มต้นของฉันคือมีขีดจำกัด 250TB แต่นั่นไม่ได้อธิบายว่าทำไม zpool2 ถึงมีความจุ 100% เมื่อมีข้อมูลเพียง 85TB ในพูล

หากการคำนวณของฉันถูกต้อง pool1 ควรมีพื้นที่ใช้สอยอย่างน้อย 266.7TB และ pool2 ควรมี 88.9TB ซึ่งขึ้นอยู่กับการคำนวณต่อไปนี้:

สระว่ายน้ำ1: 3 x Raidz-1 vdevs (8 แผ่น, ใช้งานได้ 7 แผ่น) = 7 * 3 = 21 แผ่น * แต่ละแผ่น 12.7TB = 266.7

สระว่ายน้ำ2: 1 x Raidz-2 vdev (ดิสก์ 9 แผ่น ใช้งานได้ 7 แผ่น) = 7 * 12.7TB ต่ออัน = 88.9TB

PS: ขออภัยสำหรับโพสต์ที่ยาวเช่นนี้ ฉันค่อนข้างใหม่กับการจัดเก็บ ดังนั้นฉันจึงพยายามอธิบายให้มากที่สุด (อาจมากเกินไป!)

เพิ่มสำหรับ Zoredache:

รูท: ~ # รายการ zfs
ชื่อที่ใช้ มีประโยชน์ อ้างอิง MOUNTPOINT
zpool1 249T 2.45M 249T /zpool1
zpool2 83.9T 683G 83.9T /zpool2

Score:2
ธง in

The df command is an ancient tool, and doesn't doesn't really understand ZFS, the output from df for a ZFS filessytem is close to worthless. ZFS has more complicated allocation then what the df command understands. ZFS has features like snapshots, compression, de-duplication and more that all impact the usage and available capacity but will not change the apparent usage from perspective of 'df'.

You should be using zfs list and zpool list to inspect pools and zfs filesystems. Your zpool output clearly shows you are nearing the maximum capacity. The zfs list command will give more you details per dataset.

Also consider datasets can have quotas. They will have certain amounts of space reserved for critical filesystem storage to prevent your system from crashing.

Related, you shouldn't let your pools get to the point where they are as full as your that full. It will hurt the performance of your pools.

Birdy avatar
ve flag
ขอบคุณสำหรับคำตอบโดยละเอียด ในโลกอุดมคติ ฉันจะย้อนกลับการตั้งค่า zfs เริ่มต้นเพื่อปรับโครงสร้างใหม่ แต่น่าเสียดายที่เราไม่มีพื้นที่เพิ่ม 500TB เกี่ยวกับ :-( และอย่างที่คุณพูด... ประสิทธิภาพของ ZFS มีแนวโน้มว่าจะได้รับความนิยมเป็นพิเศษ เมื่อรายการ zfs แสดงสิ่งต่อไปนี้: NAME USED AVAIL REFER MOUNTPOINT zpool1 249T 2.45M 249T /zpool1 zpool2 83.9T 683G 83.9T /zpool2

โพสต์คำตอบ

คนส่วนใหญ่ไม่เข้าใจว่าการถามคำถามมากมายจะปลดล็อกการเรียนรู้และปรับปรุงความสัมพันธ์ระหว่างบุคคล ตัวอย่างเช่น ในการศึกษาของ Alison แม้ว่าผู้คนจะจำได้อย่างแม่นยำว่ามีคำถามกี่ข้อที่ถูกถามในการสนทนา แต่พวกเขาไม่เข้าใจความเชื่อมโยงระหว่างคำถามและความชอบ จากการศึกษาทั้ง 4 เรื่องที่ผู้เข้าร่วมมีส่วนร่วมในการสนทนาด้วยตนเองหรืออ่านบันทึกการสนทนาของผู้อื่น ผู้คนมักไม่ตระหนักว่าการถามคำถามจะมีอิทธิพลหรือมีอิทธิพลต่อระดับมิตรภาพระหว่างผู้สนทนา