วิธีเพิ่มความเร็วของ RAID 5 ด้วย mdadm + luks + lvm

Question

Score:2

Server

วิธีเพิ่มความเร็วของ RAID 5 ด้วย mdadm + luks + lvm

Jayson Reis

26/2/23 16:35

ฉันคิดว่าฉันหลงทางกับการตั้งค่าเซิร์ฟเวอร์ปัจจุบันของฉัน มันเป็น HP Proliant dl160 gen 6 และฉันใส่ดิสก์หมุน 4 แผ่นพร้อมการตั้งค่าที่มี mdmadm + luks + lvm และ btrfs ด้านบน (บางทีฉันอาจไปไกลเกินไป?) และมันทรมานมากกับความเร็ว IO ที่อ่านได้รอบ ๆ 50MB/s และเขียนประมาณ 2MB/s และฉันรู้สึกว่าฉันทำอะไรผิดพลาด

สิ่งหนึ่งที่ฉันสังเกตคือฉันตั้งค่า mdadm บนอุปกรณ์บล็อก (sbd) และไม่ได้อยู่ในพาร์ติชัน (sdb1) นั่นจะส่งผลต่อบางสิ่งหรือไม่

ที่นี่คุณสามารถดูผลลัพธ์ของ fio fio --name=randwrite --rw=randwrite --direct=1 --bs=16k --numjobs=128 --size=200M --runtime=60 --group_reporting เมื่อแทบไม่มีการใช้งานบนเครื่อง

randwrite: (groupid=0, job=128): err= 0: pid=54290: อ. 26 ต.ค. 16:21:50 น. 2564
  เขียน: IOPS=137, BW=2193KiB/s (2246kB/s)(131MiB/61080msec); 0 โซนรีเซ็ต
    ชุด (มิลลิวินาที): นาที=180, สูงสุด=2784, เฉลี่ย=924.48, stdev=318.02
     lat (มิลลิวินาที): min=180, max=2784, avg=924.48, stdev=318.02
    เปอร์เซ็นไทล์ลิ่ม (มิลลิวินาที):
     | 1.00th=[ 405], 5.00th=[ 542], 10.00th=[ 600], 20.00=[ 693],
     | 30.00th=[ 760], 40.00th=[ 818], 50.00th=[ 860], 60.00th=[ 927],
     | 70.00th=[ 1011], 80.00th=[ 1133], 90.00th=[ 1267], 95.00th=[ 1452],
     | 99.00th=[ 2165], 99.50th=[ 2232], 99.90th=[ 2635], 99.95th=[ 2769],
     | 99.99th=[ 2769]
   bw ( KiB/s): ต่ำสุด= 3972, สูงสุด= 4735, ต่อ=100.00%, เฉลี่ย=4097.79, stdev= 1.58, ตัวอย่าง=8224
   iops : นาที= 132, สูงสุด= 295, เฉลี่ย=248.40, stdev= 0.26, ตัวอย่าง=8224
  lat (มิลลิวินาที) : 250=0.04%, 500=2.82%, 750=25.96%, 1,000=40.58%, 2000=28.67%
  lat (มิลลิวินาที) : >=2000=1.95%
  ซีพียู : usr=0.00%, sys=0.01%, ctx=18166, majf=0, minf=1412
  ความลึก IO : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     ส่ง : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     สมบูรณ์ : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     ออก rwts: รวม = 0,8372,0,0 สั้น = 0,0,0,0 ลดลง = 0,0,0,0
     เวลาแฝง : เป้าหมาย = 0, หน้าต่าง = 0, เปอร์เซ็นต์ไทล์ = 100.00%, ความลึก = 1

รันสถานะกลุ่ม 0 (งานทั้งหมด):
  เขียน: bw=2193KiB/s (2246kB/s), 2193KiB/s-2193KiB/s (2246kB/s-2246kB/s), io=131MiB (137MB), run=61080-61080msec

อัปเดต 1 การเขียนตามลำดับด้วย dd

root@hp-proliant-dl160-g6-1:~# dd if=/dev/zero of=disk-test oflag=direct bs=512k count=100
100+0 บันทึกใน 100+0 บันทึกออก 52428800 ไบต์ (52 MB, 50 MiB) คัดลอก 5.81511 วินาที 9.0 MB/วินาที

เคอร์เนล: 5.4.0-89-ทั่วไป

ระบบปฏิบัติการ: อูบุนตู 20.04.3

mdadm: 4.1-5ubuntu1.2

lvm2: 2.03.07-1ubuntu1

เอาต์พุต blkid

/dev/mapper/dm_crypt-0: UUID="r7TBdk-1GZ4-zbUh-007u-BfuP-dtis-bTllYi" TYPE="LVM2_member"
/dev/sda2: UUID="64528d97-f05c-4f34-a238-f7b844b3bb58" UUID_SUB="263ae70e-d2b8-4dfe-bc6b-bbc2251a9f32" TYPE="btrfs" PARTUUID="494be592-3dad-4600-b901b1b1b84-e"
/dev/sdb: UUID="478e8132-7783-1fb1-936a-358d06dbd871" UUID_SUB="4aeb4804-6380-5421-6aea-d090e6aea8a0" LABEL="ubuntu-server:0" TYPE="linux_raid_member"
/dev/sdc: UUID="478e8132-7783-1fb1-936a-358d06dbd871" UUID_SUB="9d5a4ddd-bb9e-bb40-9b21-90f4151a5875" LABEL="ubuntu-server:0" TYPE="linux_raid_member"
/dev/sdd: UUID="478e8132-7783-1fb1-936a-358d06dbd871" UUID_SUB="f08b5e6d-f971-c622-cd37-50af8ff4b308" LABEL="ubuntu-server:0" TYPE="linux_raid_member"
/dev/sde: UUID="478e8132-7783-1fb1-936a-358d06dbd871" UUID_SUB="362025d4-a4d2-8727-6853-e503c540c4f7" LABEL="ubuntu-server:0" TYPE="linux_raid_member"
/dev/md0: UUID="a5b5bf95-1ff1-47f9-b3f6-059356e3af41" TYPE="crypto_LUKS"
/dev/mapper/vg0-lv--0: UUID="6db4e233-5d97-46d2-ac11-1ce6c72f5352" TYPE="สลับ"
/dev/mapper/vg0-lv--1: UUID="4e1a5131-cb91-48c4-8266-5b165d9f5071" UUID_SUB="e5fc407e-57c2-43eb-9b66-b00207ea6d91" TYPE="btrfs"
/dev/loop0: TYPE="สควอช"
/dev/loop1: TYPE="สควอช"
/dev/loop2: TYPE="สควอช"
/dev/loop3: TYPE="สควอช"
/dev/loop4: TYPE="สควอช"
/dev/loop5: TYPE="สควอช"
/dev/loop6: TYPE="สควอช"
/dev/loop7: TYPE="สควอช"
/dev/loop8: TYPE="สควอช"
/dev/loop9: TYPE="สควอช"
/dev/loop10: TYPE="สควอช"
/dev/sda1: PARTUUID="fa30c3f5-6952-45f0-b844-9bfb46fa0224"

แมว /proc/mdstat

บุคลิก : [raid6] [raid5] [raid4] [linear] [multipath] [raid0] [raid1] [raid10]
md0 : ใช้งาน Raid5 sdb[0] sdc[1] sdd[2] sde[4]
      5860147200 บล็อก super 1.2 ระดับ 5 ก้อน 512k อัลกอริทึม 2 [4/4] [UUUU]
      บิตแมป: 2/15 หน้า [8KB], ก้อน 65536KB

อุปกรณ์ที่ไม่ได้ใช้: <ไม่มี>

ดิสก์ lshw -c

  *-ดิสก์
       คำอธิบาย: ดิสก์ SCSI
       สินค้า: DT 101 G2
       ผู้ขาย: Kingston
       รหัสทางกายภาพ: 0.0.0
       ข้อมูลรถบัส: scsi@0:0.0.0
       ชื่อตรรกะ: /dev/sda
       รุ่น: 1.00
       อนุกรม: xxxxxxxxxxxxxxxxxxxx
       ขนาด: 7643MiB (8015MB)
       ความสามารถ: ถอดออกได้
       การกำหนดค่า: anversion=4 โลจิคัลเซกเตอร์ไซส์=512 เซกเตอร์ไซส์=512
     *-ปานกลาง
          รหัสทางกายภาพ: 0
          ชื่อตรรกะ: /dev/sda
          ขนาด: 7643MiB (8015MB)
          ความสามารถ: gpt-1.00 แบ่งพาร์ติชั่นแล้ว:gpt
          การกำหนดค่า: guid=6c166e3e-27c9-4edf-9b0d-e21892cbce41
  *-ดิสก์
       คำอธิบาย: ดิสก์ ATA
       สินค้า: ST2000DM008-2FR1
       รหัสทางกายภาพ: 0.0.0
       ข้อมูลรถบัส: scsi@1:0.0.0
       ชื่อตรรกะ: /dev/sdb
       รุ่น: 0001
       อนุกรม: xxxxxxxxxxxxxxxxxxxx
       ขนาด: 1863GiB (2TB)
       ความสามารถ: ถอดออกได้
       การกำหนดค่า: anversion=5 โลจิคัลเซกเตอร์ไซส์=512 เซกเตอร์ไซส์=4096
     *-ปานกลาง
          รหัสทางกายภาพ: 0
          ชื่อตรรกะ: /dev/sdb
          ขนาด: 1863GiB (2TB)
  *-ดิสก์
       คำอธิบาย: ดิสก์ ATA
       สินค้า: ST2000DM008-2FR1
       รหัสทางกายภาพ: 0.0.0
       ข้อมูลรถบัส: scsi@2:0.0.0
       ชื่อตรรกะ: /dev/sdc
       รุ่น: 0001
       อนุกรม: xxxxxxxxxxxxxxxxxxxx
       ขนาด: 1863GiB (2TB)
       ความสามารถ: ถอดออกได้
       การกำหนดค่า: anversion=5 โลจิคัลเซกเตอร์ไซส์=512 เซกเตอร์ไซส์=4096
     *-ปานกลาง
          รหัสทางกายภาพ: 0
          ชื่อตรรกะ: /dev/sdc
          ขนาด: 1863GiB (2TB)
  *-ดิสก์
       คำอธิบาย: ดิสก์ ATA
       สินค้า: WDC WD20EZBX-00A
       ผู้ขาย: Western Digital
       รหัสทางกายภาพ: 0.0.0
       ข้อมูลรถบัส: scsi@3:0.0.0
       ชื่อตรรกะ: /dev/sdd
       รุ่น: 1A01
       อนุกรม: xxxxxxxxxxxxxxxxxxxx
       ขนาด: 1863GiB (2TB)
       ความสามารถ: ถอดออกได้
       การกำหนดค่า: anversion=5 โลจิคัลเซกเตอร์ไซส์=512 เซกเตอร์ไซส์=4096
     *-ปานกลาง
          รหัสทางกายภาพ: 0
          ชื่อตรรกะ: /dev/sdd
          ขนาด: 1863GiB (2TB)
  *-ดิสก์
       คำอธิบาย: ดิสก์ ATA
       สินค้า: WDC WD20EZBX-00A
       ผู้ขาย: Western Digital
       รหัสทางกายภาพ: 0.0.0
       ข้อมูลรถบัส: scsi@4:0.0.0
       ชื่อตรรกะ: /dev/sde
       รุ่น: 1A01
       อนุกรม: xxxxxxxxxxxxxxxxxxxx
       ขนาด: 1863GiB (2TB)
       ความสามารถ: ถอดออกได้
       การกำหนดค่า: anversion=5 โลจิคัลเซกเตอร์ไซส์=512 เซกเตอร์ไซส์=4096
     *-ปานกลาง
          รหัสทางกายภาพ: 0
          ชื่อตรรกะ: /dev/sde
          ขนาด: 1863GiB (2TB)

คุณเห็นสิ่งใดที่อาจผิดพลาดในการตั้งค่าหรือไม่ คุณคิดว่าการเพิ่ม nvme ด้วยการ์ด PCI และใช้สำหรับการแคชจะมีประโยชน์หรือไม่

647

0 + 0

ลินุกซ์

เลเวล

btrfs