ระบบไฟล์ ext4 ของฉันสูญเสียประสิทธิภาพเมื่อเติบโต
ฉันมีระบบจัดเก็บไฟล์รูปภาพจำนวนมาก เซิร์ฟเวอร์อิมเมจที่ใช้ Debian นี้จัดเก็บไฟล์อิมเมจโดยแบ่งเป็นโฟลเดอร์ปีบนชุดดิสก์ขนาด 1-2TB พร้อม RAID-1 ของฮาร์ดแวร์ ไฟล์เหล่านี้ถูกจัดเก็บไว้ในโครงสร้างของโฟลเดอร์ปีและโฟลเดอร์ 256 ระดับต่ำกว่านั้น 2 ระดับ
เช่น
ภาพ/2021/2b/0f/193528211006081503835.tif
ไฟล์เหล่านี้ถูกเขียนอย่างต่อเนื่องในระหว่างปีและกระจายอย่างสม่ำเสมอโดยใช้แฮช ดังนั้นแต่ละโฟลเดอร์ leaf/image มีประมาณ 400 ไฟล์ในช่วงปลายปี
ซึ่งให้ไฟล์ทั้งหมดประมาณ 256 x 256 x 400 = 26 214 400 ไฟล์ต่อปีโฟลเดอร์
การวนซ้ำโครงสร้างโฟลเดอร์นี้ทำงานได้ดีจนถึงประมาณ 20 ล้านไฟล์ อาจใช้เวลาสองสามชั่วโมง เมื่อขยายใหญ่ขึ้น แม้แต่การแสดงรายการโฟลเดอร์ leaf ที่มีไฟล์ 300-400 ไฟล์ก็อาจใช้เวลา 1-4 วินาทีเมื่อไม่ได้อยู่ในแคช ฉันสงสัยว่ามันเกี่ยวข้องกับการแยกส่วนในรายการไดเร็กทอรี
การเข้าถึงแต่ละไฟล์เมื่อคุณรู้ว่าเส้นทางนั้นรวดเร็วเสมอ และไม่ใช่ปัญหาฮาร์ดแวร์/ดิสก์ ประสิทธิภาพของ raw io นั้นดี อย่างไรก็ตาม ไฟล์จะไม่มีวันถูกลบออกจากโครงสร้างนี้
Defrag ด้วย e4defrag ไม่สร้างความแตกต่าง ฉันคิดว่ามันแค่จัดเรียงไฟล์ไม่ใช่ไดเร็กทอรี fsck.ext4 -D อาจเป็นวิธีแก้ปัญหา แต่เนื่องจากนี่เป็นระบบที่ใช้งานจริง ฉันจึงไม่กระตือรือร้นที่จะยกเลิกการต่อเชื่อมระบบไฟล์แล้วลอง
สิ่งที่ช่วยได้คือการคัดลอกไฟล์ไปยังโฟลเดอร์ชั่วคราวแล้วย้ายกลับไปเขียนทับต้นฉบับ เช่น
cp -a ภาพ/2021/2b/0f/* ภาพ/2021/2b/tmp
mv -f ภาพ/2021/2b/tmp/* ภาพ/2021/2b/0f
หลังจากการดำเนินการนี้ได้รับการกู้คืน (แม้ว่าจะไม่ได้อยู่ในแคช) หากไฟล์ถูกแยกส่วน ฉันเข้าใจว่าทำไมสิ่งนี้ถึงช่วยได้ แต่มันไม่ได้เป็นไปตาม e4defragการย้ายไฟล์ไปยังโฟลเดอร์ temp และย้อนกลับไม่ได้ช่วยอะไร
บางคนสามารถช่วยฉันเข้าใจสิ่งที่เกิดขึ้นที่นี่
ฉันจะพยายามตอบสำหรับ ext4 คุณจะสร้างระบบไฟล์ได้อย่างไร ผลลัพธ์ของอะไรเช่น:
sudo tune2fs -l /dev/sda1
โดยที่ฉันถือว่าปริมาณ ext4 ของคุณคือ sda1 คุณควรมี "dir_index", "filetype" อยู่ในคุณสมบัติระบบไฟล์ ถ้าไม่ คุณต้องจัดรูปแบบโดยเปิดใช้งานเหล่านี้ เมื่อสิ่งเหล่านี้ตกลง คุณอาจต้องการแลกเปลี่ยนไฟล์แคชสำหรับแคชข้อมูลเมตา ถ้าผลลัพธ์ของ:
แมว /proc/sys/vm/vfs_cache_pressure
แสดง 100 ลองลดลงเหลือ 50 มันสามารถคงอยู่ในไฟล์ etc/sysctl.conf
คุณสามารถเขียนได้ที่ไหน:
vm.vfs_cache_pressure=50
และนำไปใช้โดย sudo sysctl -p ซึ่งจะเพิ่มความน่าจะเป็นในการแคชข้อมูลเมตา
ดัชนี ext4 dir สามารถแยกส่วนตามที่คุณแนะนำ ไม่มีการรักษาโดยตรง แต่คุณสามารถดูโพสต์ Stackexchange นี้: วิธีการจัดระเบียบอะตอม ext4 ไดเร็กทอรี
คนส่วนใหญ่ไม่เข้าใจว่าการถามคำถามมากมายจะปลดล็อกการเรียนรู้และปรับปรุงความสัมพันธ์ระหว่างบุคคล ตัวอย่างเช่น ในการศึกษาของ Alison แม้ว่าผู้คนจะจำได้อย่างแม่นยำว่ามีคำถามกี่ข้อที่ถูกถามในการสนทนา แต่พวกเขาไม่เข้าใจความเชื่อมโยงระหว่างคำถามและความชอบ จากการศึกษาทั้ง 4 เรื่องที่ผู้เข้าร่วมมีส่วนร่วมในการสนทนาด้วยตนเองหรืออ่านบันทึกการสนทนาของผู้อื่น ผู้คนมักไม่ตระหนักว่าการถามคำถามจะมีอิทธิพลหรือมีอิทธิพลต่อระดับมิตรภาพระหว่างผู้สนทนา
