คุณจะเลือกระบบไฟล์/การตั้งค่า Linux ใดเพื่อให้ได้ความเร็วสูงสุดในสถานการณ์ต่อไปนี้:
ไม่กี่ล้านไฟล์ ขนาดไฟล์ประมาณ 3mb โดยเฉลี่ย การเข้าถึงไฟล์แบบสุ่ม จำเป็นต้องได้รับรายชื่อไฟล์ทั้งหมดบ่อยๆ เขียนไฟล์ใหม่อย่างต่อเนื่อง อ่านไฟล์เก่าอย่างต่อเนื่อง
สิ่งที่สำคัญคือ คุณจัดระเบียบอย่างไร ไฟล์ของคุณ
หากคุณวางแผนที่จะมีไดเร็กทอรีขนาดใหญ่หนึ่งไดเร็กทอรีที่มีไฟล์ประมาณ 10 ล้านไฟล์ ระบบไฟล์ใดๆ ก็ตามจะต้องประสบปัญหา แม้ว่า XFS และ ZFS จะจัดการแม้แต่กรณีที่เลวร้ายที่สุดนี้ได้ค่อนข้างดี
แนวทางที่แนะนำคือการจัดระเบียบไฟล์ของคุณในไดเร็กทอรีขนาดเล็กหลายไดเร็กทอรี โดยมีจำนวนไฟล์ที่เหมาะสม (~32K) เพื่อหลีกเลี่ยงปัญหาที่แตกต่างกันแต่เกี่ยวข้องกัน (เช่น: ล ครั้งหนึ่งเคยช้ามากสำหรับไดเร็กทอรีขนาดใหญ่)
หากเป็นไปไม่ได้ ฉันจะใช้ XFS หรือ ZFS แต่เพียงอย่างเดียว หลังจากจำลองโหลดที่ต้องการในการตั้งค่าทดสอบแล้ว (หมายเหตุ: แม้ว่า EXT4 จะทำงานได้ดี แต่คุณก็สามารถใช้งานไอโหนดได้อย่างเต็มที่)
จากสิ่งที่คุณอธิบาย XFS นั้นเหมาะสม มันถูกสร้างขึ้นเพื่อจัดการไฟล์หลายพันล้านไฟล์คุณจะต้องคิดถึงพื้นที่เก็บข้อมูลส่วนหลังที่ถูกต้องสำหรับสิ่งที่คุณวางแผนไว้
ภาระงานของคุณเกือบจะแย่ที่สุดเท่าที่จะเป็นไปได้สำหรับระบบไฟล์สำหรับวัตถุประสงค์ทั่วไปไฟล์หลายล้านไฟล์ แจงนับบ่อย อ่านและเขียนจำนวนมาก ข้อมูลเมตาขนาดใหญ่ I/O ด้วยจำนวนไฟล์ที่มาก แบนด์วิธในการถ่ายโอนไฟล์ที่เป็นปัญหาจึงไม่ค่อยมี แทนที่จะใช้จำนวน IOPS ในการสืบค้นรายการไดเร็กทอรีและไอโหนดซ้ำๆ
ทดสอบเวิร์กโหลดนี้แบบสังเคราะห์ ขณะที่ตรวจสอบแอปพลิเคชันเพื่อให้แน่ใจว่าทำงานได้อย่างเป็นที่ยอมรับ ในการจัดเก็บขนาดการผลิตที่สมจริงและระดับ IOPS ต้องแน่ใจว่าโครงสร้างโฟลเดอร์ตรงกัน 300 ไฟล์ต่อไดเร็กทอรีจะแตกต่างจาก 3,000,000 ไฟล์ต่อไดเร็กทอรีมาก ลองใช้ระบบไฟล์ที่แตกต่างกันสองสามระบบสำหรับ Linux XFS และ EXT4
คุณอาจต้องการที่เก็บข้อมูล SSD ที่เร็วมากและ RAM จำนวนมากเพื่อให้ทำงานได้อย่างเพียงพอ
บางทีคุณอาจมีสัญญาสนับสนุนกับผู้จำหน่ายระบบปฏิบัติการของคุณ ซึ่งคุณสามารถให้ผู้เชี่ยวชาญด้านประสิทธิภาพดูได้
หากต้องการประสิทธิภาพที่ยอมรับได้ ให้พิจารณาการเปลี่ยนแปลงแอปพลิเคชัน พิจารณาจัดเก็บและสอบถามรายการไฟล์จากฐานข้อมูลอื่นที่ไม่ใช่ระบบไฟล์ ฐานข้อมูลจำนวนมากอาจสามารถส่งคืนผลลัพธ์ไม่กี่ล้านรายการได้เร็วกว่าระบบไฟล์ที่ถูกจำกัดโดย POSIX โดยทั่วไป และโดยเฉพาะอย่างยิ่ง Linux VFS
คนส่วนใหญ่ไม่เข้าใจว่าการถามคำถามมากมายจะปลดล็อกการเรียนรู้และปรับปรุงความสัมพันธ์ระหว่างบุคคล ตัวอย่างเช่น ในการศึกษาของ Alison แม้ว่าผู้คนจะจำได้อย่างแม่นยำว่ามีคำถามกี่ข้อที่ถูกถามในการสนทนา แต่พวกเขาไม่เข้าใจความเชื่อมโยงระหว่างคำถามและความชอบ จากการศึกษาทั้ง 4 เรื่องที่ผู้เข้าร่วมมีส่วนร่วมในการสนทนาด้วยตนเองหรืออ่านบันทึกการสนทนาของผู้อื่น ผู้คนมักไม่ตระหนักว่าการถามคำถามจะมีอิทธิพลหรือมีอิทธิพลต่อระดับมิตรภาพระหว่างผู้สนทนา
