Score:0

การเขียนแบบขนาน NVMe

ธง sy

ฉันพยายามทำความเข้าใจให้ดียิ่งขึ้นว่าการเขียนไปยัง NVMe สามารถเพิ่มประสิทธิภาพได้อย่างไร

ฉันมีกระบวนการที่เขียนข้อมูลจำนวนมากลงดิสก์ (~100 gb) ในงานแบทช์เดียว ข้อมูลกระจายไปทั่ว 100 ไฟล์

ฉันมีดิสก์ NVMe หลายตัวและจะเขียนไฟล์แยกกันแบบขนานในกระบวนการเดียวโดยใช้หลายเธรด (~10)

ขณะนี้ข้อมูลทั้งหมดถูกเขียนลงในดิสก์ NVMe เดียว ฉันสงสัยว่าการปรับปรุงประสิทธิภาพที่เป็นไปได้สามารถทำได้โดยการเขียนข้อมูลข้ามดิสก์หลาย ๆ ตัวพร้อมกันหรือหากอุปกรณ์ NVMe เดียวสามารถจัดการการเขียนแบบขนานด้วยตัวเองได้หรือไม่

ขอบคุณสำหรับการป้อนข้อมูลใด ๆ

shodanshok avatar
ca flag
ไฟล์ถูกเขียนบนไดเร็กทอรีที่แตกต่างกันหลายไดเร็กทอรีหรือไม่? สามารถบีบอัดได้หรือไม่?
R.Smith avatar
sy flag
ไฟล์ถูกเขียนผ่านหลายไดเร็กทอรีและถูกบีบอัดแล้ว
Score:0
ธง br

NVMe อย่างแน่นอน ข้อมูลจำเพาะ อนุญาตให้มีบางอย่าง เช่น 64k คิว แต่ละรายการสามารถมี 64k รายการได้ ดังนั้นข้อมูลจำเพาะจึงอนุญาตให้มีการทำงานพร้อมกันระดับไฮเอนด์บางอย่างได้ ไม่ว่าไดรฟ์จริงจะรองรับหรือไม่ก็ตามนั้นแตกต่างกัน แต่แน่นอนว่าจะรองรับหลายร้อยคิวและ หลายร้อยรายการคิว ทั้งหมดนี้จะช่วย

ที่กล่าวว่าสัญชาตญาณคือไดรฟ์มากขึ้นจะดีกว่า แต่จริง ๆ แล้วขึ้นอยู่กับว่า PCIe / PCH ท่วมแค่ไหน - หากมีการเขียนเพียงเล็กน้อยก็มีโอกาสที่บัสจะไม่ว่างเต็มที่ ดังนั้นการละเลงดิสก์หลาย ๆ ตัวอาจช่วยได้ เล็กน้อย แต่ถ้าใช้อย่างเต็มที่ อย่างที่คุณน่าจะเห็นในการเขียนตามลำดับจำนวนมาก ดิสก์เดียวอาจเร็วพอๆ กับดิสก์หลายแผ่น

แน่นอนว่านี่คือทั้งหมดก่อนที่คุณจะพิจารณาสิ่งต่าง ๆ เช่น RAID 1/10 หรือ 0 และผลกระทบที่จะเกิดขึ้น - คุณต้องการสิ่งนั้นเพื่อความยืดหยุ่น

ในที่สุดคุณควรทดสอบสิ่งนี้ นั่นเป็นคำตอบที่ถูกต้อง แต่ขึ้นอยู่กับจำนวนไดรฟ์และเวลาที่คุณต้องทำการทดสอบ - แต่นั่นเป็นวิธีเดียวที่จะรู้อย่างแท้จริง

โพสต์คำตอบ

คนส่วนใหญ่ไม่เข้าใจว่าการถามคำถามมากมายจะปลดล็อกการเรียนรู้และปรับปรุงความสัมพันธ์ระหว่างบุคคล ตัวอย่างเช่น ในการศึกษาของ Alison แม้ว่าผู้คนจะจำได้อย่างแม่นยำว่ามีคำถามกี่ข้อที่ถูกถามในการสนทนา แต่พวกเขาไม่เข้าใจความเชื่อมโยงระหว่างคำถามและความชอบ จากการศึกษาทั้ง 4 เรื่องที่ผู้เข้าร่วมมีส่วนร่วมในการสนทนาด้วยตนเองหรืออ่านบันทึกการสนทนาของผู้อื่น ผู้คนมักไม่ตระหนักว่าการถามคำถามจะมีอิทธิพลหรือมีอิทธิพลต่อระดับมิตรภาพระหว่างผู้สนทนา