Score:0

เซิร์ฟเวอร์พื้นที่จัดเก็บหลังการผลิตวิดีโอ - ความเร็วการถ่ายโอนช้าของไฟล์ขนาดเล็ก (1-2M) ผ่านพูล SMB ไปยัง ZFS (รูปแบบ CinemaDNG)

ธง cn

ฉันเป็น OP ของกล้อง / โปรแกรมตัดต่อวิดีโอ แต่ฉันจัดการโครงสร้างพื้นฐานโพสต์ของเราสำหรับทีมงาน 2 คนที่บริษัทโปรดักชันขนาดเล็ก

เรากำลังมีปัญหาเกี่ยวกับความเร็วในการถ่ายโอนข้อมูลผ่านเครือข่ายที่ช้าจากกล้องตัวใดตัวหนึ่งของเรา กล้องนี้บันทึกลำดับ DNG ลงในการ์ด SD (Kingston Canvas React 256 GB) ดังนั้นหลังจากถ่ายทำเสร็จ ในการ์ด SD จะมีโฟลเดอร์สำหรับทุกคลิปที่มีไฟล์ .dng ขนาด 1-2 MB นับหมื่น

เรากำลังนำเข้าฟุตเทจบนพีซี Windows 10 (Alienware Aurora R10, R9-5900x 32GB RAM RTX 3080) ด้วย DaVinci Resolve และเครื่องมือ Clone ซึ่งจะตรวจสอบไฟล์หลังจากคัดลอกด้วยการตรวจสอบผลรวม ถ้าเราใช้ explorer เพื่อคัดลอกไฟล์ไปยังเครือข่ายที่ใช้ร่วมกัน ความเร็วจะเท่ากัน ดังนั้นฉันไม่คิดว่าปัญหาอยู่ที่การแก้ปัญหาของ DaVinci (มีซอฟต์แวร์ที่มีลิขสิทธิ์ราคาแพง (เช่น YoYotta) ซึ่งอ้างว่าคัดลอกได้เร็วกว่า แต่ฉันยังไม่ได้ลอง) มันเหมือนกันกับ Macbook Air ปี 2015 ของฉันที่มีอะแดปเตอร์ Thunderbolt 2 เป็นอีเธอร์เน็ต

เซิร์ฟเวอร์ของเราคือ Dell T320 รุ่นเก่าที่มี 16 GB RAM และ 5 x 3TB WD Red Disks (ไม่ใช่ SMR) ที่เชื่อมต่อกับคอนโทรลเลอร์ H200 Raid ที่แฟลชไปที่โหมด IT มันรัน XigmaNas และดิสก์อยู่ในพูล Raidz1 จากนั้นแชร์ผ่าน SMB (ฉันรู้ว่าเซิร์ฟเวอร์นี้ช้ามากและความจุต่ำสำหรับสิ่งที่เรากำลังทำอยู่ เราวางแผนอัปเกรดเป็นเวลาเกือบหนึ่งปีแล้วเป็น 12 ดิสก์และ ssd สำหรับเครือข่าย L2ARC และ 10Gbps แต่เราไม่ได้ทำ สามารถหาสัปดาห์ฟรีเมื่อไม่มีโครงการใด ๆ ที่วางแผนไว้และฉันสามารถอัปเกรดได้)

เรามีพีซีแบบฝังที่ใช้ PfSense สำหรับเราเตอร์และไฟร์วอลล์ของเรา และเรากำลังใช้สวิตช์ Zyxel 8 พอร์ตที่ไม่มีการจัดการเพื่อเชื่อมต่อคอมพิวเตอร์ สามารถจัดการการเชื่อมต่อระดับกิกะบิตเต็มรูปแบบในทุกเกณฑ์มาตรฐานและการทดสอบที่ฉันได้ลอง

ดังนั้นปัญหาคือต่อไปนี้ เมื่อฉันเริ่มการถ่ายโอน ความเร็วเริ่มต้นที่ประมาณ 70-80 Mb/s จะลดลงอย่างรวดเร็วเป็น 10 MB/s ในเวลาเพียงครึ่งนาที และช้าลงเหลือประมาณ 2-3 MB/s ในเวลาไม่กี่ชั่วโมง หากถ่ายโอนโฟลเดอร์หนึ่งเสร็จแล้ว โฟลเดอร์ถัดไปจะเริ่มด้วยความเร็วสูงสุดอีกครั้ง ดังนั้นหากการ์ดเต็มไปด้วยโฟลเดอร์จำนวนมาก (คลิปเล็กกว่า) ก็ไม่เลวนัก การถ่ายโอนจะเสร็จสิ้นภายในสองสามชั่วโมง แต่เมื่อเราเติมการ์ดด้วย 1-2 คลิปดังนั้น 1-2, 100-150 GB folers ที่มีไฟล์ 1-2 MB จึงใช้เวลามากกว่าหนึ่งวัน

เมื่อเราใช้กล้องตัวอื่นของเรา ซึ่งบันทึกในระดับ 4K-6K ไฟล์ที่ใหญ่กว่ามาก (สำหรับคลิปที่ยาวกว่านั้นคือไฟล์ขนาด 100-800 GB) ไฟล์จะถ่ายโอนด้วยความเร็วสูงสุด ดังนั้นโดยปกติแล้วจะสูงสุดที่ 112 MB/s สำหรับระยะเวลาทั้งหมด ของการโอน

แน่นอนว่าการถ่ายโอนไฟล์ขนาดเล็กนั้นช้าลงเล็กน้อยเมื่อพูลมีความจุมากกว่า 80-90% (นี่คือตัวเลขที่ฉันเขียนไว้ด้านบน) แต่เมื่อมันต่ำกว่า 50% ช้าที่สุดที่ได้รับคือ 5 MB/s ซึ่งไม่ใช่ ไม่ไกลจาก 1-2 MB/s ดังนั้นมันจึงยังช้าและฉันไม่คิดว่าพูลจะเต็ม เพราะไฟล์ขนาดใหญ่ยังคงถ่ายโอนด้วยความเร็วสูงสุด ฉันจำไม่ได้ว่ามันเป็นอย่างไรเมื่อสระว่างเปล่า

เมื่อเราทำงานกับวิดีโอใน DaVinci Resolve การสร้างดัชนีทั้งโฟลเดอร์ที่มีไฟล์นั้นทำได้ช้า (5-10 นาทีสำหรับ 256 GB) แต่เมื่อทำเสร็จแล้ว มันจะอ่านไฟล์ด้วยความเร็วเต็มกิกะบิต สามารถทำได้ นั่นเป็นเหตุผลที่ฉันเดาว่ามันเป็นปัญหาโอเวอร์เฮดของเครือข่าย

แล้วฉันขาดอะไรไป? ดูเหมือนจะเป็นปัญหาตรงไหน? ฉันใช้กูเกิลและอ่านฟอรัมเป็นระยะๆ เป็นเวลาเกือบหนึ่งปี แต่ดูเหมือนจะไม่พบปัญหาที่แน่นอนในทุกที่ และฉันไม่สามารถทดลองบนเซิร์ฟเวอร์ได้จริงๆ เพราะมีการใช้ทุกวัน

หากเป็นสถาปัตยกรรมของการตั้งค่าทั้งหมด และเราจำเป็นต้องย้ายไปที่เซิร์ฟเวอร์ที่ใช้ SSD ฉันควรคิดหาวิธีแก้ปัญหาอื่น เพราะตอนนี้เราไม่มีเงินทุนสำหรับการอัปเกรดขนาดใหญ่เช่นนี้ ฉันกำลังคิดที่จะเขียนสคริปต์ซึ่งสร้าง zip หรือ tar ของโฟลเดอร์ ถ่ายโอนผ่านเครือข่ายแล้วคลายการบีบอัด แต่จากนั้นฉันก็ต้องทำการสรุปผลการตรวจสอบและอื่นๆ และ DaVinci Resolve ก็ทำได้ค่อนข้างสวยงาม และคุณสามารถกำหนดเวลาการโอนและอื่นๆ ได้ และมันคือ GUI ดังนั้นฉันจะเป็นทางออกของ bandaid แต่ฉันกำลังมองหาวิธีแก้ปัญหาใด ๆ และทั้งหมด

ขอบคุณพวกคุณล่วงหน้า Bence Szentiványi

freezed avatar
ca flag
ยินดีต้อนรับสู่ความผิดพลาดของเซิร์ฟเวอร์ โปรด [ดูทัวร์ชม](https://serverfault.com/tour) เพื่อเรียนรู้วิธีการทำงานของ Server Fault อ่าน[วิธีถาม](https://serverfault.com/questions/how-to-ask) เพื่อปรับปรุงคุณภาพคำถามของคุณจากนั้นไปที่[ศูนย์ช่วยเหลือ](https://serverfault.com/help/on-topic) เพื่อดูว่ามีการถาม_เกี่ยวกับหัวข้อ_บางข้อแล้วหรือยัง
ewwhite avatar
ng flag
ติดต่อฉันเพื่อรับการสนับสนุนโดยละเอียดและเฉพาะเจาะจงเกี่ยวกับเรื่องนี้
Amitie 10g avatar
in flag
คุณใช้ SSD สำหรับ ZIL (บันทึกความตั้งใจ) นอกเหนือจากแคชหรือไม่ อย่าลืมเปิดใช้งานการเขียนแบบซิงโครนัส เพื่อบังคับใช้ ZIL (การเขียนเป็นแบบซิงโครนัสสำหรับระบบปฏิบัติการ แต่เป็นแบบอะซิงโครนัสภายใน ในแง่ที่ว่าข้อมูลจะถูกเขียนไปยังที่เก็บข้อมูล "เสถียร" ในภายหลัง)

โพสต์คำตอบ

คนส่วนใหญ่ไม่เข้าใจว่าการถามคำถามมากมายจะปลดล็อกการเรียนรู้และปรับปรุงความสัมพันธ์ระหว่างบุคคล ตัวอย่างเช่น ในการศึกษาของ Alison แม้ว่าผู้คนจะจำได้อย่างแม่นยำว่ามีคำถามกี่ข้อที่ถูกถามในการสนทนา แต่พวกเขาไม่เข้าใจความเชื่อมโยงระหว่างคำถามและความชอบ จากการศึกษาทั้ง 4 เรื่องที่ผู้เข้าร่วมมีส่วนร่วมในการสนทนาด้วยตนเองหรืออ่านบันทึกการสนทนาของผู้อื่น ผู้คนมักไม่ตระหนักว่าการถามคำถามจะมีอิทธิพลหรือมีอิทธิพลต่อระดับมิตรภาพระหว่างผู้สนทนา