Score:0

พื้นที่จัดเก็บไฟล์เสียงหลายล้านไฟล์พร้อมความสามารถในการค้นหา (หากเป็นไปได้)

ธง us

ฉันกำลังมองหาวิธีแก้ปัญหาที่ฉันมีกับการจัดเก็บไฟล์มูลค่า 7tb ทั้งหมดเป็นไฟล์เสียง ไฟล์เหล่านี้เป็นการบันทึกของเซิร์ฟเวอร์ freepbx ที่ใช้เครื่องหมายดอกจัน

สิ่งแรกที่ฉันทำคือติดตั้ง proxmox บนเซิร์ฟเวอร์ด้วย ssd เพื่อการเข้าถึงที่เร็วขึ้น จากนั้น nextcloud สำหรับการเข้าถึงไฟล์ผ่านเว็บ (เซิร์ฟเวอร์นี้ให้บริการที่เครือข่ายท้องถิ่นเท่านั้น ดังนั้นความปลอดภัยจึงไม่ใช่ปัญหาที่นี่) เมื่อฉันอัปโหลดไฟล์ไปเรื่อย ๆ ฉันรู้ว่าสิ่งนี้ไม่ดี ความคิดเนื่องจากต้องใช้เวลามากในการค้นหาไฟล์หนึ่งไฟล์และฉันใช้งานเพียง 2tb ฉันเล่นกับคลาวด์ถัดไปมาระยะหนึ่งแล้วและฉันรู้ว่าฉันสามารถค้นหาผ่าน ssh หรือ webdav ได้ แต่ก็ใช้เวลามากเช่นกัน เนื่องจากไฟล์เหล่านี้จำเป็นต้องเข้าถึงเป็นประจำกับผู้ใช้หลายคน

ดังนั้นฉันจึงมองหาวิธีแก้ปัญหานี้เนื่องจากฉันยังมีข้อมูลมูลค่า 5tb และฉันกำลังมองหาการเข้าถึงเว็บหรือวิธีอื่นใดในการค้นหาและดึงข้อมูลจากที่เก็บข้อมูลอย่างง่ายดายหรือ OS/เว็บเซิร์ฟเวอร์ใหม่ทั้งหมดที่สามารถช่วยในการจัดเก็บและ การเข้าถึงไฟล์

สิ่งที่ฉันมีคือ ssd สำหรับบูตและไดรฟ์ 4x4tb สำหรับการจัดเก็บบน Raid5 พร้อมการ์ด 2x กิกะบิต lan บนเซิร์ฟเวอร์นั้นสำหรับการเข้าถึงด้วยการติดตั้ง proxmox และเรียกใช้เครื่องเสมือนบางเครื่อง ข้อมูลมีโครงสร้างเป็นปี>เดือน>วันที่>ไฟล์ 1,000 ไฟล์พร้อมหมายเลขโทรศัพท์ มีชื่อประจำตัว

ขอขอบคุณ ขอแสดงความนับถืออย่างสูง,

vn flag
คุณอาจต้องการบางอย่างเช่น https://opensearch.org/ หรือ https://www.elastic.co/ สำหรับสิ่งนี้ หรือแม้แต่โซลูชันที่โฮสต์ เช่น https://www.algolia.com/
Noob with 0 knowledge avatar
us flag
สวัสดี ฉันค้นหา opensearch และelastic แต่สิ่งเหล่านี้มีไว้สำหรับการวิเคราะห์ข้อมูลและส่วนใหญ่ใช้สำหรับบันทึกและฉันไม่พบการอ้างอิงใด ๆ เกี่ยวกับการจัดเก็บข้อมูล ฉันอาจจะคิดผิดเพราะ 2 อันนั้นเป็นดินแดนที่ไม่จดแผนที่สำหรับฉัน และอาจมีปลั๊กอินที่ช่วยได้ แต่ฉันก็ยังหลงทางอยู่ จะขอบคุณมากถ้าคุณช่วยแนะนำฉันในทางที่ถูกต้อง
vn flag
ฉันพูดถึงสิ่งเหล่านี้เพราะคำถามส่วนใหญ่ของคุณดูเหมือนจะเกี่ยวกับการค้นหา "นี่เป็นความคิดที่ไม่ดีเนื่องจากต้องใช้เวลามากในการค้นหาไฟล์ใดไฟล์หนึ่งโดยเฉพาะ" เป็นต้น การจัดเก็บและการค้นหาไฟล์เป็นปัญหาที่แยกจากกันโดยมาก
anx avatar
fr flag
anx
ไฟล์เสียงสองสามเทราไบต์ควรเท่ากับขนาดชื่อไฟล์ทั้งหมดที่พอดีกับ RAM ทั่วไปในปัจจุบัน คุณอาจกำลังรอให้แอปพลิเคชัน (*Nextcloud*) สร้างดัชนีไฟล์ตามต้องการ และถ้าไฟล์ทั้งหมดถูกแคชไว้ในฐานข้อมูล มันจะรวดเร็วพอสมควรหรือไม่
Noob with 0 knowledge avatar
us flag
ฉันกำลังใช้ nextcloud และมันดีจนกระทั่งฉันต้องเข้าถึงการบันทึก เช่น ฉันต้องการบันทึกจำนวนเฉพาะในการค้นหา คุณไม่สามารถดาวน์โหลดได้ คุณต้องเปิดแต่ละโฟลเดอร์และเฉพาะเจาะจงเพื่อดาวน์โหลดทั้งหมด มันจะดีมากถ้าฉันสามารถดาวน์โหลดได้ ทั้งหมดในคราวเดียว และ nextcloud สร้างฐานข้อมูลเพื่อการเข้าถึงที่รวดเร็ว แต่การดาวน์โหลดนั้นเจ็บปวด
Score:2
ธง in

ฉันกำลังทำงานกับไฟล์เสียงจำนวนมากด้วย

วิธีที่ดีที่สุดที่ฉันพบเพื่อจัดการกับสิ่งนี้คือ:

  • ใช้ดิสก์ SSD และมิเรอร์ RAID1 / ZFS เพื่อเพิ่มความเร็วในการเข้าถึง
  • อย่าจัดการกับไฟล์ แต่ทำงานกับชื่อไฟล์และข้อมูลเมตา: สร้างดัชนีที่ค้นหาง่ายและไม่ซับซ้อน ฐานข้อมูล, ElasticSearch ทำงานได้ดีแต่กิน RAM, PostgreSQL พร้อมคอลัมน์เขตข้อมูลที่จัดทำดัชนีก็สามารถทำงานได้เช่นกัน
  • เพียงใช้ลิงก์ไปยังเส้นทางของไฟล์เมื่อมีการเรียกใช้การเข้าถึง

เวิร์กโฟลว์ของฉันคือ:

  1. เรียกดูแผนผังและชื่อไฟล์แบบข้อความจากหน้าเว็บที่เรียบง่าย (โฮมเมด)
  2. คลิกเพื่อเข้าถึงไฟล์
  3. หน้าเว็บดึงไฟล์ตามเส้นทางและให้บริการแก่ผู้ใช้ (บน LAN หรือผ่านอินเทอร์เน็ต)

Btw ด้วยปริมาณประเภทนี้ มันจะน่าสนใจที่จะดูเครื่องมือที่ใช้โดย datahoarders เช่น

โพสต์คำตอบ

คนส่วนใหญ่ไม่เข้าใจว่าการถามคำถามมากมายจะปลดล็อกการเรียนรู้และปรับปรุงความสัมพันธ์ระหว่างบุคคล ตัวอย่างเช่น ในการศึกษาของ Alison แม้ว่าผู้คนจะจำได้อย่างแม่นยำว่ามีคำถามกี่ข้อที่ถูกถามในการสนทนา แต่พวกเขาไม่เข้าใจความเชื่อมโยงระหว่างคำถามและความชอบ จากการศึกษาทั้ง 4 เรื่องที่ผู้เข้าร่วมมีส่วนร่วมในการสนทนาด้วยตนเองหรืออ่านบันทึกการสนทนาของผู้อื่น ผู้คนมักไม่ตระหนักว่าการถามคำถามจะมีอิทธิพลหรือมีอิทธิพลต่อระดับมิตรภาพระหว่างผู้สนทนา