เรากำลังวางแผนที่จะทำการวิจัย AI โดยใช้ HPC HPC นี้จะใช้ชุดข้อมูลที่เราสร้างขึ้น ชุดข้อมูลเหล่านี้เป็นส่วนย่อยที่ค่อนข้างใหญ่ของชุดข้อมูลทั้งหมด (~1TB) ข้อมูลทั้งหมดที่เรารวบรวมจากการทดลองจะถูกจัดเก็บไว้ในฐานข้อมูล SQL เราต้องการใช้แบบสอบถาม SQL เพื่อดึงส่วนย่อยที่เกี่ยวข้องจากฐานข้อมูลที่เกี่ยวข้องในเวลาที่กำหนด ดังนั้น เราจึงได้พัฒนาบริการ RESTful ซึ่งช่วยให้ผู้คนสามารถส่งแบบสอบถามที่สะอาด
มีข้อจำกัดบางอย่างที่ทำให้การตั้งค่าของเราหยุดชะงักอยู่ในขณะนี้
เรามีโฮสต์สำหรับบริการ RESTful แต่การใช้พื้นที่เก็บข้อมูลประมาณ 1TB เป็นทางเลือกสุดท้าย และเราต้องการหาวิธีอื่นในการทำสิ่งต่างๆ ฉันสงสัยว่าเป็นไปได้ไหมที่จะโฮสต์ฐานข้อมูลบนเซิร์ฟเวอร์เครื่องหนึ่ง แต่มีข้อมูลจริงอยู่ในเซิร์ฟเวอร์อื่น เพื่อให้เมื่อผู้วิจัยส่งแบบสอบถามไปยังบริการ RESTful เซิร์ฟเวอร์ SQL จะเลือกไฟล์ที่จะส่ง ส่งกลับไปยังบริการที่เหลือ บริการที่เหลือจะส่งลิงก์ดาวน์โหลดไปยังชุดข้อมูลทั้งหมด
ขณะนี้เรากำลังใช้ MySQL เพื่อจัดเก็บข้อมูล และอินสแตนซ์ของ Flask เพื่อให้นักวิจัยสามารถส่งการทดลองใหม่และดึงข้อมูลได้