ฉันมีบัคเก็ต S3 ที่มีไฟล์หลายล้านไฟล์ และฉันต้องการดาวน์โหลดทั้งหมด เนื่องจากฉันมีพื้นที่เก็บข้อมูลไม่เพียงพอ ฉันจึงต้องการดาวน์โหลด บีบอัดทันที แล้วบันทึกเท่านั้น ฉันจะทำอย่างไร
เพื่ออธิบายสิ่งที่ฉันหมายถึง: aws s3 cp --recursive s3://bucket | gzip > ไฟล์
ยังไม่ชัดเจนว่าคุณต้องการเก็บอ็อบเจ็กต์ที่ไม่ได้บีบอัดไว้ใน S3 หรือหากเนื้อหาในบัคเก็ตยังคงเปลี่ยนแปลงอยู่
ทางเลือกหนึ่งที่คุณต้องใช้คือ สินค้าคงคลัง S3. ไม่ใช่แบบทันที แต่จะสร้างรายการวัตถุในบัคเก็ตโดยอัตโนมัติและเขียนสิ่งนั้นลงในบัคเก็ต S3 (บัคเก็ตเดียวกันหรืออื่น) คุณสามารถอ่านรายการนี้เป็นสคริปต์ขนาดเล็ก (อะไรก็ได้ที่คุณพอใจ) และให้มันทำงานทีละวัตถุ ใช้ S3 CLI เพื่อดึงวัตถุ จากนั้นบีบอัดโดยใช้เครื่องมือ OS/สคริปต์
ฉันขอแนะนำให้สร้างสิ่งที่ตรวจสอบว่ามีออบเจ็กต์ที่บีบอัดแล้วหรือไม่ เพื่อให้คุณสามารถเริ่มกระบวนการใหม่ได้หากล้มเหลวหรือเพิ่มออบเจ็กต์ใหม่โดยไม่ต้องดำเนินการทุกอย่างอีกครั้ง
หากคุณกำลังเขียนออบเจ็กต์ที่บีบอัดกลับไปที่ S3 ให้พิจารณาใช้อินสแตนซ์ EC2 หรือ Lambda ด้วย Lambda คุณอาจต้องใช้การสตรีมไฟล์เพื่อบีบอัดไฟล์ในทันที แทนที่จะดึงลงมา คุณควรจะพบตัวอย่างนี้สำหรับ Python เป็นอย่างน้อย หากไม่ใช่ภาษาอื่นที่รองรับ
-- คำเตือน โปรดคำนวณคร่าวๆ ว่าค่าใช้จ่ายนี้เท่าไร รับคำขอค่อนข้างถูก แต่การถ่ายโอนข้อมูล ออก อาจมีราคาแพง นอกจากนี้ หากคุณใช้คลาสพื้นที่เก็บข้อมูลใดๆ ที่ไม่ใช่ Standard อาจมีค่าใช้จ่ายในการเรียกคืนที่เกี่ยวข้อง
คนส่วนใหญ่ไม่เข้าใจว่าการถามคำถามมากมายจะปลดล็อกการเรียนรู้และปรับปรุงความสัมพันธ์ระหว่างบุคคล ตัวอย่างเช่น ในการศึกษาของ Alison แม้ว่าผู้คนจะจำได้อย่างแม่นยำว่ามีคำถามกี่ข้อที่ถูกถามในการสนทนา แต่พวกเขาไม่เข้าใจความเชื่อมโยงระหว่างคำถามและความชอบ จากการศึกษาทั้ง 4 เรื่องที่ผู้เข้าร่วมมีส่วนร่วมในการสนทนาด้วยตนเองหรืออ่านบันทึกการสนทนาของผู้อื่น ผู้คนมักไม่ตระหนักว่าการถามคำถามจะมีอิทธิพลหรือมีอิทธิพลต่อระดับมิตรภาพระหว่างผู้สนทนา
