ฉันขอขอบคุณความช่วยเหลือใด ๆ ในโครงการนี้ ฉันมีไฟล์ parquet ที่มี json schema และตัดสินใจที่จะตรวจสอบความสมบูรณ์ของไฟล์เมื่อขนส่งไฟล์โดยใช้ md5sum ซึ่งเป็นการสร้างแฮช
ฉันติดอยู่กับการพยายามหาวิธีทำให้กระบวนการจัดกลุ่มไฟล์เป็นไปโดยอัตโนมัติตามแฮชที่สร้างขึ้น ดังนั้นไฟล์ที่มีค่าแฮชเดียวกันจะถูกจัดกลุ่มในบัคเก็ตเดียวกันโดยอัตโนมัติ ขณะนี้ฉันกำลังใช้รหัสด้านล่างเพื่อสร้างแฮช ตรวจสอบการเปลี่ยนแปลงและจัดกลุ่มสิ่งที่เป็นแฮชเดียวกันด้วยตนเองหลังจากใช้รหัสด้านล่าง
จะมีประโยชน์หากรหัสของพวกเขาเป็นรหัสที่สามารถจัดกลุ่มไฟล์แฮชเดียวกันในที่เดียวโดยอัตโนมัติ โดยที่ฉันไม่ต้องใช้เอาต์พุตรหัสด้านล่างเพื่อจัดกลุ่มแฮชทีละรายการด้วยตนเอง
$ md5sum แซมเปิล1.csv แซมเปิล3.txt แซมเปิล2.csv
ตัวอย่าง $ md5sum* > myhashfile.md5
[ค่าแฮช][1]
$cat myhashfile.md5
[ผลลัพธ์แมว][2]
$ md5sum -- ตรวจสอบ myhashfile.md5
[ตรวจสอบผล][3]
$ md5sum -- เงียบ -- ตรวจสอบ myhashfile.md5
[ผลการตรวจสอบเงียบ][4]
$ sed -i '3s/.*/a&/' myhashfile.md5
$md5sum --warn --ตรวจสอบ myhashfile.md5
[ผลสุดท้าย][5]
[การแสดงขั้นตอนการทำงาน][6]