ค้นหาไฟล์ที่ซ้ำกันและแปลงเป็นลิงก์ [WINDOWS]

ผู้ใช้ของฉันมักจะบันทึกไฟล์ที่ซ้ำกันจำนวนมาก ซึ่งใช้พื้นที่มากขึ้นเรื่อยๆ และสร้าง HW และค่าใช้จ่ายในการเก็บถาวร

ฉันคิดที่จะสร้างงานตามกำหนดเวลาเพื่อ:

1. ค้นหาไฟล์ที่ซ้ำกัน (ตรวจสอบผลรวมไฟล์ MD5 ไม่ใช่เฉพาะชื่อไฟล์ / ขนาด)
2. ให้เหลือไฟล์ต้นฉบับเพียง 1 ไฟล์
3. แทนที่สำเนาอื่นที่ซ้ำซ้อนด้วยลิงก์ (ทางลัด) ไปยังไฟล์ (จุดด้านบน)

มีความคิดว่าจะเก็บถาวรได้อย่างไร?

สคริปต์ / เครื่องมือ / เคล็ดลับ ?

แก้ไข 28.10.2021

ฉันพบในระหว่างนี้ findDupe: https://www.sentex.ca/~mwandel/finddupe/

อนุญาตให้สร้างฮาร์ดลิงก์ไปยังไฟล์ต้นฉบับ ฉันลองสิ่งนี้แล้ว - มันแสดงอย่างถูกต้องว่ามีอะไรซ้ำกัน ดูเหมือนว่าสร้างฮาร์ดลิงก์ - แต่... ฉันไม่เห็นความแตกต่างในสถิติการใช้งาน HDD เลย

ทำไมถึงเป็นเช่นนั้น? เป็นไปได้ไหมที่ Windows คำนวณพื้นที่ว่างไม่ถูกต้อง ?

ฉันสร้างสคริปต์ขนาดเล็กในหลามที่ตอบสนองความต้องการของคุณ

มันใช้ fdupes -r <dir> เพื่อให้ได้ไฟล์ที่ซ้ำกันทั้งหมด (แม้ชื่อต่างกัน) หลังจากนั้นจะวนซ้ำเอาต์พุตและลบไฟล์ที่ซ้ำกัน จากนั้นสร้างลิงก์สัญลักษณ์

ฉันให้คุณไม่แสดงความคิดเห็นทั้งสอง os.system() บรรทัดเพื่อเปิดใช้งานการแก้ไข

บางทีคุณอาจต้องการส่งพารามิเตอร์ไปยังสคริปต์นี้ (เช่นเส้นทางหรืออื่น ๆ ) ฉันให้คุณค้นหาความต้องการนี้ :)

นำเข้าระบบปฏิบัติการ

root_dir='/บ้าน/ผู้ใช้/ไดเร็กทอรี'

Blocks_of_dup_files = os.popen('fdupes -r' + root_dir).read().split('\n\n')

ถ้า (blocks_of_dup_files[-1] == '') :
    Blocks_of_dup_files.pop()


สำหรับไฟล์ใน Blocks_of_dup_files:
    ไฟล์ = files.split ('\n')
    keeped_file = files.pop()
    สำหรับไฟล์ในไฟล์:
        พิมพ์ ('rm -f' + ไฟล์)
        พิมพ์ ('ln -s ' + keep_file + ' ' + ไฟล์)

        #os.system('rm -f ' + ไฟล์)
        #os.system('ln -s ' + keeped_file + ' ' + ไฟล์)

สำหรับ Windows ฉันเขียน https://github.com/Caspeco/BlobBackup/tree/master/DuplicateFinder

คุณต้องมี Visual Studio เพื่อคอมไพล์โค้ด โปรดทราบว่าเมื่อมีลิงก์หากมีการแก้ไข "ไฟล์" ไฟล์หนึ่งไฟล์ทั้งหมดจะถูกแก้ไข (หรือมากกว่าคือมีเพียงไฟล์เดียว) นั่นอาจเป็นพฤติกรรมที่ไม่พึงประสงค์สำหรับผู้ใช้