วิธีอ่านทีละบรรทัดและจับคู่ข้อความกับบรรทัดถัดไป

อ่านข้อมูลไฟล์ทีละบรรทัดและจับคู่บรรทัดกับบรรทัดถัดไป หากตรงกัน ให้บันทึกบรรทัดนั้นในไฟล์ uniqe.txt

คุณสามารถทำได้ด้วยวิธีง่ายๆ สำหรับวง

#!/bin/bash

ไฟล์แผนที่ -t < text.txt
สำหรับ ((a=0,b=1; $b<${#MAPFILE[@]}; a++,b++)); ทำ
     [[ ${MAPFILE[$a]} = ${MAPFILE[$b]} ]] && echo ${MAPFILE[$a]}
เสร็จแล้ว > unique.txt

ไม่แน่ใจว่า "บรรทัดที่ซ้ำกันต่อเนื่อง" เป็นปัญหาสำคัญสำหรับคุณหรือไม่ ถ้าไม่เช่นนั้นคุณก็ต้องใช้คำสั่ง Linux uniq เพื่อกำจัดบรรทัดที่ซ้ำกันในไฟล์ด้วย:

uniq -u inputfile.txt > uniqe.txt

อย่างไรก็ตาม หากคุณสนใจที่จะกำจัดรายการที่ซ้ำกันอย่างต่อเนื่อง คุณสามารถใช้ awk:

awk 'NR == 1 {a=$0; พิมพ์} ก!=$0 {a=$0; พิมพ์}' ไฟล์อินพุต > uniqe.txt