วิธีลบเฉพาะบรรทัดที่ซ้ำกันหากอยู่ติดกันในไฟล์

นั่นคือสิ่งที่ ยูนิค คำสั่งถูกสร้างขึ้นสำหรับ:

ชื่อ
       uniq - รายงานหรือละเว้นบรรทัดที่ซ้ำกัน

เรื่องย่อ
       uniq [ตัวเลือก]... [อินพุต [เอาต์พุต]]

คำอธิบาย
       กรองบรรทัดการจับคู่ที่อยู่ติดกันจาก INPUT (หรืออินพุตมาตรฐาน) เขียนไปยัง OUTPUT
       (หรือเอาต์พุตมาตรฐาน)

       หากไม่มีตัวเลือก เส้นที่ตรงกันจะถูกรวมเข้ากับเหตุการณ์แรก

ดังนั้น

$uniq test.txt 
ก
-----
ข
-----
ค
-----
ง
-----
อี
-----

หรือคุณสามารถใช้ sed one-liner นี้ก็ได้ 69.ลบบรรทัดที่ซ้ำกันและต่อเนื่องกันออกจากไฟล์ (เลียนแบบ "uniq") จาก อธิบาย Sed One-Liners ส่วนที่ III: การลบบางบรรทัดแบบเลือกและการใช้งานพิเศษ

sed '$!N; /^\(.*\)\n\1$/!P; D' test.txt

ซึ่งอาจจะเป็นที่ต้องการหากคุณต้องการแก้ไข ทดสอบ. txt ในสถานที่ (โดยการเพิ่ม -ผม หรือ --ในสถานที่ ตัวเลือก).