Score:0

kafka + ตัวจัดการไฟล์รั่วเนื่องจากการรั่วไหลของไปป์/eventpoll จำนวนมาก

ธง gb

เรามีคาฟคาคลัสเตอร์บน linux rhel เวอร์ชัน - 7.6

เราสังเกตเห็นว่ามีไฟล์เปิดมากเกินไปในเครื่องคาฟคา

แต่เมื่อเราทำ lsof >/tmp/res_file

ไฟล์แบบฟอร์ม /tmp/res_file , เราสามารถเห็นได้หลายบรรทัดเช่น

java 172301 172722 kafka *770w FIFO 0,9 0t0 303639156 ไปป์
จาวา 172301 172722 คาฟคา *771u a_inode 0,10 0 11398 [eventpoll]
จาวา 172301 172722 คาฟคา *772u a_inode 0,10 0 11398 [eventpoll]
java 172301 172722 คาฟคา *773r FIFO 0,9 0t0 303741913 ไปป์
จาวา 172301 172722 คาฟคา *774u a_inode 0,10 0 11398 [eventpoll]
java 172301 172722 kafka *775w FIFO 0,9 0t0 303637483 ท่อ
java 172301 172722 kafka *776w FIFO 0,9 0t0 306043296 ไปป์
java 172301 172722 คาฟคา *777w FIFO 0,9 0t0 313046116 ไปป์
java 172301 172722 คาฟคา *778r FIFO 0,9 0t0 304446234 ไปป์
จาวา 172301 172722 คาฟคา *779u a_inode 0,10 0 11398 [eventpoll]
java 172301 172722 คาฟคา *780r FIFO 0,9 0t0 303800963 ไปป์
java 172301 172722 kafka *781w FIFO 0,9 0t0 303300350 ท่อ
java 172301 172722 kafka *782w FIFO 0,9 0t0 305039138 ไปป์
java 172301 172722 คาฟคา *783r FIFO 0,9 0t0 304659538 ไปป์
java 172301 172722 คาฟคา *784r FIFO 0,9 0t0 303453024 ไปป์
java 172301 172722 kafka *785w FIFO 0,9 0t0 303737027 ท่อ
จาวา 172301 172722 คาฟคา *786u a_inode 0,10 0 11398 [eventpoll]
จาวา 172301 172722 คาฟคา *787u a_inode 0,10 0 11398 [eventpoll]
จาวา 172301 172722 คาฟคา *788u a_inode 0,10 0 11398 [eventpoll]
java 172301 172722 คาฟคา *789r FIFO 0,9 0t0 303258041 ไปป์
java 172301 172722 kafka *790w FIFO 0,9 0t0 303258041 ท่อ
จาวา 172301 172722 คาฟคา *791u a_inode 0,10 0 11398 [eventpoll]
จาวา 172301 172722 คาฟคา *792u a_inode 0,10 0 11398 [eventpoll]
จาวา 172301 172722 คาฟคา *793u a_inode 0,10 0 11398 [eventpoll]
java 172301 172722 คาฟคา *794r FIFO 0,9 0t0 305651339 ไปป์

และเมื่อเราทำ

แมว /tmp/res_file | egrep "ไปป์|eventpoll" | สุขา -l

เราได้รับบรรทัดจำนวนมากที่มีไปป์หรือการสำรวจความคิดเห็น

แมว /tmp/res_file | egrep "ไปป์|eventpoll" | สุขา -l
143173534

จากที่ฉันเข้าใจเมื่อ ลซ แสดงบรรทัดที่ลงท้ายด้วย ไปป์|eventpol มันบ่งบอกถึงปัญหา

แต่ฉันยังไม่เข้าใจว่าอะไรคือสาเหตุของสิ่งนี้

อย่างไรก็ตาม เราเพิ่มจำนวนไฟล์ใน kafka แต่นี่ไม่ใช่วิธีแก้ปัญหา

เนื่องจากจำนวนไฟล์เพิ่มขึ้นทุกวันเนื่องจากบรรทัดที่มี - ไปป์|eventpol

มีความคิดว่าจะทราบสาเหตุของพฤติกรรมนี้ได้อย่างไร

อ้างอิง:

https://stackoverflow.com/questions/58690422/kafka-producer-consumer-are-opening-too-many-file-descriptor

https://stackoverflow.com/questions/15956452/troubleshooting-too-many-files-open-with-lsof

https://access.redhat.com/solutions/4072141

https://issues.apache.org/jira/browse/KAFKA-3317

โพสต์คำตอบ

คนส่วนใหญ่ไม่เข้าใจว่าการถามคำถามมากมายจะปลดล็อกการเรียนรู้และปรับปรุงความสัมพันธ์ระหว่างบุคคล ตัวอย่างเช่น ในการศึกษาของ Alison แม้ว่าผู้คนจะจำได้อย่างแม่นยำว่ามีคำถามกี่ข้อที่ถูกถามในการสนทนา แต่พวกเขาไม่เข้าใจความเชื่อมโยงระหว่างคำถามและความชอบ จากการศึกษาทั้ง 4 เรื่องที่ผู้เข้าร่วมมีส่วนร่วมในการสนทนาด้วยตนเองหรืออ่านบันทึกการสนทนาของผู้อื่น ผู้คนมักไม่ตระหนักว่าการถามคำถามจะมีอิทธิพลหรือมีอิทธิพลต่อระดับมิตรภาพระหว่างผู้สนทนา