เรามีผู้ผลิตหลายรายและผู้บริโภคหลายรายที่เชื่อมต่อผ่าน Kafka โดยพื้นฐานแล้ว เป็นงานการประมวลผลแบบกลุ่มที่สร้างขึ้นตามความต้องการ วางไว้บน Kafka ในหลายคิว และตัวประมวลผลแบบแบตช์จะรับงานผ่าน Kafka และประมวลผลทีละรายการ
ฉันต้องการเห็นภาพและตรวจสอบความยาวของคิวเหล่านี้ในคาฟคา ความยาวคิวจะทำหน้าที่เป็นพร็อกซีสำหรับ "โหลด" ของระบบโดยรวม ยิ่งมีงานรอคิวมาก ระบบก็ยิ่ง "โหลด" มากเท่านั้น
Kafka ของเราเป็นคลัสเตอร์ AWS MSK ฉันได้เปิดใช้งานการตรวจสอบ Prometheus JMX และฉันกำลังคัดลอกเมตริกทั้งหมดทุกๆ 10 วินาที
เมื่อดูเมตริกแล้ว ไม่มีอะไรที่ปรากฏชัดเจนในทันทีในแง่ของความยาวของคิว พารามิเตอร์นั้นแสดงเป็นเมตริกตามค่าเริ่มต้นหรือไม่
หากความยาวคิวไม่ถูกเปิดเผยตามค่าเริ่มต้น วิธีใดที่ดีในการรวบรวมเมตริกนั้น สมมติว่าฉันสามารถเขียนสคริปต์ Python โดยติดตั้งไลบรารีใดๆ ไว้ และฉันสามารถเข้าถึงจุดสิ้นสุดของ Kafka ได้อย่างเต็มที่จากสคริปต์นั้น
หมายเหตุ: ฉันเข้าใจแนวคิดพื้นฐาน แต่ฉันไม่มีประสบการณ์เชิงปฏิบัติกับ Kafka มากนัก (ฉันเคยใช้ RabbitMQ มาก่อนเท่านั้น) ดังนั้นขออภัยหากคำศัพท์ของฉันไม่แม่นยำมากนัก เช่น. สิ่งที่ฉันเรียกว่า "คิว" ดูเหมือนจะเรียกว่า "หัวข้อ"
คนส่วนใหญ่ไม่เข้าใจว่าการถามคำถามมากมายจะปลดล็อกการเรียนรู้และปรับปรุงความสัมพันธ์ระหว่างบุคคล ตัวอย่างเช่น ในการศึกษาของ Alison แม้ว่าผู้คนจะจำได้อย่างแม่นยำว่ามีคำถามกี่ข้อที่ถูกถามในการสนทนา แต่พวกเขาไม่เข้าใจความเชื่อมโยงระหว่างคำถามและความชอบ จากการศึกษาทั้ง 4 เรื่องที่ผู้เข้าร่วมมีส่วนร่วมในการสนทนาด้วยตนเองหรืออ่านบันทึกการสนทนาของผู้อื่น ผู้คนมักไม่ตระหนักว่าการถามคำถามจะมีอิทธิพลหรือมีอิทธิพลต่อระดับมิตรภาพระหว่างผู้สนทนา
