เราได้สร้างคลัสเตอร์ GKE และเราได้รับข้อผิดพลาดจาก gke-metrics-agent ข้อผิดพลาดปรากฏขึ้นทุกๆ cca 30 นาที ข้อผิดพลาด 62 เหมือนเดิมเสมอ
ข้อผิดพลาดทั้งหมดมีป้ายกำกับ k8s-pod/k8s-app: "gke-metrics-agent".
ข้อผิดพลาดแรกคือ:
ข้อผิดพลาด exporterhelper/queued_retry.go:245 การส่งออกล้มเหลว ลองเปิดใช้งานตัวเลือกการกำหนดค่า retry_on_failure {"kind": "exporter", "name": "googlecloud", "error": "rpc error: code = DeadlineExceeded desc = กำหนดเวลาหมดอายุก่อนที่การดำเนินการจะเสร็จสมบูรณ์"
ข้อผิดพลาดนี้ตามมาด้วยข้อผิดพลาดเหล่านี้ตามลำดับ
มีข้อผิดพลาด cca 40 เช่นนี้ ข้อผิดพลาดสองข้อที่โดดเด่นคือ:
- ข้อผิดพลาด exporterhelper/queued_retry.go:175 การส่งออกล้มเหลว วางข้อมูลลองเปิดใช้งาน send_queue เพื่อป้องกันความล้มเหลวชั่วคราว {"ชนิด": "ผู้ส่งออก", "ชื่อ": "googlecloud", "dropped_items": 19}"
- เตือน batchprocessor/batch_processor.go:184 ผู้ส่งล้มเหลว {"ชนิด": "ตัวประมวลผล", "ชื่อ": "แบทช์", "ข้อผิดพลาด": "ข้อผิดพลาด rpc: code = DeadlineExceeded desc = กำหนดเวลาหมดอายุก่อนที่การดำเนินการจะเสร็จสมบูรณ์"} "
ฉันพยายามค้นหาข้อผิดพลาดเหล่านั้นบน google แต่ไม่พบอะไรเลย ฉันไม่พบแม้แต่เอกสารสำหรับ gke-metrics-agent
สิ่งที่ฉันพยายาม:
ฉันสามารถให้ข้อมูลเพิ่มเติมเกี่ยวกับคลัสเตอร์ kubernetes ของเราได้ แต่ฉันไม่รู้ว่าข้อมูลใดสำคัญต่อการแก้ปัญหานี้
âเกินกำหนดเวลาแล้วâ เป็นปัญหาที่ทราบแล้ว เมตริกจะถูกส่งไปยัง Cloud Monitoring ผ่าน GKE Metrics agent ซึ่งสร้างขึ้นจาก Open Telemetry ขณะนี้มีวิธีแก้ปัญหาสองวิธีต่อไปนี้เพื่อแก้ไขปัญหา:
1. กำลังปรับปรุง หมดเวลา.
ตั้งแต่ รุ่นใหม่ รวมการเปลี่ยนแปลงที่เพิ่มการหมดเวลาเริ่มต้นจาก 5 เป็น 12 วินาที ดังนั้นคุณอาจต้องสร้างใหม่และปรับใช้เวิร์กโหลดใหม่ด้วยเวอร์ชันใหม่ที่สามารถแก้ไขข้อผิดพลาด rpc นี้ได้
2.หากต้องการใช้ GKE เวอร์ชันที่สูงขึ้น ปัญหานี้แก้ไขได้ด้วยเวอร์ชัน gke-metrics-agent: 1.18.6-gke.6400+ 1.19.3-gke.600+ 1.20.0-gke.600+
หากคุณยังคงเห็นข้อผิดพลาดเหล่านั้น โปรดดูเมตริกของคุณ เป็นหลัก kubernetes.io/container/... เมตริกสำหรับคอนเทนเนอร์ที่ทำงานบนโหนดเดียวกับ gke-metrics-agent ที่บันทึกข้อผิดพลาด
คุณเห็นช่องว่างในเมตริกที่ไม่ควรมีหรือไม่
ข้อผิดพลาดเกินบริบทอาจเกิดขึ้นนานๆ ครั้ง แต่ไม่ควรเกิดขึ้นในปริมาณมาก อาจเป็นปัญหาเกี่ยวกับเครือข่ายหรือเป็นเพียงความผิดพลาดเป็นครั้งคราว คุณมีนโยบายเครือข่าย/กฎไฟร์วอลล์ที่อาจป้องกันไม่ให้ gke-metrics-agent พูดคุยกับ Cloud Monitoring หรือไม่
น่าเสียดายที่คุณไม่สามารถอัปเดต open-telemetry ภายใน gke-metrics-agent ได้ด้วยตัวคุณเอง เวอร์ชันคลัสเตอร์ที่ใหม่กว่าสามารถช่วยได้เช่นกันในขณะที่อัปเดตเอเจนต์ ดังนั้นให้ลองอัปเกรดคลัสเตอร์ของคุณหากเป็นไปได้ หากปัญหาส่งผลกระทบต่อเมตริก โปรดติดต่อฝ่ายสนับสนุน
คนส่วนใหญ่ไม่เข้าใจว่าการถามคำถามมากมายจะปลดล็อกการเรียนรู้และปรับปรุงความสัมพันธ์ระหว่างบุคคล ตัวอย่างเช่น ในการศึกษาของ Alison แม้ว่าผู้คนจะจำได้อย่างแม่นยำว่ามีคำถามกี่ข้อที่ถูกถามในการสนทนา แต่พวกเขาไม่เข้าใจความเชื่อมโยงระหว่างคำถามและความชอบ จากการศึกษาทั้ง 4 เรื่องที่ผู้เข้าร่วมมีส่วนร่วมในการสนทนาด้วยตนเองหรืออ่านบันทึกการสนทนาของผู้อื่น ผู้คนมักไม่ตระหนักว่าการถามคำถามจะมีอิทธิพลหรือมีอิทธิพลต่อระดับมิตรภาพระหว่างผู้สนทนา
