Score:2

Google App Engine ล้มเหลวเป็นระยะ

ธง in

เมื่อเร็ว ๆ นี้เราสังเกตเห็นว่าโครงการ Google App Engine ของเราประสบกับความล้มเหลวเป็นระยะ ๆ ทุก ๆ 25 ชั่วโมง 10 นาที (1510 นาที) เป็นเวลาสามวันติดต่อกันโดยไม่มีเหตุผลที่ชัดเจน

ในระหว่างปัญหา เราพบว่าคำขอล้มเหลวด้วยรหัส 499 (คำขอปิดของลูกค้า) หลังจากระยะเวลาคำขอที่ยาวนานมาก (10 วินาที) โดยปกติแล้วคำขอจะใช้เวลาไม่กี่ร้อยมิลลิวินาทีหรือบางครั้งอาจใช้เวลา 2-3 วินาที แต่ไม่เกิน 10 วินาที ในขณะนั้น เราไม่เห็นการเข้าชมเพิ่มขึ้นเลย และเราไม่มีงานเบื้องหลังใดๆ ทำงานอยู่ CPU และหน่วยความจำทั้งหมดปกติดีจนกระทั่งปัญหาเริ่มต้น จากนั้น CPU เพิ่มขึ้นเล็กน้อย (เช่น จากประมาณ 10% เป็น 60%) และทริกเกอร์การเพิ่มขนาดชั่วคราวจาก 3 เป็น 5 โฮสต์

โครงการนี้เป็น Python Fast API ภาพ ปรับใช้กับสภาพแวดล้อมแบบยืดหยุ่น ขั้นต่ำ 3 โฮสต์สูงสุด 12 โฮสต์ในขณะนั้น

ตัวอย่างความล้มเหลวจากบันทึก

ช่วงเวลาของความล้มเหลวเหล่านี้น่าสนใจเนื่องจากเกิดขึ้นห่างกันเกือบ 25 ชั่วโมง 10 นาทีพอดี เรามีการปรับใช้สองสามวันในช่วงเวลาต่างๆ กัน ไม่มีความสัมพันธ์กับเวลาทำงานของเซิร์ฟเวอร์เช่นกัน

การประทับเวลาด้านล่างอยู่ใน UTC:

2021-11-17 17:43
2021-11-18 18:53
2021-11-19 20:03

มีใครเห็นสิ่งที่คล้ายกันนี้เกิดขึ้นบน Google App Engine หรืออาจมีอิมเมจ Fast API ที่กล่าวถึงหรือไม่

Score:0
ธง us

อย่างไรก็ตาม รหัสสถานะ HTTP 499 แสดงว่าลูกค้าปิดคำขอ สาเหตุที่เป็นไปได้คือไคลเอ็นต์ของคุณขาดการเชื่อมต่อในช่วงเวลาที่คุณระบุ

ฉันขอแนะนำให้คุณตรวจสอบว่าอินสแตนซ์ที่ยืดหยุ่นของ App Engine ของคุณทำงานได้ดีในช่วงเวลานั้น โดยการตรวจสอบบันทึก Cloud Logging และโดยเฉพาะอย่างยิ่ง ตรวจสุขภาพนอกจากนี้ คุณยังใช้แดชบอร์ด App Engine เพื่อดูว่าอินสแตนซ์ถูกควบคุมปริมาณด้วยการใช้งาน CPU หรือ RAM สูงหรือไม่ แต่ดูเหมือนว่าปัญหานี้จะอยู่ฝั่งไคลเอ็นต์ ดังนั้นหากควรตรวจสอบสถานะที่คุณออกคำขอด้วย

ฉันยังแบ่งปัน เอกสารนี้ เกี่ยวกับการแก้ไขปัญหาข้อผิดพลาดในการให้บริการ App Engine ที่ยืดหยุ่นซึ่งฉันเชื่อว่าอาจเป็นประโยชน์สำหรับคุณ

robert avatar
in flag
ขอบคุณสำหรับคำตอบ. 499 ไม่ใช่สาเหตุ แต่เป็นผลข้างเคียง ไคลเอ็นต์ตัดการเชื่อมต่อเมื่อคำขอหมดเวลา เนื่องจากไม่มีการตอบกลับอย่างกะทันหัน GET 499 ที่คุณเห็นนั้นมาจากการตรวจสุขภาพและหมดเวลาด้วย เราได้ตรวจสอบ Cloud Logging และเมตริกที่เป็นไปได้ทั้งหมดใน GCP แล้ว และไม่พบความเกี่ยวข้องใดๆ เลย ความสัมพันธ์เพียงอย่างเดียวคือเวลา ซึ่งเกิดขึ้นห่างกัน 1,510 นาที 3 วันติดต่อกันเหมือนในกำหนดการ
robert avatar
in flag
ฉันมาถึงทางตันด้วย Google Issue Tracker พวกเขาแนะนำให้ยื่นเรื่องขอรับความช่วยเหลือ ซึ่งในที่สุดเราอาจต้องทำหากไม่พบสิ่งอื่นใด

โพสต์คำตอบ

คนส่วนใหญ่ไม่เข้าใจว่าการถามคำถามมากมายจะปลดล็อกการเรียนรู้และปรับปรุงความสัมพันธ์ระหว่างบุคคล ตัวอย่างเช่น ในการศึกษาของ Alison แม้ว่าผู้คนจะจำได้อย่างแม่นยำว่ามีคำถามกี่ข้อที่ถูกถามในการสนทนา แต่พวกเขาไม่เข้าใจความเชื่อมโยงระหว่างคำถามและความชอบ จากการศึกษาทั้ง 4 เรื่องที่ผู้เข้าร่วมมีส่วนร่วมในการสนทนาด้วยตนเองหรืออ่านบันทึกการสนทนาของผู้อื่น ผู้คนมักไม่ตระหนักว่าการถามคำถามจะมีอิทธิพลหรือมีอิทธิพลต่อระดับมิตรภาพระหว่างผู้สนทนา