ฉันมีการติดตั้ง 3 VMs (1 เซิร์ฟเวอร์แอปพลิเคชันบน CentOS6 และ 2 เซิร์ฟเวอร์ฐานข้อมูลบน CentOS7)ในช่วง 1-2 สัปดาห์ที่ผ่านมา เรามีปัญหาเกี่ยวกับการหมดเวลาเมื่อเชื่อมต่อกับเซิร์ฟเวอร์ฐานข้อมูล (และระหว่างเซิร์ฟเวอร์สองเครื่องที่อยู่ในคลัสเตอร์)
ผู้ให้บริการฐานข้อมูล (Couchbase) สามารถดูได้จากบันทึกว่าการเชื่อมต่อถูกบังคับปิด:
เตือน com.couchbase.endpoint - [com.couchbase.endpoint][UnexpectedEndpointDisconnectedEvent] ด้านระยะไกลตัดการเชื่อมต่อจุดสิ้นสุดโดยไม่คาดคิด
บันทึกยังแสดงว่าแพ็คเกจหลุด เช่น:
[คำเตือน] อินเทอร์เฟซ âens32â (removedip) ล้มเหลว: RX:2863 / TX:0 - รายละเอียด:
- แพ็กเก็ต RX:308,593,167 ข้อผิดพลาด:0
หลุด:2,863 โอเวอร์รัน:0 เฟรม:0
VMs ถูกโฮสต์บนโฮสต์เดียวกันซึ่งเป็น VMware ESXi (เวอร์ชัน 6.5) ดังนั้นพวกเขา ควร สามารถมีความสัมพันธ์ที่ดีต่อกันได้
และมีอะไรเปลี่ยนแปลงไปบ้างในช่วง 2-3 สัปดาห์ที่ผ่านมา? การอัปเดตความปลอดภัยบน VM OSes และเวอร์ชันเซิร์ฟเวอร์ฐานข้อมูล (จาก 6.6.0 เป็น 7.0.0) การอัพเกรดฐานข้อมูล ไม่ควร เปลี่ยนแปลงอะไรในเครือข่าย แต่ที่แน่ๆ คือเหตุผลที่ติดต่อผู้ให้บริการฐานข้อมูลก่อน...
ความคิดใด ๆ ในการค้นหาผู้กระทำผิดชื่นชมมาก :-)
แก้ไข:
ทำตามคำแนะนำของ Cameron ฉันเพิ่งเรียกใช้การติดตามเครือข่ายสั้น ๆ และโหลดลงใน Wireshark บนเครื่องท้องถิ่นของฉัน จากนั้นฉันเปิด "ข้อมูลผู้เชี่ยวชาญ" และได้รับสิ่งนี้:
ฉันต้องบอกว่ามีพร็อกซีเซิร์ฟเวอร์ Nginx อยู่หน้าแอปพลิเคชันเซิร์ฟเวอร์ จัดการ SSL และ "ยกออก" ก่อนที่จะกดแอป เซิร์ฟเวอร์ แค่ดูข้อมูล ฉันคาดว่าบล็อก "สีแดง" สองบล็อกจะเกี่ยวข้องกับคำขอที่มาจากภายนอก ไม่ใช่จากแอป เซิร์ฟเวอร์ไปยังเซิร์ฟเวอร์ฐานข้อมูล
แต่ฉันไม่แน่ใจจริง ๆ ว่าจะมองหาอะไรในผลลัพธ์? - และฉันเดาว่าฉันต้องปล่อยให้มันทำงานต่อไปอีกหน่อย - แต่บางทีอาจไม่มีข้อมูลจากภายนอก?
แก้ไข 2
ขณะที่นั่งดูปัญหาก็เกิดขึ้นจริง... - ดังนั้นฉันจึงเริ่ม tcpdump อีกครั้งอย่างรวดเร็ว ดังนั้นผลลัพธ์อาจไม่มีต้นตอ - แต่ควรมีความเกี่ยวข้องมากกว่าสาเหตุแรก:
บล็อกที่ฉันขยายดูเหมือนจะเกี่ยวข้องกับการสื่อสารกับหนึ่งในเซิร์ฟเวอร์ฐานข้อมูล.... :-)
แต่ผลลัพธ์เหล่านี้หมายความว่าอย่างไร และฉันจะเข้าใกล้สาเหตุได้อย่างไร
ยินดีต้อนรับสู่ความผิดพลาดของเซิร์ฟเวอร์
ตามอายุ CentOS 6 ไม่รองรับในขณะนี้ เป็นไปได้มากว่าคุณกำลังประสบกับความเข้ากันไม่ได้ของ SSL/TLS; สมมติว่าคุณกำลังเชื่อมต่อกับสิ่งนั้น เราเคยประสบกับเหตุการณ์เช่นนี้มากมายในช่วงเวลาที่เราใช้ RHEL6 เป็น SSL2 ฯลฯ ถูกปิดใช้งานตามค่าเริ่มต้น ในทำนองเดียวกันกับ Java เวอร์ชันพอยต์ต่างๆ
อีกสาเหตุหนึ่งที่เป็นไปได้ เนื่องจากคุณกำลังเรียกใช้ปริมาณงาน CentOS บน ESXi คือคุณอาจเรียกใช้เอนโทรปีแบบอาย ซึ่งทำให้เกิดพฤติกรรมการบล็อกซึ่งอาจนำไปสู่การหมดเวลาและปัญหาเกี่ยวกับคลัสเตอร์ ซึ่งนำไปสู่การยกเลิกการเชื่อมต่อ จนถึงที่ไหนสักแห่งใน Java 8 Java มีความอ่อนไหวต่อสิ่งนี้เป็นพิเศษ คุณสามารถตัดสินได้ว่านี่เป็นปัญหาสำหรับคุณหรือไม่โดยดูที่ /proc/sys/kernel/random/entropy_avail เมื่อเวลาผ่านไป ถ้ามันต่ำกว่า 128 หรือมากกว่านั้นและไม่เด้งกลับ แสดงว่าคุณมีความอดอยากเอนโทรปี ทั่วไปบน VM ที่ไม่มีกิจกรรมคีย์บอร์ด-เมาส์ คุณอาจลองใช้เอนโทรปีรวบรวมดีมอนหากเป็นกรณีนี้
BTW ฉันจะไม่สรุปจากบันทึกเหล่านั้นว่ามีบางอย่าง [อื่น] กำลังบังคับให้ปิดการเชื่อมต่อเหล่านั้น เป็นเพียงว่าการเชื่อมต่อปิดในเวลาที่ฝ่ายใดฝ่ายหนึ่งไม่คาดคิด อาจเป็นเพราะสิ่งต่าง ๆ เช่น การหมดเวลา ข้อยกเว้น ความผิดพลาดของกระบวนการ ฯลฯ เป็นต้น
คุณบอกว่าเซิร์ฟเวอร์ฐานข้อมูลได้รับการอัปเกรด... นั่นคือการอัปเกรดระบบปฏิบัติการจาก CentOS 6 หรือไม่ แอปพลิเคชันได้รับการอัปเกรดด้วยหรือถูกยกและเลื่อนหรือไม่
ไชโย คาเมรอน
คนส่วนใหญ่ไม่เข้าใจว่าการถามคำถามมากมายจะปลดล็อกการเรียนรู้และปรับปรุงความสัมพันธ์ระหว่างบุคคล ตัวอย่างเช่น ในการศึกษาของ Alison แม้ว่าผู้คนจะจำได้อย่างแม่นยำว่ามีคำถามกี่ข้อที่ถูกถามในการสนทนา แต่พวกเขาไม่เข้าใจความเชื่อมโยงระหว่างคำถามและความชอบ จากการศึกษาทั้ง 4 เรื่องที่ผู้เข้าร่วมมีส่วนร่วมในการสนทนาด้วยตนเองหรืออ่านบันทึกการสนทนาของผู้อื่น ผู้คนมักไม่ตระหนักว่าการถามคำถามจะมีอิทธิพลหรือมีอิทธิพลต่อระดับมิตรภาพระหว่างผู้สนทนา
