Score:0

ข้อผิดพลาดในการเชื่อมต่อแบบสุ่มที่ไม่คาดคิดขณะดึงข้อมูล

ธง pw
Leo

ฉันมีปัญหาแปลกๆ กับ VPS (Centos 7) ในช่วง 2 วันที่ผ่านมา ฉันมีแอปพลิเคชันที่ฉันดึงข้อมูลจากเว็บไซต์บุคคลที่สามหลายสิบแห่ง ในช่วง 2 ปีที่ผ่านมาทุกอย่างทำงานได้ดี - จนกระทั่ง 2 วันก่อน ฉันสังเกตว่าจู่ๆ การเชื่อมต่อขาออก (บางส่วน) ก็เริ่มล้มเหลว ฉันเริ่มได้รับข้อผิดพลาดประเภท "การเชื่อมต่อหมดเวลา" หรือ "การเชื่อมต่อ HTTP ล้มเหลว" นี่เป็นปัญหาทั้งเซิร์ฟเวอร์ ไม่ใช่แค่โดเมนหรือโฟลเดอร์เท่านั้น ฉันต้องทราบว่า IP เซิร์ฟเวอร์ของฉันไม่ถูกบล็อกโดยเว็บไซต์เป้าหมาย ฉันได้รับอนุญาตให้ดึงข้อมูลนี้ นอกจากนี้ยังไม่มีการเปลี่ยนแปลงรหัสหรือซอฟต์แวร์เซิร์ฟเวอร์ก่อนที่จะเริ่มสิ่งนี้ ฉันยังจ้างผู้ดูแลระบบ Linux แบบฟูลสแต็ก และเขาก็ยังไม่รู้ว่านี่คืออะไร เขาพยายามอัปเดตการกำหนดค่า PHP เปลี่ยนเวอร์ชัน PHP ตรวจสอบ DNS ของ resolv และทั้งหมด แต่เขาไม่สามารถเข้าใจได้ ฉันยังติดต่อผู้ให้บริการโฮสติ้งของฉันและพวกเขาบอกฉันว่า VPS ทำงานได้ดีในตอนท้าย

วันนี้ฉันลองอะไรที่แตกต่างออกไป ฉันได้ลองใช้ cURL ผ่านการเชื่อมต่อพร็อกซีและใช้งานได้ดี ไม่มีข้อผิดพลาด ฉันยืนยันอีกครั้งว่า IP ของฉันไม่ถูกบล็อกทุกที่ ข้อผิดพลาดในการเชื่อมต่อเกิดขึ้นแบบสุ่ม ไม่เจาะจงสำหรับบางเว็บไซต์ บางครั้งเป้าหมายที่ล้มเหลวอาจประสบความสำเร็จในการลองครั้งต่อไปมีรูปแบบที่ผิดปกติอย่างมากกับการเชื่อมต่อที่ล้มเหลว เมื่อฉันพยายามดึงข้อมูล เช่น 20 เว็บไซต์ จะเป็นดังนี้: (ดีคือ 1 ล้มเหลวคือ 0) -> 1,1,1,0,0,1,1,1 ,0,1,1,0,0,1,1,1,0,1,1,1,0,0,0,1,1,1,0,1

ปัญหานี้มีความสำคัญมากกว่าหากคำขอที่ฉันส่งมีขนาดใหญ่ เช่น ถ้าฉันส่งข้อมูลส่วนหัวของโพสต์ด้วย และฉันควรได้รับการตอบสนองที่มากพอจากเซิร์ฟเวอร์เป้าหมาย คำขอจะล้มเหลวบ่อยกว่าการดึงหน้าที่มี file_get_contents หรือ ม้วนผมง่ายๆ อย่างที่ฉันพูด: ไม่มีปัญหาการบล็อก IP ไม่มีปัญหาการจำกัดอัตรา ทุกอย่างทำงานได้ดีกับพร็อกซี แต่ไม่ใช่กับ IP ของเซิร์ฟเวอร์ ฉันไม่รู้ว่าอะไรขัดขวางการเชื่อมต่อของฉันที่นี่และที่นั่น

อะไรคือสาเหตุของปัญหานี้? ฉันจะวินิจฉัยได้อย่างไรว่าเหตุใดการเชื่อมต่อจึงล้มเหลวจริง ๆ เมื่อเป็นเช่นนั้น ข้อมูลใด ๆ ที่ได้รับความนิยมอย่างสูง

Matthew Ife avatar
jo flag
ด้วยลักษณะปัญหาที่ไม่ต่อเนื่อง ฉันขอแนะนำให้คุณเริ่มต้นด้วยการบันทึกการติดตามแพ็กเก็ตของปัญหา โดยการติดตามหนึ่งรายการจะบันทึกสิ่งที่เกิดขึ้นเมื่อเกิดปัญหา และการติดตามอีกรายการหนึ่งจะบันทึกสิ่งที่เกิดขึ้นเมื่อไม่เกิดปัญหา ปลายทางเดียวกันดีกว่า

โพสต์คำตอบ

คนส่วนใหญ่ไม่เข้าใจว่าการถามคำถามมากมายจะปลดล็อกการเรียนรู้และปรับปรุงความสัมพันธ์ระหว่างบุคคล ตัวอย่างเช่น ในการศึกษาของ Alison แม้ว่าผู้คนจะจำได้อย่างแม่นยำว่ามีคำถามกี่ข้อที่ถูกถามในการสนทนา แต่พวกเขาไม่เข้าใจความเชื่อมโยงระหว่างคำถามและความชอบ จากการศึกษาทั้ง 4 เรื่องที่ผู้เข้าร่วมมีส่วนร่วมในการสนทนาด้วยตนเองหรืออ่านบันทึกการสนทนาของผู้อื่น ผู้คนมักไม่ตระหนักว่าการถามคำถามจะมีอิทธิพลหรือมีอิทธิพลต่อระดับมิตรภาพระหว่างผู้สนทนา