ขอให้เป็นวันที่ดี,
ฉันเคยเห็นคำถามมากมายในลักษณะนี้ แต่ฉันไม่เคยเห็นอะไรที่คล้ายกับสถานการณ์ของฉันเลย ฉันไม่แน่ใจว่านี่เป็นสถานที่ที่เหมาะสมหรือดีที่สุดที่จะถาม
ปัญหาที่ฉันพบคือฉันมีสคริปต์ Python โดยใช้ Selenium เพื่อส่งคำขอไปยังเว็บไซต์ สำหรับทุกสิ่งที่ฉันได้ลอง ฉันไม่สามารถทราบได้ว่าปัญหาอยู่ที่ใด
นี่คือสถานการณ์เฉพาะ:
ฉันมีหยด Digital Ocean สองหยดที่ทำงานในภูมิภาคเดียวกัน DO1 มีสคริปต์หลามของฉันโดยใช้ซีลีเนียมเพื่อ .get(URL)
ทรัพยากร
DO2 มีพร็อกซีเซิร์ฟเวอร์ socks5 ของฉัน ตั้งค่าด้วย ssh -f -N -D 0.0.0.0:1080 โลคัลโฮสต์
.
ตอนนี้ถ้าฉันเรียกใช้สิ่งต่อไปนี้:
- คำขอ DO1 https://www.google.co.th กับ ไม่ พร็อกซี = ไม่มีปัญหา ขอ ~0.8 วินาที
- คำขอ DO1 https://www.google.co.th ด้วยหนังสือมอบฉันทะ = ไม่มีปัญหา ขอ ~1.1 วินาที
นี่คือปัญหา
เมื่อฉันใช้ DO1 เพื่อขอเว็บไซต์อื่น (https://mywebsite2.ru/) ผ่านพร็อกซี ใช้เวลาประมาณ 3 นาทีในการตอบสนอง มันตอบสนองช้ามากเหมือนถูกเนิร์ฟ และเป็นหยดใหม่ล่าสุด
พร็อกซีจะส่งออก 3 ครั้งสำหรับทุกคำขอ ช่อง X: เปิดล้มเหลว: การเชื่อมต่อล้มเหลว: การเชื่อมต่อหมดเวลา
ฉันได้ลองสร้างพร็อกซีบนหยดใหม่ในภูมิภาคอื่น - เอฟเฟกต์เดียวกัน
ถ้าฉันลองใช้ DO1 เพื่อขอโดยตรง ปัญหาเดียวกัน ใช้เวลาประมาณ 3 นาทีในการตอบกลับ
ตอนนี้ฉันคิดว่า IP เองอาจเสียหาย ถ้าฉันใช้ DO1 เพื่อ ขด
เว็บเดียวรู้ผลทันที ถ้าฉันใช้ DO1 เพื่อ ขด
เว็บผ่าน proxy ทราบผลทันที
ซีลีเนียมมีส่วนหัวของเบราว์เซอร์ที่แนบมากับคำขอ ฉันไม่เชื่อว่า curl ทำตามค่าเริ่มต้น ฉันได้ลองเปลี่ยนคนรอบข้างด้วย
ดังนั้นฉันไม่แน่ใจว่าจะแก้ไขปัญหานี้อย่างไร (1) ฉันไม่แน่ใจว่าอะไรเป็นสาเหตุของการเนิร์ฟในสคริปต์ไพธอน และ (2) ฉันไม่แน่ใจว่าฉันสามารถลองและสำรวจอะไรได้บ้างเพื่อค้นหาปัญหาในเวลานี้
หวังว่าฉันจะถูกชี้ไปในทิศทางที่ถูกต้อง