Score:0

เครือข่ายขาออกสูงจากอเมริกาไปยัง EMEA บนการประมวลผล GCP และ AWS EC2

ธง us

ตั้งค่าคลัสเตอร์ Hadoop 4 โหนด (ต้นแบบ 1 คน คนงาน 3 คน) ทั้งบน AWS และ GCP อย่างไรก็ตาม ประสบการณ์ขาออกของเครือข่ายที่ค่อนข้างสูงสำหรับทั้งสองแพลตฟอร์ม แอปคลัสเตอร์ AWS: Hadoop, Yarn แอปคลัสเตอร์ GCP: Hadoop, Yarn, Hive

AWS มีขนาด 244.027GB ($21.96) นี่เป็น 'การให้อภัย' หลังจากคำอธิบายถึงฝ่ายสนับสนุนของ AWS อย่างไรก็ตาม ไม่มีการให้ข้อมูลเกี่ยวกับการรับส่งข้อมูลเพื่อป้องกันการเกิดขึ้นในอนาคต ดังนั้น เนื่องจากไม่มีเครดิตใน AWS จึงต้องวางคลัสเตอร์ลง

GCP: ปัญหาเดียวกัน แต่อย่างน้อยก็มีวงเงินเครดิต

อาจเกี่ยวข้อง: ได้รับ 'การละเมิดบริการที่อาจเกิดขึ้น' เนื่องจากการโจมตี DDOS จากทั้ง AWS และ GCP เมื่อเร็วๆ นี้ ได้รับจาก GCP ขณะตั้งค่า Kerberos บนคลัสเตอร์

จนถึงตอนนี้:

  1. กำหนดค่าโหนดให้คุยกันโดยใช้ internal-ips (ก่อนหน้านี้คือ external-ips)
  2. กฎไฟร์วอลล์สำหรับพอร์ตที่เกี่ยวข้องเท่านั้น
  3. ปิดแท็บเบราว์เซอร์ UI ทั้งหมดของแอป (Hive, HDFS, Yarn) เมื่อไม่ได้ใช้งาน
  4. ร้องขอการสนับสนุน AWS เพื่อขอความช่วยเหลือเกี่ยวกับแนวทางปฏิบัติที่ดีที่สุดและข้อมูลเกี่ยวกับทราฟฟิก ได้รับลิงก์จำนวนมากเกี่ยวกับเนื้อหาของ AWS ซึ่งส่วนใหญ่เกี่ยวกับการตั้งค่าการแจ้งเตือนการเรียกเก็บเงิน (ไม่ใช่การกำหนดค่าหรือการแก้ไขปัญหา)
  5. การสนับสนุน GCP มีประโยชน์มาก การเรียกเก็บเงิน GCP นั้นตรงไปตรงมา ร้องขอการสนับสนุนทางเทคนิคผ่านการแชท - อยู่ระหว่างดำเนินการ

ความช่วยเหลือเกี่ยวกับวิธีติดตามว่าทราฟฟิกมาจากที่ใด

อัปเดต: ในขณะที่ทำงานกับโหนดเพียงสองโหนดในการตั้งค่า Kerberos ดูเหมือนว่าฉันใช้เครดิตที่เหลืออยู่ไป $100 (จากทางออกอีกครั้ง) และไม่สามารถเข้าถึงโปรเจ็กต์ของฉันได้เว้นแต่จะอัปเกรดเป็นบัญชีเต็มรูปแบบ

cn flag
เปิดใช้การบันทึกโฟลว์ VPC (มีค่าใช้จ่ายเพิ่มเติม) แล้วดูไหม มันจะสร้าง netflow สำหรับ VPC และจัดเก็บใน S3

โพสต์คำตอบ

คนส่วนใหญ่ไม่เข้าใจว่าการถามคำถามมากมายจะปลดล็อกการเรียนรู้และปรับปรุงความสัมพันธ์ระหว่างบุคคล ตัวอย่างเช่น ในการศึกษาของ Alison แม้ว่าผู้คนจะจำได้อย่างแม่นยำว่ามีคำถามกี่ข้อที่ถูกถามในการสนทนา แต่พวกเขาไม่เข้าใจความเชื่อมโยงระหว่างคำถามและความชอบ จากการศึกษาทั้ง 4 เรื่องที่ผู้เข้าร่วมมีส่วนร่วมในการสนทนาด้วยตนเองหรืออ่านบันทึกการสนทนาของผู้อื่น ผู้คนมักไม่ตระหนักว่าการถามคำถามจะมีอิทธิพลหรือมีอิทธิพลต่อระดับมิตรภาพระหว่างผู้สนทนา