ตั้งค่าคลัสเตอร์ Hadoop 4 โหนด (ต้นแบบ 1 คน คนงาน 3 คน) ทั้งบน AWS และ GCP อย่างไรก็ตาม ประสบการณ์ขาออกของเครือข่ายที่ค่อนข้างสูงสำหรับทั้งสองแพลตฟอร์ม
แอปคลัสเตอร์ AWS: Hadoop, Yarn
แอปคลัสเตอร์ GCP: Hadoop, Yarn, Hive
AWS มีขนาด 244.027GB ($21.96) นี่เป็น 'การให้อภัย' หลังจากคำอธิบายถึงฝ่ายสนับสนุนของ AWS อย่างไรก็ตาม ไม่มีการให้ข้อมูลเกี่ยวกับการรับส่งข้อมูลเพื่อป้องกันการเกิดขึ้นในอนาคต ดังนั้น เนื่องจากไม่มีเครดิตใน AWS จึงต้องวางคลัสเตอร์ลง
GCP: ปัญหาเดียวกัน แต่อย่างน้อยก็มีวงเงินเครดิต
อาจเกี่ยวข้อง: ได้รับ 'การละเมิดบริการที่อาจเกิดขึ้น' เนื่องจากการโจมตี DDOS จากทั้ง AWS และ GCP เมื่อเร็วๆ นี้ ได้รับจาก GCP ขณะตั้งค่า Kerberos บนคลัสเตอร์
จนถึงตอนนี้:
- กำหนดค่าโหนดให้คุยกันโดยใช้ internal-ips (ก่อนหน้านี้คือ external-ips)
- กฎไฟร์วอลล์สำหรับพอร์ตที่เกี่ยวข้องเท่านั้น
- ปิดแท็บเบราว์เซอร์ UI ทั้งหมดของแอป (Hive, HDFS, Yarn) เมื่อไม่ได้ใช้งาน
- ร้องขอการสนับสนุน AWS เพื่อขอความช่วยเหลือเกี่ยวกับแนวทางปฏิบัติที่ดีที่สุดและข้อมูลเกี่ยวกับทราฟฟิก ได้รับลิงก์จำนวนมากเกี่ยวกับเนื้อหาของ AWS ซึ่งส่วนใหญ่เกี่ยวกับการตั้งค่าการแจ้งเตือนการเรียกเก็บเงิน (ไม่ใช่การกำหนดค่าหรือการแก้ไขปัญหา)
- การสนับสนุน GCP มีประโยชน์มาก การเรียกเก็บเงิน GCP นั้นตรงไปตรงมา ร้องขอการสนับสนุนทางเทคนิคผ่านการแชท - อยู่ระหว่างดำเนินการ
ความช่วยเหลือเกี่ยวกับวิธีติดตามว่าทราฟฟิกมาจากที่ใด
อัปเดต:
ในขณะที่ทำงานกับโหนดเพียงสองโหนดในการตั้งค่า Kerberos ดูเหมือนว่าฉันใช้เครดิตที่เหลืออยู่ไป $100 (จากทางออกอีกครั้ง) และไม่สามารถเข้าถึงโปรเจ็กต์ของฉันได้เว้นแต่จะอัปเกรดเป็นบัญชีเต็มรูปแบบ