Flink taskmanager บน ECS ไม่สามารถเชื่อมต่อกับ jobmanager บน EC2

ฉันมีอินสแตนซ์ EC2 ซึ่งอยู่ใน us-east-1b และกำลังเรียกใช้ flink jobmanager ซึ่งมีหน้าที่รับผิดชอบในการประสานงานระหว่างตัวจัดการงานหลายตัวผ่าน RPC และเซิร์ฟเวอร์ประวัติฉันสามารถดูได้จาก netstat ว่าผู้จัดการงานกำลังฟังอยู่ :::6123 สำหรับการเชื่อมต่อตัวจัดการงานที่เข้ามา

ฉันมีกลุ่มปรับขนาดอัตโนมัติซึ่งจะเรียกใช้อินสแตนซ์ EC2 ใน az, เครือข่ายย่อยและกลุ่มความปลอดภัยเดียวกันกับอินสแตนซ์ EC2

กลุ่มความปลอดภัยอนุญาตการรับส่งข้อมูลทั้งหมดบนพอร์ตทั้งหมดจากแหล่งใด ๆ ในกลุ่มไปยังปลายทางใด ๆ ในกลุ่ม:

ฉันใช้ ASG นั้นเป็นผู้ให้บริการความจุสำหรับงาน ECS ฉันกำลังพยายามเรียกใช้งานใน ECS ที่เรียกใช้ตัวจัดการงานและใช้ ASG นั้น

ตัวจัดการงานเริ่มต้นขึ้น แต่จะไม่เชื่อมต่อกับตัวจัดการงาน:

2021-09-28 13:52:08,651 INFO org.apache.flink.runtime.taskexecutor.TaskExecutor [] - ไม่สามารถแก้ไขที่อยู่ ResourceManager akka.tcp://[email protected] ภายใน:6123/user/rpc/resourcemanager_* กำลังลองใหม่ในอีก 10,000 มิลลิวินาที: ไม่สามารถเชื่อมต่อกับปลายทาง rpc ภายใต้ที่อยู่ akka.tcp://[email protected]:6123/user/ rpc/ผู้จัดการทรัพยากร_*

ฉันได้ ssh-d ไปยังอินสแตนซ์ที่เรียกใช้โดย ASG และยืนยันว่าฉันสามารถม้วนตัวจัดการงานได้ ip-xxx-xx-x-xxx.ec2.internal:8081 - มันได้ผล. ดังนั้นฉันจึงรู้ว่าตัวจัดการงานสามารถเห็นตัวจัดการงานได้

สรุป:

• ตัวจัดการงานและตัวจัดการงานอยู่ใน VPC เดียวกัน, AZ เดียวกัน, เครือข่ายย่อยเดียวกัน และกลุ่มความปลอดภัยเดียวกัน
• กลุ่มความปลอดภัยอนุญาตการรับส่งข้อมูลขาเข้าทั้งหมดจากแหล่งที่มาในกลุ่มความปลอดภัยเดียวกัน
• กลุ่มความปลอดภัยอนุญาตให้ทราฟฟิกขาออกทั้งหมดไปยังปลายทางใดก็ได้
• jobmanager กำลังทำงานบนอินสแตนซ์ EC2 ที่สร้างขึ้นด้วยตนเอง
• ตัวจัดการงานกำลังทำงานบนอินสแตนซ์ EC2 ที่สร้างขึ้นโดยเป็นส่วนหนึ่งของ ASG โดย ECS ตัวจัดการงานทำงานในคอนเทนเนอร์บน ECS
• ฉันสามารถม้วนตัวจัดการงานจากโหนดตัวจัดการงาน
• ผู้จัดการงานและผู้จัดการงานสื่อสารผ่าน RPC
• ผู้จัดการงานจะไม่แก้ไขที่อยู่ให้กับผู้จัดการงาน

ทำไมงานของฉันถึงไม่เชื่อมต่อ ฉันได้ลองใช้ IP สาธารณะ (v4) และ IP ส่วนตัว (v4) แล้ว