ฉันมีสวิตช์ Mellanox 100gb/s (ใช้งาน Cumulus Linux 4.1) ที่ฉันใช้สำหรับเชื่อมต่อเซิร์ฟเวอร์หลายเครื่อง แต่ละเครื่องมีการ์ด Mellanox ConnectX 5 100gb/s เซิร์ฟเวอร์เหล่านี้เชื่อมต่อกับสวิตช์ผ่านสาย DAC ขณะที่กำลังทำงาน ฉันสามารถรับความเร็วพอร์ตได้เพียง 25Gb/s เท่านั้น
ฉันตรวจสอบสวิตช์แล้ว และดูเหมือนว่าพอร์ตสวิตช์ QSFP แต่ละพอร์ตกำลังทำงาน 4 พอร์ต 25Gb/s แต่ละพอร์ตแทน ดังที่ระบุในตารางด้านล่าง เซิร์ฟเวอร์เชื่อมต่อกับพอร์ต swp1 ถึง 8
cumulus@cumulus:mgmt:~$ net แสดงอินเทอร์เฟซทั้งหมด
ชื่อสถานะ Spd MTU โหมด LLDP สรุป
----- ------- ----- ------- -------------------- ------- ------------------
ขึ้นไป ไม่มีข้อมูล 65536 IP ย้อนกลับ: 127.0.0.1/8
IP: ::1/128
UP eth0 100M 1500 Mgmt SomeOtherSwitch (24) มาสเตอร์: mgmt(UP)
eth0 IP: 172.20.72.5/24
UP swp1s0 25G 9216 Trunk/L2 Master: บริดจ์ (UP)
DN swp1s1 N/A 9216 ค่าเริ่มต้น
DN swp1s2 N/A 9216 ค่าเริ่มต้น
DN swp1s3 N/A 9216 ค่าเริ่มต้น
UP swp2s0 25G 9216 Trunk/L2 Master: บริดจ์ (UP)
DN swp2s1 N/A 9216 ค่าเริ่มต้น
DN swp2s2 N/A 9216 ค่าเริ่มต้น
DN swp2s3 N/A 9216 ค่าเริ่มต้น
UP swp3s0 25G 9216 Trunk/L2 Master: บริดจ์ (UP)
DN swp3s1 N/A 9216 ค่าเริ่มต้น
DN swp3s2 N/A 9216 ค่าเริ่มต้น
DN swp3s3 N/A 9216 ค่าเริ่มต้น
UP swp4s0 25G 9216 Trunk/L2 Master: บริดจ์ (UP)
DN swp4s1 N/A 9216 ค่าเริ่มต้น
DN swp4s2 N/A 9216 ค่าเริ่มต้น
DN swp4s3 N/A 9216 ค่าเริ่มต้น
UP swp5s0 25G 9216 Trunk/L2 Master: บริดจ์ (UP)
DN swp5s1 N/A 9216 ค่าเริ่มต้น
DN swp5s2 N/A 9216 ค่าเริ่มต้น
DN swp5s3 N/A 9216 ค่าเริ่มต้น
UP swp6s0 25G 9216 Trunk/L2 Master: บริดจ์ (UP)
DN swp6s1 N/A 9216 ค่าเริ่มต้น
DN swp6s2 N/A 9216 ค่าเริ่มต้น
DN swp6s3 N/A 9216 ค่าเริ่มต้น
UP swp7s0 25G 9216 Trunk/L2 Master: บริดจ์ (UP)
DN swp7s1 N/A 9216 ค่าเริ่มต้น
DN swp7s2 N/A 9216 ค่าเริ่มต้น
DN swp7s3 N/A 9216 ค่าเริ่มต้น
UP swp8s0 25G 9216 Trunk/L2 Master: บริดจ์ (UP)
DN swp8s1 N/A 9216 ค่าเริ่มต้น
DN swp8s2 N/A 9216 ค่าเริ่มต้น
ตาม ethtool เซิร์ฟเวอร์รองรับโหมดลิงค์ที่ต้องการที่ 100gbps ผ่านการ์ด ConnectX:
การตั้งค่าสำหรับ enp175s0f0:
พอร์ตที่รองรับ: [ แบ็คเพลน ]
โหมดลิงค์ที่รองรับ: 1000baseKX/เต็ม
10,000ฐานKR/เต็ม
40000ฐานKR4/เต็ม
40000baseCR4/เต็ม
40000baseSR4/เต็ม
40000baseLR4/เต็ม
25000baseCR/เต็ม
25000ฐานKR/เต็ม
25000baseSR/เต็ม
50000baseCR2/เต็ม
50000ฐานKR2/เต็ม
100000ฐานKR4/เต็ม
100000baseSR4/เต็ม
100000baseCR4/เต็ม
100000baseLR4_ER4/เต็ม
รองรับการใช้เฟรมหยุดชั่วคราว: สมมาตร
รองรับการเจรจาอัตโนมัติ: ใช่
โหมด FEC ที่รองรับ: ไม่ได้รายงาน
โหมดลิงก์ที่โฆษณา: 1000baseKX/เต็ม
10,000ฐานKR/เต็ม
40000ฐานKR4/เต็ม
40000baseCR4/เต็ม
40000baseSR4/เต็ม
40000baseLR4/เต็ม
25000baseCR/เต็ม
25000ฐานKR/เต็ม
25000baseSR/เต็ม
50000baseCR2/เต็ม
50000ฐานKR2/เต็ม
100000ฐานKR4/เต็ม
100000baseSR4/เต็ม
100000baseCR4/เต็ม
100000baseLR4_ER4/เต็ม
การใช้เฟรมหยุดชั่วคราวที่โฆษณา: สมมาตร
การเจรจาอัตโนมัติที่โฆษณา: ใช่
โหมด FEC ที่โฆษณา: ไม่ได้รายงาน
โหมดลิงก์ที่โฆษณาของพาร์ทเนอร์ลิงก์: ไม่ได้รายงาน
การใช้เฟรมหยุดชั่วคราวของพาร์ทเนอร์ลิงก์ที่โฆษณา: ไม่
พันธมิตรเชื่อมโยงที่โฆษณาการเจรจาอัตโนมัติ: ใช่
พันธมิตรเชื่อมโยงโฆษณาโหมด FEC: ไม่ได้รายงาน
ความเร็ว: 25,000Mb/s
ดูเพล็กซ์: เต็ม
พอร์ต: แนบทองแดงโดยตรง
ไฟแอด: 0
ตัวรับส่งสัญญาณ: ภายใน
การเจรจาอัตโนมัติ: เปิด
รองรับการปลุก: ง
การปลุก: ง
ระดับข้อความปัจจุบัน: 0x00000004 (4)
ลิงค์
ตรวจพบลิงก์: ใช่
ฉันพลาดอะไรไปหรือเปล่าเมื่อตั้งค่านี้ ฉันลองตั้งค่าความเร็วลิงก์เป็น 100,000 ด้วยตนเอง แต่ไม่มีการเปลี่ยนแปลงสุทธิ