Score:0

Dell R530 Broadcom NetXtreme tg3 nic จำกัดที่ 12 เมกะไบต์/วินาที

ธง um

ฉันมี Dell R530 รุ่นเก่า:

ผู้ผลิต Dell Inc.
รุ่น PowerEdge R530
ซีพียู 16 ซีพียู x Intel(R) Xeon(R) CPU E5-2630 v3 @ 2.40GHz
หน่วยความจำ 63.78 GB

มี 8 NIC ซึ่ง 3 ในนั้นเป็น tg3, Broadcom NetXtreme BCM5720's:

vmnic0 0000:02:00.0 tg3 เพิ่มขึ้น 1,000 เต็ม 14:18:77:5e:a6:de 1500 Broadcom Corporation NetXtreme BCM5720 Gigabit Ethernet
vmnic2 0000:03:00.0 tg3 เพิ่มขึ้น 1,000 เต็ม 14:18:77:5e:a6:e0 1500 Broadcom Corporation NetXtreme BCM5720 Gigabit Ethernet
vmnic3 0000:03:00.1 tg3 ขึ้นลง 0 ครึ่ง 14:18:77:5e:a6:e1 1500 Broadcom Corporation NetXtreme BCM5720 Gigabit Ethernet

ตลอดชีวิตของฉัน ฉันไม่สามารถให้พวกเขาส่งทราฟฟิกในอัตราที่สูงกว่า ~12MBytes/วินาที:

--------------------------------------------- ---------
เซิร์ฟเวอร์กำลังฟังบน 5201
--------------------------------------------- ---------
ยอมรับการเชื่อมต่อจาก 192.168.1.117 พอร์ต 50971
[ 5] ท้องถิ่น 192.168.1.148 พอร์ต 5201 เชื่อมต่อกับ 192.168.1.117 พอร์ต 50972
[ ID] แบนด์วิดธ์การถ่ายโอนช่วงเวลา
[ 5] 0.00-1.00 วินาที 11.2 เมกะไบต์ 93.6 เมกะบิต/วินาที
[ 5] 1.00-2.00 วินาที 11.2 เมกะไบต์ 93.9 เมกะบิต/วินาที
[ 5] 2.00-3.00 วินาที 11.2 เมกะไบต์ 93.9 เมกะบิต/วินาที
[ 5] 3.00-4.00 วินาที 11.2 เมกะไบต์ 94.1 เมกะบิต/วินาที
[ 5] 4.00-5.00 วินาที 11.2 เมกะไบต์ 94.0 เมกะบิต/วินาที
[ 5] 5.00-6.00 วินาที 11.2 เมกะไบต์ 94.0 เมกะบิต/วินาที
[ 5] 6.00-7.00 วินาที 11.2 เมกะไบต์ 94.1 เมกะบิต/วินาที
[ 5] 7.00-8.00 วินาที 11.2 เมกะไบต์ 94.1 เมกะบิต/วินาที
[ 5] 8.00-9.00 วินาที 11.2 เมกะไบต์ 94.1 เมกะบิต/วินาที
[ 5] 9.00-10.00 วินาที 11.2 เมกะไบต์ 94.1 เมกะไบต์/วินาที
[ 5] 10.00-10.05 วินาที 573 KBytes 93.9 Mbits/วินาที
- - - - - - - - - - - - - - - - - - - - - - - -
[ ID] แบนด์วิดธ์การถ่ายโอนช่วงเวลา
[ 5] 0.00-10.05 วินาที 0.00 ไบต์ 0.00 บิต/วินาที ผู้ส่ง
[ 5] 0.00-10.05 วินาที ตัวรับ 113 เมกะไบต์ 94.0 เมกะบิต/วินาที

เพียงเพื่อพิสูจน์ว่าไม่ใช่เครือข่าย เซิร์ฟเวอร์อื่นจะได้รับประสิทธิภาพตามที่คาดหวัง:

[ 6] ท้องถิ่น 192.168.1.117 พอร์ต 50998 เชื่อมต่อกับ 192.168.1.242 พอร์ต 5201
[ ID] แบนด์วิดธ์การถ่ายโอนช่วงเวลา
[ 6] 0.00-1.00 วินาที 75.9 เมกะไบต์ 637 เมกะบิต/วินาที
[ 6] 1.00-2.00 วินาที 113 เมกะไบต์ 944 เมกะบิต/วินาที
[ 6] 2.00-3.00 วินาที 113 เมกะไบต์ 944 เมกะบิต/วินาที
[ 6] 3.00-4.00 วินาที 112 เมกะไบต์ 935 เมกะบิต/วินาที
[ 6] 4.00-5.00 วินาที 113 เมกะไบต์ 946 เมกะบิต/วินาที
[ 6] 5.00-6.00 วินาที 112 เมกะไบต์ 939 เมกะบิต/วินาที
[ 6] 6.00-7.00 วินาที 110 เมกะไบต์ 922 เมกะบิต/วินาที
[ 6] 7.00-8.00 วินาที 109 เมกะไบต์ 918 เมกะบิต/วินาที
[ 6] 8.00-9.00 วินาที 102 เมกะไบต์ 856 เมกะบิต/วินาที
[ 6] 9.00-10.00 วินาที 102 เมกะไบต์ 854 เมกะบิต/วินาที
- - - - - - - - - - - - - - - - - - - - - - - -
[ ID] แบนด์วิดธ์การถ่ายโอนช่วงเวลา
[ 6] 0.00-10.00 วินาที ผู้ส่ง 1.04 GBytes 890 Mbits/วินาที
[ 6] 0.00-10.00 วินาที ตัวรับ 1.04 GBytes 889 Mbits/วินาที

ฉันได้อัปเดตเฟิร์มแวร์/ไดรเวอร์ให้มากที่สุดเท่าที่จะทำได้ ตาม https://www.broadcom.com/products/ethernet-connectivity/network-ics/bcm5720-1gbase-t-ic ดูเหมือนว่าเฟิร์มแวร์ล่าสุดคือ 3.137 ที่ฉันติดตั้ง:

[root@esxi:~] เครือข่าย esxcli nic รับ -n vmnic0
   การเจรจาอัตโนมัติที่โฆษณา: จริง
   โหมดลิงก์ที่โฆษณา: 10baseT/ครึ่ง, 10baseT/เต็ม, 100baseT/ครึ่ง, 100baseT/เต็ม, 1000baseT/ครึ่ง, 1000baseT/เต็ม
   การเจรจาอัตโนมัติ: จริง
   ประเภทสายเคเบิล: สายคู่บิดเกลียว
   ระดับข้อความปัจจุบัน: 4260095
   ข้อมูลไดรเวอร์:
         ข้อมูลรถบัส: 0000:02:00.0
         ไดรเวอร์: tg3
         เวอร์ชันเฟิร์มแวร์: FFV7.10.64 bc 5720-v1.36
         เวอร์ชัน: 3.137l.v60.1
   ตรวจพบลิงก์: จริง
   สถานะลิงก์: ขึ้น
   ชื่อ: vmnic0
   PHYที่อยู่: 1
   หยุดการเจรจาอัตโนมัติชั่วคราว: จริง
   หยุดชั่วคราว RX: จริง
   หยุดชั่วคราว TX: จริง
   พอร์ตที่รองรับ: TP
   รองรับการเจรจาอัตโนมัติ: จริง
   รองรับการหยุดชั่วคราว: จริง
   รองรับ Wakeon: จริง
   ตัวรับส่งสัญญาณ: ภายใน
   ที่อยู่เสมือน: 00:00...[snip]
   Wakeon: MagicPacket (tm)

การวินิจฉัย/สถานะทั้งหมดรายงานว่าเชื่อมต่อเต็ม 1,000 ครั้ง และฉันได้ลองใช้ NIC หลายสายและสวิตช์ทั้งหมดด้วยผลลัพธ์เดียวกัน

ฉันได้ใช้จ่าย ชั่วโมง พยายามที่จะคิดออก และการค้นหาและการทดสอบของ Google ทั้งหมดทำให้ฉันไปไหนไม่ได้เลย ใครมีความคิดใด ๆ ที่ฉันสามารถลองหรือตรวจสอบได้

ฉันได้ลองตั้งค่าความเร็วลิงก์ด้วยตนเองแล้ว แต่มันได้ปรับอัตโนมัติเป็น 1,000 แล้ว

vmnic0 1000Mbps เจรจาอัตโนมัติ

jmk avatar
vn flag
jmk
คุณแน่ใจหรือไม่ว่าคุณไม่มีการกำหนดค่า 100MBit ในการทดสอบของคุณ 12MB ดูเหมือนจะจำกัดไว้ที่ 100Mbit
stormdrain avatar
um flag
ไม่แน่ใจว่าฉันเข้าใจ คุณหมายถึงผลการทดสอบใช่หรือไม่ ฉันใช้คำสั่งเดียวกันทุกประการกับทั้งสองคำสั่ง โดยใช้ iperf3: `iperf3 -c host` บนไคลเอ็นต์และ `iperf3 -s` บนเซิร์ฟเวอร์ ฉันไม่ได้ตั้งค่าตัวเลือกอื่น ฉันได้ลองใช้ไคลเอนต์/เซิร์ฟเวอร์หลายตัวด้วยผลลัพธ์เดียวกันเสมอ ฉันยังได้รับประสิทธิภาพเดียวกันกับแอปอื่น ๆ (ประสิทธิภาพการสำรองข้อมูลที่ไม่ดีเผยให้เห็นปัญหา) ขอบคุณ.
jmk avatar
vn flag
jmk
มีส่วนประกอบ 100MBit ระหว่างเซิร์ฟเวอร์และไคลเอ็นต์หรือไม่ ในระบบเก่า ฉันมีปัญหากับการเจรจาอัตโนมัติ คุณสามารถตรวจสอบว่าประสิทธิภาพเพิ่มขึ้นหรือไม่ หากคุณตั้งค่าความเร็วลิงก์ด้วยตนเอง
stormdrain avatar
um flag
ไม่มีส่วนประกอบ 100MBit โฮสต์อยู่ในแร็คที่มีอุปกรณ์อื่นๆ เชื่อมต่อในลักษณะเดียวกับที่ใช้งาน 1GB ได้ โฮสต์ / นิคอย่างแน่นอน ฉันลองตั้งค่า 1,000 ฮาล์ฟและฟูลดูเพล็กซ์ด้วยผลลัพธ์เดียวกัน แต่มันจะเจรจาอัตโนมัติเป็น 1,000 อยู่ดี ขอบคุณ.
batistuta09 avatar
vn flag
ขนาด MTU ใดที่มี vSwitch สำหรับ Broadcom ลองเปลี่ยนเป็นค่าเริ่มต้น 1500 หากเปิดใช้งาน Jumbo
stormdrain avatar
um flag
MTU คือ 1,500; MTU เครือข่ายของเราคือ 1472 ตามการทดสอบ ping ไม่ได้เปิดใช้งานจัมโบ้
Zac67 avatar
ru flag
สาเหตุที่เป็นไปได้: การกำหนดค่า/จำกัด vNIC, การกำหนดค่า/จำกัดพอร์ต Goup, การรักษา QoS/แบนด์วิดท์/จำกัดโดย MAC/IP ในสวิตช์อัปลิงก์จริง pNIC เชื่อมโยงกับ 1,000 Mbit/s ใช่ไหม??
stormdrain avatar
um flag
โฮสต์นี้ต้องผ่านสวิตช์ใบ้ 1 อันเท่านั้นซึ่งอุปกรณ์อื่นผ่านและทำงานได้ดี 1GB ดังนั้นจึงไม่ใช่ฮาร์ดแวร์ระหว่างโฮสต์กับสิ่งอื่นใด NIC เองรายงานทั้งหมด 1,000 รายการไม่ว่าจะแสดงที่ใด (ดูรูปที่ด้านล่างของโพสต์และโหมดโฆษณาในคำสั่ง esxcli nic get)
us flag
สล็อต PCIe ใดใช้สำหรับ tg3
us flag
มีข้อผิดพลาดในการส่ง?
stormdrain avatar
um flag
มันฝังอยู่ ไม่มีข้อผิดพลาด TX
Kamil J avatar
it flag
คุณไม่ตอบสนองต่อความคิดเห็น @Zac67 ที่เกี่ยวข้องกับ "Port Goup config/limit" คุณไม่ได้สื่อสารโดยตรงกับ vNIC แต่ผ่านกลุ่มพอร์ต ... ;-)
stormdrain avatar
um flag
ไม่มีการกำหนดทราฟฟิกหรือการตั้งค่าคอนฟิกูเรชันอื่นใดที่จำกัดทราฟฟิกที่ตั้งค่าบนอุปกรณ์หรือกลุ่มพอร์ตใดๆ
Score:4
ธง ru

หากการเชื่อมโยงทางกายภาพทั้งหมดแสดง 1,000 Mbit/s ค่อนข้างมาก สิ่งที่เหลืออยู่คือ:

  • กลุ่มพอร์ต ESXi ที่อะแดปเตอร์ VMkernel (?) ต่อพ่วงมีการตั้งค่าขีด จำกัด ปริมาณการใช้งาน
  • สวิตช์ที่ทราฟฟิกวิ่งผ่านมีการตั้งค่าขีด จำกัด QoS / การตรวจสอบการจราจรบางประเภท

โดยวิธีการที่ โฆษณา โหมดของพอร์ต NIC/สวิตช์ไม่สำคัญ เดอะ เจรจา โหมดไม่

นอกจากนี้ Broadcom NIC มักจะรองรับ "Ethernet@Wirespeed" ซึ่งทำให้ 1000BASE-T NIC ถอยกลับไปเป็น 100BASE-FX เมื่อหนึ่งในสายคู่บิดเกลียวล้มเหลว (มาตรฐาน 1000BASE-T ไม่เชื่อมโยงเลยในกรณีนี้) . ดังนั้น แม้ว่าทุกอย่างจะได้รับการกำหนดค่าอย่างถูกต้อง แต่สายเคเบิลที่ไม่ดีอาจทำให้คุณกลับไปที่ 100 Mbit/s

Score:0
ธง um

ปรากฎว่าเป็นปัญหาเกี่ยวกับสายเคเบิล คำใบ้ที่ควรทำให้ฉันผิดหวังคือ 94.9 Mbits/วินาที ขีด จำกัด - เห็นได้ชัดว่าการเชื่อมต่อกำลังทำงานอยู่ 100Mbps. ความจริงที่ว่ามันถูกกำหนดไว้สำหรับ 1G และทุกอย่างกำลังบอกว่ามันเป็น 1Gมันควรจะบอกฉันว่ามีบางอย่างในสายไฟที่ยุ่งเหยิงและทำให้มันทำงาน 100Mbps. ฉันได้ให้ดาต้าเซ็นเตอร์เปลี่ยนสายไฟในวันนี้และมันทำงานที่ 1G อย่างที่ควรจะเป็น

ฉันเข้าใจผิดเมื่อระบุว่ามีอุปกรณ์อื่นในชั้นวางทำงานที่ 1G ฉันติดตั้งสวิตช์ใหม่ในชั้นวาง และเมื่อฉันดูที่อินเทอร์เฟซ ฉันสังเกตเห็นว่าพอร์ตมีการรายงานเท่านั้น 100Mbps. เมื่อฉันเห็นสิ่งนี้ ฉันตรวจสอบอีกครั้ง และอุปกรณ์ NAS ที่ฉันมีในชั้นวางจะคัดลอกเฉพาะไฟล์ขนาดใหญ่ที่ <= 100Mbps.

ขออภัยสำหรับข้อมูลที่ทำให้เข้าใจผิดในคำถาม ฉันจะปล่อยไว้เผื่อว่าคนจนบางคนกำลังเจอปัญหาเดียวกัน: หากคุณเห็น 11.3MB/วินาที หรือ 11.2MB/วินาที หรือ 94.9Mb/วินาที อย่างสม่ำเสมอ ให้ตรวจสอบอีกครั้งว่าพอร์ตของคุณไม่ได้ทำงานอยู่จริง 100Mbps แม้ว่าทุกอย่างจะบอกว่าเป็น! ฉันไม่เห็นสิ่งนี้จนกว่าจะติดตั้งสวิตช์/เราเตอร์อัจฉริยะที่รายงานจำนวนจริงมากกว่าการกำหนดค่าบางอย่างหรือสิ่งที่เจรจาอัตโนมัติ

โพสต์คำตอบ

คนส่วนใหญ่ไม่เข้าใจว่าการถามคำถามมากมายจะปลดล็อกการเรียนรู้และปรับปรุงความสัมพันธ์ระหว่างบุคคล ตัวอย่างเช่น ในการศึกษาของ Alison แม้ว่าผู้คนจะจำได้อย่างแม่นยำว่ามีคำถามกี่ข้อที่ถูกถามในการสนทนา แต่พวกเขาไม่เข้าใจความเชื่อมโยงระหว่างคำถามและความชอบ จากการศึกษาทั้ง 4 เรื่องที่ผู้เข้าร่วมมีส่วนร่วมในการสนทนาด้วยตนเองหรืออ่านบันทึกการสนทนาของผู้อื่น ผู้คนมักไม่ตระหนักว่าการถามคำถามจะมีอิทธิพลหรือมีอิทธิพลต่อระดับมิตรภาพระหว่างผู้สนทนา