Score:0

เกิดข้อผิดพลาดในการเชื่อมต่ออุปกรณ์กับ DPDK

ธง kr

เกิดข้อผิดพลาดในการเชื่อมต่ออุปกรณ์กับ DPDK ขณะเพิ่มส่วนต่อประสานกับ OVS bond บน Ubuntu

  • อูบุนตู 20.04.3
  • ปชป. 19.11.10
  • OVS 2.13.3
  • NICs Intel x710 (fw 7.10)

สั่งการ:

ovs-vsctl เพิ่มพันธะ ovsbr0 bond0 ens2f0 ens2f1 ens3f0 ens3f1 \
   -- ตั้งค่าอินเทอร์เฟซ ens2f0 type=dpdk "ตัวเลือก:dpdk-devargs=0000:5e:00.0" \
   -- ตั้งค่าอินเทอร์เฟซ ens2f1 type=dpdk "ตัวเลือก:dpdk-devargs=0000:5e:00.1" \
   -- ตั้งค่าอินเทอร์เฟซ ens3f0 type=dpdk "ตัวเลือก:dpdk-devargs=0000:d8:00.0" \
   -- ตั้งค่าอินเทอร์เฟซ ens3f1 type=dpdk "ตัวเลือก:dpdk-devargs=0000:d8:00.1"

เอาท์พุต:

ovs-vsctl: ตรวจพบข้อผิดพลาดขณะตั้งค่า 'ens2f0': ข้อผิดพลาดในการเชื่อมต่ออุปกรณ์ '0000:5e:00.0' กับ DPDK ดูบันทึก ovs-vswitchd สำหรับรายละเอียด
ovs-vsctl: ตรวจพบข้อผิดพลาดขณะตั้งค่า 'ens2f1': ข้อผิดพลาดในการเชื่อมต่ออุปกรณ์ '0000:5e:00.1' กับ DPDK ดูบันทึก ovs-vswitchd สำหรับรายละเอียด
ovs-vsctl: ตรวจพบข้อผิดพลาดขณะตั้งค่า 'ens3f0': ข้อผิดพลาดในการเชื่อมต่ออุปกรณ์ '0000:d8:00.0' กับ DPDK ดูบันทึก ovs-vswitchd สำหรับรายละเอียด
ovs-vsctl: ตรวจพบข้อผิดพลาดขณะตั้งค่า 'ens3f1': ข้อผิดพลาดในการเชื่อมต่ออุปกรณ์ '0000:d8:00.1' กับ DPDK ดูบันทึก ovs-vswitchd สำหรับรายละเอียด
ovs-vsctl: ไดเรกทอรีบันทึกเริ่มต้นคือ "/var/log/openvswitch"

/var/log/openvswitch/ovs-vswitchd.log

2022-01-03T16:00:05.776Z|00083|dpdk|ERR|EAL: ไดรเวอร์ไม่สามารถเชื่อมต่ออุปกรณ์ได้ (0000:d8:00.1)
2022-01-03T16:00:05.776Z|00084|dpdk|ERR|EAL: ไม่สามารถแนบอุปกรณ์ในกระบวนการหลัก
2022-01-03T16:00:05.776Z|00085|netdev_dpdk|WARN|เกิดข้อผิดพลาดในการเชื่อมต่ออุปกรณ์ '0000:d8:00.1' กับ DPDK
2022-01-03T16:00:05.776Z|00086|netdev|WARN|ens3f1: ไม่สามารถตั้งค่าคอนฟิก (อาร์กิวเมนต์ไม่ถูกต้อง)
2022-01-03T16:00:05.776Z|00087|dpdk|ERR|port_id=32ไม่ถูกต้อง

เปิดใช้งานการสนับสนุน VT-d:

แมว /proc/cmdline 
BOOT_IMAGE=/boot/vmlinuz-5.4.0-91-root ทั่วไป=UUID=2849776f-b167-447f-a5d1-ea4b5c831c35 ro iommu=pt intel_iommu=เปิด

ฉันใช้ vfio-pci คนขับรถ

ดีมาร์:

$ grep -i dmar ชาร์ลี-dmesg2.yml | grep -i iommu
[ 0.703534] DMAR: เปิดใช้งาน IOMMU
[ 1.353766] DMAR-IR: IOAPIC id 12 ภายใต้ฐาน DRHD 0xc5ffc000 IOMMU 6
[ 1.353767] DMAR-IR: IOAPIC id 11 ภายใต้ฐาน DRHD 0xb87fc000 IOMMU 5
[ 1.353768] DMAR-IR: IOAPIC id 10 ภายใต้ฐาน DRHD 0xaaffc000 IOMMU 4
[ 1.353770] DMAR-IR: IOAPIC id 18 ภายใต้ฐาน DRHD 0xfbffc000 IOMMU 3
[ 1.353771] DMAR-IR: IOAPIC id 17 ภายใต้ฐาน DRHD 0xee7fc000 IOMMU 2
[ 1.353773] DMAR-IR: IOAPIC id 16 ภายใต้ฐาน DRHD 0xe0ffc000 IOMMU 1
[ 1.353774] DMAR-IR: IOAPIC id 15 ภายใต้ฐาน DRHD 0xd37fc000 IOMMU 0
[ 1.353775] DMAR-IR: IOAPIC id 8 ภายใต้ฐาน DRHD 0x9d7fc000 IOMMU 7
[ 1.353777] DMAR-IR: IOAPIC id 9 ภายใต้ฐาน DRHD 0x9d7fc000 IOMMU 7

ปัญหานี้เกิดขึ้นในกรณีของการติดตั้งอัตโนมัติของ Ubuntu เท่านั้น Ubuntu ที่ติดตั้งด้วยตนเองทำงานได้ดี

Vipin Varghese avatar
de flag
คุณช่วยแชร์ไดรเวอร์ที่คุณผูกพันกับ DPDK ได้ไหม เป็น uio_pci_generic, igb_uio หรือ vfio-pci หากเป็น vfio-pci คุณช่วยตรวจสอบ DMAR สำหรับ iommu จาก dmesg ได้ไหม
Dmitry Dmitriev avatar
kr flag
ฉันใช้ vfio-pci: `$ grep -i dmar ชาร์ลี-dmesg2.yml | grep -i iommu [ 0.703534] DMAR: เปิดใช้งาน IOMMU [ 1.353766] DMAR-IR: IOAPIC id 12 ภายใต้ฐาน DRHD 0xc5ffc000 IOMMU 6 [ 1.353767] DMAR-IR: IOAPIC id 11 ภายใต้ฐาน DRHD 0xb87fc000 IOMMU 5 [ 1.353768] DMAR-IR: IOAPIC id 10 ภายใต้ฐาน DRHD 0xaaffc000 IOMMU 4 [ 1.353770] DMAR-IR: IOAPIC id 18 ภายใต้ฐาน DRHD 0xfbffc000 IOMMU 3 [ 1.353771] DMAR-IR: IOAPIC id 17 ภายใต้ฐาน DRHD 0xee7fc000 IOMMU 2 [ 1.353773] DMAR-IR: IOAPIC id 16 ภายใต้ฐาน DRHD 0xe0ffc000 IOMMU 1 [...]`
Vipin Varghese avatar
de flag
ขอบคุณสำหรับการตอบสนอง ตามบันทึก dmesg DMAR IOMMU ถูกเปิดใช้งานบนเครื่องของคุณ คุณสามารถเช็คอิน dmesg ได้หรือไม่เมื่อการผูกล้มเหลวหากบันทึก `ไม่สามารถผูกกับไดรเวอร์ vfio-pci` ได้หรือไม่ ถ้าใช่ แสดงว่าการผูก vfio-pci กับ iommu เริ่มต้นนั้นล้มเหลว โปรดลอง `echo 1 > /sys/module/vfio/parameters/enable_unsafe_noiommu_mode` และแบ่งปัน
Dmitry Dmitriev avatar
kr flag
@VipinVarghese ขอบคุณที่ช่วยฉัน เอาต์พุต dmesg ไม่มีข้อความใด ๆ เกี่ยวกับ vfio-pci ในกรณีที่ฉันลองใช้คำสั่งที่คุณส่งมา ไม่มีโชค.
Vipin Varghese avatar
de flag
ปัญหาที่น่าสนใจมาก คุณใช้โปรเซสเซอร์ Intel x86 หรือ x86 หรือไม่ หากเป็น AMD ให้ใช้ `amd_iommu=pt` แต่เนื่องจากคุณพูดถึงการติดตั้งแบบแมนนวล ฉันจึงต้องการตรวจสอบเพิ่มเติมเกี่ยวกับพฤติกรรมนี้ เป็นไปได้หรือไม่ที่จะมีการดีบัก
Dmitry Dmitriev avatar
kr flag
เพื่อนร่วมงานของฉันแนะนำให้ฉันติดตั้งแพ็คเกจ **libdpdk-dev** มันดึงการพึ่งพาทั้งหมด แต่ในที่สุดก็แก้ปัญหาได้ ขอให้โชคดี!
Vipin Varghese avatar
de flag
ตามข้อมูลแพ็คเกจ office https://packages.debian.org/sid/libdpdk-dev หมายความว่าสิ่งเหล่านี้คือ `ไลบรารี DPDK ที่คอมไพล์ด้วย SSE เป็นขั้นต่ำ' ดังนั้นฉันจึงไม่เข้าใจวิธีการใช้ DPDK 19.11.10 ด้วยตนเองในการแก้ปัญหา บางสิ่งบางอย่างไม่ถูกต้อง

โพสต์คำตอบ

คนส่วนใหญ่ไม่เข้าใจว่าการถามคำถามมากมายจะปลดล็อกการเรียนรู้และปรับปรุงความสัมพันธ์ระหว่างบุคคล ตัวอย่างเช่น ในการศึกษาของ Alison แม้ว่าผู้คนจะจำได้อย่างแม่นยำว่ามีคำถามกี่ข้อที่ถูกถามในการสนทนา แต่พวกเขาไม่เข้าใจความเชื่อมโยงระหว่างคำถามและความชอบ จากการศึกษาทั้ง 4 เรื่องที่ผู้เข้าร่วมมีส่วนร่วมในการสนทนาด้วยตนเองหรืออ่านบันทึกการสนทนาของผู้อื่น ผู้คนมักไม่ตระหนักว่าการถามคำถามจะมีอิทธิพลหรือมีอิทธิพลต่อระดับมิตรภาพระหว่างผู้สนทนา