Score:0

เซสชัน Ubuntu VM SSH หยุดทำงานระหว่างการเปิดเครื่องรูดขนาดใหญ่เนื่องจากการใช้งาน CPU สูงของ kauditd

ธง wf

ฉันมีปัญหากับ Ubuntu 18.08 VM บน Azure ดูเหมือนว่าปัญหาจะเกิดขึ้นเมื่อฉันคลายซิปไฟล์ขนาดใหญ่ด้วย เปิดเครื่องรูด. เซสชัน SSH ของฉันขัดข้องด้วย ส่งการตัดการเชื่อมต่อ: ท่อแตกและฉันไม่สามารถ SSH บนเครื่องได้อีกต่อไปจนกว่าฉันจะรีสตาร์ทบนคอนโซล Azure

ฉันได้ตรวจสอบพื้นที่ดิสก์แล้วและดูเหมือนว่าจะปกติดี ฉันคิดว่าปัญหาเกิดจากการล็อค CPU ที่ฉันค้นพบในบันทึกการวินิจฉัย:

[9574.275457] rcu: การปิดกั้นโครงสร้าง rcu_node:
[9581.022803] watchdog: BUG: soft lockup - CPU#1 ติดอยู่เป็นเวลา 23 วินาที! [ตรวจสอบ:22]
[9609.022802] watchdog: BUG: soft lockup - CPU#1 ติดอยู่เป็นเวลา 23 วินาที! [ตรวจสอบ:22]
[ 9614.067067] การตรวจสอบ: งานค้างเกินขีดจำกัด
[ 9614.072016] การตรวจสอบ: งานค้างเกินขีดจำกัด
[ 9614.076728] การตรวจสอบ: งานค้างเกินขีดจำกัด
[9637.022802] watchdog: BUG: soft lockup - CPU#1 ติดอยู่เป็นเวลา 23 วินาที! [ตรวจสอบ:22]
[9665.022801] watchdog: BUG: soft lockup - CPU#1 ติดอยู่เป็นเวลา 23 วินาที! [ตรวจสอบ:22]
[ 9674.339074] การตรวจสอบ: งานค้างเกินขีดจำกัด
[ 9674.344825] การตรวจสอบ: งานค้างเกินขีดจำกัด
[ 9674.351922] การตรวจสอบ: งานค้างเกินขีดจำกัด
[9693.022802] watchdog: BUG: soft lockup - CPU#1 ติดอยู่เป็นเวลา 23 วินาที! [ตรวจสอบ:22]
[9721.022802] watchdog: BUG: soft lockup - CPU#1 ติดอยู่เป็นเวลา 22 วินาที! [ตรวจสอบ:22]
[ 9734.182947] การตรวจสอบ: งานค้างเกินขีดจำกัด
[ 9734.188086] การตรวจสอบ: งานค้างเกินขีดจำกัด
[ 9734.194938] การตรวจสอบ: งานค้างเกินขีดจำกัด
[ 9736.682801] rcu: INFO: rcu_sched ตรวจพบแผงลอยบน CPU
[ 9736.684975] rcu: 1-....: (509855 ติ๊ก GP นี้) idle=492/1/0x4000000000000002 softirq=1049753/1049838 fqs=254454 
[ 9754.486826] rcu: INFO: rcu_sched ตรวจพบการหยุดชะงักอย่างรวดเร็วบน CPUs/งาน: { 1-... } 511745 jiffies s: 525 root: 0x2/.
[9754.497787] rcu: การปิดกั้นโครงสร้าง rcu_node:
[9761.022802] watchdog: BUG: soft lockup - CPU#1 ติดอยู่เป็นเวลา 22 วินาที! [ตรวจสอบ:22]

นอกจากนี้ฉันได้ลองติดตามดู สูงสุด ระหว่างคลายซิปและก่อนที่ฉันจะบู๊ต ฉันเห็น ตรวจสอบ บินขึ้นจาก CPU น้อยกว่า 0% เป็น 70%-100% CPU:

ด้านบน - 12:00:01 ขึ้น 21 นาที ผู้ใช้ 1 คน โหลดเฉลี่ย: 1.34, 1.29, 0.98
ด้านบน - 12:02:53 อัพ 24 นาที ผู้ใช้ 2 คน โหลดเฉลี่ย: 2.80, 1.87, 1.25
งาน: ทั้งหมด 168, 4 วิ่ง, 95 นอน, 0 หยุด, 0 ซอมบี้
%Cpu(s): 31.8 us, 48.8 sy, 0.0 ni, 0.0 id, 19.3 wa, 0.0 hi, 0.0 si, 0.0 st
KiB Mem : รวม 8149152, ฟรี 2436876, ใช้ไปแล้ว 958672, บัฟ/แคช 4753604
KiB Swap: ทั้งหมด 0 ครั้ง ฟรี 0 ครั้ง ใช้ไปแล้ว 0 ครั้ง 6878804 ประโยชน์ Mem

  ผู้ใช้ PID PR NI VIRT RES SHR S %CPU %MEM TIME+ คำสั่ง
  22 ราก 20 0 0 0 0 R 79.3 0.0 0:02.92 ตรวจสอบ                                                             
  299 ราก 20 0 1563540 153316 35416 ส 73.4 1.9 1:40.58 ds_am                                                              
  29619 รูท 20 0 11528 5252 2088 S 3.6 0.1 0:14.03 เปิดเครื่องรูด
  466 รูท 19 -1 144180 58788 57688 S 1.3 0.7 0:03.89 systemd-journal                                                    
  21596 ราก 20 0 0 0 0 I 0.7 0.0 0:00.65 kworker/u4:1-ev

อะไรเป็นสาเหตุที่ทำให้ kernel audit daemon ใช้ CPU มากในทันที? ไม่ใช่การเพิ่มขึ้นทีละน้อย แต่เพิ่มขึ้นอย่างรวดเร็วถึง 100% จากนั้น VM หยุดทำงาน

ใครเคยเจอแบบนี้บ้าง?

anx avatar
fr flag
anx
`ds_am` คืออะไร คุณกำลังใช้น้ำมันงูป้องกันมัลแวร์ซึ่งค่อนข้างจงใจใช้ทรัพยากรอย่างน้อยที่สุด (เป็นเจ้าของและตรวจสอบเคอร์เนล) เท่ากับที่คุณใช้ในการเปิดเครื่องรูด I/O อย่างเข้มข้นหรือไม่?
x3nr0s avatar
wf flag
มันคือเทรนด์ไมโคร คำตอบคือใช่ แต่เราต้องการเพื่อวัตถุประสงค์ในการรับรองความปลอดภัย
Score:0
ธง ge

ฉันไม่สามารถบอกได้ว่าทำไม แต่ฉันขอแนะนำให้คุณใช้ SCREEN หรือ BYOB และเปิดเครื่องรูดในพื้นหลัง

ในขณะที่คลายซิปไฟล์ เพียงแค่ปิดเซสชัน SSH ของคุณ แล้วกลับมาใหม่หลังจากนั้นไม่กี่นาที และ VOILA !

x3nr0s avatar
wf flag
มีเหตุผลว่าทำไมกระบวนการที่เข้มข้นเช่น zip ใช้ทรัพยากรมากขึ้นเมื่อผู้ใช้ใช้งาน SSH อยู่
ge flag
ไม่ เว้นแต่คุณจะเรียกใช้แบบนั้น: ~#ssh user@host unzip bigFile.zip เพราะมันอาจส่งคืนผลลัพธ์ในเซสชัน ssh ของเทอร์มินัลโยน..... แต่ฉันไม่เห็นว่าทำไมมันถึงทำให้เกิดข้อผิดพลาดดังกล่าว ''.... ฉันขอแนะนำให้คุณเปิดตั๋วสู่ Azure
ge flag
หรือคุณสามารถจำกัดเวลากระบวนการที่ใช้ในการเปิดเครื่องรูด หากคุณมี VM ขนาดเล็ก คุณอาจมีข้อจำกัดในเรื่องนั้น ตัวอย่าง: sudo cpulimit --pid 17918 --limit 20. หรือใช้คำสั่ง ''nice''
Score:0
ธง fr
anx

ฉันคิดว่าสิ่งนี้เกิดจากองค์ประกอบบางอย่างของ เทรนด์ ไมโคร ซอฟต์แวร์. เอาต์พุตสูงสุดของคุณแสดง 1:40.58 เวลาที่ใช้ ds_amซึ่งเป็นส่วนสำคัญของเวลาทำงานของคุณ

ซอฟต์แวร์ประเภทนั้นยังเป็นตัวเลือกที่เป็นไปได้ (แม้ว่าจะไม่ใช่เพียงซอฟต์แวร์เดียว) สำหรับการตั้งค่าสิ่งอำนวยความสะดวกในการตรวจสอบเคอร์เนล

  1. โปรดดูเอกสารและ/หรือ ติดต่อผู้จำหน่ายซอฟต์แวร์ เกี่ยวกับการใช้ทรัพยากรโดยตรง อย่างไรก็ตาม ให้ตรวจสอบก่อนว่างานบำรุงรักษาหรืออัปเกรดตามปกติสำหรับซอฟต์แวร์นั้นยังค้างอยู่หรือไม่

  2. กำหนดคอนฟิกูเรชันของเฟรมเวิร์กการตรวจสอบเคอร์เนล และระบุซอฟต์แวร์อื่นที่เชื่อมต่อด้วย (พยายาม การตรวจสอบ)

x3nr0s avatar
wf flag
หลังจากตรวจสอบเพิ่มเติม ฉันไม่คิดว่านี่เกี่ยวข้องกับเทรนด์ไมโคร หลังจากการทดสอบอีกไม่กี่ครั้ง เอาต์พุต `top` ไม่แสดง ds_agent ที่มี CPU สูง ฉันหยุด ds_agent ชั่วคราวด้วย อย่างไรก็ตาม kauditd อยู่ที่ 100% เสมอหลังจากเปิดเครื่องรูดขนาดใหญ่
anx avatar
fr flag
anx
@x3nr0s หากไม่ใช่ซอฟต์แวร์นั้น (การหยุดคอมโพเนนต์รันไทม์ไม่ได้เป็นการยืนยันหรือออกกฎ) ต้องมีคนอื่นสั่งให้เคอร์เนลรวบรวมข้อมูลการตรวจสอบ พยายามรวบรวมข้อมูลเพิ่มเติมเกี่ยวกับกฎการตรวจสอบที่กำลังโหลดอยู่ในเคอร์เนล

โพสต์คำตอบ

คนส่วนใหญ่ไม่เข้าใจว่าการถามคำถามมากมายจะปลดล็อกการเรียนรู้และปรับปรุงความสัมพันธ์ระหว่างบุคคล ตัวอย่างเช่น ในการศึกษาของ Alison แม้ว่าผู้คนจะจำได้อย่างแม่นยำว่ามีคำถามกี่ข้อที่ถูกถามในการสนทนา แต่พวกเขาไม่เข้าใจความเชื่อมโยงระหว่างคำถามและความชอบ จากการศึกษาทั้ง 4 เรื่องที่ผู้เข้าร่วมมีส่วนร่วมในการสนทนาด้วยตนเองหรืออ่านบันทึกการสนทนาของผู้อื่น ผู้คนมักไม่ตระหนักว่าการถามคำถามจะมีอิทธิพลหรือมีอิทธิพลต่อระดับมิตรภาพระหว่างผู้สนทนา