Score:0

Slow Docker Container บน GCP ที่ใช้ Python AI/ML Workloads

ธง cn

ค้นหาคำแนะนำเกี่ยวกับวิธีการวินิจฉัยการโหลดพื้นที่ระบบ/เคอร์เนลสูง

ติดตั้ง

  • นักเทียบท่า CE บน CentOS 7 (ไม่มี SELinux)
  • ปริมาณงาน AI/ML ที่ใช้ Python แบบคอนเทนเนอร์
  • Python multi-processing ใช้กับ ((n/2)-2) pool worker
  • n => แกน cpu/vcpu (1 ไฮเปอร์เธรด)

ปัญหาทั่วไป

  • บนคอนเทนเนอร์โลหะเปลือยจากอิมเมจนักเทียบท่าของเราทำงานตามที่คาดไว้
  • บนคอนเทนเนอร์ GCP ที่ใช้อิมเมจเดียวกันทำงานช้า 3-4 เท่า
  • AI Pipelines ที่เดิมใช้เวลา 2 วัน ตอนนี้ใช้เวลา 4/5 วัน

ปัญหาเฉพาะ

  • GCP ด้านบน -> โหลดระบบ/พื้นที่เคอร์เนลสูง (30-50)
  • Bare-metal(BM) บน -> โหลดระบบต่ำ (1-10)
  • BM แต่ละกระบวนการสูงสุด 100-120 % CPU
  • แต่ละ GCP ประมวลผล 300-500 % CPU
  • BM โหลดเฉลี่ย 11.85, 32.87, 19.43
  • GCP แอลเอ 43.82, 32.87, 19.43

สิ่งที่เราพยายาม

  • ตั้งค่าสิทธิ์แบบเต็ม = จริงในการเรียกใช้นักเทียบท่า
  • เพิ่ม vCPU เป็นสองเท่าบน GCP (32->64)
  • ประเภทเครื่องที่ใช้ C2 (คำนวณอย่างเข้มข้น)

เนื่องจากฉันไม่มีเงื่อนงำเกี่ยวกับวิธีการวินิจฉัยจากบนลงล่างนี้ ดังนั้นจึงพยายามทำ perf เพื่อดูว่าเกิดอะไรขึ้นในพื้นที่เคอร์เนล/ระบบ ต่อไปนี้เป็นเอาต์พุตจากทั้งสองระบบ

GCP VM 'การติดตามประสิทธิภาพ'

สรุปเหตุการณ์:    

หลาม (2551), 6580977 เหตุการณ์, 3.9%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  sched_yield 3232286 50396.443 0.002 0.016 68.851 0.69%    
  ฟูเท็กซ์ 58139 23715.636 0.001 0.408 21989.789 92.73%    
  ชั้น 1643 312.000 0.002 0.190 19.195 13.42%    
  ปิด 5 35.710 3.630 7.142 18.245 39.07%    
  เปิด 4 12.764 2.710 3.191 3.767 7.16%    
  เขียน 165 9.681 0.003 0.059 6.496 66.95%    
  ไอโอทีแอล 85 0.605 0.002 0.007 0.028 9.58%    
  ลซีค 182 0.460 0.002 0.003 0.004 1.70%    
  อ่าน 10 0.104 0.003 0.010 0.019 15.84%    
  สถิติ 4 0.030 0.006 0.007 0.008 6.21%    

หลาม (2847), 10240661 เหตุการณ์, 6.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 2909 269175.495 0.001 92.532 21907.964 13.70%    
  sched_yield 5119771 63387.192 0.002 0.012 98.500 0.60%    

ython (2848), 10952416 เหตุการณ์, 6.4%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 2944 269333.572 0.001 91.486 21908.135 13.70%    
  sched_yield 5475608 62191.735 0.002 0.011 54.373 0.56%    

หลาม (2849), 10095381 เหตุการณ์ 5.9%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 2869 269495.562 0.001 93.934 21907.785 13.69%    
  sched_yield 5046875 63404.111 0.002 0.013 69.027 0.53%    

หลาม (2850), 10871629 เหตุการณ์, 6.4%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 3379 269541.688 0.001 79.770 21908.129 13.71%    
  sched_yield 5434655 61881.631 0.002 0.011 92.192 0.66%    

หลาม (2851), 10471715 เหตุการณ์, 6.2%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 3267 269665.818 0.001 82.542 21908.306 13.70%    
  sched_yield 5234762 62440.899 0.002 0.012 70.764 0.59%    

หลาม (2852), 11048544 เหตุการณ์, 6.5%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 3075 269845.352 0.001 87.755 21908.402 13.69%    
  sched_yield 5523384 61269.561 0.002 0.011 77.207 0.58%    

หลาม (2853), 10802913 เหตุการณ์, 6.4%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 3411 269995.415 0.001 79.154 21907.717 13.70%    
  sched_yield 5400121 61586.390 0.000 0.011 63.498 0.63%    

หลาม (2854), 10580227 เหตุการณ์, 6.2%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 3237 270029.557 0.001 83.420 21907.737 13.69%    
  sched_yield 5289038 62372.649 0.002 0.012 50.329 0.56%    


หลาม (2855), 11269016 เหตุการณ์, 6.6%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 3309 270088.861 0.001 81.623 21908.143 13.69%    
  sched_yield 5633482 61010.474 0.002 0.011 59.756 0.54%    

หลาม (2856), 11194619 เหตุการณ์, 6.6%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 3355 270348.851 0.001 80.581 21917.988 13.68%    
  sched_yield 5596230 61122.634 0.002 0.011 52.892 0.60%    

หลาม (2857), 11236749 เหตุการณ์, 6.6%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 2559 273140.199 0.001 106.737 21916.745 13.53%    
  sched_yield 5618107 61171.202 0.002 0.011 74.198 0.59%    

หลาม (2858), 10328444 เหตุการณ์, 6.1%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 2759 270424.625 0.001 98.015 21916.130 13.66%    
  sched_yield 5163708 62490.561 0.002 0.012 95.956 0.65%    


หลาม (2859), 11507002 เหตุการณ์ 6.8%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 3065 270481.725 0.001 88.249 21910.849 13.67%    
  sched_yield 5752618 60412.759 0.002 0.011 96.043 0.69%    


หลาม (2860), 11013249 เหตุการณ์ 6.5%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 3254 270691.944 0.001 83.187 21912.965 13.67%    
  sched_yield 5505249 60965.211 0.002 0.011 69.026 0.62%    


หลาม (2861), 11793518 เหตุการณ์, 6.9%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 2851 270700.999 0.001 94.949 21911.187 13.66%    
  sched_yield 5896062 60165.571 0.002 0.010 69.030 0.69%    

หลาม (2862), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (2863), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (2864), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (2865), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    

ด้านบน (GCP VM)

ด้านบน - 11:09:17 อัพ 3 นาที ผู้ใช้ 1 คน โหลดเฉลี่ย: 35.10, 12.57, 4.53    
งาน: ทั้งหมด 337, 15 วิ่ง, 322 นอน, 0 หยุด, 0 ซอมบี้    
%Cpu(s): 52.0 us, 43.1 sy, 0.0 ni, 4.9 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st    
GiB Mem : รวม 28.1, ฟรี 24.3, ใช้ไป 3.3, 0.6 buff/cache    
GiB Swap: รวม 0.0, ฟรี 0.0, ใช้ไป 0.0 24.5 ประโยชน์ Mem     
    
  ผู้ใช้ PID PR NI VIRT RES SHR S %CPU %MEM TIME+ คำสั่ง                                            
 2501 ราก 20 0 2955128 169656 7612 R 380.5 0.6 3:24.55 หลาม                                             
 2502 ราก 20 0 2959472 176016 7612 R 307.6 0.6 3:17.58 หลาม                                             
 2495 ราก 20 0 2959088 176400 7608 R 288.4 0.6 3:35.93 หลาม                                             
 2496 ราก 20 0 2933612 151452 7600 R 262.9 0.5 3:27.08 หลาม                                             
 2494 ราก 20 0 2933356 153248 7604 R 253.3 0.5 3:22.47 หลาม                                             
 2489 ราก 20 0 2949156 166916 7652 R 250.7 0.6 3:13.78 หลาม                                             
 2500 ราก 20 0 2941704 153928 7632 R 225.5 0.5 3:24.54 หลาม                                             
 2499 ราก 20 0 2950132 164576 7620 R 210.6 0.6 3:14.79 หลาม                                             
 2493 ราก 20 0 2936304 151568 7608 R 177.2 0.5 3:28.18 หลาม                                             
 2490 ราก 20 0 2949248 169748 7596 R 170.9 0.6 3:16.57 หลาม                                             
 2497 ราก 20 0 2932684 156128 7600 R 167.9 0.5 3:13.12 หลาม                                             
 2491 ราก 20 0 2942860 165400 7608 R 149.0 0.6 3:17.05 หลาม                                             
 2492 ราก 20 0 2947632 163008 7604 R 117.2 0.6 3:20.01 หลาม                                             
 2498 ราก 20 0 2935784 153348 7600 R 76.2 0.5 3:14.54 หลาม                                             
 2943 ราก 20 0 162376 2560 1588 R 0.7 0.0 0:00.08 ด้านบน                                                
    1 รูท 20 0 191028 4024 2592 S 0.0 0.0 0:01.68 systemd    

Bare Metal 'การติดตามที่สมบูรณ์แบบ'

สรุปเหตุการณ์:    

หลาม (113694), 88,758 เหตุการณ์, 2.7%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 3174 13767.708 0.001 4.338 13745.177 99.84%    
  sched_yield 39353 130.937 0.002 0.003 3.972 3.91%    
  brk 1132 91.005 0.002 0.080 4.163 15.54%    
  เขียน 101 1.928 0.002 0.019 0.673 34.59%    
  ขอ 110 0.310 0.001 0.003 0.032 12.49%    
  เปิด 2 0.234 0.112 0.117 0.122 4.49%    
  ไอโอทีแอล 36 0.162 0.002 0.005 0.010 7.15%    
  อ่าน 6 0.033 0.003 0.005 0.008 16.09%    
  สถิติ 2 0.008 0.004 0.004 0.004 2.01%    
  ปิด 3 0.007 0.002 0.002 0.003 5.55%    


หลาม (114304), 3210496 เหตุการณ์, 97.3%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 3640 97379.595 0.000 26.753 13930.078 20.68%    
  sched_yield 1599811 3995.576 0.001 0.002 15.957 0.91%    


หลาม (114305), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114306), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114307), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114308), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114309), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114310), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114311), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114312), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114313), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114314), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114315), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114316), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114317), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114318), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114319), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114320), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114321), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114322), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114323), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114324), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114325), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114326), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114327), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114328), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114329), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114330), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114331), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114332), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114333), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114334), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114335), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114336), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114337), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114338), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114339), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114340), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    


หลาม (114341), 1 เหตุการณ์, 0.0%    

  syscall เรียกทั้งหมด min avg max stddev    
                              (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (มิลลิวินาที) (%)    
  ------- -------- --------- --------- --------- --------- ------    
  ฟูเท็กซ์ 1 0.000 0.000 0.000 0.000 0.00%    

เห็นได้ชัดว่ามีกิจกรรมมากเกินไปใน GCP โดยเฉพาะอย่างยิ่ง ฟูเท็กซ์ และ sched_yieldทั้งสองใช้เวลามากในพื้นที่ระบบอย่างชัดเจน

ขอบคุณ

Gerrit avatar
cn flag
sched_yield หมายถึงงานถูกสลับไปอีกงาน การเรียก futex ที่ใช้เวลานานอาจเป็นผลมาจากการช่วงชิงหน่วยความจำGCP อาจใช้ตัวจัดสรรที่กำหนดเอง อย่างไรก็ตาม คุณสามารถลองใช้ `perf top` และ `vmstat` เพื่อดูรูปแบบอื่นได้ หรือบางทีพวกเขาอาจใช้ตัวเลือกเคอร์เนลอื่น ๆ และเปิดใช้งาน futexes ประเภทอื่นซึ่งใช้งานไม่ได้กับการโหลดของคุณโดยเฉพาะ หรือเป็นตัวเลือกบัญชีหน่วยความจำในคอนเทนเนอร์
Ravi avatar
cn flag
@Gerrit ขอบคุณสำหรับความสนใจของคุณ เพิ่มด้านบนจาก GCP VM ฉันใช้อักขระเกินจำนวนสูงสุดสำหรับข้อความแล้ว ดังนั้นต้องลบผลลัพธ์ด้านบนออก ซึ่งทั้งหมดนี้เป็นการใช้งาน '0'
Gerrit avatar
cn flag
อืม. ฉันสงสัย AI อาจใช้ตัวเลขสุ่มจำนวนมาก กระบวนการอาจรอการสุ่มใหม่หรือไม่?
Ravi avatar
cn flag
ให้ฉันสำรวจเส้นทางนั้นจะรายงานกลับ ขอบคุณ
Ravi avatar
cn flag
เอาต์พุต vmstat procs ----------- หน่วยความจำ ---------- --- swap-- ----- io---- -system-- ------ ซีพียู ----- r b swpd แคชบัฟฟรี si ดังนั้น bi bo ใน cs us sy id wa st 45 0 0 25672764 2192 647520 0 0 31 1 558 1611 29 24 46 0 0
Gerrit avatar
cn flag
บางที `strace -f -p pid` ของหนึ่งในกระบวนการไพธอนอาจชี้แจงสิ่งต่างๆ ได้
Ravi avatar
cn flag
@Gerrit ฉันไม่เห็นตัวเลือกบน u/random ยังคงติดตั้ง urandom โฮสต์กับอุปกรณ์สุ่มคอนเทนเนอร์ ไม่มีความแตกต่าง นอกจากนี้ในสภาพแวดล้อมที่เป็นโลหะเปลือย คอนเทนเนอร์ทำงานได้ดีโดยไม่ต้องใช้ urandom ดังนั้นจึงควรสรุปได้อย่างปลอดภัยว่าเอนโทรปีอาจไม่ใช่ สาเหตุ
Ravi avatar
cn flag
ฉันได้เพิ่มผลลัพธ์ strace ในการแชทเพื่อรักษาโครงสร้าง (https://chat.stackexchange.com/rooms/128466/discussion-between-ravi-and-gerrit)
Ravi avatar
cn flag
จะอัปเดตหลังจากการวิเคราะห์เอาต์พุต 'strace -f -p pid' ... 10 ล้านบรรทัดเพื่ออ่านผ่าน

โพสต์คำตอบ

คนส่วนใหญ่ไม่เข้าใจว่าการถามคำถามมากมายจะปลดล็อกการเรียนรู้และปรับปรุงความสัมพันธ์ระหว่างบุคคล ตัวอย่างเช่น ในการศึกษาของ Alison แม้ว่าผู้คนจะจำได้อย่างแม่นยำว่ามีคำถามกี่ข้อที่ถูกถามในการสนทนา แต่พวกเขาไม่เข้าใจความเชื่อมโยงระหว่างคำถามและความชอบ จากการศึกษาทั้ง 4 เรื่องที่ผู้เข้าร่วมมีส่วนร่วมในการสนทนาด้วยตนเองหรืออ่านบันทึกการสนทนาของผู้อื่น ผู้คนมักไม่ตระหนักว่าการถามคำถามจะมีอิทธิพลหรือมีอิทธิพลต่อระดับมิตรภาพระหว่างผู้สนทนา