เรากำลังใช้คลัสเตอร์ HDP กับ 182 โหนดข้อมูล
เครื่อง:
เวอร์ชัน HDP - 2.6.4
Ambari รุ่น 2.6.1
เราสังเกตพฤติกรรมต่อไปนี้บน โหนดข้อมูล
เครื่อง (มันเกิดขึ้นกับทั้งหมด โหนดข้อมูล
เครื่องและบนดิสก์ทั้งหมด)
เมื่อเราทำคำสั่งตามตัวอย่างด้านบน:
ps -eo s,ผู้ใช้,cmd | เกรป ^[RD]
D hdfs du -sk /grid/sdj/hadoop/hdfs/data/current/BP-1018134753-10.3.6.170-1530088122990
D hdfs du -sk /grid/sdm/hadoop/hdfs/data/current/BP-1018134753-10.3.6.170-1530088122990
R รูต ps -eo s,user,cmd
หมายเหตุ - แต่ละดิสก์ใน โหนดข้อมูล
เป็น 5.4 T ไบต์
.
เราสามารถเห็นได้ว่า เอชดีเอฟเอส
กำลังเรียกใช้ "du -sk" บน โหนดข้อมูล
ดิสก์
เราไม่ชอบสิ่งนี้เพราะความหมายคือการใช้ CPU Avrg โหลดสูงและบางครั้งก็ประสิทธิภาพไม่ดี
เราเข้าใจตรงกันนะ เอชดีเอฟเอส
ต้องเรียกใช้ "du -sk
" เพื่อตรวจสอบพื้นที่ดิสก์ แต่ ในทางกลับกันค่าใช้จ่าย - โหลด CPU สูง avrg และบางครั้งประสิทธิภาพต่ำ
เป็นไปได้ไหมที่จะบอก เอชดีเอฟเอส
ในทางใดทางหนึ่งเพื่อปิดใช้งานการยืนยันนี้