เรากำลังใช้คลัสเตอร์ HDP กับ 182 โหนดข้อมูล เครื่อง:
เวอร์ชัน HDP - 2.6.4
Ambari รุ่น 2.6.1
เราสังเกตพฤติกรรมต่อไปนี้บน โหนดข้อมูล เครื่อง (มันเกิดขึ้นกับทั้งหมด โหนดข้อมูล เครื่องและบนดิสก์ทั้งหมด)
เมื่อเราทำคำสั่งตามตัวอย่างด้านบน:
ps -eo s,ผู้ใช้,cmd | เกรป ^[RD]
D hdfs du -sk /grid/sdj/hadoop/hdfs/data/current/BP-1018134753-10.3.6.170-1530088122990
D hdfs du -sk /grid/sdm/hadoop/hdfs/data/current/BP-1018134753-10.3.6.170-1530088122990
R รูต ps -eo s,user,cmd
หมายเหตุ - แต่ละดิสก์ใน โหนดข้อมูล เป็น 5.4 T ไบต์.
เราสามารถเห็นได้ว่า เอชดีเอฟเอส กำลังเรียกใช้ "du -sk" บน โหนดข้อมูล ดิสก์
เราไม่ชอบสิ่งนี้เพราะความหมายคือการใช้ CPU Avrg โหลดสูงและบางครั้งก็ประสิทธิภาพไม่ดี
เราเข้าใจตรงกันนะ เอชดีเอฟเอส ต้องเรียกใช้ "du -sk" เพื่อตรวจสอบพื้นที่ดิสก์ แต่ ในทางกลับกันค่าใช้จ่าย - โหลด CPU สูง avrg และบางครั้งประสิทธิภาพต่ำ
เป็นไปได้ไหมที่จะบอก เอชดีเอฟเอส ในทางใดทางหนึ่งเพื่อปิดใช้งานการยืนยันนี้