Score:1

HDFS + วิธีปิดใช้งานการยืนยัน "du -sk" บนดิสก์โหนดข้อมูล

ธง gb

เรากำลังใช้คลัสเตอร์ HDP กับ 182 โหนดข้อมูล เครื่อง:

เวอร์ชัน HDP - 2.6.4 Ambari รุ่น 2.6.1

เราสังเกตพฤติกรรมต่อไปนี้บน โหนดข้อมูล เครื่อง (มันเกิดขึ้นกับทั้งหมด โหนดข้อมูล เครื่องและบนดิสก์ทั้งหมด)

เมื่อเราทำคำสั่งตามตัวอย่างด้านบน:

ps -eo s,ผู้ใช้,cmd | เกรป ^[RD]
D hdfs du -sk /grid/sdj/hadoop/hdfs/data/current/BP-1018134753-10.3.6.170-1530088122990
D hdfs du -sk /grid/sdm/hadoop/hdfs/data/current/BP-1018134753-10.3.6.170-1530088122990
R รูต ps -eo s,user,cmd

หมายเหตุ - แต่ละดิสก์ใน โหนดข้อมูล เป็น 5.4 T ไบต์.

เราสามารถเห็นได้ว่า เอชดีเอฟเอส กำลังเรียกใช้ "du -sk" บน โหนดข้อมูล ดิสก์

เราไม่ชอบสิ่งนี้เพราะความหมายคือการใช้ CPU Avrg โหลดสูงและบางครั้งก็ประสิทธิภาพไม่ดี

เราเข้าใจตรงกันนะ เอชดีเอฟเอส ต้องเรียกใช้ "du -sk" เพื่อตรวจสอบพื้นที่ดิสก์ แต่ ในทางกลับกันค่าใช้จ่าย - โหลด CPU สูง avrg และบางครั้งประสิทธิภาพต่ำ

เป็นไปได้ไหมที่จะบอก เอชดีเอฟเอส ในทางใดทางหนึ่งเพื่อปิดใช้งานการยืนยันนี้

โพสต์คำตอบ

คนส่วนใหญ่ไม่เข้าใจว่าการถามคำถามมากมายจะปลดล็อกการเรียนรู้และปรับปรุงความสัมพันธ์ระหว่างบุคคล ตัวอย่างเช่น ในการศึกษาของ Alison แม้ว่าผู้คนจะจำได้อย่างแม่นยำว่ามีคำถามกี่ข้อที่ถูกถามในการสนทนา แต่พวกเขาไม่เข้าใจความเชื่อมโยงระหว่างคำถามและความชอบ จากการศึกษาทั้ง 4 เรื่องที่ผู้เข้าร่วมมีส่วนร่วมในการสนทนาด้วยตนเองหรืออ่านบันทึกการสนทนาของผู้อื่น ผู้คนมักไม่ตระหนักว่าการถามคำถามจะมีอิทธิพลหรือมีอิทธิพลต่อระดับมิตรภาพระหว่างผู้สนทนา