เรามีคลัสเตอร์ Hadoop (แพลตฟอร์ม Ambari พร้อมเวอร์ชัน HDP - 2.6.4)
และเราทำขั้นตอนการยืนยันเพื่อทำความเข้าใจว่าเรามี ภายใต้บล็อกจำลอง
การตรวจสอบครั้งแรกคือ:
su hdfs
hdfs fsck / - -->
มันให้ผลลัพธ์:
ขนาดรวม: 17653549013347 B (ขนาดไฟล์ที่เปิดทั้งหมด: 854433698229 B)
จำนวนทั้งหมด: 843714
ไฟล์ทั้งหมด: 11752836
symlink ทั้งหมด: 0 (กำลังเขียนไฟล์: 16)
บล็อกทั้งหมด (ตรวจสอบแล้ว): 11792203 (ขนาดบล็อกเฉลี่ย 1497052 B) (บล็อกไฟล์เปิดทั้งหมด (ไม่ผ่านการตรวจสอบ): 6381)
บล็อกจำลองขั้นต่ำ: 11792203 (100.00001 %)
บล็อกที่ซ้ำซ้อน: 0 (0.0 %)
บล็อกที่ไม่จำลอง: 0 (0.0 %)
บล็อกที่จำลองผิดพลาด: 0 (0.0 %)
ปัจจัยการจำลองแบบเริ่มต้น: 3
การจำลองบล็อกโดยเฉลี่ย: 3.0
บล็อกเสียหาย: 0
ไม่มีตัวจำลอง: 0 (0.0 %)
จำนวนโหนดข้อมูล: 6
จำนวนชั้นวาง: 1
อย่างที่เราเห็นด้านบน บล็อกที่ไม่จำลอง
เป็น 0
แต่
เมื่อเราทำการตรวจสอบครั้งต่อไป:
hdfs dfsadmin -รายงาน
จากนั้นเราจะได้รับ
ความจุที่กำหนดค่า: 141275429535744 (128.49 TB)
ความจุปัจจุบัน: 140886991802565 (128.14 TB)
DFS ที่เหลืออยู่: 84748655941292 (77.08 TB)
DFS ที่ใช้: 56138335861273 (51.06 TB)
DFS ที่ใช้%: 39.85%
ภายใต้บล็อกที่จำลอง: 4212067
บล็อกที่มีการจำลองที่เสียหาย: 0
บล็อกที่หายไป: 0
บล็อกขาดหายไป (พร้อมปัจจัยการจำลองแบบ 1): 0
ดังนั้นจากด้านบน เราจะเห็นว่าภายใต้บล็อกที่ทำซ้ำคือ --> 4212067
กำลังจะรู้ว่าอะไรคือสิทธิ์ภายใต้หมายเลขจำลอง:
ทำไมเราถึงได้รับความแตกต่างระหว่าง hdfs fsck /
และ hdfs dfsadmin -รายงาน
?
BTW - จาก Ambari เราได้ผลลัพธ์ ~ เช่นเดียวกับจาก hdfs dfsadmin -รายงาน