เรามีคลัสเตอร์ Hadoop และเราสังเกตเห็นว่า hdfs fsck ให้ผลลัพธ์ต่อไปนี้
..............สถานะ: สุขภาพดี
ขนาดรวม: 58934628832 บ
ยอดรวมทั้งหมด: 127002
ไฟล์ทั้งหมด: 354214
symlink ทั้งหมด: 0 (กำลังเขียนไฟล์: 8)
บล็อกทั้งหมด (ตรวจสอบแล้ว): 349827 (ขนาดบล็อกเฉลี่ย 168467 B) (บล็อกไฟล์เปิดทั้งหมด (ไม่ผ่านการตรวจสอบ): 1)
บล็อกจำลองขั้นต่ำ: 349827 (100.0 %)
บล็อกที่ซ้ำซ้อน: 0 (0.0 %)
บล็อกที่ไม่จำลอง: 101699 (29.071226 %)
บล็อกที่จำลองผิดพลาด: 0 (0.0 %)
ปัจจัยการจำลองแบบเริ่มต้น: 3
การจำลองบล็อกโดยเฉลี่ย: 2.6958897
บล็อกเสียหาย: 0
ไม่มีแบบจำลอง: 106386 (10.137011 %)
จำนวนโหนดข้อมูล: 5
จำนวนชั้นวาง: 1
เราสามารถเห็น ไม่มีแบบจำลอง: 106386
ดังนั้นเราจึงทำตามขั้นตอนต่อไปนี้ แต่ไม่สำเร็จ
hadoop fsck / -ย้าย
และ
hadoop fsck / -ลบ
และ
hadoop fsck / -files -blocks -locations
และเราพยายามแก้ไขภายใต้แบบจำลอง
su - <$hdfs_user>
bash-4.1$ hdfs fsck / | grep 'ภายใต้การจำลองแบบ' | awk -F':' '{พิมพ์ $1}' >> /tmp/under_replicated_files
-bash-4.1$ สำหรับไฟล์ hdfs ใน `cat /tmp/under_replicated_files`; ทำ echo "กำลังแก้ไข $hdfsfile :" ; hadoop fs -setrep 3 $hdfsfile; เสร็จแล้ว
ดังนั้นขั้นตอนทั้งหมดข้างต้นจึงไม่สามารถแก้ไขปัญหากับแบบจำลองที่ขาดหายไปได้
มีความคิดอื่นใดที่จะดำเนินการต่อจากขั้นตอนนี้?