Score:0

hdfs + แบบจำลองที่ขาดหายไปจาก fsck

ธง gb

เรามีคลัสเตอร์ Hadoop และเราสังเกตเห็นว่า hdfs fsck ให้ผลลัพธ์ต่อไปนี้

..............สถานะ: สุขภาพดี
 ขนาดรวม: 58934628832 บ
 ยอดรวมทั้งหมด: 127002
 ไฟล์ทั้งหมด: 354214
 symlink ทั้งหมด: 0 (กำลังเขียนไฟล์: 8)
 บล็อกทั้งหมด (ตรวจสอบแล้ว): 349827 (ขนาดบล็อกเฉลี่ย 168467 B) (บล็อกไฟล์เปิดทั้งหมด (ไม่ผ่านการตรวจสอบ): 1)
 บล็อกจำลองขั้นต่ำ: 349827 (100.0 %)
 บล็อกที่ซ้ำซ้อน: 0 (0.0 %)
 บล็อกที่ไม่จำลอง: 101699 (29.071226 %)
 บล็อกที่จำลองผิดพลาด: 0 (0.0 %)
 ปัจจัยการจำลองแบบเริ่มต้น: 3
 การจำลองบล็อกโดยเฉลี่ย: 2.6958897
 บล็อกเสียหาย: 0
 ไม่มีแบบจำลอง: 106386 (10.137011 %)
 จำนวนโหนดข้อมูล: 5
 จำนวนชั้นวาง: 1

เราสามารถเห็น ไม่มีแบบจำลอง: 106386

ดังนั้นเราจึงทำตามขั้นตอนต่อไปนี้ แต่ไม่สำเร็จ

hadoop fsck / -ย้าย

และ

hadoop fsck / -ลบ

และ

hadoop fsck / -files -blocks -locations

และเราพยายามแก้ไขภายใต้แบบจำลอง

su - <$hdfs_user>

bash-4.1$ hdfs fsck / | grep 'ภายใต้การจำลองแบบ' | awk -F':' '{พิมพ์ $1}' >> /tmp/under_replicated_files 

-bash-4.1$ สำหรับไฟล์ hdfs ใน `cat /tmp/under_replicated_files`; ทำ echo "กำลังแก้ไข $hdfsfile :" ; hadoop fs -setrep 3 $hdfsfile; เสร็จแล้ว

ดังนั้นขั้นตอนทั้งหมดข้างต้นจึงไม่สามารถแก้ไขปัญหากับแบบจำลองที่ขาดหายไปได้

มีความคิดอื่นใดที่จะดำเนินการต่อจากขั้นตอนนี้?

โพสต์คำตอบ

คนส่วนใหญ่ไม่เข้าใจว่าการถามคำถามมากมายจะปลดล็อกการเรียนรู้และปรับปรุงความสัมพันธ์ระหว่างบุคคล ตัวอย่างเช่น ในการศึกษาของ Alison แม้ว่าผู้คนจะจำได้อย่างแม่นยำว่ามีคำถามกี่ข้อที่ถูกถามในการสนทนา แต่พวกเขาไม่เข้าใจความเชื่อมโยงระหว่างคำถามและความชอบ จากการศึกษาทั้ง 4 เรื่องที่ผู้เข้าร่วมมีส่วนร่วมในการสนทนาด้วยตนเองหรืออ่านบันทึกการสนทนาของผู้อื่น ผู้คนมักไม่ตระหนักว่าการถามคำถามจะมีอิทธิพลหรือมีอิทธิพลต่อระดับมิตรภาพระหว่างผู้สนทนา