Score:0

สร้างไดรฟ์ข้อมูล lvm ในกระบอกสุดท้ายของดิสก์

ธง hm

ในจานแม่เหล็กทั้งหมด ความแตกต่างของความเร็วระหว่างเซ็กเตอร์แรกและเซกเตอร์สุดท้ายนั้นสังเกตได้ชัดเจน โดยมากถึงปัจจัยสองหรือสาม สิ่งนี้ยังคงเป็นจริงกับดิสก์หลายเทราไบต์ใหม่ ดังนั้นจึงยังเหมาะสมที่จะสำรองกระบอกสูบสุดท้ายของดิสก์สำหรับไฟล์ที่ใช้งานไม่บ่อย โดยเฉพาะอย่างยิ่งการสำรองข้อมูล

ด้วยดิสก์ที่แบ่งพาร์ติชั่น มันเป็นเรื่องเล็กน้อยที่จะทำสิ่งนี้ มีข้อแม้เพียงข้อเดียวคืออนุญาตให้เปลี่ยนขนาดในอนาคตได้

แต่การกำหนดค่าของฉันคือ LVM ที่ไม่ได้แบ่งพาร์ติชัน. ดังนั้นฉันจึงต้องใส่กลุ่มวอลุ่มสองกลุ่มในฮาร์ดแวร์ทางกายภาพเดียวกัน (กลุ่มหนึ่งใช้ส่วนเริ่มต้นของชุดดิสก์ อีกกลุ่มหนึ่งใช้ส่วนท้าย) หรือเพื่อให้แน่ใจว่าโลจิคัลวอลุ่มต้องการใช้ส่วนขยายในกระบอกสูบสุดท้ายของฮาร์ดแวร์ . เป็นไปได้ไหม? เรามีการควบคุมว่า LV จะเป็นอย่างไร?

Matthew Ife avatar
jo flag
รู้สึกเหมือนเป็นข้อเรียกร้องที่น่าสงสัยสำหรับฉันในป่า คุณได้ทดสอบประสิทธิภาพที่เห็นได้ชัดเจนจริง ๆ แล้วหรือยัง? ตามคำจำกัดความ ไฟล์ที่ใช้บ่อยจะให้บริการจากเพจแคชและเร็วขึ้นอย่างไร้ขีดจำกัด สำหรับสื่อแม่เหล็ก ข้อเท็จจริงที่คุณต้องเข้าถึงตั้งแต่แรกนั้นช้ากว่าการดึงข้อมูลจากหน่วยความจำเป็นพันเท่า
hm flag
ใช่ ฉันทำ สำหรับดิสก์ใหม่ขนาด 8 เทราไบต์ที่ฉันกำลังติดตั้ง ฉันคิดว่านี่เป็นที่รู้จักกันดี คุณสามารถตรวจสอบด้วย dd ไปป์เป็น pv หรืออ่านโดยเริ่มจากภาคต่างๆ
hm flag
เป็นความจริงที่ทุกวันนี้เราสามารถพิจารณาสี่เลเยอร์เพื่อจัดระเบียบไฟล์: จากหน่วยความจำ จาก ssd จากสื่อแม่เหล็กเร็ว จากสื่อแม่เหล็กช้า
Matthew Ife avatar
jo flag
สิ่งที่ฉันพูดคือถ้าคุณทำการเข้าถึงไฟล์จริงแบบสุ่ม ไฟล์เหล่านั้นจะถูกแคชไว้ในหน่วยความจำ การเข้าถึงไฟล์บ่อยที่สุดจะอยู่ในหน่วยความจำ การรักษาแคชเพจแบบฮอตจะมีประสิทธิภาพดีกว่าผลกำไรใดๆ ก็ตามที่คุณได้รับจากการจัดสรรสื่อจริง ฉันแน่ใจว่าในทางทฤษฎีคุณสามารถวัดความแตกต่างของประสิทธิภาพการแสวงหาที่เข้าถึงปลายด้านหนึ่งของดิสก์ไปยังอีกด้านได้ แต่ในระบบไฟล์บัฟเฟอร์ในโลกแห่งความเป็นจริง ไม่น่าเป็นไปได้ที่คุณจะพบปัญหาประเภทนี้ในฐานะปัญหาด้านประสิทธิภาพหลักที่คุณต้องการ แท็กเกิล
hm flag
ฉันมีกรณีการใช้งานบางอย่างในบริษัทของฉันเกี่ยวกับการสแกนไฟล์ขนาดใหญ่แบบไปป์ไลน์ ไฟล์ดังกล่าวได้รับประโยชน์จากการอยู่ในแถบที่เร็วกว่าและมีขนาดใหญ่พอที่จะไม่ถูกแคชในหน่วยความจำ ฉันแน่ใจว่ามีกรณีการใช้งานจำนวนมากในโลกของข้อมูลขนาดใหญ่ที่ไฟล์ต่างๆ มักจะหายไปในเพจแคช
Score:2
ธง jo

ฉันไม่เห็นด้วยอย่างยิ่งว่านี่เป็นข้อกังวลอย่างมากกับปริมาณงานส่วนใหญ่เนื่องจากการแคช นโยบาย readahead และตัวยกดิสก์ที่คุณสามารถใช้ได้ แต่สิ่งนี้เกิดขึ้นได้ด้วยคำเตือน

วิธีที่ดีที่สุดในการแก้ไขปัญหานี้คือการแบ่งสื่อที่คุณต้องการจัดสรรออกเป็น 'ส่วน' โดยพิจารณาจากส่วนท้ายของดิสก์ที่คุณต้องการแยก

อะไรแบบนี้

จำนวน เริ่มต้น ขนาดสิ้นสุด ประเภท ระบบไฟล์ แฟล็ก
 1 1049kB 1075MB 1074MB หลัก ext4 บูต
 2 1075MB 4TB 4TB lvm หลัก # พาร์ติชันที่รวดเร็วของฉัน
 3 lvm หลัก 4TB 8TB 4TB # พาร์ติชันช้าของฉัน

จากนั้น สร้างกลุ่มวอลุ่ม ในตัวอย่างนี้ ฉันใช้กลุ่มวอลุ่มเดียว แต่การใช้ VG แบบ 'ช้า' และ VG แบบ 'เร็ว' อาจง่ายกว่า..

#pvcreate /dev/sda2 
#pvcreate /dev/sda3
# vgcreate vg /dev/sda2 /dev/sda3

จากนั้นจัดสรร LV ของคุณจากฟิสิคัลวอลุ่มดังกล่าว..

# lvcreate -n myFastLV -L1TB vg /dev/sda2
# lvcreate -n mySlowLV -L1TB vg /dev/sda3

คำเตือน ณ ที่นี้ เซกเตอร์เสียสามารถถูกแทนที่อย่างเงียบ ๆ โดยตัวควบคุมดิสก์โดยที่ 'สำรอง' มักอยู่ที่อื่น (ซึ่งไม่ขึ้นกับผู้ผลิตทั้งหมด) นอกจากนี้ ดิสก์นักเล่นบางตัวอาจทำการแมปเซกเตอร์ใหม่ภายในซึ่งสอดคล้องกับการอ้างสิทธิ์ที่เสนออย่างมีเหตุผล แต่ไม่ได้อยู่ในตำแหน่งที่คุณคาดว่าจะเป็น

ประการสุดท้าย ภาระงานของปัญหาที่คุณแนะนำ (การวางท่อไฟล์ขนาดใหญ่) เป็นปัญหาภาระงานที่ต่อเนื่องมากซึ่งจะได้รับประโยชน์มากขึ้นจากการใช้เทคนิคการจัดสรรล่วงหน้าในไฟล์ที่เขียน (เพื่อให้ต่อเนื่องกันและไม่แยกส่วน)

จากนั้นตั้งค่านโยบาย readahead ที่ก้าวร้าวเพื่ออ่านเซกเตอร์ที่อยู่ติดกัน/กำลังจะมาถึงทั้งหมด ซึ่งมักจะอยู่ติดกับไฟล์ที่คุณกำลังอ่าน

วิธีการที่ละเอียดยิ่งขึ้นสามารถทำได้โดยใช้ dmตั้งค่า เพื่อแมปเซกเตอร์ทางกายภาพให้เป็นลำดับและรูปแบบที่คุณต้องการ แต่สิ่งนี้จะไม่พกพาเกินไปและอาจใช้ความพยายามมากกว่าที่คุ้มค่าในระยะยาว (เช่น คุณต้องมีสคริปต์เพื่อสร้างการแมปใหม่เมื่อบู๊ต)

hm flag
ประเด็นของคุณเกี่ยวกับเซกเตอร์เสียนั้นน่าสนใจ แน่นอนว่าการลดระยะการเคลื่อนที่ของส่วนหัวยังคงเป็นเคล็ดลับหลักสำหรับการทำงานกับดิสก์แม่เหล็กอย่างเหมาะสมที่สุด เกี่ยวกับ readahead ใช่ และลายเส้นที่เพียงพอในดิสก์ การจู่โจม 0 เช่น ทุกอย่างช่วยได้
hm flag
ตาราง dmsetup ดูเหมือนเป็นสิ่งที่ฉันมีอยู่ในหัวมาก... แต่ถ้าตารางเหล่านั้นไม่ได้ถูกบันทึกไว้ใน LVM descriptors มันก็เป็นเรื่องที่น่าปวดหัวจริงๆ

โพสต์คำตอบ

คนส่วนใหญ่ไม่เข้าใจว่าการถามคำถามมากมายจะปลดล็อกการเรียนรู้และปรับปรุงความสัมพันธ์ระหว่างบุคคล ตัวอย่างเช่น ในการศึกษาของ Alison แม้ว่าผู้คนจะจำได้อย่างแม่นยำว่ามีคำถามกี่ข้อที่ถูกถามในการสนทนา แต่พวกเขาไม่เข้าใจความเชื่อมโยงระหว่างคำถามและความชอบ จากการศึกษาทั้ง 4 เรื่องที่ผู้เข้าร่วมมีส่วนร่วมในการสนทนาด้วยตนเองหรืออ่านบันทึกการสนทนาของผู้อื่น ผู้คนมักไม่ตระหนักว่าการถามคำถามจะมีอิทธิพลหรือมีอิทธิพลต่อระดับมิตรภาพระหว่างผู้สนทนา