ฉันกำลังพยายามสร้างคลัสเตอร์ HA k3s โดยใช้ Proxmox และกลุ่ม Raspberriy PIs 4B ขนาดเล็ก
สำหรับ PI ทุกอย่างทำงานได้ดี แต่เมื่อพยายามติดตั้งต้นแบบบน Proxmox VM จะไม่เริ่มทำงาน
การตั้งค่าของฉัน:
- โฮสต์: Proxmox 7.0.7 (ฉันลองกับ 6.4.4 ด้วย)
- แขกรับเชิญ: Ubuntu 20.04.2
- K3S: v1.21.3+k3s1 (ฉันลองกับ v1.19.13+k3s1 ด้วย)
- มาเรียDB: 10.3
ฉันใช้คำสั่งเหล่านี้เพื่อติดตั้งต้นแบบ
ส่งออก K3S_DATASORE_ENDPOINT='mysql://DB_USER:DB_PASSWORD@tcp(DB_IP:DB_PORT)/DB_SCHEME'
ขด -sfL https://get.k3s.io | sh -s - เซิร์ฟเวอร์ --node-taint CriticalAddonsOnly=true:NoExecute --tls-san NGINX_LOADBALANCER_IP
นี่คือผลลัพธ์ของการติดตั้งและการเริ่มต้น:
[INFO] ใช้ v1.19.13+k3s1 เป็นรุ่น
[ข้อมูล] กำลังดาวน์โหลดแฮช https://github.com/k3s-io/k3s/releases/download/v1.19.1 3+k3s1/sha256sum-amd64.txt
[ข้อมูล] การดาวน์โหลดไบนารี https://github.com/k3s-io/k3s/releases/download/v1.19 .13+k3s1/k3s
[INFO] กำลังตรวจสอบการดาวน์โหลดแบบไบนารี
[INFO] การติดตั้ง k3s ไปยัง /usr/local/bin/k3s
[INFO] กำลังสร้าง /usr/local/bin/kubectl symlink ไปยัง k3s
[ข้อมูล] การสร้าง /usr/local/bin/crictl symlink ไปยัง k3s
[INFO] การสร้าง /usr/local/bin/ctr symlink ไปยัง k3s
[INFO] กำลังสร้างสคริปต์ killall /usr/local/bin/k3s-killall.sh
[INFO] กำลังสร้างสคริปต์ถอนการติดตั้ง /usr/local/bin/k3s-uninstall.sh
[INFO] env: การสร้างไฟล์สภาพแวดล้อม /etc/systemd/system/k3s.service.env
[INFO] systemd: การสร้างไฟล์บริการ /etc/systemd/system/k3s.service
[INFO] systemd: กำลังเปิดใช้งานหน่วย k3s
สร้าง symlink /etc/systemd/system/multi-user.target.wants/k3s.service â /etc/systemd/system/k3s.service
[INFO] systemd: การเริ่มต้น k3s
งานสำหรับ k3s.service ล้มเหลวเนื่องจากกระบวนการควบคุมออกโดยมีรหัสข้อผิดพลาด
ดู "สถานะ systemctl k3s.service" และ "journalctl -xe" สำหรับรายละเอียด
ฉันตรวจสอบบันทึก:
สถานะ systemctl k3s.service
â k3s.service - Kubernetes ที่มีน้ำหนักเบา
โหลดแล้ว: โหลดแล้ว (/etc/systemd/system/k3s.service; เปิดใช้งาน; การตั้งค่าล่วงหน้าของผู้ขาย: เปิดใช้งาน)
ใช้งานอยู่: กำลังเปิดใช้งาน (รีสตาร์ทอัตโนมัติ) (ผลลัพธ์: exit-code) ตั้งแต่วันอังคารที่ 2021-08-03 20:27:40 UTC; 2 วินาทีที่แล้ว
เอกสาร: https://k3s.io
กระบวนการ: 6181 ExecStartPre=/bin/sh -xc ! /usr/bin/systemctl เปิดใช้งาน --quiet nm-cloud-setup.service (code=exited, status=0/SUCCESS)
กระบวนการ: 6193 ExecStartPre=/sbin/modprobe br_netfilter (รหัส=ออกแล้ว สถานะ=0/สำเร็จ)
กระบวนการ: 6194 ExecStartPre=/sbin/modprobe โอเวอร์เลย์ (รหัส=ออก, สถานะ=0/สำเร็จ)
กระบวนการ: 6195 ExecStart=/usr/local/bin/k3s server --node-taint CriticalAddonsOnly=true:NoExecute --tls-san NGINX_LOADBALANNCER_IP (code=exited, status=1/FAILURE)
PID หลัก: 6195 (รหัส=ออก สถานะ=1/ล้มเหลว)
03 ส.ค. 20:27:40 น. k3svm1 systemd[1]: k3s.service: ออกจากกระบวนการหลักแล้ว, รหัส=ออกแล้ว, สถานะ=1/ล้มเหลว
03 ส.ค. 20:27:40 k3svm1 systemd[1]: k3s.service: ล้มเหลวด้วยผลลัพธ์ 'exit-code'
03 ส.ค. 20:27:40 k3svm1 systemd[1]: ไม่สามารถเริ่มน้ำหนักเบา Kubernetes
และ:
Journalctl -u k3s.service
03 ส.ค. 20:06:17 k3svm1 systemd[1]: กำลังเริ่มต้น Kubernetes ที่มีน้ำหนักเบา ...
03 ส.ค. 20:06:17 น. k3svm1 sh[19450]: + /usr/bin/systemctl is-enabled --quiet nm-cloud-setup.service
03 ส.ค. 20:06:17 น. k3svm1 sh[19451]: ไม่สามารถรับสถานะไฟล์หน่วยสำหรับ nm-cloud-setup.service: ไม่มีไฟล์หรือไดเรกทอรีดังกล่าว
03 ส.ค. 20:06:17 น. k3svm1 k3s[19460]: time="2021-08-03T20:06:17Z" level=info msg="กำลังรับไฟล์ล็อค /var/lib/rancher/k3s/data/.lock"
03 ส.ค. 20:06:17 น. k3svm1 k3s[19460]: time="2021-08-03T20:06:17Z" level=info msg="กำลังเตรียมข้อมูล dir /var/lib/rancher/k3s/data/9df574741d2573cbbe6616e8624488b36b3340d077bc570dafb8d1a4d16d1d"
03 ส.ค. 20:06:18 น. k3svm1 k3s[19460]: time="2021-08-03T20:06:18.748397535Z" level=info msg="กำลังเริ่มต้น k3s v1.21.3+k3s1 (1d1f220f)"
3 ส.ค. 20:06:18 น. k3svm1 k3s[19460]: time="2021-08-03T20:06:18.751745749Z" level=info msg="การกำหนดค่าการรวมการเชื่อมต่อฐานข้อมูล mysql: maxIdleConns=2, maxOpenConns=0, connMaxLifetime=0s "
3 ส.ค. 20:06:18 น. k3svm1 k3s[19460]: time="2021-08-03T20:06:18.751876220Z" level=info msg="กำลังกำหนดค่าสคีมาตารางฐานข้อมูลและดัชนี อาจใช้เวลาสักครู่..."
03 ส.ค. 20:06:18 น. k3svm1 k3s[19460]: time="2021-08-03T20:06:18.753348552Z" level=info msg="ตารางฐานข้อมูลและดัชนีเป็นปัจจุบัน"
03 ส.ค. 20:06:18 น. k3svm1 k3s[19460]: time="2021-08-03T20:06:18.757714719Z" level=info msg="Kine ฟังบนยูนิกซ์://kine.sock"
03 ส.ค. 20:06:18 น. k3svm1 k3s[19460]: time="2021-08-03T20:06:18.764631916Z" level=info msg="certificate CN=system:admin,O=system:masters ที่ลงนามโดย CN=k3s -client-ca@1628021178: notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:>
03 ส.ค. 20:06:18 น. k3svm1 k3s[19460]: time="2021-08-03T20:06:18.765377675Z" level=info msg="certificate CN=system:kube-controller-manager ที่ลงนามโดย CN=k3s-client -ca@1628021178: notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20>
03 ส.ค. 20:06:18 น. k3svm1 k3s[19460]: time="2021-08-03T20:06:18.766187231Z" level=info msg="certificate CN=system:kube-scheduler ที่ลงนามโดย CN=k3s-client-ca @ 1628021178: notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:06:18 +0>
03 ส.ค. 20:06:18 น. k3svm1 k3s[19460]: time="2021-08-03T20:06:18.766815165Z" level=info msg="certificate CN=kube-apiserver ที่ลงนามโดย CN=k3s-client-ca@1628021178 : notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:06:18 +0000 UTC"
3 ส.ค. 20:06:18 น. k3svm1 k3s[19460]: time="2021-08-03T20:06:18.767415198Z" level=info msg="certificate CN=system:kube-proxy ที่ลงนามโดย CN=k3s-client-ca @ 1628021178: notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:06:18 +0000 >
03 ส.ค. 20:06:18 น. k3svm1 k3s[19460]: time="2021-08-03T20:06:18.767950031Z" level=info msg="certificate CN=system:k3s-controller ที่ลงนามโดย CN=k3s-client-ca @ 1628021178: notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:06:18 +0>
03 ส.ค. 20:06:18 น. k3svm1 k3s[19460]: time="2021-08-03T20:06:18.768698847Z" level=info msg="certificate CN=k3s-cloud-controller-manager ที่ลงนามโดย CN=k3s-client -ca@1628021178: notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:0>
03 ส.ค. 20:06:18 น. k3svm1 k3s[19460]: time="2021-08-03T20:06:18.769745716Z" level=info msg="certificate CN=kube-apiserver ที่ลงนามโดย CN=k3s-server-ca@1628021178 : notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:06:18 +0000 UTC"
03 ส.ค. 20:06:18 น. k3svm1 k3s[19460]: time="2021-08-03T20:06:18.770870630Z" level=info msg="certificate CN=system:auth-proxy ที่ลงนามโดย CN=k3s-request-header -ca@1628021178: notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:06:1>
03 ส.ค. 20:06:18 น. k3svm1 k3s[19460]: time="2021-08-03T20:06:18.771882180Z" level=info msg="certificate CN=etcd-server ลงนามโดย CN=etcd-server-ca@1628021178 : notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:06:18 +0000 UTC"
03 ส.ค. 20:06:18 น. k3svm1 k3s[19460]: time="2021-08-03T20:06:18.772508382Z" level=info msg="certificate CN=etcd-client ที่ลงนามโดย CN=etcd-server-ca@1628021178 : notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:06:18 +0000 UTC"
03 ส.ค. 20:06:18 น. k3svm1 k3s[19460]: time="2021-08-03T20:06:18.773399505Z" level=info msg="certificate CN=etcd-peer ลงนามโดย CN=etcd-peer-ca@1628021178 : notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:06:18 +0000 UTC"
03 ส.ค. 20:06:18 น. k3svm1 k3s[19460]: time="2021-08-03T20:06:18.813171353Z" level=info msg="certificate CN=k3s,O=k3s ลงนามโดย CN=k3s-server-ca @ 1628021178: notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:06:18 +0000 UTC"
3 ส.ค. 20:06:18 น. k3svm1 k3s[19460]: time="2021-08-03T20:06:18.813556476Z" level=info msg="Active TLS secret (ver=) (count 9): map[listener.cattle .io/cn-10.43.0.1:10.43.0.1 listener.cattle.io/cn-127.0.0.1:127.0.0.1 listener.cattle.io/cn->
03 ส.ค. 20:06:18 น. k3svm1 k3s[19460]: time="2021-08-03T20:06:18.819862032Z" level=fatal msg="starting kubernetes: การเตรียมเซิร์ฟเวอร์: พบข้อมูล bootstrap แล้วและเข้ารหัสด้วยโทเค็นอื่น"
03 ส.ค. 20:06:18 k3svm1 systemd[1]: k3s.service: ออกจากกระบวนการหลักแล้ว, รหัส=ออกแล้ว, สถานะ=1/ล้มเหลว
3 ส.ค. 20:06:18 k3svm1 systemd[1]: k3s.service: ล้มเหลวด้วยผลลัพธ์ 'exit-code'
03 ส.ค. 20:06:18 k3svm1 systemd[1]: ไม่สามารถเริ่มน้ำหนักเบา Kubernetes
03 ส.ค. 20:06:23 น. k3svm1 systemd[1]: k3s.service: งานรีสตาร์ทตามกำหนดเวลา ตัวนับการรีสตาร์ทอยู่ที่ 1
03 ส.ค. 20:06:23 k3svm1 systemd[1]: หยุด Kubernetes ที่มีน้ำหนักเบา
03 ส.ค. 20:06:23 น. k3svm1 systemd[1]: กำลังเริ่มต้น Kubernetes ที่มีน้ำหนักเบา...
03 ส.ค. 20:06:23 น. k3svm1 sh[19478]: + /usr/bin/systemctl is-enabled --quiet nm-cloud-setup.service
03 ส.ค. 20:06:23 น. k3svm1 sh[19483]: ไม่สามารถรับสถานะไฟล์หน่วยสำหรับ nm-cloud-setup.service: ไม่มีไฟล์หรือไดเรกทอรีดังกล่าว
03 ส.ค. 20:06:24 น. k3svm1 k3s[19489]: time="2021-08-03T20:06:24.115279840Z" level=info msg="กำลังเริ่มต้น k3s v1.21.3+k3s1 (1d1f220f)"
03 ส.ค. 20:06:24 น. k3svm1 k3s[19489]: time="2021-08-03T20:06:24.119390931Z" level=info msg="การกำหนดค่าการรวมการเชื่อมต่อฐานข้อมูล mysql: maxIdleConns=2, maxOpenConns=0, connMaxLifetime=0s "
3 ส.ค. 20:06:24 น. k3svm1 k3s[19489]: time="2021-08-03T20:06:24.119554649Z" level=info msg="กำลังกำหนดค่าสคีมาตารางฐานข้อมูลและดัชนี อาจใช้เวลาสักครู่..."
3 ส.ค. 20:06:24 น. k3svm1 k3s[19489]: time="2021-08-03T20:06:24.121305745Z" level=info msg="ตารางฐานข้อมูลและดัชนีเป็นปัจจุบัน"
03 ส.ค. 20:06:24 น. k3svm1 k3s[19489]: time="2021-08-03T20:06:24.125898745Z" level=info msg="Kine ฟังบนยูนิกซ์://kine.sock"
03 ส.ค. 20:06:24 k3svm1 k3s[19489]: time="2021-08-03T20:06:24.146164308Z" level=fatal msg="starting kubernetes: การเตรียมเซิร์ฟเวอร์: พบข้อมูล bootstrap แล้วและเข้ารหัสด้วยโทเค็นอื่น"
03 ส.ค. 20:06:24 น. k3svm1 systemd[1]: k3s.service: ออกจากกระบวนการหลักแล้ว, รหัส=ออกแล้ว, สถานะ=1/ล้มเหลว
03 ส.ค. 20:06:24 k3svm1 systemd[1]: k3s.service: ล้มเหลวด้วยผลลัพธ์ 'exit-code'
03 ส.ค. 20:06:24 k3svm1 systemd[1]: ไม่สามารถเริ่มน้ำหนักเบา Kubernetes
03 ส.ค. 20:06:29 น. k3svm1 systemd[1]: k3s.service: งานรีสตาร์ทตามกำหนดการ ตัวนับการรีสตาร์ทอยู่ที่ 2
03 ส.ค. 20:06:29 k3svm1 systemd[1]: หยุด Kubernetes น้ำหนักเบา
03 ส.ค. 20:06:29 น. k3svm1 systemd[1]: กำลังเริ่มต้น Kubernetes ที่มีน้ำหนักเบา...
03 ส.ค. 20:06:29 น. k3svm1 sh[19507]: + /usr/bin/systemctl is-enabled --quiet nm-cloud-setup.service
03 ส.ค. 20:06:29 น. k3svm1 sh[19508]: ไม่สามารถรับสถานะไฟล์หน่วยสำหรับ nm-cloud-setup.service: ไม่มีไฟล์หรือไดเรกทอรีดังกล่าว
03 ส.ค. 20:06:29 น. k3svm1 k3s[19511]: time="2021-08-03T20:06:29.565328025Z" level=info msg="กำลังเริ่มต้น k3s v1.21.3+k3s1 (1d1f220f)"
03 ส.ค. 20:06:29 น. k3svm1 k3s[19511]: time="2021-08-03T20:06:29.568959518Z" level=info msg="การกำหนดค่าการรวมการเชื่อมต่อฐานข้อมูล mysql: maxIdleConns=2, maxOpenConns=0, connMaxLifetime=0s "
03 ส.ค. 20:06:29 น. k3svm1 k3s[19511]: time="2021-08-03T20:06:29.568994906Z" level=info msg="กำลังกำหนดค่าสคีมาตารางฐานข้อมูลและดัชนี อาจใช้เวลาสักครู่..."
03 ส.ค. 20:06:29 น. k3svm1 k3s[19511]: time="2021-08-03T20:06:29.570693830Z" level=info msg="ตารางฐานข้อมูลและดัชนีเป็นปัจจุบัน"
03 ส.ค. 20:06:29 น. k3svm1 k3s[19511]: time="2021-08-03T20:06:29.575194321Z" level=info msg="Kine ฟังบนยูนิกซ์://kine.sock"
03 ส.ค. 20:06:29 น. k3svm1 k3s[19511]: time="2021-08-03T20:06:29.594809727Z" level=fatal msg="starting kubernetes: เตรียมเซิร์ฟเวอร์: พบข้อมูล bootstrap แล้วและเข้ารหัสด้วยโทเค็นอื่น"
03 ส.ค. 20:06:29 น. k3svm1 systemd[1]: k3s.service: ออกจากกระบวนการหลักแล้ว, รหัส=ออกแล้ว, สถานะ=1/ล้มเหลว
3 ส.ค. 20:06:29 น. k3svm1 systemd[1]: k3s.service: ล้มเหลวด้วยผลลัพธ์ 'exit-code'
03 ส.ค. 20:06:29 k3svm1 systemd[1]: ไม่สามารถเริ่มน้ำหนักเบา Kubernetes
03 ส.ค. 20:06:34 น. k3svm1 systemd[1]: k3s.service: งานรีสตาร์ทตามกำหนดการ ตัวนับการรีสตาร์ทอยู่ที่ 3
03 ส.ค. 20:06:34 k3svm1 systemd[1]: หยุด Kubernetes น้ำหนักเบา
03 ส.ค. 20:06:34 k3svm1 systemd[1]: กำลังเริ่มต้น Kubernetes ที่มีน้ำหนักเบา...
3 ส.ค. 20:06:34 k3svm1 sh[19527]: + /usr/bin/systemctl is-enabled --quiet nm-cloud-setup.service
3 ส.ค. 20:06:34 น. k3svm1 sh[19530]: ไม่สามารถรับสถานะไฟล์หน่วยสำหรับ nm-cloud-setup.service: ไม่มีไฟล์หรือไดเรกทอรีดังกล่าว
จากนั้นการรีสตาร์ทจะดำเนินต่อไป
ดังที่ได้กล่าวไปแล้วว่าฉันได้ลองใช้หลายเวอร์ชันแล้ว แต่ดูเหมือนว่าจะไม่มีอะไรทำงาน นอกจากนี้ฉันไม่ได้รับข้อผิดพลาดจริงๆ
คำใบ้เดียวที่ฉันพบในปัญหาต่างๆ ของ GitHub คือการเปิดใช้งานการทำคอนเทนเนอร์เกี่ยวกับ Raspberry PI โดยการแก้ไข /boot/cmdline.txt
อย่างไรก็ตาม ฉันไม่ได้รับปัญหาเกี่ยวกับ PI แต่เป็น Proxmox-VM
มีบางอย่างที่ฉันขาดหายไปหรือไม่?
อย่างใด ผู้ชายคนนี้ จัดการเพื่อให้ทำงานในการตั้งค่าเดียวกัน
มีคนอื่นทำให้มันทำงานและอาจให้ข้อมูลอ้างอิงหรือไม่?