ตรวจไม่พบอุปกรณ์ CUDA หลังจากรีสตาร์ท Google Cloud Notebook

ปัญหานี้เกิดขึ้นเมื่อฉันรีสตาร์ทเซิร์ฟเวอร์โน้ตบุ๊กระบบคลาวด์ในวันนี้ สามารถทำซ้ำได้โดยใช้ขั้นตอนด้านล่าง:

1. สร้างเซิร์ฟเวอร์ Google Cloud Notebook ด้วย Tensorflow หรือ Pytorch และ GPU

2. หลังจากเริ่มเซิร์ฟเวอร์ ให้เปิดคอนโซลไพธอน:

>>>นำเข้าไฟฉาย
>>> torch.cuda.is_available()
จริง

อุปกรณ์ CUDA มีให้บริการจนถึงปัจจุบัน

3. รีสตาร์ทเซิร์ฟเวอร์ และเปิดสมุดบันทึกอีกครั้ง

>>>นำเข้าไฟฉาย
>>> torch.cuda.is_available()
/opt/conda/lib/python3.7/site-packages/torch/cuda/__init__.py:52: UserWarning: การเริ่มต้น CUDA: ข้อผิดพลาดที่ไม่รู้จัก CUDA - อาจเป็นเพราะสภาพแวดล้อมที่ตั้งค่าไม่ถูกต้อง เช่น เปลี่ยนตัวแปร env CUDA_VISIBLE_DEVICES หลังจากเริ่มโปรแกรม การตั้งค่าอุปกรณ์ที่มีอยู่เป็นศูนย์ (ทริกเกอร์ภายในที่ /opt/conda/conda-bld/pytorch_1614378098133/work/c10/cuda/CUDAFunctions.cpp:109)
  ส่งคืน torch._C._cuda_getDeviceCount() > 0
เท็จ

nvidia-smi คำสั่งทำงานได้ดี

+--------------------------------------------- ----------------------------+
| เวอร์ชันไดรเวอร์ NVIDIA-SMI 450.80.02: 450.80.02 เวอร์ชัน CUDA: 11.0 |
|---------------------------------------++---------------- ----------------------------+
| ชื่อ GPU ความคงทน-M| Bus-Id Disp.A | ผันผวน Uncorr ECC |
| Fan Temp Perf Pwr:การใช้งาน/ความจุ| การใช้งานหน่วยความจำ | GPU-Util Compute M. |
| | | MIG M. |
|==============================+================== =====+======================|
| 0 เทสลา T4 ปิด | 00000000:00:04.0 ปิด | 0 |
| ไม่ระบุ 43C P0 16W / 70W | 0MiB / 15109MiB | ค่าเริ่มต้น 0% |
| | | ไม่มี |
+--------------------------------------+-------- ----------------------------+
                                                                               
+--------------------------------------------- ----------------------------+
| กระบวนการ: |
| GPU GI CI ประเภท PID ชื่อกระบวนการ หน่วยความจำ GPU |
| รหัส ID การใช้ |
|================================================= ============================|
| ไม่พบกระบวนการทำงาน |
+--------------------------------------------- ----------------------------+

nvcc: ไดรเวอร์คอมไพเลอร์ NVIDIA (R) Cuda
ลิขสิทธิ์ (c) 2005-2020 NVIDIA Corporation
สร้างเมื่อ Thu_Jun_11_22:26:38_PDT_2020
เครื่องมือรวบรวม Cuda, รีลีส 11.0, V11.0.194
สร้าง cuda_11.0_bu.TC445_37.28540450_0

ปัญหานี้สามารถทำซ้ำได้โดยใช้ TensorFlow กรณีแบบนี้จะแก้ไขอย่างไร?

ตัวเลือกที่ 1:
อัปเกรดสภาพแวดล้อมของอินสแตนซ์ Notebooks อ้างถึง ลิงค์ อัพเกรด.
อินสแตนซ์โน้ตบุ๊กที่สามารถอัพเกรดได้เป็นแบบดิสก์คู่ โดยมีดิสก์สำหรับบูตหนึ่งอันและดิสก์ข้อมูลหนึ่งอัน กระบวนการอัปเกรดจะอัปเกรดดิสก์สำหรับบูตเป็นอิมเมจใหม่ในขณะที่รักษาข้อมูลของคุณในดิสก์ข้อมูล

ตัวเลือกที่ 2:
เชื่อมต่อกับ VM ของโน้ตบุ๊กผ่าน SSH และเรียกใช้คำสั่ง ลิงค์.
หลังจากดำเนินการตามคำสั่ง เวอร์ชัน cuda จะอัปเดตเป็น 11.3 และเวอร์ชันไดรเวอร์ nvidia เป็น 465.19.01
รีสตาร์ท VM ของโน้ตบุ๊ก

บันทึก: ปัญหาได้รับการแก้ไขแล้วในอิมเมจ GPU สมุดบันทึกใหม่จะถูกสร้างขึ้นด้วยอิมเมจเวอร์ชัน M74 เกี่ยวกับเวอร์ชันรูปภาพใหม่ยังไม่ได้รับการอัปเดตใน google-public-ตัวติดตามปัญหา แต่คุณสามารถค้นหาอิมเมจเวอร์ชันใหม่ M74 ได้ในคอนโซล