Proxmox VE显卡直通
一、PVE显卡直通
测试机 微星GE60 GTX950M
1.在启动引导修改,修改后更新update-grub
vi /etc/default/grub
#intel的的CPU这样写(后面的显卡直通要用的GRUB_CMDLINE_LINUX_DEFAULT="quit intel_iommu=on video=efifb:off"
#amd的CPU这样写(后面的显卡直通要用的
GRUB_CMDLINE_LINUX_DEFAULT="quit amd_iommu=on video=efifb:off"
2.添加模块支持,写入如下配置vi /etc/modules
vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd
3.添加黑名单vi /etc/modprobe.d/pve-blacklist.conf
#增加intel核显
blacklist snd_hda_intel
blacklist snd_hda_coder_hdmi
blacklist i915
#增加独显
blacklist nouveau
blacklist radeon
#增加N卡第一步
blacklist nvidiafb
要是增加的是N卡,还需进行这一步,要不是N卡请跳过该步骤
vi /etc/modprobe.d/kvm.conf
options kvm ignore_msrs=1
4.刷新内核
update-initramfs -u
重启,验证
lspci -nn #这样你就能看到能直通的设备会罗列出来(主要看什么设备,是网卡还是显卡等,然后看最后那个中括号里面的数值,写直通文件是需要)
直通显卡
vi /etc/modprobe.d/vfio.conf
#***:*** 这就是上一步中括号看到的内容
options vfio_pci ids=***:***
去PVE web端配置,在虚拟机配置处,添加 PCI硬件设备(注意不要勾选 主GPU选项,不然你就没有kvm显示界面了)
Ubuntu20.04-cli安装NVIADIA驱动 GTX1660TI
背景知识:虚拟机架构
q35 和ix440
q35支持直通,ix440不支持
OS:选择q35 bios:OVMF
二、Ubuntu调用显卡
STEP1: 禁用默认驱动:
sudo vim /etc/modprobe.d/blacklist.conf
在blacklist.conf文末添加:
blacklist nouveau
options nouveau modeset=0
执行更新:
sudo update-initramfs -u
更新后重启并验证nouveau是否已禁用
lsmod | grep nouveau 无显示即为禁用了
STEP2:驱动下载:
https://www.nvidia.cn/geforce/drivers/
env:gcc+ make
./NVIDIA-Linux-x86_64-470.63.01.run -no-nouveau-check -no-opengl-files
安装驱动
PS:安装过程中报错,需要签名,为secure-boot启用导致,bios关闭即可解决;
挂载驱动:modprobe nvidia
检查:nvidia-smi
ERRORS:重启驱动失效,偶尔发生,一般不会发生;
Nvidia-smi工具具有较多命令,nvidia-smi --help
限制功率 nvidia-smi -pl 100W
三、DOCKER 调用GPU方式
i>在线安装nvidia-docker
安装nvidia-docker
添加源
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
更新源--------可能会被墙,需要联网下载
sudo apt update
# 安装nvidia-docker2
sudo apt install -y nvidia-docker2
#重启docker
sudo pkill -SIGHUP dockerd
安装nvidia-docker
sudo nvidia-docker run --rm nvidia/cuda nvidia-smi(测试)
参考资料:https://www.cnblogs.com/g2thend/p/12092746.html
ii>离线安装nvidia-docker-toolkits
dpkg -i libnvidia-container1_1.4.0-1_amd64.deb libnvidia-container-tools_1.4.0-1_amd64.deb nvidia-container-toolkit_1.5.1-1_amd64.deb nvidia-container-runtime_3.5.0-1_amd64.deb
安装文件安装包放于linux tencent /VAR/WWW/HTML
下载安装包需要添加apt仓库才可下载,即执行
添加源
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
更新源--------可能会被墙,需要联网下载
按照顺序安装即可使用
在其中执行Miner程序时候,会报错无libpci的依赖问题,Lspci的工具包名为pciutils,安装即可解决;
PS:docker开启远程访问
vim /usr/lib/systemd/system/docker.service
ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock -H tcp://0.0.0.0:2375
Waring:此项非常不安装,仅开发环境和内网可用;
docker save ubuntu:en | docker -H 192.168.100.104:2355 load
(可成功执行)
PS:docker save images:tag | docker -H ip:port load 即可成功执行
docker save al:v1 | docker -H 192.168.1.8:2355 load
(存疑,报错:open /var/lib/docker/tmp/docker-import-309373007/repositories: no such file or directory)
docker远程api
可以在不同主机间直接使用
可以推导出:不同主机间如何使用共享存储,持久挂载卷的话,就可以直接迁移,因为物理内存并未改变;
方案一:
环境:Home
OS1---ubuntu20.04
OS2---ubuntu20.04
预计使用网络挂载实现,os1,与os2挂载可访问机械硬盘,然后在其之上挂载其文件;
测试镜像,nextcloud
No1 制作均可挂载的网络磁盘
安装NFS软件包,apt install nfs-kernel-server
添加nfs共享目录,vim /etc/exports
设置共享目录,/mnt *(rw,sync,no_root_squash) # *表示在任何网段均可访问
配置此目录,chmod -R 777 /mnt # -R表示递归更改该目录下所有文件
mount -t nfs 192.168.1.8:/mnt /msi -o nolock
参考文档https://blog.csdn.net/qq_37860012/article/details/86717891
nextcloud测试结果:
通过nextcloud通过网络磁盘,可以实现不同overlay2 docker互通使用
nextcloud条件:使用内置的sqlite,然后通过 docker save nextcloud:v1 | docker -H 192.168.100.1:2355 load
即可使用