Proxmox VE显卡直通

博主:投稿投稿 2023-12-29 15:46:01 174 0条评论
摘要: 一、PVE显卡直通测试机 微星GE60 GTX950M1.在启动引导修改,修改后更新update-grubvi /etc/default/grub#intel的的CPU这样写(后面...

一、PVE显卡直通

测试机 微星GE60 GTX950M

1.在启动引导修改,修改后更新update-grub

vi /etc/default/grub

#intel的的CPU这样写(后面的显卡直通要用的GRUB_CMDLINE_LINUX_DEFAULT="quit intel_iommu=on video=efifb:off"

#amd的CPU这样写(后面的显卡直通要用的

GRUB_CMDLINE_LINUX_DEFAULT="quit amd_iommu=on video=efifb:off"

2.添加模块支持,写入如下配置vi /etc/modules

vfio

vfio_iommu_type1

vfio_pci

vfio_virqfd

3.添加黑名单vi /etc/modprobe.d/pve-blacklist.conf

#增加intel核显

blacklist snd_hda_intel

blacklist snd_hda_coder_hdmi

blacklist i915

#增加独显

blacklist nouveau

blacklist radeon

#增加N卡第一步

blacklist nvidiafb

要是增加的是N卡,还需进行这一步,要不是N卡请跳过该步骤

vi /etc/modprobe.d/kvm.conf

options kvm ignore_msrs=1

4.刷新内核

update-initramfs -u

重启,验证

lspci -nn #这样你就能看到能直通的设备会罗列出来(主要看什么设备,是网卡还是显卡等,然后看最后那个中括号里面的数值,写直通文件是需要)

直通显卡

vi /etc/modprobe.d/vfio.conf

#***:*** 这就是上一步中括号看到的内容

options vfio_pci ids=***:***

去PVE web端配置,在虚拟机配置处,添加 PCI硬件设备(注意不要勾选 主GPU选项,不然你就没有kvm显示界面了)

Ubuntu20.04-cli安装NVIADIA驱动 GTX1660TI

背景知识:虚拟机架构

q35 和ix440

q35支持直通,ix440不支持

OS:选择q35 bios:OVMF

二、Ubuntu调用显卡

STEP1: 禁用默认驱动:

sudo vim /etc/modprobe.d/blacklist.conf

在blacklist.conf文末添加:

blacklist nouveau

options nouveau modeset=0

执行更新:

sudo update-initramfs -u

更新后重启并验证nouveau是否已禁用

lsmod | grep nouveau 无显示即为禁用了

STEP2:驱动下载:

https://www.nvidia.cn/geforce/drivers/

env:gcc+ make

./NVIDIA-Linux-x86_64-470.63.01.run -no-nouveau-check -no-opengl-files

安装驱动

PS:安装过程中报错,需要签名,为secure-boot启用导致,bios关闭即可解决;
挂载驱动:modprobe nvidia

检查:nvidia-smi

ERRORS:重启驱动失效,偶尔发生,一般不会发生;

Nvidia-smi工具具有较多命令,nvidia-smi --help

限制功率 nvidia-smi -pl 100W

三、DOCKER 调用GPU方式

i>在线安装nvidia-docker


安装nvidia-docker
添加源
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
更新源--------可能会被墙,需要联网下载

sudo apt update

# 安装nvidia-docker2

sudo apt install -y nvidia-docker2

#重启docker

sudo pkill -SIGHUP dockerd

安装nvidia-docker

sudo nvidia-docker run --rm nvidia/cuda nvidia-smi(测试)

参考资料:https://www.cnblogs.com/g2thend/p/12092746.html

ii>离线安装nvidia-docker-toolkits

dpkg -i libnvidia-container1_1.4.0-1_amd64.deb libnvidia-container-tools_1.4.0-1_amd64.deb nvidia-container-toolkit_1.5.1-1_amd64.deb nvidia-container-runtime_3.5.0-1_amd64.deb

安装文件安装包放于linux tencent /VAR/WWW/HTML

下载安装包需要添加apt仓库才可下载,即执行

添加源

curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -

distribution=$(. /etc/os-release;echo $ID$VERSION_ID)

curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

更新源--------可能会被墙,需要联网下载

Proxmox VE显卡直通

按照顺序安装即可使用

在其中执行Miner程序时候,会报错无libpci的依赖问题,Lspci的工具包名为pciutils,安装即可解决;

PS:docker开启远程访问

vim /usr/lib/systemd/system/docker.service

ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock -H tcp://0.0.0.0:2375

Waring:此项非常不安装,仅开发环境和内网可用;

docker save ubuntu:en | docker -H 192.168.100.104:2355 load

(可成功执行)

PS:docker save images:tag | docker -H ip:port load 即可成功执行

docker save al:v1 | docker -H 192.168.1.8:2355 load

(存疑,报错:open /var/lib/docker/tmp/docker-import-309373007/repositories: no such file or directory)

docker远程api

可以在不同主机间直接使用

可以推导出:不同主机间如何使用共享存储,持久挂载卷的话,就可以直接迁移,因为物理内存并未改变;

方案一:

环境:Home

OS1---ubuntu20.04

OS2---ubuntu20.04

预计使用网络挂载实现,os1,与os2挂载可访问机械硬盘,然后在其之上挂载其文件;

测试镜像,nextcloud

No1 制作均可挂载的网络磁盘

安装NFS软件包,apt install nfs-kernel-server

添加nfs共享目录,vim /etc/exports

设置共享目录,/mnt *(rw,sync,no_root_squash) # *表示在任何网段均可访问

配置此目录,chmod -R 777 /mnt # -R表示递归更改该目录下所有文件

mount -t nfs 192.168.1.8:/mnt /msi -o nolock

参考文档https://blog.csdn.net/qq_37860012/article/details/86717891

nextcloud测试结果:

通过nextcloud通过网络磁盘,可以实现不同overlay2 docker互通使用

nextcloud条件:使用内置的sqlite,然后通过 docker save nextcloud:v1 | docker -H 192.168.100.1:2355 load

即可使用