Eric's Blog - PVE相关

[PVE] 控制cpu频率实现降频降温省电

eric — Tue, 24 May 2022 00:58:00 +0000

1.首先修改启动项

vi /etc/default/grub

找到quiet那个位置，后面加空格，再加intel_pstate=disable

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_pstate=disable"

2.加上参数后保存，并更新grub

update-grub

3.保存完后重启生效

root

4.安装cpufrequtils

apt-get install cpufrequtils

5.配置

vi /etc/init.d/cpufrequtils

找到如下：

ENABLE="true"
GOVERNOR="ondemand"
MAX_SPEED="0"
MIN_SPEED="0"

改成：

ENABLE="true"
GOVERNOR="powersave"
MAX_SPEED="400000"  
MIN_SPEED="400000"
#400000 = 400MHz
#performance ondemand 需要改为powersave

6.保存后，重启服务：

systemctl daemon-reload
/etc/init.d/cpufrequtils restart

原文链接：原文

[PVE] 调整虚拟机(VM)的磁盘大小

eric — Tue, 27 Jul 2021 02:54:38 +0000

第一步

通过web ui中调整磁盘大小功能，先设置分配给虚拟机的磁盘空间

第二步

进入虚拟机系统，我这里的系统是CentOS，其他Linux系统应该类似。

查看磁盘信息，可以看到磁盘的总大小已经变化了，但是下边两个分区没有变

fdisk -l

第三步

给 /dev/sda2分区增加空间，注意里边的命令 resizepart 2 100% ，是把剩余的空间全部给到/dev/sda2

parted /dev/sda

print

resizepart 2 100%

quit

第四步

更新物理卷的大小，当然这里前提是使用了LVM

pvresize /dev/sda2

接下来更新逻辑卷的大小

lvresize --extents +100%FREE --resizefs /dev/mapper/centos-root

最后可以看到已经成功了

df -h

原文链接：原文

PVE 6.X更新到7.X

eric — Tue, 20 Jul 2021 05:59:00 +0000

1、在电脑上用Xshell之类的工具登录到PVE的SSH下，输入以下命令（带有#开头内容为注释，不需要输入的，只输入不是#开头的，下同）：

#修改PVE源
sed -i 's/buster\/updates/bullseye-security/g;s/buster/bullseye/g' /etc/apt/sources.list
#删除PVE企业源
rm -rf /etc/apt/sources.list.d/pve-install-repo.list

2、输入vi /etc/apt/sources.list ，按 i 进入编辑状态，把原来的内容全部删除，复制以下内容进去粘贴，保存退出；

# debian aliyun source
#deb https://mirrors.tuna.tsinghua.edu.cn/debian bullseye main contrib non-free
#deb https://mirrors.tuna.tsinghua.edu.cn/debian bullseye-updates main contrib non-free
#deb https://mirrors.tuna.tsinghua.edu.cn/debian-security bullseye-security main contrib non-free
#deb http://download.proxmox.com/debian/pve bullseye pve-no-subscription
deb http://ftp.debian.org/debian bullseye main contrib
deb http://ftp.debian.org/debian bullseye-updates main contrib
# security updates
deb http://security.debian.org bullseye-security main contrib
deb http://download.proxmox.com/debian/pve bullseye pve-no-subscription

3、输入以下命令更新系统（由于PVE的源在国外服务器，建议全局开飞机，否则更新非常的慢），期间有可能弹出类似下图的提示需要选择的界面，直接无脑的按回车就行：

apt update && apt dist-upgrade -y

4、更新完成，输入 reboot 重启PVE；

5、启动好了以后，继续输入以下命令：

apt autoremove -y

6、敲命令先查看当前系统内核，然后卸载无用的内核，保持系统干净（强迫症发作了）：

#查看当前用的内核
uname -a
#查看系统有多少个内核
dpkg --get-selections |grep kernel

7、卸载多余内核

#卸载无用内核，命令后面的pve-kernel-5.3.13-1-pve，是根据上一条命令显示出来的内核，需要修改成你自己PVE显示不用的，后面显示有purge字样的为系统使用中，不可以卸载的，其他的均可以卸载）
dpkg --purge --force-remove-essential pve-kernel-5.3.13-1-pve
dpkg --purge --force-remove-essential pve-kernel-5.3.13-3-pve
dpkg --purge --force-remove-essential pve-kernel-5.3.18-1-pve
dpkg --purge --force-remove-essential pve-kernel-5.3.18-2-pve
dpkg --purge --force-remove-essential pve-kernel-5.3.18-3-pve
dpkg --purge --force-remove-essential pve-kernel-5.4 
dpkg --purge --force-remove-essential pve-kernel-5.4.101-1-pve
dpkg --purge --force-remove-essential pve-kernel-5.4.103-1-pve
dpkg --purge --force-remove-essential pve-kernel-5.4.106-1-pve
dpkg --purge --force-remove-essential pve-kernel-5.4.114-1-pve
dpkg --purge --force-remove-essential pve-kernel-5.4.119-1-pve
dpkg --purge --force-remove-essential pve-kernel-5.4.124-1-pve
dpkg --purge --force-remove-essential pve-kernel-5.4.34-1-pve
dpkg --purge --force-remove-essential pve-kernel-5.4.41-1-pve
dpkg --purge --force-remove-essential pve-kernel-5.4.44-1-pve
dpkg --purge --force-remove-essential pve-kernel-5.4.44-2-pve
dpkg --purge --force-remove-essential pve-kernel-5.4.55-1-pve
dpkg --purge --force-remove-essential pve-kernel-5.4.60-1-pve
dpkg --purge --force-remove-essential pve-kernel-5.4.65-1-pve
dpkg --purge --force-remove-essential pve-kernel-5.4.73-1-pve
dpkg --purge --force-remove-essential pve-kernel-5.4.78-1-pve
dpkg --purge --force-remove-essential pve-kernel-5.4.78-2-pve
dpkg --purge --force-remove-essential pve-kernel-5.4.98-1-pve

dpkg --purge --force-remove-essential pve-kernel-5.3.13-1-pve

#把不用的内核删除完成后，更新引导菜单
update-grub
#重启PVE
reboot

8、删除完成后再次查看内核，只有在使用的，没有多余的了；

9、进入PVE以后，系统可能还会自动重启3-4次，属于正常现象，请耐心等候，不要以为机子出了问题。等机器不再重启后，就可以把虚拟机启动起来。

10、优化PVE：

#安装时间同步工具，自动同步时间 
apt install chrony -y
#安装网络配置修改后自动应用刷新的工具
apt install ifupdown2 -y
#删除以前的时间同步工具
apt remove systemd-timesyncd -y
apt-get remove --purge systemd-timesyncd

11、再回到网页端，已经更新到7.0-10了

[PVE] 证书订购Ali dnspod

eric — Tue, 09 Mar 2021 01:48:00 +0000

1.申请账户

a.数据中心-ACME
    I）  账户-添加
    II） 输入账户的名称（英文和数字英文开头）
    III）输入邮箱
    IV） 选择：Let's Encrypt V2 
    V）  点击注册

2.填写ACME插件参数(token)

a.数据中心-ACME
    I）  Alibaba Cloud DNS  
    II） 名称自定义
    III）Ali_key:输入在alidns获取的
    IV） Ali_Secret：输入在Alidns获取的

    I）  dp 
    II） 名称自定义
    III）API数据填入
         DP_Id= dnspod.cn获取的id
         DP_Key=dnspod.cn获取的key

3.申请证书

a.节点-证书
    I）  选择使用的账户（选择新建的账户）
    II） 点击添加-选择类型为DNS--选择使用的插件（上面建的）-下面输入插件对应的域名
    III）点击创建
    IV） 点击立即订购证书

[PVE] 曲线安装PVE6.3

eric — Wed, 03 Mar 2021 04:29:00 +0000

自用是一台i3-5010U的小主机，安装PVE6.3出现白屏

白屏时现象:有鼠标，鼠标右键有弹出菜单，折腾过如下方法，来自网上各个帖子与尝试，均失败

先用的HDMI，失败
换成VGA，失败
两个屏幕同时插，失败
从bios中，将Graphic设定为LVDS，甭管是最高分辨率还是最低分辨率，直接不亮了，失败中的失败，都要重新给bios放电重置
用ventoy启动，失败
烧录u盘，用u盘启动，失败
白屏后 按alt 或 ctrl 尝试拖界面，失败

升级pve到6.3
参考的是这篇文章 https://blog.51cto.com/tasnrh/2423364

换国内源更新vpe5.4

echo "deb https://mirrors.ustc.edu.cn/debian/ stretch main contrib non-free deb-src https://mirrors.ustc.edu.cn/debian/ stretch main contrib non-free deb https://mirrors.ustc.edu.cn/debian/ stretch-updates main contrib non-free deb-src https://mirrors.ustc.edu.cn/debian/ stretch-updates main contrib non-free deb https://mirrors.ustc.edu.cn/debian/ stretch-backports main contrib non-free deb-src https://mirrors.ustc.edu.cn/debian/ stretch-backports main contrib non-free deb https://mirrors.ustc.edu.cn/debian-security/ stretch/updates main contrib non-free deb-src https://mirrors.ustc.edu.cn/debian-security/ stretch/updates main contrib non-free" > /etc/apt/sources.list

或者换 163的源

cat > /etc/apt/sources.list <

修改pve 5.x 更新源地址为 no subscription，不使用企业更新源

echo "deb http://mirrors.ustc.edu.cn/proxmox/debian/pve/ stretch pve-no-subscription" > /etc/apt/sources.list.d/pve-no-sub.list

关闭pve 5.x企业更新源

sed -i.bak 's|deb https://enterprise.proxmox.com/debian stretch pve-enterprise|# deb https://enterprise.proxmox.com/debian stretch pve-enterprise|' /etc/apt/sources.list.d/pve-enterprise.list

修改 ceph镜像更新源

echo "deb http://mirrors.ustc.edu.cn/proxmox/debian/ceph-luminous stretch main" >> /etc/apt/sources.list.d/ceph.list

开始更新即可

apt update && apt dist-upgrade

升级Corosync到Corosync 3

关闭高可用服务，只有一台pve的可以忽略。

systemctl stop pve-ha-lrm
systemctl stop pve-ha-crm

添加Proxmox Corosync 3 Stretch存储库

echo“deb http://mirrors.ustc.edu.cn/proxmox/debian/corosync-3/ stretch main”> /etc/apt/sources.list.d/corosync3.list

运行命令更新

apt update

根据官方手册支持执行：

apt list --upgradeable
apt dist-upgrade --download-only
apt dist-upgrade

如果关闭了高可用服务的在更新完毕后需要重新启动高可用服务

systemctl start pve-ha-lrm
systemctl start pve-ha-crm

升级pve到6.3 执行以下更新命令确保最新：

apt update
apt dist-upgrade

执行镜像源更新命令，将Debian的镜像源更换为升级源

sed -i 's/stretch/buster/g' /etc/apt/sources.list

添加Proxmox VE 6的镜像存储库地址

echo "deb http://mirrors.ustc.edu.cn/proxmox/debian/pve buster pve-no-subscription " > /etc/apt/sources.list.d/pve-no-sub.list

修改其他镜像源的升级包地址

sed -i -e 's/stretch/buster/g' /etc/apt/sources.list.d/pve-install-repo.list

修改Ceph的升级包地址

echo "deb http://mirrors.ustc.edu.cn/proxmox/debian/ceph-luminous buster main" > /etc/apt/sources.list.d/ceph.list

开始运行更新命令

apt update
apt dist-upgrade

在更新的过程中会出现几次输入的交互，第一次提示apt相关信息，输入Q退出继续执行更新，后续直接确认回车即可。

原文链接：链接 PVE5.4地址：链接 PVE5.4地址：链接



PVE 使用过程中的问题汇总
eric — Fri, 04 Dec 2020 06:26:00 +0000

1.镜像上传路径
/var/lib/vz/template/iso/
2.虚拟机配置路径
/etc/pve/nodes/pve/qemu-server/
3.移除PVE “没有有效订阅” 的弹窗提示
I.备份文件cp /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js_back
II.修改文件vi /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js
III.然后找到if (data.status !== 'Active') {
修改为if (false) {
IV.然后保存，重启网页服务 systemctl restart pveproxy
或者
或者
 Ext.Msg.show({
修改为
 Ext.Msg.noshow({

4.删除添加的PVE磁盘（目录）
vi /etc/pve/storage.cfg
5.网络网卡问题
apt-get install ifupdown2
6.解锁虚拟机（解决不能停止 重启 关机）
qm unlock 虚拟机ID
qm stop 虚拟机ID
qm status 虚拟机ID






Proxmox VE（PVE）如何添加多块硬盘
eric — Wed, 02 Dec 2020 04:53:00 +0000

Proxmox（PVE）安装时候只有一块硬盘，我使用了ssd作为系统盘，并安装各种系统在ssd上面，但是想把数据存放在普通的机械硬盘上，这样我们就需要添加另一块硬盘了！
1.我用来当数据盘的设备名称为 sdc
也可以到终端内使用命令查看
ls /dev/sd*
2.如果/dev/sdb这种样子，后面没有sdb1等数字，说明硬盘还没有分区
之后我们要把这个硬盘分区，并格式化为ext4格式
fdisk /dev/sdc
Select (default p): (直接按下enter)      
Partition number (1-4, default 1): (直接按下enter)      
First sector (2048-167772159, default 2048): (直接按下enter)      
Last sector, +sectors or +size{K,M,G} (2048-167772159, default 167772159): (直接按下enter)      
Command (m for help): w
3.上面的sector会根据你硬盘大小改变，我们分一个区，所以直接默认回车就可以
分区之后就会多出一个 /dev/sdc1，之后我们格式化为ext4格式
mkfs -t ext4 /dev/sdc1
格式化需要一些时间，等待一下就可以，不要着急，完成后出现done
4.之后我们要挂载到pve上面，先新建一个挂载目录
mkdir -p /mnt/sdc1
然后把硬盘挂载信息写入 /etc/fstab
echo /dev/sdc1 /mnt/sdc1 ext4 defaults 1 2 >> /etc/fstab
5.如果这里你操作错误，可能会导致PVE无法启动，需要在启动时候接上显示器，进入修复模式 repair filesystem ，直接输入root密码即可进入
因为此时/目录是只读模式，进行修改/etc/fstab时，提示无法保存（只读），这时需要将/目录重新挂载为可读写模式 ，用命令
mount -o remount,rw,auto /
然后再对/etc/fstab进行修改就可以了。重启后系统正常启动。
之后重启PVE即可
reboot
6.开机添加目录
数据中心--添加--目录
ID随意填写，目录为挂载的目录/mnt/sdc1，内容位置全选。
硬盘就添加完成了.



[PVE]开启网卡直通，显卡直通，USB直通。
eric — Wed, 02 Dec 2020 03:36:00 +0000

一、确认自己的主板CPU是否支持Vt-d功能
不支持就搞不了直通。intel要b75以上芯片组才支持。也就是说intel4代酷睿处理器以上，都支持。amd不明。如果支持，需要先去主板开启vt-d。
二、开启iommu
vi /etc/default/grub

在里面找到：GRUB_CMDLINE_LINUX_DEFAULT="quiet"
然后修改为：GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on"
如果是amd cpu请改为：GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on"
修改完成之后，直接更新grub
update-grub
*#AMD cpu也可以执行
pve-efiboot-tool refresh
三、加载相应的内核模块
echo vfio >> /etc/modules
echo vfio_iommu_type1 >> /etc/modules
echo vfio_pci >> /etc/modules
echo vfio_virqfd >> /etc/modules
或者使用vi /etc/modules 在末尾添加
vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd
然后重启PVE
四、验证是否开启iommu
重启之后，在终端输入
dmesg | grep 'remapping'
出现如下例子。则代表成功
AMD-Vi: Interrupt remapping enabled
或者
DMAR-IR: Enabled IRQ remapping in x2apic mode
此时输入命令
find /sys/kernel/iommu_groups/ -type l 
*#出现很多直通组，就代表成功了。如果没有任何东西，就是没有开启
开始PCI-E直通
1、屏蔽显卡
查看显卡，很多设备，自己看是哪个
lspci   
83:00.0 3D controller: NVIDIA Corporation GP106 [P106-090] (rev a1)
其中83:00 是代表组名。83:00.0 是代表83:00组的第一个设备
lspci -n -s 83:00      #查看  83:00 组的所有pci设备
83:00.0 0302: 10de:1c09 (rev a1)
直接屏蔽，直接让系统不启用它。
echo "blacklist radeon" >> /etc/modprobe.d/blacklist.conf 
echo "blacklist nouveau" >> /etc/modprobe.d/blacklist.conf 
echo "blacklist nvidia" >> /etc/modprobe.d/blacklist.conf 
echo "blacklist nvidiafb" >> /etc/modprobe.d/blacklist.conf 
echo "blacklist amdgpu" >> /etc/modprobe.d/blacklist.conf 
echo "blacklist snd_hda_intel" >> /etc/modprobe.d/blacklist.conf 
echo "blacklist snd_hda_codec_hdmi" >> /etc/modprobe.d/blacklist.conf 
echo "blacklist i915" >> /etc/modprobe.d/blacklist.conf 
把显卡添加到直通组
echo "options vfio-pci ids=10de:1381,10de:0fbc" > /etc/modprobe.d/vfio.conf
*#注意，上面这条命令，ids=后面跟直通组的所有设备。中间以英文逗号隔开。自己的设备自己替换。
上述操作完成之后，再检查一下，是否将例子内容替换成自己的。使用以下命令查看。
cat /etc/modprobe.d/blacklist.conf
cat /etc/modprobe.d/vfio.conf
检查无误之后，重启
2、开始直通
首先确定自己的显卡是否支持UEFI。
一般情况下，amd r9以后的显卡都支持uefi。nvidia，9代以上显卡均支持UEFI。
uefi的显卡，需要用ovmf bios。也就不能使用win7。
新建一个虚拟机。bios类型，根据显卡支不支持uefi选择。cpu类型设置为host，并且开启muma，内存一定要为静态内存，也就是最大最小都为一样。
系统安装好之后。开始配置直通
vi /etc/pve/qemu-server/100.conf       #请把这里的100替换成自己的vmid
添加
hostpci0: 83:00,pcie=1,x-vga=on    
以上就是直通设置。



Proxmox VE（PVE）安装LEDE/OpenWrt
eric — Wed, 02 Dec 2020 02:59:26 +0000

对于LEDE来说，官网只提供IMG文件，不提供ISO文件，PVE虚拟机来说，安装LEDE还是有点麻烦的，以下教程详细介绍PVE如何安装LEDE（新版本也称OpenWrt）。
一、环境介绍
PVE版本：Proxmox Virtual Environment 5.4-3
LEDE版本：openwrt-koolshare-mod-v2.31-r10822-50aa0525d1-x86-64-combined-squashfs.img.gz
二、环境创建
1、点击“创建虚拟机”按钮，勾上“高级”，勾上“开机自启动”（软路由一般情况下开机启动），名称填入虚拟机名称（例如LEDE），点击“下一步”
2、操作系统选择“Linux”，版本选择“4.X/3.X/2.6 Kernel”（可能更高版本的PVE会有不同的选项）即可，选择“不适用任何介质”，点击“下一步”
3、系统默认即可，点击“下一步”
4、硬盘，这边随便设置，之后会删除的，点击“下一步”
5、CPU按照实际情况选择，点击“下一步”
6、内存大小设置，也是根据实际情况选择，点击“下一步”
7、网络模型选择“intel E1000”，关闭防火墙（勾去掉），点击“下一步”
8、直接点击“完成”
9、选择“LEDE” --> "硬件"，找到硬盘，选中点击“分离”
10、硬盘分离后，选中未使用的磁盘0，点击“删除”
三、磁盘设置
1、解压openwrt-koolshare-mod-v2.31-r10822-50aa0525d1-x86-64-combined-squashfs.img.gz文件，解压出openwrt-koolshare-mod-v2.31-r10822-50aa0525d1-x86-64-combined-squashfs.img重名为openwrt.img（原来文件名太长，输命令比较麻烦）
2、使用WinSCP把openwrt.img上传到根目录
3、添加磁盘。选择Shell，输入qm importdisk 100 ./openwrt.img local-lvm 会看到vm-100-disk-0正在创建
100是虚拟机编号，openwrt.img是刚才上传的lede镜像（如果已经有100虚拟机了 就修改为其他的比如101）
4、添加磁盘。进入LEDE硬件设置，选中未使用的磁盘0，点击编辑，弹出窗口默认配置即可，直接点击添加
5、调准磁盘大小，选中硬盘，点击“调整磁盘大小”，弹出框 输入要增加的磁盘大小。
四、启动顺序
LEDE选项，引导顺序，改为硬盘
五、启动LEDE并配置
六、添加网卡
关闭lede，添加网卡，配置好LEDE的lan之后再添加网卡会比较方便不容易出问题。



ProxmoxVE 更新软件包数据库失败解办法
eric — Wed, 02 Dec 2020 02:34:48 +0000

问题：使用 Proxmox VE 默认的 APT 更新源，在 WEB 管理面板 更新 点击 刷新 后，会显示错误：
TASK ERROR: command 'apt-get update' failed: exit code 100
使用方法：
(1) 备份原来的 sources.list
cp /etc/apt/sources.list /etc/apt/sources.list.bak
(2) 用下面的官方非订阅源替换掉 sources.list 的内容
非官方源：
deb http://ftp.debian.org/debian buster main contrib
deb http://ftp.debian.org/debian buster-updates main contrib

# PVE pve-no-subscription repository provided by proxmox.com,
# NOT recommended for production use
deb http://download.proxmox.com/debian/pve buster pve-no-subscription

# security updates
deb http://security.debian.org buster/updates main contrib
(3) 注释 /etc/apt/sources.list.d/pve-enterprise.list 中源地址
# deb https://enterprise.proxmox.com/debian/pve buster pve-enterpris
(4) 执行更新
apt-get update