mkdir /etc/libvirt/hooks
for f in daemon qemu lxc libxl network; do
  echo '#!/bin/sh
iptables-restore < /etc/sysconfig/iptables
iptables -I FORWARD -j ACCEPT' > "/etc/libvirt/hooks/$f"
  chmod +x "/etc/libvirt/hooks/$f"
done
service libvirtd restart

libguestfs 是一组 Linux 下的 C 语言的 API ，用来访问虚拟机的磁盘映像文件。该工具包内包含的工具有virt-cat、virt-df、virt-ls、virt-copy-in、virt-copy-out、virt-edit、guestfs、guestmount、virt-list-filesystems、virt-list-partitions等工具，具体用法也可以参看官网。该工具可以在不启动KVM guest主机的情况下，直接查看guest主机内的文内容，也可以直接向img镜像中写入文件和复制文件到外面的物理机，当然其也可以像mount一样，支持挂载操作。

安装Libguestfs

yum install libguestfs-tools

实例

如何利用Libguestfs修复受损虚拟机？

作为VMware虚拟化环境管理员，你肯定遇到过虚拟机无法启动的情况。实施排错时，你需要对虚拟机的内部进行检查。而Libguestfs Linux工具集可以在这种情况下为你提供帮助。Libguestfs允许在虚拟机上挂载任何类型的文件系统，以便修复启动故障。

利用Libguestfs找出损坏的虚拟机文件

使用Libguestfs，首先需要使用Libvirt。Libvirt是一个管理接口，可以和KVM、Xen和其他一些基于Liunx的虚拟机相互连接。Libguestfs的功能更加强大，可以打开Windows虚拟机上的文件。这意味着除了能够使用libguestfs，你还需要一些关于虚拟机操作系统内部架构的知识。但是首先你需要将虚拟机迁移到libguestfs可用的环境当中，也就是Linux环境。

1. 使用guestfish操作虚拟机

完成虚拟机磁盘镜像文件的复制之后，可以在libguestfs中使用guestfish这样的工具将其打开，这样就可以直接在vmdk文件上进行操作了。使用

guestfish -rw -a /path/to/windows.vmdk
命令来在虚拟机中创建一个连接到文件系统的交互式shell。在新出现的窗口中，你可以使用特定的命令来操作虚拟机文件。

第一个任务就是找到可用的文件系统：

\><fs> run 
\><fs> list-filesystems 
/dev/sda1: ntfs 
/dev/sda2: ntfs 

当你使用guestfish shell找到可用文件系统类型之后，就可以进行挂载了。使用命令

mount /dev/sda2 /
来挂载二个分区的内容——在Linux中是/dev/sda2——到guestfish根目录下。在guestfish中，你不能像在其他shell环境中一样操作目录。挂载的分区就是根目录，你不能使用cd命令来切换目录，这意味着所有的路径必须是完全限定路径，从根目录开始。

在guestfish shell当中可以使用像vi、ls、cat、more、download这样的命令，来查看和下载文件以及目录，输入help可以看到完整的命令信息。

在完整所有操作之后可以使用exit来关闭guestfish shell。

2. virt-rescue提供了直接访问方式

在libguestfs工具中，还有许多其他可用的工具。

virt-rescue命令——是使用正常的Linux文件系统工具来实现ad-hoc变化的最佳命令——可以在安全shell中启动虚拟机。你可以在虚拟机中操作这些文件，就像对挂载的文件系统上进行操作一样，其提供了对虚拟机内容更加直接的访问方式。
为了在虚拟机上使用virt-rescue命令进行操作，使用

virt-rescure 虚拟机名
来打开virt-rescue shell，之后就进入了
><rescue>
模式。

如果需要在虚拟机中挂载系统文件，可以使用
fdisk -l /dev/sda
命令来查看虚拟机的分区情况，之后再使用命令

mount /dev/sda1 /sysroot
挂载你想要访问的分区。这样你就可以通过更改来修复虚拟机的内容了。
虚拟机修复之后，关闭virt-rescue shell，将虚拟机重新移动到ESXi服务器的数据存储当中。虚拟机返回原位置之后，如果之前的操作一切顺利，你就应该可以访问它了。

其他命令：

virt-df

查看磁盘占用率

[root@localhost file]# virt-df centos.img
Filesystem                           1K-blocks       Used  Available  Use%
centos.img:/dev/sda1                    495844      31950     438294    7%
centos.img:/dev/VolGroup/lv_root      28423176     721504   26257832    3%

virt-ls

查看目录下文件

[root@localhost file]# virt-ls centos.img /
.autofsck
bin
boot
dev
etc
home
lib
lib64
lost+found
media
mnt
opt
proc
root
sbin
selinux
srv
sys
tmp
usr

virt-copy-out

将镜像里的文件拷贝出来

virt-copy-out -d 虚拟机名 /etc/passwd /tmp/

virt-filesystems

virt-list-filesystems

virt-list-partitions

查看分区相关信息

[root@localhost file]# virt-filesystems  -d 虚拟机名
/dev/sda1
/dev/VolGroup/lv_root

[root@localhost file]# virt-list-filesystems  /file/centos.img
/dev/VolGroup/lv_root
/dev/sda1

[root@localhost file]# virt-list-partitions  /file/centos.img
/dev/sda1
/dev/sda2

guestmount

分区挂载

[root@localhost ~]# guestmount -a /file/centos.qcow2  -m /dev/sda2  --rw /mnt
libguestfs: error: mount_options: /dev/sda2 on / (options: ''): mount: unknown filesystem type 'LVM2_member'
guestmount: '/dev/sda2' could not be mounted.
guestmount: Did you mean to mount one of these filesystems?
guestmount:     /dev/sda1 (ext4)
guestmount:     /dev/VolGroup/lv_root (ext4)
guestmount:     /dev/VolGroup/lv_swap (swap)
[root@localhost ~]# guestmount -a /file/centos.qcow2  -m /dev/VolGroup/lv_root  --rw /mnt
fuse: mountpoint is not empty
fuse: if you are sure this is safe, use the 'nonempty' mount option
libguestfs: error: fuse_mount: /mnt: Resource temporarily unavailable
[root@localhost ~]# ls /mnt/
bin  boot  dev  etc  home  lib  lib64  lost+found  media  mnt  opt  proc  root  sbin  selinux  srv  sys  tmp  usr  var
[root@localhost ~]# umount /mnt/

[root@localhost ~]# guestmount -a /file/centos.qcow2  -m /dev/VolGroup/lv_root  --rw /mnt
[root@localhost ~]# ls /mnt/
bin  boot  dev  etc  home  lib  lib64  lost+found  media  mnt  opt  proc  root  sbin  selinux  srv  sys  tmp  usr  var

[root@localhost ~]# umount /mnt/

使用libguestfs访问windows系统

[root@localhost opt]# virt-ls -a /file/win7.img c:
virt-ls: no operating system was found on this disk
If using guestfish '-i' option, remove this option and instead
use the commands 'run' followed by 'list-filesystems'.
You can then mount filesystems you want by hand using the
'mount' or 'mount-ro' command.
If using guestmount '-i', remove this option and choose the
filesystem(s) you want to see by manually adding '-m' option(s).
Use 'virt-filesystems' to see what filesystems are available.
If using other virt tools, this disk image won't work
with these tools.  Use the guestfish equivalent commands
(see the virt tool manual page).
RHEL 6 notice
-------------
libguestfs will return this error for Microsoft Windows guests if the
separate 'libguestfs-winsupport' package is not installed. If the
guest is running Microsoft Windows, please try again after installing
'libguestfs-winsupport'.

需要注意的是，上面的用法中，有两个错误的地方，一处是linux查看C分区，后面不能直接跟C：，而应该换用/ ；第二个错误是由于没有安装libguestfs-winsupport 。该工具也可以看接通过yum安装 。安装完该包后，再进行查看：

[root@localhost opt]# virt-ls -a /file/win7.img /
$Recycle.Bin
Documents and Settings
PerfLogs
Program Files
Program Files (x86)
ProgramData
Recovery
System Volume Information
Users
Windows
pagefile.sys

利用guestmount进行挂载

[root@localhost ~]# guestmount -a /file/win7.img  -m /dev/sda2  --rw /mnt
[root@localhost ~]# ls /mnt/
Documents and Settings  pagefile.sys  PerfLogs  ProgramData  Program Files

为什么要“注入”到VM内部

原因很简单：在VM外部无法实现，只能进入到VM内来实现

KVM不像Docker(container)只是对进程进行cgroup隔离，KVM是全封闭的环境。

对于基于KVM的虚拟机来说，通常存在如下需求：

• 在线修改密码
• 在线增加公钥
• 在线采集性能（如cpu使用率、负载、内存使用量等性能指标）
• 其他各种在线功能

上述这些场景的共性：仅在VM外部是无法实现的。因此就有了多种解决方案，但无论哪种解决方案都要同时满足以下2点才能实现：

• 通道：在VM内部与外部（宿主）之间打开一个通道，可以进行数据交互
• agent：在VM内部种下一个agent，用于接收外部的指令并反馈结果

在VM内部种下agent的做法可以形象地称之为"inject 注入"

如何实现“注入”

第一步，打开通道

有2类方法：

• 走网络：会复杂一些，需要提前预插入一张管理网卡，或者利用已有网卡+特殊的路由来确保数据能走出去，这带来了较为复杂的网络拓扑
• 走设备：简单很多，只需在VM内部和宿主之间建立一个设备通道即可。比如为KVM虚拟机增加一个字符设备，并在宿主上映射为一个socket文件。字符设备与socket之间形成了一个channel，通过该channel就可以进行内外数据互通

“走网络”不是本文想要介绍的，接下来所有内容均为“走设备”

第二步，启动agent

在虚拟机里启动一个agent，实时读取字符设备，实现与宿主的数据交互。

在channel中发送与接收什么样的数据，是可以自己定义的，也可以使用KVM官方实现的解决方案，称为Qemu Guest Agent，简称qemu-ga。它包含2方面：

• channel中传送数据的协议定义：基于JSON的格式
• VM内的agent：启动一个名叫qemu-ga的守护进程，该进程将从字符设备里获取传进来的json指令，然后根据指令执行相关命令，并将结果通过字符设备返回给宿主

qemu-ga的好用之处在于其封装的指令兼容了一些不同的操作系统，比如写文件指令guest-file-write，既可以用于linux也可以用于windows。

关于qemu-ga的配置与使用，笔者之前已写过一篇文章《基于QMP实现对qemu虚拟机进行交互》，详细介绍其工作原理及基本使用方法，这里附上地址

https://www.toutiao.com/i6646012291059810823/

由于本文主题是“注入写文件”，因此接下来将重点阐述如何写文件，不过也会将qemu-ga的部署与启用方法再次贴出。

Step1. 为VM配置channel

通过libvirt启动的虚拟机，可以在XML里增加一段配置

<channel type='unix'>
  <source mode='bind' path='/tmp/channel.sock'/>
  <target type='virtio' name='org.qemu.guest_agent.0'/>
</channel>

注意：上面这段配置要放在段落中

Step2. 部署qemu-ga

1️⃣ 安装qemu-ga

在VM内部安装并启动qemu-ga，linux和windows均支持qemu-ga，许多linux发行商都会提供自己的qemu-ga，比如rhel/centos、fedora、ubuntu、opensuse都有提供编译好的qemu-ga，可以直接下载使用。而windows系统需要下载virtio-win，其中有包含一些virtio的win驱动以及qemu-ga安装包，也可以仅下载qemu-ga安装包

# rhel/centos
yum install qemu-guest-agent

# windows，最新virtio-win iso
https://fedorapeople.org/groups/virt/virtio-win/direct-downloads/latest-virtio/
# windows，最新qemu-ga安装包
https://fedorapeople.org/groups/virt/virtio-win/direct-downloads/latest-qemu-ga/

windows的qemu-ga安装包如图所示

2️⃣ 启动qemu-ga

以centos7为例

# 启动qemu-ga守护进程
systemctl start qemu-guest-agent

# 加入开机启动
systemctl enable qemu-guest-agent

启动后通过systemctl status qemu-guest-agent应当能看到进程已启动，如图所示

注意：有的qemu-ga会拒绝部分指令，这是因为qemu-ga的配置文件里将某些指令给禁用了，比如在centos7里，配置文件为/etc/sysconfig/qemu-ga

# 修改/etc/sysconfig/qemu-ga，将以下内容注释掉，或直接删掉
BLACKLIST_RPC=guest-file-open,guest-file-close,guest-file-read,guest-file-write,guest-file-seek,guest-file-flush,guest-exec,guest-exec-status

# 重启qemu-ga才能生效
systemctl restart qemu-guest-agent

3️⃣ 测试qemu-ga

在VM的宿主机上，执行以下命令：

# ${DOMAIN}表示虚拟机名字或UUID
virsh qemu-agent-command ${DOMAIN} '{"execute":"guest-ping"}'

如果返回以下内容则表示qemu-ga可用

{"return":{}}
接下来查看下qemu-ga支持哪些指令

virsh qemu-agent-command ${DOMAIN} --pretty '{"execute":"guest-info"}'
应该会看到支持很多命令，由于接下来做的实验需要用到如下命令，因此请先确认是否均支持

• guest-exec：执行命令（异步操作）
• guest-exec-status：查看执行命令的结果
• guest-file-open：打开文件，获得句柄
• guest-file-write：写文件（传递base64）
• guest-file-close：关闭文件

Step3. 注入操作说明

实验目标：将RSA的公钥内容写入到/root/.ssh/authorized_keys

这涉及到如下3个步骤：

1. 创建/root/.ssh目录且权限为700
2. 创建/root/.ssh/authorized_keys文件且权限为600
3. 将RSA公钥文本进行Base64编码（guest-file-write不支持明文，仅支持base64），并将编码后的内容写入/root/.ssh/authorized_keys

Step4. Base64计算

这里先假设RSA公钥内容为

ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDVKog04pbbLaarjbpvK7CRaIuUwWxehJIH8tqtX/oV4GYN5WGYPFa1tzsd4Vyoblm4LePX79WeI4kFHgSbH5P6H9i8l3KCTFHHeJT/g0P55/c60yDb3o6lqpWu9IKE3I4lsTp05Y/W0Ks7W27Jndr162ni0Ybthgd9CQyoiburoh35ECiPGwWUOBVJ4IEpSpOZdDUJLS/vVuSQgvEH0fq/G1DP3SOyR+DNasJ00mwonfaUKHZXmWAlH8marNwPmWapyTSQwCFKKh1HwlJEWETV4fYuFwm3iennb8cX1y4aX9AJWnA2cc35rpulivMijeXs/ssT5iFljXXGYzmkX6nR root@localhost.localdomain

进行Base64编码

echo 'ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDVKog04pbbLaarjbpvK7CRaIuUwWxehJIH8tqtX/oV4GYN5WGYPFa1tzsd4Vyoblm4LePX79WeI4kFHgSbH5P6H9i8l3KCTFHHeJT/g0P55/c60yDb3o6lqpWu9IKE3I4lsTp05Y/W0Ks7W27Jndr162ni0Ybthgd9CQyoiburoh35ECiPGwWUOBVJ4IEpSpOZdDUJLS/vVuSQgvEH0fq/G1DP3SOyR+DNasJ00mwonfaUKHZXmWAlH8marNwPmWapyTSQwCFKKh1HwlJEWETV4fYuFwm3iennb8cX1y4aX9AJWnA2cc35rpulivMijeXs/ssT5iFljXXGYzmkX6nR root@localhost.localdomain' | base64 -w 0

这样就获得了base64编码内容

c3NoLXJzYSBBQUFBQjNOemFDMXljMkVBQUFBREFRQUJBQUFCQVFEVktvZzA0cGJiTGFhcmpicHZLN0NSYUl1VXdXeGVoSklIOHRxdFgvb1Y0R1lONVdHWVBGYTF0enNkNFZ5b2JsbTRMZVBYNzlXZUk0a0ZIZ1NiSDVQNkg5aThsM0tDVEZISGVKVC9nMFA1NS9jNjB5RGIzbzZscXBXdTlJS0UzSTRsc1RwMDVZL1cwS3M3VzI3Sm5kcjE2Mm5pMFlidGhnZDlDUXlvaWJ1cm9oMzVFQ2lQR3dXVU9CVko0SUVwU3BPWmREVUpMUy92VnVTUWd2RUgwZnEvRzFEUDNTT3lSK0ROYXNKMDBtd29uZmFVS0haWG1XQWxIOG1hck53UG1XYXB5VFNRd0NGS0toMUh3bEpFV0VUVjRmWXVGd20zaWVubmI4Y1gxeTRhWDlBSlduQTJjYzM1cnB1bGl2TWlqZVhzL3NzVDVpRmxqWFhHWXpta1g2blIgcm9vdEBsb2NhbGhvc3QubG9jYWxkb21haW4K

Step5. 开始注入

1️⃣ 创建/root/.ssh目录且权限为700

# mkdir /root/.ssh
virsh qemu-agent-command ${DOMAIN} '{"execute":"guest-exec","arguments":{"path":"mkdir","arg":["-p","/root/.ssh"],"capture-output":true}}'

# 假设上一步返回{"return":{"pid":911}}，接下来查看结果（通常可忽略）
virsh qemu-agent-command ${DOMAIN} '{"execute":"guest-exec-status","arguments":{"pid":911}}' 

# chmod 700 /root/.ssh，此行其实可不执行，因为上面创建目录后就是700，但为了防止权限不正确导致无法使用，这里还是再刷一次700比较稳妥
virsh qemu-agent-command ${DOMAIN} '{"execute":"guest-exec","arguments":{"path":"chmod","arg":["700","/root/.ssh"],"capture-output":true}}' 

# 假设上一步返回{"return":{"pid":912}}，接下来查看结果（通常可忽略）
virsh qemu-agent-command ${DOMAIN} '{"execute":"guest-exec-status","arguments":{"pid":912}}'

2️⃣ 创建/root/.ssh/authorized_keys文件且权限为600

# touch /root/.ssh/authorized_keys
virsh qemu-agent-command ${DOMAIN} '{"execute":"guest-exec","arguments":{"path":"touch","arg":["/root/.ssh/authorized_keys"],"capture-output":true}}'

# 假设上一步返回{"return":{"pid":913}}，接下来查看结果（通常可忽略）
virsh qemu-agent-command ${DOMAIN} '{"execute":"guest-exec-status","arguments":{"pid":913}}'

# chmod 600 /root/.ssh/authorized_keys，此行其实可不执行，因为上面创建文件后就是600，但为了防止权限不正确导致无法使用，这里还是再刷一次600比较稳妥
virsh qemu-agent-command ${DOMAIN} '{"execute":"guest-exec","arguments":{"path":"chmod","arg":["600","/root/.ssh/authorized_keys"],"capture-output":true}}'

# 假设上一步返回{"return":{"pid":914}}，接下来查看结果（通常可忽略）
virsh qemu-agent-command ${DOMAIN} '{"execute":"guest-exec-status","arguments":{"pid":914}}'

3️⃣ 将Base64编码写入/root/.ssh/authorized_keys

# 打开文件（以读写方式打开），获得句柄
virsh qemu-agent-command ${DOMAIN} '{"execute":"guest-file-open", "arguments":{"path":"/root/.ssh/authorized_keys","mode":"w+"}}'

# 写文件，假设上一步返回{"return":1000}，1000就是句柄
virsh qemu-agent-command ${DOMAIN} '{"execute":"guest-file-write", "arguments":{"handle":1000,"buf-b64":"c3NoLXJzYSBBQUFBQjNOemFDMXljMkVBQUFBREFRQUJBQUFCQVFEVktvZzA0cGJiTGFhcmpicHZLN0NSYUl1VXdXeGVoSklIOHRxdFgvb1Y0R1lONVdHWVBGYTF0enNkNFZ5b2JsbTRMZVBYNzlXZUk0a0ZIZ1NiSDVQNkg5aThsM0tDVEZISGVKVC9nMFA1NS9jNjB5RGIzbzZscXBXdTlJS0UzSTRsc1RwMDVZL1cwS3M3VzI3Sm5kcjE2Mm5pMFlidGhnZDlDUXlvaWJ1cm9oMzVFQ2lQR3dXVU9CVko0SUVwU3BPWmREVUpMUy92VnVTUWd2RUgwZnEvRzFEUDNTT3lSK0ROYXNKMDBtd29uZmFVS0haWG1XQWxIOG1hck53UG1XYXB5VFNRd0NGS0toMUh3bEpFV0VUVjRmWXVGd20zaWVubmI4Y1gxeTRhWDlBSlduQTJjYzM1cnB1bGl2TWlqZVhzL3NzVDVpRmxqWFhHWXpta1g2blIgcm9vdEBsb2NhbGhvc3QubG9jYWxkb21haW4K"}}'

# 关闭文件
virsh qemu-agent-command ${DOMAIN} '{"execute":"guest-file-close", "arguments":{"handle":1000}}'

查看效果：此时到VM里查看/root/.ssh/authorized_keys，应该能看到新增加的一行

附录

附1. qemu-ga支持的所有指令

不同的qemu-ga版本、不同的操作系统，支持的指令都会有所差异，下面是从官网上看到的当前所有参数

• guest-exec
• guest-exec-status
• guest-file-close
• guest-file-flush
• guest-file-open
• guest-file-read
• guest-file-seek
• guest-file-write
• guest-fsfreeze-freeze
• guest-fsfreeze-freeze-list
• guest-fsfreeze-status
• guest-fsfreeze-thaw
• guest-fstrim
• guest-get-fsinfo
• guest-get-host-name
• guest-get-memory-block-info
• guest-get-memory-blocks
• guest-get-osinfo
• guest-get-time
• guest-get-timezone
• guest-get-users
• guest-get-vcpus
• guest-info
• guest-network-get-interfaces
• guest-ping
• guest-set-memory-blocks
• guest-set-time
• guest-set-user-password
• guest-set-vcpus
• guest-shutdown
• guest-suspend-disk
• guest-suspend-hybrid
• guest-suspend-ram
• guest-sync
• guest-sync-delimited

具体使用方法，请参考官网文档
https://qemu.weilnetz.de/doc/qemu-ga-ref.html

附2. 配置多个channel

1️⃣ 可以在XML里配置多个channel，这样就可以创建多个设备通道

<channel type='unix'>
  <source mode='bind' path='/tmp/channel.sock'/>
  <target type='virtio' name='org.qemu.guest_agent.0'/>
</channel>
<channel type='unix'>
  <source mode='bind' path='/tmp/channel.sock-1'/>
  <target type='virtio' name='org.qemu.guest_agent.1'/>
</channel>

2️⃣ 在VM里要启动2个qemu-ga守护进程，可以将原有的service文件拷贝一份出来进行修改

cd /usr/lib/systemd/system
cp qemu-guest-agent.service qemu-guest-agent-1.service

然后修改qemu-guest-agent-1.service

3️⃣ 启动服务

systemctl start qemu-guest-agent-1

参考文档

• qemu-ga介绍与使用：QEMU Guest Agent
• qemu-ga完整参数：https://qemu.weilnetz.de/doc/qemu-ga-ref.html
• 笔者另一篇相关文章《基于QMP实现对qemu虚拟机进行交互》：https://www.toutiao.com/i6646012291059810823/

yum -y install net-tools bridge-utils
新建一个br0网卡：

vi /etc/sysconfig/network-scripts/ifcfg-br0
写入：

DEVICE=br0
TYPE=Bridge
BOOTPROTO=none
IPADDR=服务器的公网IP
NETMASK=子网掩码
SCOPE="peer 网关IP"
ONBOOT=yes
DELAY=0
IPV6INIT=yes

然后再新建一个路由：

vi /etc/sysconfig/network-scripts/route-br0
写入：

ADDRESS0=0.0.0.0
NETMASK0=0.0.0.0
GATEWAY0=网关IP

重要！现在就重启你的网卡：

/etc/init.d/network restart
重启完成之后，编辑主网卡配置文件：

vi /etc/sysconfig/network-scripts/ifcfg-enp3s0
写入：

DEVICE=enp3s0
HWADDR=服务器MAC地址
IPV6INIT=yes
ONBOOT=yes
BRIDGE=br0

然后再重启一遍网卡：

/etc/init.d/network restart
如果没有意外，你做完这些事情之后，你的服务器依旧可以联网。

更新：
关于hz的出口，不可以直接绑定br0
创建public
支持ipv4转发
1.临时开启，（写入内存，在内存中开启）

echo "1" > /proc/sys/net/ipv4/ip_forward

2.永久开启，（写入内核）

在 vim /etc/sysctl.conf 下

加入此行 net.ipv4.ip_forward = 1

sysctl -p # 加载一下，使之生效

3.防火墙放通转发（以iptables为例）

iptables -I FORWARD -j ACCEPT

service iptables save

如果save不存在，则

首先停止防火墙

1.systemctl stop firewalld

2.systemctl mask firewalld
然后安装iptables-services

3.yum install iptables-services
设置开机启动防火墙

4.systemctl enable iptables
可以使用下面命令管理iptables

5.systemctl [stop|start|restart] iptables
这时可以保存防火墙规则了

6.service iptables save
or
/usr/libexec/iptables/iptables.init save

如果存在网络异常，则systemctl restart network

更新
Windows server 2016存在蓝屏问题，解决方法：

echo 1 > /sys/module/kvm/parameters/ignore_msrs
echo 0 > /sys/module/kvm/parameters/report_ignored_msrs
echo "options kvm ignore_msrs=1 report_ignored_msrs=N" | sudo tee /etc/modprobe.d/kvm-ignore-msrs.conf

supervisor

yum install supervisor -y
systemctl enable supervisord
echo "
[program:node]
directory = /root/node/ ; 程序的启动目录
command = /root/node/node ; 启动命令，可以看出与手动在命令行启动的命令是一样的
autostart = true     ; 在 supervisord 启动的时候也自动启动
startsecs = 5        ; 启动 5 秒后没有异常退出，就当作已经正常启动了
autorestart = true   ; 程序异常退出后自动重启
startretries = 3     ; 启动失败自动重试次数，默认是 3
redirect_stderr = true  ; 把 stderr 重定向到 stdout，默认 false
stdout_logfile_maxbytes = 20MB  ; stdout 日志文件大小，默认 50MB
stdout_logfile_backups = 20     ; stdout 日志文件备份数
stdout_logfile = /root/node/stdout.log
" > /etc/supervisord.d/node.ini

mkdir /etc/libvirt/hooks
for f in daemon qemu lxc libxl network; do   echo '#!/bin/sh
iptables-restore < /etc/sysconfig/iptables
iptables -I FORWARD -j ACCEPT' > "/etc/libvirt/hooks/$f";   chmod +x "/etc/libvirt/hooks/$f"; done

service libvirtd restart

TYPE=Bridge
BOOTPROTO=static
NAME=br0
DEVICE=br0
ONBOOT=yes
IPADDR=192.168.119.22
GATEWAY=192.168.119.2
NETMASK=255.255.255.0

DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=no
BRIDGE=br0