使用浪潮平台(类似云服务)经常遇到的问题就是时不时的会自动删除我的开发环境,从而导致我的数据丢失。为了解决这个问题,我的想法是使用浪潮平台的显卡进行训练,但训练得到的实时结果以及模型不保存在浪潮平台,而是保存到自己的服务器上,自己的服务器不会发生数据的丢失等问题。NFS恰好可以满足这一需求。
1.NFS介绍
网络文件系统(NFS)是一种分布式文件系统协议,使您可以通过网络共享远程目录。使用NFS,您可以在系统上挂载远程目录,并像对待本地文件一样使用远程计算机上的文件。
2.NFS配置设置主机服务器
假设现在我有两台Ubuntu主机,分别为A和B。A的ip为:192.168.89.134,B的IP为:192.168.89.135。
我让A机作为服务器,用A的硬盘保存数据,B作为客户端,B产生的数据通过NFS传输到A机上。
1)安装NFS服务器
在安装NFS内核服务器之前,我们需要通过以下apt命令以sudo的形式将系统的存储库索引更新为Internet的存储库索引:
sudo apt-get update
在A上安装NFS内核服务器
sudo apt install nfs-kernel-server
2)创建导出目录
与客户端系统共享的目录称为导出目录。 可以自定义命名; 在这里,我们在系统的mnt(mount)目录中创建一个名为“linuxidc”的导出目录。
sudo mkdir -p /mnt/linuxidc
我们设置所有客户端都能访问该目录,通过以下命令删除文件夹的限制权限:
sudo chown nobody:nogroup /mnt/linuxidc
sudo chmod 777 /mnt/linuxidc
现在客户端系统上所有组的所有用户都可以访问“/mnt/linuxidc”。可以根据需要在导出文件夹中创建任意数量的子文件夹,供客户端访问。
3)通过NFS导出文件为客户端分配服务器访问权限
创建导出文件夹后,我们需要为客户端提供访问主机服务器计算机的权限。 此权限是通过位于系统的/etc文件夹中的exports文件定义的。我们通过一下命令编辑该文件。
sudo vim /etc/exports
插入以下内容
单个客户端通过在文件中添加以下行:
/mnt/linuxidc clientIP(rw,sync,no_subtree_check)
通过在文件中添加以下行来多个客户端:
/mnt/linuxidc client1IP(rw,sync,no_subtree_check)
/mnt/linuxidc client2IP(rw,sync,no_subtree_check)
多个客户端,通过指定客户端所属的整个子网:
/mnt/linuxidc 192.168.89.0/24(rw,sync,no_subtree_check)
/mnt/linuxidc 192.168.89.0/24(rw,sync,no_subtree_check)
此文件中定义的权限“rw,sync,no_subtree_check”表示客户端可以执行以下操作:
- rw:读写操作
- sync: 在应用之前将任何更改写入光盘
- no_subtree_check:阻止子树检查
4)导出共享目录
在主机系统中完成上述所有配置后,现在可以通过以下命令将共享目录导出:
sudo exportfs -a
为了使所有配置生效,重新启动NFS服务器:
sudo systemctl restart nfs-kernel-server
5)为客户端打开防火墙
以下命令将配置防火墙以通过NFS授予客户端访问权限:
sudo ufw allow from [clientIP or clientSubnetIP] to any port nfs
我们示例的输入内容为:
sudo ufw allow from 192.168.89.0/24 to any port nfs
通过以下命令检查Ubuntu防火墙的状态时,将能够将操作状态视为客户端IP的“允许”。
sudo ufw status
2.NFS配置设置客户端
1)安装NFS Common
在安装NFS Common应用程序之前,我们需要通过以下apt命令以sudo的形式更新我们系统的存储库索引和Internet的索引:
sudo apt-get update
运行以下命令以在系统上安装NFS Common客户端:
sudo apt-get install nfs-common
2)为NFS主机的共享文件夹创建安装点
sudo mkdir -p /mnt/linuxidc_client
3)在客户端上挂载共享目录
使用以下命令将共享文件夹从主机安装到客户端上的装入文件夹:
sudo mount serverIP:/shareFolder_server /mnt/mountfolder_client
我们运行以下命令将“linuxidc”从服务器导出到客户端计算机上的mount文件夹“linuxidc_client”:
sudo mount 192.168.89.134:/mnt/linuxidc /mnt/linuxidc_client
或者 sudo mount -t nfs 192.168.89.134:/mnt/linuxidc /mnt/linuxidc_client -o nolock
4)测试连接
在NFS主机服务器的导出文件夹中创建或保存文件。
1. NFS 基本介绍
1.1 NFS 简介
NFS 是 Network File System 的缩写,即网络文件系统。一种使用于分散式文件系统的协定,由 Sun 公司开发,于1984年向外公布。功能是让客户端通过网络访问不同主机上磁盘里的数据,主要用在类 Unix 系统上实现文件共享的一种方法。NFS 在文件传送或信息传送过程中依赖于RPC协议。
1.2 NFS服务需要安装的软件
nfs-utils-* :包括基本的 NFS 命令与监控程序
rpcbind-* :支持安全 NFS RPC 服务的连接
注:通常情况下,是作为系统的默认包安装 CentOS6.* 之前 rpcbind 叫portmap 。
1.3 NFS系统守护进程
nfsd :它是基本的 NFS 守护进程,主要功能是管理客户端是否能够登录服务器。
mountd :它是 RPC 安装守护进程,主要功能是管理 NFS 的文件系统。当客户端顺利通过 nfsd 登录 NFS 服务器后,在使用 NFS 服务所提供的文件前,还必须通过文件使用权限的验证。它会读取 NFS 的配置文件 /etc/exports 来对比客户端权限。
rpcbind :主要功能是进行端口映射工作。当客户端尝试连接并使用 RPC 服务器提供的服务(如 NFS 服务)时,rpcbind 会将所管理的与服务对应的端口提供给客户端,从而使客户可以通过该端口向服务器请求服务。
2. NFS的常用目录
/etc/exports NFS 服务的主要配置文件
/usr/sbin/exportfs NFS 服务的管理命令
/usr/sbin/showmount 客户端的查看命令
/var/lib/nfs/etab 记录 NFS 分享出来的目录的完整权限设定值
/var/lib/nfs/xtab 记录曾经登录过的客户端信息
NFS 服务的配置文件为 /etc/exports ,这个文件是 NFS 的主要配置文件,不过系统并没有默认值,所以这个文件不一定会存在,可能要使用 vim 手动建立,然后在文件里面写入配置内容。
3. /etc/exports文件内容格式
<输出目录> [客户端1 选项(访问权限,用户映射,其他)] [客户端2 选项(访问权限,用户映射,其他)] 输出目录:输出目录是指 NFS 系统中需要共享给客户机使用的目录
客户端:客户端是指网络中可以访问这个 NFS 输出目录的计算机
客户端常用的指定方式:
指定ip地址的主机:192.168.0.200
指定子网中的所有主机:192.168.0.0/24 192.168.0.0/255.255.255.0
指定域名的主机:david.bsmart.cn
指定域中的所有主机:*.bsmart.cn
所有主机:*
选项:选项用来设置输出目录的访问权限、用户映射等。
NFS主要有3类选项:
访问权限选项:
设置输出目录只读:ro
设置输出目录读写:rw
用户映射选项:
all_squash:将远程访问的所有普通用户及所属组都映射为匿名用户或用户组 nfsnobody ;
no_all_squash:与 all_squash 取反(默认设置);
root_squash:将 root 用户及所属组都映射为匿名用户或用户组(默认设置);
no_root_squash:与 rootsquash 取反;
anonuid=xxx:将远程访问的所有用户都映射为匿名用户,并指定该用户为本地用户(UID=xxx);
anongid=xxx:将远程访问的所有用户组都映射为匿名用户组账户,并指定该匿名用户组账户为本地用户组账户(GID=xxx);
其它选项
secure:限制客户端只能从小于 1024 的 tcp/ip 端口连接 nfs 服务器(默认设置);
insecure:允许客户端从大于 1024 的 tcp/ip 端口连接服务器;
sync:将数据同步写入内存缓冲区与磁盘中,效率低,但可以保证数据的一致性;
async:将数据先保存在内存缓冲区中,必要时才写入磁盘;
wdelay:检查是否有相关的写操作,如果有则将这些写操作一起执行,这样可以提高效率(默认设置);
no_wdelay:若有写操作则立即执行,应与 sync 配合使用;
subtree:若输出目录是一个子目录,则 nfs 服务器将检查其父目录的权限(默认设置);
no_subtree:即使输出目录是一个子目录,nfs服务器也不检查其父目录的权限,这样可以提高效率;
示例说明
sudo vi /etc/exports /data *(rw,sync,no_subtree_check,no_root_squash)
将 NFS 服务器的 /data 目录共享给所有主机,rw 权限。
/root/share/ 192.168.1.2(rw,insecure,sync,all_squash) 表示共享服务器上的/root/share/目录只有192.168.1.2主机可以访问,且有读写权限;此主机用任何身份访问时,将客户机的用户都映射成服务器上的匿名用户(all_squash),相当于在服务器上用nobody用户访问该目录(若客户机要在该共享目录上保存文件(即写操作),则服务器上的nobody用户对该目录必须有写的权限)
/home/ylw/ .test.com (rw,insecure,sync,all_squash) 表示共享/home/ylw/目录,.test.com域中所有的主机都可以访问该目录,且有读写权限
/home/share/ .test.com (ro,sync,all_squash,anonuid=zh3,anongid=wa4) 表示共享目录/home/share/,*.test.com域中的所有主机都可以访问,但只有只读的权限,所有用户都映射成服务器上的uid为zh3、gid为wa4的用户
4. 服务器端
4.1 安装 NFS 服务
sudo apt install nfs-kernel-server
apt 会自动安装 nfs-common 、rpcbind 等13个软件包。
4.2 编写配置文件
sudo vi /etc/exports /data *(rw,sync,no_subtree_check,no_root_squash)
将 NFS 服务器的 /data 目录共享给所有主机,rw 权限。
4.3 创建共享目录
sudo mkdir -p /data
4.4 重启 nfs 服务
sudo service nfs-kernel-server restart
4.5 常用命令
显示已经 mount 到本机 nfs 目录的客户端机器
sudo showmount -e localhost
查看本机共享的文件或目录
sudo exportfs -rv
如果我们在启动了 NFS 之后又修改了 /etc/exports ,我们不需要重启 NFS 服务,可以用 exportfs 命令来使改动立刻生效,该命令格式如下:
exportfs [-aruv]
-a 全部挂载或卸载 /etc/exports中的内容
-r 重新读取/etc/exports 中的信息 ,并同步更新/etc/exports、/var/lib/nfs/xtab
-u 卸载单一目录(和-a一起使用为卸载所有/etc/exports文件中的目录)
-v 在export的时候,将详细的信息输出到屏幕上。
具体例子:
exportfs -au 卸载所有共享目录 exportfs -rv 重新共享所有目录并输出详细信息
查看 NFS 的运行状态
sudo nfsstat
查看 rpc 执行信息
sudo rpcinfo
5. 客户端
5.1 安装客户端工具
sudo apt install nfs-common
apt 会自动安装 nfs-common 、rpcbind 等12个软件包。
5.2 查看 NFS服务器上的共享目录
显示指定的(192.168.3.1)NFS 服务器上 export 出来的目录
sudo showmount -e 192.168.3.1
5.3 创建本地挂载目录
sudo mkdir -p /mnt/data
5.4 挂载共享目录
将 NFS 服务器 192.168.3.1上的 /data 目录,挂载到本地的 /mnt/ 目录下
sudo mount -t nfs 192.168.3.1:/data /mnt/data
采用这种方式挂载,系统重启之后不会自动挂载。
5.5 卸载共享目录
卸载客户端的挂载目录,在客户端执行以下命令
umount /mnt/
5.6 共享目录的自动挂载
把挂载信息写入到 /etc/fstab 文件中
sudo vim /etc/fstab 192.168.3.1:/data /nfs nfs auto,nofail,noatime,nolock,intr,tcp,actimeo=1800 0 0 # 或者 192.168.3.1:/data /nfs nfs defaults 0 0
5.7 更新挂载
sudo mount -a