[海外垃圾佬] 万兆NAS方案踩坑:惠普 NC523SFP + FreeNas 各种问题完美解决方案

[背景]

最近在做Vitis的东西,结果跑训练直接把虚拟机内存跑爆了。

想了想 我的大奶也跟了我好几年了,去年出来读博人肉背着这块 8400和华擎的Z370M PRO4从国内带到国外, 老婆 也是辛苦了
加上后来搬家主板的板载音频都被我玩炸了,恶心了我好久,于是这次决定AMD YES (主要是看见亚马逊的278磅的 3800X)

理所当然的我就得给我的大奶一个好去处啊。 想起年初看到司波图的视频,感觉FREENAS 很有意思,正好大奶闲下来,于是决定给大奶一个好去处

(我在国内用的是window的NAS,实在不稳定)

[序章]


UP 人在UK, 所以东西只能在亚马逊和ebay买,不用拿淘宝价格比较。

NAS 配置的话没有什么好说的 8400 + Z370M PRO4 + 16G 内存 大奶淘汰货

主要就是挑选网卡和硬盘

我在ebay上找了一下 便宜 本地的10G网卡 (不考虑香港和中国的卡,转运太慢了,我希望我NAS万兆网和 新大奶 同时搞定)。发现UK这边选择少,不像国内咸鱼优质卡特别多,基本上便宜的卡都是惠普家的 NC523SFP/NC520/NC550 等 ,价格 15-30磅 (后来我才知道这批卡挺坑的)

最后我选了这家,主要是成色新,看起来有保障
没有挡板,放弃了
因特尔的芯片,没有驱动问题,可惜太贵了

也有更便宜的吧,如果你也是UK垃圾佬应该能捡到 12-14磅的卡,我入了个成色好点的有的,总之买了两张 脑残 NC523

网线也是二手, 收的是DAC线 7M 哈哈线比卡贵

硬盘(UK的硬盘真是大坑啊),1t 二手硬盘都要 30磅,传家宝中的传家宝, 我真是服了,本来买几块组整列的,现在买不起了,最后买了个 8T的 移动硬盘拆 平均下来1t 15磅:
ps:这个盘是里面就是酷鱼,单独买酷鱼8t要160,也是绝了

SSD:
我大奶买了个 SN750 1t,把多出来的 建兴的512G给匀给了NAS

[启动]

网卡到了我就直接测试了呗,这是一张双网卡的卡,我想着两个口 自交 对拷不就能测了吗?

呵呵,事实我想的太简单了。

首先这张卡装上之后会影响主板的启动,插上这张卡之后,无论你怎么设置,都会首先进入 5s 的 设置,当然你可以不操作,这本身没什么问题

但是,这张卡,其他设备启动失败,

主板的上电顺序会变成 上电—》主板界面一闪而过》–网卡设置 —》重启—》主板界面一闪而过》—网卡设置》–安全模式的启动项选择 》—windows/BIOS设置

(我这里不想再去开机拍照片了。)

解决方案:到BIOS里面关掉 网卡启动的选项,最好不要开仅支持UEFI,后面可能要用来装FREENAS

[win驱动]

其实这张卡是没有WIN10驱动的,国外也有很多人提问这个问题,国内好像没几人说,默认都解决了? 我还特地问淘宝卖家,人家说支持win10的,但是不负责驱动

最后搜了半天 发现 原来是要用win server 2012 R2的驱动, 惠普官网有,

[https://support.hpe.com/hpesc/public/km/product/4345884/Product#t=DriversandSoftware&sort=relevancy&layout=table&numberOfResults=25]

HP官方的windows server2012 R2的驱动 (其实是 qle3242 的马甲,但是qlogic的官网下不下来驱动,没办法)

2021.5 更新,有观众反应驱动找不到,我上传了百度网盘大家可以从百度网盘下载:

链接:https://pan.baidu.com/s/1KqW6QDcRLVUy5CISPeNUxg 

提取码:3fm2 

安装步骤:
1. 直接装会显示系统不兼容,选择解压到文件夹中

2. 在设备管理器,找到没有驱动的网口,应该会有两个

3. 右键更新驱动,不要自动更新,用选择计算机上的位置

4. 找到之前解压放驱动的目录,等待30s左右安装完成。

注意:两个网口需要分别打驱动

重要提示

对了,如果你的卡出现了,

驱动打不上,驱动装一半卡死,装完黄色感叹号,自动禁用等现象 

恭喜你,过热了,很多人都提到这张卡发热大,我没想到能到这程度。。。。

找个风扇对着吹把(我直接电风扇对着吹),解决方案很简单,4cm小风扇绑一下就行,国内几块能搞定,我为了着急,直接亚马逊下单,心痛。加了风扇之后实测温度不高于50°。

心痛啊!!!!!!!!
风扇努力的工作ing

如果你出现了,不能关机

恭喜你,你的固件不是最近,找刚刚我发的惠普软件中心去下一个跟新固件,给2012R2用的一个程序,win10能直接运行 最新的应该是4.2

打好驱动,你就能进行本机测试了其实,两个网口一连就行,我这里用了Iperf 3.

可以看到实测速度才3G,多线程能到6G,反正不对,这里可能是单卡处理能力不够,后面两台机子对拷速度就正常了。

[FreeNas]

FreeNas 是自带 523sfp 驱动的 但是有BUG

设置流程:

1. 安装FreeNas
下载 FreeNas 的光盘镜像文件

UlraISO 写入光盘镜像到U盘 (注意此处RAW写入,否则可能导致启动失败)

插入NAS 选择U盘启动

执行安装流程

(首次上电不要插卡)

2. 设置驱动 参考: [https://www.chiphell.com/forum.php?mod=viewthread&tid=2176263&extra=&mobile=1]

  system》tunable 下面 添加 if_qlxgb_load yes (外网普遍都是命令行加的,在load.conf文件里面加,现在又GUI就不用了)

关机上卡,上电

两边设固定ip, 测试

3. 特别提示 ********FREENASS的BUG

如果你重启了FreeNas 你会发现,万兆网络挂了,这时候你再进入GUI发现GUI显示网是好的

如果你接上显示器看到类似于如下报错
ql1: qla_hw_send: (nsegs[1, 42, 0x0] > Q8_TX_MAX_SEGMENTS)
ql1: qla_dump_buf8: qla_hw_send: wrong pkt 0x2a dump start
ql1: 0x00000000: ff ff ff ff ff ff 24 be 05 ef 32 44 08 06 00 01
ql1: 0x00000010: 08 00 06 04 00 01 24 be 05 ef 32 44 ac 10 06 01
ql1: 0x00000020: 00 00 00 00 00 00 ac 10 06 01
ql1: qla_dump_buf8: qla_hw_send: wrong pkt dump end

恭喜你,你找到了全网唯一的中文解决方案,而且是最简单的解决方案

BUG查证,是FreeNas 没有成功设置MTU导致的 [https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=233992]

外网其实有不少类似的问题,解决方案都是设置MTU来解决(必须是命令行显式设置),但是,设置MTU只能解决1次,下一次重启,还是需要设置.

解决方案:在任务的初始化脚本添加两条命令

ifconfig ql0 mtu 1500

ifconfig ql1 mtu 1500

条件都是 POSTINIT 即初始化后设置

完成后启动还是能看到一次报错,但是后面就不会了,重启也能正常连接万兆网络

测试没什么好说的,直接对拷完事,我测试下来,速度可以满速没问题

拷贝大文件速度,无缓存,因为FreeNas 用内存做缓存的,所以即使拷贝到机械盘速度也很不错

硬盘测试:

总结NC523是一个便宜的10G卡,由于技术比较旧,卡的发热很厉害,一定要准备好风扇,貌似老卡都有这个问题。

FREENAS宣传可以支持这张卡,因为它用的是QLOGIC的驱动,官方文档说了qle3000 和 8000驱动都有,但是折腾起来也挺不省心的。去国外网站需要一点点英语阅读能力,国内好多教程都没提这张卡有坑。

ESXI可以识别这张卡,但是直通之后FreeNas 打了驱动也认不到,很奇怪,最后没成功。

UNRAID 也支持这张卡,但是禁用网络启动会卡住,我后面测试时候把我UNRAID的U盘踩坏了。。。。。。。没得测了,一怒之下只能直接装FreeNas,能否直通我后面有机会再试一下。

发表回复