本地化部署DeepSeek有手就行,零刻SER9 Pro实操,还能玩3A!    

电脑整机 03-17 14:36:31 99 0

自开年以来以DeepSeek为代表的AI工具火出了天际,工作中的许多琐碎事儿都可以交给AI来完成。不过对于商业体来说,提升生产力效率是一回事,数据隐私安全就是另一回事了。

像奶爸公司最近就发了通知,对DeepSeek工具的使用做了诸多要求,并且严禁将部分资料上传到非本地化部署的AI中。

奶爸最近刚好在修订制度,目标是将现行的37个制度整合为7个制度,不让用DeepSeek不就要了我的老命了,果断带自费购买的零刻SER9 Pro Mini PC到公司本地化部署DeepSeek,直接当着合规同事的面上传公司制度到DeepSeek(手动狗头),舒服 。

本地化部署DeepSeek教程

▼自从DeepSeek问世以来,众多玩家对于本地化部署的追求就没有停过,刚开始大家都以为只有硬核的独立显卡才能进行本地化部署,后来大家发现通过CPU+内存 以及 核显GPU+内存的形式都能实现,真正让DeepSeek本地化部署走进了千家万户。

对于AMD核显目前比较推荐使用LM Studio进行部署,对核显的支持更好,部署也更加简单。搜索引擎搜索LM Studio就能找到LM Studio,提醒一下官网的后缀是ai,别进了那个jewellery的网站。

关于零刻SER9 Pro

▼DeepSeek对内存带宽相对来说还是比较敏感的,理论上带宽越高,响应速度会更快一点。零刻SER9 Pro采用8000MHz的美光板载LPDDR5内存,在DeepSeek的使用上更有优势一些,AMD AI 365处理器搭载的Radeon 880M核显也是目前核显第一梯队领头羊的存在。

▼零刻SER9 Pro共有两个型号,高配版采用AMD AI 9 HX370处理器,搭载Radeon 890M核显,标准版搭载AMD AI 9 HX365处理器,相较高配版便宜600,更具性价比。

▼相较上代锐龙8000系列,AMD锐龙AI 300系列处理器大幅更新了架构,CPU升级为Zen5大小核架构,核心更多,能效比更高;核显GPU则升级为了RDNA3.5架构,Radeon 880M有12个核心,Radeon 890M更是升级到了16颗;NPU则是升级到了XDNA2架构,AI算力达到了50 TOPS(不过目前LM Studio暂时无法让NPU加入运算)。

▼零刻SER9 Pro延续了SER8/SEi14的经典设计,一体式金属机身造型以及圆润的倒角相当精致,对比Mac mini M4有电源键方便实用,保留有USB-A接口的优势(手动狗头)。

▼SER9 Pro采用下进风/后出风散热风道设计,背面与地板采用塑胶材质,保证冷热通道彻底隔离。讲道理SER9 Pro着实很安静,即便是高负载之下风扇的声音只会像自然中的风声,不会有风扇高速转动的那种风切的声音。

▼SER9 Pro一如既往的大满贯的接口配置,前面板3个接口+背面8个接口,既保证了高度的扩展性也兼顾了便利性;电源依旧是小巧的航嘉代工120W,不论是外出携带还是收纳都很便利。

  • 1个USB-C 4(40Gbps/PD/DP1.4/雷电3)
  • 1个USB-C 3.2Gen2×1(10Gbps)
  • 2个USB-A 3.2Gen2×1(10Gbps)
  • 2个USB-A 2.0
  • 1个DP1.4(4K@240Hz)
  • 1个HDMI2.1(4K@240Hz)
  • 1个2.5G网口
  • 2个3.5mm音频口

▼SER9 Pro AI 365版在崭新出厂的时候跑分在140万+.

不过我的机器已经被我折腾了蛮久,鲁大师、360帮我装了蛮多的实用软件,造成纸面性能测试数据稍微低了点,不重要。

部署时刻

▼LM Studio软件的安装很简单,基本上一路Next就行。

▼我的零刻SER9 Pro搭在了1TB英睿达SSD,而且平时也没有分盘符的习惯,这里就装在了C盘,如果大家有分盘符,而且C盘容量比较小,建议不要部署在C盘,包括之后存储模型也是。

▼打开LM Studio软件后,右上角位置有一个skip onboarding的按钮,点击跳过。

▼接着点击Select a model to load按钮,进行大模型下载。

▼搜索DeepSeek R1 Distill,注意要选择GGUF后缀(格式)。

▼实测8B与14B Q4模型都能够较为流畅的运行,小伙伴们可以自行选择,根据我收集的信息来看Qwen相对来说更适合中文大语言模型,不过实测下来Qwen与Llama个人感觉不出来差异。点击右下角的Download即可进行下载,实测不适用魔法也能正常下载,速度在2-3MB/s所有。

▼下载完成后就可以选择对应的模型进行加载了,默认情况下LM Studio会使用CPU进行运算,个人更建议使用GPU模式运行,一方面能避免CPU高负载电脑的超级卡顿,另一方面GPU模式在显存占用和响应速度上更具优势,更适合性能要求较高的场景。

▼打开手动选择模型加载参数按钮,使用零刻SER9 Pro搭载的Radeon 880M核显进行运行。

▼找到GPU OFFload这个控制选项,直接把数量拉满,如果你选用了中文会看到是GPU卸载,不用理会。

▼这时候我们就可以正式加载蒸馏模型了,不过LM Studio会提示可能会造成设备高负载,这时候我们需要将策略改为“关闭”,反正我试了一下最宽松的策略也不允许加载。

▼接着我们要设置系统给GPU分配的内存(约等于显存那么个意思),零刻SER9 Pro默认给到的是4GB。

▼重启计算机疯狂点击键盘的Del按钮进入到BIOS。

▼进入到BIOS Advanced功能标签页,选择AMD CBS功能。

▼选择NBIO Common Options选项。

▼进入到GFX Configuration功能。

▼在Dedicated Graphics Memory位置就可以选择配置给核显的内存数量。

▼零刻SER9 Pro的 BIOS预设了8G、16G、24G多个选项,用户可以很方便的进行选择。基本上7B模型给到8G就够用了。

▼全都设置好以后F4保存并退出BIOS,电脑重新启动。

▼这时候再调用DeepSeek R1模型,可以看到GPU已经快乐的奔跑起来了,虽然混合运行(CPU、GPU同时调用)的情况下,CPU占用率也蛮高,但是系统流畅度会提高不少。

▼8B Q4蒸馏模型下10.32Token/s在使用中基本上高度可用。

▼14B Q4蒸馏模型下8.22Token/s,相对7B模型并不会感觉到有明显的差异。不过注意使用14B模型要分配16GB内存给核显就是了。

▼零刻官方对SER9 Pro370和SER9 Pro365本地部署DeepSeek的性能测试,感兴趣的小伙伴可以再了解下。

零刻SER9 Pro性能测试

核显3DMark基准测试

▼在3DMARK上,使用Fire Strike(DX11)、Time Syp(DX12)、Speed Way(DX12 Ultimate)、Port Royal(光追)四个个基准项目进行测试,他们分别能够反映主流网游、近几年的3A大作、以及光追性能,Steel Nomad则能够提现高性能游戏电脑性能。通过量化的数据能够方便我们进行不同设备之间的横向对比。

▼最终测试结果如下:

Night Raid :39655;Fire Strike :9929,Time Spy :3501分;Steel Nomad Light:3360。零刻SER9 Pro HX365 搭载的AMD Radeon 880M核显的设备相较于前一代的Radeon 780M有着显著的性能提升,超高频的内存频率也起到了相当重要的作用。

游戏性能测试

▼游戏性能测试这里,我们分别测试了网游LOL、竞速类游戏地平线5、老牌3A 古墓丽影暗影、吃配置小怪兽赛博朋克2077以及霍格沃兹之遗。3A大作在1080P分辨率全高画质下也能有48帧以上的成绩,不追求极致的画面用Mini PC玩游戏也挺好的。

8000MHz内存性能测试

▼常用AMD的小伙伴们都知道,在AMD处理器上我们一般都是追求低延迟,对高频不敢有什么奢望,但是零刻SER9 Pro却搭载了4 * 8(32GB)lpddr5内存,就还蛮离谱的,不得不测一下了。

▼通过AIDA64进行测试,读取速度90.74GB/s,写入速度为109.29/s,复制速度为80.58GB/s,延迟138.1ns,复制速度相当不错,非常适合用来做大模型项目部署。

写在最后

高性能迷你主机市场中,零刻有着美观的设计与极致的性价比。

对于SER9 Pro来说,AMD锐龙AI 9 365处理器10核20线程设计,最高加速频率达5.0GHz,轻松应对多任务处理与高负载应用,Radeon 880M核显RDNA 3.5架构,12CU单元,2900MHz频率,性能堪比入门独显,完全是一步到位入坑即退坑之选。

如果同时追求性能与更极致的性价比,那么SER8 8745HS版本也是不错的选择。

本地化部署DeepSeek有手就行,零刻SER9 Pro实操,还能玩3A!   
广告声明:文中若存在对外跳转的链接(涵盖商品链接、超链接、二维码等各类形式),其目的在于为您呈上更多与内容相关的产品信息,助您迅速甄别。但我们不对其做任何明示或暗示的保证,烦请您谨慎参考,依据自身的需求与判断来做出决策。
99+10+1
0+10

网友评论
网友评论
通行证登录注册
表情

修改头像

欢迎参与讨论,分享你的看法
    关闭
    通行证登录注册
    表情
    欢迎参与讨论,分享你的看法
    点赞99+100
    +1