> 自媒体 > (AI)人工智能 > 锐龙AI Max+ 395本地部署实战DeepSeek V4蒸馏模型
锐龙AI Max+ 395本地部署实战DeepSeek V4蒸馏模型
来源:中关村在线
2026-05-07 16:34:06
123
管理

【ZOL中关村在线原创评测】4月24日,DeepSeek V4预览版正式上线并且同步开源,直接拿下了开源模型的NO.1的王座,可以说是在五一假期前给AI行业带来了新的震撼。

DeepSeek V4 Pro版拥有1.6万亿参数,激活参数仅49B,极致的稀疏化设计兼顾了算力成本与token成本。与更大参数量的闭源模型相比,V4在编程和数学解题领域达到了同等量级。此外,V4 Flash版本的成本优势相当明显,百万token输入价格仅0.02元,输出仅2元,V4 Pro版本的输入价格仅0.025元,输出价格也仅为6元。可以说是加量不加价的一款开源大模型,而且这也意味着百万超长上下文成为了官方服务的出厂标配,而不再是需要花很多的成本的增值服务。

目前,普通用户也可以通过LM Studio或者Ollama等工具来本地部署和使用DeepSeek V4,不过鉴于原本模型的参数量过于庞大,普通硬件很难带动,所以笔者建议个人使用的话可以下载Qwen 3.5-9B-DeepSeek V4-Flash版模型,这个模型以Qwen 3.5为基础,通过DeepSeek V4蒸馏高质量数据,形成了仅9B参数量的蒸馏模型,对于普通用户而言是足够用了。

总计给出了6种实现方法以及对应代码。笔者请教了专业的程序员老师,他对这些答案给出了非常高的评价。

最终生成速度为8.14 tok/s,总生成token数为1862个。虽然不够快,但是能用,而且答案质量与其它9B参数大模型相比要好很多。

接下来看看数学问题,我们给出的问题是“当m为何值时,方程3x^2 2x m-8=0”,这里我们特意没有给出m的完整条件。此前这个问题难倒了很多大模型,使其陷入死循环的思考之中,而且一些大模型无法意识到条件缺失,即便给出答案往往也是在乱答,DeepSeek V4表现如何?一起来看看。

在进行推理时,DeepSeek V4第一时间就提示我们这个问题缺失条件,接下来DeepSeek V4做了几种条件的设定与解释,总体推理耗时1分52秒。此前我们测试的某8B模型单单在推理这一步就陷入了长达50分钟的思考,看来DeepSeek V4并没有落入我们预设的陷阱。

最终DeepSeek V4根据设定的不同条件,给出了这个问题的多种答案,总体生成速度为8.01 tok/s,总生成token数为1673个。

此前不少大模型在14B参数量以下是基本没法用的,生成的答案相当不靠谱,且遇到一些陷阱问题时会陷入死循环,或者给出一些错误答案或极其简单的答案。而Qwen 3.5-9B-DeepSeek V4-Flash虽然参数量只有9B,但是从DeepSeek V4中蒸馏出来高质量数据后,整个大模型的能力相当靠谱,后续再做一些推理速度方面的优化,完全是可以部署在本地使用的。

0
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。 凡本网注明 “来源:XXX(非本站)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。 如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。 QQ:617470285 邮箱:617470285@qq.com
相关文章
刚刚,ChatGPT免费模型升级了:幻觉砍半/记忆更强/回答更简洁..
梦晨 发自 凹非寺量子位 | 公众号 QbitAIChatGPT默认模型,今天大升级。..
启动商业化3个月,ChatGPT广告价格为什么腰斩了?
ChatGPT广告业务启动仅3个月,CPM价格已从60美元腰斩至25-45美元。这背后..
刚刚,GPT-5.5 Instant全员免费!数亿人的ChatGPT变了
编辑:桃子 好困【新智元导读】太突然了!OpenAI深夜甩出GPT-5.5 Instant..
ChatGPT Plus 订阅避坑:Apple ID、礼品卡和自动续费一次讲清楚..
最近很多人都在问:ChatGPT Plus 能不能通过 App Store 订阅?Apple ID ..
ChatGPT默认模型升至GPT-5.5 Instant,幻觉最高减少52.5%
IT之家 5 月 6 日消息,OpenAI 昨日(5 月 5 日)发布公告,宣布升级 Cha..
ChatGPT为何痴迷于地精?OpenAI是如何解决这一问题的
ChatGPT对地精有着莫名其妙的执念。说真的,它非常非常喜欢地精、小妖精..
AI大事件:ChatGPT广告主平台正式上线、AI自己造AI的概率被估到60%、国产AI..
今天刷了一圈AI圈,几个数字挺有意思的——ChatGPT广告主平台正式上线、A..
ChatGPT上线广告主平台,AI行业迈入广告变现时代
来源:21世纪经济报道21世纪经济报道记者 陈归辞据媒体消息,当地时间5月..
ChatGPT教育研究被撤稿:AI学习红利证据并不牢靠 统计方法遭质疑..
一项在学术界和社交媒体上被广泛引用、曾被视为证明 ChatGPT 明显提升学..
关于作者
轻随风之舞..(普通会员)
文章
2003
关注
0
粉丝
1
点击领取今天的签到奖励!
签到排行

成员 网址收录40418 企业收录2986 印章生成263660 电子证书1157 电子名片68 自媒体107746

0
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索