深度阅读 数据观察 专业观点 持续更新
READ
DEEPER
行业资讯 / FEATURED STORY

当前位置:首页 龙8-long8(头号玩家)唯一官方网站 行业资讯

3210亿参数塞进单张显卡,26 token每秒跑起来了

龙8-long8(头号玩家)唯一官方网站456 阅读约5.5分钟
3210亿参数塞进单张显卡,26 token每秒跑起来了

本文由龙8头号玩家整理发布:

把总参数 3210亿 的模型塞进一台只有一张显卡的机器里,这件事现在有了开源方案。

免费开源工具「Project Maya」给出的思路很直接:不要求你把几百GB的模型权重全塞进显存,而是把显存、内存、固态硬盘拼成一个层级,条件凑齐就能跑。

它支持的模型清单不止一个:GLM-5.

3(744B)、GLM-5.

3-Flash(321B)、DeepSeek-V4.

1-Flash(748B)、MiniMax-M3.

1-Flash(428B),一套引擎、一块面板,对外提供与 OpenAI、Anthropic 兼容的接口。

GLM-5.

3-Flash 是这里的主角。

3210亿总参数,能写文章、写代码,也能读取图片内容。

公开的用户实测数据里,单张 RTX 3090 的配置跑出每秒 26 token ;

两张 RTX 5090 加一张 RTX 4090 的配置跑到每秒 148.

6 token 。

token 是模型处理文本的单位,这个数值越大,回答显示得越快。

不过两次测量的条件不同,光看显卡数量没法直接比速度。

并发方面,Project Maya 最多同时处理 8 个请求 ,面向多人使用和 AI 编程代理的场景。

8 路并发不等于 8 倍生成速度,它的意义是把多个请求并行接住,而不是把单条回答加速八倍。

为什么装不进显存的模型能跑起来 关键在于 MoE,也就是混合专家结构。

模型内部准备了多个叫「Expert」的专门计算单元,常用的专家放在显卡显存里,接下来要用的挪到内存,剩下的存进固态硬盘,按需换入换出。

显存不够,就用内存和硬盘顶上。

另一层工夫是量化,把模型数值用更少的比特存下来。

GLM-5.

3-Flash 对应的版本有这么几档: Maya-XS :73.

4GB Maya-S :96.

5GB,标准版 Maya-S24 :面向 24GB 以下显存的显卡 Maya-M :116GB Maya-L :156.

3GB 官方零样本评测给出的精度保持率是:Maya-XS 为原 FP8 模型的 92.

4% ,Maya-S 为 97.

9% ,Maya-L 为 99.

2% 。

这组数字是特定评测题目的相对值,不等于所有问题的正确率。

跑起来到底要多少内存 官方文档给出的推荐显存加主内存合计:Maya-XS 为 88GB ,Maya-S 为 128GB ,Maya-L 为 192GB 。

最低运行条件是支持的显卡、32GB 主内存加固态硬盘。

但最低条件不等于能启动。

实际拿 64GB 主内存配一张 8GB 显存的显卡去启动,程序直接报「显存不足」,起不来。

about image

想省显存,得先看清楚自己卡在哪一档。

对想在自己机器上跑大模型的人来说,Project Maya 多了一个选项。

代价是动手之前得把内存容量和固态硬盘性能这两笔账算清楚,否则卡在启动那一步,参数再大也只是一串数字。

特别

以上内容由龙8头号玩家整理发布。

返回资讯列表

分享这篇内容

让更多人看到这篇有价值的行业观察。

TRENDING NOW

热点新闻

查看近期更新内容,快速了解行业动态与用户关注方向。

天生自带锦鲤体质,事事逢凶化吉的四大星座

天生自带锦鲤体质,事事逢凶化吉的四大星座

生活里总有一类人,看着不争不抢、不算拼命内卷,但人生一路少有大灾大难。遇事总能遇到转机、难题总有人帮忙、错失的机会总能被更好的替代、危机最后都能化险为夷。 大众常说的“锦鲤体质”,根本不是玄学运气,也不是天生躺赢。真正的锦鲤,是性格、心态、人缘、处事习惯,长期积累形成的正向人生闭环。 不会盲目倒霉、不容易被烂事纠缠、关键时刻总能被好运托底。在十二星座里,有四个星座天生自带这种顺遂气场,挫折多是小波

南通一社区医院因多收费被罚!

南通一社区医院因多收费被罚!

国家企业信用信息公示系统 崇川区钟秀街道社区卫生服务中心 因高于政府定价收取医疗服务费被罚2000元 经查,在2024年1月1日至2025年5月25日期间 钟秀街道社区卫生服务中心 在提供医疗服务时 没有严格执行南通医疗服务价格相关文件规定 在多个项目上超过政府指导价收费 主要违法事实:经查,当事人系依法登记成立的事业单位法人,主要从事医疗服务,持有《医疗机构执业许可证》,其医疗服务收费应当执行政

奥莱:劳塔罗-里韦罗可能继续首发战拉努斯

奥莱:劳塔罗-里韦罗可能继续首发战拉努斯

《奥莱报》的报道指出,劳塔罗-里韦罗在河床的经历充满韧性,也总能把握住每一个打开的机会。经历了他自己称作“我生命中的艰难时刻”之后——既有从小在莫雷诺的个人付出,也有在庞西奥担任河床临时主帅期间,他不得不在替补席上等待机会的阶段——这位23岁的左脚中卫再次接近成为克劳苏拉联赛对阵拉努斯的淘汰赛开打时的关键人物。 庞西奥率队本周六在纪念碑球场与拉普拉塔体操的热身赛给出了非常明确的信号:河床主帅把劳塔

广州土拍,没人抢地了

广州土拍,没人抢地了

前两天,荔湾东沙卖出1宗宅地。 国际商贸港15、21纯宅地,总价约13亿,楼面价25285元/㎡,最后: 保利发展底价拿下。 和前天说的一样,没有人来抢。 这个结果已经不错了。 原本计划同日出让的东沙临江大地块,即05、07商住地,在开拍前一天,官宣延期到下个月出让。 白鹅潭内港湾东沙,市场大热的板块:沿江而上,有华润万象城,有太古重奢,有广船1942船台。 且地块所在的内港湾,本身也是珠江第一个

沙奇里:在国米的表现不算太差,当时俱乐部处在巨大的混乱中

沙奇里:在国米的表现不算太差,当时俱乐部处在巨大的混乱中

直播吧11月19日讯 瑞士边锋沙奇里曾在国米有过一段时间效力经历,在RSI的播客节目《L'Armandillo》中,他回顾了这段往事。 关于2025年上半场效力国米的经历 老实说,那些回忆在竞技层面上并不算特别愉快。我刚到机场时,迎面而来的是国米球迷热烈的欢呼声,当时我就用意大利语感叹了一句:“太疯狂了!”然后我又用德语补充道:“我想这大概是因为我的个人气场吧。当时大家作为球员很赏识我,我在拜仁和