快科技6月28日消息,当行业在讨论谁的模型更聪明时,DeepSeek仍然把目光投向更现实的问题:如何让大模型跑得更快。
昨日,DeepSeek官方在Github低调发表了一篇最新论文,介绍其推理加速框架DSpark,试图解决大语言模型在高并发场景下的推理效率瓶颈。
【资料图】
从作者署名来看,这篇论文由DeepSeek与北京大学联合发布,值得注意的是,DeepSeek创始人梁文锋也位列作者名单。
在论文中,团队开源了DSpark模型权重,并同步发布了面向推测解码、由算法驱动的训练代码仓库DeepSpec。
DeepSeek首先解释了需要解决的问题。大语言模型采用自回归方式生成文本:每一个新词元的生成,都需要基于全部前置词元完成一次完整前向传播,结果是输出越长,等待越久。
由此带来GPU利用率低下、用户等待时间过长的问题,这是大语言模型线上服务的核心性能瓶颈,在实时对话助手、多轮智能体工作流等低时延敏感场景中尤为突出。
目前的主流方案分为自回归草稿模型(Eagle3)、并行草稿模型(DFlash)两条路线,二者各有缺陷,包括生成质量瓶颈和系统效率瓶颈等,且现有方案均缺乏负载自适应校验机制。
基于此,DeepSeek提出DSpark推测解码框架,采用半自回归生成架构:保留并行主干的高吞吐优势,同时加入轻量级串行模块,逐词元注入前缀依赖信息。
该模块提供两种实现——仅依赖前一个词元的马尔可夫头,以及通过循环状态累积完整前缀信息的RNN头。
实验表明,两层Transformer深度的DSpark即可在所有测试领域超过五层DFlash的接受长度。
目前,DeepSeek已经将DSpark部署到DeepSeek-V4在线服务系统中,并基于真实用户流量评估其实际性能。
结果显示,相较于现有生产环境基线系统MTP-1,在相同吞吐量条件下,DSpark将用户端生成速度提升了60%-85%。
此外,DeepSeek也将这一框架部署在其他模型上,以阿里旗下的Qwen3-4B、8B、14B三个模型为例,相较于自回归草稿模型,DSpark平均单轮可接受词元长度分别提升了30.9%、26.7%、30%;相较于并行草稿模型,DSpark分别提升了16.3%、18.4%、18.3%。
下一篇:最后一页
- 【时快讯】梁文锋署名!DeepSeek发表重磅论文:如何让大模型跑得更快
- 伦敦发生疑似蓄意驾车撞人事件 致5人受伤
- 世界杯丨塞内加尔5:0大胜伊拉克 有望凭净胜球优势晋级|每日播报
- 快看:微创脑科学(02172)6月26日斥资约307.97万港元回购28.5万股
- 今日要闻!嘉德利跌8.47%创新低 上个月上市募7.25亿元
- PriceSeek提醒:6月26日中石化丁苯橡胶出厂价下调
- 创业集团控股(02221)发盈警 预计年度股东应占净亏损不超6000万港元 速读
- 6月25日港股其他医疗保健行业沽空数据盘点,平安好医生、毛戈平、康耐特光学沽空金额位居行业前三-热点评
- 每日快讯!国产智能盾构换刀机器人正式投用
- 看点:上期所:自6月25日交易(即6月24日晚夜盘)起调整燃料油期货相关合约交易限额
- 每日看点!哪些策略适合长期控制回撤?
- 今亮点!昆仑能源(00135)6月23日斥资991.6万港元回购148.8万股
- 安粮期货:短期焦煤焦炭或维持震荡下行格局-每日视讯
- 生意社:上海期货交易所6月22日铜仓单下跌 每日动态
- 德昌电机控股(00179.HK)拟重聘罗兵咸永道 预计核数费用最高340.00万美元
-
【时快讯】梁文锋署名!DeepSeek发表重磅论文:如何让大模型跑得更快快科技6月28日消息,当行业在讨论谁的模型更聪明时,DeepSeek仍然把目
-
伦敦发生疑似蓄意驾车撞人事件 致5人受伤英国伦敦警方27日说,伦敦西部当天发生一起疑似蓄意驾车撞人事件,造成
-
世界杯丨塞内加尔5:0大胜伊拉克 有望凭净胜球优势晋级|每日播报塞内加尔队开局攻势迅猛,第四分钟便收获进球。卡马拉右侧开出角球,塞
-
快看:微创脑科学(02172)6月26日斥资约307.97万港元回购28.5万股智通财经APP讯,微创脑科学(02172)发布公告,于2026年6月26日该公司斥
-
今日要闻!嘉德利跌8.47%创新低 上个月上市募7.25亿元中国经济网北京6月26日讯嘉德利(603435 SH)今日收报59 33元,跌幅8 47%
-
PriceSeek提醒:6月26日中石化丁苯橡胶出厂价下调6月26日中石化丁苯橡胶出厂价下调500元 吨附近,齐鲁1502 1502E报12300
-
每日快讯!国产智能盾构换刀机器人正式投用据了解,机器人拥有11个独立可控活动关节,具备高避障能力与精细操作能
-
看点:上期所:自6月25日交易(即6月24日晚夜盘)起调整燃料油期货相关合约交易限额中国网财经6月25日讯日前,上海期货交易所(简称“上期所”)发布相关通
-
每日看点!哪些策略适合长期控制回撤?在投资基金的过程中,长期控制风险、减少资产净值的回撤是众多投资者关
-
今亮点!昆仑能源(00135)6月23日斥资991.6万港元回购148.8万股智通财经APP讯,昆仑能源(00135)发布公告,于2026年6月23日斥资991 6万
-
安粮期货:短期焦煤焦炭或维持震荡下行格局-每日视讯现货信息:炼焦煤价格指数1709 3元 吨。一级冶金焦汇总均价2081元 吨。
-
生意社:上海期货交易所6月22日铜仓单下跌 每日动态上海期货交易所6月22日上海地区铜库存合计49,166吨,较上日下跌3750吨
-
德昌电机控股(00179.HK)拟重聘罗兵咸永道 预计核数费用最高340.00万美元德昌电机控股(00179 HK)拟重聘罗兵咸永道预计核数费用最高340 00万美元
-
江南水务:副总经理陆庆喜离任_每日快报南财智讯6月22日电,江南水务公告,公司董事会近日收到副总经理、财务
-
快看点丨富瑞:美图公司维持“买入”评级 目标价7港元富瑞:美图公司维持“买入”评级目标价7港元
-
什么是基金回撤的安全边际策略? 播报在基金投资领域,投资者都希望在获取收益的同时尽可能降低风险,而基金
-
权威数读|一周“靓”数自6月18日至22日,全国铁路预计发送旅客8300万人次;6月底前将下达今年
-
深圳打造生物医药特殊物品通关AI服务平台【深圳打造生物医药特殊物品通关AI服务平台】6月18日,深圳生物医药特
-
今日视点:[快讯]楚天高速公布2025年年度分红实施方案CFi CN讯:楚天高速(股票代码:600035)公布湖北楚天智能交通股份有限
-
每日热文:Babycare回应媒体报道:公司在售纸尿裤产品均严格遵循现行国家标准6月18日,Babycare发布关于Babycare纸尿裤相关报道的声明。
-
618折扣下滑:耐克、FILA、李宁们的跑鞋贴近85折|热推荐21世纪经济报道记者贺泓源、实习生王盛榆客观上,今年618运动品牌的折
-
焦点精选!水利部:我国将迎来新一轮强降雨过程记者从水利部了解到,18日起我国将迎来新一轮强降雨过程。受其影响,珠
广告
X 关闭
会议现场1月10日下午,中原旅游通上线启动仪式在郑州举行。河南省文化和旅游厅党组书记、厅长姜继鼎,厅...
- 河南:“新版”科技创新券正式启用
- 深入学习领会党的二十大精神 加快推动全省制造业数字化转型
- 一年最高可为企业节省50万元研发费用 “新版”科技创新券正式启用
- 超额完成任务 2022年河南新增技能人才403.2万人
- 楼阳生在全省市厅级主要领导干部 学习贯彻党的二十大精神研讨班开班式上强调 扎实推进中国式现代化建设河南实践 交出新时代新征程奋勇争先更加出彩优秀答卷 王凯主持
- 完善方案 加快推进数字政府和“河南链”建设
- 突出重点 夯实责任 全力做好重污染天气应急应对工作
- 在打造国家创新高地和全国重要人才中心中当好领头羊
- 河南省金融开放新突破 境外资本参与省内风投有了“新边界”
- 中原旅游通上线 实现“一部手机畅游河南”
广告
X 关闭
◎9月7日至8日,2023腾讯全球数字生态大会在深圳召开,这是腾讯2018年



