集章抽惊喜大奖!京东3C数码武夷山快闪活动掀起五一打卡热潮大众汽车集团 Q1 销售收入 776 亿欧元同比增长 2.8%大众电动汽车旅程新里程碑,第 100 万辆成功下线动作传奇电影幕后:《疾速追杀》纪录片《Wick is Pain》5 月 9 日发布电影流浪地球:有第三方机构或个人冒用导演、剧组合作方身份发布信息,诱导公众联络创同类型机组世界纪录,我国首座商业重水堆单循环安全运行 738 天2025 年五一档新片总票房破亿,《水饺皇后》《雷霆特攻队 *》《人生开门红》暂列前三谷歌首席执行官皮查伊反击:拆分 Chrome 等激进计划严重损害公司创新BYDFi携手Ledger推出限量版硬件钱包 于TOKEN2049迪拜限量发放AI智能体行业标杆再获权威认证 云迹科技荣膺“2025机器人产业领军企业TOP100”技术赋能行业升级:佳能EOS VR系统助力专业级虚拟内容生产数智引领 共建智能体时代:超聚变亮相第八届数字中国建设峰会英特尔亮相超聚变探索者大会2025,共建智能体时代中国车企加速拥抱公有云,阿里云连续四年稳居第一英特尔推送锐炫核显电源管理更新,游戏性能显著提升快手成立可灵AI事业部专注大模型业务金仓数据库:深耕民生领域 赋能数字化转型新征程微星游戏本RTX50爆款新品,51电商大促+线下微星日好礼不断!百度优选MCP,AI电商新解法五大场景智能终端齐发,创泽视科技发布全场景AIoT矩阵
  • 首页 > 企业IT频道 > 软件即服务

    联想问天WA7785a G3服务器创纪录!单机运行671B DeepSeek大模型吞吐量高达6708token/s!

    2025年03月17日 15:30:31   来源:Citnews中文科技资讯

      联想今日宣布,旗下首款 AMD AI 大模型训练服务器——联想问天 WA7785a G3在单机部署671B(满血版) DeepSeek 大模型时,实现了高达6708token/s 的极限吞吐量,再次刷新了单台服务器运行超大规模模型性能的纪录。

      据介绍,此次性能突破得益于联想万全异构智算平台的强大支持。联想通过访存优化、显存优化、创新的 PCIe5.0全互联架构以及精选 SGLang 框架中的最优算子等一系列创新技术手段,对大模型从预训练、后训练到推理的全流程进行了持续优化。实测结果显示,在单台部署 DeepSeek671B 大模型的联想问天 WA7785a G3服务器上,最高吞吐量达到了惊人的6708token/s。

      在模拟问题对话场景(上下文序列长度128/1K)时,该服务器最高可支持158的并发数,TPOT(Time Per Output Token)为93毫秒,TTFT(Time To First Token)为2.01秒;而在模拟代码生成场景(上下文序列长度512/4K)时,并发数可达140,TPOT 为100毫秒,TTFT 为5.53秒。联想方面表示,这一性能表现意味着单台联想问天 WA7785a G3服务器即可支撑1500人规模企业的正常使用,是继联想问天 WA7780G3服务器单机部署满血版 DeepSeek 大模型总吞吐量突破2500token/s 之后,在单机部署该大模型推理性能上的又一次重大飞跃。

      联想方面强调,此次技术突破是联想中国基础设施业务群、联想研究院 ICI 实验室和 AMD 联合设计、协同调优、共同实现的成果。同时,这并非最终结果,联想与 AMD 仍在持续探索深度调优的新方法,以期实现更高的性能突破。

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    即时

    新闻

    明火炊具市场:三季度健康属性贯穿全类目

    奥维云网(AVC)推总数据显示,2024年1-9月明火炊具线上零售额94.2亿元,同比增加3.1%,其中抖音渠道表现优异,同比有14%的涨幅,传统电商略有下滑,同比降低2.3%。

    企业IT

    重庆创新公积金应用,“区块链+政务服务”显成效

    “以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。

    3C消费

    华硕ProArt创艺27 Pro PA279CRV显示器,高能实力,创

    华硕ProArt创艺27 Pro PA279CRV显示器,凭借其优秀的性能配置和精准的色彩呈现能力,为您的创作工作带来实质性的帮助,双十一期间低至2799元,性价比很高,简直是创作者们的首选。

    研究

    中国信通院罗松:深度解读《工业互联网标识解析体系

    9月14日,2024全球工业互联网大会——工业互联网标识解析专题论坛在沈阳成功举办。