洗衣机半年小结:海尔、美的、博西各有所长信通院发布《云计算蓝皮书(2025年)》AXENT恩仕亮相链博会 NOVIA全景智慧浴室升级未来人居体验“融合”为体,“AI”为用:金仓数据库在智能时代的破局之道大佬们都在聊什么?全数会2025中国智能制造数字化转型大会“剧透”来了!2025高端制造峰会携500强企业共创“智造新范式”AMD与Stability AI合作推出首款BF16精度开源图片生成模型20万左右的suv油车最佳推荐,哈弗系列多款热销车型推荐鸿蒙版腾讯会议升级:个人会议号、中英实时字幕、AI总结一应俱全首款搭载吉利千里浩瀚H3智驾系统的银河A7即将量产上市,标配地平线机器人-W征程6M解决方案赛力斯位列中国创新与突破10强 以魔方技术平台引领智电融合发展有赞寄件接入顺丰特快,生鲜商家迎战高温再添“时效王牌”IDC权威认可:瑞数信息双项入选《中国大模型安全保护市场概览》重载机器人赛博格Cyborg-R01将亮相2025世界人工智能大会高途集团与飞书达成合作,加速打造科技教育集团新范式鸿蒙版全民K歌全新升级,多重更新打造在线 K 歌体验新标杆鸿星科技:技术创新主动引领下游产业变革 擘画石英晶振国产化新图景中昊芯英首批通过 DeepSeek 适配测试:人工智能软硬件测试验证中心权威发布双绝大师进化登场!三大技术突破共谱高端电自性能封神绝唱中国国际电子商务中心研究院:直播电商高质量发展报告
  • 首页 > 云计算频道 > 大模型

    华为FlashComm技术助力大模型推理提速80%

    2025年05月22日 18:08:47 来源:CITNews中文科技资讯

      在全球人工智能发展的浪潮中,模型推理的速度和效率愈发成为焦点。近期,华为的数学团队在 DeepSeek 开源周期间推出了名为 FlashComm 的新技术,旨在通过三项创新措施,大幅提升大模型推理的性能,最高可达80% 的速度提升。

      首先,FlashComm 技术重点优化了 AllReduce 通信操作。传统的 AllReduce 方法就像一辆装满货物的集装箱车,不够灵活。华为团队通过智能化手段,将数据分为两部分:先进行 ReduceScatter,然后再进行 AllGather。这一重组过程使得后续的通信量减少了35%,同时关键计算量也减少到原来的1/8,推理性能提升了22% 到26%。

      其次,在推理过程中,华为发现可以通过调整矩阵乘法的并行维度来减轻通信负担。在保持结果精确的前提下,三维张量被 “压扁” 成二维矩阵,结合 INT8量化技术,数据传输量骤降86%,整体推理速度提升33%。这一策略就像将大型货物装入小型集装箱,让数据传输变得更加高效。

      最后,华为的多流并行技术打破了传统串行计算的局限。在 MoE 模型的推理过程中,华为团队将复杂的计算流程进行拆解和重组,借助昇腾硬件的多流引擎实现了三条计算流的精准并行。这种方法可以在一组数据进行专家计算的同时,另一组数据已经进入门控决策阶段,从而最大限度地提高计算效率。

      FlashComm 的发布标志着华为在大模型推理领域的一次重大技术突破。这不仅将提升模型的推理速度,还将推动人工智能应用的发展,为科研和工业领域的 AI 应用带来新的机遇。

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    海报生成中...

    最新新闻

    热门新闻

    即时

    新闻

    明火炊具市场:三季度健康属性贯穿全类目

    奥维云网(AVC)推总数据显示,2024年1-9月明火炊具线上零售额94.2亿元,同比增加3.1%,其中抖音渠道表现优异,同比有14%的涨幅,传统电商略有下滑,同比降低2.3%。

    企业IT

    重庆创新公积金应用,“区块链+政务服务”显成效

    “以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。

    3C消费

    华硕ProArt创艺27 Pro PA279CRV显示器,高能实力,创

    华硕ProArt创艺27 Pro PA279CRV显示器,凭借其优秀的性能配置和精准的色彩呈现能力,为您的创作工作带来实质性的帮助,双十一期间低至2799元,性价比很高,简直是创作者们的首选。