• 首页 > 云计算频道 > 大模型

    腾讯披露大模型训练方法:Angel框架升级 效率提升2.6倍

    2023年11月28日 16:29:28   来源:站长之家

      在当前大模型参数规模呈指数级增长的情况下,腾讯近日披露了混元大模型训练的最新方法,通过升级自研机器学习框架Angel,成功提升大模型训练效率。这一升级使得千亿级大模型训练可以节省高达50%的算力成本,为应对算力紧缺提供了有力支持。Angel框架的升级不仅仅在于提高效率,还支持单任务万卡级别超大规模训练,进一步提升了腾讯云HCC大模型专属算力集群的性能和效率。

      为了进一步提高大模型的训练和推理效率,腾讯自研了机器学习训练框架AngelPTM。在存储方面,AngelPTM采用多维度的并行计算,包括数据并行、模型并行、流水并行和序列并行。

      此外,通过在ZeRO-Cache的基础上引入统一视角技术,将显存和主存打通,有效扩展了显存容量,提升了单机存储容量达90%。在通讯方面,腾讯通过软硬件结合的方式解决,构建了3.2T RDMA网络来拓宽带宽,同时在框架软件层面做GPU拓扑感知,实现了负载均衡的流水并行。为了确保稳定性,腾讯对基础设施的网络、硬件、存储、云原生调度都进行了监控,并实施了自动续训和系统容错。

      此外,为解决推理成本不断上升的问题,腾讯推出了大模型推理框架AngelHCF。通过扩展并行能力和关键能力的优化,包括Embedding共享、Attention算子优化、Paged Attention优化等方式,提高了推理性能,相较于主流框架,AngelHCF的推理速度提高了1.3倍。这一框架在腾讯混元大模型文生图的应用中,将推理耗时从原本的10秒缩短至3至4秒。

      腾讯不仅仅在大模型训练方面取得了显著的效率提升,还在推理阶段取得了实质性的优化。这一系列技术提升已经在腾讯云上得以开放,为用户提供更优的训练和推理加速能力,同时支持客户一站式训练精调,打造专属智能应用。腾讯内部已有超过300项业务和应用场景接入腾讯混元大模型内测,涵盖了文本总结、摘要、创作、翻译、代码等多个领域,这标志着整个生产链路的全面升级,从模型研发到应用落地形成了一站式的平台,进一步推动了大模型应用的发展。

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    即时探行数字人注册免费试用

    阿里云计算业务Q4营收280.66亿元 同比增长3%

    2月7日,阿里巴巴(NYSE:BABA;HKEX:9988)发布了截至2023年12月31日的2024财年第三财季财报(即自然年2023年Q4)。财报显示,公司该季度营收为2603.48亿元,同比增长5%;净利润为107.17亿元,较上年同期降77%。

    新闻探行AI智能外呼系统 节省80%人力成本

    纯电版迈腾和帕萨特 大众ID旗舰轿车亮相上海车展

    上海车展正在火热进行中,一汽大众在2023上海车展中带来了ID家族的旗舰轿车产品,ID.7 VIZZION,新车基于MEB平台打造而来,预计将于今年下半年正式上市。

    企业IT探行AI客服 24小时无休机器人接待

    “产业互联网平台赋能企业数字化转型升级”游学走进

    5月18日,为了帮助中小企业解决定为难、运营难、资金难、人才难、资源难等问题,杭州市市场营销协会组织多家专业机构联合举办“名企游学,走进上市公司”活动,通过学习交流赋能中小企业更好地完成转型升级。此次活动走进“A股互联网第一股”浙江网盛生意宝股份有限公司。

    3C消费探行AI视频 快速生成真人营销视频

    装修也能更省心 京东装修自营业务为用户打造省时省钱

    5月18日,由京东携手爱空间整装举办的京东装修自营业务新品发布会暨京东联合爱空间整装新品媒体见面会正式召开。

    研究探行AI整体解决方案 全国招募代理

    QuestAuto 3月报告:新能源轿车活跃总数突破777万辆

    5月17日消息,QuestAuto数据显示,2023年3月,新能源轿车销量TOP10车系总体增长幅度都比较大,秦PLUS DM-i、海豚、Aion S、五菱宏光MINIEV、Model 3位居前五,销量分别为3.13万辆、2.77万辆、2.64万辆、2.32万辆、2.17万辆。