阿里巴巴华中总部项目商业投入运营铁路客运电子发票全国推广一个多月,开具超过 1000 万张微短剧上电视大屏总收视规模超 5 亿户次美团外卖启动“恶意差评治理专项行动”:引入 AI 识别关键词,未来将预警风险用户工信部:我国 5G 基站总数达 414.1 万个,每万人拥有 5G 基站数达 29 个极越 CEO 夏一平内部信被指抄袭蔚来李斌:核心内容几乎相同vivo、OPPO 快应用接入自家支付平台,年底不再默认支持微信、支付宝接口内部人士谈极越汽车崩盘:百度吉利两大股东不愿继续投资,承诺 30 亿融资未到账罗姆、台积电就车载氮化镓 GaN 功率器件达成战略合作伙伴关系吉利旗下沃飞长空全球总部基地开工,AE200 eVTOL 进入适航取证与量产冲刺阶段消息称 Synopsys 拟收购 Ansys 后剥离资产,以期欧盟批准 350 亿美元交易消息称《数据结构》教科书编著者、清华大学计算机教授严蔚敏去世国内规模最大的电力 5G 专网在秦山核电正式上线极越 CEO 夏一平:百度最近对公司进行了全面审计,没有任何问题索尼确认有意收购 FromSoftware 母公司角川集团刚融资就大裁员,云鲸智能进入寒冬?联想寒促优惠来袭:联想AI全家桶带你一起狂欢双十二月销超11万辆,新能源销量榜前三,五菱神话能持续多久?AlmaLinux 10.0 Beta发布:代号“紫狮”,支持后量子密码学谷歌测试Gemini AI游戏助手:实时分析屏幕以提供游戏建议
  • 首页 > 云计算频道 > 大模型

    幻觉率直降40%,中国电信千亿参数「星辰大模型」炸场,业界首提缓解多轮幻觉解决方案

    2023年11月15日 10:13:49   来源:机器之心公众号

      在近日举办的 2023 年数字科技生态大会人工智能与数据产业发展合作论坛论坛上,我们见到了中国电信星辰系列大模型的最新升级,以及针对上述问题所提出的一系列技术创新。

      其中,星辰语义大模型正式发布了千亿参数版本,在推理和回答准确性方面都有显著提升,并将上下文窗口提到了 96K Token。特别是,中国电信首次提出了缓解多轮幻觉的解决方案,使得大模型的幻觉率降低了 40%。

      与此同时,中国电信还宣布将加入到开源开放的行列中,预计今年年底开源百亿级别的大模型,明年 4 月则会开源千亿级别的大模型,旨在让更多研究者和开发者从中受益。此外,中国电信还将根据星辰大模型构建各种工具链,以满足不同用户的需求。

      「幻觉率」降低 40%,星辰语义大模型是如何做到的?

      大模型的幻觉问题,是学界和业界都非常关心的问题,也是其落地应用面临的最难挑战之一。

      在千亿参数大模型发布之前,星辰语义大模型已经具备了多版本稳定可用的大模型基座,覆盖 3B、7B、12B 和 130B 等参数量级。

      在目前的大模型领域,百亿参数是一种非常主流的选择,这也是各家公司基于推理成本等因素的选择。至于为什么选择升级打造千亿参数版本的星辰语义大模型,何忠江也解释了背后的思考。

      我们都知道,大模型的底层架构是「预测下一个 token」,导致其容易产生「幻觉」,给出事实上不正确的陈述。何忠江认为,从另外一个角度看,这恰恰反映了大模型像人一样,是因为并没有真正理解问题,才会回答出风马牛不相及的内容。解决办法可以是加强数据溯源,也可以是增加参数量,这些都能让大模型学到更多的东西,并真正地理解一个事物,而不是「胡说八道」。

      让人最为关注的是,中国电信千亿参数星辰语义大模型在业界首次提出了缓解多轮幻觉的解决方案,将模型幻觉率降低了 40%。这一方案包括四项关键技术:

      关键信息注意力增强技术:通过对关键信息进行注意力增强,可以提升模型理解能力和答案回复一致性的能力,较大程度缓解模型幻觉问题;

      知识图谱强化:通过知识图谱确保训练数据集知识事实性,并通过知识图谱知识提示能力辅助模型知识问答能力提升,大幅降低模型幻觉,提高通用问答准确率。

      多轮知识记忆和强化技术:通过采用更优模型知识记忆方案,以及关联信息的强化训练方案,增强了模型上下文记忆能力和关联知识理解能力,增强了上下文回复一致性,降低了模型幻觉问题;

      知识溯源能力:通过多种湖源方式,关联问题相关参考出处,生成答案更加可靠。

      另一方面,中国电信将此前的百亿参数增加到千亿级别,使得星辰语义大模型获得了很大的性能提升:

      首先,星辰语义大模型在长文本生成和长文理解上提升尤其明显,分别有 30% 和 20% 的提升;其次,在知识问答方面提升 18%,在对内开放平台上回答正确率更可达 98%,可支持 96K Token 上下文理解;此外,逻辑推理、数学能力和代码能力等方面,也有 10-15% 不等的提升。

      截止目前,电信大模型已在电信内外多个场景落地:对内可提升办公、生产协同效率,包括了行文写作、代码编程、网络故障分析以及经营分析等多场景;对外可赋能 2B 和 2G 业务场景,提质提效、优化体验。同时,中国电信也联合多样化的工具辅助,来提高大模型在不同领域下的使用体验,包括外挂知识、插件使用以及百余种预置 Prompts。

      从对话框走向千行百业,大模型落地还需要什么?

      人们都在期待着规模化的 AI 应用诞生,而这种成果必将来自于大模型的底层创新。

      除了让大语言模型的本行 —— 文本的理解与生成能力不断进化之外,科技巨头也竞相推出多模态方面的更新,将更多 AI 驱动的工具直接集成到核心产品中。比如这几个月来,OpenAI 陆续赋予了 ChatGPT 看(GPT-4V)、听(Whisper)、说(最新 TTS 技术)、画(DALL・E)的能力。

      前几天,OpenAI 召开了自家的首场开发者大会。全新升级后的 GPT-4 Turbo API ,将这些多模态能力开放给了每一位用户。当多模态能力被整合,必然会催生很多场景化应用。

      何忠江指出,实际场景中的大模型应用不仅是一个简单的对话框,需要与多模态模型联动,才能真正去改变一些工作的流程和思路,提高其效率。而我们此前所熟悉的大模型 —— 语义大模型会是整个通用人工智能的核心,起到类似人类大脑的思考作用。

      因此,在星辰语义大模型的打造过程中,中国电信同时开发了星辰多模态大模型和星辰语音大模型。

      在这场论坛中,中国电信隆重介绍了星辰多模态大模型,该模型主要聚焦提升图文生成、图文理解能力,训练了超过 12 亿各种风格数据,支持近 20 种绘画风格,中文意象理解生成能力提升 30%,语义细粒度生成效果提升 25%。

      此外,星辰语音大模型也是一大亮点。据介绍,星辰语音大模型基于数十万小时语音数据进行训练,具备精准的多语种 / 方言语音识别、语音实时自定义敏感词检测、超自然多音色语音生成和编辑、声音匿名等多项语音能力,支持智能会议、智慧办公、智能客服、智能语音机器人等多场景解决方案。

      以「智能客服」为例,何忠江介绍说,此前 TTS 技术已经能够合成非常优美的声音,但还远远算不上自然,接电话的人很容易识别出声音是否由机器生成,这就是 TTS 技术在落地智能客服应用受到的最大阻碍。据统计,这类合成人声的挂断率甚至达到 70% 左右。

      要想破解应用的问题,就要依靠技术创新,达到「高仿真」。星辰语音大模型目前已经实现「超自然人声合成」,比如下面这段声音,听起来和真人发音别无二致,语气词和停顿节奏都比较还原:

      在通用模型之外,面向垂直领域的行业大模型也是各个厂商的「必争之地」。构建一个智能对话框不是最难的,让大模型融入具体的业务、成为新的生产工具更重要。对此,中国电信已早早布局。

      本次论坛中,中国电信宣布了首批试商用 12 个行业大模型,包括星辰教育大模型、治理大模型、政务服务大模型、应急大模型、医保大模型、交通大模型、住建大模型、金融大模型、神农一号大模型、出行大模型、旅游导览大模型、矿山大模型。

      比如星辰教育大模型,这是中国电信基于教育行业亿级服务数据沉淀,训练出具有国家中英文作文特级教师水平的「精准教学大模型」,15 秒就能完成一篇中英文作文的打分、点评和改进建议,目前已在河南 1.2 万师生教学中应用并取得良好的效果。再比如星辰基层治理大模型,主要应用场景包括矛盾调节助手、线上法律顾问和公文助手等,目前已在某些城市的多个基层社区上线应用。

      通用人工智能,越来越近

      转眼间,距离 ChatGPT 发布已经快过去一年,热度却丝毫未减。究其原因,是因为大模型终于清晰地指出了一条前往通用人工智能的路。

      一直以来,中国电信都将通用人工智能的目标当成长期努力的方向。近年来,从视觉、语音、语义到集各种模态能力于一身的数字人,中国电信目前已完成了全面布局,很多技术成果也逐渐投入实际生产使用。

      谈到对通用人工智能的理解,何忠江表示,这仍然是一条漫长的道路,包括「感知智能」、「认知智能」、「具身智能」、「群体智能」几种阶段。

      理想中的人工智能是像人一样能看、能听、会思考。借助视觉和语音的技术,模型把信息采集到以后,核心是要对信息做出判断,给出下一步的决策思路,这其实就是大语言模型在目前阶段起到的作用。

      当这种决策能力落在虚拟空间中的数字人或是现实空间中的机器人,就意味着「具身智能」的诞生,假如数字人和机器人能够相互协作、统筹和调度,这就意味着「群体智能」诞生了,通用人工智能在这个过程中离我们越来越近。

      比如在下方这个案例中,星辰语义大模型用来撰写宣传主题文案,星辰多模态大模型用来绘制产品海报,在这个过程中,数字人起到了下达指令的作用,也可视为人类的「数字分身」。

      最开始,数字人将任务描述为:「中国电信有一款最新的产品是直连卫星的产品,我们假设要给这款产品做一些广告宣传的文案,我们应该通过大模型怎么来做?」短短两分钟,一张精美的海报就完成了。

      面向下一阶段的竞争,中国电信的万亿大模型已经开启训练计划,并预计将于明年 5 月份完成。据了解,电信万亿参数大模型是以「成长策略」进行训练,是首个万亿稠密大模型,将拥有更高阶的「智能」。

      可以想象的是,在不远的未来,融合语言、视觉和语音等多模态能力的大模型将会适应现实世界中不同模态的任务,逐渐接近甚至超越人类的水平。曾经只会出现在科幻作品的情节,终将走进现实。

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    即时

    新闻

    明火炊具市场:三季度健康属性贯穿全类目

    奥维云网(AVC)推总数据显示,2024年1-9月明火炊具线上零售额94.2亿元,同比增加3.1%,其中抖音渠道表现优异,同比有14%的涨幅,传统电商略有下滑,同比降低2.3%。

    企业IT

    重庆创新公积金应用,“区块链+政务服务”显成效

    “以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。

    3C消费

    华硕ProArt创艺27 Pro PA279CRV显示器,高能实力,创

    华硕ProArt创艺27 Pro PA279CRV显示器,凭借其优秀的性能配置和精准的色彩呈现能力,为您的创作工作带来实质性的帮助,双十一期间低至2799元,性价比很高,简直是创作者们的首选。

    研究

    中国信通院罗松:深度解读《工业互联网标识解析体系

    9月14日,2024全球工业互联网大会——工业互联网标识解析专题论坛在沈阳成功举办。