• 首页 > 企业IT频道 > 智慧城市

    MANA五大模型升级助力毫末执行领跑行业 领先进入自动驾驶3.0时代

    2023年01月07日 17:16:49   来源:中文科技资讯

      新年伊始,毫末智行为中国自动驾驶行业带来了一场精彩的技术盛宴——第七届HAOMO AI DAY。本届HAOMO AI DAY上,毫末还宣布了中国自动驾驶行业最大智算中心“雪湖·绿洲”(MANA OASIS)成立的重磅消息。在MANA OASIS的加持下,毫末MANA五大模型迎来全新亮相升级。

    图片2.png

      首先,视频自监督大模型,让毫末4D Clip标注实现100%自动化,人工标注成本降低98%。为了更低成本、更高效获取更多高价值数据,需要解决从离散帧自动化扩充到Clips形态的问题。毫末首先利用海量videoClip,通过视频自监督方式,预训练出一个大模型,用少量人工标注好的Clip数据进行Finetune(微调),训练检测跟踪模型,使得模型具备自动标注的能力;然后,将已经标注好的千万级单帧数据所对应的原始视频提取出来组织成Clip,其中10%是标注帧,90%是未标注帧,再将这些Clip输入到模型,完成对90%未标注帧的自动标注,进而实现所有单帧标注向Clip标注的100%的自动转化,同时降低98%的Clip标注成本。毫末视频自监督大模型的泛化性效果极佳,即使是在一些非常困难的场景,例如严重遮挡的骑行者,远处的小目标,恶劣的天气和光照,都能准确地完成自动标注。

    图片3.png

      其次,3D重建大模型,让毫末实现了数据“无中生有”,获得海量corner case(长尾场景)不再是难事。面对“完全从真实数据中积累的corner case困难且昂贵”的行业难题,毫末将爆火的三维重建NeRF技术应用在自动驾驶场景重建和数据生成中,它通过改变视角、光照、纹理材质的方法,生成高真实感数据,实现以低成本获取normal case,生成各种高成本corner case。3D重建大模型生成的数据,不仅比传统的人工显式建模再渲染纹理的方法效果更好、成本更低,增加NeRF生成的数据后,还可将感知的错误率降低30%以上。

    图片4.png

      第三,多模态互监督大模型,能够精准识别异形障碍物,让车辆“火眼金睛”。在成功实现车道线和常见障碍物的精准检测后,针对城市多种异形障碍物的稳定检测问题,毫末正在思考和探索更加通用的解决方案。多模态互监督大模型引入了激光雷达作为视觉监督信号,直接使用视频数据来推理场景的通用结构表达。通用结构的检测,可以很好地补充已有的语义障碍物检测,有效提升自动驾驶系统在城市复杂工况下的通过率。

    图片5.png

      第四,动态环境大模型,可以精准预测道路的拓扑关系,让车辆始终行驶在正确的车道中。在重感知技术路线下,毫末为了将对高精地图的依赖度降到最低,面临着“道路拓扑结构实时推断”的挑战。为此,毫末在BEV(鸟瞰图)的feature map(特征图)基础上,以标精地图作为引导信息,使用自回归编解码网络,将BEV特征,解码为结构化的拓扑点序列,实现车道拓扑预测,让毫末的感知能力,能像人类一样在标准地图的导航提示下就可以实现对道路拓扑结构的实时推断。毫末认为,解决了路口问题实际就解决了大部分城市NOH问题,目前在保定、北京,毫末对于85%的路口拓扑推断准确率高达95%。即便是非常复杂、非常不规则的路口,毫末也能准确预测。

    图片6.png

      第五,人驾自监督认知大模型,掌握高水平司机的开车技法,让驾驶决策更聪明。在探索“使用大量人驾数据,直接训练模型做出拟人化决策”方面,毫末为了让模型能够学习到高水平司机的优秀开车方法,全新引入了用户真实的接管数据,同时用RLHF(从人类反馈中强化学习)思路先训练一个reward model(奖励模型)来挑选出更好的驾驶决策。通过这种方式,使毫末在掉头、环岛等公认的困难场景中,通过率提升30%以上。这与AGI领域爆火的ChatGPT的思路相同,通过人类行为反馈来选出最优答案。

    图片7.png

      MANA五大模型全面提升了毫末感知和认知层面系统化的底层技术能力。“在五大模型助力下,MANA最新的车端感知架构,从过去分散的多个下游任务集成到了一起,形成一个更加端到端的架构,包括通用障碍物识别、局部路网、行为预测等任务,毫末车端感知架构实现了跨代升级。”顾维灏表示,这也意味着毫末的感知能力更强,产品力更强,产品可以通过快速迭代向全无人驾驶加速迈进。

    图片8.png

      随着毫末智算中心MANA OASIS的落地,数据智能体系MANA也实现了脱胎换骨的升级。在未来的日子里,不断进化的MANA作为毫末产品迭代的核心动力,将持续助力毫末发挥核心技术优势,早日实现毫末“让机器智能移动,给生活更多美好”的最新美好愿景。

     

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    [No. X048]
    分享到微信

    即时探行数字人注册免费试用

    中兴二合一 5G 云电脑“逍遥”系列上架:一键切换双模式,

    5 月 10 日消息,据中兴通讯官微,中兴二合一 5G 云电脑“逍遥”系列已经在电商平台上架。其支持本地、云端双模式,可在电脑与平板模式之间一键切换。售价方面,型号为 W200DS 的产品首销价格为 1899 元。

    新闻探行AI智能外呼系统 节省80%人力成本

    敢闯技术无人区 TCL实业斩获多项AWE 2024艾普兰奖

    近日,中国家电及消费电子博览会(AWE 2024)隆重开幕。全球领先的智能终端企业TCL实业携多款创新技术和新品亮相,以敢为精神勇闯技术无人区,斩获四项AWE 2024艾普兰大奖。

    企业IT探行AI客服 24小时无休机器人接待

    重庆创新公积金应用,“区块链+政务服务”显成效

    “以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。

    3C消费探行AI视频 快速生成真人营销视频

    “纯臻4K 视界焕新”——爱普生4K 3LCD 激光工程投影

    2024年3月12日,由爱普生举办的主题为“纯臻4K 视界焕新”新品发布会在上海盛大举行。

    研究探行AI整体解决方案 全国招募代理

    2024全球开发者先锋大会即将开幕

    由世界人工智能大会组委会、上海市经信委、徐汇区政府、临港新片区管委会共同指导,由上海市人工智能行业协会联合上海人工智能实验室、上海临港经济发展(集团)有限公司、开放原子开源基金会主办的“2024全球开发者先锋大会”,将于2024年3月23日至24日举办。