• 首页 > 产经频道 > 业界新闻

    腾讯云小微&腾讯云TI-ONE联合团队获RACE 数据集深层阅读理解冠军

    2020年11月27日 14:50:21   来源:中文科技资讯

      近日,腾讯云小微及腾讯云TI-ONE联合团队在大型深层阅读理解任务数据集 RACE 数据集(ReAding Comprehension dataset collected from English Examinations)上登顶第一。据了解,在此次比赛中,腾讯云小微及腾讯云TI-ONE联合团队在基于ALBERT预训练模型上,取得了单模型90.7%和集成模型91.4%正确率的成绩。

    1.jpg

      采用全新训练策略,腾讯云小微及腾讯云TI-ONE联合团队展现AI实力

      RACE 是一个来源于中学考试题目的大规模阅读理解数据集,包含了大约 28000 个文章以及近 100000 个问题。它的形式类似于英语考试中的阅读理解(选择题),给定一篇文章,通过阅读并理解文章(Passage),针对提出的问题(Question)从四个选项中选择正确的答案(Answers)。

      据了解,深度阅读理解的难度在于,正确答案的文字并没有直接使用文章中的话术来回答,不能通过检索文章获取答案,而是要从语义层面深度理解文章来作答。想要提高阅读正确率,就需要机器模型通过分析文章中的线索并基于上下文推理,选出正确答案,这对参赛团队的算法技术提出了更高的要求。

      因此,腾讯云小微团队通过全新的训练策略来实现突破。他们跳出从现有的四个选项中选出一个正确答案的固定模式,采用独立地考虑每一个答案是否合理的方式,同时利用多种其他形式的阅读理解数据进行迁移学习,大大提高了阅读理解的准确率,并在基于ALBERT预训练模型上,取得了单模型90.7%和集成模型91.4%正确率的成绩,赢得了本次比赛的冠军。

      除此之外,在本次比赛上,腾讯云TI-ONE联合腾讯优图和机智团队在单机性能优化、分布式多机扩展和AutoML收敛优化方面也作出了诸多开创性贡献。

      在单机性能方面,基于ALBERT的原生代码,TI-ONE引入了Nvidia的APEX的混合精度训练,并采用动态loss scaling进行正确的权重更新,保证最终模型的精度没有因为低精度训练而有所损失,最终,单卡性能提升为原来的3.6倍。

      在多机扩展方面,由于PyTorch原生的DDP通信框架在公有云VPC网络扩展性不好,团队采用自研的TI-Horovod通信加速框架,利用2D-AllReduce和多流通信等技术,把多机训练ALBERT性能提升为原来的5.5倍。

      另外,AutoML收敛方面,腾讯自研的TI-AutoML框架解决了模型集成困难和大规模长任务调参效果差的问题,便捷地与ALBERT模型集成,同时针对ALBERT模型pretrain和fine-tune两阶段训练的特点,采用了不同的自动调参策略,最后在腾讯云海量算力的加持下,调参效率相对人工调参提升了8倍,彻底把算法工程师从繁琐的手工调参中解放出来,让精力更多的聚焦在更有意义的模型算法创新工作上。

      技术突破让AI应用日渐广泛,在多行业领域落地应用

      深度阅读理解是目前AI领域中最受关注、进步最快的技术方向。如何提高机器深度阅读理解的正确率,是业内一直在关注和探索的问题。此次腾讯联合团队创新的训练策略,和在单机性能优化、分布式多机扩展和AutoML收敛优化等方面的技术提升,将给AI技术领域带来新的突破。

      不止是在深度阅读理解领域有所突破,此次参赛的腾讯云小微团队专注于AI技术领域,在机器翻译、人机对话、阅读理解、自动摘要等领域内都有所研究,其相关技术多次获得业内的认可。在AIIA2020人工智能开发者大会上,腾讯云小微获得多项技术评测认证;在DSTC第八届对话系统技术挑战赛中,则获得四项第一;在CAIL2019司法人工智能挑战赛阅读理解第一名的好成绩。

      当前,人工智能作为经济发展的新动力以及新一轮产业变革的核心驱动力,机器翻译、人机对话、阅读理解等AI技术正在教育、文旅、出行等多个领域内落地应用。在这种背景下,腾讯云小微团队凭借全栈AI语音能力,以及腾讯内外部丰富的内容和服务生态,为各行各业输出完整的AI解决方案,不断渗透智慧生活各个场景。据了解,目前已在智能网联汽车、智慧文旅、智慧教育、智能家居等多行业领域落地应用,服务广泛的用户群体。

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    [编号: X071]
    分享到微信

    推荐

    新闻

    机器人创造恐惧,人类会丢掉地球主导权吗?

    在一些电影以及模拟的视频中,我们常常能看到“机器人举着机关枪或者火箭筒向人类开火”的镜头,但在现实世界,这些都尚未发生。

    融合

    前方到站,虚拟现实

    如果说人类正面临着多种未来的可能,那么在一个共同的想象里,VR和AR必然是建构起未来的钢筋水泥。而想要催生出范式转移下的新兴市场业态,技术永远要走在厚积薄发的道路上。

    创投

    又一巨无霸奔赴IPO:两位大学室友合伙,做出2000亿估

    美国当地时间11月16日,全球民宿短租公寓预订平台Airbnb正式向纳斯达克提交了招股书。