从东莞,向全球!华为(东莞)跨境电商综合服务创新中心正式启动苦恼电视光晕问题,想换Q10K和E7N,朋友的几番话让我下定决心!Akamai与Kyndryl合作:加速企业零信任安全策略的实施京东11.11先人一步上线AMD新品处理器 15分钟内预定破千速来京东11.11!下单MacBook、AirPods还可叠加政府补贴中国信通院发布2024年9月国内手机市场运行分析报告:出货量2537.1万部,其中5G手机占比88.0%中国移动启动5G专网深度定制产品短名单第一次增补采购:总预算13.5亿元华为Mate 70系列4款机型蓄势待发:首发原生鸿蒙天猫双11大爆发!373个品牌成交破亿真我GT7 Pro搭载水陆两栖超光影潜望:拥有水下摄影模式李斌否认萤火虫将搭增程技术:我们有换电县县通OPPO首批机型本月开启ColorOS 15正式版升级:涵盖Find X7等11款字节祭出开源秘密武器HybridFlow,大模型训练速度飙升20倍,成本砍到脚脖子!夸克发布“灵知”学习大模型 全面升级“AI搜题”让新题、难题都有解Suno新增AI歌手克隆功能,一键复刻专属音乐风格D-ID推超逼真AI虚拟头像:进行视频训练就能复刻头部和躯干动作极光将于2024年11月14日公布2024年第三季度财报告别“假脸”模特!阿里EcomID重磅来袭谷歌Gemini API推出 “连接实时搜索” 功能 提升AI响应准确性柏视医疗亚太之行:肿瘤精准治疗进入国际市场快车道
  • 首页 > 云计算频道 > 大模型

    清华推出短视频AI理解新技术video-SALMONN 像人一样刷视频

    2024年07月31日 15:38:07   来源:AIbase基地

      最近,新加坡国立大学的Wenyi Yu及其团队提出了一项名为video-SALMONN的新技术,它不仅能够理解视频中的视觉帧序列、音频事件和音乐,更重要的是,它能够理解视频中的语音内容。这项技术的提出标志着我们在让机器理解视频内容方面迈出了重要一步。

      视频-SALMONN是一种端到端的音频-视觉大型语言模型(av-LLM),它通过一种新颖的多分辨率因果Q-Former(MRC Q-Former)结构,将预训练的音视频编码器与大型语言模型的主体连接起来。这种结构不仅能够捕捉到语音理解所需的细粒度时间信息,同时也保证了对其他视频元素的高效处理。

      为了提高模型对不同视频元素的平衡处理,研究团队提出了专门的训练方法,包括多样性损失和未配对音视频混合训练策略,以避免视频帧或模态的主导。

      在新引入的语音-音频-视觉评估基准(SAVE)上,视频-SALMONN在视频问答(video-QA)任务上取得了超过25%的绝对准确率提升,在涉及人类语音的音视频问答任务上取得了超过30%的绝对准确率提升。此外,视频-SALMONN在其他av-LLMs前所未有的任务上展示了卓越的视频理解与推理能力。

      视频-SALMONN的核心是多分辨率因果(MRC)Q-Former结构,它在三个不同的时间尺度上对同步的音视频输入特征与文本表示空间进行对齐,满足不同任务对不同视频元素的依赖需求。此外,为了加强连续视频帧之间的时间因果关系,MRC Q-Former中包含了具有特殊因果掩码的因果自注意力结构。

      视频-SALMONN的提出,不仅为学术界带来了新的研究工具,也为实际应用提供了广阔的可能性。它使得技术与人类的交互变得更加自然和直观,降低了用户尤其是儿童和老年人学习使用技术的难度。同时,它还有潜力提高包括运动障碍人士在内的技术的可访问性。

      视频-SALMONN的提出,是朝着实现通用人工智能(AGI)迈出的重要一步。通过整合语音输入以及现有的非语音音频和视觉输入,这样的模型将获得对人类交互和环境的全面理解,从而能够应用到更广泛的领域。

      这项技术的发展,无疑将为视频内容的分析、教育应用、以及提升人们的生活质量带来深远的影响。随着技术的不断进步,我们有理由相信,未来的AI将更加智能,更加贴近人类的需求。

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    即时

    新闻

    明火炊具市场:三季度健康属性贯穿全类目

    奥维云网(AVC)推总数据显示,2024年1-9月明火炊具线上零售额94.2亿元,同比增加3.1%,其中抖音渠道表现优异,同比有14%的涨幅,传统电商略有下滑,同比降低2.3%。

    企业IT

    重庆创新公积金应用,“区块链+政务服务”显成效

    “以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。

    3C消费

    华硕ProArt创艺27 Pro PA279CRV显示器,高能实力,创

    华硕ProArt创艺27 Pro PA279CRV显示器,凭借其优秀的性能配置和精准的色彩呈现能力,为您的创作工作带来实质性的帮助,双十一期间低至2799元,性价比很高,简直是创作者们的首选。

    研究

    中国信通院罗松:深度解读《工业互联网标识解析体系

    9月14日,2024全球工业互联网大会——工业互联网标识解析专题论坛在沈阳成功举办。