AntGPT 是一个将大型语言模型应用于视频长期行为预测(LTA)的视觉语言框架。研究人员通过使用监督动作识别算法识别人类活动,并将其作为离散化的视频表示输入给 OpenAI GPT 模型。通过自回归方法、微调或上下文学习,GPT 模型可以预测未来的行动序列,从而实现从底向上的行动预测。
他们还利用目标信息来提供以目标为条件的预测,并研究了 AntGPT 在上下文推理和少样本学习方面的能力。
定量和定性评估表明,LLMs 可以从视频观察的离散化动作标签中推断出演员的高级目标,并且在 EPIC-Kitchens-55、EGTEA GAZE + 和 Ego4D LTA v1和 v2基准测试中取得了最先进的长期行动预测性能。该研究提出了使用大型语言模型进行长期行动预测的方法,并通过 AntGPT 框架将 LLMs 与计算机视觉算法相结合,取得了显著的成果。
核心功能:
1)预测目标:AntGPT 利用大型语言模型推断演员的目标,即使只有少量观察到的人类行为。
2)目标条件预测:AntGPT 通过将目标信息嵌入视觉框架,实现了基于目标的行为预测。
3)建模动作时序:AntGPT通过将大型语言模型调整到特定领域的行动序列上,直接建模动作的时间动态。
4)少样本预测:AntGPT 探索了大型语言模型在少样本情况下的预测能力,并尝试了不同的提示策略。
文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。
5 月 10 日消息,据中兴通讯官微,中兴二合一 5G 云电脑“逍遥”系列已经在电商平台上架。其支持本地、云端双模式,可在电脑与平板模式之间一键切换。售价方面,型号为 W200DS 的产品首销价格为 1899 元。
近日,中国家电及消费电子博览会(AWE 2024)隆重开幕。全球领先的智能终端企业TCL实业携多款创新技术和新品亮相,以敢为精神勇闯技术无人区,斩获四项AWE 2024艾普兰大奖。
“以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。
由世界人工智能大会组委会、上海市经信委、徐汇区政府、临港新片区管委会共同指导,由上海市人工智能行业协会联合上海人工智能实验室、上海临港经济发展(集团)有限公司、开放原子开源基金会主办的“2024全球开发者先锋大会”,将于2024年3月23日至24日举办。