Project Rumi 是微软的一个项目,旨在通过解决大型语言模型(LLM)理解非语言线索和上下文细微差别的局限性,增强 LLM 的能力。
该项目将非语言线索融入基于提示的 LLM 交互中,以提高交流的质量。研究人员使用音频和视频模型从数据流中检测实时的非语言线索。使用两个独立的模型分别从用户音频中提取声调和语音的语义信息。研究人员使用视觉转换器对视频进行编码,并从中识别面部表情。下游服务将非语言线索信息融入基于文本的提示中。这种多模态方法旨在增强用户情感和意图的理解,从而将人工智能与人类的互动提升到一个新的水平。
未来,研究人员计划改进模型的效率,并添加更多细节,如从标准视频中获取的心率变异性(HRV)和认知和环境感知。这是在下一波与人工智能的交互中增加无言意义和意图的更大努力的一部分。
要点:
1. Project Rumi 旨在通过增加语言模型对非语言线索和语境细微差别的理解能力,提升大型语言模型的能力。
2. 该项目采用多模态方法,通过音频和视频模型检测实时的非语言线索,以提高与语言模型的交互质量。
3. 未来的研究计划包括进一步改进模型,并添加心率变异性和环境感知等更多细节,以实现与人工智能的更深层次的交互。
文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。
5 月 10 日消息,据中兴通讯官微,中兴二合一 5G 云电脑“逍遥”系列已经在电商平台上架。其支持本地、云端双模式,可在电脑与平板模式之间一键切换。售价方面,型号为 W200DS 的产品首销价格为 1899 元。
近日,中国家电及消费电子博览会(AWE 2024)隆重开幕。全球领先的智能终端企业TCL实业携多款创新技术和新品亮相,以敢为精神勇闯技术无人区,斩获四项AWE 2024艾普兰大奖。
“以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。
由世界人工智能大会组委会、上海市经信委、徐汇区政府、临港新片区管委会共同指导,由上海市人工智能行业协会联合上海人工智能实验室、上海临港经济发展(集团)有限公司、开放原子开源基金会主办的“2024全球开发者先锋大会”,将于2024年3月23日至24日举办。