• 首页 > 企业IT频道 > ARVRMR

    Meta专利探索将真实世界对象通过MR集成到VR环境中

    2023年03月08日 15:05:56   来源:映维网

      将真实世界对象合并到虚拟现实环境中的现有方法是,渲染与真实世界对象相对应的混合现实对象。基于真实世界对象的属性,VR应用程序可以通过改变对象的外观来渲染MR对象。

      例如,真实世界的沙发可以渲染为户外VR环境中的公园长椅,或者VR环境中的体育场座椅。但换句话说,当用户从一个VR应用移动到另一个应用时,VR应用可能限于仅改变真实世界对象的外观,而不改变MR对象的功能。

      但有时候,针对不同的VR应用,可能存在着不同的渲染需求。例如,VR流媒体应用可能希望将真实世界的沙发呈现为MR沙发,亦即真实对象的功能与MR对象的功能一致。但对于VR西部游戏应用,其可能希望将真实世界沙发渲染为MR岩石堆,并将其用作需要绕开的障碍物或者作为防御性掩体。

      在名为“Platformization of mixed reality objects in virtual reality environments”的专利申请中,Meta就介绍了一种可以确定真实世界对象的基本属性(例如大小、形状、功能),并有效地将真实世界对象作为MR对象集成到VR环境中的方法。简单来说,VR系统可以使用真实世界对象的属性信息来确定MR对象的适当功能。

      例如,在一个场景中,真实世界的沙发可以呈现为MR沙发,并且在另一个VR场景可以中呈现为MR岩石堆。

      在特定实施例中,计算系统可以接收转换到第一VR应用的第一VR环境的指令;计算系统可以访问真实世界对象的属性信息;计算系统可以基于真实世界对象的属性信息,为一个或更多个真实世界对象中的每一个确定适用的第一混合现实MR功能。

      计算系统可以为VR显示设备呈现第一VR环境,并纳入与一个或多个真实世界对象相对应的MR对象。每个MR对象可以包括适用于对应的真实世界对象的第一MR功能之一。所以,用户可以捕获他们的真实世界环境,然后将相关数据作为供其他VR应用访问并插入的MR平台,亦即“MR对象的平台化”。

      图3示出了VR系统100的组件。存在真实世界对象145和真实世界环境150。真实世界对象可以包括物品(例如键盘、杯子、控制器等)和家具(例如桌子、椅子、沙发等)。真实世界环境150可以对应于用户的办公室、客厅、厨房等。

      图4至图5示出了示例环境图170。

      参考图4,环境地图170包括真实世界环境150中的一个或多个真实世界对象145。多个不同的VR应用173可以利用环境图170为用户生成MR体验。

      例如,VR流媒体应用可以将真实世界椅子作为MR沙发。作为另一示例,VR棋盘游戏应用程序可以利用真实世界的桌子作为棋盘游戏的MR游戏区域。

      在特定实施例中,VR系统100可以接收转换到第一VR应用173的第一VR环境160的指令。用户可以选择VR应用173。例如,用户可以选择VR流媒体应用,并且VR系统将接收转换到VR电影院环境的指令。

      图6示出了对应于真实世界对象145的示例MR表面156。创建用户界面(UI)157可以出现在VR显示设备135,以供用户标记要渲染为MR表面156的真实世界对象145的表面。

      用户可以调整MR表面156的尺寸,例如,通过调整创建UI 157的参数,或者通过选择MR表面156并将其边缘拖动到期望的尺寸。

      MR表面156的尺寸可以由VR系统100半自动地或自动地确定。然后,用户可以通过显示真实世界对象145的透视视图来查看与真实世界对象155相对应的MR表面156,同时意识到其他真实世界对象145的存在。

      图7示出了示例MR对象155及其相关MR表面156。MR表面156可以对应于3D MR对象155的2D表面。真实世界对象145的MR表面156可以对应于平面表面。MR对象155可以包括真实世界对象145。

      换句话说,MR对象155的MR表面156可以对应于边界框。可替换地,MR对象155的MR表面156可以符合真实世界对象的尺寸。

      图8-9示出了MR对象155的示例定制特征。参考图8,VR系统100可以用一个或多个组件填充边界框164。例如,与座椅相对应并具有边界框164的MR对象155可以填充有MR垫、木板、瓷砖等。

      另外,VR系统100可以允许用户定制具有各种配置的MR对象。例如,MR床可适配为包括诸如扶手、靠背或附接点的部件。同时,可以使用一个或多个平面投影162来确定边界框164的尺寸。

      参考图9,VR系统100可以将项目合并在壳174内(例如包围VR环境160的壳),并利用真实世界对象145作为壳174内的MR对象155。VR系统可以包括虚拟UI 190。虚拟UI 190可合并到MR对象中。

      VR系统100可识别用户可作用于其上的MR对象(例如MR表面156),并与用户确认MR对象可用。例如,VR系统100可以向用户确认MR桌的MR表面156可用作桌面。另外,VR系统100可以自动或半自动地将真实世界对象145识别为潜在MR对象155。例如,VR显示设备135可以扫描真实世界环境150并识别可以用作MR对象155的真实世界对象145。

      图10示出了对真实世界对象145的捕捉。VR系统100可用于手动、半自动或自动地捕捉要用作MR对象155的真实世界对象145,并且手动地将MR功能分配给MR对象155。

      作为另一示例而非作为限制,VR系统可以使用对象识别算法来识别真实世界对象的对象类型,并要求用户确认是否将真实世界对象添加为MR对象,并将MR功能应用于MR对象155。作为又一示例而非作为限制,用户VR系统100可以使用对象识别算法自动识别真实世界对象145,并自动将其添加为VR环境中的MR对象155(即不需要用户确认),并将适当的MR功能分配给MR对象155。

      图11示出了MR对象155的属性。MR对象155的一个属性是MR对象155移动176。即,当真实世界对象145移动时,可以更新VR环境160内的对应MR对象155的位置。MR对象155的另一属性是MR对象155功能。VR系统100可以基于其功能自动地对真实世界对象145和/或MR对象155进行分类。

      作为示例而非限制,现实世界的桌子可以分类为MR桌子,而现实世界的沙发可以分类成MR沙发。作为另一示例而非限制,现实世界的桌子可以分类为MR柱并供用户隐藏在后面,而现实世界的沙发可以分类成MR障碍物。

      另外,VR系统100可以调整MR对象155的尺寸和样式,例如图案、颜色或主题等等。

      图12A示出了基于VR环境160定制MR对象155的外观。MR对象155的外观和/或风格可以定制为与VR环境160融合或对应。参考图12A的左侧示例,在“破旧”的VR环境中,现实世界的沙发可以渲染为破旧的MR沙发。参考图12A的中心示例,在“豪华度假村”VR环境中,现实世界的沙发可以呈现为豪华MR沙发。

      图12B示出了基于VR环境160定制MR对象155的功能。MR对象155的MR功能可以定制为由VR应用程序使用并且适合于VR环境160的功能。

      参考图12B的左侧示例,在“策略游戏”VR环境中,真实世界的桌子可以呈现为MR棋盘游戏的棋盘。参考图12B的中心示例,在“博物馆”VR环境中,真实世界的桌子可以呈现为持有MR绘画的MR大理石柱,并用作用户必须绕过的虚拟障碍物。参考图12B的右侧示例,在“露营”VR环境中,真实世界的桌子可以呈现为MR石头塔,并允许用户踩在真实世界的桌面上。

      图13示出了用于对MR对象155进行分类的用户界面。专利描述的方法可以利用用户界面来帮助用户对MR对象155的MR功能进行分类。

      在特定实施例中,可以向用户呈现用于对MR对象155进行分类的用户界面,以对MR对象154应该呈现为的对象类型进行分类。

      VR系统100可以针对一个或多个真实世界对象145中的每一个,基于其属性信息来确定适用于真实世界对象的一个或更多个第一MR功能。适用于真实世界对象145的MR功能可以对应于真实世界物体145的一个或多个真实世界功能。

      作为示例,如果真实世界的沙发具有提供坐下位置的真实世界功能,则MR功能将相应地提供坐下位置。另一方面,适用于真实世界对象145的MR功能可能不对应于真实世界对象145的一个或多个真实世界功能(参见图12B)。作为示例,现实世界的沙发可以在一个VR环境(例如在VR流媒体应用中)中呈现为MR沙发,并且在另一个VR场景(例如VR西部游戏环境中)中呈现为MR岩石堆。

      名为“Platformization of mixed reality objects in virtual reality environments”的Meta专利申请最初在提交,并在日前由美国专利商标局公布。

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    即时探行数字人注册免费试用

    第三代骁龙8s平台,“恰逢其时”的“新生代旗舰”之选

    日前,高通举办新品发布会,推出了骁龙8旗舰移动平台诞生以来的第一款新生代旗舰平台:第三代骁龙8s,这是高通对骁龙旗舰移动平台的一次层级扩展,同时意味着广大消费者未来在旗舰手机市场也将会有更多丰富的选择。

    新闻探行AI智能外呼系统 节省80%人力成本

    敢闯技术无人区 TCL实业斩获多项AWE 2024艾普兰奖

    近日,中国家电及消费电子博览会(AWE 2024)隆重开幕。全球领先的智能终端企业TCL实业携多款创新技术和新品亮相,以敢为精神勇闯技术无人区,斩获四项AWE 2024艾普兰大奖。

    企业IT探行AI客服 24小时无休机器人接待

    重庆创新公积金应用,“区块链+政务服务”显成效

    “以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。

    3C消费探行AI视频 快速生成真人营销视频

    “纯臻4K 视界焕新”——爱普生4K 3LCD 激光工程投影

    2024年3月12日,由爱普生举办的主题为“纯臻4K 视界焕新”新品发布会在上海盛大举行。

    研究探行AI整体解决方案 全国招募代理

    2024全球开发者先锋大会即将开幕

    由世界人工智能大会组委会、上海市经信委、徐汇区政府、临港新片区管委会共同指导,由上海市人工智能行业协会联合上海人工智能实验室、上海临港经济发展(集团)有限公司、开放原子开源基金会主办的“2024全球开发者先锋大会”,将于2024年3月23日至24日举办。