微软AR专利分享改善从在线搜索引擎检索关于3D内容信息

　　随着3D信息可视化和处理技术的出现，虚拟现实和增强现实系统在商业、学术和研究环境中的应用将越来越广泛。这类系统的用户可以在3D“虚拟”或“增强”空间中查看项目的模型，用户同时能够使用语音和手势等输入方式在空间中设计和操纵3D组件。

　　为了促进虚拟现实和增强现实系统的可用性，允许用户在其3D项目工作流期间以无缝和直观的方式从互联网检索信息将十分有用。例如，当从所选视角查看3D组件时，虚拟现实或增强现实系统的用户可能希望从在线搜索引擎检索关于相关内容的信息。

　　在名为“Online perspective search for 3d components”的专利申请中，微软就提出了一种能够促进检索与3D组件相关的在线信息的系统。

　　图1示出了一个示例性场景。除了通过特定视角生成3D组件132的视图之外，系统101同时可以向用户110提供连接到本地网络或万维网的能力，同时对3D组件132执行搜索操作。

　　例如，在使用3D组件132执行工作流的同时从网络或Web访问信息，从而可以提高用户110的生产力。特别地，当从各种视角查看3D组件132时，用户110可以具有关于所生成的视图的一个或多个查询。例如，当观察心脏的左前表面时，用户110可以查询关于心脏的特定附加信息。

　　在示例性实施例中，用户110可以口头表达这样的查询，并且计算机102可以将制定的查询提交到位于这样的网络或万维网的一个或多个数据库，从而检索相关信息。在示例性实施例中，这样的数据库可以对应于搜索引擎，例如因特网搜索引擎。

　　计算机102可以从与用户查询相关的这样的数据库检索结果。例如，响应于针对“左心室变窄”的公式化用户查询，计算机102可以检索相关结果并在图像131内呈现这样的结果，例如文本、图像或视频等。这样的信息可以帮助用户110使用系统101更好地执行他的任务。

　　图2示出了一个示例性场景200，其中响应于示例性公式化用户查询的结果235而呈现在图像231中的3D组件132旁边。

　　图3示出了一个流程方法。在框310，用户可以创建新的项目文件，或者从系统101检索预先存在的项目文件。

　　在框320，用户可以编辑或修改3D组件。3D组件可以存储在项目文件中。例如，参考场景100，用户110可以编辑与心脏模型相对应的3D组件132，例如，添加注释等。

　　在框325，用户可以从一个或多个不同的所选视角观看3D组件;在框330，用户可以向系统提交信息查询。例如，在场景100中，用户110可以提交“左心室变窄”的查询。

　　在框340，用户可以从系统接收响应于提交的查询的结果。例如，在场景100中，这样的结果可以对应于系统101响应于“左心室变窄”的查询而检索到的数据134。

　　如果用户希望基于检索到的结果来细化查询，则用户可以在框345制定细化查询，并且工作流可以返回到框340以提交细化查询。否则，在框320，用户可以利用来自检索到的结果的信息来继续编辑/修改项目文件。

　　在一个实施例中，可以在选择给定透视图时自动制定查询的技术。例如，参考上文图2的描述，为了在查看3D组件132的所选透视图时形成诸如“左心室变窄”的查询，用户110自身必须具有心脏解剖方面的必要知识和经验，以准确地识别所选透视视图中所示的内容，从而形成合理的查询。

　　类似地，在其他领域(例如，科学、医学、其他技术领域等)中制定3D组件的查询可能需要用户的大量知识和经验。在这样的场景中，可以提供一种补充用户知识和/或自动制定查询以检索给定透视图的相关信息的能力。

　　图4示出了一个替代示例性实施例。在框410，用户可以创建新的项目文件，或者从系统101检索预先存在的项目文件。

　　在框420，用户可以编辑或修改3D组件;在框425，用户可以从一个或多个不同的所选视角观看3D组件。

　　在框430，用户可以可选地请求对应于所选视角的在线信息。在示例性实施例中，系统101可以接受但不需要用户公式化和提交显式查询。在框430，用户请求可以仅向系统101提供显式信号，以基于可用信息自动制定搜索查询(即不需要用户明确制定查询)，并检索与该查询相对应的结果。

　　工作流400不需要在框430处从用户接收显式请求以例如从框425继续到框440。在示例性实施例中，可以响应于系统101对搜索查询的自动制定和提交，例如基于在框420处执行的编辑/修改，以及在框425处查看的3D组件的3D透视图等，接收框440处的在线信息。

　　在框440，用户可以从系统接收与3D组件和所查看的透视图相关的在线信息。

　　如果用户随后希望提交不同的搜索，则用户在框445可以细化搜索参数，或者以其他方式向系统指示要执行修改的搜索，并且工作流可以返回到框440。在示例性实施例中，细化搜索参数可以包括，基于在框440处已经接收到的在线信息显式地提供一个或多个搜索项，和/或选择所接收的在线信息中的一个或更多个结果以供进一步调查等。

　　例如，参考图2中的示例性场景200，数据235可以对应于例如在框440处检索的一个或多个结果。

　　注意，与图3中的工作流300相比，工作流400的用户不需要明确地制定和提交查询，因为系统101可以基于用户从中查看3D组件的一个或多个视角来自动制定和提交查询。因此，工作流400中的框430标记为“可选”。

　　在示例性实施例中，系统可以基于所查看的视角自动制定和提交查询，并从在线搜索引擎检索与查询相关的信息。

　　图5示出了用于实现上述功能的系统的示例性实施例500。

　　在图5中，计算机510包括用于从用户接收输入、处理3D组件、向用户呈现输出以及与系统500的其他模块通信的多个模块。具体地，计算机510可以包括用于存储和检索包含3D组件的项目文件的模块512。计算机510同时可以包括允许例如通过眼镜130编辑、修改和显示项目文件的模块514。

　　计算机510可以包括处理例如由用户110和/或计算机101生成的查询的可选模块516。计算机510可以进一步包括将从在线引擎接收到的查询响应结果传送给用户的模块518。

　　在示例性实施例中，计算机510可以实现为用户可直接访问的任何类型的计算机，例如台式计算机、膝上型计算机、智能手机等。在示例性实施例中，眼镜130可以配置为执行计算机510的功能。在一个示例性实施例中，计算机510可以结合上文参考场景100描述的计算机102和/或眼镜130。

　　在示例性实施例中，计算机510的模块512、514、516、518可以彼此通信以交换信息并顺序或并行地执行操作，如实现上文所述的工作流300或400所述。例如，模块512可以连续存储(例如，备份)通过模块514编辑的项目文件，可以由框516处理显式查询，可以通过模块518检索和处理查询结果以供模块514显示等等。

　　计算机510通过连接510a与服务器520通信，连接510a可以是例如有线、无线或任何其他类型的连接。

　　在示例性实施例中，模块512可以通过信道512a在服务器520上存储和检索项目文件。模块514可以通过信道514a与服务器520通信用户对项目文件所做的编辑和修改。

　　例如，用户110对项目文件的3D组件(例如场景100中的组件132)所做的修改可以通过信道514a传送到服务器520。这样的修改可以包括例如细节，例如文本编辑、形状编辑、所选择和查看的项目文件的顺序/顺序、用户选择的用于查看3D组件的透视图等。

　　在示例性实施例中，模块514可以根据预配置的规则在信道514a选择性地传送这样的细节，例如，可以省略一定的细节而传送其他细节。

　　可选模块516可以通过信道516a与服务器520通信。具体地，模块516可以接受由用户明确制定的查询，例如，如参考工作流300的框330所描述，并将这样的用户制定的查询提交给服务器520。

　　可替换地，模块516可以基于从工作流400收集的数据生成计算机制定的查询，并将这样的计算机制定的询问提交给服务器520。模块518可以通过信道518a从服务器520接收响应于模块516提交的查询的结果。在特定示例性实施例中，可以省略模块516，并完全在在线引擎530处执行查询公式。

　　在示例性实施例中，从模块516传送到服务器520的查询可以用于在内部或从另一个在线源检索相关结果。在这样的示例性实施例中，服务器520可以理解为执行中间功能，将查询从计算机510传送到引擎530，和/或将结果从引擎530传送到计算机510等。其他细节也可以通过连接510a中未示出的一个或多个信道传送，访问文件或系统的频率或时间等。

　　相关专利：Microsoft Patent | Online perspective search for 3d components

　　名为“Online perspective search for 3d components”的微软专利申请最初在2022年9月提交，并在日前由美国专利商标局公布。