苹果专利可为AR/VR用户进行基于人工智能的全身身体姿态建模

　　对于特定的XR体验而言，系统需要首先理解用户的身体姿势，比如说能够呈现用户映射行为的虚拟化身应用。在所述示例中，如果用户活动物理身体的一部分，则虚拟化身需要活动相应的虚拟身体部分。又例如，特定的XR体验可以根据用户的身体姿势改变渲染的场景画面，亦即场景能够随着用户的移动而发生变化。所以，生成用户身体姿势信息的技术十分重要。

　　在一份名为”Generating body pose information“的专利申请中，苹果就描述了这样一种技术。

　　发明描述的系统主要用于生成人体姿势信息。在各种实现中，设备包括非暂时性存储器和与非暂时性存储器耦合的一个或多个处理器。在一个实现中，所述方法包括通过设备获取与人体对应的一组图像。在一个实现中，所述方法包括生成由多个分支神经网络系统定义的人体姿势模型。

　　在一个实现中，多个分支神经网络系统中的每个神经网络系统共享第一各自人体关节的至少相邻部分，从而对第一各自身体关节和第二各自身体关节之间的人体各自部分进行建模。

　　接下来，所述方法包括向多个分支神经网络系统中的第一个神经网络和第二个神经网络提供相应部分的图像集。在一个实现中，第一个神经网络和第二神经网络对应于相邻的身体部分。

　　最后，至少由多个神经网络系统中的第一个神经网络和第二个神经网络联合确定第一个相应身体关节和第二个相应身体关节的姿势信息。

　　简单来说，用户设备首先获取人体的图像，然后再由神经网络处理得出身体的姿势信息。在获取人体的姿势信息后，系统可以将其用于支持各种XR用例，比如说需要映射用户物理行为的虚拟化身应用。

　　图1A是上述神经网络的树数据结构图示。在各种实现中，诸如图5A中的移动设备可以利用树数据结构来建模人体。

　　作为非限制性示例，树数据结构100包括表示人体各个身体关节的各种节点，以及表示人体各个身体部分的各种描边。

　　在各种实现中，树数据结构100包括表示人体头部的头部节点102(根节点)。在图1A的示例中，树数据结构100包括表示人体衣领区域的衣领区域节点104，右肩关节的右肩节点106R，左肩关节的左肩节点106L……诸如此类。

　　在各种实现中，树数据结构100包括表示人体颈部的颈部描边120，表示右肩的右肩边缘122R，左肩的左肩边缘122L……诸如此类。

　　然后，如前所示，每个分支神经网络集对关节之间的人体相应部分建模。例如，在一个实现中，身体姿势模型包括对颈部建模的颈部神经网络140，对右肩建模的右肩神经网络142R，对左肩建模的左肩神经网络142L……诸如此类。

　　在各种实现中，树数据结构100的每个节点与位置和方向相关联。所以，每个节点与一组位置坐标(例如x、y和z)和一组角度坐标(例如α、β和γ)相关联。例如，头部节点102与一组位置坐标(x.sub.0、y.sub.0、z.sub.0)和一组角度坐标(.alpha..sub.0、.beta..sub.0、.gamma..sub.0)相关联。

　　在一个实现中，每个神经网络确定神经网络建模的身体部分的姿势信息(例如位置/方向)。例如，在一个实现中，颈部神经网络140确定颈部的姿势信息(例如，位置/方向)。类似地，躯干神经网络148确定躯干的姿势信息(例如，位置/方向)。

　　接下来，系统可以整合各个分支神经网络确定的姿势信息，并得出最终的人体姿势信息。

　　相关专利：Apple Patent | Generating body pose information

　　名为”Generating body pose information“的苹果专利申请最初在2021年4月提交，并在日前由美国专利商标局公布。