Meta VR专利为VR视频快照的闪烁、伪影问题提出解决方案

　　VR系统可以呈现视频的场景快照，为了避免出现潜在的闪烁和其他伪影，Meta在名为“Temporal approximation of trilinear filtering”的专利申请中提出，对每一帧在帧特定mipmap level执行双线性滤波来执行三线性滤波的时间近似。

　　在一个实施例中，计算设备可以接收用于呈现视频的场景快照的指令。可以使用N个帧的序列来显示快照。对于场景中出现的纹理，计算设备可以预先计算包括多个mipmap level的纹理的mipmap。每个mipmap level可以包括需要过滤以确定像素网格中每个像素的颜色值的纹理像素的渲染阵列。

　　在特定实施例中，mipmap level k的纹理像素的渲染阵列可以比mipmap level k−1的纹理元素的渲染阵列小2次方。为了对纹理的mipmap level进行采样，计算设备可以在纹理的mipmap level执行双线性纹理过滤。

　　在特定实施例中，双线性纹理滤波可以包括对像素中心的mipmap level中的四个最近的纹理像素进行采样。像素中心的颜色值可以根据四个最近的像素到像素中心的距离通过加权平均来确定。

　　计算设备可以基于像素网格的纹理比例来计算场景中出现的纹理的mipmap level确定因子。计算设备可以基于N帧中的每一帧的mipmap level确定因子来选择纹理的mipmap level。为N帧选择的mipmap level可以是非均匀的，并且在时间上近似于mipmap level确定因子。计算设备可以进一步基于帧特定因子来选择纹理的mipmap level。

　　在特定实施例中，可以基于帧在N帧序列内的位置来确定帧特定因子。在特定实施例中，可以通过对与具有N的帧相对应的全局帧序列号进行模运算来确定N帧序列中的帧的位置。N帧序列内的帧特定因子可以在-0.5到+0.5之间的范围内分布在零附近。计算设备可以通过对为该帧选择的纹理的mipmap level进行采样来渲染N帧中的每一帧。

　　计算设备可以顺序地显示渲染的N帧以表示场景的快照。计算设备可以预先确定用于显示快照的帧的数量N，从而避免任何潜在的闪烁。

　　需要注意的是，Meta是以特定方式对每一帧在帧特定mipmap level执行双线性滤波来执行三线性滤波的时间近似，但发明设想了通过以任何适当方式对每帧在帧特定mipmap level执行双线性滤波而执行三线性过滤的时间近似。

　　图2示出了纹理的示例mipmap。计算设备可以访问原始图像201以获得渲染对象的纹理。原始图像201可以是mipmap的level 0。计算设备可以通过对原始图像201进行二次采样来生成level 1图像203。level 1图像203的宽度和高度可以是原始图像201的宽度和宽度的1/2。

　　计算设备可以通过对level 1图像203进行二次采样来生成level 2图像205。level 2图像205的宽度和高度可以是原始图像201的宽度和宽度的1/4。计算设备可以通过对level 2图像205进行二次采样来生成level 3图像207。level 3图像的宽度和高度可以是原始图像201的1/8。计算设备可以通过对level3图像207进行二次采样来生成level 4图像209。level 4图像的宽度和高度可以是原始图像201的宽度和宽度的1/16。

　　在特定实施例中，为了对纹理的mipmap level进行采样，计算设备可以在纹理的mipmap level执行双线性纹理过滤。双线性纹理滤波可以包括对像素中心的mipmap level中的四个最近的纹理像素进行采样。像素中心的颜色值可以根据四个最近的像素到像素中心的距离通过四个最近像素的加权平均来确定。

　　图3A-3B示出了不同mipmap level的示例双线性纹理滤波。作为一个示例，计算设备可以确定要采样的纹理的mipmap level。在图3A所示的示例中，计算设备确定要采样的mipmap leveld+1。对于像素网格中的像素中心301，计算设备可以选择mipmap level d+1图像中的四个最近的像素。

　　计算设备可以通过基于像素中心301和所选择的四个最近的纹素的中心之间的距离执行双线性插值来确定像素中心301的颜色值，其中计算所选择的4个最近纹素的加权平均值作为像素中心301颜色值。

　　在图3B所示的示例中，计算设备确定要采样的mipmap level d。mipmap level d图像的宽度和高度可以是mipmap level d+1图像的宽度的两倍。对于像素网格中的像素中心301，计算设备可以选择mipmap level d图像中的四个最近的像素。

　　计算设备可以通过基于像素中心301和所选择的四个最近的纹素的中心之间的距离执行双线性插值来确定像素中心301的颜色值，其中计算所选择的4个最近纹素的加权平均值作为像素中心301颜色值。

　　在数字显示器显示各向异性扭曲的图像可能会导致明显的混叠伪影，特别是当图像和显示器之间的比例显著改变时。混叠伪影可能从两次各向异性扭曲开始变得明显。混叠伪影的一个例子可能是莫尔纹。三线性滤波是双线性滤波的扩展。三线性滤波同样在mipmap之间执行线性插值。

　　尽管三线性滤波可以消除所述伪影，但三线性滤波可能需要两倍的滤波计算，这会导致明显更多的功耗。当渲染像素和数字显示的比例显著改变时，渲染系统可能需要一个以上的mipmap level来过滤表面而不产生混叠伪影。

　　所以，专利描述的时间三线性滤波利用与N帧序列相对应的N帧特定偏置值序列来为每个帧选择mipmap level。与诸如时间抗混叠(TXAA)的其他时间抗混迭技术不同，发明描述的时间三线性滤波不需要缓冲先前帧。

　　在特定实施例中，计算设备可以进一步基于帧特定因子来选择纹理的mipmap level。可以基于帧在N帧序列内的位置来确定帧特定因子。可以通过对与具有N的帧相对应的全局帧序列号进行模运算来确定N帧序列中的帧的位置。N帧序列内的帧特定因子可以在-0.5到+0.5之间的范围内分布在零附近。

　　图4A-4B示出了示例性帧特定因素。计算设备可以计算循环，以选择N帧序列内的第i帧的mipmap level。

　　图4A示出了当N=2时的示例帧特定因子。两帧周期中第一帧的第一帧特定因子是1/4，而两帧周期内第二帧的第二帧特定因子为-1/4。在所述示例中，计算设备已经确定纹理的计算mipmap level确定因子是1.7。计算设备为两帧周期内的每个帧确定纹理的mipmap level。对于第一帧，纹理的选定mipmap level为圆形(1.7+0.25)=2。对于第二帧，纹理的选定mipmap level为圆形(1.7−0.25)=1。

　　图4B示出了当N=3时的示例帧特定因子。三帧周期中第一帧的第一帧特定因子是1/3 三帧周期中第二帧的第二帧特定因子为0，三帧周期内第三帧的第三帧特定因子是−1/3。计算设备同时确定纹理的计算的mipmap level确定因子是1.7。计算设备为三帧周期内的每个帧确定纹理的mipmap level。对于第一帧，纹理的选定mipmap level为圆形(1.7+⅓)=2。对于第二帧，纹理的选定mipmap level为圆形(1.7+0)=2。对于第三帧，纹理的选定mipmap level为圆形(1.7−⅓)=1。

　　在特定实施例中，计算设备可以通过采样为该帧选择的纹理的mipmap level来渲染N帧中的每一帧。继续图4A，计算设备可以用通过对纹理的mipmap level 2图像进行采样而确定的像素网格中的像素的颜色值来渲染两帧周期的第一帧。计算设备可以用通过对纹理的mipmap level 1图像进行采样而确定的像素网格中的像素的颜色值来渲染两帧周期的第二帧。

　　作为另一示例，继续图4B，计算设备可以用通过对纹理的mipmap level 2图像进行采样而确定的像素网格中的像素的颜色值来渲染三帧周期的第一帧。计算设备可以用通过对纹理的mipmap level2图像进行采样而确定的像素网格中的像素的颜色值来渲染三帧周期的第二帧。计算设备可以用通过对纹理的mipmap level 1图像进行采样而确定的像素网格中的像素的颜色值来渲染三帧周期的第三帧。

　　计算设备可以顺序地显示渲染的N帧以表示场景的快照。计算设备可以预先确定用于显示快照的帧的数量N，从而避免任何潜在的闪烁。通常，与使用较少数量的帧显示快照相比，使用较多数量的帧来显示快照可能产生较少的闪烁。

　　图5示出了用于通过对N帧序列内的每帧的纹理的每帧mipmap level图像进行采样来减轻混叠伪影的示例方法500。

　　在步骤510，计算设备可以接收用于呈现视频的场景快照的指令。快照将使用N帧序列显示。

　　在步骤520，计算设备可以基于像素网格上的纹理的比例来计算场景中出现的纹理的mipmap level确定因子。

　　在步骤530，计算设备可以基于mipmap level确定因子为N帧中的每一帧选择纹理的mipmap level。为N帧选择的mipmap level是非均匀的，并且在时间上近似于mipmap水平确定因子。

　　在步骤540，计算设备可以通过对为该帧选择的纹理的mipmap level进行采样来渲染N帧中的每一帧。

　　在步骤550，计算设备可以顺序地显示渲染的N帧以表示场景的快照。在适当的情况下，特定实施例可以重复图5的方法的一个或多个步骤。

　　名为“Temporal approximation of trilinear filtering”的Meta专利申请最初在2021年8月提交，并在日前由美国专利商标局公布。