• 首页 > 产业频道 > ARVR

    Facebook提出Neural-GIF模型 为AR/VR模拟复杂衣服穿着效果

    2021年10月26日 11:07:57   来源:映维网

      人类虚拟化身能够实现与增强现实和虚拟现实相关的众多应用,例如用于增强通信和娱乐的远程临场感。人体形状根据关节、软组织和非刚性服装动力学变形,这使得真实动画极具挑战性。最先进的人体模型通常学习变形固定拓扑模板,使用线性混合蒙皮来建模关节,及通过混合形状来建模非刚性效果,这甚至包括软组织和衣服。使用固定模板会限制可建模的衣服类型和动力学。例如,使用一个或多个预定义模板对对象建模将十分困难。

      另外,每种类型的变形(软组织或衣服)都需要不同的模型公式。然后,为了训练模型,3D/4D扫描需要与之对应,而这是一项具有挑战性的任务,尤其是对于服装。最近的研究利用隐式函数表示从图像或三维点云重建人体形状。但是,所述重建都为静态,不可设置动画。

      在名为《Neural-GIF: Neural Generalized Implicit Functions for Animating People in Clothing》的论文中,图宾根大学、马克斯-普朗克研究所和Facebook组成的团队提出了一个名为Neural Generalized Implicit Functions (Neural-GIF) 的全新模型来动画化穿衣人物。团队证明,可以以传统方法所难以实现的质量来对复杂的服装和身体变形进行建模。与大多数以前的研究相比,研究人员提出的模型学习姿势相关的变形,无需注册任何预定义模板,因为这会降低观测的分辨率,并且是一个众所周知的复杂步骤。相反,这一模型只需要输入扫描的姿态以及SMPL形状参数(β)。所述方法的另一个关键优势是,它可以使用完全相同的公式表示不同的拓扑结构。在研究中,团队同时展示了如何为未穿衣服的人物制作夹克、外套、裙子和软组织的动画。

      给定一个姿势(θ)作为输入,Neural-GIF可以预测SDF。为了训练Neural-GIF,团队需要对固定衣服中的被试进行3D扫描序列,以及需要相应的SMPL参数。研究人员将运动分解,以在角色的正则空间中学习可变形SDF。为了获得姿态相关SDK,团队合成了三个神经函数组成:

      正则映射网络:通过学习的点与人体关联来将构成的三维空间中的每个点映射到正则空间;

      位移场网络: 为非刚性姿势相关变形(软组织、布料动力学)建模。具体来说,它预测了正则空间中点的连续位移场。

      正则SDK:通过组合,正则SDF网络将上述网络中的变换点和姿态编码作为输入,以预测每个查询点所需的符号距离。团队同时预测了一个曲面法向场作为正则空间中姿势的函数,以增加结果的真实性。

      总的来说,Neural-GIF由一个神经网络组成,用于近似设定曲面的符号距离场(SDF)。原生学习从姿势预测SDF非常困难。相反,团队从基于模板的方法中得到启发,除了将运动分解为铰接和非刚性变形,同时将此概念泛化到内隐形状学习。具体地说,模型学习将曲面周围的每个点映射到正则空间。在这个空间中,系统在评估SDF之前会将学习到的变形场应用于非刚性效果的建模。Neural-GIF的优点是,网络可以更容易地在正则空间中学习基础形状。

      团队在来自不同数据集的各种扫描上测试了所述方法,并提供广泛的定量和定性比较。研究人员同时通过添加形状相关的位移场网络,将公式扩展到多形状设置。实验表明,这一方法可以泛化到新的姿势,模拟复杂的服装,并且比现有的方法更加稳健和详细。

      相关论文:Neural-GIF: Neural Generalized Implicit Functions for Animating People in Clothing

      研究人员表示,Neural-GIF可以精确地建模任意拓扑和分辨率的复杂几何体,因为模型不需要预定义的模板,同时不需要对模板进行非刚性的扫描注册。它在鲁棒性、模拟复杂服装风格的能力和保留精细姿势相关细节方面比之前的研究有了显著的改进。团队相信Neural Generalized Implicit Functions开辟了几个有趣的研究方向,并计划在接下来的时间里进行探索。

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    [编号: ]
    分享到微信

    推荐

    vivo V23e 5G手机海外官宣:搭载天玑810 44MP前置摄

    11月20日消息,根据外媒 GSMArena 消息,vivo V23e 5G 手机即将在泰国地区发布,官方公布了预热海报。这款手机的 4G 版本于 11 月 9 日发布,搭载 6.44 英寸 AMOLED 屏,配备联发科

    新闻

    大疆重磅新品杀到 海报暗指Mavic 3无人机

    根据此前爆料,大疆Mavic 3无人机就采用了双摄方案,一个是2000万像素24mm的M4/3画幅广角,f2.8光圈,支持5.2K/30P视频拍摄,还有一个1200万像素166mm毫米等效的长焦的镜头,据说支持4倍光变,28倍数字裁切。   

    互联网+

    数字化 家装行业的蝶变之道

    一直以来,家装行业的玩家们都在寻找着流量。传统时代如此,互联网时代同样如此。从某种意义上来讲,互联网时代的来临,真正将家装行业寻找流量的特性发展到了极致。借助互联网的方式,家装玩家们将一切可能的流量全部被收割殆尽。

    融合

    2021年最常用密码公布:“123456”第一 1秒即可破解

    11 月 19 日消息,据 FinancialExpress 报道,密码管理服务商 NordPass 最新发布了 2021 年度最常用密码 200 强名单,和往年一样,“123456”仍是用户最常用的密码。

    创投

    差旅天下2021年三季度利润增长73.71% “技术创新+模

    2021年前三季度,差旅天下(430578)营业收入较上年同期同比增长126.47%;归属于挂牌公司股东的净利润较上年同期同比增长73.71%。截止三季度末,基本每股收益已达到0.20元/股,同比增长66.67%。