• 首页 > 产经频道 > 科技快报

    卡内基梅隆大学提出一种无人监督的视频重定向技术

    2018年10月16日 10:15:44   来源:yivian

      2018年10月16日,卡内基梅隆大学的研究人员日前提出了一种无人监督的视频重定向技术:Recycle-GAN。这是一种基于数据的方法,可以将内容从一个域转换至另一个域,同时保留域的原生样式。比方说约翰·奥利佛的发言内容转换至史蒂芬·科拜尔,然后生成属于史蒂芬·科拜尔风格的内容/发言。bi3中文科技资讯

    5.jpgbi3中文科技资讯

      (图片来源:云图视觉)bi3中文科技资讯

      卡内基梅隆大学研究团队的方法结合了空间与时间信息,以及用于内容转换和风格保存的对抗性丢失。在这项研究中,团队首先研究使用了时空约束相较于空间约束的优势。然后,他们演示了针对空间与时间信息问题的方法,如面部到面部的转换,花到花,风和云合成,日出和日落。bi3中文科技资讯

      1. 面部到面部bi3中文科技资讯

      研究团队采用了各个公众人物的公开视频来执行面部到面部的转换任务。他们采用通过OpenPose生成的面部关键点来提取面部。示例视频中的公众人物包括马丁·路德·金,奥巴马,特朗普,约翰·奥利佛和史蒂芬·科拜尔等。bi3中文科技资讯

      视频显示了针对各个公众人物进行面部到面部转换的随机示例。在没有任何输入调整或手动监督的情况下,研究团队的方法可以捕捉公众人物的风格表达。举个例子,约翰·奥利佛在微笑时会露出酒窝,唐纳德·特朗普的标志性嘴形等。bi3中文科技资讯

      2. 身体到身体bi3中文科技资讯

      以上示例专注于面部。在下面的示例中,研究团队将相同的技术应用于身体重定向。bi3中文科技资讯

      视频是从到马丁·路德·金到奥巴马的转换。低分辨率的输入-输出导致面部精细细节的缺失(如嘴部移动)。生成高分辨率的输出可以帮助生成精细的细节。bi3中文科技资讯

      3. 花到花bi3中文科技资讯

      从面部和其他传统转换扩展开来,研究团队把目光放了花朵身上。他们采用了各种花朵,并从公开的视频中提取它们的延时定格。延时定时能够演示不同花朵的绽放,但不存在任何同步。研究团队利用他们的方法来对齐内容,即令花朵一起绽放或枯萎。bi3中文科技资讯

      他们使用了蒲公英花来比较Recycle-GAN与Cycle-GAN。从视频中可以看到,Recycle-GAN可以在两个域中学习适当的对应关系。bi3中文科技资讯

      4. 基于重定向技术的视频操纵bi3中文科技资讯

      研究人员通过两种情况下的视频重定向来演示他们的自动视频操纵方法:视频中合成云和风;在不同的视频中制作日出和日落。bi3中文科技资讯

      4.1 云与风的合成bi3中文科技资讯

      研究人员的方法可以用于合成包含所需环境条件的新视频(比方说云和风),不需要实际地重新进行捕捉。他们采用来自所需环境条件的给定视频和视频数据来作为实验中的两个域,然后使用条件性视频和训练的转换模型来生成所需的输出。bi3中文科技资讯

      对此这个实验,研究团队采集了各种风与云条件的视频数据,例如平静的一天或刮风的日子。借助开发的视频重定向方法,他们可以将平静的一天转变为刮风的日子,或者是将刮风的日子转变为平静的一天,同时不会改变场景的美学。bi3中文科技资讯

      视频展示了研究团队模拟环境条件的尝试。他们可以根据需要进行调节,并在不改变场景美学的情况下合成条件。bi3中文科技资讯

      4.2 日出与日落bi3中文科技资讯

      作为人类,我们倾向于对齐抽象概念,并思考/想象如果我们在另外某个位置来观察事物时的情景。例如,你可能在纽约大西洋沿岸看到日落,并且可能开始想象加利福尼亚日落的情景;或者你可能正漫步于匹兹堡的街道,并可能开始想象在巴黎街头漫步的感觉。bi3中文科技资讯

      受这一思维过程的启发,研究人员从各种网络视频中提取出日出和日落数据,并演示了他们的方法是如何用于视频处理和内容对齐。这类似于云与风合成实验中的设置。bi3中文科技资讯

      来源:XXX(非中文科技资讯)的作品均转载自其它媒体,转载请尊重版权保留出处,一切法律责任自负。

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

      如发现本站文章存在问题,提供版权疑问、身份证明、版权证明、联系方式等发邮件至news@citnews.com.cn。

    [上传用户: H088]
    分享到微信

    推荐

    新闻

    特斯拉发布首份影响力报告:帮助防止了400万吨二氧化

    4月16日消息,据国外媒体报道,当地时间周一,特斯拉发布了该公司有史以来第一份“影响力报告”(Impact Report),该报告衡量并量化了该公司的产品和运营对环境及社区的影响。

    互联网+

    特斯拉已开始交付3.5万美元版Model 3 首批幸运者确认

    4月16日消息,据国外媒体报道,电动汽车厂商特斯拉在2016年3月底推出了廉价电动汽车Model 3,并在2017年开始向用户交付,但售价最低的标准续航版Model 3,却迟迟未能送到消费者手中,预订者们对这一版本的Model 3也是期待已久。

    融合

    日本酒店解雇机器人员工,AI想抢人类饭碗没那么容易

     2018年年初,日本东京一家名为“Henn-na Hotel”的酒店“请”了243个机器人负责管理与服务。顾客从入住到离店,全程都由机器人引导与陪伴,在当时还引起了不小的轰动。然而时至今日不过一年时间,这家酒店却选择了对机器人“裁员”:解雇了一半的机器人。其中最主要的原因是,自从“雇用”了这些机器人员工之后,它们给酒店制造出的问题远远超过它们能够解决的问题。

    创投

    特斯拉的中国烦恼:愤怒的消费者与迫在眉睫的盈利

    特斯拉车主开始从对特斯拉简单粗暴的降价策略不满,演变为对特斯拉产品此前出现的车内异响、漏水等问题的零容忍,甚至开始对自己顶礼膜拜的马斯克本人产生怀疑。