• 首页 > 新闻频道 > 即时新闻

    360AI安全风险白皮书:小心深度学习逃逸攻击

    2018年02月13日 15:37:02   来源:TechWeb

      2017以来,人工智能的兴起让“深度学习”这个词频繁出现在公众视野。有了深度学习算法,机器也能够模拟人类的思考方式,自主获取知识,修习技能,完成很多常人无法完成的任务。但是作为一种新兴技术,深度学习算法自身仍存在很多安全缺陷和漏洞。近日360安全研究院发布的《AI安全风险白皮书》结合深度学习逃逸攻击方面的实例和研究工作,详细解读了人工智能应用所面临的安全风险。

      “逃逸攻击”是一个专业术语,它指的是攻击者在不改变目标机器学习系统的情况下,通过构造特定输入样本以完成欺骗目标系统的攻击。例如,攻击者可以修改一个恶意软件样本的非关键特征,使得它被一个反病毒系统判定为良性样本,从而绕过检测。

    1.jpg

      图1:攻击者生成对抗样本使系统与人类有不同的判断

      以最近颇受关注的图像识别为例,图像识别的原理是具备深度学习能力的人工智能系统,模仿人类视觉功能,通过一定的算法规则,区分不同的图像目标。但是,目前图像识别深度学习所依赖的判断规则和人眼的视觉机理仍存在较大的差距,这也就意味着:只要对目标图片稍加改造,图像识别系统就有可能在完全正常的流程下输出一个截然不同的错误结果。

      此前,Ian Goodfellow在2015年ICLR会议上就提出了著名逃逸样本,样本使用了谷歌的深度学习研究系统,该系统利用卷积神经元网络,能够精确区分熊猫和长臂猿等图片。不过,攻击者对熊猫的图片“稍加改造”,增添了一些干扰因素。虽然这细微的差别并不会影响人类的判断,不过图像识别深度学习系统却会把熊猫误认为长臂猿。

    2.jpg

      图2:逃逸攻击让深度学习系统将熊猫误认为长臂猿

      据悉,基于机器学习的逃逸攻击主要分为白盒攻击和黑盒攻击。白盒攻击需要获取机器学习模型内部的所有信息,然后直接计算得到对抗样本;黑盒攻击则只需要知道模型的输入和输出,不需要了解模型内部的构造和状态,即可通过观察模型输出的变化来生成对抗样本。

      此外,该文合作者许伟林采用遗传编程随机修改恶意软件的方法,成功攻击了两个号称准确率极高的恶意PDF文件分类器:PDFrate和Hidost。这些逃逸检测的恶意文件和算法自动修改出来的,并不需要PDF安全专家介入。同样的算法可以用来对实际应用的机器学习系统进行逃逸攻击。

      同时,针对AI系统的对抗性研究,就是让人工智能系统输出错误的结果。还是以手写图像识别为例,攻击者可以构造恶意的图片,使得人工智能系统在分类识别图片的过程中触发相应的安全漏洞,改变程序正常执行的控制流或数据流,使得人工智能系统输出攻击者指定的结果。

    3.jpg

      图3:针对人脸识别系统的对抗样本生成

      白皮书中还提到,虽然深度学习系统经过训练可以对正常输入达到很低的误判率,但是当攻击者用系统化的方法能够生成误判样本的时候,攻击的效率就可以接近100%,从而实现稳定的逃逸攻击。这也意味着,虽然人工智能应用正越来越普及,但是对于逃逸攻击的研究也应该同步跟进,其安全问题不容忽视。

      来源:XXX(非中文科技资讯)的作品均转载自其它媒体,转载请尊重版权保留出处,一切法律责任自负。

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

      中文科技资讯倡导尊重与保护知识产权。如发现本站文章存在版权问题,烦请30天内提供版权疑问、身份证明、版权证明、联系方式等发邮件至news@citnews.com.cn,我们将及时沟通与处理。

    [责任编辑: CIT02]
    分享到微信

    最新

    苹果携手LG投资OLED小屏幕制造商 或用于VR/AR设备

    2月12日消息,据CNET报道,一家生产OLED微型屏幕的小公司正受到科技巨头的关注,它们都有各自的虚拟现实(VR)和增强现实(AR)大计划。

    新闻

    新研究称母亲的心情或会影响到孩子一生的健康

    据国外媒体报道,据科学家估计,有九分之一的女性会出现产后抑郁症状。这些症状包括情绪波动,感到疲劳以及对活动的兴趣减少,往往会影响到这些母亲与新生儿的关系。而最新的研究发现,在短短的18个月时间里,婴儿可能会出现与压力相关的细胞损伤。

    互联网+

    特斯拉优先生产5万美元Model 3 二季度将交付预订者

    特斯拉推出的第一款大众款电动车Model 3,迄今为止获得了50万辆销量,但是消费者最关心的是自己的订单何时能够交付。最近外媒传出了还需要等待更长时间的报道。

    融合

    人工智能可以开辟性别平等的时代吗?

    越来越多的人已经意识到:技术对于创造一个没有偏见的世界,是非常有潜力的。

    创投

    柯达推出8K 360度相机和4K 180度相机

    2018年01月26日,在今年的CES大会上,柯达宣布和展示了两款虚拟现实相机。这些相机是如此新颖,他们甚至尚未提供任何官方的名称。日前,柯达的品牌大使兼测试人员Kevin Kunze谈到了公司在VR领域的最新创新成果。