• 首页 > 稿件库 > 2017归档

    360AI安全风险白皮书:小心深度学习逃逸攻击

    2018年02月13日 15:37:02   来源:TechWeb

      2017以来,人工智能的兴起让“深度学习”这个词频繁出现在公众视野。有了深度学习算法,机器也能够模拟人类的思考方式,自主获取知识,修习技能,完成很多常人无法完成的任务。但是作为一种新兴技术,深度学习算法自身仍存在很多安全缺陷和漏洞。近日360安全研究院发布的《AI安全风险白皮书》结合深度学习逃逸攻击方面的实例和研究工作,详细解读了人工智能应用所面临的安全风险。M01中文科技资讯

      “逃逸攻击”是一个专业术语,它指的是攻击者在不改变目标机器学习系统的情况下,通过构造特定输入样本以完成欺骗目标系统的攻击。例如,攻击者可以修改一个恶意软件样本的非关键特征,使得它被一个反病毒系统判定为良性样本,从而绕过检测。M01中文科技资讯

    1.jpgM01中文科技资讯

      图1:攻击者生成对抗样本使系统与人类有不同的判断M01中文科技资讯

      以最近颇受关注的图像识别为例,图像识别的原理是具备深度学习能力的人工智能系统,模仿人类视觉功能,通过一定的算法规则,区分不同的图像目标。但是,目前图像识别深度学习所依赖的判断规则和人眼的视觉机理仍存在较大的差距,这也就意味着:只要对目标图片稍加改造,图像识别系统就有可能在完全正常的流程下输出一个截然不同的错误结果。M01中文科技资讯

      此前,Ian Goodfellow在2015年ICLR会议上就提出了著名逃逸样本,样本使用了谷歌的深度学习研究系统,该系统利用卷积神经元网络,能够精确区分熊猫和长臂猿等图片。不过,攻击者对熊猫的图片“稍加改造”,增添了一些干扰因素。虽然这细微的差别并不会影响人类的判断,不过图像识别深度学习系统却会把熊猫误认为长臂猿。M01中文科技资讯

    2.jpgM01中文科技资讯

      图2:逃逸攻击让深度学习系统将熊猫误认为长臂猿M01中文科技资讯

      据悉,基于机器学习的逃逸攻击主要分为白盒攻击和黑盒攻击。白盒攻击需要获取机器学习模型内部的所有信息,然后直接计算得到对抗样本;黑盒攻击则只需要知道模型的输入和输出,不需要了解模型内部的构造和状态,即可通过观察模型输出的变化来生成对抗样本。M01中文科技资讯

      此外,该文合作者许伟林采用遗传编程随机修改恶意软件的方法,成功攻击了两个号称准确率极高的恶意PDF文件分类器:PDFrate和Hidost。这些逃逸检测的恶意文件和算法自动修改出来的,并不需要PDF安全专家介入。同样的算法可以用来对实际应用的机器学习系统进行逃逸攻击。M01中文科技资讯

      同时,针对AI系统的对抗性研究,就是让人工智能系统输出错误的结果。还是以手写图像识别为例,攻击者可以构造恶意的图片,使得人工智能系统在分类识别图片的过程中触发相应的安全漏洞,改变程序正常执行的控制流或数据流,使得人工智能系统输出攻击者指定的结果。M01中文科技资讯

    3.jpgM01中文科技资讯

      图3:针对人脸识别系统的对抗样本生成M01中文科技资讯

      白皮书中还提到,虽然深度学习系统经过训练可以对正常输入达到很低的误判率,但是当攻击者用系统化的方法能够生成误判样本的时候,攻击的效率就可以接近100%,从而实现稳定的逃逸攻击。这也意味着,虽然人工智能应用正越来越普及,但是对于逃逸攻击的研究也应该同步跟进,其安全问题不容忽视。M01中文科技资讯

      来源:XXX(非中文科技资讯)的作品均转载自其它媒体,转载请尊重版权保留出处,一切法律责任自负。

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

      如发现本站文章存在问题,提供版权疑问、身份证明、版权证明、联系方式等发邮件至news@citnews.com.cn。

    [上传用户: ]
    分享到微信

    推荐

    三问罗永浩:做电子烟是新机会还是续命?

    1月15日晚,锤子科技投资的快如科技在北京发布了子弹短信升级版“聊天宝”,身陷风波而久未露面的罗永浩也现身了,为聊天宝站台并主讲新功能,同时发布了一款电子烟产品,福禄(Flow)换烟雾化烟,正式宣布进入电子烟市场。值得一提的是,福禄电子烟CEO正是原锤子科技001号员工朱萧木。

    新闻

    斑马会员与同程旅游签署全面战略合作协议

    1月17日,斑马会员与同程旅游在北京签署了战略合作协议。同程资本CEO娄德明、格家网络董事长李潇、祥峰投资合伙人赵楠、真格基金副总裁刘元、同程旅游旗下臻旅科技CEO陈喆、同程旅游旗下臻旅科技COO张娜等出席签约仪式。

    互联网+

    为什么说自动驾驶的门槛是车道级地图?

    据悉,人类有80%活动的信息与地理位置有关。即使现在宅男腐女再多,但一个流动的社会才是主流。为此,整合地图、导航、互联网、大数据、云计算、人工智能等在内的地理信息技术在深刻影响着社会的方方面面。就像联合国副秘书长刘振民说,地理信息就如同“水”和“电”一样,是一种基础设施,将无处不在。而这其中,车道级地图正扮演着基石的角色。   

    融合

    从植发AI看智能手术机器人的国产化之路

    在工作和生活的双重压力下,很多80后乃至90后的青年都“光荣”地加入了“脱发一族”。为了拯救发际线或是不变成“地中海”,很多人从此走上了寻医问药之旅。而最终的结果,往往是部分人因为药石无效选择了植发。或许你没想到的是,鉴于植发手术时间长、过程繁琐等原因,如今已经出现了专门的人工智能植发机器人。

    创投

    哒哒英语完成2.55亿美元D轮融资

    1月16日消息,据36氪报道,在线少儿英语教育机构哒哒英语近日完成2.55亿美元D轮融资,由华平领投,老股东好未来和涌铧投资跟投。