• 首页 > 网络安全频道 > 云安全

    如何确保用于训练机器学习模型的数据安全?

    2022年09月20日 17:30:20   来源:千家网

      网络犯罪分子远程操纵和对机器学习模型性能产生负面影响并不难。

      恶意用户可以毒害机器学习的训练数据,非法访问训练数据集中的敏感用户信息,并导致类似的其他问题。

      机器学习和人工智能的采用在过去十年中飙升。涉及这些技术的应用范围从面部识别和天气预报应用到复杂的推荐系统和虚拟助手。随着人工智能越来越融入我们的生活,人工智能系统中的网络安全问题也随之而来。根据世界经济论坛 2022 年全球风险报告,网络安全故障是未来十年最值得关注的 10 大全球风险之一。

      网络安全和人工智能不可避免地会在某个时候交叉,但这个想法旨在利用人工智能的力量来加强网络安全。虽然它存在于自己的位置,但也需要网络安全的力量来保护机器学习模型的完整性。这些模型的威胁来自源头:模型训练数据。危险在于机器学习的训练数据可能被黑客远程或现场操纵。网络犯罪分子操纵训练数据集以影响算法的输出并降低系统防御。这种方法通常无法追踪,因为攻击者伪装成算法用户。

      如何操纵机器学习的训练数据?

      机器学习周期涉及使用更新的信息和用户见解进行持续训练。恶意用户可以通过向机器学习模型提供特定输入来操纵此过程。使用被操纵的记录,他们可以确定机密的用户信息,如银行帐号、社会保障详细信息、人口统计信息和其他用作机器学习模型训练数据的分类数据。

      黑客用来操纵机器学习算法的一些常用方法是:

      数据中毒攻击

      数据中毒涉及损害用于机器学习模型的训练数据。这些训练数据来自开发人员、个人和开源数据库等独立方。如果恶意方参与向训练数据集提供信息,他们将输入精心构建的“有毒”数据,从而使算法对其进行错误分类。

      例如,如果您正在训练识别马的算法,该算法将处理训练数据集中的数千张图像以识别马。为了加强这种学习,您还输入了黑白奶牛的图像来训练算法。但是,如果不小心将棕色奶牛的图像添加到数据集中,模型会将其分类为马。该模型在被训练区分棕色母牛和棕色马之前不会理解差异。

      同样,攻击者可以操纵训练数据来教授有利于他们的模型分类场景。例如,他们可以训练算法将恶意软件视为良性软件,并将安全软件视为危险的使用有毒数据的软件。

      数据中毒的另一种方式是通过“后门”进入机器学习模型。后门是模型设计者可能不知道的一种输入类型,但攻击者可以使用它来操纵算法。一旦黑客发现了人工智能系统中的漏洞,他们就可以利用它来直接教模型他们想要做什么。

      假设攻击者访问后门以教导模型,当文件中存在某些字符时,它应该被归类为良性。现在,攻击者可以通过添加这些字符来使任何文件成为良性文件,并且每当模型遇到这样的文件时,它就会按照训练好的内容将其归类为良性文件。

      数据中毒还与另一种称为成员推理攻击的攻击相结合。成员推理攻击 (MIA) 算法允许攻击者评估特定记录是否是训练数据集的一部分。结合数据中毒,成员推理攻击可用于部分重建训练数据内部的信息。尽管机器学习模型适用于广义数据,但它们在训练数据上表现良好。成员推理攻击和重建攻击利用这种能力来提供与训练数据匹配的输入,并使用机器学习模型输出在训练数据中重新创建用户信息。

      如何检测和预防数据中毒实例?

      模型会定期用新数据重新训练,正是在这个重新训练期间,有毒数据可以被引入训练数据集中。由于它随着时间的推移而发生,因此很难跟踪此类活动。在每个训练周期之前,模型开发人员和工程师可以通过输入有效性测试、回归测试、速率限制和其他统计技术来强制阻止或检测此类输入。他们还可以限制来自单个用户的输入数量,检查是否有来自相似 IP 地址或帐户的多个输入,并针对黄金数据集测试重新训练的模型。黄金数据集是基于机器学习的训练数据集的经过验证且可靠的参考点。

      黑客需要有关机器学习模型如何工作以执行后门攻击的信息。因此,通过实施强大的访问控制和防止信息泄露来保护这些信息非常重要。限制权限、数据版本控制和记录代码更改等一般安全实践将加强模型安全性并保护机器学习的训练数据免受中毒攻击。

      通过渗透测试构建防御

      企业在对其网络进行定期渗透测试时,应考虑测试机器学习和人工智能系统。渗透测试模拟潜在的攻击以确定安全系统中的漏洞。模型开发人员可以类似地对他们的算法进行模拟攻击,以了解他们如何构建针对数据中毒攻击的防御。当您测试您的模型是否存在数据中毒漏洞时,您可以了解可能添加的数据点并构建丢弃此类数据点的机制。

      即使是看似微不足道的不良数据也会使机器学习模型失效。黑客已适应利用这一弱点并破坏企业数据系统。随着企业越来越依赖人工智能,他们必须保护机器学习训练数据的安全性和隐私性,否则就有失去客户信任的风险。

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    [编号: ]
    分享到微信

    即时

    新闻

    奔向8000亿!智能家居打响“空间战”

    智能影音、智能灯光、智能安防……智能家居产品层出不穷,消费者纷纷买单的背后,是资本市场的逐渐青睐。

    企业IT

    商汤黑科技元萝卜AI下棋机器人

    “元萝卜SenseRobot”AI下棋机器人浓缩了商汤在计算机视觉领域多年积淀的产业级AI技术和机械臂技术。

    3C消费

    小米新一代折叠屏手机MIX Fold 2发布 京东购机以旧换

    8月11日,2022年雷军的年度演讲“穿越人生低谷的感悟”如期而至。除了分享个人感悟之外,雷军还带来了包括小米MIX Fold 2折叠屏手机、Redmi K50至尊版等在内的10款新品。小米官方表述,小米MIX Fold 2跑完了折叠屏的最后一公里,厚度仅为5.4mm,性能、品质、综合体验会让大家感到惊艳。

    研究

    2022-2023年中国知识付费行业:资本市场逐步回归理性

    近几年来,随着互联网行业不断发展,知识付费行业获得流量红利,政策层面亦进一步加强知识版权保护。虽然知识付费的市场规模仍在扩大,然而,经历了一轮飞速发展,行业正面临付费复购率逐步下降、缺乏内容品质标准化等发展阻碍。