新工宝引领“互联网+灵活就业”时代 为行业注入新动力专业办公神机,TCL办公智屏三项颠覆性设计,重新定义办公大屏数智增长,绝味鸭脖爆品营销“人工智能+” ,新品爆一脖39天卖了15亿《龙之信条 2》评测,影驰 RTX 4070 SUPER 星曜搭配DLSS 即可畅玩4K!蔡怀军:以“智”提“质”,文化和科技融合的芒果思考神策数据:三大能力解读,释放小程序分析的真正价值摩托罗拉Edge 50 Ultra手机渲染:骁龙8s Gen3芯片,配柔和桃等三种颜色谷歌Pixel8手机将引入Gemini Nano本地模型:可总结录音、生成信息2024全球高端手机(600-799美元)出货量预估增长17%:苹果、华为引领1TB+独家双模双向卫星通信,Find X7 Ultra 卫星通信版预售开启顺丰控股 2023 年营收 2584 亿元,同比下降 3.39%传元戎成为长城汽车第二智驾供应商,靠激进的端到端投入谷歌DeepMind推出“超人类”AI系统SAFE,擅长事实核查,节约成本并提高准确性雷军把小爱同学喊崩了:小米SU7发布会触发全国小米音箱谷歌发布图像局部重绘项目ObjectDrop 插入物体和环境完美融合长城汽车2023年营收1,732亿元 同比增长26.12%周鸿祎:打算开源360AI浏览器 让国内所有大模型都能支持超过20万字AI21发布世界首个Mamba的生产级模型Jamba 支持256K上下文长度怪兽充电 2023 年第四季度营收同比下降 18.3%天猫魔屏C2新品发布,终身会员投影仪引领行业格局, 亮相中国网络视听大会
  • 首页 > 网络安全频道 > 云安全

    如何确保用于训练机器学习模型的数据安全?

    2022年09月20日 17:30:20   来源:千家网

      网络犯罪分子远程操纵和对机器学习模型性能产生负面影响并不难。

      恶意用户可以毒害机器学习的训练数据,非法访问训练数据集中的敏感用户信息,并导致类似的其他问题。

      机器学习和人工智能的采用在过去十年中飙升。涉及这些技术的应用范围从面部识别和天气预报应用到复杂的推荐系统和虚拟助手。随着人工智能越来越融入我们的生活,人工智能系统中的网络安全问题也随之而来。根据世界经济论坛 2022 年全球风险报告,网络安全故障是未来十年最值得关注的 10 大全球风险之一。

      网络安全和人工智能不可避免地会在某个时候交叉,但这个想法旨在利用人工智能的力量来加强网络安全。虽然它存在于自己的位置,但也需要网络安全的力量来保护机器学习模型的完整性。这些模型的威胁来自源头:模型训练数据。危险在于机器学习的训练数据可能被黑客远程或现场操纵。网络犯罪分子操纵训练数据集以影响算法的输出并降低系统防御。这种方法通常无法追踪,因为攻击者伪装成算法用户。

      如何操纵机器学习的训练数据?

      机器学习周期涉及使用更新的信息和用户见解进行持续训练。恶意用户可以通过向机器学习模型提供特定输入来操纵此过程。使用被操纵的记录,他们可以确定机密的用户信息,如银行帐号、社会保障详细信息、人口统计信息和其他用作机器学习模型训练数据的分类数据。

      黑客用来操纵机器学习算法的一些常用方法是:

      数据中毒攻击

      数据中毒涉及损害用于机器学习模型的训练数据。这些训练数据来自开发人员、个人和开源数据库等独立方。如果恶意方参与向训练数据集提供信息,他们将输入精心构建的“有毒”数据,从而使算法对其进行错误分类。

      例如,如果您正在训练识别马的算法,该算法将处理训练数据集中的数千张图像以识别马。为了加强这种学习,您还输入了黑白奶牛的图像来训练算法。但是,如果不小心将棕色奶牛的图像添加到数据集中,模型会将其分类为马。该模型在被训练区分棕色母牛和棕色马之前不会理解差异。

      同样,攻击者可以操纵训练数据来教授有利于他们的模型分类场景。例如,他们可以训练算法将恶意软件视为良性软件,并将安全软件视为危险的使用有毒数据的软件。

      数据中毒的另一种方式是通过“后门”进入机器学习模型。后门是模型设计者可能不知道的一种输入类型,但攻击者可以使用它来操纵算法。一旦黑客发现了人工智能系统中的漏洞,他们就可以利用它来直接教模型他们想要做什么。

      假设攻击者访问后门以教导模型,当文件中存在某些字符时,它应该被归类为良性。现在,攻击者可以通过添加这些字符来使任何文件成为良性文件,并且每当模型遇到这样的文件时,它就会按照训练好的内容将其归类为良性文件。

      数据中毒还与另一种称为成员推理攻击的攻击相结合。成员推理攻击 (MIA) 算法允许攻击者评估特定记录是否是训练数据集的一部分。结合数据中毒,成员推理攻击可用于部分重建训练数据内部的信息。尽管机器学习模型适用于广义数据,但它们在训练数据上表现良好。成员推理攻击和重建攻击利用这种能力来提供与训练数据匹配的输入,并使用机器学习模型输出在训练数据中重新创建用户信息。

      如何检测和预防数据中毒实例?

      模型会定期用新数据重新训练,正是在这个重新训练期间,有毒数据可以被引入训练数据集中。由于它随着时间的推移而发生,因此很难跟踪此类活动。在每个训练周期之前,模型开发人员和工程师可以通过输入有效性测试、回归测试、速率限制和其他统计技术来强制阻止或检测此类输入。他们还可以限制来自单个用户的输入数量,检查是否有来自相似 IP 地址或帐户的多个输入,并针对黄金数据集测试重新训练的模型。黄金数据集是基于机器学习的训练数据集的经过验证且可靠的参考点。

      黑客需要有关机器学习模型如何工作以执行后门攻击的信息。因此,通过实施强大的访问控制和防止信息泄露来保护这些信息非常重要。限制权限、数据版本控制和记录代码更改等一般安全实践将加强模型安全性并保护机器学习的训练数据免受中毒攻击。

      通过渗透测试构建防御

      企业在对其网络进行定期渗透测试时,应考虑测试机器学习和人工智能系统。渗透测试模拟潜在的攻击以确定安全系统中的漏洞。模型开发人员可以类似地对他们的算法进行模拟攻击,以了解他们如何构建针对数据中毒攻击的防御。当您测试您的模型是否存在数据中毒漏洞时,您可以了解可能添加的数据点并构建丢弃此类数据点的机制。

      即使是看似微不足道的不良数据也会使机器学习模型失效。黑客已适应利用这一弱点并破坏企业数据系统。随着企业越来越依赖人工智能,他们必须保护机器学习训练数据的安全性和隐私性,否则就有失去客户信任的风险。

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    即时探行数字人注册免费试用

    第三代骁龙8s平台,“恰逢其时”的“新生代旗舰”之选

    日前,高通举办新品发布会,推出了骁龙8旗舰移动平台诞生以来的第一款新生代旗舰平台:第三代骁龙8s,这是高通对骁龙旗舰移动平台的一次层级扩展,同时意味着广大消费者未来在旗舰手机市场也将会有更多丰富的选择。

    新闻探行AI智能外呼系统 节省80%人力成本

    敢闯技术无人区 TCL实业斩获多项AWE 2024艾普兰奖

    近日,中国家电及消费电子博览会(AWE 2024)隆重开幕。全球领先的智能终端企业TCL实业携多款创新技术和新品亮相,以敢为精神勇闯技术无人区,斩获四项AWE 2024艾普兰大奖。

    企业IT探行AI客服 24小时无休机器人接待

    重庆创新公积金应用,“区块链+政务服务”显成效

    “以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。

    3C消费探行AI视频 快速生成真人营销视频

    “纯臻4K 视界焕新”——爱普生4K 3LCD 激光工程投影

    2024年3月12日,由爱普生举办的主题为“纯臻4K 视界焕新”新品发布会在上海盛大举行。

    研究探行AI整体解决方案 全国招募代理

    2024全球开发者先锋大会即将开幕

    由世界人工智能大会组委会、上海市经信委、徐汇区政府、临港新片区管委会共同指导,由上海市人工智能行业协会联合上海人工智能实验室、上海临港经济发展(集团)有限公司、开放原子开源基金会主办的“2024全球开发者先锋大会”,将于2024年3月23日至24日举办。