智能化技术及应用 | 小心对抗样本攻击，别让你的AI应用...

雨后彩虹

智能化技术及应用 | 小心对抗样本攻击，别让你的AI应用被钻了空子

当有人宣称自动驾驶系统已解放了人们双手之后，你真的敢来一场说走就走的自动驾驶之旅吗？2019年，腾讯科恩实验室曾对某热门车型所搭载自动驾驶系统（2018年的某个版本）进行安全性测试，发现其在图像识别方面，存在被攻击的安全隐患。实验中大多数情况下，自动驾驶系统都能正常识别交通标志、标线，但如果在路面涂刷不起眼的干扰信息，车辆则会根据看到的图像，做出错误决策，驶入反向车道，危险性不言而喻。虽然这个实验仅仅暴露出自动驾驶汽车的安全隐患，但实际上随着人工智能应用日趋普及，AI的安全问题正逐渐显露。

AI应用面临安全挑战

当前主流的人工智能应用，多数是基于传统机器学习或深度学习算法开发的，从开发到生产部署，一般有数据采集、数据预处理、模型训练、模型的评估验证、生产部署等几个环节。

AI应用的各环节及攻击点

黑客往往会基于上述环节对人工智能应用进行攻击，如针对数据采集和预处理阶段的攻击、针对AI模型本身、针对模型使用环节的对抗样本攻击等等。其中，在对抗样本攻击中，通过对输入样本进行细微的修改，人眼不易觉察，但却使AI系统产生错误的输出，在一些关键场景中会造成严重问题，而针对各种对抗样本的攻击，已经有了多种防范方法来降低风险。下文将重点针对AI对抗样本攻击与防护的技术展开探讨。

解密AI对抗攻击技术

对抗样本（Adversarial Examples），即通过对输入样本添加一些非随机性的微小扰动，受干扰之后的输入样本经过AI模型运算，会导致模型以高置信度给出了一个错误的输出结果。如下图所示，一张原本是熊猫的图片，在加入了人为设计的微小噪声扰动后，人眼看上去还是熊猫，但AI模型直接将其识别为长臂猿，且可信度高达99.3%。

对抗样本

当然，还有另外一种对抗样本，样本图像是人类无法看懂的，但AI模型却高概率认为是某个类别的事物。如下图所示，AI模型会识别为0-9的数字。

在对抗样本攻击的分类上，如果从技术维度来看，按照对抗样本的实现方式可分为白盒攻击和黑盒攻击两类。白盒攻击：攻击者完全了解被攻击的AI模型的结构、源码、训练数据集等信息，可以实施更加精确的攻击，难度较低，多用于学术研究。常见的白盒攻击算法如L-BFGS、FGSM、BIM、ILCM、DeepFool等。黑盒攻击：攻击者对AI模型和训练数据集的信息了解得不多或者完全不了解。但利用对抗样本具有跨模型、跨数据集迁移的泛化能力，研究被攻击AI模型的输入/输出信息，设计对抗样本进行攻击，这种方式的实现难度比较大。

如果从攻击目标输出结果的维度来看，则可分为：非针对性攻击（non-target attack）：让AI模型输出结果出错即可。针对性攻击（targeted attack）：不仅让模型输出结果错误，而且还要让其输出结果按照攻击者预定的结果来输出。

云计算服务相关资讯可以参考新华三官网，新华三集团作为数字化解决方案领导者，致力于成为客户业务创新、数字化转型值得信赖的合作伙伴。作为紫光集团旗下的核心企业，新华三通过深度布局“芯-云-网-边-端”全产业链，不断提升数字化和智能化赋能水平。新华三拥有芯片、计算、存储、网络、5G、安全、终端等全方位的数字化基础设施整体能力，提供云计算、大数据、人工智能、工业互联网、信息安全、智能联接、边缘计算等在内的一站式数字化解决方案，以及端到端的技术服务。同时，新华三也是HPE®服务器、存储和技术服务的中国独家提供商。

没头没尾

想不到的把。

dhsnag

灌水我最强！