大多数人工智能系统都基于神经网络，其算法受到大脑中生物神经元的启发。然而，某些人类可以理解的视觉输入等信息，可能被人工神经网络(ANN)解释为完全不同的东西，比如图像分类系统将猫误认为是狗，甚至是无人驾驶汽车可能将停车信号误认为是优先通行标志。
由于不一定总是视觉性输入，看一眼就分析出系统出错的原因并不那么容易。攻击者可能利用这一点来破坏基于人工神经网络的系统，例如巧妙地改变预期输入模式，使其被误解。这样系统将出现错误行为，甚至可能出现问题。
研究人员针对此类攻击设计过一些防御技术，但存在一定的局限性。据外媒报道，东京大学医学系研究科(University of Tokyo Graduate School of Medicine)的应届毕业生Jumpei Ukita和Kenichi Ohki教授设计并测试了一种改善ANN防御机制的新方法。
Ohki表示：“神经网络通常由虚拟神经元层组成。第一层通常负责通过识别与特定输入相对应的元素来分析输入信息。攻击者可能提供一些带有伪影(artifact)的图像，欺骗网络对其进行错误分类。针对这种攻击的常见防御措施，可能是故意在第一层中引入一些噪声，从而更好地适应视觉场景或其他输入集，但是这种方法并不总是有效。研究人员认为，可以通过超越输入层，深入到网络内部来改善这个问题。”
除了计算机，Ukita和Ohki还研究了人类的大脑，因此在人工神经网络中使用他们所知道的现象，不仅要在输入层中添加噪声，还要在更深的层中添加噪声。这种做法通常是避免采用的，因为在正常情况下可能影响网络的有效性。然而，结果正好相反，噪声提高了他们测试的人工神经网络的适应性，从而降低了其对模拟对抗性攻击的敏感性。
Ukita表示：“第一步是设计一种假设的攻击方法，使其攻击深度超过输入层。这种攻击需要承受输入层上具有标准噪声防御的网络的回弹(resilience)。这些被称为特征空间对抗示例。这些攻击的工作原理是，故意提供超出(而不是接近)ANN可以正确分类的输入。其诀窍是向更深层呈现微妙的误导性伪影。一旦这样的攻击表现出危险性，研究人员就会将随机噪声注入网络中更深的隐藏层，以提高它们的适应性，从而提高防御能力。结果证明这是有效的。”
该团队希望进一步开发这项技术，使其能够更有效地抵御预期攻击，以及尚未测试过的其他攻击类型。目前的防御仅针对特定类型攻击。Ukita表示：“未来的攻击者可能会考虑避开这项研究中提到的特征空间噪声。事实上，进攻和防御是同一枚硬币的两面，是一场双方都不会退缩的竞赛。因此，研究人员需要不断迭代、改进和推出创新想法，以保护大家日常都在使用的系统。”
该文观点仅代表作者，本站仅提供信息存储空间服务，转载请注明出处。若需了解详细的安防行业方案，或有其它建议反馈，欢迎联系我们。
