物理世界中的等距3D对抗样本

论文题目：Isometric 3D Adversarial Examples in the Physical World
会议：NIPS 2022

点云：

点云——表达目标空间分布和目标表面特性的海量点集合，点包含xyz坐标信息 能够包含颜色等其他信息

使用顶点、边和面的数据表征的三维图形的表面，顶点包含坐标信息，面片常用顶点编号来表示，同时可以附加纹理颜色等信息

点云和mesh是常用的3D表示数据、获取容易（使用RGBD相机、结构光相机、激光雷达都可以获取到）、应用广泛（点云常用与自动驾驶、医疗点云数据分割、mesh可以用于3D打印再比如游戏中角色的建模），值得一提的是点云与mesh可以方便地互相转化（利用meshlab、pcl等工具可以从点云数据导出到mesh上，反之也可以在mesh上采样得到点云）

为了适应越来越广泛的点云应用，近年来涌现出了许多点云模型用于完成各类任务如分类、部件分割、语义分割等，常见的如这种基于MLP+POOling层的POINTNET结构、还有基于图卷积的DGCNN、还有一些基于transformer的、基于卷积的…….

对抗样本

在原数据上添加人眼难以识别的细微扰动使得模型分类出错

但深度神经网络是脆弱的，很容易被一些精心设计的数据所攻击，这也是对抗样本的概念，即在原本的干净数据上添加人眼难以识别的细微扰动使得模型分类出错。图中的就是两个很好的例子，比如左图的飞机、瓶子都被攻击成了植物，右图放置于车顶的激光雷达使得该车无法被检测到、3D打印出的对抗mesh由床被识别为板凳。

本质上是在给定约束条件下求最优解

点云攻击方法：

1、点扰动；对现有点改变其位置导致模型分类出错

2、点添加；在当前点云上添加独立的点、簇或小物体导致模型分类出错

3、点删除；根据不同点对于分类结果的贡献删除显著点

总结现有方法存在的问题：
1、首先由目前攻击方法生成的对抗点云仍然存在许多离群点、表面不够平滑，当进一步转化为mesh用于3D打印时，由于重建算法存在误差 很多对抗性较强的点直接被消除掉
2、即使能够被有效重建为mesh，参考左下图中的图一 无法被精准打印出来，图二的情况则是不可察觉性很差
3、现实世界中构造出的对抗物体面临着视角变化，扫描出的点云 许多对抗性较强的位置可能被遗漏掉

提出方法

1）直接对mesh进行攻击，防止引入重建误差

2）使用ε−isometry来约束扰动，提升不可察觉性

3）模拟物理转换时发生的变换，并将其视为max–min问题

实验结果

代码007普通

打赏 收藏 海报 链接