【iOS ARKit】3D 人体姿态估计

本文介绍: 与基于屏幕空间的 2D人体姿态估计不同，3D人体姿态估计是尝试还原人体在三维世界中的形状与姿态，包括深度信息。绝大多数的现有3D人体姿态估计方法依赖2D人体姿态估计，通过获取 2D人体姿态后再构建神经网络算法，实现从 2D 到 3D人体姿态的映射。

与基于屏幕空间的 2D人体姿态估计不同，3D人体姿态估计是尝试还原人体在三维世界中的形状与姿态，包括深度信息。绝大多数的现有3D人体姿态估计方法依赖2D人体姿态估计，通过获取 2D人体姿态后再构建神经网络算法，实现从 2D 到 3D人体姿态的映射。

在 ARKit中，由于是采用计算机视觉的方式估计人体姿态，与2D人体姿态估计一样，3D人体姿态估计也受到遮挡、光照、姿态、视角的影响，并且相比于2D人体姿态估计，3D人体姿态估计计算量要大得多，也要复杂得多。但幸运的是，我们并不需要去关注底层的算法实现，ARKit会在检测到人体时直接提供一个ARBodyAnchor 类型对象，该对象包含一个 ARSkeleton3D类型的人体骨骼类型，通过这个类型可以获取所有检测到的人体骨骼关节点信息。ARBodyAnchor 描述了检测到的3D人形结构信息，其结构如下图所示。

对比图2D结构，可以看到，在 ARKit 中，2D与3D人体关节结构层次基本一致，唯一不同的是，在3D 人体结构中，多了一个表示 3D 人体空间位置信息的 Transform（ARBodyAnchor 下的Transform）。在使用上，这两者使用方法完全一样，只是代表3D 人体骨骼的Skeleton 结构比2D更复杂。

描述 3D人体骨骼结构的类为 ARSkeleton3D，也继承自 ARSkeleton 类，ARSkeleton3D 描述了3D空间中的人体骨骼节点结构。由于描述的人体结构是在三维空间中的层次结构，该类包含两个表示位置信息的数组 jointLocalTransforms 和 jointModelTransforms，其中jointLocalTransforms 描述的位置信息是某个节点相对其父节点的位置，而jointModelTransforms 描述的位置信息是相对检测到的ARBodyAnchor 位置。jointLocalTransforms 和 jointModelTransforms 包含的是3D空间中各关节点的位置信息矩阵。

在使用中，可以通过 ARSkeleton3D 的 localTransform（for: ARSkeleton. JointName）方法得到某个关节点相对其父节点的位置，此方法需要传递关节点的原始名称（rawValue）而不是ARSkeleton 预定义的关节点名（预定义关节点名可以通过其.rawValue 获取原始名称）。同样，我们也可以通过 modelTransform（for: ARSkeleton. JointName）方法得到某个关节点相对 ARBodyAnchor 的位置。

jointLocalTransforms 和 jointModelTransforms都是simd_float4x4 类型数组，因此我们也可以直接通过下标取到特定的关节点位置信息，下标方法取值比使用localTransform（）和 modelTransform（）方法快得多，特别是对每次 ARAnchor update 都要执行的循环操作，可以节省很多时间。获取特定节点名称的索引值可以通过 definition.index （for：）方法实现。除此之外，还可以通过 ARSkeleton3D 的 isJointTracked（_：）方法查询每一个关节点在当前帧的检测跟踪情况，也可以获取每一个关节点的父节点。

得到姿态信息是一个仿射变换矩阵在仿射变换矩阵中，每一列都代表了不同的变换元素。具体到 simd_float4x4 中，这四列分别对应于平移（Translation）、缩放（Scale）、旋转（Rotation）和透视（Perspective）的变换。

第一列 (columns.0): X 轴方向的基向量，它包含了 X 轴上的缩放比例。
第二列 (columns.1): Y 轴方向的基向量，它包含了 Y 轴上的缩放比例。
第三列 (columns.2): Z 轴方向的基向量，它包含了 Z 轴上的缩放比例。
第四列 (columns.3): 位移（Translation）向量，它包含了平移信息。

对于旋转矩阵来说，它是正交矩阵，因此其中的这三列（columns.0、columns.1、columns.2）是互相垂直的单位向量，表示了旋转的方向。而平移向量则描述了物体在空间中的位置。在 ARKit 中的 jointModelTransforms 中，这些矩阵描述了每个关节相对于整个人体坐标系的变换，因此你可以使用其中的这些信息来实现例如骨骼动画、渲染等效果。

3D人体姿态估计基础

3D人体姿态估计在娱乐电玩、体育科学、人机交互、教育培训、工业制造等领域都有着广泛的应用。在ARKit 中，我们可以很简单方便地从底层 API 中获取检测到的3D人体姿态估计数据信息，但应用这些数据却需要详细了解3D人体姿态估计数据结构。本节先从原理技术上阐述应用数据的机制，然后学习 ARKit中对3D人体骨骼节点的结构描述。

在2D人体姿态估计中，ARKit 使用了17个人体骨骼关节点对姿态信息进行描述，在3D人体姿态估计中，这个数量要大得多，共使用了91个人体骨骼关节点进行描述，并且这91个关节点并不在一个平面内，而是以三维的形式分布在3D空间中，与2D人体骨骼关节点一样，这些骨骼关节点对应真实人体骨骼位置，它们的分布与相互连接关系如图所示。

在图中，我们也可以看到，定义人体根骨骼的Root 节点不在脚底位置，而是在尾椎骨位置，所有其他骨骼都以 Root 节点为根。详细的骨骼节点关联关系如下表所示。

肢体部位	骨骼关节点名称	索引	父节点名称	索引
尾椎骨	root	0	无	一1
臀部	hips_joint	1	root	0
左腿	left_upLeg_joint	2	hips_joint	1
	left_leg joint	3	left_upLeg_joint	2
	left_foot_joint	4	left_leg_joint	3
	left_toes_joint	5	left_foot_joint	4
	left_toesEnd_joint	6	left_toes_joint	5
右腿	right_upLeg_joint	7	hips_joint	7
	right_leg_joint	8	right_upLeg_joint	7
	right_foot_joint	9	right_leg joint	8
	right_toes _joint	10	right_foot_joint	9
	right_toesEnd_joint	11	right_toes _joint	10
脊柱	spine_1 _joint	12	hips_joint	1
	spine_2_joint	13	spine_ 1 joint	12
	spine_3_joint	14	spine_2_joint	13
	spine_4_joint	15	spine_3 _joint	14
	spine_5 _joint	16	spine_4_joint	15
	spine_6 _joint	17	spine_5_joint	16
	spine_7_joint	18	spine_6_joint	17
左臂	left_shoulder_1_joint	19	spine_? joint	18
	left_arm_joint	20	left_ shoulder_1_joint	19
	left_forearm_ joint	21	left_arm_joint	20
左手	left_hand_joint	22	left_forearm_joint	21
左手食指	left_handIndexStart_joint	23	left_hand_joint	22
	left_handIndex_ 1_joint	24	left_handIndexStart_joint	23
	left_handIndex_2 _joint	25	left_handIndex_1 joint	24
	left_handIndex_3_joint	26	left_handIndex_2_joint	25
	left_handIndexEnd joint	27	left_handIndex_3 joint	26
左手中指	left_handMidStart_joint	28	left_hand_joint	22
	left_handMid_1_ joint	29	left_handMidStart_joint	28
	left_handMid_ 2_joint	30	left_handMid_1 _joint	29
	left _handMid_3_joint	31	left_handMid_2 _joint	30
	left_handMidEnd joint	32	left_handMid_3_joint	31
左手无名指	left_handPinkyStart_joint	33	left_hand_joint	22
	left_handPinky_1_ joint	34	left_handPinkyStart_joint	33
	left_handPinky_2 joint	35	left_handPinky_1 joint	34
	left_handPinky_3 _joint	36	left_handPinky_ 2 joint	35
	left_handPinkyEnd_joint	37	left_handPinky_3_joint	36

肢体部位	骨骼关节点名称	索引	父节点名称	索引
左手小指	left_handRingStart_joint	38	left_hand_joint	22
	left_handRing_1_joint	39	left_ handRingStart_joint	38
	left_handRing_2 joint	40	left_handRing_ 1_joint	39
	left handRing_3_joint	41	left_handRing_2_ joint	40
	left_handRingEnd_joint	42	left_ handRing_3_joint	41
左手母指	left_handThumbStart_ joint	43	lleft_hand_joint	22
	left handThumb_1_joint	44	left_handThumbStart_ joint	43
	left_handThumb_2 _joint	45	left_handThumb_1_joint	44
	left handThumbEnd_joint	46	left_handThumb_2_joint	45
颈椎	neck_1 _joint	47	spine_7_ joint	18
	neck 2 joint	48	neck_1 _joint	47
	neck_3_joint	49	neck_2 joint	48
	neck_4 joint	50	neck_3 _joint	49
头部	head_joint	51	neck_4 _joint	50
下巴	jaw_joint	52	head_ joint	51
下巴	chin_ joint	53	jaw_ joint	52
左眼	left_eye _joint	54	head_joint	51
	left_eyeLowerLid_joint	55	left_eye_joint	54
	left_eyeUpperLid_joint	56	left_eye_joint	54
	left_ eyeball_joint	57	left_eye_joint	54
鼻子	nose_joint	58	head joint	51
右眼	right_eye joint	59	head_joint	51
	right_ eyeLowerLid_joint	60	right_eye_joint	59
	right_eyeUpperLid joint	61	right_eye_joint	59
	right_eyeball_joint	62	right_eye_ joint	59
右臂	right_shoulder_1 _joint	63	spine_7_joint	18
	right_arm_joint	64	right_shoulder_1_joint	63
	right_forearm_joint	65	right_arm_ joint	64
右手	right_hand_joint	66	right_forearm_joint	65
右手食指	right_handIndexStart_ joint	67	right_hand_joint	66
	right_handindex_ 1_joint	68	right_handIndexStart_joint	67
	right_ handIndex_2 joint	69	right_handIndex_ 1_joint	68
	right_handIndex_3_joint	70	right_handIndex_2_ joint	69
	right_handIndexEnd_joint	71	right_handIndex_3_joint	70
右手中指	right_ handMidStart_joint	72	right_hand_joint	66
	right_handMid_1_ joint	73	right_handMidStart_joint	72
	right_handMid_2_joint	74	right_handMid_1_joint	73
	right_handMid_3 _joint	75	right_ handMid_ 2 joint	74
	right_ handMidEnd_joint	76	right_handMid_3 _joint	75

肢体部位	骨骼关节点名称	索引	父节点名称	索引
右手无名指	right_handPinkyStart_ joint	77	right_hand_joint	66
	right_ handPinky_1_joint	78	right_handPinkyStart _joint	77
	right_handPinky_2_ joint	79	right_handPinky_1_joint	78
	right_handPinky_3_ joint	80	right_handPinky_2 _joint	79
	right_ handPinkyEnd_joint	81	right_handPinky_3_joint	80
右手小指	right_handRingStart_joint	82	right_hand_joint	66
	right_handRing_ 1_joint	83	right_handRingStart_joint	82
	right_ handRing_2_joint	84	right_handRing_ 1_joint	83
	right_handRing_3 joint	85	right_handRing_2 joint	84
	right_handRingEnd _joint	86	right_handRing_3_joint	85
右手母指	right_handThumbStart_ joint	87	right_hand_joint	66
	right_handThumb_1_joint	88	right_handThumbStart_joint	87
	right_handThumb_2_joint	89	right_handThumb_1_joint	88
	right_handThumbEnd_joint	90	right_handThumb_2 _joint	89