步态识别技术

5.5.2　步态识别技术

1.步态识别技术算法

目前，已研究出的步态识别的软件算法有如下几种:

①基于主元分析的免于模型的二维步态识别算法；

②基于统计形状分析的步态识别算法；

③基于时空轮廓分析的步态识别算法；

④基于模型的步态识别算法；

⑤基于Hough变换的步态特征提取的步态识别算法；

⑥基于三维小波矩理论的步态识别算法。

此外，有人在基于“人体生物特征不仅包含静态外观信息，也包含行走运动的动态信息”的思想，提出了一种判决级上融合人体静态和动态特征的身份识别方法。利用此方法在不同融合规则下的实验结果表明，融合后的识别性能均优于使用任何单一模态下的识别性能。

2.基于踝关节轨迹的身份识别算法

近年来，在步态识别领域已有很多尝试性工作。采用关节点轨迹和角度识别的尝试取得了令人鼓舞的成果。其中，Taylor等人使用人身体的运动规律性和一些约束来识别人行走和非行走状态；Chew Yean用两个连接钟摆建立腿部的运动模型，从钟摆倾斜角度的曲线中提取某些频率分量作为步态特征进行识别；Aaron采用感应标签的办法获取身体关节的运动轨迹来达到识别目的。

基于步态的身份识别很大程度上依赖于人体形状随着时间的变化过程。故可将步态序列看作由一组静态姿势所组成的模式，然后在识别过程中引入这些观察姿势随时间变化的信息。针对过去提取关节点采取感应标签等具有很高计算代价的方法，采用细化的办法提取脚踝点并采用轨迹特征来识别的算法:首先，根据背景减除的方法进行运动区域分割，在经过背景提取以及差分二值化后，可以把运动区域提取出来；然后，通过跟踪脚踝提取出其运动轨迹，并从运动轨迹中获取表示步态的特征。训练过程中使用简单的方法提取出速度场和路径场；针对行走过程中两脚重合时跟踪不到脚踝的情况，采用插值算法估计脚踝的位置；在识别过程中将序列的轨迹参数作为步态特征进行分类。

(1)特征提取。

①背景提取。采用背景减除的方法进行运动区域分割，首先必须从图像序列中恢复背景图像，考虑到视频处理的实时性，本书中使用一种复杂度较低的方法提取背景。令{I_k，k=1，2，3，…，N}代表一个包含N帧图像的视频，则背景图像B可用下面迭代的方法获得:

B=αI_k+βB(k=2，3，4，…，N)其中，参数α+β=1，初始化时B=I₁

②差分及二值化。为把前景从背景中分割开来，使用下述函数来间接执行差分操作:

其中0≤f(a，b)〈1，0≤a(x，y)，b(x，y)≤255，a(x，y)与b(x，y)分别是当前图像和背景图像在像素(x，y)处的亮度值。对于每幅图像I(x，y)，通过二值化提取函数来获取当前图像中的变化像素。

③运动目标检测。二值化后提取的运动区域可能会出现空洞和噪声点，用图像形态学的方法可以去除它们的影响。然后，通过执行单连通分量分析就可以得到单连通的运动目标。由于边界对本书中采用细化算法来寻找脚踝的方法比较敏感，所以采取边界平滑的算法进一步调整前景区。在经过背景提取以及差分二值化后，就可以把运动区域提取出来。步态检测中对运动目标提取与检测的示例如图5-18所示，图中分别是背景、行人和提取出来的行人区域。

图5-18　运动目标提取与检测示意

④脚踝提取。针对脚踝处于弯曲部位的特征，采用细化算法，找到细化之后的曲线交叉点即近似等于脚踝的位置。为了降低细化算法的复杂度，先找到脚的大体位置，步骤如下:

·　求重心:

其中，(X_c，Y_c)是重心的坐标，N_t是前景区像素总数，(x_i，y_i)是前景区像素点。

·　减小搜索区的范围:

只保留要跟踪的脚踝所在的一侧和重心以下位置。

·　细化:

对图像序列用生态学方法进一步平滑边界，填充空洞、去除噪声并细化图像。

·　搜索脚踝点:

搜索细化后曲线上出现的交叉点可近似得到脚踝的坐标p(x，y)。

在经过以上四个步骤之后，就可以得到脚踝的位置坐标。图5-19是脚踝跟踪示意图，从左向右依次为:(a)脚的大概位置；(b)细化后的骨架；(c)跟踪到的脚踝点。该方法对鞋子的影响具有鲁棒性，原因是鞋子对脚踝弯曲部位的影响不大。

图5-19　脚踝跟踪示图

⑤脚踝轨迹的形成。提取序列一个周期中的每一幅图像脚踝的位置坐标P_i(x，y)。为了便于轨迹的描述和特征向量的提取，本书采用以下方法。令:

N是某个序列的帧数，P(i)_x是序列中第i幅图像的x坐标(注:坐标系选取图像的左上角为原点，x轴向下，y轴向右)。

D(i)_x=－(P(i)_x－M_N)

D(i)_x是序列中第i幅图像的x坐标相对于均值的偏移。这样就得到了脚踝点运动的幅度。为了消除图像尺度、信号长度对训练和识别过程的影响，本书使用L-泛数方法对D(i)_x和P(i)_y进行幅度上的归一化。

其中，是取绝对值。考虑到轨迹的特征，进一步从步态周期中确定适合所有个体的轨迹起始点和结束点。分别从上述曲线的起始点和终止点搜索x方向变化幅度最大的第一点。

ds_x是曲线上升最快的第一点的x坐标，de_x是曲线反向上升最快的第一点，N是一个步态周期序列的样本个数。这样就得到了归一化后一个周期的两个向量:

⑥步态特征的表示。确定行人内在运动的一个重要线索是人体部分的运动。人的脚踝轨迹体现了个体的差异，它可以用速度场和路径距离表示。

速度场S

d代表求导。速度场反映脚踝运动的时空特性。求得速度场的模，即速度距S_m。

路径距L

其中，M=de_x－ds_x+1。路径的距离可以用于度量路径的一致性。这样就得到了作为识别的两个度量S_m和L。它们从时空方面反映脚踝的运动轨迹，则C=［S_m，L］可作为最终的步态特征。

(2)识别。

①相似性度量。由于步态是时空运动，故期望使用时空相关来更好地捕捉它的空间结构特性及时间平移特性。对于任意两个步态序列要确定其周期，并从步态序列中提取出完整的步态周期，就需要找到每个人的视频序列中高宽比最大两帧图像作为大致周期。在该大致周期中选择脚踝上升幅度最大的第一点作为周期起始点，并从该周期的反方向选择上升幅度最大的第一点作为周期的终止点，这两个点之间作为精确周期。脚踝点在两脚重叠时不能从图像上直接得到，可以用插值的办法取得近似的脚踝点。

②分类器。可采用非参数的方法设计分类器。最近邻规则(NN)分类器就是一种比较容易实现的分类器，但不是最有效的，因而只用它来测试步态特征的可分性。NN分类器使用欧氏距离作为相似性测度。其欧氏距离的定义为:

其中，S_mc和L_c是测试样本，S_me和L_e是数据库中的参考训练样本。

(3)实验。

①识别性能。本节采用中科院自动化所提供的NLPR数据库。它包含20个人，每人3个视角(侧面视角0°，倾斜视角45°，正面视角90°)，每视角4个序列，共240个步态序列。本实验选取这20个人，并使用侧面视角。在该数据库上已作了大量的计算机仿真，全面测试了算法的识别性能和校验性能，获得了大量的仿真数据。通过使用留一校验(Leave-one-out Cross Validation)的方法，得出了0°视角下k=2，5，10，20算法的正确分类率CCR(Correct Classification Rate)

②校验性能。借用了脸部识别算法中用到的一种分类性能度量ROS(Rank Order Statistic)来评估算法的性能，该方法在FERET评估协议中首先被提到。使用最近邻分类器时算法的累积匹配分值图。

同时使用留一规则估计了算法的错误接受率FAR(False Acceptance Rate)和错误拒绝率FRR(False Reject Rate)。图5-20给出了算法在使用最近邻分类器NN的情况下的ROC(Receiver Operating Characteris)曲线。

图5-20　基于FERET协议的ROS曲线

错误接受是指将冒充者识别为真正的生物特征拥有者；错误拒绝是指生物特征拥有者被拒绝。对于理想的算法来说，这两个错误率均为0。但实际中，这两个指标是相关的，当错误拒绝率较低时，错误接受率会较高；反之亦然。因此往往需要在两个错误率之间折中选取。用ROC曲线能够很好地反映两个错误率之间的关系，如图5-21所示。曲线上的点表示在某个给定的阈值下得到的错误拒绝率和错误接受率。从图中可以看到侧面0°视角的等错误率EER(Equal Error Rate)为17%。

图5-21　基于NN分类器的ROC曲线

③结果分析。使用速度距和路径距的识别办法可以有效避免某一帧丢失或是某一帧脚踝提取不好对识别结果的影响。但是基于NN分类器的等错误率EER为17%不是很理想。其中速度场的范数会累加误差，一定程度上加大了总的时空匹配误差。而轨迹距离却可以克服部分轨迹点上的波动，从而取得好的识别效果。