基于肤色模型的人耳检测系统

5.7.4　基于肤色模型的人耳检测系统

人耳作为人体一种特有的生物特征体，具有唯一性、稳定性、普遍性和可采集性这四种作为人体特征识别必备的基本性质。人耳识别作为一种新的人体特征识别技术，正逐渐引起人们的注意和重视。人耳识别系统如图5-28所示。

图5-28　人耳识别系统

虚线框内的部分是本文研究的主要内容，即人耳检测。人耳检测(ear detection)是指在输入图像中确定人耳的存在、位置和大小的过程。他是人耳识别系统中的第一个环节。具体而言，人耳检测的目标就是从输入的序列图像中确定人耳的存在，并检测它的位置与大小，最后选择一帧质量较好的图像输出，并分割出的正面人耳留待下一步处理。此外，人耳检测也可以自成一个系统以实现人耳的跟踪和定位。

人耳检测同人脸检测相比有很多相似之处。实际上，在两者的处理方法上人耳检测的挑战性在于:

①虽然人耳不受眼镜、胡须以及表情变化等影响，但人耳没有人脸那么多的特征和规则，在检测方法的选择上有所约束，也就是说在人耳检测领域基于特征的检测算法暂时不适用。

②人耳是人脸的一部分，人耳检测某种意义上说也就是检测运动物体的局部，这也是人耳检测与一般的动态检测不同之处。它的实现需要综合动态与静态两方面的检测方法。因而，如果能够比较成功地构造出人耳检测系统，将为解决其他类似的复杂模式检测问题提供有益的启示。

利用自适应背景模型检测运动物体，在序列图像中将运动部分分割出来。对于分割后的运动部分，根据该运动物体几何特征判断其是否为人。然后经过颜色分割，产生初始的肤色候选区域，进行人耳的粗定位。接着对肤色候选区域进行处理，剔除明显不是人脸的肤色区域，得到人耳候选区域。然后，利用人耳检测模块判断候选区域中是否含有人耳，以及获得它们的位置、大小等信息。人耳检测系统是全部自动检测式的，人运动的路线是固定的。其试验数据在第4节有详细分析。

1.运动目标提取

在输入序列图像以后，首先要实现运动目标的提取，进行有效的人体检测。目前运动目标提取通常采用差分图像的方法，其中帧间差分和背景差分是比较流行的两种方法。

自适应背景模型属于背景差分的范畴，这种模型实时更新参考背景，从而克服了由于光线突变或背景物体改变造成的影响，准确提取出运动目标。

(1)背景建模与更新。

采用高斯分布模板建立背景模型，对参考帧的每个像素利用高斯模板建模，每个像素点都认为服从均值μ和方差σ的分布，且每一点的高斯分布是独立的。像素点(x，y)的值是以时间为轴的点集合中的一个，可由下式表示:

{X₀，X₁，…，X_t}={I(x，y，i)；0≤i≤t}　　　(1)

其中，I表示这个图像序列，也就是这个集合；i表示第i帧图像。集合中的每个像素点都服从正态分布，概率密度函数可以表示为:

初建模板时，每一点的分布是未知的。用第一帧的该像素点的值作为均值μ，将标准方差设为0来进行初始化。

本文视背景模型的每个像素点具有两种可能状态，观察状态和更新状态。对于每个像素点记录均值μ、方差σ、最近N个采样值、前景点比率R_f和处于观察状态的持续时间T_f。

(2)背景差分。

利用自适应背景更新算法更新背景模型，然后由当前图像帧与背景模型作差，从而得到差分图像，再对差分图像进行阈值分割。参考式(2)确定的像素点取值的概率分布计算

设置图像的全局阈值T_p，进行判断，对背景点标记为O，前景点标记为l:

对于分割出来的部分须进行人体检测，即判断是否为人体。对分割得到的前景区域标记，根据前景区域的几何特征进行判断。标记前景区域采用轮廓跟踪的基本方法，即先根据某些严格的“探测原则”找出目标物体轮廓上的一个像素点，再根据这些像素的某些特征用一定的“跟踪准则”找出目标物体的其他像素点。再根据前景区域的大概面积可以区分由于噪声或者光线强度突变产生的小区域。根据前景区域的几何特征可以区分人和汽车、小动物等。实验结果如图5-29所示。

图5-29　提取运动目标

2.基于彩色信息的图像分割

彩色信息常常作为一种有效的特征，常应用于图像分割。在不同光照下，虽然亮度会产生很大的差异，但物体的色度具有恒常性，基本保持不变。根据计算机色彩理论，对一种颜色而言，在计算机中有不同的表达方式，这样就形成了各种不同的色彩空间。YCrCb色彩空间是以演播室质量标准为目标的CCIR601编码方案中采用的彩色表示模型。

(1)建立肤色模型。

肤色是人脸的重要信息，不依赖于面部的细节特征，对于旋转、表情等变化情况都能适用，具有相对的稳定性并且和大多数背景物体的颜色相区别。因此肤色特征在人脸检测中是最常用的一种特征。

我们处理了313副图像中数百个肤色样本，统计发现适合所有黄色人种肤色色度判决范围是Cr=［140，166］和Cb=［96，124］；头发色度判决范围是Cr=［124，140］和Cb=［123，139］。实验证明该映射表对于不同光照下黄色肤色人种判决性能很稳定。尽管在参考文献［7］中提到适合所有输入图像的肤色色度判决范围是Cr=［133，173］和Cb=［77，127］。由于现行的工作暂时针对黄色人种，因而实验结果同文献有所差别。

(2)基于肤色信息的初定位。

对任意一幅彩色图像，都可以执行基于肤色特征的分割操作。首先，计算原图像中每个像素的色调值，得到色调图像。然后，按照人脸肤色模型阈值化色调图像，得到粗略的二值分割图。这样的分割图中，有大量微小的区域，而且在面积较大的连通区域中还有一些微小的空洞。这些都是图像中的噪音。采用数学形态学中的闭运算来对二值分割图进行平滑处理。最后，通过一个区域合并与标号的算法，可以计算求出二值分割图中有多少个连通的白色区域，以及每个区域的位置、面积等。

3.人耳检测模块

在执行基于肤色特征的分割操作后，我们在一系列的肤色区域中，要对这些孤立的区域判断其大概面积、位置以及其几何特征，然后得到人脸区域，即人耳检测的候选区域。此时，我们已经可以确认图像中含有人脸。由于人是运动的路线是固定的，即摄像机照下的是人的侧面。这样我们就可以知道包含人脸的地方一定包含人耳。然后，再利用人耳检测模块判断候选区域中获得它们的位置、大小等信息。

首先，检测人耳候选区域的大小，根据该区域的尺寸可以计算出人耳的大小。记录每个人耳候区域的如下信息:最左边像素点的坐标(X₁，Y₁)；最上边像素点的坐标(X_t，Y_t)最右边像素点的坐标(X_r，Y_r)；最下边像素点的坐标(X_b，Y_b)。计算每个前景区的面积Area，即像素点数。设人耳区域的宽度为X，高度为Y，利用以下公式可以大致计算出人耳的尺寸。

4.实验结果及分析

由此可以看出，该算法有两个优点，其一是自适应背景模型可以克服由于光线突变或背景物体改变对检测造成的影响，同时也考虑了背景在实际环境中的偶然性以及长时间的统计特性；其二是肤色模型可以排除掉检测过程中很像人脸而非肤色的区域。分割后，图像中含有完整的人耳，我们认为是检测精确；图像中含有的人耳不完整，我们认为是检测模糊；图像中含有的人耳很少，即只有50%以下的人耳包含在图像中，我们认为是检测错误。对这近千余幅图像的试验结果如表5-2所示。

从试验结果可以看出，基于自适应背景模型与肤色模型相结合的检测算法是有效的。对于人耳识别系统来说，它只要求人耳检测系统输出一幅包含完整人耳的图片。这一点是可以做到的。而我们认为未来的研究可以改进肤色模型或者结合其他的算法，以进一步提高检测精确率。

表5-2　试验结果