用来研究眼动活动的结合基于特征和
基于模型思想的算法
Dongheng Li, David Winfield, Derrick J. Parkhurst
摘 要：由于用户的注视点能极大的改善人机接口，则可以把眼动活动当作用户注意力状态的标志。将眼动活动整合成现在这种接口的障碍就是没有一种可用的，可靠的，低成本的，开源的眼动跟踪系统。为了给那些接口设计者提供这样一个系统，我们研发了一种基于特征和模型思想的混合算法并且提供了一个开源的软件包。我们将这种算法命名为Starburst 。这种算法比单纯基于特征跟踪的算法更准确而且比单纯基于模型跟踪的算法更省时。当前能够将红外视频剪辑来跟踪眼动活动。这种视频可以用一个廉价的头盔式眼动仪来获取。这是一个可靠的研究并且指出该电子技术能够估计眼睛的位置，误差不超过一度。
关键词： 眼动跟踪；头盔式眼动仪；算法；基于特征；
1 简介
眼动活动的使用能极大的改善人机接口的质量。应用眼动活动的人机接口有两种：在线接口和离线接口。在线接口允许用户利用眼动活动详细的控制接口[8]。比如，用户可以通过注视虚拟键盘上的按键来进行打字而不用使用传统的敲击键盘的方法[9]。这种技术也可以用在常用的接口中，比如用户可以在图形用户接口中注视一个图标来选择它，这样大大提高了速度[16]。
另一方面，离线的接口能监视用户眼动活动并且自动调整。例如，在视频传输和虚拟现实应用，可变分辨率显示技术能主动跟踪用户的眼睛并且提供一个关于凝视点的详细信息，同时省略了外围设备的细节[13，14]。
尽管眼动跟踪已经应用到一些研究系统和小型的产品中，但是眼动跟踪技术还没充分发挥它的潜力。尤为重要的是，眼动跟踪技术的许多方法已经应用了很多年。将这种技术整合成人机接口的首要障碍是这种系统要么容易被入侵，要么就是成本太高。最近，由于头盔式视频眼动仪逐渐缩小，眼动跟踪的被入侵性显著下降[15，1]。视频眼动跟踪移动技术也减少了入侵性[6，10]，但是降低了系统的准确性。随着技术的不断发展，剩下的障碍就是成本。目前，有一些眼动跟踪系统已经投入市场，它们的价格大约5000到40000美元。值得注意的是，这些开销并不是由于硬件，因为在过去10年中高清数
码镜头的价钱已经下降了很多。然而，开销主要和软件相关，有时候也需要整合特殊的数码处理器来获得高速性能。
这种分析清楚的指明了，为了将眼动活动结合到平常的人机接口中，需要广泛的可用性，可靠性和高速眼动跟踪算法，而这种算法需要在普通电脑硬件的支持下完成。为了达到这个目的，我们发明了这个结合基于特征和模型思想的算法并且在一个开源包中使分布式系统得以实现。通过结合低成本的头盔式眼动仪[18]，眼动跟踪技术很可能成为下一代人机接口。
2 问题描述
如上所述，眼动跟踪系统可以分为远程系统和头盔式系统。每一种系统都有其特有的优势。比如远程系统比头盔式系统不容易被入侵，但是却减少了准确性和灵活性。另一方面，我们开发了一种低成本的头盔式眼动仪[18]。这个眼动仪由两个CCD 摄像头组成，它们绑定在一对安全眼镜上（如图1）。其中一个摄像头捕捉眼镜的图像，另一个捕捉场景的图像。两个摄像头是同步的并且以30赫兹的频率捕捉640×480像素。在本文中，我们的眼动跟踪算法处理的图像就是利用这种头盔式眼动仪所获得的。然而，这种算法也可以被应用到远程的视频捕捉系统。
眼动跟踪技术中主要使用两种图像处理方法，可见光谱成像和红外光谱成像[5]。可见光谱成像是一种被动的方式，通过捕捉眼睛的反射光。在这些图像中，通常情况下跟踪可见光谱图像最好的特征就是虹膜和巩膜之间的轮廓也叫角膜缘。眼球的三种最相关的特征是瞳孔——让光进入眼球的光圈，虹膜——控制瞳孔直径的有色肌肉群，眼白保护覆盖在眼球其他部分的纤维。可见光谱成像是很复杂的，因为环境中的光源是无法控制的，它包含许多镜面反射和漫反射成分。红外光谱成像通过使用一个用户无法感知的红外光控制来主动消除镜面反射。红外光谱成像的好处就是，瞳孔作为图像中最强的特征轮廓而不是角膜缘（如图1d ）。巩膜和虹膜都能够反射红外光，而只有巩膜能反射可见光。跟踪瞳孔轮廓更具优势，因为瞳孔轮廓比角膜缘更小更尖锐。还有，由于它的大小，瞳孔更不容易被眼皮遮住。红外光谱成像也有缺点，那就是在白天不能用在户外，由于外界环境能清除红外线。在本文中，我们的算法主要使用红外光谱成像技术同时也拓展到可见光谱成像技术。
红外眼球跟踪通常使用亮瞳或暗瞳技术（如参考文献[10]中结合了亮瞳和暗瞳技术）。亮瞳技术通过在离摄像头光轴非常近的地方使用一个光源来照射眼球。由于眼球后部的照片反光特性而形成了一个瞳孔分明的明亮区域。暗瞳技术通过在远离光轴的地
方使用一个光源，这样瞳孔在图像中就是黑暗的区域，同时巩膜、虹膜和眼皮反射比较多的光。两种方法都是使用对照明光源的表面反射而使角膜（眼球最具光学特性的结构）可见。使用瞳孔中心到角膜反射点的向量比单独使用瞳孔中心的方法要可靠的多。这是由于向量对于头盔摄像头和光源的同时移动所造成的误差不敏感（参考下面的实用性研究）。本文中我们的算法主要以暗瞳技术为核心，同时也可以应用到亮瞳技术中。
图1 （a ）和（b ）头盔式眼动仪
（c ）眼动仪获得的图像（d ）用户右眼的图像
3 相关工作
眼动跟踪算法可以分为两种方法：基于特征和基于模型。基于特征的方法根据眼球的位置探测和定位图像特征。基于特征的方法有一个共性，那就是需要一个标准（比如一个阈值）来确定特征的存在。这个阈值应该是一个由用户自行确定的参数。跟踪特性在整个算法中有很大变化但是主要依靠亮度水平和亮度梯度。比如，应用暗瞳技术的红外成像，可以设置适当的亮度阈值来提取对应该区域的瞳孔。将瞳孔中心当做该区域的几何中心。在可见光谱成像中，亮度梯度可以用来检测角膜缘[21]。在红外光谱成像中，亮度梯度可以用来检测瞳孔中心[12]。这些特征点最后可以拟合成一个椭圆。
另一方面，基于模型的方法不能发掘详细的特征但是可以找到连续图像的最佳模型。例如，可以利用积分微分运算来寻找角膜缘和瞳孔边缘点的最佳拟合圆[3]或者椭圆
[11]。这种方法需要对模型的参数空间进行反复的搜索来寻找最大的圆边界或者椭圆的边界导数。基于特征的方法定义的特征标准不能应用到图像数据中，所以基于模型的方法能更准确的估计瞳孔中心的位置。但是这种方法需要搜索一个复杂的参数空间，这里面可能充满了位置的最小值。因此，没有对模型参数的一个初始估计，梯度技术就不能实现。由此可见，这种方法的准确性是以综合速度和灵活性为代价的。然而，在多重标准的图像处理方法[2]中结合基于模型的方法对于实时操作有很好的前景[5]。
4 Starburst算法
这部分阐述的是结合基于特征和基于模型思想的眼动跟踪算法，用这种算法来权衡在红外照射下的暗瞳技术的运行时间和准确性。该算法的目的是提取瞳孔中心和角膜反射点的位置来完成对视场图像的坐标转换。该算法从定位和去除图像中角膜反射点开始。然后反复使用基于特征技术来定位瞳孔边缘点。使用随机样本一致性范式来找到这些点的最佳拟合椭圆[4]。从基于特征的方法中提取的最佳适应参数来初始化对模型参数的搜索，以便计算椭圆参数。
4.1 去噪
根据第二章描述的低成本的头盔式眼动仪，我们需要先对图像进行去噪。我们通过应用标准偏差2个像素的5×5的高斯滤波器来实现去噪。利用标准化因子能够将直线一条条转化成前一帧图像的连续均值。在第i 帧中的每一条直线l 的这个因子C 如下：
式中，I （i ，l ）是直线强度，β=0.2。注意，去噪技术是选择性的，当算法用来处理噪声小的图像时，可以省略去噪环节。
4.2 角膜反射的发掘，定位和移动
角膜反射点也就是眼球图像中最明亮的区域。通过二值法能够获取角膜反射点。但是每个观察者的阈值常量都不是最佳的。所以我们使用自适应的二值法在每一帧中定位角膜反射点。因为角膜延伸到大约角膜缘的位置，我们就将角膜反射点的搜索限制在宽度为h=150像素的正方形区域内（见讨论部分的参数值）。最大门限值是用来产生一个二值图像，仅取像素大于这个阈值的点作为角膜反射点。基本上最大的候选区域就是角膜反射区域，至于其他的反射区域都是很小的或者脱离了角膜范围，也有在图像边缘眼皮位置的。最大候选区和其它区域的均值之间的比例随着阈值的降低能够被计算出来。
首先，由于角膜反射区域比其它区域增长的快，所以这个比例会增大。角膜反射区域的强度沿着径向递减。一个较小的阈值一般会产生错误的候选区域。当错误候选区域更加显著并且角膜反射区域扩大的时候，比例就会下降。我们就认为这个时候产生最大比例的阈值为最佳的。角膜反射区域的位置就用自适应门限法，由最大区域的几何中心（x c ，y c ）确定。
角膜反射区域在图像中大致成圆形。角膜反射区域的大致大小可以由定位步骤中应用阈值的区域导出，这个区域不一定能完全包含角膜反射区域的整个轮廓。我们假设角膜反射的强度分布遵循一个二元高斯分布，这样来确定角膜的全反射。如果我们发现半径r 在亮度衰减最大的地方是最大高斯衰减，那么我们就可以取2.5r 的最大角膜反射来捕捉99%的角膜反射剖面。我们通过梯度来搜索合适的最小值从而确定r 。
式中δ=1，I （r ，x ，y ，θ）是由x ，y ，r 确定的圆，圆心角为θ处的像素强度。r 使用下式来初始化，面积就是二值区域中像素的数目。该搜索快速收敛。
使用径向的内插法来移动角膜反射区域。首先，将角膜反射区域的中心像素设定成该区域边缘强度的均值。从中心到边缘中间的每个像素值都是由线性内插法来确定。该过程的流程如图5（比较a 和b ）。
4.3 瞳孔边缘检测
我们已经开发了一个新颖的基于特征的方法来检测瞳孔边缘。伪代码如图2所示。如果把其它的基于特征的方法应用到边缘检测或者整个眼球图像中，由于瞳孔边缘通常只占图像的一小部分，这些计算方法就显得有些浪费。与之相反，我们从一个最佳猜测的瞳孔中心射出的有限数量的光线中来检测边缘。这些光线从图3a 中能看出来。利用暗瞳技术从红外照射成像中提取瞳孔轮廓，该方法充分利用了瞳孔轮廓的高对比度椭圆剖面。
图2 特征点检测方法
每一帧都有一个对瞳孔中心的最佳猜测位置。对于第一帧，通常将图像的中心作为猜测的瞳孔中心。后面的每一帧都来源于前一帧。在N=18时，从出发点呈放射状延伸的每一个Δ都是逐个像素独立估计的直到阈值超过φ=20。由于我们使用的暗瞳技术，只取正值（因为亮度沿着光线方向递增）。当超过阈值时，就不在沿着光线放下进行处理，特征点就定为该点。如果光线延伸到图像边缘，那么就不再定义特征点。图3a 中是一系列候选特征点的选取。
对于每个候选特征点，上述的方法是循环进行的。但是光线的角度限定为初始点的正负50度。用这种方式限制返回光线的动机就是如果候选特征点正好是瞳孔中心（如图3b 所示），返回光线会在瞳孔反方向产生额外的特征点，也在同一个椭圆上（也就是瞳孔轮廓）。但是，如果候选特征点不在瞳孔上（如图3c ），这个过程将会产生不与任何一个椭圆一致的特征点。因此，该过程可能增加在瞳孔上的特征点与不在瞳孔轮廓上的特征点的比例。通过Δ定义的特征点更可能落在瞳孔轮廓上（由于这是个最明显的轮廓），返回光线的数目设置成5φ/Δ。已知光线的最小数量是5因为定义的特征点事由以下决定的Δ>=φ。
图3 特征检测（a ）瞳孔边缘候选点检测瞳孔中心，其中有2个点到达了图像边缘为错误点
（b ）从每个瞳孔轮廓候选点发出光线来产生第二个候选点集
（c ）不在瞳孔轮廓上的候选点显然不在一个椭圆拟合上
这种两步特征检测过程提高了该方法的健壮性。由于眼球在眼动活动中可能快速的从一个位置移到另一个位置，这样就产生了一个问题。对于在帧频较低时所获得的图像是很严重的一个问题。例如在图4a 中产生的这种情况。因为初始设置的光线只能检测在瞳孔轮廓上的3个特征点，从这3个点返回的光线却能检测更多（如图4b ）。这些特征点集在图4d 中显示出来，并且在瞳孔轮廓上的点的数量明显多于不在瞳孔轮廓上的点。然而，这些特征点都偏向于初始点。尽管可以通过迭代将偏移减少，但是计算复杂度却成指数增长，这会是一个低效的策略。
综上，这些候选点就可以进行椭圆拟合，但是偏斜的点却会带来重大错误。为了排除这些偏斜点，只能通过对上述方法进行迭代。每一次迭代中，从上一次迭代中得到的所有特征点的平均值作为下一个起始点。在图4d 中展示的红圈就是第二次迭代的初值。第二次迭代如图4e 所示。图4f 说明了中心位置是如何快速聚合到瞳孔中心的。当特征点变化小于d=10像素时候，迭代就停止。当初始假设很接近瞳孔中心的时候，例如在大部分帧中眼睛处于注视状态的时候，只有一次迭代就够了。当初始估计不是很好的时候，也仅需要很少的迭代次数直到收敛（小于5次），如果当迭代10次时候还没有收敛，那么有可能是发生了眨眼。当瞳孔不存在时，算法停止并且从下一帧开始。
图4 特征检测（a ）初始点（黄圈）发射光线（蓝色线）来产生候选瞳孔点（绿叉）（b ）和（c ）候选点向初始点返回光线来产生更多的特征点（d ）所有的特征点，红点为这些点的平均位置
（e ）第二次迭代结果（f ）每次迭代的起始点
4.4 椭圆拟合
由于已经找出了候选特征点集，算法下一步就是拟合最佳椭圆。其它算法一般是使用最小正方形拟合（见参考文献[20]），这样的话，在特征检测阶段产生的错误就会影响结果的准确性。如图5c 所示的特征点，如果采用最小面积技术的椭圆拟合，结果如图5d 。注意，一些不在瞳孔轮廓的特征点会是拟合达到一个不可接受的程度。
为了解决这个问题，我们应用随机采样一致性方法（RANSAC ）[4]。由此可见，我们的算法中这事第一次使用RANSAC ，而RANSAC 经常应用到其它计算机视觉问题中（见参考文献[7]）。当一个实验样本中有一定未知比例的外层值时，RANSAC 是一种很好的模型拟合方法。内层值是建模机制产生的数据样本，但是外层值是由没有考虑到的机制产生的错误造成的。在我们的应用中，内层值是那些在瞳孔轮廓上的特征点，外层值是其它部分的点，比如在眼皮和眼球之间的位置的点。最小面积法使用所有可用的
数据进行拟合，因为它假设所有的样本都是内层值并且任何错误都是由测量误差引起。另一方面，RANSAC 允许有外层值，它仅使用内层值的一个子集来进行拟合。详细的说，RANSAC 是一个迭代过程，随机选择数据的子集，用每一个子集拟合一个模型，再选取一个与整体拟合最一致的模型作为结果。与这个模型相一致的数据子集就叫做一致性集合。
在一些情况下，我们的特征检测过程产生一些外层值（如图5e ）但在其它算法中，外层值的数量会多的多（如图5f ）。所以我们使用RANSAC 范式对瞳孔轮廓进行椭圆拟合是最佳的。接下来的过程就是循环R 次。首先，从特征点集中随机选取5个样本，这些样本包含拟合椭圆需要最少的点。在特征点坐标产生的圆锥特征矩阵上使用奇异值分解（SVD ）来找出这5个点的最佳拟合椭圆。
如果椭圆的参数是虚的，椭圆中心在图像外或者椭圆长轴大于短轴的二倍，那么再重新抽取5个样本值直到不出现上述情况为止。那么就选出了拟合这个模型的特征点（也就是内层值的点）。内层值的点是那些到椭圆代数距离小于阈值T 的样本点。这个阈值来源于特征点检测的错误概率模型。假设我们特征检测器的平均误差大约1像素并且这些错误符合零均值的高斯分布。因此，为了获以5%的概率获得这些内层值，这个阈值应该由自由度为1的卡方分布来获得[7]。计算结果为1.98像素。在R 次循环之后，最大一致性集的模型就可以使用了。因为通常估计所有特征点的组合在计算上是不可行的，随机子集的选择必须保证至少一个仅包含正常值点。如果按下式计算，就能保证概率p=0.99。
式中ω是样本中内层点的比例。尽管ω不是一个前置值，它的下限由迭代中任何一个模型中内层点的最大值决定。因此R 可以设一个较大的初值，然后使用方程3的迭代方法计算。经过一定数目的迭代之后，就会得到有最大一致性集的椭圆（如图5g ）。
4.5 基于模型的优化
尽管RANSAC 方法对许多眼动跟踪应用都有效，但是任何一个椭圆拟合都可以通过基于模型的优化来改进。我们通过下面的方程来获得椭圆参数a ，b ，x ，y ，α。
式中δ = 1，I(a， b ， α， x ， y ， θ)是由a ，b ，x ，y 和α所确定的椭圆轮廓上像素的强度。这个搜索的初值就是RANSAC 算法决定的椭圆参数。
图5 （a ）去噪后的原始图像（b ）移除角膜反射的图像（c ）候选特征点
（d ）使用最小面积法进行的椭圆拟合（e ）用RANSAC 分开的内层点和外层点
（f ）外层点多的另一个例子（g ）仅利用内层点进行的最佳拟合
（h ）利用基于模型思想的最佳拟合椭圆
4.6 坐标映射和校正
为了计算用户在视场图像中的凝视点，必须确定一个眼球位置和视场图像中的映射（瞳孔—角膜反射向量）。典型的眼动跟踪方法是通过一个校正过程来测量这个关系
[17]。在校正过程中，用户需要看一系列标记点，这些点在视场图像中是已知的。当用户凝视每一个视场点s = (xs ，y s ，1) 时，测量出眼球位置e = (xe , ，y e ，1) （也就是齐次坐标）。我们利用线性对立映射来产生这两个点集之间的映射。映射H 是一个3×3的矩阵，有8个自由度。为了确定H ，需要测量对应点产生的约束矩阵。每个对应点都能产生2个约束，因此4个对应点就足够确定标准的H 了[7]。约束矩阵中的空值课由SVD 算出。一旦确定了映射H ，每一帧中用户在视场图像中的凝视点就能用s =He 建立起来了。注意，我们使用3×3网格的校准点，一致的分布在视场图像中，用来确保对眼动活动的准确预测。在这种情况下，很多约束是已知的，同时SVD 能产生映射H 使错误代数距离最小。
5 算法验证
为了验证算法的性能，我们需要对眼动跟踪进行评估。像第二章描述的那样，从头盔式眼动仪中获取视频。我们3位作者都在笔记本电脑上看到了两个视频。用户头部固定观察9个标记的校正点，每个点分开大约60厘米。每个用户进行2次这样的校正。第二次的校正中，视场摄像头上物镜的狭窄视场（56度FOV ）改为宽视场（111度FOV ，）。这样做来鉴定非线性的镜头失真所导致的眼动跟踪质量下降。评定中使用的视频在网站（http://hcvl.hci.iastate.edu/openEyes）上可以看到。
表1中显示了第一次，第二次和第三次单独观察标定网格时的准确性估计。这个准确度是测量9个凝视点和实际位置之间距离差距的平均值。我们将使用瞳孔中心和瞳孔-角膜反射向量时的验证结果分开显示。注意的是，第一次观察网格点是用来产生所有预测的对应映射。
首先需要注意的是，当使用瞳孔角膜反射向量的时候错误率比单独使用瞳孔中心时要低。在只使用瞳孔中心算法时在校正凝视点之后错误率会增加。这是由于头盔移动所造成的结果。其次，无论选择怎样的物镜，错误的图形都是相似的，这就说明了非线性计算对其影响甚微。如果需要，我们可以使用标准图像处理技术移动每一帧中的径向畸变来改正它。
6 讨论
我们设计了这种结合基于特征和模型思想的算法来研究眼动跟踪。通过基于特征的自适应技术，我们能找到瞳孔中心和角膜反射点。然后通过RANSAC 范式对特征点进行椭圆拟合，极大提高了准确度。最后基于模型的方法用来校验这种拟合。我们进行一系列研究，验证了我们的算法可以很好的处理由头盔式眼动仪获取的图像。我们仍然在不断探索这种算法的健壮性来适应其中的变量。比如，在我们研究中特征检测阈值是人为设定的，但是似乎没什么影响，只是需要为不同的用户设置不同的值。然而，对一个给定的眼动仪，阈值很可能需要调整。在特征检测过程中，我们不需要操作光线的数量，因此，以执行时间最小为代价，光线越多，系统的健壮性越强。我们现在正在探索在凝视点估计的质量上这些参数的影响。
我们目前的算法还可以不断改善。比如，我们不把角膜反射移出图像，那就会节省很多时间，在算法的其它步骤中角膜反射区域可以被忽略。我们的算法目前基本上都是独立处理图像，所以还有很大的改进空间（除了前一帧中预测的瞳孔中心用在下一帧中）。例如，我们可以通过使用卡尔曼滤波器来预测瞳孔的位置，这样也可以改善算法。但是，我们的硬件很难实现这种好的技术，由于我们的图像有很低的帧频和很高的眼动
速度。我们也在致力于制动校准。目前，校正过程需要人为输入一些指示物来定位视场中的校正点，这是一项令人厌烦的工作。我们希望可以使用图像处理技术来自动的标定视场图像中的校正点。
我们的研究目的是发明一种可靠的眼动跟踪算法，这种算法能够在一般的硬件环境下运行并可以推广到日常的人机交互中。实现这个目标的主要障碍就是缺乏免费的眼动跟踪软件。我们使用GNU 通用许可证，将我们的算法以开源软件包的形式发布。这个软件可以在我们的网站（http://hcvl.hci.iastate.edu/openEyes）上下载。我们希望结合开源眼动跟踪软件和低成本的眼动仪[1,15,18]，接口设计者能深入的探索眼动活动来改善接口。这将会增加在下一代人机接口中眼动跟踪的作用。
7 致谢
我们要感谢Jason Babcock，感谢他给我们提供了头盔式眼动仪。同时也感谢应用科学实验室对我们工作的支持。
参考文献：（略）