针对现有手指跟踪算法的不足,利用微软Kinect设备提出一种实时鲁棒的三维多手指跟踪算法.首先利用深度图分割出一个粗糙的手区域,对该区域应用基于像素分类的指尖检测算法得到二维指尖点的位置;然后在深度图上对二维指尖位置周围的点进行采样,将均值作为指尖点的Z坐标,再利用卡尔曼滤波器以及帧之间的连续性对指尖点的三维位置进行跟踪.依据Kinect数据特点提出的二维指尖检测算法和利用帧之间连续性的卡尔曼滤波器是文中算法的关键.实验结果证明,该算法能够实时、稳定地进行三维多手指跟踪.