Learning-based methods are believed to work well for unconstrained gaze estimation, i.e. gaze estimation from a monocular RGB camera without assumptions regarding user, environment, or camera. However, current gaze datasets were collected under laboratory conditions and methods were not evaluated across multiple datasets. Our work makes three contributions towards addressing these limitations. First, we present the MPIIGaze dataset, which contains 213,659 full face images and corresponding ground-truth gaze positions collected from 15 users during everyday laptop use over several months. An experience sampling approach ensured continuous gaze and head poses and realistic variation in eye appearance and illumination. To facilitate cross-dataset evaluations, 37,667 images were manually annotated with eye corners, mouth corners, and pupil centres. Second, we present an extensive evaluation of state-of-the-art gaze estimation methods on three current datasets, including MPIIGaze. We study key challenges including target gaze range, illumination conditions, and facial appearance variation. We show that image resolution and the use of both eyes affect gaze estimation performance, while head pose and pupil centre information are less informative. Finally, we propose GazeNet, the first deep appearance-based gaze estimation method. GazeNet improves on the state of the art by 22% (from a mean error of 13.9 degrees to 10.8 degrees) for the most challenging cross-dataset evaluation

合成Kong径成像matlab代码 Gaze-Tracking STM32 for Gaze Tracking 0、需求： 在软件方案不确定的情况下，完成一个泛用性较好的硬件系统，来外部辅助瞳Kong定位和视线跟踪。 1、方法与原理说明 参考方法：包包和李扬的系统设计； 1、通过外环leds（950nm波长）和内环leds（850nm波长）的交替闪烁，实现明瞳和暗瞳效应； 2、以下编号D4、D5、D17、D18、D39、D40、D61、D62（详细见PCB板丝印）的led 可以单独点亮，完全能达到《瞳Kong-角膜反射原理》的硬件要求。 了解了明瞳（bright eye effect）与暗瞳追踪原理，瞳Kong角膜反射追踪是可以用明瞳和暗瞳两种技术，两种技术又有各自的光源配置。明瞳追踪，是光源与成像设备在同一条光学路径上；暗瞳追踪，即光源放置在成像设备较远的位置(不在同一条光学路径上)，产生瞳Kong比虹膜暗的效果（明显的对比）。 在使用这两种追踪技术时，瞳Kong的检测都会受到不同的因素影响。例如，当使用明瞳追踪时，诸如被试者的年龄和光线环境等因素可能会对眼睛的追踪能力产生影响。被试

1、左右两个camera，分别渲染，实现分屏； 2、Canvas 设置为 worldSpace，然后交互camera 设置为 RightCamera（当然根据需要切换也可以）； 3、GazeEyeRaycaster 实现 Gaze 交互，且不干扰点击 UI 事件；

凝视追踪器 该项目是基于凝视光圈在虹膜上的位置的凝视跟踪系统的一项实验，虹膜是相机附近的光源的反射（有关详细信息，请参见和“”）。 通过跟踪闪烁，可以估计屏幕上的凝视位置并将该位置用作输入系统（在本示例中，该位置仅用于移动鼠标箭头）。 硬件要求 对于这种系统，需要眼睛的高分辨率图像，并且也需要相机附近的光源，因此，为了获得简单的硬件，我将智能手机用作固定在摄像机上的远程相机（由应用程序实现）。要获得稳定的支撑，请打开闪光灯LED并将其放在一只眼睛的前面，靠近它。 演示版 校准阶段 鼠标控制阶段 入门 克隆存储库 git clone https://github.com/luca-ant/gaze_tracker.git 安装依赖项 sudo apt install python3-setuptools python3-pip python3-venv 或者 sudo pacman

Eye gaze tracking techniques for interactive applications.pdf

凝视 在Cython中为Tobii GazeSDK C API实现的Python语言绑定。 这是一个正在进行的工作。 向后不兼容的更改可能会在不久的将来出现。 当前仅支持基本跟踪功能，有关计划的更改，请参见下面的TODO。 请注意，Tobii并不正式支持使用此软件。 例子 下面的示例为前20个事件打印归一化的屏幕坐标。 from gazesdk import * url = get_connected_eye_tracker () t = Tracker ( url ) t . run_event_loop () t . connect () t . start_tracking () for _ in range ( 20 ): data = t . event_queue . get () print ( data . left . gaze_point_on_

非常难得的一本电子书 对人机交互中的眼动跟踪技术尽情详细深入的探讨 机会难得 不要犹豫了！

希望网 Hopenet是一个准确且易于使用的头部姿势估计网络。 在300W-LP数据集上对模型进行了训练，并在具有良好定性性能的真实数据上进行了测试。 有关方法和定量结果的详细信息，请查看CVPR Workshop。 新的 新的 要使用，请安装和 （用于视频）-我相信，除了numpy之类的常用库之外，您只需要这些即可。 您需要一个GPU才能运行Hopenet（目前）。 要使用dlib人脸检测在视频上进行测试（头部中心会跳动）： python code/test_on_video_dlib.py --snapshot PATH_OF_SNAPSHOT --face_model PATH

Unity 工具类 之 AR/VR Gaze 凝视/按键/鼠标 点击 UI/游戏物体 的交互方式实现 实现原理 1、参照 Unity 交互的方法，写一个凝视/按键/鼠标交互方式的类 2、继承 Unity的 PointerInputModule 类，重写和添加方法控制凝视/按键/鼠标交互方式的类的选择、未选择、选中的交互动态 3、添加一个类了动态调整凝视点圈的位置 4、Unity 一个简单的控制陀螺仪实现在场景中空间旋转的类，控制相加旋转，进行场景的凝视交互 5、shader 控制凝视动态的进度，也可以使用 UGUI 360 UI，方法大同小异，控制 Value 而已 6、按键交互，在Android 层添加 按键的监听事件，监听按钮的操作

gaze_tracking Python中的简单注视跟踪，使用Timm＆Barth的基于梯度的算法来定位虹膜中心 算法 定位虹膜中心。 在图像中查找面Kong。 使用硬编码的面部比例获取粗略的眼睛区域。 找到每个眼睛区域的虹膜中心。 1.计算x和y图像渐变。 2.计算每个像素的归一化梯度向量（g i ）。 3.将每个像素测试为可能的中心。 使用每个像素的梯度矢量。 计算从可能的中心到梯度向量位置的归一化位移向量（d i ）。 计算（d i ）和（g i ）的点积，并将结果加到该可能中心的总和中。 如果该可能中心的和大于先前的最大和，请存储可能中心的坐标并更新最大和。 4.用最大总和作为该眼睛虹膜的中心标记可能的中心的坐标。 查找虹膜外的参考点。 将虹膜中心与参考点进行比较，以确定注视方向。 Timm＆Barth的眼中心定位算法 纸： Timm，F.和Barth，E.（