加州大学圣地亚哥分校娱乐与学习研究中心 (CREL) 的研究人员开发了一个系统来分析和跟踪眼球运动，以增强未来虚拟教室——也许是未来虚拟音乐厅的教学。

加州大学圣地亚哥分校音乐和计算机科学教授 Shlomo Dubnov 是计算机音乐专家，他是总部位于 Qualcomm 研究所的 CREL 的负责人，他开始开发新工具，以解决在 大流行期间通过 Zoom 教授音乐的缺点。

“在音乐课堂中，面部表情和身体姿势等非语言交流对于让学生专注于任务、协调音乐流和交流即兴创意至关重要，”杜布诺夫说。“不幸的是，在虚拟教室中，这种非语言的教学和学习方面受到了极大的阻碍，因为在那里你没有居住在同一个物理空间中。”

为了克服这个问题，杜布诺夫和博士。学生罗斯·格里尔 (Ross Greer) 最近发表了一篇关于使用眼动追踪和机器学习的系统的会议论文，该系统允许教育者与不同地点的个别学生或表演者进行“眼神接触”——并让每个学生知道他或她何时成为焦点老师的注意力。

研究人员构建了一个原型系统，并通过 Zoom 在加州大学圣地亚哥分校的虚拟音乐课程中进行了试点研究。

“我们的系统使用摄像头捕捉演示者的眼球运动，以跟踪他们在屏幕上看的位置，”电气和计算机工程博士 Greer 解释说。加州大学圣地亚哥分校雅各布斯工程学院的学生。“我们将屏幕分成 91 个方格，在确定了老师的脸和眼睛的位置后，我们提出了一种‘凝视估计’算法，该算法可以对老师正在看的哪个框以及哪个学生提供最佳估计在。”

当系统识别出教师视线的变化时，算法会确定学生的身份并在屏幕上标记他或她的名字，以便每个人都知道演讲者关注的是谁。

在试点研究中，Dubnov 和 Greer 发现该系统在估计演示者的凝视方面非常准确——设法在 27.5 x 13 英寸(70x39 厘米)屏幕上的正确点的四分之三英寸(2 厘米)以内。“原则上，”格里尔告诉《新科学家》杂志，“如果有足够的质量数据，系统应该在小屏幕上运行良好。”

根据 Dubnov 的说法，一个缺点是：演示者离相机越远，眼睛就越小，越难追踪，导致注视估计的准确度降低。然而，有了更好的训练数据、更高质量的相机分辨率以及跟踪面部和身体姿势的进一步进步，他认为该系统甚至可以让指挥远程挥舞指挥棒并指挥分布式交响乐团——即使每个音乐家都位于某个地方别的。