微软将开放HoloLens的更先进的传感器,为增强现实头戴式设备的应用程序提供对其3D映射功能的访问权限。自2016年初以来,这台可穿戴计算机就已经向经验丰富的开发人员提供,但是只有在Windows 10的最新更新中,它才解锁了整个传感器套件。
实际上,到目前为止,在HoloLens上运行的应用程序(实际上是一台可穿戴的外形完整的Windows 10 PC)可以访问安装在正面的彩色摄像头的视频流以及其麦克风的音频。但是,它们只是整个传感器的一部分。
例如,HoloLens使用四个灰度摄像机跟踪周围的环境。这些摄像机中的两个捕获了耳机前面的区域,从而使应用程序可以通过三角测量来确定跟踪的视觉功能的绝对深度。另外两个指向侧面,扩大了视野。微软表示,尽管它们可能缺乏彩色捕捉功能,但它们实际上比HoloLens使用的彩色相机“对光的敏感度更高” 。
另一个按键传感器是深度摄像头,安装在耳机的顶部。它使用红外光,而不是人类可见光,并以两种模式运行。一种以30fps的速度运行,可跟踪附近的物体,例如在HoloLens视野中移动的手。低频模式的时钟频率低至1-5fps,可进行深度感测。现在,HoloLens将其用于空间映射。由于它可以在红外上工作,并且HoloLens具有红外发射器,因此它还可以拍摄受环境光条件“合理地不受影响”的照明图像。
现在,通过针对HoloLens的Windows 10更新,提供了一个新的研究模式,使开发人员可以利用原始图像传感器流。仍然可以选择使用可穿戴设备本身提供的Microsoft自己的计算机视觉算法,但是原始数据还将允许应用程序制造商使用他们自己的算法。如果耳机使用的Atom CPU不够强大,HoloLens将支持本地处理并将数据无线传输到另一台PC或到云端。