在如视的各种信息采集设备中, 全景相机 / 不带lidar的手机 / 云台等的深度是利用深度学习算法, 从彩色图直接推测出来的。这种以单张彩色图为输入, 预测对应点的深度的算法, 称之为单目深度预测算法。

深度学习算法从输入信息中收集各种不完整但是全面的信息, 以类似统计的方法, 通过融合这些信息来估计深度。在室内场景的全景彩色图中, 消失点, 主方向, 拍摄高度, 楼层高度, 家具物品的识别和信息库等等, 都构成这样的信息片段, 从而使得单目深度预测算法成为可能。

单目深度算法, 根据是否使用标定数据(即有测量深度的图像), 可以分为监督算法, 无监督算法和自监督算法。如视拥有海量室内场景的图像及对应的三维信息(包括黎曼 / 伽罗华相机拍摄的深度图), 基于这些数据我们采用监督算法进行单目深度预测。

如上图所示, 左图为全景图, 右图为测量得到的深度图。

如上图的数据, 如视拥有的数量大于108。使用如此大规模的真实训练数据，采用合适的方法可以让我们的深度预测模型挖掘海量真实房屋的深度数据特征，得到鲁棒的，高精度的单目深度预测结果。

基于训练所得模型，进行单目深度推断的流程如下图所示：