秒速赛车下注:注意到如果是双随机矩阵

  秒速赛车技巧简单来说,本征图像分解(intrinsic image decomposition)就是将图像分解为反射图(reflectance)和照射图 (shading) 的乘积。我们发现过去的工作主要通过渲染,crowdsourcing 或物体染色等方式来收集标注数据集。但是这些方法都有其自身极强的局限性:物体染色的方法收集非常困难,且只能运用在物体不能运用在场景。渲染的方法无法使训练的网络泛化到真实场景图片当中。秒速赛车下注:注意到如果是双随机矩阵而 crowdsourcing 的方法只能得到非常稀疏的标注,且标注质量无法得到保证。

  因此,我们考虑了一种更加容易收集的用来学习本征图像的数据:网络上大量无标注的延时摄影视频。简单地说,延时摄影就是让取景照相机固定不变,但是拍摄的时间是非常长的,因此我们能够得到不同时间但是同一视角的图片序列。尽管我们的视频数据集是未标注的,但是这些视频却允许我们在训练 CNN 期间加入许多重要的先验。如图 1 所示, 我们通过网络无标注视频学习本征图像,从而我们可以用这个训练好的模型运用在单个图像上。

  如图 2 所示,在训练 CNN 阶段,我们的输入是整个图像序列,而输出是相对应每一帧的反射和照射图。我们的网络架构基于 U-net,其细节请参考论文。另外,对每张图片 CNN 还同时在其内部产生一个 3D 向量来解释环境光的颜色。

  我们的数据集名叫「BIGTIME (BT)」。我们从互联网各类视频网站收集了大量室外和室内的高质量延时摄影视频,数量超过 200 个。在我们的 BT 数据集中,我们发现室内视频非常有挑战性,因为许多室内视频只记录了非常短的时间段,并且许多视频中包含了强烈的阴影或曝光。然而,在实验环节中我们展示了基于我们框架和数据集训练的网络能够有很好的泛化能力。秒速赛车下注:

  在训练阶段,我们的目标是最大化后验概率 p(R,SI)。很容易得知这个等效于最小化能量函数 E(R,S,I)。因此我们定义 E(R,S,I) 为

  直接实现这个损失函数需要 O(m2n) 的时间复杂度,在 4.7 中我们介绍一个方法能够使得该函数的时间复杂度减少为 O(mn)。

  我们同样引入了反射率一致函数来表示输出的反射图应该在整个图片序列中保持相同。

  同样,这个损失函数需要 O(m2n),但是在 4.7 中我们将会展示如何减少至 O(mn)。

  其中 p 和 q 代表图像序列的像素。代表双随机权重矩阵。注意的是我们考虑的是整个序列中所有像素之间的相关性,因此直接计算这个项是不可能的,因此我们需要更有效的方法。首先,注意到如果是双随机矩阵,那么我们能够简化上面的式子为:

  其中 r 是整个图像序列的 log 反射率图的向量表示。如果我们假设 W 是高斯型,在双边空间。

相关文章

Copyright © 2014-2018 秒速赛车技巧——秒速赛车_【极速下注】 版权所有 粤ICP备6845411-1号