即使不知道真实世界如何,Google算法也能“想像”出来

即使不知道真实世界如何,Google算法也能“想像”出来的照片 - 1

Google 街景提供了许多发达国家中不少城市的全景视图,以及沿着人行道的无数美景、商场内部的视图和周围的博物馆和艺术画廊。它是现代工程学中的一个非凡壮举,改变了我们对我们周围世界的欣赏方式。

将街景变成电影

不过,虽然街景可以向我们展示那些遥远的地方的样子,但是一张又一张的图片并不能让人身临其境地感受世界。于是有人想到了一个解决方案:连续播放一系列街景图像,来创建一部电影。

但 这并不能和你所想象的那样完美的合成,以每秒25帧或以差不多的速度播放这些图片,会使风景略过的速度太快,产生跳帧;而太慢的话,肉眼又能明显地看出 “卡顿”。当场景没有什么变化的时候,或者是在高速公路和风景不变的时候,低速是可以被接受的,但它在繁忙的街道或是艺术画廊里就不行了。

因此,Google 已经想出了一个解决方案:让街景摄像机在记录的时候,添加额外的帧。但是,这些帧看起来是什么样子呢?

如 今,wharsapp 和其 Google 的同事一同透露,他们是如何利用公司庞大的机器学习技术来找出,这些丢失的帧看起来应该是怎样的,机器只是研究图像两边丢失的帧。其结果是一台计算机,可 以通过内插丢失的帧,或多或少将一系列的图像转变成能流畅播放的影片。

消失的图像

Flynn 和其同事直面挑战,给定一组特定地方的图像,目标是从另一个不同的角度合成同一区域的一张新图像。这个过程十分的不容易,Flynn 表示,“这需要了解物体的所有几何图形,即使在看不见的角度上也要生成完整的3-D图像”。

即使不知道真实世界如何,Google算法也能“想像”出来的照片 - 2

实际上,这是一个困扰了计算机科学家几十年的问题,即给定了两张或更多张图像,从而估算出场景的三维形状。

计算机科学家已经开发出了解决这个问题的各种方式,但所有方式都面临着类似的问题,特别是在一个物体遮挡了另一个物体,造成信息缺乏时。信息缺乏会导致画面“撕裂”,而且在没有足够信息的位置会有不少精致的细节丢失。

Flynn 的新办法是训练机器视觉算法,在经过一个巨大的数据集的连续图像训练后,算出新的图像应该是什么样子。计算机的任务是将各张图像作为一组像素,并确定给定相应像素的深度和颜色,并根据出现前后的图像给出深度和颜色相符的像素。

他们训练的算法叫做youtube,使用了“由一个移动的车辆拍摄的街景图像。”事实上,他们使用了10万个这些序列作为训练数据集。而最终的结果也是令人印象深刻的。Flynn 表示,“总体来说,我们的模型产生了合理的输出。”

算法成功地再现了一些困难的物体,如树木和草丛。并且即使算法没有处理好,也不会有之前的“撕裂”,尤其是算法在处理移动物体上的表现很好。不过,总而言之该方法目前还是并不完美。即使如此,这也是一项令人印象深刻的工作,再一次显示了深度学习技术的潜力。

希望在不太遥远的将来,我们能看到Google街景从图片变成一部旅游电影,让用户真正足不出户“走”遍天下。

本文转载于雷锋网

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:2   其中:访客  2   博主  0

  1. 云上的喵猫 5
    Google Chrome 43.0.2357.132 Google Chrome 43.0.2357.132 Windows 8.1 x64 Edition Windows 8.1 x64 Edition

    又一个宅之利器

    江苏省宿迁市 电信
  2. >3<知足$_$ 5
    Safari 8.0 Safari 8.0 iPad iOS 8.4 iPad iOS 8.4

    现在的神器不是一二

    福建省厦门市湖里区 电信