动手操作K-Lens,这是一种光场镜头,可捕获3D数据以进行捕获后重新对焦

王浩说 2022-11-25 23:40:20
动手操作 K-Lens,这是一种光场镜头,可捕获 3D 数据以进行捕获后重新对焦

我们以前见过光场相机,例如Lytro相机,但K-Lens是第一个可用于现有数码相机和摄像机的光场可互换镜头。镜头能够记录图像网格,其中包含有关场景中不同物体相对距离的信息。然后,可以在后期处理中使用此信息来调整场景中的焦点,以及轻松遮罩不同区域以更改场景中不同图层的亮度和颜色。这些图像还可用于创建适度的3D效果,使我们能够“看到周围”物体,因为3x3网格中的图片都是从略有不同的角度记录的。

使用K-Lens拍摄的每张图像都附有深度图,显示场景中不同元素与相机的相对距离。较浅的色调表示较近的物体,较暗的物体更远

这种技术的应用包括视频中的焦点调整、创建 3D 内容、解剖动画场景以及创建浅景深效果和更容易的基于距离的编辑的能力,例如遮罩背景以将其与图像的其余部分分开编辑。

它是什么

K-Lens由三个不同的部分组成,从外面可以清楚地看到。镜头的起始部分是常规的80mm光学结构,但是当光线通过它时,它会进入镜头的第二部分 - 镜面通道,这是正常阵列中的传感器。然而,聚焦的光不是击中传感器,而是与隧道中的一系列镜子相遇,这些镜子以不同的角度定位,使每个镜子对主体的视图略有不同。镜子与直接穿过隧道的光线一起产生九个单独的图像,这些图像继续通过镜头的后部到达相机的传感器。结果是一个由各种方向的九张图片组成的网格,所有图片都记录在一帧上。这种效果类似于透过万花筒看,因此得名“K-Lens”。

显示光线从镜头前部穿过镜面通道时的路径的图表

镜头的关键部分是镜面通道,而前端控制系统的焦距,后端控制图像的大小如何与使用的传感器尺寸相匹配。我被告知,改变焦距只是更换前向部分的问题,至少在理论上,可以将其缩放。

镜头底部有一个螺纹,可以直接安装在三脚架上。在镜头和相机之间,您可以看到尼康F到尼康Z卡口适配器,因此我可以使用尼康Z7上的镜头。

K-Lens的想法最初是一个镜面通道适配器,可以安装在常规镜头的后部,以安装在主镜头和相机之间,并且可以将任何镜头放入光场系统中。不过,这个想法的主要问题是灰尘进入镜子隧道会导致数据丢失的严重问题。由于每个图像只是传感器整个区域的9分之一,即使是一小块灰尘也可以占据图像区域的很大一部分。另一个问题是,为了提供高质量的深度数据,镜头需要在整个画面上保持清晰,因为系统严重依赖聚集在成像圈边缘的光线,而成像圈的质量通常会下降。

K-Lens中使用的光学元件必须具有卓越的质量,并且图像需要比普通镜头产生的更清晰,这在某种程度上解释了为什么它如此之大。该公司试图使用较小的镜头,但发现无法达到所需的质量。当用于较小的传感器时,该系统可以做得更小,该公司目前正在开发工业应用中的1in传感器版本。

透过镜头的前部,您可以看到图像是如何分割的。在这里,后开口在镜子通道中多次反射

大多数光场相机使用一系列微型镜头将图像分成组成部分,但这种镜面通道设计的优点是它不与捕获设备绑定 - 因此可以直接集成到可用于常规相机的镜头中。该团队还考虑在主镜头内部使用一系列镜头而不是镜子通道,但在设计主镜头时,这需要一个全新的概念。使用镜面通道可以使用现有的镜头设计,因此该公司不必从头开始镜头设计。K-Lens中的光学元件由德国的Carl Zeiss Jena GmbH设计,一旦生产开始,他将制造整个镜头。

它产生什么?

K-Lens呈现的万花筒视图记录了不同方向和略有不同的视角的九个图像的网格,所有这些都记录在单个帧上

当这个镜头连接到相机上时,通过取景器看,你会看到一个由九张不同方向的图像组成的网格——这可能有点令人惊讶。录制的照片在相机背面和普通软件中也会以这种方式显示。当图像被输入公司的SeeDeep软件应用程序时,它会被分析,九张图像被用来创建一个深度图,使用一系列色调值绘制场景中表示的不同距离。完成此操作后,可以将“正常”图像及其深度图加载到 Photoshop 或任何允许深度通道的程序中,我们可以使用深度图单独编辑场景中不同深度的对象。

生成的树的深度图。它的叶子在它后面,所以用更深的色调表示。背景中的墙壁再次变暗,以表明它离得更远

SeeDeep应用程序还结合了来自九张图像的信息,以创建该公司所谓的超分辨率图像,该图像是总传感器输出分辨率的一半。如果没有此选项,最终图像将仅为传感器分辨率的 1/9,这显然会使整个练习变得不那么值得。

同样有趣的是,即使九个单独的帧不是全部完整,该软件仍然可以创建深度图。这一点至关重要,因为大多数摄像机会录制传感器 16:9 裁剪的视频。SeeDeep软件仍然可以使用下部图像的上部和上部图像的下部生成足够的深度信息。一些相机,如Lumix S1H,可以提供整个帧的视频,这显然提供了更多的数据和更准确的深度图。同样值得注意的是,当在5.9K模式下与S1H一起使用时,创建的九个单独的图像将具有高清分辨率。

它可以用于什么?

没有人会购买这款K-Lens并将其用作常规镜头,因此客户将是那些能够充分利用其创建的深度信息的人。最明显的用途是在基于深度的编辑领域,用户希望调整焦点位置或在特定距离处为对象添加模糊以创建浅景深效果。

Photoshop 中的“镜头模糊”功能可以在深度贴图作为通道加载时拾取深度贴图。然后,该功能允许我们单击要对焦的对象,并允许我们模糊场景的其余部分。左侧是原始图像,中间焦点转移到背景,右侧焦点位于前景

使用深度贴图添加模糊时,模糊程度将与深度贴图该区域的色调值成正比,因此更远的对象将自动比较近的对象更模糊,就像实际光学模糊显示一样。可以在软件中调整深度图以夸大或减少“深度”,并且可以通过更改对象在深度图中的色调值来添加或消除任何距离。

在这里,我使用深度图来识别主体后面的区域,这样我就可以在不改变主体颜色的情况下对其进行预热。

深度信息还可用于隔离特定距离以进行亮度或颜色编辑,因此可以加热主体,并使后面的任何东西变冷 - 例如。当然,当我们创建选择时,这可以通过软件中的普通图像来完成,但这里的想法是图层蒙版是由深度图中的深度数据自动形成的。这在视频编辑中独树一帜,因为创建蒙版来跟随移动的主题和背景要困难得多。在视频中,对焦调整的能力也非常有用,如果第一次错过对焦,可以再次保存拍摄场景。在后期制作中也可以实现焦点拉动,如果没有镜头提供的深度信息,这是不可能做到的。

在上面的视频中,每帧到另一帧的颜色变化将不会出现在最终产品中。

镜头记录的不同视角也可用于创建3D内容,其中视角的适度差异足以达到所需的效果。由于3D的虚拟基线仅为1.5厘米,因此镜头在3D中效果最佳,具有非常近的主体和微距摄影,因为基线将能够比较远的主体更好地“看到周围”物体。镜头最近的对焦距离为80cm,但也可以与微距扩展管一起使用。不过,一般来说,深度数据在接近10米的物体中是最准确和可靠的。3D的程度也足以在Facebook上创建“3D”图像,一些智能手机也可以通过多个镜头排列产生这种图像。

虚拟基线(在九张图像网格边缘记录的图像之间的透视偏移)取决于镜头的光圈、镜子尺寸和拾取镜头的放大倍率。因此,对于不同的焦距,它会有所不同。在较长的镜头中,只要光圈开口的物理尺寸保持不变,效果就会更加夸张。

该公司表示,Lume Pad和Looking Glass显示器等设备也可以很好地处理使用K-Lens记录的图像,并且可以使用Google的Cardboard查看3D效果。浮雕打印,其中图像以3D打印,也是一种应用,光栅打印也是如此。

使用中

镜筒的挤压区域很明显,这个镜头有一些不同之处,这就是镜面通道的所在地。这里显示的镜头是一个非常预生产的版本,光圈比例是相反的。较长的线条表示公司建议我们设置光圈的位置 - 在75%的关闭位置

当然,镜头比普通的80mm镜头更大更重,最好在三脚架上使用 - 尽管它不是那么笨拙,无法手持。虽然尺寸和重量是单独使用三脚架的充分理由,但另一个原因是充分利用镜头所需的小光圈。虹膜上有一个刻度,但没有标有f /数字,因为该公司表示传统的光圈标记无关紧要。有一个更大的标记,该公司说镜头处于最佳状态,这是光圈接近75%。这提供了广泛的景深,使焦点之后更容易在软件中转移,并提供最佳的深度数据。

我们被告知,光圈只是让光线进入的一种手段,而不是控制景深或失焦的高光,增加相机的ISO比多开光圈要好。没有关于最大或最小光圈设置的信息,但我知道光圈使用15个叶片来实现真正圆形的光圈。

作为可选的附加功能,K-Lens 监视器仅自动显示镜头创建的九张图像中的一张。这使得构图和对焦变得更加容易,尽管它也增加了系统的大部分。

通过取景器,我们可以看到镜头前场景的万花筒视图。这使得对焦和构图变得非常困难,因此我们需要放大视图,直到九张图像中的一张填满取景器——左上角的图像方向正确。另一种方法是使用K-Lens提供的可选HDMI监视器,默认情况下显示图像的这一部分。

使用深度图作为图层蒙版可以快速轻松地编辑距相机不同距离的区域。在这里,为了演示,我使用蒙版使背景更暗。

当图像被输入公司的SeeDeep软件时,我们会得到一个常规的彩色图像和一个返回的深度图。我使用了传感器分辨率为45MP的尼康Z7。九张图像中的每一张都是5MP,但该软件可以创建大约是传感器分辨率一半的超分辨率图像,因此在这种情况下,超分辨率图像和深度图为17.6MP。超分辨率图像看起来非常好,因为它们不是通过标准插值创建的,而是通过使用九个较小图像中的所有信息来填充需要添加的细节以提高分辨率。相同的超分辨率技术可以应用于视频片段,使SeeDeep能够产生高达4K的分辨率。

结论

镜头遮光罩非常不寻常,前端有一个沉重的唇。这是预生产和3D打印的,但生产设计将保持不变。我无法很好地解释它的形状,但被告知该设计是由卡尔蔡司耶拿指定的,作为光学设计的一部分。

这显然是一个非常专业的镜头,在比普通镜头更有限的应用中很有用,但它确实提供了一些新的东西。全世界都对Lytro相机感到非常兴奋,但这个想法最终被推翻的不是技术的缺点,而是依靠专用相机和它产生的图像的低分辨率。这个概念允许用户使用他们已经拥有的相机和他们提供的所有功能,以及更实用的工作分辨率。任何全画幅相机都可以使用,这一事实为更广泛的受众打开了市场,增加了它的使用频率并减少了所需的学习量。

我使用的镜头是非常前期制作的,我自己无法使用SeeDeep,但即使有这些限制,我也能够了解可以创建的效果,以及实现效果的相对容易程度。K-Lens当然有希望,我期待看到该领域的摄影师可以用它创作什么。一旦这个开始,看看公司将提供哪些其他焦距,以及该技术将如何发展将是一件有趣的事情。有人告诉我,K-Lens希望能够将ND滤镜集成到镜子通道中,通过在单次拍摄中记录各种曝光来实现一次性HDR成像 - 这将是另一个有用的功能。

这款镜头不会批量生产,因此买家可以要求他们想要的卡口。最初的样品是尼康F和佳能EF卡口,但K-lens表示,大多数其他卡口都很容易容纳。
0 阅读:7