清华大学的研究人员开发了一种新型智能光子传感计算芯片，可以在纳秒内处理、传输和重建1000亿像素图像。这种超高速图像处理有可能极大地促进机器视觉的进步，例如自动驾驶和机器人视觉。

机器视觉是相机、传感器和算法协同工作以了解周围世界并执行特定任务的领域。以前的技术依赖于长距离移动数据、现场分析数据并执行适当的反应。

清华大学电子工程学院副教授陆芳表示：“世界已经进入人工智能时代，但人工智能非常耗时、耗力。”在快节奏的世界中，机器视觉需要在称为边缘计算的设备上处理数据，这样可以更快地做出决策。边缘计算在本地设备上执行图像处理和分析等密集计算任务，通过添加人工智能 (AI) 驱动的分析和决策，正在演变成边缘智能。

随着智能手机、汽车残骸和笔记本电脑等边缘设备的激增，我们看到处理、传输和显示的图像数据呈爆炸式增长，“我们正在努力通过这样做来推进机器视觉。

该芯片被称为光学并行计算阵列（OPCA）芯片，处理带宽高达1000亿像素，响应时间仅为6纳秒，比目前最快的方法快约六个数量级。方和他的同事使用该芯片创建了一个集成图像识别、计算和重建的光学神经网络。

我们的新芯片将所有这些过程保留在光学领域，使其能够在纳秒内执行，这显着增强了传统的后传感器采集人工智能后处理架构，甚至取代了它。

机器视觉传统上使用传感器将光学信息转换为数字电信号（光电转换）。该信号通过光纤发送，用于长距离数据传输和下游任务。然而，光信号和电信号之间的频繁转换以及电子处理器进步的限制是提高机器视觉速度和处理能力的主要限制。

由于需要光电转换，自动驾驶等基于边缘的任务的图像捕获、处理和分析目前仅限于毫秒级的速度。然而，到目前为止，计算机必须将捕获的数据从光学信息转换为电子版本才能理解它。为了从根本上解决这个问题，方和他的同事们的目标是在光学领域整合传感和计算。

在光域中的同一芯片上执行图像采集和分析的挑战是找到一种方法将用于成像的自由空间光转换为片上引导光波。研究人员创建了一种由专门设计的环形谐振器传感计算阵列组成的芯片，可以将自由空间光强度图像（场景光强度的二维表示）转换为相干光信号并在芯片上引导它们。我们通过设计一个 .微透镜阵列通过将场景聚焦到 OPCA 芯片上来增强这一过程。

全光神经网络由于数据被作为光信号进行处理，研究人员用它来开发全光神经网络，并将其部署用于通常在边缘完成的分类任务。

该芯片上的每个传感计算元件都是可重新配置的，因此它可以作为可编程神经元运行，根据其输入和权重产生光调制输出。神经网络将所有传感计算神经元组合成一个单独的神经网络，它与波导连接并促进输入信息和输出之间的全面、全光连接。

研究团队通过将芯片部署用于分类手绘图像和图像卷积等任务来演示该芯片的操作。结果表明，该芯片架构能够有效完成信息压缩和场景重构，具有广泛的应用可能性。

这些任务的成功表明芯片架构有能力处理此类任务。未来，研究团队的目标是增加OPCA芯片的整体尺寸，提高神经网络的处理能力，使其更接近商业用途。

我们希望通过利用光执行传感和计算，机器视觉将变得更快、更节能，尽管今天的方法不太可能被完全取代，我们希望传感计算方法能够在边缘计算和应用领域找到自己的定位。推动广泛的有前途的应用。