近日，清华大学面向类脑计算、量子计算的两项最新科研成果同时发表于国际学术顶级期刊Nature。其中，清华大学精密仪器系类脑计算研究中心施路平教授团队研制的世界首款类脑互补视觉芯片“天眸芯”更是登上了Nature封面。

近日，清华大学在类脑视觉感知芯片领域取得重要突破：

清华大学依托精密仪器系的类脑计算研究中心施路平教授团队，提出一种基于视觉原语的互补双通路类脑视觉感知新范式，研制出世界首款类脑互补视觉芯片“天眸芯”。基于该研究成果的论文《面向开放世界感知、具有互补通路的视觉芯片》（A Vision Chip with Complementary Pathways for Open-world Sensing）作为封面文章，登上5月30日的《自然》杂志。

这是该团队继异构融合类脑计算“天机芯”后第二次登上 《自然》 杂志封面，标志着中国在类脑计算和类脑感知方向取得重要突破。

随着人工智能的飞速发展，无人驾驶和具身智能等无人系统正在现实社会中不断推广应用，引领着新一轮科技革命和产业变革。在这些智能系统中，视觉感知作为获取信息的核心途径，发挥着至关重要的作用。然而，在复杂多变且不可预测的环境中，实现高效、精确且鲁棒（即在异常和危险情况下系统生存的能力）的视觉感知依然是一个艰巨的挑战。

在开放世界中，智能系统不仅要处理庞大的数据量，还需要应对各种极端事件，如驾驶中的突发危险、隧道口的剧烈光线变化和夜间强闪光干扰等。传统视觉感知芯片由于受到“功耗墙”和“带宽墙”的限制，在应对这些场景时往往面临失真、失效或高延迟的问题，严重影响了系统的稳定性和安全性。

正如人类大脑能够基于预先接受过的知识，快速学习新场景中的新知识。

边缘设备也需要具备类似的学习能力，才能更好适应用户习惯和新场景。

但是目前神经网络训练需要将大量数据在计算和存储单元之间来回移动。这使得在边缘设备上很难高效进行训练任务。

基于忆阻器内存高速访问、断电后仍可保存数据的特性，可以实现内存+硬盘二合一，解决数据的大量移动，从而进一步实现了完全在芯片上进行学习任务。

由此，清华团队提出忆阻器存算一体芯片。

它集成了高性能忆阻器阵列和必备模块，同时也是一块类脑计算芯片（neuro-inspired computing chip）。为此，研究团队提出了一种新型通用算法和架构（STELLAR）。

它利用忆阻器的特性，通过仅计算正负号、预定义阈值、循环调谐等设计，提升正向传播算法映射到芯片硬件上的效率，从而实现了高效率、低功耗的片上学习。

研究人员通过几个实验来验证片上学习的能力。

第一个实验中，有一台追踪光点的小车。在进行提升学习前，小车在明亮场景中会跟丢光点。

而通过500个训练样本进行端侧学习后，小车在明亮和黑暗场景中都能很好完成任务。

从下图D中可以看到，小车在明亮场景下的得分从原来的0.602提升到了0.912。

另一个实验是进行图像识别。实验步骤是先让基本模型识别数字“0”和“2-9”，然后让模型学习识别数字一个新类别的“1”。结果可以看到，在经过150次训练后，进行提升学习能将准确度从7%提升到93%。

免责声明：

1、本号不对发布的任何信息的可用性、准确性、时效性、有效性或完整性作出声明或保证，并在此声明不承担信息可能产生的任何责任、任何后果。

2、 本号非商业、非营利性，转载的内容并不代表赞同其观点和对其真实性负责，也无意构成任何其他引导。本号不对转载或发布的任何信息存在的不准确或错误，负任何直接或间接责任。

3、本号部分资料、素材、文字、图片等来源于互联网，所有转载都已经注明来源出处。如果您发现有侵犯您的知识产权以及个人合法权益的作品，请与我们取得联系，我们会及时修改或删除。