近日，北京大学杨玉超教授和团队研发出一种可支持多种工作模式的忆阻器，并将其与光晶体管进行集成，构建了一个具有可重构特性的视觉感存算一体化集成阵列（MP1R，Multi-Phototransistor-One-Memristor) 与硬件系统。
图 | 杨玉超（来源：杨玉超）
这种系统不仅能够实时感知和处理图像，还能够通过新型硬件支持多种神经网络算法，克服现有视觉感知硬件在光图像信息处理和编码功能上的不足。
（来源：Nature Electronics）
研究中，其首次利用硅基兼容性工艺和材料制备了能够在三种工作模式下运行的忆阻器，分别是线性电阻模式、阈值开关转变模式和短时程记忆模式。
这不仅解决了光忆阻器工作模式单一的局限性，还显著提升了光感知与编码能力以及非线性计算的能力。
具体而言，他们将具备蓝光增强和红光抑制特性的光晶体管与可支持多工作模式的莫特氧化物忆阻器集成，成功实现了对不同光信息的感知、存储和计算。
这种集成阵列能够在不同的光波长下表现出不同的响应特性，例如在蓝光下具有增强效应，而在红光下表现出抑制效应。
更重要的是，这一集成系统具备了多种工作模式的编码能力，包括模拟编码和脉冲编码，能够模拟突触和神经元的功能，从而支持多种神经网络算法。
通过此，他们不仅解决了现有视觉神经形态硬件系统在算法兼容性和复杂信息处理能力上的不足，还成功构建了一个能够灵活编程的可重构硬件系统。
实验结果表明，该系统能够支持多种神经网络算法和图像计算任务，包括静态图像识别、时序脉冲图像编码处理和目标识别等。
总的来说，这一新型硬件平台为构建具有更高适应性和效率的视觉计算系统提供了有力支持，具有广泛的应用前景。
随着该成果的技术成熟，未来几年内它有望在多个领域得到广泛应用：
首先，在自动驾驶中，MP1R 阵列能够提供高效的视觉感知，并支持实时目标识别和环境分析，提高自动驾驶系统的信息处理能力。
其次，机器人领域也能受益于该技术，机器人可以通过智能视觉系统完成高效的目标识别、导航和任务执行。
再次，监控系统则能通过该技术进行高效的事件检测和行为识别，提升公共安全监控的智能化水平。
最后，MP1R 阵列在低功耗、高效处理下，适用于人脸识别、智能医疗、增强现实（AR，Augmented Reality）/虚拟现实（VR，Virtual Reality）系统以及无人机视觉系统，提供实时的图像处理能力，推动这些领域向智能化、自动化发展。
总体来看，这项技术将在多个需要实时视觉计算的场景中发挥重要作用，促进相关行业的创新与进步。
（来源：Nature Electronics）
为 AI 视觉系统的硬件实现提供新思路
本次研究的开展源于传统视觉计算系统在实时图像处理中的局限性。现有的视觉计算系统大多基于互补金属氧化物半导体（CMOS，Complementary Metal Oxide Semiconductor）冯·诺依曼架构，这种架构由于图像传感器、存储器和处理器之间的物理分离，导致了数据处理延迟和冗余数据的产生，进而影响了实时图像处理的效率。
此外，现有的忆阻器技术虽然在机器视觉领域展示了巨大潜力，但其在编码和处理光学数据方面的局限性，使得它与多种神经网络架构的兼容性较差，无法满足复杂视觉任务的需求。
受到大脑神经元功能的启发，他们决定开发一种具有丰富动力学特性的神经形态器件，旨在模拟神经突触和神经元的复杂功能。
研究中，他们先是制备了异质结结构的氧化物忆阻器，这种忆阻器不仅具有非常丰富的动力学特性，还能够模拟神经系统的多样性和复杂性。
同时，课题组将具有丰富动态特性的忆阻器与光晶体管相结合，借此开发出一个 20×20 规模的光晶体管阵列与忆阻器的集成系统。
这个集成阵列能够有效地处理光图像信息，具备时空编码、模拟编码和脉冲编码的多重功能。通过这种集成，他们能够在硬件层面上实现对复杂光学信息的处理和计算。
为了进一步验证和发挥多光晶体管-单忆阻器集成阵列的功能优势，他们设计并开发了一个完整的视觉计算硬件电路系统。
这个系统集成了 MP1R 忆阻器阵列与 1T1R 非易失性忆阻器阵列以及外围读写电路，实现了硬件层面上对不同神经网络算法的支持，并展示了在多种视觉计算应用场景中的实际表现。
通过此，最终他们成功展示了一个集成光感知、计算和存储的视觉计算硬件平台，并实现了多种神经网络算法和视觉计算任务的演示。
这项研究不仅是对神经形态计算和光学图像处理的一次创新突破，也为 AI 视觉系统的硬件实现提供了新的思路和技术路径。
（来源：Nature Electronics）
不盲目追求“短平快”
博士研究生党丙杰是这项研究中不可或缺的重要成员。起初，党丙杰的研究主要集中在器件工艺和物理机理的探索上，之前也做过一些视觉神经形态器件的相关研究，但其研究主要集中在单个器件功能层面。
而杨玉超对于党丙杰的知识背景非常了解，深知他在器件工艺、计算机和电路方面有着扎实的基础。
因此，杨玉超建议他不要仅仅局限于单一器件的研究，而是将研究成果扩展到电路系统层面，追求一个完整、系统的研究，而非盲目追求“短平快”的成果。
研究中，杨玉超鼓励他发挥自己的技术优势，做出有深度且有影响力的科研工作。党丙杰听后，花了几天时间思考，并主动找杨玉超讨论。
他告诉杨玉超，他意识到的确应该更深入地挖掘研究内容，做出系统性成果，同时充分发挥个人特长，创造更有特色的科研成果。
最终，他根据杨玉超的建议，从器件工艺、器件机理，到阵列集成，再到电路硬件系统开发和功能演示，完成了一个全面的研究，贯穿了从器件到电路系统的整个过程。
这段经历让杨玉超深刻感受到，指导和培养学生的科研素养至关重要。要通过因材施教，充分了解学生的知识背景和优势，以便帮助他们在科研道路上不断进步、做出有深度、有影响力的成果。
最终，相关论文以《基于多光敏电阻器-忆阻器阵列的可重构传感器内处理》（Reconfigurable in-sensor processing based on a multi-phototransistor–one-memristor array）为题发在Nature Electronics[1]，北京大学集成电路学院/集成电路高精尖创新中心博士生毕业生党丙杰为第一作者，杨玉超担任通讯作者。
图 | 相关论文（来源：Nature Electronics）
尽管他们已成功开发出具有丰富动态特性的忆阻器，并在实现神经形态视觉硬件功能和架构方面展示了其优势，为构建通用神经形态视觉计算平台做出了重要的研究贡献，但仍有大量工作需要完成。
未来，他们计划重点实现三维集成，以提高系统的密度和计算效率。此外，还需要进一步优化器件的功耗，并提高其在自然光和暗光条件下的灵敏度。
预计这些进展将为超低功耗、高密度、大规模三维集成的通用神经形态视觉计算系统奠定基础，提供强大的硬件平台和计算能力，支持视觉 AI 应用的发展。
参考资料：
1.Dang, B., Zhang, T., Wu, X. et al. Reconfigurable in-sensor processing based on a multi-phototransistor–one-memristor array.Nat Electron7, 991–1003 (2024). https://doi.org/10.1038/s41928-024-01280-3
运营/排版：何晨龙
