作者 | ZeR0
编辑 | 漠影
智东西8月16日报道，中科院自动化所联合清华北大的研究团队提出了具有内生复杂性的类脑计算方法，今日相关论文发表于国际顶级学术期刊Nature的子刊Nature Computational Science。
人工智能（AI）领域的最终目标是构建能实现通用人工智能的系统，让模型具有更加广泛和通用的认知能力。目前流行的大模型路径是基于Scaling Law去构建更大、更深和更宽的神经网络，可称之为“拓展外部复杂性”的方法，复杂性主要在于神经网络的规模。这一路径面临着计算资源及能源消耗难以为继、可解释性不足等问题。
计算神经科学和AI的交叉为克服这些障碍提供了一条有希望的途径。中国科学院自动化研究所李国齐、徐波研究团队联合清华大学、北京大学等借鉴大脑神经元复杂动力学特性，提出了“具有内生复杂性”的类脑神经元模型构建方法，改善了传统模型复杂外部结构带来的计算资源消耗问题，可用于寻找将丰富属性纳入神经元的合适路径，为有效利用神经科学来发展AI提供了示例。
▲不同内部和外部复杂性的典型模型、神经元和网络
论文共同通讯作者是中国科学院自动化所李国齐研究员、徐波研究员，北京大学田永鸿教授。共同一作是清华大学钱学森班的本科生何林轩，数理基科班本科生徐蕴辉，精仪系博士生何炜华和林逸晗。
Nature Computational Science期刊对此评论道：“AI研究更加贴近工程与应用，而神经科学的研究更加具有探索性。研究团队挑战了这一传统观点，并表明更详细且生物学上更真实的神经元模型可以推动深度学习取得更大进展。”
论文地址：https://www.nature.com/articles/s43588-024-00674-9
模型的表示能力与其总复杂性（包括内生复杂性和外部复杂性）有关。动态描述更精细、更丰富的神经元具有更高的内生复杂性，而连接更广、更深的网络具有更高的外部复杂性。
为了增强具有简单连接的基本模型的外部复杂性，可以扩展拓扑结构，例如通过扩大模型的宽度和深度；为了实现更高的内生复杂性，可以使动态特性复杂化，例如通过向模型中添加离子通道或将其转换为多房室模型。两种方法都能达到相同的总复杂性水平，并获得相似的表示能力。
HH（Hodgkin-Huxley）神经元模型是一组描述神经元细胞膜电生理现象的非线性微分方程，直接反映了细胞膜上离子通道的开闭情况及其与膜电位变化之间的关系。
作为一个案例研究，研究人员构建了一组相当于单个HH神经元的LIF（Leaky Integrate and Fire）神经元，这为比较和分析具有不同内部和外部复杂性的网络提供了一种严格的方法。研究团队进一步构建了不同的神经网络，包括HH网络、s-LIF2HH网络、vanilla LIF网络、二值人工神经网络。
▲一种从tv-LIF过渡到HH的方法，它将外部连接的复杂性收敛到单个神经元的内部。a. HH神经元结构及相关电路图；b. 如何将有4个tv-LIF2HH神经元的tv-LIF2HH子网络等同于HH神经元；c. 单个到连接的等效性；d. 由HH神经元与tv-LIF2HH子网络的等效连接组成的神经网络。
上图中，LIF2HH网络中的每条线代表了从前一个子网络中的4个LIF神经元到整个后一个子网络的4个不同连接。
这项研究首先展示了脉冲神经网络神经元LIF模型和HH模型在动力学特性上存在等效性，进一步从理论上证明了HH神经元可以和4个具有特定连接结构的时变参数LIF神经元（tv-LIF）动力学特性等效。
基于这种等效性，团队通过设计微架构提升计算单元的内生复杂性，使HH网络模型能够模拟更大规模LIF网络模型的动力学特性，在更小的网络架构上实现与之相似的计算功能。
进一步，团队将由4个tv-LIF神经元构建的“HH模型”（tv-LIF2HH）简化为s-LIF2HH模型，通过仿真实验验证了这种简化模型在捕捉复杂动力学行为方面的有效性。
▲高精度仿真情况下的等效图。a. 相同电流注入下单个HH模型和tv-LIF2HH子网络的电位输出；b. 按网络中采用的模型分类的三种连接：HH、tv-LIF2HH子网络和s-LIF2HH子网络连接；c. 将二进制编码器和简化后的LIF2HH子网络的后续实验；d. HH神经元和s-LIF2HH子网络的脉冲数和相对触发时间误差。
实验结果表明，HH网络模型和s-LIF2HH网络模型在表示能力和鲁棒性上，具有相似的性能，证明了内生复杂性模型在处理复杂任务时的有效性和可靠性。
同时，研究发现HH网络模型在计算资源消耗上更为高效，显著减少了内存和计算时间的使用，从而提高了整体的运算效率。研究团队通过信息瓶颈理论对上述研究结果进行了解释。
▲计算资源及统计指标分析。a. 每个网络在推理和反向传播过程中的时间消耗；b. 相同输入的各网络的加法运算和乘法运算的FLOP；c. 每个网络的可训练参数；d. 各网络互信息归一化值。
这些结果反驳了HH网络比LIF网络消耗更多资源的观点，并证明了具有内生复杂性的小型模型方法的优势。
该研究为将神经科学的复杂动力学特性融入AI提供了新的方法和理论支持，为实际应用中的AI模型优化和性能提升提供了可行的解决方案。
目前，研究团队已开展对更大规模HH网络以及具备更大内生复杂性的多房室神经元的研究，有望进一步提升大模型计算效率与任务处理能力，实现在实际应用场景中的快速落地。
精彩评论