科研工作分享｜SAN: 假设可扩展模型参数高效微调中的长期突触发育和神经记忆机制
本帖最后由 hdy 于 2025-5-28 22:29 编辑前言迁移学习试图将预训练参数空间转移到下游任务的最优参数空间。适当的全参数微调（FFT）能够完成该任务。然而随着模型规模扩大和任务多样化，寻找最优FFT超参数变得不切实际。因此参数高效微调（PEFT）成为更优选择，它能近似模拟FFT功能并通过多次低成本训练找到接近最优的超参数。PEFT从线性探测（LP）演化而来——后者通过调整网络输出来近似模拟整体网络参数的偏移，发展到更明确覆盖网络不同部分的稀疏调参技术，例如偏置微调（BitFit）。随后出现像低秩适应（LoRA）这类技术，通过额外可训练的低秩参数对原始参数空间的偏移规则建模，解决了稀疏调参表达能力不足的问题。近期研究如尺度偏移（SSF）和权重分解LoRA（DoRA）系统分析了PEFT在原始参数空间的偏移特性，独立得出这些偏移具有低秩（近似线性）性质的结论。具体而言，SSF直接对特征施加线性偏移，等效于对预训练参数进行线性变换。SSF在视觉任务中的顶尖表现揭示了预训练模型适应新任务所需的最小（即线性）条件。而DoRA在LoRA基础上将预训练权重矩阵分解为方向和幅度分量，通过LoRA更新方向分量。这种分解看似限制更新，但在大规模语言任务中的广泛实验验证了其有效性。考虑到预训练和微调参数均具有低秩特性，这进一步证明优化偏移策略比单纯引入更多可训练参数（如盲目增加LoRA秩数）更为关键。
图1. 即插即用SAN流程。SAN的核心设计是通过分解前驱层的调整向量获取缩放分量，并将其重新应用于后续层。该方法通过提供缩放先验（不引入额外可训练参数）来简化学习目标并增强表达能力。SAN兼容多种PEFT技术（如LoRA）。这与生物神经网络（BNN）中观察到的神经印迹（NE）现象高度吻合：大脑通过以特定模式强化/弱化现有连接（突触）来处理新知识，形成拓扑结构不变但发生偏移的"新网络"。这既能节省构建新突触的能量和时间成本，又能实现快速学习（见图2左上角）。我们进一步考虑与NE形成密切相关的另一重要BNN特性——长时程增强/抑制（LTP/D）现象。这些现象拓展了赫布法则，指出前部相关神经元频繁的强化/弱化会直接影响后续神经元发育，呈现强正相关性（见图2左下角）。这是因为大脑会为提升效率和节能而简化信号传递机制。在PEFT场景中，我们认为应借鉴这种高效机制。
图2. SAN分解与传播机制的动机与观察。左图：阐释神经印迹（NE）和长时程增强/抑制（LTP/D）概念。右图：在ViT-B预训练模型上对两个VTAB子集进行PEFT实验，采用类似SSF的逐层可训练缩放向量。QKV和FFN-L1/L2分别表示注意力层和前馈网络层1&2。虚线与实线反映使用/未使用SAN时不同层缩放向量的分布直方图。分析表明：缩放向量具有显著的"任务内相似、任务间差异"特性（符合NE原理），且SAN能有效控制缩放向量方差（σ²），实现更精细的调整并缓解表达能力局限（契合LTP/D机制）。主要贡献我们的方法包含两部分：
[*]在前置层对原始参数与当前参数输出间的偏移（即特征调整向量）进行线性分解，对应BNN中前部神经元的强化/弱化；
[*]将分解后的缩放向量重新施加到后续层参数，实现预训练参数的预缩放（见图1）。通过显式传播这些缩放向量，可在人工神经网络（ANN）中复现BNN的类似现象。图2右面板显示，对于某些任务，在SSF中应用简单特征缩放策略是可行的。但当领域差距较大时，这些一维缩放向量往往过度拉伸而难以有效偏移原始参数空间。我们的突触与神经元（SAN）方法通过分解和传播缩放向量来缓解后续可训练参数的负担，从而解决该问题。这既降低了重塑偏移量的复杂度，也缓解了有限可训练参数下的学习困难。
本文主要贡献可归纳如下：
[*]研究了ANN中PEFT调整值的低秩特性，发现其与BNN中神经印迹（NE）和长时程增强/抑制（LTP/D）等现象存在强关联。对ANN印迹模式的分析显示，任务内调整向量高度相似而任务间差异显著，表明PEFT中存在跨层共享调整向量的潜力。
[*]提出即插即用式共享方法SAN，将不同层的独立调参组件整合为协同系统，在不增加可训练参数的前提下提升现有PEFT方法的性能。
[*]大量实验证明，我们的方法能即插即用地应用于不同规模预训练模型的各种PEFT方法，涵盖主流视觉、语言和多模态基准任务。
方法1. 基础LoRA & 适配器: 这些PEFT方法使用两个低秩可学习矩阵 和 来模拟全秩密集层。其中和分别表示输入、输出和线性/非线性函数。尺度与偏移特征（SSF）:该PEFT方法对每层输出施加可学习的线性变换，其中分别为缩放和偏移向量，表示逐元素乘积。重参数化公式为：此处表示该层的原始权重。DoRA:DoRA将预训练权重分解为幅度和方向分量进行微调：其中为幅度向量，为方向矩阵，表示按列计算的向量范数。微调过程中，DoRA保持冻结，仅使和（通过LoRA实现）可训练。调参后采用LoRA式重参数化：此处为方向更新量，由两个低秩矩阵和相乘得到（秩 ）。
2. Synapse and Neuron (SAN)我们的SAN流程如图1所示。以最简单的SSF组合为例，第层的缩放特征可表示为：其中为缩放向量（初始化为1），为原始输出特征。当与LoRA层结合时，首先按标准LoRA计算输出：此处表示低秩更新量。随后通过计算与的逐元素比值获得缩放向量：其中表示逐元素除法，Pool为降维操作。该缩放向量将被显式传播以缩放后续层的预训练权重：输出经过激活函数或归一化等操作（记为），下一层的输出变为：此处表示下一层的偏置项。显式传播原理：我们SAN方法的核心创新在于将当前层的缩放向量显式传播至后续层的参数中。该方法基于对神经网络变换本质的深刻洞见：任何为PEFT施加于当前层特征的变换，都会隐式影响后续层的参数。具体而言，假设对第层特征施加线性变换，即。那么具有权重和偏置的后续层的输出可表示为：该式等价于：其中为调整后的权重矩阵。这一等价关系表明：若在这些操作之间未施加非线性激活，则对第层特征的变换可等效为对层权重的调整。那些对特征施加线性变换的方法，实际上隐式学习了后续层权重的调整矩阵。尽管该原理在纯线性场景中直观明了，但实际神经网络包含非线性激活和归一化层。我们通过以下两个观察，论证该方法在复杂场景中仍近似有效：
[*]现代激活函数的近似线性特性：
ReLU及其变体等主流激活函数在有效区间内表现出近似线性行为。这种准线性特性有助于保持缩放关系的传递性，使得缩放效应不太可能被随机逆转。
[*]优化过程的稳定性：
现代优化方法通常会规避"先逆转后恢复"缩放效应的不稳定路径。在固定最优输出目标下，若优化过程先反向调整模型参数再重新校正，将导致效率低下并可能引发不稳定。
因此，SAN方法选择显式而非隐式地传递这些缩放效应。这种显式传播机制能实现更高效的参数适配，并提供更优的优化稳定性。
图3. SAN显式传播机制。与传统PEFT方法（如SSF，上图）仅建模当前层偏移不同，SAN通过传播机制跨层适配预训练参数（下图）且不增加可训练参数。前驱层学习的缩放向量（γ）被显式传播以影响后驱层预训练权重，在保持参数效率的同时实现更全面的参数适应。灰色块表示冻结的预训练权重，彩色块为可微调权重，箭头指示调整方向（即重参数化方向）。SAN通过显式传播实现了更细粒度的参数调整。参考公式2的重参数化过程，SSF隐含了一个强假设：当前层权重矩阵的每一行共享相同的缩放/偏移向量（类似于秩的LoRA）。而显式传播使我们能在不增加训练负担的前提下，为每个参数实现独特的调整值（见图3）。通过将当前层的缩放向量传播至后层权重，我们突破了SSF的强假设限制，实现了更精细的调整。SAN的重参数化公式可表示为：其中为当前层缩放向量，为后层缩放向量。此外，SAN的缩放向量显式传播还产生了防止过拟合的隐式正则化效应。这种正则化源于缩放向量在跨层传播时形成的近似二次方特性。考虑不含激活和归一化的简化双层线性网络场景：经整理可得：公式中出现的揭示了一个关键特性：缩放向量的影响在跨层传播时本质上会被平方化。这种二次方效应形成了对幅度的软约束，能有效抑制极端值并增强稳定性。为量化该正则化效果，可将其表述为损失函数中的隐式正则项：其中为控制正则强度的超参数。该正则项会惩罚与初始值1的较大偏离，从而有效限制模型进行极端参数适应的能力。实验结果1. 视觉任务表1比较了我们提出的SAN方法（与SSF结合）与其他基于Vision Transformer（ViT-B）骨干网络的前沿微调方法。结果凸显了SAN在多种任务和数据集上的高效性与有效性。作为即插即用方法，SAN在保持与SSF相同参数效率的同时实现了显著性能提升。在FGVC任务上（SSF已被视为当前最先进方法），SAN将SSF的性能进一步提高了0.9%。在训练集规模和多样性有限的VTAB-1k任务上，SSF开始显现其效率优先的局限性，而SAN成功解决了这个问题并实现1.6%的整体提升。对于训练数据充足的GIC任务，各基线方法性能差距较小，但采用SAN的优势仍然显著。我们进一步在Swin Transformers和ConvNeXt等先进骨干网络上验证SAN的有效性。这些网络继承了窗口机制，更适合FGVC等细粒度视觉任务。图4中的结果表明了SAN的鲁棒性：当采用新型骨干网络时，若全参数微调（FFT）超越SSF，SAN能够弥补SSF的表达能力局限并反超FFT。
表1. 基于ImageNet-21k预训练ViT-B的性能对比。结果显示SAN与各基线方法在不同视觉基准上的准确率（%）。红色（第1名）和蓝色（第2名）标注结果，列颜色反映基线类型，同时展示相对SSF的改进幅度。
图4. 不同骨干网络在FGVC任务的性能对比。结果显示SAN与各基线方法在不同视觉骨干网络上的准确率（%）。2. 语言任务与纯视觉任务的基础模型相比，参数高效微调（PEFT）在大型语言模型（LLM）中的重要性更为突出。表2比较了我们提出的SAN方法（与LoRA、DoRA结合）与其他基于LLaMA（1-3）系列模型的PEFT方法。LLaMA-7B和13B的实验结果表明：虽然提示调优（如P-Tuning v2）具有极高效率，但其性能存在明显局限；而增加可训练参数（如串行/并行适配器）并未带来显著提升。因此，近期研究聚焦于优化有限可训练参数的利用率（如LoRA衍生的DoRA）。我们的SAN方法进一步延续了这一趋势。实验证明SAN不仅对LoRA具有即插即用性，还能与SSF等提示调优方法兼容，甚至可与DoRA本身结合使用。当与LoRA结合时，本方法全面超越DoRA，在LLaMA2-7B至LLaMA3-8B模型上实现2.4%-4.6%的准确率提升；与DoRA结合时仍能获得最高0.8%的增益，这充分体现了SAN的灵活性与更广泛的潜力。
表2. LLaMA模型在常识推理（CRS）任务的性能对比。结果显示SAN与各基线方法在语言基准上的准确率（%）。红/蓝标注排名，行颜色对应基线类型（同表1），并展示相对LoRA/DoRA的改进。
3. 视觉-语言任务在完成纯视觉和语言任务评估后，我们特别关注多模态任务——因其更贴近人脑获取新知识的机制。过去一年，LLaVA系列模型证明了无需复杂连接器设计（如Q-former），仅通过指令微调即可有效完成视觉-语言任务。因此我们选择LLaVA模型作为测试基准。表3对比了SAN（结合LoRA/DoRA）与其他微调方法。值得注意的是，官方LLaVA论文采用全参数微调（FFT）进行迁移学习，且开发者进行了精细的超参数搜索。但我们发现PEFT在该场景下可达到甚至超越FFT的效果：在7B模型上，SAN结合LoRA和DoRA分别较FFT提升1.5%和2.4%。令人惊讶的是，这些分数甚至超过了采用更大骨干网络（LLaVA1.5-13B）的FFT结果（平均67.8%）。
表3. LLaVA模型在视觉指令（MVIT）任务的性能对比。结果显示SAN与各基线方法在多模态基准上的准确率（%）。红/蓝标注排名，行颜色对应基线类型（同表1），并展示相对LoRA/DoRA的改进。结论我们的突触与神经元（SAN）方法受到生物神经网络（BNNs）中长时程增强/抑制（LTP/D）机制的启发。在BNNs中，LTP/D机制促进了神经印迹（NE）的形成。在人工神经网络（ANNs）中，我们引入了特征调整值分解及缩放分量前向传播至后续层参数的概念。我们观察到SAN具有自调节和即插即用的性能增强特性，推测这些效应是显式传播的必然结果。大量实验验证了本方法的有效性，我们认为未来研究应着重探索可扩展ANNs中更多与迁移学习、持续学习和多任务学习相关的NE机制。
页:
[1]
