传统的大型语言模型（LLM）微调方法在计算资源消耗上较大，且在处理多元化任务时往往表现出静态性。为应对这些难题，Sakana AI 研发了新型自适应框架——Transformer²。该框架能在推理阶段动态调整LLM权重，如同章鱼般灵活，以适应各种未知任务。
Transformer² 的核心机制分为两个阶段：
首先，一个调度系统将分析用户查询，识别任务的特性。
其次，系统将动态混合多个“专家”向量。这些向量通过强化学习训练，每个向量针对特定类型任务，以生成定制化的模型行为。
与传统的微调方法（如LoRA）相比，这种方法参数更少，效率更高。Transformer² 在多种LLM架构和模态（包括视觉语言任务）中均展现出强大的适应性。
Transformer² 的关键技术包括：
奇异值微调（SVF）：一种高效的参数微调方法，通过调整模型权重矩阵中的奇异值来降低过拟合风险，减少计算需求，并允许固有的组合性。强化学习训练可在小数据集上获得有效的特定领域“专家”向量，直接优化各主题任务表现。
自适应策略：在推理阶段，Transformer² 采用三种不同的自适应策略组合SVF训练的专家向量，根据测试条件动态调整LLM权重，实现自我适应。
Transformer² 的优势：
动态适应性：无需外部干预，可根据操作环境或内部状态变化评估和修改自身行为。
参数高效：与LoRA等方法相比，SVF 使用参数更少，但性能更高。
模块化能力：专家向量提供模块化能力，自适应策略可动态确定并组合最合适的向量处理输入任务。
强化学习优化：通过强化学习，可直接优化任务表现，无需依赖昂贵的微调程序和大型数据集。
跨模型兼容性：SVF 专家向量可在不同LLM模型间迁移，得益于其固有的排序结构。
实验结果：
在多个LLM和任务上的实验表明，SVF 的性能始终优于传统的微调策略（如LoRA）。Transformer² 的自适应策略在各种未知任务中都表现出显著改进。
使用分类专家进行任务分类比直接使用提示工程的分类精度更高。
在不同模型和任务组合中，自适应系数（αk）的贡献是不均匀的。
未来展望：
尽管Transformer² 取得了显著进展，但仍存在进一步改进空间。未来研究可探索模型合并技术，将不同专业模型合并为一个更强大的模型，并研究如何扩展CEM方法以应对更多专业领域。
总之，Transformer² 代表了自适应LLM领域的一大飞跃，为构建真正动态、自我组织的AI系统铺平了道路。
论文地址：https://arxiv.org/pdf/2501.06252
暂无评论