在大型语言模型（LLM）开发竞赛中，众多AI企业正面临日益增加的挑战。因此，寻找“Transformer”之外的新型架构成为业界关注焦点。自2017年谷歌研究人员提出Transformer架构以来，该架构已成为生成式AI的核心。应对此挑战，由麻省理工学院孵化的Liquid AI初创公司，推出了一款名为STAR的创新框架。

image.png

STAR框架借助进化算法和数值编码系统，致力于自动生成和优化AI模型架构。Liquid AI研究团队表示，STAR的设计理念与传统架构设计不同，采用分层编码技术，即“STAR基因组”，以探索更广泛的架构设计空间。通过基因组的组合与变异，STAR能够合成和优化满足特定性能和硬件需求的架构。

在自回归语言建模测试中，STAR展现出优于优化Transformer++和混合模型的能力。在优化质量和缓存大小方面，STAR进化的架构相较于混合模型缓存大小降低了37%，与传统Transformer相比更是达到了90%的降幅。这种高效性并未损害模型预测性能，甚至在某些方面超越了竞争对手。

研究还发现，STAR架构具有强大的可扩展性。一个从1.25亿参数扩展到10亿参数的STAR进化模型，在标准基准测试中表现与现有的Transformer++和混合模型相当或更优，同时显著降低了推理缓存需求。

Liquid AI指出，STAR的设计理念融合了动态系统、信号处理和数值线性代数原理，构建了一个灵活的计算单元搜索空间。STAR的模块化设计是其一大特色，使研究人员能够在多个层次上编码和优化架构，洞察有效架构组件组合。

Liquid AI认为，STAR的高效架构合成能力将广泛应用于各个领域，尤其是在需要平衡质量与计算效率的场景。虽然Liquid AI尚未公布具体的商业部署或定价计划，但其研究成果标志着自动化架构设计领域的一次重大突破。随着AI领域的不断发展，像STAR这样的框架有望在构建下一代智能系统中发挥关键作用。

官方博客:https://www.liquid.ai/research/automated-architecture-synthesis-via-targeted-evolution

划重点:

🌟 Liquid AI推出的STAR框架利用进化算法自动生成和优化AI模型架构。

📉 STAR模型在缓存大小方面实现了高达90%的降低，同时在性能上超越了传统Transformer。

🔍 STAR的模块化设计适用于多个领域，推动AI系统优化发展。