稀疏激活

MoBA技术实现长上下文处理，减少注意力计算，提高Transformer效率。

CoCoMix：Meta提出新预训练框架，提升LLMs学习效率和表现，降低训练token数量，增强模型可解释性和可操控性。