2022年全球生成式AI热潮中,元始智能(RWKV)在2023年12月获得了由天际资本领投的数千万人民币天使轮融资。融资完成后,公司估值翻倍,资金将用于团队扩张、新架构研发以及产品商业化。

RWKV的诞生,是对传统Transformer架构的有力挑战。尽管大语言模型(LLM)的参数规模不断增大,但在幻觉和准确率等问题上,其不足之处依然存在。因此,RWKV的创始团队致力于探索全新的架构,以期在效率和灵活性上实现突破。

投资,融资,钱

RWKV的设计理念与Transformer截然不同。联合创始人罗璇指出,与传统Transformer模型不同,RWKV在生成每个Token时无需重新“读取”前文,这显著降低了计算量。RWKV通过结合RNN(循环神经网络)的优势,实现了在效率和语言建模能力上的突破。

这种创新架构的优势在于,RWKV能够在有限的状态空间中处理信息。通过强化学习方法,模型能够自动判断何时需要回顾前文,从而提升其记忆能力。与传统模型相比,RWKV在多项基准测试中表现出色,证明了其在语言学习效率上的提升。

目前,RWKV已完成了从0.1B到14B的模型训练,并在海外社区发布了32B的预览模型。未来,元始智能计划于2025年推出70B及以上参数的RWKV-7,并探索新型推理框架和芯片,以进一步提升模型性能。

在业务方面,RWKV不仅提供开源项目,还积极布局商业化,涵盖AI音乐生成以及与企业合作,已与国家电网等多家企业达成合作。随着技术的进步和商业化的推进,RWKV力争成为大模型领域的“安卓和Linux”。