VITA-MLLM团队近日发布了VITA-1.5版本，这是基于VITA-1.0的升级版，旨在增强多模态交互的实时性和准确性。VITA-1.5不仅支持英语和中文，同时在多项性能指标上都有显著提升，为用户带来更加流畅的交互体验。
在VITA-1.5中，互动延迟得到大幅减少，由原来的4秒缩短至1.5秒，用户在语音交互时几乎感觉不到延迟。此外，该版本在多模态性能上也有显著进步，经过评估，VITA-1.5在MME、MMBench和MathVista等多个基准测试中的平均性能由59.8提升至70.8，展现出卓越的能力。
VITA-1.5在语音处理能力上进行了深度优化。其自动语音识别（ASR）系统的错误率显著降低，从18.4降至7.5，使得语音指令的理解和响应更加精准。同时，VITA-1.5引入了一个端到端的文本转语音(TTS)模块，该模块能够直接接受大型语言模型(LLM)的嵌入作为输入，从而提升语音合成的自然度和连贯性。
为了保证多模态能力的平衡，VITA-1.5采用了渐进式训练策略，使得新增的语音处理模块对视觉-语言的表现影响最小，图像理解性能仅从71.3轻微下降至70.8。团队通过这些技术创新，进一步拓展了实时视觉与语音交互的界限，为未来的智能交互应用奠定了基础。
VITA-1.5的使用非常简便，开发者可通过简单的命令行操作快速上手，并提供了基础和实时互动演示。用户需要准备一些必要的模块，如语音活动检测（VAD）模块，以提升实时交互体验。此外，VITA-1.5还将开源代码，方便开发者参与和贡献。
VITA-1.5的发布标志着交互式多模态大语言模型领域的又一重要突破，彰显了团队在技术创新和用户体验上的持续追求。
项目入口：https://github.com/VITA-MLLM/VITA?tab=readme-ov-file
🌟 VITA-1.5大幅降低互动延迟，从4秒缩短至1.5秒，显著提升用户体验。
📈 多模态性能提升，多个基准测试的平均性能从59.8提升至70.8。
🔊 语音处理能力增强，ASR错误率从18.4降至7.5，语音识别更准确。
暂无评论