初创企业ElevenLabs，致力于AI语音克隆与文本转语音API，近期宣布了一项新功能，用户可以利用该功能构建完整的对话式AI智能体。

在ElevenLabs的开发者平台上，用户现在能够根据自己的需求，定制对话智能体的多个变量，包括语音语调和回复长度。

image.png

ElevenLabs此前主要提供多样的语音和文本转语音服务。该公司增长主管Sam Sklar在TechCrunch的采访中指出，许多客户已经在使用该平台来创建对话式AI智能体。然而，在集成知识库和处理客户中断方面存在最大的挑战。因此，ElevenLabs决定开发一个完整的对话机器人流程，以简化这个过程。

用户通过登录ElevenLabs账号，选择模板或新建项目来着手创建对话智能体。他们能够选择智能体的主要语言、起始消息和系统提示，以此来设定智能体的个性。

同时，开发者需要选择大型语言模型（例如Gemini、GPT或Claude）、响应的温度（影响创造性）以及令牌使用限制。

用户还可以根据需求添加知识库，比如文件、URL或文本块，以提升对话机器人的性能。他们还可以将自己的定制大型语言模型与机器人相结合。ElevenLabs的SDK支持Python、JavaScript、React和Swift，并且公司还提供了WebSocket API以便进一步定制。

公司还允许用户设定数据收集标准，如智能体对话中的客户姓名和电子邮件，并使用自然语言定义通话成功与否的评估标准。

ElevenLabs正在运用其现有的文本转语音流程，并且还在开发新对话式人工智能产品的语音转文本功能。目前，该公司尚未单独提供语音转文本API，但未来可能会推出，以此与谷歌、微软和亚马逊等公司的语音转文本API竞争，以及与OpenAI的Whisper、AssemblyAI、Deepgram、Speechmatics和Gladia等专业API竞争。

该公司计划以超过30亿美元的估值筹集新一轮资金，并与Vapi和Retell等其他语音AI初创企业竞争，这些企业也在开发对话智能体。更为关键的是，ElevenLabs将与OpenAI的实时对话API竞争。不过，ElevenLabs对其定制化能力和模型切换的灵活性充满信心，相信这将在竞争中为其带来优势。

划重点:  

💬 ElevenLabs推出了新功能，助力用户自定义对话式AI智能体。  

📚 用户能够为智能体添加知识库，整合自定义大型语言模型。  

🚀 ElevenLabs计划以超过30亿美元的估值进行融资，并与OpenAI等展开竞争。