清华大学的研究人员推出多模态语言模型Mini-Omni，它能够实时地进行语音交互。想象一下，你有一个智能助手，不仅能理解你说的话，还能用语音回答你的问题，就像和真人对话一样自然。Mini-Omni就是这样一个模型，它能够“听”和“说”，同时还能进行思考。 GitHub：https://github.com/gpt-om... 阅读全文

亚马逊AWS推出新型大型多模态语言模型SpeechVerse，它能够理解和执行自然语言指令，处理各种语音相关的任务。SpeechVerse通过结合预训练的语音和文本基础模型，并在学习过程中保持这些模型的参数固定，实现了这一功能。它使用从语音基础模型中提取的连续潜在表示来进行指令微调，以在多种语音处理任务上实现最佳的零样... 阅读全文