来自加州大学圣巴巴拉分校、卡内基·梅隆大学和Meta的研究人员提出了一种名为FNCTOD（Function Calling for Dialogue State Tracking）的新方法，利用大语言模型（LLMs）来实现零样本（zero-shot）对话状态跟踪（DST），这是一种在特定任务和领域内进行有效对话的技术。对话状态跟踪是指在对话过程中，模型需要准确理解并记录用户的需求和意图，这在任务导向对话（TOD）中尤为重要。简单来说，就是如何让AI在聊天时，不仅能回应你的问题，还能记住之前的对话内容，从而更有效地完成特定的任务。
论文地址：https://arxiv.org/abs/2402.10466
想象一下，当你和一个AI聊天时，它不仅会回应你，还会在“脑袋”里记住你们之前的对话。这就是对话状态追踪的作用。而这篇论文的方法，就是教AI如何在没有额外数据或训练的情况下，做到这一点。它使用了一种叫做“函数调用”的技巧，让AI能够更有效地理解和追踪对话。
主要功能：
- 提出了一种名为FNCTOD（Function Calling for Dialogue State Tracking）的新方法，通过函数调用的方式，让大型语言模型在没有额外数据收集或模型调整的情况下，适应不同的任务和领域。
- 实现了在对话中无缝集成对话状态跟踪，使得模型能够在生成回应的同时，准确地追踪和更新对话状态。
主要特点：
- 零样本学习： FNCTOD方法允许模型在没有见过特定任务数据的情况下，通过上下文提示（in-context prompting）来学习如何执行对话状态跟踪。
- 函数调用： 将每个任务导向对话领域的模式视为一个特定的函数，对话状态跟踪过程被视为调用这些函数的过程。模型被指导生成函数调用和回应。
- 性能提升： 实验结果显示，FNCTOD方法能够使中等规模的开源LLMs（如7B或13B参数模型）在零样本DST任务上超越之前的最佳性能（SOTA），并且在微调（fine-tuning）后，性能与ChatGPT相当。
工作原理：
- 系统提示（System Prompt）： 在对话开始时，模型接收到一个包含所有支持函数的描述和示例对话的系统提示。
- 函数选择（Function Selection）： 在对话的每一轮中，模型首先确定要调用的函数（即函数名）。
- 参数生成（Argument Generation）： 然后，模型根据选定的函数生成相应的参数（即函数的输入）。
- 函数调用（Function Call）： 最后，模型生成一个JSON格式的函数调用，包含了函数名和参数，这代表了对话状态的更新。
应用场景：
这种技术可以应用于各种需要任务导向对话的场景，比如预订餐厅、购买产品、安排日程等。在这些场景中，AI需要记住用户的请求和之前的对话内容，以确保任务能够顺利完成。通过使用这种方法，AI可以在不需要大量数据或额外训练的情况下，更好地完成这些任务。
- 客户服务： 在客户服务系统中，FNCTOD可以帮助模型理解客户的需求，如预订酒店、餐厅预订等，并在对话中实时更新客户的状态信息。
- 虚拟助手： 在虚拟助手应用中，FNCTOD可以使助手更好地理解用户的指令，如设置提醒、查询信息等，并在对话中保持任务的连贯性。
- 多领域对话系统： 对于需要处理多个领域任务的系统，FNCTOD能够使模型在不同领域间灵活切换，同时保持对话状态的准确性。
0条评论