Outlines〰 是一个 Python 库，它以简单而健壮的方式（具有结构化生成）使用大语言模型（LLM）。这个库由 .txt 公司构建，已经在众多公司的生产环境中得到应用。我们支持 OpenAI 的模型，同时通过 transformers、llama.cpp、exllama2 和 mamba_ssm 等库，释放了 Outlines〰 的真正力量。
特点
-
避免不必要的抽象 -
专注于利用大型语言模型进行可靠的文本生成 -
有明确的路线图推动技术进步 -
提供清晰、健壮的代码 -
结构化生成在推理阶段不增加任何额外开销
0条评论