据浪潮服务器微信公众号发文，昨日，基于Yuan2.0-2B模型的智能AI助手YuanChat发布，其可以在Windows电脑上本地化部署。据介绍，YuanChat是专为源2.0大模型设计的客户端应用，集成了模型推理服务和聊天交互界面，具备代码生成、代码解析、数学计算、逻辑推理、知识问答、文案创作等能力。（官方介绍）
GitHub地址：https://github.com/IEIT-Yuan/YuanChat
YuanChat快速部署教程
Step1: 下载YuanChat一键安装包
安装包链接 (文件大小 267.4M)：https://pan.baidu.com/s/1i2bCrduiiyv7uAP9hGkoPA?pwd=6f6r
Step2: 下载"源2.0"模型文件
在YuanChat网页对话界面中，模型配置选择“ModelScope”，模型名称输入“YuanLLM/Yuan2-2B-Janus-hf”，自定义模型保存路径，这里以“D:\Model”为例，点击“加载模型”，exe页面自动开始下载模型文件。（模型文件大小4.41G，下载过程中会显示下载进度，根据网速快慢需等待数十分钟不等）
Step3: 运行YuanChat，使用“源2.0”大模型
模型下载完成后，无需关闭exe页面，进入YuanChat页面即可开始正常对话。由于电脑配置的差异，大模型的推理对话过程可能会存在数秒至数十秒不等的延迟。
* Tips：
1. 如需关闭YuanChat，请手动关闭对话页面和后台exe文件运行页面；
2. 如需再次使用YuanChat，请再次双击启动YuanChat.exe文件，等待10-30秒启动成功后不要关闭exe页面，在弹出的网页对话页面中选择“本地模型”，输入之前的模型文件保存路径后，点击加载模型，启动过程需等待10-20秒。（以Step2为例，模型文件保存路径可通过进入电脑D盘→Model文件夹→YuanLLM文件夹→Yuan2-2B-Janus-hf文件夹，复制上方文件路径获取）
0条评论