ChatGPT出来后,国内多家厂商也宣布要推出类似产品,比如百度就将在今天公布“文心一言”。而由清华大学计算机系知识工程实验室技术成果转化而成的清华系公司「智谱AI」,也推出了类似 ChatGPT 的人工智能聊天机械人,并宣布推出开源版中英双语对话模型 ChatGLM-6B,该模型支持在消费级显卡上使用,为 AI 聊天机械人的应用提供了更加便捷的工具。(点击查看官方介绍文章)
据该模型在GitHub上开源页面,ChatGLM-6B 是一个开源、支持中英双语问答的对话语言模型,并对中文进行了改进。该模型基于 General Language Model (GLM) 架构,拥有 62 亿参数。结合模型量化技术,用户可在消费级显示卡上进行本地部署(以 INT4 量化级别计算,最低只需 6GB显存)。
下面是一些应用实例:
ChatGLM-6B 经过约 1T token(标识符)的中英双语训练,加上监督微调、反馈自助、人工反馈强化学习等技术的加持,拥有相当强大的问答和对话能力。尽管模型规模不及千亿模型,但成功降低了推理成本,提高了效率,并且已经能够生成相当符合人类偏好的回答。此外,结合模型量化技术,可以稍微降低硬件门槛,用户只需具有 10GB(INT8)和 6GB(INT4)显存,便可以在消费级的显卡上使用该模型。
[su_note note_color="#f4ff66"]官网地址:https://chatglm.cn/
开源地址:https://github.com/THUDM/ChatGLM-6B[/su_note]
0条评论