马斯克旗下 xAI正式开源了Grok-1模型，这是一个拥有3140亿参数的混合专家（Mixture-of-Experts）模型，由xAI团队从零开始训练。不过需要注意的是此模型尚未针对任何特定应用（如对话系统）进行微调，依据Apache 2.0许可证进行开源。而他们模型发布方式也比较特别，直接释出了磁力链接让大家下载。
模型详情
- 基础模型：在大量文本数据上进行训练，未对任何特定任务进行微调。
- 参数规模：3140亿参数的混合专家模型，在给定的标记上，有25%的权重处于激活状态。
- 训练过程：由xAI团队在2023年10月使用基于JAX和Rust的自定义训练堆栈从头开始训练。
GitHub地址：https://github.com/xai-org/grok-1
模型发布采用的是磁力链接：
magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce不过也已经有人在Hugging Face上传了模型：https://huggingface.co/alpindale/grok-1
0条评论