随着 AMD 在人工智能领域的不断探索，公司不仅推出了新的硬件产品，还加大了软件方面的投入，以期进入英伟达尚未完全主导的新市场。
- 模型：https://huggingface.co/amd/AMD-Llama-135m
首个小型语言模型 AMD-135M
AMD 近日发布了其首个小型语言模型——AMD-135M，该模型属于 Llama 家族，专为私有企业部署设计。尽管目前不清楚这一模型是否与 AMD 收购 Silo AI 相关，但显然这是为了更好地满足特定客户的定制化需求。
技术亮点：推测性解码
AMD-135M 的主要优势在于采用了推测性解码技术。该技术通过引入一个小的“草稿模型”来生成多个候选令牌，然后由更大的“目标模型”进行验证或修正。这种方法可以在一次前向传递中生成多个令牌，但也会增加一定的功耗成本。
两种版本满足不同需求
AMD 推出了两个版本的语言模型：
- AMD-Llama-135M：在 6700 亿个通用数据令牌上训练而成，耗时六天，使用了四个 8 路 AMD Instinct MI250 节点。
- AMD-Llama-135M-code：在此基础上，使用额外的 200 亿个编码相关令牌进行了微调，同样使用相同的硬件在四天内完成。
性能与优化
根据 AMD 的测试结果显示，这两个版本在性能上表现优异。公司表示，进一步的优化可以带来更好的性能。目前，AMD 公布的是上一代 GPU 的基准测试数据，未来其当前一代（MI300X）和下一代（MI325X）产品有望带来更佳的表现。（来源）
0条评论