LitGPT 是一款命令行界面工具，用于简便地对 20 多种大语言模型 (LLMs) 进行微调、预训练、评估和部署，以便在您的数据上使用。它包含了为世界上最先进的开源大语言模型 (LLMs) 定制的优化训练方案。
- 去除所有抽象层，采用单一文件实现。
- 保证符合 Apache 2.0 标准，使企业使用不受任何限制。
- 优化每个模型的每个细节，以获得尽可能快的性能，从而降低成本和训练速度。
官网：https://lightning.ai/
GitHub：https://github.com/Lightning-AI/litgpt
除此之外，LitGPT 还使用了很多先进的技术。比如用 LoRA 、 Adapter 等进行参数微调，用 Flash Attention 降低显存读写，提高运行速度等，这都是优势所在。
0条评论