LitGPT 是一款命令行界面工具，用于简便地对 20 多种大语言模型 (LLMs) 进行微调、预训练、评估和部署，以便在您的数据上使用。它包含了为世界上最先进的开源大语言模型 (LLMs) 定制的优化训练方案。 LitGPT 重新实现了所有模型架构和训练配方： 去除所有抽象层，采用单一文件实现。 保证符合 Apach... 阅读全文

蒙特利尔大学、蒙特利尔康考迪亚大学、三星-SAIT AI 实验室的研究人员发布论文，论文的主题是关于提高学习优化器（Learned Optimizers, LOs）的泛化能力，特别是在进行大规模神经网络训练时。学习优化器是一种特殊的神经网络，它能够学习如何更有效地训练其他神经网络。这项技术的目标是减少训练大型神经网络所... 阅读全文

牛津大学和Google DeepMind的研究人员发布论文，主题是探讨在强化学习（Reinforcement Learning, RL）中如何实现人工文化积累（Artificial Cultural Accumulation）。文化积累是指知识和技能随着时间的推移而不断增长的过程，这一过程在人类历史中推动了能力的开放性... 阅读全文

斯坦福大学的研究团队发布论文，主题是关于如何让大语言模型（LLMs）更好地适应特定用户或任务的需求。大型语言模型通常被训练成通用工具，但实际应用时，用户往往需要它们完成非常具体和个性化的任务。例如，写一封电子邮件，不同的人可能会有不同的写作风格和内容需求。然而，这些模型生成的输出往往显得过于笼统和缺乏个性，因为它们被设... 阅读全文

滑铁卢大学、多伦多大学和卡内基梅隆大学的研究人员推出新型语言理解基准测试MMLU-Pro，它不仅能够更准确地衡量AI模型的语言理解能力，还能推动AI技术在语言处理方面的发展。例如，我们有一群非常聪明的机器人，它们擅长理解和处理人类的语言。但是，我们需要一种方法来测试这些机器人有多聪明，这就是基准测试的作用。 主题介绍：... 阅读全文

之前为大家介绍了 ChatTTS，这是一款专为对话场景设计的文本转语音模型，功能十分强大。但要在本地使用，对于普通用户还是比较难得。现在，有开发者为大家制作了整合包，让使用变得更加简单。 GitHub：https://github.com/jianchang512/ChatTTS-ui 使用步骤 下载整合包：从指定渠道... 阅读全文

俄亥俄州立大学和斯坦福大学的研究人员推出一种新型的大语言模型（Large Language Models，简称LLMs）的长期记忆框架，名为HippoRAG。这个框架的设计灵感来源于人类大脑中海马体的索引理论，它帮助我们存储大量的世界知识，并能持续整合新的信息，而不会忘记旧的知识。就像我们人类一样，这种模型可以让计算机... 阅读全文

昆仑万维今日宣布开源 2 千亿稀疏大模型 Skywork-MoE，基于之前昆仑万维开源的 Skywork-13B 模型中间 checkpoint 扩展而来，号称是首个完整将 MoE Upcycling 技术应用并落地的开源千亿 MoE 大模型，也是首个支持用单台 RTX 4090 服务器（8 张 RTX 4090 显卡... 阅读全文

英伟达的NVIDIA App 将 NVIDIA 控制面板、GeForce Experience 和 RTX Experience 整合，目前仍在测试阶段。这次测试版更新将支持 120 FPS AV1 视频录制，引入一键 GPU 性能调优，改进 NVIDIA App 浮窗，进一步改善用户体验。本次更新引入了对 AV1 格... 阅读全文

字节旗下的豆包推出桌面客户端，支持 Windows 与 macOS，不过这个客户端是基于Chromium，简单来说就是个浏览器，有需求的朋友可以安装试试。 💡特性一览： 1️⃣快捷启动：一键访问，提高效率。 2️⃣本地访问：轻松访问本地应用和文件。 3️⃣AI划词：选中文本，即刻享受搜索、翻译、解释、总结等智能服务。 ... 阅读全文

北京师范大学推出一种新型的4位二阶优化器，即"4-bit Shampoo"，它是为了在深度神经网络（DNN）训练中实现内存高效而设计的。在机器学习和人工智能领域，优化器是用于调整模型参数以最小化损失函数的算法。二阶优化器因其利用矩阵操作来加速收敛过程而闻名，但它们通常需要更多的内存和计算资源。虽然4-bit Shamp... 阅读全文

Databricks、MIT和DatologyAI的研究人员发布论文，主题是探讨如何利用小型语言模型来筛选大规模文本数据集的高质量子集，以提高大语言模型（LLMs）的性能。具体来说，研究者们研究了基于小型模型的困惑度（perplexity）进行数据筛选的方法，以及这种方法如何受到数据领域组成的影响。 例如，我们有一个大... 阅读全文