CodeTF是一个基于Python的Transformer一站式库，专为代码大语言模型（Code LLMs）和代码智能任务而设计。它提供了无缝的训练和推理接口，可应用于代码摘要生成、翻译、代码生成等任务。该库旨在促进SOTA CodeLLMs轻松集成到实际应用中。 除了提供代码的核心LLMs功能外，CodeTF还具备跨... 阅读全文

llm.c是一个使用简单、纯粹的C/CUDA进行大语言模型训练的开源项目，无需庞大的245MB PyTorch或107MB cPython依赖。例如，GPT-2（CPU，fp32）的训练仅需要单个文件中约1000行的简洁代码。该代码能够立即编译并运行，且与PyTorch的参考实现完全吻合。之所以选择GPT-2作为首个工... 阅读全文

Morphic是一个开源的AI搜索引擎，你可以借助于Vercel AI SDK快速部署，设置 OpenAI APIh后就可以使用。... 阅读全文

北京人工智能研究院、南洋理工大学、北京大学计算机学院的研究人员发布论文，详细介绍了训练AI玩《荒野大镖客2：救赎》所面临的挑战，并对其在游戏中的表现进行了评估和评述。在题为《迈向通用计算机控制：以《荒野大镖客救赎2》为案例研究的多模态智能体》这篇论文中，读者可以了解到AI通用计算机控制（General Computer... 阅读全文

德克萨斯大学奥斯汀分校的研究人员推出简单方法Inheritune，用于从现有的大型基础语言模型（LM）中开发小型基础语言模型。这种方法的核心思想是：首先从大型LM中继承几个变压器块（层），然后在非常小的数据集（例如，原始预训练数据的0.1%）上训练这个小型模型。这个过程类似于从父母那里继承基因，然后用有限的资源（如食物... 阅读全文

亚利桑那州立大学和马里兰大学巴尔的摩县分校的研究团队发布论文论文探讨了自然语言指导在低层次视觉任务中的鲁棒性，特别是单目深度估计任务。单目深度估计是指使用单个图像来预测场景中每个像素的深度信息。最近的研究表明，通过将自然语言作为额外的指导信息，可以提高深度估计的准确性。然而，这种方法在泛化和鲁棒性方面的影响尚未得到充分... 阅读全文

来自康奈尔大学、普林斯顿大学和微软的研究人员推出新的强化学习算法数据集重置策略优化（Dataset Reset Policy Optimization，简称DR-PO），主要用于从人类偏好反馈中微调生成模型，例如GPT-4和Claude3 Opus等。这种算法特别适用于当人类标注者提供基于偏好的反馈（例如，对一个强化学... 阅读全文

FreeAskInternet 是一款完全免费、私密且本地运行的搜索聚合器和答案生成器，它利用大型语言模型（LLM）工作，无需 GPU 支持。用户可以通过 FreeAskInternet 界面提出问题，系统会调用本地运行的 searxng 进行多引擎搜索，并将搜索结果整合至 ChatGPT3.5 或其他大型语言模型中，... 阅读全文

Aider 是一款命令行工具，它允许您与 GPT-3.5/GPT-4 进行结对编程，以编辑本地 git 仓库中存储的代码。Aider 会直接修改您本地源文件中的代码，并自动使用合理的提交信息将其提交到 git。您可以借助它开启一个新项目，也可以与现有的 git 仓库协同工作。Aider 的独特之处在于，它能够根据您的请... 阅读全文

360 公司日前在 GitHub 上开源了 360 智脑 7B（70 亿参数模型）。360 智脑大模型采用 3.4 万亿 Tokens 的语料库训练，以中文、英文、代码为主，开放 4K、32K、360K 三种不同文本长度。360 表示，360K（约 50 万字）是当前国产开源模型文本长度最长的。 GitHub：http... 阅读全文

来自亚利桑那大学和克卢日·纳波卡技术大学的研究人员发布论文探讨了大型预训练语言模型（如Llama2、GPT-4、Claude 3等）在没有经过额外训练或梯度更新的情况下，仅通过上下文示例进行线性和非线性回归任务的能力。简单来说，就是研究这些智能模型是否能通过观察一些例子，就能学会预测或估计某些数值。 例如，假设我们有一... 阅读全文

来自MIT的研究人员推出新型大语言模型JetMoE-8B，它通过创新的技术实现了低成本和高性能的平衡，为各种语言处理任务提供了广泛的应用可能性。例如，你有一个超级聪明的机器人朋友，它可以和你聊天、帮你写代码、解答数学问题，甚至还能理解和生成不同语言的文本，这就是JetMoE-8B的超能力。 项目主页：https://r... 阅读全文