苏黎世联邦理工学院的研究人员发布论探讨和证明Transformer语言模型能够表示n-gram语言模型。n-gram语言模型是一种基于统计的语言模型，它根据前面的n-1个词来预测下一个词的概率。Transformer语言模型是一种基于深度学习的先进语言模型，广泛应用于自然语言处理任务中。例如，我们有一个4-gram语言... 阅读全文

苹果推出新型大型开放语言模型OpenELM，它旨在提高自然语言处理领域的研究透明度和可复现性，确保研究结果的可靠性，并允许对数据和模型偏见以及潜在风险进行调查。例如，你想要开发一个能够自动生成新闻文章摘要的系统。使用OpenELM，你可以对模型进行微调，使它能够理解新闻文章的关键信息，并生成简洁准确的摘要。由于Open... 阅读全文

伊利诺伊大学厄巴纳-香槟分校、Cohere 和普林斯顿大学的研究人员推出新技术SnapKV，，它是为了解决大语言模型（LLMs）在处理长文本输入时遇到的性能和内存效率问题。大型语言模型在生成文本时，会使用一种名为“键值（KV）缓存”的技术来提高性能，但随着输入长度的增加，KV缓存的大小也会增长，这会导致内存和时间效率问... 阅读全文

微软推出新型语言模型phi-3-mini，这是一个具有3.8亿参数的模型，它在性能上可以与一些大型模型相媲美，如Mixtral 8x7B和GPT-3.5，但大小却足以部署在手机上。这项技术的创新之处在于其训练数据集，这是phi-2数据集的一个扩展版本，包含了大量过滤过的网络数据和合成数据。例如。你有一个智能手机，上面安... 阅读全文

麻省理工学院计算机科学与人工智能实验室推出MAIA（Multimodal Automated Interpretability Agent，多模态自动可解释性代理）系统，MAIA是一个利用神经模型来自动化理解其他神经模型任务的系统，比如特征解释和故障模式发现。简而言之，MAIA就是一个能够“解释”神经网络的智能代理。 ... 阅读全文

摩根大通人工智能研究推出FlowMind，它能够利用大语言模型自动生成工作流程。在许多行业中，尤其是金融服务业，自动化重复性任务已经取得了显著进展，但在处理需要即时或不可预测任务的场景中，传统的自动化方法可能就不够有效。FlowMind通过使用像GPT这样的大语言模型，来创建一个能够自动生成工作流程的系统，以应对这些挑... 阅读全文

由香港大学、北京航空航天大学和苏黎世联邦理工学院的研究人员推出LLaMA3-Quantization，其采用低比特权量化（low-bit quantization）压缩LLAMA3模型大小，减少内存和计算需求，使模型能够在资源受限的设备上运行。LLAMA3是Meta公司发布的一种大语言模型，它在大量数据上进行了预训练，... 阅读全文

OpenAI发布关于如何提高大语言模型安全性的论文，特别是针对提示注入（prompt injections）、越狱（jailbreaks）和其他攻击手段，这些攻击可能允许攻击者覆盖模型的原始指令，执行恶意操作。研究者们提出了一个“指令层级”（instruction hierarchy）的概念，旨在训练LLMs区分不同优... 阅读全文

来自字节跳动、华东师范大学和华中科技大学的研究人员推出TextSquare系统，这是一个基于文本的视觉问答（VQA）模型，它利用了大型多模态语言模型（MLLMs）。TextSquare通过一个新颖的方法生成了一个大规模、高质量的指令调整数据集，称为Square-10M，这个数据集是通过使用闭源的MLLMs生成的。这项工... 阅读全文

来自南洋理工大学和阿里巴巴的研究人员推出LLM-R2系统，这是一个利用大语言模型（LLM）增强的基于规则的查询重写系统，旨在提高查询效率。查询重写是一种数据库优化技术，它通过改变SQL查询的结构来生成更高效的查询，而不改变查询的结果。 主要功能： 查询重写：LLM-R2能够接收一个SQL查询，并生成一个执行效率更高但结... 阅读全文

来自复旦大学和爱橙科技的研究人员推出新型网络爬虫生成系统AUTOCRAWLER，它是为了自动化地从特定类型的垂直信息网页中提取数据而设计的。垂直信息网页是指那些专注于特定主题或业务的网站，比如汽车、书籍、电影、NBA球员信息等。 GitHub：https://github.com/EZ-hwh/AutoCrawler ... 阅读全文

来自南方科技大学和快手的研究人员发布关于自动化程序修复（Automated Program Repair，简称APR）的研究，特别是基于大语言模型（Large Language Models，简称LLMs）的函数级别（function-level）APR技术。函数级别的APR意味着不仅仅是修复代码中的单个错误或一小段代... 阅读全文