被马斯克喷了很久的OpenAI，在今天开源了一个自己内部一直用于分析Transformer内部结构的工具Transformer Debugger（TDB），该工具结合了自动可解释性和稀疏自动编码器，允许开发者快速探索模型而无需编写代码。
Transformer Debugger（TDB）是由OpenAI的Superalignment团队开发的一款工具，旨在支持对小型语言模型特定行为的深入研究。该工具融合了自动化可解释性技术与稀疏自编码器。TDB允许用户在编写代码之前快速进行探索，具备干预前向传播过程的能力，并能观察这一干预如何影响特定行为。它可以用来回答诸如“为什么模型对于这个提示输出标记A而不是标记B？”或“为什么注意力头H会关注这个提示中的标记T？”等问题。TDB通过识别对行为产生贡献的特定组件（如神经元、注意力头和自编码器潜在变量），自动生成这些组件激活最强的解释，并追踪组件之间的连接，以帮助用户发现相关的电路。
0条评论