OpenAI 开发新工具，试图用GPT-4解释语言模型的行为 ​

OpenAI 开发新工具，试图用GPT-4解释语言模型的行为

OpenAI表示，它的工作方式包括在每个神经元上运行3个步骤：第一步，生成解释使用GPT-4。第二步，使用GPT-4进行模拟；即用GPT-4模拟这个GPT-2的神经元接下来会做什么。第三步，对比评估打分；即根据模拟激活与真实激活的匹配程度为解释打分。通过这样的方法，OpenAI对每个神经元的行为作出了初步的自然语言解释，并对这种解释和实际行为的匹配程度进行了评分。成果显示，最终OpenAI对GPT-2中307200个神经元全部进行了解释，并将这些解释汇编成数据集，与工具代码一起在GitHub上发布。

这个工具的原理是利用另一个语言模型（也就是OpenAI最新的GPT-4）来分析其他语言模型（比如OpenAI自己的GPT-2）的内部结构。语言模型由许多“神经元”组成，每个神经元都可以观察文本中的某种特定模式，并影响模型下一步的输出。例如，给定一个关于超级英雄的问题（比如“哪些超级英雄有最有用的超能力？”），一个“漫威超级英雄神经元”可能会提高模型提到漫威电影中特定超级英雄的概率。

OpenAI的工具就是利用这种机制来分解模型的各个部分。首先，它会将文本序列输入到被评估的模型中，并等待某个神经元频繁地“激活”。然后，它会将这些高度活跃的神经元“展示”给GPT-4，并让GPT-4生成一个解释。为了确定解释的准确性，它会提供给GPT-4一些文本序列，并让它预测或模拟神经元的行为。然后它会将模拟的神经元的行为与实际神经元的行为进行比较。

“通过这种方法，我们基本上可以为每个神经元生成一些初步的自然语言解释，并且还有一个分数来衡量这些解释与实际行为的匹配程度。” OpenAI可扩展对齐团队负责人Jeff Wu说，“我们使用GPT-4作为过程的一部分，来生成对神经元在寻找什么的解释，并评估这些解释与它实际做什么的匹配程度。”

研究人员能够为GPT-2中所有307,200个神经元生成解释，并将它们编译成一个数据集，与工具代码一起在GitHub上以开源形式发布。像这样的工具有朝一日可能被用来改善语言模型的性能，比如减少偏见或有害言论。但他们也承认，在真正有用之前，还有很长的路要走。该工具对大约1000个神经元的解释很有信心，这只是总数的一小部分。

有人可能会认为，这个工具实际上是GPT-4的广告，因为它需要GPT-4才能运行。但Wu说，这并不是这个工具的目的，它使用GPT-4只是“偶然”的，而且，相反它显示了GPT-4在这方面的弱点。他还说，它并不是为了商业应用而创建的，并且理论上可以适应除了GPT-4之外的其他语言模型。

“大多数解释的分数都很低，或者没有解释太多实际神经元的行为。” Wu说，“很多神经元的活动方式很难说清楚 —— 比如它们在五六种不同的东西上激活，但没有明显的模式。有时候有明显的模式，但GPT-4却无法找到。”

更不用说更复杂、更新、更大的模型，或者可以浏览网页获取信息的模型了。但对于后者，Wu认为，浏览网页不会太改变工具的基本机制。他说，它只需要稍微调整一下，就可以弄清楚神经元为什么决定进行某些搜索引擎查询或访问特定网站。

“我们希望这将开辟一个有前途的途径，来以一种自动化的方式解决可解释性问题，让其他人可以建立在上面并做出贡献。” Wu说，“我们希望我们真的能够对这些模型的行为有好的解释。”