OpenAI最强竞品训练AI拆解LLM黑箱，意外窥探大模子「灵魂」 182和259）组成的最强

建立一个可注释的最强AI去明白「AI黑盒」

钻研职员最先训练了一个异常简朴的512神经元AI来展望文本，嗣后训练了另一个名为「自动编码器」的竞品AI来展望第一个AI的激活形式
 。

自动编码器被要求建立一组特征（对应更高维度AI中的训练箱意神经元数目），并展望这些特征怎样映照到真正AI中的拆解神经元 。

效果发现 ，黑魂纵使原始AI中的外窥新加坡出国劳务招聘信息国劳务招聘信息神经元自身阻挡易明白，然则新的模灵AI中的这些师法神经元（也就是「特征」）是单义的 ，每特征都意味一个指定的最强观念或性能 。

譬如，竞品特征#2663代表「God」这个观念。训练箱意

激活它的拆解训练语句中最强的一条来自「Josephus」的纪录中「当God降下暴雪时，他前往Sepphoris」。黑魂

能够看到顶真个激活都是外窥看待「God」的分歧用法。

这个师法神经元似乎是模灵由一组真正神经元（席卷407，182和259）组成的最强。

这些真正神经元自身与「God」没有太大联系，譬如神经元407主要对非英语（尤为是重音拉丁字母）和非规范文本(如HTML标签)有赞同
。

然则在特征层面 ，一切都是杂乱无章的，当特征2663被激活时，它会增长文本中涌现「bless」 、出国劳务信息网站「forbid」 、「damn」或「-zilla」的几率
。

这个AI并未将「God」这个观念与怪兽名字中的「God」区离开来 
。这可能是由于这个浅易AI没有足量的日本打工神经元资源来专门解决这个事 。

但随着AI具有的特征数目增长 ，这种状况会发作转变:

在这棵树的底部 ，你能够看到当这个AI拥有越来越多的特征时
，它在数学术语中对「the」的明白是怎样转移的。

最先，为甚么会有一个数学术语中「the」的意大利出国劳务信息一定特征?这许可能是由于AI的展望需要——知晓某些一定的「the」之后应该会追随一些数学辞汇 ，譬如「numerator」也许「cosine」。

在钻研职员训练的最小的谁人只有512个特征的AI中
，只有一个意味「the」的特征，而在拥有16384个特征的最大AI中，这个特征已经分支出了一个意味机械学习中「the」的特征，一个意味复综合中「the」的特征，以及一个意味拓扑学和形象代数中「the」的特征 。

因而，要是能将系统升级到一个拥有更多师法神经元的AI，那意味「God」的特征很能够会团结成两个——一个意味宗教中「God」的寄义，另一个意味怪兽名字中「God」的寄义。

之后，能够会有基督教中的God、犹太教中的God、哲学中的God等等
。

钻研小组对412组真正神经元和响应的师法神经元停止了主观可注释性评价，www.hijob.jp日本招聘网站发现师法神经元的可注释性总体上较为好:

一些特征，譬如意味「God」的特征，是用于一定观念的。

众多其余高度可注释的特征
，席卷一些最可注释的
，是用于意味文本的「样子」，譬如大写或小写字母、英语或其余字母表等。

这些特征有多罕见呢?也就是说
，要是你在相同的文本数据上训练两个分歧的4096个特征的AI ，它们会有大一面相同的4096个特征吗? 它们会都有某些代表「God」的特征吗?

也许第一个AI会将「God」和「哥斯拉」放在一同，而第二个AI会将它们离开?第二个AI是否是就整体不会有意味「God」的特征
，而是用谁人空间遗失一些第一个AI不行够明白的其余观念?

钻研小组停止了尝试，发现他们的两个AI模子长短常相似的!

平稳而言，要是第一个模子中有一个特征，第二个模子中最相似的特征会有0.72的中值有关性。

看到了AI的灵魂

后续的职责将是甚么呢?

往年五月 
，OpenAI试图让GPT-4（异常大）明白GPT-2(异常小) 。他们让GPT-4搜检了GPT-2的个307200个神经元，并演讲它发现的实质。

GPT-4找到了一系列有味的效果和一堆随机空话，由于他们尚无掌握将真正神经元投射到师法神经元并综合师法神经元的技术。

纵使效果效验不显著，但这真实长短常野心勃勃的实验。

与Anthropic可注释性文章中的这个AI分歧 ，GPT-2是一个真正的（纵使异常小）AI，已经也给团体留住了长远影像。

然则钻研的最终手段是要能够注释主流的AI系统 。

Anthropic的可注释性团队认可他们尚无做到这一点，主要鉴于以下几个缘由:

最先
，扩张自动编码器的领域是一个很难题的事务 。为知道释GPT-4（或Anthropic的等效系统Claude）这样的系统，你需要一个差未几异样巨细的注释器AI 。

然则训练这样领域的AI需要重大的算力和资源支援。

其次，注释的可扩张性也是一个问题。

纵然咱们找到了整个看待God 、哥斯拉以及其余一切的师法神经元 ，并画出它们之间怎样相连的重大联系图。

钻研职员任然需要回覆一些更庞杂的问题，解决这些问题需要涉及成百上万万的特征和衔接的庞杂交互。

因而需要一些自动化的流程 ，也就是某种更大领域的「让GPT-4通知咱们GPT-2在做甚么」。

最终
，整个这些对明白人类大脑有甚么启示?

人类也运用神经网络停止推理和解决观念。

人类大脑中有许多神经元 ，这一点和GPT-4是一致的。

人类赢得的数据也异常稀疏——有许多观念（如乌贼）在一样正常生涯中很少涌现 。

咱们是否是也在师法一个更大的大脑?

暂时这照样一个异常新的钻研畛域 ，但已经有一些开端的发现，注解人类视觉皮层中的神经元真实以某种超定位的形式编码特征，与AI模子中视察到的形式相似。

参照资料:

https://transformer-circuits.pub/2023/monosemantic-features/index.html#phenomenology-fsa