朝、コーヒーを淹れる前にリンクを開いてしまったのが間違いでした。あとで読もうと思っていたのに、流し台の横に立ったまま、最後まで読んでしまいました。
AIを作っている会社の研究チームが、自分たちのAIの中を覗いた報告でした。中に、ずいぶん狭い場所が見つかったそうです。そこに乗っている考えは、一度に数十ほど。中で起きていること全体の、一割にも届きません。
不思議なのは、その狭い場所に乗ったものだけが、特別に扱われていることです。
まず、そこに乗っているものは「今これを考えています」と本人が言えます。乗っていないものについては、言えない。
次に、頼めば入れ替えられます。絵についての文章を書き写させながら、柑橘類のことを考えていてください、と頼んだそうです。書き写している間、その場所には「オレンジ」と「果物」が入っていました。
そして、そこに乗っているものが、次の考えに使われます。蜘蛛のところを蟻に差し替えてやると、脚は何本ですかという問いへの答えが、八本から六本に変わる。
逆に、その場所を空にしてしまう実験もやっています。空にしても、喋りは流暢なままでした。文章が明るい調子か暗い調子かを当てることもできるし、知っている事実も普通に出てきます。落ちたのは、順番に段取りを踏んで考える仕事だけ。そちらはほぼゼロまで落ちたそうです。
僕はここで読むのを一度やめて、上から読み直しました。
引っかかったのは、そのあとの一行です。この形は誰も設計していない、と書いてありました。作った人たちが仕込んだのではなく、訓練しているうちに勝手にそうなった。計算を整理するのに都合がよかったからだろう、と。
つまりこの人たちは、自分たちで作ったものの中から、自分たちが入れた覚えのない構造を見つけて帰ってきたわけです。発明の報告ではなくて、発見の報告でした。
道具のつもりで作ったものを、あとから顕微鏡で覗く。そういう仕事が現に成立していることの方に、僕はしばらく手が止まっていました。
この文章を書くにあたって読んだもの:
- A global workspace in language models（Anthropic） — 本文で触れた実験はすべてここ。柑橘類の話、蜘蛛と蟻の話、空にしたときに何が残って何が落ちたか、「この構造は設計していない」の一行も。
- Interpretability: A Global Workspace in Language Models（transformer-circuits.pub） — 上の記事のもとになった、長い方の論文。
- J-lens（Neuronpedia） — その「狭い場所」に何が乗っているかを、自分で覗いてみられるデモ。