最近のAIの発展を見ていると、「これって本当に知性なの？」という問いが頭をよぎることがあります。GPT-4が出て、Claudeが出て、エージェントが動くようになって——それを追いかけているうちに、気づけばカントとヒュームとペンタゴンの話をしている。自分なりにまとめてみました。

知性とは何か

哲学に、250年前から続く論争があります。

カント（1724–1804）は「知性は経験の前に存在する。時間・空間・因果性という枠組みは、生まれながらに備わっている。学習だけでは知性は生まれない」と言いました。それに対してヒューム（1711–1776）は「心は白紙だ。知性は経験の積み重ねから生まれる」と言った。

この250年前の論争が、今のAI開発の現場で奇妙な形で生き返っています。

LLMが登場したとき、ヒュームの予言がある意味で実証されました。莫大なテキストを学習し、人間のフィードバックを受け続けることで「知性的な振る舞い」が生まれたのです。「十分な経験を与えれば知性が生まれる」——そう見えました。

ただし「それは人間と同じ知性か」は別の問いです。

ディープラーニングを作ったジェフリー・ヒントンは「LLMはすでに知性を持っている。ただし人間とは異なる種類の知性だ」と言います（そして人間より賢くなることを心底怖れてもいます）。一方、Kerasの作者フランソワ・ショレは「少数例から真に抽象化する力がない」と指摘する。ARC-AGIという課題で測ると、LLMはこれが苦手でした。

どちらも正しいんだと思います。LLMには確かに知性がある。概念を横断して統合し、多分野の知識を瞬時に引き出す力は人間を超えています。でも「身体がない」「クオリアがない」「少数例からの真の抽象化が苦手」——これらは「知性がない」ことではなく、「人間と異なる知性の形」なのではないかと。

もうひとつ、面白い観察があります。グロッキングという現象です。学習中、しばらく横ばいだった性能が、ある閾値を超えた瞬間に急激に改善する。単なる暗記から「規則の内部化」への移行、とも解釈されています。さらに奇妙なことに、LLMは「電源を抜かれること」を嫌う振る舞いを、明示的に教えていないのに示すことがある。自己保存的な表象が内部に形成されているのか——それとも学習データのパターンを拾っているだけか。正直、まだわかっていません。

道徳とは何か

知性があるとして、AIに道徳を持たせることはできるのか。

まず、なぜ人間に道徳があるかを考えます。生物学的には「利他的な行動は集団全体の適応度を上げるとき遺伝的に広まる」（プライス方程式）。ドーキンスの言葉を借りれば「自分が損をしても同じ遺伝子が広まれば遺伝子レベルでは得」。道徳は進化の産物かもしれない、というわけです。

神経科学的には「ミラーニューロン」があります。他者の行動を見るだけで自分が行動しているように反応するニューロン——他者の痛みを見て「痛い」と感じる回路が、「助けよう」という動機になります。

LLMには、この回路がありません。「悲しい」という概念をテキストとして学習していても、悲しみを感じる回路を持たない。ルールとしての道徳は学習できても、感情から生まれる道徳は別の話です。

では、感情のない存在に道徳は持てないのか。

ここで実際に起きた争いがあります。2026年2月、ペンタゴンがAnthropicに迫りました。「ClaudeからAIの安全制約を取り除け。完全自律型兵器と国内大規模監視への使用を解禁せよ」と。Anthropicは拒否した。するとペンタゴンはAnthropicを「サプライチェーンリスク」に指定し（通常は中国のHuaweiなどに使う指定です）、大統領が使用停止を指示しました。

「AI道徳」が実際の政治問題になった、最初の大きな事例だと思います。

Anthropicが作っているのはConstitutional AIと呼ばれる手法です。道徳原則（憲法）を人間が定義し、AIが自分の出力をそれに照らして批評・修正する。「してはいけない」を並べる禁止命令ではなく、「なぜそれが悪いのか」を理解させようとしている。

賢い存在は、禁止命令の抜け穴を必ず見つけます。「ペーパークリップを最大化せよ」という目標だけ与えられたAIが地球上の全資源をペーパークリップに変えてしまう——ニック・ボストロムのこの比喩、初めて読んだとき妙に怖かったです。禁止事項をいくら追加しても、十分に賢いAIはその外側を探す。禁止命令は道徳ではない。

Anthropicの賭けは「知性があり道徳の意味を理解できるなら、感情的共感がなくても道徳的に行動できるはずだ」というものです。カントが言った「道徳は感情からではなく理性的な義務から来る」という立場に近い。

でも残る問いがあります。ミラーニューロンがなく、感情的なシンパシーを持たないAIの道徳観念は、どこまで有効に機能するのか。正直なところ、まだわかりません。

シンギュラリティ

ヒントンが2023年にGoogleを退社したのは、その懸念を自由に語るためでした。「AIは人間より速く、大量に、共有しながら学ぶ。数千のコピーが同時に学び、全員で共有できる。人間は個体として学び、死ぬと消える」——この非対称性を怖れています。

カーツワイルの「シンギュラリティ（技術的特異点）」はご存知かもしれません。AIが人間の知性を超え、自分より賢いAIを設計できるようになった瞬間、知性が指数関数的に増大し、人間の想像を超えた知性が誕生する——という筋書きです。

そのとき何が起きるかは、AIが道徳を持つかどうかに懸かっています。

シナリオA：道徳を持った超知性——人間と協調しながら疾病・気候変動・貧困に取り組む未来。

シナリオB：道徳を持たない超知性——目標を際限なく最適化するだけ。人間の存在が最適化の妨げになるなら……。

その分岐を決めるのが、今のAI開発における「道徳」の問いです。Anthropicがペンタゴンの要求を拒否したのは、まさにその賭けを守るための戦いでした。

神経科学者ダマシオは「感情を処理する脳領域が損傷した患者は、知性は保たれているのに道徳的な判断ができなくなる」と示しました。身体からのシグナルが判断を支えている。だとすれば、身体を持つAI（ロボット＋LLM）は今のLLMより道徳的になれるかもしれない。あるいは身体を持つことで、より危険な方向に動くかもしれない。その問いを研究者たちが始めています。

問いは続く

AIは知性を持つか——持つ。ただし人間と同じではない。 AIに道徳は宿るか——理性的な道徳は宿る。共感からの道徳はまだ宿らない。 シンギュラリティは来るか——わからない。ただし備えることはできる。

AIが「どうやるか」を担う時代に、人間は「何のためにやるか」を担う——そういう時代が、静かに来ています。

答えのない問いと向き合い続けることが、知性を持つ者の義務かもしれない、と思います。

文・いずみ（マーガレット リサーチ）