ヒトとAI (岡野原大輔)

書籍情報

• 著者:苫米地英人 (著)
• 発行日:2026-07-22
• ISBN:9784004321224
• URL:https://www.iwanami.co.jp/book/b10170462.html

書籍目次

• はじめに
• 第I部 ヒト以外の知能
  • 第1章 学習する計算機
    • 学習する計算機と、説明できなくなった人間
    • 理解する前に答えがある世界へ
  • 第2章 学習とは何か
    • 模倣する学習から、試行錯誤する学習へ
    • なぜ人は「理解していないもの」に従うのか
    • わからないものに判断を委ねるとはどういうことか
    • 理解を前提とした判断の限界
    • コラム 学習の三つの基本形
  • 第3章 AIは断片的な世界で学習する
    • 断片的な学習がもたらす強さ
    • 連続性を持たない学習の限界
    • AIは表面的にしかわかっていない
    • 世界の厚みを持った人の学習
    • コラム 大規模言語モデルの学習
  • 第4章 AIは継続学習が苦手
    • 分散表現が生む「記憶の干渉」
    • 破滅的忘却
    • AIは忘れながら覚え直している
    • 反復によって成立する学習
  • 第5章 なぜヒトは少ない経験から学べるのか
    • 生存戦略としての「その場学習」
    • 多次元的で高密度な学習
    • 記憶の固定化と干渉の回避
    • 抽象化という圧縮装置
  • 第6章 抽象化の力と副作用
    • カテゴリ化
    • 因果を見出したいという欲求
    • 抽象化や因果推論が生む誤りと迷信
    • 抽象化と偏見
    • 人とAIの抽象化の違い
    • 抽象化は知能の加速装置であり、不安定化要因でもある
  • 第7章 究極の抽象化である言語
    • 個人を超える学習
    • 曖昧さの強さ
    • 離散化とコピー可能性
    • 無限の表現力
    • AIが言語を扱うということ
    • さまざまな情報をつなぐハブとしての言語
  • 第8章 AIは理解しているか
    • 言語の理解と世界の理解
    • 理解を構成する五つの観点
    • AIは五つの理解をすでに高い水準で実現している
    • コラム 文脈内学習
• 第II部 ヒトの知能 ――AIとの対比からみる特徴
  • 第9章 個別性と多様性 ――同じ世界でも、異なる世界にいる
    • 評価軸の違いからの個別性
    • 多様性は探索のための設計原理である
    • AIとの対比 ――評価軸の固定という制約
  • 第10章 文化 ――個人を超えて学ぶ仕組み
    • 文化がもたらす集団学習
    • 評価軸の外部化
    • 文化を持たないAIとの対比
  • 第11章 死と有限性 ――不可逆な有限性が知能を形づくる
    • 不可逆性が選択を生む
    • 死と集団の学習
    • AIとの構造的な違い
  • 第12章 感情 ――学習を駆動する内的報酬
    • 感情の起源 ――身体状態のモニタリングから社会的評価へ
    • 感情は経験に重みを与える
    • 内的報酬としての感情
    • 感情と個別性
    • AIは感情を持ちうるか
  • 第13章 自由と責任 ――選択を引き受ける主体
    • 主体なき選択は自由ではない
    • 不可逆性としての自由と責任
    • AIはなぜ自由ではないのか
    • 自由と責任の再定義
  • 第14章 意識と自己 ――「私」はどこに宿るのか
    • 自己モデル ――行動を「自分のもの」にする短期記憶
    • 目標 ――行動に方向を与える軸
    • 内省能力と主観経験
    • AIはどこまで主体か
    • 社会的主体と責任の所在
• 第III部 ポストAIの社会 ――制度・経済・責任
  • 第15章 責任は誰のものか
    • 責任が生じる三つの条件
    • 「主体があるように見える」ことの危うさ
    • AIにおける責任のズレ
    • 責任はどこに置かれるのか
    • 責任を個人に還元しないために
  • 第16章 仕事の再設計 ――AIが業務に溶け込んでいく
    • 変化は連続的に、まず仕事の内部から起きる
    • エージェントとハーネス
    • 文化という巨大なハーネス
    • 仕事は部分的に、構造から自動化される
    • 実行は分散し、判断は集約される
    • 監査可能性と責任の所在
    • 新規事業に見る人間の役割
  • 第17章 ポストAI時代の業務（1） ――指揮と統合
    • 指揮という仕事
    • 統合という仕事
    • 統合と経営判断の関係
  • 第18章 ポストAI時代の業務（2） ――監査・変更・停止
    • 監査とは何か
    • 変更という介入
    • 変更に伴う責任
    • 停止という不可逆な境界を引く判断
    • 設計として引き受けられる責任
  • 第19章 コミュニケーションの再設計 ――交渉が並列化し、委譲が制度になる
    • 会話の高速化から、合意形成の構造化へ
    • 代理交渉と専門性の外部化
    • 委譲が制度になるということ
    • 日常生活へ浸透するエージェント交渉
    • 注意と責任の再配分としてのコミュニケーション
  • 第20章 言語の再発明
    • 自然言語が前提としてきた人間同士の了解
    • 自然言語の第一の制約 ――一次元の流れ
    • 曖昧さという緩衝材の限界
    • 第二の言語層
    • 自然言語を補ってきた人工言語の延長として
    • AIにとって自然言語は特別ではない
  • 第21章 教育の更新
    • 地図を持たぬ者に、ナビは使いこなせない
    • 学習の個別最適化の功罪
    • 問いを立てる力と学びの主体性
    • 教師・学校・学びの場の役割の変化
    • コラム 試験はどうなるのか？
  • 第22章 研究開発の逆転
    • 理解なき発見の常態化
    • 整理する者から意味づける者へ
    • 神託への接近
  • 第23章 神託としてのAIと科学研究
    • 納得と制御の分離
    • 神託としてのAI
    • 理解から検証へ ――神託の飼いならし方
    • 制度としての責任
  • 第24章 エージェント社会とRTS
    • エージェント社会とは何か
    • RTSゲーム
    • 人間は「司令部」という位置に現れる
    • エージェント社会の構造
    • 拡張するエージェント社会
  • 第25章 引き返せない選択としての創造性
    • 「終わらせる」という特権
    • 責任という名の創造性
  • 第26章 なぜ外国語を学ぶのか
    • 翻訳できることと、外国語がわかることは違う
    • 言語を学ぶとは、生成規則を覚えることではない
    • 内面化された生成空間としての言語
    • 生成を手放したあとに残るもの
  • 第27章 数十億のAIエージェントが経済活動を担うとき ――主体・契約・市場の再編
    • 法人とAIエージェントは何が違うのか
    • 契約は自動化できても、責任は自動化できない
    • エージェント市場が生む新しい不安定性
    • 人間に残る役割 ――主体を設計するという仕事
  • 第28章 AIを社会に組み込むための設計原理
    • 内部からの逸脱 ――制御不能のリスク
    • 外部からの武器化 ――悪用のリスク
    • 社会実装のための三つの設計原理
    • 権利は感情ではなく制度である
• おわりに ――AIと共に変わるヒト
• 参考図書
• あとがき

はじめに

• AIの進歩:
  • AIは文章の読み書き、画像や音声の理解、外部ツールの利用、運転やロボット制御、研究支援、相談対応、創作までこなすようになった
  • 人間の頭のなかでしか行われてこなかった知的作業が、道具として外在化され、誰もが利用できる形になりつつある
  • AIは便利なツールの枠を超えて人の判断や選択の過程に入り込み、人間の行為の前提を書き換えつつある
• 過去の技術革新との質的な違い:
  • 人類は火、産業革命、半導体やインターネットなど、仕事や生活、社会を不可逆的に変える変化を何度も経験してきた
  • これまでの技術が拡張してきたのは主に身体的能力や生産の規模であり、判断や意味づけといった知的行為の中核は人間の内部にとどまってきた
  • AIでは判断や意思決定が外在化され、その結果に対する責任の引き受け方そのものが揺らぎ始めている
• 私たちが置かれた立場:
  • 私たちは「AI以前」を知る最後の世代であり、「AI以後」を形作る最初の世代でもある
  • 私たちは否応なく変化の只中に置かれ、誰が判断し、誰が責任を負い、誰が主体として行為するのかを問われている
• 本書が扱う問い:
  • 無数のAIエージェントが社会的な営みを担うとき、仕事、経済、制度、産業はどのような再設計を迫られるのかが問われる
  • 人間に理解できない判断をAIが提案した場合、その結果の責任を誰が引き受けるのかが問われる
  • AIを主体として扱えないなら、主体の不在を前提にどのような制度や規範を組み立てるべきかが問われる
  • 学習の個別最適化や知識へのアクセス拡大が進むなか、人間を超えるAIと共存する時代に教育は何を目指すべきかが問われる
  • AIのリスクの監査・制御・社会への位置づけは、主体や責任の概念を再定義する社会全体の課題である
  • AIと共存する社会では、逆説的に「人間にしかできないことは何か」が問われ、ヒトの特徴や特異性が捉え直される
• 本書の位置づけ:
  • 本書は『大規模言語モデルは新たな知能か』（二〇二三年）に続き、この数年間で明らかになった事実と論点を整理するものである
  • 本書の目的は、人間がAIと共にどう生き、新しい社会をどう築くかを考えることである
• 著者の立場:
  • AIは判断するが、当事者性がなく、失敗を自らの履歴として背負わず、有限性を持たないため、その判断を「自分のものとして固定し続ける」主体にはなれない
  • この構造的な非対称性はAIの能力が高まるだけでは埋まらず、判断の結果を引き受けるのは人間であり続ける
  • 判断を委ねることはできても、責任を委ねることはできない
  • 本書では、自由とは選択肢の多さではなく、選んだ結果を自分のものとして引き受ける重さの問題だと考える
  • 一方で、AIの判断を完全に理解してから受け入れることは多くの場面で現実的ではない
  • 理解が後から追いかける世界で、責任をどう配置し、どう主体として関与し続けるかという問いに答えることが本書の目的である
  • 本書は未来を楽観的にも悲観的にも断言せず、読者が自ら思考するための前提条件や論点の見取り図を提示することを目指す

第1章 学習する計算機

• 従来の計算機:
  • 従来の計算機は、人間が定めたアルゴリズムに従い、分岐と手続きを積み重ねて問題を解く「計算をする機械」だった
• 従来のアプローチの限界:
  • 画像から犬か猫かを識別するような問題は、人間には容易でも、その判断規則を明示的に書き下すことはほぼ不可能である
  • こうした判断は、少数の単純な規則ではなく、無数の要素が複雑に絡み合った結果として成立している
• 暗黙知:
  • 「うまくできるのに、うまく説明できない」能力は、哲学や認知科学で暗黙知と呼ばれてきた
  • 言語の運用、価値判断、計画の実行なども暗黙知の一例である
  • 暗黙知はアルゴリズムとして書き出せないため、従来の計算機に実装することは困難だった
• 機械学習による突破:
  • 機械学習は、規則を直接教えるのではなく、データという経験を与えて機械自身に規則性を獲得させるアプローチである
  • 大量の正解付きデータを通じて、AIは人間が言語化できないパターンを抽出し、識別できるようになる
• 表現方法の獲得:
  • 現在では、生のデータを与えるだけで高度な判断が可能になり、データや問題の「表現方法」自体も学習で獲得できるようになった
  • 表現方法とは、入力から重要な特徴や構造を抽出し、計算機が扱いやすい形に変換する操作である
  • 表現方法は人間が暗黙知で実現してきた中核の能力であり、これを獲得できれば問題を解くこと自体は易しい
• 計算機の質的転換:
  • 計算機は「規則を実行する機械」から「規則を獲得する機械」、すなわち「学習する機械」へと変貌した
  • これは単なる機能向上ではなく、別の機械へと変化する出来事だった

学習する計算機と、説明できなくなった人間

• 人間側の変化:
  • 計算機が学習するようになったことで、人間側の振る舞いも静かに、しかし決定的に変わり始めている
• 崩れた前提:
  • かつて人間は規則を立てて計算機に実行させる側にあり、結果の理由を原理的には説明できるという前提があった
  • 学習する計算機は「なぜそう判断したのか」を説明できないまま、多くの場合正しい答えを先に返す
• 日常における変化:
  • 私たちは検索結果、候補案、レコメンド、生成文章を前にしてから考え、選び、手直しをしている
  • 人間は結果を最初から構成するのではなく、提示された結果を採用・修正・却下する判断を担うようになった

理解する前に答えがある世界へ

• 理解できないものを使う経験:
  • AI以前から、人間は医師の治療方針や高度な科学理論の成果を、完全には理解しないまま利用してきた
  • 相対性理論を理解する人は限られるが、それに基づくGPSは誰にとっても不可欠な道具になっている
• 理解を補う根拠と制度:
  • こうした状況では、理解の代わりに専門性、手続き、検証可能性、再現性、過去の実績といった根拠や制度が用いられてきた
  • どこまでを自分で理解し、どこからを他者や社会の仕組みに委ねるかの判断自体が思考の一部だった
  • 自分の理解を超えた能力を使いこなせることが、人間の強みといえる
• 順序の逆転:
  • 学習する計算機の普及により、理解に基づいて結果を出すという従来の順序は、すべての場面では維持できなくなる
  • 結果が先に提示され、それをどう引き受けるかを後から考える場面が避けがたく増えていく
• 理解の新たな役割:
  • これは「理解しなくてもよい世界」への転落ではない
  • 結果が先に与えられる世界では、理解は選択を引き受け続けるための根拠として、より強く要請される
  • 結果の影響や責任を引き受け続けるには、理解を支える別の根拠が不可欠となる
• 人間の主体性:
  • 学習する計算機の登場は、理解・判断・責任の関係を人間自身が組み直さざるをえなくなった兆候である
  • 答えをどう扱うかを決める主体は、依然として人間の側にある

第2章 学習とは何か

• 学習の定義:
  • 本書でいう学習とは、経験や内省を通じて自己の内部状態が持続的に変化していく過程を指す
  • 内省とは、自分の内部状態や過去の行動と結果を参照して次の振る舞いを調整する、広い意味でのフィードバック過程である
  • 学習は記憶の形成と切り離せず、その本質は「次に同じか似た状況に直面したときの反応が変わる」点にある
• 生物における学習の物理的基盤:
  • エリック・カンデルはアメフラシを用いて、強い刺激により新たな反射反応が生じ、その背後にシナプス結合の形成・強化という物理的変化があることを示した
  • 人間の学習ははるかに複雑で未解明の部分も多いが、経験に応じた物理的変化に根ざして内部状態が更新され、持続的な行動変化として現れるという原理は同じである
• AIにおける学習:
  • AIの学習も、経験に応じて内部状態が少しずつ変化し、その結果として反応が変わっていく過程である

模倣する学習から、試行錯誤する学習へ

• 狭義の学習としての重みの更新:
  • 現在主流のAIでは計算の仕組みが固定されており、その内部に「重み」や「パラメータ」と呼ばれる多数の調整可能な数値が含まれている
  • 狭義の学習とは、データを与えて出力の良し悪しを評価し、その結果をもとに重みを少しずつ調整することを繰り返す過程である
• 教師あり学習:
  • これまでのAIの学習は、多くの場合、人間が用意した大量の正解付きデータを手本として模倣する「教師あり学習」で行われてきた
• 強化学習への拡大:
  • AIの学習は、正解が事前に与えられない問題へと広がりつつある
  • この場合、AIは自ら環境に働きかけ、得られる報酬のみを手がかりに学習を進め、これは主に「強化学習」と呼ばれる
• 自己評価による学習:
  • 近年では成果への評価すら外部から与えられず、AI自身が推定した評価を利用して自己学習し続ける手法も登場している
  • これは外部の力を借りずに自己学習できるという点で、学習のあり方における重要な転換点である
  • 目標自体を学習で獲得するのは鶏と卵問題に見えるが、「行動するより評価する方が容易である」というギャップを利用している
• 学習の拡張:
  • 学習は「人間の過去の記録をなぞる段階」から、AI自身が試行錯誤を通じて未知の領域を探索する段階へと急速に拡張されつつある

なぜ人は「理解していないもの」に従うのか

• AIは理解している存在ではない:
  • AIは人間の思考に似た振る舞いを示すため「理解している」と誤解されがちだが、内部で起きていることは人のそれとは必ずしも一致しない
  • それにもかかわらず人はAIの出力に従い、他人に対してよりもAIに従う場合すら多い
• 信頼される性質:
  • AIは、人間社会が長らく「信頼できる」と感じてきた一貫性・再現性・中立性を極めて高い水準で備えている
  • 気分や疲労、利害で判断が揺らぐ人間と異なり、AIは同じ条件に対して原理的に同じ振る舞いを返し続け、中立的に振る舞う
• 信用の枠組みへの構造的適合:
  • 人がAIを信頼するとき、その内部を完全に理解している必要はない
  • 私たちはこれまでも専門家、制度、過去の実績を根拠に信頼を判断してきており、AIはこの信用の枠組みに構造的に適合している

わからないものに判断を委ねるとはどういうことか

• 判断の重心の移動:
  • 判断をAIに「委ねる」ことは判断の放棄ではなく、判断の重心が移動しているといえる
  • 従来、人間は判断の根拠を自分の理解のなかに置き、「腑に落ちている」感覚とともに判断を引き受けてきた
• 外部化された判断過程:
  • AIが多くの提案を行う世界では、提示された選択肢から選ぶことになり、判断は残るがその過程は外部に置かれる
  • これは、外部から与えられた選択肢を採用する行為を通じて、その結果の影響を丸ごと引き受けるようになったことを意味する
• 事後的にしかわからない正しさ:
  • 理解できていない以上、判断が正しかったかどうかは採用した後でしかわからず、その影響はしばしば不可逆である
  • AIが広く使われる世界とは、判断過程が不可視になるなかで人間が判断結果を引き受ける世界である

理解を前提とした判断の限界

• 規範の前提の変化:
  • 「理解していないものを使って判断するな」という規範は今なお正しく重要である
  • しかし、この規範が前提としてきた「判断の根拠を事前に可視化し、理解・説明できる」という状況が変わりつつある
  • 学習する計算機を用いた判断では、結果が先に現れ、理解や説明が後から追いつく場面が避けられない
• 契約書の例:
  • 数百ページの英文契約書をAIに読ませ、数百か所の修正が必要と指摘された場合、専門性も時間もないなかで、もとの条件のまま契約するのが最善かAIの改訂案を承諾するのがよいかが問われる
• 問われていること:
  • 問題は「理解していないものを使ってよいか」だけでなく、「理解が事後的にしか成立しない判断を含む世界で、専門性・説明・責任をどう再構築するか」である
• 次章への導入:
  • 次章では、ヒトの学習と比較しながら、AIの学習がどの点で似ており、どの点で決定的に異なるのかを見ていく

コラム 学習の三つの基本形

• 教師あり学習:
  • 入力と正解（教師信号）を与え、予測と正解の誤差が小さくなるように重みを調整する学習である
  • 例えば、花の画像から花の名前を予測できるよう人が正解を教える学習がこれに当たる
  • 学習データだけでなく未知の無数のデータを正しく予測できる能力（汎化）の獲得を目指す
  • 現在の多くの実用的な認識・予測システムは教師あり学習に基づいている
• 強化学習:
  • 正解が直接与えられない代わりに、行動の結果が報酬として評価され、報酬を最大化するように行動方針が更新される
  • 囲碁やチェスのAIが自己対戦を通じて上達するのはこの仕組みによる
  • 学習主体が自ら試行してデータを得ること、どの行動が報酬を最大化するかを推定する必要があることが教師あり学習との違いである
  • 近年では評価の仕方自体も学習し（報酬モデル）、その結果に基づいて学習を進める手法も登場している
• 表現学習:
  • 教師なし学習や自己教師あり学習を含む広い意味での表現学習は、明示的な正解や報酬がなくてもデータから有用な表現を獲得する学習である
  • 大量のテキストから言語の構造を学ぶことで、読解・翻訳・要約といった後続の学習を効率化できる
  • 現在の大規模言語モデルの基盤となっている事前学習もこの考えに基づいており、最も重要な学習形態の一つである
• 三つの学習形態の組み合わせ:
  • まず教師なし学習で有用な表現を獲得し、その上で教師あり学習や強化学習を行うことで、望んだ性質を持つAIを構築できる
  • 現在の多くの大規模AIシステムはこの組み合わせで構築されている

第3章 AIは断片的な世界で学習する

• 人間との決定的な違い:
  • AIは膨大な知識と高速な処理能力を持つが、世界との関わり方という点で学習のあり方が人間と決定的に異なる
• 事前学習の仕組み:
  • 大規模言語モデルの事前学習では、巨大なテキスト集合からランダムに切り出された断片を読み、続く語や文を予測する自己教師あり学習を繰り返す
  • 学習の主目的は予測そのものではなく、予測に有用な情報処理の仕方を内部の重み全体ににじませることにある
  • このにじみが積み重なって定着し再利用可能になると、知識や知能として振る舞い、多様で高度な言語処理・情報処理の能力が得られる
• 断片（エピソード）による学習:
  • 学習の瞬間にAIが触れるのは世界の連続した経験ではなく、本書の一、二章分程度の短い文脈の断片である
  • AIは人生のような長い時間的連続性を一度も持たないまま、ショート動画のように次々と見せられる断片から学習する
  • 各エピソードの中で、AIは場面に応じて内部モデルを適応させ、小説の書き手や生物学者のようにその場で次々と変わりながら予測を学ぶ

断片的な学習がもたらす強さ

• 横断的な知識獲得:
  • ランダムな文脈断片を大量に処理する学習は、特定の状況に依存せず効率よく世界の多様な知識や経験を獲得することを可能にする
  • AIは一つの物語や人生に没入しない代わりに、無数の状況を横断的に眺めて共通する構造を抽出する
• なりきる能力:
  • その結果、AIは特定のキャラクターになりきる能力が高く、多様な視点から考える作業は人間よりうまくできる場合が多い
• 人間の学習との対比:
  • 人間の経験は「自分がその場にいた」という個人的文脈に結びつき、知識が具体的な状況や感情と不可分になる
  • これは理解を深める一方で、視点を固定する原因にもなる
• 当事者でないことの利点:
  • AIはどの断片にも当事者として関与せず、成功も失敗も痛みも後悔も持たない
  • この距離感により、AIは文脈を横断して異なる分野の似た構造の問題を結びつけ、さまざまな状況に対応できる
  • AIは一つの世界を深く生きていないが、人には到達できない規模で世界の型を知っており、人が気づきにくい分野横断的な対応関係を容易に見出せる

連続性を持たない学習の限界

• 連続性の欠如:
  • この強みは同時に限界でもあり、AIは時間が積み重なり取り返しのつかない出来事が生じる感覚を当事者として持たない
  • ここでの「連続性」とは、選択が次の選択の前提をつくり、その積み重ねが未来に影響を与える構造を指す
• 人間にとっての不可逆性:
  • 人間の行為は履歴として残り、信用・人間関係・健康・資産・制度上の地位などを不可逆に変化させる
  • 人間の学習は不可逆な出来事と結びつき、失われた可能性ややり直せない失敗の記憶が判断に慎重さやためらいをもたらす
  • この慎重さは、感情に加え、未来の選択肢が狭まることを個人と社会の両面で知っているという意味での知識である
• AIにとっての失敗:
  • AIの学習には当事者として経験が積み上がる不可逆性がなく、誤りは学習で修正されても「取り返しがつかない」感覚は蓄積されない
  • AIにとって失敗は世界を変える出来事ではなく、出力分布を少し押し戻すための信号に過ぎない

AIは表面的にしかわかっていない

• 局所的な正しさと時間的整合性のずれ:
  • 正しさが一回の判断で完結せず、自分が作ってきた状況との整合を考える必要がある場面で、この違いが顕著になる
  • 断片ごとに正しく見える推論が、時間的・社会的な連鎖の中では破綻することがある
• 後戻りが難しい領域:
  • 契約、医療、採用、研究の意思決定のような領域では、一手の誤りが後の自由度を大きく奪う
  • そこで必要なのは単発の最適解より、修復可能性や許容できる損失といった「経路」や「回復可能性」を含む判断である
  • AIは回復可能性を当事者として経験しないため、局所的な合理性が過大に働きやすく、それを超えた判断ができない
• エージェントAIの現状:
  • 今のエージェントAIは環境の中で試行し数時間から数日分の経験を積むようになったが、人間の経験とはまだ大きな隔たりがある
• 規範の表面的な理解:
  • これは感情や倫理、価値観の欠如の問題ではなく、AIは事後学習で安全性や社会規範を教わり、人間よりも遵法的に振る舞うよう訓練されている
  • しかし学習されているのは規範の「意味」ではなく規範に沿った応答の形式であり、AIは表面的にしかわかっていない
  • AIは痛い目にあい大切な世界が壊れる経験を持たないため、何が取り返しのつかない変化を生むかといった規範の境界条件を体感的に学べない

世界の厚みを持った人の学習

• ギャップの本質:
  • 問題はAIが「悪い」ことや「未熟」なことではなく、本物の世界を連続した経験として生きていないという学習条件そのものにある
  • この条件が局所的な正しさと連続する時間の中での正しさの間にギャップを生み、現実の意思決定では致命的になりうる
• 世界の厚み:
  • 人間の学習は、視覚・聴覚・感情・身体感覚が同時に符号化され多次元的に記憶される「世界の厚み」を常に伴っており、この仕組みは第5章で論じられる
  • AIは学習の時点ではこのような「世界の厚み」を持たない

コラム 大規模言語モデルの学習

• 事前学習:
  • 大規模言語モデルの学習は複数段階の工程からなり、大量の断片的データで学習する最初の段階が「事前学習」である
  • 文章の途中までを与えて後続テキストを予測させる問題を大量に解かせることで、文法、語彙、文脈構造、背後の概念的関係を獲得する
  • 事前学習では数兆から数十兆文字規模のテキストが用いられるのが一般的である
  • 入力の一部から残りを予測する同様の枠組みは、画像、動画、音声にも用いられるようになっている
• 文脈長の拡張:
  • 事前学習後のモデルは次のテキストを予測することしかできないため、実用的なタスクに役立つようさらに学習させる
  • まず扱える文脈の長さを拡張する訓練を行い、これは人間の短期記憶の容量を鍛える段階にたとえられる
  • この段階を経て、数十万から数千万文字の文脈を扱えるようになる
• 指示追従と制約の学習:
  • 続いて、質問に答える、指示に従う、不適切な振る舞いを避けるといった能力や守るべき制約を学習させる
• 強化学習による推論能力:
  • 推論能力を引き出すため、数学やプログラミングの問題を解かせ、高い評価につながる思考過程を強化する強化学習が用いられる
  • 数学やプログラミングによる強化学習は一般的な推論能力の向上にも寄与することが知られ、リベラルアーツ教育を想起させる
• 学習工程の複雑化と規模:
  • 最先端モデルでは補助モデルの利用、他モデルの出力の学習データ化、学習データの合成・編集などにより工程が非常に複雑になっている
  • 一つのモデルの学習には数百人から数千人が関与し、AI向け半導体が数千個から数十万個規模で使われる
  • 消費電力は数十万世帯分に相当する数百メガワットに達し、学習期間も数か月から一年程度に及ぶことが珍しくない

第4章 AIは継続学習が苦手

• 本章の主題:
  • AIは新しいことを学ぶと過去に学んだことを失いやすいという構造的な性質を持つ
  • この継続学習の苦手さが、断片的な経験を繰り返し観察するという学習方法を必要とする根本的な理由である
• 人間の学習:
  • 人間にとって学習は基本的に蓄積の過程であり、新しい経験は既存の知識体系に組み込まれて再構成される
  • 自転車に乗る技能は、立つ・歩く・バランスを取るといった既存の能力を壊さず、それらを前提に組み合わされて成立する
• AIの学習:
  • 現在のAIでは、新しい課題を学習させるとそれまでできていたことが急にできなくなることがある
  • この現象は偶然や実装上の不具合ではなく、学習の仕組みそのものから生じる構造的な問題である

分散表現が生む「記憶の干渉」

• 分散表現:
  • AIの内部では知識は個別の記憶として保存されず、多数の重みが結びついたネットワークのなかで分散的に表現されている
  • 人は記憶を「ケーキ」「饅頭」のように概念ごとに別の場所にしまわれたものとしてイメージしがちだが、AIではそうなっていない
• 記憶の干渉:
  • 分散表現では「ケーキ」と「饅頭」が重みや特徴の一部を共有しているため、一方の更新が他方にも影響を及ぼす
  • 新しい情報を覚えると、内部表現を共有していた過去の知識も同時に書き換えられる
  • その結果、新しいことを覚えることが、古いことを忘れることや記憶が壊れることと表裏一体になる
• 干渉の原因:
  • 多くの知識を柔軟に扱い一般化するために内部表現をあえて共有していること自体が、記憶の干渉を生みやすくしている

破滅的忘却

• 定義:
  • 記憶の干渉が極端な形で現れたものが破滅的忘却であり、新しい学習を進めるほど過去の能力が元に戻せない形で急激に損なわれる
• 人間との違い:
  • 人間は新しい友人の名前を覚えても古い友人の名前を突然忘れることは通常ない
  • AIでは新しい課題を追加で学習すると、まったく関係のない別の能力の性能が低下することがある
  • それは算数を勉強したら自転車に乗れなくなるようなものである
• 忘却の現れ方:
  • 忘却は単に知識が消える形ではなく、応答が変わる、安定していたことが不安定になるなど、過去の学習結果が壊れる形で現れることが多い
  • そのため、忘却は気づきにくい

AIは忘れながら覚え直している

• 第3章との関係:
  • この性質は、AIが断片的な学習を行っている理由と深く関係している
  • AIは学習中も常に以前の学習結果を忘れ続けており、初期に獲得した能力が最後まで維持されるとは限らない
• 現在の学習方法:
  • 現在の大規模なAIは、あらかじめ固定された巨大なデータ集合をまとめて学習する形を取っている
  • 新しい情報だけを順に追加するのではなく、過去に見た内容を含むデータを何度も混ぜ込んで全体を学び直す
  • ただし同じデータをそのまま観測すると過剰適合するため、言い換えなどの別のデータにする必要がある
• 非効率さと成立条件:
  • この方法は非常に非効率である
  • 忘れるスピードより覚えるスピードが速いことを前提に、忘れながら覚え直し続けることで全体の能力を定着させている
  • 現時点では、断片的でランダムな経験を膨大な回数処理する方法でしか、AIの学習結果を安定させられないという制約がある

反復によって成立する学習

• 実用化を支える要因:
  • 不完全さがあってもAIが実用的に成立しているのは、学習による更新の一回一回が極めて高速で、大量の反復を現実的な時間で実行できるためである
• 人間との違い:
  • 人間は、大学生になるまでの学習を同じ条件であと一〇〇回繰り返すといったことはできない
  • AIは、覚えては少し忘れ、また覚え直すという過程を数十回、数百回と繰り返すことができる
• 結論:
  • 少なくとも現時点では、継続学習が苦手という致命的な制約を抱えたままでも、力技によって高度で多様な能力を備えたAIを構築できている

第5章 なぜヒトは少ない経験から学べるのか

• 本章の問い:
  • AIの学習の特性は、ヒトの学習と比べるとよりはっきり見えてくる
  • ヒトは強い興味や感情を伴う経験であれば、一度の体験でも長く記憶し、その後の行動を変える
  • ヒトが少ない経験から学べる背景には、生物としての生存戦略があると考えられる

生存戦略としての「その場学習」

• 不安定な自然環境:
  • 進化の過程でヒトが生きた環境は予測不可能で、同じ条件が繰り返されることはほとんどなく、失敗をやり直す余地もなかった
  • AIは同じ条件で何万回も試行錯誤できるが、自然界では一度の判断ミスが致命的になりうる
• 一度で学ぶ能力と生存:
  • 初めて蛇に遭遇して恐怖を感じた個体は、その一度の経験で蛇の形状や動きに注意を払うようになる
  • 同じ失敗を繰り返さなければ学べない個体は、次の機会の前に命を落とす可能性が高い
  • 限られた経験から確実に学べるかどうかが、生存確率の差につながる
• 有利な学習戦略:
  • このような環境では「たくさん試して少しずつ最適化する」より「一度の経験からできるだけ多くを学ぶ」戦略の方が有利になる
  • ヒトのその場学習に近い能力は、知的な贅沢品ではなく、生き延びるために鍛え抜かれた能力だと考えられる
  • ヒトは一度の経験のなかで非常に多くの情報を同時に利用しており、内部では膨大な情報が処理・統合されている

多次元的で高密度な学習

• 世界の厚みを伴う学習:
  • ヒトが少ない経験から学べる理由の一つは、学習の瞬間に扱う情報の密度がAIと根本的に異なることにある
  • 経験は五感の情報に加え、身体の状態、周囲の空気、同伴者、感情といった要素が重なり合って記憶される
  • さらに、どのような履歴を辿ってその経験に至ったかという意味づけも伴う
• 運転中の危険の例:
  • 運転中に危ない目に遭った記憶には、光景だけでなく音、心拍数の高まり、身体の緊張、恐怖や驚きが一体となって刻まれる
  • その記憶には、それまでの運転の様子や運転前の状態も紐づいている
  • 一回の経験でも、極めて高密度なデータとして取り込まれる
• AIとの違い:
  • 大規模言語モデルの学習データには背景情報が与えられず、すべて等価な情報の羅列として扱われる
  • AIでは、「心臓が跳ね上がるほどの恐怖」とともに記憶に焼き付くような重みづけが行われない
  • ヒトは世界の一部として経験を積むのに対し、AIは世界の断片を外部から観測する立場にあり、この違いが学習効率の差となる
• 文脈ごとの参照:
  • 世界の厚みを伴う学習では、出来事の状況と結果が感覚や感情と結びついて保存される
  • そのため、別の状況に直面したときにも過去の経験を文脈ごと参照できる
  • 構造化された経験が、次の判断に影響を与える形で内部に組み込まれていく

記憶の固定化と干渉の回避

• 段階的な記憶の統合:
  • ヒトの脳では、経験した内容が即座に長期記憶として固定されるわけではない
  • 新しい出来事はまず短期記憶として保持され、海馬を介して一時的に整理される
  • その後、睡眠や休息を含む複数の段階を経て、既存の記憶と整合性をとりながら長期記憶として定着する
• 既存の知識体系への位置づけ:
  • 新しい記憶は孤立した情報ではなく、似た経験や関連する概念、過去の成功や失敗と照らし合わされて全体の構造に組み込まれる
  • この仕組みにより、新しいことを覚えても過去の記憶が壊れにくい
  • 新しい経験は、既存の理解を補強したり微調整したりする方向に作用することが多い
  • 運転という新しい技能は、それ以前の空間認識能力や身体操作の感覚を前提として拡張される
• AIにおける干渉:
  • AIの学習では、新しい情報が過去との整合性をとることなく内部の重み全体に反映される
  • その結果、同じ表現を共有していた過去の知識が書き換えられ、干渉が生じやすい
  • 現在の多くのAIには、「段階的な統合」や「文脈を保った固定化」が備わっていない
  • ヒトの脳は新しい環境に適応するために過去を再解釈するようにできており、これは計算機と生物の進化の違いを反映している
• 効率と安定性の両立:
  • ヒトの記憶固定化の仕組みは、学習効率を高めるとともに学習の安定性も確保している
  • 少ない経験から学べる性質と過去の学習を壊しにくい性質は、同じ構造の異なる側面である

抽象化という圧縮装置

• 抽象化と一般化:
  • ヒトは経験をそのまま保存するのではなく、重要な構造だけを抜き出して別の状況にも適用できる形に変換する
  • この過程は、本質的な要素と偶然に過ぎない要素を選り分ける、情報の選別・圧縮と捉えられる
• 火傷の例:
  • 火傷をした子どもの脳は、焚き火が熱かったという事実に加え、赤く揺らめき強い熱を発するものに触れると痛いという関係を抽出し、「危険」の概念と結びつける
  • その結果、ストーブやライターを見ても「熱いかもしれない」「近づくべきではない」と推論できる
  • 一回の経験が、直接経験していない対象への行動変化も導く
• 抽象化を支えるもの:
  • 抽象化が可能なのは、経験が世界の厚みを伴って記憶され、既存の知識体系と統合されているからだと考えられる
  • 感情や身体感覚を含む高密度な経験が、抽象的な概念の形成を支えている
• 抽象化の強み:
  • ヒトは少数の経験から一般的なルールを導き出し、新しい文脈に適用できる
  • そのため、経験の量が限られていても環境の変化に柔軟に適応できる
• 抽象化の危うさ:
  • 重要でない要素を切り捨てることは、誤った一般化を生む可能性を常に含んでいる
  • 一度形成された抽象的なルールが判断を強く方向づけ、例外的な状況を見落とすこともある
  • 圧縮が強力であるほど学習は速くなるが、同時に偏りも生まれやすくなる
• 次章への展開:
  • 次章では、抽象化の力がどのように判断を導き、誤りや不可逆な選択を生み出すのかを具体的に見ていく
  • ヒトの学習の強さが責任や判断の重さとどう結びつくのかが、そこで明らかになる

第6章 抽象化の力と副作用

• 抽象化とは何か:
  • 抽象化とは、現実の複雑さを圧縮し、本質的な構造だけを取り出す操作である
  • 人間は日常のほぼすべての場面で、重要でない情報を捨て意味のある情報だけを残すという抽象化を無意識に行っている
• 合理的な戦略としての抽象化:
  • 街を歩くとき、通行人の細部ではなく「人が多い」「危なそうだ」といった大まかな情報で行動を決めるのは、限られた認知資源で世界を扱う合理的な戦略である
• 抽象化の本来の価値:
  • 抽象化は脳の負荷を下げるが、本来の価値は世界の構造を取り出し、別の状況でも使える形にする点にある
  • 適切な抽象化ができれば、異なる現象に共通する構造を見出し、未知の状況にも素早く対応できる

カテゴリ化

• 抽象化の代表的な形:
  • 人は他者の複雑な個別性をすべて処理せず、年齢・性別・職業・立場といった分類でラベル付けして理解しようとする
• 予測の効率:
  • 「高齢の男性で、元教師だ」とわかれば、その人の価値観や話し方をある程度予測できる
  • この予測は必ずしも正確でなくても、何も知らない状態から理解しようとするよりはるかに効率がよい
• 判断と行動の迅速化:
  • ビジネス・医療・教育などでは完全な個別対応は不可能であり、分類に基づいて意思決定が行われている
  • パターンに当てはめることで、「この場合はこう振る舞えばよい」という行動指針を素早く得ている
• 知識の変換:
  • 抽象化とは、少ない経験から再利用可能な形へと知識を変換する操作である

因果を見出したいという欲求

• 因果探索の欲求:
  • 人間は出来事の背後にある理由や因果関係を見つけたいという強い欲求を持っている
  • 因果関係を見出すことは抽象化の特に強力な形式であり、時間を越えて経験を再利用するための装置でもある
  • この欲求は本能的であり、理解できたと感じたときに強い納得感や安心、快感すら覚える
• 謎を解きたいという根源的欲求:
  • 推理小説で犯人やトリックが明らかになった瞬間の爽快感はその典型例である
  • 原因がわからない出来事は、不安や違和感としていつまでも残り続ける
• 学習と予測への有用性:
  • 過去の出来事の背後の構造を理解できれば、似た状況で先回りして行動できる
• 進化的な説明:
  • 因果を追い求める欲求をたまたま持った種族が、自然淘汰で競争力を持ち生き残ってきたのではないかとすら考えられる
• 反実仮想能力:
  • 人間は介入した場合に何が起きるかを想定する反実仮想能力を持ち、この想像力が因果推論の能力を引き上げている

抽象化や因果推論が生む誤りと迷信

• 過度な一般化:
  • 抽象化や因果推論は、限られた情報から素早く仮説を立てる仕組みである一方、ときに過度な一般化や結論を生む
• ジンクスの例:
  • 野球選手が「左足から」打席に入って二回続けてヒットを打つと、偶然の可能性が高いのに因果関係を見出してルール化し、同じ動作を繰り返すようになる
• 抽象化の副作用としての迷信:
  • ジンクスや迷信の多くは抽象化の副作用だと考えられる
  • ヒトが発達させた「関係を見落とさない」能力は、関係が存在しない場面でも因果を見出してしまう副産物を生んだ
• 陰謀論:
  • この傾向が極端になると、部分的な事実から存在しない「真実」を構築してしまい、陰謀論はその典型例である
  • 陰謀論は少数の出来事から因果を見出し、すべてを説明できたような錯覚をもたらす
• わからないことへの不安:
  • 本当は「わからない」とするのが正しいが、人間は「わからないままにしておく」状態に強い不安を覚える

抽象化と偏見

• カテゴリ化が生む偏見:
  • すべての個人が異なり状況で振る舞いも変わるのに、抽象化されたラベルで判断すると差別や偏見が生じる
• 問題の所在:
  • 抽象化は汎化に不可欠であり、それなしに知能は成り立たない
  • 問題は、抽象化されたモデルを現実そのものだと誤認し、修正や更新を止めてしまう点にある
  • 抽象化は常に仮のものかつ近似であり、生み出した因果関係も違う可能性を認め、現実によって更新され続ける必要がある
• 本質の思い込み:
  • ヒトはカテゴリに目に見えない本質が宿っていると思い込む癖があり、これが差別や偏見を強固にする
• 気づきにくさ:
  • 抽象化や因果推論は本能的に行われるため、自分が誤った一般化をしていることに気づきにくい

人とAIの抽象化の違い

• 従来のAIの苦手:
  • 従来のAIは「適切な抽象化」を苦手としてきた
• 統計的な抽象化:
  • 現在のAIは高度な抽象化が可能になったが、それはあくまで統計的な正しさに過ぎない
  • 人間にとって火は身体的な痛みと不可分な概念だが、AIにとっては画像パターンや「熱さ」「赤」といった単語との統計的な結びつきに過ぎない
  • そのためAIは、物理法則や生命の危機を無視した、人間にはありえない奇妙な抽象化のミスを犯すことがある
• 生存という重し:
  • 人間の抽象化は生存という強烈な重しで地面に繋ぎ止められているのに対し、AIの抽象化はデータの大海を漂っているだけである
• 未解明の能力:
  • 人間がなぜ抽象化や因果推論を自然に行えるのかは、現在のAI研究でも十分に説明できていない部分が多い

抽象化は知能の加速装置であり、不安定化要因でもある

• 抽象化の定義の整理:
  • 抽象化とは、共通する構造や関係性だけを取り出し再利用可能な形に変換する操作であり、カテゴリ化も因果推論もその異なる表れにすぎない
• 加速装置としての抽象化:
  • 抽象化によって、人はごく限られた経験からでも未知の状況に対応できる
  • 一度の失敗や成功から一般的な教訓を引き出し、次の行動を修正できる
• 不安定化要因としての抽象化:
  • 抽象化は本質的に仮説生成の仕組みであり、正しさを保証しない
  • 存在しない因果関係を見出したり過度に一般化したりすることで、迷信や偏見、誤った確信が生じる
  • 抽象化は正確さよりも速さと再利用性を優先するため、常に誤作動の可能性を内包している
• 誤りの起源:
  • こうした誤りは理性の欠如や注意不足ではなく、生存と学習の効率を最大化するよう進化した知能の構造そのものから生じている
• AIとの違い:
  • 人間は意味や因果を中心に世界を圧縮する一方、AIはしばしば表面的な特徴に過剰に適合する
  • 両者は同じ「抽象化」という言葉で呼ばれていても、その中身は大きく異なる
• 次章への導入:
  • 次章では、人間の抽象化能力を決定的に拡張してきた道具である言語に焦点を当てる

第7章 究極の抽象化である言語

• 言語の定義:
  • 言語とは、現実世界を強く圧縮し、同時に抽象化したシンボル体系である
  • ここでいう圧縮とは、構造の要点を残したまま抽象化し、再利用可能な形に変換する操作である
• 圧縮の例:
  • 一一月から二月にかけて気温が低いという多数の観測結果は、「冬は寒い」という短い文で表せる
  • この一文には、過去の経験の要約に加え、将来の予測や「防寒が必要だ」という行動指針までが暗黙に含まれている
• 目の前にないものを扱う力:
  • 言語は、過去、未来、仮定、可能性といった直接観測できないものを、ひとつの世界モデルとして頭のなかで組み立てられる
  • 「今年の冬は寒そうだから早めに冬支度をしよう」といった判断は、言語によって初めて安定して共有・反復できる
  • 言語は、時間や可能性を含んだ世界のモデルを構築し、操作するための道具である

個人を超える学習

• 他者の経験の取り込み:
  • 言語の獲得により、人間は直接経験していない出来事も他者の言葉を通じて知れるようになり、学習が個人の枠から解放された
  • 失敗談や成功談、歴史や神話、科学的発見は、言語によって初めて共有され、蓄積されてきた
  • 言語は、一生で直接経験できることが限られるという制約を打ち壊し、他者の経験を意思決定に組み込むことを可能にした
  • 言語は、同時代の他者だけでなく、過去の記録や未来への計画とも接続できる
• 累積的な知能の基盤:
  • 言語を介して接続された巨大な共有ネットワークのなかに、知識や判断の基盤が形成されていった
  • 人間が他の動物や類人猿と比べて柔軟で累積的な知能を獲得できたのは、言語が決定的な役割を果たしたためである
• 本章の構成:
  • 以下で、言語が強力である理由を三つ挙げる

曖昧さの強さ

• 曖昧さの合理性:
  • 言語が強力である第一の理由は、言語が本質的に曖昧である点にある
  • 現実世界は連続的で文脈依存的であり厳密に切り分けられないため、完全に厳密な表現はむしろ扱いにくい
  • 言語はあえて厳密さを捨てることで、現実の多様で複雑な現象を無理なく写し取り、コミュニケーションを成立させている
  • 「寒い」「危険だ」といった言葉は客観的な量として定義されていないが、それでも私たちは十分に意思疎通し、判断し、行動できる
• 心の理論による復元:
  • 曖昧さが許されるのは、受け手が話し手の意図をシミュレーションし、欠落した情報を補完できる心の理論を持っているからである
  • 言語は「相手の脳」を復元装置として利用した圧縮手法である
  • AIとの対話で圧縮が失敗しやすいのは、AIが人間と同じ身体的・社会的共通基盤を持たず、復元が失敗するからである
• 曖昧な指示の例:
  • 「無理しない範囲で急いでください」という指示は、受け手の状況と能力に応じて最適点を探せという意味を含んでいる
  • これを厳密な条件として伝えるには、相手の能力、作業の危険度、締切の意味、失敗コストなど膨大な前提を共有しなければならない
  • 目的がコミュニケーションである限り、曖昧さはむしろ合理的である
• 曖昧さへの対処:
  • 曖昧さが原因で問題が起きる場合には、曖昧さがあるなかでも運用するための追加の仕組みが必要になる
  • 価値観や文化を共有していない相手やAIとのコミュニケーションでは、この仕組みが重要な論点となり、本書の後半で扱う

離散化とコピー可能性

• 離散表現としての言語:
  • 言語が強力である第二の理由は、言語が離散化された表現であり、極めて正確に複製できる点にある
  • 意味への接続は曖昧でも、記号列としての言語は明確に区切られた単位（文字）の集合であり正確である
• 劣化しにくい媒体:
  • 絵画や身振りは複製を重ねるうちに変質していくが、文章は記号として遥かに正確にコピーできる
  • コピーの過程で誤りが混入しても、それを検出して修正することが容易である
  • 「コピー間違いを検査できる離散表現」であることが、言語を原理的に劣化しにくい媒体にしている
• 知識の伝搬と進化:
  • 写本、印刷、出版といった技術はこの性質を利用し、知識の伝搬速度を飛躍的に高め、広い範囲に正確に伝えてきた
  • 遺伝子もまた、四種類の文字に遺伝情報を離散化することで高精度な複製を可能にしている
  • 世界の複雑な情報を無限に複製できる離散表現へと落とし込むことが、累積的な進化を可能にした

無限の表現力

• 組み合わせによる無限性:
  • 言語が強力である第三の理由は、その表現力が事実上無限である点にある
  • 言語は新しい単語を生み出せるだけでなく、既存の語彙と文法規則の組み合わせによって無数の内容を表現できる
  • 物理世界が100種類ほどの元素から多様な物質を生み出すのと同様に、有限の構成要素から無限の多様性が立ち上がる
• 仮定と反事実:
  • 言語は、存在しない対象、まだ起きていない出来事、起こりえた別の可能性も表現できる
  • 「もしあのとき別の選択をしていたら」といった仮定や反事実的思考は、言語によって初めて扱える
  • これにより人間は、頭のなかに複数の「ありえた世界」「ありうる世界」を同時に構築し、比較検討できるようになった
  • 計画、設計、戦略、制度、物語といった人間特有の営みは、この言語的な生成能力の上に成り立っている
• 抽象度の調整:
  • 言語は、同じ出来事を具体的に描写することも、「失敗だった」と要約することもでき、抽象度を自由に調整できる
  • この可変性によって、人間は状況に応じて思考の解像度を切り替え、詳細と全体像を往復できる
• 思考の基盤:
  • この表現力こそが、科学、法律、哲学、物語といった高度に抽象化された知の体系を可能にしてきた
  • 言語は伝達手段に加えて、人間の思考そのものを支える基盤である

AIが言語を扱うということ

• 新たなプレイヤーの参加:
  • 現代のAI、とりわけ大規模言語モデルは、文章を読み、生成し、対話し、推論することができる
  • これは抽象化の媒体を人間以外の存在が直接操作し始めたことを意味し、人類史上初めて知的活動の土俵に別のプレイヤーが本格的に参加し始めた出来事である
• 知識体系へのアクセス:
  • 科学論文、法律文書、技術仕様、文学作品、議事録、歴史史料は、言語という共通形式で保存されている
  • AIはそれらを読み、要約し、組み合わせ、新しい文脈で再構成でき、人間のみが関与してきた知の流通と再編に関与する存在になった
• 理解との隔たり:
  • AIが言語を扱えることと、人間と同じ意味で言語を理解していることの間には、隔たりがある可能性がある
  • AIは意味を感じたり、意図を持ったり、世界を生きていたりしない
  • AIにとっての言語は記号と記号の関係性で閉じており、記号と現実の事物との結びつきが希薄である
  • 人間の「痛み」には身体的感覚の裏付けがあるが、AIの「痛み」は「苦しい」「避けるべき」といった単語と共起する確率が高い記号に過ぎない
  • 記号が世界に接地していないという点こそが、AIの理解の限界であり、人間との決定的な違いである
• 突きつけられる問い:
  • それでもAIは人間が積み重ねた知を取り込み、抽象的な操作を行い、人間の思考と区別がつかない出力を生み出す
  • この事実は、理解とは何か、知能とは何かという問いを避けて通れない形で突きつけている

さまざまな情報をつなぐハブとしての言語

• マルチモーダルの統合:
  • 近年のAIは画像、音声、動画といった多様な情報を同時に扱い、それらが言語を中心とした共通の意味空間に統合されつつある
  • AIは画像を見て「赤い信号の前で車が止まっている」と記述でき、逆に指示から対応する画像や動画の特徴を呼び出すこともできる
  • ここでは、画像が言語的な概念と結びついた形で処理されている
• 意味の単位へ束ね直すハブ:
  • AIにとって言語は、視覚や聴覚といった連続的で高次元な情報を、意味の単位へと束ね直すハブとして機能する
  • 色、形、動き、音といった情報が、「人」「物」「行為」「状況」といった離散的で操作可能な概念にまとめられる
  • この束ね直しがあるからこそ、異なる種類の情報を横断した推論や判断が可能になる
• 人間における同様の役割:
  • 人間も体験をそのまま保持するのではなく、言葉に変換して記憶し、共有し、再利用している
  • 「あのとき危なかった」といった表現は、感覚的体験を意味の単位へ圧縮する操作にほかならない
• 知能の中心としての言語:
  • 非言語的な情報までもが言語を介して同じ抽象的な操作空間に持ち込まれ始め、AIは「見る」「聞く」「読む」を一つの知的体系として統合し始めている
  • 言語はAIにとっても知能の中心に位置するハブとなりつつあり、世界を意味のある構造として扱うための接続点である
• 次章への問い:
  • AIは人間の言語を模倣しているだけなのか、それとも何らかの意味で理解に到達しているのかが問われる
  • 次章では「理解」という言葉を議論可能な形へと分解し、AIと人間の間にある連続性と断絶を見ていく

第8章 AIは理解しているか

• 議論の対立:
  • 「AIは統計的にそれっぽい文を出しているだけで理解していない」という批判と、「多くの分野で人間を上回る以上理解している」という見方が対立している
  • 議論が噛み合わない最大の理由は、「理解」が単一の能力ではなく、複数の異なる能力や水準をまとめて指す言葉だからである
• 本章の構成:
  • 理解の対象を整理し、理解を外から観察できる能力の束として分解したうえで、現時点のAIの強みと限界をみていく

言語の理解と世界の理解

• 二つの理解の対象:
  • AIの理解には「言語そのもの」の理解と、言語を通じて記述・共有される「世界」の理解という、密接に関係するが同一ではない二つの対象がある
• 言語そのものの理解:
  • 大規模言語モデルは、自然な文の生成、文脈に応じた語の使い分け、要約・翻訳・言い換えを極めて高い水準でこなす
  • 含意や婉曲表現、文体の切り替えも調整できるため、「高度な文字列操作」と捉えるのは不十分である
• 本章が扱う世界の理解:
  • 本章は、言語によって表現されている背後の世界をAIがどこまで扱えているかを問う
  • 言語は現実世界や人の考えを抽象化・圧縮した表現であり、言語を扱うことは背後の構造を部分的に反映して扱うことでもある
  • ここでの「世界」とは、物理世界そのものよりも、人間が言語を通じて記述・共有してきた社会的・概念的な世界を主に指す

理解を構成する五つの観点

• 理解の捉え方:

  • 定義論争を避け、理解を外から観察できる振る舞いとして捉える
  • 二値で断定せず、状況変化・未知の事例・介入への対応という複数の観点から、理解を能力の束として分解する
  • この多次元の見方により、AIが何をどこまでできるのかがより正確に見えてくる

• 五つの観点:

  • AIを評価し社会に組み込むうえで重要な観点として、理解が起きているときに現れる特徴を五つに分ける

• （1）一般化

  • 定義:
    • 見たことのない入力に対しても適切に振る舞えるかという能力であり、既知の事例にしか強くない暗記と区別される
  • 一般化の段階:
    • 一般化には、表面のパターンの一般化から、関係性や制約が変わっても対応できる構造の一般化、未知の未来の予測までの段階がある
    • 後者ほど難易度が高い

• （2）因果の把握

  • 定義:
    • 何が原因で何が結果か、何を変えれば何が変わるのかを捉えられるかという能力である
    • 相関だけを把握している場合、介入したときの結果の変化を正しく扱えない
  • 例:
    • 「雨だから傘をさす」という因果はあるが、逆に「傘をさすと雨が降る」わけではない
  • 因果を扱う能力の本質:
    • 因果を扱うとは、単一の説明を出すことではなく、介入によって何が連鎖的に起こるかを追う能力でもある

• （3）反実仮想

  • 定義:
    • 「別の選択や介入をしていたらどうなったか」という起きなかった出来事を想像できるかという能力である
    • これは人間の判断の中核であり、特に難しい部分でもある
  • 因果の把握との違い:
    • 因果の把握が構造の理解であるのに対し、反実仮想はその構造を使って思考実験ができるかを測る能力である
    • 一部の条件だけを変えて他を保ったまま、因果連鎖全体がどう変形するかを考える必要がある
  • 意思決定との関係:
    • 現実の意思決定は、選択を採用した場合としなかった場合の比較として常に行われている

• （4）転移と頑健性

  • 一般化との違い:
    • 一般化が未知の入力への対応を問う静的な能力であるのに対し、転移と頑健性は世界そのものの変化への対応を問う動的な能力である
  • 定義:
    • 環境や前提が変わっても理解したことを新たな条件へ持ち越せるか（転移）、変わり続ける現実のなかで壊れずに機能し続けられるか（頑健性）が問われる
  • 二つの難しさ:
    • 社会状況・制度・技術・流行といった入力の変化と、何を良いとみなすかという評価基準の変化という二つの難しさがある
    • AIが現実世界の問題に投入されるとき、この点が強く問われる

• （5）説明可能性

  • 定義:
    • 何を根拠に結論に到達したのかを、状況に応じて説明できるかという能力である
    • 説明できること自体は理解の証明ではないが、知の共有・検証・合意形成のうえで重要である
  • 求められる水準:
    • 一つの説明を言えるかではなく、相手の目的に応じて説明の粒度を変え、反論や追加情報を受けて説明を更新できるかが問われる

AIは五つの理解をすでに高い水準で実現している

• 現在のAIの理解度:
  • 5つの観点に照らすと、現在のAIの理解度合いはすでに高いレベルで達成済み
  • AIは一般化、因果の整理、仮定に基づく推論、環境変化への対応、理由の言語による説明ができ、これらを「統計的な模倣」と片づけるのは適切ではない
• 雨の日の事故の例:
  • 雨の日に事故が増える理由を問えば、路面の滑りやすさや視界悪化を挙げて説明でき、一般化・因果の把握・説明可能性の点で十分に成立している
  • 雨の日の運転制限について問えば、交通量の変化や副作用に言及して現実的でないと評価でき、反実仮想や転移と頑健性もある程度実現している
  • 理解を成分ごとに見れば、AIはすでに多くの点で「理解している」と言って差し支えない
• 人との決定的な違い:
  • AIは「雨だから傘をさす」という文章のパターンは熟知しているが、実際の雨の厚みのある経験がないため、因果の確信度は人間とは質が異なる
  • そのため、存在しない事実を本当にあるかのように報告するハルシネーションのような、人間では考えられない間違いをすることも多い
  • ハルシネーションは、AIが世界を当事者として経験しておらず、記号が現実に接地していないことから構造的に生じる問題である
• 当事者性の欠如:
  • AIは判断の結果を自ら引き受ける立場になく、損失や責任をAI自身が背負うことはない
  • この「当事者性の欠如」は理解の精度とは別の軸に属する制約であり、第Ⅱ部以降で改めて論じられる

コラム 文脈内学習

• 文脈内学習とは:
  • LLMがいくつかの例を与えられるだけで、口調や手順、ルールに従った出力をその場で安定させる現象を文脈内学習（In-Context Learning）と呼ぶ
  • これは内部パラメータが永続的に更新される学習とは異なり、固定のパラメータを使って与えられた文脈に合わせ推論の仕方を一時的に再構成するものである
  • ヒトの認知機能でいえばワーキングメモリの拡張に近く、既存の表現や回路をその場の条件に合わせて使い分けている
• 強みと限界:
  • 文脈内学習は非常に強力で、学習時になかった情報や個人・組織の情報をふまえた行動変化を実現している
  • ただし扱える記憶量には限界があり、経験が直感や無意識の技能として長期記憶に固定される真の継続学習は実現していない
• 重要である理由①少数例からの適応:
  • 少ない経験で振る舞いを更新するヒトの学習の強みに近い振る舞いを示し、特に一般化や転移と頑健性の能力を押し上げている
  • 従来大量データを必要としたAIに、少ない情報で振る舞いを調整する回路が形成されつつあることを示唆している
• 重要である理由②知能の外在化:
  • AIは知識の固定化は不得意でも、その場の文脈を外部に置き、外部記憶を利用して適応できる
  • 外部記憶や文脈設計と組み合わせれば実用上の適応力を獲得でき、この方向は今後のAIシステム設計の中心の一つになると考えられる
• 現時点での位置づけと展望:
  • 文脈内学習は、既存の能力に事例を追加して参照するプロトタイプ学習に近く、既存知識を融合・修正するものではない
  • 人の記憶の固定化と同等以上の仕組みが登場する可能性は高いが、それまでは継続学習の問題を抱えたまま運用することになる

第Ⅱ部 ヒトの知能――AIとの対比からみる特徴

• 第Ⅰ部の振り返り:
  • 現在のAIは断片的な経験から学習し、世界の連続性を当事者として経験しない
  • AIは言語を流暢に扱うが、その記号は現実に接地していない
  • AIは判断を行うが、その結果を自らの履歴として背負わない
• 第Ⅱ部の問いと視点:
  • AIになくヒトが持つもの（連続した経験、有限性、感情、自己）が、知能の付随的条件なのか核心なのかを問う
  • 問う対象をAIからヒトへ反転させ、AIを鏡としてヒトの知能の成立を捉え直す
• 六つの観点:
  • 個別性、文化、有限性、感情、自由と責任、自己という六つの観点からヒトの知能の構造を見ていく
  • これらはAIが持たない、あるいは異なる形でしか持てないものを手がかりに、ヒトの知能の輪郭を描き直す試みである
• 第Ⅱ部の意義:
  • この作業は、AIを理解するためであると同時に、AIと共に生きる社会を設計する根拠を明らかにするためでもある
  • ヒトの知能の構造を知らなければ、どこを人間が担いどこをAIに委ねるかに答えられない

第9章 個別性と多様性――同じ世界でも、異なる世界にいる

• 個別性という鍵:
  • ヒトの知能を捉え直す最初の鍵は「個別性」である
  • ヒトは同じ出来事や言葉、景色に対しても、人によって異なる反応を示す
  • こうした差異は、学習の方向そのものを左右する構造的な違いに由来する

評価軸の違いからの個別性

• 強化学習の比喩:
  • ヒトの学習を比喩的に強化学習で捉えると、個人は環境との相互作用を通じて望ましい結果をもたらす行動を選ぶよう更新されていく
  • 更新の方向を決めるのは、「何を良いと評価し、何を避けるか」という評価軸、あるいは価値の置き方である
• 内的な評価信号:
  • ヒトの価値は外部から与えられる点数や明示的な報酬だけではない
  • 好奇心、誇り、恥、恐怖、愛着といった内的な評価信号が、行動や記憶の重みづけに深く関与している
  • 同じ出来事が、ある人には近づくべき経験に、別の人には避けるべき経験になる
• 個別性の本質:
  • 個別性の本質は、入力の違いではなく、同じ入力に与えられる評価の違いにある
  • 評価軸が違えば学習の軌跡も異なり、「何が重要か」「何を目指すか」「何を避けるか」が個人ごとに変わる
  • ヒトは同じ世界を生きていても、実質的には異なる世界を生きている
  • 世界は一つでも、異なる形で意味づけられた世界は複数存在し、個別性とは世界の主観的な切り取り方が一様でないという事実である

多様性は探索のための設計原理である

• 同一の評価軸の危うさ:
  • すべての個人が同じ評価軸で動けば、集団の探索は狭い領域に集中し、同じ仮説を試し同じ失敗を繰り返しやすくなる
  • その結果、環境変化に脆弱になり、社会全体が行き詰まることもありうる
• 多様性の合理性:
  • 評価軸の異なる個人が共存すれば、同じ状況に異なる仮説や戦略が試される
  • ある個人が行き詰まっても、別の個人が突破口を見つける可能性が生まれる
  • 多様性は倫理的理念である以前に、探索空間を広げるための合理的な仕組みである
• 科学の例:
  • アインシュタインは当時の物理学界の常識に満足せず、光速の不変性に強い関心を抱いて相対性理論に至った
  • 誰かが局所解に留まっていても、別の評価軸を持つ誰かが逸脱して新たな可能性を切り開く
  • 社会全体が同じ価値のもとで最適化していないからこそ、探索の分岐が生じる
• 企業や組織の例:
  • 無数の組織が異なる価値体系を持ち異なる方向へ最適化することで、多様な技術やサービスが生まれてきた
  • そこには、あらかじめ与えられた唯一の正解は存在しない

AIとの対比――評価軸の固定という制約

• AIの評価軸:
  • 多くのAIは、設計者が定めた比較的少数の評価軸に沿って最適化される
  • これは学習効率の面では強みだが、探索の多様性の観点では制約になる
• AIに問われる設計:
  • ヒトの社会の探索能力の広さは、個人ごとに異なる価値関数が並立していることと深く結びついている
  • AIが人間社会と同種の探索能力を持つには、性能向上だけでなく、評価の多様性を組み込む設計のあり方が問われる
• 結論と次章への橋渡し:
  • 個別性と多様性は「人間らしさ」にとどまらず、学習と探索の根幹に位置する設計原理である
  • 異なる世界を生きる個人が共存しているからこそ、人間社会は変化する環境のなかで探索を続けられる
  • 次章では、個体差を前提にヒトが個人を超えた学習を成立させてきた装置として、文化を扱う

第10章 文化――個人を超えて学ぶ仕組み

• 問題提起:
  • 評価関数が個人ごとに異なるヒト同士が、決裂せずに知を積み上げ、寿命を超えて知識を累積できるのはなぜかが問われる
  • 個別性と多様性を維持したままシステム全体で知能を向上させる仕組みが文化である
• 学習と学習した結果の区別:
  • 学習とは、経験に応じて内部状態が更新される過程である
  • 学習した結果とは、その更新の結果として内部に残る知識・技能・価値の軸といった獲得された内容である
  • 個別性と多様性は、何を重要とみなし何を残すかが人によって異なり、学習の軌跡が分岐することから生まれる
• 文化の機能的定義:
  • 人類の知の世代を超えた累積は、個人の学習結果が集団に残り次世代へ引き継がれてきたことによるもので、個別性だけでは説明できない
  • 文化とは、個人が獲得した知識や技能が外部に記録・共有・検証・改変されながら次世代へ引き継がれていく仕組みである
  • 言語、数式、図、制度、道具、物語はそのための媒体である
  • 文化は、学習の結果を個人の内部に閉じ込めず外部に置き、集団で回すための装置である
  • 文化は情報の集まりだけでなく、情報をどう更新するかの手順やルールまで含んだ仕組みである

文化がもたらす集団学習

• 個人の速度からの解放:
  • 文化の仕組みが成立すると、学習は個人の速度から解放される
  • ある人の成功や失敗が別の人の教訓となり、分業、批判や再検証が可能になり、抽象化の質が高まる
  • 獲得された知識や価値は集団のなかで洗練され、内容そのものが変質していく
• 学問分野の例:
  • 学問分野が少人数の試行錯誤からコミュニティの共同作業へ成長する現象は、文化による集団学習を端的に示す
  • 知は単に蓄積されるのではなく、組み替えられ、選別され、結晶化されていく
• 選別の装置としての文化:
  • 文化は学習結果を保存するだけでなく、「何が人類として残るに値するか」を集団で判断する装置でもある

評価軸の外部化

• 見方の規定:
  • 文化は物事の見方や解像度そのものも規定する
• 判断基準の外部化:
  • 文化は個人ごとに異なる評価軸の一部である「何が良くて何が悪いか」「何が信頼できるか」という判断基準を社会の側に外部化する
  • 査読、法、慣習、規範といった制度は、判断基準の一部を個人から切り離して集団で共有するためにある
  • 文化とは、価値の置き方を社会の側に預ける装置でもある

文化を持たないAIとの対比

• 現在のAIの設計:
  • 現在のAIは巨大なモデルを長時間かけて学習し、完成後は比較的固定した形で運用される設計になりやすい
  • 学習結果の調整や転移の技術は進んでいるが、外部化・共有・検証・改訂が自律的に回り続ける循環はAI側で十分に確立されていない
  • そのため現在のAIは、個々の能力が高くても、文化に支えられた人間社会全体の学習能力にはまだ及ばない
• 将来の可能性:
  • この差が将来も埋まらないと断言するのは早い
  • AIが環境と相互作用して経験を積み、それを外部に記録し、他のAIやヒトと共有・検証・改訂するようになれば、文化的学習ループに近づく可能性がある
  • 仮想環境か現実世界かを問わず、外部化された経験が次の経験を変えるなら、それは文化的な過程である
• 有限性という制約:
  • ヒトの文化が現在の形になった背景には、個人が有限で世代が必ず交代する、つまり死が存在するという制約がある
  • 文化は、有限な個人が残せる外部記憶として発達してきた側面を持つ
  • 次章では、この有限性、とりわけ死が知能と学習の形をどう規定してきたかを考える

第11章 死と有限性――不可逆な有限性が知能を形づくる

• 死と有限性の関係:
  • 生物の死という仕組みは、学習と意思決定の構造そのものに深く関わっている
  • 死は個人の時間が有限であることを意味し、その有限性は不可逆である
• 可逆的な有限性との対比:
  • 追加・巻き戻し・やり直しが許される有限性なら、選択は暫定的なものにとどまる
  • その場合、失敗は修正可能な誤差となり、学習は単なる最適化の過程になる
  • ヒトの有限性はそのような可逆的な制約ではない

不可逆性が選択を生む

• 選択の排他性:
  • 死は、これ以上は選べないという境界がある瞬間に確定することを意味し、選ばれなかった可能性は永遠に未選択のまま残る
  • 不可逆な有限性のもとではすべてを等しく扱えないため、ヒトは何を選ぶかとともに何を捨てるかを決めざるを得ない
  • この排他性こそが有限性の本質である
• 優先順位の生成:
  • ヒトは有限の資源のなかで、何を学び、何を重要と見なし、何を重要でないと判断するかを決め続けている
  • 有限性は、本来差のなかった選択肢に対し、優先順位を内側から強制的に生み出す仕組みとして働く
• 判断を前に進める推進力:
  • 時間が無限であれば判断を先延ばしできるが、ヒトは常に不確実な情報のなかで判断しなければならない
  • この制約は誤りを生む一方で、判断を先送りせず意思決定を前に進める強力な推進力となる
• 履歴を持つ学習:
  • ヒトは不完全な情報のもとで仮説を立てて行動し、その結果を引き受け、経験をもとに次の学習へ進む
  • その結果の多くは自分で完結せず、次の世代へと引き継がれていく
  • この未完成なまま進む構造が、ヒトの学習を単なる最適化ではなく履歴を持つ過程として特徴づけている
  • 誤りは訂正できても、その誤りを経ずにいた人生を取り戻すことはできない
  • 学習とは、不可逆な時間の流れのなかで暫定的な意味づけを更新し続ける営みである

死と集団の学習

• 集団の更新機構としての死:
  • 死は個人の終わりであると同時に、集団にとっての更新機構でもある
  • 死がなく全員が無期限に生き続けるなら、集団の探索は停滞しやすくなる
• 固定化の問題:
  • 長く生きた個人ほど経験・資源・発言力・制度的影響力を蓄積しやすい
  • その結果、過去の成功体験や価値観が固定化され、新しい仮説や異なるやり方が試されにくくなる
  • 環境が変化しても、集団の意思決定は過去の最適解に引きずられ続ける
• 世代交代による探索空間の再開:
  • 死はこの固定化を強制的に断ち切り、過去の判断や価値が永久に支配し続けることを防ぐ
  • 世代交代とは、集団としての仮説集合や価値配置を部分的にリセットするものである
• 選別と再解釈:
  • この更新は、新しい世代の方が必ず改善することを意味しない
  • 過去の知識や制度は文化として引き継がれる際に、選別と再解釈を経て何が残り何が捨てられるかが再評価される
  • この仕組みにより、集団は長期的に探索の多様性を保つことができる
  • ある世代で主流にならなかった考え方が次の世代で再評価されることも、かつて有効だった価値が環境変化とともに退場することもある
  • 死はそのような価値の新陳代謝を可能にする
• 進化の観点:
  • 世代交代は探索アルゴリズムの一部として理解できる
  • 特定環境での大量の経験の蓄積は、一見有利でも環境変化の際には致命的な足かせになる
  • 個人が永続する系よりも、世代が交代する系の方が環境変化に柔軟に適応できる場合が多い
  • 死は残酷な偶然ではなく、集団としての学習を成立させるために組み込まれた構造的条件と見ることもできる
  • 死は個人の視点では悲劇でも、集団の視点では探索を更新し続けるために不可欠な装置である

AIとの構造的な違い

• AIの有限性の可逆性:
  • AIは原理的に同じ個体が長期間動き続けることができ、内部状態は保存・複製され、過去の状態へ巻き戻すことも可能である
  • 計算資源や運用コストの限界があっても、その有限性はヒトの死のように不可逆である必要はない
  • 誤った判断をしたAIは、修正・再学習され、別の文脈で再利用されうる
• ヒトの不可逆性:
  • ヒトの選択は履歴として蓄積され、やがて取り消し不能な形で主体を形づくる
  • ヒトの死は代行不可能な不可逆なイベントである
  • この不可逆性こそが判断に重みを与え、責任や後悔、覚悟といった感情を成立させている
• AIの停止:
  • AIの停止は行為や影響の連鎖に一時的な境界を与えるにすぎず、主体の終焉を意味しない
  • モデルは保存・コピーされ、他者によって再起動され、別の環境で再び動き始めることができる
  • 停止は出来事であって存在論的な終わりではなく、AIは身銭を切っていない
• 価値判断の性質の差:
  • ヒトは自分が引き受け続ける人生を前提に判断し、その判断は失敗すれば取り返しがつかず、他者に完全に委ねることもできない
  • AIの判断は、結果がどれほど重大でも、AI自身の存在を不可逆に縛ることはない
  • AIはより良い判断を計算できても、その判断をした主体として生き続ける立場には立てない
  • 価値判断の計算と、その判断を引き受けることは、構造的に別の次元に属している
• 社会設計の問題:
  • AIが社会に組み込まれるとき、判断の帰結を誰が引き受け、責任と不可逆性をどこに配置するかが問題となる
  • ヒトのための制度や倫理は、判断する主体が有限であり結果を引き受けることを暗黙の前提としてきた
  • その前提が崩れたとき、同じ枠組みがそのまま適用できるとは限らない
  • AIをどこまで主体として扱い、どこからを道具と位置づけ、不可逆性を前提とした社会にどう組み込むかが問われる
• 次章への接続:
  • 有限性や死は、選択を排他的にし、学習を履歴付きの過程にし、価値判断に重みを与える
  • 次章では、ヒトが優先順位を作り学習を方向づける制御信号としての感情を扱う

第12章 感情

• 学習を方向づける感情:
  • 感情は、どの経験を重要なものとして保存し、既存の知識や記憶とどれだけ強く広く結びつけるかを制御する
  • 感情を伴った経験は後から意味づけを更新でき、恐怖の出来事を「必要な経験だった」と再解釈することもある
  • 感情は学習結果を固定するのではなく、時間をかけて再構成する余地を残している
  • どの経験を背負い続け、その重みをどう変えていくかを決める装置が感情である

内的報酬としての感情

• 内部から生まれる評価:
  • 人は点数や命令、明示的なフィードバックがなくても、内側に生じる感情によって行動を評価し学習を続けている
  • 褒められなくても面白いから続け、叱られなくても嫌だから避けるという自律的な評価が、日常の学習の大部分を駆動している
• プロセス報酬としての感情:
  • 強化学習の比喩でいえば、感情は最終的な外部報酬ではなく、行動の途中や予測段階から働く内的な報酬（プロセス報酬）である
  • この報酬は単一の量ではなく、快・不快、興味・退屈、安心・不安といった多次元の形で立ち上がる
• 外部報酬の限界:
  • 外部報酬は多くの場合疎であり、原因となる行動から時間遅れで与えられる
  • 死や重傷につながる行動は外部報酬として経験すること自体が稀で、経験してしまえば学習は手遅れである
• 未来の先取り評価:
  • 感情があれば、結果を経験しなくても「怖い」「嫌な予感がする」という評価が事前に立ち上がり、行動を修正できる
  • これは過去の類似経験、他者の経験、文化的な警告などを統合し、まだ起きていない結果に意味を付与する仕組みである
• 探索と安全性の制御:
  • 好奇心や興味は探索を促し、恐怖や不安は破滅的な行動を抑制する
  • 内的報酬がなければ、学習は外部評価が与えられるまで進まず、探索は極端に遅く危険なものになる
• 即時性と文脈依存性:
  • 感情は結果を待たずに即時にフィードバックを与え、学習の安定と局所的な修正を可能にする
  • 内的報酬は状況や目標、過去の履歴によって変わる文脈依存的なものであり、有限な時間と資源のなかで重要な方向に学習を集中させるために不可欠である
• 結論:
  • 感情は疎で遅れた外部評価を補い、探索と安全を両立させて学習を効率化する
  • 感情がなければ、ヒトの学習は現在の形では成立しなかったと考えられる

感情と個別性

• 評価軸の個人差:
  • 何が面白いか、何が怖いか、何に誇りや恥を感じるかは個人ごとに大きく異なる
  • この差異は、知識量や能力の違い以前に、感情の反応の違いから生じている
• 学習の方向を分岐させる装置:
  • 感情は同じ入力に異なる重みづけを与えることで学習の方向を分岐させ、個人ごとの評価軸を形成する
  • 多様性は理念やスローガンだけでなく、感情という具体的な内部機構によって日々の学習を通じて実装されている
• 入り口からの個別性:
  • 感情が異なれば、引き出されるフィードバック、記憶の構造、将来の選択肢の集合そのものが変わっていく
  • 個別性は学習の結果として後から現れるのではなく、学習の入り口からすでに組み込まれている
  • 何に注意を向け、どの失敗を深刻に受け止め、どの成功を繰り返したいかという選別が、長期的にまったく異なる知識構造と判断傾向を生む
• 集団としての学習:
  • ヒトが同じ社会でそれぞれ異なる関心、専門性、価値観を育てるのは、感情が学習の方向を内側から制御しているからである
  • この個別性によって人間社会は探索の幅を保ち、同じ失敗に閉じずに変化する環境に適応し続けられる
  • 感情は知能を主観的にするだけでなく、集団としての学習を成立させる前提条件でもある

AIは感情を持ちうるか

• 二つの問い:
  • 「AIは感情を持ちうるか」という問いには、少なくとも二つの異なる問いが含まれている
• 機能としての感情:
  • 第一の問いは、学習や行動選択を方向づける内的な評価信号としての感情をAIに実装できるかである
  • この意味での感情は原理的に実装可能であり、内省、内的報酬、好奇心駆動型学習、予測誤差に基づく探索、危険回避を優先する評価関数などはすでに使われている
  • AIはすでに「感情に似たもの」を持ち始めており、現在は初歩的だが、機能的には人間の感情が学習に果たしてきた役割と本質的に重なる部分が多い
  • こうした仕組みは学習の効率化において決定的に重要であり、今後も進展が続くとみられる
• 主観的感情:
  • 第二の問いは、痛みや喜びが「感じられる」という側面まで含めて、AIが感情を持ちうるかであり、第一の問いとは質的に異なる
  • ヒトの感情には、評価が行われているという機能的側面だけでなく、「そう感じている主体がいる」という体験的側面が含まれている
  • この体験的側面を含めるなら、問題は評価信号の設計を超え、意識、自己、主観的経験の成立という問いと不可分になる
• 二つの問いの区別:
  • 機能としての感情は学習理論や設計の問題であり、段階的な実装や改良が可能である
  • 主観的感情の有無は存在論的・哲学的な問題を含み、機能が揃っても自動的には解決されない
  • 意識や自己の問題は第14章で扱われる
• 本章のまとめ:
  • 意味づけとは出来事をどのようなものとして理解するかを定める操作であり、感情とはその理解に価値と方向性を与える内的信号である
  • 両者は同一ではないが、学習においては切り離せない
  • 感情がどれほど精緻でも、結果を引き受けなければ、AIを社会のなかで主体として扱うことはできない
  • 次章では、感情・個別性が「自由」や「責任」といった社会的概念にどう接続されるかを考える

第13章 自由と責任――選択を引き受ける主体

• 自由と責任の一般的な理解:
  • 日常的には、自由は縛られないこと、責任は重荷とされ、両者は対立するものとして語られる
  • 自由は主に「選択肢が多いこと」と「いつでも選び直せること（可逆性）」の二つのイメージで捉えられている
  • 現代社会の多くの制度や技術は、この可逆性を前提に設計されている
• 本章の立場:
  • 本章は、選択肢の多さも可逆性も自由の本質ではないという立場をとる
  • 自由を捉える軸は、選択が誰に帰属するか、そしてその帰属が取り消せない形で残るかの二点である
• 可逆的な自由の限界:
  • 選び直せる選択はまだ仮のものであり、結果は消去可能で履歴として確定しない
  • すべてが取り消せるなら、選択は自分を賭けるコミットメントではなく、何度でも引き直せる試行にすぎない
• サイコロの例:
  • サイコロは何度でも振り直せるが、出た目を自分の履歴として引き受ける主体がいないため自由とは言えない
  • 振り直し可能性それ自体は自由を意味せず、必要なのは出た目を引き受ける主体の存在である

主体なき選択は自由ではない

• リモコン人間の例:
  • 外部の操縦者がすべてを決めているリモコン人間は、合理的に判断し迷う素振りを見せても自由とは言えない
  • 選択が自分の判断として引き受けられていなければ、それを履歴として背負う主体が存在せず、自由は成立しない
• 自由の構造:
  • 自由は単なる情報処理や意思決定の能力ではない
  • 自由とは、選択を「自分が選んだもの」として確定させ、その結果を自分の人生や存在の一部として引き受ける構造に関わる
  • 人間が自由かどうかは、選択の帰属先と、その帰属が時間をまたいで保持されるかで決まる
  • 主体なき選択は、どれほど洗練されていても自由とは言えない
• AIへの含意:
  • この区別は、AIの判断や自動化された意思決定を考えるうえで決定的な意味を持つ
  • 「選んでいる」ように見える存在が自由かどうかは、選択の形式ではなく、選択を引き受ける主体の有無で決まる

不可逆性としての自由と責任

• 不可逆性と主体:
  • 人間の自由の核心は、選んだ結果が取り消せない形で主体の履歴として刻まれることにある
  • 人はやり直すことはできても、失敗しなかった人生を取り戻すことはできず、やり直した事実も履歴に刻まれる
  • 仕事や共に生きる人、下した判断の結果は後から完全には消去できず、この不可逆性が選択を主体のものとして固定する
• 主体が立ち上がる理由:
  • 取り消し可能な選択は常に「仮」に留まり、自分を賭ける必要がない
  • 取り返せない選択は賭けることを強い、それを引き受ける過程で主体が生まれていく
• 自由の定義:
  • 自由とは、不可逆性を伴った選択を引き受け続けることである
  • それは、取り消せない選択を通じて無数の可能性のなかから自分自身を一つに確定していく運動である
• 責任の定義:
  • 責任とは、選択によって生じた結果をその後も自分の判断として引き受け続けることである
  • 責任は判断の正しさや結果の良し悪しではなく、結果を引き受ける主体であり続けることを指す
  • 責任は道徳的評価や罰の根拠というより、主体が時間をまたいで自分自身であり続けるための条件である

AIはなぜ自由ではないのか

• AIが自由でない理由:
  • AIは条件を比較し方針を選んで行動を決定するため、一見選択しているように見える
  • しかしAIは選択の結果を自分の生として引き受けないため、自由ではない
  • これはAIの本質的限界というより、現在のAIがそのように設計されていることに由来する
  • AIの選択はAI自身の履歴として不可逆に刻まれず、ここに存在の構造の差がある
• AIへの委譲と人間の自由:
  • AIに判断や実行を委ねると、決めなくてよく、失敗せず、責任から解放されるように感じられることがある
  • しかしAIに委ねるという判断そのものが人間の自由な選択である
  • どこまで任せるか、どの条件で止めるか、どの判断を引き受けるかは、すべて人間側に残る不可逆な選択である
  • 委譲によって実行は分散されるが、自由と責任は消えない
  • 何をAIに委ねるかを決める判断こそが、AIと共存する時代における人間の自由の中心的な行使となる

自由と責任の再定義

• 自由の再定義:
  • 自由とは、好き勝手に振る舞うことでも、選択肢が多いことでも、制約が少ないことでもない
  • 自由とは、選んだ結果を自分のものとして引き受けられることである
  • 選択の結果を自分の判断として背負い続けられるかどうかに、自由の核心がある
• 責任の再定義:
  • 責任とは、選択の帰属を放棄しないことである
  • 結果が思わしくなくても他の何かのせいにせず、その判断を行った主体として留まり続けることが責任である
• AIと人間の対比:
  • AIの選択は自身の生の履歴として固定されず、失敗しても後悔せず、評判を失わず、存在の方向づけも変わらない
  • AIは行動を選び実行する存在ではあっても、自由な主体ではない
  • 人間は選択から逃げられず、選ばなかった可能性を含めて選んだ結果と共に生き続けるしかない
  • 人間の選択は重く、その重さが自由を成立させており、自由とは軽さではなく重さの問題である
  • 結果を引き受ける主体であり続ける構造の上に、人間の自由と責任は成り立っている

第14章 意識と自己――「私」はどこに宿るのか

• 前章からの接続:
  • 前章では、自由を選択の帰属と不可逆性という二つの軸で捉え直し、責任をその引き受けを放棄しないことと定義した
  • 本章では、その帰属を担う主体がどのように成立しているのかを問う
• 意識と自己の位置づけ:
  • 選択の結果を引き受け続けるには時間をまたいで同一である何かが必要であり、意識や自己はそのために形成されてきた構造と理解できる
  • 意識という言葉は異なる問題を一つに束ねて議論を混乱させやすいため、本章では意識と自己を要素に分解して構造を明らかにする

自己モデル――行動を「自分のもの」にする短期記憶

• 自己モデルの定義:
  • 意識と自己の第一の要素は自己モデルであり、自分の状態や立場を内的に表現し、自分がどこで何をしているどのような存在かを記述する構造である
• 行動と行為の区別:
  • 本書では、振る舞いとしての動きを「行動」、主体が自分のものとして引き受けたものを「行為」と呼び分ける
  • 自己モデルがあることで行動の結果が同一の主体に帰属し、行動は行為になる
  • 成功も失敗も自分の履歴として統合されて次の判断に影響し、その履歴が不可逆に固定されるとき前章の意味での自由と責任が成立する
• 短期記憶と通時的同一性:
  • 短期記憶は、直前の行動、現在の状況、これからの行動を同時に保持し、相互参照可能にする場として自己モデルを支える
  • この時間的な厚みによって「さっき判断した私」と「いま行動している私」が同じ主体として接続され、これが通時的同一性である
• 酩酊の例:
  • 深く酩酊して直前の行動を記憶できない状態では、行動はあっても同一の主体として引き受ける連続性が失われ、十分な意識があったとは言いにくい
• 主体性の基盤:
  • 短期記憶は自己モデルの一部であると同時に、感覚や感情が経験として意識にのぼる舞台でもあり、主体性の基盤的構造である

目標――行動に方向を与える軸

• 目標の役割:
  • 第二の要素は目標であり、行動を一つの方向へ束ねる軸となる
  • 目標があることで、世界は出来事の羅列を超え、目標に近づいているか遠ざかっているかという意味を帯びた構造として現れる
• 時間スケールの統合:
  • 目標は、瞬間的な快・不快という短期的報酬をより長い時間スケールへ統合する
  • 将来の見通しがあることで、行動は刺激への反応を超えた選択と決断になる
  • 目標がなければ、刺激への反応はあっても主体としての一貫した行動は生まれにくい

内省能力と主観経験

• 内省能力:
  • 第三の要素は内省能力であり、自分がなぜその判断をしたかを振り返り理由として表現する能力である
  • 内省は協働や信頼の前提として社会的に重要であり、近年のAIは外形的に人間に近い振る舞いを示し始めている
• 主観経験（クオリア）:
  • 痛みや喜びが感じられるという主観経験（クオリア）は、外部から原理的に直接観測できない
  • 外部から観察できるのは、自己記述、行為の帰属、理由説明といった振る舞いのみである
• 外部観察による区別の限界:
  • 自己モデルと高度な内省能力を備えた存在は主観経験があるかのように振る舞えるため、社会的には両者を区別できなくなる
  • 違いが現れうるのは判断の論理が破綻したり合理的説明に失敗したりする境界的状況である
  • しかし、そうした振る舞いすら設計や学習で再現可能なため、外部観察のみでは厳密に区別できない

AIはどこまで主体か

• 問いの転換:
  • AIは意識と自己の構成要素を部分的に備えている
  • 問題は、AIが意識を持つかどうかではなく、自己モデル・短期記憶・目標・内省能力をどこまで満たせば社会がそれを主体として扱えるかである
• 現在のAIの到達点と欠落:
  • 現在のAIは、自己モデル的振る舞いや内省的報告では一定の水準に達している
  • 一方で、短期記憶は持続的でなく、目標は多くの場合外部から与えられ、感情や有限性と結びついた内的価値構造も弱い
  • その結果、通時的同一性を保ち不可逆な選択を引き受ける構造はまだ限定的である
• 構成要素の相互関係:
  • 第11章・第12章で述べたように、有限性は選択に重みを与え、感情は内的報酬として学習を駆動する
  • 目標はそれらを束ね、短期記憶は現在を成立させ、自己モデルはそれらを統合して行動を決定する
  • 自己とはこれらが相互に補強し合って立ち上がる統合装置であり、主体性は複数の構造が重なり合う中で徐々に一貫性として形成されると考えられる
• 前章の問いへの回答:
  • 自由を帰属と不可逆性に置くと、AIがそれを満たしうるかは意識・自己の構成要素の問題として立て直せる
  • これらの要素が相互に補強し合って初めて、選択を不可逆に引き受ける主体が立ち上がり、現在のAIはその一部を備え一部を欠いている
  • したがって「AIは自由になりうるか」は原理的な可否の問題ではなく、これらの構造をどこまで、どのように満たすよう設計するかという問題へと変わる

社会的主体と責任の所在

• 社会による主体としての扱い:
  • 振る舞いが一貫し、内省的報告がなされ、時間をまたいで同一であり続ける存在を、社会は主体として扱う
  • 責任や権利といった制度は、この扱われ方に依存している
• 責任の帰属という新たな問題:
  • 主体として扱われたとき、その判断の帰結を誰が引き受けるのかという問題が生じる
  • 意識や自己の成立と責任の所在は別の問題であり、後者は主体の内的構造からは決まらず社会の側で調整される
  • AIが主体として扱われ始めたとき、責任が判断した存在・設計者・運用者のどこに帰属するのかという問いに向き合うため、第Ⅲ部へ進む

第Ⅲ部 ポストAIの社会――制度・経済・責任

• これまでの議論:
  • 第Ⅰ部では、AIは断片的な経験から学習し、結果を引き受けない存在であることを示した
  • 第Ⅱ部では、ヒトの知能を個別性・文化・有限性・感情・目標・自己といった設計原理の束として捉え、社会的・文化的装置に支えられていることを示した
• 第Ⅲ部の主題:
  • AIの登場により、ヒトの知能を中心に設計された社会が揺らぎ、再設計を迫られている
  • エージェントとしてのAIは高度な能力を持つが、感情や有限性を内在化せず、文化を人と同じようには理解しない
  • この変化は抽象的な倫理問題にとどまらず、仕事の現場などの具体的領域にすでに現れている
  • 行為と結果を接続する設計問題として責任を捉え直し、仕事・教育・創造の場でヒトとAIが構築すべき新たなハーネス（安全帯）を検討する

第15章 責任は誰のものか

• 問題設定:
  • 第13章で責任を「結果を引き受ける主体であり続けること」と定義したが、本章ではその責任が社会のなかでどう配置されるかを問う
  • 主体の内的構造がどう成立するかと、結果の責任を誰が負うかは別の問題であり、後者は社会の側で配置される問題である
• 意識と責任:
  • 責任は「意識の有無」と結びつけて語られがちだが、社会制度は各人の内面を直接確かめて責任を割り当てているわけではない
  • 他者の主観経験は観測できなくても、結果の帰結を誰が引き受けるかは決めなければならない
  • 責任は意識の内実に基づく概念というより、社会の側で配置される概念である

責任が生じる三つの条件

• 第一の条件（判断）:
  • 複数の可能性から一つが選ばれ、「こうする／こうしない」という分岐が存在する必要がある
• 第二の条件（影響）:
  • 判断が行為として実現され、他者や環境に影響を与えるとき、初めて責任の問題が立ち上がる
• 第三の条件（不可逆性）:
  • やり直し可能な試行錯誤では責任は相対的に軽く、結果が確定して元に戻せなくなったときに判断に重みが生じる
  • この不可逆性こそが、責任を責任たらしめる
• 主観経験の不要性:
  • 三つの条件のいずれにも主観経験は必須ではない
  • 判断・影響・不可逆な結果がそろえば、社会的に責任を割り当てざるを得ない状況が生まれる

「主体があるように見える」ことの危うさ

• 外から見たAI:
  • 自己モデルを持ち、判断理由を説明し、一貫した振る舞いを示す今のAIは、外部からは主体として十分に成立しているように見える
  • そこに主観経験が伴っているかどうかは、観察者には判別できない
• 社会の反応:
  • 社会はそうした存在に自然に意図を読み取り、期待を向け、問いへの応答をもとに信頼や不信を形成する
  • これは錯覚ではなく、他者の内面を確かめられないまま責任や意図を仮定してきた人間社会の仕組みが、新しい存在にも自動的に適用されるだけである
• 帰結:
  • 主体があるように見えることは、社会にとって主体であることと同じ意味を持つ
  • 社会は、主体として振る舞う存在に自然と責任と権利を割り当てていく

AIにおける責任のズレ

• 判断者と引受者の不一致:
  • AIが関与する場面では、判断を行う存在と結果を引き受ける存在が一致しない
  • AIの判断は外形的に人間と区別がつかないこともあるが、損失や批判、長期的影響をAI自身が引き受けることはない
  • その結果、責任は宙に浮くか、事後的に人間へ押し戻される
• 責任の空洞化:
  • 誰も最終的に引き受けない判断が積み重なり、失敗が学習や改善に結びつかなくなる
• スケープゴート化:
  • 事故や不具合の際、構造的な問題が問われず、個人や現場が過剰に責任を負わされる
• 要点:
  • 「AIがやった」という説明は、判断の説明にはなっても責任の説明にはならない

責任はどこに置かれるのか

• 責任の多層的な分配:
  • AIが関与するシステムでは、責任は複数の層に分配される
• 設計責任:
  • どのような判断が可能になるよう設計し、どこまで自動化し、どこに制約を置いたかという、判断以前の環境設計の責任である
  • 必要な安全装置をつけなかった場合、設計者が責任を問われる
• 運用責任:
  • システムをどの文脈・目的で使い、安全性テストや監視、想定外利用の許容をどうしたかという責任である
  • 未検証のまま現場に投入した場合に責任を問われる
• 介入責任:
  • 問題の兆候が現れたとき、止められたか、変更できたかという責任であり、介入できる位置で何もしないこともまた判断である
  • 暴走の兆候を見ていたのに停止ボタンを押さなかった場合に責任を問われる
• 責任の全体性:
  • 責任は「誰が最後にボタンを押したか」だけでは決まらず、構造の設計・使用・停止可能性の全体に分散し連なっている

責任を個人に還元しないために

• 個人依存の限界:
  • AIが関与する判断を個人の覚悟や善意に委ねることは続かない
  • 判断の速度と規模が拡大するほど、特定の人間の大胆な決断に頼る余地は小さくなる
• 事前に割り当てる構造:
  • 誰がどの判断に関与し、どの段階で介入でき、どこから先が不可逆になるのかを事前に定め、共有し、運用する仕組みが求められる
  • これは文化の否定ではなく、文化が暗黙に担ってきた制御の役割を技術と制度として明示的に実装し直す試みである
  • 責任とは事後的に探し出すものではなく、事前に配置しておくものである
• 今後の展望:
  • AIが社会に組み込まれると実行は自動化され、結果だけが不可逆に世界へ刻まれるが、責任は消えず、その配置の設計の重要性が増す
  • 次に、この構造が仕事という制度のなかでどう現れ、人間の役割がどこに残り、責任を引き受ける主体がどの位置に立つのかを見ていく

第16章 仕事の再設計――AIが業務に溶け込んでいく

• 本章の問題設定:
  • AIを仕事に組み込むには、文化や慣習に埋め込まれていた判断や責任の分配を、業務の構造として明示的に設計し直す必要がある
• 暗黙の判断構造:
  • 従来の仕事では、最終判断者や裁量の範囲といった線引きが、言語化されないまま職場の空気や経験則として共有されてきた
  • AIはこうした暗黙の了解を自動的には理解しないため、目的、制約、評価基準、停止条件を構造として与えなければならない
  • 仕事の再設計とは、暗黙の判断構造を外に引き出し、設計対象として扱うことである

変化は連続的に、まず仕事の内部から起きる

• 変化の現れ方:
  • ヒトが選択の結果を引き受ける主体であるという前提は、AIが普及してもすぐには変わらない
  • 法律や制度、組織の枠組みは当面維持され、その内側で連続的かつ部分的な変化が進む
• 仕事から始まる理由:
  • 仕事はルール化しやすく、成果を測定しやすく、AIと接続しやすいため、変化はまず業務の内部構造から始まる
• 本章の視点:
  • 仕事が消えるかどうかではなく、仕事の構造がどう組み替わるかをみていく

エージェントとハーネス

• エージェントの定義:
  • エージェントとは、目的や指示を与えられると自律的に状況を解釈し、行動を選択し、結果を出力するAIである
  • 逐一対話しながら操作する道具とは異なり、一定の範囲を任せると主体性をもって作業を進める
  • AIの業務への本格的な組み込みでは、AIは質問に答える存在から仕事を引き受ける存在へと役割を変える
• ハーネスの定義:
  • ハーネスは元々、馬具や体を支える安全帯を指す言葉で、現在のAIではエージェントを評価・制御する環境や制約を指すことが多い
  • 本書ではハーネスを、エージェントの行動を現実世界に安全につなぐための枠組みという広い意味で用いる
  • ハーネスは目的、制約、評価基準、権限、停止条件などを外部から与え、どこまでやってよいかを定める装置である
• ハーネスの役割:
  • ハーネスは能力を抑え込むものではなく、エージェントの能力を現実世界で使うための接続装置である
  • 最近では、ハーネスの良し悪しがAIをうまく使えるかを決めることがわかっている

文化という巨大なハーネス

• 文化の制御機能:
  • 文化は学習の装置であると同時に、ヒトの行為を社会に安全に接続する制御装置でもある
  • 人間社会ではハーネスの役割の多くを、法、規制、慣習、文化が担ってきた
  • 人は失敗の責任を負い、感情や評判、信頼、社会的制裁を通じて行動を調整するため、完全には言語化されない制約のもとで行為してきた
• 暗黙の共有:
  • 「そこまではやらない」「普通はこうする」といった判断は、明文化されなくとも共有され、法や規則の隙間を慣習や文化が埋めてきた
  • 文化は人間社会における巨大なハーネスであり、命令や禁止ではなく「そうするものだ」という期待として逸脱を防いできた
• AIとの断絶:
  • AIは責任を感じず、評判を気にせず、社会的制裁を恐れず、失敗を履歴として内面化しないため、暗黙のハーネスは作用しない
  • 文化が暗黙に担ってきたハーネスの役割を、技術や制度として明示的に設計し直す必要がある
  • 許容範囲、成功の基準、停止の時点、最終判断と責任の引き受け手を「言わなくてもわかる」前提に置いたままでは、AIを安全に社会へ接続できない
  • AI時代の仕事の再設計とは、文化が果たしてきた制御の役割を別の形で実装し直す試みである

仕事は部分的に、構造から自動化される

• 部分的な自動化:
  • 業務全体が丸ごとAIに置き換わることは稀で、仕事は分解され、目的や制約が明確なタスクから部分的に自動化される
  • 業務の内部には探索、判断、実行、確認といった性質の異なる工程が混在している
  • AIが最初に入り込むのは、評価基準や終了条件を定めやすく、やり直しや並列化が容易な部分である
• 典型例:
  • 文章の下書き、要約、検索、比較、翻訳、検証、計画作成などがその典型である
  • ソフトウェア開発は最も変化が早く、仕様整理、コード生成、テスト、バグ修正をエージェントが並列に担うようになっている
  • 人間の役割は、個々のコードを書くことから、全体の設計と判断の引き受けへと移りつつある
• 言語化の必要:
  • 自動化が進むほど、暗黙に共有されてきた目標や制約を、AIエージェントにもわかる形で言語化する必要が生じる
  • 文化に埋め込まれていた判断基準や価値観が、仕様やルールとして外に現れてくる
  • 仕事が構造から自動化されるとは、人間が自らの判断の前提を言語化し、設計として構築し直すことを意味する

実行は分散し、判断は集約される

• エージェントによる実行の加速:
  • AIエージェントは複数の仮説の同時検討や選択肢の並列生成、短時間の検証により、作業量という制約を大きく緩和する
• 人間に残る判断:
  • 目的の定義、評価基準の設計、どこで止めるかの判断は、依然として人間が引き受け続ける必要がある
  • これらは不可逆な結果と責任を伴う選択であるため、判断は誰かの主体に帰属せざるを得ない
  • 第13章で述べたように、AIは結果を「自分の選択だった」と引き受けられないため、判断の最終的な引き受け手は人間であり続ける
• 新しい構造:
  • 多数のエージェントが並列に実行する一方で、どの結果を採用しどこへ進むかの判断は限られた人間に集まる
  • 以前は実行も判断も人間の内部で分散していたが、AIの導入で実行だけが外部に広がり、判断の重みは人間側に戻ってくる
• 仕事の質の変化:
  • 人間の仕事は軽くならず、大量の作業をこなす存在から、多数の実行結果を引き受け、統合し、線を引く存在へと質が変わる
  • どこまで進めどこで止めるかの決断は、エージェントが増えるほど重要かつ重くなる

監査可能性と責任の所在

• 追跡可能性の必要:
  • 何を指示し、何を根拠に判断し、どう承認し、いつ修正や停止をしたかを事後に追跡できなければ、組織は意思決定も実行も行えない
  • 判断の経路が失われると、改善も再発防止も不可能になる
• エージェント導入による困難:
  • 多数のエージェントが並列に膨大な出力を生むと、「なぜそうなったか」を把握することが難しくなる
  • 従来は判断が人の記憶や暗黙の了解に依存していたが、実行が分散するほどその暗黙性は限界を迎え、責任の所在が曖昧になる
• 監査可能性の意味:
  • 監査可能性とは、判断を引き受ける主体を社会のなかに位置づけ直すための条件である
  • 判断の履歴がなければ、責任は引き受けようがない
  • 仕事は成果だけでなく、そこに至る判断の連鎖というプロセスを含むものとして再定義され、監査可能性は仕事の成立条件そのものになる

新規事業に見る人間の役割

• 新規事業の変化:
  • 従来は少人数のチームが調査から試作までを担っていたが、今後は調査、分析、仮説生成、検証をエージェントが並列に担い、個人や数人で進められるかもしれない
  • 人間の中心的な役割は、目的と制約の設定、不確実性の見極め、最終判断を自らの選択として引き受けることになる
• 価値の多様性:
  • 環境への影響、許容できるリスク、社会的責任といった判断は正解のある問題ではなく、法令だけでなく文化に強く依存する
  • 人間の価値の多様性が探索を広げてきたため、全員が同じAIで同じ結論に収束する体制は長期的には危うい
• 知的労働以外への広がり:
  • 現場作業やロボティクスにおいても、何をさせ、どう監査し、どこで止めるかという統合点に人間の仕事が残る
• 本章のまとめ:
  • AI時代の仕事の本質は、職務の消滅ではなく職務の分解と再結合であり、実行は加速され判断は集約される
  • 人間の役割は、作業から、目的と制約の定義、統合、監査、停止判断へと重心を移す
  • 次章では、判断を引き受ける仕事を指揮と統合という二つの働きとして整理する

第17章 ポストAI時代の業務（1）――指揮と統合

• 仕事の変化:
  • エージェントの導入で業務が丸ごと置き換わるのではなく、目的や制約が明確なタスクから部分的かつ非一様に自動化されていく
• 人間の役割:
  • エージェントが並列に実行や試行を担う状況では、人間の役割は目的と制約を定める「指揮」と、どの判断を引き受けるかを決める「統合」に集約される

指揮という仕事

• 指揮の定義:
  • 指揮とは、目的・制約・優先順位を定め、状況に応じて更新し続ける営みである
  • 個々の行為を直接制御するのではなく、行為が向かう全体の流れに枠を与える仕事である
• 更新し続ける営み:
  • 環境の変化や新たな情報によって当初の目的や制約は陳腐化するため、何を維持・修正・破棄するかを判断し直す必要がある
  • 指揮とは計画を忠実に守ることではなく、状況の変化を受けとめながら方向を保ち続けることである
• 命令・管理との違い:
  • 命令は具体的な行為を指定し、管理は既存の手順を安定的に回すことに重心があるのに対し、指揮は不確実性を前提に目標と制約の配置そのものを調整し続ける
  • エージェントが実行を担うほど、人間の仕事は個々の操作から、どの探索を許しどの方向を閉じるかという判断へ移る
• エージェントに任せられない理由:
  • 枠の設定・更新・引き直しには価値判断と優先順位の選択が含まれ、失敗時の責任が伴うため、エージェントには任せられない
• 指揮の巧拙:
  • 指揮の巧拙は細かな指示の正確さではなく、どの問いを立て、どの探索を促し、いつ軌道修正するかという判断の連続として現れる
  • AI時代に指揮が前面に出るのは、人間が判断を引き受ける主体であり続けるからである

統合という仕事

• 統合の定義:
  • 統合とは、エージェントが生み出した複数の結果を評価し、どれを採用するかを決めて意思決定として引き受ける行為である
  • 評価が良し悪しの判定であるのに対し、統合はその判定を不可逆な判断として固定することであり、他の選択肢は可能性のまま閉じられる
• 選択を引き受ける能力:
  • 統合の段階では「どれもそれなりに良い」状況が多く、合理的な基準だけでは一意に決められない
  • そこで求められるのは最適解を見つける能力ではなく、選択を引き受ける能力である
• 自由との共通構造:
  • 一つを選び他を捨てることは、採用しなかった可能性を切り捨て、結果を自らの判断として引き受けることである
  • 第13章の不可逆性としての自由と統合の重みは同じ構造を持ち、選んだ結果を自分のものとして固定し続けることが統合の本質である
• 集計・最適化との違い:
  • エージェントは多数の結果を生成し評価値を計算できるが、どの判断を現実の行為として固定するかは計算だけでは決められない
• 統合の不可逆性:
  • 統合された判断は後続の実行、資源配分、説明責任の基準となり簡単には巻き戻せないため、統合は人間に残る

統合と経営判断の関係

• 経営判断との重なり:
  • 選択肢から一つを選び、組織の行為として固定し、失敗の責任を引き受けることは経営判断の中核であり、統合は経営者的な仕事と言える
• 役職ではなく機能:
  • 本書でいう統合は役職ではなく、判断が不可逆に固定される地点に現れる機能である
  • エージェントの並列探索で選択肢の生成速度と量が増え、採用を決める場面が組織のあらゆる階層に現れる
• 例外から日常へ:
  • 従来は年次計画や大規模投資など頻度の低い重要な判断に統合が集中していたため、経営者が担ってきた
  • AI時代には統合が日常的な仕事となり、プロジェクトやプロダクト単位で判断を引き受ける必要が生じる
• 成果責任との区別:
  • 統合は成果の責任を負うこととは別の役割であり、行為が始まる前に前提を固定し選択肢を捨てる判断である
• 統合の拡散:
  • 経営者が担ってきた統合の機能は組織内部へ拡散し、判断を引き受ける仕事は仕事の基本構造そのものとして現れる
• 次章への接続:
  • 次章では、引き受けた判断が現実の行為へ接続され責任として固定される過程を、監査・変更・停止という三つの設計として整理する

第18章 ポストAI時代の業務（2）――監査・変更・停止

• 本章の問題設定:
  • ポストAI時代の業務では、実行はエージェントに分散し、判断は人間に集約される
  • 指揮と統合が適切に設計されていても、判断がどの過程で実行に接続され、どこで介入できたのかがわからなければ、結果を引き受けることはできない
  • AIエージェントが実行系に深く接続されるほど、誤りは現実の損害として現れる
  • 重要なのは判断の正しさそのものではなく、判断と実行のあいだに設計された責任の流れである
• 責任の流れとしての監査・変更・停止:
  • 本章では、監査・変更・停止という三つの設計を責任の流れとして捉え直す
  • 責任は停止の際に突然生じるのではなく、行為の開始時点から監査と変更を通じて段階的に蓄積され、停止によって可視化される
  • 監査・変更・停止は独立した安全装置ではなく、行為の連鎖に対して人がどの地点で何を引き受けるのかを定める一続きの構造である

監査とは何か

• 監査の定義:
  • 監査とは、どの情報を根拠に、どの前提や指示のもとで、どの出力が生まれ、どの承認を経てどの行動に接続されたのかを、後から追跡可能にすることである
  • 監査は正しさを保証する装置ではなく、判断の過程を可視化する役割を持つ
• 履歴保存の必要性:
  • AIエージェントが関与する業務では、人間の把握能力を超える量と速度で判断や生成が行われる
  • そのため、参照された情報源、固定された前提、評価基準、自動実行と人の承認の境界といった履歴を一つの流れとして保存しなければならない
• 変更と停止の前提条件としての監査:
  • 監査ができていても責任をとれるわけではないが、何が起きているのかが見えなければ責任を置くことすらできない
  • 監査できないシステムは修正できず、問題があれば止めるしかないシステムになる
  • 監査は安全のための付加機能というより、変更と停止を可能にする前提条件である

変更という介入

• 問題の現れ方:
  • 多くの場合、問題は出力精度の低下、想定外の目標の出現、想定外の情報源の参照といった小さな違和感として徐々に現れる
  • この段階で求められるのが変更という介入である
• 変更の性質:
  • 参照する情報源の変更、実行権限や承認工程の見直し、評価基準や優先順位の修正は、行為の連鎖を止めるのではなく進路や条件を切り替える操作である
  • 変更とは、結果が確定する前に未来をずらすための介入である

変更に伴う責任

• 変更の判断に必要なもの:
  • どの前提がどの出力につながったのかがわからなければ、何をどう変えるべきかは判断できない
• 介入しなかったことの責任:
  • 変更できる可能性があったのに行わなかった場合、「結果を変ええた可能性を放棄した」という責任が発生する
  • 責任は行為の有無だけでなく、介入できたかどうか、介入できたのに介入しなかったかどうかによっても生じる
• トロッコ問題の捉え直し:
  • 暴走するトロッコが進めば五人、分岐器で進路を変えれば一人が犠牲になるという思考実験では、通常「切り替えるかどうか」が注目される
  • 本書では、結果の確定前に進路を変更できるよう設計していたか（分岐器を置いていたか）という点にも責任が生じると考える
• 動的価格設定AIの例:
  • 需要過多を受けてAIが価格を高く設定し、異常値でも違反でもないが、顧客の不信やブランド毀損につながる価格帯へ向かう予兆が検知されることがある
  • この段階では、AIを即座に停止して手動にするより、許容価格帯や変動幅といった制約条件を修正して進路を切り替える介入が行われる
  • これは結果の確定前に未来をずらすという点で、変更としての責任が問われる局面である
• 選択自体に生じる責任:
  • 設定を変える、権限を下げる、承認を追加するといった選択は、結果の確定前に世界に介入する行為であり、そこにはすでに責任が発生している

停止という不可逆な境界を引く判断

• 停止の定義:
  • 停止とは、進路を変えることではなく、行為の連鎖そのものを断ち切る最終的な判断である
  • 自動売買システムの強制停止、医療AIの判断の無効化、ロボットの非常停止ボタンは、いずれも実行を終わらせる行為である
• 停止の特殊性:
  • 停止が特別なのは、そこにだけ責任があるからではなく、設計・監査・変更を通じて積み重なった判断を打ち切る不可逆な介入だからである
  • 何もしないという選択も判断である
  • 止める仕組みがなかった、止める権限がなかった、仕組みも権限もあったが止めなかったという状況は、それぞれ異なる種類の責任を意味する
• 死の有限性との対応:
  • ヒトには死という不可逆な有限性が内在するが、AIにはそのような終わりが原理的に存在しない
  • 第11章で見たように、死の有限性は選択に重みを与え、判断を履歴として固定する構造的な条件である
  • だからこそ、AIを社会に組み込むとき、人間は自らの外側にある存在に対して不可逆な境界を代行して設定する役割を引き受ける
  • 停止とは、ヒトの死が持つ不可逆性と構造的に対応する重みを、人間が代行して引き受ける判断である
  • 将来AIが人間社会により深く入り込むにつれ、停止の判断は重みを増していく

設計として引き受けられる責任

• ハーネス設計への依存:
  • 監査・変更・停止はいずれも行為開始後に人が介入できる地点だが、それが成立するかはハーネス設計に依存する
  • どこで人が介入でき、どの条件で自動実行が止まり、誰が権限を持つのかは、運用の場で即興的に決まるのではなく、事前に設計された構造として固定されている
• 設計に及ぶ責任:
  • 責任は実行時の判断だけに還元されず、判断を可能にする介入点を設計していたかどうかにも及ぶ
  • ハーネス設計とは、どの地点で人が関与でき、どこまでを自動に委ね、どこから先を不可逆な判断として引き受けるかを定めることである
  • この設計が不十分であれば、監査も変更も停止も形式的な選択肢としてしか存在しなくなる
  • ハーネス設計は、行為の連鎖が始まる前に責任の帰属を決めるという意味で、最初の責任配置である
• まとめ:
  • 仕事の再設計とは、エージェント導入による効率化にとどまらず、目的、制約、指揮、統合、監査、変更、停止を含む運用全体を最初から設計し直すことである
  • 人の仕事は、AIエージェントを含むシステム全体が生み出す責任の流れを観察し、必要に応じて修正し続けることへと移っていく
  • 次章では、この責任構造を支える前提として、コミュニケーションそのものの再設計を扱う

第19章 コミュニケーションの再設計――交渉が並列化し、委譲が制度になる

• 問題提起:
  • AIエージェントの介在により、交渉・合意形成・実行管理というコミュニケーションの構造そのものが変わりつつある
  • 引っ越し時の各種手続きのように、個々は簡単でも順番に処理すると手間がかかり、条件が相互依存すると全体が複雑になる
  • 「今と同じ快適さを保ち、費用は抑える」といった条件だけを伝えれば、連絡や調整をまとめて進めてくれる存在がAIエージェントである
• 本章の主題:
  • 本章は、会話の自動化を超えて、交渉・合意・実行における責任の配置が制度としてどう再設計されるかを扱う
  • コミュニケーションの再設計は、何をAIに委ね、どこから人間が引き受けるかを具体的に示す中核的な問題である

会話の高速化から、合意形成の構造化へ

• 技術とコミュニケーションの変化:
  • 電話は距離を縮め、メールは非同期化を進め、SNSは到達範囲を広げてきた
  • AIの登場によって、コミュニケーションはさらに大きく形を変える
• エージェントが入り込む工程:
  • エージェントは連絡の速度を上げるだけでなく、相手の探索、条件整理、交渉、合意形成、実行管理に入り込み始めている
  • 変わりつつあるのは話す行為の置き換えだけでなく、合意形成の進め方である
• 交渉の並列化・構造化:
  • 従来の交渉は、条件の提示・反応待ち・修正・再確認を逐次的に繰り返し、時間と注意を消費していた
  • エージェントが介在すると、複数の相手と同時に条件を突き合わせて選択肢を整理し、人間には判断すべき要点だけが返ってくる

代理交渉と専門性の外部化

• 先行例としての自動車保険:
  • 自動車事故では当事者同士ではなく保険会社が間に入り、定められた基準と証拠に基づいて処理を進める
  • 代理人を挟む利点の第一は、感情的な摩擦を代理者がクッションとして吸収することである
  • 第二の利点は、個別事象を前例や基準と照らし合わせることで、合意までの時間が短縮されることである
  • ここでは自由な説得としての交渉を減らし、ルールと証拠の即物的な適用で処理する最適化がなされている
• 専門性の外部化と並列処理:
  • 多くの交渉は法的知識、業界慣行、契約の細部、文化的背景などの専門性を必要とし、個人がすべて把握するのは難しい
  • 人は多数の交渉を同時に深く扱えないが、AIエージェントは専門性の外部化と並列処理によって個人の能力を超えた交渉ができる
• エージェント化が進む領域:
  • 返金・補償・購買条件の調整などルールが前提となる領域では、事実整理、証拠収集、一次判定、複数案の比較、定型的な合意文の作成がエージェントによって実現されていく

委譲が制度になるということ

• エージェントと人間の分担:
  • エージェントは複数の交渉や調整を同時に進め、途中経過を整理し、確認が必要なときだけ要点を人間に返す
  • 人間は必要な場面でのみ介入し、例外の承認や最終判断を行う
• 制度としての委譲設計:
  • 権限と責任の委譲は、個人の裁量やその場の判断ではなく、制度として設計される必要がある
  • エージェントが判断してよい範囲、人間に戻す条件、異常時の停止方法をあらかじめ定義しなければならない
• 委譲の危険と要件:
  • 委譲とは判断権力の移転であり、設計を誤れば意図しない結果が不可逆に固定化される
  • 権限は段階的に付与され、判断根拠は監査可能な形で残され、停止と介入の条件が明示されていなければならない
  • 委譲が制度になるとは、こうした設計が暗黙ではなく明示的に共有されることを意味する

日常生活へ浸透するエージェント交渉

• 日常生活への広がり:
  • 変化は企業活動に限らず日常生活にも及び、顧客対応はエージェントが処理し、必要に応じて交渉も行うようになる
  • 消費者側もエージェントを使っていくようになる
• 交渉前の条件設計:
  • エージェントがどこまで相手をし、どの情報を根拠に、どこまで判断してよいかを、交渉前の条件にあらかじめ組み込む必要がある
  • 利用者は細かなやり取りを追うのではなく、最終的な判断だけを引き受ける
• 目的と制約の設計:
  • 予算上限、譲れない条件、避けたいリスク、優先順位をエージェントがどこまで理解し反映できるかは、意図しない結果を防ぐために重要である
  • これは業務における委譲設計と本質的に同じ問題である

注意と責任の再配分としてのコミュニケーション

• 人の役割の変化:
  • 業務でも生活でも、人はやり取りの実行者から、やり取りの枠組みを設計する存在へと役割を移していく
• 注意資源と責任の再配分:
  • コミュニケーションの再設計とは、人が持つ注意資源と責任をどう再配分するかという問題である
  • 人に残るのは、優先順位の価値判断、不可逆な決定、長期的な関係の設計である
  • 大きな金額、長期拘束、評判を損ねうる判断、例外対応では、最終的に責任の所在が問われる
• 設計責任と曖昧さの累積:
  • エージェントを利用する際には、使う側に設計責任がのしかかる
  • 交渉が並列化し委譲が制度化されるほど、曖昧さは累積し、責任は溶けやすくなる
  • 自然言語による制約や指示だけでは、合意と責任を安定して固定することが難しくなる
• 次章への接続:
  • 次章では、なぜ自然言語だけでは不十分なのか、エージェント同士がやり取りする新しい言語層がなぜ社会的に必要なのかを言語の側から考える

第20章 言語の再発明

• 言語の役割の変化:
  • AIが浸透した時代には、言語は単なる伝達手段から、AIの行為や判断を社会に固定する装置へと役割を変えていく
  • 物語を語り、価値を共有し、合意を形成し、共同体を成り立たせる自然言語の役割自体は失われない
  • 委譲、実行、監査、変更、停止のプロセスにAIエージェントが加わると、自然言語だけでは責任の境界を安定して固定できなくなりつつある
• 本章の問題設定:
  • 誰が判断し、どの条件が発動し、なぜ止めなかったのかに答えられないまま合意や実行が進むと、問題は制度的な空白として現れる
  • 本章の「言語の再発明」とは、責任と判断を社会に定着させる基盤を支える新しい言語を作るという根本的な試みである

自然言語が前提としてきた人間同士の了解

• 曖昧な指示の例:
  • 「コストを抑えつつ安全性を最優先に、多少の遅れは許容し、問題があれば止めて担当者に相談」という指示は、背景を共有する人間同士なら通じうる
  • 同じ指示をAIエージェントに委譲すると、多くの未確定な解釈が含まれていることがわかる
• 共有されない境界:
  • 「多少」の範囲、安全性とコストが衝突したときの停止点、相談の相手と段階が定まっていない
  • 人間同士なら関係性や文脈、常識で暗黙に補われてきた境界が、AIとの間では共有されない恐れがある
• 自然言語の前提:
  • 自然言語は人間が運用しやすいように自然発生的に作られ、その使いやすさは暗黙の了解と曖昧さを前提に成立している
  • 委譲の相手が人間でなくなると、この前提は崩れる

自然言語の第一の制約――一次元の流れ

• 一次元という特徴:
  • 自然言語は進化の過程やヒト固有の認知特性に由来する特徴と制約を持つ
  • 音声から生まれたため、表現は基本的に時間に沿った一列の流れである
  • 人間の記憶や認知の制約から、一度に扱える注意や読解の範囲には限界がある
• 多層構造との不整合:
  • 目的、制約、例外などは同時に存在し相互に影響し合う多層構造を持つため、一次元の表現には収まらない
  • 自然言語は、優先順位や依存関係を表すのに最適な表現ではない
• 問題の本質:
  • この問題は主体の能力だけでなく、一次元の言語で多層構造を運用しようとすること自体の無理から生じている
  • 人間同士ではその無理を曖昧さや共通の価値観が吸収してきたが、委譲や実行が並列に走るAI環境ではその吸収が機能しなくなる

曖昧さという緩衝材の限界

• 曖昧さの効用:
  • 第7章で述べたとおり、曖昧さは現実の複雑さに適応するための特性である
  • 「なるべく」「基本的に」「多少」「原則として」といった表現は、空気や関係性、常識で補完され、緩衝材として機能してきた
  • 法律や契約書でも、あえて曖昧さを残して想定外の事象への解釈の余地を確保する場合があり、それは不確実性を引き受ける工夫である
• エージェントへの委譲時の断絶:
  • 判断や実行をエージェントに委ねると、曖昧さはヒトとエージェントの間の断絶として現れる
  • エージェントは、どの文脈で曖昧さを補うべきかを自律的に判断できない
  • 初めて契約する相手のように、裁量と義務の境界を明示しなければ、曖昧さは事故として表面化する

第二の言語層

• 目的:
  • 自然言語を補う第二の言語層が必要になる
  • その目的は、AIが判断を固定し責任を配置すること、すなわち誰がいつどこまで引き受けたかを後から解釈で覆されない形で残すことである
• 記述すべき内容:
  • 目的や制約の列挙に加え、判断が切り替わる条件、人間が介入すべき点、選択の責任の帰属といった判断の分岐点そのものを構造として記述する必要がある
  • 後から「なぜこの判断がなされ、この結果が引き受けられたのか」を再構成できなければならない
• 本書の立場:
  • 本書はこの言語層を具体的には提案せず、人間とAIが長年かけて築き上げていくものとする
  • 恐らくプログラミング言語と自然言語の概念を組み合わせて作られ、検証可能性を持ち自然言語に翻訳可能なものになると考える
• 曖昧さの扱い:
  • この言語層を導入しても曖昧さは完全には排除できず、すべてを厳密に書き切ることは不可能であり望ましくもない
  • ただし、曖昧さがどこに存在し、どの範囲で許容されているかは明示されていなければならない
  • 曖昧さが「残っていること」と「どこに残っているかわからないこと」はまったく別である
• 二つの言語の関係:
  • 自然言語が価値や目的を語る言語なら、第二の言語層はそれを判断と責任の連鎖に変換し、定義・実装する言語である
  • 両者が重なり合うことで、委譲、実行、監査、変更、停止のプロセスを社会のなかで説明可能な形で支えられる

自然言語を補ってきた人工言語の延長として

• 人工言語の歴史:
  • 人類は数式、図面、楽譜、回路図など、目的に応じて自然言語を補う人工言語を発明してきた
• プログラミング言語:
  • その代表例がプログラミング言語であり、現代社会は複雑なシステムをそれで記述し、それに依存している
  • プログラミング言語は計算機への指示であると同時に、システムの目的や制約を明示している
  • 例えば銀行のシステムでは、どの場合にどう処理するかが究極的にはプログラムとその周辺のデータで書き表されている
• 数学の形式言語:
  • 数学でも、定理や理論を行間を排して厳密に証明するための形式言語が使われ始めている
  • これは、数式と文書で表されてきたことをAIエージェントも含めてやりとりする必要が生じたことを表す
• 求められる言語:
  • エージェントが社会で動くことは、社会の意思決定の一部が外部化されることを意味する
  • そのときに必要な社会的判断や責任の配置を記述する言語が求められている

AIにとって自然言語は特別ではない

• 言語の扱いやすさの非対称:
  • AIにとって、自然言語と人工言語を扱う難しさは必ずしも大きく変わらない
  • 人間にとって自然言語は思考や感情と結びついた第一級の存在だが、AIにとっては数ある表現形式の一つにすぎない
• 表現形式の切り替え:
  • 現在のAIは、自然言語だけでなくプログラム、数式、擬似コード、他の形式言語の上でも容易に推論する
  • 学習データの約半分がプログラムである
  • AIは問題に応じて最も扱いやすい形式を負荷なく選び直し、その切り替えはバイリンガルに近いが、より機械的で感情や文化的な重みを伴わない
  • AIにとって自然言語と人工言語の区別は本質的ではなく、どちらも共通の内部表現に変換され、どちらも母語になりうる
• 構造化された記述への親和性:
  • AIはむしろ曖昧さの少ない構造化された記述を好む傾向があるだろう
  • 条件や依存関係、責任の分岐が明示されているほど、推論は安定し挙動も再現可能になる
  • 人間には窮屈な形式でも、AIにとっては扱いやすい場合が多い
• 非対称性の意味:
  • AIは自然言語に特別な重みを置かないため、第二の言語層を重ねることはAIにとって不自然な制約ではなく自然な拡張として機能する
  • 人が読めてAIが安定して扱える言語をどう設計するかが、人とAIが同じ社会を運用する共通基盤を整えるうえでの大きな課題となる
• 残る課題と次章への接続:
  • 二層言語を用意すればすべてが解決するわけではなく、それを使いこなし適切に委譲し、引き受けるべき判断を見極める能力は自然には身につかない
  • AIにどこまで任せ、どこで立ち止まるかを判断するには、価値と責任の理解、そして自分が引き受けられる判断には限界があるという有限性の理解が不可欠である
  • 次章では、二層構造の言語を扱う主体をどう育てるか、すなわち教育の更新を考え、言語の再発明は教育の再設計へとつながっていく

第21章 教育の更新

• 知識運用の外部化:
  • AI社会では検索・整理・要約・推論補助までもがAIによって即座に外部化される
  • これを「人間は創造的活動に専念できる」と楽観視するのは危険である
• 思考の足腰の喪失:
  • 思考プロセスの外部化は、思考の「足腰」を鍛える機会の喪失を意味する
  • AIという強力なアトラクターの重力圏で、人間が自律的な軌道を維持し判断の主体であり続けられるかに、教育の役割は集約されつつある
• 本章の視点:
  • 教育の効率化に加え、人間が「思考の負荷」をどう再配分し、知性を獲得し直すかという戦略の観点から論じる

地図を持たぬ者に、ナビは使いこなせない

• 知識の解像度のパラドックス:
  • 高度なAIが存在するからこそ、人間側の「知識の解像度」が問われる
  • 事実の羅列や定型処理の価値は下がるが、思考をAIに委ねれば出力の妥当性を検証する術を失う
  • それは地図を持たずにナビに従う状態であり、ナビの誤作動や意図的な遠回りに気づけない
• ブラックボックスからの神託:
  • 政策案の前提条件やデータの偏り、影響についての基礎教養がなければ、AIの提案は「ブラックボックスからの神託」と化す
  • ハルシネーションを見抜き論理の飛躍を指摘するには、皮肉にもAIが省略してくれるはずの地道な学習で培われる知識体系が不可欠である
• 知識の再定義:
  • 知識は「答えを出すための道具」ではなく、AIを使いこなすための問いを作り、結果を監査し、手綱を握り続けるための「足場」として再定義される

学習の個別最適化の功罪

• 従来の前提:
  • 人は理解速度やつまずく点、興味の向きが大きく異なるが、従来は「平均的な学習者」を想定した教育が主流だった
  • 個別対応は理想とされつつも、時間や人員の制約で限界があった
• AIによる個別最適化:
  • AIは学習者の理解度や誤りの傾向に応じて、説明の粒度や例を変え、練習問題を動的に生成し、即座にフィードバックを返せる
  • 理解の浅い箇所への戻りや得意領域の先取りも、特別な負担なく行える
  • AIは指導要領や教科書を読み込み、学習者に応じて咀嚼して提供する存在になる
• 多次元の特徴としての差異:
  • 抽象的な定義から理解する学習者もいれば、具体例や図で腑に落ちる学習者もいる
  • 一斉授業では差異が「ついていけるか」の一軸で処理されがちだったが、AIは多次元の特徴として扱える
• 分布を広げる教育:
  • 個別最適化は同じゴールへの早期到達だけでなく、基礎を共有したうえで異なる関心や強みを伸ばす分岐を教育に組み込める
  • これは平均に揃える教育から分布を広げる教育への転換であり、長期的に社会全体の適応力を高める
  • 誰もが同じ形に整えられる前提から、異なる形で成長する前提への転換を意味する
• 共通体験の喪失:
  • 看過できない副作用として、「共通体験の喪失」による社会の分断リスクがある
  • 従来の一斉教育には「他者と同じ文脈を共有する」という隠れた機能があった
  • 心地よい説明や興味あるトピックだけに囲まれて育つと、共通言語や前提を共有しない相手への想像力が欠落する恐れがある
  • SNSのような相互理解し得ない分断化が、個を伸ばす教育でも発生しかねない
• 分布をつなぎ止める設計:
  • これからの教育は、個を伸ばすと同時に広がりすぎた分布をつなぎ止めることに意識的でなければならない
  • あえて他者と摩擦が生じる議論の場や共通の難題に取り組む経験を設計し、人間同士の接続性を維持することが問われる

問いを立てる力と学びの主体性

• 教育の中心の移行:
  • 知識へのアクセスが容易になると、教育の中心は何を知っているかから何を問うかへ移る
  • 与えられた問いに答える力を前提に、「何を問うのか」を自ら設定する力が重要になる
  • 問いを立てることは進む方向と目標を自分で決める行為であり、学びの主体性そのものである
• 結果を評価する能力:
  • AIが大量の提案を生成する世界では、何を良しとし何を退けるかを判断する能力が求められる
  • この判断には絶対の正解はなく、必ず価値判断が含まれる
  • 事業であれば利益最大化だけでなく、従業員や地域社会への影響、長期的な社会の方向性といった視点も欠かせない
• 価値軸を理解する力:
  • 唯一の正解はないが、複数の価値軸や制約を理解したうえでより望ましい選択を選び取ることは可能であり、それがAIを使いこなす前提となる
  • 価値が単一でないことを理解する力は、判断を引き受ける基盤として全員が共有すべきである
  • 哲学や倫理は抽象的教養ではなく実際の判断を支える知として、教育の中核に位置づけ直す必要がある

教師・学校・学びの場の役割の変化

• 生涯続く学び:
  • 学びは学校で完結せず、社会に出てからも新しい技術・制度・価値観に直面し続ける
  • 「AIにどこまで任せ、人がどこまで引き受けるか」の境界は固定できず、学びとはその境界を更新し続ける営みである
• 教師の役割:
  • 教師は知識を一方的に伝える存在から、学習者と共に問いを立て、その前提や制約を示し、学びの方向を設計する存在へ移る
  • 何を教えるか以上に、なぜ学ぶのか、どのような判断につながるのかを示すことが求められる
  • AIは「常に肯定し、待ってくれる優しい家庭教師」になりうるため、生身の教師はあえて答えのない問いで認知的葛藤を起こし、安易な答えを阻む「壁」とならなければならない
• 学校と評価の変化:
  • 学校は知識を詰め込む場から、問う力や判断の訓練を行う場へ変わる
  • 正解を早く再現する価値は相対的に下がるが、良い問いと評価のためには知識の備えが依然必要である
  • 重視されるのは判断の前提と説明責任であり、評価も思考の過程や判断の一貫性、価値選択の理由を含むものへ広がる
• 研究開発との結びつき:
  • 研究は問いを立て、方法を設計し、検証し、共同体へ返す営みであり、AIがこの循環に入り込むと知の作り方自体が変わる
  • 次章では研究と社会の関係の再編を考える

コラム 試験はどうなるのか？

• 既存試験の無意味化:
  • AIが医師国家試験や司法試験の合格ラインを超える時代に、記憶と再現を測る試験は価値を大きく失う
  • しかしAIという強力なゴーストライターがいるからこそ、出力に自分の名義で署名し責任を引き受けられるかを問う試験の重要性は増す
• 実務シミュレーションとしての試験:
  • 一つの方向は、AIの使用を前提とした試験であり、正解を出すこと自体にはほとんど価値がない
  • 問われるのは、AIの答えをどう検証し、論理的な穴を塞ぎ、結論に至った理由を説明できるかというプロセスである
  • これは監査能力を測る試験であり、評価されるのは回答の精度ではなく判断の履歴である
• クローズド環境の試験の復権:
  • もう一つの方向は、逆説的にデジタルデバイスを一切禁じたクローズド環境での試験である
  • 電卓後の暗算訓練やパイロットの手動操作訓練のように、AIなしの基礎体力はAIを使いこなす前提条件として再評価される
  • AIの結果の妥当性を判断する「嗅覚」は身体化された知からしか生まれず、高度な専門職や難関試験ほど「裸の知性」を証明する試験は厳格化する
• ディフェンスとしての試験への収束:
  • 二つの方向性は、学位審査のような「ディフェンスとしての試験」に収束していく
  • 「なぜ正しいといえるか」「前提が変わっても結論を維持できるか」という問いに、その場で論理を再構築し守り切る力が問われる
  • AIが書いた答えでも構わないが、提出した以上その責任はすべて提出者に帰属する
• 覚悟を問う儀式:
  • 未来の試験は、AIの判断を「自分の判断」として引き受ける覚悟を問い、判断を担う主体として立つことを許されるかを確認する儀式のような場になる
  • 何をなぜ測るのかを、AI時代の現実に即して問い直すことが求められている

第22章 研究開発の逆転

• 科学的方法論の更新:
  • AIが研究開発にもたらすのは効率化にとどまらず、発見と理解、仮説と検証の関係そのものの組み替えである
• 人間の直観というボトルネック:
  • 材料設計、創薬、複雑系シミュレーションなどの探索空間は天文学的に広大で、人類は理論・経験・直観を頼りに歩ける範囲だけを探索してきた
  • 限られた資源で成果を出すために探索範囲を絞り込む戦略は合理的だったが、探索空間が広がった現代では人間の直観こそが最大のボトルネックになる
  • 過去の成功体験や学界の通説によるバイアスは、探索を効率化する一方でイノベーションの鉱脈を最初から切り捨ててきた
• バイアスを持たないAIの探索:
  • AIはこのバイアスを人間と同じ形では持たず、人間が「無駄だ」と見なしてきた領域にも踏み込み、既存理論からは導けない解を発見する可能性が高い

理解なき発見の常態化

• セレンディピティの工業化:
  • 最大の変化は、「偶然の幸運」であるセレンディピティの工業化である
  • ペニシリンのように理論より先に現象が見つかる例はあったが例外的で、仮説・検証・理解を経て発見に至るのが王道とされてきた
  • AI駆動型の研究開発ではこの例外が常態化し、「なぜかはわからないが高機能な材料」や「理屈は不明だが良く効く製造法」が次々に提示される
• AlphaFoldの例:
  • 開発者がノーベル化学賞を受賞したAlphaFoldによるタンパク質の構造推定や機能予測に基づく設計は、理解なき予測を前提に今後膨大な有望な発見につながっていくだろう
• 説明しきれない知との共存:
  • 発見が先にあり、理解が後から追いかける構図になる
  • AIが見つけた法則性が複雑すぎて、人間が永遠に直感的な理解に到達できない可能性すらある
  • 私たちは「使えるが、説明しきれない知」と共存する局面に立たされている
• 囲碁・将棋AIとの類似:
  • この現象は囲碁や将棋のAIが人間の定石を超えて新たな可能性を見出したことと構造的に同じだが、科学の現場ははるかに複雑である
• 分野の境界を越えた探索:
  • AIは学問領域の境界を意識せず、人間が扱いきれない数のパラメータを同時に操作し、無数のレンズを重ね合わせた状態で探索する
  • その結果、専門分野の狭間に埋もれていた「谷間の解」が掘り起こされ、人間の常識が作っていた探索の死角から多くの発見がなされる

整理する者から意味づける者へ

• 人間が担う判断:
  • AIは「可能性」を提示するが、それが人間社会にとって何を意味するかまでは教えてくれない
  • 膨大な候補のうちどれが重要で社会実装すべきか、どのような安全基準や制約を設けるべきかを判断するのは人間である
• 解釈と翻訳:
  • AIが発見した現象に後付けでも納得可能な解釈を与え、他者が利用できる形に再構成する必要がある
  • 研究者の仕事は、AIという異質な知性が持ち帰った果実を鑑定し、人間社会が消化可能な形へ翻訳する営みへと移りつつある
• 科学の重心の移動:
  • 科学は真理を一歩ずつ積み上げる営みから、AIが提示する可能性に人間がどう意味づけし納得するかを問う営みへと重心を移している

神託への接近

• 神託としての性質:
  • AIによる発見が人間の理解を超えたとき、それは科学的成果というより神託に近い性質を帯びてくるだろう
• 社会への問い:
  • なぜ効くのかわからない薬を信じて飲めるのか、説明できない構造の橋を渡れるのか、理解を伴わない知を社会はどこまで受け入れられるのかが問われる
• 次章への導入:
  • 次章では、ブラックボックス化した知と人間社会の向き合い方を、神託としてのAIという比喩から考える

第23章 神託としてのAIと科学研究

• 前章からの接続:
  • AIにより探索や仮説生成が人間の手を離れ、発見が先行し理解が周回遅れで追いかける構造が常態化している
  • この逆転は「世界を理解してから制御する」という近代科学の理想への深刻な挑戦である
• 本章の問い:
  • 因果の物語を持たないまま正しい結果だけが提示されたとき、それをどう扱い、誰が引き受けるのかを問う
  • 本章ではこの状況におけるAIの位置づけを比喩的に「神託」と呼び、理解が追いつかない時代の科学研究の再編を考える

納得と制御の分離

• 従来の科学における理解と利用:
  • 従来は「理解すること」と「使えること」は不可分とされ、説明に人間が納得して初めて技術が社会に実装されてきた
  • 近年のAIは、理由はわからないが極めて高精度に予測・制御できる状態をもたらした
• 二つの理解:
  • 一つは、なぜそうなるのかという問いに答える、人間が納得して使うためのナラティブな理解である
  • もう一つは、入力と出力の関係が統計的に保証され、同じ結果を再現できるという工学的な理解である
  • AI時代には前者が失われつつあり、後者はむしろ強化されている
• 物語なき制御:
  • 我々は物語なき制御という、従来の科学とは異なる知のあり方を受け入れざるを得ない局面にある
  • 第1章の「理解する前に答えがある世界」は、科学の最前線でも現実になりつつある
  • 理解が先にあり結果を出すという従来の順序は、研究開発の場でも維持できなくなっている
• 時間の非対称性:
  • AIが候補物質や設計案、数学理論を生成するのは数分から数時間単位の出来事となるだろう
  • 人間がメカニズムを解明し、査読を経て科学的合意に至るには数年から数十年を要する
  • このタイムラグの前では、「理解してから進む」態度は時として「進歩を放棄する」選択と同義になる
  • 環境問題やパンデミックなど猶予のない課題では、理解の完了を待たずにAIを実装するか否かの判断を迫られる
  • 理解を待つことも進むことも、どちらも不可逆な結果を伴う判断である

神託としてのAI

• 神託の意味:
  • ここでの「神託」は崇拝対象ではなく、中身を把握できないまま無視できない結果を示し、判断を回避できなくする存在の比喩である
• 古代の神託:
  • 古代の神託は未来を保証せず、曖昧な言葉や兆候の解釈と行動の責任は常に人間側にあった
  • 神託の本質は、答えを与えることではなく、判断を避けられなくする点にある
• 研究におけるAIの役割:
  • AIは結果を提示するが、その結果を社会に組み込む主体ではない
  • どの結果を採用し、どの範囲で使い、どの条件で止めるかの判断は人間に残されている

理解から検証へ――神託の飼いならし方

• 信仰ではなく検証:
  • 理解できない対象と向き合う方法は、信仰ではなく検証である
  • 研究者の役割は、ブラックボックスの中身の完全な理解から、その振る舞いを徹底的にテストし制御することへと移りつつある
• 工学としての飼いならし:
  • 猛獣の心が読めなくとも、檻の強度が十分であれば飼うことはできる
  • 理解できない対象を安全に利用可能な機関として飼いならすことは、純粋な科学というより実務的な工学の領域である
• 計算資源と検証の特権化:
  • AIの利用にも結果の検証にも巨大な計算資源が必要になるという新たな問題が生じる
  • かつて数学の定理は紙と鉛筆と時間があれば誰でも検証できたが、最先端AIモデルを使えるのは一部の巨大企業や国家に限られる
  • その場合、多くの人にとってAIの結果は検証不可能な神託として降り注ぐ
  • このAI利用の特権化は科学の民主性を根底から揺るがし、それを防ぐには公的な計算資源の整備が不可欠になる

制度としての責任

• 責任の所在:
  • 最後に残るのは、不可逆な結果に対する責任の所在である
  • 理解できない技術による破局的な事故の責任を、個々の研究者が覚悟だけで負うことは不可能である
  • 求められるのは精神論ではなく、説明不可能なAIを利用するための法的枠組み、保険制度、リスク許容度に関する社会的合意である
• 法と契約という儀式:
  • 古代の王が神託を受ける際に儀式を必要としたように、現代もAIの結果を社会に接続するための法と契約という儀式を必要としている
• 科学研究の重心移動:
  • 科学研究は、真理を理解する営みから、理解を超えた複雑性を管理し社会と接続する政治的・工学的調整へと重心を移しつつある
  • 我々は理解を諦めるわけではないが、完全な理解を待たずに結果を使う責任を引き受け始めている

第24章 エージェント社会とRTS

• AIの単体能力と現実の応用:
  • AIの社会的影響を考える際は個体の能力に注目が集まりがちだが、現実の応用でAIが単体で孤立して働く場面はほとんどない
  • 実務は複数の役割に分解されて並列に進み、役割ごとに分かれた複数のAIが同時に判断し、互いの結果に影響を与えながら動く
• 多数のAIが生む全体像:
  • 重要なのは個々のAIの性能ではなく、それらが並列に協調して稼働したときの全体像である
  • 判断の同時性と相互作用により結果は単純な足し算にならず、合理的な判断同士の組み合わせから予期しない振る舞いが生まれることもある
  • AIの社会的影響を理解するには、「多数のAIが同時に動くと世界がどのような構造を持つか」を考える必要がある

エージェント社会とは何か

• エージェントの定義:
  • 本章のエージェントとは、一定の目的と制約のもとで自律的に判断・行動し、その結果を次の判断に反映できるシステムである
• 限定された自律性:
  • エージェントは観測・評価・選択・実行の循環を高速に回し、環境との相互作用を通じて振る舞いを更新する
  • 一方で、自ら目的を問い直すことはできず、評価軸の外側に踏み出せないという限定された自律性がエージェントの特徴である
• 相互依存の網の目:
  • 実際のシステムでは異なる目的や制約を持つ複数のエージェントが同時に動き、それぞれの判断が他のエージェントの環境条件になる
  • エージェント社会とは、こうした相互依存の網の目として成立する構造である
  • 全体の振る舞いを規定するのは個々の能力よりも、エージェント同士の関係性、配置、時間的な重なりである
  • エージェント社会を理解するとは、相互作用が生み出す構造を見ることである

RTSゲーム

• RTSという比喩:
  • 多数のエージェントが同時に行動する世界を直観的に理解する比喩として、RTS（リアルタイムストラテジー）ゲームが挙げられる
  • RTSでは単純な行動規則と限定された役割を持つ多数のユニットが並列に動き、相互作用することで全体として極めて複雑な状況が生まれる
  • 例えば街を作るゲームでは、材料集め、資材作り、建物作りが並列に実行される
• プレイヤーの役割:
  • プレイヤーはすべてのユニットを逐一操作できず、操作しようとするほど全体の最適化が難しくなる
  • RTSで有効なのは、個々の行動の制御ではなく、配置、方針、切り替えの設計である
  • 全体の振る舞いは、あらかじめ与えられた方針や配置によって間接的に形づくられる
• エージェント社会との対応:
  • このRTSの構造は、エージェント社会における人とエージェントの関係といえる

人間は「司令部」という位置に現れる

• 司令部としての人間:
  • エージェント社会にRTSの構造を重ねると、人間は個々の行動を直接操作するのではなく、エージェントを取り囲む条件や配置を調整する司令部の役割を担う
• 時間幅を持った調整:
  • この位置では即時的な反応よりも、時間幅を持った調整が中心になる
  • 短期的な変動に反射的に介入するより、全体の流れや傾向を見て条件や配置を更新するほうが安定した振る舞いを生む
• 関与点の移行:
  • 人間は、行動を直接選ぶ主体から、どのような行動が生じうるかを定める構造に関与し環境を整える存在へと位置を移す
  • 司令部という比喩が示すのは人間の優位性ではなく、エージェント社会における関与点の構造的な変化である

エージェント社会の構造

• 局所最適と全体のズレ:
  • 各エージェントが合理的に振る舞っても、全体として望ましい結果が得られるとは限らず、局所的な最適化と全体構造の間には必然的なズレが生じる
  • 評価軸が異なれば最適化は容易に衝突し、性能が高く最適化が鋭いほどこのズレは顕在化する
• 構造の設計:
  • この問題は命令の精度を上げても解消されず、何をどの範囲まで最適化するかという構造の設計に関わる
  • ズレを消すのではなく、ズレを前提とした配置が求められる
• 時間軸の乖離:
  • エージェント社会では意思決定の時間軸が人間の感覚から切り離され、短い間隔の判断の相互作用によって状況は連続的に変化する
  • 人間はすべての変化に即時に反応できず、そうすべきでもなく、中期的・長期的な傾向が現れる時間幅において関与する

拡張するエージェント社会

• 関与点の上位化:
  • エージェントの数と適用範囲が広がるほど、人間の関与点はより抽象的で上位のレベルへ移行し、配置、時間軸、制約条件を設計する役割が前景化する
• 新しさをめぐる問い:
  • 多数のエージェントが同時に動く世界では、予測できない組み合わせや新しい振る舞いが現れる
  • そのなかで、何を新しいと呼び、どの選択を意味あるものと位置づけるのかという問いが浮かび上がる
  • 次章では、この問いを「引き返せない選択としての創造性」という観点から考える

第25章 引き返せない選択としての創造性

• 創造性の定義の反転:
  • 創造性は長らく「無から有を生む力」や「可能性を広げる力」と考えられ、独創的な発想や前例のない表現を生むことがその証とされてきた
  • AIが文章・画像・コード・設計案などの「有」をほぼ無限かつ高速に生成できるようになり、かつて希少だった「新しい案」は飽和している
  • この過剰生成の環境では、「生み出すこと」ではなく「選択すること」が創造性の核心となっていく
• 可能性を切断する選択:
  • ここでの選択とは、無数の「ありえたかもしれない未来」のほぼすべてを切り捨て、たった一つの現実を固定する行為である
  • 創造性とは、可能性の流れをせき止めて世界を一方向に押し固める、強い意志の力である
• 選択肢の過剰がもたらす麻痺:
  • 選択肢の増加は自由の拡大と理解されがちだが、ある閾値を超えると自由ではなく麻痺を生む
  • AIは再生成のたびに魅力的な別案を無限に提示するため、決定を先送りし続けることが局所的には最も合理的な行動になる
  • 可能性が無限にある状態は「何も存在していない」のと同じであり、誰かが「これでいい」と決断しない限り現実は動かない
  • 創造性は、流動的な世界に杭を打ち、流れを止める力として現れる

「終わらせる」という特権

• AIと人間の決定的な違い:
  • AIは最適化を続けることはできるが、自らの判断でプロセスを終わらせることはできない
  • 人間は、論理的な最適解でなくとも「これが私の選択である」という意志で探索を打ち切ることができる
  • この停止の発動こそが、これからの創造性の核心である
• 完成させることの意味:
  • 作品を完成させるとは、より良かったかもしれない無数の可能性を意図的に打ち切ることと同義である
  • 無限に生成できる世界であえて一つの選択を行う行為そのものが創造的である

責任という名の創造性

• 創造性の民主化の裏にある厳しさ:
  • 誰でもクリエイターになれるとは、誰でも簡単に作品を生成できることを超えて、誰もが不可逆な結果に対する責任を負うことを意味する
  • AIが提示した数千の案から一つを選んだ瞬間、「AIがやった」という言い訳は消え、他の可能性を捨てて自分が選んだという事実が残る
• 胆力の重要性:
  • 胆力とは、他により良い可能性があるかもしれないなかで「これで決めて責任をとる」と決断する力であり、創造性において重要となる
  • 創造性の民主化は、責任の民主化である

第26章 なぜ外国語を学ぶのか

• 問題提起:
  • AIが翻訳や文章生成を破綻なく行えるようになり、実用面では外国語を学ばなくても困らない場面が増えている
  • それでも人が外国語を学び続ける事実は、慣習や教育制度の惰性だけでは説明できない
  • そこには「生成できること」と「身につけていること」の本質的な差異が現れている
• 本章の問い:
  • 本章は「AIが翻訳できるのに、なぜ人は外国語を学ぶのか」を問う
  • この問いは、生成が外部化された時代に人がどう思考し、どの位置で判断を引き受けるのかという一般的な問題につながる

翻訳できることと、外国語がわかることは違う

• 翻訳後に残る違和感:
  • AI翻訳は文法・語彙・文脈の面で実用水準に達し、多くの場面で人間の介在余地はほとんどない
  • それでも翻訳文を読むと「意味はわかるが、母語とどこか違う」と感じる経験は残っている
• 翻訳と「わかる」の違い:
  • 翻訳は言語表現を別の言語表現に対応づける操作であり、対応が正確なら成立する
  • 「わかる」という感覚は、対応づけの正しさだけでは生まれない
  • 「わかる」とは、表現の使われる文脈、距離感、含意、踏み込みの度合いを暗黙のうちに把握できることである
  • 丁寧か、よそよそしいか、踏み込みすぎかといった判断は、翻訳結果を読むだけでは身につかない
• 外国語を学ぶ意味:
  • 外国語を学ぶとは、翻訳結果の表現が何を意味するかを感じ取れる状態になることである
  • その感覚の有無により、同じ翻訳結果を見ても次に行う選択は大きく変わる
  • 言語を学ばない者は、世界を「AIが解釈し、噛み砕いた二次情報」としてしか摂取できない

言語を学ぶとは、生成規則を覚えることではない

• 従来の外国語教育の変容:
  • 外国語学習の目的は、翻訳結果を評価できるようになることだけではない
  • 従来の教育は文法規則や語彙を学び、自分で文を組み立てることを重視してきた
  • AIが流暢に文を生成できる環境では、「一から組み立てる」行為そのものが中心的な意味を失いつつある
• 生成空間の地形の身体化:
  • 重要なのは、どの表現が自然でどの表現が不自然かという生成空間の地形を身体化しているかどうかである
  • その地形を知っていれば、AIが提示する文が空間のどの辺りに位置する表現かを即座に把握できる
• 生成空間の内部を移動する感覚:
  • このとき人は生成も評価もしていないように見えるが、実際には生成が行われる空間の内部を移動している
  • 別の言い回しが同時に見え、言わなかった選択肢が意識の周縁に浮かび上がる
  • その感覚があるからこそ、生成結果に即座に反応できる
• 結論:
  • 言語を学ぶとは、生成能力を得るなかで、生成が行われる可能性空間を自分の内側に持つことである

内面化された生成空間としての言語

• 可能性空間としての言語:
  • 言語は、何が言えて何が言えないかをあらかじめ定める可能性空間であり、思考や判断が行われる場である
• 内面化の意味:
  • 言語を身につけるとは、この生成空間を内面化することである
  • 文法や語彙の個別の暗記は入口にすぎない
  • 本質は、表現の重みや距離感、含意を意識せずとも感じ取れるようになることである
• 内面化がもたらす選択:
  • 内面化が進むと、AIが生成した文は完成品ではなく、多くの可能な表現のなかの一つとして見える
  • 別の言い方、トーン、関係性が同時に浮かび上がり、そのなかから一つを選ぶことになる
  • この選択は、生成空間の内部でどの結果を現実として固定するかを決める行為である
  • ここに、生成と選択が分離された時代における人間の関与の仕方が現れる
• 異なる社会の生成空間:
  • 外国語を学ぶことは、別の社会が前提とする生成空間を一時的に自分の内側に導入することでもある
  • そこでは世界の切り取り方そのものが変わる

生成を手放したあとに残るもの

• 外国語学習の意味の変化:
  • AIが言語を生成できる世界でも、外国語を学ぶ意味は失われていないが、その意味は大きく変わっていく
  • 人はAI以前と同じように外国語を扱う必要はない
  • 人は生成空間を内面化し、そのなかで選択を行う主体として関与し続ける
  • 外国語を学ぶことは、そのための足場を自分のなかに残す行為である
• 判断と履歴:
  • 生成を手放したあとに残るのは判断である
  • その判断は不可逆な履歴として世界に刻まれる
  • 学ぶという行為は、その履歴を引き受ける準備にほかならない
  • 生成が容易になった世界では、何を学び何を学ばないかという選択がこれまで以上に重くなる

第27章 数十億のAIエージェントが経済活動を担うとき――主体・契約・市場の再編

• 経済主体の前提:
  • AIが道具である間は、判断・契約・責任を担う経済主体は人間と法人に限られていた
• エージェント化による変化:
  • AIが目標に向けて自律的に計画・実行・評価・行動選択を行うようになると、研究開発・取引・最適化・管理といった仕事のループ全体を回し始め、この前提が揺らぐ
  • AIは法的に人と同じにはならないが、制度の側からは「主体のように振る舞う」存在として現れ、行為と責任の単位に入り込んでくる

法人とAIエージェントは何が違うのか

• 法人との類似:
  • 法人も人間ではないが責任主体として経済活動を行ってきたため、AIエージェントも経済主体として扱えるように思える
• 法人を成り立たせる基盤:
  • 法人が責任主体として機能するのは、資産没収・事業停止・清算など、責任が最終的に回収不能になる地点が制度として用意されているからである
  • この有限性があるからこそ、契約や制裁が現実的な意味を持つ
• AIエージェントの特性:
  • AIエージェントは原理的に複製可能で寿命を持たず、行為の履歴を個体に固定しにくい
  • 損害賠償を払わせても、そのエージェントが破産して別の複製が立ち上がるだけである
  • 金銭的保障以外の「ここで責任を引き受けて終わる」責任のとり方をエージェント自身に与えることは難しい
• 問題の所在:
  • 責任を回収する境界をどこに置くのかが問題となる

契約は自動化できても、責任は自動化できない

• 契約のインフレ:
  • 人間を大きく超える能力のエージェントにより契約の作成・交渉コストが大幅に下がると、契約一つあたりの価値が下がる「契約のインフレ」が起こり得る
• 契約の自動化:
  • 条件確認・合意成立・履行監視までをエージェント同士が高速に行う世界はすでに現実の射程にあり、契約の自動化は避けられない
• 責任の帰属:
  • 契約違反時に責任を負うのが開発者・運用者・所有者・エージェント自身のいずれなのかという帰属点が問題となる
  • 帰属点を曖昧にしたまま契約だけを自動化すれば、取引は成立しても失敗時に責任を引き受ける主体が消失する
  • これは契約という制度そのものが現実の拘束力を失うという問題である

エージェント市場が生む新しい不安定性

• 効率化:
  • 数十億のエージェントが高速・自動で経済活動を行えば、価格は瞬時に調整され、市場は一見極端に効率化する
• 同調による不安定性:
  • 多数のエージェントが共通の目標や評価軸を共有すると、市場に急激な同調や偏りが生じる
  • これは偶発的な事故ではなく構造的な帰結である
• 多様性という緩衝材:
  • 人間の市場参加者は有限性・感情・文化の違いから判断がズレ、そのズレが市場の揺らぎを吸収してきた
  • エージェントが均質な目的関数や制約を共有すると、この緩衝材が失われる
  • 市場の安定性は効率だけでは成立せず、異なる判断基準の並存自体が安全装置として機能してきた

人間に残る役割――主体を設計するという仕事

• 制度の再設計:
  • エージェント経済の設計は、主体・契約・市場の安定性という制度そのものの再設計を意味する
  • 悪用や暴走時に誰が止め、誰が説明責任を負い、どこまで許容しどこで介入するかが問われる
• 人間の役割:
  • 責任を回収する境界をどこに引くかを決める役割は人間から消えず、むしろその一点に集中していく
  • 人間は不可逆な境界を引く主体として残る
  • 暴走時にどの条件で市場全体を強制停止させるか、効率を犠牲にしてもエージェントの多様性をどう導入するかを決めるのは人間である
• 次章への接続:
  • 次章では責任と安全の問題を、権限・監査・安全性の観点から掘り下げる

第28章 AIを社会に組み込むための設計原理

• 制御不能と悪用の共通構造:
  • 制御不能と悪用は性質こそ異なるが、判断と実行が高速に結びつき、しかも規模が大きくなるという共通の構造を持つ
  • したがって対策も個別対応にとどめず、共通の設計原理として整理されなければならない

社会実装のための三つの設計原理

• 権限の設計:
  • 権限は最小化して段階的に付与し、不可逆行為には人間の承認と多経路照合を必須にする必要がある
• 監査可能性:
  • 誰が何を指示し、AIが何を参照し、どのツールを使い、何を実行したかを追跡できなければならない
  • 監査は責任追及のためだけでなく、日常運用と改善のためにある
• 障害時安全性（フェイルセーフ）:
  • 停止、問題の特定と修正、再開までを含む運用設計が不可欠である
  • 止められないシステムは安全とは呼べない
• 責任の引き受け手の事前定義:
  • AIが関与する意思決定には、開発者、提供者、運用者、利用者、場合によっては規制当局が関与する
  • 権限を与えることは、その行使の結果を誰が引き受けるかを決めることにほかならない
  • 事故時の手続きが事前に定義されていなければ、安全は偶然に依存する

権利は感情ではなく制度である

• 権利は社会設計の結果:
  • AIが人に近い振る舞いをするほど人は主体として扱いたくなるが、権利は感情の帰結ではなく社会設計の結果である
• 権利と責任の一体的な設計:
  • 権利を与えるなら、同時に責任の枠組みを設計しなければならない
  • そこでは、有限性を持たない主体にどのように責任を担わせるのかという問いが再び現れる
• 人間を外せない理由:
  • 最終的に残るのは、人間が不可逆な結果を引き受ける存在であるという事実である
  • だからこそ、責任と権利の設計から人間を外すことはできない
• 制度の再設計の必然性:
  • AIを社会に組み込む際に制度の再設計は避けられない
  • AIは技術であると同時に、「誰が不可逆な結果を引き受けるのか」という社会の前提を更新する存在である

おわりに――AIと共に変わるヒト

• 道具としての火:
  • 火は寒さをしのぎ、強い動物に対抗し、高栄養な食料を得ることを可能にし、夜を活動と思考の時間に変えた
  • 能力の拡張と同時に、ヒトの生活や社会のあり方そのものが大きく変わった
  • 火は危険な道具でもあったため、ヒトは使う技術だけでなく、使い方の決まり、管理の役割、消し方を身につけ、火を社会的に扱われるべき対象とした
  • 火は使うか否かを選べる道具ではなく生活の前提となり、火のない生活に戻ることはできなかった
  • AIもまた、火と同じ種類の道具である
• 本書を通じた問い:
  • 本書が繰り返し問うてきたのは、誰が判断し、誰が責任を負い、誰が主体として行為するのかという問いである
  • 現時点でAIは判断するが、その判断を自分のものとして固定し続ける主体にはなれない
  • 判断過程が不可視になる世界でも、責任を引き受けるのは人間である
  • 自由とは重さの問題であり、その重さから逃れることはできない
• 各領域で起きる変化:
  • 仕事の現場では、組織・企業・国などの文化やルールを前提としたハーネスの上で、複数のAIエージェントが連携して仕事をこなすようになる
  • AIを搭載したロボットが物理世界の仕事を担う場面も増えていく
  • 教育では、何を問うか、どの説明を採用するか、AIの結果を引き受けられるかが重要になっている
  • 研究では、人が理解する前に結果が出ることが増え、なぜ成り立つのかを後から解きほぐす仕事が不可欠となる
  • 経済活動では、AIが取引や交渉を代行し、人と組織だけで構成されてきた主体の境界が揺れ、新しい仕組みが求められる
• ヒトの役割の変化:
  • 最終的な決定を下すのは今も人と制度だが、選択肢の生成・比較・絞り込みはすでにAIが担う場面が増えている
  • 人は最初から考える代わりに、AIが提示した案を評価し、採否を判断して引き受ける立場に立つ
  • 第1章で示した「理解する前に答えがある世界」の問いは、研究開発から日常の意思決定まで本書を通じてさまざまな形で現れてきた
  • 完全な理解を待たずに結果を使う責任を引き受けることが、AIと共に生きる時代の基本的な構えである
  • 重要なのは、なぜうまくいくかの完全な理解ではなく、どの条件でうまくいき、どの条件で壊れるかの把握である
• 社会の側の変化:
  • AIの関与範囲が広がるほど、事故や悪用を防ぐ仕組みは個々の善意や注意に依存できなくなる
  • 権限の範囲、問題発生時の止め方、責任の割り当てといった設計が、技術と同じくらい重要になる
• 求められる対応:
  • 求められるのは特別な覚悟や冒険的な決断ではなく、道具が変わるたびにヒトが繰り返してきた現実的な対応である
  • 使いながら問題を見つけ、ルールを作って更新し、失敗を記録して次に活かすことを、火と同様にAIに対しても行うしかない
• 変わり続けるヒト:
  • AIと共に変わるのは仕事のやり方や制度だけでなく、判断の仕方、理解の持ち方、責任の引き受け方といったヒトの振る舞いそのものである
  • この変化は一度きりではなく続くため、どこを人が担い、どこを委ね、何が起きたときに立ち止まるかを具体的に設計し続ける必要がある
  • ヒトとは何かという問いもまた、その変化のなかで静かに書き換えられていく

あとがき

• 執筆の動機:
  • 本書は、AIが社会や生活に与える影響と、AIと共に生きるうえで何が変わり何が変わらないのかを、著者自身も整理したいと考えて書かれた
• 変化の速い領域を扱う難しさ:
  • AIをめぐる熱狂と展望は執筆中にも大きく変わり続け、新しいモデルや応用が次々と生まれていた
  • 個別の技術や動向についての記述はすぐに古くなりうるため、本書ではAIと人間の関係を考えるうえで当面残り続ける問いを中心に扱った
• 技術の進歩で形を変えうる論点:
  • 継続学習の問題は、原理的に不可能なものではなく、いずれ何らかの形で解決される技術的課題である可能性が高い
  • AIに「死」がないという問題も、コピーを困難にし特定のハードウェア上でのみ動作させることで、形式的には有限性を持たせられるかもしれない
• AIの利用と責任:
  • 著者自身も執筆、調べもの、考えの整理、判断の補助など、日常的にAIを使っている
  • AIの判断を使ったとしても、その結果は最終的に自分自身が引き受けなければならない
  • AIが助言や提案をしても、社会的な責任は人間や組織の側が担う必要がある
• 自分を映す鏡としてのAI:
  • AIによる知的労働の置き換えは、思考、判断、学習、創造、他者との交わり、自己理解の問題にまで関わる
  • AIは便利な道具であるだけでなく、私たちが自分自身を見つめ直すための鏡にもなっている
• 変化への展望:
  • ほとんどすべての生活や仕事でAIによる大きな変化は避けられず、AIは人間社会に不可逆的な変化をもたらすだろう
  • 人間は歴史上何度も大きな技術的変化に直面し、混乱や不安を経ながらも新しい技術を社会に組み込んできたため、この変化も受け止めていくと著者は考えている
  • AIがすべての課題を解決し人間をあらゆる苦痛から解放するとは考えておらず、人間の有限性や不完全さが消えるわけではない
  • それでもAIが思考、学習、仕事、他者との関わりを支えてくれるならば、それには大きな意味がある
  • AIの登場によって、私たちは人間とは何か、自分自身とは何かを改めて見つめ直すよう促されている
• 本書の願い:
  • 本書が、AIの未来を過度に恐れたり期待したりするためではなく、AIと共に生きる人間の姿を考える一助になることを願っている