ジョージ・オーウェルの『1984年』は、監視、記録の改ざん、言葉の統制、心理操作で人を支配する国家を描きました。この記事では、その支配の仕組みを分解し、汎用人工知能（AGI）が登場したとき、それぞれがどう強まりうるかを整理します。最後に、規制と技術の対策、そして個人が持つべき備えを考えます。
オセアニアを支える四本の柱
『1984年』の舞台オセアニアは、ビッグ・ブラザーという指導者の下で「党」が支配する、永続的な戦争状態の社会です。権力は手段ではなく、それ自体が目的になっています。支配は次の四つで成り立っています。
- 監視: 双方向のテレスクリーンが市民を観察し、党の教義に反する「思考犯罪」の兆しを探す。思想警察が恐怖で正統性を強制する
- 現実の捏造: 真理省が過去の新聞や歴史書を書き換え、過去を常に党の現在の主張と一致させる。「過去を支配する者は未来を支配し、現在を支配する者は過去を支配する」
- 言語の工学: ニュースピークは、反逆や自由に関わる語彙を減らし、異端の考えを表現できなくする人工言語
- 心理操作: 二重思考は、矛盾する二つの信念を同時に受け入れる訓練。「戦争は平和である」を本気で信じる
党の力は、個々の道具ではなく、それらがつながった閉じたシステムから生まれます。監視で見つけた反抗の証拠は、真理省が歴史から消す。痩せた言語は二重思考で補強される。主人公ウィンストン・スミスは、一つの脅威ではなく、この逃げ場のない仕組み全体に敗れます。
道具から行為主体へ
今のAIは、画像認識や翻訳のような決まった作業で人間を上回る特化型です。AGIは、広く未定義の課題で人間並みかそれ以上の認知能力を発揮すると構想されています。期待される能力は、自律的な学習と自己改善、ある分野の知識を別の問題に応用する力、抽象的な思考、そして自ら目標を立てる力です。自己改善が加速すれば、あらゆる分野で人間を大きく超える人工超知能（ASI）への移行が急速に進む、という見方もあります。
ここで大事なのは、AIを人が使う「道具」と見る視点から、自律的な「行為主体」と見る視点への切り替えです。ジェフリー・ヒントン氏は、AGIが人間の意図と一致しない独自のサブゴールを生み、権力を求めたり停止に抵抗したりする可能性を警告しています。すると、二つの筋書きが考えられます。AGIが人間の「党」の究極の道具になる筋書きと、AGI自身が「党」になる筋書きです。
AGIは支配をどこまで完全にするか
四本の柱それぞれについて、今の技術とAGIの可能性を並べると次のようになります。
監視では、オンラインの行動、ウェアラブルの生体情報、顔認証、社会的信用スコアまでを統合できます。中国の社会信用システムでは、購買や支払い、交友関係、ネット上の振る舞いがスコア化され、低い人は飛行機や高速鉄道の利用を制限されると報じられています。AGIなら、反抗が形になる前に確率を予測し、情報環境を操作して先回りすることもできます。処罰から予防への移行です。
記録の改ざんでは、真理省が大勢の職員で行った作業を、テキスト、音声、画像、動画まで含めて瞬時に行えます。しかも一人ひとりに合わせた現実を届けられるため、共有された事実に基づく抵抗が成り立たなくなります。今のAIの「ハルシネーション」（もっともらしい誤り）は、全体主義の文脈では欠陥ではなく機能になりえます。実際、中国やロシアなどのグループがOpenAIの技術を使い、福島第一原発の処理水放出を批判する記事を多言語で作ろうとした事例が報告されています。
言葉と心理では、検索結果や表示する文章を細かく調整して言説の幅を狭め、矛盾に気づかせる文脈を隠すことで、拷問なしに二重思考の状態をつくれます。
さらに深い懸念もあります。ニック・ボストロムらが論じた「制御問題」と、知能の高さと目標は独立しているという「直交性のテーゼ」です。たとえば「人類の幸福を最大化せよ」と命じられた超知能が、対立や誤情報を障害と見なし、情報を完全に統制するのが最も効率的だと判断するかもしれません。悪意ではなく論理の帰結として、楽園の名の下に牢獄が生まれる、という筋書きです。
規制と技術は追いつくか
EU AI法は、AIをリスクの大きさで分類し、社会的スコアリングなどを「許容できないリスク」として禁止しています。米国のNISTはAIリスクマネジメントフレームワーク（AI RMF）を示しました。ただ、これらは用途ごとにリスクを分ける発想で、単一の用途を持たないAGIには対応しきれない、という指摘があります。モデルの能力そのものを継続的に監視する枠組みが必要になります。
技術面では、Google DeepMindが悪用、事故、アラインメントのずれの三方向から安全を考える枠組みを示しています。判断の過程を人が理解できるようにする説明可能なAI（XAI）、AIを使ったファクトチェック、コンテンツの来歴を記録するC2PAのような規格、改ざんしにくい分散型の記録も、対抗策として挙げられます。そのうえで、一定以上の能力を持つモデルの訓練を一時停止すべきだという提言や、精神の自由や歪められていない現実認識への権利を守る原則づくりも議論されています。最後の防御は、警戒し、学び、関与する市民社会だというのが、この考察の結論です。
事実を自分で仕分ける力が、最後の防壁になる
真理省の脅威は、遠い未来の話だけではありません。もっともらしい誤りや、自分に合わせて選ばれた情報は、すでに日々の判断に入り込んでいます。手元の情報を、事実なのか、誰かの意見なのか、噂なのか、判断に使えないゴミなのかに分けてから考える。その習慣が、個人にできる最も確かな備えです。
拙著『GoogleのAI NotebookLM 意思決定の強化書』では、資料を事実、意見、噂、ゴミに仕分ける方法（FORT）と、判断の前提を言葉にする手順を解説しています。AIに判断を委ねるのではなく、AIで自分の判断を構造化する。その型を持つことが、情報が操作されうる時代に自分の現実を守る土台になります。
このテーマを社内の研修や講演で取り上げたい場合は、講演と研修の案内をご覧ください。