説明できる判断は、AIの中ではなく判断の外側に置いた表から生まれる

説明できるAIを入れれば、説明責任が果たせる。この期待は、会議を録音すれば議論の質が上がる、という期待と同じくらい楽観的です。記録や説明が残っても、何を基準に判断したのかが言葉になっていなければ、残ったものを読んでも判断の良し悪しは確かめられないからです。この記事では、ニューラルネットワークの学ぶ力と、記号による推論の力を組み合わせるニューロシンボリックAIを確かめたうえで、その発想を、AIを使う側の判断の組み立て方に当てはめると何が見えるかを考えます。

シンボリックAIとサブシンボリックAIは、知識の持ち方が違います

シンボリックAI（記号的AI）は、知識を記号やルールとして明示的に書き、論理的に推論します。ルールベースのシステムやエキスパートシステムが代表例です。推論の過程が見えるので説明しやすい一方、データから学ぶ力や柔軟性に欠けます。

サブシンボリックAIは、ニューラルネットワークや深層学習で、大量のデータからパターンを学びます。画像認識や自然言語処理で大きな成果を上げましたが、なぜその答えになったのかを説明しにくく、厳密な論理の推論は苦手とされます。

ニューロシンボリックAIは、この二つを統合し、データから学ぶ力と、知識を明示して推論する力を一つのシステムに持たせようとするアプローチです。

二つの流れは、主役の交代を繰り返してきました

1950年代から1980年代のAI研究は、主にシンボリックAIの枠組みで進み、エキスパートシステムが数多く作られました。1980年代後半から1990年代にかけて、多層パーセプトロンや誤差逆伝播法の研究が進み、ニューラルネットワークが再び注目されます。1990年代から2000年代初頭には、ニューラルネットワークと論理プログラミングを組み合わせる研究が進み、ニューロシンボリックAIの基盤になりました。近年は深層学習の発展とともに、新しい手法が提案されています。

主な技術は、記号をネットワークに入れるか、ネットワークの外で記号を使うかです

• 知識表現の組み込み: 知識グラフや論理プログラムを、ニューラルネットワークの構造に組み込む
• ニューラル符号化と記号推論: 記号の情報をネットワークで符号化し、それを使って推論する
• グラフニューラルネットワークと知識グラフ: グラフ構造のデータを扱うGNNと知識グラフを組み合わせる
• ロジックニューラルネットワーク: 論理的な推論の過程をネットワークに組み込む

応用が期待されるのは、知識ベースと文脈理解を組み合わせた質問応答、物体認識と論理的な作業計画を組み合わせるロボティクス、パターン認識と医療知識を統合する診断支援、データからの知識発見です。一方で、記号の知識とネットワークの表現をどう効率よく統合するか、学習と推論をどう釣り合わせるか、大規模な知識や複雑な推論にどう対応するか、ネットワーク部分の見えにくさをどう減らすかは、決着のついていない課題として残っています。

使う側にできるのは、判断の外側に記号の層を置くことです

対話AIは、データから学んだパターンで答えを作ります。答えはもっともらしくても、どの基準で選んだのかは、答えの文面からは確かめられません。モデルの中身を開けて説明させる研究は進んでいますが、利用者が日々の判断でそれを使える段階にはありません。

そこで、判断の外側に、明示された記号の層を置くという手があります。選択肢を並べた表、評価基準と重みを書いた採点表、始める条件と止める条件を書いた決定書です。AIには選択肢を出させ、各基準での評価の材料を集めさせる。採点と決定は、書かれた基準の上で行う。厳密な意味でのニューロシンボリックAIではありませんが、パターンで材料を集める部分と、明示された基準で決める部分を分けるという発想は同じです。

AIがそう言ったので、という理由で通る稟議は、説明可能性を高めているのではなく、判断の基準をどこにも書かずに済ませる仕組みになっています。基準が書かれていないので、結論が外れたときに、AIの誤りなのか、基準の誤りなのか、基準がなかったのかを、誰も区別できないからです。

ただし、この外側の層も万能ではありません。採点表の評価基準や重みを決めるのは人で、そこに入った前提が誤っていれば、説明はきれいでも結論は誤ります。記号の層は判断を正しくするのではなく、判断の前提を検証できる形で残すだけです。そして、どんな評価基準を書けば十分なのかは、判断の対象ごとに違い、一般的な正解はありません。

あなたの組織で最近AIの答えを参考に決めたことについて、何を基準に採用したのかを、後から読める形で残しているでしょうか。その基準は、AIに材料を集めさせる前に決まっていたでしょうか、後から付けたものだったでしょうか。

この記事の背景にある考え方は、拙著『GoogleのAI NotebookLM 意思決定の強化書』の5章1節「意思決定を実践する」に書きました。前提リストができたら、選択肢を並べる選択肢表、同じ物差しで点数を付ける採点表、1位の選択肢を結論として条件とともにまとめる決定書という三つの文書に、一つの手順ごとに一つずつ分けて作ることで、決めた過程を後日の検証と見直しに使える形にする、という節です。そこには「その理由、順位、進める条件を、後から検証できる形で残します。」とあります。この節を読むと、AIに材料を集めさせる前に、どの表のどの欄を人が書き、どの欄をAIに埋めさせるのかを、自分で線引きできるようになります。