Written by Joseph Park, Lulu Ito and Tim Burress
以前投稿したニューロシンボリックとプロバビリスティックプログラミングに関する記事は、私の周りからも多くの反響がありました。この反響は、これらの技術が、今や多くの人々が「AI」と同義と考えている大規模言語モデル（LLM）の実現可能な代替手段となり得るという世間の関心と興味に一部由来しています。驚いたことに、AI業界に携わる人々を含め、想像以上に多くの方がシンボリックAIに対して馴染みがないと感じていました
以前の記事で、LLMを本質的にブラックボックスとして描写し、「LLMやニューラルネットワークは、簡単に編集、理解、または再学習できる構造化したモジュールの柔軟性がなく、無数の数値と非構造的な接続から成り立っているだけだ」と強調しました
では、人工知能モデルがモジュール化されることが何を意味するのか、そしてモジュール化の利点が明白であるならば、現在の主流であるLLMがなぜ異なるアプローチ（後で説明するように、モノリシック・アプローチ）を採用しているのかという疑問を提起しました。これらの疑問について掘り下げていきましょう。
モジュラー・アプローチ vs. モノリシック・アプローチ
実際、モノリシック化とモジュール化は、ニューロシンボリックAIやプロバビリスティックプログラミング特有の概念ではなく、プログラミングにおける一般的なアプローチです。
モノリシック・アプローチ
多くのLLMを含むほとんどのニューラルネットワーク・アプローチは、モノリシック・アプローチを採用しており、プログラマーは単一の自己完結型コードを使用してプログラム全体を作成します。最良の例として挙げられるのは、粘土の塊を使ってオブジェクトを手作りすることです。一つの素材が完成時には、具体的な全体になります。簡単で迅速ですが、重要なのは、何かを構築した後に何かが間違っていると気付いても、その変更を行うのが難しく、全体を損うことなく変更することはできません。これは硬直性があり、時には最初からやり直すしか選択肢がないこともあります。また、単に一つの不具合のあるコードを削除して別のものに置き換えることもできません。
モノリシック・アプローチによって実現されたAIモデルには、類似点が見られます。最初にモデルを構築する際には便利ですが、何かがうまくいかなかった場合に再度トレーニングを行うのは非常に手間がかかり、高価になります。このため、理想的なシステムからはほど遠いと言えます。著名なブラックボックスのアナロジーが示すように、問題の原因を正確に特定することは非常に困難です。前回の記事が公開されて以来、いくつかのLLM企業はこの側面を改善しようと試みていますが、依然として包括的な解決策にはたどり着けていません。
（モノリシックであることはすべてのLLMの決定的な特徴ではないことに注意することが重要です。なぜなら、いくつかのニューラルネットワークも異なる意味で「モジュール型」であるからです。しかし、本記事では、現在利用可能なLLMのほとんどがモノリシックと考えられることからこの関連性を持たせています。）
モジュラー・アプローチ
モジュラー・アプローチとは、モノリシック・アプローチと比べて、さまざまな点で異なります。ここで最良の例として挙げられるのは、LEGOブロックです。システムを構成する各コンポーネントは互いに独立していますが、一つのオブジェクトを作るために組み合わせることができます。他の部分に影響を与えることなく、簡単に修正可能であり、構築のどの段階にも戻ることができ、戻ったところから再スタートすることができます。
同様の理由から、モジュラーなデザインは通常より信頼性が高いです。なぜなら、各コンポーネントを個別にテストし、意図した通りに機能することを確認できるからです。そのため、モノリシック・アプローチに比べ、デバッグが容易で、改善も簡単です。しかし、モジュラー・アプローチは、実装の複雑さやより緻密なシステム設計が必要であることから、AI開発では依然として普及していません。加えて、モノリシックなモデルが目を見張るような進化を遂げているため、多くの研究者や企業が、この伝統的で統一されたアプローチへの投資を続け、改善を図っています。
プロバビリスティックプログラミングにおけるモジュール性
数十年前から知られていたことですが、構造化プログラミングの一側面であるモジュラリティの観点から見ても、プロバビリスティックプログラミングのコンテキストで比較的新しいのは、一つのモデルを書いた後に複数の（モジュラーな形式で）推論アルゴリズムを適用したり、いくつかのモデルを組み合わせてより大きなモデルを作成したり（または一つの大きなモデルをいくつかの小さなモデルに分割したり）、あるいはGenSQLのような一つの言語を使用し、任意のモデルに対してクエリを実行することができるという点です。
この強みの多くは、モジュール性自体から来ています。パターンマッチングのためのニューラルネットワークと推論のためのプロバビリスティックプログラミングのような異なるタイプのAIを組み合わせる概念は、それぞれのコンポーネントのモジュール性に大きく依存しています。再度、LEGOブロックについて考えてみてください。明確なインターフェースを持つ定義されたブロックから複雑な構造を構築することができ、毎回新しいブロックを最初から作成する必要はありません。一度特定の推論アルゴリズムの「ブロック」を手に入れれば、それを単に差し込めば良いのです。その内部の動作を心配する必要はありません（それを信頼できる限り）。このモジュール性は、プロトタイピングのスピードを大幅に向上させ、人間は1や0に押し込まれることなく、より高い抽象レベルで考え、実験し、プレイすることを可能にします。
モジュラーなソフトウェアデザインには、人間の思考の働きに深く根ざした魅力があります。私たちは自然に情報をモジュラーな階層に整理します。この原則は、私たちの世界の多くの側面に反映されています。例えば、大学は学部に分かれ、学問は専門に分かれ、生物は分類階級を用いて分けられます。
このモジュラーな理解とアプローチは、ソフトウェアを含む複雑なシステムの理解にも及びます。他の人のコードを理解しようとする際、あるいはそれを逆解析しようとする際、私たちは本能的にモジュラーな構造を求めます。このプロセスは通常、サブルーチン呼び出しを特定することから始まり、最も関連性の高いものに焦点を当てます。そして、各サブルーチンの機能を理解し、これらのモジュラーコンポーネントから全体システムの包括的理解を徐々に構築していきます。
しかし、デザインにおけるモジュラー性の必要性は、人間と機械の間で大きく異なります。人間は理解や問題解決のためにモジュラー構造に依存しますが、機械は根本的に異なるレベルで動作します。例えば、コンパイラはしばしば人間が読めるコードをパフォーマンスや効率を最適化するために書き直します。その過程で元のモジュラーな設計を解体することもあります。CPUはその指示を実行する際に人間と同じような「理解」する必要はないため、コードの変換を通して本来の機能性を損なうことはありません。
人間の理解と機械の実行という二項対立は、説明可能なシンボリックAIと、往々にして不透明な性質を持つニューラルネットワークとの対比を反映しています。シンボリックAIは、そのモジュラーで解釈可能な構造が人間の認知プロセスとより密接に一致しています。一方、ニューラルネットワークは強力であるものの、しばしばブラックボックスとして機能し、人間が解釈または説明するのが難しい方法で情報を処理します。
これらのアプローチ間の緊張関係は、現在のAI開発における多くの議論の中心にあります。このギャップを埋め、高性能でありながら解釈可能なシステムを作成する方法を見つけることは、この分野の中心的な課題であることに変わりありません。
最後に：多様なAIエコシステムに向けて
AIが進化し、私たちの生活のさまざまな側面に浸透する中で、モノリシック・アプローチとモジュラー・アプローチのバランスはおそらく変化していくでしょう。この変化は、各アプリケーションの特有のニーズと制約によって導かれ、より多様なAIエコシステムをもたらす可能性があります。
最近のAIの急速な発展は、主に基盤となるAIモデルを所有する大手テクノロジー企業によって推進されてきました。モノリシック・アプローチを採用したLLMは、ビジネスの観点から構造的な単純さやわかりやすさが好まれています。しかし、AI技術が私たちの日常生活にますます馴染むにつれて、LLMの限界が、私たちの多くの習慣や期待、そして好みの操作方法と互換性がないことが明らかになると予想されます。これは特に、医療や健康管理など、高い説明力、細かな制御、またはドメイン特化の専門知識を必要とする分野において、顕著です。プロバビリスティックプログラミングのような柔軟で変更可能なモジュラー代替手段は、今後の選択肢として最適となるでしょう。
さまざまなAIアプローチにはそれぞれの役割があります。LLMは依然としてあるドメインで有用であり、他の分野ではプロバビリスティックプログラミングのような代替のAIモデルが恩恵を受けるでしょう。AIの未来は、異なるタスクや要件に応じた多様な形態の人工知能が共存することになると考えられます。
モジュラー・アプローチとモノリシック・アプローチの強みと限界を理解することで、私たちは進化するAI技術の環境をより適切に誘導し、特定の課題に最も適した解決策を選ぶことができます。この理解は、さまざまなアプローチが互いに補完し合い、より強力で柔軟かつインテリジェントなシステムを作り出す未来のAIを形成する上で重要な鍵となるでしょう。
最終的に、AIの未来はモノリシック・アプローチとモジュラー・アプローチの競争ではなく、むしろ共生なのかもしれません。この多様性を受け入れ、異なるAIのパラダイム間の協力を促進することで、AIが真に人間の能力を支え、向上させる未来を創造することができます。このハイブリッドなアプローチは、より能力の高い、人間のニーズや価値観により沿ったAIシステムへの道を開くことができるでしょう。
Joseph Park is the Content Lead at DAL (joseph@dalab.xyz)
Lulu Ito is an intern at DAL and a student at Keio University with a primary interest in Statistical Machine Learning (luluito@keio.jp)
Illustration: Asuka Zoe Hayashi
Edits: Janine Liberty
