プロバビリスティックプログラミングとは何か、それはどのように機能するのかについて考えてみましょう。道路での運転を例にとって思い浮かべてみてください。昼間や明るい月明かりの道では不確実な要素はありません — 自分の視覚に入っているものが何か確信を持っていると思います。しかし、夜間や濃霧の中で運転している状況を想像してみてください。注意を払っていない中、何かが非常に速い速度で通過すると、あなたはそれが一体何だったのか確信を持てないと思います。どのような状況であっても、他の車両や道路の障害物がどこにあるのかを全て確信を持って理解することはできませんが、大抵の場合、あまり考えずに運転を続けることができるでしょう。
子供の頃、誰しも一度はボールを落とし、投げ、手に持つという経験をすると思います。誰かがボールを投げると、自分の頭の中に作り上げた物理のモデルに基づいて、そのボールがどこに行くかを想像することができます。これはビデオゲームの物理エンジンのように動作します。緻密に設計されたリアルなビデオゲームでは、衝突や跳ね返りの結果が毎回まったく同じになることはありません。ゲームもあなたの精神的なモデルも、データに基づいた確率的なモデルを構築しています。このモデルは直感的に感じられますが、実は学生時代に学んだニュートンの法則とよく似ています。しかし、正確な方程式とは違い、あなたはボールが「およそどこに行くか」を感じるだけで、正確にはどこに行くかはわかりません。実際、よく設計された物理モデルや方程式に基づく確率的なプログラムには、ランダム性と統計を用いた確率的な要素が組み込まれています。あなたの頭の中の確率的なモデルとボールの軌道を記述する物理方程式はどちらもモデルであり、多くの点で似ています。また、何がおよそ起こるはずかを知っているので、不確実性がある状況でも合理的な決断を下すことができます。
これまでの例から二つのことを読み取ることができます。第一に、表面下で起こっているのは確率的推論で、これはつまり大まかには、利用可能なデータを使って他の全ての事象を解明しているということです。第二に、より本質的なこととして、道路を走行するといった確定的あるいは完全に知られていると考えられる場面でさえも、確率は不可欠な要素であるということです。確率は、私たちの生活を形成する、表出していない中で影響力を持って、無意識の中でも私たちと相互作用しているのです。
興味深いことに、AIのコンピューティングにおける未来は確率的であるという共通認識が高まっています。
これには様々な例が挙げられます。例えば、自動運転の成功は確率的ロボティクスの力を証明しています。初代スタープログラムチャレンジを制覇した車、スタンリーが用いた技術は、「確率的ロボティクス」という本の著者であり主任研究員によって確立され、自動運転産業界の礎を築きました。
私たちにとってより関連性のある話題としては、ChatGPTやBardのような最近の技術的な発展によって人気を博している大規模言語モデル（LLMs）が挙げられます。これらは次に来る単語が常に不確実であるため、確率的な計算を体現しています。確率的という特性がAIの鍵となる特徴であることを理解している以上、AIコミュニティの課題はこの概念を一般化し、より汎用性を高めることです。深層学習やChatGPTの背後にある技術であるニューラルネットワークが一つの解決策を示しています。しかし、ニューラルネットワークには開発者でさえも本当に理解していない「ブラックボックス」のような性質があります。ニューラルネットワークにふさわしい比喩は「大規模な自動修正」であり、これはデータに適合するために最適化アルゴリズムに大きく依存しています。
過去7ヶ月間で、LLMに関連する多くの問題が明らかになりました。特に重要な懸念事項は、データ品質への過度な依存です。偏ったデータは偏った結果を生み出し、巨大なデータセットの中から問題のあるデータを特定することは事実上不可能です。また、多くの他の問題を引き起こす可能性がある、不正確さを浮き彫りにする、文書化された幻覚についての問題があります。ニューラルネットワークにより多くのデータを供給することは、これらの問題解決策となるでしょうか？必ずしもそうではありません。なぜならコストがかかり、効率的ではないからです。そのため、私たちは世界の確率的な性質をスケールアップするための異なるアプローチが必要で、それは言語が接続されている世界観のモデルを実際に持つAIの形態となります。
記号的生成AIは私たちの世界観と繋げることができる明確な意味づけを持っています。簡単に言うと、それは人間が見るように世界を見ることができるマシーンです。🌏
ニュートンの法則を例に挙げてみましょう。これらの法則はもともとは天空の星々の運動を予測するために考案されましたが、木から落ちるリンゴの運動や銀河の運動、さらには私たちの血管内の血液の流れまで説明することができます。ニュートンの法則を学ぶことにより、我々は、それが最初に説明しようとしたものから大きく異なる文脈で、これらの法則を理解し適用するための表現を獲得します。3歳の子供が非常に少ないことから多くを学び取る自然な学習プロセスを示すように、この多様性は我々の知性の力と柔軟性を部分的に説明します。
記号的生成AIはこのプロセスを模倣します。そのモジュラーな性質は、章、段落、文章、単語、音節、文字などを持つ本に似ており、システム全体の意味を乱すことなく一部を変更することができます。その結果、新しい単語を学び、全く新しい文章を作成することができ、幅広い思考やアイディアを育てることができます。このモジュラー性はLLMには存在せず、単に無数の数値で構成されています。残念ながら、我々はこれらの記号的表現をすべての数値を微調整することで簡単に調整することはできず、確率が依然として機能することを期待することはできません。
記号的生成AIを用いると、スチュアート・ラッセルが概説したようなLLMが引き起こす多くの問題、特にアライメント問題に対処することができます。私たちはニューラルネットワークのブラックボックスを脱出し、それらを監査し、制御し、私たちの好みに合わせてその表現を変更し、私たちが求めるものを反映させることができます。
これは特にDALから見ると非常に重要で、私たちはプロバビリスティックプログラムが次のインターネットの段階を形成するデジタルアーキテクチャにどのように一致するかを強く信じています。透明性と分散化の推進者として、私たちはこの課題をアーキテクチャの問題と捉えています。現在、我々は社会的な好みや価値を技術的に表現することが可能なスタックを欠いています。残念ながら、これはニューラルネットワークでは技術的に不可能です。このギャップは、DALがMITのProb Compチームと協力する動機となっています。MITのProb Compプロジェクトは、エンジニアリングの視点からではなく、認知科学の基盤から始まったことを注意深く理解することが重要です。これは、私たちの心と私たちがどのように知覚し思考するかを理解することについてです。この技術は基本的に人間中心的であり、我々の倫理観と深く共鳴し、我々が理解できる生成AIのための異なるメディア、記号的メディアの必要性を確認しています。
「記号的生成AI」という言葉は、最近のAIのトレンドを追いかけている人でさえ、多くの人々にとっては馴染みがないかもしれません。それほど昔ではない時点で、ニューラルネットワークはスケーリングできないというのが一般的な見解でした。ニューラルネットワークとディープラーニングが本格的に確立し、大衆の意識に入り込むまでには時間がかかりました。その間にも、スチュアート・ラッセルのような記号的生成AIの推進者たちは確率的プログラムのスケール化を目指してきましたが、技術的な障壁に直面してきました。
しかし、AI開発の歴史は揺り戻しのようなものです。今では、コンピュータビジョン、一般的なデータクリーニング、自動データモデリングなど、記号的生成AIの領域での突破が見られています。
MITの研究者たちは、Prob Compチームの目指すプロバビリスティックプログラミングを適用し、3Dでの場面認識、データ駆動型の専門家理論、そして人間の認知と知覚のリバースエンジニアリングといった経済的に重要な問題において、トランスフォーマーのロバストさと効率を超えることを目指しています。また、注目すべきは、MITが開発したオープンソースの生成モデリングと確率的推論のスタック、Genを進化させ、TensorFlow v1の使いやすさに匹敵することです。DALとDGは、MITのオープンソーススタックへの貢献と応用を続け、MITチームとの緊密な協力関係を維持します。これにより、業界や政府のリーダーたちに、プロバビリスティックプログラミングの制御可能性と説明可能性が安全性、規制、社会的価値の表現（これは日本でも言及されている）に新たな可能性を開くことを示します。今後のアップデートにご期待ください！
Glossary
- 確率 – 知識の不完全性と、その結果生じる不確実性を扱うための数学的ツールキット
- プロバビリスティックプログラミング – 知能システムを作成するための新しい記号的メディウムで、ニューラルネットワークを含むが、それを超えるもの。プロバビリスティックプログラミングは人間や機械、または両者が協力して行うことができます。
- ニューラルネットワーク – （通常は大規模なネットワークの）簡易な部品から作られたAIモデルで、部品間の接続の強度を表すパラメータを調整してデータをフィットさせる
- 不確実性コンピューティング – プロバビリスティックプログラミングと生成AIをソフトウェアとハードウェアの基礎と統合し、不確かな知識を含む計算をスケールアップするためのコンピュータサイエンスの考え方を使用する新興の分野
- 生成AI – 無限のデータセットを生成できるAIモデル
- ニューラル生成AI – ニューラルネットワークから構築された生成AIで、通常はノイズをニューラルネットワークのカスケードによって増幅させてリアルなデータを生成するネットワーク、または最近の履歴からシーケンスの次のトークンを予測しようとするネットワークのカスケードに基づく
- 記号的生成AI – プロバビリスティックプログラムから構築された生成AIで、私たちが心理的に体験する構造と一致する構造化された因果的説明を使用してデータを生成する
- 機械学習 – パラメータをデータにフィットさせるベースのAIアプローチ
- 人工知能 – 人間の知性の側面を模倣、模擬、および/または複製し、および/または最適な決定を試みるソフトウェアとハードウェアシステム
Written by Vikash Mansingh, Joi Ito, Joseph Park, Daum Kim, Lulu Ito
Translation: Lulu Ito
Illustration: Satoshi Hashimoto
