グーグル・ディープマインドは2024年3月13日、3D仮想環境とビデオゲームで自然言語の指示に従う初のジェネラリストAIエージェントである SIMAを発表した。SIMAはScalable, Instructable, Multiworld Agentの略で、人間と同様のタスクをこなすことができ、1つの設定だけで訓練されたエージェントを凌駕する。Google社は、SIMAを訓練しテストするために、8つのゲーム開発者と協力した。その中には、Hello Games、Embracer、Tuxedo Labs、Coffee Stainなどが含まれる。AI研究者たちは、SIMAを『No Man’s Sky』、『Teardown』、『Valheim』、『Goat Simulator 3』などのゲームに接続することで、AIエージェントにゲームをプレイする基本を教えた。
Google DeepMindの研究者であり、SIMAの共同リーダーであるティム・ハーレイは、「SIMAはゲームに勝つために訓練されているのではなく、ゲームを実行し、言われたことを実行するために訓練されているのです」と述べた。Googleはブログの投稿で、SIMAがゲームをプレイしたりソースコードにアクセスするためにカスタムAPIを必要としないことを明らかにした。
当初、チームはUnityエンジン内で新鮮な設定を開発し、エージェントにスカルプトを課すことで、オブジェクトを操作するエージェントの熟練度を評価することを目的とした。Googleはその後、人間の二人組（一人がゲームプレイを管理し、パートナーがナビゲーションを提供する）のやりとりを記録し、口頭による指示を収集した。続いて、参加者は単独でゲームプレイを行い、ゲーム内の判断の根拠を示した。この包括的なデータ収集は、SIMAエージェントのトレーニングに利用され、画面上のイベントを予測する能力を向上させた。
研究者たちの主な目標は、複数のゲームで訓練する際、あるゲームをプレイさせるためにAIを訓練しても、そのAIが見たことのない他のゲームをプレイできるかどうかを確認することだった。般化と呼ばれるプロセスだ。さまざまなゲームでトレーニングを受けたAIエージェントは、見慣れないゲームで優れたパフォーマンスを示した。しかし、多くのゲームに特有のメカニズムや用語は、最もよく準備されたAIの進歩を妨げる可能性がある。モデルがこのようなニュアンスを学習できる唯一の障害は、十分な学習データがないことだ。
SIMAは現在、左折、マップを開く、はしごを登るなど600の基本スキルを持っている。10秒以内に完了する単純なタスクを実行するように訓練されている。NvidiaやConvaiのようなAIを搭載したNPCではなく、結果に影響を与える可能性のあるゲーム内の別のプレイヤーだ。プロジェクト共同リードのフレデリック・ベッセ氏は、「このようなAIエージェントが、研究者領域以外のゲームにどのような用途をもたらすかを語るのは時期尚早だ」と語った。
AIのノンプレイヤーキャラクター（NPC）と同様に、SIMAは会話能力を開発する可能性を秘めているが、このマイルストーンの達成にはかなり遠い。現在のところ、SIMAはゲームプレイをマスターし、新しいゲームの操作に習熟する段階にある。グーグルは、より洗練されたAI技術を統合することで、SIMAは最終的にはより複雑な任務を引き受け、プレイヤーを勝利へと導く理想的なAIコンパニオンとして機能する可能性があると指摘している。