背景 人間は周囲の環境を認識し、行動を計画するために、視覚情報を活用しています。特に、自分自身の視点（一人称視点）からの情報は、行動を決定する上で非常に重要です。例えば、物を取ろうとするとき、腕の動きがどのように視界に影響するかを予測することで、より効率的に行動できます。

課題 従来のAIモデルでは、人間の全身の動きと、それによって変化する視覚情報の関係性をうまく捉えることができませんでした。特に、現実世界での人間の動きは複雑で、予測が難しいという課題がありました。

解決策 この論文では、人間の全身の動き（3Dポーズ）に基づいて、一人称視点の映像を予測するAIモデル「PEVA」を提案します。PEVAは、過去の映像と体の動きを入力として、未来の映像を生成します。このモデルは、大規模なデータセットNymeriaを用いて学習することで、現実世界の複雑な環境や人間の動作を高精度にシミュレーションできます。

技術の中身 PEVAは、以下の3つの主要な要素で構成されています。

1. 構造化された行動表現: 人間の全身の動きを、関節の構造を考慮した階層的な表現で捉えます。これにより、モデルは全体的な体の動きと、個々の関節の動きの両方を理解できます。
2. 条件付き拡散トランスフォーマー: 体の動きと視覚情報の複雑な関係を学習するために、拡散モデルをベースにしたアーキテクチャを採用しています。このアーキテクチャは、長期的な依存関係を捉えるための注意機構を備えています。
3. 大規模データセット: 大規模な一人称視点の映像と体の動きのデータセットNymeriaを用いて学習します。これにより、モデルは現実世界の複雑な環境を学習できます。

実験と結果 PEVAの性能を評価するために、様々な実験を行いました。その結果、PEVAは従来のモデルと比較して、映像の予測精度、意味的な一貫性、細かな動きの制御において優れた性能を発揮することが示されました。また、PEVAは、長期的な映像の生成や、人間の行動をシミュレーションする能力も備えていることが確認されました。

応用・社会的インパクト PEVAは、以下のような様々な分野への応用が期待されます。

• ロボット工学: ロボットが人間のように周囲の状況を理解し、より自然な行動を計画できるようになります。
• 仮想現実（VR）/拡張現実（AR）: VR/AR環境でのインタラクションをよりリアルにすることができます。
• 自動運転: 車が人間の視点を理解することで、より安全な運転が可能になります。

まとめ この論文では、人間の全身の動きに基づいて一人称視点の映像を予測するAIモデル「PEVA」を提案しました。PEVAは、現実世界の複雑な環境や人間の動作を高精度にシミュレーションできることを示しました。この技術は、身体と視覚情報を統合したAIエージェントの開発に貢献し、現実世界でのより自然なインタラクションを可能にするでしょう。

補足

●拡散モデルとは？ 拡散モデルは、ノイズ（ランダムな情報）から徐々に意味のあるデータを生成するAIモデルの一種です。まるで絵を描くように、少しずつノイズを取り除きながら、鮮明な画像や映像を作り出します。

図1：PEVAによる視点映像の予測

この技術は、AIがまるで人間のように、自分の行動がどのように視界に影響するかを予測し、それに基づいて行動を計画することを可能にします。たとえば、VRゲームでより自然な動きを実現したり、ロボットが周囲の状況を理解してスムーズに作業を行ったりするのに役立つかもしれません。今後のAI技術の発展において、重要な役割を果たすことが期待されます。