ロボットの相棒がいることを空想したことがありますか? 毎日の時間のかかる家事をすべて自動化して、リラックスして座っていただけるマシンはいかがですか? MIT とトロント大学が率いる研究者チームがそれに関与しているのであれば、それは私たちの将来に起こる可能性があります。

研究者らが開発したのは、 仮想システム これにより、ロボットに細かい家事を教えることができ、その空想が現実になる可能性があります。

全紙を入手できます こちら.

システム

シムズ ビデオ ゲームからインスピレーションを得たこのシステムは、 VirtualHomeは、ビデオを生成し、仮想「エージェント」によって実行できるさまざまな家事タスクをシミュレートできる 3D 住宅環境です。

研究者らは、さまざまなタスクの約 3,000 のプログラムを使用してシステムをトレーニングしました。 これらのタスクは、仮想エージェントが理解できるように特定のサブタスクに分割されます。

たとえば、「コーヒーを入れる」などのタスクには、「カップをつかむ」というステップも含まれます。

「アクションをコンピュータープログラムとして記述することで、タスクを完了するために必要なすべてのステップを明確かつ明確に説明できるようになります。」 ザビエル・プイグ、C の博士課程の学生コンピューター科学人工知能研究所 (CSAIL) MITで

「私たちはこれらのプログラムを使用して仮想キャラクターに模擬家庭環境でタスクを実行するよう指示し、これらのタスクが文書による説明やビデオデモンストレーションからどのように再構築できるかを示します。」

仮想エージェントは、リビング ルーム、キッチン、ダイニング ルーム、寝室、ホーム オフィスを含む 1,000 つの異なるシーンを通じて、これらのアクションを XNUMX 回実行できます。

なぜ仮想なのか?

タスクを完了するために、ロボットは明示的で明確に定義された指示を必要とします。ロボットは人間のように単に推測して推論することはできません。

たとえば、人間に「テレビのスイッチを入れて、ソファから見てください」と指示すると、人間はリモコンを手に取り、物理的にソファに座るか横になる必要があると推測できます。 ただし、ロボットには後者の XNUMX つの命令が必要です。

そこで研究者らは、ロボットに必要な詳細な言語で記述された家事の大規模なデータベースを編集する方法として VirtualHome を開発しました。

これを達成するために、チームはまず家事に関する口頭での説明を収集し、それを簡単なコードに翻訳しました。 たとえば、前の例の指示は、テレビまで歩いて、テレビのスイッチを入れ、ソファまで歩いて、ソファに座って、テレビを見るというようにコード化されます。

これらのプログラムが開発されると、チームはそれらを VirtualHome 3D シミュレーターに通し、ビデオに翻訳しました。 仮想エージェントは、プログラムによって記述されたタスクを監視し、実行します。

「私たちのモデルは、エージェントがプログラムの再構築を学習し、『グラスに牛乳を注ぐ』という説明か、アクティビティのビデオデモンストレーションを与えられた場合にタスクを実行できることを実証することに成功しました」とプイグ氏は述べた。

次のステップ: ロボットを教える

VirtualHome には、仮想エージェントに教えることができる詳細な指示とビデオの大規模なデータベースが含まれているため、チームは現在、この情報を使用してロボットにタスクの実行方法を教えたいと考えています。

「最終的には、ロボットがこれらのビデオを見て、ポジティブフィードバック学習システムを使用して、人間の家で同じ作業を再現できるようになることを期待しています」とプイグ氏は述べた。

さらに、チームはいつかシミュレーションではなく実際のビデオを使用してロボットを訓練したいと考えています。

「次のステップの XNUMX つは、これまで使用していたアニメーション シミュレーション ビデオではなく、実際の実写ビデオでロボットを訓練できるように VirtualHome を開発することです」と Puig 氏は述べました。

「これにより、誰かが YouTube に投稿したビデオをロボットに見させるだけで、システムがロボットに動作を教えることができるようになります。」

研究者らは最終的に、VirtualHome がいつかロボットに家の中で私たちを支援するよう教えるだろうと信じている。

「ロボットが家の中で何が起こるかを予測でき、特に高齢者の欲求やニーズを予測して支援技術として機能することを想像できるでしょう」とプイグ氏は述べた。