RESEARCH & DEVELOPMENT

ロボティクス

強化学習と自律動作

#ロボティクス #触覚 #把持 #強化学習 #自動運転 #自律動作 #シミュレーション #意思決定

AIの発達に伴い、ロボットの活躍の場は広がりつつあります。しかしながら、工場のように整備された環境だけでなく、日常の生活環境の中でロボットが活躍するにはまだ多くの課題が残されています。 従来の一般的なロボットの行動計画には、ロボット自身や操作対象物、周囲の環境のモデルが必要となりますが、それらを精度良く作るためには大きなコストがかかります。 また、日常の生活環境の中で活躍するロボットを実現するためには、ロボットが環境の中で得た経験から、タスクを遂行するのに必要となるスキルを自律的に習得することが重要となってきます。 この様な課題に対して、深層学習と強化学習の技術を組み合わせたアプローチが注目され多くの論文が発表されています。 先進技術部ではシミュレータ環境中での自動運転や、ロボットアームによる物体操作を題材として、より効率的な強化学習のアルゴリズムの開発に取り組んでいます。

—————-

ロボットアームによる物体操作

これまでロボットアームは、おもに工場や倉庫における作業の自動化で利用されており、ピッキングによる組み立てや部品の仕分けを行っています。多くのケースでは、特定の物品に対して決まった動作をプログラミングすることで自動化を実現しています。しかし、日常の生活環境に見られる多様な物品を扱う際には3Dモデルがないケースも多く、適切な把持位置の推定や操作に対する自律的な判断が必要となります。

そこで、先進技術部では強化学習をベースとし、多くの物体に対して柔軟に対応できる物体操作スキルの学習について研究を行っています。学習において、カメラやロボットの姿勢のみではなく、触覚情報を用いることで精度の向上を検討しています。

触覚センサを利用したサイコロ把持。 右上は接触のない状態の触覚センサ出力画像、右下は把持した際の触覚センサ出力画像。

自動運転と意思決定

自動車業界では現在100年に一度の変革期を迎えていると言われ、目まぐるしく技術が進歩しています。自動運転もその中の一つで、自動車メーカー各社だけでなく様々な企業が競って技術開発を進めています。自動運転を実現するためには様々な課題を乗り越える必要がありますが、技術的な観点においては「認知」「判断」「制御」という一連の処理をシステムがリアルタイムに行う必要があります。私たちが車を運転する際にも、周りの状況を見て理解し(認知)、どう行動するかを決め(判断)、アクセルやハンドル操作を通じて実行に移す(制御)ということを自然と行っています。これと同じことをシステムが代わりに行うというのが、自動運転の基本的な考えです。

ディープラーニング技術の発展に伴い、「認知」に関する研究開発は実用化に至るまで進んできました。しかし、完全に人の介入を必要としない自動運転 Level4以上の実現のためには、「判断」や「制御」に関してもAIの導入を進めて、より高度な頭脳を持ったシステムを開発する必要があります。特に「判断」に関しては、絶えず変化する周囲の状況を予測したり、歩行者や他車両とぶつかったりしないかというリスクを予測したりして、目的地にたどり着くための最適なルートを計算しなければなりません。このような難しい計算を人間同様にその時々の状況に応じて適切に処理する能力が望まれています。

自動運転アルゴリズム開発のためのCARLA Simulator [1]

私たち先進技術部では、強化学習の一つの題材として自動運転における意思決定というテーマに取り組んでいます。 一般的な強化学習の枠組みでは、実世界での試行錯誤を通じた成功や失敗という経験からスキルの習得を試みますが、自動運転の文脈においては安全性という観点から実際にそれ行うことは不可能です。そのため近年では、上図に示すCARLAシミュレータなどの自動運転アルゴリズム開発専用のシミュレータを使ったり、事前に集めておいた走行データなどを活用して効率的に学習を行うことが期待されています。 そこで私たちは、専門家(エキスパート)による実演データを活用したオフライン強化学習や模倣学習といった分野に注目して、新たなアルゴリズムの開発に取り組んでいます。

実機と連携したシミュレーション環境の構築

強化学習はロボットが自らの経験からスキルを学習しますが、非常に多くの試行錯誤を必要とします。また、この試行錯誤の過程ではロボットのスキルが未熟であるため、障害物などに衝突してしまうこともあり、現実世界のハードウェアを用いて行うことは難しいという問題があります。これを解決するためには、現実世界のハードウェアと同等の環境をシミュレータ上に構築し、その中で学習を進めることが有効です。先進技術部では現実世界のハードウェアとシミュレータとを連携させるために必要となる技術の開発にも取り組んでいます。

シミュレータを用いた学習環境例 実機/シミュレータの動作連携

[1] Alexey Dosovitskiy, German Ros, Felipe Codevilla, Antonio Lopez, and Vladlen Koltun. Carla: An open urban driving simulator. In CoRL, 2017.