RESEARCH & DEVELOPMENT

3次元空間認識

ニューラルネットワークと3次元再構成

#3次元認識 #3次元再構成 #SfM (Structure from Motion) #SLAM (Simultaneous Localization And Mapping) #点群 #陰関数表現 #NeRF (Neural Radiance Fields) #微分可能レンダリング

計算機と人間のより高度なインタラクションのためには、人間が生活する3次元世界の情報を計算機で扱える形に翻訳する必要があります。そのためコンピュータビジョンの領域では、カメラや距離センサで得られた情報をもとに、周囲の環境を3次元的に理解する手法がさまざまに研究されてきました。

3次元空間認識における大きな困難は、カメラや距離センサで得られる空間情報がつねに断片的なものであり、しばしばノイズを含んでいるということです。そのため、幾何学的制約や事前知識を用いて曖昧で断片的な情報を統合し、物体やシーンの3次元構造を推定することがしばしば求められます。

先進技術部では、物体やシーンの3次元構造の推定において、古典的な幾何学的制約だけでなく、AI がデータから学習した事前知識や、より豊かな拘束条件などを導入する研究を行っています。3次元世界に対する高度な事前知識を用いたロバスト性の高い空間認識手法の開発と、その応用による計算機と人間の3次元的相互作用を目指して、次のような研究に取り組んでいます。

—————-

3次元認識 研究内容紹介

動画像からの3次元再構成

安価な距離センサが普及してきたとはいえ、カメラはもっとも容易に手に入るセンサのひとつであり、動画像のみから物体やシーンの3次元構造を復元する技術には一定の需要があります。そのため SfM (Structure from Motion) や SLAM (Simultaneous Localization And Mapping) といった手法が熱心に研究されてきました。先進技術部では、古典的な3次元復元手法に AI を組み合わせることで、従来手法が苦手としている対象・環境における復元精度を向上させる研究開発を行っています。また NeRF (Neural Radiance Fields) [1] に代表される微分可能レンダリングを用いた新しいタイプの3次元復元手法についても研究開発を進めています。

NeRFによる画像からの3次元復元

ニューラルネットワークによる空間の表現

得られた3次元空間の情報を様々なタスクに利用するためには、その意味と構造を反映した表現形式に変換しておく必要があります。3次元構造の表現としては、従来より、点群やメッシュなどが用いられてきましたが、近年ではニューラルネットワークを利用する新しい表現方法が提案されています。ニューラルネットワークによる3次元表現は、表現力やメモリ効率に優れており、また3次元形状に対する仮定や事前知識の導入が比較的容易であるなど、広い応用先が期待されます。

先進技術部では、距離センサや SfM で得られた点群から、ニューラルネットワークによる3次元表現を生成する研究を行っています。その際、データから学習した事前知識や、数理物理の分野で用いられる幾何学的制約を導入し、欠損やノイズを含む疎な3次元スキャンデータから、密で自然な3次元表現を再構成することを目指しています。

また、形状のみならずその変形や運動までニューラルネットワークに表現させるなど、ニューラルネットワークによる3次元表現の可能性を探っていきます。

再構成表面のメッシュとパーシステントホモロジーの計算 ([2] の発表スライドより)

距離センサを用いた3次元スキャン

先進技術部では LiDAR や RGB-D カメラといった距離センサ活用ノウハウの蓄積も行っています。取得した点群の位置合わせを行うレジストレーション技術や、正確なスキャニングのための環境の構築、スキャン時に発生したノイズの処理方法などです。また、透明物体や鏡面など、距離センサが苦手とする物体に対する測距精度向上のための技術開発にも取り組んでいきたいと考えています。

LiDAR を用いて獲得した3次元点群データ

さらに、3次元スキャンによって得た情報をもとに、環境やオブジェクトの3次元モデルを作成し、現実世界のシミュレータを構築することも行っています。シミュレータ空間の利用によるコストの低減やアルゴリズム開発の促進など、さまざまな課題への応用を目指しています。

[1] Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi and Ren Ng. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. ECCV2020.

[2] 中島 直道, 古川 遼. 点群からの表面再構成のための符号付き距離関数の学習におけるトポロジカルな制約の利用. CVIM研究会 (2022.3).