データ分析基礎知識

“分析力をコアとするデータソリューションカンパニー”
株式会社ALBERTが、データ分析にまつわる基礎知識をわかりやすく解説します。

3次元データ取得方法

私たち人間が知覚できる空間は3次元の空間が基となっています。
近年、3DカメラはComputerVisionアプリケーションとしてロボティクス、自動運転、品質検査などの分野で広く利用されており、検出、認識、姿勢推定、3D再構成などのタスクで優位性を発揮しています。図1に示す画像は実際にセンサーで取得したDepthデータと呼ばれる形式のデータで、各ピクセルがカメラ投影面から撮影対象物までの距離を示しており、その値を濃淡で画像として表示しています。

 
図1. Depth画像
(色の濃い点が近くにある点、淡い点が遠くにある点として表現されています)

 

3次元を表現する形式には、Depthデータの他にも物体上の点を3次元座標 x,y,zで表す点群データというものもあります。ここで取り上げるセンサーの例では前者のDepthデータの形式で得られますが、ICTマッチングアルゴリズムで複数視点のデータを結合するなどの処理を行う場合は、点群データに変換してから処理を行います。

また、3次元データを取得できるセンサーには様々なものがありますが、その原理は対象に赤外線などを照射し反射光を観測するアクティブ方式と、外界からの光を利用するパッシブ方式に大別されます。本稿ではまずアクティブ方式、パッシブ方式の特徴について解説した後で、主な3次元データを取得する事のできるセンサー、センシング方法とそれぞれの特徴を紹介し、最後にそれらの比較をまとめます。

 

1. センシング方法の大分類

3次元データを取得する為のセンシングの方法は大きく分けてアクティブ方式とパッシブ方式があります。

・アクティブ方式

Structured light のようにプロジェクター等により模様を投光し、投影された模様の歪みをセンシングすることで、三角測量によって距離を計測する手法。ToF ( Time of Flight ) センサーなどのように光の飛行時間から距離を計測する手法などがあります。本方式は光を投光し、その反射光を受光することにより3次元測量を行うため、外光の影響を受けやすいという性質があります。

・パッシブ方式

画像の特徴を利用して計測する手法で、2台のカメラを用いた stereo vision、多眼カメラを用いたマルチベースラインステレオ等があります。本方式は外光の影響を受けにくい性質を持ちますが、暗闇での撮影は不可能です。また、多眼間での対応点を検出する必要があるため、一様な色の壁のように模様のない面のみが両カメラから写るような撮影環境では測距が難しいという性質があります。

 

2. 3次元データの取得方法

ここでは3次元データを取得する為の代表的な取得方法とセンサーを紹介します。

2-1. Stereo vision

左右のカメラから対応点を見つけ、三角測量で各点のx, y, z座標を算出していく手法です。一般的にはパッシブ方式による2眼のRGBカメラを用いた方式を指します。左右カメラの距離、カメラの画素数等によって測距距離、精度に違いが生じます。受光のみを用いるため、カメラ間距離さえ調整すればアクティブ方式よりも遠くの距離を測距する事も可能です。ただし暗闇では受光そのものができない為使用できません。

【弱点】

対応点を左右のカメラ画像から見つける必要があるため、同一色の壁等のように対応点が上手く見つけられない環境では3次元推定ができません。

picture2

図2. ステレオ三角測量による3次元推定
(左右カメラでの対応点の延長線の交点が推定される3次元点)
※引用:AI/HUB 3D Reconstruction with Stereo Images – Part3: Epipolar Geometry
https://medium.com/@dc.aihub/3d-reconstruction-with-stereo-images-part-3-epipolar-geometry-98b75e40f59d

 

【代表的なセンサー】

・ZED

picture3
図3. ZED
※引用:株式会社アスク ZED
https://www.ask-corp.jp/products/stereolabs/camera/zed-stereo-camera.html

 

【取得データ】

図4. RGB画像(ZED) 図5.Depth画像(ZED)
※引用:Stereolabs Introducing ZED for Live 3D Mapping
https://www.youtube.com/watch?v=glImT3s-7nE

 


表1. ZED カメラ仕様

 

 

2-2. ToF( Time of Flight )

カメラから投光される光が対象物に反射して戻るまでの時間を測定することで距離計測を行います。(図6)
対象物の反射強度にもよりますが、計測距離に対して±1%程の誤差が一般的とされています。殆どの場合投光される光は非可視光の近赤外線を使用します。

【弱点】

投光する光のクラスによって測距距離、精度が異なってきます。強い光は人の目に悪影響を及ぼす恐れがあるため、クラス1以上の光を投光する場合使い方に気を付ける必要があります。

picture6
図6. ToFセンサー測距方法
※引用:Mavic 太陽光への外乱光耐性を実現する 3次元ToF方式CCD/CMOSハイブリッドセンサ「epcシリーズ」
https://mavic.ne.jp/3dvision-tof-epcseries/

 

【代表的なセンサー】

・Intel RealSense LiDAR Camera L515

picture7
図7. Intel RealSense LiDAR Camera L515
※引用:intel REALSENSE LIDAR CAMERA L515
https://www.intelrealsense.com/lidar-camera-l515/

 

【取得データ】
 
図8. RGB画像(L515) 図9. IR画像(L515) 図10. Depth画像(L515)

 


表2. ZED カメラ仕様

 

 

2-3. Structured light

基本的にはStereo Visionと同じですが、片方のカメラがプロジェクターになります。(図11)
複数フレームで1枚のDepth推定を行う空間エンコード法と1ShotでDepth推定を行う手法があります。Kinect V1では後者の手法でRandom dot patternという手法が用いられています。非可視光である近赤外光を用いたドットパターンを投影し、IRセンサーでそのドットパターンの反射光を撮影することでDepth推定を行っています。

【弱点】

空間エンコード法などのように複数フレーム毎の模様で1枚のDepthデータを生成する場合測距精度は上がりますがリアルタイムでの3次元測距が難しくなります。また、光を投光する為外光の影響を受けやすいことや、他のアクティブセンサーと同時に使用する場合はセンサーによって干渉してしまう問題を時間同期等の方法によって制御する必要があります。


図11. プロジェクターとカメラを用いた3次元推定
(カメラ、プロジェクター間での対応点の延長線の交点が推定される3次元点)
※引用: How the Kinect Works Computational Photography Derek Hoiem, University of Illinois
https://courses.grainger.illinois.edu/cs445/fa2015/lectures/Lecture%2022%20-%20How%20the%20Kinect%20Works%20-%20CP%20Fall%202015.pdf

 

 
図12. ランダムドット投影
※引用: How the Kinect Works Computational Photography Derek Hoiem, University of Illinois
https://courses.grainger.illinois.edu/cs445/fa2015/lectures/Lecture%2022%20-%20How%20the%20Kinect%20Works%20-%20CP%20Fall%202015.pdf

 

【代表的なセンサー】

・Kinect V1

picture13
図13. kinect v1
※引用:NEAREAL Kinect Sensor V1 のスペックまとめ
http://neareal.com/687/

 

【取得データ】

 

picture14,15,16
図14. RGB画像(kinect) 図15. IR画像(kinect) 図16. Depth画像(kinect)
※引用:NEAREAL Kinect Sensor V1 のスペックまとめ
https://europepmc.org/article/med/30216382

 


表3. Kinect v1 カメラ仕様

 

 

3. まとめ

上記に挙げた3次元データの取得方法とそれぞれの特性をまとめると以下のようになります。


表4. 3Dセンサー 方式毎の特徴

 


表5. 3Dセンサー コスト比較表

 

現状全ての状況で利用できるセンサーは存在せず、使用用途、利用時の環境、必要な精度に応じてセンサーを選択、または同時に利用する必要があります。(表4)
また、価格の面から観ると価格の低いものは測定距離が数メートルで精度が低く、価格の高いものは最大測定距離が長い、もしくは至近距離で精度が高く、特化した分野での利用に向いていると言えます。(表5)

本稿で取り扱った以外にも音波や電波を使った3次元計測方法や多眼センサーによる計測、DeepLearningを用いた単眼カメラからのDepth推定、精度向上等様々な手法が考案されており、今後も方式、精度の向上が見込まれます。また、近年では小型化、軽量化も進みスマートフォン等のように殆どの人が持っている製品にも組み込まれるようになってきており、3次元データを利用したサービスはより裾野を広げていく分野となっています。

このページをシェアする
ALBERTは、日本屈指のデータサイエンスカンパニーとして、データサイエンティストの積極的な採用を行っています。
また、データサイエンスやAIにまつわる講座の開催、AI、データ分析、研究開発の支援を実施しています。

・データサイエンティストの採用はこちら
・データサイエンスやAIにまつわる講座の開催情報はこちら
・AI、データ分析、研究開発支援のご相談はこちら