特開 2023-69711 ３次元点群処理装置、３次元点群処理方法、及び３次元点群処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023069711

(43)【公開日】2023-05-18

(54)【発明の名称】３次元点群処理装置、３次元点群処理方法、及び３次元点群処理プログラム

(51)【国際特許分類】

   G06T 7/33 20170101AFI20230511BHJP

   G06T 7/593 20170101ALI20230511BHJP

【ＦＩ】

G06T7/33

G06T7/593

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021181787

(22)【出願日】2021-11-08

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 令和３年６月９日 第２７回画像センシングシンポジウムにて公開

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】八尾 泰洋

(72)【発明者】

【氏名】安藤 慎吾

(72)【発明者】

【氏名】島村 潤

(72)【発明者】

【氏名】石川 涼一

(72)【発明者】

【氏名】大石 岳史

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA09

5L096FA64

5L096FA66

5L096FA69

(57)【要約】

【課題】計測して得られた３次元点群に対して精度よく画素値を付与する。
【解決手段】入力処理部２０が、入力処理部が、少なくとも撮影位置の関係が予め求められている第１画像及び第２画像と、少なくとも前記撮影位置と計測位置との関係が予め求められている物体の表面上の３次元点群とを受け付け、前記３次元点群の３次元点の各々に対応する前記第１画像上の画素位置を求める。画像情報選択部２４が、前記３次元点群の３次元点の各々について、前記３次元点に対応する前記第１画像上の画素位置に基づいて、近傍の複数の画素位置から、前記第１画像及び前記第２画像の間の整合性が高くなるように、前記画素位置を選択し、前記画素位置の画素値を付与する。
【選択図】図３

【特許請求の範囲】

【請求項1】

少なくとも撮影位置の関係が予め求められている第１画像及び第２画像と、少なくとも前記撮影位置と計測位置との関係が予め求められている物体の表面上の３次元点群とを受け付け、前記３次元点群の３次元点の各々に対応する前記第１画像上の画素位置を求める入力処理部と、
前記３次元点群の３次元点の各々について、前記３次元点に対応する前記第１画像上の画素位置に基づいて、近傍の複数の画素位置から、前記第１画像及び前記第２画像の間の整合性が高くなるように、前記画素位置を選択し、前記画素位置の画素値を付与する画像情報選択部と、
を含む３次元点群処理装置。

【請求項2】

前記画像情報選択部は、
前記３次元点に対応する前記第１画像上の画素位置の近傍の画素位置から選択される画素位置の画像情報と、前記選択される前記画素位置に対応する前記第２画像上の画素位置の画像情報との距離、及び
前記３次元点に対応する前記第１画像上の画素位置から、前記選択される前記画素位置までの移動
を用いて表されるコストに基づいて、前記画素位置を選択する請求項１記載の３次元点群処理装置。

【請求項3】

少なくとも撮影位置の関係が予め求められている第１画像及び第２画像と、少なくとも前記撮影位置と計測位置との関係が予め求められている物体の表面上の３次元点群とを受け付け、前記３次元点群の３次元点の各々に対応する前記第１画像上の画素位置を求める入力処理部と、
前記３次元点群の３次元点の各々について、前記３次元点に対応する前記第１画像上の画素位置の近傍の複数の画素位置から、
前記第１画像及び前記第２画像の間の整合性が高く、かつ、
前記３次元点に対応する前記第１画像上の画素位置から、前記３次元点について選択される前記画素位置までの移動が、周辺の前記３次元点に対応する前記第１画像上の画素位置から、前記周辺の前記３次元点について選択される前記画素位置までの移動と対応するように、前記画素位置を選択し、前記画素位置の画素値を付与する画像情報選択部と、
を含む３次元点群処理装置。

【請求項4】

前記画像情報選択部は、
前記３次元点群の３次元点の各々に対応する前記第１画像上の画素位置をノードとして前記ノード間をエッジで結んだグラフを作成し、
各エッジについての、前記エッジで結ばれた２つのノードの各々に対応する前記３次元点について選択される前記画素値の画素位置までの前記移動の差分、及び前記エッジの長さと、
前記３次元点に対応する前記第１画像上の画素位置の近傍の画素位置から選択される画素位置の画像情報、及び前記選択される前記画素位置に対応する前記第２画像上の画素位置の画像情報の距離と
を用いて表されるコスト関数に基づいて、前記３次元点群の３次元点の各々について、前記画素位置を選択し、前記画素位置の画素値を付与する請求項３記載の３次元点群処理装置。

【請求項5】

前記３次元点群の計測位置の変化速度に基づいて、近傍の複数の画素位置の探索範囲を計算する探索範囲計算部を更に含み、
前記画像情報選択部は、前記探索範囲内の複数の画素位置から前記画素位置を選択する請求項１～請求項４の何れか１項記載の３次元点群処理装置。

【請求項6】

入力処理部が、少なくとも撮影位置の関係が予め求められている第１画像及び第２画像と、少なくとも前記撮影位置と計測位置との関係が予め求められている物体の表面上の３次元点群とを受け付け、前記３次元点群の３次元点の各々に対応する前記第１画像上の画素位置を求め、
画像情報選択部が、前記３次元点群の３次元点の各々について、前記３次元点に対応する前記第１画像上の画素位置に基づいて、近傍の複数の画素位置から、前記第１画像及び前記第２画像の間の整合性が高くなるように、前記画素位置を選択し、前記画素位置の画素値を付与する
３次元点群処理方法。

【請求項7】

入力処理部が、少なくとも撮影位置の関係が予め求められている第１画像及び第２画像と、少なくとも前記撮影位置と計測位置との関係が予め求められている物体の表面上の３次元点群とを受け付け、前記３次元点群の３次元点の各々に対応する前記第１画像上の画素位置を求め、
画像情報選択部が、前記３次元点群の３次元点の各々について、前記３次元点に対応する前記第１画像上の画素位置の近傍の複数の画素位置から、
前記第１画像及び前記第２画像の間の整合性が高く、かつ、
前記３次元点に対応する前記第１画像上の画素位置から、前記３次元点について選択される前記画素位置までの移動が、周辺の前記３次元点に対応する前記第１画像上の画素位置から、前記周辺の前記３次元点について選択される前記画素位置までの移動と対応するように、前記画素位置を選択し、前記画素位置の画素値を付与する
３次元点群処理方法。

【請求項8】

コンピュータを、請求項１～請求項５の何れか１項に記載の３次元点群処理装置として機能させるための３次元点群処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

開示の技術は、３次元点群処理装置、３次元点群処理方法、及び３次元点群処理プログラムに関する。

【背景技術】

【0002】

非特許文献１には、４つの円形の穴の空いた板という特定の形状のキャリブレーションターゲットを用いてステレオカメラとＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）の位置関係を導出する技術が開示されている。

【0003】

非特許文献２には、ステレオ画像によって生成した奥行画像とＬｉＤＡＲによって生成した奥行画像が一致するようにＬｉＤＡＲとカメラの位置関係を導出する技術が開示されている。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Guindel, Carlos, et al. ”Automatic extrinsic calibration for lidar-stereo vehicle sensor setups.” 2017 IEEE 20th international conference on intelligent transportation systems (ITSC). IEEE, 2017.

【非特許文献2】John, Vijay, et al. ”Automatic calibration and registration of lidar and stereo camera without calibration objects.” 2015 IEEE International Conference on Vehicular Electronics and Safety (ICVES). IEEE, 2015.

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来、ＬｉＤＡＲで計測した３次元点群に画像情報を付与する際には、ＬｉＤＡＲとカメラを、非特許文献１や非特許文献２のような手法でセンサ間の位置関係を計測し、その位置関係に基づいて３次元点群をカメラ画像に投影して、投影された位置の画素に基づいて画素値を付与していた。

【0006】

このような画像情報の付与では、ＬｉＤＡＲ点群がカメラ画像に正しく投影されていない場合には誤りを含む。具体的には、ＬｉＤＡＲで計測された点がカメラ画像では遮蔽されているオクルージョンが生じている場合（図２参照）、撮影者が移動しておりＬｉＤＡＲとカメラの計測時刻の違いにより位置関係がずれる場合（図１０参照）などで、正しい位置関係を計測したとしてもＬｉＤＡＲ点群への画像への投影誤り、すなわち画像情報の付与誤りが生じる。

【0007】

開示の技術は、上記の点に鑑みてなされたものであり、計測して得られた３次元点群に対して精度よく画素値を付与することができる３次元点群処理装置、３次元点群処理方法、及び３次元点群処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本開示の第１態様は、３次元点群処理装置であって、少なくとも撮影位置の関係が予め求められている第１画像及び第２画像と、少なくとも前記撮影位置と計測位置との関係が予め求められている物体の表面上の３次元点群とを受け付け、前記３次元点群の３次元点の各々に対応する前記第１画像上の画素位置を求める入力処理部と、前記３次元点群の３次元点の各々について、前記３次元点に対応する前記第１画像上の画素位置に基づいて、近傍の複数の画素位置から、前記第１画像及び前記第２画像の間の整合性が高くなるように、前記画素位置を選択し、前記画素位置の画素値を付与する画像情報選択部と、を含む。

【0009】

本開示の第２態様は、３次元点群処理装置であって、少なくとも撮影位置の関係が予め求められている第１画像及び第２画像と、少なくとも前記撮影位置と計測位置との関係が予め求められている物体の表面上の３次元点群とを受け付け、前記３次元点群の３次元点の各々に対応する前記第１画像上の画素位置を求める入力処理部と、前記３次元点群の３次元点の各々について、前記３次元点に対応する前記第１画像上の画素位置の近傍の複数の画素位置から、前記第１画像及び前記第２画像の間の整合性が高く、かつ、前記３次元点に対応する前記第１画像上の画素位置から、前記３次元点について選択される前記画素位置までの移動が、周辺の前記３次元点に対応する前記第１画像上の画素位置から、前記周辺の前記３次元点について選択される前記画素位置までの移動と対応するように、前記画素位置を選択し、前記画素位置の画素値を付与する画像情報選択部と、を含む。

【0010】

本開示の第３態様は、３次元点群処理方法であって、入力処理部が、少なくとも撮影位置の関係が予め求められている第１画像及び第２画像と、少なくとも前記撮影位置と計測位置との関係が予め求められている物体の表面上の３次元点群とを受け付け、前記３次元点群の３次元点の各々に対応する前記第１画像上の画素位置を求め、画像情報選択部が、前記３次元点群の３次元点の各々について、前記３次元点に対応する前記第１画像上の画素位置に基づいて、近傍の複数の画素位置から、前記第１画像及び前記第２画像の間の整合性が高くなるように、前記画素位置を選択し、前記画素位置の画素値を付与する。

【0011】

本開示の第４態様は、３次元点群処理方法であって、入力処理部が、少なくとも撮影位置の関係が予め求められている第１画像及び第２画像と、少なくとも前記撮影位置と計測位置との関係が予め求められている物体の表面上の３次元点群とを受け付け、前記３次元点群の３次元点の各々に対応する前記第１画像上の画素位置を求め、画像情報選択部が、前記３次元点群の３次元点の各々について、前記３次元点に対応する前記第１画像上の画素位置の近傍の複数の画素位置から、前記第１画像及び前記第２画像の間の整合性が高く、かつ、前記３次元点に対応する前記第１画像上の画素位置から、前記３次元点について選択される前記画素位置までの移動が、周辺の前記３次元点に対応する前記第１画像上の画素位置から、前記周辺の前記３次元点について選択される前記画素位置までの移動と対応するように、前記画素位置を選択し、前記画素位置の画素値を付与する。

【0012】

本開示の第５態様は、３次元点群処理プログラムであって、コンピュータを、上記第１態様又は第２態様の３次元点群処理装置として機能させるためのプログラムである。

【発明の効果】

【0013】

開示の技術によれば、計測して得られた３次元点群に対して精度よく画素値を付与することができる。

【図面の簡単な説明】

【0014】

【図1】第１実施形態及び第１実施形態の３次元点群処理装置として機能するコンピュータの一例の概略ブロック図である。

【図2】ＬｉＤＡＲセンサによる計測点と、第１カメラ及び第２カメラの撮影シーンとの一例を示す図である。

【図3】第１実施形態及び第１実施形態の３次元点群処理装置の構成を示すブロック図である。

【図4】（Ａ）第１画像の一例を示す図、（Ｂ）第２画像の一例を示す図、及び（Ｃ）第１画像に３次元点群を投影した結果の一例を示す図である。

【図5】探索範囲を説明するための図である。

【図6】コストを説明するための図である。

【図7】第１実施形態の３次元点群処理装置の３次元点群処理ルーチンを示すフローチャートである。

【図8】グラフを説明するための図である。

【図9】第２実施形態の３次元点群処理装置の３次元点群処理ルーチンを示すフローチャートである。

【図10】三次元点を誤って投影する例を示す図である。

【発明を実施するための形態】

【0015】

以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

【0016】

＜本実施形態の概要＞
ＬｉＤＡＲで計測された３次元点群は色情報を持たない。色情報を付与するためには、３次元点群の計測と同時に撮影したカメラ画像に３次元点群を投影して、その投影位置の画素値を取得することが一般的に行われる。３次元点群に画素値を付与することによって、色情報を活用した３次元点群の識別などが可能となる。しかし、３次元点群が画像に誤って投影されている場合、誤った画素値が３次元点群に付与されてしまう。

【0017】

例えば、カメラはグローバルシャッター方式であり、瞬時に計測を行うが、ＬｉＤＡＲはローリングシャッター方式であり、計測に時間幅があることが多い。そのため、図１０のように移動体上にＬｉＤＡＲセンサ５０と第１カメラ５２を設置して計測をした場合、点Ａを計測した時と点Ｂを計測した時では、実際には異なる計測位置から３次元点を計測している。しかし、投影の際に静止状態での第１カメラ５２とＬｉＤＡＲセンサ５０の位置関係を使って投影を行うため、投影誤りが生じる。

【0018】

本実施形態では、ＬｉＤＡＲセンサによる計測で得られた３次元点群に対して、第１画像と第２画像を手掛かりとして画素値を付与する。ＬｉＤＡＲセンサとカメラ間に、車両の移動や、センサ位置の違いによるオクルージョンによる投影誤りがある場合でも正しく画素値を付与することが可能となる。

【0019】

なお、第１画像と第２画像は別時刻の同一のカメラで撮影された画像であってよい。これは、撮影者が移動しているために撮影位置が変化しているためである。

【0020】

具体的には、本実施形態では、ＬｉＤＡＲセンサで計測された３次元点群に画像情報をもとに画素値を選択して付与する。本実施形態では、その画素値の選択の仕方について２つの特徴を持つ。

【0021】

投影誤りがあっても正しく画素値を付与できるように、ＬｉＤＡＲセンサで計測した３次元点を画像上に投影し、その投影点の近傍から最もその点の画素値として確からしいものを選択する。

【0022】

上記画素値の選択を、第１画像と第２画像とに投影された３次元点の奥行値から計算されるステレオコストに基づいて実施する。

【0023】

さらに、上記画素値の選択を、３次元点を投影した、隣接する画素位置が、同じような移動によって得られる画素位置の画素値を選択するための平滑化コストを考慮して実施する。

【0024】

［第１実施形態］
＜第１実施形態に係る３次元点群処理装置の構成＞
図１は、本実施形態の３次元点群処理装置１０のハードウェア構成を示すブロック図である。

【0025】

図１に示すように、３次元点群処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６及び通信インタフェース（Ｉ／Ｆ）１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。

【0026】

ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２又はストレージ１４には、３次元点群に画素値を付与するための３次元点群処理プログラムが格納されている。３次元点群処理プログラムは、１つのプログラムであっても良いし、複数のプログラム又はモジュールで構成されるプログラム群であっても良い。

【0027】

ＲＯＭ１２は、各種プログラム及び各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。

【0028】

入力部１５は、マウス等のポインティングデバイス、及びキーボードを含み、少なくとも撮影位置の関係が予め求められている第１画像及び第２画像と、少なくとも撮影位置と計測位置との関係が予め求められている物体の表面上の３次元点群Ｐとを含む各種の入力を行うために使用される。例えば、入力部１５には、図２に示すような、ＬｉＤＡＲセンサ５０によって計測された３次元点群Ｐと、第１カメラ５２によって撮影された第１画像（図４（Ａ）参照）と、第２カメラ５４によって撮影された第２画像（図４（Ｂ）参照）と、が入力される。第１カメラ５２と第２カメラ５４との撮影位置の関係が予め求められており、第１カメラ５２の撮影位置とＬｉＤＡＲセンサ５０の計測位置との関係が予め求められている。

【0029】

第１画像は、歪み補正されたＲＧＢもしくはグレースケールの画像であり、第２画像は、歪み補正されたＲＧＢもしくはグレースケールの画像である。３次元点群Ｐは、ＬｉＤＡＲセンサ５０によって計測された３次元点の集合である。一つ一つの３次元点は、３次元のベクトルであり、３次元点群Ｐに、３次元点がＮ点含まれる場合には、３次元点群ＰはＮ個の要素を持つ３次元のベクトルの集合となる。

【0030】

また、入力部１５には、第１カメラ５２の内部パラメータＫ＿１、第２カメラ５４の内部パラメータＫ＿２、第１カメラ５２と第２カメラ５４間の回転行列Ｒ＿Ｃ、第１カメラ５２と第２カメラ５４間の並進ベクトルＴ＿Ｃ、第１カメラ５２とＬｉＤＡＲセンサ５０間の投影行列Ｒ＿Ｌ、及び第１カメラ５２とＬｉＤＡＲセンサ５０間の並進ベクトルＴ＿Ｌが入力される。

【0031】

第１カメラ５２及び第２カメラ５４の内部パラメータＫ＿１、Ｋ＿２は、３×３のカメラ内部パラメータ行列である。第１カメラ５２と第２カメラ５４間の回転行列Ｒ＿Ｃは、３×３の回転行列である。第１カメラ５２と第２カメラ５４間の並進ベクトルＴ＿Ｃは、３次元のベクトルである。第１カメラ５２とＬｉＤＡＲセンサ５０間の投影行列Ｒ＿Ｌは、３×３の回転行列である。第１カメラ５２とＬｉＤＡＲセンサ５０間の並進ベクトルＴ＿Ｌは、３次元のベクトルである。

【0032】

表示部１６は、例えば、液晶ディスプレイであり、ＬｉＤＡＲセンサ５０によって計測された３次元点群Ｐに対して画素値を付与した結果を含む各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能しても良い。

【0033】

具体的には、表示部１６は、画素値（色情報）を付与した３次元点群Ｐ＿Ｃを表示する。ここで、３次元点群Ｐ＿Ｃでは、一つ一つの点は３次元のｘｙｚ座標と１次元（グレースケール）もしくは３次元（ＲＧＢ）の色情報を持ち、それがＭ個存在するので、３次元点群Ｐ＿Ｃは、Ｍ×４次元またはＭ×６次元の配列である。ここで、Ｎ≠Ｍである理由は、入力したＮ点の一部は画像の範囲外に投影され、画素値を付与できないからである。

【0034】

通信インタフェース１７は、他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。

【0035】

次に、３次元点群処理装置１０の機能構成について説明する。図３は、３次元点群処理装置１０の機能構成の例を示すブロック図である。

【0036】

３次元点群処理装置１０は、機能的には、図３に示すように、入力処理部２０、探索範囲計算部２２、及び画像情報選択部２４を備えている。

【0037】

入力処理部２０は、入力部１５により受け付けた、第１画像及び第２画像と、３次元点群Ｐとに基づいて、３次元点群Ｐの各々の３次元点を第１画像上に投影し、各３次元点に対応する第１画像上の画素位置を求める（図４（Ｃ）参照）。図４（Ｃ）では、ドットで表される物体の表面上の３次元点の一つが、第１画像上の白い物体を表す領域内の画素位置に誤って投影されている例を示している。

【0038】

具体的には、３次元点群Ｐの各々の３次元点を、第１画像上に投影し、第１画像の領域外に投影された３次元点を３次元点群Ｐから除去する。除去後の３次元点群Ｐの各々の３次元点に対応する第１画像上の画素位置及び奥行値の組み合わせである要素からなる集合Ｑ＿１を求める。集合Ｑ＿１の各要素が示す点を、第２画像上に投影し、第２画像の領域外に投影された点を示す要素を集合Ｑ＿１から除去し、除去後の集合Ｑ＿１に更新する。

【0039】

例えば、３次元点群Ｐに含まれる３次元点それぞれについて、以下の式に従って投影行列Ｒ＿Ｌ、並進ベクトルＴ＿Ｌを適用して３次元点群Ｐ＿１を求める。３次元点群Ｐ＿１はＮ個の３次元ベクトルの集合である。

【0040】

Ｐ＿１＝Ｒ＿Ｌ Ｐ＋Ｔ＿Ｌ

【0041】

３次元点群Ｐ＿１を内部パラメータＫ＿１により第１カメラ５２の第１画像上に投影し、第１画像の領域外に投影されたものを除去し、（第１画像中のｘ座標、第１画像中のｙ座標、３次元点の奥行値）からなる要素の集合Ｑ＿１を得る。

【0042】

第１画像の領域内に投影された点の数をＭ＿１と表記する。なお、集合Ｑ＿１の各要素と変換前の３次元点群Ｐの各３次元点との対応付けは保持されている。

【0043】

そして、３次元点群Ｐ＿１に含まれる３次元点それぞれについて、以下の式に従って投影行列Ｒ＿Ｃ、並進ベクトルＴ＿Ｃを適用して３次元点群Ｐ＿２を求める。３次元点群Ｐ＿２はＮ個の３次元ベクトルの集合である。

【0044】

Ｐ＿２＝Ｒ＿Ｃ Ｐ＿１＋Ｔ＿Ｃ

【0045】

３次元点群Ｐ＿２を内部パラメータＫ＿２により第２カメラ５４の第２画像上に投影し、３次元点群Ｐ＿２から第２画像の領域外に投影されたものを除去し、（第２画像中のｘ座標、第２画像中のｙ座標、３次元点の奥行値）からなる要素の集合Ｑ＿２を得る。第２画像の領域内に投影された点の数をＭ＿２と表記する。なお、集合Ｑ＿２の各要素と変換前の３次元点群Ｐの各要素との対応付けは保持されている。

【0046】

集合Ｑ＿１のうち、集合Ｑ＿２にも含まれている要素を、３次元点群Ｐとの対応付けを利用して抽出し、集合Ｑ＿１及び集合Ｑ＿２の両方に含まれている要素からなる集合となるように、集合Ｑ＿１を更新する。

【0047】

探索範囲計算部２２は、３次元点群Ｐの計測位置の変化速度に基づいて、３次元点群の３次元点の各々について、近傍の複数の画素位置の探索範囲を計算する。

【0048】

具体的には、ＬｉＤＡＲセンサ５０、第１カメラ５２、及び第２カメラ５４を保持する撮影者の移動速度をｖ＝（ｖｘ，ｖｙ，ｖｚ）とし、取得されているものとする。なお、速度ｖは第１カメラ５２の座標系で与えられている。ＬｉＤＡＲセンサ５０のローリングシャッターによって全周囲の計測にかかる時間をΔｔとする。３次元点群Ｐ＿１に含まれる点について±ｖΔｔの移動を適用した３次元点群Ｐ＿１＋と３次元点群Ｐ＿１－を考える。３次元点群Ｐ＿１＋と３次元点群Ｐ＿１－について、Ｋにより画像上に投影して、集合Ｑ＿１＋と集合Ｑ＿１－を得る。集合Ｑ＿１と集合Ｑ＿１＋と集合Ｑ＿１－に含まれる点の対応（もともと３次元点群Ｐのどの点だったのか）については保持されている。以降、集合Ｑ＿１、集合Ｑ＿１＋、集合Ｑ＿１－から、ｘｙ座標のみを取り出した集合Ｑ＿１’、集合Ｑ＿１＋’、集合Ｑ＿１－‘を考える。集合Ｑ＿１’に含まれるある画素位置（集合Ｑ＿１＋’の画素位置ｑ＋、集合Ｑ＿１－‘の画素位置ｑ－に対応する）についての探索範囲を、あらかじめ定められた半径ｒを用いて「焦点を画素位置ｑ＋，ｑ－とし、長径の長さを｜｜ｑ－ｑ＋｜｜／２＋ｒとする楕円」とする。

【0049】

上記楕円は、撮影者が移動する際にＬｉＤＡＲセンサ５０で計測した３次元点が第１画像中で移動する可能性のある範囲を示すものである。なお、移動速度ｖが０の場合には、探索範囲は半径ｒの円となる（図５参照）。図５では、要素ｑに対応する画素位置を中心とする半径ｒの円を、当該要素ｑについての探索範囲とする例を示している。

【0050】

画像情報選択部２４は、３次元点群Ｐの３次元点の各々について、当該３次元点に対応する第１画像上の画素位置に基づいて、探索範囲内の複数の画素位置から、第１画像及び第２画像の間の整合性が高くなるように、画素位置を選択し、選択した画素位置の画素値を、当該３次元点に付与する。

【0051】

具体的には、画像情報選択部２４は、集合Ｑ＿１の各要素について、当該要素に対応する第１画像上の画素位置の近傍の画素位置から選択される画素位置の画像情報と、選択される画素位置に対応する第２画像上の画素位置の画像情報との距離、及び当該要素に対応する第１画像上の画素位置から、選択される画素位置までの移動を用いて表されるコストに基づいて、画素値を選択する。

【0052】

例えば、集合Ｑ＿１に含まれる各要素について、探索範囲内の複数の画素位置の各々に対するコストを計算する。

【0053】

この計算処理は、集合Ｑ＿１に含まれる要素ごとに実施する。以降、集合Ｑ＿１に含まれる１つの要素ｑに注目して計算処理を説明する。

【0054】

本計算処理では、要素ｑについて計算された探索範囲内に存在する画素位置のうち、最もコストが小さくなるような画素位置を選択し、その画素値を要素ｑに付与する。

【0055】

なお、移動速度ｖが０の場合には、半径ｒ以内に存在する画素位置のうち、最もコストが小さくなるような画素位置を選択する。

【0056】

ここで、要素ｑ（ｘ，ｙ，ｄ）から（Δｘ，Δｙ）だけ移動した要素ｑ’（ｘ_１’，ｙ_１’，ｄ）を考える。まず、要素ｑ’が第２画像上のどこに投影されるかを導出する。これは要素ｑ’（ｘ_１’，ｙ_１’，ｄ）をＫ＿１の逆行列によって逆投影し、Ｒ＿ＣとＴ＿Ｃを適用して第２画像の座標系に座標変換をしたのちに、Ｋ＿２によって第２画像平面に投影することによって得られる。このように、３次元点の奥行値を用いることによって、第２画像平面に投影することができる。これによって得た第２画像上での座標値を（ｘ_２’，ｙ_２’）とする。要素ｑの画素位置からδ＝（Δｘ，Δｙ）だけ移動した画素位置の画素値の割り当てやすさを評価するコストｃを以下のように導出する。

【0057】

（１）

【0058】

ただし、λは、０以上の定数である。第一項のＳｔｅｒｅｏはステレオコストである。すなわち、図６に示すように、第１画像の座標（_ｘ１’，ｙ_１’）と第２画像の座標（ｘ_２’，ｙ_２’）における画像情報の距離を評価する関数であり、照度差、センサス距離、画像勾配の差異を取る方法などがあり、その重みづけやウィンドウサイズは任意である。第１画像の座標（ｘ_１’，ｙ_１’）と第２画像の座標（ｘ_２’，ｙ_２’）における画像情報の距離が長いほど、ステレオコストが大きくなる。図６では、要素ｑに対応する黒丸で示す画素位置（ｘ，ｙ）から（Δｘ、Δｙ）だけ移動した、斜線の丸印で示す第１画像の座標（ｘ_１’，ｙ_１’）の画像情報と、第１画像の座標（ｘ_１’，ｙ_１’）に対応する、白丸で示す第２画像の座標（ｘ_２’，ｙ_２’）の画像情報との距離のステレオコストを導出する例を示している。

【0059】

第二項は同じようなステレオコストを持つ画素があった際に、画像上での位置が近いほうが割り当てられやすくするための項である。

【0060】

要素ｑから探索範囲内であるような移動すべてについて上記のコストｃを計算し、コストが最も小さくなるような移動（Δｘ、Δｙ）を求める。なお、移動速度が０の場合には、要素ｑの画素位置からΔｘ^２＋Δｙ^２＜ｒ^２であるような移動すべてについて上記のコストｃを計算する。

【0061】

コストが最も小さくなるような移動（Δｘ、Δｙ）から、（ｘ_１’，ｙ_１’）を求め、要素ｑに、第１画像の画素位置（ｘ_１’，ｙ_１’）にある画素値を付与する。このとき、一例として、画素値の色情報を付与する。色情報は、グレースケールであれば１次元であり、カラー画像であれば３次元である。

【0062】

集合Ｑ＿１のすべての要素について上記の方法で画素値を付与したら、集合Ｑ＿１と３次元点群Ｐの対応付けによって３次元点群Ｐの各３次元点に画素値を付与する。

【0063】

＜第１実施形態に係る３次元点群処理装置の作用＞
次に、３次元点群処理装置１０の作用について説明する。

【0064】

図７は、３次元点群処理装置１０による３次元点群処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から３次元点群処理プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、３次元点群処理が行なわれる。また、３次元点群処理装置１０に、ＬｉＤＡＲセンサ５０によって計測された３次元点群Ｐと、第１カメラ５２によって撮影された第１画像と、第２カメラ５４によって撮影された第２画像と、が入力される。また、３次元点群処理装置１０に、第１カメラ５２の内部パラメータＫ＿１、第２カメラ５４の内部パラメータＫ＿２、第１カメラ５２と第２カメラ５４間の回転行列Ｒ＿Ｃ、第１カメラ５２と第２カメラ５４間の並進ベクトルＴ＿Ｃ、第１カメラ５２とＬｉＤＡＲセンサ５０間の投影行列Ｒ＿Ｌ、及び第１カメラ５２とＬｉＤＡＲセンサ５０間の並進ベクトルＴ＿Ｌが入力されているものとする。

【0065】

ステップＳ１００で、ＣＰＵ１１は、入力処理部２０として、入力部１５により受け付けた、第１画像及び第２画像と、３次元点群とを取得する。

【0066】

ステップＳ１０２で、ＣＰＵ１１は、入力処理部２０として、第１画像及び第２画像と、３次元点群とに基づいて、集合Ｑ＿１、Ｑ＿２を計算する。

【0067】

ステップＳ１０４では、ＣＰＵ１１は、探索範囲計算部２２として、３次元点群Ｐの計測位置の変化速度に基づいて、集合Ｑ＿１の各要素について、近傍の複数の画素位置の探索範囲を計算する。

【0068】

ステップＳ１０６では、ＣＰＵ１１は、画像情報選択部２４として、集合Ｑ＿１の各要素について、当該要素について計算された探索範囲内の第１画像上の画素位置の各々に対し、当該画素位置の画像情報と、当該画素位置に対応する第２画像上の画素位置の画像情報との距離、及び当該要素に対応する第１画像上の画素位置から、当該画素位置までの移動を用いて表されるコストを、上記式（１）に従って計算する。

【0069】

ステップＳ１０８では、ＣＰＵ１１は、画像情報選択部２４として、要素ｑについて計算された探索範囲内に存在する画素位置のうち、最もコストが小さくなるような画素位置を選択し、その画素値を要素ｑに付与する。そして、ＣＰＵ１１は、集合Ｑ＿１と３次元点群Ｐの対応付けによって３次元点群Ｐの各３次元点に画素値を割り当て、表示部１６により表示して、３次元点群処理ルーチンを終了する。

【0070】

以上説明したように、本実施形態に係る３次元点群処理装置は、３次元点群の３次元点の各々について、当該３次元点に対応する前記第１画像上の画素位置に基づいて、近傍の複数の画素位置から、第１画像及び第２画像の間の整合性が高くなるように、画素位置を選択し、画素位置の画素値を付与する。これにより、計測して得られた３次元点群に対して精度よく画素値を付与することができる。

【0071】

［第２実施形態］
第２実施形態では、画素位置を選択するときに用いるコスト関数が、第１実施形態と異なっている。

【0072】

＜第２実施形態の概要＞
上記第１実施形態では、ステレオコストのみによって画素位置を選択していたが、第２実施形態では、平滑化コストを更に考慮して画素位置を選択する。これは上記図１０に示したような撮影者の移動による投影誤りがある場合に、隣接して投影される点は同じような移動δによって最適な画素値を付与するのが望ましいためである。

【0073】

＜第２実施形態に係る３次元点群処理装置の構成＞
第２実施形態の３次元点群処理装置について説明する。第１実施形態と同様の構成となるため、同一符号を付して説明を省略する。

【0074】

３次元点群処理装置１０の画像情報選択部２４は、３次元点群Ｐの３次元点の各々について、当該３次元点に対応する第１画像上の画素位置に基づいて、近傍の複数の画素位置から、第１画像及び前記第２画像の間の整合性が高く、かつ、当該３次元点に対応する第１画像上の画素位置から、当該３次元点について選択される画素位置までの移動が、周辺の３次元点に対応する第１画像上の画素位置から、当該周辺の３次元点について選択される画素位置までの移動と対応するように、画素位置を選択する。

【0075】

具体的には、画像情報選択部２４は、集合Ｑ＿１の各要素に対応する第１画像上の画素位置をノードとしてノード間をエッジで結んだグラフを作成する。

【0076】

画像情報選択部２４は、各エッジについての、エッジで結ばれた２つのノードの各々に対応する要素ｑについて選択される画素位置までの移動の差分、及びエッジの長さと、要素ｑに対応する第１画像上の画素位置の近傍の画素位置から選択される画素位置の画像情報と、選択される画素位置に対応する第２画像上の画素位置の画像情報との距離を用いて表されるコスト関数に基づいて、集合Ｑ＿１の各要素ｑについて、画素位置を選択する。

【0077】

例えば、集合Ｑ＿１の各要素ｑのｘ，ｙ座標を用いてドロネー三角形を作成し、集合Ｑ＿１の各要素ｑの画素位置をノードとし、ドロネー三角形の各辺からなるエッジ集合を含むグラフＧを作成する。エッジ集合Ｅから、あらかじめ定められた閾値ｅ＿ｍａｘよりも長い距離のエッジを除去する（図８参照）。図８では、集合Ｑ＿１の各要素に対応する第１画像上の画素位置を黒印で示すノードとし、ノード間を、長さが閾値以下となる、点線で示すエッジで結んだグラフを作成した例を示している。なお、エッジの長さの計算には、集合Ｑ＿１の各要素ｑの画素位置をＫ＿１^－１（ｘ_ｄ，ｙ_ｄ，ｄ）のように３次元空間中に逆投影したうえで、３次元空間中での点間の距離を求める。コスト関数ｃ’は、以下の式（２）で表される。

【0078】

（２）

【0079】

第一項は上記式（１）のコストｃをグラフのノードすべてについて足し合わせることを意味する。第二項は、エッジｅで結ばれているノード（隣接する３次元点）に画素値を選択する際に同じような移動（δ）をするという制約を加えるための項である。∇δはグラフでエッジが張られている二点間について移動δの差分をとることを意味する。それをエッジの長さ||ｅ||_１の逆数で重みづけることにより、距離が近い２点ほど強く制約が課されるようにしている。オクルージョンがある場合には、隣接ノード間でも移動δが離散的になるので、そのような変化も許容されるよう、∇δの評価にはｌ１ノルムを採用し、最大値ａでトランケーションをする。

【0080】

移動δの探索範囲は、探索範囲計算部２２で求めた楕円形である。撮影者の速度が０である場合には、探索範囲は、半径ｒの円となる。

【0081】

コスト関数ｃ’の最小化は信念伝播によって実施することができ、コスト関数ｃ’を最小にするような移動δを求め、その移動δによって画素値を付与する。上記第１実施形態の画像情報選択部２４とは異なり、移動δは各点個別に求まるのではなく、エッジ集合Ｅを構成するすべての点について最適化する。

【0082】

画像情報選択部２４は、コスト関数ｃ’を最小化する画素位置（ｘ，ｙ）を、集合Ｑ＿１の要素のそれぞれについて、信念伝播によって選択する。

【0083】

コスト関数ｃ’の最小化は、信念伝播（Ｂｅｌｉｅｆ Ｐｒｏｐａｇａｔｉｏｎ）という手法、より具体的にはループありの信念伝播（Ｌｏｏｐｙ Ｂｅｌｉｅｆ Ｐｒｏｐａｇａｔｉｏｎ）によって行うことができる。

【0084】

以上のように、画像情報選択部２４では、コスト関数ｃ’の最小化によって、集合Ｑ＿１の全ての要素ｑの各々について探索範囲から選択される画素位置（ｘ，ｙ）の組み合わせが求められる。

【0085】

＜第２実施形態に係る３次元点群処理装置の作用＞
次に、３次元点群処理装置１０の作用について説明する。なお、第１実施形態と同様の処理については同一符号を付して詳細な説明を省略する。

【0086】

図９は、３次元点群処理装置１０による３次元点群処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から３次元点群処理プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、３次元点群処理が行なわれる。

【0087】

ステップＳ１００で、ＣＰＵ１１は、入力処理部２０として、入力部１５により受け付けた、第１画像及び第２画像と、３次元点群とを取得する。

【0088】

ステップＳ１０２で、ＣＰＵ１１は、入力処理部２０として、第１画像及び第２画像と、３次元点群とに基づいて、集合Ｑ＿１、Ｑ＿２を計算する。

【0089】

ステップＳ１０４では、ＣＰＵ１１は、探索範囲計算部２２として、３次元点群Ｐの計測位置の変化速度に基づいて、集合Ｑ＿１の各要素について、近傍の複数の画素位置の探索範囲を計算する。

【0090】

ステップＳ１０６では、ＣＰＵ１１は、画像情報選択部２４として、集合Ｑ＿１の各要素について、当該要素について計算された探索範囲内の第１画像上の画素位置の各々に対し、当該画素位置の画像情報と、当該画素位置に対応する第２画像上の画素位置の画像情報との距離、及び当該要素に対応する第１画像上の画素位置から、当該画素位置までの移動を用いて表されるコストを、上記式（１）に従って計算する。

【0091】

ステップＳ２００では、ＣＰＵ１１は、画像情報選択部２４として、集合Ｑ＿１の各要素に対応する第１画像上の画素位置をノードとしてノード間をエッジで結んだグラフを作成する。

【0092】

ステップＳ２０２では、ＣＰＵ１１は、画像情報選択部２４として、各エッジについての、エッジで結ばれた２つのノードの各々に対応する要素ｑについて選択される画素位置までの移動の差分、及びエッジの長さと、上記ステップＳ１０６で計算されたコストを用いて表される上記式（２）に示すコスト関数に基づいて、集合Ｑ＿１の各要素ｑについて、画素位置を選択し、その画素値を要素ｑに付与し、集合Ｑ＿１と３次元点群Ｐの対応付けによって３次元点群Ｐの各３次元点に画素値を付与して、表示部１６により表示して、３次元点群処理ルーチンを終了する。

【0093】

以上説明したように、本実施形態に係る３次元点群処理装置は、３次元点群の３次元点の各々について、当該３次元点に対応する第１画像上の画素位置の近傍の複数の画素位置から、第１画像及び第２画像の間の整合性が高く、かつ、当該３次元点に対応する第１画像上の画素位置から、当該３次元点について選択される画素位置までの移動が、周辺の３次元点に対応する第１画像上の画素位置から、当該周辺の前記３次元点について選択される画素位置までの移動と対応するように、画素位置を選択し、画素位置の画素値を付与する。これにより、計測して得られた３次元点群に対して精度よく画素値を付与することができる。

【0094】

＜変形例＞
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

【0095】

例えば、ＬｉＤＡＲセンサによる計測で、３次元点群を取得する場合を例に説明したが、これに限定されるものではない。ＬｉＤＡＲセンサ以外のセンサを用いて、３次元点群を計測するようにしてもよい。

【0096】

また、第１画像と第２画像とが異なるカメラによって撮影された場合を例に説明したが、これに限定されるものではない。撮影位置の関係が予め求められていれば、第１画像と第２画像とが同じカメラによって撮影されたものでもよい。

【0097】

また、上記各実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した各種処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、３次元点群処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

【0098】

また、上記各実施形態では、３次元点群処理プログラムがストレージ１４に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0099】

以上の実施形態に関し、更に以下の付記を開示する。

【0100】

（付記項１）
３次元点群処理装置であって、
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
少なくとも撮影位置の関係が予め求められている第１画像及び第２画像と、少なくとも撮影位置と計測位置との関係が予め求められている物体の表面上の３次元点群とを受け付け、３次元点群の３次元点の各々に対応する第１画像上の画素位置を求め、
３次元点群の３次元点の各々について、前記３次元点に対応する前記第１画像上の画素位置に基づいて、近傍の複数の画素位置から、前記第１画像及び前記第２画像の間の整合性が高くなるように、前記画素位置を選択し、前記画素位置の画素値を付与する
ように構成される３次元点群処理装置。

【0101】

（付記項２）
３次元点群処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
前記３次元点群処理は、
少なくとも撮影位置の関係が予め求められている第１画像及び第２画像と、少なくとも撮影位置と計測位置との関係が予め求められている物体の表面上の３次元点群とを受け付け、３次元点群の３次元点の各々に対応する第１画像上の画素位置を求め、
３次元点群の３次元点の各々について、前記３次元点に対応する前記第１画像上の画素位置に基づいて、近傍の複数の画素位置から、前記第１画像及び前記第２画像の間の整合性が高くなるように、前記画素位置を選択し、前記画素位置の画素値を付与する
非一時的記憶媒体。

【0102】

（付記項３）
３次元点群処理装置であって、
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
少なくとも撮影位置の関係が予め求められている第１画像及び第２画像と、少なくとも前記撮影位置と計測位置との関係が予め求められている物体の表面上の３次元点群とを受け付け、前記３次元点群の３次元点の各々に対応する前記第１画像上の画素位置を求め、
前記３次元点群の３次元点の各々について、前記３次元点に対応する前記第１画像上の画素位置の近傍の複数の画素位置から、前記第１画像及び前記第２画像の間の整合性が高く、かつ、前記３次元点に対応する前記第１画像上の画素位置から、前記３次元点について選択される前記画素位置までの移動が、周辺の前記３次元点に対応する前記第１画像上の画素位置から、前記周辺の前記３次元点について選択される前記画素位置までの移動と対応するように、前記画素位置を選択し、前記画素位置の画素値を付与する
ように構成される３次元点群処理装置。

【0103】

（付記項４）
３次元点群処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
前記３次元点群処理は、
少なくとも撮影位置の関係が予め求められている第１画像及び第２画像と、少なくとも前記撮影位置と計測位置との関係が予め求められている物体の表面上の３次元点群とを受け付け、前記３次元点群の３次元点の各々に対応する前記第１画像上の画素位置を求め、
前記３次元点群の３次元点の各々について、前記３次元点に対応する前記第１画像上の画素位置の近傍の複数の画素位置から、前記第１画像及び前記第２画像の間の整合性が高く、かつ、前記３次元点に対応する前記第１画像上の画素位置から、前記３次元点について選択される前記画素位置までの移動が、周辺の前記３次元点に対応する前記第１画像上の画素位置から、前記周辺の前記３次元点について選択される前記画素位置までの移動と対応するように、前記画素位置を選択し、前記画素位置の画素値を付与する
非一時的記憶媒体。

【符号の説明】

【0104】

１０ ３次元点群処理装置
１１ ＣＰＵ
１４ ストレージ
１５ 入力部
１６ 表示部
２０ 入力処理部
２２ 探索範囲計算部
２４ 画像情報選択部
５０ ＬｉＤＡＲセンサ
５２ 第１カメラ
５４ 第２カメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】