特許 7527532 画像点群データ処理装置、画像点群データ処理方法、及び画像点群データ処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-07-25

(45)【発行日】2024-08-02

(54)【発明の名称】画像点群データ処理装置、画像点群データ処理方法、及び画像点群データ処理プログラム

(51)【国際特許分類】

   H04N 23/45 20230101AFI20240726BHJP

【ＦＩ】

H04N23/45

【請求項の数】 10

(21)【出願番号】P 2024532198

(86)(22)【出願日】2023-01-30

(86)【国際出願番号】 JP2023002844

【審査請求日】2024-05-29

【早期審査対象出願】

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(73)【特許権者】

【識別番号】591036457

【氏名又は名称】三菱電機エンジニアリング株式会社

(74)【代理人】

【識別番号】100116964

【弁理士】

【氏名又は名称】山形 洋一

(74)【代理人】

【識別番号】100120477

【弁理士】

【氏名又は名称】佐藤 賢改

(74)【代理人】

【識別番号】100135921

【弁理士】

【氏名又は名称】篠原 昌彦

(74)【代理人】

【識別番号】100203677

【弁理士】

【氏名又は名称】山口 力

(72)【発明者】

【氏名】池西 俊仁

(72)【発明者】

【氏名】西田 大輔

【審査官】眞岩 久恵

(56)【参考文献】

【文献】国際公開第２０２２／２０９１６６（ＷＯ，Ａ１）

【文献】特開２０２２－３９９０６（ＪＰ，Ａ）

【文献】特開２０２２－１５７０９６（ＪＰ，Ａ）

【文献】特開２０１６－５７１０８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／２３

Ｈ０４Ｎ ５／２２２

Ｈ０４Ｎ ２３／６９５

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／６１

Ｈ０４Ｎ ２３／６５ ，

Ｇ０６Ｔ ７／７０

Ｇ０１Ｂ １１／００

Ｇ０１Ｃ １５／００

Ｇ０１Ｓ ７／４８

(57)【特許請求の範囲】

【請求項1】

カメラによって生成された画像データに含まれる基準物から複数の画像特徴点を検出し、前記複数の画像特徴点に基づいて前記基準物を代表する複数の３次元位置である画像代表位置を算出する画像データ処理部と、
測距センサによって生成された３次元点群を示す３次元点群データから、前記画像代表位置に基づいて決定される検出領域内に存在する前記３次元点群である領域内点群を検出し、前記領域内点群に基づいて前記基準物を代表する代表点群を検出する点群データ処理部と、
前記画像代表位置と前記代表点群とに基づいて前記画像データと前記３次元点群データとを共通の座標系のデータにするレジストレーション処理部と、
を有することを特徴とする画像点群データ処理装置。

【請求項2】

前記基準物は、予め決められたキャリブレーションパターンを有するキャリブレーションボードである
ことを特徴とする請求項１に記載の画像点群データ処理装置。

【請求項3】

前記画像代表位置は、前記キャリブレーションボードの隅の座標点である
ことを特徴とする請求項２に記載の画像点群データ処理装置。

【請求項4】

前記画像代表位置は、前記キャリブレーションボードのエッジ上の座標点である
ことを特徴とする請求項２に記載の画像点群データ処理装置。

【請求項5】

前記基準物は、前記画像データから検出された検出物体である
ことを特徴とする請求項１に記載の画像点群データ処理装置。

【請求項6】

前記画像代表位置は、前記検出物体の隅の座標点及び前記検出物体のエッジ上の座標点の一方又は両方である
ことを特徴とする請求項５に記載の画像点群データ処理装置。

【請求項7】

前記画像データ処理部は、深層学習を用いて前記基準物の前記画像代表位置を推定する
ことを特徴とする請求項５又は６に記載の画像点群データ処理装置。

【請求項8】

前記カメラと、
前記測距センサと、
を更に有することを特徴とする請求項１から６のいずれか１項に記載の画像点群データ処理装置。

【請求項9】

画像点群データ処理装置によって実行される画像点群データ処理方法であって、
カメラによって生成された画像データに含まれる基準物から複数の画像特徴点を検出し、前記複数の画像特徴点に基づいて前記基準物を代表する複数の３次元位置である画像代表位置を算出するステップと、
測距センサによって生成された３次元点群を示す３次元点群データから、前記画像代表位置に基づいて決定される検出領域内に存在する前記３次元点群である領域内点群を検出し、前記領域内点群に基づいて前記基準物を代表する代表点群を検出するステップと、
前記画像代表位置と前記代表点群とに基づいて前記画像データと前記３次元点群データとを共通の座標系のデータにするステップと、
を有することを特徴とする画像点群データ処理方法。

【請求項10】

カメラによって生成された画像データに含まれる基準物から複数の画像特徴点を検出し、前記複数の画像特徴点に基づいて前記基準物を代表する複数の３次元位置である画像代表位置を算出するステップと、
測距センサによって生成された３次元点群を示す３次元点群データから、前記画像代表位置に基づいて決定される検出領域内に存在する前記３次元点群である領域内点群を検出し、前記領域内点群に基づいて前記基準物を代表する代表点群を検出するステップと、
前記画像代表位置と前記代表点群とに基づいて前記画像データと前記３次元点群データとを共通の座標系のデータにするステップと、
をコンピュータに実行させることを特徴とする画像点群データ処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像点群データ処理装置、画像点群データ処理方法、及び画像点群データ処理プログラムに関する。

【背景技術】

【0002】

カメラ撮影によって得られた画像データと測距センサによって検出された３次元点群データとを共通の座標系のデータに変換するための複合キャリブレーション装置の提案がある（例えば、特許文献１参照）。この装置では、ロボットアームを用いてカメラ及び測距センサをキャリブレーションボードの前に移動し、そのときに得られた画像データと３次元点群データとを用いてレジストレーションを行っている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２２－０３９９０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記従来の装置では、ロボットアームによってカメラ及び測距センサを移動することが前提となっている。このため、カメラによる撮影範囲内及び測距センサによる検出範囲内にキャリブレーションボード以外の物体が存在する実環境においては、画像データと３次元点群データとの間の座標変換を高精度に行うことができないという問題がある。

【0005】

本開示は、画像データと３次元点群データとを高い精度で共通の座標系のデータにすることを目的とする。

【課題を解決するための手段】

【0006】

本開示の画像点群データ処理装置は、カメラによって生成された画像データに含まれる基準物から複数の画像特徴点を検出し、前記複数の画像特徴点に基づいて前記基準物を代表する複数の３次元位置である画像代表位置を算出する画像データ処理部と、測距センサによって生成された３次元点群を示す３次元点群データから、前記画像代表位置に基づいて決定される検出領域内に存在する前記３次元点群である領域内点群を検出し、前記領域内点群に基づいて前記基準物を代表する代表点群を検出する点群データ処理部と、前記画像代表位置と前記代表点群とに基づいて前記画像データと前記３次元点群データとを共通の座標系のデータにするレジストレーション処理部と、を有することを特徴とする。

【0007】

本開示の画像点群データ処理方法は、画像点群データ処理装置によって実行される方法であって、カメラによって生成された画像データに含まれる基準物から複数の画像特徴点を検出し、前記複数の画像特徴点に基づいて前記基準物を代表する複数の３次元位置である画像代表位置を算出するステップと、測距センサによって生成された３次元点群を示す３次元点群データから、前記画像代表位置に基づいて決定される検出領域内に存在する前記３次元点群である領域内点群を検出し、前記領域内点群に基づいて前記基準物を代表する代表点群を検出するステップと、前記画像代表位置と前記代表点群とに基づいて前記画像データと前記３次元点群データとを共通の座標系のデータにするステップと、を有することを特徴とする。

【発明の効果】

【0008】

本開示の装置、方法、及びプログラムによれば、画像データと３次元点群データとを高い精度で共通の座標系のデータにすることができる。

【図面の簡単な説明】

【0009】

【図1】実施の形態１に係る画像点群データ処理装置の構成を概略的に示す機能ブロック図である。

【図2】実施の形態１に係る画像点群データ処理装置のハードウェア構成の例を示す図である。

【図3】実施の形態１に係る画像点群データ処理装置の動作を示すフローチャートである。

【図4】（Ａ）から（Ｃ）は、実施の形態１における画像データ処理部の動作を示す説明図である。

【図5】（Ａ）から（Ｄ）は、実施の形態１における点群データ処理部の動作を示す説明図である。

【図6】（Ａ）及び（Ｂ）は、実施の形態１におけるレジストレーション処理部の動作を示す説明図である。

【図7】実施の形態２に係る画像点群データ処理装置の動作を示すフローチャートである。

【図8】（Ａ）から（Ｃ）は、実施の形態２における画像データ処理部の動作を示す説明図である。

【図9】（Ａ）から（Ｄ）は、実施の形態２における点群データ処理部の動作を示す説明図である。

【図10】実施の形態３に係る画像点群データ処理装置のハードウェア構成の例を示す図である。

【図11】実施の形態３に係る画像点群データ処理装置の動作を示すフローチャートである。

【図12】（Ａ）から（Ｃ）は、実施の形態における画像データ処理部の動作を示す説明図である。

【図13】（Ａ）から（Ｃ）は、実施の形態２における点群データ処理部の動作を示す説明図である。

【発明を実施するための形態】

【0010】

以下に、実施の形態に係る画像点群データ処理装置、画像点群データ処理方法、及び画像点群データ処理プログラムを、図面を参照しながら説明する。以下の実施の形態は、例にすぎず、実施の形態を適宜組み合わせること及び各実施の形態を適宜変更することが可能である。

【0011】

《１》実施の形態１
《１－１》構成
図１は、実施の形態１に係る画像点群データ処理装置１の構成を概略的に示す機能ブロック図である。画像点群データ処理装置１は、実施の形態１に係る画像点群データ処理方法を実施することができる装置であり、例えば、実施の形態１に係る画像点群データ処理プログラムを実行することができるコンピュータである。画像点群データ処理装置１は、撮像装置としてのカメラ５１の撮影によって得られた画像データと測距センサとしてのＬｉＤＡＲ５２（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）によって検出された３次元点群データとを、共通の座標系のデータにするための変換式（すなわち、変換式の変換行列）を導出することができる装置である。

【0012】

図１に示されるように、画像点群データ処理装置１は、画像データ処理部１０と、点群データ処理部２０と、レジストレーション処理部３０とを有している。画像点群データ処理装置１は、画像データ及び３次元点群データを記憶する記憶装置であるデータ記憶部４０、外部機器と通信を行う通信部、及び画像を表示する表示装置のうちのいずれか１つ以上を更に有してもよい。

【0013】

画像点群データ処理装置１は、実環境において、カメラ５１によって得られた画像データとＬｉＤＡＲ５２によって検出された３次元点群データとを共通の座標系のデータにするための変換式に含まれる変換行列を決定する。実空間には、カメラキャリブレーションに用いられる基準物としてのキャリブレーションボード以外の物体（すなわち、他の物体）が存在してもよい。図１においては、カメラ５１及びＬｉＤＡＲ５２は、画像点群データ処理装置１と異なる装置として記載されているが、カメラ５１及びＬｉＤＡＲ５２は、画像点群データ処理装置１の一部であってもよい。

【0014】

画像データ処理部１０は、カメラ５１によって生成された画像データに含まれる、キャリブレーションボードのキャリブレーションパターンから複数の画像特徴点（例えば、チェッカーパターンの交点）を検出し、複数の画像特徴点に基づいてキャリブレーションボードを代表する複数の３次元位置である画像代表位置を算出する。複数の画像代表位置は、例えば、キャリブレーションボードの隅の位置である。

【0015】

点群データ処理部２０は、ＬｉＤＡＲ５２によって生成された３次元点群を示す３次元点群データから、画像代表位置（例えば、キャリブレーションボードの隅の位置）に基づいて決定される検出領域内に存在する３次元点群である領域内点群を検出し、領域内点群に基づいて基準物であるキャリブレーションボードを代表する代表点群を検出する。キャリブレーションボードは、予め決められたキャリブレーションパターンを有する。キャリブレーションパターンは、複数の矩形の白領域と黒領域とを交互に２次元的に配列したチェッカーパターンである。キャリブレーションパターンは、升目状に並ぶ複数の直線で構成されるグリッドパターン、二次元的に配列された複数のドットで構成されるドットパターン、などであってもよい。

【0016】

レジストレーション処理部３０は、画像データ処理部１０によって算出された画像代表位置と点群データ処理部２０によって検出された代表点群とに基づくマッチングによって、画像データと３次元点群データとの変換に用いる変換式の変換行列を導出する特徴点マッチング処理部である。レジストレーション処理部３０は、複数の画像からの特徴点（例えば、キャリブレーションボードの四隅の点）と、ＬｉＤＡＲ５２で測定された３次元点群の特徴点（例えば、キャリブレーションボードの四隅の点）を、ＮＤＴ（Ｎｏｒｍａｌ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｔｒａｎｓｆｏｒｍ）手法又はＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）手法を用いて変換行列を算出する。

【0017】

図２は、実施の形態１に係る画像点群データ処理装置１のハードウェア構成の例を示す図である。画像点群データ処理装置１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサ１０１と、記憶部としてのメモリ１０２と、記憶装置１０３と、インタフェース１０４とを有している。画像点群データ処理装置１を構成する各部分は、例えば、処理回路により構成される。処理回路は、専用のハードウェアであってもよいし、又は、メモリ１０２に格納されるプログラム（例えば、画像点群データ処理プログラム）を実行するＣＰＵを含んでもよい。プロセッサ１０１は、図１に示される各機能ブロックを実現する。

【0018】

メモリ１０２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの半導体メモリである。記憶装置１０３は、ＨＤＤ（ハードディスクドライブ）、ＳＳＤ（ソリッドステートドライブ）などの不揮発性記憶装置である。また、画像点群データ処理装置１は、回路からなる構成部分とプロセッサからなる構成部分との両方を含むものであってもよい。また、画像点群データ処理装置１の一部又は全部は、ネットワーク上のサーバコンピュータであってもよい。なお、画像点群データ処理プログラムは、ネットワークを介するダウンロードによって、又は、情報を記憶するＵＳＢメモリなどの記憶媒体によって提供される。インタフェース１０４には、カメラ５１、ＬｉＤＡＲ５２、ユーザ操作が行われる入力装置、情報を提示する液晶ディスプレイなどの表示装置、などが接続される。

【0019】

図２に示されるように、カメラ５１の撮影範囲内であってＬｉＤＡＲ５２の測定範囲内には、基準物としてのキャリブレーションボード６０が存在するが、キャリブレーションボード６０以外の他の物体が存在してもよい。つまり、画像点群データ処理装置１は、多くの物体が存在する実空間を撮影及び測定することによって、画像データと３次元点群データとを高い精度で共通の座標系のデータにすることができる。また、画像点群データ処理装置１は、ＬｉＤＡＲ５２によって生成された３次元点群データに基づく点群を同じ座標系の画像データに基づく画像に重ねた画像を表示装置に表示させことができる。また、画像点群データ処理装置１は、ＬｉＤＡＲ５２によって生成された３次元点群データに基づく点群によって構成される面に、画像データに基づく色を付けた画像を表示装置に表示させることができる。

【0020】

《１－２》動作
図３は、実施の形態１に係る画像点群データ処理装置１の動作を示すフローチャートである。図４（Ａ）から（Ｃ）は、画像データ処理部１０の動作を示す説明図である。

【0021】

先ず、画像データ処理部１０は、カメラ５１によって生成された画像データを取得し（ステップＳ１０１）、画像データに含まれる基準物としてのキャリブレーションボード６０を検出してカメラキャリブレーションを行い、カメラ内部パラメータを決定する（ステップＳ１０２）。図４（Ａ）は、画像データ処理部１０が生成したカメラ内部パラメータとしての変換行列を示す。図４（Ａ）において、（ｃ_ｘ，ｃ_ｙ）は、主点（通常は画像中心）の座標を示し、ｆ_ｘ及びｆ_ｙは、ピクセル単位で表される焦点距離を示す。

【0022】

次に、画像データ処理部１０は、キャリブレーションボード６０のキャリブレーションパターンから複数の画像特徴点６１を検出し（ステップＳ１０３）、複数の画像特徴点６１に基づいてキャリブレーションボード６０を代表する複数の３次元位置である画像代表位置６３を算出する（ステップＳ１０４）。図４（Ｂ）は、複数の画像特徴点６１を示す。図４（Ｃ）は、複数の画像特徴点６１に基づいて得られた、キャリブレーションボード６０の４隅の位置の画像代表位置６３を示す。このとき、画像データ処理部１０は、基準方向６５に対するキャリブレーションボード６０の回転角αを算出する。なお、画像代表位置６３の代わりに、キャリブレーションボード６０のキャリブレーションパターンであるチェッカーパターンの隅の位置６２を用いてもよい。

【0023】

図５（Ａ）から（Ｄ）は、点群データ処理部２０の動作を示す説明図である。点群データ処理部２０は、ＬｉＤＡＲ５２によって生成されクラスタリングなどの手法で分割されたクラスタである３次元点群７１を取得した３次元点群７１を取得し（ステップＳ１０５）、画像データ処理部１０から取得した画像代表位置６３に基づいて決定される検出領域７２内に存在する３次元点群である領域内点群７１ａを検出する（ステップＳ１０６）。図５（Ａ）は、ＬｉＤＡＲ５２によって生成された３次元点群７１を示す。図５（Ｂ）は、検出領域７２内に存在する３次元点群である領域内点群７１ａを示す。３次元点群７１の各点は、レーザビームが照射された測定点である。

【0024】

次に、点群データ処理部２０は、領域内点群７１ａに基づいてキャリブレーションボード６０を代表する代表点群７３を検出する（ステップＳ１０７）。代表点群は、キャリブレーションボード６０の隅の位置を示す点からなる点群である。図５（Ｃ）は、検出領域７２内に存在する３次元点群である領域内点群７１ａに基づいて算出された代表点群７３を示す。また、図５（Ｄ）は、キャリブレーションボード６０を検出する際に用いられる、反射強度に対する点群数の分布特性を示す。つまり、点群データ処理部２０は、図５（Ｄ）に類似する点群数の分布（２つのピークを有する分布）を有する物体をキャリブレーションボード６０と判定することができる。

【0025】

図６（Ａ）及び（Ｂ）は、レジストレーション処理部３０の動作を示す説明図である。レジストレーション処理部３０は、画像データ処理部１０で算出された３次元データによって示される画像代表位置６３と点群データ処理部２０で算出された３次元点群データによって示される代表点群７３との間のマッチングを行い、すなわち、レジストレーションを行い（ステップＳ１０８）、その結果を用いて、画像データと３次元点群データとを共通の座標系のデータにするための変換式の変換行列を算出する（ステップＳ１０９）。図６（Ａ）は、レジストレーションを示し、図６（Ｂ）は、画像データと３次元点群データとの間の３次元アフィン変換の変換式を示す。要素ａ，ｂ，…，ｋ，ｌを決定することによって、各軸周りの回転、拡大・縮小、平行移動（並進）を設定することができる。ただし、変換式は、３次元アフィン変換に限定されるものではない。

【0026】

《１－３》効果
以上に説明したように、実施の形態１においては、カメラ５１によって生成された画像データに基づいてキャリブレーションボード６０の回転角αを推定し、ＬｉＤＡＲ５２によって生成された３次元点群データの検出領域を回転角αを用いて回転させ検出領域内の３次元点群を抽出し、画像代表位置６３と代表点群７３との間のレジストレーションを行うので、精度の高い変換行列を算出することができる。

【0027】

また、図５（Ｄ）に示す特性（２つのピーク）を有する物体をキャリブレーションボード６０と判定することにより、キャリブレーションボード６０以外の物体が存在する実空間の映像データ及び３次元点群データとを用いて、精度の高い変換行列を導出することができる。

【0028】

《２》実施の形態２
《２－１》構成
実施の形態１においては、画像代表位置６３がキャリブレーションボード６０の隅の座標点である例を説明したが、実施の形態２においては、画像代表位置がキャリブレーションボード６０のエッジ（辺）上の座標点である例を説明する。実施の形態２の他の点は、実施の形態１と共通であるため、実施の形態２の説明において図１及び図２を参照する。

【0029】

《２－２》動作
図７は、実施の形態２に係る画像点群データ処理装置の動作を示すフローチャートである。実施の形態２に係る画像点群データ処理装置は、ステップＳ２０４，Ｓ２０７の処理が、実施の形態１に係る画像点群データ処理装置１のものと異なる。

【0030】

図８（Ａ）から（Ｃ）は、実施の形態２における画像データ処理部１０の動作を示す説明図である。先ず、画像データ処理部１０は、カメラ５１によって生成された画像データを取得し（ステップＳ１０１）、画像データに含まれる基準物としてのキャリブレーションボード６０を検出してカメラキャリブレーションを行い、カメラ内部パラメータを決定する（ステップＳ１０２）。図８（Ａ）は、図４（Ａ）と同様に、画像データ処理部１０が生成したカメラ内部パラメータとしての変換行列を示す。

【0031】

次に、画像データ処理部１０は、キャリブレーションボード６０のキャリブレーションパターンから複数の画像特徴点６１を検出し（ステップＳ１０３）、複数の画像特徴点６１に基づいてキャリブレーションボード６０を代表する複数の３次元位置であるエッジ（辺）６４を算出する（ステップＳ２０４）。図８（Ｂ）は、複数の画像特徴点６１を示し、図８（Ｃ）は、複数の画像特徴点６１に基づいて得られたキャリブレーションボード６０のエッジ６４の位置を画像代表位置として算出する。このとき、画像データ処理部１０は、基準方向に対するキャリブレーションボード６０の回転角αを算出する。なお、画像代表位置６３の代わりに、キャリブレーションボード６０のキャリブレーションパターンであるチェッカーパターンのエッジの位置を用いてもよい。

【0032】

図９（Ａ）から（Ｃ）は、実施の形態２における点群データ処理部２０の動作を示す説明図である。点群データ処理部２０は、ＬｉＤＡＲ５２によって生成され、クラスタリングなどの手法で分割されたクラスタである３次元点群７１を取得し（ステップＳ１０５）、画像データ処理部１０から取得した画像代表位置６３に基づいて決定される検出領域７２内に存在する３次元点群である領域内点群７１ａを検出する（ステップＳ１０６）。図９（Ａ）は、ＬｉＤＡＲ５２によって生成された３次元点群７１を示す。図９（Ｂ）は、検出領域７２内に存在する３次元点群である領域内点群７１ａを示す。

【0033】

次に、点群データ処理部２０は、領域内点群７１ａに基づいてキャリブレーションボード６０を代表するエッジの代表点群７４を検出する（ステップＳ２０７）。代表点群７４は、キャリブレーションボード６０のエッジの位置を示す点群である。図９（Ｃ）は、検出領域７２内に存在する３次元点群である領域内点群７１ａに基づいて算出されたエッジの代表点群７４を示す。また、図９（Ｄ）は、キャリブレーションボード６０を検出する際に用いられる、反射強度に対する点群数の分布特性を示す。

【0034】

レジストレーション処理部３０の動作は、実施の形態１の場合と同様である。

【0035】

《２－３》効果
実施の形態２においては、実施の形態１で説明した効果と同様の効果を得ることができる。

【0036】

《３》実施の形態３
《３－１》構成
図１０は、実施の形態３に係る画像点群データ処理装置３のハードウェア構成の例を示す図である。図１０において、図２に示される構成と同一又は対応する構成には、図２に示される符号と同じ符号が付されている。実施の形態１及び２においては、基準物がキャリブレーションパターンを有するキャリブレーションボード６０である例を説明したが、実施の形態３においては、基準物が検出物体（例えば、車両）８０である。検出物体８０は、予め決められたパターンであるキャリブレーションパターンを有している必要はない。また、実施の形態３の説明においては、機能ブロック図である図１を参照する。

【0037】

《３－２》動作
図１１は、実施の形態２に係る画像点群データ処理装置３の動作を示すフローチャートである。実施の形態３に係る画像点群データ処理装置３は、ステップＳ３０３、Ｓ３０４、Ｓ３０６、Ｓ３０７の処理が、実施の形態１に係る画像点群データ処理装置１のものと異なる。

【0038】

図１２（Ａ）から（Ｃ）は、実施の形態３における画像データ処理部１０の動作を示す説明図である。先ず、画像データ処理部１０は、カメラ５１によって生成された画像データを取得し（ステップＳ１０１）、画像データに含まれる基準物としての検出物体８０（図では車両）を検出してカメラキャリブレーションを行い、カメラ内部パラメータを決定する（ステップＳ１０２）。

【0039】

次に、画像データ処理部１０は、画像データの色分布を特徴量として画像データから検出物体８０を検出し、検出物体８０の深度を推定する（ステップＳ３０３）。このとき、カメラ撮影で得られた画像データから深層学習により物体を検知し、深度を推定して、特徴点を求めてもよい。

【0040】

次に、画像データ処理部１０は、検出物体８０のエッジ、四隅の点、色分布を特徴量として抽出し、画像データを２次元画像データから３次元画像データに変換する（ステップＳ３０４）。図１２（Ａ）及び（Ｂ）は、検出物体８０、複数の画像代表位置８３、検知物体のエッジ（辺）８１を算出する処理を示す。図１２（Ｃ）は、検知物体には濃淡があるため、検出物体のグレースケール（階調）に対するピクセル数の分布には特定の傾向（例えば、高い階調でピクセル数のピークがあり、低い階調でピクセル数のピークがある）があることを示されている。

【0041】

図１３（Ａ）から（Ｃ）は、実施の形態３における点群データ処理部２０の動作を示す説明図である。点群データ処理部２０は、ＬｉＤＡＲ５２のレーザのスキャンによって生成されクラスタリングなどの手法で分割されたクラスタである３次元点群９１を取得し（ステップＳ１０５）、画像データ処理部１０から取得した画像代表位置８３又はエッジ８１に基づいて決定される検出領域９２内に存在する３次元点群である領域内点群９１ａを検出する（ステップＳ３０６）。図１３（Ａ）は、ＬｉＤＡＲ５２によって生成された３次元点群９１を示す。図１３（Ｂ）は、検出領域９２内に存在する３次元点群である領域内点群９１ａを示す。図１３（Ｃ）は、検出物体には濃淡があるため、検出物体のグレースケール（濃淡）に対するピクセル数の分布には特定の傾向があることを示す。

【0042】

次に、点群データ処理部２０は、領域内点群９１ａに基づいて検出物体８０を代表するエッジの代表点群７４を検出する（ステップＳ３０７）。代表点群９４は、検出物体８０のエッジの位置を示す点群である。図１３（Ｃ）は、検出領域９２内に存在する３次元点群である領域内点群７１ａに基づいて算出されたエッジの代表点群７４を示す。また、図１３（Ｄ）は、キャリブレーションボード６０を検出する際に用いられる、反射強度に対する点群数の分布特性を示す。

【0043】

レジストレーション処理部３０の動作であるステップＳ１０８、Ｓ１０９は、実施の形態１の場合と同様である。

【0044】

《３－３》効果
実施の形態３においては、実施の形態１で説明した効果と同様の効果を得ることができる。

【0045】

また、施の形態３においては、キャリブレーションパターンを持つキャリブレーションボードを必要としていないので、実空間を撮影及び計測することで、画像データと３次元点群データとを共通の座標系のデータにすることができる。

【0046】

《４》産業上の利用可能性
実施の形態１から３のいずれかを用いることによって、多くの物体が存在する実空間を撮影及び測定することで、例えば、カラー画像にＬｉＤＡＲ５２によって生成された３次元点群を高い精度で重ねた画像を表示装置に表示させことが可能である。その結果、カラー画像に表示される物体の各部の深度（各部までの距離）を３次元点群の点によって人間（例えば、土木の分野における作業者）が理解可能な形式で表示することが可能になる。

【0047】

また、実施の形態１から３のいずれかを用いることによって、多くの物体が存在する実空間を撮影及び測定することで、例えば、ＬｉＤＡＲ５２によって生成された３次元点群によって形成された面にカラー画像に基づく色を加えることが可能である。その結果、３次元点群によって形成される面を人間（例えば、土木の分野における作業者）が理解可能な形式で表示することが可能になる。

【0048】

また、実施の形態１から３のいずれかを用いることによって、多くの物体が存在する実空間を撮影及び測定することで、例えば、ＬｉＤＡＲ５２によって生成された３次元点群の点にカラー画像に基づく色を加えることが可能である。その結果、３次元点群を人間（例えば、土木の分野における作業者）が理解可能な形式で表示することが可能になる。

【符号の説明】

【0049】

１、３ 画像点群データ処理装置、 １０ 画像データ処理部、 ２０ 点群データ処理部、 ３０ レジストレーション処理部、 ５１ カメラ、 ５２ ＬｉＤＡＲ（測距センサ）、 ６０ キャリブレーションボード（基準物）、 ６１ 画像特徴点、 ６３、８３ 画像代表位置、 ６４ エッジ（画像代表位置）、 ７１、９１ ３次元点群、 ７１ａ、９１ａ 領域内点群、 ７２、９２ 検出領域、 ７３、７４、９４ 代表点群、 ８０ 検出物体（基準物）、 ８１ エッジ（画像特徴点）、 １０１ プロセッサ、 １０２ メモリ、 １０３ 記憶装置、 １０４ インタフェース。

【要約】

画像点群データ処理装置（１）は、カメラ（５１）によって生成された画像データに含まれる基準物（６０）から複数の画像特徴点（６１）を検出し、複数の画像特徴点（６１）に基づいて基準物（６０）を代表する複数の３次元位置である画像代表位置（６３）を算出する画像データ処理部（１０）と、測距センサ（５２）によって生成された３次元点群（７１）を示す３次元点群データから、画像代表位置（６３）に基づいて決定される検出領域（７２）内に存在する３次元点群である領域内点群（７１ａ）を検出し、領域内点群（７１ａ）に基づいて基準物（６０）を代表する代表点群（７３）を検出する点群データ処理部（２０）と、画像代表位置（６３）と代表点群（７３）とに基づいて画像データと３次元点群データとを共通の座標系のデータにするレジストレーション処理部（３０）とを有する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】