特許 7392101 点群データ処理装置、点群データ処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-27

(45)【発行日】2023-12-05

(54)【発明の名称】点群データ処理装置、点群データ処理方法及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20231128BHJP

   G06T 7/11 20170101ALI20231128BHJP

   G06T 7/00 20170101ALI20231128BHJP

   G06V 10/70 20220101ALI20231128BHJP

【ＦＩ】

G06T19/00 A

G06T7/11

G06T7/00 350B

G06V10/70

【請求項の数】 10

(21)【出願番号】P 2022501647

(86)(22)【出願日】2020-12-07

(86)【国際出願番号】 JP2020045365

(87)【国際公開番号】W WO2021166381

(87)【国際公開日】2021-08-26

【審査請求日】2022-09-29

(31)【優先権主張番号】P 2020025448

(32)【優先日】2020-02-18

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(72)【発明者】

【氏名】岩見 一央

【審査官】村松 貴士

(56)【参考文献】

【文献】特開２０１７－１３０１４６（ＪＰ，Ａ）

【文献】特開２０１２－８３１５７（ＪＰ，Ａ）

【文献】特開２０１８－４１１９２（ＪＰ，Ａ）

【文献】国際公開第２００８／０９９９１５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００ － １９／２０

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

(57)【特許請求の範囲】

【請求項1】

物体の表面上の多数の点の三次元情報を表す点群データと、前記物体を撮影した複数枚の画像データであって、少なくとも前記複数枚の画像データのうちいずれか１枚の画像データの画素の位置と前記点群データを構成する点とを関連付けて記憶するメモリ、及びプロセッサを備える点群データ処理装置であって、
前記プロセッサは、
前記点群データを三次元的な回転、三次元的な移動、及び拡大縮小が可能に表示部に表示させ、
前記表示部に表示された前記点群データにおいて指定点の指定を受け付け、
前記画像データにおいて、前記指定点に対応する領域を含む対象物体の領域を選択し、 前記点群データにおいて、前記対象物体の領域に対応する前記点に同じ属性情報を付与する、
点群データ処理装置。

【請求項2】

前記プロセッサは、前記画像データにおいて、前記対象物体の領域を機械学習が行われた認識器により選択する請求項１に記載の点群データ処理装置。

【請求項3】

前記プロセッサは、前記指定点の指定を受け付けた後に、前記指定点に対応する領域の前記画像データを前記表示部に表示させる請求項１又は２に記載の点群データ処理装置。

【請求項4】

前記プロセッサは、前記複数枚の画像データを合成して前記表示部に表示する請求項３に記載の点群データ処理装置。

【請求項5】

前記プロセッサは、前記表示部に表示された前記画像データにおいて、前記対象物体の領域の選択を受け付ける請求項３又は４に記載の点群データ処理装置。

【請求項6】

前記プロセッサは、前記属性情報が付与された前記点群データに対して、機械学習が行われた認識器により、前記属性情報の付与の修正を加える請求項１から５のいずれか１項に記載の点群データ処理装置。

【請求項7】

前記プロセッサは、
前記属性情報が付与された前記点群データを表示部に表示し、
前記属性情報の付与に関しての修正を受け付けて、付与された前記属性情報の修正を加える請求項１から５のいずれか１項に記載の点群データ処理装置。

【請求項8】

前記プロセッサは、同一の光軸を有する装置で取得された前記画像データ及び前記点群データを取得する請求項１から７のいずれか１項に記載の点群データ処理装置。

【請求項9】

物体の表面上の多数の点の三次元情報を表す点群データと、前記物体を撮影した複数枚の画像データであって、少なくとも前記複数枚の画像データのうちいずれか１枚の画像データの画素の位置と前記点群データを構成する点とを関連付けて記憶するメモリ、及びプロセッサを備える点群データ処理装置の点群データ処理方法であって、
前記プロセッサは、
前記点群データを三次元的な回転、三次元的な移動、及び拡大縮小が可能に表示部に表示させるステップと、
前記表示部に表示された前記点群データにおいて指定点の指定を受け付けるステップと、
前記画像データにおいて、前記指定点に対応する領域を含む対象物体の領域を選択するステップと、
前記点群データにおいて、前記対象物体の領域に対応する前記点に同じ属性情報を付与するステップと、
を行う点群データ処理方法。

【請求項10】

物体の表面上の多数の点の三次元情報を表す点群データと、前記物体を撮影した複数枚の画像データであって、少なくとも前記複数枚の画像データのうちいずれか１枚の画像データの画素の位置と前記点群データを構成する点とを関連付けて記憶するメモリ、及びプロセッサを備える点群データ処理装置に点群データ処理方法を実行させるプログラムであって、
前記プロセッサに、
前記点群データを三次元的な回転、三次元的な移動、及び拡大縮小が可能に表示部に表示させるステップと、
前記表示部に表示された前記点群データにおいて指定点の指定を受け付けるステップと、
前記画像データにおいて、前記指定点に対応する領域を含む対象物体の領域を選択するステップと、
前記点群データにおいて、前記対象物体の領域に対応する前記点に同じ属性情報を付与するステップと、
を行わせるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、点群データ処理装置、点群データ処理方法及びプログラムに関し、特に点群データを構成する各点に属性情報を付与する技術に関する。

【背景技術】

【0002】

レーザースキャナー等により、物体の表面での反射を利用し、物体の表面の三次元情報を表す多数の点（点群）で構成される点群データを取得する技術が知られている。近年、この点群データを様々な形で応用することが考えられている。

【0003】

一方で、計測された点群データは、そのままでは容量が大きく、点群データを利用する場合にハンドリングの観点で問題となる。そこで、点群データをモデル化（例えばソリッドモデル、サーフェスモデル等）することで、点群データの容量を小さくすることが行われている。

【0004】

ここで、点群データをモデル化する場合には、計測された物体毎に点群データを構成する各点群に属性情報を付与（グルーピング）する必要がある。例えば複数の物体を計測した場合には、その物体毎に点群に属性情報を付与する必要がある。

【0005】

このように点群に属性情報を付与する場合には、例えばユーザが手動により各点を選択し、物体に対応する点群を特定し、特定した点群に対して同じ属性情報を付与することが行われている。

【0006】

また、特許文献１に記載された技術では、画像データ上で対象物の領域内に含まれる１点を指定し、指定された１点に基づいて対象物の領域を決定し、決定された対象物の領域に対応する点群をグルーピングしている。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２０１２－８３１５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

ここで、レーザースキャナーで計測する計測対象は、単純な形状の物体だけでなく、複雑に複数の物体で構成されていたり、物体同士が重なって複雑に配置されていたりする。例えば配管を計測する場合では、複数のパイプが重なるように配置されることがあり、このような場合であっても、パイプ毎に点群に属性情報を付与する必要がある。

【0009】

このような計測対象の場合には、ユーザが手動により各点を選択し属性情報を付与すると、非常に時間を要する。また、ユーザが点を選択する際に、誤選択などが発生する場合もある。したがって、計測対象が複雑に複数の物体で構成されていたり、物体同士が重なって複雑に配置されていたりする場合には、ユーザが手動により各点を選択する手法では、効率的な作業を行うことができない。

【0010】

また、特許文献１に記載されるように、２次元で表示された画像データにおいて対象物を指定して属性情報を付与する点群を特定する技術では、２次元的な表示の画像データにおいては重畳された対象物が他の対象物の裏に隠れていたりする場合があり、選択が正確に行われない。したがって、特許文献１に記載されたような技術では、正確に点群に属性情報の付与が行えない場合がある。

【0011】

本発明はこのような事情に鑑みてなされたもので、その目的は、効率的で正確に点群に属性情報を付与するができる点群データ処理装置、点群データ処理方法及びプログラムを提供することである。

【課題を解決するための手段】

【0012】

上記目的を達成するための本発明の一の態様である点群データ処理装置は、物体の表面上の多数の点の三次元情報を表す点群データと、物体を撮影した複数枚の画像データであって、少なくとも複数枚の画像データのうちいずれか１枚の画像データの画素の位置と点群データを構成する点とを関連付けて記憶するメモリ、及びプロセッサを備える点群データ処理装置であって、プロセッサは、点群データを三次元的な回転、三次元的な移動、及び拡大縮小が可能に表示部に表示させ、表示部に表示された点群データにおいて指定点の指定を受け付け、画像データにおいて、指定点に対応する領域を含む対象物体の領域を選択し、点群データにおいて、対象物体の領域に対応する点に同じ属性情報を付与する。

【0013】

本態様によれば、点群データを三次元的な回転、三次元的な移動、及び拡大縮小が可能に表示部に表示し、その点群データにおいて指定点の指定を受け付ける。そして、本態様は、指定点に対応する領域を含む対象物体の領域は画像データにおいて選択され、その領域に対応する点に同じ属性情報を付与する。したがって、本態様は、効率的で正確に点群データに属性情報を付与することができる。

【0014】

好ましくは、プロセッサは、画像データにおいて、対象物体の領域を機械学習が行われた認識器により選択する。

【0015】

好ましくは、プロセッサは、指定点の指定を受け付けた後に、指定点に対応する領域の画像データを表示部に表示させる。

【0016】

好ましくは、プロセッサは、複数枚の画像データを合成して表示部に表示する。

【0017】

好ましくは、プロセッサは、表示部に表示された画像データにおいて、対象物体の領域の選択を受け付ける。

【0018】

好ましくは、プロセッサは、属性情報が付与された点群データに対して、機械学習が行われた認識器により、属性情報の付与の修正を加える。

【0019】

好ましくは、プロセッサは、属性情報が付与された点群データを表示部に表示し、属性情報の付与に関しての修正を受け付けて、付与された属性情報の修正を加える。

【0020】

好ましくは、プロセッサは、同一の光軸を有する装置で取得された画像データ及び点群データを取得する。

【0021】

本発明の他の態様である点群データ処理方法は、物体の表面上の多数の点の三次元情報を表す点群データと、物体を撮影した複数枚の画像データであって、少なくとも複数枚の画像データのうちいずれか１枚の画像データの画素の位置と点群データを構成する点とを関連付けて記憶するメモリ、及びプロセッサを備える点群データ処理装置の点群データ処理方法であって、プロセッサは、点群データを三次元的な回転、三次元的な移動、及び拡大縮小が可能に表示部に表示させるステップと、表示部に表示された点群データにおいて指定点の指定を受け付けるステップと、画像データにおいて、指定点に対応する領域を含む対象物体の領域を選択するステップと、点群データにおいて、対象物体の領域に対応する点に同じ属性情報を付与するステップと、を行う。

【0022】

本発明の他の態様であるプログラムは、物体の表面上の多数の点の三次元情報を表す点群データと、物体を撮影した複数枚の画像データであって、少なくとも複数枚の画像データのうちいずれか１枚の画像データの画素の位置と点群データを構成する点とを関連付けて記憶するメモリ、及びプロセッサを備える点群データ処理装置に点群データ処理方法を実行させるプログラムであって、プロセッサに、点群データを三次元的な回転、三次元的な移動、及び拡大縮小が可能に表示部に表示させるステップと、表示部に表示された点群データにおいて指定点の指定を受け付けるステップと、画像データにおいて、指定点に対応する領域を含む対象物体の領域を選択するステップと、点群データにおいて、対象物体の領域に対応する点に同じ属性情報を付与するステップと、を行わせる。

【発明の効果】

【0023】

本発明によれば、点群データを三次元的な回転、三次元的な移動、及び拡大縮小が可能に表示部に表示し、その点群データにおいて指定点の指定を受け付け、指定点に対応する領域を含む対象物体の領域は画像データにおいて選択され、その領域に対応する点に同じ属性情報を付与するので、効率的で正確に点群に属性情報を付与することができる。

【図面の簡単な説明】

【0024】

【図1】図１は、画像データ及び点群データを三次元計測器で取得する場合の一態様を示す概念図である。

【図2】図２は、三次元計測器に搭載されるレーザースキャナー及び撮影装置を説明する概念図である。

【図3】図３は、画像データと点群データとが対応する位置関係を有することを説明する概念図である。

【図4】図４は、点群データ処理装置の機能構成例を示すブロック図である。

【図5】図５は、点群データ処理装置を使用して行われる点群データ処理方法を示すフローチャートである。

【図6】図６は、モニタに表示された点群データを模式的に示す図である。

【図7】図７は、画像データを模式的に示す図である。

【図8】図８は、モニタに表示された画像データを示す図である。

【図9】図９は、属性情報を付与した点群データを説明する図である。

【図10】図１０は、モニタに示された点群を示す図である。

【図11】図１１は、モニタに示された点群を示す図である。

【発明を実施するための形態】

【0025】

以下、添付図面にしたがって本発明に係る点群データ処理装置、点群データ処理方法、及びプログラムの好ましい実施の形態について説明する。

【0026】

図１は、点群データ処理装置１１（図４を参照）に入力される画像データ５及び点群データ７を三次元計測器１で取得する場合の一態様を示す概念図である。

【0027】

三次元計測器１は、図１に示すように計測対象である物体Ａの点群データ及び物体Ａを被写体とした画像データ５を取得する。なお、物体Ａは物体Ｄ及び物体Ｅにより構成されている。

【0028】

三次元計測器１に搭載されるレーザースキャナー１０１（図２を参照）は、レーザーパルスを出射し、レーザーパルスが計測対象である物体Ａの表面で反射して戻ってくるまでの時間により距離を計測するタイムオブフライト方式のレーザースキャナーである。また、レーザースキャナー１０１は、レーザースキャナー１０１の回転中心を基準にしたレーザーパルスの出射方向の角度情報（図１では水平方向α、垂直方向βを記載している）を取得する。そして、計測した距離とレーザーパルスの出射方向の角度情報によりレーザーパルスの反射点の三次元情報を取得する。レーザースキャナー１０１は、レーザーパルスの出射方向の水平方向α及び垂直方向βを所定のピッチで変更することにより、多数の点の三次元情報を取得する。ここで点群データは、計測対象である物体の表面上の多数の点の三次元情報を表すデータであり、そして点群データを構成する各点はそれぞれに三次元情報（三次元座標）を有する。レーザースキャナー１０１は、タイムオブフライト方式によるものに限らず、位相差方式、三角法方式により点群データを取得するものでもよい。

【0029】

三次元計測器１は、搭載される光軸Ｌを有する撮影装置１０２（図２を参照）により、画像データ５を取得する。撮影装置１０２は、ＣＣＤ（Charge Coupled Device）等（図示せず）の撮像素子を含む。撮像素子は、ｘ方向（水平方向）及びｙ方向（垂直方向）に二次元的に配列された光電交換素子で構成された複数の画素を有し、複数の画素の上面には、例えば、Ｒ（赤）、Ｇ（緑）及びＢ（青）のフィルタが二次元的にベイヤー配列されたカラーフィルタ（図示せず）が備えられている。そして撮影装置１０２によりカラー画像の画像データ５が取得される。なお、撮影装置１０２で取得される画像データは、カラー画像に限定されるものではなく、モノクロ画像でもよい。

【0030】

図２は、三次元計測器１に搭載されるレーザースキャナー１０１及び撮影装置（カメラ）１０２を説明する概念図である。

【0031】

図２に示す例では、ハーフミラー１０３を利用して、光軸Ｌを同一としてレーザースキャナー１０１及び撮影装置１０２が配置されている。なお、レーザースキャナー１０１と撮影装置１０２との位置関係は、既知であれば良く、特に限定されるものではない。例えば、光軸を同一とせずにレーザースキャナー１０１の上に撮影装置１０２を設置してもよい。また、三次元計測器１は、点群データ７及び画像データ５を同時に又は逐次的に取得することができる。

【0032】

なお、三次元計測器１では、点群データをレーザースキャナー１０１で取得しているが、点群データを取得する手段はレーザースキャナー１０１に限定されるものではない。例えば点群データは、ＴｏＦ（Time-of-Flight）カメラ又はステレオカメラを使用して取得してもよい。

【0033】

図３は、画像データ５と点群データ７とが対応する位置関係を有することを説明する概念図である。図３に示した例では、複数枚の画像データ５（画像データ５Ａ～５Ｄ）が取得される。例えば、三次元計測器１がパン方向に回転することにより、それぞれ異なる撮影方向の複数の画像データ５Ａ～５Ｄが取得される。なお、以下の説明では画像データ５Ａに関して説明する。

【0034】

画像データ５Ａは、二次元に画素Ｐが配列した画像データである。画素ＰはＲ、Ｇ、Ｂのそれぞれについての値を有する。図３では、画像データ５Ａにおける座標（Ｐｘ、Ｐｙ）の画素Ｐが示されており、画素Ｐに対応する位置関係を有する点Ｑが示されている。点Ｑは、点群データ７を構成し、位置情報である三次元座標（ｘ、ｙ、ｚ）、対応する画素ＰのＲ、Ｇ、Ｂの値及び反射強度（Ｉ）の情報を有する。なお、画素Ｐと点Ｑとの対応関係は、画像データ５Ａと点群データ７とが対応する位置関係を有することから、取得することができる。なお、画像データ５Ｂ～５Ｄに関しても上述で説明したように、画素と点との対応する位置関係を有する。

【0035】

次に、上述のように取得された画像データ（画像データ５Ａ～５Ｄ）５及び点群データ７が入力される点群データ処理装置１１に関して説明する。

【0036】

図４は、点群データ処理装置１１の機能構成例を示すブロック図である。点群データ処理装置１１は、例えばコンピュータにより構成される。点群データ処理装置１１は、三次元計測器１に搭載されてもよいし、三次元計測器１とは別体のコンピュータにより構成されてもよい。

【0037】

点群データ処理装置１１は、画像データ取得部１３、点群データ取得部１５、制御部１７、表示制御部１９及び記憶部（メモリ）２１を備える。

【0038】

画像データ取得部１３は、物体Ａを撮影して得られた複数の画像データ５Ａ～５Ｄを画像データとして取得する。画像データ取得部１３は、複数の画像データ５Ａ～５Ｄをそれぞれ取得してもよいし、画像データ５Ａ～５Ｄが合成された合成画像データを取得してもよい。

【0039】

点群データ取得部１５は点群データ７を取得する。画像データ５Ａ～５Ｄにそれぞれ対応する点群データ７が取得される。なお、画像データ５Ａ～５Ｄと同様に、画像データ５Ａ～５Ｄにそれぞれ対応する点群データ７を合成して取得してもよい。

【0040】

画像データ取得部１３及び点群データ取得部１５は、有線又は無線により取得する。なお画像データ取得部１３及び点群データ取得部１５で得られる画像データ５Ａ～５Ｄと点群データ７とは上述した三次元計測器１で取得されており、対応する位置関係を有する。

【0041】

制御部１７は、コンピュータに搭載されるＣＰＵ（Central Processing Unit）（プロセッサ）（図示せず）で、記憶部２１に記憶されるプログラムが実行されることにより実現される。制御部１７は、指定受付部２３、領域選択部２５、及び属性付与部２７を備える。また、表示制御部１９もＣＰＵで記憶部２１に記憶されるプログラムが実行されることによりその機能が実現される。

【0042】

記憶部２１は、点群データ７と画像データ５Ａ～５Ｄとを、画素の位置と点とを関連付けて記憶する。

【0043】

図５は、点群データ処理装置１１を使用して行われる点群データ処理方法を示すフローチャートである。なお、点群データ処理方法は、記憶部２１に記憶されるプログラムを実行することにより行われる。

【0044】

先ず、表示制御部１９は、記憶部２１に記憶されている点群データ７をモニタ（表示部）９に表示する（ステップＳ１０：点群データ表示ステップ）。その後、指定受付部２３は、モニタ９に表示された点群データ７における指定点の指定を受け付ける（ステップＳ１１：指定ステップ）。次に、領域選択部２５は、画像データにおいて、指定点に対応する領域を含む対象物体の領域を選択する（ステップＳ１２：選択ステップ）。そして、属性付与部２７は、画像データにおいて選択された対象物体の領域に対応する点群データ７に同じ属性情報を付与する（ステップＳ１３：属性付与ステップ）。

【0045】

以下に、各ステップに関して詳細な説明を行う。

【0046】

＜点群データ表示ステップ及び指定ステップ＞
点群データ表示ステップ（ステップＳ１０）は、表示制御部１９により行われる。また、指定ステップ（ステップＳ１１）は、指定受付部２３により行われる。表示制御部１９は、記憶部２１に記憶されている点群データ７をモニタ９に表示する。

【0047】

図６は、モニタ９に表示された点群データ７を模式的に示す図である。なお、図示された点は点群データ７の各点を模式的に示しており、物体Ａの輪郭を点線（想像線）で示している。

【0048】

表示制御部１９は、点群データ７をモニタ９に表示させる。点群データ７を構成する各点は三次元座標を有しているので、その三次元座標に基づいて各点を図示されるＸＹＺ座標上に表示する。モニタ９に表示された点群データ７は、三次元的な回転、三次元的な移動、及び拡大縮小が可能に表示されている。ユーザは、ポインティングデバイスを使用して、点群データ７を三次元的に回転及び移動させ、拡大縮小させることができる。このように、点群データ７が三次元的に回転、三次元的に移動、及び拡大縮小が行われることによって、ユーザは正確に指定点Ｆの指定を行うことができる。計測対象が複雑に複数の物体で構成されていたり、物体同士が重なって複雑に配置されたりする場合には、ユーザは、点群データ７を三次元的に回転及び移動させ、拡大縮小させることにより正確に指定点を指定することができる。ユーザは、点Ｆをポインティングデバイスにより指定する。指定受付部２３は、点Ｆの座標値を受け付けて指定を受け付ける。

【0049】

＜選択ステップ＞
選択ステップ（ステップＳ１２）は、領域選択部２５により行われる。領域選択部２５は、指定点Ｆに対応する領域を含む対象物体の領域を画像データ５において選択する。

【0050】

図７は、画像データ５Ａを模式的に示す図である。画像データ５Ａは、点群データ７における指定点Ｆに対応する領域Ｇを有する。領域Ｇは、画像データ５Ａの単数又は複数の画素で構成されている。上述したように、点群データ７を構成する各点と画像データ５Ａの各画素とは対応する位置関係を有する。したがって、画像データ５Ａにおいて、領域Ｇが含まれる対象物の領域を選択することにより、指定点Ｆを反射した物体Ｄの表面で反射して得られた点群を特定することができる。以下に領域Ｇが含まれる対象物の領域の選択に関して説明する。

【0051】

先ず、手動により画像データ５Ａが対象物の領域を選択する場合について説明する。図８は、モニタ９に表示された画像データ５Ａを示す図である。図８では、画像データ５Ａが表示される場合について説明するが、画像データ５Ａ～５Ｄの合成画像が表示されてもよい。

【0052】

表示制御部１９は、モニタ９に画像データ５Ａを表示する。表示制御部１９は、画像データ５Ａにおける領域Ｇをユーザが確認できるように表示する。例えば、表示制御部１９は、領域Ｇの色を周辺の色とは異なる色にしたり、領域Ｇのみ点滅させたりして、ユーザに領域Ｇの位置を報知するように表示する。ユーザは、モニタ９に表示された画像データ５Ａを見て、対象物の領域Ｒをポインティングデバイスで選択する。領域選択部２５は、ユーザの領域Ｒの選択を受け付け、領域Ｒの選択を行う。なお、領域Ｒは物体Ｄの領域であり、ユーザは画像データ５Ａにおいて、物体Ｄを確認することができるので容易に領域Ｒの選択を行うことができる。

【0053】

なお、図８ではユーザが手動により領域Ｒを選択することについて説明をしたが本発明はこれに限定されるものではない。例えば、領域選択部２５は、機械学習が施された認識器で構成され、この認識器で画像データ５Ａをセグメンテーションすることにより、領域Ｒの選択を行うことができる。

【0054】

認識器は、画像データ５Ａに基づいて物体Ｄを認識し、物体Ｄの領域Ｒを選択する。認識器は、機械学習又は深層学習が施された認識器で構成され、画像データ５Ａについてセグメンテーションを行うことにより、物体の領域を特定する。なお、セグメンテーションには、ＦＣＮ（Full Convolutional Network）、ＳｅｇＮｅｔ、Ｐｉｘ２Ｐｉｘ等の既存のモデルを用いてもよいし、認識器で行われる物体Ｄの認識態様に合わせたモデルを個別に作成してもよい。また、認識器の学習は、深層学習を用いてもよいし、広義の意味で機械学習を用いてもよい。

【0055】

＜属性付与ステップ＞
属性付与ステップ（ステップＳ１３）は、属性付与部２７で行われる。属性付与部２７は、点群データ７において領域Ｒに対応する点に同じ属性情報を付与する。ここで属性情報とは、各点がどの物体の表面で反射した点であるかを示す情報であり、言い換えると各点がどの物体に対応する点であるかを示す情報である。画像データ５Ａの各画素と点群データ７の各点とは対応関係にあるので、属性付与部２７は画像データ５Ａの領域Ｒに対応する点群を特定し、属性情報（Ｄ）を付与することができる。ここで、領域Ｒは画像データ５Ａにおける物体Ｄに対応する領域であるので、属性情報（Ｄ）が付与された点群は物体Ｄの表面で反射された点群となる。

【0056】

図９は、属性情報（Ｄ）を付与した点群データ７を説明する図である。

【0057】

図９に示される点群データ７では、領域Ｒに対応する点群Ｕに同じ属性情報（Ｄ）が付与されている。属性情報（Ｄ）が付与された点は黒丸印で表示している。点群Ｕは、属性情報（Ｄ）が付与された点群で構成されている。

【0058】

このように、物体Ｄに対応する点群Ｕに属性情報（Ｄ）を付与することにより、物体Ｄに対応するソリッドモデルやサーフェスモデル等を作成する際に、点群Ｕを簡便に使用することができる。具体的には、属性情報（Ｄ）を使用して、点群データ７から点群Ｕのみを抽出してソリッドモデルやサーフェスモデルを生成することができる。

【0059】

以上で説明したように、本実施形態においては、点群データ７において指定点を指定し、指定点に対応する領域Ｇを含む領域Ｒが画像データ上で選択される。そして、画像データ上で選択された領域Ｒに対応する点群Ｕが点群データ７において特定され、点群Ｕに属性情報（Ｄ）が付与される。この属性情報（Ｄ）が付与された点群Ｕは、物体Ｄの表面で反射した点群である。これにより、本態様は、効率的で正確に点群データ７を構成する点のうち物体Ｄに対応する属性情報（Ｄ）を付与することができる。

【0060】

＜その他＞
上述の説明では、点群データ７の一部の点群Ｕをグルーピングすることに関して説明した。しかしながら、必ずしも常に点群Ｕのグルーピングが上手く行われるとは限らない。例えば、上述の説明における画像データ５Ａにおける領域Ｒの選択で、境界部分の選択が多少ずれてしまった場合などは、属性情報の付与が正確に行えない場合がある。本実施形態では、このような場合において属性情報の修正を加える。本実施形態は、制御部１７に修正部（不図示）を備え、付与された属性情報に修正を加える。

【0061】

図１０は、モニタ９に示された属性情報Ｗが付与された点群を示す図である。図１０に示す場合では、物体Ｄに対応する点群Ｕに属性情報Ｗを付与する場合であるが、物体Ｄに対応する点群以外（点群ＵＥ）にも、属性情報Ｗが付与されている。

【0062】

表示制御部１９は、属性情報Ｗが付与された点群（点群Ｕ及び点群ＵＥ）をモニタ９に表示する。ユーザは表示された点群を確認し、点群ＵＥは物体Ｄに対応しないと判断し、ポインティングデバイスで点群ＵＥを選択し、点群ＵＥに付与されている属性情報Ｗを修正する。修正部は、ユーザの修正を受け付けて、点群ＵＥに付与されている属性情報Ｗを修正する。

【0063】

図１１は、モニタ９に示された属性情報Ｗが付与された点群を示す図である。図１１に示す場合では、物体Ｄに対応する点群Ｕに属性情報Ｗを付与する場合であるが、属性情報Ｗが付与された点群に漏れの領域（領域ＵＨ）がある。

【0064】

表示制御部１９は、属性情報Ｗが付与された点群Ｕをモニタ９に表示させる。ユーザは、表示された領域ＵＨを確認し、ポインティングデバイスで領域ＵＨを埋めるように点群を追加する。これにより、修正部は、属性情報Ｗを有する点群を領域ＵＨに追加する。

【0065】

なお、上述した例ではユーザが手動により、付与された属性情報を修正する例について説明したが、本発明はこの例に限定されるものではない。例えば、一旦付与された属性情報に対して、機械学習が行われた認識器を使用して修正を行ってもよい。

【0066】

このように、本実施形態においては、一旦付与された属性情報において修正を加えるので、より正確に点群に属性情報を付与することができる。

【0067】

上記実施形態において、各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0068】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【0069】

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

【0070】

上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。

【0071】

以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

【符号の説明】

【0072】

１ ：三次元計測器
５ ：画像データ
７ ：点群データ
９ ：モニタ
１１ ：点群データ処理装置
１３ ：画像データ取得部
１５ ：点群データ取得部
１７ ：制御部
１９ ：表示制御部
２１ ：記憶部
２３ ：指定受付部
２５ ：領域選択部
２７ ：属性付与部
１０１ ：レーザースキャナー
１０２ ：撮影装置
１０３ ：ハーフミラー

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】