特開 2024-66555 物体計測装置、システム、方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024066555

(43)【公開日】2024-05-16

(54)【発明の名称】物体計測装置、システム、方法、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240509BHJP

【ＦＩ】

G06T7/00 Z

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022175957

(22)【出願日】2022-11-02

(71)【出願人】

【識別番号】000232254

【氏名又は名称】日本電気通信システム株式会社

(74)【代理人】

【識別番号】100080816

【弁理士】

【氏名又は名称】加藤 朝道

(74)【代理人】

【識別番号】100098648

【弁理士】

【氏名又は名称】内田 潔人

(72)【発明者】

【氏名】河野 研二

(72)【発明者】

【氏名】青木 教之

(72)【発明者】

【氏名】高岡 真則

(72)【発明者】

【氏名】上野 悟己

(72)【発明者】

【氏名】安達 ゆり

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA09

5L096AA13

5L096MA07

(57)【要約】

【課題】物体の詳細な分類及び計測を行うことに貢献することができる物体計測装置等を提供すること。
【解決手段】計測対象物を撮影した３次元データと２次元データとを合成して合成データを生成するように構成された合成部と、特定の要素を検出するための予め作成した検出モデルを用いて合成データを解析することにより、合成データの中から、検出モデルに合致する箇所を抽出するように構成されたモデル解析部と、抽出された箇所に対して所定の計測項目を計測するように構成された計測部と、を備える。
【選択図】図１１

【特許請求の範囲】

【請求項1】

計測対象物を撮影した３次元データと２次元データとを合成して合成データを生成するように構成された合成部と、
特定の要素を検出するための予め作成した検出モデルを用いて前記合成データを解析することにより、前記合成データの中から、前記検出モデルに合致する箇所を抽出するように構成されたモデル解析部と、
抽出された前記箇所に対して所定の計測項目を計測するように構成された計測部と、
を備える、物体計測装置。

【請求項2】

前記合成部は、前記３次元データ及び前記２次元データのそれぞれの撮影地点の座標情報及び角度情報に基づいて、前記３次元データ及び前記２次元データの一方を、他方に合わせるように調整して前記３次元データと前記２次元データとを合成するように構成されている、
請求項１記載の物体計測装置。

【請求項3】

前記モデル解析部は、前記合成データに対してクラスタリング処理を行い、前記クラスタリング処理によって分類されたクラスタの中から解析対象となるクラスタを選択し、かつ、選択された前記クラスタに対して解析を行うように構成されている、
請求項１記載の物体計測装置。

【請求項4】

前記モデル解析部は、前記合成データにおける前記３次元データの座標情報に基づいて、前記合成データの中から、予め設定された特定の座標に合致している箇所のみを抽出するように構成されている、
請求項１記載の物体計測装置。

【請求項5】

前記計測部は、抽出された前記箇所の前記３次元データに基づいて前記所定の計測項目を計測するように構成されている、
請求項１記載の物体計測装置。

【請求項6】

前記２次元データは、スペクトルデータであり、
前記検出モデルは、前記特定の要素として特定の成分を検出するためのモデルである、
請求項１記載の物体計測装置。

【請求項7】

請求項１乃至６のいずれか一に記載の物体計測装置と、
前記計測対象物を撮影することにより前記３次元データを出力するように構成された３次元センサと、
前記計測対象物を撮影することにより前記２次元データを出力するように構成された２次元カメラと、
を備える、物体計測システム。

【請求項8】

前記３次元センサ及び前記２次元カメラで撮影された前記３次元データ及び前記２次元データを取得して前記物体計測装置に送信するように構成された撮像データ送信装置をさらに備える、
請求項７記載の物体計測システム。

【請求項9】

ハードウェア資源によって物体を計測する物体計測方法であって、
計測対象物を撮影した３次元データと２次元データとを合成して合成データを生成するステップと、
特定の要素を検出するための予め作成した検出モデルを用いて前記合成データを解析することにより、前記合成データの中から、前記検出モデルに合致する箇所を抽出するステップと、
抽出された前記箇所に対して所定の計測項目を計測するステップと、
を含む、物体計測方法。

【請求項10】

ハードウェア資源に物体を計測する処理を実行させるプログラムであって、
計測対象物を撮影した３次元データと２次元データとを合成して合成データを生成する処理と、
特定の要素を検出するための予め作成した検出モデルを用いて前記合成データを解析することにより、前記合成データの中から、前記検出モデルに合致する箇所を抽出する処理と、
抽出された前記箇所に対して所定の計測項目を計測する処理と、
を前記ハードウェア資源に実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体計測装置、システム、方法、及びプログラムに関する。

【背景技術】

【0002】

画像処理の分野において、２次元カメラを用いて、ある空間における特定の情報（形状、色、反射強度、温度等の情報）を取得し、取得した情報を解析して、目視では判別できない事象を明らかにする技術がある。２次元カメラとして、例えば、赤外線カメラは、ある空間内に存在する物体の温度情報を取得し、取得した温度情報から各物体の温度を明らかにすることができる技術がある。また、目視では判別できない事象を明らかにする２次元カメラの別の例として、マルチスペクトルカメラ、ハイパースペクトルカメラ等のスペクトルカメラが挙げられる。スペクトルカメラは、物質のスペクトルを可視化するカメラであり、撮像した画像の各ピクセルに対して、特定の波長帯におけるスペクトルデータを取得することができる。各波長におけるスペクトルの値は物質の素材によって異なるため、スペクトルデータの値から物質の素材を判別することができる。これにより、ある物質の素材のスペクトルデータを抽出するモデルを作成し、そのモデルを適用することで、スペクトルカメラで撮像した画像の中からモデルに合致する箇所を可視化する技術が既知としてある。

【0003】

しかしながら、上記の技術には、解析結果の妥当性が分からないという問題がある。例えば、スペクトルデータの中からモデル解析を行う際、撮影環境によっては検出結果に過不足が生じることがある。この時、検出結果に対してどれが過検知の箇所かは２次元データからしか判断できず、複数の物体が複雑に入り組んでいるような環境の２次元データでは判別が困難になる。

【0004】

一方、２次元カメラの他に、目視では判別できない事象を明らかにするデバイスの１つとして、３次元センサが挙げられる。３次元センサは、撮影した空間を３次元データとして取得するデバイスであり、２次元カメラでは取得することができない情報を取得することができる。３次元データの情報から物体を分類する技術が既知としてある。例えば、３次元データに対してクラスタリング処理を行うことによって、３次元データを構成する点群の各座標に基づいて近似する点群同士を同一のオブジェクトとして分類することができる。

【0005】

また、３次元センサで取得した３次元データに、２次元カメラで取得した温度データ、ＲＧＢ（Red-Green-Blue）データ、反射強度データ等の２次元データを結合する技術も存在する（例えば、特許文献１－４参照）。３次元データに２次元データを結合したデータを用いることにより、形状、温度、色、反射強度等による分類も可能である。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特表２０１２－５１７６５０号

【特許文献2】国際公開第２０１８／０２５８４２号

【特許文献3】特開２０２２－００３５９２号

【特許文献4】特表２０２２－５１５１６２号

【発明の概要】

【発明が解決しようとする課題】

【0007】

以下の分析は、本願発明者により与えられる。

【0008】

しかしながら、３次元データに２次元データを結合したデータで物体の分類や計測を行うのでは、物体の詳細な分類や計測を行うことができない可能性がある。例えば、形状、温度、色、反射強度等がほぼ等しく、かつ、素材が異なる複数の物体が存在する環境において、特定の物体を抽出して分類や計測を行うことは困難である。また、同色である複数の物質で形成された堆積物が存在する環境においても、堆積物を構成する物質の分類および計測を行うことは困難である。

【0009】

本発明の主な課題は、物体の詳細な分類及び計測を行うことに貢献することができる物体計測装置、システム、方法、及びプログラムを提供することである。

【課題を解決するための手段】

【0010】

第１の視点に係る物体計測装置は、計測対象物を撮影した３次元データと２次元データとを合成して合成データを生成するように構成された合成部と、特定の要素を検出するための予め作成した検出モデルを用いて前記合成データを解析することにより、前記合成データの中から、前記検出モデルに合致する箇所を抽出するように構成されたモデル解析部と、抽出された前記箇所に対して所定の計測項目を計測するように構成された計測部と、を備える。

【0011】

第２の視点に係る物体計測システムは、前記第１の視点に係る物体計測装置と、前記計測対象物を撮影することにより前記３次元データを出力するように構成された３次元センサと、前記計測対象物を撮影することにより前記２次元データを出力するように構成された２次元カメラと、を備える。

【0012】

第３の視点に係る物体計測方法は、ハードウェア資源によって物体を計測する物体計測方法であって、計測対象物を撮影した３次元データと２次元データとを合成して合成データを生成するステップと、特定の要素を検出するための予め作成した検出モデルを用いて前記合成データを解析することにより、前記合成データの中から、前記検出モデルに合致する箇所を抽出するステップと、抽出された前記箇所に対して所定の計測項目を計測するステップと、を含む。

【0013】

第４の視点に係るプログラムは、ハードウェア資源に物体を計測する処理を実行させるプログラムであって、計測対象物を撮影した３次元データと２次元データとを合成して合成データを生成する処理と、特定の要素を検出するための予め作成した検出モデルを用いて前記合成データを解析することにより、前記合成データの中から、前記検出モデルに合致する箇所を抽出する処理と、抽出された前記箇所に対して所定の計測項目を計測する処理と、を前記ハードウェア資源に実行させる。

【0014】

なお、プログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（non-transient）なものとすることができる。また、本開示では、コンピュータプログラム製品として具現することも可能である。プログラムは、コンピュータ装置に入力装置又は外部から通信インタフェイスを介して入力され、記憶装置に記憶されて、プロセッサを所定のステップないし処理に従って駆動させ、必要に応じ中間状態を含めその処理結果を段階毎に表示装置を介して表示することができ、あるいは通信インタフェイスを介して、外部と交信することができる。そのためのコンピュータ装置は、一例として、典型的には互いにバスによって接続可能なプロセッサ、記憶装置、入力装置、通信インタフェイス、及び必要に応じ表示装置を備える。

【発明の効果】

【0015】

前記第１～第４の視点によれば、物体の詳細な分類及び計測を行うことに貢献することができる。

【図面の簡単な説明】

【0016】

【図1】実施形態１に係る物体計測システムの構成を模式的に示したブロック図である。

【図2】実施形態１に係る物体計測システムの使用例を模式的に示したイメージ図である。

【図3】実施形態１に係る物体計測システムの物体計測装置での表示例を模式的に示したイメージ図である。

【図4】実施形態１に係る物体計測システムの物体計測装置で行われるモデル解析の一例を模式的に示したイメージ図である。

【図5】実施形態１に係る物体計測システムの物体計測装置の動作を模式的に示したフローチャートである。

【図6】実施形態１に係る物体計測システムの物体計測装置のデータ合成処理の動作を模式的に示したフローチャートである。

【図7】実施形態１に係る物体計測システムの物体計測装置で行われるデータ合成を模式的に示したイメージ図である。

【図8】実施形態１に係る物体計測システムの物体計測装置のモデル解析処理の動作を模式的に示したフローチャートである。

【図9】実施形態１に係る物体計測システムの物体計測装置で行われるモデル解析を模式的に示したイメージ図である。

【図10】実施形態１に係る物体計測システムの物体計測装置の計測処理の動作を模式的に示したフローチャートである。

【図11】実施形態２に係る物体計測装置の構成を模式的に示したブロック図である。

【図12】ハードウェア資源の構成を模式的に示したブロック図である。

【発明を実施するための形態】

【0017】

以下、実施形態について図面を参照しつつ説明する。なお、本出願において図面参照符号を付している場合は、それらは、専ら理解を助けるためのものであり、図示の態様に限定することを意図するものではない。また、下記の実施形態は、あくまで例示であり、本発明を限定するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。さらに、本願開示に示す回路図、ブロック図、内部構成図、接続図などにおいて、明示は省略するが、入力ポート及び出力ポートが各接続線の入力端及び出力端のそれぞれに存在する。入出力インタフェイスも同様である。プログラムはコンピュータ装置を介して実行され、コンピュータ装置は、例えば、プロセッサ、記憶装置、入力装置、通信インタフェイス、及び必要に応じ表示装置を備え、コンピュータ装置は、通信インタフェイスを介して装置内又は外部の機器（コンピュータを含む）と、有線、無線を問わず、交信可能に構成される。

【0018】

［実施形態１］
実施形態１に係る物体計測システムについて図面を用いて説明する。図１は、実施形態１に係る物体計測システムの構成を模式的に示したブロック図である。図２は、実施形態１に係る物体計測システムの使用例を模式的に示したイメージ図である。図３は、実施形態１に係る物体計測システムの物体計測装置での表示例を模式的に示したイメージ図である。図４は、実施形態１に係る物体計測システムの物体計測装置で行われるモデル解析の一例を模式的に示したイメージ図である。

【0019】

物体計測システム１は、計測対象物（図２では１０～１３）の計測を行うシステムである（図１、図２参照）。物体計測システム１は、計測対象物１０～１３を分類して計測を行う機能を備える。物体計測システム１は、３次元センサ２０とスペクトルカメラ２１で撮影した各データ（３次元データ、スペクトルデータ）を物体計測装置４０におけるソフトウェアで重畳し、重畳したデータの中から、予め設定されたモデルに合致する領域を検出し、検出された領域の位置、サイズ、体積、含有率（体積分率）、幅、全長等を自動で計測する。物体計測システム１の用途として、建設業界における構造物の点検監視、製造業における廃材の素材ごとの在庫量管理、農林業における枯れ木の検出および面積の計測、鉱業における採掘した鉱物の体積管理、小売業の販売している商品の売れ行き管理等に用いることができる。物体計測システム１は、３次元センサ２０と、スペクトルカメラ２１と、撮像データ送信装置３０と、物体計測装置４０と、を備える。

【0020】

３次元センサ２０は、計測対象物１０～１３を撮影することにより３次元データを出力するセンサである（図１、図２参照）。３次元センサ２０は、計測対象物１０～１３を撮影することが可能な位置（図７の５０）に設置される。なお、３次元センサ２０は、固定せずに、ドローン等の移動体に設置して移動撮影するようにしてもよい。３次元センサ２０は、撮像データ送信装置３０と通信（有線通信又は無線通信）可能に接続されている。

【0021】

スペクトルカメラ２１は、計測対象物１０～１３を撮影することによりスペクトルデータを出力するセンサである（図１、図２参照）。スペクトルカメラ２１は、３次元センサ２０とは異なる位置であって、計測対象物１０～１３を撮影することが可能な位置（図７の５１）に設置される。なお、スペクトルカメラ２１は、固定せずに、ドローン等の移動体に設置して移動撮影するようにしてもよい。スペクトルカメラ２１は、撮像データ送信装置３０と通信（有線通信又は無線通信）可能に接続されている。なお、実施形態１では、２次元カメラとしてスペクトルカメラ２１を用いて説明しているが、計測対象物の特性に応じてマイクロ波カメラ、赤外線カメラ、ＲＧＢカメラ、紫外線カメラ、Ｘ線カメラ、γ線カメラ等の２次元カメラを用いてもよい。

【0022】

撮像データ送信装置３０は、３次元センサ２０及びスペクトルカメラ２１で撮影された各データ（３次元データ、スペクトルデータ）を取得して物体計測装置４０に送信する装置である（図１、図２参照）。撮像データ送信装置３０は、３次元センサ２０、スペクトルカメラ２１、及び物体計測装置４０のいずれか又は全てとネットワーク（図示せず）を介して通信（有線通信、無線通信）可能に接続されていてもよい。なお、撮像データ送信装置３０は、３次元センサ２０及びスペクトルカメラ２１からの各データが直接、物体計測装置４０に入力される場合は省略してもよい。撮像データ送信装置３０は、３次元センサ２０及びスペクトルカメラ２１で撮影された各データを物体計測装置４０に送信する際、送信データ量の削減のため、送信しようとするデータのうち前回送信したデータとの差分がある部分のみを抽出して送信するようにしてもよい。撮像データ送信装置３０は、３次元センサ２０及びスペクトルカメラ２１で撮影された各データを、撮影タイミングを同期させて、物体計測装置４０に送信するようにしてもよい。

【0023】

物体計測装置４０は、計測対象物１０～１３の計測を行う装置である（図１、図２参照）。物体計測装置４０には、例えば、パーソナルコンピュータ、タブレット等を用いることができる。物体計測装置４０は、解析ソフトウェアを記憶する。解析ソフトウェアは、３次元センサ２０及びスペクトルカメラ２１で撮影された各データを重畳した合成データを生成し、スペクトルカメラ２１のスペクトルデータを３次元で表現するソフトウェアである。解析ソフトウェアは、物体計測装置４０で実行することにより、３次元データとスペクトルデータとを合成し、合成データから、特定の成分（例えば、銅、鉄、ひび等）を検出するための検出モデルに合致する箇所を可視化して抽出（検出）し、抽出された箇所について位置、サイズ、体積、含有率（体積分率）、幅、全長等を自動的に計測するように処理を行う。解析ソフトウェアは、１つの検出モデルに対して複数の検出対象を設けることができる。解析ソフトウェアは、複数の検出モデルを同時に用いることができる。物体計測装置４０は、記憶された解析ソフトウェアを実行することにより、データ取得部４１と、合成部４２と、モデル解析部４３と、計測部４４と、表示部４５と、を備えた構成を実現する。

【0024】

データ取得部４１は、撮像データ送信装置３０からのデータ（３次元データ、スペクトルデータ）を取得する機能部である（図１参照）。データ取得部４１は、３次元センサ２０及びスペクトルカメラ２１から各データ（３次元データ、スペクトルデータ）を直接取得するようにしてもよい。

【0025】

合成部４２は、データ取得部４１で取得した３次元データとスペクトルデータとを合成（重畳）して合成データを生成する機能部である（図１参照）。合成データは、スペクトルデータを３次元で可視化したデータである。合成方法として、例えば、３次元データ及びスペクトルデータのそれぞれにおける対応する計測対象物１０～１３の特徴点（例えば、計測対象物１０～１３のエッジ）を合わせるように３次元データ又はスペクトルデータの画角や画像全体の大きさを調整して３次元データとスペクトルデータとの位置合わせを行って合成することが挙げられる。また、合成方法として、例えば、３次元センサ２０及びスペクトルカメラ２１のそれぞれにＧＰＳ（Global Positioning System）及びＩＭＵ（Inertial Measurement Unit）を搭載したものを用い、３次元センサ２０及びスペクトルカメラ２１のそれぞれの座標情報及び角度情報（画角情報）に基づいて、３次元データ及びスペクトルデータの一方を他方に合わせるように調整して３次元データとスペクトルデータとの位置合わせを行って合成するようにしてもよい。データの合成について、３次元データ及び２次元データのそれぞれに含まれた共通の位置合わせマーカを用いて合成してもよい。

【0026】

モデル解析部４３は、予め作成した検出モデルを用いて、合成部４２で生成された合成データを解析（計測対象物１０～１３に係るクラスタを分類、選択、限定）する機能部である（図１参照）。モデル解析部４３は、合成部４２で生成された合成データの中から、特定の要素（実施形態１では成分；例えば、銅、鉄、ひび等）を検出するための検出モデルに合致する箇所を抽出する。検出モデルは、予め記憶されている。モデル解析については、合成部４２でのデータ（スペクトルデータ、３次元データ）の合成前にスペクトルデータについてモデル解析（検出モデルに合致する箇所の抽出）を行い、解析結果（抽出された箇所）を３次元データと合成してもよい。また、モデル解析については、３次元データの座標情報（点群の各点の座標データ）に基づいて、予め設定された特定の座標に合致している箇所のみを抽出するようにしてもよい。例えば、図４のようにスペクトルデータに係る２次元画面８０上にクラスタ９０、９１、９２に係るスペクトル画像が存在する場合、検出モデルに合致するクラスタ９０、９１を抽出（分類）し、抽出されたクラスタ９０、９１のうち、奥行きに対してある閾値以内（例えば、３次元境界面８１の手前）にあるクラスタ９０のみを抽出（分類）するようにしてもよい。これにより、検出モデルによる解析のみではクラスタ９０と同化して過検出となるクラスタ９１を、座標空間において閾値（３次元境界面８１）で区切りをつけてクラスタ９０と分離してクラスタ９０のみを抽出することができる。

【0027】

計測部４４は、モデル解析部４３で抽出された箇所に対して、所定の計測項目（例えば、位置、サイズ、体積、含有率（体積分率）、表面積、幅、全長、距離等）を計測する機能部である（図１参照）。計測は、３次元データの座標を用いて行う。計測部４４は、モデル解析によって抽出された複数の箇所間の距離を計測するようにしてもよい。計測項目については、モデル解析部４３で抽出された箇所（計測対象物）の形態に応じて設定される。計測部４４は、モデル解析部４３で抽出された箇所の３次元データ（点群データ、座標情報）に基づいて計測することができ、オクルージョンによって隠れている箇所については、隠れていない箇所の３次元データ（点群）に基づいて隠れている箇所の形状を予測して計測するようにしてもよい。なお、計測部４４は、計測対象物１０～１３の分類を目的とする場合は、計測を行わないようにしてもよい。例えば、座標情報によって分類したクラスタ群の中から、特定のスペクトルデータを持つクラスタのみを抽出する用途に適用してもよく、３次元データの中からスペクトルデータを用いて特定の個体を識別する用途に適用してもよい。

【0028】

表示部４５は、合成部４２の合成データ、モデル解析部４３の解析結果、及び、計測部４４の計測結果を表示する機能部である（図１参照）。表示部４５は、例えば、図２のような計測対象物１０～１３については、図３のように合成データ、解析結果及び計測結果を表示することができる。

【0029】

実施形態１に係る物体計測システムの物体計測装置の動作について図面を用いて説明する。図５は、実施形態１に係る物体計測システムの物体計測装置の動作を模式的に示したフローチャートである。なお、物体計測システムの構成については図１を参照されたい。

【0030】

まず、物体計測装置４０のデータ取得部４１は、３次元センサ２０及びスペクトルカメラ２１で撮影した各データ（３次元データ、スペクトルデータ）を、撮像データ送信装置３０を介して取得する（ステップＡ１）。

【0031】

次に、物体計測装置４０の合成部４２は、データ取得部４１で取得された３次元データとスペクトルデータとを合成（重畳）して合成データを生成する（ステップＡ２）。なお、合成方法の詳細については、後述する。

【0032】

次に、物体計測装置４０のモデル解析部４３は、予め作成した検出モデルを用いて、合成部４２で生成された合成データを解析（計測対象物１０～１３に係るクラスタを分類、選択、限定）する（ステップＡ３）。合成データにおいて検出モデルに合致する箇所が存在する場合は、合成データに対象箇所を可視化する。可視化方法として、例えば、対象箇所に対して指定した色で表示する等が挙げられるが、その限りではない。なお、解析方法の詳細については、後述する。

【0033】

次に、物体計測装置４０の計測部４４は、モデル解析部４３で抽出された箇所に対して、所定の計測項目（例えば、位置、サイズ、体積、含有率（体積分率）、表面積、幅、全長等）を計測する（ステップＡ４）。なお、計測方法の詳細については、後述する。

【0034】

最後に、物体計測装置４０の表示部４５は、合成部４２の合成データ、モデル解析部４３の解析結果、及び、計測部４４の計測結果を表示し（ステップＡ５）、その後、終了する。

【0035】

実施形態１に係る物体計測システムの物体計測装置のデータ合成処理（図５のステップＡ２）の動作の詳細について図面を用いて説明する。図６は、実施形態１に係る物体計測システムの物体計測装置のデータ合成処理の動作を模式的に示したフローチャートである。図７は、実施形態１に係る物体計測システムの物体計測装置で行われるデータ合成を模式的に示したイメージ図である。なお、物体計測システムの構成については図１を参照されたい。

【0036】

図５のステップＡ２のデータ合成処理では、まず、物体計測装置４０の合成部４２は、データ取得部４１で取得された３次元データ及びスペクトルデータを読み込む（ステップＢ１）。

【0037】

次に、物体計測装置４０の合成部４２は、３次元データとスペクトルデータとの位置合わせを行う（ステップＢ２）。

【0038】

ここで、位置合わせの方法として、例えば、まず、３次元空間において３次元センサ２０の位置（図７の５０）を原点（０，０，０）としたときのスペクトルカメラ２１の位置（図７の５１）の相対座標（ｘ，ｙ，ｚ）及び角度を算出する。相対座標（ｘ，ｙ，ｚ）の算出方法としては、例えば、３次元センサ２０の位置５０を基準としてスペクトルカメラ２１の位置５１までの距離を水平方向、鉛直方向、奥行き方向それぞれ手動で計測する方法や、３次元センサ２０及びスペクトルカメラ２１のそれぞれにＧＰＳを搭載して、それぞれの位置情報に基づいて算出する方法等が挙げられる。角度の算出方法として、例えば、ＩＭＵによる算出が挙げられる。算出した相対座標及び角度に基づいて、スペクトルカメラ２１の位置５１の画角が決まる。なお、３次元センサ２０とスペクトルカメラ２１との相対座標や角度が固定された状況（例えば、３次元センサ２０とスペクトルカメラ２１とが一体化した撮影装置）においては、相対座標及び角度を算出せずに、固定された相対座標及び角度を用いてもよい。

【0039】

最後に、物体計測装置４０の合成部４２は、スペクトルカメラ２１の位置（図７の５１）の画角に対して、スペクトルデータを３次元データに重畳し（ステップＢ３）、その後、図５のステップＡ３に進む。

【0040】

ここで、重畳方法として、例えば、元の３次元データを、スペクトルカメラ２１の位置（図７の５１）の画角に含まれるように３次元画面（図７の５３）にある点群データに変換し、変換された点群データを２次元画面（図７の５２）上のスペクトルデータに合わせるように変換（図７では拡大変換；縮小変換でも可）し、スペクトルデータの各ピクセルのＲＧＢの値を点群データの各点に付与する方法が挙げられる。

【0041】

実施形態１に係る物体計測システムの物体計測装置のモデル解析処理（図５のステップＡ３）の動作の詳細について図面を用いて説明する。図８は、実施形態１に係る物体計測システムの物体計測装置のモデル解析処理の動作を模式的に示したフローチャートである。図９は、実施形態１に係る物体計測システムの物体計測装置で行われるモデル解析を模式的に示したイメージ図である。なお、物体計測システムの構成については図１を参照されたい。

【0042】

図５のステップＡ３のモデル解析処理では、まず、物体計測装置４０のモデル解析部４３は、合成部４２で生成された合成データに対してクラスタリング処理を行う（ステップＣ１）。図９の例では、合成データにおける点群データからクラスタ６０（クラスタ６０ａ、６０ｂが一体のもの）と、クラスタ６１（クラスタ６１ａ、６１ｂが一体のもの）とに分類される。

【0043】

次に、物体計測装置４０のモデル解析部４３は、クラスタリング処理によって分類されたクラスタの中から、解析対象となるクラスタを選択する（ステップＣ２）。ここで、例えば、設備のひび割れの解析の場合はクラスタ６１ｂを選択し、堆積物の上部の成分の解析の場合はクラスタ６０ａを選択する。選択方法として、例えば、ユーザが手動で選択してもよく、形状や大きさ、座標を元に自動で選択してもよい。また、クラスタは複数選択することができる。さらに、モデル解析については、３次元データとスペクトルデータとの合成データに対してクラスタリング処理を行わずにモデル解析を行い、解析結果の形状や大きさ、座標などを元に正誤の選別を行ってもよい。

【0044】

最後に、物体計測装置４０のモデル解析部４３は、選択されたクラスタに対してモデル解析を行い（ステップＣ３）、その後、図５のステップＡ４に進む。ここで、モデル解析により検出モデルに合致したクラスタは、図９の検出箇所７０、７１のようにバウンディングボックスで囲んで可視化して表示する。このように、特定の箇所（クラスタ）に限定してモデル解析を行うことにより、モデル解析の誤検知を削減することが可能となる。

【0045】

実施形態１に係る物体計測システムの物体計測装置の計測処理（図５のステップＡ４）の動作の詳細について図面を用いて説明する。図１０は、実施形態１に係る物体計測システムの物体計測装置の計測処理の動作を模式的に示したフローチャートである。なお、物体計測システムの構成については図１を参照されたい。

【0046】

図５のステップＡ４の計測処理では、まず、物体計測装置４０の計測部４４は、合成部４２で生成された合成データに対してクラスタリング処理を行う（ステップＤ１）。なお、図８のステップＣ１でのクラスタリング処理でのクラスタに係るデータ（選択された箇所のデータ）が利用できる場合は、そのデータを取得して、ステップＤ１を省略してもよい。

【0047】

次に、物体計測装置４０の計測部４４は、クラスタリング処理によって分類されたクラスタのうちモデル解析部４３でモデル解析されたクラスタに対して、サイズ（高さ、幅、奥行）の計測を行う（ステップＤ２）。ここで、図９のクラスタ６０ａに対してサイズを計測する方法として、例えば、クラスタ６０ａの検出箇所７０に係るバウンディングボックスを利用してサイズを計測する方法が挙げられる。

【0048】

次に、物体計測装置４０の計測部４４は、計測されたサイズを利用して、クラスタリング処理によって分類されたクラスタに係る体積の計測を行う（ステップＤ３）。ここで、図９のクラスタ６０ａに係る体積を計測する方法として、例えば、凸包によって算出する方法が挙げられる。

【0049】

最後に、物体計測装置４０の計測部４４は、クラスタリング処理によって分類されたクラスタに対して、含有率（体積分率）の計測を行い、その後、図５のステップＡ５に進む。ここで、クラスタ６０ａに係る含有率を計測する方法として、例えば、事前に抽出した堆積物のクラスタ６０に対して凸包（与えられた集合を含む最小の凸集合）などによって体積を算出し、算出されたクラスタ６０の体積と、計測されたクラスタ６０ａの体積とに基づいて、クラスタ６０ａに係る含有率を算出する方法が挙げられる。また、含有率の他に、クラスタ６０の体積とクラスタ６０ａの体積との差分から、クラスタ６０におけるクラスタ６０ａ以外の体積を算出してもよい。

【0050】

なお、図１０の例では、計測項目をサイズ、体積、含有率としているが、計測対象物の形態に応じて任意の計測項目を組み合わせることができ、計測項目の計測順序も任意に設定することができる。

【0051】

実施形態１によれば、３次元データとスペクトルデータとを合成した合成データに基づくモデル解析により、スペクトルデータで区別がつく計測対象物の中から、座標空間において閾値で区切りをつけて特定の計測対象物を選択的に抽出（検出）することができるので、物体（計測対象物）の詳細な分類及び計測を行うことに貢献することができる。

【0052】

また、実施形態１によれば、３次元データからクラスタリング処理によってモデル解析する計測対象物に係るクラスタを指定することによって、モデル解析の精度が向上する。

【0053】

また、実施形態１によれば、３次元データとスペクトルデータとの重畳（融合）によって、３次元データによる形状の分類と、スペクトルデータによる成分の分類を組み合わせることが可能になり、分類精度及び計測制度を向上させることができる。

【0054】

また、実施形態１によれば、スペクトルカメラ２１において検出モデルに合致した箇所に対し検出精度を向上させることができる。

【0055】

さらに、実施形態１によれば、３次元データからクラスタリング処理によってモデル解析する計測対象物に係るクラスタを指定することによって、モデル解析の範囲を縮小し、モデル解析にかかる処理コストを削減することができる。

【0056】

［実施形態２］
実施形態２に係る物体計測装置について図面を用いて説明する。図１１は、実施形態２に係る物体計測装置の構成を模式的に示したブロック図である。

【0057】

物体計測装置４０は、物体（計測対象物）を計測する装置である（図１１参照）。物体計測装置４０は、合成部４２と、モデル解析部４３と、計測部４４と、を備える。

【0058】

合成部４２は、計測対象物を撮影した３次元データと２次元データとを合成して合成データを生成するように構成されている。モデル解析部４３は、特定の要素を検出するための予め作成した検出モデルを用いて合成データを解析することにより、合成データの中から、検出モデルに合致する箇所を抽出するように構成されている。計測部４４は、抽出された前記箇所に対して所定の計測項目を計測するように構成されている。

【0059】

実施形態２によれば、３次元データと２次元データとを合成した合成データに基づくモデル解析により、２次元データで区別がつく計測対象物の中から、座標空間において閾値で区切りをつけて特定の計測対象物を選択的に抽出（検出）することができるので、物体（計測対象物）の詳細な分類及び計測を行うことに貢献することができる。

【0060】

なお、実施形態１、２に係る物体計測装置は、いわゆるハードウェア資源（情報処理装置、コンピュータ）により構成することができ、図１２に例示する構成を備えたものを用いることができる。例えば、ハードウェア資源１００は、内部バス１０４により相互に接続される、プロセッサ１０１、メモリ１０２、ネットワークインタフェイス１０３等を備える。

【0061】

なお、図１２に示す構成は、ハードウェア資源１００のハードウェア構成を限定する趣旨ではない。ハードウェア資源１００は、図示しないハードウェア（例えば、入出力インタフェイス）を含んでもよい。あるいは、装置に含まれるプロセッサ１０１等のユニットの数も図１２の例示に限定する趣旨ではなく、例えば、複数のプロセッサ１０１がハードウェア資源１００に含まれていてもよい。プロセッサ１０１には、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＧＰＵ（Graphics Processing Unit）等を用いることができる。

【0062】

メモリ１０２には、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等を用いることができる。

【0063】

ネットワークインタフェイス１０３には、例えば、ＬＡＮ（Local Area Network）カード、ネットワークアダプタ、ネットワークインタフェイスカード等を用いることができる。

【0064】

ハードウェア資源１００の機能は、上述の処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ１０２に格納されたプログラムをプロセッサ１０１が実行することで実現される。また、そのプログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。即ち、上記処理モジュールが行う機能は、何らかのハードウェアにおいてソフトウェアが実行されることによって実現できればよい。

【0065】

上記実施形態の一部または全部は以下の付記のようにも記載され得るが、以下には限られない。

【0066】

［付記１］
計測対象物を撮影した３次元データと２次元データとを合成して合成データを生成するように構成された合成部と、
特定の要素を検出するための予め作成した検出モデルを用いて前記合成データを解析することにより、前記合成データの中から、前記検出モデルに合致する箇所を抽出するように構成されたモデル解析部と、
抽出された前記箇所に対して所定の計測項目を計測するように構成された計測部と、
を備える、物体計測装置。
［付記２］
前記合成部は、前記３次元データ及び前記２次元データのそれぞれの撮影地点の座標情報及び角度情報に基づいて、前記３次元データ及び前記２次元データの一方を、他方に合わせるように調整して前記３次元データと前記２次元データとを合成するように構成されている、
付記１記載の物体計測装置。
［付記３］
前記合成部は、前記３次元データ及び前記２次元データのそれぞれに含まれた共通の位置合わせマーカを用いて前記３次元データと前記２次元データとを合成するように構成されている、
付記１記載の物体計測装置。
［付記４］
前記合成部は、前記３次元データ及び前記２次元データのそれぞれにおける対応する前記計測対象物の特徴点を合わせるように前記３次元データ又は前記２次元データの画角又は画像全体の大きさを調整して前記３次元データと前記２次元データとの位置合わせを行って合成するように構成されている、
付記１記載の物体計測装置。
［付記５］
前記モデル解析部は、前記合成データに対してクラスタリング処理を行い、前記クラスタリング処理によって分類されたクラスタの中から解析対象となるクラスタを選択し、かつ、選択された前記クラスタに対して解析を行うように構成されている、
付記１記載の物体計測装置。
［付記６］
前記モデル解析部は、前記合成データにおける前記３次元データの座標情報に基づいて、前記合成データの中から、予め設定された特定の座標に合致している箇所のみを抽出するように構成されている、
付記１記載の物体計測装置。
［付記７］
前記計測部は、抽出された前記箇所の前記３次元データに基づいて前記所定の計測項目を計測するように構成されている、
付記１記載の物体計測装置。
［付記８］
前記２次元データは、スペクトルデータであり、
前記検出モデルは、前記特定の要素として特定の成分を検出するためのモデルである、
付記１記載の物体計測装置。
［付記９］
付記１乃至８のいずれか一に記載の物体計測装置と、
前記計測対象物を撮影することにより前記３次元データを出力するように構成された３次元センサと、
前記計測対象物を撮影することにより前記２次元データを出力するように構成された２次元カメラと、
を備える、物体計測システム。
［付記１０］
前記３次元センサ及び前記２次元カメラで撮影された前記３次元データ及び前記２次元データを取得して前記物体計測装置に送信するように構成された撮像データ送信装置をさらに備える、
付記９記載の物体計測システム。
［付記１１］
前記撮像データ送信装置は、送信しようとするデータのうち前回送信したデータとの差分がある部分のみを抽出して送信するように構成されている、
付記１０記載の物体計測システム。
［付記１２］
前記撮像データ送信装置は、前記３次元センサ及び前記２次元カメラを、撮影タイミングを同期させて送信するように構成されている、
付記１０記載の物体計測システム。
［付記１３］
ハードウェア資源によって物体を計測する物体計測方法であって、
計測対象物を撮影した３次元データと２次元データとを合成して合成データを生成するステップと、
特定の要素を検出するための予め作成した検出モデルを用いて前記合成データを解析することにより、前記合成データの中から、前記検出モデルに合致する箇所を抽出するステップと、
抽出された前記箇所に対して所定の計測項目を計測するステップと、
を含む、物体計測方法。
［付記１４］
ハードウェア資源に物体を計測する処理を実行させるプログラムであって、
計測対象物を撮影した３次元データと２次元データとを合成して合成データを生成する処理と、
特定の要素を検出するための予め作成した検出モデルを用いて前記合成データを解析することにより、前記合成データの中から、前記検出モデルに合致する箇所を抽出する処理と、
抽出された前記箇所に対して所定の計測項目を計測する処理と、
を前記ハードウェア資源に実行させる、プログラム。

【0067】

なお、上記の特許文献の各開示は、本書に引用をもって繰り込み記載されているものとし、必要に応じて本発明の基礎ないし一部として用いることが出来るものとする。本発明の全開示（特許請求の範囲及び図面を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせないし選択（必要により不選択）が可能である。すなわち、本発明は、請求の範囲及び図面を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、本願に記載の数値及び数値範囲については、明記がなくともその任意の中間値、下位数値、及び、小範囲が記載されているものとみなされる。さらに、上記引用した文献の各開示事項は、必要に応じ、本願発明の趣旨に則り、本願発明の開示の一部として、その一部又は全部を、本書の記載事項と組み合わせて用いることも、本願の開示事項に含まれる（属する）ものと、みなされる。

【符号の説明】

【0068】

１ 物体計測システム
１０、１１、１２、１３ 計測対象物
２０ ３次元センサ
２１ スペクトルカメラ（２次元カメラ）
３０ 撮像データ送信装置
４０ 物体計測装置
４１ データ取得部
４２ 合成部
４３ モデル解析部
４４ 計測部
４５ 表示部
５０、５１ 位置
５２ ２次元画面
５３ ３次元画面
６０、６０ａ、６０ｂ、６１、６１ａ、６１ｂ クラスタ
７０、７１ 検出箇所
８０ ２次元画面
８１ ３次元境界面
９０、９１、９２ クラスタ
１００ ハードウェア資源
１０１ プロセッサ
１０２ メモリ
１０３ ネットワークインタフェイス
１０４ 内部バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】