(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024110581
(43)【公開日】2024-08-16
(54)【発明の名称】計測装置、方法、及びプログラム
(51)【国際特許分類】
G06T 19/20 20110101AFI20240808BHJP
G06Q 50/04 20120101ALI20240808BHJP
【FI】
G06T19/20
G06Q50/04
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023015238
(22)【出願日】2023-02-03
(71)【出願人】
【識別番号】000232254
【氏名又は名称】日本電気通信システム株式会社
(74)【代理人】
【識別番号】100080816
【弁理士】
【氏名又は名称】加藤 朝道
(74)【代理人】
【識別番号】100098648
【弁理士】
【氏名又は名称】内田 潔人
(72)【発明者】
【氏名】河野 研二
(72)【発明者】
【氏名】青木 教之
(72)【発明者】
【氏名】高岡 真則
(72)【発明者】
【氏名】上野 悟己
(72)【発明者】
【氏名】安達 ゆり
【テーマコード(参考)】
5B050
5L049
5L050
【Fターム(参考)】
5B050BA06
5B050BA09
5B050DA04
5B050EA13
5B050EA18
5B050FA02
5L049CC04
5L050CC04
(57)【要約】
【課題】3次元データとモデルデータとの比較において、3次元データに欠損が生じている状況でも時間をかけずに高精度に予実差を算出することに貢献することができる計測装置等を提供すること。
【解決手段】測装置は、少なくとも1つのオブジェクトを含む撮影対象物のイメージを3次元で表現した3次元データの欠損箇所に対して補間処理を行うように構成された補間部と、補間処理された3次元データと、成果のイメージを3次元で表現したモデルデータとを比較して差分を算出するように構成された計測部と、を備え、補間部は、3次元データの欠損箇所の補間方法を設定するように構成された補間方法設定部と、設定された補間方法にしたがって、3次元データの欠損箇所を補間処理するように構成された補間処理部と、を備える。
【選択図】
図10
【特許請求の範囲】
【請求項1】
少なくとも1つのオブジェクトを含む撮影対象物のイメージを3次元で表現した3次元データの欠損箇所に対して補間処理を行うように構成された補間部と、
補間処理された前記3次元データと、成果のイメージを3次元で表現したモデルデータとを比較して差分を算出するように構成された計測部と、
を備え、
前記補間部は、
前記3次元データの前記欠損箇所の補間方法を設定するように構成された補間方法設定部と、
設定された前記補間方法にしたがって、前記3次元データの前記欠損箇所を補間処理するように構成された補間処理部と、
を備える、計測装置。
【請求項2】
前記計測部は、
前記差分の算出に関する算出項目を設定するように構成された算出項目設定部と、
設定された前記算出項目にしたがって、補間処理された前記3次元データと、対応する前記モデルデータとの差分を算出するように構成された計測処理部と、
を備える、
請求項1記載の計測装置。
【請求項3】
前記計測処理部は、前記モデルデータに対して前記補間処理を補助する前処理を行い、設定された前記算出項目にしたがって、補間処理された前記3次元データと、前処理された前記モデルデータとの差分を算出するように構成されている、
請求項2記載の計測装置。
【請求項4】
前記前処理では、前記算出項目が体積のときに、前記モデルデータに対してボクセルグリッドによる分割処理を行い、
前記計測処理部は、補間処理された前記3次元データと、前処理された前記モデルデータとの差分をボクセル単位で算出するように構成されている、
請求項3記載の計測装置。
【請求項5】
前記3次元データは、点群データであり、
前記計測処理部は、前記点群データの点群の密度に応じて前記ボクセルグリッドの大きさを自動調整するように構成されている、
請求項4記載の計測装置。
【請求項6】
前記3次元データと、対応する前記モデルデータとをオブジェクト単位でデータリンク処理するデータリンク部を備え、
前記補間部は、データリンク処理された前記3次元データの前記欠損箇所に対して補間処理を行うように構成されている、
請求項1記載の計測装置。
【請求項7】
前記データリンク部は、
前記3次元データに対して、オブジェクト毎に分割処理を行うように構成されたデータ分割部と、
分割処理された前記3次元データごとに、対応する前記モデルデータを抽出し、抽出された前記モデルデータと、分割処理された前記3次元データとの紐づけ処理を行う紐付け処理部と、
を備える、
請求項6記載の計測装置。
【請求項8】
前記3次元データ、前記モデルデータ、及び、前記計測部の計測結果のいずれかを仮想空間又は現実空間上に表示するように処理する表示処理部を備える、
請求項1乃至7のいずれか一に記載の計測装置。
【請求項9】
少なくとも1つのオブジェクトを含む撮影対象物を計測する計測方法であって、
計測装置が、少なくとも1つのオブジェクトを含む撮影対象物のイメージを3次元で表現した3次元データの欠損箇所の補間方法を設定するステップと、
前記計測装置が、設定された前記補間方法にしたがって、前記3次元データの前記欠損箇所を補間処理するステップと、
前記計測装置が、補間処理された前記3次元データと、成果のイメージを3次元で表現したモデルデータとを比較して差分を算出するステップと、
を含む、計測方法。
【請求項10】
少なくとも1つのオブジェクトを含む撮影対象物を計測する処理を計測装置に実行させるプログラムであって、
少なくとも1つのオブジェクトを含む撮影対象物のイメージを3次元で表現した3次元データの欠損箇所の補間方法を設定する処理と、
前記計測装置が、設定された前記補間方法にしたがって、前記3次元データの前記欠損箇所を補間処理する処理と、
前記計測装置が、補間処理された前記3次元データと、成果のイメージを3次元で表現したモデルデータとを比較して差分を算出する処理と、
を前記計測装置に実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、計測装置、方法、及びプログラムに関する。
【背景技術】
【0002】
工事現場においては、生産性向上の施策として、センシングデバイス(カメラ、3次元センサ等)を用いて取得した工事現場の3次元データ(3次元画像データ、点群データ等)を利活用するようになっている。工事現場の3次元データを利活用する事例として、取得した工事現場の3次元データに基づいて、作業の進捗状況を管理する技術がある(例えば、特許文献1、2参照)。この技術では、例えば、予め作成した3次元の設計データ(以下、モデルデータ)と、取得した現場の3次元データとを比較(照合、突合)することで、モデルデータと3次元データとの差分から進捗状況を算出することができる。また、撮影した現場の3次元データから作業の進捗状況を算出する技術として、ディープラーニングを活用した技術がある(例えば、特許文献3参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平7-49910号
【特許文献2】特開2004-5237号
【特許文献3】特開2018-156343号
【発明の概要】
【発明が解決しようとする課題】
【0004】
以下の分析は、本願発明者により与えられる。
【0005】
しかしながら、特許文献3のようにディープラーニングを活用した技術では複数の問題が生じてくる。例えば、学習データや教師データの収集に時間がかかる、学習データや教師データに基づくモデルの学習に時間がかかる、施工対象ごとにモデルを作成する必要があり時間がかかる等の問題が生じてくる。
【0006】
一方、特許文献1、2のようにディープラーニングを使用せずにモデルデータ(予想データ)と3次元データ(実績データ)とを比較し、予実差(予実差:予想データと実績データとの差分)から進捗状況を算出する場合では、現場のオブジェクトに係る3次元データを複数の視点から詳細に取得する必要がある。これは、例えば、3次元データを取得する際に、障害物やオクルージョンによって、取得した3次元データに欠損が生じていると、モデルデータと3次元データとを比較した時に、比較した時の予実差と実際の予実差との乖離が生じてしまうためである。
【0007】
本発明の主な課題は、3次元データとモデルデータとの比較において、3次元データに欠損が生じている状況でも時間をかけずに高精度に予実差を算出することに貢献することができる計測装置、方法、及びプログラムを提供することである。
【課題を解決するための手段】
【0008】
第1の視点に係る計測装置は、少なくとも1つのオブジェクトを含む撮影対象物のイメージを3次元で表現した3次元データの欠損箇所に対して補間処理を行うように構成された補間部と、補間処理された前記3次元データと、成果のイメージを3次元で表現したモデルデータとを比較して差分を算出するように構成された計測部と、を備え、前記補間部は、前記3次元データの前記欠損箇所の補間方法を設定するように構成された補間方法設定部と、設定された前記補間方法にしたがって、前記3次元データの前記欠損箇所を補間処理するように構成された補間処理部と、を備える。
【0009】
第2の視点に係る計測方法は、少なくとも1つのオブジェクトを含む撮影対象物を計測する計測方法であって、計測装置が、少なくとも1つのオブジェクトを含む撮影対象物のイメージを3次元で表現した3次元データの欠損箇所の補間方法を設定するステップと、前記計測装置が、設定された前記補間方法にしたがって、前記3次元データの前記欠損箇所を補間処理するステップと、前記計測装置が、補間処理された前記3次元データと、成果のイメージを3次元で表現したモデルデータとを比較して差分を算出するステップと、を含む。
【0010】
第3の視点に係るプログラムは、少なくとも1つのオブジェクトを含む撮影対象物を計測する処理を計測装置に実行させるプログラムであって、少なくとも1つのオブジェクトを含む撮影対象物のイメージを3次元で表現した3次元データの欠損箇所の補間方法を設定する処理と、前記計測装置が、設定された前記補間方法にしたがって、前記3次元データの前記欠損箇所を補間処理する処理と、前記計測装置が、補間処理された前記3次元データと、成果のイメージを3次元で表現したモデルデータとを比較して差分を算出する処理と、を前記計測装置に実行させる。
【0011】
なお、プログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント(non-transient)なものとすることができる。また、本開示では、コンピュータプログラム製品として具現することも可能である。プログラムは、コンピュータ装置に入力装置又は外部から通信インタフェイスを介して入力され、記憶装置に記憶されて、プロセッサを所定のステップないし処理に従って駆動させ、必要に応じ中間状態を含めその処理結果を段階毎に表示装置を介して表示することができ、あるいは通信インタフェイスを介して、外部と交信することができる。そのためのコンピュータ装置は、一例として、典型的には互いにバスによって接続可能なプロセッサ、記憶装置、入力装置、通信インタフェイス、及び必要に応じ表示装置を備える。
【発明の効果】
【0012】
前記第1~第3の視点によれば、3次元データとモデルデータとの比較において、3次元データに欠損が生じている状況でも時間をかけずに高精度に予実差を算出することに貢献することができる。
【図面の簡単な説明】
【0013】
【
図1】実施形態1に係る計測装置の構成を模式的に示したブロック図である。
【
図2】実施形態1に係る計測装置で表示処理したときの一例を模式的に示したイメージ図である。
【
図3】実施形態1に係る計測装置の補間処理を説明するための(A)オブジェクト全体像、(B)撮影後、(C)補間後のイメージ図である。
【
図4】実施形態1に係る計測装置の障害物が出てきたときの補間処理を説明するための(A)オブジェクト全体像、(B)直前の障害物無し補間後、(C)障害物有り撮影後、(D)障害物有り補間後のイメージ図である。
【
図5】実施形態1に係る計測装置の計測処理を説明するための(A)
図3のオブジェクト60の計測処理時、(B)
図3のオブジェクト70の計測処理時のイメージ図である。
【
図6】実施形態1に係る計測装置の動作を模式的に示したフローチャート図である。
【
図7】実施形態1に係る計測装置のデータリンク処理の詳細を模式的に示したフローチャート図である。
【
図8】実施形態1に係る計測装置の補間処理の詳細を模式的に示したフローチャート図である。
【
図9】実施形態1に係る計測装置の計測処理の詳細を模式的に示したフローチャート図である。
【
図10】実施形態2に係る計測装置の構成を模式的に示したブロック図である。
【
図11】ハードウェア資源の構成を模式的に示したブロック図である。
【発明を実施するための形態】
【0014】
以下、実施形態について図面を参照しつつ説明する。なお、本出願において図面参照符号を付している場合は、それらは、専ら理解を助けるためのものであり、図示の態様に限定することを意図するものではない。また、下記の実施形態は、あくまで例示であり、本発明を限定するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号(データ)の流れを模式的に示すものであり、双方向性を排除するものではない。さらに、本願開示に示す回路図、ブロック図、内部構成図、接続図などにおいて、明示は省略するが、入力ポート及び出力ポートが各接続線の入力端及び出力端のそれぞれに存在する。入出力インタフェイスも同様である。プログラムはコンピュータ装置を介して実行され、コンピュータ装置は、例えば、プロセッサ、記憶装置、入力装置、通信インタフェイス、及び必要に応じ表示装置を備え、コンピュータ装置は、通信インタフェイスを介して装置内又は外部の機器(コンピュータを含む)と、有線、無線を問わず、交信可能に構成される。
【0015】
[実施形態1]
実施形態1に係る計測システムについて図面を用いて説明する。
図1は、実施形態1に係る計測装置の構成を模式的に示したブロック図である。
図2は、実施形態1に係る計測装置で表示処理したときの一例を模式的に示したイメージ図である。
図3は、実施形態1に係る計測装置の補間処理を説明するための(A)オブジェクト全体像、(B)撮影後、(C)補間後のイメージ図である。
図4は、実施形態1に係る計測装置の障害物が出てきたときの補間処理を説明するための(A)オブジェクト全体像、(B)直前の障害物無し補間後、(C)障害物有り撮影後、(D)障害物有り補間後のイメージ図である。
図5は、実施形態1に係る計測装置の計測処理を説明するための(A)
図3のオブジェクト60の計測処理時、(B)
図3のオブジェクト70の計測処理時のイメージ図である。
【0016】
計測装置20は、実際のオブジェクトを含む撮影対象物から取得した3次元データと、予め作成されたモデルデータとの差分(予実差)を計測する装置である(
図1参照)。
ここで、3次元データは、少なくとも1つのオブジェクトを含む撮影対象物のイメージを3次元で表現したデータである。3次元データには、例えば、撮影対象物の表面上の3次元的な観測点(座標点)の集合である点群データや、撮影対象物の表面形状を3次元的に表した画像である3次元画像データ等を用いることができる。3次元データは、例えば、3次元センサ(
図2の10、11、12)でセンシング(撮像)することによって取得することができる。計測装置20には、コンピュータ機能を備える装置が用いられ、例えば、パーソナルコンピュータ、ノート型パーソナルコンピュータ、タブレット端末、スマートフォン、サーバ等を用いることができる。計測装置20は、3次元センサ(
図2の10、11、12)で撮影した3次元データと、予め作成したモデルデータとを比較(照合、突合)し、これらの差分を算出し、算出した結果を可視化する機能を備える。計測装置20は、データを比較する際、障害物やオクルージョン等によって発生した、3次元データの欠損箇所を補間する機能を備える。計測装置20は、記憶された所定のプログラムを実行することで、仮想的に、3次元データ取得部21と、モデルデータ取得部22と、データリンク部23と、補間部24と、計測部25と、表示処理部26と、を備えた構成とすることができる。
【0017】
ここで、3次元センサ10、11、12は、撮影対象物を3次元的にセンシング(撮影)する装置である(
図2参照)。3次元センサ10、11、12には、例えば、ステレオ方式、ToF(Time of Flight)方式、プロジェクタ方式等のセンサ(カメラ)を用いることができる。3次元センサ10、11、12は、計測装置20と直接又は間接的に通信(無線通信、有線通信)可能に接続されてもよく、記憶装置(図示せず)に通信可能に接続されていてもよい。3次元センサ10、11は、例えば、
図2のように、作業現場40において、電柱51の敷設工事を行う建設機械41と、盛土52の造成工事を行う建設機械42が存在する場合に、それぞれの工事現場の3次元データを取得するように設置することができる。3次元センサ10、11は、必ずしも作業現場40を網羅するように設置する必要はない。3次元センサは、3次元センサ10、11のように、工事現場に固定設置するだけでなく、ドローン等の移動体やロボットに取り付けて移動撮影を行うようにしてもよい。また、3次元センサは、3次元センサ12のように、作業者のヘルメット等に取り付けて移動撮影を行うようにしてもよい。
【0018】
3次元データ取得部21は、3次元センサ(
図2では10、11、12)で撮影した作業現場40の3次元データを取得する機能である(
図1参照)。3次元データ取得部21は、取得した3次元データを保存する。3次元データは、3次元センサ10、11、12で撮影したデータを用いることができ、記憶装置(図示せず)に記憶されたデータであってもよい。
【0019】
モデルデータ取得部22は、成果(完成予想図、お手本等)のイメージを3次元で表現したモデルのデータ(モデルデータ)を取得する機能である(
図1参照)。モデルデータ取得部22は、取得したモデルデータを保存する。ここで、モデルデータは、図面等のデータに基づいてユーザがソフトウェア等を用いて予め作成したものであり、外部の端末(図示せず)等から取得される。モデルデータは、点群データでもよく、点群データ以外の3次元データ(例えば、3次元画像データ)でもよく、3次元画像データを点群データに変換したものでもよい。
【0020】
データリンク部23は、3次元データ取得部21で取得した3次元データと、モデルデータ取得部22で取得したモデルデータとをオブジェクト単位でデータリンク処理する機能部である(
図1参照)。データリンク部23は、データ分割部23aと、紐づけ処理部23bと、を備える。
【0021】
データ分割部23aは、3次元データ取得部21で取得した作業現場の3次元データに対して、オブジェクト毎に分割処理を行う機能部である(
図1参照)。データ分割部23aは、分割処理を行う前に、3次元データ中のオブジェクトに該当しないノイズ(例えば、点データであればオブジェクトに該当しない点)を除去するようにしてもよい。
【0022】
紐づけ処理部23bは、データ分割部23aによって分割処理された3次元データ(オブジェクト)ごとに、対応するモデルデータ(モデルデータ取得部22で取得したモデルデータ)を抽出し、抽出されたモデルデータと、オブジェクトに係る3次元データ(分割後の3次元データ)との紐づけ処理を行う機能である(
図1参照)。なお、紐づけ処理に関して、モデルデータのボクセルグリッドに含まれる3次元データのみで差分を算出できる場合は紐づけ処理を行わなくてもよい。また、紐づけ処理は、専らモデルデータとオブジェクトに係る3次元データとの相対的な距離や角度等の特徴量を算出するためのものであり、それを必要としない場合は、必ずしも紐づけ処理を行う必要はない。
【0023】
補間部24は、データリンク部23でデータリンク処理された3次元データに欠損箇所がある場合に、当該欠損箇所に対して補間処理を行う機能部である(
図1参照)。補間部24は、補間方法設定部24aと、補間処理部24bと、を備える。
【0024】
なお、補間部24は、分割後の3次元データに欠損箇所がない場合、補間を行う必要はない。また、補間部24は、分割後の3次元データに欠損箇所があっても補間しないで、3次元データとモデルデータとの差分を算出することができる場合にも、補間処理を行わないようにしてもよい。例えば、
図3(A)のようにオブジェクト60に対して取得した3次元データが
図3(B)のような点群データ61の場合、点群データ61の高さとモデルデータ30の高さのみを比較の対象とする場合は、点群データ61の補間を行わないで、計測処理に進んでもよい。
【0025】
補間方法設定部24aは、データリンク部23でデータリンク処理された3次元データにおいて欠損箇所の有無を判断し、欠損箇所があるときに当該3次元データに対して行う補間方法を設定する機能部である(
図1参照)。補間方法として、例えば、堆積物の場合は前後が等しくなるように背面を補間する方法、電線の場合はカテナリー曲線の形状になるように点群を補間する方法等が挙げられるが、これらに限らず、他の補間方法を用いてもよい。また、補間方法の設定方法として、各モデルデータに対して補間方法(ルール)を予め設定(固定)しておく方法が挙げられるが、これらに限らず、他の設定方法を用いてもよい。また、補間方法の設定方法として、分割後の3次元データからオブジェクトの形状を特定し、特定された形状に基づいて補間方法を自動設定するようにしてもよい。例えば、あるオブジェクトに係る3次元データが堆積物の形状(例えば、円錐状)である場合は、この3次元データを堆積物と特定して前後等倍の補間方法を自動設定してもよい。その他の補間方法の設定方法として、オブジェクト毎にユーザの操作により補間方法を設定(手動設定)するようにしてもよい。
【0026】
補間処理部24bは、補間方法設定部24aで設定された補間方法にしたがって、データリンク部23でデータリンク処理された3次元データの欠損箇所に対して補間処理を行う機能部である(
図1参照)。
【0027】
ここで、補間処理の方法として、例えば、背面を補間する場合、前面の点群を背面に等倍して補間する方法や、前面の点群を背面まで延伸する方法などが挙げられるが、これらに限らず、他の方法を用いることができる。補間処理のイメージを
図3に示す。
図3(A)のように3次元センサ11でオブジェクト60、70を前面から撮影する場合、取得できる3次元データは、オブジェクト60、70の前面部分であり、
図3(B)のような点群データ61、71となる。この時、取得した点群データ61、71ではオクルージョンによって背面部分に欠損箇所があるため、背面部分への補間処理が必要となる。オブジェクト60、70の形状の特性(特徴)に応じて補間方法を適宜選択する。例えば、オブジェクト60は前後対称の形状となっているため、補間方法も同様に前面の点群データ61を背面に等倍して、
図3(C)のように補間点群データ62を補間する。一方、オブジェクト70は前面の形状が背面に延伸した形状となっているため、補間方法も同様に前面の点群データ71を背面に延伸して、
図3(C)のように補間点群データ72を補間する。
【0028】
また、補間処理では、直近に取得した3次元データ(補間済みの3次元データ)を補間処理に活用してもよい。直前の補間済みの3次元データを利用した補間処理のイメージ図を
図4に示す。
図4(A)のように3次元センサ11でオブジェクト60を正面から撮影している状況で、
図4(C)のように3次元センサ11とオブジェクト60との間に新たに障害物80が出現した場合、オブジェクト60を撮影したときの点群データ63に欠損が生じてしまう。この時、
図4(B)のような直前の補間済みの点群データ(点群データ61、補間点群データ62)を用いて欠損箇所を補間することで、
図4(D)のように点群データ(点群データ61、63、補間点群データ62)を再現することができ、
図4(B)の点群データと同様に補間することができる。
【0029】
計測部25は、補間部24で補間処理された3次元データ(補間処理していない場合はデータリンク部23でデータリンク処理された3次元データ)と、対応するモデルデータとを比較(照合、突合)し、それらの差分(予実差)を算出する機能部である(
図1参照)。計測部25は、算出項目設定部25aと、計測処理部25bと、を備える。
【0030】
算出項目設定部25aは、補間部24で補間処理された3次元データ(補間処理していない場合はデータリンク部23でデータリンク処理された3次元データ)と、対応するモデルデータとの差分(予実差)の算出に関する算出項目を設定する機能部である(
図1参照)。ここで、算出項目として、例えば、位置、座標、大きさ、体積、面積、高さ、幅、奥行き、深さ、角度、色、反射強度、弛度等が挙げられるが、これらに限らず、他の項目を設けてもよい。また、算出項目として、例えば、堆積物は「体積」、電線は「弛度」のように、個々のモデルデータに対して項目を予め設定しておく方法が挙げられるが、これらに限らず、他の方法を用いてもよい。また、算出項目の設定に関して、モデルデータに算出項目を予め設定する以外にも、3次元データからオブジェクトの形状を特定し、特定された形状に基づいて算出項目を自動設定するようにしてもよい。例えば、あるオブジェクトに係る3次元データが堆積物の形状であった場合は、この3次元データを堆積物と推定して算出項目を体積とした算出項目を自動設定するようにしてもよい。算出項目を自動設定する以外にも、オブジェクト毎にユーザの操作により算出項目を設定(手動設定)するようにしてもよい。
【0031】
計測処理部25bは、算出項目設定部25aで設定された算出項目にしたがって、補間部24で補間処理された3次元データ(補間処理していない場合はデータリンク部23でデータリンク処理された3次元データ)と、対応するモデルデータとの差分を算出(計測処理)する機能部である(
図1参照)。計測処理部25bは、計測処理する際、差分を算出する前に、算出項目に応じて前処理を行ってもよい。前処理は、補間処理を補助する処理である。前処理として、例えば、算出項目が「体積」の場合、モデルデータに対してボクセルグリッドによる分割処理を行うことができる。計測処理では、例えば、点群データの点群の密度に応じてボクセルグリッドの大きさを自動調整するようにしてもよい。例えば、点群データが疎になりやすい遠方のモデルデータに対してはボクセルグリッドを大きくし、点群データが密になりやすい近方のモデルデータに対してはボクセルグリッドを小さくしてもよい。計測処理として、差分をボクセル単位で算出する場合に限らず、他の方法を用いてもよい。
【0032】
計測処理のイメージを
図5に示す。モデルデータ30に対してボクセルグリッド90による分割を行い、ボクセル単位で、点群データ61、62(モデルデータ31に対しては点群データ71、72)の密度(体積密度、面積密度)を算出する。
【0033】
表示処理部26は、3次元データ、モデルデータ、及び、計測部25の計測結果のいずれかを仮想空間又は現実空間上に表示するように処理する機能部である(
図1参照)。表示処理部26は、
図2のように、オブジェクト(作業現場40、建設機械41、建設機械42、高所作業車43、電柱51、盛土52、及び電線53)に係る3次元データ、モデルデータ56、57、58、及び、計測部25の計測結果81~86を、いずれも同一の仮想空間(デジタル空間)上で表示するようにしてもよい。仮想空間に表示されるデータは、外部の端末(図示せず;例えば、事務所などの遠隔地にいるユーザが使用するパーソナルコンピュータ、スマートフォン、タブレット端末等)から仮想空間にアクセスすることで参照することができる。また、モデルデータ56、57、58や計測結果81~86は、AR(Augmented Reality)機能が搭載されたメガネ型ウェアラブルデバイス(図示せず;例えば、工事現場にいる作業員が使用するスマートグラス、ARグラス等)を用いて、現実空間に重畳して表示するようにしてもよい。さらに、計測結果81~86の表示について、
図5に示すボクセルグリッド90毎の結果(点群データの密度)をデジタル空間上にそのまま表示してもよい。
【0034】
次に、実施形態1に係る計測装置の動作について図面を用いて説明する。
図6は、実施形態1に係る計測装置の動作を模式的に示したフローチャート図である。なお、計測装置の構成については
図1を参照されたい。
【0035】
まず、計測装置20の3次元データ取得部21は、3次元センサ10によって撮影された作業現場40の3次元データを取得する(ステップA1)。3次元データは、外部の端末(図示せず)等から取得することができる。
【0036】
次に、計測装置20のモデルデータ取得部22は、成果(例えば、
図2の作業現場40における施工の成果物)を3次元データで表現したモデルデータを取得する(ステップA2)。モデルデータは、外部の端末(図示せず)等から取得することができる。
【0037】
次に、計測装置20のデータリンク部23は、3次元データ取得部21で取得した3次元データと、モデルデータ取得部22で取得したモデルデータとをオブジェクト単位でリンクさせる処理(データリンク処理)を行う(ステップA3)。なお、データリンク処理の詳細については後述する(
図7参照)。
【0038】
次に、計測装置20の補間部24は、必要に応じて、データリンク処理後の3次元データの欠損箇所に対して補間処理を行う(ステップA4)。なお、補間処理の詳細については後述する(
図8参照)。
【0039】
次に、計測装置20の計測部25は、補間処理された3次元データ(補間処理されていない場合はデータリンク処理された3次元データ)と、モデルデータとを比較(照合、突合)し、それらの差分(予実差)を算出(計測処理)する(ステップA5)。なお、計測処理の詳細については後述する(
図9参照)。
【0040】
最後に、計測装置20の表示処理部26は、計測部25で計測処理された計測結果を表示処理(例えば、モデルデータ、3次元データ、計測結果等を仮想空間又は現実空間上に表示)し(ステップA6)、その後、終了する。
【0041】
次に、実施形態1に係る計測装置のデータリンク処理(
図6のステップA3)の詳細について図面を用いて説明する。
図7は、実施形態1に係る計測装置のデータリンク処理の動作を模式的に示したフローチャート図である。なお、計測装置の構成については
図1を参照されたい。
【0042】
図6のステップA2の後、計測装置20のデータリンク部23のデータ分割部23aは、3次元データ取得部21で取得した3次元データに対して、オブジェクト毎に分割処理を行う(ステップB1)。分割処理では、例えば、クラスタリングによって、3次元データをオブジェクトに係るクラスタ(点の集合)ごとにグループ分けすることによって行ってもよい。なお、3次元データにおいてオブジェクトが1つしかないときは、ステップB1をスキップする。
【0043】
次に、計測装置20のデータリンク部23の紐づけ処理部23bは、データ分割部23aによって分割処理されたオブジェクトに係る3次元データごとに、対応するモデルデータ(モデルデータ取得部22で取得したモデルデータ)を抽出する(ステップB2)。
【0044】
次に、計測装置20のデータリンク部23の紐づけ処理部23bは、抽出されたモデルデータとオブジェクトに係る3次元データとの紐づけ処理を行い(ステップB3)、その後、
図6のステップA4(
図8のステップC1)に進む。なお、モデルデータのボクセルグリッドに含まれる3次元データのみで差分を算出できる場合や、モデルデータとオブジェクトに係る3次元データとの相対的な特徴量を算出しない場合は、紐づけ処理を行わずにステップB3をスキップしてもよい。
【0045】
次に、実施形態1に係る計測装置の補間処理(
図6のステップA4)の詳細について図面を用いて説明する。
図8は、実施形態1に係る計測装置の補間処理の詳細を模式的に示したフローチャート図である。なお、計測装置の構成については
図1を参照されたい。
【0046】
図6のステップA3の後(
図7のステップB3の後)、計測装置20の補間部24の補間方法設定部24aは、データリンク部23でデータリンク処理された3次元データにおいて欠損箇所の有無を判断する(ステップC1)。欠損箇所がない場合、ステップC2及びステップC3をスキップして
図6のステップA5(
図9のステップD1)に進む。また、欠損箇所があっても補間しないで、3次元データとモデルデータの差分を算出することができる場合は、ステップC2及びステップC3をスキップして
図6のステップA5(
図9のステップD1)に進むようにしてもよい。
【0047】
欠損箇所がある場合、計測装置20の補間部24の補間方法設定部24aは、データリンク部23でデータリンク処理された3次元データに対して行う補間方法を設定する(ステップC2)。
【0048】
次に、計測装置20の補間部24の補間処理部24bは、補間方法設定部24aで設定された補間方法にしたがって、データリンク部23でデータリンク処理された3次元データに対して補間処理を行い(ステップC3)、その後、
図6のステップA5(
図9のステップD1)に進む。
【0049】
次に、実施形態1に係る計測装置の計測処理(
図6のステップA5)の詳細について図面を用いて説明する。
図9は、実施形態1に係る計測装置の計測処理の詳細を模式的に示したフローチャート図である。なお、計測装置の構成については
図1を参照されたい。
【0050】
図6のステップA4の後(
図8のステップC3の後)、計測装置20の計測部25の算出項目設定部25aは、補間部24で補間処理された3次元データ(補間処理していない場合はデータリンク部23でデータリンク処理された3次元データ)と、対応するモデルデータとの差分(予実差)を算出するための算出項目を設定する(ステップD1)。
【0051】
次に、計測装置20の計測部25の計測処理部25bは、設定された算出項目(例えば、体積)に応じて、補間部24で補間処理された3次元データ(補間処理していない場合はデータリンク部23でデータリンク処理された3次元データ)に対して、前処理(例えば、モデルデータに対してボクセルグリッドによる分割処理)を行う(ステップD2)。なお、前処理が不要な算出項目の場合、ステップD2をスキップする。
【0052】
次に、計測装置20の計測部25の計測処理部25bは、算出項目設定部25aで設定された算出項目にしたがって、補間部24で補間処理された3次元データ(補間処理していない場合はデータリンク部23でデータリンク処理された3次元データ)と、対応するモデルデータとを比較(ボクセルグリッドがある場合はボクセル単位で比較)して全体の差分を算出(計測処理)し(ステップD3)、その後、
図6のステップA6に進む。
【0053】
以上の実施形態1は、建設業界における作業の進捗管理を例に説明したが、ガス、電力業界における設備の敷設、保守管理に適用してもよく、工事現場以外に適用してもよい。例えば、人の動作を時系列でモデルデータとして作成し、モデルデータに合わせて人の動作を教育する用途に適用してもよい。また、実施形態1は、モデルデータと3次元データの差分をリアルタイムで算出し、差分が0に収束するようにロボット等を制御するようなシステムに適用してもよい。また、実施形態1は、施工済みの現場に対して3次元センサで3次元データを取得し、取得した3次元データとモデルデータとの差分を比較することで施工済みの設備の保守および点検に活用してもよい。例えば、施工済みの3次元データとモデルデータをリアルタイムで差分の算出を行い、誤差が閾値を超えたタイミングで管理者の端末にアラートを通知するようにしてもよい。
【0054】
実施形態1によれば、3次元データに欠損箇所がある場合に、当該欠損箇所に対して補間処理を行った上で計測処理を行っているので、モデルデータと3次元データとの比較において、3次元データに欠損が生じている状況でも時間をかけずに高精度に予実差を算出することに貢献することができる。
【0055】
また、実施形態1によれば、モデルデータと3次元データとをリアルタイムで比較することにより、施工の作業者に対して必要な作業の量(距離、量、角度など)を定量的に知らせることができ、経験の浅い作業者でも作業を容易に行うことができる。特に、進捗状況をリアルタイムに作業者へ通達することで、作業のガイダンスとして活用することができ、作業者は過不足なく作業を行うことができる。例えば、
図2のような電柱の敷設工事においては、敷設が完了した電柱51の本数を算出することで、進捗状況が判断できる。また、盛土工事においては、土量を計測することで、進捗状況が判断できる。進捗状況の他に、例えば、建設機械41の操縦者の端末に対して敷設場所までの距離を通達したり、点検作業者に対して、成果物とモデルデータに乖離がある箇所を通達することもできる。
【0056】
また、実施形態1によれば、モデルデータと3次元データとをリアルタイムで比較することにより、保守および点検において設備の形状の変化等を早期に発見することができる。
【0057】
また、実施形態1によれば、モデルデータ56~58や計測結果81~86を、作業員が装着するスマートグラス等のデバイスで表示することにより、モデルデータ56~58や計測結果81~86を調べる必要がなくなり、正確かつ効率的に作業を行うことがきる。
【0058】
また、実施形態1によれば、補間処理を行った上で差分を算出することにより、作業現場の3次元データを精緻に取得する必要がなく、3次元センサの台数を削減することができる。
【0059】
また、実施形態1によれば、モデルデータと3次元データとの差分を用いて、建設機械の自動制御に応用することができる。
【0060】
また、実施形態1によれば、オブジェクト毎に補間方法を設定しているので、多様な形状に対して補間処理を適用できる。
【0061】
さらに、実施形態1によれば、算出した差分の情報を用いることで、作業者への作業指示や、作業の進捗状況の管理、保守・点検の自動化等へ適用することができる。
【0062】
[実施形態2]
実施形態2に係る計測装置について図面を用いて説明する。
図10は、実施形態2に係る計測装置の構成を模式的に示したブロック図である。
【0063】
計測装置20は、実際のオブジェクトを含む撮影対象物から取得した3次元データと、予め作成されたモデルデータとの差分(予実差)を計測する装置である。計測装置20は、補間部24と、計測部25と、を備える。
【0064】
補間部24は、少なくとも1つのオブジェクトを含む撮影対象物のイメージを3次元で表現した3次元データの欠損箇所に対して補間処理を行うように構成されている。計測部25は、補間処理された3次元データと、成果のイメージを3次元で表現したモデルデータとを比較して差分を算出するように構成されている。
【0065】
補間部24は、補間方法設定部24aと、補間処理部24bと、を備える。補間方法設定部24aは、3次元データの欠損箇所の補間方法を設定するように構成されている。補間処理部24bは、設定された補間方法にしたがって、3次元データの欠損箇所を補間処理するように構成されている。
【0066】
実施形態2によれば、3次元データに欠損箇所がある場合に、当該欠損箇所に対して補間処理を行った上で計測処理を行っているので、モデルデータと3次元データとの比較において、3次元データに欠損が生じている状況でも時間をかけずに高精度に予実差を算出することに貢献することができる。
【0067】
なお、実施形態1、2に係る計測装置は、いわゆるハードウェア資源(情報処理装置、コンピュータ)により構成することができ、
図11に例示する構成を備えたものを用いることができる。例えば、ハードウェア資源100は、内部バス104により相互に接続される、プロセッサ101、メモリ102、ネットワークインタフェイス103等を備える。
【0068】
なお、
図11に示す構成は、ハードウェア資源100のハードウェア構成を限定する趣旨ではない。ハードウェア資源100は、図示しないハードウェア(例えば、入出力インタフェイス)を含んでもよい。あるいは、装置に含まれるプロセッサ101等のユニットの数も
図11の例示に限定する趣旨ではなく、例えば、複数のプロセッサ101がハードウェア資源100に含まれていてもよい。プロセッサ101には、例えば、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、GPU(Graphics Processing Unit)等を用いることができる。
【0069】
メモリ102には、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)等を用いることができる。
【0070】
ネットワークインタフェイス103には、例えば、LAN(Local Area Network)カード、ネットワークアダプタ、ネットワークインタフェイスカード等を用いることができる。
【0071】
ハードウェア資源100の機能は、上述の処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ102に格納されたプログラムをプロセッサ101が実行することで実現される。また、そのプログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。即ち、上記処理モジュールが行う機能は、何らかのハードウェアにおいてソフトウェアが実行されることによって実現できればよい。
【0072】
上記実施形態の一部または全部は以下の付記のようにも記載され得るが、以下には限られない。
【0073】
[付記1]
少なくとも1つのオブジェクトを含む撮影対象物のイメージを3次元で表現した3次元データの欠損箇所に対して補間処理を行うように構成された補間部と、
補間処理された前記3次元データと、成果のイメージを3次元で表現したモデルデータとを比較して差分を算出するように構成された計測部と、
を備え、
前記補間部は、
前記3次元データの前記欠損箇所の補間方法を設定するように構成された補間方法設定部と、
設定された前記補間方法にしたがって、前記3次元データの前記欠損箇所を補間処理するように構成された補間処理部と、
を備える、計測装置。
[付記2]
前記計測部は、
前記差分の算出に関する算出項目を設定するように構成された算出項目設定部と、
設定された前記算出項目にしたがって、補間処理された前記3次元データと、対応する前記モデルデータとの差分を算出するように構成された計測処理部と、
を備える、
付記1記載の計測装置。
[付記3]
前記算出項目は、位置、座標、大きさ、体積、面積、高さ、幅、奥行き、深さ、角度、色、反射強度、及び弛度のいずれかである、
付記2記載の計測装置。
[付記4]
前記計測処理部は、前記モデルデータに対して前記補間処理を補助する前処理を行い、設定された前記算出項目にしたがって、補間処理された前記3次元データと、前処理された前記モデルデータとの差分を算出するように構成されている、
付記2又は3記載の計測装置。
[付記5]
前記前処理では、前記算出項目が体積のときに、前記モデルデータに対してボクセルグリッドによる分割処理を行い、
前記計測処理部は、補間処理された前記3次元データと、前処理された前記モデルデータとの差分をボクセル単位で算出するように構成されている、
付記4記載の計測装置。
[付記6]
前記3次元データは、点群データであり、
前記計測処理部は、前記点群データの点群の密度に応じて前記ボクセルグリッドの大きさを自動調整するように構成されている、
付記5記載の計測装置。
[付記7]
前記3次元データと、対応する前記モデルデータとをオブジェクト単位でデータリンク処理するデータリンク部を備え、
前記補間部は、データリンク処理された前記3次元データの前記欠損箇所に対して補間処理を行うように構成されている、
付記1乃至6のいずれか一に記載の計測装置。
[付記8]
前記データリンク部は、
前記3次元データに対して、オブジェクト毎に分割処理を行うように構成されたデータ分割部と、
分割処理された前記3次元データごとに、対応する前記モデルデータを抽出し、抽出された前記モデルデータと、分割処理された前記3次元データとの紐づけ処理を行う紐付け処理部と、
を備える、
付記7記載の計測装置。
[付記9]
前記3次元データ、前記モデルデータ、及び、前記計測部の計測結果のいずれかを仮想空間又は現実空間上に表示するように処理する表示処理部を備える、
付記1乃至8のいずれか一に記載の計測装置。
[付記10]
3次元センサで撮影された前記撮影対象物の前記3次元データを取得するように構成された3次元データ取得部を備える、
付記1乃至9のいずれか一に記載の計測装置。
[付記11]
前記モデルデータを取得するように構成されたモデルデータ取得部を備える、
付記1乃至10のいずれか一に記載の計測装置。
[付記12]
少なくとも1つのオブジェクトを含む撮影対象物を計測する計測方法であって、
計測装置が、少なくとも1つのオブジェクトを含む撮影対象物のイメージを3次元で表現した3次元データの欠損箇所の補間方法を設定するステップと、
前記計測装置が、設定された前記補間方法にしたがって、前記3次元データの前記欠損箇所を補間処理するステップと、
前記計測装置が、補間処理された前記3次元データと、成果のイメージを3次元で表現したモデルデータとを比較して差分を算出するステップと、
を含む、計測方法。
[付記13]
少なくとも1つのオブジェクトを含む撮影対象物を計測する処理を計測装置に実行させるプログラムであって、
少なくとも1つのオブジェクトを含む撮影対象物のイメージを3次元で表現した3次元データの欠損箇所の補間方法を設定する処理と、
前記計測装置が、設定された前記補間方法にしたがって、前記3次元データの前記欠損箇所を補間処理する処理と、
前記計測装置が、補間処理された前記3次元データと、成果のイメージを3次元で表現したモデルデータとを比較して差分を算出する処理と、
を前記計測装置に実行させる、プログラム。
【0074】
なお、上記の特許文献の各開示は、本書に引用をもって繰り込み記載されているものとし、必要に応じて本発明の基礎ないし一部として用いることが出来るものとする。本発明の全開示(特許請求の範囲及び図面を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素(各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む)の多様な組み合わせないし選択(必要により不選択)が可能である。すなわち、本発明は、請求の範囲及び図面を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、本願に記載の数値及び数値範囲については、明記がなくともその任意の中間値、下位数値、及び、小範囲が記載されているものとみなされる。さらに、上記引用した文献の各開示事項は、必要に応じ、本願発明の趣旨に則り、本願発明の開示の一部として、その一部又は全部を、本書の記載事項と組み合わせて用いることも、本願の開示事項に含まれる(属する)ものと、みなされる。
【符号の説明】
【0075】
10、11、12 3次元センサ
20 計測装置
21 3次元データ取得部
22 モデルデータ取得部
23 データリンク部
23a データ分割部
23b 紐づけ処理部
24 補間部
24a 補間方法設定部
24b 補間処理部
25 計測部
25a 算出項目設定部
25b 計測処理部
26 表示処理部
30、31 モデルデータ
40 作業現場
41 建設機械
42 建設機械
43 高所作業車
51 電柱
52 盛土
53 電線
56、57、58 モデルデータ
60、70 オブジェクト
61、71、63 点群データ
62、72 補間点群データ
80 障害物
81~86 計測結果
90 ボクセルグリッド
100 ハードウェア資源
101 プロセッサ
102 メモリ
103 ネットワークインタフェイス
104 内部バス