特許 7133971 ３次元モデル生成装置及び３次元モデル生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-01

(45)【発行日】2022-09-09

(54)【発明の名称】３次元モデル生成装置及び３次元モデル生成方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220902BHJP

   G01C 7/02 20060101ALI20220902BHJP

【ＦＩ】

G06T7/00 C

G01C7/02

【請求項の数】 4

(21)【出願番号】P 2018087756

(22)【出願日】2018-04-27

(65)【公開番号】P2019192170

(43)【公開日】2019-10-31

【審査請求日】2021-02-15

(73)【特許権者】

【識別番号】000002299

【氏名又は名称】清水建設株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100161506

【弁理士】

【氏名又は名称】川渕 健一

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(72)【発明者】

【氏名】鳴海 智博

【審査官】小池 正彦

(56)【参考文献】

【文献】特開２０１５－１６５４２０（ＪＰ，Ａ）

【文献】特開２０１７－１０７４４３（ＪＰ，Ａ）

【文献】国際公開第２０１１／０７０９２７（ＷＯ，Ａ１）

【文献】国際公開第２０１６／１３９８１９（ＷＯ，Ａ１）

【文献】ＧＰＳから3次元レーザスキャナーまで 測量最前線 New Waves of Surveying，ＣＡＤ＆ＣＧ ＭＡＧＡＺＩＮＥ，第5巻 第12号，2003年12月01日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０１Ｃ ７／０２

(57)【特許請求の範囲】

【請求項1】

測定対象物を計測して計測データを取得する計測部と、
前記測定対象物を撮像する撮像部と、
前記撮像部で撮像した画像データから、３次元モデルの生成に不要な物体を判定する抽出物体判定部と、
前記抽出物体判定部での判定結果を基に、前記計測部から取得された計測データから、前記３次元モデルの生成に不要な物体に対応する領域の部分を除去し、当該不要な物体に対応する領域の部分が除去された測定対象物の計測データを用いて３次元モデルを生成する３次元モデル生成部と、を有し、
前記抽出物体判定部は、前記３次元モデルの生成に不要な物体を含む画像から学習により生成された判別モデルを用いて、前記撮像部で撮像した画像データから、前記３次元モデルの生成に不要な物体を判定する
３次元モデル生成装置。

【請求項2】

前記計測部は、測定対象物を距離センサで計測し、３次元点群データを計測データとして取得する
請求項１に記載の３次元モデル生成装置。

【請求項3】

前記測定対象物は、施工対象物であり、
前記判別モデルは、作業員、重機、資材のうち少なくとの何れか１つを対象して撮像された画像群を前記３次元モデルの生成に不要な物体として学習して生成したモデルである
請求項１に記載の３次元モデル生成装置。

【請求項4】

測定対象物を計測して計測データを取得する工程と、
前記測定対象物を撮像する工程と、
前記撮像した画像データから、３次元モデルの生成に不要な物体を判定する工程と、
前記判定した結果を基に、前記計測データから、前記３次元モデルの生成に不要な物体に対応する領域の部分を除去する工程と、
前記不要な物体に対応する領域の部分が除去された計測データを用いて３次元モデルを生成する工程と、
を含み、
前記判定する工程は、前記３次元モデルの生成に不要な物体を含む画像から学習により生成された判別モデルを用いて、前記撮像する工程で撮像した画像データから、前記３次元モデルの生成に不要な物体を判定することを含む
３次元モデル生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３次元モデル生成装置及び３次元モデル生成方法に関する。

【背景技術】

【0002】

建設現場の生産性向上のため、日々の出来形管理などに、３次元モデル生成手法が活用されつつある（例えば特許文献１）。３次元モデル生成手法としては、ＬＩＤＡＲ(Light Detection and Ranging)を用いたＳＬＡＭ(Simultaneous Localization and Mapping)の技術や、カメラを用いたＶｉｓｕａｌ ＳＬＡＭやＳｆＭ(Structure from Motion)の技術が提案されている。ＬＩＤＡＲは、直接距離を測定することができるため、Ｖｉｓｕａｌ ＳＬＡＭやＳｆＭに比べて形状の精度が高いが、取得した点群データにはＲＧＢ情報が含まれていない。一方、カメラを用いたＶｉｓｕａｌ ＳＬＡＭやＳｆＭの技術は、ＲＧＢ情報を持っているが、視差による測量であるため、ＬＩＤＡＲに比べて一般的に精度が劣る。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第４７６９０２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

建設現場には、作業員、重機、資材など、出来形管理の３次元モデルに不要な様々なものが多くある。ＬＩＤＡＲを用いて３次元モデルを生成する場合でも、カメラを用いて３次元モデルを生成する場合でも、これら出来形管理に不要なものが写り込んだまま３次元モデルを生成すると、不要物体の形状が測定物体の３次元モデルに残ってしまい、出来形管理の支障となる。また、作業員、重機、資材等は頻繁に動くため、３次元モデルの中にノイズとなって残り、３次元モデルの精度を低下させる。

【0005】

本発明は、このような課題に鑑みてなされたものであり、不要物体やノイズが混入されることなく、測定対象物の３次元モデルを正確に生成できる３次元モデル生成装置及び３次元モデル生成方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上述の課題を解決するために、本発明の一態様に係る３次元モデル生成装置は、測定対象物を計測して計測データを取得する計測部と、前記測定対象物を撮像する撮像部と、前記撮像部で撮像した画像データから、３次元モデルの生成に不要な物体を判定する抽出物体判定部と、前記抽出物体判定部での判定結果を基に、前記計測部から取得された計測データから、前記３次元モデルの生成に不要な物体に対応する領域の部分を除去し、当該不要な物体に対応する領域の部分が除去された測定対象物の計測データを用いて３次元モデルを生成する３次元モデル生成部と、を有し、前記抽出物体判定部は、前記３次元モデルの生成に不要な物体を含む画像から学習により生成された判別モデルを用いて、前記撮像部で撮像した画像データから、前記３次元モデルの生成に不要な物体を判定することを特徴とする。

【0007】

本発明の一態様に係る３次元モデル生成方法は、測定対象物を計測して計測データを取得する工程と、前記測定対象物を撮像する工程と、前記撮像した画像データから、３次元モデルの生成に不要な物体を判定する工程と、前記判定した結果を基に、前記計測データから、前記３次元モデルの生成に不要な物体に対応する領域の部分を除去する工程と、前記不要な物体に対応する領域の部分が除去された計測データを用いて３次元モデルを生成する工程と、を含み、前記判定する工程は、前記３次元モデルの生成に不要な物体を含む画像から学習により生成された判別モデルを用いて、前記撮像する工程で撮像した画像データから、前記３次元モデルの生成に不要な物体を判定することを含むことを特徴とする。

【発明の効果】

【0008】

本発明によれば、測定対象物以外の３次元モデルを生成するのに不要な物体が存在する状況において計測を行ったとしても、不要な物体やノイズを含まず、測定対象物のみからなる３次元モデルを正確に生成できる。これにより、測定対象物として施工対象物の出来形を計測して３次元モデルを生成した場合に、出来形の３次元モデルを精度良く生成することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の第１の実施形態に係る３次元モデル生成装置の構成を示すブロック図である。

【図2】本発明の第１の実施形態に係る３次元モデル生成装置における抽出物体判定部の処理の概念図である。

【図3】本発明の第１の実施形態に係る３次元モデル生成装置の説明に用いるフローチャートである。

【図4】本発明の第２の実施形態に係る３次元モデル生成装置の構成を示すブロック図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施の形態について図面を参照しながら説明する。
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る３次元モデル生成装置１の構成を示すブロック図である。図１に示すように、本発明の第１の実施形態に係る３次元モデル生成装置１は、ＬＩＤＡＲ（light detection and ranging）１０と、カメラ２０と、３次元モデル生成部３０と、抽出物体判定部４０と、表示部５０とから構成される。なお、３次元モデル生成部３０及び抽出物体判定部４０は、ＰＣ（Personal Computer）等の画像解析用計算機６０により実現することができる。

【0011】

ＬＩＤＡＲ１０は、パルスレーザーの反射光を検出して距離計測を行い、周囲の３次元点群データを出力する。ＬＩＤＡＲ１０は、物体までの距離を点群の深度として計測する距離センサであり、測定対象物を計測して、３次元点群データを計測データとして取得する計測部となる。

【0012】

カメラ２０は、周囲の画像を撮像して、ＲＧＢ画像データを出力する。カメラ２０は、測定対象物を撮像する撮像部となる。なお、カメラ２０としては、ＬＩＤＡＲ１０の検出範囲と同等の視野のものを用いることが望ましい。例えば、ＬＩＤＡＲ１０が周囲３６０度の計測を行うものであれば、カメラ２０としては、周囲３６０度の撮像が行えるものが望ましい。また、カメラ２０は１台とは限らず、カメラ２０として複数のカメラを用いてＬＩＤＡＲ１０の検出範囲と同等の視野を確保するようにしても良い。また、ＬＩＤＡＲ１０とカメラ２０とは、その座標が対応付けられている。ＬＩＤＡＲ１０とカメラ２０との座標の対応付は、例えばＬＩＤＡＲ１０からの３次元点群データとカメラ２０からの画像データとの相関に基いて検出することができる。

【0013】

３次元モデル生成部３０は、ＬＩＤＡＲ１０からの３次元点群データを用いて３次元モデルを生成し、表示部５０に表示させる。３次元モデル生成部３０は、不要物体除去部３１と、ＳＬＡＭ(Simultaneous Localization and Mapping)処理部３２と、３次元表示画像生成部３３とを含む。不要物体除去部３１は、抽出物体判定部４０の判定出力を基に、ＬＩＤＡＲ１０から出力される３次元点群データの中から、作業員、重機、資材等、３次元モデルの生成に不要な物体に対応する部分を除去する。ＳＬＡＭ処理部３２は、不要物体除去部３１で不要部分が除去された３次元点群データを用いて、自己位置推定と環境地図作成とを同時に行い、３次元モデルを生成する。３次元表示画像生成部３３は、ＳＬＡＭ処理部３２で生成された３次元モデルを用いて、周囲の３次元モデルの表示画像を生成する。

【0014】

抽出物体判定部４０は、カメラ２０で撮像された画像から、作業員、重機、資材等、３次元モデルの生成に不要な物体を判定し、その判定結果を３次元モデル生成部３０に送る。

【0015】

表示部５０は、３次元モデル生成部３０で生成された３次元モデルを表示する。表示部５０としては、例えば、液晶ディスプレイが用いられる。

【0016】

本発明の第１の実施形態に係る３次元モデル生成装置１は、例えば建設現場で出来形管理を行うために用いられる。すなわち、出来形管理を行う場合、ＬＩＤＡＲ１０により施工対象物がスキャンされ、３次元モデル生成部３０により施工対象物の出来形の３次元モデルが生成されて、表示部５０に表示される。この３次元モデルを評価することで、出来形管理が行える。

【0017】

このようにして出来形管理を行う場合、必要とされる施工対象物の出来形のみから３次元モデルが生成されれば良い。ところが、建設現場には、作業員、資材、重機などが多くあり、これらは、多方向に移動する。このため、ＬＩＤＡＲ１０によりスキャンした３次元点群データの中に、このような不要な物体が含まれてしまうと、出来形管理の精度を低下させる。

【0018】

そこで、本実施形態では、抽出物体判定部４０により、カメラ２０で撮像された画像から、作業員、重機、資材等、建設現場の３次元モデルの生成に不要な物体を判定し、その判定結果を３次元モデル生成部３０の不要物体除去部３１に送っている。不要物体除去部３１は、ＬＩＤＡＲ１０からの３次元点群データの中から、抽出物体判定部４０での判定結果を基に、３次元モデルの生成に不要な物体に対応する部分を除去する。ＳＬＡＭ処理部３２は、不要物体除去部３１で不要部分が除去された３次元点群データを用いて、ＳＬＡＭ処理を行い、３次元モデルを生成する。これにより、施工対象物の出来形のみから３次元モデルが生成できる。

【0019】

抽出物体判定部４０での物体認識には、ＹＯＬＯ（You Look Only Ones）、ＳＳＤ（Single Shot Multibox Detector）等の深層学習技術を用いた手法が使用できる。図２は、本発明の第１の実施形態に係る３次元モデル生成装置１における抽出物体判定部４０での処理の概念図である。

【0020】

（処理ＰＲＣ１）抽出物体判定部４０は、物体認識を行う場合には、除去したい物体について様々な角度や背景の画像を訓練データとして用いて予め学習させておく。出来形管理では、作業員、重機、資材等が３次元モデルの生成に不要な物体となる。したがって、抽出物体判定部４０は、作業員、重機、資材等について、様々な角度や背景の画像群を訓練データとして用意する。例えば、除去したい物体が作業員であれば、作業員が立っている姿勢における正面や側面、背面の画像や、作業中の姿勢を撮像した画像群を訓練データとして用意する。

【0021】

（処理ＰＲＣ２）抽出物体判定部４０は、これらの除去したい物体の訓練データを多数用いて、物体認識の学習を行い、判別モデルを生成する。学習は、例えばＡＩ（Artificial Intelligence）技術を用いた、機械学習、強化学習、複数の中間層を含むニューラルネットワークによるディープラーニングのうちいずれかを用いることができる。また、学習方式としては、教師あり学習であっても教師無し学習であってもよい。

【0022】

（処理ＰＲＣ３）抽出物体判定部４０は、生成された判別モデルを用いて、カメラ２０からのＲＧＢ画像データから除去したい物体を判別する。抽出物体判定部４０は、判定の結果、認識精度が閾値以上の物体の領域を不要物体の部分として不要物体除去部３１に送る。

【0023】

以上のようにして、抽出物体判定部４０では、カメラ２０で撮像された画像から、作業員、重機、資材等、建設現場の３次元モデルの生成に不要な物体をリアルタイムに判定することができる。

【0024】

なお、この例では、３次元モデルの生成に不要な物体として、作業員、重機、資材等を例に挙げたが、３次元モデルの生成に不要な物体は、これらに限定されるものではない。また、３次元モデルの生成に不要な物体は、周囲の環境、３次元モデルの使用目的等に依存して、様々なものが考えられる。

【0025】

図３は、本発明の第１の実施形態に係る３次元モデル生成装置１の説明に用いるフローチャートである。

【0026】

（ステップＳ１）３次元モデル生成部３０は、ＬＩＤＡＲ１０からの３次元点群データを取得して、処理をステップＳ２に進める。

【0027】

（ステップＳ２）抽出物体判定部４０は、カメラ２０で撮像された画像を解析し、処理をステップＳ３に進める。画像の解析では、前述したように、学習により生成された判別モデルを用いて、カメラ２０からのＲＧＢ画像データから、作業員、重機、資材等、３次元モデルの生成する際に不要な物体を判別する。

【0028】

（ステップＳ３）抽出物体判定部４０は、カメラ２０で撮像された画像から、３次元モデルを生成する際に不要な物体が認識されたか否かを判定する。３次元モデルを生成する際に不要な物体が認識されたら（ステップＳ３：Ｙｅｓ）、処理をステップＳ４に進め、３次元モデルを生成する際に不要な物体が認識されなければ（ステップＳ３：Ｎｏ）、処理をステップＳ５に進める。

【0029】

（ステップＳ４）３次元モデル生成部３０は、ＬＩＤＡＲ１０からの３次元点群データの中から、ステップＳ３で抽出物体判定部４０により認識された領域にある３次元点群データを除去して、処理をステップＳ５に進める。

【0030】

（ステップＳ５）３次元モデル生成部３０は、３次元点群データを用いてＳＬＡＭ処理を行って３次元モデルを生成し、処理をステップＳ６に進める。

【0031】

（ステップＳ６）３次元モデル生成部３０は、ＳＬＡＭ処理部３２で生成された３次元モデルを基に、３次元表示画像を生成し、表示部５０に表示させる。

【0032】

（ステップＳ７）３次元モデル生成部３０は、計測処理を終了するか否かを判定し、終了しなければ（ステップＳ７：Ｎｏ）、処理をステップＳ１に戻す。計測処理が終了すれば（ステップＳ７：Ｙｅｓ）、処理は終了となる。

【0033】

以上説明したように、本発明の第１の実施形態では、カメラ２０で撮像された画像から、作業員、重機、資材等、建設現場の３次元モデルの生成に不要な物体を判定し、ＬＩＤＡＲ１０からの３次元点群データの中から、３次元モデルの生成に不要な物体に対応する部分を除去して３次元モデルを生成している。これにより、最終的に生成された３次元モデルにおいてノイズが低減され、正確な出来形の把握ができるようになる。

【0034】

＜第２の実施形態＞
図４は、本発明の第２の実施形態に係る３次元モデル生成装置１０１の構成を示すブロック図である。図４に示すように、本発明の第２の実施形態に係る３次元モデル生成装置１０１は、カメラ１２０と、３次元モデル生成部１３０と、抽出物体判定部１４０と、表示部１５０とから構成される。なお、３次元モデル生成部１３０及び抽出物体判定部１４０は、ＰＣ等の画像解析用計算機１６０により実現することができる。

【0035】

カメラ１２０は、周囲の画像を撮像して、ＲＧＢ画像データを出力する。カメラ１２０は、測定対象物を計測して計測データを取得する計測部となるとともに、不要物体の抽出に用いられる。なお、この例では１つのカメラ１２０のみを図示しているが、カメラは複数台あっても良い。また、測定対象物を計測して計測データを取得するカメラと、不要物体の抽出に用いられるカメラとを分けて設けても良い。

【0036】

３次元モデル生成部１３０は、カメラ１２０からの画像データを用いて３次元モデルを生成し、表示部１５０に表示させる。３次元モデル生成部１３０は、不要物体除去部１３１と、Ｖｉｓｕａｌ ＳＬＡＭ処理部１３２と、３次元表示画像生成部１３３とを含む。不要物体除去部１３１は、抽出物体判定部１４０の判定出力を基に、カメラ１２０から出力される画像データの中から、作業員、重機、資材等、３次元モデルの生成に不要な物体に対応する部分を除去する。Ｖｉｓｕａｌ ＳＬＡＭ処理部１３２は、不要物体除去部１３１で不要部分が除去された画像データを用いて、自己位置推定と環境地図作成とを同時に行い、３次元モデルを生成する。３次元表示画像生成部１３３は、Ｖｉｓｕａｌ ＳＬＡＭ処理部１３２で生成された３次元モデルを用いて、周囲の３次元モデルの表示画像を生成する。

【0037】

抽出物体判定部１４０は、カメラ１２０で撮像された画像から、作業員、重機、資材等、３次元モデルの生成に不要な物体を判定し、その判定結果を３次元モデル生成部１３０に送る。

【0038】

表示部１５０は、３次元モデル生成部１３０で生成された３次元モデルを表示する。表示部１５０としては、例えば、液晶ディスプレイが用いられる。

【0039】

図１に示した第１の実施形態に係る３次元モデル生成装置１では、ＬＩＤＡＲ１０から取得された３次元点群データから３次元モデルを生成しているのに対して、この第２の実施形態に係る３次元モデル生成装置１０１では、カメラ１２０から取得された画像データから３次元データを推定して、３次元モデルを生成している。ここでは、カメラ１２０から取得された画像データから３次元データを推定する手法として、Ｖｉｓｕａｌ ＳＬＡＭが用いられる。なお、カメラ１２０から取得された画像データから３次元データを推定する手法として、ＳｆＭ（Structure from Motion ）を用いても良い。他の構成については、第１の実施形態と同様である。

【0040】

上述した実施形態における３次元モデル生成装置１及び１０１の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

【0041】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0042】

１０…ＬＩＤＡＲ、２０…カメラ、３０…３次元モデル生成部、３１…不要物体除去部、３２…ＳＬＡＭ処理部、１２０…カメラ、１３０…３次元モデル生成部、１３１…不要物体除去部、１３２…Ｖｉｓｕａｌ ＳＬＡＭ処理部

【図1】

【図2】

【図3】

【図4】