(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-24
(45)【発行日】2023-12-04
(54)【発明の名称】物体測定装置及び物体測定方法
(51)【国際特許分類】
G06T 7/13 20170101AFI20231127BHJP
G01B 11/24 20060101ALI20231127BHJP
【ＦＩ】
G06T7/13
G01B11/24 K
【請求項の数】
6
(21)【出願番号】P 2022000640
(22)【出願日】2022-01-05
(65)【公開番号】P2023100159
(43)【公開日】2023-07-18
【審査請求日】2022-12-08
(73)【特許権者】
【識別番号】521233943
【氏名又は名称】株式会社 ＳＡＩ
(74)【代理人】
【識別番号】110000855
【氏名又は名称】弁理士法人浅村特許事務所
(72)【発明者】
【氏名】伊藤 徹
(72)【発明者】
【氏名】福間 康文
(72)【発明者】
【氏名】ザイシン マオ
(72)【発明者】
【氏名】塚田 央
【審査官】新井 則和
(56)【参考文献】
【文献】特開２０１４－１５３９１４（ＪＰ，Ａ）
【文献】特開２０１６－０７０６８３（ＪＰ，Ａ）
【文献】特開２０１１－２３７２７９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／１３
Ｇ０１Ｂ １１／２４
(57)【特許請求の範囲】
【請求項1】
物体測定装置であって、取得した画像を入力データとして学習済モデルに入力することにより前記画像中の物体領域を認識し、前記物体領域を認識結果として出力する、物体認識部と、
前記物体認識部で認識した前記物体領域についてエッジ検出方向を決定する、エッジ検出方向決定部と、
前記物体認識部で認識した前記物体領域についてエッジ処理領域を決定する、エッジ処理領域決定部と、
前記エッジ処理領域決定部で決定した前記エッジ処理領域に対して、前記エッジ検出方向決定部で決定した前記エッジ検出方向にてエッジ検出を行うエッジ検出部と
を備えることを特徴とする、物体測定装置。
【請求項2】
前記物体認識部が前記物体領域の認識に用いる前記学習済モデルは、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから生成された正解画像を正解データとし、前記ＢＩＭデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより生成されることを特徴とする、請求項１に記載の物体測定装置。
【請求項3】
前記エッジ検出方向決定部は、前記物体認識部で認識した前記物体領域の境界を示す境界線を直線で近似した線である近似線を生成し、前記近似線には第１の方向の近似線と前記第１の方向に直交する第２の方向の近似線が含まれ、前記第１の方向の近似線と前記第２の方向の近似線とを比較し、長さがより長い方を測定対象の物体を構成するエッジとして決定することを特徴とする、請求項１に記載の物体測定装置。
【請求項4】
前記エッジ処理領域決定部は、前記エッジ検出方向決定部で決定した前記エッジから、前記エッジに直交する方向への距離が閾値以下の範囲をエッジ処理領域として決定することを特徴とする、請求項１に記載の物体測定装置。
【請求項5】
物体測定方法であって、取得した画像を入力データとして学習済モデルに入力することにより前記画像中の物体を認識し、前記物体の領域を認識結果として出力するステップと、
前記認識結果として出力された前記物体の領域についてエッジ検出方向を決定するエッジ検出方向を決定するステップと、
前記認識結果として出力された前記物体の領域についてエッジ処理領域を決定するエッジ処理領域を決定するステップと、
前記エッジ処理領域に対してエッジ検出を行うステップと
を備えることを特徴とする、物体測定方法。
【請求項6】
コンピュータに、請求項５に記載の方法の各ステップを実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物体測定装置及び物体測定方法に関し、特に、空間内に存在する物体の形状を高精度で測定するための物体測定装置及び物体測定方法に関するものである。
【背景技術】
【0002】
建築途中のビル等の建築物について施工状況を確認するためには、空間内において資材として認識すべき物体の形状を高精度で認識することが求められる。従来においても、カメラやセンサを用いて空間内のデータを取得し、物体の形状を測定することが試みられている。しかしながら、建築途中のビル等の空間内には、パイプや柱、ダクト、窓枠、パネル等の多くの物体が存在するため、取得した画像から抽出した多数の直線や曲線のうち、どの直線を資材として認識すべき物体とすれば良いかの判断は自動化することが難しく、人手により物体の領域を指定することが多く、手間と時間が要するという問題があった。
【0003】
一方、人手によらず、取得した画像中の物体を自動で認識するシステムを用いて空間中の物体を認識する場合、より高精度が求められる利用目的に対しては、十分な精度を得ることが困難であった。例えば、建築途中の建築物の施工状況を把握するという目的においては、資材が計画通りに設置されているかを把握する必要があり、資材の正確な位置や形状、寸法を測定することが求められる。このような目的に対しても十分に対応可能なシステムが求められる。
【0004】
例えば、特許文献１では、「既存図面から取得した建築物の既存部分の電子化データを３次元ＣＡＤデータに変換して、３次元レーザースキャナにより取得された点群データや該点群データから作成された３次元ポリゴンモデルを含む各種現場調査データと共に格納する既存部分調査手段と、前記３次元ポリゴンモデルに対して、予め部材ライブラリに格納された部材オブジェクトの中から選択された新たに施工される部材オブジェクトを配置する施工部材設計手段と、該施工部材設計手段により配置された前記部材オブジェクトに従って部材工場でプレカットされた部材に取り付けられた電子タグをＩＤリーダで読み取ることにより得られた前記部材オブジェクト固有のＩＤに対応する部材オブジェクトをその施工位置情報と共に前記施工部材設計手段により設計された３次元ＣＡＤモデルから検索して出力する部材施工位置出力手段と、して機能するＣＰＵと、該ＣＰＵの前記部材施工位置出力手段により出力された前記部材オブジェクトの施工位置情報に基づき、前記既存部分における前記部材の施工位置を指し示す自動位置指示装置と」を備えた建築生産システムが開示されている。
【0005】
また、特許文献２では、「撮像装置を用いて実空間を撮像することにより生成される入力画像を取得する画像取得部と、前記入力画像に映る１つ以上の特徴点の位置に基づいて、前記実空間と前記撮像装置との間の相対的な位置及び姿勢を認識する認識部と、認識される前記相対的な位置及び姿勢を用いた拡張現実アプリケーションを提供するアプリケーション部と、前記認識部により実行される認識処理が安定化するように、前記特徴点の分布に従って、前記撮像装置を操作するユーザを誘導する誘導オブジェクトを前記入力画像に重畳する表示制御部と、を備える画像処理装置」が開示されている。
【0006】
３次元空間あるいは３次元空間内の物体を把握するための技術を開示しているが、特に建設途中のビルや工場等、空間内にパイプや柱、ダクト、窓枠、パネル等の多くの物体が複雑に入り組む現場において、空間内の注目すべき資材を効率的に把握し高精度で物体の形状を測定するために適したものではなかった。
【先行技術文献】
【特許文献】
【0007】
【文献】特開２０１３－１４９１１９号公報
【文献】特開２０１３－２２５２４５号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
そこで、本発明は、上記課題を解決し、機械学習モデルを用いて物体を認識し、エッジ検出方向の決定とエッジ処理をすべき領域の決定を自動化し、例えばサブピクセル単位等の高精度なエッジ抽出により物体の形状を測定するための物体測定装置を提供するものである。
【0009】
また、本発明は、機械学習モデルを用いて物体を認識し、エッジ検出方向の決定とエッジ処理をすべき領域の決定を自動化し、例えばサブピクセル単位等の高精度なエッジ抽出により物体の形状を測定するための物体測定装置において用いられる機械学習モデルを生成するための機械学習モデル生成装置を提供する。
【0010】
また、本発明は、機械学習モデルを用いて物体を認識し、エッジ検出方向の決定とエッジ処理をすべき領域の決定を自動化し、例えばサブピクセル単位等の高精度なエッジ抽出により物体の形状を測定するための物体測定装置を含む物体測定システムを提供する。
【0011】
また、本発明は、機械学習モデルを用いて物体を認識し、エッジ検出方向の決定とエッジ処理をすべき領域の決定を自動化し、例えばサブピクセル単位等の高精度なエッジ抽出により物体の形状を測定するための物体測定方法を提供する。
【0012】
また、本発明は、上記物体測定方法の各ステップをコンピュータに実行させるためのプログラムを提供する。
【課題を解決するための手段】
【0013】
上記課題を解決するため、本発明では、物体測定装置であって、取得した画像を入力データとして学習済モデルに入力することにより画像中の物体領域を認識し、物体領域を認識結果として出力する、物体認識部と、物体認識部で認識した物体領域についてエッジ検出方向を決定する、エッジ検出方向決定部と、物体認識部で認識した物体の領域についてエッジ処理領域を決定する、エッジ処理領域決定部と、エッジ処理領域決定部で決定したエッジ処理領域に対して、エッジ検出方向決定部で決定したエッジ検出方向にてエッジ検出を行うエッジ検出部とを備えることを特徴とする、物体測定装置を提供する。
【0014】
本発明の物体測定装置において、物体認識部が物体領域の認識に用いる学習済モデルは、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから生成された正解画像を正解データとし、ＢＩＭデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより生成されることを特徴とする。
【0015】
本発明の物体測定装置において、エッジ検出方向決定部は、物体認識部で認識した物体領域の境界を示す境界線を直線で近似した線である近似線を生成し、近似線には第１の方向の近似線と第１の方向に直交する第２の方向の近似線が含まれ、第１の方向の近似線と第２の方向の近似線とを比較し、長さがより長い方を測定対象の物体を構成するエッジとして決定することを特徴とする。
【0016】
本発明の物体測定装置において、エッジ処理領域決定部は、エッジ処理領域決定部は、エッジ検出方向決定部で決定したエッジから、エッジに直交する方向への距離が閾値以下の範囲をエッジ処理領域として決定することを特徴とする。
【0017】
また、本発明では、物体測定方法であって、取得した画像を入力データとして学習済モデルに入力することにより画像中の物体を認識し、物体の領域を認識結果として出力するステップと、認識結果として出力された物体の領域についてエッジ検出方向を決定するエッジ検出方向を決定するステップと、認識結果として出力された物体の領域についてエッジ処理領域を決定するエッジ処理領域を決定するステップと、エッジ処理領域に対してエッジ検出を行うステップとを備えることを特徴とする、物体測定方法を提供する。
【0018】
また、本発明では、コンピュータに、上記物体測定方法の各ステップを実行させることを特徴とするプログラムを提供する。
【0019】
本発明において、「ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データ」とは、コンピュータ上に再現された建物の３次元モデルのデータをいう。
【0020】
本発明において、「現実の画像」とは、現実の世界をカメラで撮影した写真等の画像をいう。
【発明の効果】
【0021】
本発明によれば、サブピクセル単位の精度で空間内の物体の形状を測定することができ、画像の分解能により向上できる精度、機械学習を用いた物体認識による向上できる精度、カメラ等による物体のスキャニングの工夫により向上できる精度を超えて、さらに高精度の物体測定を可能にすることができるという効果を奏する。
また、本発明は、建築現場等において建築途中の建築物の施工状況を把握するという目的に用いる場合にも十分な精度で物体の形状を測定することができる。
本発明の他の目的、特徴および利点は添付図面に関する以下の本発明の実施例の記載から明らかになるであろう。
また、本発明は、建築現場等において建築途中の建築物の施工状況を把握するという目的に用いる場合にも十分な精度で物体の形状を測定することができる。
本発明の他の目的、特徴および利点は添付図面に関する以下の本発明の実施例の記載から明らかになるであろう。
【図面の簡単な説明】
【0022】
【発明を実施するための形態】
【実施例1】
【0023】
図１は、本発明による物体測定装置１０の全体を示す概略図である。
本発明による物体測定装置１０は、取得した画像を入力データとして学習済モデルＭに入力することにより画像中の物体を認識し、物体の領域を認識結果として出力する、物体認識部１０３と、物体認識部１０３で認識した物体の領域についてエッジ検出方向を決定する、エッジ検出方向決定部１０４と、物体認識部１０３で認識した物体の領域についてエッジ処理領域を決定する、エッジ処理領域決定部１０５と、エッジ処理領域決定部１０５で決定したエッジ処理領域に対してエッジ検出を行うエッジ検出部１０６とを備える。
本発明による物体測定装置１０は、取得した画像を入力データとして学習済モデルＭに入力することにより画像中の物体を認識し、物体の領域を認識結果として出力する、物体認識部１０３と、物体認識部１０３で認識した物体の領域についてエッジ検出方向を決定する、エッジ検出方向決定部１０４と、物体認識部１０３で認識した物体の領域についてエッジ処理領域を決定する、エッジ処理領域決定部１０５と、エッジ処理領域決定部１０５で決定したエッジ処理領域に対してエッジ検出を行うエッジ検出部１０６とを備える。
【0024】
物体測定装置１０は、物体測定システム１の一部を構成するようにしてもよい。物体測定システム１は、機械学習モデルを用いて空間内の物体を認識し、物体の位置、形状、寸法等を測定するために用いられる。例えば、建築途中の施工現場において、作業の進捗を確認するために、施工現場をカメラで撮影し、撮影された画像内に含まれるパイプやダクト、柱、壁、窓枠、ケーブル、パネル等の構造物を認識して、位置、形状、寸法等を測定するために用いることができる。
【0025】
物体測定システム１は、撮像装置２０を含むようにしてもよい。撮像装置２０は、任意のカメラであってよく、例えば、静止画用のカメラ、動画用のカメラ、携帯端末に搭載されたモバイル・カメラ、ＣＣＤカメラ等であってもよい。物体測定システム１で認識の対象となる入力画像は、例えば、建設途中の施工現場を撮影した現場写真等の現実の画像である。現実の画像は、撮像装置２０から取得した画像である。物体測定システム１が撮像装置２０を含まない場合には、外部の撮像手段により撮像されて予めデータベース又はメモリ等（図示せず）に記憶されたものであってもよい。
【0026】
物体測定システム１は、機械学習モデル生成装置４０を含む。物体測定装置１０は、機械学習モデル生成装置４０により生成された機械学習済モデルを用いて空間内の物体の認識を行うが、機械学習モデル生成装置４０により新たな機械学習済モデルが生成された場合には、物体測定システム１は、物体測定装置１０の機械学習済モデルを新たな機械学習済モデルに更新するようにしてもよい。
【0027】
機械学習モデル生成装置４０が有する機能は、クラウド・サービス上に構築されるようにしてもよい。また、機械学習モデル生成装置４０と物体測定装置１０は、物理的に離れた場所にある場合には、ネットワークを介して互いにデータ等のやり取りを行うようにしてもよい。
【0028】
物体認識部１０３は、取得した画像を入力データとして学習済モデルに入力することにより画像中の物体を認識し、物体の領域を認識結果として出力する。ここで、入力データとしての画像は、撮像装置２０から取得した画像であるが、予めデータベース又はメモリ等（図示せず）に記憶された画像であってもよい。
【0029】
エッジ検出方向決定部１０４は、物体認識部１０３で認識した物体の領域についてエッジ検出方向を決定する。
【0030】
エッジ処理領域決定部１０５は、物体認識部１０３で認識した物体の領域についてエッジ処理領域を決定する。
【0031】
エッジ検出部１０６は、エッジ処理領域決定部１０５で決定したエッジ処理領域に対してエッジ検出を行う。
【0032】
図２は、本発明の機械学習モデル生成装置４０の概要を示す図である。
機械学習モデル生成装置４０は、空間内の物体を認識するための学習済モデルＭを生成する。機械学習モデル生成装置４０は、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから生成された正解画像を正解データとし、ＢＩＭデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより学習済モデルＭを生成する。機械学習は好ましくはニューラルネットワークによる深層学習により行われるが、他の機械学習手法を用いることも可能である。学習済モデルＭは、物体測定装置１０による測定の前に予め機械学習モデル生成装置４０により生成される。
機械学習モデル生成装置４０は、空間内の物体を認識するための学習済モデルＭを生成する。機械学習モデル生成装置４０は、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから生成された正解画像を正解データとし、ＢＩＭデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより学習済モデルＭを生成する。機械学習は好ましくはニューラルネットワークによる深層学習により行われるが、他の機械学習手法を用いることも可能である。学習済モデルＭは、物体測定装置１０による測定の前に予め機械学習モデル生成装置４０により生成される。
【0033】
機械学習モデル生成装置４０は、ＢＩＭデータから正解データを生成する正解データ生成部４０１と、ＢＩＭデータをレンダリングし、仮想観測画像を生成する仮想観測データ生成部４０２と、正解データ生成部４０１で生成された正解画像を正解データとし、仮想観測画像を観測データとして機械学習を行い、学習済モデルＭを生成する学習モデル生成部４０３とを備える。
【0034】
正解データ生成部４０１は、ＢＩＭデータから正解画像を生成する。正解画像は、学習モデル生成部４０３において機械学習モデルを生成する際に、正解データとして利用される。正解画像は、構造物を示すマスク領域を有するマスク画像であってよい。正解画像は、例えば、図２で示すように、ＢＩＭデータから生成された２値化画像であってよい。正解画像は、図２の例に限られず、認識すべき構造物に応じて他の形式の画像としてもよい。
【0035】
ここで、「ＢＩＭデータ」とは、コンピュータ上に再現された建物の３次元モデルのデータをいう。ＢＩＭデータは、一般に、建物の３次元の構造の情報を含む他、建材をパーツごとにオブジェクトとして捉え、パーツごとに、幅、奥行き、高さ、素材、組み立ての工程や組み立てにかかる時間等の図面以外の情報を含むことができる。ＢＩＭデータをレンダリングすることにより、その３次元空間の画像を得ることができる。レンダリングされた画像は、実際の現場の見た目を再現するように立体的に表現することもでき、一部を２次元の画像として切り出すこともできる。レンダリングされた画像に対しては、２値化、細線化、スケルトン化等の画像処理を施すことができる。図２の例では、ＢＩＭデータは、ＢＩＭデータを格納するためのデータベースに格納されているが、ＢＩＭデータが格納されるデータベースは、機械学習モデル生成装置４０の外部に存在するようにしてもよい。
【0036】
仮想観測データ生成部４０２は、ＢＩＭデータをレンダリングし、仮想観測画像を生成する。ＢＩＭデータをレンダリングすることにより生成された仮想観測画像は、例えば、図２に示すような現実の画像を再現したような見た目の画像となる。
【0037】
学習モデル生成部４０３は、正解画像生成部で生成された正解画像を正解データとし、仮想観測画像を観測データとして機械学習を行い、学習済モデルＭを生成する。このように、現場写真等の現実の画像に代えて、ＢＩＭデータから生成された正解画像及び仮想観測画像を用いることにより、機械学習のために膨大な数の現場写真等の現実の画像を収集する手間と困難性の問題が解消される。
【0038】
図３は、本発明の物体認識部１０３での処理の概要を示す図である。
物体認識部１０３は、取得した画像を入力データとして学習済モデルＭに入力することにより画像中の物体領域を認識し、物体領域を認識結果として出力する。物体認識部１０３が物体領域Ａの認識に用いる学習済モデルＭは、好ましくは、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから生成された正解画像を正解データとし、ＢＩＭデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより生成される。学習済モデルＭは、機械学習モデル生成装置４０により予め生成されたものである。学習済モデルＭはこの例に限られず、画像中から物体領域を認識できるものである限り、他の手法により生成されたものであってもよい。
物体認識部１０３は、取得した画像を入力データとして学習済モデルＭに入力することにより画像中の物体領域を認識し、物体領域を認識結果として出力する。物体認識部１０３が物体領域Ａの認識に用いる学習済モデルＭは、好ましくは、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから生成された正解画像を正解データとし、ＢＩＭデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより生成される。学習済モデルＭは、機械学習モデル生成装置４０により予め生成されたものである。学習済モデルＭはこの例に限られず、画像中から物体領域を認識できるものである限り、他の手法により生成されたものであってもよい。
【0039】
図３の（ａ）は、学習済モデルＭに対する入力データと学習モデルＭからの出力データの関係を示している。学習モデルＭに対する入力データは、撮像装置２０等から取得した画像であり、学習モデルＭからの出力データは、認識結果としての物体領域を含む認識結果画像である。
【0040】
図３の（ｂ）は、認識結果画像を拡大したものである。図４の（ｂ）の例では、物体Оが測定対象の物体（この例では、パイプ）として認識された結果が示されている。測定対象の物体の領域が物体領域Ａとして認識されている。
【0041】
図３の（ｃ）は、認識結果画像のうち、物体認識部１０３で認識された物体領域Ａの部分を拡大したものである。図４の（ｃ）において、物体Ｏは実際の物体のエッジを模式的に示したものであり、物体領域Ａは認識された物体領域である。図４の（ｃ）のように、物体認識部１０３で認識された物体領域Ａのエッジは実際の物体Ｏのエッジとの間で僅かにずれが生じる。このずれを補正してより高精度のエッジ検出を行うために、後述のエッジ検出方向決定部１０４、エッジ処理領域決定部１０５及びエッジ検出部１０６での処理が行われる。
【0042】
図４は、本発明のエッジ検出方向決定部１０４での処理の概要を示す図である。
エッジ検出方向決定部１０４は、物体認識部１０３で認識した物体の物体領域Ａについてエッジ検出方向を決定する。図５の境界線Ｂは、物体認識部１０３で認識した物体領域Ａの境界を示している。図４の近似線Ｌは、境界線Ｂを直線で近似した線である。近似線Ｌには第１の方向（図４のＸ方向）の近似線Ｌｘと第１の方向（図４のＸ方向）に直交する第２の方向（図４のＹ方向）の近似線Ｌｙが含まれる。エッジ検出方向決定部１０４は、第１の方向（図４のＸ方向）の近似線Ｌｘと第１の方向に直交する第２の方向（図４のＹ方向）の近似線Ｌｙとを比較し、長さがより長い方を測定対象の物体を構成するエッジＥとして決定する。長さがより短い近似線の方が、影やノイズ、オクルージョン等の影響を受けやすいため、近似線Ｌｘ及び近似線Ｌｙのうち、長さがより長い方を測定対象の物体を構成するエッジＥと決定する。図４の例では、Ｘ方向の近似線ＬｘよりもＹ方向の近似線Ｌｙの方が長いため、近似線Ｌｙが物体ОのエッジＥとして決定される。エッジＥが決定すると、エッジ検出方向決定部１０４は、後にエッジ検出部１０６にてエッジ検出を行う際のエッジ検出の方向として、エッジＥに直交する方向Ｐをエッジ検出方向として決定する。
エッジ検出方向決定部１０４は、物体認識部１０３で認識した物体の物体領域Ａについてエッジ検出方向を決定する。図５の境界線Ｂは、物体認識部１０３で認識した物体領域Ａの境界を示している。図４の近似線Ｌは、境界線Ｂを直線で近似した線である。近似線Ｌには第１の方向（図４のＸ方向）の近似線Ｌｘと第１の方向（図４のＸ方向）に直交する第２の方向（図４のＹ方向）の近似線Ｌｙが含まれる。エッジ検出方向決定部１０４は、第１の方向（図４のＸ方向）の近似線Ｌｘと第１の方向に直交する第２の方向（図４のＹ方向）の近似線Ｌｙとを比較し、長さがより長い方を測定対象の物体を構成するエッジＥとして決定する。長さがより短い近似線の方が、影やノイズ、オクルージョン等の影響を受けやすいため、近似線Ｌｘ及び近似線Ｌｙのうち、長さがより長い方を測定対象の物体を構成するエッジＥと決定する。図４の例では、Ｘ方向の近似線ＬｘよりもＹ方向の近似線Ｌｙの方が長いため、近似線Ｌｙが物体ОのエッジＥとして決定される。エッジＥが決定すると、エッジ検出方向決定部１０４は、後にエッジ検出部１０６にてエッジ検出を行う際のエッジ検出の方向として、エッジＥに直交する方向Ｐをエッジ検出方向として決定する。
【0043】
図５は、本発明のエッジ処理領域決定部１０５での処理の概要を示す図である。
エッジ処理領域決定部１０５は、エッジ処理をすべき領域として、エッジ検出方向決定部１０４で決定したエッジＥについて、エッジ処理領域Ｒを決定する。エッジ処理領域決定部１０５は、エッジ検出方向決定部１０４で決定したエッジＥから、エッジＥに直交する方向への距離が閾値Ｓ以下の範囲をエッジ処理領域Ｒとして決定する。閾値Ｓは、物体認識部１０３において認識される物体領域Ａのエッジと物体Оの実際のエッジとのずれ幅の振幅の量に応じて決定する。閾値Ｓの値は、実際の認識処理又は事前の検証において得られた物体認識部１０３での誤認識の精度に応じて調整できるようにしてもよい。言い換えれば、エッジ処理領域Ｒは、エッジＥからそれぞれＸ方向のプラス方向及びマイナス方向に所定の距離Ｄだけ離間したエッジＥの２本の平行線の間の領域となる。距離Ｄは、物体認識部１０３において認識される物体領域Ａのエッジと物体Оの実際のエッジとのずれ幅の振幅の量に応じて決定する。距離Ｄの値は、実際の認識処理又は事前の検証において得られた物体認識部１０３での誤認識の精度に応じて調整できるようにしてもよい。
エッジ処理領域決定部１０５は、エッジ処理をすべき領域として、エッジ検出方向決定部１０４で決定したエッジＥについて、エッジ処理領域Ｒを決定する。エッジ処理領域決定部１０５は、エッジ検出方向決定部１０４で決定したエッジＥから、エッジＥに直交する方向への距離が閾値Ｓ以下の範囲をエッジ処理領域Ｒとして決定する。閾値Ｓは、物体認識部１０３において認識される物体領域Ａのエッジと物体Оの実際のエッジとのずれ幅の振幅の量に応じて決定する。閾値Ｓの値は、実際の認識処理又は事前の検証において得られた物体認識部１０３での誤認識の精度に応じて調整できるようにしてもよい。言い換えれば、エッジ処理領域Ｒは、エッジＥからそれぞれＸ方向のプラス方向及びマイナス方向に所定の距離Ｄだけ離間したエッジＥの２本の平行線の間の領域となる。距離Ｄは、物体認識部１０３において認識される物体領域Ａのエッジと物体Оの実際のエッジとのずれ幅の振幅の量に応じて決定する。距離Ｄの値は、実際の認識処理又は事前の検証において得られた物体認識部１０３での誤認識の精度に応じて調整できるようにしてもよい。
【0044】
図６は、本発明のエッジ検出部１０６での処理の概要を示す図である。
エッジ検出部１０６は、エッジ処理領域決定部１０５で決定したエッジ処理領域Ｒに対して、エッジ検出方向決定部１０４で決定したエッジ検出方向Ｐにてエッジ検出を行う。エッジ検出部１０６では、例えば、ソーベル（Ｓｏｂｅｌ）フィルタ、ラプラシアン（Ｌａｐｌａｃｉａｎ）フィルタ等の任意の既存のエッジ検出手法を用いてエッジ検出を行うことができる。例えば、エッジ検出手法としてキャニー（Ｃａｎｎｙ）を用いる場合、ガウシアン（Ｇａｕｓｓｉａｎ）フィルタによる平滑化によりノイズを除去し、ソーベルフィルタによる微分処理によりエッジを検出し、極大値を検出してエッジ以外の部分を取り除き、２段階の閾値処理を行うようにしてもよい。
エッジ検出部１０６は、エッジ処理領域決定部１０５で決定したエッジ処理領域Ｒに対して、エッジ検出方向決定部１０４で決定したエッジ検出方向Ｐにてエッジ検出を行う。エッジ検出部１０６では、例えば、ソーベル（Ｓｏｂｅｌ）フィルタ、ラプラシアン（Ｌａｐｌａｃｉａｎ）フィルタ等の任意の既存のエッジ検出手法を用いてエッジ検出を行うことができる。例えば、エッジ検出手法としてキャニー（Ｃａｎｎｙ）を用いる場合、ガウシアン（Ｇａｕｓｓｉａｎ）フィルタによる平滑化によりノイズを除去し、ソーベルフィルタによる微分処理によりエッジを検出し、極大値を検出してエッジ以外の部分を取り除き、２段階の閾値処理を行うようにしてもよい。
【0045】
エッジ検出部１０６は、エッジ検出を行う際に、処理対象の画像に対してサブピクセル処理を行うようにしてもよい。サブピクセル処理は、好ましくは、エッジ処理領域決定部１０５で決定したエッジ処理領域Ｒに対してのみ、又はエッジ処理領域Ｒを含むエッジ処理領域Ｒの周辺領域に対してのみ行うが、サブピクセル処理を処理対象の画像全体に対して行うようにしてもよい。ここで、「サブピクセル処理」とは、１画素未満の精度で画像処理を行うために、１画素未満のサブピクセルの濃度を周辺の画素の濃度等から補間して求める処理をいう。サブピクセル処理における濃度補間は、例えば線形補間法等の既存の手法を用いてもよい。例えば、近傍の３画素に注目してサブピクセル単位で濃度補間を行うようにしてもよい。
【0046】
図７は、本発明の物体測定装置の処理の流れを示す図である。
まず、ステップＳ７０１おいて、物体を認識する。次に、ステップＳ７０２において、エッジ検出方向を決定する。次に、ステップＳ７０３において、エッジ処理を行う領域を決定する。次に、ステップＳ７０４において、エッジを検出する。
まず、ステップＳ７０１おいて、物体を認識する。次に、ステップＳ７０２において、エッジ検出方向を決定する。次に、ステップＳ７０３において、エッジ処理を行う領域を決定する。次に、ステップＳ７０４において、エッジを検出する。
【0047】
ステップＳ７０１では、取得した画像を入力データとして学習済モデルに入力することにより画像中の物体を認識し、物体の領域を認識結果として出力する。ステップＳ７０１は上述の物体認識部１０３により実行される。
【0048】
ステップＳ７０２では、認識結果として出力された物体の領域についてエッジ検出方向を決定するエッジ検出方向を決定する。ステップＳ７０２は上述のエッジ検出方向決定部１０４により実行される。
【0049】
ステップＳ７０３では、認識結果として出力された物体の領域についてエッジ処理領域を決定するエッジ処理領域を決定する。ステップＳ７０３は上述のエッジ処理領域決定部１０５により実行される。
【0050】
ステップＳ７０４では、決定したエッジ処理領域に対してエッジ検出を行う。ステップＳ７０４は上述のエッジ検出部１０６により実行される。
【0051】
上記実施例において、図２を参照し、機械学習モデル生成装置４０は、ＢＩＭデータから生成された正解画像を正解データとし、ＢＩＭデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより学習済モデルＭを生成する例を説明したが、この例に限られず、本発明の物体測定装置１０は、他の方法により生成された学習済モデルを用いることも可能である。例えば、ＢＩＭデータから生成された正解画像に代えて大量に収集された現実の画像から正解画像を生成し、機械学習に用いる正解データとするようにしてもよい。また、ＢＩＭデータから生成された仮想観測画像に代えて大量に収集された現実の画像を機械学習に用いる観測データとするようにしてもよい。
【0052】
また、機械学習モデル生成装置４０の構成に関する他の変形例として、学習モデル生成部４０３での学習済モデルＭの生成に用いる正解データとして、ＢＩＭデータから生成された正解画像の他に、正解画像に対して画像処理を施した強化画像を追加するようにしてもよい。例えば、正解画像に細線化等の画像処理を施すことにより中心線または特徴線を抽出した強化画像を用いるようにしてもよい。
【0053】
また、機械学習モデル生成装置４０の構成に関するさらに他の変形例として、学習モデル生成部４０３での学習済モデルＭの生成に用いる仮想観測データとして、ＢＩＭデータから生成された仮想観測画像に対して画像処理を施した強化仮想観測画像を用いるようにしてもよい。例えば、仮想観測画像において着目する物体に対してテクスチャを追加した強化仮想観測画像を用いるようにしてもよい。
【0054】
上記２つの変形例は、上記実施例で説明した本発明の物体測定装置１０に対して、任意に組み合わせて実施することができる。また、これらの任意に組み合わせた態様を含む物体測定システム１を実施することができる。
【0055】
以上により説明した本発明による物体測定システム、物体測定装置及び物体測定方法によれば、機械学習モデルを用いて物体を認識し、エッジ検出方向の決定とエッジ処理をすべき領域の決定を自動化し、必要に応じてサブピクセル処理を行うことでサブピクセル単位等の高精度で空間内の物体の形状を測定することができる。そのため、画像の分解能により向上できる精度、機械学習を用いた物体認識による向上できる精度、カメラ等による物体のスキャニングの工夫により向上できる精度を超えて、さらに高精度の物体測定を可能にすることができる。また、本発明は、建築現場等において建築途中の建築物の施工状況を把握するという目的に用いる場合にも十分な精度で物体の形状を測定することができる。また、建築現場以外においても、例えば、製品の検品や寸法測定等、高精度に物体の形状を測定することが要求される場面にも応用することができる。
上記記載は実施例についてなされたが、本発明はそれに限らず、本発明の原理と添付の請求の範囲の範囲内で種々の変更および修正をすることができることは当業者に明らかである。
上記記載は実施例についてなされたが、本発明はそれに限らず、本発明の原理と添付の請求の範囲の範囲内で種々の変更および修正をすることができることは当業者に明らかである。
【符号の説明】
【0056】
１ 物体測定システム
１０ 物体測定装置
２０ 撮像装置
４０ 機械学習モデル生成装置
１０３ 物体認識部
１０４ エッジ検出方向決定部
１０５ エッジ処理領域決定部
１０６ エッジ検出部
１０ 物体測定装置
２０ 撮像装置
４０ 機械学習モデル生成装置
１０３ 物体認識部
１０４ エッジ検出方向決定部
１０５ エッジ処理領域決定部
１０６ エッジ検出部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
