(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-14
(45)【発行日】2023-12-22
(54)【発明の名称】建屋内構造物認識システム及び建屋内構造物認識方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20231215BHJP
G06T 19/00 20110101ALI20231215BHJP
【FI】
G06T7/00 350C
G06T19/00 A
(21)【出願番号】P 2021176660
(22)【出願日】2021-10-28
【審査請求日】2022-07-13
(73)【特許権者】
【識別番号】521233943
【氏名又は名称】株式会社 SAI
(73)【特許権者】
【識別番号】000220343
【氏名又は名称】株式会社トプコン
(73)【特許権者】
【識別番号】503359821
【氏名又は名称】国立研究開発法人理化学研究所
(74)【代理人】
【識別番号】110000855
【氏名又は名称】弁理士法人浅村特許事務所
(72)【発明者】
【氏名】福間 康文
(72)【発明者】
【氏名】ザイシン マオ
(72)【発明者】
【氏名】塚田 央
(72)【発明者】
【氏名】伊藤 徹
(72)【発明者】
【氏名】和田 智之
(72)【発明者】
【氏名】弥延 聡
【審査官】大塚 俊範
(56)【参考文献】
【文献】特開2021-131652(JP,A)
【文献】特開2020-112900(JP,A)
【文献】特開2020-021326(JP,A)
【文献】特開2012-217631(JP,A)
【文献】特開2003-179637(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00- 7/90
G06T 19/00
(57)【特許請求の範囲】
【請求項1】
建屋内の構造物を認識するための機械学習モデルを生成する機械学習モデル生成装置であって、
BIM(Building Information Modeling)データから正解画像を生成する正解画像生成部と、
前記BIMデータをレンダリングし、仮想観測画像を生成する仮想観測画像生成部と、
前記正解画像生成部で生成された前記正解画像を正解データとし、前記仮想観測画像を観測データとして機械学習を行い、機械学習モデルを生成する機械学習モデル生成部と、
前記機械学習モデルを生成する際に、入力データの一部として用いられる強化画像を生成する強化用画像生成部と、
を備え
、
前記正解画像は、構造物を示すマスク領域を有するマスク画像であり、前記強化画像は、前記正解画像の前記マスク領域の特徴線を抽出したスケルトン画像であることを特徴とする、機械学習モデル生成装置。
【請求項2】
前記仮想観測画像生成部で生成された前記仮想観測画像に対して現実の画像に近づけるための画像処理を行い、強調仮想観測画像を生成する仮想観測画像処理部を更に備えることを特徴とする、請求項
1に記載の機械学習モデル生成装置。
【請求項3】
前記仮想観測画像処理部による前記画像処理は、スペクトル周波数のフィルタリング、光源の追加、照明光の追加、又は影の追加のうちの少なくとも1つ以上を含むことを特徴とする、請求項
2に記載の機械学習モデル生成装置。
【請求項4】
前記仮想観測画像処理部は、前記強調仮想観測画像に対して前記構造物のテクスチャを追加し、テクスチャ追加画像を生成することを特徴とする、請求項
2又は
3に記載の機械学習モデル生成装置。
【請求項5】
前記機械学習モデル生成部は、ニューラルネットワークによる深層学習により、前記機械学習モデルを生成することを特徴とする、請求項1~
4のいずれか一項に記載の機械学習モデル生成装置。
【請求項6】
建屋内の構造物を認識するための機械学習済モデルを用いて、建屋内の構造物を認識する建屋内構造物認識装置であって、
前記機械学習済モデルに対し、入力データとして現実の建屋内の画像が入力されると、画像内の構造物の認識を行い、出力データとして画像内の構造物の領域を示す認識結果画像を出力する認識部を備え、
前記機械学習済モデルは、BIM(Building Information Modeling)データから生成された正解画像を正解データとし、前記BIMデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより生成されたものであ
り、
前記機械学習済モデルを生成する際に、強化画像が入力データの一部として用いられ、前記正解画像は、構造物を示すマスク領域を有するマスク画像であり、前記強化画像は、前記正解画像の前記マスク領域の特徴線を抽出したスケルトン画像であることを特徴とする、建屋内構造物認識装置。
【請求項7】
前記認識部は、前記現実の建屋内の画像に加えて、更に構造物の領域を示す構造物選択画像を入力データとして前記画像内の構造物の認識を行うことを特徴とする、請求項
6に記載の建屋内構造物認識装置。
【請求項8】
前記認識部は、前記現実の建屋内の画像内に含まれるテキストを除去し、テキスト除去後の画像を入力データとして前記画像内の構造物の認識を行うことを特徴とする、請求項
6又は
7に記載の建屋内構造物認識装置。
【請求項9】
前記機械学習済モデルは、ニューラルネットワークによる深層学習により生成されたものであることを特徴とする、請求項
6~
8のいずれか一項に記載の建屋内構造物認識装置。
【請求項10】
機械学習モデルを用いて建屋内の構造物を認識するための建屋内構造物認識システムであって、
BIM(Building Information Modeling)データから生成された正解画像を正解データとし、前記BIMデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより、機械学習モデルを生成する機械学習モデル生成装置と、
前記機械学習モデル生成装置で生成した前記機械学習モデルを用いて、建屋内の構造物を認識する建屋内構造物認識装置と、
を備え
、
前記機械学習モデルを生成する際に、強化画像が入力データの一部として用いられ、前記正解画像は、構造物を示すマスク領域を有するマスク画像であり、前記強化画像は、前記正解画像の前記マスク領域の特徴線を抽出したスケルトン画像であることを特徴とする、建屋内構造物認識システム。
【請求項11】
建屋内の構造物を認識するための機械学習済モデルを用いて認識された建屋内の構造物を管理する建屋内構造物管理システムであって、
請求項
6~
9のいずれか一項に記載の前記建屋内構造物認識装置において認識された前記構造物のデータ又は前記構造物の部材のデータを記憶するデータベースを備えることを特徴とする、建屋内構造物管理システム。
【請求項12】
機械学習モデルを用いて建屋内の構造物を認識するための建屋内構造物認識システムであって、
請求項1~
5のいずれか一項に記載の機械学習モデル生成装置と、
請求項
6~
9のいずれか一項に記載の建屋内構造物認識装置と、
を備えることを特徴とする、建屋内構造物認識システム。
【請求項13】
建屋内構造物認識方法であって、
BIM(Building Information Modeling)データから生成された正解画像を正解データとし、前記BIMデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行い、機械学習モデルを生成するステップと、
前記機械学習モデルを用いて、建屋内の構造物を認識するステップと、
を備え
、
前記機械学習モデルを生成する際に、強化画像が入力データの一部として用いられ、前記正解画像は、構造物を示すマスク領域を有するマスク画像であり、前記強化画像は、前記正解画像の前記マスク領域の特徴線を抽出したスケルトン画像であることを特徴とする、建屋内構造物認識方法。
【請求項14】
コンピュータに、請求項
13に記載の方法の各ステップを実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、建屋内構造物認識システム及び建屋内構造物認識方法に関し、特に、ニューラルネットワークによる深層学習を用いてビル等の建築物の建屋内に配置された構造物を認識する建屋内構造物認識システム、建屋内の構造物を認識するための機械学習モデルを生成する機械学習モデル生成装置、建屋内の構造物を認識するための機械学習済モデルを用いて、建屋内の構造物を認識する建屋内構造物認識装置、建屋内の構造物を認識するための機械学習済モデルを用いて認識された建屋内の構造物を管理する建屋内構造物管理システム、建屋内構造物認識方法及びプログラムに関するものである。
【背景技術】
【0002】
従来、建築途中のビル等の建築物について施工状況を確認する方法としては、2次元の施工図等を用いて、施工現場にて人間が計器等を用いて直接計測して確認するか、例えばLiDER(Light Detection and Ranging)等の反射光を用いて距離を計測することが可能なリモートセンシング技術を用いて、BIM(Building Information Modeling)のモデルと比較することが行われている。
【0003】
しかしながら、LiDER等により計測を行う場合、経験をもとに現場の状況に応じて施工現場の複数個所を計測することが必要となり、計測者の熟練度により得られるデータの精度がことなるという問題があった。また、得られた点群データのレジストレーション(登録)を行う手間や、パイプ等の建屋内の構造物を手作業で特定し、位置やサイズを計測する手間がかかるという問題があった。また、取り込まれた点群データやそれを加工したデータの正確性の問題や、データの再利用がしにくいという問題があった。
【0004】
データの正確性を重視して施工現場の全地点について計測を行うことは、情報量が膨大となるため現実的には採用し難い。計測者の熟練度が高い場合には、自身の経験をもとに必要な個所のみを計測することも可能であるが、熟練度によるばらつきや計測の効率化のため、計測の自動化が求められる。
【0005】
建築途中の施工現場の施工状況と完成形との比較を行うために、施工現場に配設された構造物の領域の特定とその構造物が何であるかの認識を自動化することを考えた場合に、ニューラルネットワークによる深層学習による学習済モデルを用いることが期待される。
【0006】
画像内の構造物の認識を自動化するための学習済モデルを作成するためには、学習用の入力データとして、必要十分な数の施工現場の画像が必要である。また、学習用の正解データとして、その画像に含まれる構造物に対するアノテーション、即ち、画像中のどの部分が何であるかという、画像内の構造物の認識を行った結果が必要である。しかしながら、入力データとして学習に用いることが可能な実際の施工現場の写真の画像を多数収集し、正解データとして用いるために膨大な数の構造物のアノテーションを行うことは困難である。
【0007】
また、実際の施工現場の写真ではなく、施工現場の完成後の3次元モデルを実際の見た目に近くなるようにレンダリングしたレンダリング画像を用いて機械学習を行い、学習済モデルを作成することも考えられる。しかしながら、レンダリング画像は主に建築物の営業目的で作成されるものであり、制作コストが高く、学習用に必要十分な数の学習用画像としてレンダリング画像を用意することは困難である。また、レンダリング画像に含まれる構造物に対するアノテーションの作業も膨大となり、人手で行うには手間を要する。
【0008】
そのため、学習用に必要十分な数の施工現場に関する学習用画像を用意することが可能であり、かつ、その学習用画像に含まれる構造物のアノテーションを自動化することが求められる。また、それにより作成された学習済モデルにより、精度の高い構造物の認識ができることが求められる。
【0009】
非特許文献1では、既存の大型設備の3次元計測に基づいて3Dモデルを作成するアズビルトモデリングにおいて、点群データの量が膨大化する問題に関して、「大型設備のアズビルトモデリングに用いられる計測装置は,小型部品用の点群計測装置とは計測原理が異なることに注意を要する.小型部品の点群計測では,レーザ出力装置とCCDカメラを用いて三角測量を行うのが一般的であるが,この方法では対象物のサイズが大きくなるに従って装置も巨大化する.また,小型部品の計測では,計測される点群はせいぜい数百万点程度であることが多いが,大型設備の場合には,モデル化に大量の点群を必要とする.」ことが指摘されている。
【0010】
例えば、特許文献1では、「既存図面から取得した建築物の既存部分の電子化データを3次元CADデータに変換して、3次元レーザースキャナにより取得された点群データや該点群データから作成された3次元ポリゴンモデルを含む各種現場調査データと共に格納する既存部分調査手段と、前記3次元ポリゴンモデルに対して、予め部材ライブラリに格納された部材オブジェクトの中から選択された新たに施工される部材オブジェクトを配置する施工部材設計手段と、該施工部材設計手段により配置された前記部材オブジェクトに従って部材工場でプレカットされた部材に取り付けられた電子タグをIDリーダで読み取ることにより得られた前記部材オブジェクト固有のIDに対応する部材オブジェクトをその施工位置情報と共に前記施工部材設計手段により設計された3次元CADモデルから検索して出力する部材施工位置出力手段と、して機能するCPUと、該CPUの前記部材施工位置出力手段により出力された前記部材オブジェクトの施工位置情報に基づき、前記既存部分における前記部材の施工位置を指し示す自動位置指示装置と」を備えた建築生産システムが開示されている。
【0011】
また、特許文献2では、「撮像装置を用いて実空間を撮像することにより生成される入力画像を取得する画像取得部と、前記入力画像に映る1つ以上の特徴点の位置に基づいて、前記実空間と前記撮像装置との間の相対的な位置及び姿勢を認識する認識部と、認識される前記相対的な位置及び姿勢を用いた拡張現実アプリケーションを提供するアプリケーション部と、前記認識部により実行される認識処理が安定化するように、前記特徴点の分布に従って、前記撮像装置を操作するユーザを誘導する誘導オブジェクトを前記入力画像に重畳する表示制御部と、を備える画像処理装置」が開示されている。
【0012】
しかしながら、特許文献1及び2はいずれも、3次元空間あるいは3次元空間内の物体を把握するための技術を開示しているが、特にビルや工場等の大規模な設備における3次元の点群データ等のデータ量が膨大になるという問題について解決するものではなく、建築途中の施工現場の状況を迅速に把握するために画像内の構造物の認識を自動化することに適したものではなかった。
【先行技術文献】
【特許文献】
【0013】
【文献】特開2013-149119号公報
【文献】特開2013-225245号公報
【文献】増田宏,「大規模環境のデジタル化技術とその問題点」,精密工学会大会学術講演会講演論文集(精密工学会大会シンポジウム資料集),2007,秋季,p.81-84,2007年9月3日
【発明の概要】
【発明が解決しようとする課題】
【0014】
そこで、本発明は、上記課題を解決し、BIM(Building Information Modeling)データからの画像等を教師データとして用いた学習済モデルにより、建屋内の構造物の認識を行う建屋内構造物認識システム及び建屋内構造物認識方法を提供するものである。
【0015】
また、本発明は、建屋内の構造物を認識するための機械学習モデルを生成する機械学習モデル生成装置を提供する。
【0016】
また、本発明は、建屋内の構造物を認識するための機械学習済モデルを用いて、建屋内の構造物を認識する建屋内構造物認識装置を提供する。
【0017】
また、本発明は、建屋内の構造物を認識するための機械学習済モデルを用いて認識された建屋内の構造物を管理する建屋内構造物管理システムを提供する。
【0018】
また、本発明は、建屋内構造物認識方法の各ステップをコンピュータに実行させるためのプログラムを提供する。
【課題を解決するための手段】
【0019】
上記課題を解決するため、本発明では建屋内の構造物を認識するための機械学習モデルを生成する機械学習モデル生成装置であって、BIM(Building Information Modeling)データから正解画像を生成する正解画像生成部と、BIMデータをレンダリングし、仮想観測画像を生成する仮想観測画像生成部と、正解画像生成部で生成された正解画像を正解データとし、仮想観測画像を観測データとして機械学習を行い、機械学習モデルを生成する機械学習モデル生成部とを備えることを特徴とする、機械学習モデル生成装置を提供する。
【0020】
本発明のある態様による機械学習モデル生成装置は、機械学習モデルを生成する際に、入力データの一部として用いられる強化画像を生成する強化用画像生成部を更に備えることを特徴とする。
【0021】
本発明のある態様による機械学習モデル生成装置において、正解画像は、構造物を示すマスク領域を有するマスク画像であり、強化画像は、正解画像の前記マスク領域の特徴線を抽出したスケルトン画像であることを特徴とする。特徴線とは、例えば、中心線やエッジ等である。
【0022】
本発明のある態様による機械学習モデル生成装置において、仮想観測画像生成部で生成された仮想観測画像に対して現実の画像に近づけるための画像処理を行い、強調仮想観測画像を生成する仮想観測画像処理部を更に備えることを特徴とする。
【0023】
本発明のある態様による機械学習モデル生成装置において、仮想観測画像処理部による画像処理は、光源の追加、照明光の追加、又は影の追加のうちの少なくとも1つ以上を含むことを特徴とする。
【0024】
本発明のある態様による機械学習モデル生成装置において、仮想観測画像処理部は、強調仮想観測画像に対して構造物のテクスチャを追加し、テクスチャ追加画像を生成することを特徴とする。
【0025】
本発明のある態様による機械学習モデル生成装置において、機械学習モデル生成部は、ニューラルネットワークによる深層学習により、機械学習モデルを生成することを特徴とする。
【0026】
また、本発明では、建屋内の構造物を認識するための機械学習済モデルを用いて、建屋内の構造物を認識する建屋内構造物認識装置であって、機械学習済モデルに対し、入力データとして現実の建屋内の画像が入力されると、画像内の構造物の認識を行い、出力データとして画像内の構造物の領域を示す認識結果画像を出力する認識部を備え、機械学習済モデルは、BIM(Building Information Modeling)データから生成された正解画像を正解データとし、BIMデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより生成されたものであることを特徴とする、建屋内構造物認識装置を提供する。
【0027】
本発明のある態様による建屋内構造物認識装置において、認識部は、現実の建屋内の画像に加えて、更に構造物の領域を示す構造物選択画像を入力データとして画像内の構造物の認識を行うことを特徴とする。
【0028】
本発明のある態様による建屋内構造物認識装置において、認識部は、現実の建屋内の画像内に含まれるテキストを除去し、テキスト除去後の画像を入力データとして画像内の構造物の認識を行うことを特徴とする。
【0029】
本発明のある態様による建屋内構造物認識装置において、機械学習済モデルは、ニューラルネットワークによる深層学習により生成されたものである。
【0030】
また、本発明では、機械学習モデルを用いて建屋内の構造物を認識するための建屋内構造物認識システムであって、BIM(Building Information Modeling)データから生成された正解画像を正解データとし、BIMデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより、機械学習モデルを生成する機械学習モデル生成装置と、機械学習モデル生成装置で生成した機械学習モデルを用いて、建屋内の構造物を認識する建屋内構造物認識装置とを備えることを特徴とする、建屋内構造物認識システムを提供する。
【0031】
また、本発明では、建屋内の構造物を認識するための機械学習済モデルを用いて認識された建屋内の構造物を管理する建屋内構造物管理システムであって、上記建屋内構造物認識装置において認識された構造物のデータ又は構造物の部材のデータを記憶するデータベースを備えることを特徴とする、建屋内構造物管理システムを提供する。
【0032】
また、本発明では、機械学習モデルを用いて建屋内の構造物を認識するための建屋内構造物認識システムであって、本発明の上記のいずれかの態様による機械学習モデル生成装置と、本発明の上記のいずれかの態様による建屋内構造物認識装置とを備えることを特徴とする、建屋内構造物認識システムを提供する。
【0033】
また、本発明では、建屋内構造物認識方法であって、BIM(Building Information Modeling)データから生成された正解画像を正解データとし、BIMデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行い、機械学習モデルを生成するステップと、機械学習モデルを用いて、建屋内の構造物を認識するステップとを備えることを特徴とする、建屋内構造物認識方法を提供する。
【0034】
また、本発明では、コンピュータに、上記建屋内構造物認識方法の各ステップを実行させることを特徴とするプログラムを提供する。
【0035】
本発明において、「BIM(Building Information Modeling)データ」とは、コンピュータ上に再現された建物の3次元モデルのデータをいう。
【0036】
本発明において、「現実の画像」とは、現実の世界をカメラで撮影した写真等の画像をいう。
【発明の効果】
【0037】
本発明によれば、建築現場で注目すべき部材に注目して形状や位置の計測が出来るようになり、精度、スピードを向上させることができるという効果を奏する。
また、建築現場で管理するべき部材の量を減らすことが出来、これに伴い、建築現場の部材管理システムがハンドルするデータ量を大幅に減らすことが出来る。
本発明の他の目的、特徴および利点は添付図面に関する以下の本発明の実施例の記載から明らかになるであろう。
【図面の簡単な説明】
【0038】
【
図1】
図1は、本発明による建屋内構造物認識システムの全体を示す概略図である。
【
図2】
図2は、本発明の機械学習モデル生成装置の概要を示す図である。
【
図3】
図3は、本発明の第1の態様による機械学習モデル生成装置を示す図である。
【
図4】
図4は、本発明の第2の態様による機械学習モデル生成装置を示す図である。
【
図5】
図5は、本発明の第3の態様による機械学習モデル生成装置を示す図である。
【
図6A】
図6Aは、本発明による建屋内構造物認識装置の概要を示す概略図である。
【
図6B】
図6Bは、本発明のある態様による建屋内構造物認識装置を示す概略図である。
【
図6C】
図6Cは、本発明の他の態様による建屋内構造物認識装置を示す概略図である。
【
図7A】
図7Aは、本発明のある態様による検証部の処理を示す図である。
【
図7B】
図7Bは、本発明の他の態様による検証部の処理を示す図である。
【
図8】
図8は、本発明の機械学習モデル生成装置の処理の流れの概要を示す図である。
【
図9】
図9は、本発明の第1の態様による機械学習モデル生成装置の処理の流れを示す図である。
【
図10】
図10は、本発明の第2の態様による機械学習モデル生成装置の処理の流れを示す図である。
【
図11】
図11は、本発明の第3の態様による機械学習モデル生成装置の処理の流れを示す図である。
【
図12】
図12は、本発明のある態様による建屋内構造物認識装置の処理の流れを示す図である。
【
図13】
図13は、本発明の他の態様による建屋内構造物認識装置の処理の流れを示す概略図である。
【
図14】
図14は、本発明の建屋内構造物管理システムの概要を示す図である。
【発明を実施するための形態】
【実施例1】
【0039】
図1は、本発明による建屋内構造物認識システム1の全体を示す概略図である。
本発明による建屋内構造物認識システム1は、BIM(Building Information Modeling)データから生成された正解画像を正解データとし、BIMデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより、機械学習モデルを生成する機械学習モデル生成装置10と、機械学習モデル生成装置で生成した機械学習モデルを用いて、建屋内の構造物を認識する建屋内構造物認識装置20とを備える。
【0040】
建屋内構造物認識システム1は、機械学習モデルを用いて建屋内の構造物を認識するために用いられる。例えば、建築途中の施工現場において、作業の進捗を確認するために、施工現場をカメラで撮影し、撮影された画像内に含まれるパイプやダクト、柱、壁等の構造物を認識することができる。認識された構造物の位置や範囲等の状況を把握することにより、ユーザが建築作業が図面等に沿って予定通りに進んでいるかを確認できるようにすることができる。
【0041】
建屋内構造物認識システム1は、撮像装置30を含むようにしてもよいし、外部の撮像装置を用いるようにしてもよい。撮像装置30は、任意のカメラであってよく、例えば、静止画用のカメラ、動画用のカメラ、携帯端末に搭載されたモバイル・カメラ、CCDカメラ等であってもよい。建屋内構造物認識装置20で認識の対象となる入力画像は、認識の対象となる画像であり、例えば、建設途中の施工現場を撮影した現場写真等の現実の画像である。建屋内構造物認識システム1が撮像装置30を含む場合には、撮像装置30から取得した画像であってもよい。建屋内構造物認識システム1が撮像装置30を含まない場合には、外部の撮像手段により撮像されて予めデータベース等に記憶されたものであってもよい。
【0042】
建屋内構造物認識システム1は、ユーザ端末40を含んだものであってもよいし、ユーザ端末を含まず、ユーザ端末40と建屋内構造物認識システム1とが互いに独立しているようにしてもよい。建屋内構造物認識装置20で認識された認識結果は、建屋内構造物認識装置20からユーザ端末40に送信されるようにしてもよい。また、建屋内構造物認識装置20は、必要な場合には、ユーザ端末40から認識処理又は検証処理に用いる追加の情報を受け付けるようにしてもよい。例えば、検証処理の際に用いるために、建屋内構造物認識装置20は、ユーザ端末40から認識対象の画像内の構造物の範囲を指定する情報を受け付けるようにしてもよい。
【0043】
建屋内構造物認識装置20は、機械学習モデル生成装置10により生成された機械学習済モデルを用いて建屋内の構造物の認識を行うが、機械学習モデル生成装置10により新たな機械学習済モデルが生成された場合には、建屋内構造物認識システム1は、建屋内構造物認識装置20の機械学習済モデルを新たな機械学習済モデルに更新するようにしてもよい。
【0044】
機械学習モデル生成装置10が有する機能は、クラウド・サービス上に構築されるようにしてもよい。また、機械学習モデル生成装置10と建屋内構造物認識装置20は、物理的に離れた場所にある場合には、ネットワークを介して互いにデータ等のやり取りを行うようにしてもよい。
【0045】
図2は、本発明の機械学習モデル生成装置10の概要を示す図である。
機械学習モデル生成装置10は、建屋内の構造物を認識するための機械学習モデルを生成する。機械学習モデル生成装置10は、BIM(Building Information Modeling)データから正解画像を生成する正解画像生成部101と、BIMデータをレンダリングし、仮想観測画像を生成する仮想観測画像生成部102と、正解画像生成部で生成された正解画像を正解データとし、仮想観測画像を観測データとして機械学習を行い、機械学習モデルを生成する機械学習モデル生成部103とを備える。
【0046】
正解画像生成部101は、BIM(Building Information Modeling)データから正解画像を生成する。正解画像は、機械学習モデル生成部103において機械学習モデルを生成する際に、正解データとして利用される。正解画像は、構造物を示すマスク領域を有するマスク画像であってよい。正解画像は、例えば、
図2で示すように、BIMデータから生成された2値化画像であってよい。
図2の例では、建屋内の構造物であるパイプの領域が白で表現され、その他の部分が黒で表現されている。正解画像は、
図2の例に限られず、認識すべき構造物に応じて他の形式の画像としてもよい。
【0047】
ここで、「BIMデータ」とは、コンピュータ上に再現された建物の3次元モデルのデータをいう。BIMデータは、一般に、建物の3次元の構造の情報を含む他、建材をパーツごとにオブジェクトとして捉え、パーツごとに、幅、奥行き、高さ、素材、組み立ての工程や組み立てにかかる時間等の図面以外の情報を含むことができる。BIMデータをレンダリングすることにより、その3次元空間の画像を得ることができる。レンダリングされた画像は、実際の現場の見た目を再現するように立体的に表現することもでき、一部を2次元の画像として切り出すこともできる。レンダリングされた画像に対しては、2値化、細線化、スケルトン化等の画像処理を施すことができる。
図2の例では、BIMデータは、BIMデータを格納するためのデータベース106に格納されているが、BIMデータが格納されるデータベースは、機械学習モデル生成装置10の外部に存在するようにしてもよい。
【0048】
仮想観測画像生成部102は、BIMデータをレンダリングし、仮想観測画像を生成する。機械学習のために膨大な数の現場写真等の現実の画像を収集することは困難であるため、本発明では、このように既に存在するBIMデータをレンダリングした仮想の観測画像を現実の画像に代えて機械学習のための観測データとして用いる。BIMデータをレンダリングすることにより生成された仮想観測画像は、例えば、
図2に示すような現実の画像を再現したような見た目の画像となる。
【0049】
機械学習モデル生成部103は、正解画像生成部で生成された正解画像を正解データとし、仮想観測画像を観測データとして機械学習を行い、機械学習モデルを生成する。このように、現場写真等の現実の画像に代えて、BIMデータから生成された正解画像及び仮想観測画像を用いることにより、機械学習のために膨大な数の現場写真等の現実の画像を収集する手間と困難性の問題が解消される。
【0050】
機械学習モデル生成部103は、ニューラルネットワークによる深層学習により、機械学習モデルを生成する。ニューラルネットワークによる深層学習のためには、十分な数の教師データが必要となるが、本発明においては、膨大な数の現場写真等の現実の画像を収集して教師データとして用いる代わりに、BIMデータから生成された正解画像及び仮想観測画像を用いるため、教師データの収集の手間と困難性の問題を解決でき、ニューラルネットワークによる深層学習のために必要十分な数の教師データを得ることができる。
【0051】
図3は、本発明の第1の態様による機械学習モデル生成装置10を示す図である。
図3に示すように、本発明の第1の態様においては、機械学習モデル生成装置10は、機械学習モデルを生成する際に、入力データの一部として用いられる強化画像を生成する強化用画像生成部104を更に備えるようにしてもよい。強化用画像生成部104以外の部分については、
図2において説明したものと同一である。
【0052】
強化用画像生成部104は、機械学習モデルを生成する際に、入力データの一部として用いられる強化画像を生成する。強化用画像生成部104は、正解画像生成部101で生成された正解画像から、例えば中心線等の特徴線を抽出し、強化画像を生成する。強化画像は、機械学習モデル生成部103において機械学習モデルを生成する際に、モデルの認識精度を高めるための強化用データとして利用される。
【0053】
図3の例においても
図2の例と同様に、正解画像は、構造物を示すマスク領域を有するマスク画像である。また、
図3の例においても、認識対象の構造物であるパイプの領域が白で示され、その他の部分が黒で示されている。正解画像は、機械学習モデル生成部103において機械学習モデルを生成する際に、正解データとして利用される。
【0054】
図3の例においては、強化画像は、正解画像のマスク領域の特徴線を抽出したスケルトン画像である。特徴線とは、例えば、中心線やエッジ等である。
図3の例では、強化画像は、正解画像のマスク領域の中心線を抽出したスケルトン画像であるが、強化画像は、正解画像のマスク領域の中心線を抽出したものでなくてもよく、認識対象の構造物に応じて、中心線以外の他の特徴線(例えば、エッジ等)を抽出するようにしてもよい。例えば、構造物のエッジを特徴線として抽出した画像を強化画像としてもよい。
【0055】
図4は、本発明の第2の態様による機械学習モデル生成装置を示す図である。
図4に示すように、本発明の第2の態様においては、機械学習モデル生成装置10は、仮想観測画像生成部102で生成された仮想観測画像に対して現実の画像に近づけるための画像処理を行い、強調仮想観測画像を生成する仮想観測画像処理部105を更に備えるようにしてもよい。仮想観測画像処理部105以外の部分については、
図3において説明したものと同一である。
【0056】
仮想観測画像処理部105は、仮想観測画像生成部102で生成された仮想観測画像に対して見た目を現実の画像に近づけるための画像処理を行い、強調仮想観測画像を生成する。仮想観測画像処理部105は、データベース107に予め記憶されている現実の画像のデータを利用して、現実の画像に近づけるための画像処理を行うようにしてもよい。ここで、データベース107に記憶されている現実の画像は、仮想観測画像と同じ場所を撮影したものでなくてもよい。データベース107に記憶されている現実の画像はサンプルであり、例えば、仮想観測画像内のパイプの色味を現実のパイプの色味に近づけるために、データベース107に記憶されている別の場所を撮影した現実の画像のパイプの色味のデータを参考として利用することができる。即ち、仮想観測画像内の構造物と同じ構造物の色味等の情報が利用される。本発明においては、このようにして、仮想観測画像に対して画像処理が施された画像を「強調仮想観測画像」と呼ぶ。
【0057】
仮想観測画像処理部105による前記画像処理は、スペクトル周波数のフィルタリング、光源の追加、照明光の追加、又は影の追加のうちの少なくとも1つ以上を含む。スペクトル周波数のフィルタリングを行うことにより、色合いを現実の画像に近づけることができる。また、光源の追加、照明光の追加、又は影の追加を行うことにより、光の当たり方を現実の画像に近づけることができる。前述の通り、仮想観測画像は、現実の画像に代えて機械学習のための観測データとして用いるものであるが、より現実の画像に近いものとなるように画像処理を施した強調仮想観測画像を観測データと用いることで、機械学習モデル生成部103において機械学習モデルを生成する際に、モデルの認識精度を更に高めることができる。
【0058】
図5は、本発明の第3の態様による機械学習モデル生成装置を示す図である。
図5に示すように、本発明の第3の態様においては、仮想観測画像処理部105は、強調仮想観測画像に対して構造物のテクスチャを追加し、テクスチャ追加画像を生成するようにしてもよい。テクスチャの追加以外の部分については、
図4において説明したものと同一である。
【0059】
仮想観測画像処理部105は、データベース108に予め記憶されているテクスチャ画像のデータを利用して、強調仮想観測画像に対して、更に現実の画像に近づけるために、テクスチャの追加を行うようにしてもよい。本発明において「テクスチャ」とは、構造物の表面の模様や柄のことをいう。ここで、データベース108に記憶されているテクスチャ画像は、仮想観測画像や強調仮想観測画像と同じ場所を撮影したものでなくてもよい。データベース108に記憶されているテクスチャ画像はサンプルであり、例えば、仮想観測画像内のパイプのテクスチャを現実のパイプのテクスチャに近づけるために、データベース108に記憶されている別の場所を撮影した現実の画像のパイプのテクスチャのデータを参考として利用することができる。即ち、仮想観測画像内の構造物と同じ構造物のテクスチャの情報が利用される。
【0060】
次に、
図6A~
図6Cを用いて、本発明による建屋内構造物認識装置20について説明する。
図6Aは、本発明による建屋内構造物認識装置20の概要を示す概略図である。
建屋内構造物認識装置20は、建屋内の構造物を認識するための機械学習済モデルを用いて、建屋内の構造物を認識する。建屋内構造物認識装置20は、機械学習済モデルに対し、入力データとして現実の建屋内の画像が入力されると、画像内の構造物の認識を行い、出力データとして画像内の構造物の領域を示す認識結果画像を出力する認識部201を備える。
【0061】
認識部201は、機械学習済モデルを有し、機械学習済モデルに対し、入力データとして現実の建屋内の画像が入力されると、画像内の構造物の認識を行い、出力データとして画像内の構造物の領域を示す認識結果画像を出力する。
図6Aの例では、入力データとして入力される現実の画像に、建屋内の構造物としてパイプが含まれている。
図6Aの例では、認識部201によりパイプが認識され、出力データとしての認識結果画像においては、パイプの部分に色又はマークが付けられている。即ち、認識結果画像において、色又はマークが付けられている部分は、パイプとして認識された部分であり、画像内のその部分について、パイプであるというアノテーションが付けられたことになる。
図6Aの例では、パイプについて説明したが、これに限られず、現実の画像に含まれるパイプ以外の構造物も同様に認識され得る。
【0062】
機械学習済モデルは、BIM(Building Information Modeling)データから生成された正解画像を正解データとし、BIMデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより生成されたものである。機械学習済モデルとして、先に
図2~
図5を用いて説明した本発明の任意の態様の機械学習モデル生成装置10で生成された機械学習済モデルを用いることができる。
【0063】
機械学習済モデルは、ニューラルネットワークによる深層学習により生成されたものである。
【0064】
図6Bは、本発明のある態様による建屋内構造物認識装置を示す概略図である。
図6Bの態様においては、認識部201は、現実の建屋内の画像に加えて、更に構造物の領域を示す構造物選択画像を入力データとして画像内の構造物の認識を行う。それ以外の部分については、
図6Aで説明したものと同一である。
【0065】
構造物選択画像は、構造物の領域を示した画像であり、
図6Bの例では、構造物選択画像は、構造物であるパイプの領域が白で示され、その他の部分が黒で示されたマスク画像である。構造物選択画像は、
図6Bのようなマスク画像でなくてもよく、認識すべき構造物に応じて、他の形式で構造物を示した画像であってもよい。また、構造物選択画像は、ユーザが構造物を選択したものであってもよく、構造物選択画像はユーザ端末40から送信されたものであってもよい。現実の建屋内の画像に加えて、更に構造物の領域を示す構造物選択画像を入力データとして用いることにより、認識部201での認識の精度を高めることができる。特に、
図3~
図5を用いて説明した本発明の第1~第3の態様による機械学習モデル生成装置10において生成された機械学習モデルにおいては、強化用データとして、強化画像を用いており、認識部201において、第1~第3の態様による機械学習モデルを用いて認識を行う際に、認識の精度を更に高めることができる。
【0066】
図6Cは、本発明の他の態様による建屋内構造物認識装置を示す概略図である。
図6Cの例では、認識部201は、現実の建屋内の画像内に含まれるテキストを除去し、テキスト除去後の画像を入力データとして前記画像内の構造物の認識を行う。
図6Cの例では、テキスト除去部202により、パイプに記載されたテキスト(文字)が除去され、テキスト除去後画像が入力データとして用いられている。また、テキスト除去後画像に加えて、
図6Bで説明したものと同様の構造物選択画像も入力データとして用いてもよい。
【0067】
図7Aは、本発明のある態様による検証部203の処理を示す図である。
検証部203は、機械学習済モデルの検証を行う。検証部203は、認証結果画像とユーザ指定画像とを比較することにより、機械学習済モデルの検証を行う。
図7Aでは、例として、建設途中の建屋内に配置されたパイプの認識を行った結果としての認識結果画像と、建設途中の建屋内の同じ位置における現実の画像に対してユーザがパイプの領域を指定した画像であるユーザ指定画像とが比較されている。
【0068】
図7Bは、本発明の他の態様による検証部203の処理を示す図である。
図7Bの例では、テキストを含むパイプに対して認識を行った結果としての認識結果画像と、建設途中の建屋内の同じ位置における現実の画像に対してユーザがパイプの領域を指定した画像であるユーザ指定画像とが比較されている。
【0069】
次に、本発明による建屋内構造物認識方法について説明する。
本発明による建屋内構造物認識方法は、BIM(Building Information Modeling)データから生成された正解画像を正解データとし、BIMデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行い、機械学習モデルを生成するステップ(具体的には
図8~11の機械学習モデルを生成するための各ステップ)と、機械学習モデルを用いて、建屋内の構造物を認識するステップ(具体的には
図12~13の構造物を認識するための各ステップ)とを備える。
【0070】
建屋内構造物認識方法の各ステップは、建屋内構造物認識システム1により実行することができる。また、建屋内構造物認識方法の機械学習モデルを生成するステップは、機械学習モデル生成装置10により実行することができる。また、建屋内構造物認識方法の建屋内の構造物を認識するステップするステップは、建屋内構造物認識装置20により実行することができる。以下で説明する各ステップについても、その処理内容に応じて、建屋内構造物認識システム1、機械学習モデル生成装置10、建屋内構造物認識装置20又は上記で説明した各部により実行することができる。
【0071】
図8は、本発明の機械学習モデル生成装置10の処理の流れの概要を示す図である。
まず、ステップS801にて、BIMデータから仮想観測画像及び正解画像が生成される。仮想観測画像は、BIMデータをレンダリングしたものであり、正解画像は、BIMデータを元に生成された構造物を示すマスク領域を有するマスク画像である。次に、ステップS801で生成された仮想観測画像を観測データとし、正解画像を正解データとして、機械学習モデルが生成される(ステップS802)。
【0072】
図9は、本発明の第1の態様による機械学習モデル生成装置10の処理の流れを示す図である。
本発明の第1の態様においては、
図8のステップS801と同様に、まず、ステップS901にて、BIMデータから仮想観測画像及び正解画像が生成される。
図8の場合と異なる点は、BIMデータから仮想観測画像及び正解画像を生成するステップS901において生成された正解画像に対して、特徴線の抽出を行うことにより、強化画像の生成を行うステップ(ステップS902)が追加される点である。第1の態様においては、ステップS901で生成された仮想観測画像を観測データとし、ステップS902で生成された強化画像を正解データとして、機械学習モデルが生成される(ステップS903)。
【0073】
図10は、本発明の第2の態様による機械学習モデル生成装置10の処理の流れを示す図である。
本発明の第2の態様においては、
図9のステップ901と同様に、まず、ステップS1001にて、BIMデータから仮想観測画像及び正解画像が生成される。また、
図9のステップS902と同様に、BIMデータから仮想観測画像及び正解画像を生成するステップS1001において生成された正解画像に対して、特徴線の抽出を行うことにより、強化画像の生成を行う(ステップS1002)。
図9の場合と異なる点は、ステップS1001にて生成された仮想観測画像に対して画像処理を行い、強調仮想観測画像を生成するステップ(ステップS1003)が追加される点である。ステップS1003では、仮想観測画像に対して、現実の画像の情報に基づいて、現実の画像に近づくような画像処理が行われる。例えば、画像処理として、スペクトル周波数のフィルタリング、光源の追加、照明光の追加、又は影の追加のうちの少なくとも1つ以上を行うようにしてもよい。第2の態様においては、ステップS1003で生成された強調仮想観測画像を観測データとし、ステップS1002で生成された強化画像を正解データとして、機械学習モデルが生成される(ステップS1004)。
【0074】
図11は、本発明の第3の態様による機械学習モデル生成装置10の処理の流れを示す図である。
本発明の第3の態様においては、
図10のステップS1001と同様に、まず、ステップS1101にて、BIMデータから仮想観測画像及び正解画像が生成される。また、
図10のステップS1002と同様に、BIMデータから仮想観測画像及び正解画像を生成するステップS1101において生成された正解画像に対して、特徴線の抽出を行うことにより、強化画像の生成を行う(ステップS1102)。また、
図10のステップS1003と同様に、ステップS1101にて生成された仮想観測画像に対して画像処理を行い、強調仮想観測画像を生成する(ステップS1103)。
図10の場合と異なる点は、ステップS1103にて生成された強調仮想観測画像に対して、テクスチャ画像を追加するステップ(S1104)が追加される点である。第3の態様においては、ステップS1104で生成されたテクスチャ追加画像を観測データとし、ステップS1102で生成された強化画像を正解データとして、機械学習モデルが生成される(ステップS1105)。
【0075】
図12は、本発明のある態様による建屋内構造物認識装置20の処理の流れを示す図である。
まず、ステップS1201にて、現場写真等の現実の画像から強化画像が生成される。次に、生成された強化画像に対して、ステップS1202にて、強化画像の調整を行う。強化画像の調整は、例えば、認識すべき構造物がパイプの場合、パイプの特徴線(例えば、中心線やエッジ等)の検出結果に対し、必要に応じて、長さや傾き等を再調整する処理である。次に、現実の画像、ステップS1201で生成された強化画像、及びステップS1202で調整された強化画像を入力データとして、機械学習済のモデルを用いて、建屋内の構造物を認識する構造物認識処理が行われる(ステップS1203)。ステップS1203で得られた構造物認識結果はそのまま出力データとしてもよいが、さらにステップS1204にて、構造物認識結果に対して、選択及び平均化を行うようにしてもよい。選択及び平均化は、例えば、認識すべき構造物がパイプの場合、パイプを画像化する際に、パイプを検出した位置を上下左右にシフトしてこれらの位置の平均を取って画像化する処理である。
【0076】
図13は、本発明の他の態様による建屋内構造物認識装置20の処理の流れを示す概略図である。
図13の例は、建屋内の構造物にテキストが記載されている場合の処理である。建屋内の構造物にテキストが記載されている場合には、構造物の認識処理に先立って、テキストの除去が行われる。まず、ステップS1301にて、現場写真等の現実の画像に対して、OCRによる文字認識が行われ、画像内のテキスト領域が検出される。次に、ステップS1301で検出されたテキスト領域に対応するピクセルの検出が行われる(ステップS1302)。次に、ステップS1302にて検出されたピクセルの除去及び画像復元が行われる(ステップS1303)。ここで、画像復元とは、例えば、除去されたピクセルをそのピクセルの周囲の色やテクスチャで埋めることによりテキストの裏に隠れた構造物の部分を再現することである。これにより、テキストが除去された画像が得られる。
【0077】
また、
図12のステップS1201と同様に、現場写真等の現実の画像から強化画像が生成される(ステップS1304)。また、
図12のステップS1201と同様に、強化画像の調整を行う(ステップS1305)。次に、ステップS1303で得られたテキストが除去された画像、ステップS1304で生成された強化画像、及びステップS1305で調整された強化画像を入力データとして、機械学習済のモデルを用いて、建屋内の構造物を認識する構造物認識処理が行われる(ステップS1306)。ステップS1306で得られた構造物認識結果はそのまま出力データとしてもよいが、さらにステップS1307にて、構造物認識結果に対して、選択及び平均化を行うようにしてもよい。
【0078】
また、本発明では、コンピュータに、本発明による建屋内構造物認識方法の各ステップを実行させるプログラムを提供する。プログラムはコンピュータ読み取り可能な記録媒体に記録されるようにしてもよい。また、プログラムはサーバー内に格納され、サーバー上で実行され、及び/又はネットワークを介してその機能を提供するようにしてもよい。
【0079】
図14は、本発明の建屋内構造物管理システム50の概要を示す図である。
建屋内構造物管理システム50は、建屋内の構造物を認識するための機械学習済モデルを用いて認識された建屋内の構造物を管理する。建屋内構造物管理システム50は、建屋内構造物認識装置20において認識された構造物のデータ又は構造物の部材のデータを記憶するデータベース501を備える。データベース501に記憶された構造物のデータ又は構造物の部材のデータは、ユーザ端末40に送信されるようにしてもよい。建屋内構造物管理システム50によれば、建屋内構造物認識装置20で認識された建屋内の構造物のデータ又は構造物の部材のデータ等の注目すべき部材のデータや必要なデータのみを記憶し管理することにより、データ量の増加や管理のコストを低減し、これらの必要なデータのみを利用することにより、計測や処理の速度を向上させることができる。
【0080】
以上の実施例で説明した本発明の機械学習モデル生成装置10の各態様(第1~第3の態様等)と、本発明の建屋内構造物認識装置20の各態様とは、任意に組み合わせて実施することができる。また、これらの任意に組み合わせた態様を含む建屋内構造物認識システム1を実施することができる。また、建屋内構造物管理システム50は、これらの任意に組み合わせた態様と組み合わせて実施することができる。
【0081】
以上により説明した本発明による建屋内構造物認識システム及び建屋内構造物認識方法によれば、建築現場で注目すべき部材に注目して形状や位置の計測が出来るようになり、精度、スピードを向上させることができる。また、建築現場で管理するべき部材の量を減らすことが出来、これに伴い、建築現場の部材管理システムがハンドルするデータ量を大幅に減らすことが出来る。
上記記載は実施例についてなされたが、本発明はそれに限らず、本発明の原理と添付の請求の範囲の範囲内で種々の変更および修正をすることができることは当業者に明らかである。
【符号の説明】
【0082】
1 建屋内構造物認識システム
10 機械学習モデル生成装置
20 建屋内構造物認識装置
30 撮像装置
40 ユーザ端末
50 建屋内構造物管理システム
101 正解画像生成部
102 仮想観測画像生成部
103 機械学習モデル生成部
104 強化用画像生成部
105 仮想観測画像処理部
201 認識部
202 テキスト除去部
203 検証部
501 データベース