知財求人 - 知財ポータルサイト「IP Force」
特許7429133建築物の異常検知モデルの学習方法、学習装置、建築物の景観情報の生成方法、生成装置、コンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-30
(45)【発行日】2024-02-07
(54)【発明の名称】建築物の異常検知モデルの学習方法、学習装置、建築物の景観情報の生成方法、生成装置、コンピュータプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240131BHJP
【ＦＩ】
G06T7/00 350C
G06T7/00 610B
【請求項の数】
4
(21)【出願番号】P 2020036502
(22)【出願日】2020-03-04
(65)【公開番号】P2021140379
(43)【公開日】2021-09-16
【審査請求日】2022-11-18
(73)【特許権者】
【識別番号】302060926
【氏名又は名称】株式会社フジタ
(74)【代理人】
【識別番号】100089875
【弁理士】
【氏名又は名称】野田 茂
(72)【発明者】
【氏名】森 大樹
【審査官】大塚 俊範
(56)【参考文献】
【文献】特開２０１９－１５７５３５（ＪＰ，Ａ）
【文献】特開２０２０－０３０７８６（ＪＰ，Ａ）
【文献】角田 賢明，プロダクトＡ 構造物点検のイノベーション ＡＩで建設業界の未来を豊かにするサービス，月刊自動認識，日本，日本工業出版株式会社，2020年01月10日，第33巻、第1号，p.24-28，ISSN 0915-1060
【文献】NIU,Shuanlong、他３名，Lin，Defect Image Sample Generation With GAN for Improv ing Defect Recognition，IEEE Transactions on Automation Science and En gineering，IEEE，2020年02月27日，Volume 17, Issue 3，p,1611-1622，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9000806，DOI 10.1109/TASE.2020.2967415
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００－ ７／９０
Ｇ０６Ｖ １０／００－１０／９８
(57)【特許請求の範囲】
【請求項1】
建築物を撮像した画像情報に基づいて異常箇所を検知する異常検知モデルの学習方法であって、前記建築物の各部を構成する要素の形状を示す形状情報と、前記要素の属性を示す属性情報とを含む前記建築物の３次元情報であるＢＩＭ（Building Information Modeling）情報から前記建築物の検知対象となる部分の正常な画像情報である第１画像情報を生成するステップと、
前記建築物の検知対象箇所を実際に撮像した第２画像情報を得るステップと、
前記第１画像情報および前記第２画像情報の少なくとも一方に対して画像処理を施すことによって異常箇所が新たに付加された第３画像情報を生成するステップと、
ＧＡＮ（Generative Adversarial Networks）を利用した生成モデルによって前記第３画像情報を学習させるステップと、
前記第３画像情報で学習した前記生成モデルによって、前記第１画像情報から水増し用の画像情報としての第４画像情報を生成するステップと、
前記第２画像情報および前記第４画像情報を教師データとして用いて前記異常検知モデルの学習を行なうステップと、
を含むことを特徴とする建築物の異常検知モデルの学習方法。
【請求項2】
前記異常箇所は前記建築物に発生したひび割れ、剥落、汚損の少なくとも１つを含む、ことを特徴とする請求項１記載の建築物の異常検知モデルの学習方法。
【請求項3】
請求項１または２記載の建築物の異常検知モデルの学習方法をコンピュータに実行させるコンピュータプログラム。
【請求項4】
建築物を撮像した画像情報に基づいて異常箇所を検知する異常検知モデルの学習装置であって、前記建築物を撮像して前記画像情報を生成する撮像部と、
前記建築物の各部を構成する要素の形状を示す形状情報と、前記要素の属性を示す属性情報とを含む前記建築物の３次元情報であるＢＩＭ（Building Information Modeling）情報から前記建築物の検知対象となる部分の正常な画像情報である第１画像情報を生成する第１画像情報生成部と、
前記撮像部により前記建築物の検知対象箇所を実際に撮像した第２画像情報を得る第２画像情報生成部と、
前記第１画像情報および前記第２画像情報の少なくとも一方に対して画像処理を施すことによって異常箇所が新たに付加された第３画像情報を生成する第３画像情報生成部と、
ＧＡＮ（Generative Adversarial Networks）を利用した生成モデルで構成され、前記第３画像情報を学習し、前記第１画像情報から水増し用の画像情報としての第４画像情報を生成する第４画像情報生成部と、
前記第２画像情報および前記第４画像情報を用いて前記異常検知モデルの学習を行なう異常検知モデル学習部と、
を備えることを特徴とする建築物の異常検知モデルの学習装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、建築物のＢＩＭ情報を、ＧＡＮを用いた生成モデルに入力することで有益な情報を得る技術に関する。
【背景技術】
【0002】
近年、建築物のＣＡＤデータとして、建築物の３次元情報であるＢＩＭ（Building Information Modeling）情報が用いられている（特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０２０－４２７８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
このようなＢＩＭ情報は、建築物の各部を構成する要素の形状を示す形状情報、要素の属性を示す属性情報などの様々な情報を含んでいることから、ＢＩＭ情報を用いて様々な有用な情報を得ることが考えられる。
例えば、機械学習させた異常検知モデルを用いて、建築物の対象箇所を撮像した画像情報と、ＢＩＭ情報とに基づいて異常箇所の検知を行なうことが考えられる。
あるいは、機械学習させた生成モデルを用いて、ＢＩＭ情報に基づいて様々な環境下における建築物の景観情報を得ることが考えられる。
本発明はこのような事情に鑑みなされたものであり、その目的は、異常検知モデルによる異常箇所の検知の精度を高め、異常箇所の検知を確実に行なう上で有利となる建築物の異常検知モデルの学習方法、学習装置、コンピュータプログラムを提供することにある。また、本発明の目的は、環境条件を反映した建築物景観情報を精度よく生成する上で有利な建築物の景観情報の生成方法、生成装置、コンピュータプログラムを提供することにある。
例えば、機械学習させた異常検知モデルを用いて、建築物の対象箇所を撮像した画像情報と、ＢＩＭ情報とに基づいて異常箇所の検知を行なうことが考えられる。
あるいは、機械学習させた生成モデルを用いて、ＢＩＭ情報に基づいて様々な環境下における建築物の景観情報を得ることが考えられる。
本発明はこのような事情に鑑みなされたものであり、その目的は、異常検知モデルによる異常箇所の検知の精度を高め、異常箇所の検知を確実に行なう上で有利となる建築物の異常検知モデルの学習方法、学習装置、コンピュータプログラムを提供することにある。また、本発明の目的は、環境条件を反映した建築物景観情報を精度よく生成する上で有利な建築物の景観情報の生成方法、生成装置、コンピュータプログラムを提供することにある。
【課題を解決するための手段】
【0005】
上述の目的を達成するため、本発明は、建築物を撮像した画像情報に基づいて異常箇所を検知する異常検知モデルの学習方法であって、前記建築物の各部を構成する要素の形状を示す形状情報と、前記要素の属性を示す属性情報とを含む前記建築物の３次元情報であるＢＩＭ（Building Information Modeling）情報から前記建築物の検知対象となる部分の正常な画像情報である第１画像情報を生成するステップと、前記建築物の検知対象箇所を実際に撮像した第２画像情報を得るステップと、前記第１画像情報および前記第２画像情報の少なくとも一方に対して画像処理を施すことによって異常箇所が新たに付加された第３画像情報を生成するステップと、ＧＡＮ（Generative Adversarial Networks）を利用した生成モデルによって前記第３画像情報を学習させるステップと、前記第３画像情報で学習した前記生成モデルによって、前記第１画像情報から水増し用の画像情報としての第４画像情報を生成するステップと、前記第２画像情報および前記第４画像情報を教師データとして用いて前記異常検知モデルの学習を行なうステップとを含むことを特徴とする。
また、本発明は、前記異常箇所は前記建築物に発生したひび割れ、剥落、汚損の少なくとも１つを含むことを特徴とする。
また、本発明は、上記の建築物の異常検知モデルの学習方法をコンピュータに実行させるコンピュータプログラムである。
また、本発明は、建築物を撮像した画像情報に基づいて異常箇所を検知する異常検知モデルの学習装置であって、前記建築物を撮像して前記画像情報を生成する撮像部と、前記建築物の各部を構成する要素の形状を示す形状情報と、前記要素の属性を示す属性情報とを含む前記建築物の３次元情報であるＢＩＭ（Building Information Modeling）情報から前記建築物の検知対象となる部分の正常な画像情報である第１画像情報を生成する第１画像情報生成部と、前記撮像部により前記建築物の検知対象箇所を実際に撮像した第２画像情報を得る第２画像情報生成部と、前記第１画像情報および前記第２画像情報の少なくとも一方に対して画像処理を施すことによって異常箇所が新たに付加された第３画像情報を生成する第３画像情報生成部と、ＧＡＮ（Generative Adversarial Networks）を利用した生成モデルで構成され、前記第３画像情報を学習し、前記第１画像情報から水増し用の画像情報としての第４画像情報を生成する第４画像情報生成部と、前記第２画像情報および前記第４画像情報を用いて前記異常検知モデルの学習を行なう異常検知モデル学習部とを備えることを特徴とする。
また、本発明は、建築物景観情報の生成方法であって、建築物の各部を構成する要素の形状を示す形状情報と、前記要素の属性を示す属性情報とを含む前記建築物の３次元情報であるＢＩＭ（Building Information Modeling）情報を用意するステップと、前記建築物を取り巻く環境条件を入力するステップと、ＧＡＮ（Generative Adversarial Networks）を利用した生成モデルによって前記環境条件を学習するステップと、前記環境条件を学習した生成モデルによって、前記ＢＩＭ情報から前記建築物をその外部から見た外部画像または前記建築物をその内部から見た内部画像を示す建築物景観情報を生成するステップとを含むことを特徴とする。
また、本発明は、前記環境条件は、１日のうちの時間帯、１年のうちの季節、天候の少なくとも１つを含むことを特徴とする。
また、本発明は、上記の建築物景観情報の生成方法をコンピュータに実行させるコンピュータプログラムである。
また、本発明は、建築物景観情報生成装置であって、建築物の各部を構成する要素の形状を示す形状情報と、前記要素の属性を示す属性情報とを含む前記建築物の３次元情報であるＢＩＭ（Building Information Modeling）情報を記録する記録部と、前記建築物を取り巻く環境条件を入力する入力部と、ＧＡＮ（Generative Adversarial Networks）を利用した生成モデルによって前記環境条件を学習し、前記ＢＩＭ情報から、前記建築物をその外部から見た外部画像または前記建築物をその内部から見た内部画像を示す建築物景観情報を生成する建築物景観情報生成部とを備えることを特徴とする。
また、本発明は、前記異常箇所は前記建築物に発生したひび割れ、剥落、汚損の少なくとも１つを含むことを特徴とする。
また、本発明は、上記の建築物の異常検知モデルの学習方法をコンピュータに実行させるコンピュータプログラムである。
また、本発明は、建築物を撮像した画像情報に基づいて異常箇所を検知する異常検知モデルの学習装置であって、前記建築物を撮像して前記画像情報を生成する撮像部と、前記建築物の各部を構成する要素の形状を示す形状情報と、前記要素の属性を示す属性情報とを含む前記建築物の３次元情報であるＢＩＭ（Building Information Modeling）情報から前記建築物の検知対象となる部分の正常な画像情報である第１画像情報を生成する第１画像情報生成部と、前記撮像部により前記建築物の検知対象箇所を実際に撮像した第２画像情報を得る第２画像情報生成部と、前記第１画像情報および前記第２画像情報の少なくとも一方に対して画像処理を施すことによって異常箇所が新たに付加された第３画像情報を生成する第３画像情報生成部と、ＧＡＮ（Generative Adversarial Networks）を利用した生成モデルで構成され、前記第３画像情報を学習し、前記第１画像情報から水増し用の画像情報としての第４画像情報を生成する第４画像情報生成部と、前記第２画像情報および前記第４画像情報を用いて前記異常検知モデルの学習を行なう異常検知モデル学習部とを備えることを特徴とする。
また、本発明は、建築物景観情報の生成方法であって、建築物の各部を構成する要素の形状を示す形状情報と、前記要素の属性を示す属性情報とを含む前記建築物の３次元情報であるＢＩＭ（Building Information Modeling）情報を用意するステップと、前記建築物を取り巻く環境条件を入力するステップと、ＧＡＮ（Generative Adversarial Networks）を利用した生成モデルによって前記環境条件を学習するステップと、前記環境条件を学習した生成モデルによって、前記ＢＩＭ情報から前記建築物をその外部から見た外部画像または前記建築物をその内部から見た内部画像を示す建築物景観情報を生成するステップとを含むことを特徴とする。
また、本発明は、前記環境条件は、１日のうちの時間帯、１年のうちの季節、天候の少なくとも１つを含むことを特徴とする。
また、本発明は、上記の建築物景観情報の生成方法をコンピュータに実行させるコンピュータプログラムである。
また、本発明は、建築物景観情報生成装置であって、建築物の各部を構成する要素の形状を示す形状情報と、前記要素の属性を示す属性情報とを含む前記建築物の３次元情報であるＢＩＭ（Building Information Modeling）情報を記録する記録部と、前記建築物を取り巻く環境条件を入力する入力部と、ＧＡＮ（Generative Adversarial Networks）を利用した生成モデルによって前記環境条件を学習し、前記ＢＩＭ情報から、前記建築物をその外部から見た外部画像または前記建築物をその内部から見た内部画像を示す建築物景観情報を生成する建築物景観情報生成部とを備えることを特徴とする。
【発明の効果】
【0006】
本発明によれば、建築物の３次元情報であるＢＩＭ情報から建築物の検知対象となる部分の正常な画像情報である第１画像情報を生成し、建築物の検知対象箇所を実際に撮像した第２画像情報を得て、第１画像情報および第２画像情報の少なくとも一方に対して画像処理を施すことによって異常箇所が新たに付加された第３画像情報を生成し、ＧＡＮを利用した生成モデルによって第３画像情報を学習させ、学習した生成モデルによって、第１画像情報から水増し用の画像情報としての第４画像情報を生成し、第２画像情報および第４画像情報を教師データとして用いて異常検知モデルの学習を行なうようにした。
したがって、異常検知モデルの学習に際して、少数の第２画像情報しか用意できなくても、水増しデータとしての第４画像情報を容易に多数生成して、第２画像情報および第４画像情報を教師データとして異常検知モデルの学習を行なうことができるため、手間暇をかけることなく、異常検知モデルによる学習（機械学習）の効果を向上させる上で有利となり、異常検知モデルによる異常箇所の検知の精度を高め、異常箇所の検知を確実に行なう上で有利となる。
また、本発明によれば、建築物の各部を構成する要素の形状を示す形状情報と、要素の属性を示す属性情報とを含む建築物の３次元情報であるＢＩＭ情報を用意し、ＧＡＮを利用した生成モデルによって建築物を取り巻く環境条件を学習させ、環境条件を学習した生成モデルによって、ＢＩＭ情報から建築物をその外部から見た外部画像または建築物をその内部から見た内部画像を示す建築物景観情報を生成するようにした。
したがって、ＢＩＭ情報の形状情報および属性情報に基づいて建築物景観情報を精度よく生成できることは無論のこと、環境条件を学習した生成モデルを用いるので、得られた建築物景観情報は環境条件を反映したものとなる。
そのため、建築物景観情報を用いて建築物の広報資料（カタログ）を作成した場合、さまざまな環境条件を反映した建築物の画像を提示することができ、広報資料の内容を多彩なものとし顧客に対する宣伝効果の向上を図る上で有利となる。
したがって、異常検知モデルの学習に際して、少数の第２画像情報しか用意できなくても、水増しデータとしての第４画像情報を容易に多数生成して、第２画像情報および第４画像情報を教師データとして異常検知モデルの学習を行なうことができるため、手間暇をかけることなく、異常検知モデルによる学習（機械学習）の効果を向上させる上で有利となり、異常検知モデルによる異常箇所の検知の精度を高め、異常箇所の検知を確実に行なう上で有利となる。
また、本発明によれば、建築物の各部を構成する要素の形状を示す形状情報と、要素の属性を示す属性情報とを含む建築物の３次元情報であるＢＩＭ情報を用意し、ＧＡＮを利用した生成モデルによって建築物を取り巻く環境条件を学習させ、環境条件を学習した生成モデルによって、ＢＩＭ情報から建築物をその外部から見た外部画像または建築物をその内部から見た内部画像を示す建築物景観情報を生成するようにした。
したがって、ＢＩＭ情報の形状情報および属性情報に基づいて建築物景観情報を精度よく生成できることは無論のこと、環境条件を学習した生成モデルを用いるので、得られた建築物景観情報は環境条件を反映したものとなる。
そのため、建築物景観情報を用いて建築物の広報資料（カタログ）を作成した場合、さまざまな環境条件を反映した建築物の画像を提示することができ、広報資料の内容を多彩なものとし顧客に対する宣伝効果の向上を図る上で有利となる。
【図面の簡単な説明】
【0007】
【図1】第１の実施の形態に係る建築物の異常検知モデルの学習装置のブロック図である。
【図2】第１の実施の形態に係る建築物の異常検知モデルの学習方法における情報の流れを示す模式図である。
【図3】第１の実施の形態に係る建築物の異常検知モデルの学習方法を示すフローチャートである。
【図4】第２の実施の形態に係る建築物景観情報生成装置のブロック図である。
【図5】第２の実施の形態に係る建築物景観情報の生成方法を示すフローチャートである。
【発明を実施するための形態】
【0008】
（第１の実施の形態）
次に本発明の実施の形態に係る建築物の異常検知モデルの学習装置について学習方法およびコンピュータプログラムと共に説明する。
なお、本明細書において建築物とは、建築中の建築物、建築後の建築物の何れであってもかまわない。
図１に示すように、建築物の異常検知モデルの学習装置（以下単に学習装置という）１０は、撮像部１２と、ＢＩＭ情報生成部１４と、コンピュータ１６とを含んで構成され、コンピュータ１６は後述するロボット１８と通信可能に接続されている。
次に本発明の実施の形態に係る建築物の異常検知モデルの学習装置について学習方法およびコンピュータプログラムと共に説明する。
なお、本明細書において建築物とは、建築中の建築物、建築後の建築物の何れであってもかまわない。
図１に示すように、建築物の異常検知モデルの学習装置（以下単に学習装置という）１０は、撮像部１２と、ＢＩＭ情報生成部１４と、コンピュータ１６とを含んで構成され、コンピュータ１６は後述するロボット１８と通信可能に接続されている。
【0009】
撮像部１２、ＢＩＭ情報生成部１４、コンピュータ１６は、互いにデータの授受ができるように有線あるいは無線の通信線を介して接続されている。
ＢＩＭ情報生成部１４は、例えば、建築物の設計作業で使用されるコンピュータで構成される。
ＢＩＭ情報生成部１４は、建築物の各部を構成する要素の形状を示す形状情報と、要素の属性を示す属性情報とを含む建築物の３次元情報（３次元ＣＡＤ情報）であるＢＩＭ（Building Information Modeling）情報を生成し、コンピュータ１６に供給するものである。
ここで、建築物の各部を構成する要素とは、例えば、屋根、外壁、内壁、柱、天井、床、建具（窓、ドア、戸）など、従来公知の様々な建築物の各部を構成する要素である。
形状情報とは、上記要素の形状を示す情報である。
属性情報とは、上記要素の寸法、材質、色などを示す情報であり、言い換えると、視覚的に表現される情報である。
ＢＩＭ情報生成部１４は、例えば、建築物の設計作業で使用されるコンピュータで構成される。
ＢＩＭ情報生成部１４は、建築物の各部を構成する要素の形状を示す形状情報と、要素の属性を示す属性情報とを含む建築物の３次元情報（３次元ＣＡＤ情報）であるＢＩＭ（Building Information Modeling）情報を生成し、コンピュータ１６に供給するものである。
ここで、建築物の各部を構成する要素とは、例えば、屋根、外壁、内壁、柱、天井、床、建具（窓、ドア、戸）など、従来公知の様々な建築物の各部を構成する要素である。
形状情報とは、上記要素の形状を示す情報である。
属性情報とは、上記要素の寸法、材質、色などを示す情報であり、言い換えると、視覚的に表現される情報である。
【0010】
コンピュータ１６は、ＣＰＵ、制御プログラム等を格納・記憶するＲＯＭ、制御プログラムの作動領域としてのＲＡＭ、周辺回路等とのインターフェースをとるインターフェース部などを含んで構成される。
コンピュータ１６は、ＣＰＵが制御プログラムを実行することにより、第１画像情報生成部１６Ａ、第２画像情報生成部１６Ｂ、第３画像情報生成部１６Ｃ、第４画像情報生成部１６Ｄ、異常検知モデル学習部１６Ｅとして機能する。
コンピュータ１６は、ＣＰＵが制御プログラムを実行することにより、第１画像情報生成部１６Ａ、第２画像情報生成部１６Ｂ、第３画像情報生成部１６Ｃ、第４画像情報生成部１６Ｄ、異常検知モデル学習部１６Ｅとして機能する。
【0011】
第１画像情報生成部１６Ａは、ＢＩＭ情報から建築物の検知対象となる部分の正常な画像情報である第１画像情報Ｄ１を生成するものである。
なお、以下で説明する第１画像情報Ｄ１～第４画像情報Ｄ４は、３次元の画像情報であっても、２次元の画像情報であっても構わない。
建築物の検知対象となる部分とは、建築物の外部からあるいは内部から視認可能な部分であり、言い換えると、撮像部１２によって撮像可能な部分である。
第１画像情報Ｄ１は、ＢＩＭ情報から生成されるものであり、したがって、検知対象となる部分に異常が無い状態の画像情報であり、例えば、ひび割れ、剥落などの損傷や経年劣化による汚損が無い状態の検知対象となる部分の画像情報である。
なお、以下で説明する第１画像情報Ｄ１～第４画像情報Ｄ４は、３次元の画像情報であっても、２次元の画像情報であっても構わない。
建築物の検知対象となる部分とは、建築物の外部からあるいは内部から視認可能な部分であり、言い換えると、撮像部１２によって撮像可能な部分である。
第１画像情報Ｄ１は、ＢＩＭ情報から生成されるものであり、したがって、検知対象となる部分に異常が無い状態の画像情報であり、例えば、ひび割れ、剥落などの損傷や経年劣化による汚損が無い状態の検知対象となる部分の画像情報である。
【0012】
第２画像情報生成部１６Ｂは、建築物の検知対象箇所を実際に撮像した第２画像情報Ｄ２を生成するものであり、本実施の形態では、撮像部１２で撮像された画像情報を第２画像情報Ｄ２として受け付けるものである。第２画像情報Ｄ２は建築物の検知対象箇所にまだ異常が発生していない段階で生成されることが好ましい。
【0013】
第３画像情報生成部１６Ｃは、第１画像情報Ｄ１および第２画像情報Ｄ２の少なくとも一方に対して画像処理を施すことによって異常箇所が新たに付加された第３画像情報Ｄ３を生成するものである。
すなわち、第３画像情報Ｄ３は、画像処理によって人為的に生成された異常箇所が新たに付加されたものであり、言い換えると、人為的（人工的）にノイズが付加された画像情報である。
すなわち、第３画像情報Ｄ３は、画像処理によって人為的に生成された異常箇所が新たに付加されたものであり、言い換えると、人為的（人工的）にノイズが付加された画像情報である。
【0014】
第４画像情報生成部１６Ｄは、ＧＡＮ（Generative Adversarial Networks：敵対的生成ネットワーク）を利用した生成モデルで構成され、第３画像情報Ｄ３を学習し、第１画像情報Ｄ１から水増し用の画像情報としての第４画像情報Ｄ４を生成するものである。
すなわち、異常箇所が新たに付加された第３画像を学習した生成モデルを用いて異常箇所が無い第１画像情報Ｄ１から新たに水増し用の異常箇所が有る第４画像情報Ｄ４を生成する。
したがって、第４画像情報生成部１６Ｄは、多くの第３画像情報Ｄ３を学習すればするほど、様々な異常箇所が有る多様な種類の第４画像情報Ｄ４を生成することができ、言い換えると、手間暇をかけることなく第４画像情報Ｄ４を生成できるように図られている。
すなわち、異常箇所が新たに付加された第３画像を学習した生成モデルを用いて異常箇所が無い第１画像情報Ｄ１から新たに水増し用の異常箇所が有る第４画像情報Ｄ４を生成する。
したがって、第４画像情報生成部１６Ｄは、多くの第３画像情報Ｄ３を学習すればするほど、様々な異常箇所が有る多様な種類の第４画像情報Ｄ４を生成することができ、言い換えると、手間暇をかけることなく第４画像情報Ｄ４を生成できるように図られている。
【0015】
異常検知モデル学習部１６Ｅは、第２画像情報Ｄ２および第４画像情報Ｄ４の双方を教師データＤＴとして用いて、後述するロボット１８の異常検知モデル２２の学習を行なうものである。
すなわち、第２画像情報Ｄ２は、建築物の検知対象箇所を実際に撮像したものであることから情報量としては限られたものとなっている。
これに対して、第４画像情報Ｄ４は、ＧＡＮを用いた生成モデルによって生成されるので、多くの第４画像情報Ｄ４を生成することが容易であり、したがって、第４画像情報Ｄ４を多くするほど、後述するロボット１８の異常検知モデル２２を学習させるための教師データＤＴの情報量をより大きなものとすることができる。言い換えると、手間暇をかけることなく、教師データＤＴの質と量を共に確保する上で有利となる。
すなわち、第２画像情報Ｄ２は、建築物の検知対象箇所を実際に撮像したものであることから情報量としては限られたものとなっている。
これに対して、第４画像情報Ｄ４は、ＧＡＮを用いた生成モデルによって生成されるので、多くの第４画像情報Ｄ４を生成することが容易であり、したがって、第４画像情報Ｄ４を多くするほど、後述するロボット１８の異常検知モデル２２を学習させるための教師データＤＴの情報量をより大きなものとすることができる。言い換えると、手間暇をかけることなく、教師データＤＴの質と量を共に確保する上で有利となる。
【0016】
次にロボット１８は、建築物の外部あるいは内部を、自律移動するものであり、予め定められた経路に沿って巡回しながら、建築物の異常箇所を検知するものである。
ロボット１８は、ロボット側撮像部２０、異常検知モデル２２、移動部２４、地図データベース２６、測位部２８、移動制御部３０、報知情報生成部３２、記録部３４、通信部３６などを含んで構成されている。
ロボット１８は、ロボット側撮像部２０、異常検知モデル２２、移動部２４、地図データベース２６、測位部２８、移動制御部３０、報知情報生成部３２、記録部３４、通信部３６などを含んで構成されている。
【0017】
ロボット側撮像部２０は、ロボット１８の巡回中に建築物を撮像して建築物の対象箇所の画像情報を生成するものである。
【0018】
異常検知モデル２２は、ロボット側撮像部２０で撮像された建築物の対象箇所の画像情報に基づいて異常検知を行なうものであり、前述した多くの教師データＤＴによって機械学習を行なえば行なうほど、異常検知の精度を高めることができる。
【0019】
移動部２４は、ロボット１８を移動させるものであり、例えば、モータで回転駆動される駆動輪、モータで旋回される旋回輪などを含むものであり、床面上に沿ってロボット１８を走行させるものである。
移動部２４は、駆動輪および旋回輪を含む構成に限定されず、四足歩行ロボット１８で用いられる構成など、従来公知の様々なロボット１８の移動部２４の構成を用いることができる。
移動部２４は、駆動輪および旋回輪を含む構成に限定されず、四足歩行ロボット１８で用いられる構成など、従来公知の様々なロボット１８の移動部２４の構成を用いることができる。
【0020】
地図データベース２６は、建築物の内部、外部の地図情報と地図情報上に予め定められた巡回経路とを記録している。
【0021】
測位部２８は、ロボット１８の自らの現在位置を測位するものである。
本実施の形態では、巡回経路に沿って予め測位用のビーコン（不図示）が設置されている。
地図データベース２６にはビーコンが設置された位置とビーコンの識別情報とが紐付けられて記録されている。
測位部２８は、ビーコンから受信した識別情報に紐付けられた位置を地図データベース２６から特定することで現在位置の測位を行なう。
なお、測位部２８は、ＧＰＳなどの測位衛星から受信した測位信号に基づいて現在位置の測位を行なうものなど、従来公知の様々な測位方法を用いるものであってもよい。
ただし、ビーコンを用いると、測位衛星からの測位信号が建築物によって遮られるような場合でも現在位置を正確に測位する上で有利となる。
本実施の形態では、巡回経路に沿って予め測位用のビーコン（不図示）が設置されている。
地図データベース２６にはビーコンが設置された位置とビーコンの識別情報とが紐付けられて記録されている。
測位部２８は、ビーコンから受信した識別情報に紐付けられた位置を地図データベース２６から特定することで現在位置の測位を行なう。
なお、測位部２８は、ＧＰＳなどの測位衛星から受信した測位信号に基づいて現在位置の測位を行なうものなど、従来公知の様々な測位方法を用いるものであってもよい。
ただし、ビーコンを用いると、測位衛星からの測位信号が建築物によって遮られるような場合でも現在位置を正確に測位する上で有利となる。
【0022】
移動制御部３０は、測位部２８で測位された現在位置と地図データベース２６の地図情報とに基づいて巡回経路に沿って自律移動するように移動部２４を制御する。
【0023】
報知情報生成部３２は、異常検知モデル２２で異常箇所が検知された場合に、ロボット側撮像部２０で撮像された画像情報に異常箇所を示す異常箇所表示マークを付加した異常検知画像情報と、異常箇所が検知された時点でのロボット１８の現在位置を示す位置情報とを関連付けた報知情報を生成して記録部３４に記録するものである。
なお、報知情報は地図データベース２６の地図情報のうち巡回経路を含む範囲の地図情報を含んでいていてもよい。
記録部３４は報知情報を記録保持するものである。
通信部３６は、記録部３４に記録された報知情報を、タブレット型端末やパーソナルコンピュータなどの端末に送信するものであり、これにより、端末によって報知情報を適宜処理することで、異常箇所の確認を行なうことができる。
なお、報知情報は地図データベース２６の地図情報のうち巡回経路を含む範囲の地図情報を含んでいていてもよい。
記録部３４は報知情報を記録保持するものである。
通信部３６は、記録部３４に記録された報知情報を、タブレット型端末やパーソナルコンピュータなどの端末に送信するものであり、これにより、端末によって報知情報を適宜処理することで、異常箇所の確認を行なうことができる。
【0024】
次に学習装置１０の動作について図２の情報の流れを示す模式図と、図３のフローチャートを参照して説明する。
まず、第１画像情報生成部１６Ａにより、形状情報と属性情報とを含む建築物の３次元情報であるＢＩＭ情報から建築物の検知対象となる部分の正常な画像情報である第１画像情報Ｄ１を生成する（ステップＳ１０）。
次に、第２画像情報生成部１６Ｂにより、建築物の検知対象箇所を実際に撮像した第２画像情報Ｄ２を得る（ステップＳ１２）。本実施の形態では、予め撮像部１２によって撮像された建築物の画像情報を第２画像情報Ｄ２として第２画像情報生成部１６Ｂに供給しておく。
次に、第３画像情報生成部１６Ｃにより、第１画像情報生成部１６Ａで生成された第１画像情報Ｄ１および第２画像情報生成部１６Ｂで生成された第２画像情報Ｄ２の少なくとも一方に対して画像処理を施すことによって異常箇所が新たに付加された第３画像情報Ｄ３を生成する（ステップＳ１４）。
次に、第４画像情報生成部１６Ｄにより、ＧＡＮを利用した生成モデルで第３画像情報Ｄ３を学習する（ステップＳ１６）。
次に、第３画像情報Ｄ３を学習した生成モデル（第４画像情報生成部１６Ｄ）によって、第１画像情報Ｄ１から水増し用の画像情報としての第４画像情報Ｄ４を生成する（ステップＳ１８）。
次に、異常検知モデル学習部１６Ｅにより、第２画像情報Ｄ２および第４画像情報Ｄ４を教師データＤＴとして用いて、ロボット１８の異常検知モデル２２の学習を行ない（ステップＳ２０）、一連の処理を終了する。
このような処理を繰り返して行なうことにより異常検知モデル２２の学習の効果が向上する。
まず、第１画像情報生成部１６Ａにより、形状情報と属性情報とを含む建築物の３次元情報であるＢＩＭ情報から建築物の検知対象となる部分の正常な画像情報である第１画像情報Ｄ１を生成する（ステップＳ１０）。
次に、第２画像情報生成部１６Ｂにより、建築物の検知対象箇所を実際に撮像した第２画像情報Ｄ２を得る（ステップＳ１２）。本実施の形態では、予め撮像部１２によって撮像された建築物の画像情報を第２画像情報Ｄ２として第２画像情報生成部１６Ｂに供給しておく。
次に、第３画像情報生成部１６Ｃにより、第１画像情報生成部１６Ａで生成された第１画像情報Ｄ１および第２画像情報生成部１６Ｂで生成された第２画像情報Ｄ２の少なくとも一方に対して画像処理を施すことによって異常箇所が新たに付加された第３画像情報Ｄ３を生成する（ステップＳ１４）。
次に、第４画像情報生成部１６Ｄにより、ＧＡＮを利用した生成モデルで第３画像情報Ｄ３を学習する（ステップＳ１６）。
次に、第３画像情報Ｄ３を学習した生成モデル（第４画像情報生成部１６Ｄ）によって、第１画像情報Ｄ１から水増し用の画像情報としての第４画像情報Ｄ４を生成する（ステップＳ１８）。
次に、異常検知モデル学習部１６Ｅにより、第２画像情報Ｄ２および第４画像情報Ｄ４を教師データＤＴとして用いて、ロボット１８の異常検知モデル２２の学習を行ない（ステップＳ２０）、一連の処理を終了する。
このような処理を繰り返して行なうことにより異常検知モデル２２の学習の効果が向上する。
【0025】
なお、ロボット１８の異常検知モデル２２の学習がなされたならば、ロボット１８を用いて建築物の外部あるいは内部において巡回を行ない、ロボット側撮像部２０で撮像した撮像情報に基づいて異常検知モデル２２を用いて建築物異常箇所の検知を行ない、報知情報を生成する。作業者は報知情報に基づいて建築物の異常箇所の点検、修理や補修を行なう。
なお、異常検知モデル２２は初めからロボット１８に設けておく必要はなく、ロボット１８から切り離された異常検知モデル２２を学習装置１０で学習させたのち、異常検知モデル２２をロボット１８に搭載するなど任意である。
なお、異常検知モデル２２は初めからロボット１８に設けておく必要はなく、ロボット１８から切り離された異常検知モデル２２を学習装置１０で学習させたのち、異常検知モデル２２をロボット１８に搭載するなど任意である。
【0026】
以上説明したように、本実施の形態によれば、建築物の３次元情報であるＢＩＭ情報から建築物の検知対象となる部分の正常な画像情報である第１画像情報Ｄ１を生成し、建築物の検知対象箇所を実際に撮像した第２画像情報Ｄ２を得て、第１画像情報Ｄ１および第２画像情報Ｄ２の少なくとも一方に対して画像処理を施すことによって異常箇所が新たに付加された第３画像情報Ｄ３を生成し、ＧＡＮを利用した生成モデルによって第３画像情報Ｄ３を学習させ、学習した生成モデルによって、第１画像情報Ｄ１から水増し用の画像情報としての第４画像情報Ｄ４を生成し、第２画像情報Ｄ２および第４画像情報Ｄ４を教師データＤＴとして用いて異常検知モデル２２の学習を行なうようにした。
したがって、異常検知モデル２２の学習に際して、少数の第２画像情報Ｄ２しか用意できなくても、水増しデータとしての第４画像情報Ｄ４を容易に多数生成して、第２画像情報Ｄ２および第４画像情報Ｄ４を教師データＤＴとして異常検知モデル２２の学習を行なうことができるため、手間暇をかけることなく、異常検知モデル２２による学習（機械学習）の効果を向上させる上で有利となり、異常検知モデル２２による異常箇所の検知の精度を高め、異常箇所の検知を確実に行なう上で有利となる。
また、本実施の形態では、異常箇所は建築物に発生したひび割れ、剥落、汚損の少なくとも１つを含むので、それらひび割れ、剥落、汚損の検知を確実に行なう上で有利となる。
したがって、異常検知モデル２２の学習に際して、少数の第２画像情報Ｄ２しか用意できなくても、水増しデータとしての第４画像情報Ｄ４を容易に多数生成して、第２画像情報Ｄ２および第４画像情報Ｄ４を教師データＤＴとして異常検知モデル２２の学習を行なうことができるため、手間暇をかけることなく、異常検知モデル２２による学習（機械学習）の効果を向上させる上で有利となり、異常検知モデル２２による異常箇所の検知の精度を高め、異常箇所の検知を確実に行なう上で有利となる。
また、本実施の形態では、異常箇所は建築物に発生したひび割れ、剥落、汚損の少なくとも１つを含むので、それらひび割れ、剥落、汚損の検知を確実に行なう上で有利となる。
【0027】
（第２の実施の形態）
次に、第２実施の形態に係る建築物の景観情報生成装置について景観情報生成方法およびコンピュータプログラムと共に説明する。
建築物の景観情報生成装置（以下景観情報生成装置という）は、建築物のＢＩＭ情報をＧＡＮを用いた生成モデルに入力することで利用価値の高い建築物景観情報を生成するものである。
図４に示すように、景観情報生成装置４０は、コンピュータ４２によって構成されている。
また、コンピュータ４２には、入力装置４４（キーボード、マウス）、出力装置４６（ディスプレイ、プリンター）、記録装置４８（ハードディスク、メモリカードなどの外部記録媒体）が接続されている。
すなわち、コンピュータ４２は、ＣＰＵ、制御プログラム等を格納・記憶するＲＯＭ、制御プログラムの作動領域としてのＲＡＭ、周辺回路等とのインターフェースをとるインターフェース部などを含んで構成される。
コンピュータ４２は、ＣＰＵが制御プログラムを実行することにより、ＢＩＭ情報記録部４２Ａと、入力部４２Ｂと、建築物景観情報生成部４２Ｃとして機能する。
ＢＩＭ情報記録部４２Ａは、建築物の各部を構成する要素の形状を示す形状情報と、要素の属性を示す属性情報とを含む建築物の３次元情報であるＢＩＭ情報を記録するものであり、設計工程によって生成されたＢＩＭ情報を記録している。
第１の実施の形態で説明したように、ＢＩＭ情報は、建築物の各部を構成する要素の形状を示す形状情報と、要素の属性を示す属性情報とを含むものである。
第２の実施の形態では、建築物の各部を構成する要素として、建築物をその外部から見た外部画像を構成する屋根、外壁、窓、ドア、戸などが挙げられる。また、建物をその内部から見た内部画像を構成する天井、内壁、床、窓、ドア、戸などが挙げられる。
形状情報とは、上記要素の形状を示す情報である。
属性情報とは、上記要素の寸法、材質、色などを示す情報である。
次に、第２実施の形態に係る建築物の景観情報生成装置について景観情報生成方法およびコンピュータプログラムと共に説明する。
建築物の景観情報生成装置（以下景観情報生成装置という）は、建築物のＢＩＭ情報をＧＡＮを用いた生成モデルに入力することで利用価値の高い建築物景観情報を生成するものである。
図４に示すように、景観情報生成装置４０は、コンピュータ４２によって構成されている。
また、コンピュータ４２には、入力装置４４（キーボード、マウス）、出力装置４６（ディスプレイ、プリンター）、記録装置４８（ハードディスク、メモリカードなどの外部記録媒体）が接続されている。
すなわち、コンピュータ４２は、ＣＰＵ、制御プログラム等を格納・記憶するＲＯＭ、制御プログラムの作動領域としてのＲＡＭ、周辺回路等とのインターフェースをとるインターフェース部などを含んで構成される。
コンピュータ４２は、ＣＰＵが制御プログラムを実行することにより、ＢＩＭ情報記録部４２Ａと、入力部４２Ｂと、建築物景観情報生成部４２Ｃとして機能する。
ＢＩＭ情報記録部４２Ａは、建築物の各部を構成する要素の形状を示す形状情報と、要素の属性を示す属性情報とを含む建築物の３次元情報であるＢＩＭ情報を記録するものであり、設計工程によって生成されたＢＩＭ情報を記録している。
第１の実施の形態で説明したように、ＢＩＭ情報は、建築物の各部を構成する要素の形状を示す形状情報と、要素の属性を示す属性情報とを含むものである。
第２の実施の形態では、建築物の各部を構成する要素として、建築物をその外部から見た外部画像を構成する屋根、外壁、窓、ドア、戸などが挙げられる。また、建物をその内部から見た内部画像を構成する天井、内壁、床、窓、ドア、戸などが挙げられる。
形状情報とは、上記要素の形状を示す情報である。
属性情報とは、上記要素の寸法、材質、色などを示す情報である。
【0028】
入力部４２Ｂは、建築物を取り巻く環境条件を受け付ける（入力する）ものである。
環境条件は、１日のうちの時間帯、１年のうちの季節、天候の少なくとも１つを含む。
環境条件として１日のうちの時間帯を指定するのであれば、入力部４２Ｂは、例えば、早朝、午前、正午、午後、夕方、夜間といった区分のそれぞれに対応した日照の有無、日光の角度、色温度、分光分布などの具体的な条件に変換して受け付ける。
環境条件として１年のうちの季節を指定するのであれば、入力部４２Ｂは、四季に応じた日光の角度、色温度、分光分布などの具体的な条件に変換して受け付ける。
環境条件として、天候を指定するのであれば、入力部４２Ｂは、快晴、晴れ、薄曇り、曇、雨、雪といった天候に応じた光量、色温度、分光分布などの具体的な条件に変換して受け付ける。
また、環境条件は、上述した日照に関連する条件に限定されるものではなく、例えば、建築物の外部あるいは内部に設置された照明装置の光量、色温度、分光分布、光の照射方向などを含むものであってもよい。
環境条件は、１日のうちの時間帯、１年のうちの季節、天候の少なくとも１つを含む。
環境条件として１日のうちの時間帯を指定するのであれば、入力部４２Ｂは、例えば、早朝、午前、正午、午後、夕方、夜間といった区分のそれぞれに対応した日照の有無、日光の角度、色温度、分光分布などの具体的な条件に変換して受け付ける。
環境条件として１年のうちの季節を指定するのであれば、入力部４２Ｂは、四季に応じた日光の角度、色温度、分光分布などの具体的な条件に変換して受け付ける。
環境条件として、天候を指定するのであれば、入力部４２Ｂは、快晴、晴れ、薄曇り、曇、雨、雪といった天候に応じた光量、色温度、分光分布などの具体的な条件に変換して受け付ける。
また、環境条件は、上述した日照に関連する条件に限定されるものではなく、例えば、建築物の外部あるいは内部に設置された照明装置の光量、色温度、分光分布、光の照射方向などを含むものであってもよい。
【0029】
建築物景観情報生成部４２Ｃは、ＧＡＮ（Generative Adversarial Networks）を利用した生成モデルによって上述した様々な環境条件を学習し、ＢＩＭ情報から、建築物をその外部から見た外部画像または建築物をその内部から見た内部画像を示す建築物景観情報を生成するものである。外部画像と内部画像の何れの建築物景観情報を生成するかは建築物景観情報生成部４２Ｃに予め設定しておけばよい。
なお、建築物景観情報を生成する際の環境条件は、建築物景観情報生成部４２Ｃに対して別途指定する。
なお、建築物景観情報を生成する際の環境条件は、建築物景観情報生成部４２Ｃに対して別途指定する。
【0030】
次に、景観情報生成装置４０の動作について図５に示すフローチャートを参照して説明する。
まず、ＢＩＭ情報記録部４２ＡにＢＩＭ情報が記録される（ステップＳ５０）。
ＢＩＭ情報は外部のコンピュータから通信回線（ネットワーク）を介して供給されても、外部記録媒体を介して供給されてもよい。
次に、環境条件が入力装置４４を介して入力部４２Ｂに受け付けられる（ステップＳ５２）。
まず、ＢＩＭ情報記録部４２ＡにＢＩＭ情報が記録される（ステップＳ５０）。
ＢＩＭ情報は外部のコンピュータから通信回線（ネットワーク）を介して供給されても、外部記録媒体を介して供給されてもよい。
次に、環境条件が入力装置４４を介して入力部４２Ｂに受け付けられる（ステップＳ５２）。
【0031】
次に、建築物景観情報生成部４２Ｃは、ＧＡＮを利用した生成モデルによって環境条件を学習する（ステップＳ５４）。
次に、環境条件を学習した生成モデルによって、ＢＩＭ情報から建築物をその外部から見た外部画像または建築物をその内部から見た内部画像を示す建築物景観情報を生成する（ステップＳ５６）。
この際、建築物景観情報を生成する際の環境条件は、例えば、入力装置４４を介して建築物景観情報生成部４２Ｃに対して指定される。
次いで、生成された建築物景観情報が出力される（ステップＳ５８）。
具体的には、ディスプレイにより視認可能に表示され、あるいは、プリンタにより紙媒体に印刷出力され、あるいは、外部記録媒体に記録され、あるいは、通信回線を介して他の端末（コンピュータ４２）に供給される。
次に、環境条件を学習した生成モデルによって、ＢＩＭ情報から建築物をその外部から見た外部画像または建築物をその内部から見た内部画像を示す建築物景観情報を生成する（ステップＳ５６）。
この際、建築物景観情報を生成する際の環境条件は、例えば、入力装置４４を介して建築物景観情報生成部４２Ｃに対して指定される。
次いで、生成された建築物景観情報が出力される（ステップＳ５８）。
具体的には、ディスプレイにより視認可能に表示され、あるいは、プリンタにより紙媒体に印刷出力され、あるいは、外部記録媒体に記録され、あるいは、通信回線を介して他の端末（コンピュータ４２）に供給される。
【0032】
第２の実施の形態によれば、建築物の各部を構成する要素の形状を示す形状情報と、要素の属性を示す属性情報とを含む建築物の３次元情報であるＢＩＭ情報を用意し、ＧＡＮを利用した生成モデルによって建築物を取り巻く環境条件を学習させ、環境条件を学習した生成モデルによって、ＢＩＭ情報から建築物をその外部から見た外部画像または建築物をその内部から見た内部画像を示す建築物景観情報を生成するようにした。
したがって、ＢＩＭ情報の形状情報および属性情報に基づいて建築物景観情報を精度よく生成できることは無論のこと、環境条件を学習した生成モデルを用いるので、得られた建築物景観情報は環境条件を反映したものとなる。
例えば、朝、昼、夜といった時間帯、四季の変化、晴れ、曇、雨といった天気の変化に対応した建築物景観情報を簡単に得ることができる。
そのため、建築物景観情報を用いて建築物の広報資料（カタログ）を作成した場合、さまざまな環境条件を反映した建築物の画像を提示することができ、広報資料の内容を多彩なものとし顧客に対する宣伝効果の向上を図る上で有利となる。
したがって、ＢＩＭ情報の形状情報および属性情報に基づいて建築物景観情報を精度よく生成できることは無論のこと、環境条件を学習した生成モデルを用いるので、得られた建築物景観情報は環境条件を反映したものとなる。
例えば、朝、昼、夜といった時間帯、四季の変化、晴れ、曇、雨といった天気の変化に対応した建築物景観情報を簡単に得ることができる。
そのため、建築物景観情報を用いて建築物の広報資料（カタログ）を作成した場合、さまざまな環境条件を反映した建築物の画像を提示することができ、広報資料の内容を多彩なものとし顧客に対する宣伝効果の向上を図る上で有利となる。
【0033】
１０ 学習装置
１２ 撮像部
１４ ＢＩＭ情報生成部
１６ コンピュータ
１６Ａ 第１画像情報生成部
１６Ｂ 第２画像情報生成部
１６Ｃ 第３画像情報生成部
１６Ｄ 第４画像情報生成部
１６Ｅ 異常検知モデル学習部
１８ ロボット
４０ 景観情報生成装置
４２ コンピュータ
４２Ａ ＢＩＭ情報記録部
４２Ｂ 入力部
４２Ｃ 建築物景観情報生成部
４４ 入力装置
４６ 出力装置
４８ 記録装置
１２ 撮像部
１４ ＢＩＭ情報生成部
１６ コンピュータ
１６Ａ 第１画像情報生成部
１６Ｂ 第２画像情報生成部
１６Ｃ 第３画像情報生成部
１６Ｄ 第４画像情報生成部
１６Ｅ 異常検知モデル学習部
１８ ロボット
４０ 景観情報生成装置
４２ コンピュータ
４２Ａ ＢＩＭ情報記録部
４２Ｂ 入力部
４２Ｃ 建築物景観情報生成部
４４ 入力装置
４６ 出力装置
４８ 記録装置
【図1】
【図2】
【図3】
【図4】
【図5】