(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023086519
(43)【公開日】2023-06-22
(54)【発明の名称】建屋内構造物認識システム及び建屋内構造物認識方法
(51)【国際特許分類】
G01B 11/24 20060101AFI20230615BHJP
【FI】
G01B11/24 K
【審査請求】有
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2021201084
(22)【出願日】2021-12-10
(11)【特許番号】
(45)【特許公報発行日】2023-05-17
(71)【出願人】
【識別番号】521233943
【氏名又は名称】株式会社 SAI
(74)【代理人】
【識別番号】110000855
【氏名又は名称】弁理士法人浅村特許事務所
(72)【発明者】
【氏名】伊藤 徹
(72)【発明者】
【氏名】福間 康文
【テーマコード(参考)】
2F065
【Fターム(参考)】
2F065AA04
2F065AA53
2F065CC14
2F065FF04
2F065FF11
2F065QQ31
2F065RR08
2F065RR09
(57)【要約】
【課題】建築途中の施工現場のように似たような特徴点が大量に存在する施工現場においても高精度で建屋内の構造物を認識することが可能な建屋内構造物認識システムを提供する。
【解決手段】本発明による建屋内構造物認識システムは、少なくとも1つの測距センサと、少なくとも1つの撮像装置と、SLAM(Simultaneous Localization and Mapping)計測装置とを備え、前記SLAM計測装置は、第1の学習済モデルを用いて基準部材の認識を行う基準認識部と、第2の学習済モデルを用いて前記撮像装置の自己位置の認識を行う自己位置認識部と、第3の学習済モデルを用いて建屋内の被測定物の認識を行う被測定物認識部とを備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
建屋内構造物認識システムであって、
少なくとも1つの測距センサと、
少なくとも1つの撮像装置と、
SLAM(Simultaneous Localization and Mapping)計測装置とを備え、
前記SLAM計測装置は、
第1の学習済モデルを用いて基準部材の認識を行う基準認識部と、
第2の学習済モデルを用いて前記撮像装置の自己位置の認識を行う自己位置認識部と、
第3の学習済モデルを用いて建屋内の被測定物の認識を行う被測定物認識部と、
を備えることを特徴とする、建屋内構造物認識システム。
【請求項2】
前記基準認識部は、前記測距センサから得られたデータのうちSLAMにおける自己位置推定及び環境地図作成の基準にすることが可能な点又は領域を前記基準部材として認識する、請求項1に記載の建屋内構造物認識システム。
【請求項3】
前記第1の学習済モデルは、BIM(Building Information Modeling)データから生成された正解画像を正解データとし、前記BIMデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより生成されたものであることを特徴とする、請求項1又は2に記載の建屋内構造物認識システム。
【請求項4】
前記基準認識部は、前記撮像装置から得られた画像データ及び前記測距センサから得られた距離データを入力データとして前記第1の学習済モデルに入力することにより前記基準部材の認識を行い、前記基準部材の3次元特徴データを出力データとして出力することを特徴とする、請求項1~3のいずれか一項に記載の建屋内構造物認識システム。
【請求項5】
前記自己位置認識部は、前記撮像装置が前記被測定物を撮像しながら移動する際に、前記撮像装置の自己位置を逐次認識することを特徴とする、請求項1~4のいずれか一項に記載の建屋内構造物認識システム。
【請求項6】
前記第2の学習済モデルは、BIMデータから得られた前記撮像装置の現在の3次元座標と姿勢角を正解データとし、a)現在と過去の仮想観測画像、b)現在と過去の仮想基準特徴、及びc)過去の前記撮像装置の3次元座標と姿勢角を観測データとして機械学習を行うことにより生成されたものであることを特徴とする、請求項1~5のいずれか一項に記載の建屋内構造物認識システム。
【請求項7】
前記自己位置認識部は、a)前記撮像装置から得られた画像データと、b)前記基準認識部から出力された基準部材の3次元特徴データと、c)前記撮像装置の過去の3次元座標と姿勢角とを入力データとして第2の学習済モデルに入力することにより前記撮像装置の自己位置の認識を行い、前記撮像装置の現在の3次元座標と姿勢角を出力データとして出力することを特徴とする、請求項1~6のいずれか一項に記載の建屋内構造物認識システム。
【請求項8】
前記被測定物認識部は、建屋内の構造物及び物体を被測定物として認識することを特徴とする、請求項1~7のいずれか一項に記載の建屋内構造物認識システム。
【請求項9】
前記第3の学習済モデルは、BIMデータから生成された正解画像と被測定物の種類を示すデータを正解データとし、前記BIMデータをレンダリングすることにより生成された仮想観測画像及び前記BIMデータから生成した仮想距離画像を観測データとして機械学習を行うことにより生成されたものであることを特徴とする、請求項1~8のいずれか一項に記載の建屋内構造物認識システム。
【請求項10】
前記被測定物認識部は、前記撮像装置から得られた画像データと、前記測距センサから得られた距離データとを第3の学習済モデルに入力することにより前記被測定物の認識を行い、前記被測定物の種類及び前記被測定物の形状データを出力データとして出力することを特徴とする、請求項1~9のいずれか一項に記載の建屋内構造物認識システム。
【請求項11】
前記被測定物認識部は、
前記被測定物の前記撮像装置のカメラ座標系での前記形状データと、
前記自己位置認識部から出力された前記撮像装置の現在の3次元座標及び姿勢角とから、前記被測定物の建屋内の空間座標系での自己位置を算出することを特徴とする、請求項10に記載の建屋内構造物認識システム。
【請求項12】
前記測距センサが、ToF(Time Of Flight)カメラ、ToFセンサ、LiDAR(Light Detection And Ranging)センサ、RADAR(RAdio Detection And Ranging)センサ、超音波センサ又は赤外線センサであることを特徴とする、請求項1~11のいずれか一項に記載の建屋内構造物認識システム。
【請求項13】
建屋内構造物認識方法であって、
第1の学習済モデルを用いて基準部材を認識するステップと、
第2の学習済モデルを用いて撮像装置の自己位置を認識するステップと、
第3の学習済モデルを用いて被測定物を認識するステップと
を備えることを特徴とする、建屋内構造物認識方法。
【請求項14】
前記基準部材を認識するステップは、
画像データと距離データを取得するステップと、
前記画像データと前記距離データを前記第1の学習済モデルに入力するステップと、
前記第1の学習済モデルからの出力データとして、基準部材の3次元特徴データを出力するステップと
を備えることを特徴とする、請求項13に記載の建屋内構造物認識方法。
【請求項15】
前記自己位置を認識するステップは、
a)前記画像データと、b)前記基準部材の3次元特徴データと、c)前記撮像装置の過去の3次元座標と姿勢角とを取得するステップと、
a)前記画像データと、b)前記基準部材の3次元特徴データと、c)前記撮像装置の過去の3次元座標と姿勢角とを入力データとして第2の学習済モデルに入力するステップと、
前記第2の学習済モデルからの出力データとして、前記撮像装置の現在の建屋内での自己位置を出力するステップと
を備えることを特徴とする、請求項14に記載の建屋内構造物認識方法。
【請求項16】
前記被測定物を認識するステップは、
画像データと距離データを取得するステップと、
前記画像データと前記距離データを前記第3の学習済モデルに入力するステップと、
前記第3の学習済モデルからの出力データとして、前記被測定物の種類と、カメラ座標系における前記被測定物の形状を出力するステップと、
前記撮像装置の現在の建屋内での自己位置を用いて、前記被測定物の自己位置を算出するステップと、
前記被測定物の種類と、建屋内の空間座標系における前記被測定物の自己位置と、前記空間座標系における前記被測定物の形状を出力するステップと
を備えることを特徴とする、請求項15に記載の建屋内構造物認識方法。
【請求項17】
コンピュータに、請求項13~16のいずれか一項に記載の方法の各ステップを実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、建屋内構造物認識システムに関し、特に、ニューラルネットワークによる深層学習を用いてビル等の建築物の建屋内に配置された構造物を認識する建屋内構造物認識システム及び建屋内構造物認識方法に関するものである。
【背景技術】
【0002】
SLAM(Simultaneous Localization and Mapping)とは、自己位置推定と環境地図作成を同時に行う技術であり、LiDER(Light Detection and Ranging)等のセンサやカメラを環境内で移動させながら環境地図の作成を行うと同時に、環境地図内での自己位置の推定を行うものである。
【0003】
SLAMの技術は、建築分野において建屋内の環境をセンシングし、建屋内の構造物のデータを得るために用いることも期待されている。移動式のSLAM技術を利用する方法では、建屋内でカメラや3次元スキャナを移動させながら建屋内を連続して測定し、カメラから得られる画像情報や3次元スキャナから得られる3次元情報を連続して取得する。そして、取得した連続情報をリアルタイムで、若しくは全てのデータ計測作業が終了した後に、繋げることにより、建屋内の3次元空間とその中に配置された構造物を把握する。
【0004】
しかしながら、従来の移動式のSLAM技術を建築途中の施工現場の状況を把握するために利用する場合等には、期待する精度が得られにくいという問題がある。建築途中の施工現場においては、非常に多くの部材が入り組んで配置されているため、似たようなパターンが続いたり、足場の悪さ等から予期せぬ移動による視線のズレが生じたりすることも多くなり、マッチングが取れないことによる誤認識が生じやすい。一度このような誤認識が生じると、誤認識された点を基準として次の認識が行われるため、次々にズレと誤認識の影響が大きくなり、元の正しい状態への復帰が困難となる。
【0005】
また、建屋内の環境をセンシングする他の従来の方法として、複数の定点において、全天型の測定を行い、全ての定点におけるデータ計測作業が終了した後に、各定点における計測データを繋げる方法もある。
【0006】
しかしながら、全天型の測定には測量の知識が必要となり、より高精度を得るためには熟練者の経験に頼る必要がある。また、全天型の測定には時間がかかり、測定後の後処理についても手間と時間がかかるという問題がある。
【0007】
そのため、短時間で計測が可能な移動式のSLAM技術のメリットを生かしつつ、誤認識による精度の問題を解決することが可能な建屋内構造物認識システムが求められる。
【0008】
SLAM技術を利用して実空間を認識するための画像処理装置として、例えば、特許文献1では、「撮像装置を用いて実空間を撮像することにより生成される入力画像を取得する画像取得部と、前記入力画像に映る1つ以上の特徴点の位置に基づいて、前記実空間と前記撮像装置との間の相対的な位置及び姿勢を認識する認識部と、認識される前記相対的な位置及び姿勢を用いた拡張現実アプリケーションを提供するアプリケーション部と、前記認識部により実行される認識処理が安定化するように、前記特徴点の分布に従って、前記撮像装置を操作するユーザを誘導する誘導オブジェクトを前記入力画像に重畳する表示制御部と、を備える画像処理装置」が開示されている。
【0009】
また、カメラを利用して施工中の建物内のデータを取得し、合成画像を表示する方法として、例えば、特許文献2では、「携帯撮像端末とデータサーバとから構成される合成画像表示システムであり、前記データサーバには、施工中の建物の3次元のコンピュータラフィック画像が予め書き込まれて記憶されており、前記携帯撮像端末が、前記建物内の画像を撮像し、撮像画像として出力する撮像部と、前記撮像画像を表示する表示部と、記撮像画像と、前記コンピュータグラフィック画像における前記撮像画像を撮像した位置及び撮像方向に対応して撮像した仮想画像とにおいて、同一の特徴点の座標位置を比較する位置制御部と、前記特徴点の座標位置の比較結果により、前記特徴点の座標位置が重なり合う座標変換を行うことにより、前記撮像画像に対して前記仮想画像を重ね合わせて前記表示部に表示する画像処理部とを備える」合成画像表示システムが開示されている。
【0010】
しかしながら、特許文献1及び2はいずれも特徴点を基準にするものであって、建築途中の建築現場のように似たような特徴点が大量に存在する施工現場においては、十分に機能するものではなかった。
【先行技術文献】
【特許文献】
【0011】
【特許文献1】特開2013-225245号公報
【特許文献2】特開2014-2645号公報
【発明の概要】
【発明が解決しようとする課題】
【0012】
そこで、本発明は、上記課題を解決し、建築途中の施工現場のように似たような特徴点が大量に存在する施工現場においても高精度で建屋内の構造物を認識することが可能な建屋内構造物認識システム及び建屋内構造物認識方法を提供するものである。
【0013】
また、本発明は、AIが単なる画像上の特徴点抽出ではなく、基準としてよいものを認識し、そのものを基準にして多くの測定画像データを接続し、建屋内の全体を把握し、測定することが可能な建屋内構造物認識システム及び建屋内構造物認識方法を提供するものである。
【課題を解決するための手段】
【0014】
上記課題を解決するため、本発明では、少なくとも1つの測距センサと、少なくとも1つの撮像装置と、SLAM(Simultaneous Localization and Mapping)計測装置とを備え、SLAM計測装置は、第1の学習済モデルを用いて基準部材の認識を行う基準認識部と、第2の学習済モデルを用いて撮像装置の自己位置の認識を行う自己位置認識部と、第3の学習済モデルを用いて建屋内の被測定物の認識を行う被測定物認識部とを備えることを特徴とする、建屋内構造物認識システムを提供する。
本発明においては、建築現場で基準としてよいものを認識すべく学習させたAIにより、建築現場で基準とすべきものを認識し、その基準とすべきものの位置に基づき座標位置が重なり合う座標変換を行うことにより、複数の撮像画像を重ね合わせて、施工中の建物内のデータ全体を取得するものである。
【0015】
本発明のある態様による建屋内構造物認識システムにおいて、基準認識部は、測距センサから得られたデータのうちSLAMにおける自己位置推定及び環境地図作成の基準にすることが可能な点又は領域を基準部材として認識する。
【0016】
本発明のある態様による建屋内構造物認識システムにおいて、第1の学習済モデルは、BIM(Building Information Modeling)データから生成された正解画像を正解データとし、BIMデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより生成されたものである。
【0017】
本発明のある態様による建屋内構造物認識システムにおいて、基準認識部は、撮像装置から得られた画像データ及び測距センサから得られた距離データを入力データとして、基準部材の認識を行い、基準部材の基準部材の3次元特徴データを出力データとして出力する。
【0018】
本発明のある態様による建屋内構造物認識システムにおいて、自己位置認識部は、撮像装置が被測定物を撮像しながら移動する際に、撮像装置の自己位置を逐次認識する。
【0019】
本発明のある態様による建屋内構造物認識システムにおいて、第2の学習済モデルは、BIMデータから得られた撮像装置の現在の3次元座標と姿勢角を正解データとし、a)現在と過去の仮想観測画像、b)現在と過去の仮想基準特徴、及びc)過去の前記撮像装置の3次元座標と姿勢角を観測データとして機械学習を行うことにより生成されたものである。
【0020】
本発明のある態様による建屋内構造物認識システムにおいて、自己位置認識部は、a)撮像装置から得られた画像データと、b)基準認識部から出力された基準部材の3次元特徴データと、c)撮像装置の過去の3次元座標と姿勢角とを入力データとして第2の学習済モデルに入力することにより撮像装置の自己位置の認識を行い、撮像装置の現在の3次元座標と姿勢角を出力データとして出力する。
【0021】
本発明のある態様による建屋内構造物認識システムにおいて、被測定物認識部は、建屋内の構造物及び物体を被測定物として認識する。
【0022】
本発明のある態様による建屋内構造物認識システムにおいて、第3の学習済モデルは、BIMデータから生成された正解画像と被測定物の種類を示すデータを正解データとし、BIMデータをレンダリングすることにより生成された仮想観測画像及びBIMデータから生成した仮想距離画像を観測データとして機械学習を行うことにより生成されたものである。
【0023】
本発明のある態様による建屋内構造物認識システムにおいて、被測定物認識部は、撮像装置から得られた画像データと、測距センサから得られた距離データとを第3の学習済モデルに入力することにより被測定物の認識を行い、被測定物の種類及び被測定物の形状データを出力データとして出力する。
【0024】
被測定物認識部は、被測定物の前記撮像装置のカメラ座標系での形状データと、自己位置認識部から出力された撮像装置の現在の3次元座標及び姿勢角とから、被測定物の建屋内の空間座標系での自己位置を算出する。
【0025】
本発明のある態様による建屋内構造物認識システムにおいて、測距センサは、ToF(Time Of Flight)カメラ、ToFセンサ、LiDAR(Light Detection And Ranging)センサ、RADAR(RAdio Detection And Ranging)センサ、超音波センサ又は赤外線センサであってもよい。
【0026】
また、本発明では、第1の学習済モデルを用いて基準部材を認識するステップと、第2の学習済モデルを用いて撮像装置の自己位置を認識するステップと、第3の学習済モデルを用いて被測定物を認識するステップとを備えることを特徴とする、建屋内構造物認識方法を提供する。
【0027】
また、本発明では、コンピュータに、上記の建屋内構造物認識方法の各ステップを実行させることを特徴とするプログラムを提供する。
【0028】
本発明において、「BIMデータ」とは、コンピュータ上に再現された建物の3次元モデルのデータをいう。BIMデータは、一般に、建物の3次元の構造の情報を含む他、建材をパーツごとにオブジェクトとして捉え、パーツごとに、幅、奥行き、高さ、素材、組み立ての工程や組み立てにかかる時間等の図面以外の情報を含むことができる。BIMデータをレンダリングすることにより、その3次元空間の画像を得ることができる。
【発明の効果】
【0029】
建築現場の画像において構造物の認識を行う場合には、特徴点抽出だけでは不十分であり、基準として良い物体もしくは部位を認識して、それらのものを基準にして複数の計測画像を接続し、繋ぎ合わせる。これは人間が実際の現場において、柱など基準として良いものからの相対位置で多くのものを測定し、全体を把握する作業と同様である。
本発明によれば、この人間が自分の持つ知識をもとに行っている作業と同様の効果をAIを用いて実現することが可能となり、作業の効率化を図るとともに、建屋内の構造物の高精度な認識を実現することができる。
本発明の他の目的、特徴および利点は添付図面に関する以下の本発明の実施例の記載から明らかになるであろう。
【図面の簡単な説明】
【0030】
【
図1】
図1は、本発明による建屋内構造物認識システムの全体を示す概略図である。
【
図2】
図2は、本発明による第1の学習済モデルの生成について説明する図である。
【
図3】
図3は、本発明によるSLAM計測装置の基準認識部を示す図である。
【
図4】
図4は、本発明による第2の学習済モデルの生成について説明する図である。
【
図5】
図5は、本発明によるSLAM計測装置の自己位置認識部を示す図である。
【
図6】
図6は、本発明による第3の学習済モデルの生成について説明する図である。
【
図7】
図7は、本発明によるSLAM計測装置の被測定物認識部を示す図である。
【
図8】
図8は、本発明による基準認識部における基準認識処理の流れを示すフローチャートである。
【
図9】
図9は、本発明による自己位置認識部における自己位置認識処理の流れを示すフローチャートである。
【
図10】
図10は、本発明による被測定物認識部における被測定物認識処理の流れを示すフローチャートである。
【発明を実施するための形態】
【実施例0031】
図1は、本発明による建屋内構造物認識システム1の全体を示す概略図である。
本発明による建屋内構造物認識システム1は、少なくとも1つの測距センサ20と、少なくとも1つの撮像装置30と、SLAM(Simultaneous Localization and Mapping)計測装置10とを備え、SLAM計測装置10は、第1の学習済モデルM1を用いて基準部材の認識を行う基準認識部101と、第2の学習済モデルM2を用いて撮像装置の自己位置の認識を行う自己位置認識部102と、第3の学習済モデルM3を用いて建屋内の被測定物の認識を行う被測定物認識部103とを備える。
【0032】
測距センサ20は、建屋内の構造物又は物体と測距センサ20との距離を測定するために用いられる。測距センサ20は、好ましくはToF(Time Of Flight)カメラであるがこれに限られず、例えばToFセンサ、LiDAR(Light Detection And Ranging)センサ、RADAR(RAdio Detection And Ranging)センサ、超音波センサ又は赤外線センサ等の任意の測距センサであってもよい。
【0033】
撮像装置30は、建屋内の画像を取得するために用いられる。撮像装置30は、好ましくは360度カメラであるがこれに限られず、例えば全天球型カメラ、半天球型カメラ又は携帯端末に搭載されたCCDカメラ等の任意の撮像手段であってもよい。
【0034】
SLAM計測装置10は、基準認識部101と、自己位置認識部102と、被測定物認識部103とを備える。
【0035】
基準認識部101は、第1の学習済モデルM1を用いて基準部材の認識を行う。基準認識部101は、測距センサから得られたデータのうちSLAMにおける自己位置推定及び環境地図作成の基準にすることが可能な点又は領域を基準部材として認識する。
【0036】
自己位置認識部102は、第2の学習済モデルを用いて撮像装置の自己位置の認識を行う。自己位置認識部102は、撮像装置が被測定物を撮像しながら移動する際に、撮像装置の自己位置を逐次認識する。
【0037】
被測定物認識部103は、第3の学習済モデルを用いて建屋内の被測定物の認識を行う。被測定物認識部103は、建屋内の構造物及び物体を被測定物として認識する。被測定物は、例えば建屋内の柱、パイプ、ダクトや、机、棚等の家具等、建屋内に配置される任意の物であってよい。
【0038】
第1~第3の学習済モデルM1、M2、M3は、SLAM測定装置10による測定の前に予め機械学習モデル生成装置40により生成される。機械学習モデルを生成する機械学習モデル生成装置40は、BIMデータから正解画像を生成する正解データ生成部401と、BIMデータから仮想観測データを生成する仮想観測データ生成部402と、正解データ生成部401で生成されたデータを正解データとし、仮想観測データ生成部402で生成されたデータを観測データとして機械学習を行い、機械学習モデルを生成する学習モデル生成部403とを備える。正解データ生成部401で生成される正解データと、仮想観測データ生成部402で生成される仮想観測データは、生成する学習モデルによってそれぞれ異なり、結果として、異なる第1~第3の学習済モデルM1、M2、M3が生成される。
【0039】
図2は、本発明による第1の学習済モデルM1の生成について説明する図である。
第1の学習済モデルM1は、BIM(Building Information Modeling)データから生成された正解画像を正解データとし、BIMデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより生成される。第1の学習済モデルM1は、SLAM測定装置10による測定の前に予め機械学習モデル生成装置40により生成される。
【0040】
機械学習モデル生成装置40において第1の学習済モデルM1を生成する場合には、正解データ生成部401はBIMデータから正解画像を生成する。仮想観測データ生成部402は、BIMデータをレンダリングすることにより仮想観測画像を生成する。正解画像は、構造物を示すマスク領域を有するマスク画像であってよい。正解画像は、例えば、
図2で示すように、BIMデータから生成された2値化画像であってよい。
図2の例では、建屋内の構造物であるパイプの領域が白で表現され、その他の部分が黒で表現されている。正解画像は、
図2の例に限られず、認識すべき構造物に応じて他の形式の画像としてもよい。学習モデル生成部403は、正解データ生成部401で生成された正解画像を正解データとし、仮想観測データ生成部402で生成された仮想観測画像を観測データとして機械学習を行い、第1の学習済モデルM1を生成する。
【0041】
図3は、本発明によるSLAM計測装置10の基準認識部101を示す図である。
基準認識部101は、撮像装置30から得られた画像データ及び測距センサ20から得られた距離データを入力データとして、基準部材の認識を行い、基準部材の3次元特徴データを出力データとして出力する。ここで、基準認識部101における基準認識処理の結果として出力される3次元特徴データは、柱やパイプ、ダクトなどの基準となる部材を直線や点、平面等の特徴で表現したデータである。
【0042】
図4は、本発明による第2の学習済モデルM2の生成について説明する図である。
第2の学習済モデルM2は、BIMデータから得られた撮像装置30の現在の3次元座標と姿勢角を正解データとし、a)現在と過去の仮想観測画像、b)現在と過去の仮想基準特徴、及びc)過去の撮像装置30の3次元座標と姿勢角を観測データとして機械学習を行うことにより生成される。第2の学習済モデルM2は、SLAM測定装置10による測定の前に予め機械学習モデル生成装置40により生成される。
【0043】
機械学習モデル生成装置40において第2の学習済モデルM2を生成する場合には、正解データ生成部401はBIMデータから正解データとして撮像装置30の現在の3次元座標と姿勢角を生成する。仮想観測データ生成部402は、BIMデータをレンダリングすることにより、a)現在と過去の仮想観測画像と、b)現在と過去の仮想基準特徴と、c)撮像装置30の過去の3次元座標と姿勢角を観測データとして生成する。学習モデル生成部403は、正解データ生成部401で生成された、撮像装置30の現在の3次元座標と姿勢角を正解データとし、仮想観測データ生成部402で生成された、a)現在と過去の仮想観測画像と、b)現在と過去の仮想基準特徴と、c)撮像装置30の過去の3次元座標と姿勢角を観測データとして機械学習を行い、第2の学習済モデルM2を生成する。
【0044】
図5は、本発明によるSLAM計測装置10の自己位置認識部102を示す図である。
自己位置認識部102は、a)撮像装置から得られた画像データと、b)基準認識部101から出力された基準部材の3次元特徴データと、c)撮像装置30の過去の3次元座標と姿勢角とを入力データとして第2の学習済モデルM2に入力することにより撮像装置の自己位置の認識を行い、撮像装置30の現在の3次元座標と姿勢角を出力データとして出力する。ここで、自己位置認識部102における自己位置認識処理の結果として出力される3次元座標及び姿勢角のうち、3次元座標(X座標、Y座標、Z座標)は、撮像装置30が被測定物を撮像しながら建屋内を移動する際の建屋内における撮像装置30の現在の3次元位置を示すものである。また、姿勢角(ロール角、ピッチ角、ヨー角)は、それぞれ撮像装置30の3次元座標のX軸に対する回転角、Y軸に対する回転角、Z軸に対する回転角を示すものである。
【0045】
図6は、本発明による第3の学習済モデルM3の生成について説明する図である。
第3の学習済モデルM3は、BIMデータから生成された正解画像と被測定物の種類を示すデータを正解データとし、BIMデータをレンダリングすることにより生成された仮想観測画像及びBIMデータから生成した仮想距離画像を観測データとして機械学習を行うことにより生成される。第3の学習済モデルM3は、SLAM測定装置10による測定の前に予め機械学習モデル生成装置40により生成される。
【0046】
機械学習モデル生成装置40において第3の学習済モデルM3を生成する場合には、正解データ生成部401はBIMデータから正解画像と正解データを生成する。仮想観測データ生成部402は、BIMデータをレンダリングすることにより仮想観測画像を生成し、BIMデータから仮想距離画像を生成する。正解画像は、被測定物を示すマスク領域を有するマスク画像であってよい。正解画像は、例えば、
図6で示すように、BIMデータから生成された2値化画像であってよい。
図6の例では、建屋内の構造物である柱の領域が白で表現され、その他の部分が黒で表現されている。正解画像は、
図6の例に限られず、認識すべき構造物に応じて他の形式の画像としてもよい。また、正解データは、被測定物の種類(例えば、柱、パイプ、ダクトなど)を示すデータである。被測定物の種類はBIMデータの中に含まれており、正解画像により示される被測定物に対応する被測定物の種類がBIMデータから抽出され、正解データとして利用される。仮想観測画像は、BIMデータをレンダリングすることにより生成される。仮想距離画像は、BIMデータの3次元座標から生成される。仮想距離画像は、カメラから被測定物の表面までの距離を例えば濃淡等により表現したものである。学習モデル生成部403は、正解データ生成部401で生成された正解画像を正解データとし、仮想観測データ生成部402で生成された仮想観測画像及び仮想距離画像を観測データとして機械学習を行い、第3の学習済モデルM3を生成する。
【0047】
図7は、本発明によるSLAM計測装置10の被測定物認識部103を示す図である。
被測定物認識部103は、撮像装置30から得られた画像データと、測距センサから得られた距離データとを第3の学習済モデルM3に入力することにより被測定物の認識を行い、被測定物の種類及び被測定物の形状データを出力データとして出力する。ここで、被測定物の種類とは、例えば柱、パイプ、ダクト等であり、被測定物の種類は被測定物の名称、カテゴリ名、ID等で示されるようにしてもよい。また、第3の学習済モデルM3から出力される被測定物の形状データは、撮像装置30のカメラ座標系での形状データである。
【0048】
次に、被測定物認識部103は、被測定物の撮像装置30のカメラ座標系での形状データ(即ち3次元点群)と、自己位置認識部102から出力された撮像装置30の現在の3次元座標及び姿勢角とから、被測定物の建屋内の空間座標系での自己位置を算出する。即ち、被測定物認識部103は、自己位置認識部102から出力された撮像装置30の現在の3次元座標及び姿勢角を用いて、第3の学習済モデルM3から出力された撮像装置30のカメラ座標系での被測定物の形状データを、被測定物のフロア内又は建屋内の空間座標系での形状データに座標変換する。これにより、被測定物認識部103における認識結果として、被測定物の種類と、フロア内又は建屋内の空間座標系における被測定物の形状データ(即ち3次元点群)が得られる。
【0049】
以下、
図8~10を参照して、本発明による建屋内構造物認識方法の処理の流れを説明する。
本発明による建屋内構造物認識方法は、第1の学習済モデルを用いて基準部材を認識するステップと、第2の学習済モデルを用いて撮像装置の自己位置を認識するステップと、第3の学習済モデルを用いて被測定物を認識するステップとを備える。
【0050】
基準部材を認識するステップは、画像データと距離データを取得するステップと、画像データと距離データを第1の学習済モデルに入力するステップと、第1の学習済モデルからの出力データとして、基準部材の3次元特徴データを出力するステップとを備える。
【0051】
自己位置を認識するステップは、a)画像データと、b)基準部材の3次元特徴データと、c)撮像装置の過去の3次元座標と姿勢角とを取得するステップと、a)画像データと、b)基準部材の3次元特徴データと、c)撮像装置の過去の3次元座標と姿勢角とを入力データとして第2の学習済モデルに入力するステップと、第2の学習済モデルからの出力データとして、撮像装置の現在の建屋内での自己位置を出力するステップとを備える。
【0052】
被測定物を認識するステップは、画像データと距離データを取得するステップと、画像データと距離データを第3の学習済モデルに入力するステップと、第3の学習済モデルからの出力データとして、被測定物の種類と、カメラ座標系における被特定物の形状を出力するステップと、撮像装置の現在の建屋内での自己位置を用いて、被測定物の自己位置を算出するステップと、被測定物の種類と、建屋内の空間座標系における被測定物の自己位置と、前記空間座標系における前記被測定物の形状を出力するステップとを備える。
【0053】
図8は、本発明による基準認識部101における基準認識処理の流れを示すフローチャートである。
まず、ステップS801において、画像データと距離データを取得する。画像データは撮像装置30から取得され、距離データは測距センサ20から取得される(S801)。
【0054】
次に、ステップS802において、基準の認識が行われる。基準の認識は、第1の学習済モデルM1を用いて行われる。第1の学習済モデルM1に対する入力データとして、ステップS801で撮像装置30から取得した画像データと、測距センサ20から取得した距離データが入力される。これにより、第1の学習済モデルM1を用いた予測が行われる。
【0055】
次に、ステップS803において、第1の学習済モデルM1からの出力データとして、基準部材の3次元特徴データが出力される。基準部材の3次元特徴データとは、基準となる部材を直線や点、平面などの特徴で表現したデータである。これにより、第1の学習済モデルM1を用いた予測の結果として、基準となる部材を直線や点、平面などの特徴で表現したデータが得られる。この基準認識処理の結果である基準部材の3次元特徴データは、後に
図9の自己位置認識処理のステップS901において、第2の学習済モデルM2に対する入力データとして用いられる。
【0056】
図9は、本発明による自己位置認識部102における自己位置認識処理の流れを示すフローチャートである。
まず、ステップS901において、a)現在と過去の画像データ、b)現在と過去の基準部材の3次元特徴データ、及びc)過去の建屋内の自己位置(3次元座標と姿勢角)を取得する。a)現在と過去の画像データは、撮像装置30から取得される。撮像装置30から取得した現在と過去の画像データは、撮像装置30内のメモリ又はデータベース(図示せず)等に随時、保存される。b)現在と過去の基準部材の3次元特徴データは、
図8の基準認識処理の結果R1であり、基準認識部101から取得される。c)過去の建屋内の自己位置(3次元座標と姿勢角)は、自己位置認識部102内のメモリ又はデータベース(図示せず)等に随時、保存される。過去の建屋内での自己位置(3次元座標と姿勢角)は、2回目以降の自己位置認識処理の際に取得されて、現在の建屋内の自己位置(3次元座標と姿勢角)を認識するために用いられる。
【0057】
次に、ステップS902において、撮像装置30の自己位置の認識が行われる。撮像装置30の自己位置の認識は、第2の学習済モデルM2を用いて行われる。第2の学習済モデルM2に対する入力データとして、ステップS901において取得した、a)現在と過去の画像データ、b)現在と過去の基準部材の3次元特徴データ、及びc)過去の建屋内の自己位置(3次元座標と姿勢角)が入力される。これにより、第2の学習済モデルM2を用いた予測が行われる。なお、c)過去の建屋内の自己位置(3次元座標と姿勢角)については、初回の自己位置認識処理においては、過去の建屋内の自己位置の初期値として、測定開始時のカメラの原点その他の基準となる点の3次元座標と姿勢角、又は予め設定された3次元座標と姿勢角等が設定されるようにしてもよい。
【0058】
次に、ステップS903において、現在の建屋内の撮像装置30の自己位置(3次元座標と姿勢角)が出力される。これにより、第2の学習済モデルM2を用いた予測の結果として、現在の建屋内の撮像装置30の自己位置(3次元座標と姿勢角)が得られる。自己位置認識処理の結果R2は、後に
図10の被測定物認識処理のステップS1004において、被測定物の自己位置を算出するために用いられる。
【0059】
図10は、本発明による被測定物認識部103における被測定物認識処理の流れを示すフローチャートである。
まず、ステップS1001において、画像データと距離データを取得する。画像データは撮像装置30から取得され、距離データは測距センサ20から取得される(S1001)。
【0060】
次に、ステップS1002において、建屋内の被測定物の認識が行われる。被測定物は、建屋内の構造物及び物体であり、例えば建屋内の柱、パイプ、ダクトや、机、棚等の家具等、建屋内に配置される任意の物であってよい。被測定物の認識は、第3の学習済モデルM3を用いて行われる。第3の学習済モデルM3に対する入力データとして、ステップS1001で撮像装置30から取得した画像データと、測距センサ20から取得した距離データが入力される。これにより、第3の学習済モデルM3を用いた予測が行われる。
【0061】
次に、ステップS1003において、被測定物の種類(パイプ、ダクトなど)と、カメラ座標系における被測定物の形状(3次元点群)が出力される。これにより、第3の学習済モデルM3を用いた予測の結果として、被測定物の種類(パイプ、ダクトなど)と、建屋内の空間座標系における被測定物の自己位置と、建屋内の空間座標系における被測定物の形状(3次元点群)が得られる。
【0062】
次に、ステップS1004において、被測定物の自己位置が算出される。ステップS1004では、被測定物の建屋内での自己位置を算出するために、
図9のステップS903において出力された自己位置認識処理の結果R2が用いられる。
【0063】
次に、ステップS1005において、被測定物の種類(パイプ、ダクトなど)と建屋内での被測定物の位置と形状(3次元点群)が出力される。
【0064】
以上により説明した本発明による建屋内構造物認識システム1によれば、建築途中の施工現場のように似たような特徴点が大量に存在する施工現場においても高精度で建屋内の構造物を認識することが可能である。また、本発明によれば、AIが単なる画像上の特徴点抽出ではなく、基準として良いものを認識し、そのものを基準にして多くの測定画像データを接続し、建屋内の全体を把握し、測定することが可能である。また、本発明によれば、人間が実際の建築現場において、柱など基準として良いものからの相対位置で多くのものを測定し、全体を把握する作業と同様の効果をAIを用いて実現することが可能となり、作業の効率化を図るとともに、建屋内の構造物の高精度な認識を実現することができる。
【0065】
また、本発明によれば、基準認識部101での基準認識処理、自己位置認識部102での自己位置認識処理、及び被測定物認識部103での被測定物認識処理を、測距センサやカメラ等の撮像装置の移動速度を考慮して誤差が十分に小さくなるように同期しながらリアルタイムで測定を行うことができる。従来のSLAMによる処理では、カメラ等の計測装置の移動に伴って時間的に異なった情報を用いて処理するため、移動中に変化した姿勢や位置情報の誤差により、測定結果にエラーが生じるのに対し、本発明では測距センサやカメラ等の撮像装置の移動中の各位置において情報を完結させることができるため、誤差を小さく抑えることができる。特に、移動により生じる誤差を少なくすることができる。
【0066】
また、本発明によれば、AIを用いて基準となり得るものを見出す際に、基準となるものの視覚的な外観以外にも、隣接している特徴などの画像内の特徴同士の関連性を情報として用いることにより、基準としてよいもの(例えば、鉄骨の垂直部材等)の識別性を高めることが可能である。
【0067】
また、上記実施例においては、例として1つの測距センサ20及び1つの撮像装置30が図示されているが、用いる測距センサ及び撮像装置の数はこれに限られず、例えば、測距センサ20を2台、撮像装置30を1台用いる構成や、測距センサ20を移動方向に1台と移動方向と垂直な方向に左右に3台ずつ用いる構成等、種々の構成が可能である。測距センサ20と撮像装置30を併用することにより、例えば、エッジの色が背景の色と似ている場合や、色情報を扱えず、形状が似ているが部材としては分かれている場合等、撮像装置や測距センサの一方のみではエラーが生じやすい現場においても精度を維持することができる。
【0068】
また、本発明によれば、ステレオ測定を行うことにより、時間的に連続する情報を解析しなくても一回の計測作業により、必要な測定情報を得ることができる。また、基準点を認識しながら測定を行っていることにより、同じ基準点を有する測定エリア内において、異なる測定点の情報を融合させることにより、同様の精度を得ることも可能となる。
【0069】
また、本発明は移動しながらの計測を想定しているが、より高い測定精度が求められる場合に、被測定物に着目し、一旦、移動を停止して、センサやカメラを被測定物に向けて配置してから測定を行うことも可能である。この場合、更に、移動方向にもある程度の画角を有するカメラ等を用いることにより、移動の停止とカメラやセンサを被測定物に向ける操作を行わずに同様の精度を得ることも可能である。
【0070】
本発明では、基準とすべきものを移動しながら認識し、その基準とすべきものを用いて画像情報や距離情報を繋げていくため、測定の確実性が増す。また、測定の途中でエラーに気づくことも可能であり、エラーが生じた際の取得データへの影響も最小限にすることができる。
【0071】
また、測定前に予め見取り図上で、測定中に常に基準となる部材が見えるかどうかをシミュレーションすることもでき、基準となる部材が無い場合や見えない場合に、基準部材に代えて基準のマークを配置することも可能である。基準となるマークは、好ましくは被測定物の近くにある壁や柱に配置するが、床に配置するようにしてもよい。
【0072】
さらに、本発明の他の応用として、建築現場で用いられる専門家の知識を併用し、学習の際に専門家の知識を入力データとして与えることにより、学習済モデルの精度を高めることも可能である。
上記記載は実施例についてなされたが、本発明はそれに限らず、本発明の原理と添付の請求の範囲の範囲内で種々の変更および修正をすることができることは当業者に明らかである。
前記基準認識部は、前記測距センサから得られたデータのうちSLAMにおける自己位置推定及び環境地図作成の基準にすることが可能な点又は領域を前記基準部材として認識する、請求項1に記載の建屋内構造物認識システム。
前記基準認識部は、前記撮像装置から得られた画像データ及び前記測距センサから得られた距離データを入力データとして前記第1の学習済モデルに入力することにより前記基準部材の認識を行い、前記基準部材の3次元特徴データを出力データとして出力することを特徴とする、請求項1又は2に記載の建屋内構造物認識システム。
前記自己位置認識部は、a)前記撮像装置から得られた画像データと、b)前記基準認識部から出力された基準部材の3次元特徴データと、c)前記撮像装置の過去の3次元座標と姿勢角とを入力データとして第2の学習済モデルに入力することにより前記撮像装置の自己位置の認識を行い、前記撮像装置の現在の3次元座標と姿勢角を出力データとして出力することを特徴とする、請求項1~5のいずれか一項に記載の建屋内構造物認識システム。
前記第3の学習済モデルは、BIMデータから生成された正解画像と被測定物の種類を示すデータを正解データとし、前記BIMデータをレンダリングすることにより生成された仮想観測画像及び前記BIMデータから生成した仮想距離画像を観測データとして機械学習を行うことにより生成されたものであることを特徴とする、請求項1~7のいずれか一項に記載の建屋内構造物認識システム。
前記被測定物認識部は、前記撮像装置から得られた画像データと、前記測距センサから得られた距離データとを第3の学習済モデルに入力することにより前記被測定物の認識を行い、前記被測定物の種類及び前記被測定物の形状データを出力データとして出力することを特徴とする、請求項1~8のいずれか一項に記載の建屋内構造物認識システム。
前記測距センサが、ToF(Time Of Flight)カメラ、ToFセンサ、LiDAR(Light Detection And Ranging)センサ、RADAR(RAdio Detection And Ranging)センサ、超音波センサ又は赤外線センサであることを特徴とする、請求項1~10のいずれか一項に記載の建屋内構造物認識システム。