特許 6700580 状況判定システム、状況判定方法及び状況判定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6700580

(24)【登録日】2020年5月8日

(45)【発行日】2020年5月27日

(54)【発明の名称】状況判定システム、状況判定方法及び状況判定プログラム

(51)【国際特許分類】

   G06Q 50/08 20120101AFI20200518BHJP

   E04G 21/00 20060101ALI20200518BHJP

   G06T 7/00 20170101ALI20200518BHJP

【ＦＩ】

   G06Q50/08

   E04G21/00ESW

   G06T7/00 350C

【請求項の数】5

【全頁数】17

(21)【出願番号】特願2015-241448(P2015-241448)

(22)【出願日】2015年12月10日

(65)【公開番号】特開2017-107443(P2017-107443A)

(43)【公開日】2017年6月15日

【審査請求日】2018年11月5日

(73)【特許権者】

【識別番号】000000549

【氏名又は名称】株式会社大林組

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】中林 拓馬

(72)【発明者】

【氏名】金子 智弥

(72)【発明者】

【氏名】鈴木 理史

【審査官】 松田 岳士

(56)【参考文献】

【文献】 特開２００５−３２７１７０（ＪＰ，Ａ）

【文献】 特開２００５−２７５９８２（ＪＰ，Ａ）

【文献】 特開平０６−０９６２２０（ＪＰ，Ａ）

【文献】 特開２０１５−２０７１０５（ＪＰ，Ａ）

【文献】 特開２０１５−２０４０３０（ＪＰ，Ａ）

【文献】 特開２００７−１９３４８８（ＪＰ，Ａ）

【文献】 特開２００２−０２１３２９（ＪＰ，Ａ）

【文献】 特開平０７−０４９９１０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１３／０１５５０５８（ＵＳ，Ａ１）

【文献】 特開２００５−２９３１８２（ＪＰ，Ａ）

【文献】 特開２００５−２２９３８８（ＪＰ，Ａ）

【文献】 特開２００４−０３２６０８（ＪＰ，Ａ）

【文献】 特開２００６−１０１１７３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｅ０４Ｇ ２１／００−２１／１０

Ｇ０６Ｑ １０／００−９９／００

Ｇ０６Ｔ ７／００− ７／９０

(57)【特許請求の範囲】

【請求項1】

工事現場における工程において表面が露出している建築要素と、この建築要素が画像内で占める可能性がある面積割合の範囲とを関連付けて記録した要素情報記憶部と、
工事現場を撮影した撮影画像を記録する画像記憶部と、
クライアント端末に接続された制御部とを備えた状況判定システムであって、
前記制御部が、
前記画像記憶部に記録された撮影画像において、画像情報に基づいて領域を分割し、前記領域毎に含まれる建築要素を特定し、
前記建築要素を、前記建築要素毎に集計し、この集計に基づいて、建築要素毎の面積割合を算出し、
前記要素情報記憶部を用いて、建築要素の前記算出した面積割合に基づいて工程を特定し、
前記クライアント端末に、前記特定した工程を出力し、
前記算出した面積割合に基づいて工程を特定できない場合には、前記撮影画像において特定した建築要素の少なくとも１つが含まれる工程を工程候補として特定し、
前記特定した工程候補を前記クライアント端末に出力することを特徴とする状況判定システム。

【請求項2】

前記制御部が、
建築要素を撮影した学習用画像において画像特徴量を算出し、前記画像特徴量を用いて教師データを生成し、
前記制御部が、前記画像記憶部に記録された撮影画像において算出した画像特徴量と、前記教師データとを用いて、前記撮影画像に含まれる建築要素を特定することを特徴とする請求項１に記載の状況判定システム。

【請求項3】

各工程の完了予定日を記録したスケジュール情報記憶部を更に備え、
前記制御部が、前記工程を特定した撮影画像の撮影日と、前記完了予定日とを比較した結果を、前記クライアント端末に出力することを特徴とする請求項１又は２に記載の状況判定システム。

【請求項4】

工事現場における工程において表面が露出している建築要素と、この建築要素が画像内で占める可能性がある面積割合の範囲とを関連付けて記録した要素情報記憶部と、
工事現場を撮影した撮影画像を記録する画像記憶部と、
クライアント端末に接続された制御部とを備えた状況判定システムを用いて状況判定を行なう方法であって、
前記制御部が、
前記画像記憶部に記録された撮影画像において、画像情報に基づいて領域を分割し、前記領域毎に含まれる建築要素を特定し、
前記建築要素を、前記建築要素毎に集計し、この集計に基づいて、建築要素毎の面積割合を算出し、
前記要素情報記憶部を用いて、建築要素の前記算出した面積割合に基づいて工程を特定し、
前記クライアント端末に、前記特定した工程を出力し、
前記算出した面積割合に基づいて工程を特定できない場合には、前記撮影画像において特定した建築要素の少なくとも１つが含まれる工程を工程候補として特定し、
前記特定した工程候補を前記クライアント端末に出力することを特徴とする状況判定方法。

【請求項5】

工事現場における工程において表面が露出している建築要素と、この建築要素が画像内で占める可能性がある面積割合の範囲とを関連付けて記録した要素情報記憶部と、
工事現場を撮影した撮影画像を記録する画像記憶部と、
クライアント端末に接続された制御部とを備えた状況判定システムを用いて状況判定を行なうためのプログラムであって、
前記制御部を、
前記画像記憶部に記録された撮影画像において、画像情報に基づいて領域を分割し、前記領域毎に含まれる建築要素を特定し、
前記建築要素を、前記建築要素毎に集計し、この集計に基づいて、建築要素毎の面積割合を算出し、
前記要素情報記憶部を用いて、建築要素の前記算出した面積割合に基づいて工程を特定し、
前記クライアント端末に、前記特定した工程を出力し、
前記算出した面積割合に基づいて工程を特定できない場合には、前記撮影画像において特定した建築要素の少なくとも１つが含まれる工程を工程候補として特定し、
前記特定した工程候補を前記クライアント端末に出力する手段として機能させることを特徴とする状況判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、工事等の進捗状況を判定するための状況判定システム、状況判定方法及び状況判定プログラムに関する。

【背景技術】

【0002】

建築や土木等の現場においては、工事の前後や実施途中の写真を撮影する場合がある。これらの写真は、工事の進捗状況を管理したり、施工状況を確認したりするために用いられる。

【0003】

例えば、撮影ポイントに関する情報を物理的に写真に写り込ませて写真の証拠性を担保するための技術が検討されている（例えば、特許文献１参照。）。この文献に開示された技術においては、電子表示装置に撮影ポイント情報を表示させ、撮影ポイント情報を表示した電子表示装置を含む撮影ポイントの写真をカメラにより撮影する。

【0004】

また、建設現場における工事の進捗状況を管理するための進捗状況管理方法も検討されている（例えば、特許文献２参照。）。この文献に開示された技術においては、所定の位置関係を有する場合に一つの標識と認識される接続タグを第１鉄骨柱と第２鉄骨柱との接続部と関連づけて記憶し、接続タグを構成する第１タグを第１鉄骨柱の接続部位に付す。第１鉄骨柱と第２鉄骨柱との接続部を撮像し、撮像した画像から記憶した接続タグが抽出された場合に第１鉄骨柱と第２鉄骨柱との接続を完了とする。

【0005】

更に、カメラを用いる施工過程記録システムも検討されている（例えば、特許文献３参照。）。この文献に開示された技術においては、カメラを、各所定の施工段階にある建築物を撮像視野に収めるように設置し、その出力画像信号によって表される建築物の少なくとも特定部位の形体に関し建築物の設計データに基づく画像認識を行なう。そして、建築物の少なくとも特定部位が撮影を行なうべき施工段階に対応した形体を成しているか否かを識別し、この識別結果に応じてカメラに付属のリモコンと同じトリガ操作信号を発するトリガ操作装置でカメラにトリガをかける。

【0006】

一方で、バーコードラベルや無線タグが付されていない商品を画像認識処理により認識するための技術も検討されている（例えば、特許文献４参照。）。この文献に開示された技術においては、第１の認識処理部により、撮像部より撮像された認識対象物のカラー画像信号からＨＳＶ色空間に変換して、Ｈ（色相）情報とＳ（彩度）情報のカラーヒストグラムを作成する。そして、認識対象物の第１の特徴情報として、予め作成されている基準のカラーヒストグラムと比較して認識対象物を認識する。また、第２の認識処理部により、上記カラー画像信号に含まれる認識対象物の輝度情報からＳＩＦＴ特徴量を抽出し、Ｋ−ｍｅａｎｓ法によるクラスタリングに対応したクラスを横軸としたヒストグラムを作成する。そして、認識対象物の第２の特徴情報として、予め作成されている基準のヒストグラムと比較して認識対象物を認識する。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１１−２５０２９２号公報

【特許文献2】特開２０１１−２２１８７４号公報

【特許文献3】特開２０１１−１２３６４２号公報

【特許文献4】特開２０１２−１５０５５２号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、特許文献１に記載された技術においては、正確な撮影位置の取得や、写真と設計データの正確な重ね合わせが必要である。また、特許文献２に記載された技術では、所定の位置関係を有する場合に一つの標識と認識される接続タグを貼付して予め登録しておく必要があり、作業負担が大きくなる。特許文献３に記載された技術においては、建築物の設計データに基づいた特定部位の形態を判定する必要がある。このためには、予め撮影すべき形体を登録しておく必要がある。

【0009】

本発明は、上述の問題に鑑みてなされたものであり、この目的は、建築工事等の進捗状況を効率的に判定するための状況判定システム、状況判定方法及び状況判定プログラムを提供することにある。

【課題を解決するための手段】

【0010】

上記問題点を解決するための状況判定システムは、工事現場における工程において用いる建築要素を記録した要素情報記憶部と、工事現場を撮影した撮影画像を記録する画像記憶部と、クライアント端末に接続された制御部とを備える。そして、前記制御部が、前記画像記憶部に記録された撮影画像に含まれる建築要素を特定し、前記要素情報記憶部を用いて、前記建築要素に関連付けられた工程を特定し、前記クライアント端末に、前記特定した工程を出力する。これにより、工事現場の撮影画像を用いて、工程を判定することができる。

【0011】

・上記状況判定システムにおいては、建築要素を撮影した学習用画像において画像特徴量を算出し、前記画像特徴量を用いて教師データを生成し、前記制御部が、前記画像記憶部に記録された撮影画像において算出した画像特徴量と、前記教師データとを用いて、前記撮影画像に含まれる建築要素を特定することが好ましい。これにより、予め準備した教師データを用いて、建築要素を特定することができる。

【0012】

・上記状況判定システムにおいては、前記撮影画像において、画像情報に基づいて領域を分割し、前記領域毎に含まれる建築要素を特定することが好ましい。これにより、一つの撮影画像に複数の建築要素が含まれている場合にも、領域毎に建築要素を特定することができる。

【0013】

・上記状況判定システムにおいては、前記要素情報記憶部において、前記撮影画像に基づいて特定した建築要素が含まれる工程を工程候補として特定し、前記特定した工程候補を前記クライアント端末に出力することが好ましい。これにより、工程候補を用いて、工程を効率的に特定することができる。

【0014】

・上記状況判定システムにおいては、各工程の完了予定日を記録したスケジュール情報記憶部を更に備え、前記工程を特定した撮影画像の撮影日と、前記完了予定日とを比較した結果を、前記クライアント端末に出力することが好ましい。これにより、撮影画像に基づいて、工事の進捗状況を判定することができる。

【発明の効果】

【0015】

本発明によれば、建築工事等の進捗状況を効率的に判定することができる。

【図面の簡単な説明】

【0016】

【図1】本実施形態のシステムの説明図。

【図2】本実施形態の記憶部に記録されたデータの説明図であって、（ａ）は辞書記憶部、（ｂ）は教師情報記憶部の説明図。

【図3】本実施形態の記憶部に記録されたデータの説明図であって、（ａ）はスケジュール情報記憶部、（ｂ）は建築要素情報記憶部、（ｃ）は現場画像情報記憶部、（ｄ）は進捗情報記憶部の説明図。

【図4】本実施形態の処理手順の説明図。

【図5】本実施形態の処理手順の説明図。

【図6】本実施形態の処理手順の説明図であって、（ａ）は学習用画像、（ｂ）は特徴量の抽出、（ｃ）はクラスタリング、（ｄ）はヒストグラム作成、（ｅ）はラベリングの説明図。

【図7】本実施形態の画像の説明図であって、（ａ）は工事現場の撮影画像、（ｂ）は領域分割された撮影画像において建築要素を特定した画像の説明図。

【図8】他の実施形態の処理手順の説明図であって、（ａ）は学習処理、（ｂ）は工程判定処理の説明図。

【発明を実施するための形態】

【0017】

以下、一実施形態を、図１〜図７に従って説明する。本実施形態では、建築工事の工事現場における工程の進捗状況を判定するための状況判定システムとして説明する。
図１に示すように、撮影装置１０、管理サーバ２０、管理者端末３０を用いる。
撮影装置１０は、工事現場を撮影する撮影手段である。撮影装置１０としては、例えば、上下左右全方位の３６０度のパノラマ画像を撮影可能な全天球カメラを用いることが可能である。

【0018】

管理者端末３０は、工事現場における工程の進捗状況を管理する管理者が用いるコンピュータ端末である。この管理者端末３０は、キーボードやポインティングデバイス等、各種指示を入力するための入力部や、情報処理結果を出力するための出力部を備えている。

【0019】

管理サーバ２０は、工事現場を撮影した撮影画像を用いて、工事の進捗状況の管理を支援するコンピュータである。この管理サーバ２０は、制御部２１、辞書記憶部２２、教師情報記憶部２３、スケジュール情報記憶部２４、建築要素情報記憶部２５、現場画像情報記憶部２６、進捗情報記憶部２７を備えている。

【0020】

制御部２１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等から構成された制御手段として機能し、後述する処理（画像管理段階、学習処理段階、工程判定段階、識別段階等を含む処理）を行なう。このための状況判定プログラムを実行することにより、制御部２１は、画像管理部２１１、学習処理部２１２、工程判定部２１３、識別部２１４等として機能する。

【0021】

画像管理部２１１は、管理者端末３０や撮影装置１０から、状況判定処理に用いる画像を取得する処理を実行する。本実施形態では、学習用画像、工事の進捗状況を判定するための撮影画像を取得する。

【0022】

学習処理部２１２は、管理者端末３０から取得した学習用画像を用いて、教師データを生成する処理を実行する。本実施形態では、特徴量抽出アルゴリズムとして、公知のＳＩＦＴ（Scale-Invariant Feature Transform）法を用いる。この特徴量抽出アルゴリズムによれば、画像に含まれる特徴量を算出する。本実施形態では、このＳＩＦＴ法においては、所定数のピクセル毎に、１２８次元の特徴量を算出する。

【0023】

工程判定部２１３は、撮影装置１０から取得した撮影画像を用いて、工事現場において用いられている建築要素を特定し、工事の進捗状況を判定する処理を実行する。
識別部２１４は、上述したＳＩＦＴ法により、教師データを用いて、撮影画像に含まれる被写体の認識処理を実行する。本実施形態では、工事現場の撮影画像を用いて特徴量を算出し、この特徴量に基づいてヒストグラムを生成し（Bag-of-Features）、撮影画像に含まれる建築要素を特定する。

【0024】

図２（ａ）に示すように、辞書記憶部２２には、ヒストグラムを生成するために用いる特徴量についてのコードブック２２０が記録される。このコードブック２２０は、教師データ作成処理を行なった場合に記録される。コードブック２２０は、１又は複数のクラスタ、各クラスタの特徴量に関するデータを含んで構成される。

【0025】

クラスタデータ領域には、ヒストグラムを作成する場合に用いるクラスタを特定するための識別子に関するデータが記録されている。
特徴量データ領域には、このクラスタを表わす代表的な特徴量に関するデータが記録されている。この特徴量としては、後述する教師データ作成処理において生成した複数の各クラスタの中心を表わす代表的特徴量を用いる。

【0026】

図２（ｂ）に示すように、教師情報記憶部２３には、画像認識を行なうための教師データ２３０が記録される。本実施形態では、撮影画像の被写体を構成する建築要素を画像認識により特定する場合を想定する。この教師データ２３０は、教師データ作成処理を行なった場合に記録される。教師データ２３０は、建築要素、ヒストグラムに関するデータを含んで構成される。

【0027】

建築要素データ領域には、建築に用いられる建築要素（例えば、建築材料や納まり等）を特定するための識別子（ここでは名称）に関するデータが記録される。
ヒストグラムデータ領域には、この建築要素を表わすグループに含まれるヒストグラムに関するデータが記録される。このヒストグラムは、この建築用の画像に含まれる特徴量の各クラスタの含有量によって構成される。

【0028】

図３（ａ）に示すように、スケジュール情報記憶部２４には、建築工事における各工程のスケジュールに関するスケジュール管理データ２４０が記録される。このスケジュール管理データ２４０は、建築工事における各工程の予定日が決まった場合に記録される。スケジュール管理データ２４０は、場所、工程、完了予定日に関するデータを含んで構成される。

【0029】

場所データ領域には、工事現場の各場所を特定するための識別子に関するデータが記録される。この場所データとしては、例えば、工区や部屋を特定するためのデータを用いる。
工程データ領域には、この場所において実施される各工程を特定するための識別子に関するデータが記録される。
完了予定日データ領域には、この工程を完了する予定日に関するデータが記録される。この完了予定日に基づいて、工程の順番を特定することができる。

【0030】

図３（ｂ）に示すように、建築要素情報記憶部２５には、工事現場における各工程において用いられる建築要素に関する建築要素管理データ２５０が記録される。この建築要素管理データ２５０は、建築工事における各工程で用いられる建築要素が決まった場合に記録される。建築要素管理データ２５０は、工程、建築要素に関するデータを含んで構成される。

【0031】

工程データ領域には、建築工事における各工程を特定するための識別子に関するデータが記録される。
建築要素には、この工程において用いられる建築要素に関するデータが記録される。図３（ｂ）に示すように、工程「コンクリート打設前」においては、鉄筋、コンクリートが表面に露出している。また、工程「断熱前」においては、コンクリートが表面に露出している。このように、表面に露出している建築要素を特定し、この建築要素に基づいて、現在の工程を特定することができる。

【0032】

図３（ｃ）に示すように、現場画像情報記憶部２６には、工事現場を撮影した撮影画像についての画像管理データ２６０が記録される。この画像管理データ２６０は、撮影装置１０から撮影画像を取得した場合に記録される。画像管理データ２６０は、画像コード、撮影日、場所、画像に関するデータを含んで構成される。

【0033】

画像コードデータ領域には、工事現場を撮影した各撮影画像を特定するための識別子に関するデータが記録される。
撮影日データ領域には、この撮影画像を撮影した年月日及び時刻に関するデータが記録される。
場所データ領域には、この撮影画像を撮影した工事現場の場所を特定するための識別子に関するデータが記録される。
画像データ領域には、工事現場を撮影した撮影画像に関するデータが記録される。

【0034】

図３（ｄ）に示すように、進捗情報記憶部２７には、建築工事の進捗状況を管理するための進捗管理データ２７０が記録される。この進捗管理データ２７０は、工程判定処理を行なった場合に記録される。進捗管理データ２７０は、場所、画像コード、工程、状況に関するデータを含んで構成される。

【0035】

場所データ領域には、工事現場の各場所を特定するための識別子に関するデータが記録される。
画像コードデータ領域には、この場所を撮影した撮影画像を特定するための識別子に関するデータが記録される。

【0036】

工程データ領域には、撮影画像に基づいて特定した工程を特定するための識別子に関するデータが記録される。
状況データ領域には、この工程について建築工事のスケジュールに対する状況を示すデータが記録される。

【0037】

次に、上記のように構成された管理サーバ２０において、建築工事の進捗状況を判定する場合の処理手順について、図４〜図７を用いて説明する。

【0038】

（教師データ作成処理）
まず、図４、図６を用いて、教師データ作成処理を説明する。
ここでは、管理サーバ２０の制御部２１は、学習用画像の特定処理を実行する（ステップＳ１−１）。具体的には、制御部２１の学習処理部２１２は、管理者端末３０に対して、学習用画像の入力要求を出力する。この場合、管理者端末３０を用いて、教師データの作成に用いる学習用画像を入力する。本実施形態では、学習用画像として、建築要素（被写体）を含む工事現場を撮影した複数の撮影画像（例えば、数万枚の画像）を用いる場合を想定する。各学習用画像には、被写体を特定する建築要素に関する情報が関連付けられている。この場合、学習処理部２１２は、管理者端末３０から取得した学習用画像をメモリに仮記憶する。
ここでは、図６（ａ）に示すように、学習用画像（１）〜（ｎ）を用いる場合を想定する。

【0039】

次に、メモリに仮記憶した学習用画像を順次、処理対象として特定し、以下の処理を繰り返す。

【0040】

ここでは、管理サーバ２０の制御部２１は、特徴量の抽出処理を実行する（ステップＳ１−２）。具体的には、制御部２１の学習処理部２１２は、処理対象の学習用画像に含まれる特徴量を算出する。本実施形態では、各画像において、複数画素毎の特徴量を算出する。そして、学習処理部２１２は、算出した特徴量を、処理対象の撮影画像に関連付けて仮記憶する。
そして、すべての学習用画像について、以上の処理を繰り返す。

【0041】

図６（ｂ）では、各学習用画像（１）〜（ｎ）において、複数の特徴量が算出されている。学習用画像（１）〜（ｎ）に表示されている円表示は、ＳＩＦＴ法におけるキーポイントにおける特徴量のスケールと勾配強度が最も強い向きとを表わしている。

【0042】

次に、管理サーバ２０の制御部２１は、特徴量のクラスタリング処理を実行する（ステップＳ１−３）。具体的には、制御部２１の学習処理部２１２は、公知のＫ−ｍｅａｎｓ法を用いて、算出したすべての特徴量を用いてクラスタリングを行なう。Ｋ−ｍｅａｎｓ法では、クラスタの平均を用い、与えられたクラスタ数ｋ個に分類するための非階層型クラスタリングのアルゴリズムである。本実施形態では、撮影画像数、複数画素毎の特徴量数に応じた特徴点を用いて、複数のクラスタを生成する。

【0043】

次に、管理サーバ２０の制御部２１は、辞書の作成処理を実行する（ステップＳ１−４）。具体的には、制御部２１の学習処理部２１２は、生成した各クラスタの中心（代表的特徴量）を特定する。そして、学習処理部２１２は、特定したすべての代表的特徴量を記録したコードブック２２０を辞書記憶部２２に記録する。
図６（ｃ）では、クラスタＡ〜Ｄを生成した場合を想定する。

【0044】

次に、管理サーバ２０の制御部２１は、学習用画像毎に以下の処理を繰り返す。
ここでは、管理サーバ２０の制御部２１は、ヒストグラムの作成処理を実行する（ステップＳ１−５）。具体的には、制御部２１の学習処理部２１２は、辞書記憶部２２に記録されたコードブック２２０に含まれる特徴量と、学習用画像に含まれる特徴量とを比較する。そして、学習処理部２１２は、各クラスタの含有量を示したヒストグラムを生成する。
図６（ｄ）では、学習用画像（１）〜（ｎ）において、各クラスタＡ〜Ｄの成分を表わすヒストグラムが生成されている。

【0045】

次に、管理サーバ２０の制御部２１は、ラベリング処理を実行する（ステップＳ１−６）。具体的には、制御部２１の学習処理部２１２は、各学習用画像のヒストグラムに対して、学習用画像に関連付けられた建築要素をラベルとして付与して仮記録する。

【0046】

ここでは、図６（ｅ）に示すように、学習用画像（１）〜（ｎ）において、共通する建築要素（ラベルα〜γ）がグループ分けされる。そして、学習用画像（１）〜（ｎ）のヒストグラムからなる各グループに属する教師データが生成される。
以上の処理を、すべての学習用画像についての処理を終了するまで繰り返す。

【0047】

次に、管理サーバ２０の制御部２１は、教師データの出力処理を実行する（ステップＳ１−７）。具体的には、制御部２１の学習処理部２１２は、ラベルリングされたヒストグラムを、教師データとして、教師情報記憶部２３に記録する。

【0048】

（工程判定処理）
次に、図５を用いて、工程判定処理を説明する。
まず、管理サーバ２０の制御部２１は、工事現場の撮影画像の取得処理を実行する（ステップＳ２−１）。具体的には、建築工事の工事現場を、撮影装置１０を用いて撮影する。この場合、撮影装置１０は、撮影日時及び撮影した場所を特定するための識別子を関連付けて記憶する。この撮影日時は、撮影装置１０の内蔵タイマから取得することができる。また、撮影場所は、撮影装置１０の入力手段を介しての手入力や、ＧＰＳ（Global Positioning System）等の位置特定手段を用いて取得することができる。そして、撮影装置１０に記憶された撮影画像を、管理サーバ２０にアップロードする。例えば、撮影装置１０に記録された複数の撮影画像を、管理者端末３０を介してまとめてアップロードする。この撮影画像には、撮影日時及び場所に関する識別子が関連付けられている。この場合、制御部２１の画像管理部２１１は、アップロードされた撮影画像に対して、画像コードを付与して、現場画像情報記憶部２６に記録する。

【0049】

次に、管理サーバ２０の制御部２１は、撮影画像毎に以下の処理を繰り返す。
ここでは、管理サーバ２０の制御部２１は、撮影画像について領域分割処理を実行する（ステップＳ２−２）。具体的には、制御部２１の工程判定部２１３は、公知の方法を用いて、撮影画像に含まれる複数の領域を分割する。例えば、撮影画像に含まれるエッジや、画素の色相情報や彩度情報を用いて領域分割を行なう。

【0050】

そして、管理サーバ２０の制御部２１は、各分割領域を順次、処理対象として特定し、以下の処理を繰り返す。
ここでは、管理サーバ２０の制御部２１は、処理対象の分割領域の特徴量の算出処理を実行する（ステップＳ２−３）。具体的には、制御部２１の工程判定部２１３は、識別部２１４に分割領域の画像を提供する。この場合、識別部２１４は、この分割領域の特徴量を算出する。

【0051】

次に、管理サーバ２０の制御部２１は、分割領域のヒストグラムの作成処理を実行する（ステップＳ２−４）。具体的には、制御部２１の識別部２１４は、分割領域の特徴量と、辞書記憶部２２のコードブック２２０に記録された各代表的特徴量とのマッチングを行なう。そして、識別部２１４は、各代表的特徴量とのマッチング状況に応じて、各クラスタの含有量を示したヒストグラムを生成する。

【0052】

次に、管理サーバ２０の制御部２１は、分割領域の建築要素の特定処理を実行する（ステップＳ２−５）。具体的には、制御部２１の識別部２１４は、教師情報記憶部２３に記録された教師データ２３０を用いて、生成したヒストグラムが属するグループを特定する。例えば、サポートベクターマシン（support vector machine,ＳＶＭ）を用いてグループを特定する。そして、識別部２１４は、特定したグループの建築要素（ラベル）を特定する。
以上の処理を、すべての分割領域について終了するまで繰り返す。

【0053】

図７（ａ）に示す撮影画像５００を取得した場合を想定する。この場合には、図７（ｂ）に示すように、分割領域５１１〜５１４に分割した撮影画像５１０とする。そして、各分割領域の特徴量に基づいて、分割領域５１１〜５１４の建築要素を特定する。例えば、分割領域５１１，５１３は、建築要素として「コンクリート」、分割領域５１２は「ウレタン」、分割領域５１４は「ボード」を特定した場合を想定する。

【0054】

次に、管理サーバ２０の制御部２１は、工程を特定可能かどうかについての判定処理を実行する（ステップＳ２−６）。具体的には、制御部２１の工程判定部２１３は、識別部２１４から、特定した建築要素を取得する。次に、工程判定部２１３は、建築要素情報記憶部２５を用いて、特定した建築要素が含まれる工程を検索する。建築要素情報記憶部２５の各工程に含まれるすべての建築要素が、撮影画像に含まれる場合には、工程を特定可能と判定する。例えば、図７（ｂ）の場合、建築要素情報記憶部２５を用いて、「コンクリート」、「ウレタン」を含む工程として「断熱後」を特定する。一方、工程「ボード貼り前」の「軽鉄」や、工程「ボード貼り後」の「床パネル」は、撮影画像に含まれないため、対象外と判定する。なお、分割領域５１４の「ボード」は、ボード貼り作業の事前準備であり、ノイズとして判定の対象外とする。一方、建築要素情報記憶部２５の各工程に含まれる建築要素が、撮影画像に含まれる建築要素において過不足がある場合には、工程を特定できないと判定する。

【0055】

ここで、工程を特定できないと判定した場合（ステップＳ２−６において「ＮＯ」の場合）、管理サーバ２０の制御部２１は、工程の選択処理を実行する（ステップＳ２−７）。具体的には、制御部２１の工程判定部２１３は、撮影画像に含まれる建築要素の少なくとも一つが含まれる工程を、工程候補として特定する。そして、工程判定部２１３は、特定した建築候補を管理者端末３０に出力する。この場合、建築要素情報記憶部２５に記録された建築要素と、撮影画像に含まれる建築要素とで共通した建築要素が多い順番に、工程候補を出力する。そして、工程判定部２１３は、管理者端末３０において指定された工程候補を取得する。

【0056】

一方、工程を特定できると判定した場合（ステップＳ２−６において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、工程の選択処理（ステップＳ２−７）をスキップする。

【0057】

次に、管理サーバ２０の制御部２１は、工程の記録処理を実行する（ステップＳ２−８）。具体的には、制御部２１の工程判定部２１３は、撮影画像に基づいて特定した工程、又は管理者端末３０において指定された工程を記録した進捗管理データ２７０を進捗情報記憶部２７に記録する。更に、工程判定部２１３は、スケジュール情報記憶部２４から、撮影場所、工程が記録されたスケジュール管理データ２４０を取得する。次に、工程判定部２１３は、スケジュール管理データ２４０に記録された完了予定日と、現場画像情報記憶部２６に記録された撮影日とを比較して差分日数を算出する。そして、工程判定部２１３は、進捗管理データ２７０に状況を記録する。ここでは、撮影日が完了予定日よりも遅い場合には、「差分日数の遅延」を状況データ領域に記録する。一方、撮影日が完了予定日よりも早い場合や、撮影日と完了予定日とが一致している場合には、「予定通り」を状況データ領域に記録する。
以上の処理を、すべての撮影画像について終了するまで繰り返す。

【0058】

本実施形態の状況判定システムによれば、以下のような効果を得ることができる。
（１）本実施形態では、管理サーバ２０の制御部２１は、教師データ作成処理、工程判定処理を実行する。これにより、工事現場を撮影した撮影画像を用いて、効率的に状況を判定することができる。

【0059】

（２）本実施形態では、管理サーバ２０の制御部２１は、学習用画像について、特徴量の抽出処理（ステップＳ１−２）、特徴量のクラスタリング処理（ステップＳ１−３）、辞書の作成処理（ステップＳ１−４）を実行する。これにより、工事現場の撮影画像に含まれる特徴量を分類するためのコードブック２２０を作成することができる。

【0060】

更に、管理サーバ２０の制御部２１は、ヒストグラムの作成処理（ステップＳ１−５）、ラベリング処理（ステップＳ１−６）を実行する。これにより、撮影画像に基づいて、建築要素を特定するための教師データを生成することができる。

【0061】

（３）本実施形態では、撮影画像について領域分割処理を実行する（ステップＳ２−２）。そして、管理サーバ２０の制御部２１は、処理対象の分割領域の特徴量の算出処理（ステップＳ２−３）、分割領域のヒストグラムの作成処理（ステップＳ２−４）、分割領域の建築要素の特定処理（ステップＳ２−５）を実行する。これにより、撮影画像に含まれる領域毎に、建築要素を特定することができる。

【0062】

（４）本実施形態では、管理サーバ２０の制御部２１は、工程を特定可能かどうかについての判定処理を実行する（ステップＳ２−６）。そして、工程を特定できないと判定した場合（ステップＳ２−６において「ＮＯ」の場合）、管理サーバ２０の制御部２１は、工程の選択処理を実行する（ステップＳ２−７）。この場合、撮影画像に含まれる建築要素の少なくとも一つが含まれる工程を、工程候補として特定する。そして、工程判定部２１３は、特定した建築候補を管理者端末３０に出力する。これにより、撮影画像に基づいて自動判定が困難な場合には、工程候補に基づいて、効率的に工程を指定することができる。

【0063】

（５）本実施形態では、管理サーバ２０の制御部２１は、工程の記録処理を実行する（ステップＳ２−８）。これにより、建築工事の進捗状況を、効率的に判断することができる。
また、進捗情報記憶部２７には、場所、画像コードと工程とが関連付けられて記録されるため、場所や工程毎に、撮影画像を効率的に整理することができる。

【0064】

また、上記実施形態は、以下のように変更してもよい。
・上記実施形態では、教師データ作成処理において、管理サーバ２０の制御部２１は、学習用画像の特定処理を実行する（ステップＳ１−１）。この場合、被写体として建築要素を含む工事現場を撮影した複数の撮影画像を用いる。学習用画像は、工事現場の撮影画像に限定されるものではない。建築要素の写真が含まれるカタログ等からサンプル画像を取得して、学習用画像として用いるようにしてもよい。

【0065】

また、設計図面等の設計情報に基づいて、学習用画像を取得するようにしてもよい。この場合には、設計情報に含まれる建築要素（建築材料等）を取得し、この建築要素の画像を、インターネット等において検索する。また、設計情報に基づいて、建築要素の提供者を特定するようにしてもよい。この場合には、提供者の管理サーバに登録されている建築要素のサンプル画像を、教師データの作成処理時に、提供者の管理サーバにアクセスして取得する。

【0066】

・上記実施形態では、工程判定処理において、管理サーバ２０の制御部２１は、分割領域の建築要素の特定処理を実行する（ステップＳ２−５）。この場合、ＳＩＦＴ法を用いる。建築要素の特定方法は、ＳＩＦＴ法に限定されるものではなく、公知の各種画像認識方法を用いることができる。また、ＳＩＦＴ特徴量だけではなく、色彩等をパラメータとして、建築要素を特定するようにしてもよい。

【0067】

・上記実施形態では、工程判定処理において、管理サーバ２０の制御部２１は、工程の記録処理を実行する（ステップＳ２−８）。ここで、撮影画像において、建築要素情報記憶部２５に記録されていない建築要素が含まれる場合、管理者端末３０にアラームメッセージを出力するようにしてもよい。このアラームメッセージには、現在の工程及びこの工程で用いられない建築要素に関する情報を含める。これにより、工程において用いられる建築要素が適切でない場合に、管理者に対して注意喚起を行なうことができる。

【0068】

・上記実施形態では、管理サーバ２０の制御部２１は、工程を特定可能かどうかについての判定処理を実行する（ステップＳ２−６）。ここで、この工事現場における先行工程に基づいて、工程を判定するようにしてもよい。この場合には、制御部２１は、進捗情報記憶部２７を用いて、この工事現場において既に完了した直近の先行工程を特定する。そして、制御部２１は、スケジュール情報記憶部２４を用いて、先行工程以降の工程を特定し、建築要素情報記憶部２５から、先行工程以降の工程を、撮影画像の工程候補として特定する。

【0069】

・上記実施形態では、工事現場を撮影する撮影装置１０として、上下左右全方位の３６０度のパノラマ画像を撮影可能な全天球カメラを用いる。撮影装置１０は、全天球カメラに限定されるものではない。広角レンズを有するカメラでの撮影画像や、複数の撮影画像を用いて、工程を特定するようにしてもよい。なお、同じ撮影日に同じ場所で撮影された複数の撮影画像を用いる場合には、異なる複数の工程が特定されることがある。この場合には、特定された複数の工程の中で、最も多い工程を採用する。

【0070】

また、撮影時に撮影向きを記録しておき、この撮影向きを考慮して、撮影画像を合成するようにしてもよい。この場合には、撮影装置１０に、３次元位置における姿勢検出センサを設ける。

【0071】

・上記実施形態では、建築要素情報記憶部２５には、工事現場における各工程において用いられる建築要素に関する建築要素管理データ２５０が記録される。ここでは、工程に対して、建築要素の有無を記録した。工程と建築要素との関係は、これに限定されるものではない。例えば、各建築要素が画像内で占める可能性がある面積割合（％）の範囲を数値で表現してもよい。この場合、建築要素情報記憶部２５には、建築要素管理データ２５０を記録する。

【0072】

【表1】

【0073】

・上記実施形態では、特徴量を用いて、工事現場における工程を判定した。工程の判定方法は、これに限定されるものではない。例えば、ディープラーニング（深層学習）を利用して、工程を特定するようにしてもよい。ここでは、多数の画像からなる教師データを用いて学習処理を実行し、学習処理によって生成されたモデルを用いて、工程を特定する。

【0074】

（学習処理）
まず、図８（ａ）を用いて、学習処理を説明する。
ここでは、管理サーバ２０の制御部２１は、教師データの特定処理を実行する（ステップＳ３−１）。具体的には、制御部２１の学習処理部２１２は、管理者端末３０に対して、学習用画像の入力要求を出力する。この場合、管理者端末３０を用いて、教師データ（学習用画像、検証用画像）を入力する。本実施形態では、学習用画像として、建築要素（被写体）を撮影した複数の撮影画像（例えば、数万枚の画像）を用いる場合を想定する。各学習用画像、検証用画像には、被写体を特定する建築要素に関する情報が関連付けられている。この場合、学習処理部２１２は、管理者端末３０から取得した学習用画像、検証用画像をメモリに仮記憶する。

【0075】

次に、管理サーバ２０の制御部２１は、ディープラーニング処理を実行する（ステップＳ３−２）。具体的には、制御部２１の学習処理部２１２は、入力層、中間層（隠れ層）、出力層に含まれる複数のノードを結合する。なお、中間層は、必要に応じて複数階層を設けることが可能である。本実施形態では、入力層には、各学習用画像に含まれる画素を用いる。また、出力層の各ノードには、建築要素を用いる。そして、入力層のノードから出力層のノードを結びつける中間層のノード、結合からなるモデル（建築要素判定モデル）を生成する。

【0076】

次に、管理サーバ２０の制御部２１は、検証処理を実行する（ステップＳ３−３）。具体的には、制御部２１の学習処理部２１２は、ディープラーニング処理により生成した建築要素判定モデルに、検証用画像を適用して、建築要素を算出する。次に、学習処理部２１２は、算出した建築要素が、検証用画像に関連付けられていた建築要素と一致するかどうかを判定する。そして、学習処理部２１２は、すべての検証用画像において、建築要素が一致しなかった割合（エラーレート）を算出する。

【0077】

次に、管理サーバ２０の制御部２１は、学習は完了かどうかについての判定処理を実行する（ステップＳ３−４）。具体的には、制御部２１の学習処理部２１２は、算出したエラーレートと、予め定められた収束条件とを比較する。そして、エラーレートが収束条件を満たした場合には、学習は完了したと判定する。

【0078】

学習は完了でないと判定した場合（ステップＳ３−４において「ＮＯ」の場合）、管理サーバ２０の制御部２１は、ディープラーニング処理（ステップＳ３−２）を再実行する。
一方、学習は完了と判定した場合（ステップＳ３−４において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、モデルの出力処理を実行する（ステップＳ３−５）。具体的には、制御部２１の学習処理部２１２は、ディープラーニング処理により生成した建築要素判定モデルを、学習済みモデルとして工程判定部２１３に供給する。工程判定部２１３は、この学習済みモデルを記憶する。

【0079】

（工程判定処理）
次に、図８（ｂ）を用いて、工程判定処理を説明する。
まず、管理サーバ２０の制御部２１は、ステップＳ２−１と同様に、工事現場の撮影画像の取得処理を実行する（ステップＳ４−１）。

【0080】

次に、管理サーバ２０の制御部２１は、撮影画像毎に以下の処理を繰り返す。
ここでは、管理サーバ２０の制御部２１は、撮影画像について領域分割処理を実行する（ステップＳ４−２）。具体的には、制御部２１の工程判定部２１３は、撮影画像を、任意の解像度のグリッドに分割する。例えば、解像度「３０７２×２３０４ｐｘ」の画像を「２５６×２５６ｐｘ」のグリッド（分割領域）に分割する。

【0081】

そして、管理サーバ２０の制御部２１は、各分割領域を順次、処理対象として特定し、以下の処理を繰り返す。
ここでは、管理サーバ２０の制御部２１は、モデルを用いて、分割領域の建築要素の特定処理を実行する（ステップＳ４−３）。具体的には、制御部２１の工程判定部２１３は、学習済みモデル（建築要素判定モデル）を用いて、建築要素を特定する。そして、工程判定部２１３は、特定した建築要素を仮記憶する。
以上の処理を、すべての分割領域について終了するまで繰り返す。

【0082】

次に、管理サーバ２０の制御部２１は、工程の選択処理を実行する（ステップＳ４−４）。具体的には、制御部２１の工程判定部２１３は、撮影画像に含まれるすべてのグリッド（分割領域）について、仮記憶した建築要素を、建築要素毎に集計する。次に、工程判定部２１３は、集計に基づいて、建築要素毎の割合を算出する。これにより、面積割合が算出される。そして、工程判定部２１３は、算出した面積割合に基づいて工程を選択する。この場合、上述した表１を用いることができる。

【0083】

次に、管理サーバ２０の制御部２１は、ステップＳ２−８と同様に、工程の記録処理を実行する（ステップＳ４−５）。
以上の処理を、すべての撮影画像について終了するまで繰り返す。
これにより、ディープラーニングを用いて、効率的かつ的確に建築要素を特定し、この建築要素により工程を特定することができる。

【0084】

更に、機械学習（ディープラーニング）により、工程を選択することも可能である。この場合には、学習処理における教師データとして、各工程がラベリングされ、各建築要素の面積割合のヒストグラムを算出した大量の撮影画像を準備する。例えば、工程「断熱後」がラベリングされた撮影画像に対して、建築要素「鉄筋」、「コンクリート」、「ウレタン」等についての面積割合のヒストグラムを生成しておく。
そして、ディープラーニング処理（ステップＳ３−２）において、各建築要素の面積割合のヒストグラムを算出した大量の撮影画像（学習用画像）を用いて、各学習用画像にラベリングされた工程を判定するための工程判定モデルを生成する。
検証処理（ステップＳ３−３）においては、検証用画像において、各建築要素の面積割合のヒストグラムを算出し、ディープラーニング処理により生成した工程判定モデルに適用することにより、工程を予測する。そして、検証用画像にラベリングされていた工程との一致を判定する。この判定により算出されるエラーレートに基づいて、学習を完了する。

【0085】

工程判定処理においては、管理サーバ２０の制御部２１は、撮影画像において、分割領域の建築要素の特定処理を実行する（ステップＳ４−３）。更に、領域毎の繰り返し処理により、管理サーバ２０の制御部２１は、建築要素の面積割合のヒストグラムを算出する。そして、管理サーバ２０の制御部２１は、建築要素の面積割合のヒストグラムについて、上述したディープラーニング処理により生成した工程判定モデルを適用して工程を特定する。
工程判定に機械学習手法（ディープラーニング）を用いることにより、分割領域毎の建築要素推定の誤差に対する頑健性を強化することができる。

【符号の説明】

【0086】

１０…撮影装置、２０…管理サーバ、２１…制御部、２１１…画像管理部、２１２…学習処理部、２１３…工程判定部、２１４…識別部、２２…辞書記憶部、２３…教師情報記憶部、２４…スケジュール情報記憶部、２５…建築要素情報記憶部、２６…現場画像情報記憶部、２７…進捗情報記憶部、３０…管理者端末。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】