特許 7004131 管理システム、管理方法及び管理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-06

(45)【発行日】2022-01-21

(54)【発明の名称】管理システム、管理方法及び管理プログラム

(51)【国際特許分類】

   G06Q 50/08 20120101AFI20220114BHJP

【ＦＩ】

G06Q50/08

【請求項の数】 6

(21)【出願番号】P 2017007861

(22)【出願日】2017-01-19

(65)【公開番号】P2018116571

(43)【公開日】2018-07-26

【審査請求日】2019-12-09

(73)【特許権者】

【識別番号】000000549

【氏名又は名称】株式会社大林組

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】中林 拓馬

(72)【発明者】

【氏名】金子 智弥

(72)【発明者】

【氏名】鈴木 理史

【審査官】山内 裕史

(56)【参考文献】

【文献】特開２０１２－１８０１９１（ＪＰ，Ａ）

【文献】特開２０１５－１０２８８０（ＪＰ，Ａ）

【文献】特開２０１２－０８８９０７（ＪＰ，Ａ）

【文献】特開２００９－１６３５７８（ＪＰ，Ａ）

【文献】特開２００５－２１６１３７（ＪＰ，Ａ）

【文献】特開２０１５－１０６３５６（ＪＰ，Ａ）

【文献】特開２００６－０９２０１７（ＪＰ，Ａ）

【文献】米国特許出願公開第２００８／００７１４７０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

管理対象を識別する管理対象識別情報と、前記管理対象の位置情報とを関連付けて記憶した管理情報記憶部と、
移動体に取り付けた撮影装置からの画像を取得する制御部とを備えた管理システムであって、
前記制御部は、
前記撮影装置によって撮影された画像内において、移動した位置での画像内に写った特徴点を検索して特定し、前記特徴点の位置を用いて、前記撮影された画像の撮影位置及び撮影角度を特定し、
前記特定した撮影位置及び撮影角度を用いて、前記画像に含まれる管理対象の所在位置を特定し、
前記管理対象の管理対象識別情報に関連付けて、前記所在位置を前記管理情報記憶部に記録することを特徴とする管理システム。

【請求項2】

前記制御部は、前記画像に基づいて管理対象の使用状態を特定し、
前記管理対象識別情報及び前記所在位置に関連付けて、前記使用状態を前記管理情報記憶部に記録することを特徴とする請求項１に記載の管理システム。

【請求項3】

前記移動体の所在位置を記録する移動体情報記憶部を更に備え、
前記制御部は、前記画像を撮影した撮影位置を、前記移動体の所在位置として特定し、前記移動体の所在位置を前記移動体情報記憶部に記録し、前記移動体の所在位置が撮影禁止領域に含まれる場合には、前記撮影装置は撮影を停止又は前記撮影禁止領域において撮影した画像を削除することを特徴とする請求項１又は２に記載の管理システム。

【請求項4】

前記管理情報記憶部には、前記管理対象識別情報及び前記管理対象の位置情報とに関連付けて前記管理対象を前記所在位置で検知した所在確認日時とが記憶され、
前記制御部は、
前記管理対象の管理対象識別情報に関連付けて、前記所在位置及び所在確認日時を前記管理情報記憶部に記録し、
現在日時から未確認期間分前となる最終確認基準日時以降の所在確認日時が前記管理情
報記憶部に記録されていない前記管理対象を抽出した場合には、前記管理対象についての警告を出力することを特徴とする請求項１～３の何れか１項に記載の管理システム。

【請求項5】

管理対象を識別する管理対象識別情報と、前記管理対象の位置情報とを関連付けて記憶した管理情報記憶部と、
移動体に取り付けた撮影装置からの画像を取得する制御部とを備えた管理システムを用いて、前記管理対象を管理する管理方法であって、
前記制御部は、
前記撮影装置によって撮影された画像内において、移動した位置での画像内に写った特徴点を検索して特定し、前記特徴点の位置を用いて、前記撮影された画像の撮影位置及び撮影角度を特定し、
前記特定した撮影位置及び撮影角度を用いて、前記画像に含まれる管理対象の所在位置を特定し、
前記管理対象の管理対象識別情報に関連付けて、前記所在位置を前記管理情報記憶部に記録することを特徴とする管理方法。

【請求項6】

管理対象を識別する管理対象識別情報と、前記管理対象の位置情報とを関連付けて記憶した管理情報記憶部と、
移動体に取り付けた撮影装置からの画像を取得する制御部とを備えた管理システムを用いて、前記管理対象を管理する管理プログラムであって、
前記制御部を、
前記撮影装置によって撮影された画像内において、移動した位置での画像内に写った特徴点を検索して特定し、前記特徴点の位置を用いて、前記撮影された画像の撮影位置及び撮影角度を特定し、
前記特定した撮影位置及び撮影角度を用いて、前記画像に含まれる管理対象の所在位置を特定し、
前記管理対象の管理対象識別情報に関連付けて、前記所在位置を前記管理情報記憶部に記録する手段として機能させることを特徴とする管理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、管理対象の所在位置を管理する管理システム、管理方法及び管理プログラムに関する。

【背景技術】

【0002】

建設現場において使用される機器は、作業状況に応じて使用する場所が変わる。このため、各機器の所在位置を的確に管理する必要があった。
そこで、従来、資機材の状況を管理するための技術が検討されている（例えば、非特許文献１参照。）。この非特許文献１に記載の技術においては、建設作業員が携帯するＩＣタグや機材などに取り付けたＩＣタグを、エレベーターに設置されたＩＣタグリーダで読み取る。これにより、移動させた資機材、移動時期及び移動先等を記録する。

【0003】

更に、建設現場で使用される機器の稼働状況を管理するための技術も検討されている（例えば、特許文献１参照。）。この特許文献１に記載の技術においては、機器に取り付けた加速度センサから取得した計測情報を用いて、機器の状態を判定する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１３－５４６８２号公報

【非特許文献】

【0005】

【文献】株式会社大林組、「資機材の搬入状況が一目で分かる「揚重管理システム」を開発」、［online］、［平成２８年１０月１４日検索］、インターネット<http://www.obayashi.co.jp/press/news20160328_1>

【発明の概要】

【発明が解決しようとする課題】

【0006】

非特許文献１に記載の技術を用いて資機材を管理する場合、管理する対象の資機材のそれぞれにＩＣタグを取り付ける必要がある。従って、ＩＣタグが取り付けられていない資機材を管理することができない。

【0007】

本発明は、上記課題に鑑みてなされ、その目的は、管理対象の所在位置を効率的に把握して管理するための管理システム、管理方法及び管理プログラムを提供することにある。

【課題を解決するための手段】

【0008】

・上記課題を解決する管理システムは、管理対象を識別する管理対象識別情報と、前記管理対象の位置情報とを関連付けて記憶した管理情報記憶部と、移動体に取り付けた撮影装置からの画像を取得する制御部とを備えた管理システムであって、前記制御部は、前記撮影装置によって撮影された画像と撮影位置情報とを取得し、前記画像に含まれる管理対象について、前記撮影位置情報を用いて所在位置を特定し、前記管理対象の管理対象識別情報に関連付けて、前記所在位置を前記管理情報記憶部に記録する。これにより、移動体の撮影装置を用いて、管理対象の所在位置を効率的に把握して管理することができる。

【0009】

・上記管理システムにおいて、前記制御部は、前記画像に基づいて管理対象の使用状態を特定し、前記管理対象識別情報及び前記所在位置に関連付けて、前記使用状態を前記管理情報記憶部に記録することが好ましい。これにより、管理対象の使用状態も把握することができる。

【0010】

・上記管理システムにおいて、前記移動体の所在位置を記録する移動体情報記憶部を更に備え、前記制御部は、前記画像情報を撮影した撮影位置を、前記移動体の所在位置として特定し、前記移動体の所在位置を前記移動体情報記憶部に記録することが好ましい。これにより、管理対象の所在位置だけでなく、移動体の所在位置も併せて把握して管理することができる。

【0011】

・上記管理システムにおいて、前記移動体の所在位置が撮影禁止領域に含まれる場合には、前記撮影装置は撮影を停止することが好ましい。これにより、移動体が撮影禁止領域に入った場合には、撮影を禁止することができる。

【発明の効果】

【0012】

本発明によれば、管理対象の所在位置を効率的に把握して管理することができる。

【図面の簡単な説明】

【0013】

【図1】実施形態における管理システムの全体構成図。

【図2】実施形態における移動体ユニットの取り付け位置を示す斜視図。

【図3】実施形態における管理システムの各記憶部に記憶された情報の構成図であって、（ａ）は被写体情報記憶部、（ｂ）は動画情報記憶部、（ｃ）は所在情報記憶部。

【図4】実施形態における管理処理の処理手順を説明する流れ図。

【図5】実施形態における被写体認識処理の処理手順を説明する流れ図。

【図6】実施形態において管理対象を特定する画像を説明する説明図。

【図7】実施形態における所在位置確認処理の処理手順を説明する流れ図。

【発明を実施するための形態】

【0014】

以下、図１～図７を用いて、管理対象の所在位置を管理する管理システム、管理方法及び管理プログラムを具体化した一実施形態を説明する。本実施形態では、建設現場で用いる移動可能な機器（例えば、溶接機やポンプ等）を管理対象として管理する。

【0015】

図１に示すように、本実施形態の管理システム１０は、複数の移動体ユニット１１に接続された管理サーバ２０を備えている。

【0016】

図２に示すように、移動体ユニット１１には、撮影装置として機能するウェアラブル端末を用いる。この移動体ユニット１１は、建設現場で移動しながら作業を行なう作業者のヘルメットＨ１の横に取り付けられている。

【0017】

図１に示すように、移動体ユニット１１は、撮影部１２、送信部１３及び制御部１４を備えている。
撮影部１２は、ＣＣＤカメラ等により構成されている。この撮影部１２は、作業者の前方を撮影して動画（画像）を生成する。

【0018】

送信部１３は、撮影部１２で撮影した動画を、所定容量毎に、管理サーバ２０に送信する。
制御部１４は、撮影部１２の撮影開始や撮影停止を制御したり、送信部１３の送信開始や送信停止等を制御したりする。制御部１４は、この移動体ユニット１１を特定する撮影装置識別情報を保持している。

【0019】

管理サーバ２０は、入力部１６及び表示部１７を備えている。入力部１６は、キーボードやポインティングデバイスである。表示部１７は、ディスプレイであって、管理対象の所在位置等を表示する。

【0020】

管理サーバ２０は、制御部２１、建築総合情報記憶部２２、特徴点情報記憶部２３、禁止区域情報記憶部２４、被写体情報記憶部２５、動画情報記憶部２６及び所在情報記憶部２７を備えている。

【0021】

制御部２１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、後述する処理（管理段階、位置特定段階、被写体特定段階等の各処理）を行なう。そのための管理プログラムを実行することにより、制御部２１は、管理部２１１、位置特定部２１２、被写体特定部２１３として機能する。

【0022】

管理部２１１は、管理対象の所在を管理する処理を実行する。本実施形態では、移動体ユニット１１において撮影した動画を取得し、この動画により管理対象の管理を行なう。
位置特定部２１２は、動画に基づいて撮影位置及び撮影方向を推定し、撮影視野を特定する処理を実行する。本実施形態では、位置特定部２１２は、公知のｖ－ＳＬＡＭ（visual Simultaneous Localization And Mapping）を用いて、撮影位置を特定する。

【0023】

被写体特定部２１３は、特定した撮影視野内にある被写体（物）の管理対象と、この被写体の状態とを特定する処理を実行する。本実施形態の被写体特定部２１３は、ディープラーニングの畳み込みニューラルネットワークを用いる。具体的には、被写体特定部２１３は、学習によって生成した学習済み分類モデルに、撮影フレームの分割領域の画像を入力して、管理対象物と状態、又は材料を特定する。この学習のため、被写体特定部２１３は、公知の手法に基づいて、被写体情報記憶部２５に記憶された多量の教師データを用いて、ディープラーニングにより学習した学習済み分類モデルを、被写体情報記憶部２５に記憶する。

【0024】

建築総合情報記憶部２２には、建設中の建築物に関する建築総合情報が記録されている。本実施形態では、建築総合情報として、ＢＩＭ（Building Information Modeling）データを用いる。この建築総合情報は、建築物を構成するオブジェクト、属性情報及びロケーション情報を含んで構成されている。オブジェクトには、オブジェクトＩＤが付与された３次元モデルにより構成される。属性情報には、オブジェクトＩＤ、オブジェクト名、オブジェクトのタイプ、面積、材質、製品情報、コスト等の仕様に関する情報が含まれる。ロケーション情報には、このオブジェクトが配置される位置（座標）に関する情報が含まれる。

【0025】

オブジェクトＩＤは、オブジェクトを特定するための識別子である。
オブジェクト名は、このオブジェクトの名称である。
タイプ、面積、材質、製品情報、コストは、このオブジェクトのタイプ（構造種別や建具種別）、面積、材質、製品情報、コストである。

【0026】

ロケーション情報には、このオブジェクトが配置される場所（工区）を特定する識別子に関するデータが記録される。工区とは、建設物の建設工事を段階的に進めていく上で、建設物に複数ある住戸（室）を空間的（隣接した住戸）及び時間的（作業時間）にまとめたグループであり、例えば、建設物の各階や階の一部の住戸といった工区が決められる。

【0027】

特徴点情報記憶部２３には、移動体ユニット１１の所在位置（撮影位置）を特定するための建設現場における特徴点に関する情報が記憶されている。この特徴点情報は、建設中の建築物の内部から撮影した際に画像の特徴となる部分に関する情報である。特徴点情報には、特徴点識別子、この特徴点を特定する画像の特徴量、この特徴点の位置（ｘｙｚ座標）が含まれている。

【0028】

禁止区域情報記憶部２４には、撮影禁止区域を判定するための禁止区域情報が記録されている。この禁止区域情報は、後述する管理処理の実行前に予め登録される。禁止区域情報は、禁止区域についての禁止区域識別子、区域名、位置（座標）に関するデータを含んで構成されている。撮影禁止区域とは、例えば、作業者が使用するトイレ等である。

【0029】

被写体情報記憶部２５には、被写体の特定や被写体の状態の判定に用いる情報が記憶されている。これら情報は、後述する管理処理の実行前に予め登録される。
具体的には、図３（ａ）に示すように、被写体情報記憶部２５には、学習済み分類モデル２５１、教師データ２５２及び個体認識データ２５５が記憶されている。

【0030】

学習済み分類モデル２５１には、教師データ２５２を用いて、管理対象及び状態を特定するためのディープラーニングにより生成した学習済分類モデルが記録される。この学習済み分類モデル２５１は、管理対象識別子及び状態識別子に関連付けられている。

【0031】

管理対象識別子データ領域には、物の種類を特定するための識別子（ここでは名称）に関するデータが記録される。ここで、物の種類とは、建築に用いられる建築要素（例えば、建築材料や納まり等）や材料、建設現場で用いられる機器（例えば、溶接機やポンプ等）等である。

【0032】

状態識別子データ領域には、管理対象識別子によって特定される被写体の状態を特定するための識別子が記録されている。例えば、被写体が溶接機である場合、使用中、又は停止中等を示す識別子が記録されている。

【0033】

教師データ２５２は、ディープラーニングの学習済み分類モデルを算出するために用いられる教師データである。教師データ２５２は、出力層として用いる管理対象識別子、状態識別子、入力層として用いる学習用画像に関するデータを含んで構成される。
管理対象識別子データ領域及び状態識別子データ領域には、管理対象（物）の種類を特定するための識別子、この管理対象の状態を特定するための識別子に関するデータが記録されている。

【0034】

個体認識データ２５５は、被写体を、同種の物（建築要素や機器）と識別するために個体を認識するために用いるデータである。個体認識データ２５５は、管理対象識別子、個体識別子、個体特定情報に関するデータを含んで構成されている。

【0035】

管理対象識別子データ領域には、この管理対象の物の種類（例えば、溶接機やポンプ等）を特定するための識別子に関するデータが記録される。
個体識別子データ領域には、各管理対象を個別に特定するための識別子に関するデータが記録される。

【0036】

個体特定情報データ領域には、画像において、この管理対象を、同じ物の中で他の個体と区別するための情報が記録されている。この個体特定情報は、例えば、この管理対象に付与した色付マーカの色や管理対象における位置等に関する情報である。

【0037】

図３（ｂ）に示すように、動画情報記憶部２６には、移動体ユニット１１において撮影された動画に関する動画管理情報２６０が記憶される。この動画管理情報２６０は、動画識別子、動画、撮影装置識別情報、撮影日時、撮影位置、撮影方向に関するデータから構成されている。

【0038】

動画識別子データ領域には、各動画を特定するための識別子に関するデータが記録される。
動画データ領域には、移動体ユニット１１において撮影された動画が記録される。
撮影装置識別情報データ領域、撮影日時データ領域、撮影位置データ領域、撮影方向データ領域には、それぞれ、この動画を撮影した装置（移動体ユニット１１）、撮影した日時、撮影した位置、撮影した方向に関するデータが記録される。

【0039】

図３（ｃ）に示すように、所在情報記憶部２７は、各管理対象の所在に関する情報が記憶される。この所在情報２７０は、管理対象が建設現場に搬入された場合に登録される。所在情報２７０は、個体識別子、管理対象識別子、所在位置、状態及び日時に関するデータを含んで構成される。

【0040】

個体識別子データ領域には、各管理対象を特定するための識別子に関するデータが記録される。
管理対象識別子データ領域には、この管理対象の種類を特定するための識別子に関するデータが記録される。

【0041】

所在位置データ領域には、この管理対象を検知した位置に関するデータが記録される。
状態データ領域には、この管理対象の状態に関するデータが記録される。
日時データ領域には、この管理対象を所在位置で検知した年月日及び時刻に関するデータが記録される。

【0042】

（管理処理）
次に、図４を用いて、以上のように構成された管理システム１０を用いて、管理対象を管理する管理処理について説明する。

【0043】

建設現場において作業を開始する際には、作業者はヘルメットＨ１に装着された移動体ユニット１１を起動する。この場合、移動体ユニット１１の制御部１４は、撮影部１２において動画の撮影を開始し、メモリに記録する。この場合、メモリには、動画に関連付けて動画識別子及び撮影日時が記録される。そして、制御部１４は、送信部１３を介して、撮影装置識別情報とともに、メモリに記録された動画を、所定容量毎に管理サーバ２０に送信する。

【0044】

管理サーバ２０の制御部２１は、移動体ユニット１１からの動画の取得処理を実行する（ステップＳ１－１）。具体的には、制御部２１の管理部２１１は、移動体ユニット１１から、撮影装置識別情報とともに、所定容量の動画を受信する。そして、管理部２１１は、受信した動画、動画識別子、撮影日時及び撮影装置識別情報を含む動画管理情報２６０を生成して、動画情報記憶部２６に記録する。

【0045】

次に、管理サーバ２０の制御部２１は、位置推定処理を実行する（ステップＳ１－２）。具体的には、制御部２１の位置特定部２１２は、直近の位置の特定で用いた特徴点のうち今回のフレーム内に写る可能性がある特徴点を、候補特徴点として特定する。ここでは、位置特定部２１２は、複数のフレーム情報を用いて、作業者の移動方向、移動速度を予測し、この移動方向、移動速度に基づいて、候補特徴点を特定する。そして、位置特定部２１２は、今回のフレーム（画像）内において、候補特徴点の特徴量と一致する特徴点を検索する。一致する特徴点を特定した場合には、特定した特徴点の位置（ｘｙｚ座標）を用いて、撮影位置及び撮影角度を特定し、動画管理情報２６０に記録する。位置特定部２１２は、これら撮影位置及び撮影角度と画像とから撮影範囲（撮影視野）を特定する。

【0046】

次に、管理サーバ２０の制御部２１は、撮影禁止区域かどうかの判定処理を実行する（ステップＳ１－３）。具体的には、制御部２１の管理部２１１は、推定した撮影位置と、禁止区域情報記憶部２４の禁止区域情報の位置（座標）とを比較し、禁止区域に撮影位置が含まれているか否かを判定する。

【0047】

撮影位置が撮影禁止区域内と判定した場合（ステップＳ１－３において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、移動体ユニット１１から取得した動画を削除する。そして、制御部２１は、次の動画の受信を待機する。

【0048】

一方、撮影位置が撮影禁止区域外と判定した場合（ステップＳ１－３において「ＮＯ」の場合）、管理サーバ２０の制御部２１は、被写体認識処理を実行する（ステップＳ１－４）。ここで、制御部２１の被写体特定部２１３は、フレームに含まれる被写体（物）、被写体の所在位置、被写体を識別する情報（オブジェクトＩＤや個体識別子）等を特定する。この被写体認識処理の詳細については、後述する。

【0049】

次に、管理サーバ２０の制御部２１は、建築総合情報記憶部への情報追加処理を実行する（ステップＳ１－５）。具体的には、制御部２１の管理部２１１は、フレームにオブジェクトＩＤが付与された被写体が含まれている場合、このオブジェクトＩＤに対応する建築総合情報のオブジェクトの属性情報として、画像、撮影日時、被写体の所在位置及び状態を記録する。

【0050】

次に、位置情報を更新する管理対象があるかどうかの判定処理を実行する（ステップＳ１－６）。具体的には、制御部２１の管理部２１１は、管理対象識別子が付与された被写体がフレームに含まれている場合には、更新する管理対象があると判定する。

【0051】

ここで、位置情報を更新する管理対象があると判定した場合（ステップＳ１－６において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、管理対象の位置情報の更新処理を実行する（ステップＳ１－７）。具体的には、制御部２１の管理部２１１は、フレームにおいて特定した管理対象識別子及び個体識別子を含む最新日時の所在情報２７０を所在情報記憶部２７において検索する。そして、管理部２１１は、該当する所在情報２７０の所在位置と、特定した所在位置とが異なっている場合には、新たな所在情報２７０を生成して、所在情報記憶部２７に記録する。この場合、管理部２１１は、所在情報２７０に、個体識別子、管理対象識別子、所在位置、状態及び日時（撮影日時）を含める。

【0052】

また、管理対象識別子のみを特定した場合には、管理部２１１は、同じ管理対象識別子及び同じ所在位置を含む所在情報２７０を検索する。該当する所在情報２７０を抽出した場合には、その所在情報２７０の日時を、新たに特定した画像の撮影日時に更新する。また、該当する所在情報２７０を抽出しなかった場合には、新たな所在情報２７０を生成して、所在情報記憶部２７に記録する。

【0053】

一方、位置情報を更新する管理対象がないと判定した場合（ステップＳ１－６において「ＮＯ」の場合）、管理サーバ２０の制御部２１は、ステップＳ１－７の処理をスキップする。

【0054】

そして、管理サーバ２０の制御部２１は、現場から退場したかどうかの判定処理を実行する（ステップＳ１－８）。作業者が、現場から退場する場合には、移動体ユニット１１に対して退場入力を行なう。この場合、移動体ユニット１１の制御部１４は、現場から退場と判定し、退場情報を管理サーバ２０に送信する。退場情報を受信せず、現場から退場していないと判定した場合（ステップＳ１－８において「ＮＯ」の場合）には、管理サーバ２０の制御部２１は、ステップＳ１－１以降の処理を継続する。

【0055】

一方、退場情報を受信し、退場と判定した場合（ステップＳ１－８において「ＹＥＳ」の場合）には、制御部２１の管理部２１１は、管理処理を終了する。

【0056】

（被写体認識処理）
次に、図５を用いて、上述した被写体認識処理（ステップＳ１－４）について説明する。
まず、管理サーバ２０の制御部２１は、撮影画像について領域分割処理を実行する（ステップＳ２－１）。具体的には、制御部２１の被写体特定部２１３は、公知の方法を用いて、撮影した動画の各フレーム（画像）に含まれる複数の領域を分割する。例えば、撮影画像に含まれるエッジや、画素の色相情報や彩度情報を用いて領域分割を行なう。

【0057】

そして、管理サーバ２０の制御部２１は、各分割領域を順次、処理対象として特定し、次の処理を繰り返す。
管理サーバ２０の制御部２１は、管理対象及び状態の予測処理を実行する（ステップＳ２－２）。具体的には、制御部２１の被写体特定部２１３は、各分割領域の画像を入力値とし、被写体情報記憶部２５に記憶された学習済み分類モデル２５１を用いて、管理対象及び状態、又は材料を算出する。ここで、柱や壁、床等、ディープラーニングによって、管理対象及び状態を特定できないが、材料を特定できる場合は、材料を特定する。

【0058】

図６に示す画像５００を取得した場合を想定する。この場合、制御部２１は、画像中の輪郭線に基づいて複数の分割領域を生成する。そして、ディープラーニングによって、管理対象の種類及び状態を特定する。例えば、図６に示すように、画像の中央位置において管理対象である停止中の溶接機Ｍを特定する。また、ディープラーニングでは、火花が出ている際の画像（使用中の溶接機Ｍ）を用いて学習を行ない、使用状態を判定する。

【0059】

次に、管理サーバ２０の制御部２１は、各被写体（各管理対象）を順次、処理対象として特定し、以下の処理を繰り返す。
ここでは、まず、管理サーバ２０の制御部２１は、所在位置及び個体情報の特定処理を実行する（ステップＳ２－３）。具体的には、制御部２１の被写体特定部２１３は、画像の撮影位置及び撮影方向を用いて、この画像の被写体の所在位置を特定して、制御部２１のメモリに記録する。そして、制御部２１の被写体特定部２１３は、被写体の所在位置でこの被写体の管理対象識別子に対応するオブジェクトが建築総合情報記憶部２２に記録されているか否かの判定処理を実行する。ここで、該当するオブジェクトが記録されている場合には、このオブジェクトのオブジェクトＩＤを特定して、制御部２１のメモリに記録する。

【0060】

一方、該当するオブジェクトが建築総合情報記憶部２２に記録されていない場合、制御部２１の被写体特定部２１３は、被写体の画像において、個体特定情報に対応する画像部分を検索する。画像部分に個体特定情報が含まれている場合、被写体特定部２１３は、個体特定情報が記録された個体認識データ２５５の個体識別子を特定して、制御部２１のメモリに記録する。

【0061】

例えば、図６に示す画像５００において、溶接機Ｍを特定した場合、画像５００の溶接機Ｍの画像に、溶接機の個体特定情報が含まれているかを判定する。ここで、溶接機Ｍの画像に、個体特定情報のマーカＭ１を検出した場合、被写体特定部２１３は、この個体特定情報に対応する個体識別子を特定する。

【0062】

（所在位置確認処理）
次に、図７を用いて、管理対象の所在位置を確認する処理について説明する。例えば、作業者が、これから開始する作業に使用する機器等の管理対象の所在位置を確認する場合を想定する。

【0063】

まず、管理サーバ２０の制御部２１は、検索する対象情報の取得処理を実行する（ステップＳ３－１）。具体的には、制御部２１の管理部２１１は、表示部１７のディスプレイに、検索画面を表示する。この検索画面には、検索対象の入力欄及び検索実行ボタンが含まれている。ここで、検索対象として、個体識別子や管理対象識別子を用いることができる。作業者は、入力部１６を用いて、所在位置を確認する管理対象に関する情報を、検索画面の入力欄に入力し、検索実行ボタンを選択する。

【0064】

管理サーバ２０の制御部２１は、検索実行処理を実行する（ステップＳ３－２）。具体的には、制御部２１の管理部２１１は、取得した検索対象情報に一致する個体識別子又は管理対象識別子を有する所在情報２７０を所在情報記憶部２７において抽出する。

【0065】

そして、管理サーバ２０の制御部２１は、所在位置の表示処理を実行する（ステップＳ３－３）。具体的には、制御部２１の管理部２１１は、表示部１７のディスプレイに、現在の建設工事の進捗状況に合わせた建築物の３次元モデルを表示させる。そして、管理部２１１は、この３次元モデル上において、検索対象情報に対応する管理対象の所在位置を表示する。この場合、抽出した所在情報２７０に状態に関する情報が記録されている場合には、管理部２１１は、この状態に関する情報を含めて表示する。これにより、作業者は、管理対象の所在位置を把握することができる。

【0066】

本実施形態によれば、以下のような効果を得ることができる。
（１）本実施形態では、管理サーバ２０の制御部２１は、被写体認識処理（ステップＳ１－４）において撮影画像に含まれる被写体及び被写体の所在位置を特定し、管理対象の位置情報の更新処理を実行する（ステップＳ１－７）。これにより、移動体ユニット１１を用いて、管理対象の所在位置を効率的に把握して管理することができる。

【0067】

（２）本実施形態では、管理サーバ２０の制御部２１は、被写体認識処理（ステップＳ１－４）において、管理対象の使用状態を特定し、管理対象の位置情報の更新処理を実行する（ステップＳ１－７）。これにより、管理対象の使用状態を効率的に把握することができる。

【0068】

（３）本実施形態では、管理サーバ２０の制御部２１は、管理対象及び状態の予測処理（ステップＳ２－２）の後、所在位置及び個体情報の特定処理（ステップＳ２－３）を実行する。これにより、画像から被写体（物）を特定するだけでなく、他の同じ種類の物と区別して、個体を管理することができる。

【0069】

（４）本実施形態では、移動体ユニット１１には、撮影装置として機能するウェアラブル端末を用いる。この移動体ユニット１１は、建設現場で移動しながら作業を行なう作業者のヘルメットＨ１の横に取り付けられている。これにより、作業者が作業のために移動するだけで、その周囲に位置する管理対象の所在位置を把握することができる。

【0070】

（５）本実施形態では、撮影禁止区域と判定した場合（ステップＳ１－３において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、その動画を削除する。これにより、撮影禁止区域の画像を自動的に削除して保存しないようにすることができる。

【0071】

（６）本実施形態では、管理サーバ２０の制御部２１は、検索する対象情報の取得処理、検索実行処理及び所在位置の表示処理を実行する（ステップＳ３－１～Ｓ３－３）。これにより、検索した管理対象の現在の所在位置を表示することができる。

【0072】

また、上記実施形態は、以下のように変更してもよい。
・上記実施形態においては、管理サーバ２０の制御部２１は、ｖ－ＳＬＡＭを用いて、画像の撮影位置及び角度を特定した。画像の撮影位置及び角度の特定は、ｖ－ＳＬＡＭを用いた処理に限定されるものではない。例えば、ＰＤＲ（Pedestrian Dead Reckoning）を用いてもよい。この場合には、移動体ユニット１１に、加速度センサやジャイロセンサ等を設ける。加速度センサ、移動体ユニット１１に印加される加速度に関する加速度情報（加速度の方向、大きさ等）を、３軸方向で検出する。ジャイロセンサは、移動体ユニット１１に印加される角速度に関する角速度情報（角速度の方向、大きさ等）を、３軸方向で検出する。そして、送信部１３は、撮影した際の加速度センサ及びジャイロセンサの検出値を、画像とともに管理サーバ２０に送信する。

【0073】

・上記実施形態においては、管理サーバ２０の制御部２１が、位置推定処理（ステップＳ１－２）及び撮影禁止区域の判定処理（ステップＳ１－３）を実行した。これら処理を、移動体ユニット１１において実行してもよい。この場合、移動体ユニット１１の制御部１４が、撮影禁止区域と判定した場合、撮影を停止してもよい。具体的には、制御部１４が、撮影禁止区域と判定した場合、所定期間、撮影を停止する。

【0074】

また、撮影禁止区域であることを知らせるアラームを出力してもよい。このアラームにより、作業者が撮影を停止する。
そして、位置推定処理において撮影禁止区域を離脱したと判定した場合に、移動体ユニット１１の制御部１４は、画像の撮影や、管理サーバ２０への画像の送信を再開する。
また、移動体ユニット１１に、撮影装置において撮影装置に光を取り込む開口部を開閉するカバー部材（例えば、レンズカバー）を設けてもよい。そして、制御部１４は、撮影禁止区域に到着したことを判定した場合には、カバーを可動させて開口部を遮蔽する。

【0075】

・上記実施形態においては、移動体ユニット１１の撮影部１２は、移動体ユニット１１を取り付けたヘルメットＨ１を着用した作業者の前方を撮影した。撮影する方向は、前方に限らず、進行方向に対して後方や左右方向であってもよい。また、半周（１８０度）や全周（３６０度）を撮影するようにしてもよい。

【0076】

・上記実施形態においては、溶接機やポンプ等、建設現場で用いる移動可能な機器を、管理対象として説明した。管理対象は、このような機器に限定されるものではない。例えば、高所作業車や足場等や、資材にも適用できる。更に、管理対象は、物に限られず、人物を対象としてもよい。

【0077】

・上記実施形態においては、管理サーバ２０の制御部２１は、管理対象の所在位置を特定し、この管理対象の管理を行なった。これに加えて、移動体ユニット１１を取り付けたヘルメットＨ１を着用した作業者の所在位置（現在地）を管理してもよい。この場合、制御部２１に、作業者を特定するための作業者識別テーブルを記憶しておく。更に、管理サーバ２０は、作業者の所在位置を記憶する作業者情報記憶部を備える。この作業者識別テーブルには、移動体ユニット１１を特定する撮影装置識別情報と、作業者を特定する作業者識別情報とを関連付けておく。この作業者は、作業者識別テーブルにおいて対応付けられた撮影装置識別情報の移動体ユニット１１を取り付けたヘルメットＨ１を使用する。管理サーバ２０は、画像の撮影位置を特定した場合、この画像とともに取得した撮影装置識別情報に対応する作業者識別子を、作業者識別テーブルを用いて特定する。そして、特定した撮影位置を、この作業者識別子に関連付けて、作業者情報記憶部に記憶する。これにより、管理対象だけでなく、画像を撮影した作業者の所在位置も併せて管理することができる。

【0078】

・上記実施形態においては、移動体ユニット１１を、ヘルメットＨ１と別体として説明した。これに限らず、移動体ユニット１１の全てのデバイスがヘルメットＨ１と一体化したスマートヘルメットを用いてもよい。

【0079】

・上記実施形態の管理対象及び状態の予測処理（ステップＳ２－２）においては、管理サーバ２０の制御部２１は、画像を用いて使用状態を特定した。使用状態の特定方法は、画像を用いる場合に限らない。例えば、動画に含まれている音等のように、画像に付随する情報を用いて、管理対象の使用状態を判定することも可能である。この場合、制御部２１は、管理対象の使用時に発生する音を、ディープラーニングを使用して判定する。この場合には、発生音の周波数特性を用いて、管理対象の状態を学習する。

【0080】

・上記実施形態においては、管理サーバ２０の制御部２１は、移動体ユニット１１から取得した画像に基づいて、管理対象の所在位置を特定した。これに加えて、長期間、所在位置が確認されていない管理対象についての警告を表示部１７に出力するようにしてもよい。具体的には、制御部２１に、未確認期間を保持させておく。そして、制御部２１は、定期的に、現在日時から未確認期間分前の最終確認基準日時を算出する。更に、制御部２１は、所在情報記憶部２７を用いて個体識別子毎に、最後に所在を確認した日時（所在確認日時）を特定する。そして、制御部２１は、最終確認基準日時以降の所在確認日時が記録されていない個体識別子を検索する。最終確認基準日時以降の所在確認日時が記録されていない個体識別子を抽出した場合には、制御部２１は、この所在情報２７０の個体識別子を表示部に表示する。これにより、長期間、所在位置が確認できず使用されていない管理対象について、管理の見直しを促すことができる。

【0081】

・上記実施形態の被写体認識処理において、制御部２１の被写体特定部２１３は、撮影画像について領域分割処理（ステップＳ２－１）を実行し、この分割領域毎に、管理対象及び状態の予測処理（ステップＳ２－２）を実行した。管理対象及び状態の予測処理は、領域分割毎に行なう場合に限らず、物体検出による領域抽出によって行ってもよい。
また、管理対象及び状態の予測処理は、ディープラーニングを用いて実行した。管理対象及び状態の予測処理は、画像を用いて特定できれば、公知のＳＩＦＴ（Scale-Invariant Feature Transform）法等を用いて実行してもよい。

【0082】

・上記実施形態においては、制御部２１は、画像から撮影位置を特定した。画像の撮影位置を特定する撮影位置情報は、画像情報に限らず、例えば、全地球測位システム（ＧＰＳ：Global Positioning System）等の情報を用いてもよい。

【0083】

・上記実施形態においては、管理サーバ２０の制御部２１は、撮影された動画を、移動体ユニット１１から取得した。制御部２１が管理対象を管理するために用いる画像は、動画に限られず、所定の時間間隔で撮影した静止画を用いることができる。

【符号の説明】

【0084】

Ｍ…溶接機、Ｈ１…ヘルメット、Ｍ１…マーカ、１０…管理システム、１１…移動体ユニット、１２…撮影部、１３…送信部、１４，２１…制御部、１６…入力部、１７…表示部、２０…管理サーバ、２２…建築総合情報記憶部、２３…特徴点情報記憶部、２４…禁止区域情報記憶部、２５…被写体情報記憶部、２６…動画情報記憶部、２７…所在情報記憶部、２１１…管理部、２１２…位置特定部、２１３…被写体特定部、２５１…学習済み分類モデル、２５２…教師データ、２５５…個体認識データ、２６０…動画管理情報、２７０…所在情報、５００…画像。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】