特許 7095953 画像管理システム、画像管理方法、及び画像管理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-27

(45)【発行日】2022-07-05

(54)【発明の名称】画像管理システム、画像管理方法、及び画像管理プログラム

(51)【国際特許分類】

   G06F 16/51 20190101AFI20220628BHJP

   G06F 16/58 20190101ALI20220628BHJP

   G06F 16/587 20190101ALI20220628BHJP

   H04N 5/76 20060101ALI20220628BHJP

   H04N 5/91 20060101ALI20220628BHJP

   H04N 5/93 20060101ALI20220628BHJP

【ＦＩ】

G06F16/51

G06F16/58

G06F16/587

H04N5/76

H04N5/91

H04N5/93

【請求項の数】 6

(21)【出願番号】P 2017007862

(22)【出願日】2017-01-19

(65)【公開番号】P2018116572

(43)【公開日】2018-07-26

【審査請求日】2019-12-09

【審判番号】

【審判請求日】2021-05-21

(73)【特許権者】

【識別番号】000000549

【氏名又は名称】株式会社大林組

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】中林 拓馬

(72)【発明者】

【氏名】金子 智弥

(72)【発明者】

【氏名】鈴木 理史

【合議体】

【審判長】渡邊 聡

【審判官】中野 浩昌

【審判官】古川 哲也

(56)【参考文献】

【文献】特開２００５－２７６００４（ＪＰ，Ａ）

【文献】特開２０１３－１５６７８４（ＪＰ，Ａ）

【文献】特開２００９－１７５４０（ＪＰ，Ａ）

【文献】特開２０１５－５６１５２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／００２２３７２（ＵＳ，Ａ１）

【文献】特開２００２－２１８４３３（ＪＰ，Ａ）

【文献】特開２０１０－１６１５６２（ＪＰ，Ａ）

【文献】国際公開第２０１６／０２５６９１（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06F16/00-16/958

H04N 5/76-5/775

H04N 5/80-5/956

(57)【特許請求の範囲】

【請求項1】

撮影装置により移動しながら撮影された画像を記憶する画像情報記憶部と、
前記画像に関連付けるインデックス情報を記憶するインデックス情報記憶部と、
撮影を禁止する禁止区域情報が記憶された禁止区域情報記憶部と、
画像を管理する制御部とを備えた管理システムであって、
前記制御部は、
前記画像、撮影位置、撮影方向、撮影時刻を取得し、
前記禁止区域情報記憶部に記憶された禁止区域情報を用いて、前記撮影位置が撮影禁止区域と判定した場合には、前記画像の記録を停止し、
前記撮影位置が前記撮影禁止区域外と判定した場合には、前記画像に含まれる被写体についての被写体認識処理において前記被写体の対象識別子を特定し、前記撮影位置及び前記撮影方向を用いて前記被写体の所在位置を特定し、
前記被写体の対象識別子と、前記所在位置と、前記撮影時刻とをインデックス情報として、前記画像情報記憶部に記憶された画像に関連付けて前記インデックス情報記憶部に記録し、
画像の検索指示を取得した場合、前記検索指示に対応する前記インデックス情報を前記インデックス情報記憶部において特定し、特定したインデックス情報に対応する画像を前記画像情報記憶部において抽出することを特徴とする画像管理システム。

【請求項2】

前記制御部は、
前記画像としての動画に含まれている音を用いて、前記被写体の状態を特定し、
前記インデックス情報に、前記被写体の状態を含めることを特徴とする請求項１に記載の画像管理システム。

【請求項3】

前記画像は、時系列に並べられており、
前記制御部は、前時刻の画像に対して、画像に含まれる被写体が変化した場合に、その変化した撮影時刻に対して新たなインデックス情報を追加することを特徴とする請求項１又は２に記載の画像管理システム。

【請求項4】

建設中の建築物に関する建築総合情報を記憶する建築総合情報記憶部を更に備え、
前記制御部は、
前記画像の撮影位置を用いて撮影範囲を特定し、
前記撮影範囲と、前記建築総合情報とから、前記画像に含まれる被写体を予測し、
予測した被写体と、前記画像に含まれる被写体とが異なる画像を抽出することを特徴とする請求項１～３の何れか１項に記載の画像管理システム。

【請求項5】

撮影装置により移動しながら撮影された画像を記憶する画像情報記憶部と、
前記画像に関連付けるインデックス情報を記憶するインデックス情報記憶部と、
撮影を禁止する禁止区域情報が記憶された禁止区域情報記憶部と、
制御部とを備えた管理システムを用いて、画像を管理する画像管理方法であって、
前記制御部は、
前記画像、撮影位置、撮影方向、撮影時刻を取得し、
前記禁止区域情報記憶部に記憶された禁止区域情報を用いて、前記撮影位置が撮影禁止区域と判定した場合には、前記画像の記録を停止し、
前記撮影位置が前記撮影禁止区域外と判定した場合には、前記画像に含まれる被写体についての被写体認識処理において前記被写体の対象識別子を特定し、前記撮影位置及び前記撮影方向を用いて前記被写体の所在位置を特定し、
前記被写体の対象識別子と、前記所在位置と、前記撮影時刻とをインデックス情報として、前記画像情報記憶部に記憶された画像に関連付けて前記インデックス情報記憶部に記録し、
画像の検索指示を取得した場合、前記検索指示に対応する前記インデックス情報を前記インデックス情報記憶部において特定し、特定したインデックス情報に対応する画像を前記画像情報記憶部において抽出することを特徴とする画像管理方法。

【請求項6】

撮影装置により移動しながら撮影された画像を記憶する画像情報記憶部と、
前記画像に関連付けるインデックス情報を記憶するインデックス情報記憶部と、
撮影を禁止する禁止区域情報が記憶された禁止区域情報記憶部と、
制御部とを備えた管理システムを用いて、画像を管理する画像管理プログラムであって、
前記制御部を、
前記画像、撮影位置、撮影方向、撮影時刻を取得し、
前記禁止区域情報記憶部に記憶された禁止区域情報を用いて、前記撮影位置が撮影禁止区域と判定した場合には、前記画像の記録を停止し、
前記撮影位置が前記撮影禁止区域外と判定した場合には、前記画像に含まれる被写体についての被写体認識処理において前記被写体の対象識別子を特定し、前記撮影位置及び前記撮影方向を用いて前記被写体の所在位置を特定し、
前記被写体の対象識別子と、前記所在位置と、前記撮影時刻とをインデックス情報として、前記画像情報記憶部に記憶された画像に関連付けて前記インデックス情報記憶部に記録し、
画像の検索指示を取得した場合、前記検索指示に対応する前記インデックス情報を前記インデックス情報記憶部において特定し、特定したインデックス情報に対応する画像を前記画像情報記憶部において抽出する手段として機能させることを特徴とする画像管理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像を管理する画像管理システム、画像管理方法、及び画像管理プログラムに関する。

【背景技術】

【0002】

録画の中で、過去の状況を確認したい場合がある。この場合、所望の場面を検索する必要がある。
動画像中の所定の条件を満たす場面のみを簡単に抽出するための技術も検討されている（例えば、特許文献１参照。）。この文献においては、インデクシング制御部は、映像コンテンツデータ内に登場する人物の顔画像を抽出し、タイムスタンプ情報や分類情報等と共にインデックス情報としてデータベースに格納する。スライドショー作成部は、インデックス情報を用いて各人物につき１つずつ顔画像を選択肢として提示し、選択された顔画像と同一の分類情報が付された顔画像が抽出されたフレーム（画像）を、インデックス情報を用いて抽出して静止画像データとしてＨＤＤに格納する。そして、スライドショー表示部は、このＨＤＤに格納された静止画像データを順次に表示する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１１－３５８３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１においては、所定人物の顔画像に基づいて画像を抽出している。しかしながら、撮影画像において、形状が同じ被写体（例えば、建築部材）の画像を検索する場合には、特定の部材か否かを判定することは難しい。また、本来、存在すべき部材が、被写体として撮影されていないときには、この部材をインデックス情報として用いることはできない。

【0005】

本発明は、上述の課題に鑑みてなされ、その目的は、所望の被写体が含まれる画像を効率的に特定するための画像管理システム、画像管理方法及び画像管理プログラムを提供することにある。

【課題を解決するための手段】

【0006】

・上記課題を解決する管理システムは、撮影装置により移動しながら撮影された画像を記憶する画像情報記憶部と、前記画像に関連付けるインデックス情報を記憶するインデックス情報記憶部と、撮影を禁止する禁止区域情報が記憶された禁止区域情報記憶部と、画像を管理する制御部とを備える。前記制御部は、前記画像、撮影位置、撮影方向、撮影時刻を取得し、前記禁止区域情報記憶部に記憶された禁止区域情報を用いて、前記撮影位置が撮影禁止区域と判定した場合には、前記画像の記録を停止し、前記撮影位置が前記撮影禁止区域外と判定した場合には、前記画像に含まれる被写体についての被写体認識処理において前記被写体の対象識別子を特定し、前記撮影位置及び前記撮影方向を用いて前記被写体の所在位置を特定し、前記被写体の対象識別子と、前記所在位置と、前記撮影時刻とをインデックス情報として、前記画像情報記憶部に記憶された画像に関連付けて前記インデックス情報記憶部に記録し、画像の検索指示を取得した場合、前記検索指示に対応する前記インデックス情報を前記インデックス情報記憶部において特定し、特定したインデックス情報に対応する画像を前記画像情報記憶部において抽出する。これにより、インデックス情報を用いて、所望の被写体が含まれる画像を効率的に特定することができる。

【0007】

・上記管理システムにおいて、前記画像は、時系列に並べられており、前記制御部は、前時刻の画像に対して、画像に含まれる被写体が変化した場合に、その変化した撮影時刻に対して新たなインデックス情報を追加することが好ましい。これにより、画像に対して、被写体の識別情報等のインデックス情報を効率的に関連付けることができる。

【0008】

・上記管理システムにおいて、前記制御部は、前記画像に基づいて、前記被写体の状態を特定し、前記インデックス情報に、前記被写体の状態を含めることが好ましい。これにより、被写体の状態に応じて、所望の被写体を特定することができる。

【0009】

・上記管理システムにおいて、建設中の建築物に関する建築総合情報を記憶する建築総合情報記憶部を更に備え、前記制御部は、前記画像の撮影位置情報から撮影範囲を特定し、前記撮影範囲と、前記建築総合情報とから、前記画像に含まれる被写体を予測し、予測した被写体と、前記画像に含まれる被写体とが異なる画像を抽出することが好ましい。これにより、本来、映るべき被写体が含まれていない画像等を抽出することができる。

【発明の効果】

【0010】

本発明によれば、所望の被写体が含まれる画像を効率的に特定することができる。

【図面の簡単な説明】

【0011】

【図1】実施形態における管理システムの全体構成図。

【図2】実施形態における移動体ユニットの取り付け位置を示す斜視図。

【図3】実施形態における管理システムの各記憶部に記憶された情報の構成図であって、（ａ）は被写体情報記憶部、（ｂ）は動画情報記憶部、（ｃ）はインデックス情報記憶部。

【図4】実施形態におけるインデクシング処理の処理手順を説明する流れ図。

【図5】実施形態における被写体認識処理の処理手順を説明する流れ図。

【図6】実施形態において撮影した画像を説明する説明図であって、（ａ）は撮影した画像の一例、（ｂ）は（ａ）の撮影位置より右側を撮影した画像。

【図7】実施形態における画像検索処理の処理手順を説明する流れ図。

【発明を実施するための形態】

【0012】

以下、図１～図７を用いて、画像を管理する画像管理システム、画像管理方法及び画像管理プログラムを具体化した一実施形態を説明する。本実施形態では、建設現場で撮影した動画を管理する。

【0013】

図１に示すように、本実施形態の管理システム１０は、複数の移動体ユニット１１に接続された管理サーバ２０を備えている。
図２に示すように、移動体ユニット１１には、撮影装置として機能するウェアラブル端末を用いる。この移動体ユニット１１は、建設現場で移動しながら作業を行なう作業者のヘルメットＨ１の横に取り付けられている。

【0014】

図１に示すように、移動体ユニット１１は、撮影部１２、送信部１３及び制御部１４を備えている。撮影部１２は、ＣＣＤカメラ等により構成されている。
撮影部１２は、作業者の前方を撮影して動画（画像）を生成する。
送信部１３は、撮影部１２で撮影した動画を、所定容量毎に、管理サーバ２０に送信する。

【0015】

制御部１４は、撮影部１２の撮影開始や撮影停止を制御したり、送信部１３の送信開始や送信停止等を制御したりする。制御部１４は、この移動体ユニット１１を特定する撮影装置識別情報を保持している。

【0016】

管理サーバ２０は、入力部１６及び表示部１７を備えている。入力部１６は、キーボードやポインティングデバイスである。表示部１７は、ディスプレイであって、検索した結果の動画の情報等を表示する。

【0017】

管理サーバ２０は、制御部２１、建築総合情報記憶部２２、特徴点情報記憶部２３、禁止区域情報記憶部２４、被写体情報記憶部２５、動画情報記憶部２６及びインデックス情報記憶部２７を備えている。

【0018】

制御部２１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、後述する処理（管理段階、位置特定段階、被写体特定段階等の各処理）を行なう。そのための管理プログラムを実行することにより、制御部２１は、管理部２１１、位置特定部２１２、被写体特定部２１３、インデクシング部２１４として機能する。

【0019】

管理部２１１は、移動体ユニット１１において撮影した動画を取得し、この動画についての管理処理を実行する。
位置特定部２１２は、動画に基づいて撮影位置及び撮影方向を推定し、撮影視野を特定する処理を実行する。本実施形態では、位置特定部２１２は、公知のｖ－ＳＬＡＭ（visual Simultaneous Localization And Mapping）を用いて、撮影位置を特定する。

【0020】

被写体特定部２１３は、特定した撮影視野内にある被写体（物）の管理対象と、この被写体の状態とを特定する処理を実行する。本実施形態の被写体特定部２１３は、ディープラーニングの畳み込みニューラルネットワークを用いる。具体的には、被写体特定部２１３は、学習によって生成した学習済み分類モデルに、撮影フレームの分割領域の画像を入力して、管理対象物と状態、又は材料を特定する。この学習のため、被写体特定部２１３は、公知の手法に基づいて、被写体情報記憶部２５に記憶された多量の教師データを用いて、ディープラーニングにより学習した学習済み分類モデルを、被写体情報記憶部２５に記憶する。
インデクシング部２１４は、移動体ユニット１１から取得した画像に対してインデックスを付与するインデクシング処理を実行する。

【0021】

建築総合情報記憶部２２には、建設中の建築物に関する建築総合情報が記録されている。本実施形態では、建築総合情報として、ＢＩＭ（Building Information Modeling）データを用いる。この建築総合情報は、建築物を構成するオブジェクト、属性情報及びロケーション情報を含んで構成されている。オブジェクトには、オブジェクトＩＤが付与された３次元モデルにより構成される。属性情報には、オブジェクトＩＤ、オブジェクト名、オブジェクトのタイプ、面積、材質、製品情報、コスト等の仕様に関する情報が含まれる。ロケーション情報には、このオブジェクトが配置される位置（座標）に関する情報が含まれる。

【0022】

オブジェクトＩＤは、オブジェクトを特定するための識別子である。
オブジェクト名は、このオブジェクトの名称である。
タイプ、面積、材質、製品情報、コストは、このオブジェクトのタイプ（構造種別や建具種別）、面積、材質、製品情報、コストである。

【0023】

ロケーション情報には、このオブジェクトが配置される場所（工区）を特定する識別子に関するデータが記録される。工区とは、建設物の建設工事を段階的に進めていく上で、建設物に複数ある住戸（室）を空間的（隣接した住戸）及び時間的（作業時間）にまとめたグループであり、例えば、建設物の各階や階の一部の住戸といった工区が決められる。

【0024】

特徴点情報記憶部２３には、移動体ユニット１１の所在位置（撮影位置）を特定するための建設現場における特徴点に関する情報が記憶されている。この特徴点情報は、建設中の建築物の内部から撮影した際に画像の特徴となる部分に関する情報である。特徴点情報には、特徴点識別子、この特徴点を特定する画像の特徴量、この特徴点の位置（ｘｙｚ座標）が含まれている。

【0025】

禁止区域情報記憶部２４には、撮影禁止区域を判定するための禁止区域情報が記録されている。この禁止区域情報は、後述する管理処理の実行前に予め登録される。禁止区域情報は、禁止区域についての禁止区域識別子、区域名、位置（座標）に関するデータを含んで構成されている。撮影禁止区域とは、例えば、作業者が使用するトイレ等である。

【0026】

被写体情報記憶部２５には、被写体の特定や被写体の状態の判定に用いる情報が記憶されている。これら情報は、後述する管理処理の実行前に予め登録される。
具体的には、図３（ａ）に示すように、被写体情報記憶部２５には、学習済み分類モデル２５１、教師データ２５２及び個体認識データ２５５が記憶されている。

【0027】

学習済み分類モデル２５１には、教師データ２５２を用いて、管理対象及び状態を特定するためのディープラーニングにより生成した分類モデルが記録される。この学習済み分類モデル２５１は、管理対象識別子及び状態識別子に関連付けられている。

【0028】

管理対象識別子データ領域には、物の種類を特定するための識別子（ここでは名称）に関するデータが記録される。ここで、物の種類とは、建築に用いられる建築要素（例えば、建築材料や納まり等）や材料、建設現場で用いられる機器（例えば、溶接機やポンプ等）等である。

【0029】

状態識別子データ領域には、管理対象識別子によって特定される被写体の状態を特定するための識別子が記録されている。例えば、被写体が溶接機である場合、使用中、又は停止中等を示す識別子が記録されている。

【0030】

教師データ２５２は、ディープラーニングの学習済み分類モデルを算出するために用いられる教師データである。教師データ２５２は、出力層として用いる管理対象識別子、状態識別子、入力層として用いる学習用画像に関するデータを含んで構成される。
管理対象識別子データ領域及び状態識別子データ領域には、管理対象（物）の種類を特定するための識別子、この管理対象の状態を特定するための識別子に関するデータが記録されている。

【0031】

個体認識データ２５５は、被写体を、同種の物（建築要素や機器）と識別するために個体を認識するために用いるデータである。個体認識データ２５５は、管理対象識別子、個体識別子、個体特定情報に関するデータを含んで構成されている。

【0032】

管理対象識別子データ領域には、この管理対象の物の種類（例えば、溶接機やポンプ等）を特定するための識別子に関するデータが記録される。
個体識別子データ領域には、各管理対象を特定するための識別子に関するデータが記録される。

【0033】

個体特定情報データ領域には、画像において、この管理対象を、同じ物の中で他の個体と区別するための情報が記録されている。この個体特定情報は、例えば、この管理対象に付与した色付マーカの色や管理対象における位置等に関する情報である。

【0034】

図３（ｂ）に示すように、動画情報記憶部２６には、移動体ユニット１１において撮影された動画に関する動画管理情報２６０が記憶される。この動画管理情報２６０は、動画識別子、動画、撮影装置識別情報、撮影日時、撮影位置、撮影方向に関するデータから構成されている。

【0035】

動画識別子データ領域には、各動画を特定するための識別子に関するデータが記録される。
動画データ領域には、移動体ユニット１１において撮影された動画が記録される。
撮影装置識別情報データ領域、撮影日時データ領域、撮影位置データ領域、撮影方向データ領域には、それぞれ、この動画を撮影した装置（移動体ユニット１１）、撮影した日時、撮影した位置、撮影した方向に関するデータが記録される。

【0036】

図３（ｃ）に示すように、インデックス情報記憶部２７は、画像を検索するために用いるインデックス情報が記憶されている。このインデックス情報２７０は、後述するインデクシング処理が実行された場合に記録される。インデックス情報２７０は、インデックス識別子、動画識別子、開始時間、終了時間、被写体識別情報、撮影箇所、状態に関するデータを含んで構成される。

【0037】

インデックス識別子データ領域には、特定の画像を検索するためのインデックスを特定するための識別子に関するデータが記録される。
動画識別子データ領域には、この建設現場で撮影された動画を特定するための識別子に関するデータが記録される。この動画識別子を介して、動画管理情報２６０とインデックス情報２７０とが関連付けられる。

【0038】

開始時間データ領域、終了時間データ領域には、動画において、このインデックスが付与された期間の開始時間、終了時間に関するデータが記録される。
被写体識別情報データ領域には、このインデックスが付与された画像に含まれる被写体を特定する識別子に関するデータが記録される。ここでは、被写体識別情報として、管理対象識別子、被写体個体情報（オブジェクトＩＤや個体識別子）が記録される。

【0039】

撮影箇所データ領域には、この動画を撮影した建設現場の位置に関するデータが記録される。本実施形態では、このインデックス情報２７０の開始時間に対応するフレームの撮影箇所（撮影位置）に関するデータを記録する。
状態データ領域には、この被写体の状態に関するデータが記録される。

【0040】

（インデクシング処理）
次に、図４を用いて、以上のように構成された管理システム１０を用いたインデクシング処理について説明する。

【0041】

建設現場において作業を開始する際には、作業者はヘルメットＨ１に装着された移動体ユニット１１を起動する。この場合、移動体ユニット１１の制御部１４は、撮影部１２において動画の撮影を開始し、メモリに記録する。この場合、メモリには、動画に関連付けて動画識別子及び撮影日時が記録される。そして、制御部１４は、送信部１３を介して、撮影装置識別情報とともに、メモリに記録された動画を、所定容量毎に管理サーバ２０に送信する。

【0042】

管理サーバ２０の制御部２１は、移動体ユニット１１からの動画の取得処理を実行する（ステップＳ１－１）。具体的には、制御部２１の管理部２１１は、移動体ユニット１１から、撮影装置識別情報とともに、所定容量の動画を受信する。そして、管理部２１１は、受信した動画、動画識別子、撮影日時及び撮影装置識別情報を含む動画管理情報２６０を生成して、動画情報記憶部２６に記録する。

【0043】

次に、管理サーバ２０の制御部２１は、位置推定処理を実行する（ステップＳ１－２）。具体的には、制御部２１の位置特定部２１２は、直近の位置の特定で用いた特徴点のうち今回のフレーム内に写る可能性がある特徴点を、候補特徴点として特定する。ここでは、位置特定部２１２は、複数のフレーム情報を用いて、作業者の移動方向、移動速度を予測し、この移動方向、移動速度に基づいて、候補特徴点を特定する。そして、位置特定部２１２は、今回のフレーム（画像）内において、候補特徴点の特徴量と一致する特徴点を検索する。一致する特徴点を特定した場合には、特定した特徴点の位置（ｘｙｚ座標）を用いて、撮影位置及び撮影角度を特定し、動画管理情報２６０に記録する。位置特定部２１２は、これら撮影位置及び撮影角度と画像とから撮影範囲（撮影視野）を特定する。

【0044】

次に、管理サーバ２０の制御部２１は、撮影禁止区域かどうかの判定処理を実行する（ステップＳ１－３）。具体的には、制御部２１の管理部２１１は、推定した撮影位置と、禁止区域情報記憶部２４の禁止区域情報の位置（座標）とを比較し、禁止区域に撮影位置が含まれているか否かを判定する。

【0045】

撮影位置が撮影禁止区域内と判定した場合（ステップＳ１－３において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、移動体ユニット１１から取得した動画を削除する。そして、制御部２１は、次の動画の受信を待機する。

【0046】

一方、撮影位置が撮影禁止区域外と判定した場合（ステップＳ１－３において「ＮＯ」の場合）、管理サーバ２０の制御部２１は、被写体認識処理を実行する（ステップＳ１－４）。ここで、制御部２１の被写体特定部２１３は、フレームに含まれる被写体（物）の被写体識別情報（管理対象識別子、被写体の個体情報（オブジェクトＩＤや個体識別子））や被写体の所在位置等を特定する。この被写体認識処理の詳細については、後述する。

【0047】

次に、管理サーバ２０の制御部２１は、前フレームからの変化の有無を判定する（ステップＳ１－５）。具体的には、制御部２１のインデクシング部２１４は、メモリに記憶している前フレームに関連付けられた被写体識別情報と、今回のフレームに関連付けられた被写体識別情報とが一致していない場合には、前フレームからの変化があると判定する。なお、現場作業開始時の最初のフレームの場合には、前フレームがないため、「前フレームからの変化がある」と判定する。

【0048】

ここで、前フレームからの変化があると判定した場合（ステップＳ１－５において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、インデックスの追加処理を実行する（ステップＳ１－６）。具体的には、制御部２１のインデクシング部２１４は、前フレームで検知していていなかった被写体（物）を検知したと判定した場合、新たなインデックス識別子を付与し、このインデックス識別子を含むインデックス情報２７０を生成して、インデックス情報記憶部２７に記録する。このインデックス情報２７０には、今回のフレームの動画識別子、この画像の開始時間及び撮影位置が含まれる。更に、インデクシング部２１４は、このインデックス情報２７０に、ステップＳ１－４において特定した被写体識別情報や被写体の状態を記録する。なお、最初のフレームの場合には、新たに検知したすべての被写体（物）についてインデックス情報２７０を生成する。
一方、インデクシング部２１４は、前フレームで検知していた被写体（物）が消失したと判定した場合、前フレームに関連付けられているインデックス情報２７０に、前フレームの撮影日時を終了時間として記録する。なお、撮影を終了した場合は、すべてのインデックス情報２７０に、終了時間を記録する。

【0049】

例えば、図６（ａ）に示す画像５００を撮影し、その後、カメラを右方向に回転しながら、図６（ｂ）に示す画像５１０を撮影した場合を想定する。ここで画像５００には、被写体として、出入口５０１、壁５０２，５０３、床５０４、天井５０５、梁５０６，５０７が含まれる。画像５１０には、画像５００において特定された被写体（物）に加えて、出入口５１１が被写体として特定されたと想定する。この場合、画像５００に被写体として認識されていなかった出入口５１１についてのインデックス情報２７０が、画像５１０の撮影日時に関連付けられて新たに記録される。
一方、前フレームからの変化がないと判定した場合（ステップＳ１－５において「ＮＯ」の場合）、管理サーバ２０の制御部２１は、ステップＳ１－６の処理をスキップする。

【0050】

そして、管理サーバ２０の制御部２１は、現場から退場したかどうかの判定処理を実行する（ステップＳ１－７）。作業者が、現場から退場する場合には、移動体ユニット１１に対して退場入力を行なう。この場合、移動体ユニット１１の制御部１４は、現場から退場と判定し、退場情報を管理サーバ２０に送信する。退場情報を受信せず、現場から退場していないと判定した場合（ステップＳ１－７において「ＮＯ」の場合）には、管理サーバ２０の制御部２１は、ステップＳ１－１以降の処理を継続する。
一方、退場情報を受信し、退場と判定した場合（ステップＳ１－７において「ＹＥＳ」の場合）には、制御部２１の管理部２１１は、管理処理を終了する。

【0051】

（被写体認識処理）
次に、図５を用いて、上述した被写体認識処理（ステップＳ１－４）について説明する。

【0052】

まず、管理サーバ２０の制御部２１は、撮影画像について領域分割処理を実行する（ステップＳ２－１）。具体的には、制御部２１の被写体特定部２１３は、公知の方法を用いて、撮影した動画の各フレーム（画像）に含まれる複数の領域を分割する。例えば、撮影画像に含まれるエッジや、画素の色相情報や彩度情報を用いて領域分割を行なう。

【0053】

そして、管理サーバ２０の制御部２１は、各分割領域を順次、処理対象として特定し、次の処理を繰り返す。
管理サーバ２０の制御部２１は、管理対象及び状態の予測処理を実行する（ステップＳ２－２）。具体的には、制御部２１の被写体特定部２１３は、各分割領域の画像を入力値とし、被写体情報記憶部２５に記憶された学習済み分類モデル２５１を用いて、管理対象及び状態、又は材料を算出する。ここで、柱や壁、床等、ディープラーニングによって、管理対象及び状態を特定できないが、材料を特定できる場合は、材料を特定する。

【0054】

次に、管理サーバ２０の制御部２１は、各被写体（各管理対象）を順次、処理対象として特定し、以下の処理を繰り返す。
ここでは、まず、管理サーバ２０の制御部２１は、所在位置及び個体情報の特定処理を実行する（ステップＳ２－３）。具体的には、制御部２１の被写体特定部２１３は、画像の撮影位置及び撮影方向を用いて、この画像の被写体の所在位置を特定して、制御部２１のメモリに記録する。そして、制御部２１の被写体特定部２１３は、被写体の所在位置でこの被写体の管理対象識別子に対応するオブジェクトが建築総合情報記憶部２２に記録されているか否かの判定処理を実行する。ここで、該当するオブジェクトが記録されている場合には、このオブジェクトのオブジェクトＩＤを特定して、制御部２１のメモリに記録する。

【0055】

一方、該当するオブジェクトが建築総合情報記憶部２２に記録されていない場合、制御部２１の被写体特定部２１３は、被写体の画像において、個体特定情報に対応する画像部分を検索する。画像部分に個体特定情報が含まれている場合、被写体特定部２１３は、個体特定情報が記録された個体認識データ２５５の個体識別子を特定して、制御部２１のメモリに記録する。

【0056】

図６（ａ）に示す画像５００を取得した場合を想定する。この場合、制御部２１は、画像中の輪郭線に基づいて複数の分割領域を生成する。そして、各分割領域の画像において、ディープラーニングによって、管理対象及び状態、又は領域内の物体の材料を特定する。更に、この物体の材料と、画像の撮影位置及び撮影方向とを用いて特定した所在位置と、建築総合情報記憶部２２に記録されたオブジェクトとを用いて、出入口５０１、壁５０２，５０３、床５０４、天井５０５、梁５０６，５０７を特定する。また、図６（ｂ）に示す画像５１０を取得した場合には、制御部２１は、同様にして、出入口５０１，５１１、壁５０２，５０３、床５０４、天井５０５、梁５０６，５０７を特定する。

【0057】

（画像検索処理）
次に、図７を用いて、画像を検索する処理について説明する。例えば、建設していた建築物が出来上がった後、特定の箇所（例えば、特定のエリア等）の建設中の画像を検索する場合を想定する。

【0058】

まず、管理サーバ２０の制御部２１は、検索する画像に含まれる被写体情報の取得処理を実行する（ステップＳ３－１）。具体的には、制御部２１の管理部２１１は、表示部１７のディスプレイに、検索画面を表示する。この検索画面には、検索を行なう被写体情報を入力する入力欄及び検索実行ボタンが含まれている。ここで、被写体情報として、被写体の所在位置、被写体識別情報（管理対象識別子、オブジェクトＩＤ、個体識別子）、被写体の状態、時間（撮影時期）を用いることができる。例えば、作業者は、入力部１６を用いて、被写体識別情報、撮影箇所及び撮影時期に関する情報を、検索画面の入力欄に入力し、検索実行ボタンを選択する。

【0059】

管理サーバ２０の制御部２１は、検索実行処理を実行する（ステップＳ３－２）。具体的には、制御部２１の管理部２１１は、取得した被写体識別情報がオブジェクトＩＤ又は個体識別子の場合には、これに一致するオブジェクトＩＤ又は個体識別子を含むインデックス情報２７０をインデックス情報記憶部２７において検索する。また、管理部２１１は、取得した被写体識別情報と撮影箇所とを取得した場合には、これらを含むインデックス情報２７０をインデックス情報記憶部２７において検索する。

【0060】

そして、該当するインデックス情報２７０を抽出した場合、制御部２１の管理部２１１は、抽出したインデックス情報２７０の動画識別子によって特定される動画を、動画情報記憶部２６において特定する。そして、管理部２１１は、特定した動画から、インデックス情報２７０の開始時間及び終了時間に対応する画像（検索結果動画）を抽出する。

【0061】

そして、管理サーバ２０の制御部２１は、検索結果動画の出力処理を実行する（ステップＳ３－３）。具体的には、制御部２１の管理部２１１は、抽出した検索結果動画を、表示部１７のディスプレイに表示する。

【0062】

本実施形態によれば、以下のような効果を得ることができる。
（１）本実施形態では、管理サーバ２０の制御部２１は、被写体識別情報と撮影箇所及び時間を含むインデックス情報記憶部２７を備える。これにより、制御部２１は、インデックス情報を用いて、所望の被写体が含まれる画像を効率的に特定して出力することができる。この場合、撮影箇所や撮影時刻等を用いて、画像を検索することができる。

【0063】

（２）本実施形態では、管理サーバ２０の制御部２１は、所在位置及び個体情報の特定処理（ステップＳ２－３）において、被写体の管理対象識別子及び所在位置から、建築総合情報記憶部２２に記録されているオブジェクトＩＤを特定する。制御部２１は、インデックスの追加処理（ステップＳ１－６）において、特定したオブジェクトＩＤを、インデックス情報２７０の被写体識別情報として記録する。これにより、オブジェクトＩＤから、所望の被写体を含む画像を効率的に特定することができる。

【0064】

（３）本実施形態では、管理サーバ２０の制御部２１は、特定した被写体の状態を、インデックス情報２７０に含める。これにより、被写体の状態から、該当する被写体を含む画像を効率的に特定することができる。

【0065】

（４）本実施形態では、管理サーバ２０の制御部２１は、前フレームからの変化があると判定した場合（ステップＳ１－５において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、インデックスの追加処理を実行する（ステップＳ１－６）。これにより、被写体の変化がある場合に新たなインデックス情報を追加するので、画像に対して、被写体の識別情報等のインデックス情報を効率的に関連付けることができる。

【0066】

また、上記実施形態は、以下のように変更してもよい。
・上記実施形態においては、管理サーバ２０の制御部２１は、ｖ－ＳＬＡＭを用いて、画像の撮影位置及び角度を特定した。画像の撮影位置及び角度の特定は、ｖ－ＳＬＡＭを用いた処理に限定されるものではない。例えば、ＰＤＲ（Pedestrian Dead Reckoning）を用いてもよい。この場合には、移動体ユニット１１に、加速度センサやジャイロセンサ等を設ける。加速度センサ、移動体ユニット１１に印加される加速度に関する加速度情報（加速度の方向、大きさ等）を、３軸方向で検出する。ジャイロセンサは、移動体ユニット１１に印加される角速度に関する角速度情報（角速度の方向、大きさ等）を、３軸方向で検出する。そして、送信部１３は、撮影した際の加速度センサ及びジャイロセンサの検出値を、画像とともに管理サーバ２０に送信する。

【0067】

・上記実施形態においては、管理サーバ２０の制御部２１が、位置推定処理（ステップＳ１－２）及び撮影禁止区域の判定処理（ステップＳ１－３）を実行した。これら処理を、移動体ユニット１１において実行してもよい。この場合、移動体ユニット１１の制御部１４が、撮影禁止区域と判定した場合、撮影を停止してもよい。具体的には、制御部１４が、撮影禁止区域と判定した場合、所定期間、撮影を停止する。

【0068】

また、撮影禁止区域であることを知らせるアラームを出力してもよい。このアラームにより、作業者が撮影を停止する。
そして、位置推定処理において撮影禁止区域を離脱したと判定した場合に、移動体ユニット１１の制御部１４は、画像の撮影や、管理サーバ２０への画像の送信を再開する。
また、移動体ユニット１１に、撮影装置において撮影装置に光を取り込む開口部を開閉するカバー部材（例えば、レンズカバー）を設けてもよい。そして、制御部１４は、撮影禁止区域に到着したことを判定した場合には、カバーを可動させて開口部を遮蔽する。

【0069】

・上記実施形態においては、溶接機やポンプ等、建設現場で用いる移動可能な機器を、被写体（管理対象）として説明した。被写体は、このような機器に限定されるものではない。例えば、高所作業車や足場等や、資材にも適用できる。

【0070】

・上記実施形態においては、管理サーバ２０の制御部２１は、検索を行なう被写体情報の被写体識別情報を含むインデックス情報２７０の動画識別子を特定し、この動画識別子に対応する動画を出力した。これに加えて、本来、その画像に映るべき被写体が映っていない画像や、画像に映るべきでない被写体が映っている画像を出力するようにしてもよい。具体的には、管理サーバ２０の制御部２１は、被写体認識処理（ステップＳ１－４）の前に、被写体予測処理を実行する。この予定被写体処理においては、制御部２１は、建築総合情報記憶部２２に記録された建築総合情報を用いて、現在の現場工事の進捗に応じて、ステップＳ１－２において特定した撮影範囲（撮影視野）で視認可能と予測される部材のオブジェクトＩＤを特定する。そして、制御部２１は、被写体認識処理（ステップＳ１－４）において特定した被写体のオブジェクトＩＤと、被写体予測処理において特定したオブジェクトＩＤとを比較する。被写体予測処理において特定したオブジェクトＩＤと、被写体認識処理において特定した被写体のオブジェクトＩＤと異なるオブジェクトＩＤを検出した場合には、制御部２１は、警告通知を表示部１７に表示する。

【0071】

また、被写体予測処理において特定したオブジェクトＩＤと異なるオブジェクトＩＤを、インデックス情報２７０に、不一致被写体識別子として記録してもよい。この場合、検索画面の入力欄において、不一致被写体識別子が入力された場合、制御部２１は、この不一致被写体識別子を含むインデックス情報２７０の動画識別子に対応する動画を特定する。これにより、本来、予測した被写体と異なる被写体を含む画像を抽出することができる。

【0072】

・上記実施形態において、管理サーバ２０の制御部２１は、検索する画像に含まれる被写体情報の取得処理、検索実行処理及び検索結果動画の出力処理を実行する（ステップＳ３－１～Ｓ３－３）。これに代えて、例えば、マンションの一戸等、特定の場所空間（範囲）を撮影した画像を、インデックス情報２７０を用いて抽出してもよい。この場合、管理サーバ２０の制御部２１は、検索する画像に含まれる被写体情報として、この特定の場所空間を構成する部材のオブジェクトＩＤを、建築総合情報記憶部２２を用いて特定する。そして、制御部２１は、この空間を撮影箇所とするインデックス情報２７０と、特定したオブジェクトＩＤを被写体識別情報に含むインデックス情報２７０とを抽出する。

【0073】

そして、制御部２１は、これらインデックス情報２７０に含まれる動画識別子に対応する動画を出力する。これにより、その場所に関連した被写体が含まれる動画を効率的に抽出することができる。

【0074】

・上記実施形態においては、管理サーバ２０の制御部２１は、インデックス情報２７０の撮影箇所は、撮影現場の位置に関するデータを記録した。インデックス情報２７０に含める撮影箇所は、画像において特定した被写体の所在位置であってもよい。また、撮影範囲を特定する情報を用いることも可能である。これらの場合には、被写体の個体情報（オブジェクトＩＤ）が特定できない場合においても、被写体の管理対象識別子とともに、所在位置又は撮影範囲を用いて、場所に応じた被写体を含む画像を特定することができる。

【0075】

・上記実施形態の管理対象及び状態の予測処理（ステップＳ２－２）においては、管理サーバ２０の制御部２１は、画像を用いて使用状態を特定した。使用状態の特定方法は、画像を用いる場合に限らない。例えば、動画に含まれている音等のように、画像に付随する情報を用いて、被写体の状態を判定することも可能である。この場合、制御部２１は、管理対象の使用時に発生する音を、ディープラーニングを使用して判定する。この場合には、発生音の周波数特性を用いて、管理対象の状態を学習する。

【0076】

・上記実施形態の被写体認識処理において、制御部２１の被写体特定部２１３は、撮影画像について領域分割処理（ステップＳ２－１）を実行し、この分割領域毎に、管理対象及び状態の予測処理（ステップＳ２－２）を実行した。管理対象及び状態の予測処理は、領域分割毎に行なう場合に限らず、物体検出による領域抽出によって行ってもよい。
また、管理対象及び状態の予測処理は、ディープラーニングを用いて実行した。管理対象及び状態の予測処理は、画像を用いて特定できれば、公知のＳＩＦＴ（Scale-Invariant Feature Transform）法等を用いて実行してもよい。

【0077】

・上記実施形態においては、制御部２１は、画像から撮影位置を特定した。画像の撮影位置を特定する撮影位置情報は、画像情報に限らず、例えば、全地球測位システム（ＧＰＳ：Global Positioning System）等の情報を用いてもよい。

【0078】

・上記実施形態においては、画像は、作業者のヘルメットＨ１に取り付けた移動体ユニット１１の撮影部１２において撮影した。検索する対象の画像を撮影する撮影装置は、移動して撮影する装置に限られず、固定された撮影装置であってもよい。

【0079】

・上記実施形態においては、管理サーバ２０の制御部２１は、撮影された動画を検索した。検索対象の画像は、動画に限られず、所定の時間間隔で撮影した静止画であってもよい。

【0080】

・上記実施形態においては、建設工事の現場を撮影する動画において、管理対象の被写体を抽出する場合について説明した。撮影する動画は、工事現場に限られず、例えば、防犯カメラ等で撮影した動画等でもよい。ここでも、被写体の管理対象識別子と、被写体の所在位置、撮影時刻をインデックス情報として用いて抽出する。この場合、顔認識を行なって、被写体（顔）を含む画像を抽出することができる。
更に、顔認証により特定した顔が、既知の人物か否かの顔認証処理を行なってもよい。この場合、既知の人物の顔画像情報を登録しておく。そして、顔認識により特定した顔画像情報と、登録されている既知の人物の顔画像情報とを用いて、既知の人物と未知の人物とを識別する。これにより、顔認証できない未知の人物（顔画像が登録されていない人物）が含まれる画像を抽出することができる。

【符号の説明】

【0081】

Ｈ１…ヘルメット、１０…管理システム、１１…移動体ユニット、１２…撮影部、１３…送信部、１４，２１…制御部、１６…入力部、１７…表示部、２０…管理サーバ、２２…建築総合情報記憶部、２３…特徴点情報記憶部、２４…禁止区域情報記憶部、２５…被写体情報記憶部、２６…動画情報記憶部、２７…インデックス情報記憶部、２１１…管理部、２１２…位置特定部、２１３…被写体特定部、２１４…インデクシング部、２５１…学習済み分類モデル、２５２…教師データ、２５５…個体認識データ、２６０…動画管理情報、２７０…インデックス情報、５００，５１０…画像、５０１，５１１…出入口、５０２，５０３…壁、５０４…床、５０５…天井、５０６，５０７…梁。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】