特開 2024-43606 情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024043606

(43)【公開日】2024-04-02

(54)【発明の名称】情報処理システム

(51)【国際特許分類】

   G06Q 50/08 20120101AFI20240326BHJP

【ＦＩ】

G06Q50/08

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022148674

(22)【出願日】2022-09-20

(71)【出願人】

【識別番号】520305432

【氏名又は名称】株式会社ＳｏｆｔＲｏｉｄ

(74)【代理人】

【識別番号】110002789

【氏名又は名称】弁理士法人ＩＰＸ

(72)【発明者】

【氏名】野▲埼▼ 大幹

(72)【発明者】

【氏名】吉田 岳人

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049CC07

(57)【要約】      （修正有）

【課題】現場の撮影に伴う作業の手間を減らす情報処理システムを提供する。
【解決手段】情報処理システムは、次の各ステップがなされるようにプログラムを実行可能なプロセッサを備える。取得ステップＡ１１では、サーバ装置は、撮像装置が撮影領域を移動しながら移動経路の各位置において撮影した複数の画像を取得する。推定ステップＡ１２では、取得した複数の画像に基づいて移動経路の推定を行う。領域出力ステップＡ２１では、取得した複数の画像を用いて、推定した移動経路の各位置から見た撮影領域を示す領域画像データを出力する。抽出ステップＡ２４では、取得した複数の画像に含まれる１以上の画像から、撮影領域において特定の箇所が映っている部分を特定画像として抽出する。特定出力ステップＡ３５では、抽出された特定画像を含む特定画像データを出力する。
【選択図】図７

【特許請求の範囲】

【請求項1】

情報処理システムであって、
次の各ステップがなされるようにプログラムを実行可能なプロセッサを備え、
取得ステップでは、撮像装置が撮影領域を移動しながら移動経路の各位置において撮影した複数の画像を取得し、
推定ステップでは、取得された前記複数の画像に基づいて前記移動経路の推定を行い、
領域出力ステップでは、取得された前記複数の画像を用いて、推定された前記移動経路の各位置から見た前記撮影領域を示す領域画像データを出力し、
抽出ステップでは、取得された前記複数の画像に含まれる１以上の画像から、前記撮影領域において特定の箇所が映っている部分を特定画像として抽出し、
特定出力ステップでは、抽出された前記特定画像を含む特定画像データを出力する、もの。

【請求項2】

請求項１に記載の情報処理システムにおいて、
前記特定出力ステップでは、複数の特定画像を並べたリストを前記特定画像データとして出力し、前記複数の特定画像は、前記特定の箇所が共通し且つ撮影時期が異なる、もの。

【請求項3】

請求項１に記載の情報処理システムにおいて、
指定受付ステップでは、取得された前記複数の画像に含まれる１つの画像のうちの特定の範囲を指定するユーザの第１操作を受け付け、
前記抽出ステップでは、前記第１操作により指定された範囲の画像を、前記特定画像として抽出する、もの。

【請求項4】

請求項３に記載の情報処理システムにおいて、
第１提示ステップでは、前記特定の範囲の画像の候補を候補画像としてユーザに提示し、
前記指定受付ステップでは、提示された前記候補画像を選択する操作を前記第１操作として受け付け、当該第１操作は、当該候補画像が示す範囲を前記特定の範囲として指定する操作である、もの。

【請求項5】

請求項４に記載の情報処理システムにおいて、
前記候補画像は、抽出された前記特定画像の履歴又は指定された前記特定の範囲の履歴に基づいて決まる、もの。

【請求項6】

請求項１に記載の情報処理システムにおいて、
対応受付ステップでは、抽出された前記特定画像と、所定情報とを対応付けるユーザの第２操作を受け付け、
前記特定出力ステップでは、抽出された前記特定画像と、前記第２操作により当該特定画像に対応付けられた所定情報とを並べたリストを前記特定画像データとして出力する、もの。

【請求項7】

請求項６に記載の情報処理システムにおいて、
第２提示ステップでは、前記所定情報の候補を示す候補情報をユーザに提示し、
前記対応受付ステップでは、提示された前記候補情報を選択する操作を前記第２操作として受け付け、当該第２操作は、当該候補情報を前記所定情報として前記特定画像に対応付ける操作である、もの。

【請求項8】

請求項７に記載の情報処理システムにおいて、
前記候補情報は、抽出された前記特定画像に映っている箇所又は過去の前記所定情報に基づいて決まる情報である、もの。

【請求項9】

請求項１に記載の情報処理システムにおいて、
前記推定ステップでは、取得された前記複数の画像のうち第１規則に基づいて絞り込まれた画像に基づいて前記推定を行い、
前記抽出ステップでは、取得された前記複数の画像のうち第２規則に基づいて絞り込まれた画像から前記特定画像を抽出し、前記第２規則は、前記第１規則とは異なる、もの。

【請求項10】

請求項１に記載の情報処理システムにおいて、
前記特定出力ステップでは、前記特定の箇所の画像から前記領域画像データが示す画像のうち当該箇所を示す画像へのリンクを含むデータを前記特定画像データとして出力する、もの。

【請求項11】

請求項１に記載の情報処理システムにおいて、
前記領域出力ステップでは、前記特定の箇所に対応する位置で撮影された画像から前記特定画像データの当該箇所の画像へのリンクを含むデータを前記領域画像データとして出力する、もの。

【請求項12】

請求項１に記載の情報処理システムにおいて、
前記抽出ステップでは、前記特定の箇所が映る範囲よりも所定の割合だけ広い範囲の画像を前記特定画像として抽出し、前記割合は、前記撮影領域の広さ、出力された領域画像データの利用度又は出力された前記特定画像データの利用度に応じた値である、もの。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システムに関する。

【背景技術】

【0002】

特許文献１には、携帯端末において、撮影対象の各工事の撮影図面および撮影対象の各工事の工事名称、工事設計値を含む工事写真チェックリストを記憶する。記憶された各工事の撮影図面および工事写真チェックリストの各工事の中から操作選択された工事の撮影図面、工事名称、工事設計値、操作入力された該当工事の実測値を含む撮影データを作成する。そして、撮影データが表示された状態におけるカメラ撮影操作に応じて、工事の写真データを得る。撮影した工事の写真番号と実測値とを工事写真チェックリストに書込む。最後に、各工事の写真データおよび更新後の工事写真チェックリストを外部の工事写真編集装置へ送信する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００６－１４６６８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

工事等の現場では、現場の特定の箇所を撮影して記録するなど、現場の撮影に伴う作業が行われている。撮影された画像には、現場の状況を表すなど様々な利用価値があるが、利用目的に対して必要な画像を得るためには、相応の手間が必要になる。

【0005】

本発明では上記事情に鑑み、現場の撮影に伴う作業の手間を減らすこととした。

【課題を解決するための手段】

【0006】

本発明の一態様によれば、情報処理システムが提供される。この情報処理システムでは、次の各ステップがなされるようにプログラムを実行可能なプロセッサを備える。取得ステップでは、撮像装置が撮影領域を移動しながら移動経路の各位置において撮影した複数の画像を取得する。推定ステップでは、取得された複数の画像に基づいて移動経路の推定を行う。領域出力ステップでは、取得された複数の画像を用いて、推定された移動経路の各位置から見た撮影領域を示す領域画像データを出力する。抽出ステップでは、取得された複数の画像に含まれる１以上の画像から、撮影領域において特定の箇所が映っている部分を特定画像として抽出する。特定出力ステップでは、抽出された特定画像を含む特定画像データを出力する。

【0007】

このような態様によれば、現場の撮影に伴う作業の手間を減らすことができる。

【図面の簡単な説明】

【0008】

【図1】現場管理支援システム１の全体構成を示す図である。

【図2】サーバ装置１０のハードウェア構成を示す図である。

【図3】現場端末２０のハードウェア構成を示す図である。

【図4】撮像装置３０のハードウェア構成を示す図である。

【図5】監督端末４０のハードウェア構成を示す図である。

【図6】各装置の制御部の機能構成を示す図である。

【図7】撮影画像処理の一例を示すアクティビティ図である。

【図8】表示された領域画像の一例を示す図である。

【図9】特定画像データベースの一例を示す図である。

【図10】表示された候補画像の一例を示す図である。

【図11】表示された候補情報の一例を示す図である。

【図12】表示された特定画像データの一例を示す図である。

【図13】表示された領域画像の一例を示す図である。

【図14】自動抽出処理のフロー図の一例を示す図である。

【図15】表示されたチェック用画像の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。

【0010】

ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体（Ｎｏｎ－Ｔｒａｎｓｉｔｏｒｙ Ｃｏｍｐｕｔｅｒ－Ｒｅａｄａｂｌｅ Ｍｅｄｉｕｍ）として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。

【0011】

また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０又は１で構成される２進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。

【0012】

また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。

【0013】

１．ハードウェア構成
本節では、本実施形態に係る工事支援システムのハードウェア構成について説明する。

【0014】

図１は、現場管理支援システム１の全体構成を示す図である。図１においては、現場管理支援システム１が備える各装置と、それらの装置を使用するユーザとの概要が示されている。各概要については、他の図も参照しながら随時説明する。

【0015】

現場管理支援システム１は、建築、建造又は工事等の現場における作業の管理を支援するための処理を実行する情報処理システムである。現場管理支援システム１は、通信回線２と、自撮り棒３と、外付けバッテリー４と、外部電源５と、ブレーカ６と、サーバ装置１０と、現場端末２０と、撮像装置３０と、監督端末４０と、オペレータ端末５０とを備える。

【0016】

通信回線２は、インターネット等を含み、自回線に接続する装置同士のデータのやり取りを仲介する。通信回線２には、サーバ装置１０が有線で接続され、現場端末２０及び監督端末４０が無線で接続されている。本実施形態では、現場端末２０は、移動体通信で通信回線２と通信を行う。また、現場端末２０は、撮像装置３０と２通りの通信方法を用いて無線通信を行う。２通りの通信方法は、本実施形態では、Ｗｉ－Ｆｉ通信及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）通信である。

【0017】

現場端末２０及び撮像装置３０は、例えば、現場作業員Ｗ１によって利用される端末であり、作業現場に設置され、現場の撮影に関する処理を実行する。監督端末４０は、例えば、作業現場を担当する作業監督Ｗ２によって利用される端末であり、作業の進捗等を管理するための処理を実行する。オペレータ端末５０は、例えば、現場管理支援システム１のオペレータＷ３によって利用される端末であり、撮像装置３０によって撮影された画像に関する様々な操作を受け付ける。

【0018】

現場端末２０は、ケーブルによって、外付けバッテリー４を介して外部電源５と接続されている。撮像装置３０は、ケーブル及びコネクタ７によって、外付けバッテリー４を介して外部電源５と着脱可能に接続されている。言い換えると、外部電源５は、着脱可能に接続される撮像装置３０にも電力を供給する。外付けバッテリー４は、充電しながら給電を行うことが可能ないわゆるパススルー機能を有しており、ブレーカ６がオンになった状態では外部電源５から供給される電力で充電されながら現場端末２０及び撮像装置３０への給電を行う。

【0019】

撮像装置３０は、イメージセンサを備えるデジタルカメラであり、イメージセンサにより測定された光が示す画像を撮影する。撮像装置３０は、本実施形態では、上下左右前後の全方位を撮影可能な３６０度カメラ（全方位カメラ又は全天球カメラとも言う）である。撮像装置３０は、自撮り棒３に取り付けられており、その自撮り棒３は、作業現場に設置されたスタンド８に差し込んで固定することができるようになっている。

【0020】

現場作業員Ｗ１がコネクタ７を外してスタンド８から抜き取った自撮り棒３を持って作業現場を歩き回ることで、作業現場を撮影領域として３６０度カメラで撮影した画像を示す撮影画像データが生成される。現場管理支援システム１においては、撮像装置３０が撮影する画像は、本実施形態では動画像であるが、作業現場の各所の画像を得ることができるのであれば、連続して撮影される静止画像であってもよい。撮像装置３０は、生成した撮影画像データを現場端末２０に送信する。

【0021】

現場端末２０は、現場作業員Ｗ１への主なユーザインターフェースとなる端末であり、例えば、スマートフォンである。現場端末２０は、例えば、上記の２通りの通信方法のうちの一方（本実施形態ではＢＬＥ通信）を用いて、撮像装置３０の動作を制御する。また、現場端末２０は、上記の２通りの通信方法のうちの一方（本実施形態ではＷｉ－Ｆｉ通信）により撮像装置３０から送信されてきた撮影画像データを、さらに別の無線通信（本実施形態では移動体通信）を用いてサーバ装置１０に転送する。

【0022】

サーバ装置１０は、現場端末２０から送信されてきた撮影画像データが示す作業現場の画像を用いた画像処理を行い、例えば、撮像装置３０が撮影を行った位置から見た作業現場の画像を撮影領域の画像として示す領域画像データを生成する。監督端末４０は、生成された領域画像データを参照し、作業現場の様々な箇所の画像を表示する。作業監督Ｗ２は、表示された作業現場の画像から現場の様子を把握し、必要に応じて現場の現場作業員Ｗ１に対して作業の指示を行う。

【0023】

作業現場によっては、作業の終了後に節電等の理由でブレーカ６がオフにされる場合がある。その場合、ブレーカ６をオフにしたあとは外部電源５から電力が供給されなくなる。このように、外部電源５は、電力供給の有無が切り替えられる。現場端末２０及び撮像装置３０にも内蔵バッテリーがあるのですぐに停止する訳ではないが、画像データの送信など時間がかかる処理もある。そこで、本実施形態では、外付けバッテリー４を設けることで、ブレーカ６がオフにされたあとの現場端末２０及び撮像装置３０の稼働時間を増やすようにしている。

【0024】

オペレータ端末５０は、撮像装置３０により撮影された現場の画像から、特定の箇所が映っている部分を特定画像として抽出するためのオペレータＷ３による操作を受け付ける。本実施形態では、作業工程の進捗を確認するためにチェックすべき箇所が特定の箇所として用いられる。サーバ装置１０は、オペレータ端末５０へのオペレータＷ３の操作に基づいて、特定画像を抽出し、抽出した特定画像を示す特定画像データを出力する。特定画像データは、本実施形態では、特定の箇所をリスト化したチェックリストである。監督端末４０は、出力された特定画像データ（チェックリスト）を表示し、例えば、作業監督Ｗ２による作業進捗のチェック操作を受け付ける。

【0025】

図２は、サーバ装置１０のハードウェア構成を示す図である。サーバ装置１０は、制御部１１と、記憶部１２と、通信部１３と、バス１４とを備える。バス１４は、サーバ装置１０が備える各部を電気的に接続する。

【0026】

（制御部１１）
制御部１１は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）である。制御部１１は、記憶部１２に記憶された所定のプログラムを読み出すことによって、現場管理支援システム１に係る種々の機能を実現するコンピュータである。すなわち、記憶部１２に記憶されているソフトウェアによる情報処理が、ハードウェアの一例である制御部１１によって具体的に実現されることで、制御部１１に含まれる各機能部として実行されうる。これらについては、次節においてさらに詳述する。なお、制御部１１は単一であることに限定されず、機能ごとに複数の制御部１１を有するように実施してもよい。またそれらの組合せであってもよい。

【0027】

（記憶部１２）
記憶部１２は、前述の記載により定義される様々な情報を記憶する。これは、例えば、制御部１１によって実行される現場管理支援システム１に係る種々のプログラム等を記憶するソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。記憶部１２は、制御部１１によって実行される現場管理支援システム１に係る種々のプログラムや変数等を記憶している。

【0028】

（通信部１３）
通信部１３は、サーバ装置１０から種々の電気信号を外部の構成要素に送信可能に構成される。また、通信部１３は、外部の構成要素からサーバ装置１０への種々の電気信号を受信可能に構成される。さらに好ましくは、通信部１３がネットワーク通信機能を有し、これにより通信回線２を介して、サーバ装置１０と外部機器との間で種々の情報を通信可能に実施してもよい。

【0029】

図３は、現場端末２０のハードウェア構成を示す図である。現場端末２０は、制御部２１と、記憶部２２と、通信部２３と、入力部２４と、出力部２５と、内部電源部２６と、バス２７とを備える。バス２７は、現場端末２０が備える各部を電気的に接続する。制御部２１及び記憶部２２は、図２に示す制御部１１及び記憶部１２と性能の違いはあるが同様のハードウェアである。

【0030】

（通信部２３）
通信部２３は、第１通信部２３１と、第２通信部２３２と、第３通信部２３３とを備え、３通りの無線通信を行う無線通信部の一例である。第１通信部２３１は、第１無線通信として、本実施形態ではＷｉ－Ｆｉ通信による無線通信を行う。第２通信部２３２は、第１無線通信よりも通信速度が遅く且つ消費電力が小さい第２無線通信として、本実施形態ではＢＬＥによる無線通信を行う。第３通信部２３３は、第１無線通信及び第２無線通信よりも通信可能なエリアが広い第３無線通信として、本実施形態では移動体通信による無線通信を行う。

【0031】

（入力部２４）
入力部２４は、キー、ボタン、タッチスクリーン及びマウス等を有し、ユーザによる入力を受け付ける。
（出力部２５）
出力部２５は、ディスプレイ（タッチスクリーン含む）及びスピーカ等を有し、表示面に画面、画像、アイコン、テキスト等といった、ユーザが視認可能な態様で生成された視覚情報を表示し、音声を含む音を出力する。

【0032】

（内部電源部２６）
内部電源部２６は、自装置に内蔵されているバッテリー、すなわち、繰り返し充電可能な電池であり、蓄積した電力を自装置の各部に供給する。内部電源部２６は、自装置とともに持ち運びが可能な可搬電池の一例である。内部電源部２６は、外部電源５から供給される電力により充電される。内部電源部２６は、外付けバッテリー４と同様にパススルー機能を有しており、ブレーカ６がオンになった状態では外部電源５から供給される電力で充電されながら各部に給電を行う。

【0033】

図４は、撮像装置３０のハードウェア構成を示す図である。撮像装置３０は、制御部３１と、記憶部３２と、通信部３３と、入力部３４と、出力部３５と、内部電源部３６と、撮像部３７と、バス３８とを備える。バス３８は、撮像装置３０が備える各部を電気的に接続する。制御部３１から内部電源部３６までの各部は、図３に示す制御部２１から内部電源部２６までの各部と性能の違いはあるが同様のハードウェアである。

【0034】

ただし、通信部３３は、第１通信部３３１及び第２通信部３３２のみを備える。第１通信部３３１は、通信部２３の第１通信部２３１と同様に、第１無線通信として、本実施形態ではＷｉ－Ｆｉ通信による無線通信を行う。第２通信部３３２は、通信部２３の第２通信部２３２と同様に、第１無線通信よりも通信速度が遅く且つ消費電力が小さい第２無線通信として、本実施形態ではＢＬＥによる無線通信を行う。また、出力部３５は、ディスプレイ等に加えてライトを有し、撮影に必要な光量を確保するための光を照射する。入力部３４は、そのライトを点灯させるためのスイッチを有する。

【0035】

（撮像部３７）
撮像部３７は、レンズを含む光学系及びイメージセンサ等を有し、レンズから入射する光を測定して撮影画像データを生成するセンサである。撮像部３７は、本実施形態では、前述したように、超広角レンズ及び複数のイメージセンサを使用して、上下、左右及び前後の全方位を撮影した撮影画像データを生成する。

【0036】

図５は、監督端末４０のハードウェア構成を示す図である。監督端末４０は、制御部４１と、記憶部４２と、通信部４３と、入力部４４と、出力部４５と、バス４６とを備える。バス４６は、監督端末４０が備える各部を電気的に接続する。制御部４１から出力部４５までの各部は、図４に示す制御部３１から出力部３５までの各部と性能の違いはあるが同様のハードウェアである。オペレータ端末５０は、監督端末４０と同様に、制御部５１（制御部５１のみ監督端末４０と異なる符号を付している）等のハードウェアを備える。

【0037】

２．機能構成
本節では、本実施形態の機能構成について説明する。前述の通り、各装置の記憶部に記憶されているソフトウェアによる情報処理がハードウェアの一例である制御部によって具体的に実現されることで、制御部に含まれる各機能部が実行されうる。

【0038】

図６は、各装置の制御部の機能構成を示す図である。サーバ装置１０の制御部１１は、ＤＢ制御部１１１と、サーバ表示部１１２と、画像取得部１１３と、画像処理部１１４と、データ生成部１１５と、データ出力部１１６と、ユーザ受付部１１７と、対応付け処理部１１８とを備える。現場端末２０の制御部２１は、表示制御部２１１と、操作受付部２１２と、稼働制御部２１３と、送信制御部２１４とを備える。撮像装置３０の制御部３１は、表示制御部３１１と、操作受付部３１２と、撮影制御部３１３と、送信制御部３１４とを備える。監督端末４０の制御部４１は、表示制御部４１１と、操作受付部４１２とを備える。オペレータ端末５０の制御部５１は、表示制御部５１１と、操作受付部５１２とを備える。

【0039】

サーバ装置１０のＤＢ制御部１１１（ＤＢ：Ｄａｔａｂａｓｅ）は、データベースへのデータの格納及びデータベースからのデータの読み出し等を制御する。ここでいうデータベースは、サーバ装置１０に記憶されたデータベースだけでなく、外部装置に記憶されたデータベースであってもよい。データベースには、例えば、撮像装置３０により撮影された画像を示す撮影画像データ及び上述した領域画像データ等が格納される。

【0040】

サーバ表示部１１２は、現場管理支援システム１に関するシステム画面を各端末に表示させるための処理を実行する。サーバ表示部１１２は、例えば、表示用データであるＨＴＭＬ（Ｈｙｐｅｒ Ｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）ファイルの生成及び送信等の処理を行い、システム画面を示すウェブページを監督端末４０等に表示させる。なお、サーバ表示部１１２は、現場管理支援システム１を利用するためのアプリケーションの表示用データの生成及び送信等の処理を行ってもよい。

【0041】

画像取得部１１３は、撮像装置３０により撮影された撮影領域の画像を取得する。画像処理部１１４は、画像取得部１１３により取得された画像に対する画像処理を実行する。画像処理部１１４は、例えば、撮影領域の画像に基づいて、自己位置の推定及び環境地図の作成を同時に行ういわゆるＶｉｓｕａｌ ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）と呼ばれる技術に関する処理を行う。

【0042】

データ生成部１１５は、画像処理部１１４による画像処理の結果に基づくデータを生成する。データ生成部１１５は、例えば、Ｖｉｓｕａｌ ＳＬＡＭの結果に基づいて上述した領域画像データを生成する。データ出力部１１６は、データ生成部１１５により生成されたデータを出力する。データ出力部１１６は、例えば、生成された領域画像データを監督端末４０に対して出力する。ユーザ受付部１１７は、ユーザが利用する端末（例えばオペレータ端末５０）を介して、ユーザによる特定の操作を受け付ける。対応付け処理部１１８は、画像と情報とを対応付けるための処理を実行する。特定の操作と、画像及び情報の対応付けとについては、後ほど詳しく説明する。

【0043】

オペレータ端末５０の表示制御部５１１は、自装置の表示手段への表示処理を制御する。操作受付部５１２は、ユーザ（例えばオペレータＷ３）の操作を受け付ける。操作受付部５１２が受け付ける操作には、前述した特定の操作が含まれる。監督端末４０の表示制御部４１１は、自装置の表示手段への表示処理を制御する。操作受付部４１２は、ユーザ（例えば作業監督Ｗ２）の操作を受け付ける。

【0044】

現場端末２０の表示制御部２１１は、自装置の表示手段への表示処理を制御する。操作受付部２１２は、ユーザ（例えば現場作業員Ｗ１）の操作を受け付ける。稼働制御部２１３は、撮像装置３０の稼働を制御する。送信制御部２１４は、自装置及び撮像装置３０による撮影画像データの送信処理を制御する。

【0045】

撮像装置３０の表示制御部３１１は、自装置の表示手段への表示処理を制御する。操作受付部３１２は、ユーザ（例えば現場作業員Ｗ１）の操作を受け付ける。撮影制御部３１３は、撮像部３７による撮影処理を制御する。送信制御部３１４は、自装置による撮影画像データの送信処理を制御する。

【0046】

３．情報処理
本節では、本実施形態において、プログラムがコンピュータに実行させる情報処理について説明する。現場管理支援システム１は、例えば作業現場を撮影領域として撮影した画像に基づいて各種の処理を行う撮影画像処理を実行する。

【0047】

図７は、撮影画像処理の一例を示すアクティビティ図である。図７に示すアクティビティは、撮像装置３０によって撮影された作業現場の撮影画像データをサーバ装置１０が受信することを契機に開始される。まず、サーバ装置１０は、Ａ１１において、画像取得部１１３により、撮像装置３０によって撮影された複数の画像を取得する。これらの複数の画像を、以下では、単に「撮影画像」とも言う。

【0048】

撮影画像は、本実施形態では、動画データが示す各フレームであり、３６０度カメラによって撮影された全方位の画像である。また、撮影画像は、現場作業員Ｗ１によって持ち運ばれる撮像装置３０が作業現場を移動しながら移動経路の各位置において撮影した画像である。作業現場は、撮像装置３０が撮影する撮影領域の一例である。画像取得部１１３は、撮影画像を取得する取得部の一例である。

【0049】

<領域画像データの生成>
次に、サーバ装置１０は、上述した領域画像データを生成するための処理を行う。まず、サーバ装置１０は、Ａ１２において、画像処理部１１４により、画像取得部１１３により取得された撮影画像に基づいて撮像装置３０の移動経路の推定を行う。画像処理部１１４は推定部の一例である。画像処理部１１４は、ＶＳＬＡＭの技術を用いて移動経路を推定する。ＶＳＬＡＭの技術には、例えば、次の２通りの方法がある。

【0050】

１つ目は、間接的に位置を推定する方法（間接法）であり、複数の画像間において特徴点の対応付けを行うことで、特徴点の位置とカメラの位置とを推定する方法である。間接法を用いる場合、画像処理部１１４は、取得された複数の撮影画像データがそれぞれ示す物体の特徴点の対応付けに基づいて撮像装置３０の移動経路の推定を行う。

【0051】

２つ目は、直接的に位置を推定する方法（直接法）であり、複数の画像間において対応するピクセルの輝度値の誤差を最小にすることで、各ピクセルの深度と撮像装置３０の位置とを推定する方法である。直接法を用いる場合、画像処理部１１４は、取得された複数の撮影画像データがそれぞれ示す、互いに対応する画素の値の誤差に基づいて撮像装置３０の移動経路の推定を行う。

【0052】

続いて、サーバ装置１０は、Ａ１３において、データ生成部１１５により、Ａ１１において取得された撮影画像とＡ１２において推定された移動経路とに基づいて、上述した領域画像データ、すなわち、撮像装置３０が撮影をした位置から見た作業現場を撮影領域として示すデータを生成する。領域画像データは、例えば、監督端末４０等の端末に対して出力される。領域画像データが出力されてきた端末は、その領域画像データが示す領域画像を表示する。

【0053】

図８は、表示された領域画像の一例を示す図である。図８では、表示画像Ａ１１と、平面図Ｃ１１とが示されている。表示画像Ａ１１は、建築現場Ｃ１を撮影した複数の画像（撮影画像）のうちの１つである領域画像Ａ１の一部を示す画像である。平面図Ｃ１１は、建築現場Ｃ１の構造を示す平面図である。平面図Ｃ１１は、表示画像Ａ１１に重畳して示されている。表示画像Ａ１１及び平面図Ｃ１１には、推定された移動経路に沿って撮影位置を示す位置画像Ｐ１、Ｐ２、Ｐ３、Ｐ４等が示されている。

【0054】

図８に示す領域画像Ａ１は、位置画像Ｐ９が示す撮影位置から撮像装置３０によって撮影された全方位の画像である。表示画像Ａ１１は、領域画像Ａ１のうちの一定の画角を示す矩形の画像である。なお、領域画像Ａ１は、全方位の画像を矩形で表すために歪みが生じているが、表示画像Ａ１１では、歪みが補正されて通常の写真と同じように物体が映った画像となっている。

【0055】

表示画像Ａ１１を上下方向、左右方向又は斜め方向に移動させる操作が行われると、領域画像Ａ１が操作された方向に移動して、表示画像Ａ１１として表示される部分が変化する。また、領域画像Ａ１及び図面Ｂ１に示された位置画像を選択する操作が行われると、選択された位置画像が示す撮影位置から撮影された領域画像が表示される。このように領域画像データが示す各撮影位置における領域画像の様々な部分を表示画像として表示させることで、建築現場Ｃ１の全体の様子を確認することができる。

【0056】

<特定画像の抽出>
次に、サーバ装置１０は、撮影画像から特定画像を抽出するための処理を行う。特定画像は、上述したように、領域画像のうちの特定の箇所が映っている部分である。本実施形態では、撮影画像に含まれる１つの画像のうちの特定の範囲をユーザが指定するという手動の作業と、その前段として、ユーザに対して特定の範囲の候補を示す候補画像を提示するという自動の処理とを経て、特定画像が抽出される。

【0057】

まず、サーバ装置１０は、Ａ２１において、画像処理部１１４により、撮影画像に含まれる１枚の領域画像から特定の範囲の画像の候補を候補画像として抽出する。画像処理部１１４は、例えば、現場の作業を行う事業者が作業品質向上のため定めているチェック箇所に関する情報に基づいて候補画像を抽出する。本実施形態では、サーバ装置１０が、チェック箇所に関する情報を含む特定画像データベースを記憶している。

【0058】

図９は、特定画像データベースの一例を示す図である。図９に示す特定画像データベースＤＢ１は、チェック箇所情報、特定画像の履歴、今回の特定画像、所定情報の履歴、今回の所定情報及び特定画像データをそれぞれ格納する。チェック箇所情報には、名称及び撮影情報が格納されている。名称には、「玄関」、「廊下」、「階段」、「台所壁」及び「台所床」等のチェック箇所の名称を示す文字列が格納されている。また、撮影情報には、チェック箇所を撮影可能な撮影位置を示す情報が格納されている。

【0059】

撮影情報は、例えば、撮像装置３０が通常撮影する高さから見たチェック箇所の画角を示す角度情報である。範囲情報は、鉛直上方を０度、鉛直下方を１８０度とすると、例えば、天井であれば０度以上３０度以下、壁であれば４５度以上１３５度以下、床であれば１５０度以上１８０度以下というように画角の範囲を示す。また、撮影情報には、チェック箇所を撮影するのに適した距離の範囲が含まれる。撮影に適した距離は、例えば、天井や床なら０ｍ（直上又は直下）、壁なら１ｍ～５ｍというように、チェック箇所が適当な大きさで映る距離となる。また、壁のように特定の方向を向いている箇所の場合は、その箇所が向いている方向も撮影情報に含まれる。

【0060】

画像処理部１１４は、まず、推定された移動経路からチェック箇所を撮影可能な撮影位置を特定する。画像処理部１１４は、例えば、移動経路のうち、図面上でチェック箇所との距離が撮影に適した距離であり、また、壁等の場合はチェック箇所が向いている方向となる位置を撮影位置として特定する。そして、画像処理部１１４は、特定した位置から撮影された領域画像のうち撮影情報が示す画角の画像を候補画像として抽出する。

【0061】

なお、扉及び階段等の外観に特徴がある箇所の場合、それらの箇所を示すパターン画像が撮影情報として用いられてもよい。その場合、画像処理部１１４は、周知の画像認識技術を用いて、パターン画像に類似する箇所の画像を候補画像として抽出する。サーバ表示部１１２は、抽出された候補画像を、例えば、オペレータ端末５０に送信する。オペレータ端末５０は、Ａ２２において、表示制御部５１１により、送信されてきた候補画像を表示する。

【0062】

図１０は、表示された候補画像の一例を示す図である。図１０では、表示制御部５１１が、候補画像選択画面Ｄ１を表示している。候補画像選択画面Ｄ１には、「候補画像から特定画像を選択してください。」という文字列と、候補画像Ｅ１１、Ｅ１２、Ｅ１３（それぞれを区別しない場合は「候補画像Ｅ１０」と言う）と、選択ボタンＢ１１、Ｂ１２、Ｂ１３（それぞれを区別しない場合は「選択ボタンＢ１０」と言う）と、調整ボタンＢ２１、Ｂ２２、Ｂ２３（それぞれを区別しない場合は「調整ボタンＢ２０」と言う）とが表示されている。

【0063】

このように、サーバ表示部１１２及び画像処理部１１４は、特定の範囲の画像の候補を候補画像（図１０の例では候補画像Ｅ１、Ｅ２、Ｅ３）としてユーザに提示する第１提示部の一例として機能する。このような態様によれば、候補画像が提示されない場合に比べて、特定箇所の画像を選びやすくすることができる。

【0064】

選択ボタンＢ１０は、その選択ボタンに対応付けて表示されている候補画像を、特定画像として選択する操作を受け付けるためのボタンである。調整ボタンＢ２０は、候補画像として映っている範囲を調整する操作を受け付けるためのボタンである。これらの操作は、例えば、オペレータ端末５０の操作受付部５１２によって受け付けられ、操作内容を示す操作データがサーバ装置１０に送信される。サーバ装置１０のユーザ受付部１１７は、送信されてきた操作データが示す内容の操作を、ユーザが行った操作として受け付ける。

【0065】

ユーザ受付部１１７は、画像取得部１１３により取得された複数の画像に含まれる１つの画像のうちの特定の範囲を指定するユーザの第１操作を受け付ける指定受付部の一例として機能する。ユーザ受付部１１７は、例えば、サーバ表示部１１２により提示された候補画像Ｅ１０を選択する操作（いずれかの選択ボタンＢ１０を押す操作）を第１操作として受け付ける。ここでいう第１操作は、候補画像Ｅ１０が示す範囲を特定の範囲として指定する操作である。

【0066】

具体的には、例えば、調整ボタンＢ２０を押す操作が行われた後、候補画像Ｅ１０をドラッグする操作が行われると、ユーザ受付部１１７が、そのユーザ操作を受け付け、サーバ表示部１１２が、候補画像Ｅ１０として表示されている領域画像をドラッグされた方向に移動させて、その領域画像の今まで表示されていなかった部分を表示させる。このように、ユーザ受付部１１７は、特定の箇所を示す画像を空間的に微調整する操作を第１操作として受け付ける。

【0067】

なお、ユーザ受付部１１７は、上記操作の他にも、例えば、特定の箇所を示す画像を時間的に微調整する操作を第１操作として受け付けてもよい。例えば、所定のボタン（Ｃｔｒｌキーなど）を押した状態で候補画像Ｅ１をドラッグする操作が行われると、ユーザ受付部１１７が、そのユーザ操作を第１操作として受け付け、サーバ表示部１１２が、候補画像Ｅ１として表示されている領域画像に対して撮影時刻が前後する領域画像の同じ部分を表示させる。

【0068】

また、ユーザ受付部１１７は、図８に示す領域画像データを表示させた画面で特定の範囲を指定する操作を第１操作として受け付けてもよい。その場合、まず、データ出力部１１６が、データ生成部１１５により生成された領域画像データを例えばオペレータ端末５０に対して出力する。オペレータ端末５０の表示制御部５１１は、出力されてきた領域画像データを表示する。操作受付部５１２が、図８に示すように表示された表示画像から特定の範囲を指定する操作を受け付け、ユーザ受付部１１７が、その操作を第１操作として受け付ける。

【0069】

オペレータＷ３は、上記の第１操作により、特定画像として適切な範囲を指定したと判断すると、選択ボタンＢ１０を押す操作を第１操作として行う。サーバ装置１０は、Ａ２４において、ユーザ受付部１１７により、一連の第１操作を受け付け、画像処理部１１４により、受け付けられた第１操作により選択された候補画像又は指定された特定の範囲の領域画像を、特定画像として抽出する。ＤＢ制御部１１１は、抽出された特定画像を、図９に示す「今回の特定画像」として、特定画像データベースＤＢ１に格納する。

【0070】

このように、画像処理部１１４は、画像取得部１１３により取得された複数の画像に含まれる１以上の画像から、撮影領域において特定の箇所が映っている部分を特定画像として抽出する抽出部として機能する。本実施形態では、画像処理部１１４は、上記のとおり第１操作により指定された範囲の画像を、特定画像として抽出する。このような態様によれば、特定箇所の画像の抽出にユーザの判断を反映することができる。

【0071】

ＤＢ制御部１１１は、新たな撮影画像が取得されて新たな領域画像データが生成された場合に、抽出された特定画像を、「今回の特定画像」から「特定画像の履歴」に移動させる。特定画像の履歴には、このように、画像処理部１１４により抽出された特定画像が履歴画像として蓄積される。画像処理部１１４は、こうして蓄積された履歴画像に基づいて、候補画像を抽出してもよい。その場合、画像処理部１１４は、例えば、蓄積された履歴画像のそれぞれの撮影位置及び画角を特定する。

【0072】

そして、画像処理部１１４は、新たに取得された撮影画像のうち、特定した範囲内の撮影位置で撮影された画像から、特定した範囲内の画角の画像を候補画像として抽出する。サーバ表示部１１２は、こうして抽出された候補画像をユーザに提示する。このように、候補画像は、抽出された特定画像の履歴に基づいて抽出される画像であってもよい。このような態様によれば、実際の特定画像に近い画像が候補画像として提示されるので、特定画像の履歴を考慮しない場合に比べて、候補画像の有用性を高めることができる。

【0073】

<所定情報の対応付け>
次に、サーバ装置１０は、抽出された特定画像と所定情報とを対応付けるための処理を行う。所定情報とは、現場管理支援システム１において、特定画像と対応付けるための情報として定められたものであり、例えば、特定の箇所の名称である。本実施形態では、特定画像に対応付けて所定情報をユーザが指定するという手動の作業と、その前段として、ユーザに対して所定情報の候補を示す候補情報を提示するという自動の処理とを経て、特定画像に所定情報が対応付けられる。

【0074】

まず、サーバ装置１０は、Ａ３１において、対応付け処理部１１８により、特定画像に対応付ける所定情報の候補を候補情報として決定する。対応付け処理部１１８は、例えば、特定画像データベースＤＢ１に格納されているチェック箇所情報の名称を候補情報として決定する。サーバ表示部１１２は、決定された候補情報を表示させるための表示用データを例えばオペレータ端末５０に対して送信する。オペレータ端末５０は、Ａ３２において、表示制御部５１１により、送信されてきた表示用データが示す候補情報を表示する。

【0075】

図１１は、表示された候補情報の一例を示す図である。図１１では、表示制御部５１１が、候補情報選択画面Ｄ２を表示している。候補情報選択画面Ｄ２には、「候補情報から所定情報を選択してください。」という文字列と、特定画像Ｆ１４と、選択ボタンＢ３１と、候補情報入力欄Ｊ１１とが表示されている。候補情報入力欄Ｊ１１の下には、候補情報一覧Ｊ１２がプルダウンリストとして表示されており、候補情報一覧Ｊ１２から選択された候補情報が候補情報入力欄Ｊ１１に表示されている。

【0076】

このように、サーバ表示部１１２及び対応付け処理部１１８は、所定情報の候補を示す候補情報をユーザに提示する第２提示部として機能する。このような態様によれば、候補情報が提示されない場合に比べて、特定画像と所定情報との対応付けの手間を少なくすることができる。候補情報を選択して選択ボタンＢ３１を押す操作は、上記の第１操作と同様に、サーバ装置１０のユーザ受付部１１７によって、ユーザが行った操作として受け付けられる。

【0077】

ユーザ受付部１１７は、画像処理部１１４により抽出された特定画像と所定情報と（図１１の例では特定画像Ｆ１４と「台所壁」というチェック箇所の名称と）を対応付けるユーザの第２操作を受け付ける対応受付部の一例として機能する。ユーザ受付部１１７は、サーバ表示部１１２により提示された候補情報（図１１の例では候補情報一覧Ｊ１２に含まれる候補情報）を選択する操作を第２操作として受け付ける。この第２操作は、候補情報を所定情報として特定画像に対応付ける操作である。

【0078】

オペレータＷ３は、上記の第２操作により、特定画像に対応付ける適切な候補情報を選択したと判断すると、選択ボタンＢ３１を押す操作を第２操作として行う。オペレータ端末５０は、Ａ３３において、操作受付部５１２により、それらの第２操作を候補情報の選択操作として受け付ける。サーバ装置１０は、Ａ３４において、ユーザ受付部１１７により、一連の第２操作を受け付け、ＤＢ制御部１１１により、受け付けられた第２操作により特定画像に対応付けられた候補情報を、図９に示す「今回の所定情報」として、その特定画像に対応付けて特定画像データベースＤＢ１に格納する。

【0079】

そして、データ生成部１１５は、特定画像データベースＤＢ１から「今回の特定画像」及び「今回の所定情報」を読み出して、それらを対応付けて並べたリストを特定画像データとして生成する。ここで、例えば、監督端末４０から特定画像データが要求されたとする。その場合、サーバ装置１０は、Ａ３４において、データ出力部１１６により、生成された特定画像データを監督端末４０に対して出力する。監督端末４０は、Ａ３５において、表示制御部４１１により、出力されてきた特定画像データを表示する。

【0080】

図１２は、表示された特定画像データの一例を示す図である。図１２の例では、表示制御部４１１が、チェックリストＨ１を表示している。チェックリストＨ１には、チェック箇所の名称である「玄関」、「廊下」、「階段」、「台所壁」及び「台所床」と、各チェック箇所の特定画像Ｆ１１、Ｆ１２、Ｆ１３、Ｆ１４及びＦ１５（それぞれを区別しない場合は「特定画像Ｆ１０」と言う）と、各チェック箇所のチェック結果とが表示されている。チェック結果には、作業進行の良否を示す記号と、コメントとが示されている。

【0081】

特定画像Ｆ１０には、「ｍｍ／ｄ１」、「ｍｍ／ｄ２」、「ｍｍ／ｄ３」及び「ｍｍ／ｄ４」という異なる日付に撮影された撮影画像から抽出されたものが含まれている。例えば、特定画像Ｆ１１－１、Ｆ１１－２、Ｆ１１－３及びＦ１１－４は、いずれも「玄関」を特定の箇所として抽出された画像であり、「ｍｍ／ｄ１」、「ｍｍ／ｄ２」、「ｍｍ／ｄ３」及び「ｍｍ／ｄ４」に撮影された撮影画像から抽出されている。

【0082】

このように、データ出力部１１６は、複数の特定画像を並べたリスト（図１２の例ではチェックリストＨ１）を特定画像データとして出力する。それらの複数の特定画像（図１２の例では特定画像Ｆ１１－１、Ｆ１１－２、Ｆ１１－３及びＦ１１－４等）は、特定の箇所が共通し且つ撮影時期が異なっている。このような態様によれば、単一の撮影時期の特定画像だけが出力される場合に比べて、特定箇所の状態の遷移を容易に把握することができる。

【0083】

なお、撮像装置３０による撮影は、現場作業員Ｗ１が歩いて行うので、撮影時の移動経路は毎回同じわけではない。そのため、複数の特定画像には、完全に同じ範囲が特定の箇所として映っているとは限らないが、少なくとも特定の箇所の一部が映っていればよい。その一部の画像を見ることで、作業現場における特定の箇所の状況を把握することができるからである。

【0084】

以上のとおり、データ出力部１１６は、画像処理部１１４により抽出された特定画像を含む特定画像データを出力する特定出力部の一例として機能する。このような態様によれば、特定の箇所を示すリストを簡単に作ることができる。本実施形態では、データ出力部１１６は、画像処理部１１４により抽出された特定画像と、上述した第２操作によりその特定画像に対応付けられた所定情報とを並べたリストを特定画像データとして出力する。

【0085】

表示制御部４１１は、チェックリストＨ１に含まれる特定画像Ｆ１０に対して所定の拡大操作（例えばシングルクリック等）が行われると、その特定画像Ｆ１０を拡大して表示する。これにより、現場の状況をより見やすくすることができる。また、本実施形態では、チェックリストＨ１に含まれる特定画像Ｆ１０が、その特定画像Ｆ１０が抽出された撮影画像に基づいて生成された領域画像データへのリンクになっている。さらに言うと、特定画像Ｆ１０は、その特定画像Ｆ１０に映っている特定の箇所が表示画像となっている状態の領域画像データへのリンクになっている。

【0086】

監督端末４０は、Ａ４１において、操作受付部４１２により、特定画像Ｆ１０への所定の操作（例えばダブルクリック等）をリンク操作として受け付ける。操作受付部４１２は、リンク操作が行われた特定画像Ｆ１０を示す操作データをサーバ装置１０に送信する。サーバ装置１０は、Ａ４２において、データ出力部１１６により、リンク先の領域画像データを監督端末４０に対して出力する。監督端末４０は、Ａ４３において、表示制御部４１１により、出力されてきた領域画像データを表示する。

【0087】

例えば、図１２に示す特定画像Ｆ１１－４へのリンク操作が行われた場合、ｍｍ／ｄ４に撮影された撮影画像に基づいて生成された領域画像データが、玄関を表示画像とする状態で出力されて監督端末４０に表示される。監督端末４０は、Ａ４４において、領域画像データの表示画像として映っている箇所を移動させる操作を表示操作として受け付ける。作業監督Ｗ２は、例えば、特定画像Ｆ１１－４だけでは作業の状況が判断し切れなかったので、このように領域画像データを操作して周囲の画像を見ることで、作業の状況を判断する。

【0088】

上記のとおり、データ出力部１１６は、特定の箇所の画像（図１２の例では各特定画像Ｆ１０）から領域画像データが示す画像のうちその箇所を示す画像（例えば特定画像Ｆ１１－４からの場合はｍｍ／ｄ４に撮影された玄関を示す画像）へのリンクを含むデータを特定画像データとして出力する。このような態様によれば、特定画像データが上記リンクを含まない場合に比べて、特定の箇所の周囲の画像を容易に確認することができる。

【0089】

作業監督Ｗ２は、領域画像データを表示させて作業の状況が判断できると、チェックリストＨ１に戻って作業状況のチェックを行う。本実施形態では、領域画像データに、特定画像データ（図１２の例ではチェックリストＨ１）に表示を切り替えるためのリンクが含まれている。
図１３は、表示された領域画像の一例を示す図である。図１３の例では、表示制御部４１１が、領域画像Ａ４の一部を表す表示画像Ａ４１を表示している。

【0090】

表示画像Ａ１１には、リンク画像Ｌ１４－４及びＬ１５－４（それぞれを区別しない場合は「リンク画像Ｌ１０」と言う）が示されている。リンク画像Ｌ１４－４は、図１２に示す特定画像Ｆ１４－４へのリンクである。リンク画像Ｌ１５－４は、図１２に示す特定画像Ｆ１５－４へのリンクである。監督端末４０は、Ａ５１において、操作受付部４１２により、リンク画像Ｌ１０へのリンク操作を受け付けると、操作されたリンク画像Ｌ１０を示す操作データをサーバ装置１０に送信する。

【0091】

サーバ装置１０は、Ａ５２において、データ出力部１１６により、送信されてきた操作データが示すリンク先となっている特定画像データを監督端末４０に対して出力する。監督端末４０は、Ａ５３において、表示制御部４１１により、出力されてきた特定画像データを表示する。表示制御部４１１は、リンク画像Ｌ１４－４への操作がされた場合は、例えば、図１２に示すチェックリストＨ１及び特定画像Ｆ１４－４の拡大画像を表示する。また、表示制御部４１１は、リンク画像Ｌ１５－４への操作がされた場合は、例えば、チェックリストＨ１及び特定画像Ｆ１５－４の拡大画像を表示する。

【0092】

上記のとおり、データ出力部１１６は、特定の箇所に対応する位置で撮影された画像から特定画像データのその箇所の画像へのリンクを含むデータを領域画像データとして出力する。このような態様によれば、領域画像データが示す領域画像を表示されている状態からでも、領域画像データにリンクが含まれていない場合に比べて、特定の箇所の画像を容易に出力させることができる。

【0093】

次に、監督端末４０は、Ａ５４において、操作受付部４１２により、チェック操作を受け付け、操作データをサーバ装置１０に送信する。サーバ装置１０は、Ａ５５において、ＤＢ制御部１１１により、送信されてきた操作データが示すチェック結果を反映した特定画像データを特定画像データベースＤＢ１に保存する。図７に示すＡ３４までの撮影画像処理は、作業現場での撮影が行われるたびに実行される。これにより、領域画像データ及び特定画像データが、撮影のたびに保存されて蓄積される。

【0094】

以上のとおり、データ出力部１１６は、画像取得部１１３により取得された複数の画像（撮影画像）を用いて、推定された移動経路の各位置から見た撮影領域を示す領域画像データを出力する。また、データ出力部１１６は、上述したように、同じく撮影画像を用いて、特定画像データを出力する。このように、現場管理支援システム１は、図８に示すような領域画像データと図１２に示すような特定画像データの両方に撮影画像を活用する。領域画像データ及び特定画像データを生成するためにそれぞれ撮影領域の画像を撮影する場合、撮影の手間が２回必要になる。本実施形態では、上記のとおり撮影画像を共有するので、撮影画像を共有しない場合に比べて、現場の撮影に伴う作業の手間を減らすことができる。

【0095】

また、現場作業員Ｗ１が撮影領域を移動しながら通常の画角のカメラで静止画像を撮影した場合、特定の箇所を１枚１枚撮影しても、作業監督Ｗ２にとって状況を判断しやすい画像が撮影されるとは限らないし、望ましくない画像だからといって再度撮影をするとなると非常に手間がかかる。また、うまく撮影したとしても、カメラの画角の範囲から外れた周囲の状況までは分からない。本実施形態では、上記のとおり全方位を映す３６０度カメラで動画を撮影し、特定の箇所を抽出することで、望ましい画像を選ぶことができる。また、全方位の画像は網羅性が高いので、望ましい画像が選べないということも少ないし、撮影後に抽出したい特定の箇所が発生してもその箇所を抽出することができる。

【0096】

また、領域画像データにも特定の箇所が映っているが、必要な箇所だけを見たい場合に領域画像データが示す領域画像から探すのは手間がかかる。本実施形態では、特定の箇所を抽出して特定画像データを出力することで、そのような手間をかけずに特定の箇所の画像を表示させることができる。一方で、特定画像データだけでなく領域画像データも出力されることで、特定画像データからは特定画像が撮影領域のどこを映したものなのか分かりにくい場合でも、領域画像データによって特定画像に映った箇所の位置を把握させることができる。

【0097】

また、上述したように特定画像及び所定情報の対応付けの際に、候補情報を提示することで、適切な候補情報を対応付けるための手間を少なくすることができる。また、本実施形態では、特定画像として、図９に示すチェック箇所が必ず抽出される。これにより、特定画像データをチェックリストとして用いた場合に、どの作業現場でも特定の箇所については必ずチェックが行われるようになり、作業の品質を担保することができる。

【0098】

<その他の実施形態>
撮影領域は、上述したものに限らない。例えば、既存の建物の中、乗り物の中又は屋外の所定のエリア等であってもよい。また、撮像装置は、３６０度カメラに限らず、広角カメラや通常の画角で撮影するカメラが用いられてもよい。また、撮影される画像は、動画像に限らず、連続的に撮影される静止画像であってもよい。

【0099】

また、領域画像データは、図８に示すものに限らない。例えば、図面や位置画像が重畳されていない、領域画像だけを示すデータであってもよい。その場合、位置画像を選択する操作とは異なる操作によって、移動経路に沿った視点の移動が可能となっていればよい。また、特定画像データは、図１２に示すものに限らない。例えば、撮影のたびに特定の箇所を異ならせたデータであってもよいし、最新の撮影画像から抽出された特定画像だけを示すデータであってもよい。

【0100】

また、所定情報は、チェック箇所の名称に限らず、例えば、作業現場の名称（フロア数又は部屋番号等）、作業工程、撮影者や作業監督の氏名、撮影日時、撮影時の天気又は撮像装置の種類等であってもよい。このように、所定情報としては、特定の箇所がどのような箇所であるか又は特定画像がどのような画像であるかということを示す情報が用いられるとよい。ただし、特定画像と無関係の情報が所定情報として用いられてもよい。

【0101】

<候補画像>
画像処理部１１４は、実施形態とは異なる方法で候補画像を抽出してもよい。画像処理部１１４は、例えば、オペレータＷ３によって指定された特定の範囲の履歴が蓄積されている場合に、その履歴に基づいて候補画像を抽出する。画像処理部１１４は、例えば、撮影領域の同じ箇所が特定の範囲として所定の回数以上指定されている場合、その箇所を含む画像を候補画像として抽出する。

【0102】

また、画像処理部１１４は、マンションのように同じ間取りの部屋がいくつも撮影領域として撮影される場合に、他の同じ間取りの部屋で指定された範囲の画像を候補画像として抽出する。サーバ表示部１１２は、こうして抽出された候補画像をユーザに提示する。この場合、候補画像は、ユーザによって指定された特定の範囲の履歴に基づいて抽出される画像である。このような態様によれば、ユーザによって過去に指定された範囲の特定画像に近い画像が候補画像として提示されるので、特定の範囲の履歴を考慮しない場合に比べて、候補画像の有用性を高めることができる。

【0103】

<候補情報>
対応付け処理部１１８は、実施形態とは異なる方法で候補情報を決定してもよい。対応付け処理部１１８は、例えば、画像処理部１１４により抽出された特定画像からそこに映っている箇所を認識し、認識した箇所の情報を候補情報として決定する。対応付け処理部１１８は、例えば、パターン画像を用いた画像認識により、扉、階段、照明、窓又は洗面所等を認識し、それらの名称を候補情報として決定する。

【0104】

この場合、候補情報は、画像処理部１１４により抽出された特定画像に映っている箇所に基づいて決まる情報となる。このような態様によれば、例えば、作業現場の状況により特定の箇所が変更された場合でも、その箇所に合った情報が候補情報として提示されるので、候補情報が固定されている場合に比べて、候補情報の有用性を高めることができる。

【0105】

また、対応付け処理部１１８は、例えば、過去に特定画像に対応付けられた所定情報を候補情報として決定してもよい。また、対応付け処理部１１８は、同じ作業現場だけでなく、同じ間取りの作業現場において過去に用いられた所定情報を候補情報として決定してもよい。いずれの場合も、候補情報は、過去の所定情報に基づいて決まる情報となる。このような態様によれば、例えば、作業現場の状況により追加された所定情報でも候補情報として提示されるので、候補情報が固定されている場合に比べて、候補情報の有用性を高めることができる。

【0106】

<画像の絞り込み>
現場管理支援システム１においては、移動経路の推定も、特定画像の抽出も、撮像装置３０により撮影された複数の画像（撮影画像）に基づいて行われる。その際に、より映りの良い撮影画像への絞り込みが行われてもよい。映りの良さは、例えば、写真のピンボケを判定する周知の技術（高速フーリエ変換、機械学習、オープンソース等）を用いて行うことができる。

【0107】

例えば、画像処理部１１４は、画像取得部１１３により取得された複数の画像のうち第１規則に基づいて絞り込まれた画像に基づいて移動経路の推定を行う。また、画像処理部１１４は、画像取得部１１３により取得された複数の画像のうち第２規則に基づいて絞り込まれた画像から特定画像を抽出する。そして、第２規則は、第１規則とは異なる規則であってもよい。

【0108】

第１規則は、例えば、撮影画像の全体で映りが良い画像に絞り込む規則である。一方、第２規則は、撮影画像のうち特定の箇所の映りが良い画像に絞り込む規則である。１つの画像でも、映りの良い部分と悪い部分が混在している場合がある。そのため、全体としては映りが良いが、特定の箇所の映りが悪いということや、特定の箇所の映りは良いが、全体としては映りが悪いということが起こりうる。そこで、第１規則及び第２規則を上記のとおり用いることで、移動経路の推定精度を高めつつ、映りの良い特定画像が抽出されるようにすることができ、移動経路の推定精度と抽出画像の品質とを両立することができる。

【0109】

なお、第１規則及び第２規則は、上記規則に限らない。例えば、第１規則は、特徴点が閾値以上である画像に絞り込む規則であり、第２規則は、特徴点の数に関係なく画像を絞り込む規則である。ＶＳＬＡＭによる自己位置推定は、画像の特徴点が多いほど精度が向上する。一方、特定の箇所が壁や床である場合などは特徴点が極めて少なくなる。そこで、第１規則及び第２規則を上記のとおり異ならせることで、移動経路の推定精度と抽出画像の品質とを両立することができる。

【0110】

なお、第１規則及び第２規則は、同じ規則であってもよい。その場合でも、絞り込みを行わない場合に比べれば、移動経路の推定精度も抽出画像の品質も向上させることができる。また、上記の画像の絞り込みは、候補画像を抽出する際に用いられてもよい。その場合、画像処理部１１４は、第２規則（第１規則でもよい）に基づいて撮影画像を絞り込み、絞り込まれた撮影画像から、実施形態と同様に、候補画像を抽出する。この場合も、抽出画像の品質も向上させることができる。

【0111】

<自動抽出>
画像処理部１１４は、実施形態では、特定の範囲をユーザが指定するという手動の作業を経て特定画像を抽出したが、手動の作業を経ずに自動で特定画像を抽出してもよい。その場合、画像処理部１１４は、例えば、候補画像の抽出方法をそのまま用いて、特定画像を抽出してもよい。画像処理部１１４は、例えば、実施形態と同様に、図９に示すチェック箇所の撮影情報に基づいて新たな特定画像を抽出する。

【0112】

また、画像処理部１１４は、例えば、抽出した特定画像の履歴に基づいて、同じ箇所を特定の箇所として含む新たな特定画像を抽出する。また、画像処理部１１４は、ユーザによって指定された特定の範囲の履歴に基づいて、過去に指定された範囲を特定の箇所として含む新たな特定画像を抽出する。

【0113】

図１４は、自動抽出処理のフロー図の一例を示す図である。サーバ装置１０は、まず、Ｓ１１において、画像取得部１１３により、撮影画像を取得する。次に、サーバ装置１０は、Ｓ１２において、画像処理部１１４により、撮像装置３０の移動経路を推定する。続いて、サーバ装置１０は、Ｓ１３において、データ生成部１１５により、領域画像データを生成する。次に、サーバ装置１０は、Ｓ１４において、画像処理部１１４により、撮影画像から特定画像を抽出する。続いて、サーバ装置１０は、Ｓ１５において、対応付け処理部１１８により、所定情報を決定する。

【0114】

Ｓ１４及びＳ１５では、図７の例とは異なり、ユーザによる操作がなくとも特定画像が抽出され、所定情報が決定される。続いて、サーバ装置１０は、Ｓ１６において、データ生成部１１５により、特定画像データを生成する。そして、サーバ装置１０は、Ｓ１７において、監督端末４０又はオペレータ端末５０からの要求に応じて、領域画像データ及び特定画像データを出力する。

【0115】

このような態様によれば、候補画像を提示する場合に比べても、特定画像データを生成する際の手間をさらに少なくすることができる。なお、画像処理部１１４は、特定画像を抽出する際に、上述した第２規則を用いて撮影画像を絞り込むことで、映りの良い画像を特定画像として抽出してもよい。また、画像処理部１１４は、過去の特定画像を教師データとした機械学習を行ったＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）の技術によって特定画像を抽出してもよい。

【0116】

また、作業現場の平面図等の図面情報には、特定の箇所の位置を示す位置情報が含まれている場合がある。その場合に、画像処理部１１４は、図面情報から特定の箇所が指定されると、指定された箇所の位置情報及び推定された移動経路に基づいて、その箇所が画角に含まれている可能性が高い撮影位置から撮影された撮影画像を特定してもよい。なお、サーバ表示部１１２が図面情報及び移動経路をユーザに提示して、ユーザが、同様の撮影位置を特定することで、特定した撮影位置から撮影された撮影画像を特定してもよい。

【0117】

そして、画像処理部１１４が、特定された撮影画像から、特定の箇所が映っている部分を認識し、認識した部分を特定画像として抽出する。なお、特定された撮影画像をサーバ表示部１１２がユーザに提示することで、ユーザが、特定の箇所が映っている部分を指定し、画像処理部１１４が、指定された部分を特定画像として抽出してもよい。これらの態様によれば、図面情報に示されている箇所であれば、特定画像を容易に抽出することができる。

【0118】

<自動対応付け>
対応付け処理部１１８は、実施形態では、特定画像に対応付けて所定情報を指定するという手動の作業を経て所定情報を対応付けたが、手動の作業を経ずに自動で所定情報を対応付けてもよい。その場合、対応付け処理部１１８は、例えば、抽出された特定画像と同じ特定の箇所を撮影した特定画像の履歴に対して対応付けられた所定情報を、抽出された特定画像に対応付ける所定情報として決定する。

【0119】

また、対応付け処理部１１８は、上記のとおり特定画像に対応付ける所定情報を決定すると、その特定画像と同じ撮影情報から抽出された別の箇所の画像に対応付ける所定情報として、その所定情報の近辺に存在する所定情報を決定する。例えば、対応付け処理部１１８は、特定画像に「台所の壁」という所定情報が対応付けられると、別の箇所の画像（例えば台所の床、天井）に対応付ける所定情報として、「台所の壁」の近辺に存在する「台所の床」又は「台所の天井」を決定する。

【0120】

また、対応付け処理部１１８は、特定画像に映っている箇所を画像認識技術により特定し、特定した箇所の名称等を所定情報として決定してもよい。対応付け処理部１１８は、具体的には、所定情報に対応付けられたパターン画像（所定情報が「玄関」であれば玄関を様々な方向から撮影したパターン画像）を用いて特定画像に映っている箇所を特定し、特定した箇所のパターン画像に対応付けられた所定情報を、その特定画像に対応付ける所定情報として決定する。

【0121】

このような態様によれば、候補情報を提示する場合に比べても、特定画像データを生成する際の手間をさらに少なくすることができる。なお、対応付け処理部１１８は、過去の特定画像に対応付けられた所定情報を教師データとした機械学習を行ったＡＩの技術によって所定情報の対応付けを行ってもよい。

【0122】

また、作業現場の平面図等の図面情報には、各場所の名称等が所定情報として含まれている場合がある。その場合に、対応付け処理部１１８は、特定画像が示す特定の箇所に対応する所定情報を図面情報から推定してもよい。対応付け処理部１１８は、例えば、特定画像が撮影された撮影位置及び画角情報から特定の箇所の図面上の位置を特定し、その位置を含む場所の名称等を所定情報として決定する。

【0123】

なお、サーバ表示部１１２が図面情報をユーザに提示して、対応付け処理部１１８が、提示された図面情報からユーザ（オペレータＷ３又は作業監督Ｗ２等）が指定した場所の名称等を所定情報として決定してもよい。これらの態様によれば、図面情報に示されている所定情報であれば、特定画像との対応付けを容易に行うことができる。

【0124】

<広範囲画像の抽出>
画像処理部１１４は、特定画像の抽出の際に、特定の箇所が映る範囲よりも所定の割合（以下「画像割合」と言う）だけ広い範囲の画像を特定画像として抽出してもよい。この場合、データ生成部１１５は、特定の箇所を示しつつ、所定の操作（フリック等）が行われるとその箇所の周囲も示すデータを、特定画像データとして生成する。これにより、特定の箇所の周囲を見たくなった場合に、その周囲を容易に表示させることができる。

【0125】

また、上記の画像割合を、撮影領域の広さ、出力された領域画像データの利用度又は出力された特定画像データの利用度に応じた値としてもよい。画像処理部１１４は、例えば、撮影領域が広いほど、画像割合を大きくして特定画像を抽出する。撮影領域が広いほど、特定の箇所の周囲の空間も広くなるので、確認すべき周囲の画像も大きくなる。

【0126】

また、画像処理部１１４は、領域画像データ又は特定画像データの利用度が高いほど、画像割合を大きくして特定画像を抽出する。ここでいう利用度は、領域画像データ又は特定画像データの利用時間が長いほど又は利用頻度が多いほど、高くなる。これらの利用度が高いほど、特定の箇所の周囲を見る機会も増えやすく、より広い範囲を見たい状況が発生する可能性が高くなる。以上のとおり、画像割合を変動させることで、画像割合が一定の場合に比べて、必要に応じた広さの範囲の状況を確認することができる。

【0127】

<特定画像のリコメンド>
特定画像がリコメンドされてもよい。例えば、画像処理部１１４は、ユーザによって特定の範囲が指定された場合に、指定された範囲の画像を抽出するだけでなく、その範囲と空間的に隣接する領域から、特定画像として利用できそうな画像をリコメンド画像として抽出する。画像処理部１１４は、例えば、台所の壁が指定された場合、台所の床及び天井の画像をリコメンド画像として抽出する。また、画像処理部１１４は、或る撮影位置で撮影された撮影画像から特定の範囲が指定された場合、その位置の前後の位置で撮影された撮影画像から同じ範囲の画像をリコメンド画像として抽出する。

【0128】

サーバ表示部１１２は、こうして抽出されたリコメンド画像を、特定画像とともにユーザに提示する。ユーザは、特定画像に加えて又は特定画像に代えて、リコメンド画像を特定画像とすることを指示する操作を行う。データ生成部１１５は、指示されたリコメンド画像を特定画像として含む特定画像データを生成する。このような態様によれば、リコメンド画像が提示されない場合に比べて、特定画像データの有用性を高めることができる。

【0129】

<領域画像データでチェック>
データ生成部１１５は、特定画像としてチェック箇所が抽出される場合に、特定の箇所が表示される場合にチェック結果を入力するためのチェック用画像がともに表示されるデータを領域画像データとして生成してもよい。

【0130】

図１５は、表示されたチェック用画像の一例を示す図である。図１５の例では、表示制御部４１１が、表示画像Ａ４１に、チェック用画像Ｍ１４－４及びＭ１５－４を表示している。チェック用画像Ｍ１４－４は、特定画像Ｆ１４－４のチェック結果を入力するための画像であり、チェック用画像Ｍ１５－４は、特定画像Ｆ１５－４のチェック結果を入力するための画像である。ＤＢ制御部１１１は、チェック用画像への入力が行われると、入力された内容を、図１２に示すチェックリストＨ１のチェック結果にも反映する。このような態様によれば、特定画像データにしかチェック結果を入力できない場合に比べて、特定の箇所をチェックする際の手間を少なくすることができる。

【0131】

<その他>
画像処理部１１４は、新たな範囲が特定の範囲として指定された場合に、過去に撮影された撮影画像から、同じ範囲の画像を過去の特定画像として抽出してもよい。データ生成部１１５は、抽出された現在の特定画像と過去の特定画像とを含む特定画像データを生成する。これにより、新たに指定された範囲についても過去の画像を比較することができる。

【0132】

また、データ生成部１１５は、構造が共通する複数の撮影領域（例えば同じマンションの同じ間取りの部屋）で撮影された撮影画像から抽出された共通の箇所を示す特定画像を比較可能に表したデータを特定画像データとして生成してもよい。このように比較対象を並べることで、作業の状況を判断しやすくすることができる。

【0133】

また、サーバ表示部１１２は、図１２に示すようなチェックリストを表示する場合に、過去の類似する特定画像に対するチェック結果を合わせて表示させてもよい。例えば、サーバ表示部１１２は、他の撮影画像から抽出された玄関の画像及びそのチェック結果を、玄関の特定画像Ｆ１１－４及びそのチェック結果に並べて表示させる。これにより、チェック結果の入力を簡単にすることができる。

【0134】

また、例えば画像処理部１１４は、過去の類似する特定画像に対するチェック結果に基づいて、チェック対象となっている特定画像についてのチェック結果を判断してもよい。画像処理部１１４は、例えば、作業進捗が「○」とチェックされた特定画像と類似する場合はチェック結果を「○」と判断し、作業進捗が「×」とチェックされた特定画像と類似する場合はチェック結果を「×」と判断する。

【0135】

そしてサーバ表示部１１２が、画像処理部１１４による判断結果をチェックリストに表示させ、又は、ユーザにより入力されたチェック結果が画像処理部１１４による判断結果と異なる場合にアラートを表示させることで、ユーザによるチェックの支援を行ってもよい。また、ＤＢ制御部１１１が、ユーザによるチェックがなくとも、画像処理部１１４が判断した結果をチェック結果としてチェックリストＨ１に反映してもよい。これらの態様によれば、画像処理部１１４によるチェック結果の判断が行われない場合に比べて、特定の箇所のチェックの手間を少なくすることができる。

【0136】

また、撮像装置３０は、作業現場に設置されていなくてもよい。例えば、現場作業員Ｗ１等のユーザが、現場端末２０及び撮像装置３０を作業現場に持って行き撮影を行い、撮像装置３０から現場端末２０に撮影画像データを送信させ、事務所又は自宅のＷｉＦｉルータに現場端末２０を接続させて撮影画像データをサーバ装置１０に転送させる（移動体通信で転送させてもよい）。この場合、現場管理支援システム１は、通信回線２と、自撮り棒３と、サーバ装置１０と、現場端末２０と、撮像装置３０と、監督端末４０と、オペレータ端末５０とを備えていればよい。

【0137】

また、撮像装置３０は、例えば、ヘルメットに広角カメラを取り付けた装置であってもよい。その場合、人間がいる鉛直下方は死角になるが、その他の方向は撮影可能な撮像装置とすることができる。また、撮像装置３０から現場端末２０への撮影画像データの移動を、無線通信ではなくＭｉｃｒｏＳＤカード等の記録媒体経由で行ってもよいし、ＴｙｐｅＣ等の通信ケーブル経由で行ってもよい。また、撮像装置３０が、サーバ装置１０に直接撮影画像データを送信してもよいし、現場端末２０以外の装置を介して撮影画像データをサーバ装置１０に転送させてもよい。

【0138】

また、実施形態で述べた手動の作業（特定の範囲を指定する作業及び特定画像に対応付けて所定情報を指定する作業）を行うユーザは、オペレータＷ３に限らない。例えば、作業監督Ｗ２が行ってもよいし、現場作業員Ｗ１が行ってもよい。また、作業事業者に所属する他の作業員や作業事業者に委託された外注業者が行ってもよい。

【0139】

<構成のバリエーション>
現場管理支援システム１は、ブレーカ６がオフにされない作業現場であれば、現場端末２０及び撮像装置３０が外付けバッテリー４を介さずに外部電源５と接続されていてもよい。また、現場端末２０は、実施形態では、ブレーカ６がオフされた場合でも移動体通信でサーバ装置１０に測定データを送信していたが、ブレーカ６がオフされない場合は、Ｗｉ－Ｆｉルータを作業現場に設置することで、Ｗｉ－Ｆｉ通信によりサーバ装置１０に測定データを送信してもよい。

【0140】

また、例えば、サーバ装置１０は、２台以上の装置に分散されてもよいし、クラウドコンピューティングシステムに代替されてもよい。また、現場端末２０及び撮像装置３０が統合されてもよい。また、図６に示す機能構成も一例であり、これに限られない。例えば、サーバ装置１０、現場端末２０及び撮像装置３０の機能がそれぞれ２台以上の装置に分散して実現されてもよい。

【0141】

また、１つの機能が行う動作を２以上の機能が分散して行ってもよいし、２以上の機能が１つの機能に統合されてもよい。要するに、現場管理支援システム１の全体で図６に示す各機能が実現されていれば、それらの機能を実現する装置はどのような構成であってもよい。

【0142】

上述した実施形態の態様は、サーバ装置１０のような情報処理装置や、サーバ装置１０を備える現場管理支援システム１のような情報処理システムであったが、情報処理方法であってもよい。その情報処理方法は、その情報処理システムが実行する各処理のステップを備える。また、上述した実施形態の態様は、プログラムであってもよい。そのプログラムは、コンピュータに、同様の情報処理システムが実行する各処理を実行させる。

【0143】

<付記>
さらに、次に記載の各態様で提供されてもよい。

【0144】

（１）情報処理システムであって、次の各ステップがなされるようにプログラムを実行可能なプロセッサを備え、取得ステップでは、撮像装置が撮影領域を移動しながら移動経路の各位置において撮影した複数の画像を取得し、推定ステップでは、取得された前記複数の画像に基づいて前記移動経路の推定を行い、領域出力ステップでは、取得された前記複数の画像を用いて、推定された前記移動経路の各位置から見た前記撮影領域を示す領域画像データを出力し、抽出ステップでは、取得された前記複数の画像に含まれる１以上の画像から、前記撮影領域において特定の箇所が映っている部分を特定画像として抽出し、特定出力ステップでは、抽出された前記特定画像を含む特定画像データを出力する、もの。

【0145】

このような態様によれば、現場の撮影に伴う作業の手間を減らすことができる。

【0146】

（２）上記（１）に記載の情報処理システムにおいて、前記特定出力ステップでは、複数の特定画像を並べたリストを前記特定画像データとして出力し、前記複数の特定画像は、前記特定の箇所が共通し且つ撮影時期が異なる、もの。

【0147】

このような態様によれば、特定箇所の状態の遷移を容易に把握することができる。

【0148】

（３）上記（１）又は（２）に記載の情報処理システムにおいて、指定受付ステップでは、取得された前記複数の画像に含まれる１つの画像のうちの特定の範囲を指定するユーザの第１操作を受け付け、前記抽出ステップでは、前記第１操作により指定された範囲の画像を、前記特定画像として抽出する、もの。

【0149】

このような態様によれば、特定箇所の画像の抽出にユーザの判断を反映することができる。

【0150】

（４）上記（３）に記載の情報処理システムにおいて、第１提示ステップでは、前記特定の範囲の画像の候補を候補画像としてユーザに提示し、前記指定受付ステップでは、提示された前記候補画像を選択する操作を前記第１操作として受け付け、当該第１操作は、当該候補画像が示す範囲を前記特定の範囲として指定する操作である、もの。

【0151】

このような態様によれば、特定箇所の画像を選びやすくすることができる。

【0152】

（５）上記（４）に記載の情報処理システムにおいて、前記候補画像は、抽出された前記特定画像の履歴又は指定された前記特定の範囲の履歴に基づいて決まる、もの。

【0153】

このような態様によれば、候補画像の有用性を高めることができる。

【0154】

（６）上記（１）～（５）のいずれか１つに記載の情報処理システムにおいて、対応受付ステップでは、抽出された前記特定画像と、所定情報とを対応付けるユーザの第２操作を受け付け、前記特定出力ステップでは、抽出された前記特定画像と、前記第２操作により当該特定画像に対応付けられた所定情報とを並べたリストを前記特定画像データとして出力する、もの。

【0155】

このような態様によれば、人が判断した情報を特定画像に対応付けることができる。

【0156】

（７）上記（６）に記載の情報処理システムにおいて、第２提示ステップでは、前記所定情報の候補を示す候補情報をユーザに提示し、前記対応受付ステップでは、提示された前記候補情報を選択する操作を前記第２操作として受け付け、当該第２操作は、当該候補情報を前記所定情報として前記特定画像に対応付ける操作である、もの。

【0157】

このような態様によれば、特定画像と所定情報との対応付けの手間を少なくすることができる。

【0158】

（８）上記（７）に記載の情報処理システムにおいて、前記候補情報は、抽出された前記特定画像に映っている箇所又は過去の前記所定情報に基づいて決まる情報である、もの。

【0159】

このような態様によれば、候補情報の有用性を高めることができる。

【0160】

（９）上記（１）～（８）のいずれか１つに記載の情報処理システムにおいて、前記推定ステップでは、取得された前記複数の画像のうち第１規則に基づいて絞り込まれた画像に基づいて前記推定を行い、前記抽出ステップでは、取得された前記複数の画像のうち第２規則に基づいて絞り込まれた画像から前記特定画像を抽出し、前記第２規則は、前記第１規則とは異なる、もの。

【0161】

このような態様によれば、移動経路の推定精度と抽出画像の品質とを両立することができる。

【0162】

（１０）上記（１）～（９）のいずれか１つに記載の情報処理システムにおいて、前記特定出力ステップでは、前記特定の箇所の画像から前記領域画像データが示す画像のうち当該箇所を示す画像へのリンクを含むデータを前記特定画像データとして出力する、もの。

【0163】

このような態様によれば、特定の箇所の周囲の画像を容易に確認することができる。

【0164】

（１１）上記（１）～（１０）のいずれか１つに記載の情報処理システムにおいて、前記領域出力ステップでは、前記特定の箇所に対応する位置で撮影された画像から前記特定画像データの当該箇所の画像へのリンクを含むデータを前記領域画像データとして出力する、もの。

【0165】

このような態様によれば、該当箇所の画像を容易に出力させることができる。

【0166】

（１２）上記（１）～（１１）のいずれか１つに記載の情報処理システムにおいて、前記抽出ステップでは、前記特定の箇所が映る範囲よりも所定の割合だけ広い範囲の画像を前記特定画像として抽出し、前記割合は、前記撮影領域の広さ、出力された領域画像データの利用度又は出力された前記特定画像データの利用度に応じた値である、もの。

【0167】

このような態様によれば、必要に応じた範囲の状況を確認することができる。
もちろん、この限りではない。
また、上述した実施形態及び変形例を任意に組み合わせて実施するようにしてもよい。

【0168】

最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0169】

１ ：現場管理支援システム
２ ：通信回線
１０ ：サーバ装置
２０ ：現場端末
３０ ：撮像装置
４０ ：監督端末
５０ ：オペレータ端末
１１１ ：ＤＢ制御部
１１２ ：サーバ表示部
１１３ ：画像取得部
１１４ ：画像処理部
１１５ ：データ生成部
１１６ ：データ出力部
１１７ ：ユーザ受付部
１１８ ：対応付け処理部
４１１ ：表示制御部
４１２ ：操作受付部
５１１ ：表示制御部
５１２ ：操作受付部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】