特開 2024-100173 情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024100173

(43)【公開日】2024-07-26

(54)【発明の名称】情報処理システム

(51)【国際特許分類】

   G06Q 50/08 20120101AFI20240719BHJP

【ＦＩ】

G06Q50/08

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023003974

(22)【出願日】2023-01-13

(71)【出願人】

【識別番号】520305432

【氏名又は名称】株式会社ＳｏｆｔＲｏｉｄ

(74)【代理人】

【識別番号】110002789

【氏名又は名称】弁理士法人ＩＰＸ

(72)【発明者】

【氏名】野▲埼▼ 大幹

(72)【発明者】

【氏名】大川（山田） 駿

(72)【発明者】

【氏名】吉田 岳人

【テーマコード（参考）】

5L049

5L050

【Ｆターム（参考）】

5L049CC07

5L050CC07

(57)【要約】

【課題】作業現場に関するデータ化を促進することが可能な情報処理システム等を提供すること。
【解決手段】本発明の一態様によれば、情報処理システムが提供される。この情報処理システムは、プロセッサを備え、プロセッサが、現場取得ステップでは、構造物に関する作業が行われる現場を測定装置が測定した測定結果を取得し、測定装置は、物体から届く電磁波を測定するセンサを有する。解析ステップでは、取得された測定結果に基づき所定の解析処理を実行する。蓄積ステップでは、実行された解析処理の結果を蓄積する。
【選択図】図１

【特許請求の範囲】

【請求項1】

情報処理システムであって、
プロセッサを備え、前記プロセッサが、
現場取得ステップでは、構造物に関する作業が行われる現場を測定装置が測定した測定結果を取得し、前記測定装置は、物体から届く電磁波を測定するセンサを有し、
解析ステップでは、取得された前記測定結果に基づき所定の解析処理を実行し、
蓄積ステップでは、実行された前記解析処理の結果を蓄積する、
情報処理システム。

【請求項2】

請求項１に記載の情報処理システムにおいて、
前記プロセッサが、
作業取得ステップでは、前記作業に関する作業情報を取得し、
前記解析ステップでは、取得された前記測定結果と取得された前記作業情報とに基づき前記解析処理を実行する、
情報処理システム。

【請求項3】

請求項１に記載の情報処理システムにおいて、
前記プロセッサが、
前記現場取得ステップでは、全方位を撮影可能な撮像装置で撮影された画像を前記測定結果として取得する、
情報処理システム。

【請求項4】

請求項２に記載の情報処理システムにおいて、
前記作業情報には、前記作業の予定を示す予定情報が含まれ、
前記プロセッサが、
前記解析ステップでは、取得された前記測定結果が示す現場の状況と取得された前記作業情報が示す予定とに基づいて、前記作業の進捗を解析する処理を前記解析処理として実行する、
情報処理システム。

【請求項5】

請求項４に記載の情報処理システムにおいて、
前記作業情報には、前記作業を行う作業者に関する情報が含まれ、
前記プロセッサが、
前記解析ステップでは、前記進捗の解析処理の結果と取得された前記作業情報とに基づいて、当該作業情報が示す作業者の施工能力を解析する処理を前記解析処理として実行する、
情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システムに関する。

【背景技術】

【0002】

特許文献１には、建設現場のアルバム作成担当者等はディジタルカメラを用いて工事の写真を撮影し、この撮影された工事写真データを作業所端末から管理統括用センターのサーバに伝送し、サーバ側及び／またはサーバが依頼した入力依頼端末で工事写真の分類整理及びこの工事写真に対する写真説明用の情報入力作業を、表示部に拡大表示された説明用黒板の記載内容を見ながら実行する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１－６５３２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

建築等の作業が行われる現場でも、作業の効率化等のため、データ化が望まれている。

【0005】

本発明では上記事情に鑑み、作業現場に関するデータ化を促進することが可能な情報処理システム等を提供することとした。

【課題を解決するための手段】

【0006】

本発明の一態様によれば、情報処理システムが提供される。この情報処理システムは、プロセッサを備え、プロセッサが、現場取得ステップでは、構造物に関する作業が行われる現場を測定装置が測定した測定結果を取得し、測定装置は、物体から届く電磁波を測定するセンサを有する。解析ステップでは、取得された測定結果に基づき所定の解析処理を実行する。蓄積ステップでは、実行された解析処理の結果を蓄積する。

【0007】

このような態様によれば、作業現場に関するデータ化を促進することができる。

【図面の簡単な説明】

【0008】

【図1】現場管理支援システム１の全体構成を示す図である。

【図2】支援サーバ装置１０のハードウェア構成を示す図である。

【図3】現場端末２０のハードウェア構成を示す図である。

【図4】撮像装置３０のハードウェア構成を示す図である。

【図5】監督端末４０のハードウェア構成を示す図である。

【図6】支援サーバ装置１０の制御部の機能構成の一例を示す図である。

【図7】各装置の制御部の機能構成の一例示す図である。

【図8】撮影画像処理の一例を示すアクティビティ図である。

【図9】表示された領域画像の一例を示す図である。

【図10】特定画像データベースの一例を示す図である。

【図11】表示された候補画像の一例を示す図である。

【図12】表示された候補情報の一例を示す図である。

【図13】表示された特定画像データの一例を示す図である。

【図14】表示された領域画像の一例を示す図である。

【図15】自動抽出処理のフロー図の一例を示す図である。

【図16】表示されたチェック用画像の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。

【0010】

ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体（Ｎｏｎ－Ｔｒａｎｓｉｔｏｒｙ Ｃｏｍｐｕｔｅｒ－Ｒｅａｄａｂｌｅ Ｍｅｄｉｕｍ）として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。

【0011】

また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０又は１で構成される２進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。

【0012】

また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。

【0013】

１．ハードウェア構成
本節では、本実施形態に係る工事支援システムのハードウェア構成について説明する。

【0014】

図１は、現場管理支援システム１の全体構成を示す図である。図１においては、現場管理支援システム１が備える各装置と、それらの装置を使用するユーザとの概要が示されている。各概要については、他の図も参照しながら随時説明する。

【0015】

現場管理支援システム１は、建築、建造又は工事等の現場における作業の管理を支援するための処理を実行する情報処理システムである。現場管理支援システム１は、通信回線２と、自撮り棒３と、外付けバッテリー４と、外部電源５と、ブレーカ６と、支援サーバ装置１０と、現場端末２０と、撮像装置３０と、監督端末４０と、オペレータ端末５０と、業務サーバ装置６０とを備える。

【0016】

通信回線２は、インターネット等を含み、自回線に接続する装置同士のデータのやり取りを仲介する。通信回線２には、支援サーバ装置１０及び業務サーバ装置６０が有線で接続され、現場端末２０及び監督端末４０が無線で接続されている。本実施形態では、現場端末２０は、移動体通信で通信回線２と通信を行う。また、現場端末２０は、撮像装置３０と２通りの通信方法を用いて無線通信を行う。２通りの通信方法は、本実施形態では、Ｗｉ－Ｆｉ通信及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）通信である。

【0017】

現場端末２０及び撮像装置３０は、例えば、現場作業員Ｗ１によって利用される端末であり、作業現場に設置され、現場の撮影に関する処理を実行する。監督端末４０は、例えば、作業現場を担当する作業監督Ｗ２によって利用される端末であり、作業の進捗等を管理するための処理を実行する。オペレータ端末５０は、例えば、現場管理支援システム１のオペレータＷ３によって利用される端末であり、撮像装置３０によって撮影された画像に関する様々な操作を受け付ける。

【0018】

現場端末２０は、ケーブルによって、外付けバッテリー４を介して外部電源５と接続されている。撮像装置３０は、ケーブル及びコネクタ７によって、外付けバッテリー４を介して外部電源５と着脱可能に接続されている。言い換えると、外部電源５は、着脱可能に接続される撮像装置３０にも電力を供給する。外付けバッテリー４は、充電しながら給電を行うことが可能ないわゆるパススルー機能を有しており、ブレーカ６がオンになった状態では外部電源５から供給される電力で充電されながら現場端末２０及び撮像装置３０への給電を行う。

【0019】

撮像装置３０は、イメージセンサを備えるデジタルカメラであり、イメージセンサにより測定された光が示す画像を撮影する。撮像装置３０は、本実施形態では、上下左右前後の全方位を撮影可能な３６０度カメラ（全方位カメラ又は全天球カメラとも言う）である。撮像装置３０は、自撮り棒３に取り付けられており、その自撮り棒３は、作業現場に設置されたスタンド８に差し込んで固定することができるようになっている。

【0020】

現場作業員Ｗ１がコネクタ７を外してスタンド８から抜き取った自撮り棒３を持って作業現場を歩き回ることで、作業現場を撮影領域として３６０度カメラで撮影した画像を示す撮影画像データが生成される。現場管理支援システム１においては、撮像装置３０が撮影する画像は、本実施形態では動画像であるが、作業現場の各所の画像を得ることができるのであれば、連続して撮影される静止画像であってもよい。撮像装置３０は、生成した撮影画像データを現場端末２０に送信する。

【0021】

現場端末２０は、現場作業員Ｗ１への主なユーザインターフェースとなる端末であり、例えば、スマートフォンである。現場端末２０は、例えば、上記の２通りの通信方法のうちの一方（本実施形態ではＢＬＥ通信）を用いて、撮像装置３０の動作を制御する。また、現場端末２０は、上記の２通りの通信方法のうちの一方（本実施形態ではＷｉ－Ｆｉ通信）により撮像装置３０から送信されてきた撮影画像データを、さらに別の無線通信（本実施形態では移動体通信）を用いて支援サーバ装置１０に転送する。

【0022】

支援サーバ装置１０は、現場端末２０から送信されてきた撮影画像データが示す作業現場の画像を用いた画像処理を行い、例えば、撮像装置３０が撮影を行った位置から見た作業現場の画像を撮影領域の画像として示す領域画像データを生成する。監督端末４０は、生成された領域画像データを参照し、作業現場の様々な箇所の画像を表示する。作業監督Ｗ２は、表示された作業現場の画像から現場の様子を把握し、必要に応じて現場の現場作業員Ｗ１に対して作業の指示を行う。

【0023】

作業現場によっては、作業の終了後に節電等の理由でブレーカ６がオフにされる場合がある。その場合、ブレーカ６をオフにしたあとは外部電源５から電力が供給されなくなる。このように、外部電源５は、電力供給の有無が切り替えられる。現場端末２０及び撮像装置３０にも内蔵バッテリーがあるのですぐに停止する訳ではないが、画像データの送信など時間がかかる処理もある。そこで、本実施形態では、外付けバッテリー４を設けることで、ブレーカ６がオフにされたあとの現場端末２０及び撮像装置３０の稼働時間を増やすようにしている。

【0024】

オペレータ端末５０は、撮像装置３０により撮影された現場の画像から、特定の箇所が映っている部分を特定画像として抽出するためのオペレータＷ３による操作を受け付ける。本実施形態では、作業工程の進捗を確認するためにチェックすべき箇所が特定の箇所として用いられる。支援サーバ装置１０は、オペレータ端末５０へのオペレータＷ３の操作に基づいて、特定画像を抽出し、抽出した特定画像を示す特定画像データを出力する。特定画像データは、本実施形態では、特定の箇所をリスト化したチェックリストである。監督端末４０は、出力された特定画像データ（チェックリスト）を表示し、例えば、作業監督Ｗ２による作業進捗のチェック操作を受け付ける。

【0025】

図２は、支援サーバ装置１０のハードウェア構成を示す図である。支援サーバ装置１０は、制御部１１と、記憶部１２と、通信部１３と、バス１４とを備える。バス１４は、支援サーバ装置１０が備える各部を電気的に接続する。

【0026】

（制御部１１）
制御部１１は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）である。制御部１１は、記憶部１２に記憶された所定のプログラムを読み出すことによって、現場管理支援システム１に係る種々の機能を実現するコンピュータである。すなわち、記憶部１２に記憶されているソフトウェアによる情報処理が、ハードウェアの一例である制御部１１によって具体的に実現されることで、制御部１１に含まれる各機能部として実行されうる。これらについては、次節においてさらに詳述する。なお、制御部１１は単一であることに限定されず、機能ごとに複数の制御部１１を有するように実施してもよい。またそれらの組合せであってもよい。

【0027】

（記憶部１２）
記憶部１２は、前述の記載により定義される様々な情報を記憶する。これは、例えば、制御部１１によって実行される現場管理支援システム１に係る種々のプログラム等を記憶するソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。記憶部１２は、制御部１１によって実行される現場管理支援システム１に係る種々のプログラムや変数等を記憶している。

【0028】

（通信部１３）
通信部１３は、支援サーバ装置１０から種々の電気信号を外部の構成要素に送信可能に構成される。また、通信部１３は、外部の構成要素から支援サーバ装置１０への種々の電気信号を受信可能に構成される。さらに好ましくは、通信部１３がネットワーク通信機能を有し、これにより通信回線２を介して、支援サーバ装置１０と外部機器との間で種々の情報を通信可能に実施してもよい。

【0029】

業務サーバ装置６０は、支援サーバ装置１０と同様に、制御部６１（制御部６１のみ支援サーバ装置１０と異なる符号を付している）等のハードウェアを備える。

【0030】

図３は、現場端末２０のハードウェア構成を示す図である。現場端末２０は、制御部２１と、記憶部２２と、通信部２３と、入力部２４と、出力部２５と、内部電源部２６と、バス２７とを備える。バス２７は、現場端末２０が備える各部を電気的に接続する。制御部２１及び記憶部２２は、図２に示す制御部１１及び記憶部１２と性能の違いはあるが同様のハードウェアである。

【0031】

（通信部２３）
通信部２３は、第１通信部２３１と、第２通信部２３２と、第３通信部２３３とを備え、３通りの無線通信を行う無線通信部の一例である。第１通信部２３１は、第１無線通信として、本実施形態ではＷｉ－Ｆｉ通信による無線通信を行う。第２通信部２３２は、第１無線通信よりも通信速度が遅く且つ消費電力が小さい第２無線通信として、本実施形態ではＢＬＥによる無線通信を行う。第３通信部２３３は、第１無線通信及び第２無線通信よりも通信可能なエリアが広い第３無線通信として、本実施形態では移動体通信による無線通信を行う。

【0032】

（入力部２４）
入力部２４は、キー、ボタン、タッチスクリーン及びマウス等を有し、ユーザによる入力を受け付ける。
（出力部２５）
出力部２５は、ディスプレイ（タッチスクリーン含む）及びスピーカ等を有し、表示面に画面、画像、アイコン、テキスト等といった、ユーザが視認可能な態様で生成された視覚情報を表示し、音声を含む音を出力する。

【0033】

（内部電源部２６）
内部電源部２６は、自装置に内蔵されているバッテリー、すなわち、繰り返し充電可能な電池であり、蓄積した電力を自装置の各部に供給する。内部電源部２６は、自装置とともに持ち運びが可能な可搬電池の一例である。内部電源部２６は、外部電源５から供給される電力により充電される。内部電源部２６は、外付けバッテリー４と同様にパススルー機能を有しており、ブレーカ６がオンになった状態では外部電源５から供給される電力で充電されながら各部に給電を行う。

【0034】

図４は、撮像装置３０のハードウェア構成を示す図である。撮像装置３０は、制御部３１と、記憶部３２と、通信部３３と、入力部３４と、出力部３５と、内部電源部３６と、撮像部３７と、バス３８とを備える。バス３８は、撮像装置３０が備える各部を電気的に接続する。制御部３１から内部電源部３６までの各部は、図３に示す制御部２１から内部電源部２６までの各部と性能の違いはあるが同様のハードウェアである。

【0035】

ただし、通信部３３は、第１通信部３３１及び第２通信部３３２のみを備える。第１通信部３３１は、通信部２３の第１通信部２３１と同様に、第１無線通信として、本実施形態ではＷｉ－Ｆｉ通信による無線通信を行う。第２通信部３３２は、通信部２３の第２通信部２３２と同様に、第１無線通信よりも通信速度が遅く且つ消費電力が小さい第２無線通信として、本実施形態ではＢＬＥによる無線通信を行う。また、出力部３５は、ディスプレイ等に加えてライトを有し、撮影に必要な光量を確保するための光を照射する。入力部３４は、そのライトを点灯させるためのスイッチを有する。

【0036】

（撮像部３７）
撮像部３７は、レンズを含む光学系及びイメージセンサ等を有し、レンズから入射する光を測定して撮影画像データを生成するセンサである。撮像部３７は、本実施形態では、前述したように、超広角レンズ及び複数のイメージセンサを使用して、上下、左右及び前後の全方位を撮影した撮影画像データを生成する。

【0037】

図５は、監督端末４０のハードウェア構成を示す図である。監督端末４０は、制御部４１と、記憶部４２と、通信部４３と、入力部４４と、出力部４５と、バス４６とを備える。バス４６は、監督端末４０が備える各部を電気的に接続する。制御部４１から出力部４５までの各部は、図４に示す制御部３１から出力部３５までの各部と性能の違いはあるが同様のハードウェアである。オペレータ端末５０は、監督端末４０と同様に、制御部５１（制御部５１のみ監督端末４０と異なる符号を付している）等のハードウェアを備える。

【0038】

２．機能構成
本節では、本実施形態の機能構成について説明する。前述の通り、各装置の記憶部に記憶されているソフトウェアによる情報処理がハードウェアの一例である制御部によって具体的に実現されることで、制御部に含まれる各機能部が実行されうる。

【0039】

図６は、支援サーバ装置１０の制御部の機能構成の一例を示す図である。支援サーバ装置１０の制御部１１は、現場取得部１０１と、作業取得部１０２と、現場解析部１０３と、結果蓄積部１０４と、ダッシュボード部１０５と、ツール連携部１０６とを備える。

【0040】

現場取得部１０１は、構造物に関する作業が行われる現場を測定装置が測定した測定結果を取得する現場取得部の一例である。構造物とは、複数の材料及び資材等によって造作されたものであり、建築構造物、土木構造物及び船舶等が含まれる。測定装置は、物体から届く電磁波を測定するセンサを有する装置であり、本実施形態では、イメージセンサを備える撮像装置３０である。撮像装置３０は、イメージセンサにより測定した画像（以下「現場画像」と言う）を測定結果として出力する。現場取得部１０１は、出力された現場画像を測定結果として取得する。

【0041】

作業取得部１０２は、前述した作業に関する作業情報を取得する作業取得部の一例である。作業情報には、現場の図面情報、工程表、資材情報、部材情報、コスト情報及び環境負荷情報等が含まれる。これらの作業情報は、業務に関する情報として業務サーバ装置６０に記憶されている。現場取得部１０１及び作業取得部１０２は、現場作業に関するデータを取得するデータ取得フェーズにおいて処理を実行する。

【0042】

現場解析部１０３は、現場取得部１０１により取得された測定結果（本実施形態では現場画像）と、作業取得部１０２により取得された作業情報とに基づき、所定の解析処理を実行する解析部の一例である。所定の解析処理には、進捗判定処理、施工能力判定処理及びクリティカルパス判定処理等が含まれる。各処理の詳細は後ほど説明する。

【0043】

結果蓄積部１０４は、現場解析部１０３により実行された解析処理の結果を蓄積する蓄積部の一例である。結果蓄積部１０４は、解析処理の結果を、例えば、解析処理に用いられた現場画像が撮影された現場及びその現場画像の撮影日時等に対応付けて蓄積する。結果蓄積部１０４は、解析処理の種類ごとにそれぞれの解析結果（図６の例ではデータＡ、データＢ、・・・、データＸ）を蓄積する。現場解析部１０３及び結果蓄積部１０４は、取得されたデータを整理して蓄積するデータベース化フェーズにおいて処理を実行する。

【0044】

ダッシュボード部１０５は、結果蓄積部１０４により蓄積された解析処理の結果をまとめて表示し、各結果へのアクセスを容易にするダッシュボード機能の一例である。ツール連携部１０６は、業務で使用されている各種のツールと、蓄積された解析処理の結果とを連携させる処理を実行する連携機能の一例である。ダッシュボード部１０５及びツール連携部１０６は、蓄積されたデータを活用するデータ活用フェーズにおいて処理を実行する。

【0045】

続いて、現場取得部１０１が取得する現場画像及び作業取得部１０２が取得する作業情報について詳しく説明する。現場管理支援システム１においては、前述したように、作業監督Ｗ２が現場の様子を把握し、現場作業員Ｗ１に対して作業の指示を行うため、領域画像データが繰り返し生成され、それに関連する情報が生成される。作業現場に関するそれらの情報の生成に関する一連の情報処理の一例と、その情報処理を実行する機能構成の一例とについて、図７以降を参照して説明する。

【0046】

図７は、各装置の制御部の機能構成の一例示す図である。支援サーバ装置１０の制御部１１は、ＤＢ制御部１１１と、サーバ表示部１１２と、画像取得部１１３と、画像処理部１１４と、データ生成部１１５と、データ出力部１１６と、ユーザ受付部１１７と、対応付け処理部１１８とを備える。現場端末２０の制御部２１は、表示制御部２１１と、操作受付部２１２と、稼働制御部２１３と、送信制御部２１４とを備える。撮像装置３０の制御部３１は、表示制御部３１１と、操作受付部３１２と、撮影制御部３１３と、送信制御部３１４とを備える。監督端末４０の制御部４１は、表示制御部４１１と、操作受付部４１２とを備える。オペレータ端末５０の制御部５１は、表示制御部５１１と、操作受付部５１２とを備える。

【0047】

支援サーバ装置１０のＤＢ制御部１１１（ＤＢ：Ｄａｔａｂａｓｅ）は、データベースへのデータの格納及びデータベースからのデータの読み出し等を制御する。ここでいうデータベースは、支援サーバ装置１０に記憶されたデータベースだけでなく、外部装置に記憶されたデータベースであってもよい。データベースには、例えば、撮像装置３０により撮影された画像を示す撮影画像データ及び上述した領域画像データ等が格納される。

【0048】

サーバ表示部１１２は、現場管理支援システム１に関するシステム画面を各端末に表示させるための処理を実行する。サーバ表示部１１２は、例えば、表示用データであるＨＴＭＬ（Ｈｙｐｅｒ Ｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）ファイルの生成及び送信等の処理を行い、システム画面を示すウェブページを監督端末４０等に表示させる。なお、サーバ表示部１１２は、現場管理支援システム１を利用するためのアプリケーションの表示用データの生成及び送信等の処理を行ってもよい。

【0049】

画像取得部１１３は、撮像装置３０により撮影された撮影領域の画像を取得する。画像処理部１１４は、画像取得部１１３により取得された画像に対する画像処理を実行する。画像処理部１１４は、例えば、撮影領域の画像に基づいて、自己位置の推定及び環境地図の作成を同時に行ういわゆるＶｉｓｕａｌ ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）と呼ばれる技術に関する処理を行う。

【0050】

データ生成部１１５は、画像処理部１１４による画像処理の結果に基づくデータを生成する。データ生成部１１５は、例えば、Ｖｉｓｕａｌ ＳＬＡＭの結果に基づいて上述した領域画像データを生成する。データ出力部１１６は、データ生成部１１５により生成されたデータを出力する。データ出力部１１６は、例えば、生成された領域画像データを監督端末４０に対して出力する。ユーザ受付部１１７は、ユーザが利用する端末（例えばオペレータ端末５０）を介して、ユーザによる特定の操作を受け付ける。対応付け処理部１１８は、画像と情報とを対応付けるための処理を実行する。特定の操作と、画像及び情報の対応付けとについては、後ほど詳しく説明する。

【0051】

オペレータ端末５０の表示制御部５１１は、自装置の表示手段への表示処理を制御する。操作受付部５１２は、ユーザ（例えばオペレータＷ３）の操作を受け付ける。操作受付部５１２が受け付ける操作には、前述した特定の操作が含まれる。監督端末４０の表示制御部４１１は、自装置の表示手段への表示処理を制御する。操作受付部４１２は、ユーザ（例えば作業監督Ｗ２）の操作を受け付ける。

【0052】

現場端末２０の表示制御部２１１は、自装置の表示手段への表示処理を制御する。操作受付部２１２は、ユーザ（例えば現場作業員Ｗ１）の操作を受け付ける。稼働制御部２１３は、撮像装置３０の稼働を制御する。送信制御部２１４は、自装置及び撮像装置３０による撮影画像データの送信処理を制御する。

【0053】

撮像装置３０の表示制御部３１１は、自装置の表示手段への表示処理を制御する。操作受付部３１２は、ユーザ（例えば現場作業員Ｗ１）の操作を受け付ける。撮影制御部３１３は、撮像部３７による撮影処理を制御する。送信制御部３１４は、自装置による撮影画像データの送信処理を制御する。

【0054】

３．情報処理
本節では、本実施形態において、プログラムがコンピュータに実行させる情報処理について説明する。現場管理支援システム１は、例えば作業現場を撮影領域として撮影した画像に基づいて各種の処理を行う撮影画像処理を実行する。

【0055】

図８は、撮影画像処理の一例を示すアクティビティ図である。図８に示すアクティビティは、撮像装置３０によって撮影された作業現場の撮影画像データを支援サーバ装置１０が受信することを契機に開始される。まず、支援サーバ装置１０は、Ａ１１において、画像取得部１１３により、撮像装置３０によって撮影された複数の画像を取得する。これらの複数の画像を、以下では、単に「撮影画像」とも言う。

【0056】

撮影画像は、本実施形態では、動画データが示す各フレームであり、３６０度カメラによって撮影された全方位の画像である。また、撮影画像は、現場作業員Ｗ１によって持ち運ばれる撮像装置３０が作業現場を移動しながら移動経路の各位置において撮影した画像である。作業現場は、撮像装置３０が撮影する撮影領域の一例である。画像取得部１１３は、撮影画像を取得する取得部の一例である。

【0057】

<領域画像データの生成>
次に、支援サーバ装置１０は、上述した領域画像データを生成するための処理を行う。まず、支援サーバ装置１０は、Ａ１２において、画像処理部１１４により、画像取得部１１３により取得された撮影画像に基づいて撮像装置３０の移動経路の推定を行う。画像処理部１１４は推定部の一例である。画像処理部１１４は、ＶＳＬＡＭの技術を用いて移動経路を推定する。ＶＳＬＡＭの技術には、例えば、次の２通りの方法がある。

【0058】

１つ目は、間接的に位置を推定する方法（間接法）であり、複数の画像間において特徴点の対応付けを行うことで、特徴点の位置とカメラの位置とを推定する方法である。間接法を用いる場合、画像処理部１１４は、取得された複数の撮影画像データがそれぞれ示す物体の特徴点の対応付けに基づいて撮像装置３０の移動経路の推定を行う。

【0059】

２つ目は、直接的に位置を推定する方法（直接法）であり、複数の画像間において対応するピクセルの輝度値の誤差を最小にすることで、各ピクセルの深度と撮像装置３０の位置とを推定する方法である。直接法を用いる場合、画像処理部１１４は、取得された複数の撮影画像データがそれぞれ示す、互いに対応する画素の値の誤差に基づいて撮像装置３０の移動経路の推定を行う。

【0060】

続いて、支援サーバ装置１０は、Ａ１３において、データ生成部１１５により、Ａ１１において取得された撮影画像とＡ１２において推定された移動経路とに基づいて、上述した領域画像データ、すなわち、撮像装置３０が撮影をした位置から見た作業現場を撮影領域として示すデータを生成する。領域画像データは、例えば、監督端末４０等の端末に対して出力される。領域画像データが出力されてきた端末は、その領域画像データが示す領域画像を表示する。

【0061】

図９は、表示された領域画像の一例を示す図である。図９では、表示画像Ａ１１と、平面図Ｃ１１とが示されている。表示画像Ａ１１は、建築現場Ｃ１を撮影した複数の画像（撮影画像）のうちの１つである領域画像Ａ１の一部を示す画像である。平面図Ｃ１１は、建築現場Ｃ１の構造を示す平面図である。平面図Ｃ１１は、表示画像Ａ１１に重畳して示されている。表示画像Ａ１１及び平面図Ｃ１１には、推定された移動経路に沿って撮影位置を示す位置画像Ｐ１、Ｐ２、Ｐ３、Ｐ４等が示されている。

【0062】

図９に示す領域画像Ａ１は、位置画像Ｐ９が示す撮影位置から撮像装置３０によって撮影された全方位の画像である。表示画像Ａ１１は、領域画像Ａ１のうちの一定の画角を示す矩形の画像である。なお、領域画像Ａ１は、全方位の画像を矩形で表すために歪みが生じているが、表示画像Ａ１１では、歪みが補正されて通常の写真と同じように物体が映った画像となっている。

【0063】

表示画像Ａ１１を上下方向、左右方向又は斜め方向に移動させる操作が行われると、領域画像Ａ１が操作された方向に移動して、表示画像Ａ１１として表示される部分が変化する。また、領域画像Ａ１及び図面Ｂ１に示された位置画像を選択する操作が行われると、選択された位置画像が示す撮影位置から撮影された領域画像が表示される。このように領域画像データが示す各撮影位置における領域画像の様々な部分を表示画像として表示させることで、建築現場Ｃ１の全体の様子を確認することができる。

【0064】

<特定画像の抽出>
次に、支援サーバ装置１０は、撮影画像から特定画像を抽出するための処理を行う。特定画像は、上述したように、領域画像のうちの特定の箇所が映っている部分である。本実施形態では、撮影画像に含まれる１つの画像のうちの特定の範囲をユーザが指定するという手動の作業と、その前段として、ユーザに対して特定の範囲の候補を示す候補画像を提示するという自動の処理とを経て、特定画像が抽出される。

【0065】

まず、支援サーバ装置１０は、Ａ２１において、画像処理部１１４により、撮影画像に含まれる１枚の領域画像から特定の範囲の画像の候補を候補画像として抽出する。画像処理部１１４は、例えば、現場の作業を行う事業者が作業品質向上のため定めているチェック箇所に関する情報に基づいて候補画像を抽出する。本実施形態では、支援サーバ装置１０が、チェック箇所に関する情報を含む特定画像データベースを記憶している。

【0066】

図１０は、特定画像データベースの一例を示す図である。図１０に示す特定画像データベースＤＢ１は、チェック箇所情報、特定画像の履歴、今回の特定画像、所定情報の履歴、今回の所定情報及び特定画像データをそれぞれ格納する。チェック箇所情報には、名称及び撮影情報が格納されている。名称には、「玄関」、「廊下」、「階段」、「台所壁」及び「台所床」等のチェック箇所の名称を示す文字列が格納されている。また、撮影情報には、チェック箇所を撮影可能な撮影位置を示す情報が格納されている。

【0067】

撮影情報は、例えば、撮像装置３０が通常撮影する高さから見たチェック箇所の画角を示す角度情報である。範囲情報は、鉛直上方を０度、鉛直下方を１８０度とすると、例えば、天井であれば０度以上３０度以下、壁であれば４５度以上１３５度以下、床であれば１５０度以上１８０度以下というように画角の範囲を示す。また、撮影情報には、チェック箇所を撮影するのに適した距離の範囲が含まれる。撮影に適した距離は、例えば、天井や床なら０ｍ（直上又は直下）、壁なら１ｍ～５ｍというように、チェック箇所が適当な大きさで映る距離となる。また、壁のように特定の方向を向いている箇所の場合は、その箇所が向いている方向も撮影情報に含まれる。

【0068】

画像処理部１１４は、まず、推定された移動経路からチェック箇所を撮影可能な撮影位置を特定する。画像処理部１１４は、例えば、移動経路のうち、図面上でチェック箇所との距離が撮影に適した距離であり、また、壁等の場合はチェック箇所が向いている方向となる位置を撮影位置として特定する。そして、画像処理部１１４は、特定した位置から撮影された領域画像のうち撮影情報が示す画角の画像を候補画像として抽出する。

【0069】

なお、扉及び階段等の外観に特徴がある箇所の場合、それらの箇所を示すパターン画像が撮影情報として用いられてもよい。その場合、画像処理部１１４は、周知の画像認識技術を用いて、パターン画像に類似する箇所の画像を候補画像として抽出する。サーバ表示部１１２は、抽出された候補画像を、例えば、オペレータ端末５０に送信する。オペレータ端末５０は、Ａ２２において、表示制御部５１１により、送信されてきた候補画像を表示する。

【0070】

図１１は、表示された候補画像の一例を示す図である。図１１では、表示制御部５１１が、候補画像選択画面Ｄ１を表示している。候補画像選択画面Ｄ１には、「候補画像から特定画像を選択してください。」という文字列と、候補画像Ｅ１１、Ｅ１２、Ｅ１３（それぞれを区別しない場合は「候補画像Ｅ１０」と言う）と、選択ボタンＢ１１、Ｂ１２、Ｂ１３（それぞれを区別しない場合は「選択ボタンＢ１０」と言う）と、調整ボタンＢ２１、Ｂ２２、Ｂ２３（それぞれを区別しない場合は「調整ボタンＢ２０」と言う）とが表示されている。

【0071】

このように、サーバ表示部１１２及び画像処理部１１４は、特定の範囲の画像の候補を候補画像（図１１の例では候補画像Ｅ１、Ｅ２、Ｅ３）としてユーザに提示する第１提示部の一例として機能する。このような態様によれば、候補画像が提示されない場合に比べて、特定箇所の画像を選びやすくすることができる。

【0072】

選択ボタンＢ１０は、その選択ボタンに対応付けて表示されている候補画像を、特定画像として選択する操作を受け付けるためのボタンである。調整ボタンＢ２０は、候補画像として映っている範囲を調整する操作を受け付けるためのボタンである。これらの操作は、例えば、オペレータ端末５０の操作受付部５１２によって受け付けられ、操作内容を示す操作データが支援サーバ装置１０に送信される。支援サーバ装置１０のユーザ受付部１１７は、送信されてきた操作データが示す内容の操作を、ユーザが行った操作として受け付ける。

【0073】

ユーザ受付部１１７は、画像取得部１１３により取得された複数の画像に含まれる１つの画像のうちの特定の範囲を指定するユーザの第１操作を受け付ける指定受付部の一例として機能する。ユーザ受付部１１７は、例えば、サーバ表示部１１２により提示された候補画像Ｅ１０を選択する操作（いずれかの選択ボタンＢ１０を押す操作）を第１操作として受け付ける。ここでいう第１操作は、候補画像Ｅ１０が示す範囲を特定の範囲として指定する操作である。

【0074】

具体的には、例えば、調整ボタンＢ２０を押す操作が行われた後、候補画像Ｅ１０をドラッグする操作が行われると、ユーザ受付部１１７が、そのユーザ操作を受け付け、サーバ表示部１１２が、候補画像Ｅ１０として表示されている領域画像をドラッグされた方向に移動させて、その領域画像の今まで表示されていなかった部分を表示させる。このように、ユーザ受付部１１７は、特定の箇所を示す画像を空間的に微調整する操作を第１操作として受け付ける。

【0075】

なお、ユーザ受付部１１７は、上記操作の他にも、例えば、特定の箇所を示す画像を時間的に微調整する操作を第１操作として受け付けてもよい。例えば、所定のボタン（Ｃｔｒｌキーなど）を押した状態で候補画像Ｅ１をドラッグする操作が行われると、ユーザ受付部１１７が、そのユーザ操作を第１操作として受け付け、サーバ表示部１１２が、候補画像Ｅ１として表示されている領域画像に対して撮影時刻が前後する領域画像の同じ部分を表示させる。

【0076】

また、ユーザ受付部１１７は、図９に示す領域画像データを表示させた画面で特定の範囲を指定する操作を第１操作として受け付けてもよい。その場合、まず、データ出力部１１６が、データ生成部１１５により生成された領域画像データを例えばオペレータ端末５０に対して出力する。オペレータ端末５０の表示制御部５１１は、出力されてきた領域画像データを表示する。操作受付部５１２が、図９に示すように表示された表示画像から特定の範囲を指定する操作を受け付け、ユーザ受付部１１７が、その操作を第１操作として受け付ける。

【0077】

オペレータＷ３は、上記の第１操作により、特定画像として適切な範囲を指定したと判断すると、選択ボタンＢ１０を押す操作を第１操作として行う。支援サーバ装置１０は、Ａ２４において、ユーザ受付部１１７により、一連の第１操作を受け付け、画像処理部１１４により、受け付けられた第１操作により選択された候補画像又は指定された特定の範囲の領域画像を、特定画像として抽出する。ＤＢ制御部１１１は、抽出された特定画像を、図１０に示す「今回の特定画像」として、特定画像データベースＤＢ１に格納する。

【0078】

このように、画像処理部１１４は、画像取得部１１３により取得された複数の画像に含まれる１以上の画像から、撮影領域において特定の箇所が映っている部分を特定画像として抽出する抽出部として機能する。本実施形態では、画像処理部１１４は、上記のとおり第１操作により指定された範囲の画像を、特定画像として抽出する。このような態様によれば、特定箇所の画像の抽出にユーザの判断を反映することができる。

【0079】

ＤＢ制御部１１１は、新たな撮影画像が取得されて新たな領域画像データが生成された場合に、抽出された特定画像を、「今回の特定画像」から「特定画像の履歴」に移動させる。特定画像の履歴には、このように、画像処理部１１４により抽出された特定画像が履歴画像として蓄積される。画像処理部１１４は、こうして蓄積された履歴画像に基づいて、候補画像を抽出してもよい。その場合、画像処理部１１４は、例えば、蓄積された履歴画像のそれぞれの撮影位置及び画角を特定する。

【0080】

そして、画像処理部１１４は、新たに取得された撮影画像のうち、特定した範囲内の撮影位置で撮影された画像から、特定した範囲内の画角の画像を候補画像として抽出する。サーバ表示部１１２は、こうして抽出された候補画像をユーザに提示する。このように、候補画像は、抽出された特定画像の履歴に基づいて抽出される画像であってもよい。このような態様によれば、実際の特定画像に近い画像が候補画像として提示されるので、特定画像の履歴を考慮しない場合に比べて、候補画像の有用性を高めることができる。

【0081】

<所定情報の対応付け>
次に、支援サーバ装置１０は、抽出された特定画像と所定情報とを対応付けるための処理を行う。所定情報とは、現場管理支援システム１において、特定画像と対応付けるための情報として定められたものであり、例えば、特定の箇所の名称である。本実施形態では、特定画像に対応付けて所定情報をユーザが指定するという手動の作業と、その前段として、ユーザに対して所定情報の候補を示す候補情報を提示するという自動の処理とを経て、特定画像に所定情報が対応付けられる。

【0082】

まず、支援サーバ装置１０は、Ａ３１において、対応付け処理部１１８により、特定画像に対応付ける所定情報の候補を候補情報として決定する。対応付け処理部１１８は、例えば、特定画像データベースＤＢ１に格納されているチェック箇所情報の名称を候補情報として決定する。サーバ表示部１１２は、決定された候補情報を表示させるための表示用データを例えばオペレータ端末５０に対して送信する。オペレータ端末５０は、Ａ３２において、表示制御部５１１により、送信されてきた表示用データが示す候補情報を表示する。

【0083】

図１２は、表示された候補情報の一例を示す図である。図１２では、表示制御部５１１が、候補情報選択画面Ｄ２を表示している。候補情報選択画面Ｄ２には、「候補情報から所定情報を選択してください。」という文字列と、特定画像Ｆ１４と、選択ボタンＢ３１と、候補情報入力欄Ｊ１１とが表示されている。候補情報入力欄Ｊ１１の下には、候補情報一覧Ｊ１２がプルダウンリストとして表示されており、候補情報一覧Ｊ１２から選択された候補情報が候補情報入力欄Ｊ１１に表示されている。

【0084】

このように、サーバ表示部１１２及び対応付け処理部１１８は、所定情報の候補を示す候補情報をユーザに提示する第２提示部として機能する。このような態様によれば、候補情報が提示されない場合に比べて、特定画像と所定情報との対応付けの手間を少なくすることができる。候補情報を選択して選択ボタンＢ３１を押す操作は、上記の第１操作と同様に、支援サーバ装置１０のユーザ受付部１１７によって、ユーザが行った操作として受け付けられる。

【0085】

ユーザ受付部１１７は、画像処理部１１４により抽出された特定画像と所定情報と（図１２の例では特定画像Ｆ１４と「台所壁」というチェック箇所の名称と）を対応付けるユーザの第２操作を受け付ける対応受付部の一例として機能する。ユーザ受付部１１７は、サーバ表示部１１２により提示された候補情報（図１２の例では候補情報一覧Ｊ１２に含まれる候補情報）を選択する操作を第２操作として受け付ける。この第２操作は、候補情報を所定情報として特定画像に対応付ける操作である。

【0086】

オペレータＷ３は、上記の第２操作により、特定画像に対応付ける適切な候補情報を選択したと判断すると、選択ボタンＢ３１を押す操作を第２操作として行う。オペレータ端末５０は、Ａ３３において、操作受付部５１２により、それらの第２操作を候補情報の選択操作として受け付ける。支援サーバ装置１０は、Ａ３４において、ユーザ受付部１１７により、一連の第２操作を受け付け、ＤＢ制御部１１１により、受け付けられた第２操作により特定画像に対応付けられた候補情報を、図１０に示す「今回の所定情報」として、その特定画像に対応付けて特定画像データベースＤＢ１に格納する。

【0087】

そして、データ生成部１１５は、特定画像データベースＤＢ１から「今回の特定画像」及び「今回の所定情報」を読み出して、それらを対応付けて並べたリストを特定画像データとして生成する。ここで、例えば、監督端末４０から特定画像データが要求されたとする。その場合、支援サーバ装置１０は、Ａ３４において、データ出力部１１６により、生成された特定画像データを監督端末４０に対して出力する。監督端末４０は、Ａ３５において、表示制御部４１１により、出力されてきた特定画像データを表示する。

【0088】

図１３は、表示された特定画像データの一例を示す図である。図１３の例では、表示制御部４１１が、チェックリストＨ１を表示している。チェックリストＨ１には、チェック箇所の名称である「玄関」、「廊下」、「階段」、「台所壁」及び「台所床」と、各チェック箇所の特定画像Ｆ１１、Ｆ１２、Ｆ１３、Ｆ１４及びＦ１５（それぞれを区別しない場合は「特定画像Ｆ１０」と言う）と、各チェック箇所のチェック結果とが表示されている。チェック結果には、作業進行の良否を示す記号と、コメントとが示されている。

【0089】

特定画像Ｆ１０には、「ｍｍ／ｄ１」、「ｍｍ／ｄ２」、「ｍｍ／ｄ３」及び「ｍｍ／ｄ４」という異なる日付に撮影された撮影画像から抽出されたものが含まれている。例えば、特定画像Ｆ１１－１、Ｆ１１－２、Ｆ１１－３及びＦ１１－４は、いずれも「玄関」を特定の箇所として抽出された画像であり、「ｍｍ／ｄ１」、「ｍｍ／ｄ２」、「ｍｍ／ｄ３」及び「ｍｍ／ｄ４」に撮影された撮影画像から抽出されている。

【0090】

このように、データ出力部１１６は、複数の特定画像を並べたリスト（図１３の例ではチェックリストＨ１）を特定画像データとして出力する。それらの複数の特定画像（図１３の例では特定画像Ｆ１１－１、Ｆ１１－２、Ｆ１１－３及びＦ１１－４等）は、特定の箇所が共通し且つ撮影時期が異なっている。このような態様によれば、単一の撮影時期の特定画像だけが出力される場合に比べて、特定箇所の状態の遷移を容易に把握することができる。

【0091】

なお、撮像装置３０による撮影は、現場作業員Ｗ１が歩いて行うので、撮影時の移動経路は毎回同じわけではない。そのため、複数の特定画像には、完全に同じ範囲が特定の箇所として映っているとは限らないが、少なくとも特定の箇所の一部が映っていればよい。その一部の画像を見ることで、作業現場における特定の箇所の状況を把握することができるからである。

【0092】

以上のとおり、データ出力部１１６は、画像処理部１１４により抽出された特定画像を含む特定画像データを出力する特定出力部の一例として機能する。このような態様によれば、特定の箇所を示すリストを簡単に作ることができる。本実施形態では、データ出力部１１６は、画像処理部１１４により抽出された特定画像と、上述した第２操作によりその特定画像に対応付けられた所定情報とを並べたリストを特定画像データとして出力する。

【0093】

表示制御部４１１は、チェックリストＨ１に含まれる特定画像Ｆ１０に対して所定の拡大操作（例えばシングルクリック等）が行われると、その特定画像Ｆ１０を拡大して表示する。これにより、現場の状況をより見やすくすることができる。また、本実施形態では、チェックリストＨ１に含まれる特定画像Ｆ１０が、その特定画像Ｆ１０が抽出された撮影画像に基づいて生成された領域画像データへのリンクになっている。さらに言うと、特定画像Ｆ１０は、その特定画像Ｆ１０に映っている特定の箇所が表示画像となっている状態の領域画像データへのリンクになっている。

【0094】

監督端末４０は、Ａ４１において、操作受付部４１２により、特定画像Ｆ１０への所定の操作（例えばダブルクリック等）をリンク操作として受け付ける。操作受付部４１２は、リンク操作が行われた特定画像Ｆ１０を示す操作データを支援サーバ装置１０に送信する。支援サーバ装置１０は、Ａ４２において、データ出力部１１６により、リンク先の領域画像データを監督端末４０に対して出力する。監督端末４０は、Ａ４３において、表示制御部４１１により、出力されてきた領域画像データを表示する。

【0095】

例えば、図１３に示す特定画像Ｆ１１－４へのリンク操作が行われた場合、ｍｍ／ｄ４に撮影された撮影画像に基づいて生成された領域画像データが、玄関を表示画像とする状態で出力されて監督端末４０に表示される。監督端末４０は、Ａ４４において、領域画像データの表示画像として映っている箇所を移動させる操作を表示操作として受け付ける。作業監督Ｗ２は、例えば、特定画像Ｆ１１－４だけでは作業の状況が判断し切れなかったので、このように領域画像データを操作して周囲の画像を見ることで、作業の状況を判断する。

【0096】

上記のとおり、データ出力部１１６は、特定の箇所の画像（図１３の例では各特定画像Ｆ１０）から領域画像データが示す画像のうちその箇所を示す画像（例えば特定画像Ｆ１１－４からの場合はｍｍ／ｄ４に撮影された玄関を示す画像）へのリンクを含むデータを特定画像データとして出力する。このような態様によれば、特定画像データが上記リンクを含まない場合に比べて、特定の箇所の周囲の画像を容易に確認することができる。

【0097】

作業監督Ｗ２は、領域画像データを表示させて作業の状況が判断できると、チェックリストＨ１に戻って作業状況のチェックを行う。本実施形態では、領域画像データに、特定画像データ（図１３の例ではチェックリストＨ１）に表示を切り替えるためのリンクが含まれている。
図１４は、表示された領域画像の一例を示す図である。図１４の例では、表示制御部４１１が、領域画像Ａ４の一部を表す表示画像Ａ４１を表示している。

【0098】

表示画像Ａ１１には、リンク画像Ｌ１４－４及びＬ１５－４（それぞれを区別しない場合は「リンク画像Ｌ１０」と言う）が示されている。リンク画像Ｌ１４－４は、図１３に示す特定画像Ｆ１４－４へのリンクである。リンク画像Ｌ１５－４は、図１３に示す特定画像Ｆ１５－４へのリンクである。監督端末４０は、Ａ５１において、操作受付部４１２により、リンク画像Ｌ１０へのリンク操作を受け付けると、操作されたリンク画像Ｌ１０を示す操作データを支援サーバ装置１０に送信する。

【0099】

支援サーバ装置１０は、Ａ５２において、データ出力部１１６により、送信されてきた操作データが示すリンク先となっている特定画像データを監督端末４０に対して出力する。監督端末４０は、Ａ５３において、表示制御部４１１により、出力されてきた特定画像データを表示する。表示制御部４１１は、リンク画像Ｌ１４－４への操作がされた場合は、例えば、図１３に示すチェックリストＨ１及び特定画像Ｆ１４－４の拡大画像を表示する。また、表示制御部４１１は、リンク画像Ｌ１５－４への操作がされた場合は、例えば、チェックリストＨ１及び特定画像Ｆ１５－４の拡大画像を表示する。

【0100】

上記のとおり、データ出力部１１６は、特定の箇所に対応する位置で撮影された画像から特定画像データのその箇所の画像へのリンクを含むデータを領域画像データとして出力する。このような態様によれば、領域画像データが示す領域画像を表示されている状態からでも、領域画像データにリンクが含まれていない場合に比べて、特定の箇所の画像を容易に出力させることができる。

【0101】

次に、監督端末４０は、Ａ５４において、操作受付部４１２により、チェック操作を受け付け、操作データを支援サーバ装置１０に送信する。支援サーバ装置１０は、Ａ５５において、ＤＢ制御部１１１により、送信されてきた操作データが示すチェック結果を反映した特定画像データを特定画像データベースＤＢ１に保存する。図８に示すＡ３４までの撮影画像処理は、作業現場での撮影が行われるたびに実行される。これにより、領域画像データ及び特定画像データが、撮影のたびに保存されて蓄積される。

【0102】

以上のとおり、データ出力部１１６は、画像取得部１１３により取得された複数の画像（撮影画像）を用いて、推定された移動経路の各位置から見た撮影領域を示す領域画像データを出力する。また、データ出力部１１６は、上述したように、同じく撮影画像を用いて、特定画像データを出力する。このように、現場管理支援システム１は、図９に示すような領域画像データと図１３に示すような特定画像データの両方に撮影画像を活用する。領域画像データ及び特定画像データを生成するためにそれぞれ撮影領域の画像を撮影する場合、撮影の手間が２回必要になる。本実施形態では、上記のとおり撮影画像を共有するので、撮影画像を共有しない場合に比べて、現場の撮影に伴う作業の手間を減らすことができる。

【0103】

また、現場作業員Ｗ１が撮影領域を移動しながら通常の画角のカメラで静止画像を撮影した場合、特定の箇所を１枚１枚撮影しても、作業監督Ｗ２にとって状況を判断しやすい画像が撮影されるとは限らないし、望ましくない画像だからといって再度撮影をするとなると非常に手間がかかる。また、うまく撮影したとしても、カメラの画角の範囲から外れた周囲の状況までは分からない。本実施形態では、上記のとおり全方位を映す３６０度カメラで動画を撮影し、特定の箇所を抽出することで、望ましい画像を選ぶことができる。また、全方位の画像は網羅性が高いので、望ましい画像が選べないということも少ないし、撮影後に抽出したい特定の箇所が発生してもその箇所を抽出することができる。

【0104】

また、領域画像データにも特定の箇所が映っているが、必要な箇所だけを見たい場合に領域画像データが示す領域画像から探すのは手間がかかる。本実施形態では、特定の箇所を抽出して特定画像データを出力することで、そのような手間をかけずに特定の箇所の画像を表示させることができる。一方で、特定画像データだけでなく領域画像データも出力されることで、特定画像データからは特定画像が撮影領域のどこを映したものなのか分かりにくい場合でも、領域画像データによって特定画像に映った箇所の位置を把握させることができる。

【0105】

また、上述したように特定画像及び所定情報の対応付けの際に、候補情報を提示することで、適切な候補情報を対応付けるための手間を少なくすることができる。また、本実施形態では、特定画像として、図１０に示すチェック箇所が必ず抽出される。これにより、特定画像データをチェックリストとして用いた場合に、どの作業現場でも特定の箇所については必ずチェックが行われるようになり、作業の品質を担保することができる。

【0106】

<解析結果の蓄積>
図６に示す現場取得部１０１は、図７以降で説明した情報処理によって生成された領域画像データが示す各撮影位置における領域画像等を、撮像装置３０による現場の測定結果（本実施形態では現場画像）として取得する。現場取得部１０１は、全方位を撮影可能な撮像装置３０で撮影された画像を現場の測定結果として取得する。このような態様によれば、全方位を撮影できない撮像装置で撮影する場合に比べて、現場画像に映る範囲が広くなるので、現場の情報をより多くデータ化することができる。

【0107】

作業取得部１０２は、図７以降で説明した情報処理において用いられた図面データ等を、作業情報として取得する。また、作業取得部１０２は、それら以外にも、業務サーバ装置６０に記憶されている工程表、資材情報、部材情報、コスト情報及び環境負荷情報等を作業情報として取得する。こうして取得された作業情報には、作業の予定を示す予定情報（例えば工程表又は作業計画表等）が含まれる。

【0108】

現場解析部１０３は、現場取得部１０１により取得された現場画像が示す現場の状況と作業取得部１０２により取得された作業情報が示す予定とに基づいて、作業の進捗を解析する処理を所定の解析処理として実行する。現場解析部１０３は、例えば、現場画像を解析して、壁、床、天井及び柱等の構造物の各構成部分が完成しているか否かを判定する。そして、現場解析部１０３は、作業情報により予定では完成していることが示されている構成部分のうち完成済みの構成部分の割合を、現場作業の進捗を示す情報として生成する。このような態様によれば、作業の進捗を管理することができる。

【0109】

また、作業情報には、作業を行う作業者に関する情報（例えば要員計画表等）も含まれる。ここでいう作業者は、作業者個人であってもよいし、作業を請け負う組織（工務店等）であってもよい。現場解析部１０３は、進捗の解析処理の結果と取得された作業情報とに基づいて、その作業情報が示す作業者の施工能力を解析する処理を解析処理として実行する。現場解析部１０３は、例えば、各作業者の工程表が示す作業量と、その作業者の進捗の割合とに基づいて、単位期間にこなせる作業量を解析結果として算出する。このような態様によれば、作業者の施工能力を把握することができる。

【0110】

結果蓄積部１０４は、上記のとおり現場解析部１０３により実行された解析処理の結果を蓄積する。図７等で説明したように、現場画像は日々撮影されて取得されるので、日々新たな解析処理が行われて、その解析結果が蓄積される。このような態様によれば、現場管理支援システム１のような仕組みを導入しない場合に比べて、現場作業に関するデータ化を促進することができる。

【0111】

<解析結果の例>
現場解析部１０３は、上記の他にも様々な解析処理を実行しうる。例えば、現場解析部１０３は、作業情報が示す現場の図面に対する作業の進捗を解析するだけでなく、施工のミスを解析してもよい。現場解析部１０３は、例えば、現場の図面と現場画像（３６０度画像）とを比較し、図面と実際の施工物の差分を抽出する。現場解析部１０３は、抽出した差分を活用し、図面に対する作業の進捗を示す作業進捗データと施工ミスデータとを出力する。

【0112】

また、現場解析部１０３は、工程に対する作業進捗データを解析結果として出力してもよい。現場解析部１０３は、例えば、現場の図面と現場画像（３６０度画像）との比較から得られた作業進捗データと工程表とを組み合わせることで、計画されていた工程に対する作業の進捗を示す作業進捗データを出力する

【0113】

現場解析部１０３は、施工者の施工能力データを解析結果として出力してもよい。現場解析部１０３は、例えば、施工業者又は施工者に関するデータと、施工ミスデータを組み合わせることで、施工者の施工精度データを解析する。また、現場解析部１０３は、施工業者又は施工者に関するデータ、対応した作業内容、工程に対する作業進捗データを組み合わせることで、施工者の施工速度データを解析結果として出力する。

【0114】

また、現場解析部１０３は、施工ミスの要因データを解析結果として出力してもよい。この場合、例えば、現場取得部１０１により取得された現場画像（３６０度画像）を用いてユーザがシステム上で是正指示データを作成し、結果蓄積部１０４が、作成された是正指示データを蓄積しておく。そして、現場解析部１０３は、是正指示データと工程表とを組み合わせることで、特定の工事における施工ミスの要因データを解析結果として出力する。蓄積された施工ミスの要因データは、例えば、ダッシュボード部１０５により、類似する工事を実施する施工管理者に対して、蓄積された施工ミスデータとともに提示される。

【0115】

また、現場解析部１０３は、手待ち期間データを解析結果として出力してもよい。現場解析部１０３は、例えば、工程に対する作業進捗データをもとに、作業が進行していない手待ち期間のデータを解析結果として出力する。

【0116】

また、現場解析部１０３は、特定のエリアが持つ総施工力データを解析結果として出力してもよい。現場解析部１０３は、例えば、特定のエリアが抱える施工者の施工能力データを集計した総施工力データを解析結果として出力する。集計された総施工能力データに基づくことで、エリアごとの需要と供給のバランスを最適化することができる。

【0117】

また、現場解析部１０３は、最適な人員配置を解析結果として出力してもよい。現場解析部１０３は、例えば、蓄積された施工者の施工能力データを活用し、工期を最短にできる人員配置を計算し、計算した人員配置を解析結果として出力する。

【0118】

また、現場解析部１０３は、最適な工程を解析結果として出力してもよい。現場解析部１０３は、例えば、蓄積された工程に対する進捗状況データをもとに、施工管理者が抱える他案件も考慮した上で、適宜工期を最短にできる工程を計算し、計算した最適な工程を解析結果として出力する。

【0119】

また、現場解析部１０３は、最適な資材配送スケジュールを解析結果として出力してもよい。現場解析部１０３は、例えば、蓄積された工程に対する工事進捗データに基づき、次のように最適化した資材配送スケジュールを計算する。まず、現場解析部１０３は、ジャストインタイムな資材搬入によって手待ち時間を最小化する資材配送スケジュールを計算する。また、現場解析部１０３は、ジャストインタイムな資材搬入によって作業空間を常に最大化し作業効率を向上させ、かつ現場作業者の資材整頓時間を最小化する資材配送スケジュールを計算する。

【0120】

また、現場解析部１０３は、環境負荷を最小化する資材配送スケジュールを計算する。具体的には、現場解析部１０３は、資材量を最適化し廃棄量を最小化する資材配送スケジュールを計算する。また、現場解析部１０３は、配送回数を最小化し排気量を最小化する資材配送スケジュールを計算する。また、現場解析部１０３は、配送距離を最小化し排気量を最小化する資材配送スケジュールを計算する。

【0121】

<その他の実施形態>
撮影領域は、上述したものに限らない。例えば、既存の建物の中、乗り物の中又は屋外の所定のエリア等であってもよい。また、撮像装置３０は、３６０度カメラに限らず、広角カメラや通常の画角で撮影するカメラが用いられてもよい。また、撮影される画像は、動画像に限らず、連続的に撮影される静止画像であってもよい。

【0122】

また、実施形態では、撮像装置３０が測定装置の一例であったが、これに限らない。測定装置は、例えば、対象物までの距離を測定する距離画像センサを備え、測定結果を示す点群データを測定データとして出力するものであってもよい。また、測定装置は、対象物の温度を測定する赤外線センサ又は対象物までの距離や対象物の速度を測定するミリ波センサを備えるものであってもよい。

【0123】

また、実施形態では、図７に示す機能によって生成された測定結果（実施形態では現場画像）が現場解析部１０３により解析されて結果蓄積部１０４により蓄積されたが、例えば、画像処理部１１４によって所定の解析処理（移動経路の推定処理等）が実行され、ＤＢ制御部１１１によって蓄積されてもよい。この場合、画像処理部１１４が現場解析部の一例であり、ＤＢ制御部１１１が蓄積部の一例となる。また、画像処理部１１４及びＤＢ制御部１１１を含む図７に示す機能の一部が、図６に示すデータベース化フェーズにおいて処理を実行することになる。

【0124】

また、作業取得部１０２は、実施形態では、業務サーバ装置６０に記憶されている情報をそのまま作業情報として取得したが、例えば、所定の解析処理が行いやすいように加工した情報を作業情報として取得してもよい。作業取得部１０２は、例えば、業務サーバ装置６０に記憶されている情報（図面情報、工程表及び資材情報等）を現場ごと又はエリアごとに区分する処理を加工処理として行って、区分された情報を作業情報として取得する。

【0125】

また、領域画像データは、図９に示すものに限らない。例えば、図面や位置画像が重畳されていない、領域画像だけを示すデータであってもよい。その場合、位置画像を選択する操作とは異なる操作によって、移動経路に沿った視点の移動が可能となっていればよい。また、特定画像データは、図１３に示すものに限らない。例えば、撮影のたびに特定の箇所を異ならせたデータであってもよいし、最新の撮影画像から抽出された特定画像だけを示すデータであってもよい。

【0126】

また、所定情報は、チェック箇所の名称に限らず、例えば、作業現場の名称（フロア数又は部屋番号等）、作業工程、撮影者や作業監督の氏名、撮影日時、撮影時の天気又は撮像装置の種類等であってもよい。このように、所定情報としては、特定の箇所がどのような箇所であるか又は特定画像がどのような画像であるかということを示す情報が用いられるとよい。ただし、特定画像と無関係の情報が所定情報として用いられてもよい。

【0127】

<候補画像>
画像処理部１１４は、実施形態とは異なる方法で候補画像を抽出してもよい。画像処理部１１４は、例えば、オペレータＷ３によって指定された特定の範囲の履歴が蓄積されている場合に、その履歴に基づいて候補画像を抽出する。画像処理部１１４は、例えば、撮影領域の同じ箇所が特定の範囲として所定の回数以上指定されている場合、その箇所を含む画像を候補画像として抽出する。

【0128】

また、画像処理部１１４は、マンションのように同じ間取りの部屋がいくつも撮影領域として撮影される場合に、他の同じ間取りの部屋で指定された範囲の画像を候補画像として抽出する。サーバ表示部１１２は、こうして抽出された候補画像をユーザに提示する。この場合、候補画像は、ユーザによって指定された特定の範囲の履歴に基づいて抽出される画像である。このような態様によれば、ユーザによって過去に指定された範囲の特定画像に近い画像が候補画像として提示されるので、特定の範囲の履歴を考慮しない場合に比べて、候補画像の有用性を高めることができる。

【0129】

<候補情報>
対応付け処理部１１８は、実施形態とは異なる方法で候補情報を決定してもよい。対応付け処理部１１８は、例えば、画像処理部１１４により抽出された特定画像からそこに映っている箇所を認識し、認識した箇所の情報を候補情報として決定する。対応付け処理部１１８は、例えば、パターン画像を用いた画像認識により、扉、階段、照明、窓又は洗面所等を認識し、それらの名称を候補情報として決定する。

【0130】

この場合、候補情報は、画像処理部１１４により抽出された特定画像に映っている箇所に基づいて決まる情報となる。このような態様によれば、例えば、作業現場の状況により特定の箇所が変更された場合でも、その箇所に合った情報が候補情報として提示されるので、候補情報が固定されている場合に比べて、候補情報の有用性を高めることができる。

【0131】

また、対応付け処理部１１８は、例えば、過去に特定画像に対応付けられた所定情報を候補情報として決定してもよい。また、対応付け処理部１１８は、同じ作業現場だけでなく、同じ間取りの作業現場において過去に用いられた所定情報を候補情報として決定してもよい。いずれの場合も、候補情報は、過去の所定情報に基づいて決まる情報となる。このような態様によれば、例えば、作業現場の状況により追加された所定情報でも候補情報として提示されるので、候補情報が固定されている場合に比べて、候補情報の有用性を高めることができる。

【0132】

<画像の絞り込み>
現場管理支援システム１においては、移動経路の推定も、特定画像の抽出も、撮像装置３０により撮影された複数の画像（撮影画像）に基づいて行われる。その際に、より映りの良い撮影画像への絞り込みが行われてもよい。映りの良さは、例えば、写真のピンボケを判定する周知の技術（高速フーリエ変換、機械学習、オープンソース等）を用いて行うことができる。

【0133】

例えば、画像処理部１１４は、画像取得部１１３により取得された複数の画像のうち第１規則に基づいて絞り込まれた画像に基づいて移動経路の推定を行う。また、画像処理部１１４は、画像取得部１１３により取得された複数の画像のうち第２規則に基づいて絞り込まれた画像から特定画像を抽出する。そして、第２規則は、第１規則とは異なる規則であってもよい。

【0134】

第１規則は、例えば、撮影画像の全体で映りが良い画像に絞り込む規則である。一方、第２規則は、撮影画像のうち特定の箇所の映りが良い画像に絞り込む規則である。１つの画像でも、映りの良い部分と悪い部分が混在している場合がある。そのため、全体としては映りが良いが、特定の箇所の映りが悪いということや、特定の箇所の映りは良いが、全体としては映りが悪いということが起こりうる。そこで、第１規則及び第２規則を上記のとおり用いることで、移動経路の推定精度を高めつつ、映りの良い特定画像が抽出されるようにすることができ、移動経路の推定精度と抽出画像の品質とを両立することができる。

【0135】

なお、第１規則及び第２規則は、上記規則に限らない。例えば、第１規則は、特徴点が閾値以上である画像に絞り込む規則であり、第２規則は、特徴点の数に関係なく画像を絞り込む規則である。ＶＳＬＡＭによる自己位置推定は、画像の特徴点が多いほど精度が向上する。一方、特定の箇所が壁や床である場合などは特徴点が極めて少なくなる。そこで、第１規則及び第２規則を上記のとおり異ならせることで、移動経路の推定精度と抽出画像の品質とを両立することができる。

【0136】

なお、第１規則及び第２規則は、同じ規則であってもよい。その場合でも、絞り込みを行わない場合に比べれば、移動経路の推定精度も抽出画像の品質も向上させることができる。また、上記の画像の絞り込みは、候補画像を抽出する際に用いられてもよい。その場合、画像処理部１１４は、第２規則（第１規則でもよい）に基づいて撮影画像を絞り込み、絞り込まれた撮影画像から、実施形態と同様に、候補画像を抽出する。この場合も、抽出画像の品質も向上させることができる。

【0137】

<自動抽出>
画像処理部１１４は、実施形態では、特定の範囲をユーザが指定するという手動の作業を経て特定画像を抽出したが、手動の作業を経ずに自動で特定画像を抽出してもよい。その場合、画像処理部１１４は、例えば、候補画像の抽出方法をそのまま用いて、特定画像を抽出してもよい。画像処理部１１４は、例えば、実施形態と同様に、図１０に示すチェック箇所の撮影情報に基づいて新たな特定画像を抽出する。

【0138】

また、画像処理部１１４は、例えば、抽出した特定画像の履歴に基づいて、同じ箇所を特定の箇所として含む新たな特定画像を抽出する。また、画像処理部１１４は、ユーザによって指定された特定の範囲の履歴に基づいて、過去に指定された範囲を特定の箇所として含む新たな特定画像を抽出する。

【0139】

図１５は、自動抽出処理のフロー図の一例を示す図である。支援サーバ装置１０は、まず、Ｓ１１において、画像取得部１１３により、撮影画像を取得する。次に、支援サーバ装置１０は、Ｓ１２において、画像処理部１１４により、撮像装置３０の移動経路を推定する。続いて、支援サーバ装置１０は、Ｓ１３において、データ生成部１１５により、領域画像データを生成する。次に、支援サーバ装置１０は、Ｓ１４において、画像処理部１１４により、撮影画像から特定画像を抽出する。続いて、支援サーバ装置１０は、Ｓ１５において、対応付け処理部１１８により、所定情報を決定する。

【0140】

Ｓ１４及びＳ１５では、図８の例とは異なり、ユーザによる操作がなくとも特定画像が抽出され、所定情報が決定される。続いて、支援サーバ装置１０は、Ｓ１６において、データ生成部１１５により、特定画像データを生成する。そして、支援サーバ装置１０は、Ｓ１７において、監督端末４０又はオペレータ端末５０からの要求に応じて、領域画像データ及び特定画像データを出力する。

【0141】

このような態様によれば、候補画像を提示する場合に比べても、特定画像データを生成する際の手間をさらに少なくすることができる。なお、画像処理部１１４は、特定画像を抽出する際に、上述した第２規則を用いて撮影画像を絞り込むことで、映りの良い画像を特定画像として抽出してもよい。また、画像処理部１１４は、過去の特定画像を教師データとした機械学習を行ったＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）の技術によって特定画像を抽出してもよい。

【0142】

また、作業現場の平面図等の図面情報には、特定の箇所の位置を示す位置情報が含まれている場合がある。その場合に、画像処理部１１４は、図面情報から特定の箇所が指定されると、指定された箇所の位置情報及び推定された移動経路に基づいて、その箇所が画角に含まれている可能性が高い撮影位置から撮影された撮影画像を特定してもよい。なお、サーバ表示部１１２が図面情報及び移動経路をユーザに提示して、ユーザが、同様の撮影位置を特定することで、特定した撮影位置から撮影された撮影画像を特定してもよい。

【0143】

そして、画像処理部１１４が、特定された撮影画像から、特定の箇所が映っている部分を認識し、認識した部分を特定画像として抽出する。なお、特定された撮影画像をサーバ表示部１１２がユーザに提示することで、ユーザが、特定の箇所が映っている部分を指定し、画像処理部１１４が、指定された部分を特定画像として抽出してもよい。これらの態様によれば、図面情報に示されている箇所であれば、特定画像を容易に抽出することができる。

【0144】

<自動対応付け>
対応付け処理部１１８は、実施形態では、特定画像に対応付けて所定情報を指定するという手動の作業を経て所定情報を対応付けたが、手動の作業を経ずに自動で所定情報を対応付けてもよい。その場合、対応付け処理部１１８は、例えば、抽出された特定画像と同じ特定の箇所を撮影した特定画像の履歴に対して対応付けられた所定情報を、抽出された特定画像に対応付ける所定情報として決定する。

【0145】

また、対応付け処理部１１８は、上記のとおり特定画像に対応付ける所定情報を決定すると、その特定画像と同じ撮影情報から抽出された別の箇所の画像に対応付ける所定情報として、その所定情報の近辺に存在する所定情報を決定する。例えば、対応付け処理部１１８は、特定画像に「台所の壁」という所定情報が対応付けられると、別の箇所の画像（例えば台所の床、天井）に対応付ける所定情報として、「台所の壁」の近辺に存在する「台所の床」又は「台所の天井」を決定する。

【0146】

また、対応付け処理部１１８は、特定画像に映っている箇所を画像認識技術により特定し、特定した箇所の名称等を所定情報として決定してもよい。対応付け処理部１１８は、具体的には、所定情報に対応付けられたパターン画像（所定情報が「玄関」であれば玄関を様々な方向から撮影したパターン画像）を用いて特定画像に映っている箇所を特定し、特定した箇所のパターン画像に対応付けられた所定情報を、その特定画像に対応付ける所定情報として決定する。

【0147】

このような態様によれば、候補情報を提示する場合に比べても、特定画像データを生成する際の手間をさらに少なくすることができる。なお、対応付け処理部１１８は、過去の特定画像に対応付けられた所定情報を教師データとした機械学習を行ったＡＩの技術によって所定情報の対応付けを行ってもよい。

【0148】

また、作業現場の平面図等の図面情報には、各場所の名称等が所定情報として含まれている場合がある。その場合に、対応付け処理部１１８は、特定画像が示す特定の箇所に対応する所定情報を図面情報から推定してもよい。対応付け処理部１１８は、例えば、特定画像が撮影された撮影位置及び画角情報から特定の箇所の図面上の位置を特定し、その位置を含む場所の名称等を所定情報として決定する。

【0149】

なお、サーバ表示部１１２が図面情報をユーザに提示して、対応付け処理部１１８が、提示された図面情報からユーザ（オペレータＷ３又は作業監督Ｗ２等）が指定した場所の名称等を所定情報として決定してもよい。これらの態様によれば、図面情報に示されている所定情報であれば、特定画像との対応付けを容易に行うことができる。

【0150】

<広範囲画像の抽出>
画像処理部１１４は、特定画像の抽出の際に、特定の箇所が映る範囲よりも所定の割合（以下「画像割合」と言う）だけ広い範囲の画像を特定画像として抽出してもよい。この場合、データ生成部１１５は、特定の箇所を示しつつ、所定の操作（フリック等）が行われるとその箇所の周囲も示すデータを、特定画像データとして生成する。これにより、特定の箇所の周囲を見たくなった場合に、その周囲を容易に表示させることができる。

【0151】

また、上記の画像割合を、撮影領域の広さ、出力された領域画像データの利用度又は出力された特定画像データの利用度に応じた値としてもよい。画像処理部１１４は、例えば、撮影領域が広いほど、画像割合を大きくして特定画像を抽出する。撮影領域が広いほど、特定の箇所の周囲の空間も広くなるので、確認すべき周囲の画像も大きくなる。

【0152】

また、画像処理部１１４は、領域画像データ又は特定画像データの利用度が高いほど、画像割合を大きくして特定画像を抽出する。ここでいう利用度は、領域画像データ又は特定画像データの利用時間が長いほど又は利用頻度が多いほど、高くなる。これらの利用度が高いほど、特定の箇所の周囲を見る機会も増えやすく、より広い範囲を見たい状況が発生する可能性が高くなる。以上のとおり、画像割合を変動させることで、画像割合が一定の場合に比べて、必要に応じた広さの範囲の状況を確認することができる。

【0153】

<特定画像のリコメンド>
特定画像がリコメンドされてもよい。例えば、画像処理部１１４は、ユーザによって特定の範囲が指定された場合に、指定された範囲の画像を抽出するだけでなく、その範囲と空間的に隣接する領域から、特定画像として利用できそうな画像をリコメンド画像として抽出する。画像処理部１１４は、例えば、台所の壁が指定された場合、台所の床及び天井の画像をリコメンド画像として抽出する。また、画像処理部１１４は、或る撮影位置で撮影された撮影画像から特定の範囲が指定された場合、その位置の前後の位置で撮影された撮影画像から同じ範囲の画像をリコメンド画像として抽出する。

【0154】

サーバ表示部１１２は、こうして抽出されたリコメンド画像を、特定画像とともにユーザに提示する。ユーザは、特定画像に加えて又は特定画像に代えて、リコメンド画像を特定画像とすることを指示する操作を行う。データ生成部１１５は、指示されたリコメンド画像を特定画像として含む特定画像データを生成する。このような態様によれば、リコメンド画像が提示されない場合に比べて、特定画像データの有用性を高めることができる。

【0155】

<領域画像データでチェック>
データ生成部１１５は、特定画像としてチェック箇所が抽出される場合に、特定の箇所が表示される場合にチェック結果を入力するためのチェック用画像がともに表示されるデータを領域画像データとして生成してもよい。

【0156】

図１６は、表示されたチェック用画像の一例を示す図である。図１６の例では、表示制御部４１１が、表示画像Ａ４１に、チェック用画像Ｍ１４－４及びＭ１５－４を表示している。チェック用画像Ｍ１４－４は、特定画像Ｆ１４－４のチェック結果を入力するための画像であり、チェック用画像Ｍ１５－４は、特定画像Ｆ１５－４のチェック結果を入力するための画像である。ＤＢ制御部１１１は、チェック用画像への入力が行われると、入力された内容を、図１３に示すチェックリストＨ１のチェック結果にも反映する。このような態様によれば、特定画像データにしかチェック結果を入力できない場合に比べて、特定の箇所をチェックする際の手間を少なくすることができる。

【0157】

<その他>
画像処理部１１４は、新たな範囲が特定の範囲として指定された場合に、過去に撮影された撮影画像から、同じ範囲の画像を過去の特定画像として抽出してもよい。データ生成部１１５は、抽出された現在の特定画像と過去の特定画像とを含む特定画像データを生成する。これにより、新たに指定された範囲についても過去の画像を比較することができる。

【0158】

また、データ生成部１１５は、構造が共通する複数の撮影領域（例えば同じマンションの同じ間取りの部屋）で撮影された撮影画像から抽出された共通の箇所を示す特定画像を比較可能に表したデータを特定画像データとして生成してもよい。このように比較対象を並べることで、作業の状況を判断しやすくすることができる。

【0159】

また、サーバ表示部１１２は、図１３に示すようなチェックリストを表示する場合に、過去の類似する特定画像に対するチェック結果を合わせて表示させてもよい。例えば、サーバ表示部１１２は、他の撮影画像から抽出された玄関の画像及びそのチェック結果を、玄関の特定画像Ｆ１１－４及びそのチェック結果に並べて表示させる。これにより、チェック結果の入力を簡単にすることができる。

【0160】

また、例えば画像処理部１１４は、過去の類似する特定画像に対するチェック結果に基づいて、チェック対象となっている特定画像についてのチェック結果を判断してもよい。画像処理部１１４は、例えば、作業進捗が「○」とチェックされた特定画像と類似する場合はチェック結果を「○」と判断し、作業進捗が「×」とチェックされた特定画像と類似する場合はチェック結果を「×」と判断する。

【0161】

そしてサーバ表示部１１２が、画像処理部１１４による判断結果をチェックリストに表示させ、又は、ユーザにより入力されたチェック結果が画像処理部１１４による判断結果と異なる場合にアラートを表示させることで、ユーザによるチェックの支援を行ってもよい。また、ＤＢ制御部１１１が、ユーザによるチェックがなくとも、画像処理部１１４が判断した結果をチェック結果としてチェックリストＨ１に反映してもよい。これらの態様によれば、画像処理部１１４によるチェック結果の判断が行われない場合に比べて、特定の箇所のチェックの手間を少なくすることができる。

【0162】

また、撮像装置３０は、作業現場に設置されていなくてもよい。例えば、現場作業員Ｗ１等のユーザが、現場端末２０及び撮像装置３０を作業現場に持って行き撮影を行い、撮像装置３０から現場端末２０に撮影画像データを送信させ、事務所又は自宅のＷｉＦｉルータに現場端末２０を接続させて撮影画像データを支援サーバ装置１０に転送させる（移動体通信で転送させてもよい）。この場合、現場管理支援システム１は、通信回線２と、自撮り棒３と、支援サーバ装置１０と、現場端末２０と、撮像装置３０と、監督端末４０と、オペレータ端末５０とを備えていればよい。

【0163】

また、撮像装置３０は、例えば、ヘルメットに広角カメラを取り付けた装置であってもよい。その場合、人間がいる鉛直下方は死角になるが、その他の方向は撮影可能な撮像装置とすることができる。また、撮像装置３０から現場端末２０への撮影画像データの移動を、無線通信ではなくＭｉｃｒｏＳＤカード等の記録媒体経由で行ってもよいし、ＴｙｐｅＣ等の通信ケーブル経由で行ってもよい。また、撮像装置３０が、支援サーバ装置１０に直接撮影画像データを送信してもよいし、現場端末２０以外の装置を介して撮影画像データを支援サーバ装置１０に転送させてもよい。

【0164】

また、実施形態で述べた手動の作業（特定の範囲を指定する作業及び特定画像に対応付けて所定情報を指定する作業）を行うユーザは、オペレータＷ３に限らない。例えば、作業監督Ｗ２が行ってもよいし、現場作業員Ｗ１が行ってもよい。また、作業事業者に所属する他の作業員や作業事業者に委託された外注業者が行ってもよい。

【0165】

<構成のバリエーション>
図１等に示す構成は一例であり、実施に不都合が無い限り、他の態様を取り得る。例えば、１台の装置は、２台以上の装置に分散されてもよいし、クラウドコンピューティングシステムに代替されてもよい。また、１台の装置の機能が２台以上の装置に分散して実現されてもよいし、２台以上の装置の機能が１台の装置により集中して実現されてもよい。また、１つの機能が行う動作を２以上の機能が分散して行ってもよいし、２以上の機能が１つの機能に統合されてもよい。要するに、現場管理支援システム１の全体で必要な各機能が実現されていれば、それらの機能を実現する装置はどのような構成であってもよい。

【0166】

上述した実施形態の態様は、支援サーバ装置１０のような情報処理装置や、支援サーバ装置１０を備える現場管理支援システム１のような情報処理システムであったが、情報処理方法であってもよい。その情報処理方法は、現場管理支援システム１が実行する各ステップを備える。また、上述した実施形態の態様は、プログラムであってもよい。そのプログラムは、コンピュータに、現場管理支援システム１が実行する各ステップを実行させる。

【0167】

<その他のバリエーション>
情報又はデータ（以下「情報等」と言う）の出力先は、他の装置、ディスプレイ、記憶部（内蔵の記憶部及び外部の記憶部を含む）等であってもよい。情報等の取得には、他の装置から送信されてきた情報等を取得する態様に加え、自装置で生成された情報等を取得する態様を含む。パラメータを対応付けたテーブルは、図示したテーブルに限らず、パラメータの数を少なくしたり多くしたりしてもよい。また、テーブルを用いずに、数式又は条件式等によりパラメータに応じた情報等を求めてもよい。

【0168】

<付記>
さらに、次に記載の各態様で提供されてもよい。

【0169】

（１）情報処理システムであって、プロセッサを備え、前記プロセッサが、現場取得ステップでは、構造物に関する作業が行われる現場を測定装置が測定した測定結果を取得し、前記測定装置は、物体から届く電磁波を測定するセンサを有し、解析ステップでは、取得された前記測定結果に基づき所定の解析処理を実行し、蓄積ステップでは、実行された前記解析処理の結果を蓄積する、情報処理システム。

【0170】

このような態様によれば、現場作業に関するデータ化を促進することができる。

【0171】

（２）上記（１）に記載の情報処理システムにおいて、前記プロセッサが、作業取得ステップでは、前記作業に関する作業情報を取得し、前記解析ステップでは、取得された前記測定結果と取得された前記作業情報とに基づき前記解析処理を実行する、情報処理システム。

【0172】

このような態様によれば、より多様な事項についてデータ化することができる。

【0173】

（３）上記（１）又は（２）に記載の情報処理システムにおいて、前記プロセッサが、前記現場取得ステップでは、全方位を撮影可能な撮像装置で撮影された画像を前記測定結果として取得する、情報処理システム。

【0174】

このような態様によれば、現場の情報をより多くデータ化することができる。

【0175】

（４）上記（２）に記載の情報処理システムにおいて、前記作業情報には、前記作業の予定を示す予定情報が含まれ、前記プロセッサが、前記解析ステップでは、取得された前記測定結果が示す現場の状況と取得された前記作業情報が示す予定とに基づいて、前記作業の進捗を解析する処理を前記解析処理として実行する、情報処理システム。

【0176】

このような態様によれば、作業の進捗を管理することができる。

【0177】

（５）上記（４）に記載の情報処理システムにおいて、前記作業情報には、前記作業を行う作業者に関する情報が含まれ、前記プロセッサが、前記解析ステップでは、前記進捗の解析処理の結果と取得された前記作業情報とに基づいて、当該作業情報が示す作業者の施工能力を解析する処理を前記解析処理として実行する、情報処理システム。

【0178】

このような態様によれば、作業者の施工能力を把握することができる。
もちろん、この限りではない。
また、上述した実施形態及び変形例を任意に組み合わせて実施するようにしてもよい。

【0179】

最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0180】

１ ：現場管理支援システム
２ ：通信回線
３ ：棒
４ ：外付けバッテリー
５ ：外部電源
６ ：ブレーカ
７ ：コネクタ
８ ：スタンド
１０ ：支援サーバ装置
１１ ：制御部
２０ ：現場端末
２１ ：制御部
３０ ：撮像装置
３１ ：制御部
４０ ：監督端末
４１ ：制御部
５０ ：オペレータ端末
５１ ：制御部
６０ ：業務サーバ装置
６１ ：制御部
１０１ ：現場取得部
１０２ ：作業取得部
１０３ ：現場解析部
１０４ ：結果蓄積部
１０５ ：ダッシュボード部
１０６ ：ツール連携部
１１１ ：ＤＢ制御部
１１２ ：サーバ表示部
１１３ ：画像取得部
１１４ ：画像処理部
１１５ ：データ生成部
１１６ ：データ出力部
１１７ ：ユーザ受付部
１１８ ：対応付け処理部
２１１ ：表示制御部
２１２ ：操作受付部
２１３ ：稼働制御部
２１４ ：送信制御部
２３１ ：第１通信部
２３２ ：第２通信部
２３３ ：第３通信部
３１１ ：表示制御部
３１２ ：操作受付部
３１３ ：撮影制御部
３１４ ：送信制御部
３３１ ：第１通信部
３３２ ：第２通信部
４１１ ：表示制御部
４１２ ：操作受付部
５１１ ：表示制御部
５１２ ：操作受付部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【手続補正書】

【提出日】2024-05-13

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

情報処理システムであって、
プロセッサを備え、前記プロセッサが、
現場取得ステップでは、構造物に関する作業が行われる現場を撮像装置が撮影した撮影画像を取得し、
推定ステップでは、取得された前記撮影画像に基づき前記撮像装置の移動経路を推定し、
生成ステップでは、推定された前記移動経路に基づいて、前記撮像装置が撮影をした位置から見た作業現場の画像を示す現場画像データを生成し、
解析ステップでは、取得された前記撮影画像に基づき所定の解析処理を実行し、
蓄積ステップでは、生成された前記現場画像データ及び実行された前記解析処理の結果を蓄積する、
情報処理システム。

【請求項2】

請求項１に記載の情報処理システムにおいて、
前記プロセッサが、
作業取得ステップでは、前記作業に関する作業情報を取得し、前記作業情報には、前記現場の図面情報が含まれ、
前記解析ステップでは、取得された前記撮影画像が示す現場の状況と取得された前記作業情報が示す当該現場の図面との差分に基づいて、前記作業のミスを解析する処理を前記解析処理として実行する、
情報処理システム。

【請求項3】

請求項２に記載の情報処理システムにおいて、
前記作業情報には、前記作業を行う施工者に関する情報が含まれ、
前記プロセッサが、
前記解析ステップでは、前記作業のミスの解析処理の結果と取得された前記作業情報とに基づいて、当該作業情報が示す施工者の施工精度を解析する処理を前記解析処理として実行する、
情報処理システム。

【請求項4】

請求項１に記載の情報処理システムにおいて、
前記プロセッサが、
作業取得ステップでは、前記作業に関する作業情報を取得し、前記作業情報には、前記作業の予定を示す予定情報及び前記作業を行う作業者に関する情報が含まれ、
前記解析ステップでは、
取得された前記撮影画像が示す現場の状況と取得された前記作業情報が示す予定とに基づいて、前記作業の進捗を解析する処理と、
前記進捗を解析する処理の結果と取得された前記作業情報とに基づいて、当該作業情報が示す作業者の施工能力を解析する処理と、
特定のエリアが抱える施工者の前記施工能力を集計した総施工力を解析する処理と、
を前記解析処理として実行する、
情報処理システム。

【請求項5】

請求項１に記載の情報処理システムにおいて、
前記プロセッサが、
作業取得ステップでは、前記作業に関する作業情報を取得し、前記作業情報には、前記作業の予定を示す予定情報が含まれ、
前記解析ステップでは、
取得された前記撮影画像が示す現場の状況と取得された前記作業情報が示す予定とに基づいて、前記作業の進捗を解析する処理と、
前記進捗を解析する処理の結果に基づいて、前記現場における手待ち時間又は資材整頓時間を最小化する資材搬送スケジュールを解析する処理と、
を前記解析処理として実行する、
情報処理システム。