▶ エヌ・ティ・ティ・コミュニケーションズ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-10
(45)【発行日】2023-11-20
(54)【発明の名称】情報処理装置、情報処理方法およびプログラム
(51)【国際特許分類】
G06Q 10/10 20230101AFI20231113BHJP
G06Q 50/08 20120101ALI20231113BHJP
G06T 7/00 20170101ALI20231113BHJP
【ＦＩ】
G06Q10/10 310
G06Q50/08
G06T7/00 300F
【請求項の数】
9
(21)【出願番号】P 2019230409
(22)【出願日】2019-12-20
(65)【公開番号】P2021099603
(43)【公開日】2021-07-01
【審査請求日】2022-08-12
(73)【特許権者】
【識別番号】399035766
【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100179062
【弁理士】
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100199565
【弁理士】
【氏名又は名称】飯野 茂
(72)【発明者】
【氏名】金児 裕美
(72)【発明者】
【氏名】平尾 明子
【審査官】大野 朋也
(56)【参考文献】
【文献】特開２０１５－２０７１０５（ＪＰ，Ａ）
【文献】特開２００７－０９４９６２（ＪＰ，Ａ）
【文献】特開２０１９－０１６０９８（ＪＰ，Ａ）
【文献】特開２００３－０９０１３０（ＪＰ，Ａ）
【文献】特開２０１９－１４８９４６（ＪＰ，Ａ）
【文献】特開２００９－２１０４０３（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１９／０３２５０８９（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１３／０１５５０５８（ＵＳ，Ａ１）
【文献】特開２００４－００５２３７（ＪＰ，Ａ）
【文献】特開２０１８－０４９４２１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｑ １０／００－９９／００
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
作業対象に対する作業の進捗を表す情報を提示する情報処理装置であって、前記作業対象を含む現実空間を撮影した画像データをもとに生成された、第１の撮影日時に対応する前記現実空間を表す第１の画像を取得する、第１の画像取得部と、
前記作業対象に対する前記作業の進捗の基準となる、前記現実空間を表す第２の画像を取得する、第２の画像取得部と、
前記第１の画像と前記第２の画像とを対比することによって、前記第１の撮影日時における前記作業の進捗率を求める評価部と、
前記進捗率を表す情報を生成し出力する出力部と、
を具備し、
前記評価部は、前記第１の画像に含まれる、エッジと面で構成される複数の第１の物体と、前記複数の第１の物体の各々に対応する、前記第２の画像に含まれる、エッジと面で構成される複数の第２の物体とを識別し、前記複数の第１の物体と前記複数の第２の物体の対応するもの同士を対比することによって前記各物体間の類似度を算出し、物体の種類毎にあらかじめ設定された重みを用いて前記各物体間の類似度の加重平均を算出することによって前記作業の進捗率を求める情報処理装置。
【請求項2】
前記物体の種類毎にあらかじめ設定された重みを記憶した評価テーブルを更に具備し、
前記評価部は、前記各物体間の類似度の加重平均を算出するのに用いる前記重みを決定する、請求項１に記載の情報処理装置。
【請求項3】
前記評価部は、前記第１の画像および前記第２の画像からそれぞれ特徴を抽出し、抽出された前記各特徴を対比することによって前記第１の物体と前記第２の物体との類似度を算出し、算出された前記類似度に基づいて前記作業の進捗率を求める、請求項１に記載の情報処理装置。
【請求項4】
前記出力部は、前記類似度が所定のしきい値を下回る場合に、前記第１の画像および前記第２の画像のうちの少なくとも一方において前記第１または第２の物体を強調表示させるための情報を生成し出力する、請求項１に記載の情報処理装置。
【請求項5】
前記第２の画像が、前記第１の撮影日時における、仮想空間内の前記作業対象に対する予想進捗を表す画像である、請求項１に記載の情報処理装置。
【請求項6】
前記第１の画像が、前記画像データをもとに作成された、前記現実空間を２次元的または３次元的に表す画像であり、前記第２の画像が、前記画像データをもとに作成された、前記第１の撮影日時とは異なる第２の撮影日時に対応する前記現実空間を２次元的または３次元的に表す画像である、
請求項１に記載の情報処理装置。
【請求項7】
前記第２の画像が、前記作業が完了した状態に対応する、仮想空間内の前記作業対象を表す画像である、請求項１に記載の情報処理装置。
【請求項8】
作業対象に対する作業の進捗を表す情報を提示する情報処理装置が実行する情報処理方法であって、前記作業対象を含む現実空間を撮影した画像データをもとに生成された、第１の撮影日時に対応する前記現実空間を表す第１の画像を取得する過程と、
前記作業対象に対する前記作業の進捗の基準となる、前記現実空間を表す第２の画像を取得する過程と、
前記第１の画像と前記第２の画像とを対比することによって、前記第１の撮影日時における前記作業の進捗率を求める過程と、
前記進捗率を表す情報を生成し出力する過程と、
を具備し、
前記進捗率を求める過程は、前記第１の画像に含まれる、エッジと面で構成される複数の第１の物体と、前記複数の第１の物体の各々に対応する、前記第２の画像に含まれる、エッジと面で構成される複数の第２の物体とを識別し、前記複数の第１の物体と前記複数の第２の物体の対応するもの同士を対比することによって前記各物体間の類似度を算出し、物体の種類毎にあらかじめ設定された重みを用いて前記各物体間の類似度の加重平均を算出することによって前記作業の進捗率を求める情報処理方法。
【請求項9】
請求項１乃至請求項７の何れか一項に記載の情報処理装置の各部による処理をプロセッサに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明の一態様は、作業対象に対する作業の進捗を表す情報を提示する情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
工事現場や建築現場では、作業の進捗を管理するために、現場の写真や動画を撮影することが一般的に行われている。管理者は、例えば、目視で写真や動画を見て作業の進捗を評価する。
【0003】
ここで、建築現場で撮影された画像を、進行管理やトラブル処理等のため、専用のホームページに送信して管理する技術が知られている（例えば、特許文献１参照）。
また、建築現場や不動産物件等において３６０°カメラで施工記録の写真を撮影することも知られている（例えば、非特許文献１参照）。
また、建築現場や不動産物件等において３６０°カメラで施工記録の写真を撮影することも知られている（例えば、非特許文献１参照）。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２００３－８７４８６号公報
【非特許文献】
【0005】
【文献】株式会社レゴリス、“「RICOH THETA（リコーシータ）」と連携、施工記録を360°写真で／「国交省営繕工事電子納品対応」をリリース”、［online］、２０１９年１２月１３日検索、インターネット<URL: https://spider-plus.com/news/update/231/>
【発明の概要】
【発明が解決しようとする課題】
【0006】
従来の技術では、管理者は、現場で撮影された画像から、経験に基づいて、頭の中で作業の進捗を評価していた。
【0007】
この発明は上記事情に着目してなされたもので、その目的とするところは、経験に頼ることなく簡易にかつ的確に作業の進捗を把握できるようにする技術を提供することにある。
【課題を解決するための手段】
【0008】
上記課題を解決するためにこの発明の第１の態様は、作業対象に対する作業の進捗を表す情報を提示する情報処理装置にあって、上記作業対象を含む現実空間を撮影した画像データをもとに生成された、第１の撮影日時に対応する上記現実空間を表す第１の画像を取得する第１の画像取得部と、上記作業対象に対する上記作業の進捗の基準となる、上記現実空間を表す第２の画像を取得する第２の画像取得部と、上記第１の画像と上記第２の画像とを対比することによって、上記第１の撮影日時における上記作業の進捗率を求める評価部と、上記進捗率を表す情報を生成し出力する出力部と、を具備し、上記評価部は、上記第１の画像に含まれる、エッジと面で構成される複数の第１の物体と、上記複数の第１の物体の各々に対応する、上記第２の画像に含まれる、エッジと面で構成される複数の第２の物体とを識別し、上記複数の第１の物体と上記複数の第２の物体の対応するもの同士を対比することによって上記各物体間の類似度を算出し、物体の種類毎にあらかじめ設定された重みを用いて上記各物体間の類似度の加重平均を算出することによって上記作業の進捗率を求めるようにしたものである。
【発明の効果】
【0009】
この発明の第１の態様によれば、情報処理装置によって、特定の日時において現実空間を撮影した画像データをもとに生成された画像と、作業の進捗の基準となる画像とが取得され、それらを対比することによって、特定の日時における作業の進捗率が求められ、提示される。
これにより、管理者の経験に頼ることなく、作業の進捗を把握し、客観的な評価を行うことができる。
これにより、管理者の経験に頼ることなく、作業の進捗を把握し、客観的な評価を行うことができる。
【0010】
すなわちこの発明の各態様によれば、作業の進捗を簡易にかつ的確に把握できるようにする技術を提供することができる。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
以下、図面を参照してこの発明に係わる実施形態を説明する。
［一実施形態］
（構成）
（１）システム
図１は、この発明の一実施形態に係る情報処理装置１を含むシステム全体の構成を示す図である。
このシステムは、ネットワークＮＷを介して、情報処理装置１と、カメラＣＤ１，ＣＤ２，．．．，ＣＤｍ（以下、総称して「カメラＣＤ」と言う）と、ユーザ端末ＵＴ１，ＵＴ２，．．．，ＵＴｎ（以下、総称して「ユーザ端末ＵＴ」と言う）とを互いに通信可能に接続する。なお、情報処理装置１には、任意の数のカメラＣＤおよび任意の数のユーザ端末ＵＴが接続されてよい。
［一実施形態］
（構成）
（１）システム
図１は、この発明の一実施形態に係る情報処理装置１を含むシステム全体の構成を示す図である。
このシステムは、ネットワークＮＷを介して、情報処理装置１と、カメラＣＤ１，ＣＤ２，．．．，ＣＤｍ（以下、総称して「カメラＣＤ」と言う）と、ユーザ端末ＵＴ１，ＵＴ２，．．．，ＵＴｎ（以下、総称して「ユーザ端末ＵＴ」と言う）とを互いに通信可能に接続する。なお、情報処理装置１には、任意の数のカメラＣＤおよび任意の数のユーザ端末ＵＴが接続されてよい。
【0013】
ユーザ端末ＵＴは、例えば、ブラウザまたはそれに代わるアプリケーションを備える、パーソナルコンピュータ、携帯電話機、スマートフォン、タブレット端末などのクライアント端末である。ユーザ端末ＵＴは、液晶または有機ＥＬ（Electro Luminescence）等を用いた表示デバイスを備えるか、またはそのような表示デバイスと組み合わせて用いられる。一実施形態によれば、ユーザ端末ＵＴは、例えば、建築業者、不動産販売業者、住宅事業者などによって、建築工事やリフォーム工事などの作業の進捗を管理・評価するために使用される。ユーザ端末ＵＴはまた、作業対象である住宅の所有者などにより、作業の進捗を確認するために使用されてもよい。
【0014】
カメラＣＤは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の固体撮像デバイスを用いたものである。カメラＣＤは、作業対象を含む現実空間を撮影できるものであれば、静止画または動画撮影機能を有するデジタルカメラ、パノラマカメラ、３６０度カメラなど、任意のカメラであってよい。カメラＣＤはまた通信機能を備えるものであってもよい。一実施形態によれば、カメラＣＤによって撮影された静止画または動画（以下、単に「画像」と言う）は、撮影した日時を表す情報（以下、「日時情報」）および撮影した現実空間を識別する情報（以下、「場所情報」）を付加されて、画像データとして情報処理装置１に送信される。場所情報は、画像の撮影者等が手作業により付加するものであってもよいし、ＧＰＳ情報などの位置情報として自動的に付加されるものであってもよい。画像データはさらに、撮影したカメラＣＤを識別する情報を含んでもよい。
【0015】
画像データは、カメラＣＤからネットワークＮＷを介して情報処理装置１に直接送信されてもよいし、ユーザ端末ＵＴを経由して送信されてもよい。なお、カメラＣＤとユーザ端末ＵＴは、カメラ機能を備えるスマートフォンのように一体のものであってもよい。カメラＣＤは、撮影のたびに画像データを送信してもよいし、画像データをカメラＣＤのメモリに蓄積し、一定期間または一定量ごとに送信してもよい。
【0016】
ネットワークＮＷは、例えば、インターネットに代表されるＩＰ網と、このＩＰ網に対しアクセスするための複数のアクセス網とから構成される。
【0017】
（２）情報処理装置
情報処理装置１は、例えばクラウド上に配置されたサーバ装置であり、作業対象を含む現実空間を撮影した画像データに基づいて、当該作業対象に対する作業の進捗を評価し、進捗を表す情報を出力する。一実施形態によれば、作業とは、建築工事、内装工事および設備工事など、建物に関係する作業である。ただしこれらに限定されるものではなく、情報処理装置１は、あらかじめ設定された期限やスケジュールに従って実行される、他の作業にも適用可能である。一実施形態によれば、作業対象は、建物における工事の対象であり、例えば、柱、桁、梁、天井、壁、床、電気設備、ガス管、水道管、光ファイバーケーブル、空調・給排気設備などである。しかし、やはりこれらに限定されるものではなく、情報処理装置１は、作業の対象となるあらゆるものに適用可能である。一実施形態によれば、現実空間は、これら作業対象を含む任意の空間を言う。
情報処理装置１は、例えばクラウド上に配置されたサーバ装置であり、作業対象を含む現実空間を撮影した画像データに基づいて、当該作業対象に対する作業の進捗を評価し、進捗を表す情報を出力する。一実施形態によれば、作業とは、建築工事、内装工事および設備工事など、建物に関係する作業である。ただしこれらに限定されるものではなく、情報処理装置１は、あらかじめ設定された期限やスケジュールに従って実行される、他の作業にも適用可能である。一実施形態によれば、作業対象は、建物における工事の対象であり、例えば、柱、桁、梁、天井、壁、床、電気設備、ガス管、水道管、光ファイバーケーブル、空調・給排気設備などである。しかし、やはりこれらに限定されるものではなく、情報処理装置１は、作業の対象となるあらゆるものに適用可能である。一実施形態によれば、現実空間は、これら作業対象を含む任意の空間を言う。
【0018】
一実施形態によれば、情報処理装置１は、Ｗｅｂサーバの機能を有し、専用のＷｅｂサイトを介して、ユーザに対し、工事の作業対象を撮影した写真や作業の進捗を表す情報の閲覧を可能にするサービスを提供する。
【0019】
（２－１）ハードウェア構成
図２は、情報処理装置１のハードウェア構成の一例を示すブロック図である。
情報処理装置１は、例えば、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサ２０Ａを有する。そして、このハードウェアプロセッサ２０Ａに対し、プログラムメモリ２０Ｂ、データメモリ３０、および通信インタフェース（Ｉ／Ｆ）１０を、バス４０を介して接続したものとなっている。
図２は、情報処理装置１のハードウェア構成の一例を示すブロック図である。
情報処理装置１は、例えば、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサ２０Ａを有する。そして、このハードウェアプロセッサ２０Ａに対し、プログラムメモリ２０Ｂ、データメモリ３０、および通信インタフェース（Ｉ／Ｆ）１０を、バス４０を介して接続したものとなっている。
【0020】
通信インタフェース１０は、１つ以上の有線または無線の通信インタフェースを含む。通信インタフェース１０は、ネットワークＮＷを介して、カメラＣＤおよびユーザ端末ＵＴをはじめとする他の外部機器との間で情報の送受信を可能にする。有線インタフェースとしては、例えば有線ＬＡＮが使用され、また無線インタフェースとしては、例えば無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）などの小電力無線データ通信規格を採用したインタフェースが使用される。
【0021】
プログラムメモリ２０Ｂは、記憶媒体として、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ等の不揮発性メモリにより構成され、一実施形態に係る各種制御処理を実行するために必要なプログラムを格納している。
【0022】
データメモリ３０は、記憶媒体として、例えば、ＨＤＤまたはＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリにより構成され、例えば、情報処理の過程で取得および作成された各種データを記憶するために用いられる。
【0023】
（２－２）ソフトウェア構成
図３は、この発明の一実施形態に係る情報処理装置１のソフトウェア構成を、図２に示したハードウェア構成と関連付けて示した機能ブロック図である。制御ユニット２０は、上記ハードウェアプロセッサ２０Ａと、上記プログラムメモリ２０Ｂとを含む。
通信インタフェース１０は、外部装置から種々のデータをネットワーク経由で受信する受信部１１と、外部装置へ種々のデータをネットワーク経由で送信する送信部１２とを含む。例えば、受信部１１は、カメラＣＤから画像データを受信し、これを制御ユニット２０に渡す。受信部１１はまた、ユーザ端末ＵＴからユーザ要求を受信し、制御ユニット２０に渡す。このユーザ要求は、例えばＨＴＴＰ（Hyper Text Transport Protocol）リクエストであってよい。画像データを受信する受信部とユーザ要求を受信する受信部は別個に設けられてもよい。送信部１２は、出力部として、制御ユニット２０から出力される応答メッセージを受け取り、これを要求元のユーザ端末ＵＴに送信する。この応答は、例えばＨＴＴＰレスポンスであってよい。
図３は、この発明の一実施形態に係る情報処理装置１のソフトウェア構成を、図２に示したハードウェア構成と関連付けて示した機能ブロック図である。制御ユニット２０は、上記ハードウェアプロセッサ２０Ａと、上記プログラムメモリ２０Ｂとを含む。
通信インタフェース１０は、外部装置から種々のデータをネットワーク経由で受信する受信部１１と、外部装置へ種々のデータをネットワーク経由で送信する送信部１２とを含む。例えば、受信部１１は、カメラＣＤから画像データを受信し、これを制御ユニット２０に渡す。受信部１１はまた、ユーザ端末ＵＴからユーザ要求を受信し、制御ユニット２０に渡す。このユーザ要求は、例えばＨＴＴＰ（Hyper Text Transport Protocol）リクエストであってよい。画像データを受信する受信部とユーザ要求を受信する受信部は別個に設けられてもよい。送信部１２は、出力部として、制御ユニット２０から出力される応答メッセージを受け取り、これを要求元のユーザ端末ＵＴに送信する。この応答は、例えばＨＴＴＰレスポンスであってよい。
【0024】
データメモリ３０の記憶領域には、画像データ記憶部３１と、テーブル記憶部３２とが設けられている。
【0025】
画像データ記憶部３１は、カメラＣＤによって撮影された画像データまたはそれに基づいて生成された種々の画像データを記憶するために使用される。画像データは、日時情報および場所情報に紐づけて記憶される。
【0026】
テーブル記憶部３２は、進捗率を求めるために用いられる評価テーブルを記憶するために使用される。
【0027】
なお、記憶部３１～３２は必須の構成ではなく、クラウドに配置されたデータベースサーバ等の記憶装置に設けられたものであってもよい。
【0028】
制御ユニット２０は、ソフトウェアによる処理機能部として、画像処理部２１と、ユーザ要求受付部２２と、表示用画像取得部２３と、進捗評価部２４と、表示データ生成部２５とを備えている。これらの処理機能部は、いずれもプログラムメモリ２０Ｂに格納されたプログラムを、上記ハードウェアプロセッサ２０Ａに実行させることにより実現される。制御ユニット２０は、また、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（field-programmable gate array）などの集積回路を含む、他の多様な形式で実現されてもよい。
【0029】
画像処理部２１は、受信部１１から画像データを受け取り、それらをデータメモリ３０に書き込む。一実施形態によれば、画像処理部２１は、画像データから日時情報および場所情報を抽出し、所定の処理を行ってから、それらの画像データを日時情報および場所情報に紐づけて画像データ記憶部３１に格納する。
【0030】
ユーザ要求受付部２２は、受信部１１からユーザ要求を受け取り、解析して、要求に応じた処理を行う。一実施形態によれば、ユーザ要求は、特定のＷｅｂページの閲覧に必要なデータの取得要求、特定の画像の取得要求、および作業の進捗の評価要求を含む。ユーザ要求受付部２２は、ユーザ要求を受け取り、必要な識別情報を抽出して、表示用画像取得部２３に渡す。
【0031】
表示用画像取得部２３は、ユーザ要求受付部２２から受け取った情報に基づき、必要な画像を取得または生成して、進捗評価部２４または表示データ生成部２５に渡す処理を行う。一実施形態によれば、表示用画像取得部２３は、特定の場所および日時に対応する画像の取得要求を受け取り、画像データ記憶部３１から対応する画像データを読み出して、表示データ生成部２５に渡す。または、表示用画像取得部２３は、作業の進捗の評価要求を受け取り、進捗を評価するために必要な画像データを画像データ記憶部３１から読み出して進捗評価部２４に渡す。
【0032】
進捗評価部２４は、表示用画像取得部２３から受け取った画像データをもとに、作業の進捗を評価し、評価結果を表示データ生成部２５に渡す処理を行う。一実施形態によれば、進捗評価部２４は、表示用画像取得部２３から受け取った２つの画像データを対比し、それらの類似度を算出する。そして、進捗評価部２４は、算出された類似度に基づき、作業の進捗を表す情報として作業の進捗率を求めて、その進捗率を含む評価結果を表示データ生成部２５に渡す。進捗率は、作業の進捗の程度をパーセンテージで表すもので、すべての作業が完了した状態を基準として求められてもよいし、各評価時点において期待される作業の状態を基準として求められてもよい。
【0033】
表示データ生成部２５は、表示用画像取得部２３から受け取った画像データに基づき、ユーザ要求に応じた表示データを含む応答メッセージを生成して、送信部１２に渡す処理を行う。表示データ生成部２５はまた、進捗評価部２４から評価結果を受け取り、ユーザに提示するための表示データを含む応答メッセージを生成して、送信部１２に渡す処理を行う。表示データは、文字列および画像を含み得る。
【0034】
【0035】
（１）画像の収集・蓄積
はじめに、情報処理装置１は、カメラＣＤから現実空間を撮影した画像データを収集し、蓄積する。なお、図４では便宜上カメラＣＤを１つだけ示しているが、情報処理装置１は、複数のカメラＣＤから画像データを収集することができる。
はじめに、情報処理装置１は、カメラＣＤから現実空間を撮影した画像データを収集し、蓄積する。なお、図４では便宜上カメラＣＤを１つだけ示しているが、情報処理装置１は、複数のカメラＣＤから画像データを収集することができる。
【0036】
矢印Ｃ１において、カメラＣＤは、工事現場の作業者等の操作により、作業対象を含む現実空間を撮影し、生成した画像データを情報処理装置１に送信する。
【0037】
一実施形態によれば、カメラＣＤは、スマートフォンと連携して動作可能な３６０度カメラである。３６０度カメラは、例えば、前後方向に１８０度を超える超広角の魚眼レンズを備え、同時に前後方向の画像または映像を撮影することができる。３６０度カメラはまた、撮影した前後方向の画像をもとに、傾き補正、歪み補正、色補正等を含む前処理を行ったのち、いわゆる「イメージスティッチング（Image Stitching）技術」により画像をつなぎ合わせて、３６０度の全天球画像データを生成することができる。
【0038】
図５は、３６０度カメラであるカメラＣＤが、作業対象を含む現実空間として、建築工事中の建物内の空間ＴＧを撮影して画像データを生成するイメージを示す。カメラＣＤは、空間ＴＧの任意の位置に固定され、スマートフォンを介した遠隔操作により前後方向の画像を撮影し、その前後方向の画像を、上記イメージスティッチングによりつなぎ合わせ、３６０度画像データを生成する。生成された３６０度画像データは、その撮影日時を表す情報とともに、例えばＷｉＦｉ機能によってカメラＣＤからスマートフォンに転送される。画像データには、スマートフォンのユーザ（例えば、上記作業者）によって撮影場所を識別する場所情報を付加される。場所情報は、例えば、住所、建物名、部屋番号、緯度経度、高さなどを含んでよい。またこれらのうちのいくつかの情報は、カメラＣＤ自体によって自動的に画像データに付加されてもよい。画像は、特定の空間ＴＧについて、例えば空間ＴＧの中央付近など、一か所で撮影されてもよいし、所定の間隔ずつ移動しながら複数の位置で撮影されてもよい。
【0039】
スマートフォンは、ユーザの操作を受けて、例えば専用のＷｅｂページに画像データをアップロードすることによって、情報処理装置１に画像データを送信する。送信される各画像データは、上記のように、少なくとも場所情報および日時情報を含む。送信される画像データはまた、撮影したカメラＣＤまたはスマートフォンを識別する情報ならびに撮影位置に関するＧＰＳ情報を含み得る。
【0040】
情報処理装置１は、カメラＣＤ（またはスマートフォン）から画像データを受信すると、ステップＳ１０１において、画像処理部２１の制御の下、受信した画像データを場所情報および日時情報に紐づけて画像データ記憶部３１に記憶させる。例えば、画像データは、場所情報として「Ａ県Ａ市，Ｘマンション，１０２号室」、日時情報として「２０１９年６月Ｘ日」に紐づけて記憶される。
【0041】
ここで、一実施形態によれば、画像処理部２１は、同日に近接する撮影位置で撮影された複数の画像データから特徴を抽出し、互いに関連付けることによって、現実空間を表す仮想的な３Ｄ空間モデルを生成することもできる。画像処理部２１は、３６０度画像データに加えて、または代わりに、生成された３Ｄ空間モデルを画像データ記憶部３１に記憶させることもできる。
【0042】
このように、情報処理装置１は、カメラＣＤから画像データを受け取るたびに、必要な処理を行ってから画像データ記憶部３１に記憶させる。なお、情報処理装置１は、受信した２次元（２Ｄ）画像（写真）データを２Ｄデータのまま蓄積するようにしてもよい。また、上記で説明した複数の画像をつなぎ合わせるスティッチング処理は、情報処理装置１が行うものであってもよい。
【0043】
さらに一実施形態によれば、画像データ記憶部３１には、場所情報に紐づけて、建物または部屋のレイアウト（間取り）を表すレイアウトデータも記憶される。画像データは、生成された３次元（３Ｄ）空間モデルに基づき、上記レイアウトに関連付けられる。レイアウトデータは、例えば、情報処理装置１が画像データまたは３Ｄ空間モデルをもとに市販の間取り作成ソフトウェア等を用いて作成するものであってもよい。または、情報処理装置１が、画像データまたは３Ｄ空間モデルから抽出される特徴に基づき、あらかじめ記憶されたレイアウトデータに画像データを関連付けてもよい。あるいは、情報処理装置１のオペレータが、任意のタイミングで画像データ記憶部３１に格納された画像データを読み出し、手動でレイアウトデータに関連付けてもよい。
【0044】
以上のような処理により情報処理装置１にすでに一定量の画像データが収集・蓄積されているという前提で、後続の動作について以下で説明する。
【0045】
（２）初期画面の提供
情報処理装置１は、ユーザ端末ＵＴからの要求に応答して、蓄積された画像の閲覧サービスを提供することができる。画像の閲覧に使用されるユーザ端末ＵＴは、画像データをアップロードするために使用されるユーザ端末と同じものであっても異なるものであってもよい。以下の例では、ユーザ端末ＵＴが、例えば建築会社に設置され進捗管理者によって操作される、ディスプレイを備えるパーソナルコンピュータであり、ユーザＵＳは上記進捗管理者であるものとして説明する。
情報処理装置１は、ユーザ端末ＵＴからの要求に応答して、蓄積された画像の閲覧サービスを提供することができる。画像の閲覧に使用されるユーザ端末ＵＴは、画像データをアップロードするために使用されるユーザ端末と同じものであっても異なるものであってもよい。以下の例では、ユーザ端末ＵＴが、例えば建築会社に設置され進捗管理者によって操作される、ディスプレイを備えるパーソナルコンピュータであり、ユーザＵＳは上記進捗管理者であるものとして説明する。
【0046】
ユーザＵＳが、例えばある作業現場について作業の進捗を確認しようとする。ユーザＵＳは、そのような確認の目的で、情報処理装置１が提供するＷｅｂページを閲覧するために、図４の破線矢印Ｕ１において、パーソナルコンピュータＵＴを操作し、ブラウザを起動する。すると、パーソナルコンピュータＵＴのブラウザは、情報処理装置１に対し、当該Ｗｅｂページの取得要求を送信する。
【0047】
ステップＳ１０２において、情報処理装置１は、受信部１１により、パーソナルコンピュータＵＴのブラウザからＷｅｂページの取得要求を受信する。受信部１１は、ユーザ要求受付部２２にこの取得要求を渡す。ユーザ要求受付部２２は、取得要求から必要な情報、例えば、要求に係るＷｅｂページの情報およびパーソナルコンピュータＵＴのブラウザ情報を抽出し、表示用画像取得部２３に渡す。表示用画像取得部２３は、要求されたＷｅｂページのＨＴＭＬファイルをデータメモリ３０内の記憶部（図示せず）から読み出し、表示データ生成部２５に渡す。表示用画像取得部２３はまた、要求されたＷｅｂページの表示に必要な画像データがあれば、データメモリ３０から読み出し、表示データ生成部２５に渡す。表示データ生成部２５は、上記ＨＴＭＬファイルを含む応答メッセージを生成して送信部１２に渡す。
【0048】
ステップＳ１０３において、送信部１２は、受け取った応答メッセージをパーソナルコンピュータＵＴのブラウザに送信する。
【0049】
メッセージを受信したパーソナルコンピュータＵＴのブラウザは、Ｄ１において、受信したＨＴＭＬファイルに基づき、対応するＷｅｂページを表示する。
【0050】
図６は、情報処理装置１が提供するＷｅｂページの表示イメージの一例を示す。図６の例では、ページ６０において、ボックス６１に建物の名称「Ｘマンション」および住所「Ａ県Ａ市・・・」が表示され、ボックス６２にその建物の外観の写真が表示される。同様に、ボックス６３には別の建物の名称「ＹＹビル」および住所「Ｂ県Ｂ市・・・」が表示され、ボックス６４にその建物の外観の写真が表示される。一実施形態によれば、ボックス６２および６４にはそれぞれ他のＷｅｂページへのリンクが設定されており、ユーザＵＳは、例えばマウス等の入力デバイスを用いてマウスポインタ８０を操作し、いずれかのボックス内をクリックすることによって、閲覧を希望する建物を選択することができる。建物名のボックス６１および６３にリンクが設定されてもよい。またＷｅｂページを表示する際に、ユーザごとにその権限に応じて閲覧対象が制限されるようにしてもよい。なお、マウスポインタ８０は例示にすぎず、ユーザ端末ＵＴがスマートフォンであればタッチパネルを介して選択されてもよいし、マウス操作以外にも、キーボード操作、音声入力、視線入力、ジェスチャ入力など他の操作により入力されてもよい。
【0051】
（３）評価対象の選択
図４の破線矢印Ｕ２は、上記のようなユーザＵＳによる対象の選択操作を示す。例えば、図６に示したように、ユーザＵＳがボックス６２に表示された「Ｘマンション」を選択した場合、パーソナルコンピュータＵＴのブラウザは、このユーザの選択操作を受け付けて、リンク先のページを閲覧するための情報を再び情報処理装置１に要求する。
図４の破線矢印Ｕ２は、上記のようなユーザＵＳによる対象の選択操作を示す。例えば、図６に示したように、ユーザＵＳがボックス６２に表示された「Ｘマンション」を選択した場合、パーソナルコンピュータＵＴのブラウザは、このユーザの選択操作を受け付けて、リンク先のページを閲覧するための情報を再び情報処理装置１に要求する。
【0052】
ステップＳ１０４において、情報処理装置１は、受信部１１により、パーソナルコンピュータＵＴのブラウザからこの取得要求を受信する。受信部１１は、ユーザ要求受付部２２にこの取得要求を渡す。
【0053】
次いでステップＳ１０５において、情報処理装置１は、ユーザ要求受付部２２の制御の下、取得要求から必要な情報、例えば、リンク先のページの情報を抽出して表示用画像取得部２３に渡す。
【0054】
ステップＳ１０６において、情報処理装置１は、表示用画像取得部２３の制御の下、データメモリ３０からリンク先のページのＨＴＭＬファイルおよび必要な画像データを読み出して、表示データ生成部２５に渡す。一実施形態によれば、表示用画像取得部２３は、必要な画像データとして、閲覧対象とする部屋番号および閲覧対象とする日時情報をユーザＵＳに指定させるための画像データを取得する。表示データ生成部２５は、表示用画像取得部２３から受け取った情報をもとに応答メッセージを生成して送信部１２に渡す。
【0055】
ステップＳ１０７において、送信部１２は、受け取った応答メッセージをパーソナルコンピュータＵＴのブラウザに送信する。
【0056】
応答メッセージを受信したパーソナルコンピュータＵＴのブラウザは、Ｄ２において、受信したＨＴＭＬファイルに基づき、対応するＷｅｂページを表示する。
【0057】
図７は、そのようなＷｅｂページの表示イメージの一例を示す。図７の例では、Ｗｅｂページ６５において、ボックス６６に表示中の建物の名称および住所「Ｘマンション，Ａ県Ａ市・・・」が表示され、選択ボックス６７に閲覧可能な部屋番号「１０１号室，１０２号室，・・・」が表示される。部屋番号に限らず、フロア単位で閲覧可能としてもよい。またユーザごとに閲覧権限を設定してもよい。
【0058】
図７に示したように、ユーザＵＳにより閲覧対象として「１０２号室」が選択されると、ボックス６８に、「Ｘマンションの１０２号室」について閲覧可能な画像の有無が時系列で表示される。この例では、黒塗りの下向き三角形がその日時に撮影された画像が存在することを示す。例えば、ユーザＵＳがマウスポインタ８０をいずれかの三角形に合わせることによって、該当する日時情報がポップアップ表示され、さらに三角形をクリックすることによって当該日時を閲覧対象として選択することができる。
【0059】
より詳細には、図７において、ユーザＵＳによりパーソナルコンピュータＵＴのブラウザを介して「１０２号室」が選択されると、再び図４の矢印Ｕ２、ステップＳ１０４～ステップＳ１０７およびＤ２に関して説明したのと同様の処理が行われる。例えば、情報処理装置１のユーザ要求受付部２２が、取得要求から場所情報「Ｘマンション，１０２号室」を抽出し、表示用画像取得部２３が、画像データ記憶部３１から場所情報「Ｘマンション，１０２号室」に紐づけられた閲覧可能なすべての画像の日時情報を読み出す。そして、表示データ生成部２５が、この日時情報をユーザＵＳが時間軸上で閲覧できるような表示を生成し、送信部１２を介してパーソナルコンピュータＵＴのブラウザに送信する。パーソナルコンピュータＵＴのブラウザは、Ｄ２において図７のボックス６８に示したような時間軸表示を表示する。
【0060】
同様に、図７のボックス６８を介して、ユーザＵＳがさらに「６月Ｘ日」を閲覧対象として選択すると、再び図４の矢印Ｕ２、ステップＳ１０４～ステップＳ１０７に関して説明したのと同様の処理を経て、Ｄ２において、パーソナルコンピュータＵＴのブラウザに「６月Ｘ日」の「Ｘマンション１０２号室」に対応する画像を含むＷｅｂページが表示される。
【0061】
図８は、そのようなＷｅｂページの表示イメージの一例を示す。図８の例では、Ｗｅｂページ７０において、ボックス７１に閲覧中の建物の場所情報「Ｘマンション１０２号室」および住所「Ａ県Ａ市・・・」が表示され、ボックス７２に閲覧中の画像の日時情報「２０１９年６月Ｘ日」が表示される。ボックス７３には、当該場所情報および日時情報に対応する画像データ（以下、「撮影画像」）が表示される。撮影画像は、特定の場所および特定の日時における作業対象を含む現実空間を撮影した画像データをもとに作成された任意の画像であってよい。この例では、撮影画像は、３６０度画像データから任意のアングルを切り取って作成された画像である。
【0062】
またこのとき、上述のようにあらかじめ作成され記憶されたレイアウトデータに基づき、「Ｘマンション１０２号室」のレイアウト表示がされるようにしてもよい。レイアウト表示には、例えば各部屋で撮影された画像データへのリンクが設定されてもよい。
【0063】
（４）対比画像の取得・表示
次に、ユーザＵＳが、指定した場所および日時における作業の進捗を視覚的に知りたい場合、例えばＷｅｂページ７０にＧＵＩ部品として表示された「比較」ボタン７０１を選択することができる。比較ボタン７０１には、例えば、画像を比較可能に表示するためのＷｅｂページへのリンクが設定される。
次に、ユーザＵＳが、指定した場所および日時における作業の進捗を視覚的に知りたい場合、例えばＷｅｂページ７０にＧＵＩ部品として表示された「比較」ボタン７０１を選択することができる。比較ボタン７０１には、例えば、画像を比較可能に表示するためのＷｅｂページへのリンクが設定される。
【0064】
図４の破線矢印Ｕ３は、そのようなユーザ要求がパーソナルコンピュータＵＴのブラウザを介して入力されたことを示す。この入力を受け取ったパーソナルコンピュータＵＴのブラウザは、表示中の画像に係る日時情報および場所情報とともに上記要求を情報処理装置１に送信する。
【0065】
ステップＳ１０８において、情報処理装置１は、受信部１１により、パーソナルコンピュータＵＴからユーザ要求を受信する。
【0066】
ステップＳ１０９において、情報処理装置１は、ユーザ要求受付部２２の制御の下、この要求を受け付け、必要な情報を抽出して表示用画像取得部２３に渡す。一実施形態によれば、ユーザ要求受付部２２は、必要な情報として、リンク先のページを指定する情報と、ユーザ要求がパーソナルコンピュータＵＴに入力された時点でそのブラウザに表示されていた撮影画像との対比に用いるべき画像（以下、「対比画像」）に関する情報が含まれる。対比画像は、作業対象に対する作業の進捗の基準となる画像である。例えば、対比画像は、作業対象に対する作業が完了した状態を表す画像であり、完成予想図または完成予想３Ｄモデルをもとに作成された画像であってよい。完成予想図は、ＢＩＭ（Building Information Modeling）データまたはＣＡＤ（Computer-Aided Design）データであってもよい。
【0067】
あるいは、対比画像は、作業スケジュールをもとに作成された当該日時に対応する画像、例えば、その日時に見込まれる予想進捗を仮想空間内で表現した画像であってもよい。このような対比画像は、例えば、あらかじめＢＩＭデータやＣＡＤデータを用いて複数の時点における作業の進捗を表す画像として作成され記憶されたものであってもよいし、作業スケジュールをもとに機械学習等により自動作成されたものであってもよい。同様に、当該日時において作業がここまで進んでいるべきだ、作業対象がこのような状態にあるべきだという進捗を表す任意の画像が用いられてよい。対比画像はまた、作業工程ごとの完成状態を表す画像であってもよい。
【0068】
あるいは、対比画像は、撮影画像と同じ現実空間（例えば、同じ建物の同じ部屋）を、撮影画像とは異なる日時に撮影した画像であってもよい。対比画像はまた、任意の撮影日時に同じ建物または類似の建物内の他の部屋を撮影した画像であってもよい。
【0069】
対比画像は、場所情報または場所情報と日時情報に紐づけて、あらかじめ画像データ記憶部３１に記憶される。対比画像が完成予想図である場合、撮影画像の日時情報を問わず、特定の場所情報（例えばＸマンション１０２号室）について１つの対比画像を記憶してもよいし、または複数の場所情報（例えばＸマンション内の複数の部屋）について共通の対比画像を記憶してもよい。どのような対比画像を用いるかは、情報処理装置１の管理者等により任意に設定されてよい。以下では、対比画像として部屋ごとにコンピュータグラフィックスの完成予想図が設定されているものとする。
【0070】
表示用画像取得部２３は、ユーザ要求受付部２２から受け取った表示中の撮影画像の場所情報に基づき、画像データ記憶部３１から対比画像としての完成予想図データを読み出す。
【0071】
ステップＳ１１０において、情報処理装置１は、リンク先のページのＨＴＭＬファイルに加えて、表示中の撮影画像と、読み出した対比画像とを含む、Ｗｅｂページの表示に必要な応答メッセージを生成する。
【0072】
ここで、情報処理装置１は、表示データ生成部２５の制御の下、撮影画像と対比画像の３Ｄ空間におけるカメラアングルおよびカメラ位置を調整してもよい。そのような調整処理の一例として、両画像から特徴を抽出し、表示する２Ｄ画像内で特徴の角度や大きさを一致させるように調整する処理が考えられる。そのような特徴を抽出する方法の一例として、エッジや色変化を検出する方法がある。エッジや色変化の検出は、任意の方法で行われてよい。例えば、カラー画像をグレースケール画像に変換し、一定のバイアスをかけてから２値画像を得ることによって、エッジや色変化を検出することが可能である（例えば、特開２０１４－２１９７８１号公報参照）。
【0073】
あるいは、あらかじめ窓、壁、床、天井など対象画像内に存在し得る物体を認識できるように学習させたモデルを用いて画像内の物体認識を行い、それらの対応付けに基づいて画像処理を行うことも考えられる。あるいは、カメラＣＤによる撮影の際に、あらかじめ用意された対比画像に応じて撮影条件を調整するようにしてもよい。
【0074】
必要に応じて以上の調整を行ったのち、表示データ生成部２５は、応答メッセージを生成して送信部１２に渡す。
【0075】
ステップＳ１１１において、情報処理装置１は、送信部１２は、受け取った応答メッセージをパーソナルコンピュータＵＴのブラウザに送信する。
【0076】
メッセージを受信したパーソナルコンピュータＵＴのブラウザは、Ｄ３において、画像の埋め込まれた対応するＷｅｂページを表示する。
【0077】
図９は、そのようなＷｅｂページの表示イメージの一例を示す。ページ７５には、左側に撮影画像１００が、右側に対比画像２００が並べて表示される。この例では、撮影画像１００は、２０１９年６月Ｘ日に撮影された３６０度画像に基づいて生成された３Ｄ空間の一部を切り取った画像であり、撮影日時情報１０１が重ねて表示される。撮影画像１００にはまた、現実空間に存在する正面の大窓１０２、左側の小窓１０３およびまだ壁クロスが貼られていない石膏ボード１０４が映っている。この例では、対比画像２００は、撮影画像１００と対比可能に大きさおよびアングルを調整された当該部屋の完成予想図に基づく画像であり、完成予想図であることを示す情報２０１が重ねて表示される。対比画像２００にはまた、正面の大窓２０２および左側の小窓２０３も示されている。対比画像２００においては、撮影画像１００に映る石膏ボード１０４は表示されず、壁クロスが貼られている。
【0078】
撮影画像１００として表示される画像は、３６０度カメラではない通常のカメラによって撮影された写真（２Ｄ画像）であってもよい。撮影画像１００は、完成予想図に対応させるために、撮影された画像データを調整（拡大、縮小、トリミング等）することによって作成されたものであってもよい。対比画像２００は、上述のように、コンピュータグラフィックスに基づく画像であってもよいし、同じ建物の他の部屋や他の類似の建物で撮影された静止画または動画に基づくものであってもよい。
【0079】
一実施形態によれば、情報処理装置１は、撮影画像１００および対比画像２００を、カメラのアングルを変更して再表示させることができる。例えば、図９においてユーザＵＳが撮影画像１００の左辺付近、例えば、小窓１０３のあたりをマウスポインタ８０を介してクリックしたとする。この場合、パーソナルコンピュータＵＴのブラウザは、左方へのアングル変更の指示入力を受け付けたと判断し、左方へのアングル変更を要求する信号を生成してそれを情報処理装置１に送信する。この信号を受信した情報処理装置１は、ユーザ要求受付部２２および表示用画像取得部２３の制御の下、撮影画像１００および対比画像２００のそれぞれについて、３Ｄ空間においてカメラのアングルを９０度左方向に回転させて切り取った画像を作成する処理を行う。これらの画像は、あらかじめ複数のアングルの画像として用意されたものでもよい。そして情報処理装置１は、表示データ生成部２５により、作成した画像を含むメッセージを生成して再びパーソナルコンピュータＵＴのブラウザに送信する。パーソナルコンピュータＵＴのブラウザは、受信したメッセージをもとに表示を生成する。上記処理は、例えば図４のＵ３、Ｓ１０８～Ｓ１１１およびＤ３に関して説明したのと同様に行うことができる。
【0080】
図１０は、上記アングル変更指示後にパーソナルコンピュータＵＴのブラウザに再表示されるイメージの一例を示す。図１０のページ７５には、図９と同様に、撮影画像１００と対比画像２００とが並べて表示される。撮影画像１００および対比画像２００は、いずれも図９に示した３Ｄ空間に対してアングルを９０度左方向に回転させて切り取った画像を表す。図９では左方に表示されていた小窓１０３および２０３が、図１０では正面に表示される。撮影画像１００にはその中央付近に壁クロス未施工の石膏ボード１０４が表示される。
【0081】
図１０に示したＷｅｂページ７５はさらに、進捗の評価を指示するためのＧＵＩ部品である「進捗評価」ボタン８１を含む。ユーザＵＳがマウスポインタ８０を介して進捗評価ボタン８１をクリックすると、パーソナルコンピュータＵＴのブラウザから情報処理装置１に対して進捗の評価開始を要求する信号が送信される。図４の破線矢印Ｕ４は、ユーザＵＳがパーソナルコンピュータＵＴのブラウザにこの要求を入力したことを示す。ステップＳ１１２において、情報処理装置１は、ユーザ要求受付部２２の制御の下、この要求を受け付け、以下のように進捗の評価を開始する。
【0082】
（５）進捗の評価
まずステップＳ１１３において、情報処理装置１は、進捗評価部２４の制御の下、進捗を評価するために用いるべき２つの画像を特定し、それらを対比する処理を行う。一実施形態によれば、進捗評価部２４は、進捗評価ボタン８１が押された時点でパーソナルコンピュータＵＴのブラウザによって表示されていた撮影画像１００および対比画像２００の識別情報を取得し、それらを対比の対象として特定し、対比処理を行う。
まずステップＳ１１３において、情報処理装置１は、進捗評価部２４の制御の下、進捗を評価するために用いるべき２つの画像を特定し、それらを対比する処理を行う。一実施形態によれば、進捗評価部２４は、進捗評価ボタン８１が押された時点でパーソナルコンピュータＵＴのブラウザによって表示されていた撮影画像１００および対比画像２００の識別情報を取得し、それらを対比の対象として特定し、対比処理を行う。
【0083】
例えば、進捗評価部２４は、対比処理の一例として２つの画像の類似度を算出する。類似度の算出には、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＡＫＡＺＥ（Accelerated-KAZE）、ＳＵＲＦ（Speed-Up Robust Features）、ＯＲＢ（Oriented BRIEF）、ＢＲＩＳＫ（Binary Robust Invariant Scalable Keypoints）等のアルゴリズムが使用される。この場合、進捗評価部２４は、上記アルゴリズムを使用して２つの画像から特徴点をそれぞれ抽出し、抽出された各特徴点間の距離を求めることによって、類似度を算出する。
【0084】
進捗評価部２４はまた、背景差分法を用いて２つの画像間の相違を検出することもできる。その際、上記ＳＩＦＴ、ＡＫＡＺＥ、ＳＵＲＦ、ＯＲＢ、ＢＲＩＳＫ等のアルゴリズムを使用して特徴点マッチングを行ってから背景差分法を用いてもよい。これにより、例えば、図１０における撮影画像１００および対比画像２００の相違点として、石膏ボード１０４がむき出しになった壁クロス未施工箇所を容易に検出することができる。
【0085】
対比処理の別の例として以下のような各種手法も採用することができる。第１の手法は、入力画像に対して物体認識を行う学習済みのＣＮＮ（Convolutional Neural Network）の隠れ層から特徴量を抽出し、類似度を算出するものである。第２の手法は、各画像の画素値のヒストグラムを作成し、それらを対比することによって類似度を算出するものである。第３の手法は、各画素値の相関係数を得ることによって画像間の類似度を算出するものである。第４の手法は、各画素のＲＧＢ値それぞれの平均値を画像ごとに算出し、それらの距離に基づいて類似度を算出するものである。
【0086】
あるいは、進捗評価部２４は、上記で説明したエッジ検出を行ってもよい。すなわち、進捗評価部２４は、両画像を２値化して、エッジ検出を行い、検出されたエッジの長さ、角度、画素数等を比較することによって、類似度を算出することができる。また、あらかじめ多数の画像データを用いて類似度を出力するように学習させた学習済みモデルを用いて、類似度を算出してもよい。あるいは、各画像を複数のセグメントに分割し、分割されたセグメントごとに、上記様々な方法のいずれかを用いて類似度を算出するようにしてもよい。
【0087】
次いで、ステップＳ１１４において、情報処理装置１は、進捗評価部２４の制御の下、算出された類似度に基づいて、作業の進捗を評価する処理を行う。一実施形態によれば、進捗評価部２４は、算出された類似度に基づき、作業の進捗を表す情報として進捗率を求める。進捗率は任意の方法で求められてよい。例えば、進捗評価部２４は、算出された類似度（例えば、パーセンテージで算出される）をそのまま進捗率の値としてもよい。あるいは、進捗評価部２４は、まず天井、床、壁、窓などの物体認識を行い、認識された物体ごとに上記類似度算出方法により類似度を算出するようにしてもよい。そして、物体ごとに算出された類似度を加算平均することによって、あるいはあらかじめ設定された重み付けを用いて加重平均することによって、全体の進捗率を求めるようにしてもよい。
【0088】
ステップＳ１１５において、情報処理装置１は、表示データ生成部２５の制御の下、評価結果として上記進捗率をユーザに提示するための表示データを含む応答メッセージを生成する。
【0089】
そしてステップＳ１１６において、情報処理装置１は、送信部１２を介して、応答メッセージをパーソナルコンピュータＵＴのブラウザに送信する。
【0090】
パーソナルコンピュータＵＴのブラウザは、Ｄ４において、受信したメッセージに基づき、Ｗｅｂページを表示することができる。
【0091】
図１１は、パーソナルコンピュータＵＴのブラウザにより表示される、評価結果を表示するイメージの一例である。ボックス８２に、作業の進捗を表す情報として「進捗率は約７０％です」と表示されている。
【0092】
作業の進捗を表す情報は、文字だけに限られない。例えば、特に相違する箇所（類似度が低い箇所）を強調表示するようにしてもよい。図１１の例では、特に類似度が低い箇所を示すため、撮影画像１００および対比画像２００上で、まだクロスが貼られていない石膏ボード１０４に対応する部分がそれぞれ破線１０５，２０５で囲まれて強調表示されている。これは、例えばまず物体認識を行い、認識された物体ごとに類似度を算出し、類似度を所定のしきい値と比較することにより、類似度が所定のしきい値を下回る物体を識別することによって実施される。そして、表示データ生成部２５が、類似度がしきい値を下回る物体に対し、当該物体を強調表示するための表示を生成して、上記画像に重ねて表示させる。
【0093】
図１２は、進捗評価部２４が進捗率を求めるために使用し得る評価テーブルの一例を示す。評価テーブルは、画像データから認識可能な物体ごとにあらかじめ設定された重み係数を指定するもので、例えば情報処理装置１の管理者によりテーブル記憶部３２に記憶される。進捗評価部２４は、例えば、認識された物体ごとに類似度を算出し、算出した類似度にこのテーブルで指定された重みを乗じて物体ごとの進捗率を求めることができる。図１２の評価テーブルの例では、「対象」は、認識可能な物体を指し、例えば、窓、天井、床、壁・・・等が含まれる。「重み係数」は、物体（対象）ごとに重要度などを考慮してあらかじめ任意に設定され、例えば０以上１以下の値に設定される。ただしこれに限るものではなく、重み係数は１よりも大きな値でもよいし、全重み係数の和は１であってもよいし１でなくてもよい。「類似度」は上記のように進捗評価部２４によって算出される物体ごとの類似度である。「進捗率」は、ここでは物体ごとの進捗率を表し、例えば「類似度」に「重み係数」を乗じることによって求められる。図１２の例では、窓について類似度が８３％と算出され、窓の重み係数があらかじめ０．８と設定されているので、窓に対する作業の進捗率は８３×０．８＝６６．４％と算出される。なお、物体ごとの進捗率は必ずしも求めなくてもよい。
【0094】
さらに、進捗評価部２４は、評価テーブルを用いて全体の進捗率を求めることができる。例えば、進捗評価部２４は、物体ごとに算出された類似度の加重平均として全体の進捗率を求める。図１２の例では、各物体の類似度に重み係数を乗じて物体ごとの進捗率（６６．４％，９４．０％，８５．５％，１５．０％，．．．）を算出し、これらの進捗率の和を重み係数の和で除算することによって（（６６．４＋９４．０＋８５．５＋１５．０＋・・・）／（０．８＋１＋０．９５＋０．７５＋・・・））、全体の進捗率「７０．２％」を得る。あるいは各物体の進捗率の和を物体の数の和で除算してもよい。あるいは単に各物体の類似度の加算平均を求めて、全体の進捗率としてもよい。さらに他のテーブルや他の数式を用いて進捗率を求めてもよい。
【0095】
（効果）
以上詳述したように、この発明の一実施形態では、作業対象に対する作業の進捗を表す情報を提示する情報処理装置にあって、上記作業対象を含む現実空間を撮影した画像データをもとに生成された、第１の撮影日時に対応する上記現実空間を表す第１の画像を取得し、上記作業対象に対する上記作業の進捗の基準となる、上記現実空間を表す第２の画像を取得し、上記第１の画像と上記第２の画像とを対比することによって、上記第１の撮影日時における上記作業の進捗率を求め、作業対象に対する作業の進捗を表す情報として上記進捗率を表す情報を出力するようにした。
以上詳述したように、この発明の一実施形態では、作業対象に対する作業の進捗を表す情報を提示する情報処理装置にあって、上記作業対象を含む現実空間を撮影した画像データをもとに生成された、第１の撮影日時に対応する上記現実空間を表す第１の画像を取得し、上記作業対象に対する上記作業の進捗の基準となる、上記現実空間を表す第２の画像を取得し、上記第１の画像と上記第２の画像とを対比することによって、上記第１の撮影日時における上記作業の進捗率を求め、作業対象に対する作業の進捗を表す情報として上記進捗率を表す情報を出力するようにした。
【0096】
これにより、対象を撮影した画像に基づき、評価者の経験や主観に依存しない客観的な進捗評価を行うことができる。画像を撮影場所および日時情報に紐づけて蓄積しているので、ユーザが指定した場所および日時に基づいて容易に撮影画像を抽出し、その時点における作業の進捗率を求めることができる。
【0097】
また、進捗率を求めるにあたっては、上記第１の画像および上記第２の画像から特徴を抽出し、抽出した特徴を対比することによって上記第１の画像と上記第２の画像との類似度を算出し、上記類似度に基づいて上記作業の進捗率を求めることもできる。これにより、画像類似度の算出による、安定した客観的な評価結果を得ることができる。
【0098】
また、進捗率を求めるにあたっては、上記第１の画像に含まれる第１の物体と、上記第２の画像に含まれる上記第１の物体に対応する第２の物体とを識別し、上記第１の物体と上記第２の物体との類似度を算出し、算出された上記類似度に基づいて上記作業の進捗率を求めることもできる。このように、画像内の物体認識が可能な場合には、２つの画像内で認識された対比し得る物体間の類似度を算出して、算出された類似度に基づき進捗率を求める。これにより、より明確な基準を用いて進捗率を求めることが可能となる。
【0099】
また、物体認識が可能な場合、２つの画像間の類似度が所定のしきい値を下回る物体に対しては、それらを強調表示させることも可能である。これにより、ユーザに対し、類似度が低い物体を明確に提示することができ、進捗が遅れている対象の特定など、作業の進捗の評価に役立てることができる。
【0100】
また、進捗率を評価するために、撮影した画像と対比すべき画像としてＢＩＭ画像やＣＡＤ画像のような仮想空間内の画像を使用してもよい。対比画像は、完成予想図に対応するものであってもよいし、作業計画または作業スケジュールに含まれる各工程が完了した状態を表すものであってもよい。または対比画像は、特定の時点において予想される作業の進捗を表すものであってもよい。あるいは、例えば、工事開始時点や、１か月ごとに撮影された画像など、同じ現実空間を異なる日時に撮影した画像であってもよい。対比画像は、特定の場所および日時において作業の進捗がどのような状態であるべきかを表す任意の画像であってよい。撮影画像および対比画像は、２次元的表示であっても３次元的表示であってもよい。
【0101】
このように多種多様な画像を利用できるので、作業または評価の対象や内容、目的等に応じて、最適な対比画像を用いて進捗を評価することができる。また、適切な対比画像を用いて撮影画像と並べて表示することにより、作業スケジュールにおいてどのような進捗状況にあるかを視覚的により的確に確認することができる。
【0102】
［他の実施形態］
なお、この発明は上記実施形態に限定されるものではない。例えば、情報処理装置１は、必ずしも３６０度画像データを用いる必要はなく、また必ずしも３Ｄ空間モデルを作成する必要もない。情報処理装置１は、対比画像との対比が可能な静止画を収集することによって上記実施形態を実現することができる。
なお、この発明は上記実施形態に限定されるものではない。例えば、情報処理装置１は、必ずしも３６０度画像データを用いる必要はなく、また必ずしも３Ｄ空間モデルを作成する必要もない。情報処理装置１は、対比画像との対比が可能な静止画を収集することによって上記実施形態を実現することができる。
【0103】
また、進捗率の算出に上記のような評価テーブルを使用する場合、工事の内容や工法ごとに異なるテーブルを用意してもよい。あるいは、類似度を算出せず、認識可能な物体ごとに単に「作業未了／作業完了」の２択判定を行い、その判定結果に応じて進捗率を求めるようにしてもよい。
【0104】
あるいは、評価テーブルではなく回帰式を用意し、工事の内容や工法ごとに重回帰分析によってあらかじめ係数を算出して用いてもよい。例えば以下のような回帰式を使用することが考えられる。
Ｙ＝α１Ｘ１＋α２Ｘ２＋α３Ｘ３＋・・・
式中、Ｙは算出される進捗率であり、Ｘ１，Ｘ２，Ｘ３，．．．は、各物体の画像類似度である。係数α１，α２，α３，．．．は、重回帰分析によってあらかじめ算出してもよいし、建材・資材メーカーや施工業者から提供される資料をもとに情報処理装置１の管理者が任意に設定してもよい。
Ｙ＝α１Ｘ１＋α２Ｘ２＋α３Ｘ３＋・・・
式中、Ｙは算出される進捗率であり、Ｘ１，Ｘ２，Ｘ３，．．．は、各物体の画像類似度である。係数α１，α２，α３，．．．は、重回帰分析によってあらかじめ算出してもよいし、建材・資材メーカーや施工業者から提供される資料をもとに情報処理装置１の管理者が任意に設定してもよい。
【0105】
また図６～図１１に示した表示イメージは一例にすぎず、多様なバリエーションが可能である。いくつかの表示を組み合わせてもよいし、いくつかの表示を省略してもよい。例えば、図８に示したような比較ボタン７０１を押すことによってただちに進捗率が表示されてもよい。また、ユーザＵＳが指定するたびに画像を読み出して進捗率を求めるのではなく、各撮影画像についてあらかじめ完成予想図との対比により進捗率を求めておき、ユーザＵＳが場所と日時を指定するとあらかじめ算出された進捗率が表示されるようにしてもよい。
【0106】
上記実施形態では、情報処理装置１がいくつかの機能部を含むものとして説明したが、これらは各機能部の実装の一例に過ぎない。例えば、１つの装置に実装されると説明された複数の機能部が複数の別々の装置に亘って実装されることもあり得るし、逆に複数の別々の装置に亘って実装されると説明された機能部が１つの装置に実装されることもあり得る。また上記実施形態において説明された各機能部は、回路を用いることで実現されてもよい。回路は、特定の機能を実現する専用回路であってもよいし、プロセッサのような汎用回路であってもよい。
【0107】
また、以上で説明した各処理の流れは、説明した手順に限定されるものではなく、いくつかのステップの順序が入れ替えられてもよいし、いくつかのステップが同時並行で実施されてもよい。また、以上で説明した一連の処理は、時間的に連続して実行される必要はなく、各ステップは任意のタイミングで実行されてもよい。
【0108】
上記各実施形態の処理の少なくとも一部は、例えば汎用のコンピュータに搭載されたプロセッサを基本ハードウェアとして用いることでも実現可能である。上記処理を実現するプログラムは、コンピュータで読み取り可能な記録媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記録媒体に記憶される。記録媒体としては、磁気ディスク、光ディスク（ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなどである。記録媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。
【0109】
要するにこの発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【0110】
１…情報処理装置
１０…通信インタフェース（Ｉ／Ｆ）
１１…受信部
１２…送信部
２０…制御ユニット
２０Ａ…ハードウェアプロセッサ
２０Ｂ…プログラムメモリ
２１…画像処理部
２２…ユーザ要求受付部
２３…表示用画像取得部
２４…進捗評価部
２５…表示データ生成部
３０…データメモリ
３１…画像データ記憶部
３２…テーブル記憶部
４０…バス
６０，６５，７０，７５…Ｗｅｂページ
７０１…比較ボタン
８０…マウスポインタ
８１…進捗評価ボタン
１００…撮影画像
２００…対比画像
ＣＤ，ＣＤ１，ＣＤ２，ＣＤｍ…カメラ
ＵＴ，ＵＴ１，ＵＴ２，ＵＴｎ…ユーザ端末
ＴＧ…空間
１０…通信インタフェース（Ｉ／Ｆ）
１１…受信部
１２…送信部
２０…制御ユニット
２０Ａ…ハードウェアプロセッサ
２０Ｂ…プログラムメモリ
２１…画像処理部
２２…ユーザ要求受付部
２３…表示用画像取得部
２４…進捗評価部
２５…表示データ生成部
３０…データメモリ
３１…画像データ記憶部
３２…テーブル記憶部
４０…バス
６０，６５，７０，７５…Ｗｅｂページ
７０１…比較ボタン
８０…マウスポインタ
８１…進捗評価ボタン
１００…撮影画像
２００…対比画像
ＣＤ，ＣＤ１，ＣＤ２，ＣＤｍ…カメラ
ＵＴ，ＵＴ１，ＵＴ２，ＵＴｎ…ユーザ端末
ＴＧ…空間
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
