特開 2022-155553 業務管理支援装置、業務管理支援システム、業務管理支援方法および業務管理支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022155553

(43)【公開日】2022-10-13

(54)【発明の名称】業務管理支援装置、業務管理支援システム、業務管理支援方法および業務管理支援プログラム

(51)【国際特許分類】

   G06Q 10/00 20120101AFI20221005BHJP

   G06T 19/00 20110101ALI20221005BHJP

【ＦＩ】

G06Q10/00 300

G06T19/00 600

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2022053129

(22)【出願日】2022-03-29

(31)【優先権主張番号】P 2021056593

(32)【優先日】2021-03-30

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】501335841

【氏名又は名称】株式会社エム・ソフト

(74)【代理人】

【識別番号】100112689

【弁理士】

【氏名又は名称】佐原 雅史

(74)【代理人】

【識別番号】100128934

【弁理士】

【氏名又は名称】横田 一樹

(72)【発明者】

【氏名】代永 英明

(72)【発明者】

【氏名】宗宮 優一

(72)【発明者】

【氏名】柏木 雄平

(72)【発明者】

【氏名】合田 秀行

(72)【発明者】

【氏名】松本 泰英

(72)【発明者】

【氏名】塙 人

(72)【発明者】

【氏名】小宮 和貴

(72)【発明者】

【氏名】浅野 隆弥

【テーマコード（参考）】

5B050

5L049

【Ｆターム（参考）】

5B050BA11

5B050BA13

5B050BA17

5B050CA07

5B050DA04

5B050DA05

5B050EA07

5B050EA12

5B050EA13

5B050EA18

5B050EA19

5B050FA05

5L049CC15

(57)【要約】

【課題】 社会インフラなどの構造物に関する業務（特に補修業務や点検業務など）を効率的に行うことが可能な、業務管理支援装置、業務管理支援システム、業務管理支援方法および業務管理支援プログラムを提供する。
【解決手段】 業務管理支援装置１０は、構造物を含む対象領域の現実映像ＬＶを取得可能な撮像手段１５と、現実映像ＬＶを表示可能な表示手段１３と、記憶手段１４と、対象領域に対応する３次元形状情報を取得し、３次元形状情報に対して時間経過を伴う仮想作業が行われたことを示す仮想支援情報を生成する支援情報生成手段３３と、を有し、現実映像ＬＶと仮想支援情報とがリアルタイムで同期され、表示手段１３に表示可能に構成される。
【選択図】図５

【特許請求の範囲】

【請求項1】

構造物に関する業務を管理・支援可能な業務管理支援装置であって、
構造物を含む対象領域の現実映像を取得可能な撮像手段と、
前記現実映像を表示可能な表示手段と、
記憶手段と、
前記対象領域に対応する３次元形状情報を取得し、該３次元形状情報に対して時間経過を伴う仮想作業が行われたことを示す仮想支援情報を生成する支援情報生成手段と、を有し、
前記現実映像と前記仮想支援情報とがリアルタイムで同期され、前記表示手段に表示可能に構成される、
ことを特徴とする業務管理支援装置。

【請求項2】

前記３次元形状情報は、前記対象領域の直近または現在の３次元形状情報（以下、「現在３次元形状情報」という。）であり、
前記仮想支援情報は、前記現在３次元形状情報に基づいて生成される未来の３次元形状情報（以下、「未来３次元形状情報」という。）である、
ことを特徴とする請求項１に記載の業務管理支援装置。

【請求項3】

前記仮想支援情報は、
前記３次元形状情報内の或る対象が時間経過に伴って状態が変化することを示す情報である、
ことを特徴とする請求項１に記載の業務管理支援装置。

【請求項4】

前記仮想支援情報は、
時間の概念を含む情報である、
ことを特徴とする請求項１に記載の業務管理支援装置。

【請求項5】

前記仮想支援情報は、使用者の仮想注視点の３次元座標を含む、
ことを特徴とする請求項３または請求項４に記載の業務管理支援装置。

【請求項6】

前記記憶手段は、基準時点を経過した現在３次元形状情報および未来３次元形状情報を過去３次元形状情報として記憶し、
新たな前記現在３次元形状情報、新たな前記未来３次元形状および前記過去３次元形状情報とを相互に比較し、差分を算出する比較手段を備える、
ことを特徴とする請求項２に記載の業務管理支援装置。

【請求項7】

使用者により指定された見積対象領域について作業関連数量を見積もる見積手段を備える、
ことを特徴とする請求項１から請求項６のいずれかに記載の業務管理支援装置。

【請求項8】

前記作業関連数量に対して複数の使用者による電子署名を付与可能な電子署名付与手段を有する、
ことを特徴とする請求項７に記載の業務管理支援装置。

【請求項9】

前記構造物に関連する情報を、前記３次元形状情報に対応付けることが可能な情報付与手段を有する、
ことを特徴とする請求項１から請求項８のいずれかに記載の業務管理支援装置。

【請求項10】

前記撮像手段と前記表示手段とが別体で構成される、
ことを特徴とする請求項１から請求項９のいずれかに記載の業務管理支援装置。

【請求項11】

請求項１から請求項１０のいずれかに記載の業務管理支援装置と、
他の業務管理支援装置と、
前記業務管理支援装置と前記他の業務管理支援装置とを接続する通信回線を有し、
前記業務管理支援装置および前記他の業務管理支援装置との間で、少なくとも前記仮想支援情報を共有可能とした、
ことを特徴とする業務管理支援システム。

【請求項12】

構造物に関する業務を管理・支援する業務管理支援方法であって、
少なくとも前記構造物を含む対象領域に対応する３次元形状情報を取得するステップと、
前記３次元形状情報に対して時間経過を伴う仮想作業が行われたことを示す仮想支援情報を生成するステップと、
リアルタイムで現実映像と、前記仮想支援情報とを同期して表示手段に表示するステップと、を有する、
ことを特徴とする業務管理支援方法。

【請求項13】

前記対象領域の直近または現在の３次元形状情報（以下、「現在３次元形状情報」という。）を取得するステップと、
前記現在３次元形状情報に基づいて未来の３次元形状情報（以下、「未来３次元形状情報」という。）を生成するステップと、を有する、
ことを特徴とする請求項１２に記載の業務管理支援方法。

【請求項14】

使用者の仮想注視点の３次元座標の移動情報に基づき、前記仮想支援情報を生成する、
ことを特徴とする請求項１２に記載の業務管理支援方法。

【請求項15】

構造物に関する業務を管理・支援する業務管理支援プログラムであって、
請求項１２から請求項１４のいずれかに記載の業務管理支援方法の各ステップをコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は業務管理支援装置、業務管理支援システム、業務管理支援方法および業務管理支援プログラムに関する。

【背景技術】

【0002】

従来、社会インフラに関する業務（例えば点検、補修、メンテナンスなどの業務）においては、現場における業務の効率化が検討されている。

【0003】

例えば、設備内の点群データに基づく３次元画像をパソコンに表示し、現場及び事務所で視認可能とすることで、３次元画像（３次元データ）上における点検箇所または点検技術者の仮想的な位置を把握し、点検や保守作業を効率的に行う技術が開発されている（例えば、特許文献１参照。）。

【0004】

特許文献１に記載の技術は、設備の近傍位置に設けられたＲＦＩＤのタグに、設備を特定する設備特定情報が記憶（格納）されるとともに、当該設備の設置位置情報を３次元点群データで管理し、所定の設備を基準とした３次元画像（静止画及び動画）を現場及び事務所で視認することで、点検を容易にするものである。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特許第６７２５０６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、社会インフラなどの特に大型の構造物に関する業務（例えば補修、点検、メンテナンスなどの業務）に関しては、その効率化について未だ改善の余地がある。

【0007】

例えば、トンネル、橋梁、道路などにおいては定期的な点検が義務付けられ、変状箇所に対しては補修を行う必要がある。このような構造物の場合、変状箇所としては例えばひび割れなど、外観が類似する箇所が多数存在し、それぞれの変状箇所と補修内容の対応づけにミスが生じやすい。

【0008】

これに加えて、目的とする変状箇所の特定に際しては、立体的な構造物に対し２次元の平面図を元に行うため、直感的に判別しにくい。また、近年では３次元画像を用いて変状箇所を照合することもあるが、トンネルや橋梁などでは同じような構造が長距離に亘って続くため、作業者自身がどの位置にいるのか混乱しやすい。これらのことから、目的とする変状箇所の特定自体に誤認が生じやすく、補修作業が効率的に進まない要因となっている。また、点検箇所と点検内容についても同様の問題がある。

【0009】

本発明は、斯かる実情に鑑み、社会インフラなどの構造物に関する業務（特に補修業務や点検業務など）を効率的に行うことが可能な、業務管理支援装置、業務管理支援システム、業務管理支援方法および業務管理支援プログラムを提供しようとするものである。

【課題を解決するための手段】

【0010】

本発明は、構造物に関する業務を管理・支援可能な業務管理支援装置であって、構造物を含む対象領域の現実映像を取得可能な撮像手段と、前記現実映像を表示可能な表示手段と、記憶手段と、前記対象領域に対応する３次元形状情報を取得し、該３次元形状情報に対して時間経過を伴う仮想作業が行われたことを示す仮想支援情報を生成する支援情報生成手段と、を有し、前記現実映像と前記仮想支援情報とがリアルタイムで同期され、前記表示手段に表示可能に構成される、ことを特徴とする業務管理支援装置に係るものである。

【0011】

また、本発明は、上記の業務管理支援装置と、他の業務管理支援装置と、前記業務管理支援装置と前記他の業務管理支援装置とを接続する通信回線を有し、前記業務管理支援装置および前記他の業務管理支援装置との間で、少なくとも前記仮想支援情報を共有可能とした、ことを特徴とする業務管理支援システムに係るものである。

【0012】

また、本発明は、構造物に関する業務を管理・支援する業務管理支援方法であって、少なくとも前記構造物を含む対象領域に対応する３次元形状情報を取得するステップと、前記３次元形状情報に対して時間経過を伴う仮想作業が行われたことを示す仮想支援情報を生成するステップと、リアルタイムで前記現実映像と、前記仮想支援情報とを同期して前記表示手段に表示するステップと、を有する、ことを特徴とする業務管理支援方法に係るものである。

【0013】

また、本発明は、構造物に関する業務を管理・支援する業務管理支援プログラムであって、上記の業務管理支援方法の各ステップをコンピュータに実行させるためのプログラムに係るものである。

【発明の効果】

【0014】

本発明によれば、社会インフラなどの構造物に関する業務（特に補修業務や点検業務など）を効率的に行うことが可能な、業務管理支援装置、業務管理支援システム、業務管理支援方法および業務管理支援プログラムを提供することができる。

【図面の簡単な説明】

【0015】

【図1】本発明の実施形態に係る、業務管理支援装置の概要を示す外観図である。

【図2】本発明の実施形態に係る、業務管理支援装置の概要を示すブロック図である。

【図3】本発明の実施形態に係る、業務管理支援装置の概要を示すブロック図である。

【図4】本発明の実施形態に係る、業務管理支援装置で扱うデータについて説明する図である。

【図5】本発明の実施形態に係る、業務管理支援方法の処理の流れを示すフロー図である。

【図6】本発明の実施形態に係る、業務管理支援装置の表示例を示す図である。

【図7】本発明の実施形態に係る、業務管理支援装置の表示例を示す図である。

【図8】本発明の実施形態に係る、業務管理支援装置の表示例を示す図である。

【図9】本発明の実施形態に係る、業務管理支援装置の表示例を示す図である。

【図10】本発明の実施形態に係る、業務管理支援装置の他の例を示す図である。

【図11】本発明の実施形態に係る、業務管理支援システムの構成を示す概要図である。

【図12】本発明の実施形態に係る、業務管理支援装置の他の例を示す図である。

【図13】本発明の実施形態に係る、業務管理支援装置及び業務管理支援システムの概要を説明する図である。

【発明を実施するための形態】

【0016】

以下、本発明の実施の形態について添付図面を参照して説明する。

【0017】

＜業務管理支援装置＞
図１および図２は、本発明の実施形態の一例である業務管理支援装置１０の全体構成を示す図であり、図１が外観の概略図であり、同図（Ａ）が一方の面側の平面図であり、同図（Ｂ）が他方の面側の平面図である。また、図２は業務管理支援装置１０の構成の概略を示すブロック図である。

【0018】

図１および図２を参照して、本実施形態の業務管理支援装置１０は、構造物に関する業務を管理・支援可能な装置であり、制御手段１１と、入力手段１２と、表示手段１３と、記憶手段１４と、撮像手段１５と、情報通信手段１６と、位置推定手段２２と、３次元形状情報取得手段２０と、仮想視聴覚処理手段２１と、同期手段３１と、現場支援手段３２と、仮想支援情報生成手段３３などを有する。本実施形態の業務管理支援装置１０は、主に社会インフラ構造物（例えば、橋梁やトンネル、道路など）の業務の管理・支援に適し、例えば特に構造物（建造物）に対して補修、点検、補修、メンテナンス等の作業を行う場合に用いて好適である。

【0019】

図１に示すように、本実施形態の業務管理支援装置１０は、例えば、携帯可能な装置（モバイル端末装置）である。以下の実施形態においては、業務管理支援装置１０が、本実施形態にかかるアプリケーションプログラム（業務管理支援プログラム３０）がインストールされたタブレット端末１００である場合を例に説明するが、これに限らず、業務管理支援装置１０は例えば、本実施形態にかかる業務管理支援プログラム３０がインストールされた、または組み込まれた、スマートフォン、携帯電話、ノート型ＰＣ、携帯情報端末（Personal Data Assistant；ＰＤＡ）、ウェアラブルデバイス（スマートウォッチ）、ハンディ端末、ＨＭＤ（Head Mounted Display）、スマートグラス、デジタルカメラ、ＧＰＳ端末などであってもよい。

【0020】

タブレット端末１００は、無線通信を利用した携帯可能な情報処理端末装置であり、入力手段１２、表示手段１３、撮像手段１５、マイク１８、スピーカ１９等、基本的な既知の構成を備える。また、本実施形態のタブレット端末１００は、一例として、３次元形状情報取得手段２０を備える。３次元形状情報取得手段２０は、対象物（ここでは構造物、以下同様）の３次元形状情報（３次元形状データ、３Ｄデータ）を取得する手段であり、構造物を３次元で計測（スキャン）可能なデータ走査手段である。具体的には３次元形状情報取得手段２０は例えばリアルタイム３Ｄスキャナ（例えば、ＬｉＤＡＲ（Light Detection and Ranging）スキャナのほか、ステレオカメラ、単眼カメラ、距離センサーを利用したＳＬＡＭ（Simultaneous Localization and Mapping）によるスキャナなど）である。しかしこれに限らず、レーザー、ＬＥＤ、又は赤外線の光、あるいは電波の反射光を検知して離れた物体の距離を測る手段（他の３Ｄスキャナ）であってもよい。また、３次元形状情報取得手段２０は、フォトグラメトリであってもよい。フォトグラメトリは、さまざまな角度から写真や動画を撮影することで、３Ｄスキャナと同様に３次元形状情報を取得できる。

【0021】

また本実施形態の３次元形状情報とは、少なくとも３次元の位置情報（および数値）を有するデータをいう。３次元形状情報の一例としては、３Ｄスキャナによるスキャンデータ、スキャンデータを加工したデータ、３次元の位置情報（スキャナからの相対的なＸ，Ｙ，Ｚ情報）をそれぞれに有する点の集合体である３次元点群データや、３次元のコンピューターグラフィックスにおける立体形状を表現するために使われる多角形の面データ（３次元画像、ポリゴンデータ）、３次元ＣＡＤデータ、ＢＩＭ（Building Information Modeling）で使用可能なデータ、ＣＩＭ（Construction Information Modeling）で使用可能なデータ、３６０度ＶＲ（Virtual Reality）システムで使用可能なデータなどである。つまり本実施形態における仮想３次元空間とは、上記の３次元形状情報が扱える環境をいい、本実施形態の３次元形状情報は、上記の３次元形状情報が扱える環境において生成、加工、更新、編集が行える情報である。

【0022】

表示手段１３は、この例ではタブレット端末１００のタッチスクリーン（タッチパネルディスプレイ）であり、例えば、液晶ディスプレイ（Liquid Crystal Display）や有機ＥＬディスプレイ（Organic Electro-Luminescence Display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode Display）ともよばれる。）などのディスプレイ１３に、入力手段１２であるタッチパネルが重畳されている。

【0023】

表示手段１３は、撮像手段１５で撮影した画像や、撮影対象の現実映像ＬＶを表示可能である。ここで本実施形態における現実映像ＬＶとは、撮像手段１５がレンズ１５１を通して認識した対象物をリアルタイムに撮像素子１５３上で結像し、撮像素子１５３の光電変換により得られる画像情報を不揮発性の記憶手段１４を介さず表示手段１３に表示させる映像（画像）で、所謂ライブビュー映像をいう。具体的には、本実施形態における現実映像ＬＶとは、撮影ボタン等を操作していない状態で、撮像手段１５を介して表示手段１３に対象物を含む対象領域の実像をリアルタイム表示させている映像をいう。

【0024】

表示手段１３はまた、各種アプリケーションの実行結果としての画像や、３次元形状データ、入力手段１２としてのアイコンや、ボタン等の画像、その他画像（文字も含む）を表示可能である。なお、本明細書における「画像」には特に区別して記載しない限り、静止画像および動画像が含まれる。

【0025】

入力手段１２の操作としては、表示されている画像を指やタッチスクリーンペンでタッチする（タップ、ドラッグ、ピンチアウト、ピンチイン、スワイプ等の動作をする）ことにより、選択、決定、拡大、縮小、移動等の各種操作を行うことができる。また、入力手段１２がタッチスクリーンペンなどの場合、手書きの文字、線画を入力することもできる。また入力手段１２は、物理ボタンを含む。物理ボタンは例えば、ホームボタンや、音量調整ボタンなどである。

【0026】

なお、業務管理支援装置１０が例えば携帯電話やノート型ＰＣなどである場合のように、表示手段（ディスプレイ）１３と、入力手段（例えば、キーボード、物理キー）１２はそれぞれ独立した構成であってもよい。

【0027】

撮像手段１５は、例えば、撮像用のアプリケーションプログラムと協働してカメラ機能を実現するユニット（カメラユニット）であり、少なくともレンズ１５１と、撮像素子（イメージセンサ）１５３と画像処理プロセッサ１５５などを含み、レンズ１５１を介して認識した対象を撮像素子１５３上で結像し、撮像素子１５３の光電変換により得られる画像（映像）情報を画像データとして記憶手段１４に記憶する。レンズ１５１は、表示手段（ディスプレイ）１３が設けられている面とは異なる面にレンズ１５１が配置される。

【0028】

また既に述べたように撮像手段１５は、構造物を含む対象領域の現実映像ＬＶを取得可能である。具体的には、タブレット端末１００のカメラ機能の起動により、撮像手段１５は、実在する対象を含む対象領域を撮影し、現実映像ＬＶとして取得して表示手段１３に表示可能である。そして操作者が撮影ボタン（例えば、表示手段１３に表示されるボタン画像や、物理ボタンなど）を操作すると、現実映像ＬＶで表示中の映像情報を画像データとして記憶手段１４に記憶する。さらに、タブレット端末１００は、音声入力手段（マイク）１８、音声出力手段（スピーカ）１９、その他のセンサ（不図示）等の既知の構成を有している。

【0029】

図２を参照して、制御手段１１は例えば、演算処理装置（ＣＰＵ；central processing unit、ＭＰＵ；microprocessor unit等））を備え、制御手段１１等によって記憶手段１４に記憶（インストール）されたオペレーティングシステム（ＯＳ；Operating System）、各種アプリケーションプログラム、ブラウザソフトウェアを実行することによって、以下に説明する機能を含む種々の機能を提供する装置である。

【0030】

記憶手段１４は、この例では内蔵メモリ（メインメモリ（ＲＡＭ；Random Access Memory）、ストレージ、ＲＯＭ（Read Only Memory）など）であるが、外部記憶装置を含んでもよい。記憶手段１４には、ＯＳ、ファームウェア、ブラウザソフトウェア、各種アプリケーションプログラム、各種ドライバの他、各種データ（画像データ、テキストデータ、３次元形状情報）など各種アプリケーションプログラムで処理可能なデータ、ドキュメント）などが記憶、保存される。

【0031】

情報通信手段１６は、タブレット端末１００がネットワーク（通信回線）を介して他の装置（他のタブレット端末やサーバ装置または他のＰＣなど）とデータ通信等を行なうためのインターフェイスである。データ通信は、例えばＷｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）等による近距離無線通信や、例えば、ＬＴＥ（Long Term Evolution）方式、３Ｇ（3rd Generation）方式、４Ｇ（4th Generation）方式、５Ｇ（5th Generation）方式、ＦＤＭＡ方式、ＴＤＭＡ方式、ＣＤＭＡ方式、Ｗ－ＣＤＭＡの他、ＰＨＳ（Personal Handyphone System）などの移動体通信網を介した種々の無線通信方式によって行われる。また一部に有線通信方式を含んでもよい。

【0032】

位置推定手段２２は、タブレット端末１００が自機の位置を推定する手段である。位置推定手段２２は、自機の方向（レンズ１５１が向いている方向）や姿勢・位置などの状態を示す情報を取得して記録する手段であり、これにより自機の状態（レンズ１５１が向いている方向、姿勢、位置）を随時把握する。位置推定手段２２は例えば、赤外線やレーザー等の物体からの反射光を検知して自機の姿勢や位置を検出する手段（例えば、ＬｉＤＡＲスキャナや、ＳＬＡＭを用いたスキャナや、ステレオカメラを用いたＳＬＡＭ）であり、３次元形状情報取得手段２０と併用（兼用）してもよい。

【0033】

また、位置推定手段２２は、例えば、３軸方向に対する地磁気を検出して方位を検出する電子コンパスや、３軸方向に対するタブレット端末１００の傾き角を検知する加速度センサ、ジャイロ（角速度）センサ、深度センサや、単眼カメラを用いたＳＬＡＭなどを含む。タブレット端末１００は、電子コンパスにより検出される方位と、３軸加速度センサやジャイロセンサにより検出される自機の傾き角度・姿勢に基づいて、撮像手段１５のレンズ１５１が向けられている撮像方向（撮像方位）及び撮像角度（画角）を検出することができる。またＳＬＡＭで、自機を基準となる位置（初期位置）から移動させ、撮像手段１５により複数の周辺環境の画像を取得することにより、自己位置の推定と周辺環境の地図を作成可能なものであってもよい。

【0034】

また、位置推定手段２２は、例えば、携帯電話の無線基地局や、Ｗｉ－Ｆｉ（登録商標）通信のアクセスポイントからの電波強度などによって自機の方向、姿勢、位置（絶対位置）を検出したり、全地球測位システム（Global Navigation Satellite System））のように、衛星からの信号によって自機の方向、姿勢、位置（絶対位置）を検出することができる絶対位置情報取得モジュールが含まれる。

【0035】

業務管理支援装置１０はまた、例えば、仮想的な視聴覚（または視覚）処理を実現する手段である仮想視聴覚処理（または仮想視覚処理、以下同様）手段２１を有する。

【0036】

仮想視聴覚処理手段２１は例えば、拡張現実（Augmented reality；ＡＲ）を実現する拡張現実（ＡＲ）処理手段であり、具体的には、いわゆるＡＲフレームワークまたはＡＲライブラリである。

【0037】

仮想視聴覚処理手段２１は例えば、仮想現実（virtual reality；ＶＲ）を実現する拡張現実（ＡＲ）処理手段であり、具体的には、いわゆるＡＲフレームワークまたはＡＲライブラリでもよい。

【0038】

また、仮想視聴覚処理手段２１は例えば、仮想現実（virtual reality；ＶＲ）を実現す仮想現実（ＶＲ）処理手段であり、具体的には、３次元ＣＧ表示ソフトウェア、３次元ＣＧ表示ライブラリでもよい。

【0039】

つまり、仮想視聴覚処理手段２１は、ＡＲフレームワーク（ＡＲライブラリ）および／または３次元ＣＧソフトウェア（３次元ＣＧ表示ライブラリ）を含む手段であり、以下の説明において、「ＡＲ処理手段」および「ＡＲフレームワーク」と記載した構成について「３次元ＣＧソフトウェア（３次元ＣＧ表示ライブラリ）」と置き換えても同様に実施でき、同様の効果を得られる。

【0040】

仮想視聴覚処理手段２１は既知の構成であるので、詳細な説明は省略するが、例えば、撮像手段１５や３次元形状情報取得手段２０を用いて対象領域（実在する場所、現実環境）や対象物（構造物）を撮影することにより、当該対象領域の空間の情報（対象領域の位置情報や対象領域に含まれる構造物の情報（３次元形状情報を含む）など）の記憶、認識、推定、解析等を行い、その撮影している対象領域（現実環境）の映像に対して情報を付加・削除・強調・減衰させることによって仮想的に現実環境同様に可視化する技術である。

【0041】

ＡＲフレームワーク（ＡＲライブラリ、以下同様）２１の一例としては、米Ａｐｐｌｅ社が提供するＡＲＫｉｔ（登録商標）や米Ｇｏｏｇｌｅ社が提供するＡＲＣｏｒｅ（登録商標）、オープンソースのＡＲＴｏｏｌＫｉｔなどがあり、本実施形態ではＡＲフレームワーク２１としてＡＲＫｉｔ（登録商標）を利用する場合を例に説明する。この場合、ＡＲフレームワーク２１では、例えば、３次元形状情報取得手段（例えば、ＬｉＤＡＲスキャナなどのリアルタイム３Ｄスキャナ）２０を用いて対象物（構造物）の３次元形状情報を取得し、その形状に沿ってデジタル情報（コンピュータグラフィクス（computer graphics；ＣＧ）などによるオブジェクト画像を合成し、即時に（リアルタイムで）表示手段１３に表示することができる。または仮想空間内における当該構造物（の３次元形状）が含まれる面（平面（水平面、垂直面など）や曲面）を検出し、当該面にそって、オブジェクト画像を合成し、リアルタイムで表示手段１３に表示することができる。

【0042】

なお、本実施形態のＡＲ処理手段２１は、上記と同様の機能が実現できるものであれば、ＡＲＫｉｔ（登録商標）に限らず、また特定のフレームワーク（ライブラリ）でなくてもよい（個別に上記機能を有するように作成されたプログラム等であってもよい）。

【0043】

業務管理支援装置１０は例えば、タブレット端末１００の記憶手段１４に本実施形態の業務管理支援プログラム３０がインストールされ、当該プログラムがタブレット端末１００の各ハードウェアと協働することにより、業務管理支援装置１０の業務管理機能が実現する。

【0044】

業務管理支援装置１０は、例えば、同期手段３１と、現場支援手段３２と、仮想支援情報生成手段３３を有する。業務管理支援プログラム３０は、仮想視聴覚処理手段（ＡＲ処理手段）２１を活用し、また各種ハードウェア構成とともに、同期機能、現場支援機能および仮想支援情報生成機能などを実現する。また、業務管理支援装置１０は、ＡＲフレームワーク２１と協働し、即時に（リアルタイムで）現実映像ＬＶとそれに対応する３次元形状情報を同期させるとともに、該現実映像ＬＶと同時に、各種の現場支援情報および／または仮想支援情報とを表示手段１３に表示可能である。これらの情報については後述する。

【0045】

また、業務管理支援装置１０は、現実映像ＬＶとそれに対応する３次元形状情報を同期させるとともに、該現実映像ＬＶと同時に、画面を分割して表示、あるいは、画面上の一部に縮小した画面を重ねて（逆でも良い）、各種の現場支援情報および／または仮想支援情報とを表示手段１３に表示可能である。また、表示手段１３を複数用意し、これらに各種の現場支援情報および／または仮想支援情報を同時に、又は同期して表示しても良い。

【0046】

図３は現場支援手段３２の構成を示す概略ブロック図である。現場支援手段３２は例えば、現場支援情報生成手段３２１，比較手段３２２、支援情報選択手段３２３、視点履歴記録手段３２４、測量手段３２５，見積手段３２６、電子署名付与手段３２７、情報付与手段３２８などを有する。

【0047】

現場支援情報生成手段３２１は、業務を行う現場において各種情報（現場支援情報）を生成・取得し、記憶手段１４に記憶する手段である。現場支援情報生成手段３２１は、例えば３次元形状情報取得手段２０などにより、現場において現実映像ＬＶに対応する現状最新の３次元形状情報を生成（取得）する。「現実映像ＬＶに対応する現状最新の３次元形状情報」とは、リアルタイムで取得される、あるいは、予め生成されて記憶手段１４などに保持される３次元形状情報（例えば、点群データなど）であり、業務（例えば、補修業務や点検業務）の対象となる構造物を少なくとも含む３次元形状情報である。

【0048】

「現状最新の３次元形状情報」は、３次元形状情報取得手段２０がリアルタイム３Ｄスキャナの場合は、当該スキャナで取得する構造物のリアルタイムの３次元形状情報である。また、リアルタイムの３次元形状情報に加えて（リアルタイム３Ｄスキャナでスキャンしながら）、その時点の各種現場情報を取得し、必要に応じて記憶手段１４に記憶してもよい。各種現場情報とは例えば、タブレット端末１００の（撮像手段１５のレンズ）の方角、タブレット端末１００の高度、その環境の音声、照度、湿度、温度、撮影者、現場の任意の(ユーザの指定による)特徴点、３次元形状情報取得手段２０の情報などである。また、各種現場情報は、タブレット端末１００に接続した他の装置（外部センサーなど）で取得生成された情報であってもよく、例えば情報通信手段１６などを介して他の装置から取得した情報でもよい。

【0049】

また、３次元形状情報取得手段２０がリアルタイム３Ｄスキャナ以外の３Ｄスキャナの場合は、「現状最新の３次元形状情報」は、直近で予め取得される（その時点における最新となる）構造物の３次元形状情報である。いずれも、本業務管理支援装置１０で扱う、現在に最も近い３次元形状情報であり以下、これらを総称して「現在３次元形状情報」と称する。

【0050】

本実施形態の３次元形状情報には、現場支援情報生成手段３２１が取得する現在３次元形状情報の他、現在３次元形状情報に基づいて生成される未来の３次元形状情報（以下、「未来３次元形状情報」という。）や、過去の３次元形状情報（以下、「過去３次元形状情報」という。）がある。

【0051】

未来３次元形状情報については後に詳述するが、一例を挙げると、変状箇所を含む現在３次元形状情報があった場合に、当該現在３次元形状情報を基に、その変状箇所の少なくとも一部を補修した状態に加工した３次元形状情報が未来３次元形状情報である。

【0052】

過去３次元形状情報は、基準時点を経過した現在３次元形状情報および／または未来３次元形状情報である。基準時点は任意に定めることができるが、例えば、現在３次元形状情報の場合は、その取得後に業務管理支援装置１０の動作を終了する（業務管理支援プログラム３０を終了する）際、現在３次元形状情報が記憶手段１４に記憶された時点が基準時点である。この時点を経過すると現在３次元形状情報は、過去３次元形状情報となる。また、未来３次元形状情報の場合は、当該未来３次元形状情報と、対応する現実空間（その時点で取得している現在３次元形状情報）との間に差異が（ほぼ）無くなった時点である。この時点を経過すると未来３次元形状情報は、未来の情報ではなくなり、現在３次元形状情報または過去３次元形状情報となる。これらの３次元形状情報は記憶手段１４に記憶可能である。例えばある(同じ)構造物に対する過去３次元形状情報を時系列に複数記憶しておくことで、作業全体の履歴を辿ることができる。

【0053】

なお、業務管理支援装置１０は、例えば基準時点の経過を管理し、自動で例えば未来３次元形状情報を過去３次元形状情報に変更してもよい。３次元形状情報が現在３次元形状情報、未来３次元形状情報、過去３次元形状情報のいずれであるかは、例えば情報内に付与するフラグや、ファイル名などにより、業務管理支援装置１０自身で判別することが可能となる。

【0054】

ここで、図４を参照して、業務管理支援装置１０が扱う主な情報（データ）について説明する。業務管理支援装置１０が扱う情報には、現場支援情報と仮想支援情報が含まれる。

【0055】

現場支援情報は、現場で取得、生成される情報であって、上記の現在３次元形状情報の他、現場作業情報、および現場付加情報を含む。現場作業情報及び現場付加情報は、現場にて取得、生成、作成、付加される情報であるが、「現場にて」とは、現実映像ＬＶと、当該現実映像に対応する３次元形状情報が同期されている場合をいい、その状態においてユーザの所定の操作があった場合に、生成（作成、付加）される情報である。

【0056】

現場作業情報は、現実空間（現場）のある対象（構造物）に対して時間経過を伴う作業が行われたことを示す情報であり、時間経過とともに対象の状態が変化する（した）ことを示す情報である。具体的には、現実空間（現場）で使用者が実際に行う構造物に対する作業（例えば、補修作業、補修作業、見積作業など）に基づき（作業を行うことにより）生成される情報であり、３次元形状情報を含む（３次元形状情報に記録される）情報であり、すなわち３次元の座標を有する情報である。また現場作業情報は、経時変化する情報、または情報自体に時間軸を含む情報であるがこれについては後述する。

【0057】

現場付加情報は、現場にて入力手段１２の操作によって入力される情報（テキストデータ、手書き入力データなど）や、現場にて音声入力手段（マイク）１８を介して入力される音声データ、撮像手段１５にて撮影される画像（静止画、動画）、アニメーション、数値情報などの情報である。これらは、３次元形状情報に関連付け、または付加される（３次元形状情報を含む）情報であり、すなわち３次元の座標を有する情報である。

【0058】

また、３次元形状情報取得手段２０がリアルタイム３Ｄスキャナの場合、当該スキャナで取得した、上述した各種現場情報も現場付加情報に含まれる。また、現場付加情報は、例えば、現実映像ＬＶを表示中の表示手段１３を介して入力される作図データ（２次元ＣＡＤ（２ＤＣＡＤ）データ、３次元ＣＡＤ（３ＤＣＡＤ）データ）であってもよい。なお、業務管理支援装置１０は、これらの現場付加情報を作成（取得・編集・取り扱い）可能な付加情報作成手段２８を有する（図２参照）。付加情報作成手段２８は例えば、公知の装置やアプリケーション（ソフトウェア）により構成され、具体的には、テキストエディタ、画像処理ソフトウェア、録音ソフトウェアや、２次元ＣＡＤデータおよび／または３次元ＣＡＤデータが作成可能な作図手段（描画ソフトウェア、作図ソフトウェア）などである。

【0059】

例えば、付加情報作成手段２８としての作図手段（描画ソフトウェア、作図ソフトウェアなど）をユーザが起動させ、現実映像ＬＶとして表示されている対象領域（構造物など）の任意の点を指定（クリック、ポイント、描画、トレース等）することで、任意の作図データを現場付加情報として作成可能である。当該作図データは、作図データ（図面データ、ＣＡＤデータ）として外部出力可能である。これにより例えば、現実映像ＬＶを表示させた表示手段１３上の操作（現実空間）で、３次元座標を有する作図データを取得できる。また、例えば、現場（対象領域）において、３次元形状情報取得手段２０で取得できない情報（例えば構造部の一部の欠落など）があった場合などに、作図手段によって作成した作図データを現場付加情報として３次元形状情報に付与（関連付け）することができる。

【0060】

仮想支援情報は、仮想３次元空間における位置情報（３次元座標）を有する情報であり、３次元形状情報に対して時間経過を伴う仮想作業が行われたことを示す情報を含む。仮想支援情報には、未来３次元形状情報と、仮想作業情報と、仮想付加情報が含まれる。

【0061】

未来３次元形状情報は、時間経過とともに対象の状態が変化する（した）ことを示す情報である。具体的には、例えば、現在３次元形状情報に基づいて加工（生成）され、該現在３次元形状情報に含まれる構造物の形状変化の情報（現在３次元形状情報からどのように形状が変化したかを示す情報）を含む３次元形状情報である。

【0062】

仮想作業情報は、時間経過とともに対象の状態が変化する（した）ことを示す情報である。具体的には、仮想３次元空間内で使用者が仮想的に行う構造物に対する作業（例えば、補修作業、補修作業、見積作業など）に基づき（作業を行うことにより）生成される情報であり、３次元形状情報を含む（３次元形状情報に記録される）情報であり、すなわち３次元の座標を有する情報である。仮想作業情報は、経時変化する情報、または情報自体に時間軸を含む情報であるがこれについては後述する。

【0063】

仮想付加情報は、仮想３次元空間内で、３次元形状情報に付加（関連付け）される情報であり、すなわち３次元の座標を有する情報である。仮想付加情報は、現場付加情報と同様に、付加情報作成手段２８により生成、取得などが可能である。仮想付加情報は、テキストデータ、手書き入力データ、音声データ、画像（静止画、動画）データ、アニメーション、数値情報などの情報である。また、仮想付加情報は、作図データ（２ＤＣＡＤデータ）、３ＤＣＡＤデータ、点群データ、３ＤＣＧデータなど）であってもよく、この場合、３次元形状情報のある座標に対し、別の空間を表す図面や３次元データを関連づけることが可能となる。

【0064】

例えば、別途、点群データとして取得した配管などを付加情報作成手段２８（例えば、作図手段）などにより、仮想３次元空間内でトレースしたり、ユーザが任意の線や矩形を描画したりすることで、線画の配管図（作図データ）を仮想付加情報として作成可能である。当該作図データは、ＣＡＤデータとして外部出力可能である。これにより例えば、３次元形状情報取得手段２０で取得できない構造物の内部の情報を補うことができる。また、当該作図データを仮想付加情報として３次元形状情報に付与（関連付け）することができる。また、構造物内に配置することが予定されている設備等の３次元データ仮想付加情報として別途準備し、３次元形状情報に付加することで、設備等の配置のシミュレーションを行うことができる。

【0065】

また、３次元形状情報は時間的観点から、過去３次元形状情報、現在３次元形状情報、未来３次元形状情報に分類される。

【0066】

また、以下の説明において現場付加情報と仮想付加情報を「付加情報」と総称し、現場作業情報と仮想作業情報を「作業情報」と総称する場合がある。

【0067】

本実施形態の現場支援手段３２は、リアルタイムで構造物の現実映像ＬＶと、該構造物に対応する現場支援情報および／または仮想支援情報とを同期し、たとえばこれらを合わせて（重ねて）表示手段１３に表示可能である。

【0068】

また、現場支援手段３２は、リアルタイムで構造物の現実映像ＬＶと、該構造物に対応する３次元形状情報を同期し、表示手段１３に表示させることも可能である。

【0069】

本実施形態の業務管理支援装置１０は、例えば橋梁やトンネルなどの構造物（建造物）に対して補修、点検等を行う場合に作業の支援と管理を行う装置である。現場支援情報生成手段３２１は対象となる構造物を中心に、現在３次元形状情報を取得する。上記のとおり現在３次元形状情報は、現場で取得される現場支援情報の一つであり、仮想支援情報の加工（生成）に利用可能であり、あるいはまた現実映像ＬＶと、該構造物に対応する仮想支援情報とを同期するために利用可能である。

【0070】

現場付加情報は、例えば、使用者による情報付与操作に応じて、その時に現実映像ＬＶと同期されている３次元形状情報（例えば現在３次元形状情報）と関連付けて記憶手段１４に記憶される。

【0071】

情報付与操作の具体例を説明する。使用者が現場で構造物に関する現場付加情報を取得し（例えば、構造物の一部の写真を撮影し）た場合、これを現場付加情報として情報付与することができる。

【0072】

図３を参照し、現場支援情報生成手段３２１は例えば、使用者の所定の入力操作（情報付与操作）に応じて、情報付与手段３２８により情報の付与を行う。情報付与手段３２８は、使用者によるマーク付与操作などに応じてマーク付与が指示された場合、表示手段１３に表示中の現実映像ＬＶに重ねて、情報付与用のオブジェクト画像（以下これを「マーク画像」という。）を表示する。具体的に、マーク付与操作は例えば使用者による入力手段１２の操作（例えばマーク付与の開始を指示するボタン操作や、タッチパネルのタップ操作など）で開始され、情報付与手段３２８は、使用者が指定した表示手段１３上の任意の点に重ねてマーク画像を表示する。また、その時点で同期されている３次元形状情報（例えば、現在３次元形状情報や未来３次元形状情報）の対応する位置（マーク画像の仮想３次元空間における３次元座標）を取得し、マーク画像（の画像データ）と、マーク画像に固有の識別番号（マーク識別番号）と、マーク画像の仮想３次元空間内の３次元位置情報とをマーク識別番号をキーにした１つの情報群（データユニット）として、記憶手段１４に記憶（例えば、データベース等に登録）する。

【0073】

これにより、現場付加情報は、その時点で同期されている３次元形状情報に関連付け、または付加される（３次元形状情報に含まれる）。また、マーク画像は、仮想３次元空間における位置座標（３次元座標）を有し、現場支援情報を保持可能な情報保持手段（フォルダ）といえる。また、マーク画像と対応付けられる（保持される）現場支援情報も仮想３次元空間における位置座標（３次元座標）を有する。

【0074】

なお、手書き入力情報（文字や線画など）は、上記と同様にマーク画像に対応づけたフォルダに格納してもよいが、マーク画像そのものと同様に扱ってもよい。すなわち、手書き入力情報を画像データ（手書き画像）として取得し、同期されている３次元形状情報（例えば、現在３次元形状情報や未来３次元形状情報など）の対応する位置（手書き画像の仮想３次元空間における３次元座標）を取得し、手書き画像と、手書き画像に固有の識別番号（手書き画像識別番号）と、手書き画像の仮想３次元空間内の３次元位置情報とを手書き画像識別番号をキーにした１つの情報群（データユニット）として、記憶手段１４に記憶（例えば、データベース等に登録）する。このようにすることで、現実映像ＬＶと重ねて、手書き画像をそのまま表示手段１３に表示することができる。つまり手書き画像をデジタルチョークとして扱え、あたかも構造物に直接チョークで手書きがされているような表示が可能である。

【0075】

また、作図データも、上記と同様にマーク画像に対応づけたフォルダに格納してもよいが、マーク画像そのものと同様に扱ってもよい。すなわち、付加情報作成手段２８（作図手段）により作図データを作成し、同期されている３次元形状情報（例えば、現在３次元形状情報や未来３次元形状情報など）の対応する位置（作図データの仮想３次元空間における３次元座標）を取得し、上記の手書き入力情報と同様にして記憶手段１４に記憶（例えば、データベース等に登録）する。このようにすることで、現実映像ＬＶと重ねて、作図データをそのまま表示手段１３に表示することができる。また、作図データはＣＡＤデータとして外部出力できる。

【0076】

なお、現場付加情報（テキストデータ、画像データ、音声データなど）は業務管理支援装置１０で扱うデータとして所定の記憶手段１４に記憶される。しかしこれに限らず、これらのデータは各データの形式に応じた記憶手段１４の一般的な記憶領域（例えば、テキストデータであればテキスト（メモ）アプリケーションのデータの保存領域、撮像手段１５によって撮影された画像であれば写真（アルバム）アプリケーションデータの保存領域、音声データであれば録音アプリケーションデータの保存領域などに保存される構成であってもよい。

【0077】

また現場支援情報は、例えば業務管理支援装置１０（タブレット端末１００）とは別体の他の装置で取得、生成された情報であってもよい。現場支援情報生成手段３２１は、例えば情報通信手段１６などを介して他の装置から現場支援情報を取得し、必要に応じて業務管理支援装置１０で扱い可能な所定の形式に変換(生成)し記憶手段１４に記憶する。現場支援情報生成手段３２１は、取得・生成した現場支援情報を業務管理支援装置１０の記憶手段１４に記憶する。

【0078】

例えば、他の装置としては、分光カメラなどが挙げられる。分光カメラは、通常のＲＧＢより広い範囲の色取得可能であり、人間の目で判断できない変状を検知可能である。また、現場の温度や湿度などを、３次元形状情報に反映可能なセンサを用いてもよい。

【0079】

同期手段３１は、後述する支援情報選択手段３２３により、ある支援情報（仮想支援情報または現場支援情報）が選択されると、リアルタイムで構造物の現実映像ＬＶと、該構造物に対応する支援情報とを所定の同期用基準点に基づき同期させ、現実映像ＬＶに重ねて出力する手段である。出力は、表示手段１３による表示の他、スピーカ１９による音声出力も含まれる（以下同様）。

【0080】

現実映像ＬＶとその撮像範囲に対応する３次元形状情報とを所定の同期用基準点に基づき同期させることで、使用者の現実空間での３次元位置情報と、撮像範囲に対応する３次元形状情報が配置される仮想３次元空間での３次元位置情報（座標）とが同期したとみなす。

【0081】

同期手段３１により、現実映像ＬＶとそれに対応する３次元形状情報が同期されることで、業務管理支援装置１０の使用者は、タブレット端末１００の表示手段１３に表示される現実映像ＬＶと、同期された３次元形状情報に含まれる、又は関連付けられている支援情報（現場支援情報、仮想支援情報）」を合わせて（同期して）、例えば現実映像ＬＶとそれに対応する支援情報を重ねた状態で視認することができる。現実映像ＬＶの撮影領域は使用者の現実的な視野領域となり、それに対応して３次元形状情報が表示手段１３に表示された場合には、仮想３次元空間における使用者の仮想的な視野領域となる。また、使用者の現実的な視野となる現実映像ＬＶの撮影領域を移動（遷移）させることで、３次元形状情報が配置される仮想３次元空間内における使用者の、現実映像ＬＶの撮影領域に対応する視野（仮想視野）が移動する。また、使用者がタブレット端末１００（撮像手段１５）を携えて現実空間を移動することで、使用者が仮想３次元空間内を移動することになる。

【0082】

同期手段３１による３次元形状情報と現実映像ＬＶとの同期（照合）方法は既知の方法が採用できる。具体例を挙げると、第一には、ＡＲマーカ（画像マーカ）を用いる方法がある。例えば、３次元形状情報の所定位置にＡＲマーカを設定し、当該所定位置に対応する現場の位置（常に同じ位置）に実在のＡＲマーカを配置し、両者を照合することにより行う。

【0083】

第二には、例えば照合手段（不図示）により、任意の同期用基準点（マーカ）を設定し、照合する方法がある。照合手段は例えば、現実映像ＬＶの表示手段１３（表示領域）上の任意の位置に、使用者による同期用基準点の設定（付与）を受け付ける。同期用基準点は、仮想３次元空間の任意の始点（原点）と、始点に基づく仮想空間の方向と大きさ（空間ベクトル）を特定する点によって設定可能である。また、この場合３次元形状情報の対応する位置にも使用者により同期用基準点が付与される。照合手段は、自動で３次元形状情報と表示領域上の同期用基準点をマッチングし、必要に応じて縮尺や回転を行なって、現実映像ＬＶと３次元形状とを同期する。なお、現実映像ＬＶ側の同期用基準点は、例えば表示領域内に設定された複数の合わせマークなどに基づき、２次元画像（静止画、動画、以下同様）、３次元画像あるいは３６０度画像として表示されたマップ上に設定してもよい。あるいは、使用者により任意に設定される同期用基準点に代えて、現実映像ＬＶと同期される３次元形状情報の「特徴的な点」や所定の形状を示す点（例えば橋脚など）を照合用マーカとしてもよい。「特徴的な点」は例えば、構造物（の一部分）の外形状を示す（特徴づける）多数の点である。

【0084】

この「特徴的な点」は、３次元形状情報取得手段２０がリアルタイム３Ｄスキャナの場合、当該スキャナで取得した、各種現場情報の一部であってもよい。例えば、３次元形状情報取得手段（リアルタイム３Ｄスキャナ）２０は、スキャンを開始する際、準備ステップとして、ユーザに「特徴的な点」（水準点や所定の構造物など）をスキャンさせ、それを照合用マーカとして設定可能である。スキャンした「特徴的な点」を照合用マーカにするというユーザの操作が実行されると、３次元形状情報の所定位置に照合用マーカが設定され、当該所定位置に対応する現場の位置に照合用マーカが配置されていることになる。この場合、３次元形状情報取得手段２０による３次元形状情報取得時に、照合用マーカを設定できる。

【0085】

あるいは、ＡＩ（artificial intelligence：人工知能）等を活用した空間同士のマッチングなどによって、あるいはこれを上記の方法と組み合わせて、３次元形状情報と現実映像ＬＶとを同期（照合）してもよい。

【0086】

これにより、例えば、表示手段１３の表示領域（ディスプレイ）に表示される現実映像ＬＶが使用者の視野（見え得る範囲）とすると、同期されている３次元形状情報の対応する範囲が、使用者の仮想３次元空間での仮想視野（仮想的に見え得る範囲）となる。また、例えば、表示手段１３の表示領域（ディスプレイ）の所定位置（例えば中央）に表示される現実映像ＬＶの１点が使用者の注視点となり、同期された３次元形状情報の対応する１点が、使用者の仮想３次元空間での仮想注視点となる。ここで「注視点」とは、人間が対象物を視認する場合に両眼の焦点を合わせるある一点をいい、注視点の移動は視線の移動と同義である。

【0087】

現実映像ＬＶと３次元形状情報が同期されると、以降、タブレット端末１００（レンズ１５１）の向きが変化した場合には、使用者の注視点が遷移したとみなし、同期されている３次元形状情報内で仮想注視点の座標が移動する。なお、３次元座標上で両者が同期されれば（３次元座標が一致すれば）十分であり、３次元形状情報が表示手段１３に表示されなくてもよい。なお、使用者による入力手段１２の所定の操作などに応じて、３次元形状情報が表示手段１３に表示されてもよい。

【0088】

視点履歴記録手段３２４は、仮想３次元空間内における使用者の仮想注視点の移動の履歴を記録する手段である。

【0089】

視点履歴記録手段３２４は、例えば、現場において現実映像ＬＶと３次元形状情報とが同期されている場合に、使用者が現実映像ＬＶの表示範囲を変更することに基づき、対応する３次元形状情報内での仮想注視点の座標の移動履歴を記録する。これにより、例えば点検作業時などにおいて、使用者の現場における注視点（視線）の移動履歴（視点履歴）を記録できる。

【0090】

このように、視点履歴は、仮想３次元空間内における同一の対象（この場合は、ある時点の使用者の仮想注視点（１点））が時間経過に伴って（未来に向けて）変化（移動）することを示す情報、仮想３次元空間内における同一の対象が経時変化することを示す情報、または情報（視点履歴）が全体として時間軸（時間の概念）を含む情報である。また、視点履歴は使用者（作業者）の位置、姿勢、移動と同一視し得る情報である。

【0091】

本実施形態の作業情報（現場作業情報、仮想作業情報）は、少なくとも視点履歴を含む情報である。つまりこれにより、作業情報（現場作業情報、仮想作業情報）は、仮想３次元空間内における同一の対象（使用者の仮想注視点）が時間経過に伴って（未来に向けて）変化（移動）することを示す情報、仮想３次元空間内における同一の対象が経時変化することを示す情報、または情報（視点履歴）が全体として時間軸（時間の概念）を含む情報となる。つまりこの点において、３次元形状情報のある１点に関連付けられる（ある１点に設定された情報保持手段（フォルダ）に保持される）本実施形態の付加情報（現場付加情報、仮想付加情報)と異なる。なお例えば現場で撮影した動画データは時間の概念を有する情報であるが、これを現場（または仮想）支援情報として３次元形状情報に付与する場合にはマーク画像の付与などにより３次元形状情報のある一点に関連付けられるものである。つまり当該動画データは「仮想３次元空間内における同一の対象が経時変化することを示す情報」ではなく、付加情報となる。

【0092】

視点履歴記録手段３２４が現場作業情報としての視点履歴を記録する場合には視点履歴記録手段３２４は現場支援情報生成手段３２１の一部といえる。また、視点履歴記録手段３２４が仮想作業情報としての視点履歴を記録する場合には視点履歴記録手段３２４は仮想支援情報生成手段３３の一部といえる。

【0093】

仮想注視点の座標の移動履歴の記録は、例えば３次元形状情報側に「視認された」という情報を記録することにより行う。具体的には例えば、視点履歴記録手段３２４による視点履歴記録動作中において仮想注視点の座標が移動した場合、仮想注視点に対応するデータ（例えば点群データの場合、仮想注視点に対応する点）を所定の色（当初の色とは異なる色）で着色（変色）することで表示態様を変更（更新）する。このように着色（変色）された点（点群）が視点履歴となり、視点履歴の情報が記録（付与）された３次元形状情報が生成される。これを記憶手段１４に記憶することで、視点履歴が記憶される。注視点の履歴となるのでこれを点検や補修に関する作業情報（現場作業情報、仮想作業情報）に利用できる。

【0094】

この場合において、「視認された」という情報が記録された３次元形状情報（例えば、建物の外壁面のデータ）の背後に、別の３次元形状情報（例えば、柱や鉄筋などのデータ）が重畳して存在する場合がある。このように「視認された」という情報が記録された３次元形状情報の背後に重畳する３次元形状情報については、視認されたことにはならず、視点履歴には含まれない。

【0095】

視点履歴記録手段３２４は、例えば使用者による視点履歴記録開始の入力操作に応じて、操作を受け付けて以降、使用者による視点履歴記録終了の入力操作があるまで視点履歴を自動的に記録する。あるいは、例えば使用者による視点履歴記録の入力操作があった場合などの所定のタイミングでその時点の視点履歴を記録（仮想注視点に対応する３次元形状情報の変更（更新））を行うようにしてもよい。

【0096】

視点履歴の３次元形状情報への記録方法は、以下のようなものがある。
（第１の方法）現場において、同期している現在３次元形状情報を更新する方法
現在３次元形状情報を取得した後においてそれを現実映像ＬＶに同期した状態で、使用者が視点履歴の記録を開始する操作（例えば入力手段１２の操作）を行う。操作後のタブレット端末１００（レンズ１５１）の状態（向き、移動量、姿勢）に基づき、視点履歴記録手段３２４が現在３次元形状情報の一部（仮想注視点に対応する情報）を更新する。現在３次元形状情報に視点履歴が記録される。この場合の視点履歴は現場作業情報となる。

【0097】

（第２の方法）現場において現在３次元形状情報を取得しながら、これと同時に視点履歴の記録を行う方法
業務管理支援装置１０の基本的な使用方法として、まず現場支援情報生成手段３２１により現在３次元形状情報を取得するのであるが、使用者は現場支援情報の生成を開始する操作とともに視点履歴の記録を開始する操作を行う。現場支援情報生成手段３２１による現在３次元形状情報の取得とともに、操作後のタブレット端末１００（レンズ１５１）の状態（向き、移動量、姿勢）に基づき、視点履歴記録手段３２４が現在３次元形状情報の一部（仮想注視点に対応する情報）を記録する方法である。現在３次元形状情報に視点履歴が記録される。この場合の視点履歴は現場作業情報となる。

【0098】

（第３の方法）現場において、同期している未来３次元形状情報を更新する方法
第１の方法において、現実映像ＬＶに同期する３次元形状情報が、別途生成された未来３次元形状情報である以外は第１の方法と同様である。未来３次形状情報に視点履歴が記録される。この場合の視点履歴（について）は現場作業情報となる。

【0099】

（第４の方法）仮想３次元空間において３次元形状情報を直接更新する方法
３次元形状情報の加工（修正）が可能な環境において仮想注視点に対応する情報を直接変更（例えば、色を変えるなど）し視点履歴を記録する方法である。第１の方法から第３の方法が、現場におけるタブレット端末１００の移動によって３次元形状情報を更新する（視点履歴が現場作業情報となる）のに対し、第４の方法は、現場にいなくても３次元形状情報に視点履歴を記録できる。つまりこの場合の視点履歴は仮想作業情報となる。なお、視点履歴を記録する３次元形状情報は現在、未来、過去のいずれのタイミングのものであってもよい。

【0100】

支援情報選択手段３２３は、使用者による入力手段１２の操作に基づき、指定される支援情報（現場支援情報または仮想支援情報）を所定の記憶手段１４から読み出し、あるいは情報通信手段１６を介して他の装置（例えば、サーバ装置や他のＰＣ）などから受信し同期手段３１に受け渡す手段である。なお、例えばその時点で表示されている現実映像ＬＶに同期している３次元形状情報に基づき、あるいはその時点で３次元形状情報取得手段（例えば、リアルタイム３Ｄスキャナ）２０で取得した対象の３次元形状情報に基づき、支援情報選択手段３２３が自動で対応する（と予測される）支援情報を記憶手段１４から読み出すようにしてもよい。

【0101】

また、支援情報選択手段３２３は、使用者が支援情報を選択するための適宜のメニューや案内（ガイド）などを表示手段１３に表示、あるいは音声としてスピーカ１９から出力する。

【0102】

比較手段３２２は、例えば補修や点検などの作業の進捗度、あるいは作業に関する見積などを行う場合に、２種類の情報を比較する手段である。具体的に比較手段３２２は例えば、現実映像ＬＶに表示されるある対象（構造物(の一部)）に対応し、且つ異なる時点の２つの３次元形状情報を比較し、その差分を算出する。また、その差分を数値、画像などで可視化、あるいは音声などで可聴化し、現実映像ＬＶに重ねて出力（表示、音声出力、以下同様）する。比較手段３２２が算出した差分も作業情報（現場作業情報および仮想作業情報）であり、３次元形状情報への付与等が可能である。

【0103】

差分を例えば作業の進捗度として可視化する場合、例えば作業が完了した部分を塗り潰し画像で示し、当該画像を現実映像ＬＶの対応箇所に重ねて表示する。使用者は、作業範囲が広大で、且つ外観上、作業の完了／未完了が判別しにくい現場であっても直感的に作業の進捗を把握できる。また、進捗度はグラフやバーチャートにして、表計算ソフトなどの文書として出力可能である。

【0104】

また、変状箇所を含む現在３次元形状情報と、変状箇所が修復された未来３次元形状情報を比較し、差分を算出することにより、作業に関連する数量（材料の量、費用、工数など）の見積を作成できる。

【0105】

なお、比較する３次元形状情報は、例えば、新たな現在３次元形状情報と過去３次元形状情報（基準時点を経過した現在３次元形状情報）、または新たな未来３次元形状情報と新たな基準３次形状情報、新たな未来３次元形状情報と過去３次元形状情報など、任意の組み合わせで比較し、差分を算出可能である。

【0106】

また、比較手段３２２は、現実映像ＬＶに対応する３次元座標と、３次元形状情報を比較するようにしてもよい。

【0107】

測量手段３２５は，例えば現実の作業として補修や追加工事などを行う場合にその作業量（例えば作業が必要な長さ、深さ、体積など）を３次元形状情報上で算出する手段である。測量手段３２５は、例えば、現実映像ＬＶに表示されるある対象（構造物(の一部)）に対応する３次元形状情報に基づき、例えば補修や追加の工事などを行う場合の対象領域の測量を行い、その結果としての測量情報を生成する。測量手段３２５は、例えば、比較手段３２２が算出する異なる時点の３次元形状情報の差分を利用するものであってもよい。また、追加の機能として、３次元形状情報取得手段（特に、リアルタイム３Ｄスキャナ）２０を利用するなどして、現場(現実空間)における対象領域の測量を行う構成が含まれてもよい。

【0108】

また、測量情報には、３次元座標を有する作図データが含まれる。例えば、測量手段３２５は、作図手段を含み、現実映像ＬＶが表示される表示手段１３において、ユーザの任意の点の指定（タップ、ポイント、描画など）を受け付ける。具体的には、例えば、ユーザは表示手段１３に表示される対象物（例えば、現実映像ＬＶ中の盛り土）の形状の変化点（頂点）を指定する。これにより測量手段３２５は、各頂点を結ぶ測量形状（たとえば台形など）を特定し、３次元座標を有するデータ（例えば３ＤＣＡＤデータ）として取得（生成）する。この場合の測量形状は例えば現場付加情報となる。また測定手段３２５は、当該測量形状（例えば、３ＤＣＡＤデータ）の３次元座標に基づき、対象物（盛り土）の長さ、体積などを算出する。つまり、測量手段３２５は指定された点に基づき、３次元座標を考慮した対象物の寸法を取得できる。これにより、現実空間における対象物の３次元座標を取得でき、現実映像ＬＶのトレース（手書きトレース）により、３ＤＣＡＤデータを生成できる。なお、測量形状（３ＤＣＡＤデータ）は、仮想付加情報として仮想３次元空間内で生成することもできる。また、上記の作業が完了した部分（塗り潰し画像）をトレースすることで、作業が完了した部分の測量形状（３ＤＣＡＤデータ）を生成できる。これらの測量形状（３ＤＣＡＤデータ）は、３次元形状情報とは別に、保存し、外部出力が可能である。測量手段３２５は、取得した測量情報を、報告書などとして出力可能である。

【0109】

見積手段３２６は、使用者により指定された見積対象領域について、例えば測量手段３２５が算出(生成)した測量情報を参照し、対象領域に係る作業関連数量を見積もる手段である。作業関連数量とは例えば、作業（例えば補修・修繕作業の）工数、作業に係る材料の種類とその分量、作業に係る費用（材料費および工賃）などの数量である。記憶手段１４には、見積手段３２６が利用する各種データの基本数量あるいは所望の計算式等のデータベース６０を保持する。データベース６０は例えば、材料の単価データベース、材料の比重データベース、計算式データベース…などである。なおこれらのデータベース６０は、他の端末（例えばタブレット端末１００と通信回線を介して接続するサーバ装置など）に保持されるものであってもよい。

【0110】

また見積手段３２６は、電子的な見積関連書類（見積書、受注書、発注書など）の作成、その出力（表示手段１３への表示、プリンターへの印刷）も可能である。

【0111】

電子署名付与手段３２７は、業務管理支援装置１０で扱う各種情報について電子的な徴証である電子署名を付与する手段である。

【0112】

電子署名付与手段３２７は、また電子署名に署名をした者が本人であることを証明する、認証局が発行した電子証明書を添付する。電子証明書は、認証局（ＣＡ：Ｃｅｒｔｉｆｉｃａｔｉｏｎ Ａｕｔｈｏｒｉｔｙ）が発行し、公開鍵暗号基盤（ＰＫＩ：Ｐｕｂｌｉｃ Ｋｅｙ ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）と呼ばれる暗号技術により本人性を証明する。つまり電子署名付与手段３２７は電子証明書を使って、電子署名を付与し、タブレット端末１００の使用者を特定する。これにより、現場支援情報がタブレット端末１００の使用者により作成されたこと、および、電子署名時点から当該情報が改ざんされていないことが証明される。

【0113】

電子署名付与手段３２７は、さらにタイムスタンプを付与可能にすると好適である。これにより、タブレット端末１００などで設定される時刻とは別に、電子署名の時刻が間違いのない正しい時刻であるということを証明できる。すなわち、使用者の操作により電子署名付与手段３２７が例えば現場支援情報に当該使用者の電子署名、およびタイムスタンプを付与することで、当該現場支援情報がタブレット端末１００の使用者により作成されたことおよび、電子署名時点から当該現場支援情報が改ざんされていないこと、タイムスタンプの時刻に当該当該現場支援情報が存在していること、タイムスタンプの時刻以降も当該当該現場支援情報が改ざんされていないことが証明可能となる。

【0114】

具体的には、例えば視点履歴や、測量情報、作業関連数量、電子的な見積関連書類などに電子署名を付与することが可能である。例えば、現場支援情報としての視点履歴に電子署名を付与することで、現場作業の客観的な証拠とすることができる。また、作業関連数量や電子的な見積関連書類に対して複数の使用者による電子署名を付与することもでき、これにより複数の使用者間の意思確認等に使用できる。

【0115】

次に、仮想支援情報生成手段３３について説明する。仮想支援情報生成手段３３は、仮想支援情報を生成する手段であり、例えば、未来３次元形状情報生成手段３３１、仮想作業情報生成手段３３２などを有する。

【0116】

現場支援情報が、現場においてタブレット端末１００に対する使用者の入力操作などにより生成、取得される情報であるのに対し、仮想支援情報は仮想３次元空間内で、すなわち３次元形状情報の加工（更新、編集）や３次元形状情報に直接的に付与、あるいは関連付けすることにより生成される情報である。

【0117】

既に述べているように、仮想支援情報は、未来３次元形状情報、仮想作業情報、仮想付加情報を含むが、このうち未来３次元形状情報および仮想作業情報は、それぞれ、時間経過とともに対象の状態が変化する（した）ことを示す情報である。

【0118】

仮想作業情報は、上述のとおり、同一の対象が時間経過に伴って（未来に向けて）変化することを示す情報（経時変化することを示す情報）、または情報自体に時間軸（時間の概念）を含む情報であり、この例では少なくとも視点履歴を含む情報である。この場合の視点履歴は、上記の第４の方法により生成される。

【0119】

なお、仮想作業情報は仮想３次元空間で生成、加工する情報であればよく、付与（更新、編集する）３次元形状情報は、過去、現在、未来のいずれの状態の情報であってもよい。

【0120】

未来３次元形状情報は、現在３次元形状情報に基づき仮想３次元空間で生成される情報であり、以下これについて説明する。

【0121】

未来３次元形状情報生成手段３３１は、未来３次元形状情報を生成する。未来３次元形状情報は、記憶手段１４に保持される現在３次元形状情報に基づいて生成される３次元形状情報である。未来３次元形状情報生成手段３３１は、現場支援情報生成手段３２１が取得（生成）する現在３次元形状情報を加工して未来３次元形状情報を生成する。つまり、未来３次元形状情報は、現在３次元形状情報の少なくとも一部が時間経過に伴って変化した情報であり、同一の対象（構造物）についての未来のある時点に現場支援情報生成手段３２１が取得するであろう情報である。また未来３次元形状情報は、未来のある時点で現場で取得する構造物の３次元形状情報（現在３次元形状情報）に含まれるであろう情報である。未来３次元形状情報は、必ずしも構造物の予定される完成状態（新規の構造物の場合の完成状態、補修対象の構造物の場合の補修完了状態）の情報に限らない。例えば、完成状態よりも現実に近い未来の状態（完成途中の状態）の情報であってもよい。

【0122】

具体的には例えば、現実空間において構造物の一部に変状箇所が存在した場合、当該構造物の一部について現場支援情報生成手段３２１が取得する現在３次元形状情報にはその変状箇所の情報が含まれる。使用者の操作に応じて、未来３次元形状情報生成手段３３１は、変状箇所を含む現在３次元形状情報を基に、当該変状箇所の少なくとも一部を補修した状態に加工した３次元形状情報を未来３次元形状情報として生成し、記憶手段１４に記憶する。

【0123】

支援情報選択手段３２３により、生成された未来３次元形成情報が選択されると、同期手段３１が当該未来３次元形状情報を取得し、現実映像ＬＶと同期させて現実映像ＬＶに重ねて表示する。これにより、使用者は、現実映像ＬＶで表示される現場の構造物の変状箇所に重ねて、少なくとも一部が補修された状態の画像を視認することができる。

【0124】

つまり、例えば作業の対象がある一の変状箇所であり、作業がその補修であった場合、作業前の状態を示す現在３次元形状情報と、作業後の状態を示す未来３次元形状情報とを比較すると、必ず対象（当該変状箇所）の形状（３次元形状情報）のみに差異があり他は（略）一致する。このように現在３次元形状情報を基に生成(加工、編集)された３次元形状情報が未来３次元形状情報である（なお、この場合の対象（変状箇所）は一か所に限らない）。

【0125】

仮想作業情報生成手段３３２は、対象となる構造物の３次元形状情報に対し、使用者が仮想３次元空間内で行う仮想作業(仮想工事、仮想補修作業、仮想点検作業、仮想見積作業など)に対応する情報（仮想作業情報）を含む３次元形状情報を生成（加工、編集）する手段である。

【0126】

例えば現実空間において作業者が変状箇所を発見する点検作業を行う場合、一般的には予め定められた手順や要領、複数個所の場合は各所を巡るルート（動線）に則って行う。また、発見した変状箇所の補修作業を行う場合も同様に、予め定められた手順や要領、ルート（動線）に則って行う。仮想作業情報生成手段３３２は、使用者が仮想３次元空間内で現実空間と同様の手順、要領、ルート、注視点に則り、３次元形状情報に対して行う一連の作業に基づいて、少なくともその作業によって或る同一の対象が、時間経過に伴って（未来に向けて）変化することを示す情報（経時変化することを示す情報）、または情報自体に時間軸（時間の概念）を含む情報を、記憶手段１４に記憶する。仮想作業情報は、主には実際の作業の前に予定あるいはシミュレーションとして仮想的に行う作業の情報であり未来の作業の情報といえる。仮想作業情報は、仮想３次元空間で生成される情報であり、３次元形状情報に付与（記録）可能である。つまり、仮想３次元空間の座標情報を有している。また、仮想作業情報は、この例では少なくとも視点履歴を含む情報である。この場合の視点履歴は、上記の第４の方法により生成される。

【0127】

具体的に、例えば模範となる使用者（例えば、作業の熟練者）などによる仮想３次元空間内での点検手順（点検要領、点検ルート（動線））を示す仮想支援情報（仮想作業情報）を生成する場合について説明する。仮想作業情報生成手段３３２は、３次元形状情報（例えば現在３次元形状情報）を取得し、これを加工して仮想作業情報を生成する。例えば、現実の点検手順の場合、開始時から時間経過に伴い、使用者の注視点（視線）が特に点検箇所を中心に移動する。つまりこの場合、仮想点検作業により変化した情報とは、使用者の仮想注視点の３次元座標（位置）である。

【0128】

使用者は、当該３次元形状情報に対し、点検者の視点履歴を付与（視点履歴を記録）する。具体的に使用者は例えば、３次元形状情報上でポインタを動かすなどして仮想注視点の経路（視点履歴）を入力する視点履歴記録の操作を行う。この操作に基づき、仮想作業情報生成手段３３２は、視点履歴記録手段３２４により、仮想注視点のそれぞれに対応する３次元形状情報（点群データの場合は「点」）について、例えば表示態様を変更する（色を変更するなど）。３次元形状情報上では視点履歴が例えば特定の色の線図で表示される。この場合の視点履歴は、仮想３次元空間内における同一の対象（使用者の仮想注視点）が時間経過に伴って（未来に向けて）変化（移動）することを示す情報であり、視点履歴が全体として時間軸（時間の概念）を含む情報となる。仮想作業情報生成手段３３２は、生成された仮想支援情報を所定の記憶手段１４に記憶する。

【0129】

このように仮想作業情報となる点検手順（点検要領）は、視点履歴を含むことで全体として時間の概念を含む情報となる。この点で、単に必要となる点検手順の各項目を例えばリスト状に列挙した情報（データ）とは異なる。なお、点検手順の各項目を単にリスト状に列挙した情報（テキストデータ）は、（仮想）付加情報として３次元形状情報に関連付けすることはできる。

【0130】

支援情報選択手段３２３により、生成された仮想作業情報が選択されると、同期手段３１が当該仮想作業情報を取得し、現実映像ＬＶと同期させて現実映像ＬＶに重ねて表示する。これにより、使用者は、現実映像ＬＶで表示される現場に重ねて、設定された（例えば熟練者目線の）視点履歴を視認することができる。使用者（作業者）は現場において視点履歴を参考に、実際の点検作業を行う。これにより点検箇所の見逃しなどのミスを防止し、効率良く各点検箇所を移動することができるとともに、各点検箇所において注視すべき部分などを把握することができる。

【0131】

なお、この場合、仮想作業情報には、各点検（補修）ポイントにおいて確認（補修）すべき構造物の一部に対応する３次元形状情報や画像（現実空間で撮影した画像など）、コメント（テキスト）などを、仮想付加情報として付与することができる。

【0132】

以上、ここでは仮想作業情報生成手段３３２による仮想作業情報の生成について説明したが、現場における実際の点検ルートを示す現場作業情報についても同様に生成できる。この場合の点検ルートを示す現場作業情報は、実際に使用者（作業者）が所定の点検ルートに沿って点検したことを記録として残す（作業報告などのための）情報に利用できる。

【0133】

点検ルートを示す現場作業情報は、使用者（作業者）が現場において視点履歴記録を開始するとともに、使用者の現場の注視点となるタブレット端末１００（レンズ１５１）を適宜の位置に向けて点検ポイントを移動することで、視点履歴記録手段３２４、現場支援情報生成手段３２１によって、上記の仮想作業情報と同様に生成され、記憶手段１４に記憶される。

【0134】

次に、本実施形態の管理支援装置１０における表示の一例と、業務管理支援装置１０を用いた業務管理処理（本実施形態の業務管理支援方法）の一例について説明する。図５は、業務管理支援装置１０による業務管理支援処理（業務管理支援方法）の一例を示すフロー図であり、業務管理支援方法として、仮想支援情報を生成する場合のフロー図である。また、図６～図８は、タブレット端末１００の表示手段１３における表示の一例、および仮想支援情報の一例を示す概要図である。

【0135】

図５を参照して、本実施形態の業務管理支援方法は、少なくとも構造物を含む対象領域に対応する３次元形状情報を取得するステップ（ステップＳ０１）と、３次元形状情報に対して時間経過を伴う仮想作業が行われたことを示す仮想支援情報を生成するステップ（ステップＳ０３）と、リアルタイムで現実映像と、仮想支援情報とを同期して表示手段に表示するステップ（ステップＳ０５）と、を有する。

【0136】

また、本実施形態の業務管理支援プログラムは、上記の業務管理支援方法の各ステップをコンピュータに実行させるためのプログラムである。

【0137】

まず、一の具体例として、ステップＳ０３の仮想作業が、変状箇所の補修作業である場合について説明する。

【0138】

図６を参照して現実空間ＲＡの構造物Ｃについて補修が必要な変状箇所ＤＦ（例えば、ひび割れの領域）が存在した場合、業務管理支援装置１０の使用者Ｕは、現場で業務管理支援装置１０を動作させる。使用者Ｕによる電源入力、業務管理支援プログラム３０の起動などの入力操作（指示）に基づき、業務管理支援装置１０（タブレット端末１００）は現場支援情報生成処理を開始する。現場支援情報生成処理では、撮像手段１５による現実映像ＬＶの撮影を開始する。使用者は、タブレット端末１００のレンズ１５１の向き（表示手段１３の所定の一点（例えば中央部など））が使用者本人の注視点である前提で、変状箇所ＤＦを含む構造物Ｃ（の一部）の現実映像ＬＶを撮影する。変状箇所ＤＦが複数存在する場合には、現実映像ＬＶを連続で撮影してもよい。なお、以下の説明において３次元形状情報は例えば点群データとするが、図示の都合上、点群データも線図で示している。

【0139】

これにより、業務管理支援装置１０の現場支援情報生成手段３２１は、対象となる変状箇所ＤＦを含む構造物Ｃ（の一部の）直近または現在の３次元形状情報（現在３次元形状情報２０１）を取得し、記憶手段１４に記憶する（図５のステップＳ０１、図６（Ａ））。この現在３次元形状情報２０１にはその時点の現実の変状（例えばひび割れの状態）を示す情報（部位、長さ、深さ、形状など）がそのまま含まれる。

【0140】

次に、業務管理支援装置１０は仮想支援情報生成処理として、未来３次元形状情報生成処理を行う。未来３次元形状情報生成処理では、取得した現在３次元形状情報２０１に対して時間経過を伴う仮想作業が行われたことを示す仮想支援情報を生成する。具体的に、現在３次元形状情報２０１（図６（Ｂ））に対して仮想３次元空間内で変状箇所ＤＦの少なくとも一部に対して仮想の補修作業に対応する加工を行い、仮想支援情報として未来３次元形状情報２０２を生成する（図６（Ｃ））。

【0141】

使用者は、仮想３次元空間内で変状箇所の補修に対応した現在３次元形状情報の加工（仮想の補修作業）を行う。この加工の程度は、任意であり、例えば補修の完成状態の情報としてもよいし、例えば図６（Ｃ）に示すように、短い工期での進捗度合いを示す情報として、補修の途中段階の情報としてもよい。使用者の未来３次元形状情報生成処理を行うための入力操作に応じて未来３次元形状情報生成手段３３１は、現場支援情報生成手段３２１が取得した現在３次元形状情報２０１（図６（Ｂ））に基づき、変状箇所ＤＦの少なくとも一部の情報を更新する。具体的に変状を示す情報を所定時間経過後の状態、たとえばひび割れの少なくとも一部（全部でもよい）が補修された状態を示す情報に更新し、未来３次元形状情報２０２を生成して記憶手段１４に記憶する（ステップＳ０３、図６（Ｃ））。なお、この仮想の補修作業は、例えば、別途、他の装置（ＰＣ等）で行い、生成した未来３次元形状情報２０２を再度タブレット端末１００に戻してもよい。つまり、現場で即日に行わなくてもよいし、即日に行ってもよい。

【0142】

未来３次元形状情報２０２が生成されると、使用者は、当該情報を表示手段１３に表示させる操作を行う。業務管理支援装置１０は使用者の操作に基づき、同期処理を行う。同期処理では、業務管理支援装置１０が対象となる変状箇所ＤＦを含む構造物Ｃ（の一部）を含む対象領域の現実映像ＬＶを取得し、同期手段３１がリアルタイムで該現実映像ＬＶと該構造物Ｃに対応する仮想支援情報（すなわち生成した未来３次元形状情報２０２）とを同期して表示手段１３に表示する。表示手段１３には現実映像ＬＶとして現実の、変状箇所を含む構造物が表示される。そしてそれに重畳して変状箇所の少なくとも一部が補修された未来３次元形状情報が表示される（ステップＳ０５、図６（Ｄ））。なお、図６（Ｄ）では説明の都合上、現実映像ＬＶと未来３次元形状情報２０２を重ねずに記載しているが、実際は重畳する。

【0143】

使用者は、未来３次元形状情報２０２を参照し、当該情報に合わせ込むように現実空間ＲＡで実際の変状箇所ＤＦの補修を行う（ステップＳ０７）。例えば、使用者が現場で移動することにより、業務管理支援装置１０（タブレット端末１００）が表示する現実映像ＬＶに補修対象の変状箇所ＤＦが含まれていない場合であっても、同期手段３１により、現実空間と未来３次元形状情報の仮想３次元空間が同期しており、当該現実映像ＬＶに対応する未来３次元形状情報が重ねて表示される。本実施形態では、未来３次元形状情報２０２の生成時に、当該情報内の変状箇所ＤＦの位置などに３次元座標を有するオブジェクト画像（例えば、図６（Ｃ），同図（Ｄ）に示すマーク画像Ｍや、図７に示すマーク画像Ｍ）を付与することもできる。

【0144】

また、ＡＲフレームワーク２１の機能を利用するなどして、現在の使用者Ｕの位置から見た当該マーク画像Ｍの方向や、マーク画像Ｍまでの道のりなどのガイドＧ(ナビゲーション)を表示することもできる。ガイドＧは画像に限らず文字や音声であってもよい。使用者Ｕは、現実映像ＬＶに映し出されるガイドＧやマーク画像Ｍを目標に、該当の変状箇所ＤＦに到達することができる。

【0145】

トンネルや橋梁は同じような構造が長距離に亘って続き、また変状箇所も外観が類似するものが多い。このため従来では、異なる変状箇所を補修してしまうなど、変状箇所と補修内容の対応づけにミスが生じる可能性があった。また、変状箇所の特定も困難であるなど、補修や点検等の効率的な作業が困難であった。

【0146】

本実施形態によれば、変状箇所については補修後の（未来の）状態を表示させながら作業ができるので、本来施すべき補修等の作業を正確に行うことができる。また、対象となる変状箇所の位置、又はそこまでのガイドＧやマーク画像Ｍも表示手段１３に表示できるので、作業をすべき補修箇所に確実且つ効率よく到達できる。

【0147】

また、ガイドＧには、例えば、使用者Ｕ（レンズ１５１）が向いている前方に向かい、使用者Ｕから所定距離毎（例えば５ｍ毎）の目盛（距離目盛（図７のガイドＧ１）や、使用者Ｕから変状箇所までの距離（総距離）、変状箇所までのルート、変状箇所付近でその方向を示す表示（矢印のオブジェクト画像など）、角度、基準線、図面などが含まれてもよい。

【0148】

現実の補修作業の結果、現場の変状箇所ＤＦの状態が未来３次元形状情報２０２と（略）一致すると、予定されていた補修作業が完了したこととなる。使用者Ｕは目視で現場の変状箇所ＤＦと未来３次元形状情報２０２との一致の程度を確認してもよいし、比較手段３２２により両者の差分を算出させてもよい。使用者Ｕの操作に基づき、比較手段３２２は両者の差分を算出する。また、比較手段３２２は差分を可視化する比較情報（例えば、図８に示す比較情報２０５）を出力してもよい。比較情報２０５は差分をそのまま数値で表示手段１３に表示する情報であってもよいし、音声で出力する情報であってもよい。また、未来３次元形状情報２０２に対する現実の補修作業の達成率などに変換し、それを可視化（可聴化）した情報であってもよい。図８に示すように、比較情報２０５として達成率を塗りつぶし画像などのオブジェクト画像として変状箇所の現実映像ＬＶに重ねて表示すると、使用者Ｕに定量的に認識させやすくなり好適である。

【0149】

また、このように作業の進捗状態などを可視化することで、複数の関係者間の合意形成も容易となる。例えば、構造物Ｃの修理・修繕・新規補充などの作業を行う場合、関係者間で対象領域や作業内容、作業関連数量の見積など合意形成（コンセンサス）が必要となる場面が多い。

【0150】

この合意形成について、従来では、一般的には、関係者（担当者、点検者、修繕者、設計者など）が一同に現場に集合することは少なく、現場で撮影した写真やＣＡＤ図面などを後日、現場以外の場所（各々の事業所等）で突き合わせ、受発注作業における合意形成を経て契約が行われていた。しかしながら、主に構造物のうち対象箇所のみを切り取るように撮影した写真やＣＡＤ図面は実際の構造物を忠実に再現できない、しにくい場合もあり、また対象箇所も通常は多数纏めての対応となる。また、複数の関係者が写真やＣＡＤ図面などの同じデータを見ていたとしても、同じ場所を見ているとは限らないために、見落としや認識の齟齬が生じる場合も多い。このように従来の写真やＣＡＤ図面による合意形成では見落としや、認識の不一致が生じる場合があり、修繕方法や施工方法において手戻りが多発する問題があった。

【0151】

本実施形態では、例えば作業領域やその進捗状態を図８の比較情報２０５のように可視化できるため、関係者間の合意形成が容易となる。この場合、測量手段３２５と、見積手段３２６と、電子署名付与手段３２７は例えば合意形成支援手段３２９として機能させることができる。例えば当該変状箇所ＤＦの補修作業（補修方法、作業量、工期などについて複数（ここでは２者）の合意形成が必要な場合、使用者の操作に応じ、合意形成支援手段３２９（図３参照）が合意書（打合せ簿）５１０を表示手段１３に表示する。２名の使用者は互いに合意書５１０の所定の箇所に自身の電子署名を付与するよう入力手段１２の操作を行う。電子署名付与手段３２７は、当該操作に基づき、合意書５１０に両名の電子署名を付与し、必要に応じてタイムスタンプの付与を行う。合意書５１０は現場支援情報としてマーク画像Ｍに対応づけ、３次元形状情報に関連付けられる。

【0152】

また、当該変状箇所ＤＦの補修作業について、測量手段３２５による測量や見積手段３２６による見積を行うこともでき、その結果得られる見積書に対して上記の合意形成、電子署名、タイムスタンプの付与が可能である。

【0153】

ところで、この未来３次元形状情報は、例えば作業の達成率が１００％未満の場合、使用者による所定の操作に応じて、記憶手段１４に記憶される。次回の同一の変状箇所ＤＦについての補修作業時には再び記憶した未来３次元形状情報２０２を表示手段１３に表示させることができる。なお、未来３次元形状情報２０２は使用者Ｕにより任意に作成できるので、達成率１００％未満の場合であっても同じ未来３次元形状情報２０２を継続使用するのではなく、新たに未来３次元形状情報２０２を生成しなおしてもよい。この場合、基になる現在３次元形状情報２０１は、先の（使用済みの）未来３次元形状情報２０２を生成した際の現在３次元形状情報２０１を用いてもよいし、最新の現場の状態から新たに現在３次元形状情報２０１を取得してもよい。

【0154】

また、未来３次元形状情報２０２は、基準時点の経過により過去３次元形状情報として記憶手段１４に記憶される（図５のステップＳ０９）。基準時点の経過は例えば、補修作業の達成率が１００％に達した場合などである。比較手段３２２は作業の達成率が１００％であることを検出した場合に自動的に当該未来３次元形状情報２０２を過去３次元形状情報として記憶手段１４に記憶する。あるいは使用者Ｕの所定の操作に応じて、当該未来３次元形状情報２０２を過去３次元形状情報として記憶手段１４に記憶する。また、基準時点は例えば単なる時間的経過（例えば、当該未来３次元形状情報２０２の生成時点から１年後など）であってもよい。基準時点を経過した未来３次元形状情報２０２を、過去３次元形状情報として時系列で蓄積することで、作業の進捗履歴を残すことができる。また、蓄積された過去３次元形状情報も現実映像ＬＶと同期させ、表示手段１３に表示することができる。

【0155】

次に、第２の具体例として、例えば仮想作業情報を生成し利用する場合の一例として、点検作業に用いる点検ルート情報を生成する場合について説明する。上記の変状箇所の補修作業についての説明と重複する説明については一部省略する。

【0156】

現実空間の構造物について点検を行う場合には、一般的に複数の点検箇所を巡回する必要がある。仮想作業情報としての点検ルート情報は、仮想３次元空間で予め、効率且つ正確な点検が行えるように生成するものであり、使用者（現場での作業者）はこの点検ルート情報に従い、点検作業を行う。

【0157】

この場合も、業務管理支援装置１０の使用者は、まず現在３次元形状情報を取得する（図５のステップＳ０１）。

【0158】

次に、業務管理支援装置１０は仮想支援情報生成処理として、仮想作業生成処理を行う。この処理では、取得した現在３次元形状情報２０１に対して時間経過を伴う仮想作業が行われたことを示す仮想支援情報を生成する。仮想支援情報はこの場合、仮想の点検作業の情報である。具体的に、現在３次元形状情報２０１に対して仮想３次元空間内で、模範となる仮想の点検作業（所定の複数の点検箇所を巡る作業）を行う。仮想の点検作業では、模範となる作業者の仮想注視点の３次元座標の移動情報に基づき、仮想支援情報（点検の作業情報）が生成される。そして作業者の仮想注視点の３次元座標の移動情報として、視点履歴を利用する。つまり、仮想支援情報の作成者は、模範となる点検作業となるように想定し、現在３次元形状情報に視点履歴を記録する。（上記の視点履歴の記録方法の第４の方法）。

【0159】

また各点検箇所では、実際の点検と同様の動作を行うことが好ましい。例えば、点検作業においては、作業者の視線や点検部位を視認する角度、使用者の姿勢（立姿勢、座り姿勢）など、確実な点検を行うために好適な作業者の動作（姿勢）があることが多い。また例えば点検箇所で何等かの操作（例えば電源遮断後、蓋部を開くなど）が必要な場合、その手順が決められている（マニュアルが存在する）場合が一般的である。従って、視点履歴を記録する際も、これらを可能な限り再現できるように仮想注視点を移動し、視点履歴を記録し、仮想支援情報を生成するとよい（図５のステップＳ０３）。なお、例えば対象領域の形状（点群データなど）の変化（たとえば蓋部を閉じた状態／開いた状態）なども仮想作業情報として生成可能である。

【0160】

仮想支援情報（仮想作業情報／及びまたは仮想付加情報）を生成すると、業務管理支援装置１０は使用者の操作に基づき、同期処理を行う。これにより、表示手段１３には現実映像ＬＶと仮想作業情報（この場合は点検ルート情報）２０７が重ねて表示される（ステップＳ０５、図７参照）。点検ルート情報２０７は例えば、現実映像ＬＶに重ねた線画などで表示される。現場の使用者（実際の作業者）は、点検ルート情報２０７をガイドにしつつ、現実空間で実際の点検作業を行う（ステップＳ０７）。

【0161】

この場合、視点履歴（仮想注視点やタブレット端末１００の位置、姿勢など）に基づき、点検ルート上の近い将来（例えば次の点検ポイント）に、仮想の使用者（作業者）位置や姿勢を示す画像（図７のキャラクター画像２１１）や、仮想の作業者の手元を示す画像２１２（図８参照）などを表示してもよい。例えば点検時に推奨される姿勢（目線の高さ、身体の向きなど）はキャラクター画像２１１と認識や理解がより容易となる。近い将来の仮想の使用者の姿勢等を示すことで、更に実際の点検を効率よく、また安全に行うことができる。また、また図８に示すような近距離（手元）の点検箇所の現実映像ＬＶを表示するような場合に、点検箇所を操作する手元を示す画像２１２を表示することで、細かい点検作業についても支援することができる。

【0162】

また例えば、上記の点検ルート情報より小さい範囲（例えば、図８に示す手元が表示される程度の範囲）で、１つの点検箇所における点検の手順を仮想作業情報として作成してもよい。この場合も、実際の点検動作と同様に仮想３次元空間内で使用者の仮想注視点を移動させ、時間軸とともに状態（対象領域の形状）の変化を記録して仮想作業情報とする。このような小さい範囲（近距離）の仮想作業情報を現実映像ＬＶに重ねて表示する場合、上記の手元を示す画像２１２も併せて表示するとより望ましい。

【0163】

この仮想支援情報が付与される３次元形状情報（ここでは現在３次元形状情報）に、仮想付加情報２０８を関連付けることもできる（図７参照）。仮想付加情報は例えば、各点検ポイントにおける変状箇所ＤＦの情報（例えば画像など）や、点検ポイントのリスト（順番）等である。また、仮想付加情報２０８は位置情報（３次元座標）を有しているが、更に仮想付加情報２０８の中のそれぞれの情報（この例では点検ポイントのリスト中の変状箇所ＤＦの画像）に更に、位置情報（３次元座標）を付加し、現実映像ＬＶのマーク画像Ｍと関連付けてもよい。リスト中で選択した変状箇所ＤＦの画像２０９に対応する位置が現実映像ＬＶ上に表示される（図７）。また、仮想付加情報２０９は、点検ルート情報２０７の俯瞰表示や進む方向などを示すガイドであってもよい。

【0164】

更に、別の具体例として、現地で実際に点検作業を行ったことを示す情報を現場支援情報として取得する場合について説明する。上記の２例は、仮想作業情報を生成する場合であったが、現場で実際に移動した点検ルート情報を生成することもできる。

【0165】

現実空間の構造物について点検を行う場合も、現在３次元形状情報を取得するが、それと同時に使用者（現場での作業者）の視点履歴も記録する。つまり、表示手段１３の表示領域（ディスプレイ）の所定位置（例えば中央）に表示される現実映像ＬＶの１点を使用者（現場での作業者）の注視点とし、取得している現在３次元形状情報の対応する１点が、使用者の仮想注視点となる。そして仮想注視点の移動履歴が視点履歴として現在３次元形状情報に記録される（上記の視点履歴の記録方法の第２の方法）。視点履歴が記録された現在３次元形状情報は、現場での実際の点検ルートを示す現場支援情報となる。

【0166】

この場合も各点検箇所では、実際の点検と同様の動作を行う（タブレット端末１００を使用者目線で適宜移動させる）ことが好ましい。これにより、点検の正確さ（決められた点検ポイントを注視しているか、どのルートを経由したか）や、その達成度、点検の差異の移動速度等を現場支援情報として取得できる。さらにこの現場支援情報に、電子署名付与手段３２７によって電子署名を付与することで、当該使用者が点検作業を行ったことの証明にも利用できる。

【0167】

また、図示は省略するが、同期手段３１は、現実映像ＬＶと３次元形状情報の同期状態を一時的にロック（維持）する機能を有してもよい。現実映像ＬＶと３次元形状情報が同期手段３１によって同期された後は、業務管理支援装置１０による作業を終了する（業務管理支援プログラム３０を終了する）まで、あるいは、使用者により同期の解除の指示がなされるまで、現実映像ＬＶと３次元形状情報の同期は継続する。例えば、使用者により同期状態の一時ロック操作（例えば、入力手段１２の操作）が行われると、同期手段３１は、同期状態をそのまま維持し、タブレット端末１００の姿勢によらずロック操作時の状態が固定される。具体的に、タブレット端末１００は、レンズ１５１と表示手段１３が一体であるので、例えば構造物の天井など上方を見上げて現実映像ＬＶを撮影するような場合、使用者はタブレット端末１００を上方に掲げ見上げる状態で使用することになる。この状態では例えば入力手段１２の操作が行いにくくなるなど、利便性が悪い。そのような場合、同期のロックを行うとその時点で、表示手段１３に表示される現実映像ＬＶと対応する３次元形状情報とが固定される。これによりタブレット端末１００を例えば手元まで下しても（レンズ１５１が足元を向いても）表示手段１３にはロック時に表示されていた天井の映像が表示されたままとなる。また、当該天井の映像に対応した３次元形状情報も維持される。そして使用者によるアンロックの操作に応じて、再びレンズ１５１の向いている方向の現実映像ＬＶが表示され、それに対応する３次元形状情報が同期される構成としてもよい。

【0168】

以上、本実施形態の業務管理支援装置１０が取得、生成した情報はいずれも、他の業務管理支援装置１０や、それ以外の他の装置（例えば、サーバ装置や他のＰＣ、他のタブレット端末など）と共用可能である。例えば、ある業務管理支援装置１０で生成した未来３次元形状情報を、別の業務管理支援装置１０の表示手段１３に表示される現実映像ＬＶに同期し、これに重ねて表示することが可能である。

【0169】

また、現実映像ＬＶと３次元形状情報を同期したまま、３次元形状情報のみをズームイン・ズームアウトするなどして表示の画角を変えることが可能なように構成してもよい。また、両者の同期を解除して現実の視点（現実映像ＬＶ）とは切り離した状態で３次元形状情報のみを自由に回転したり、俯瞰的な目線（所謂、三人称視点）に移動したりすることが可能に構成されてもよい。

【0170】

また、実施形態の業務管理支援装置１０が取得、生成した情報は、条件により異なる表示制御が行われるようにしてもよい。例えば、使用者の立場や対象となる構造物の種類、状態違いにより表示／非表示が切り替わる（選択できる）ようにしてもよいし、表示態様(色や形状など)や表示の方法が変化するようにしてもよい。

【0171】

また、図９に示すように、比較手段３２２による差分の可視化は２次元平面的な可視化ではなく、３次元的な表示による可視化（この例では凹凸による可視化）であってもよい。この場合凹凸の程度により差分の大小が認識される。また、比較手段３２２による差分の算出は形状の比較による差分に限らず、温度差、色の差などであってもよい。

【0172】

また、図１０を参照して、上記実施形態では、業務管理支援装置１０として現場支援手段３２と仮想支援情報生成手段３３とが一の業務管理支援装置１０（タブレット端末１００）内の手段として構成される場合を例示したが、仮想支援情報生成手段３３は、仮想３次元空間で情報の生成(加工、編集、更新)が行える手段であればよい。すなわち、同図に示すように、仮想支援情報生成手段３３を現場支援手段３２（タブレット端末１００）とは別体の装置（仮想支援情報生成装置１５０）で構成してもよい。

【0173】

また、上記実施形態では一の業務管理支援装置１０（タブレット端末１００）に３次元形状情報取得手段２０を備える場合を例示したが、業務管理支援装置１０には３次元形状情報取得手段２０を備えず、別の装置で取得（生成した）仮想支援情報（３次元形状情報や仮想作業情報）を取得する構成であってもよい。

【0174】

このように、本実施形態の業務管理支援装置１０は単一の装置で構成されるものに限らず、業務管理支援装置１０を構成する手段が複数の装置に分散されるものであってもよい。

【0175】

本実施形態の業務管理支援装置１０では、現場で取得した現状最新の３次元形状情報（現在３次元形状情報)に基づき（これを加工することにより）、未来３次元形状情報を生成しこれを、現実映像ＬＶに重ねて表示可能にしている。未来３次元形状情報は、作業の同一対象（例えば、変状箇所）についての現在３次元形状情報から所定時間が経過したあとの（時間経過に伴う）情報の変化を示す情報（例えば変状箇所の少なくとも一部が補修されたことを示す情報）である。このため、未来３次元形状情報と現実映像ＬＶを重ねて表示することで、現場の変状箇所の時間経過に伴う変化（具体的には例えば作業の進捗状態）が可視化される。従って、当該変状箇所に対して作業（補修作業等）を行う使用者にとって、図面上で把握する場合と比較して、作業量（工数）や作業工程の把握などが明確かつ容易となり、作業ミスも軽減できる。

【0176】

また、未来３次元形状情報は必ずしも完成状態の情報の必要はなく、例えば工事の短い期間における状態の変化を示す情報にすることができる。このため、つまり、工事の進捗を短い期間で管理でき、作業の計画も立てやすくなる。また、未来３次元形状情報の編集、変更は容易に行えるため、作業計画の見直しや変更にも容易に対応できる。

【0177】

また、本実施形態の業務管理支援装置１０では、現場で取得した現状最新の３次元形状情報（現在３次元形状情報)に、仮想３次元空間で生成される仮想作業情報（例えば時間経過に伴い変化する情報を含む補修情報や点検情報など）を付与、記録できる。そして仮想作業情報を付与した現在３次元形状情報、または仮想作業情報を付与した未来３次元形状情報を現実映像ＬＶに重ねて表示可能にしている。トンネルや橋梁などの大型で且つ外観の変化が少ない構造物の場合には特に、複数地点を移動する点検作業や補修作業において、対象箇所毎の判別がつきにくく、対象箇所の見落としや、対象箇所の取り違えが生じる可能性が高い。本実施形態では予め仮想作業を行い、その工程を（３次元形状情報に付与して）現実映像ＬＶに重ねて表示できるため、現実空間（現場）での作業における見落としや対象箇所の取り違えなどのミスを防止できる。

【0178】

また、仮想作業情報に視点履歴（特に作業熟練者の視点履歴）を含めることで、現場での作業において、作業中の移動経路、作業ルート（動線）、作業ポイント（作業者の注視ポイント）、作業に好適な（安全で効率の良い）姿勢や向き、位置、手順などを現場で再現でき、補修・点検等の作業効率と安全性を各段に高めることができる。

【0179】

これまでの実施形態では、現実映像ＬＶに各種支援情報を重ねて表示する例を説明したが、例えば、表示画面１３の表示を、現実映像ＬＶと各種支援情報とで切り替えて表示してもよい。例えば、図７に示すように、表示手段１３の全領域に現実映像ＬＶを表示している場合、その一部に現実映像ＬＶと同期されている支援情報（この例では、３次元形状情報２１０）を待機表示（小さく表示）する。そして、メニュー２２０（支援情報選択手段３２３が表示する）の「表示切替」が選択されると、表示手段１３の全領域に待機表示中の３次元形状情報２１０が表示されるようにしてもよい。

【0180】

＜業務管理支援システム＞
次に、本実施形態の業務管理支援システム５０について説明する。図１１は、業務管理支援システム５０の全体構成を示す概要図である。

【0181】

同図に示すように、業務管理支援システム５０は、少なくとも１台の業務管理支援装置１０（例えば、業務管理支援装置１０Ａ～１０Ｃ）と、ネットワーク５１と、ネットワーク５１に接続するサーバ装置５２、および／またはクラウドサーバ装置５３などを有する。

【0182】

各業務管理支援装置１０Ａ～１０Ｃは上述の業務管理支援装置１０（タブレット端末１００）と同様の構成であるので、説明は省略する。

【0183】

ネットワーク５１は、各装置間で相互に通信可能な任意の通信網であり、有線通信の通信網であってもよいし、無線通信の通信網であってもよいし、それらの両方により構成されるようにしてもよい。また、ネットワーク５１が、１の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。例えば、インターネット、公衆電話回線網、所謂３Ｇ回線や４Ｇ回線等の無線移動体用の広域通信網、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）規格に準拠した通信を行う無線通信網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、ＮＦＣ（Near Field Communication）等の近距離無線通信の通信路、赤外線通信の通信路、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やＵＳＢ（Universal Serial Bus）等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網や通信路がネットワーク５１に含まれるようにしてもよい。

【0184】

各業務管理支援装置１０は上述のとおり、情報通信手段１６を備え（図２参照）、ネットワーク５１を介して、他の業務管理支援装置１０やサーバ装置５２、クラウドサーバ装置５３、他の端末装置（例えば据え置き型のワークステーションやＰＣ）２５０などとの間で、各種情報の送受信および共有が可能に構成されている。この場合、複数の業務管理支援装置１０は、異なる装置の構成でもよく、例えば一の業務管理支援装置１０Ａがタブレット端末で構成され、他の業務管理支援装置１０ＢがＨＭＤで構成されるなどしてもよい。

【0185】

同図の構成は一例であり、少なくとも表示手段１３、撮像手段１５および情報通信手段１６が携帯可能に構成されていればどのような構成であってもよい。また、この場合、業務管理支援プログラム３０は例えば、他の端末装置（ワークステーション）２５０や、クラウドサーバ装置５３（またはサーバ装置５２）などにインストールされていてもよい。

【0186】

例えば、ワークステーション２５０や、クラウドサーバ装置５３（またはサーバ装置５２）などにインストールされた業務管理支援プログラム３０がタブレット端末１００の各ハードウェアと協働することにより、業務管理支援装置１０の業務管理機能が実現してもよい。

【0187】

また、例えば、表示手段１３、撮像手段１５および情報通信手段１６を除き、上述した業務管理支援装置１０を構成する構成の少なくとも一部（例えば、制御手段１１、記憶手段１４など）が、サーバ装置５２やクラウドサーバ装置５３に設けられていてもよい。

【0188】

また、位置推定手段２２は、撮像手段１５の映像情報を基に当該撮像手段１５の位置を推定可能に構成されていれば、サーバ装置５２やクラウドサーバ装置５３に設けられていてもよい。

【0189】

本実施形態の業務管理支援システム５０では、業務管理支援装置１０から必要な情報（例えば、現場支援情報、現実映像ＬＶなど）をワークステーション３５０またはクラウドサーバ装置５３にネットワーク５１経由で送信し、そこで各種演算や情報の参照を行ったうえで表示手段１３に表示する画像（３次元形状情報、それに付加される仮想付加情報）を生成し（また必要に応じて現実映像ＬＶと重畳させて）、ネットワーク５１経由で業務管理支援装置１０に送信し、表示手段１３に表示させる。

【0190】

これにより、例えば一の業務管理支援装置１０Ａで生成した例えば、支援情報を他の業務管理支援装置１０Ｂに送信し、他の業務管理支援装置１０Ｂで表示する現実映像ＬＶと同期し、他の業務管理支援装置１０Ｂの表示手段１３に表示できる。

【0191】

また、例えば、或る使用者は現場に行くことなく、現場で取得された例えば現在３次元形状情報を加工し未来３次元形状情報を生成することができる。すなわち例えば、監督職員が現地にて立ち会いのもと行っていた臨場確認に代わり、映像データを用いて発注者の事務所と現場をリアルタイムで接続し、発注者が承認・確認する遠隔臨場が可能となる。遠隔臨場は監督職員と発注者の間に限らず、例えば、見込み客、検査者、監査者、外部の協力関係者、該当現場を利用するユーザ、管理者等の間においても可能である。

【0192】

また、ある使用者が現地で取得した作業情報（現場支援情報）を、遠隔にいる他の使用者が仮想３次元空間内の３次元形状情報と同期可能としてもよい。これにより双方が更新した情報が、双方の可視化情報（仮想３次元空間内の３次元形状情報や、現実映像ＬＶと重ねて表示手段１３に表示される情報）に反映されるようにしてもよい。

【0193】

＜他の実施形態＞
図１２を参照して本発明の他の実施形態について説明する。同図は、業務管理支援装置１０のハードウェア構成の他の例を示す概要図である。同図に示すように、業務管理支援装置１０は、表示手段１３と撮像手段１５とが別体に構成されてもよい。

【0194】

タブレット端末１００の場合、レンズ１５１の向きや姿勢の変更は使用者の手の届く範囲内に限られる。つまり、使用者が立ち入れない領域（例えば隙間の狭い領域や、橋脚の根元に使用者がいる場合の橋の上面（路面）など）については現実映像ＬＶを撮影できない。このような場合、撮像手段１５と表示手段１３が分離した構造であれば、撮像手段１５のみを例えば長尺の支持手段に取り付けるなどすることで、使用者が立ち入れない領域も現実映像ＬＶの撮像が可能となる。また、撮像手段１５をドローンや自走式ロボットに取り付けることも可能となる。

【0195】

更に、図示は省略するが、本実施形態では撮像手段１５の位置が推定できればよく、位置推定手段２２も表示手段１３と別体に構成されてもよい。すなわち、例えば、位置推定手段２２と撮像手段１５が一体的に構成され、これらが表示手段１３（例えばタブレット端末の表示手段１３）と別体で構成されてもよいし、位置推定手段２２が撮像手段１５の位置推定が可能であることを条件に、位置推定手段２２、撮像手段１５および表示手段１３（例えばタブレット端末の表示手段１３）とがそれぞれ別体に構成されてもよい。

【0196】

＜業務管理支援装置／業務管理支援システムにおける各種情報の概要＞
図１３は、これまでに説明した業務管理支援装置１０および／または業務管理支援システム５０における各種情報について説明する概要図である。図１３において、実線矢印は、各情報の同期（重畳表示、関連付け）の態様を示し、一点鎖線矢印は、或る情報から他の情報が生成可能であることを示し、太線矢印は、情報の更新（上書き）または追加（別名での保存）が可能であることを示し、太破線矢印は、情報が外部出力可能であることを示している。

【0197】

図４に示したように、業務管理支援装置１０（以下、業務管理支援システム５０も同様）が扱う主な情報（データ）には、現場支援情報と仮想支援情報が含まれる。現場支援情報は、現在３次元形状情報、現場作業情報、および現場付加情報を含む。また、仮想支援情報は、仮想３次元空間で作成する未来３次元形状情報、仮想作業情報および仮想付加情報を含む。３次元形状情報は、未来３次元形状情報、仮想作業情報、および仮想付加情報を含む。本実施形態では、業務管理支援装置１０の各機能を実現するプログラム（業務管理支援プログラム３０）により、図４に示す各種情報の区分け（取り扱い、適宜の形式での保存）が可能となる。以下、図１３を参照してこれらについて説明する。

【0198】

本実施形態の現場支援手段３２は、リアルタイムで構造物の現実映像ＬＶと、該構造物に対応する現場支援情報および／または仮想支援情報とを同期し、たとえばこれらを合わせて（重ねて）表示手段１３に表示可能である。

【0199】

３次元形状情報としては、特に時間（過去、現在、未来）が確定している情報として、過去３次元形状情報、現在３次元形状情報および未来３次元形状情報を有する。

【0200】

作業情報（現場作業情報および仮想作業情報）はいずれも、仮想３次元空間に付与される情報、または（別の）仮想３次元空間で生成される情報であって、３次元形状情報に記録されうる情報（３次元形状情報を含む情報、３次元座標を有する情報）である。現場作業情報は、現場で生成される情報であり、表示手段１３に現実映像ＬＶを表示させた状態で付与する情報である。より詳細には、表示手段１３に表示している現実映像ＬＶに対応する３次元形状情報（現実映像ＬＶに同期させている現在（または未来）３次元形状情報）に対して、仮想３次元空間で付与する情報である。これに対し仮想作業情報は、現実映像ＬＶを表示させることなく（現実映像ＬＶに現在（または未来）３次元形状情報を同期していない状態で）現場とは別の場所、別の装置などにおいて、仮想３次元空間で付与する作業情報である。

【0201】

ところで、作業情報は、例えば現在３次元形状情報や未来３次元形状情報に基づき（これら取得して）生成することも可能である。しかし、当該作業情報の生成時には、当該作業情報を反映させる３次元形状情報の時間（過去、現在、未来）は確定していない、一時的な３次元形状情報となる。以下、説明の便宜上、時間（過去、現在、未来）が確定している３次元形状情報、すなわち過去３次元形状情報、現在３次元形状情報および未来３次元形状情報を「基準３次元形状情報」と総称し、時間が未確定な３次元形状情報を「一時３次元形状情報」という。

【0202】

本実施形態では、生成された作業情報（現場作業情報および仮想作業情報）は、ユーザの所定の操作（例えば、所定のボタン（項目)操作などによる作業情報記憶操作）に基づき、業務管理支援プログラム３０によって個別に記憶手段１４に記憶(保存)可能である。そして作業情報として個別に保存する場合には時間が未確定の一時３次元形状情報としての保存となる。一時３次元形状情報は、更新または追加（複数保存）が可能である。

【0203】

また、各作業情報は、ユーザの所定の操作に基づき、業務管理支援プログラム３０によって、時間（過去、現在、未来）が確定している基準３次元形状情報として記憶手段１４に記憶することも可能である。すなわち、各作業情報は、例えば、ユーザによる所定の３次元情報更新（認証）操作により、ある特定の基準３次元形状情報に反映させて（当該基準３次元形状情報を作業情報によって更新して）記憶手段１４に記憶(保存)することも可能である。また、個別の作業情報はそれぞれ（一時３次元形状情報として）、外部出力が可能である。外部出力とは例えば、他の装置への受け渡し（送受信）可能な情報（データ）としての出力や印刷などである。

【0204】

個別に保存される作業情報（一時３次元形状情報）と、作業情報による更新がユーザにより認証されて時間が確定した基準３次元形状情報とは、例えば、ファイル名、３次元形状情報内のフラグ、あるいはファイル形式(拡張子)などにより区別される。

【0205】

具体的には、例えば、現在３次元形状情報を取得し、それを加工して現場作業情報（あるいは仮想作業情報）を生成する。その作業情報は一時３次元形状情報として、記憶手段１４に記憶可能である。また、作業情報を生成後、あるいは記憶（保存）された作業情報を読み出し（必要に応じて追加加工を行った）後、ユーザによる所定の３次元情報更新（認証）操作を行うことで、当該作業情報を例えば現在３次元形状情報として記憶（保存）可能である。例えば、記憶時の選択により、既存の現在（未来）３次元形状情報に上書き（更新）も可能であるし、別名などにすることで別途の（複数の）現在（未来）３次元形状情報として保存も可能である。ユーザによる３次元情報更新（認証）操作は、例えば所定の権限を有するユーザのみが行えるようにしてもよい。

【0206】

同様に、生成された付加情報（現場付加情報および仮想付加情報）は、ユーザの所定の操作（例えば、所定のボタン（項目)操作などによる付加報記憶操作）により個別に記憶手段１４に記憶(保存)可能である。

【0207】

また、各付加情報は、ユーザの所定の操作により、基準３次元形状情報に付加して記憶手段１４に記憶することも可能である。すなわち、各付加情報（例えば、２ＤＣＡＤデータ、３ＤＣＡＤデータなど）は、例えば、ユーザによる所定の３次元情報更新（認証）操作に基づき、業務管理支援プログラム３０によって、ある特定の基準３次元形状情報に反映させて（基準３次元形状情報を付加情報によって更新して）記憶手段１４に記憶(保存)することも可能である。

【0208】

具体的には例えば、表示手段１３に基準３次元形状情報を表示している状態で、付加情報（例えば、配管図やメモなど）を当該基準３次元形状情報内に付与すると、表示手段１３には付加情報が表示される。この段階では、基準３次元形状情報は更新されておらず、ユーザによる所定の３次元情報更新（認証）操作を経ると、業務管理支援プログラム３０は、付加情報が付与された基準３次元形状情報の更新（記憶手段１４への上書き）または記憶手段１４への追加を実行する。

【0209】

また、各付加情報はそれぞれ個別に、外部出力が可能である。外部出力とは例えば、他の装置への受け渡し（送受信）可能な情報（データ）としての出力や印刷などである。

【0210】

個別に保存される付加情報は、例えばテキストデータや画像データ、ＣＡＤデータなどであって、それぞれのデータ種別に応じた個別のファイル形式（拡張子）を有しており、基準３次元形状情報と区別される。なお、付加情報を作業情報に付与することも可能である。この場合、ユーザによる所定の操作（例えば作業情報更新操作）に基づき、業務管理支援プログラム３０により、付加情報が付与された作業情報が一時３次元形状情報として記憶手段１４に記憶される。

【0211】

基準３次元形状情報（過去３次元形状情報、現在３次元形状情報および未来３次元形状情報）は、現実映像ＬＶと同期させ（これに重ねて）表示手段１３に表示可能である。

【0212】

作業情報（現場作業情報、仮想作業情報）は、現実映像ＬＶと同期させ（これに重ねて）表示手段１３に表示可能である。この場合、表示手段１３には、基準３次元形状情報および／または付加情報が現実映像ＬＶと同期され（これに重ねて）表示されていてもよい。

【0213】

付加情報（現場付加情報、仮想付加情報）は、現実映像ＬＶと同期させ（これに重ねて）表示手段１３に付与、表示可能である。この場合、表示手段１３には、基準３次元形状情報および／または作業情報が現実映像ＬＶと同期され（これに重ねて）表示されていてもよい。

【0214】

なお、例えば、基準３次元形状情報に付加情報や作業情報を重ねて表示する場合、業務管理支援プログラム３０は、例えば、付加情報（現場付加情報、仮想付加情報）、作業情報（現場作業情報、仮想作業情報）のいずれであるかが視認可能となるように表示態様（例えば色や線種など）を区別可能にすると好ましい。

【0215】

付加情報は、現実映像ＬＶに対応する仮想３次元空間（例えば、同期されている現在３次元形状情報）あるいは、別途の装置などの仮想３次元空間において生成可能である。また、ユーザによる所定の操作（例えば、所定のボタン（項目)操作などによる付加情報更新操作）に基づき、業務管理支援プログラム３０によって、付加情報毎のデータ形式（例えば、テキストデータや、画像データ、ＣＡＤデータなど）として（付加情報単独で）記憶手段１４に記憶（更新、追加（複数保存）したり外部出力が可能である。また、付加情報は、作業情報に付与または関連付けて、一時３次元形状情報として記憶手段１４に記憶したり外部出力が可能である。

【0216】

また、付加情報は、（作業情報と共に）基準３次元形状情報に付与または関連付けて、ユーザの所定の３次元情報更新（認証）操作を経て、基準３次元形状情報として記憶手段１４に記憶（更新または追加）したり外部出力が可能である。

【0217】

具体例を挙げて説明すると、例えば、仮想付加情報として例えば３ＤＣＡＤなどで作成した作図データを現実映像ＬＶと重ねて表示手段１３に表示可能であり、また逆に、表示手段１３上で現実映像ＬＶの一部をトレースして作成した現場付加情報（例えば、作図データ）を仮想３次元空間内で編集可能となる。

【0218】

また、測量手段３２５が取得した測量情報（例えば、ＣＡＤデータ）を現場付加情報として保存できるので、仮想３次元空間内で編集したり外部出力したりすることが可能となる。仮想３次元空間で作成した測量情報（たとえば、ＣＡＤデータ）を現実映像ＬＶと重ねて表示することもできる。

【0219】

また、例えば、付加情報として、構造物（建造物）内に設置が予定されている設備などを別途の３Ｄデータ（点群データなど）で準備する。そして、これらの付加情報を対象となる構造物の現実映像ＬＶ、あるいは仮想３次元空間に重ねて表示する。当該付加情報を適宜編集（移動）させることで、設備の設置状態などをシミュレーションできる。また必要に応じて、ユーザによる所定の３次元情報更新（認証）操作を経ると、基準３次元形状情報（例えば、未来３次元形状情報）として保存され、また作業情報更新操作により、作業情報として保存される。

【0220】

また、付加情報作成手段２８や測量手段３２５で作成した作図データを現実映像ＬＶに重ねて表示したり、現実映像ＬＶを表示する表示手段１３上で指定した点に基づき作成した作図データを仮想３次元空間で編集できる。

【0221】

また、例えば現実映像ＬＶを表示させつつ、作図手段（描画ソフトウェア、作図ソフトウェアなど）を起動させて表示手段１３上で作図（例えば、所望の領域のポイント指定など）を行った場合、その作図（３次元座標、大きさ等を含む）は付加情報（現場付加情報）として現実映像ＬＶに同期させて表示手段１３に表示可能である。また、当該作図は、現場付加情報（例えば、２次元ＣＡＤデータあるいは３次元ＣＡＤデータなど）として現実映像ＬＶに対応する仮想３次元空間の３次元座標と共に記憶手段１４に記憶（保存）可能である。また当該現場付加情報は外部出力が可能である。また、当該現場付加情報は、作業情報の所定位置に付与することもでき、当該作業情報はユーザによる作業情報更新操作に基づき、作業情報（一時３次元形状情報）として保存や外部出力が可能である。さらにまた、ユーザによる所定の３次元情報更新（認証）操作に基づき、当該現場付加情報が付与された状態で基準３次元形状情報が、更新あるいは追加保存され、あるいは外部出力も可能となる。

【0222】

このように、本発明は、社会インフラなどの大型の構造物における変状箇所の誘導や発見を支援することができる業務管理支援装置、業務管理支援システム、業務管理支援方法およびプログラムに係るものである。以下、上記と重複する内容も含め、本発明による実施形態の一例を列挙する。

【0223】

業務管理支援装置１０は、予めデジタル化された構造物情報（３次元形状情報）と現地の構造物の位置を同期させ、現地にいる作業者に、表示手段１３を介してデジタル上の構造物や変状箇所の位置を３次元形状情報として表示してもよい。また、３次元形状情報に加え、使用者に対する案内となる視覚的な補足情報（図面や距離情報、基準線）を表示（ガイド表示）してもよい。

【0224】

また、現在３次元形状情報を取得（生成）する際、現場の現実映像ＬＶを撮影するため、この時同時に実際の点検作業を行うようにしてもよい。新たに発見した変状箇所等の情報は、現場支援情報として適宜、タブレット端末１００を介して現在３次元形状情報に関連付けるようにしてもよい。

【0225】

また、仮想支援情報（例えば、未来３次元形状情報）は、現在３次元形状情報に基づいて加工（生成）されるものに限らず、設計情報（構造物を建設する前の計画情報）に基づいて仮想作業を行うことにより生成されるものであってもよい。また、設計情報（構造物を建設する前の計画情報）に基づいて生成されるものであってもよい。

【0226】

また、撮像手段（カメラ）１５および位置推定手段２２（センサ）と、表示手段１３とを分離して身に付け、作業者の向いている方向や行動情報を元に、現実の構造物の位置とデジタル上の構造物（３次元形状情報）をリアルタイムに同期して視覚的に支援するようにしてもよい。

【0227】

また、デジタル上の過去の点検結果情報や補修情報（過去３次元形状情報）を、現実空間の構造物や変状箇所の位置と同期して表示し、変化の量を可視化するようにしてもよい。

【0228】

また、過去の工事情報（時期、作業者、作業範囲、作業方法等）を、マーク付与操作などにより３次元形状情報の該当箇所（の位置）に関連付けて、文字情報や画像や動画、音声、図面、３Ｄモデルデータ、アニメーション等を表示するようにしてもよい。

【0229】

また、デジタル空間（仮想３次元空間）上（ＢＩＭやＣＩＭ環境、点群データ環境、３６０度ＶＲシステム環境など）における構造物の３次元形状情報（現在３次元形状情報）に対し、所望の位置に未来の工事情報（点検計画、点検手順や点検要領）を関連付けて未来３次元形状情報を生成してもよい。工事情報は特に、時間軸を有する、または時間経過にともない変化する情報であると望ましい。また、未来３次元形状情報が現実映像ＬＶに同期して表示される場合、工事情報は、文字情報や画像や動画、音声、図面、３Ｄモデルデータ、アニメーション等として表示・出力されるようにしてもよい。

【0230】

また、視覚情報以外に、振動や音声の大小で情報を報知・出力するようにしてもよい。 また、デジタル空間（仮想３次元空間）内の現場に即した３次元形状情報に対して使用者を移動させることで仮想的に点検や補修作業を実施して、仮想３次元空間内の作業記録（使用者の移動履歴、目線（仮想注視点）や身体・手の向きや位置などの記録）を３次元形状情報に付与し、当該３次元形状情報と現実映像ＬＶを同期して表示することで、現実映像ＬＶ内に使用者の分身イメージ（アバターなどの画像）として、再現するようにしてもよい。この場合、分身イメージは、人の形の画像とは限らず、簡素化されたシルエットや線画、静止画・ＣＧ・動画でも良い。このようにすることで単なる記録の再現ではなく、遠隔の場所からデジタル空間（仮想３次元空間）を通じてリアルタイムに現実世界に分身を出現させ、現実で共同作業をしているような体験をさせることができる。

【0231】

また、３次元形状情報に付与する作業記録は、仮想３次元空間内の使用者の行動に限らず、コンピュータの計算結果で算出した行動の記録でも良い。

【0232】

また、上記の実施形態では、業務管理支援装置１０がタブレット端末型の装置である場合を例に説明したが、これに限らず、例えば、ワイヤレスで頭部に装着するヘッドマウントディスプレイ型（あるいは眼鏡型）の装置（眼鏡型のＡＲグラスや、複合現実（ＭＲ）プラットフォーム用デバイス（例えば、ホログラフィックコンピューティングを実現するヘッドマウントディスプレイ型デバイス）など）であってもよい。

【0233】

また、以上説明した、業務管理支援装置１０および業務管理支援システム５０を構成する各手段について、ハードウェア資源として説明した手段の一部または全てを、同等の機能を実現するソフトウェア資源に置き換えてもよい。また、業務管理支援装置１０および業務管理支援システム５０を構成する各手段について、ソフトウェア資源として説明した手段の一部または全てを、同等の機能を実現するハードウェア資源に置き換えてもよい。

【0234】

また、上記の実施形態では、仮想視聴覚処理手段２１がＡＲ処理手段である場合を例に説明するが、仮想視聴覚処理手段２１は例えば、仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ：ＶＲ）を実現する仮想現実（ＶＲ）処理手段（ＶＲプラットフォーム）や、複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：ＭＲ）を実現する複合現実（ＭＲ）処理手段（ＭＲプラットフォーム）などであってもよい。

【0235】

また、本発明の業務管理支援装置、業務管理支援システム、業務管理支援方法および業務管理支援プログラムは、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

【符号の説明】

【0236】

１０ 業務管理支援装置
１１ 制御手段
１２ 入力手段
１３ 表示手段（ディスプレイ）
１４ 記憶手段
１５ 撮像手段（カメラ）
１６ 情報通信手段
１８ 音声入力手段（マイク）
１９ 音声出力手段（スピーカ）
２０ ３次元形状情報取得手段
２１ 仮想視聴覚処理手段,ＡＲフレームワーク,ＡＲ処理手段
２２ 位置推定手段
３０ 業務管理支援プログラム
３１ 同期手段
３２ 現場支援手段
３３ 仮想支援情報生成手段
３３ 支援情報生成手段
５０ 業務管理支援システム
５１ ネットワーク
５２ サーバ装置
５３ クラウドサーバ装置
６０ データベース
１００ タブレット端末
１５１ レンズ
１５３ 撮像素子
１５５ 画像処理プロセッサ
２０１ 現在３次元形状情報
２０２ 未来３次元形状情報
２０５ 比較情報
２０７ 点検ルート情報
２０８ 仮想付加情報
２０９ 仮想付加情報
２１０ ３次元形状情報
２１１ キャラクター画像
３２１ 現場支援情報生成手段
３２２ 比較手段
３２３ 支援情報選択手段
３２４ 視点履歴記録手段
３２５ 測量手段
３２６ 見積手段
３２７ 電子署名付与手段
３２８ 情報付与手段
３２９ 合意形成支援手段
３３１ 未来３次元形状情報生成手段
３３２ 仮想作業情報生成手段
ＬＶ 現実映像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】