特開 2024-143129 作業支援装置、作業支援システム、作業支援方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024143129

(43)【公開日】2024-10-11

(54)【発明の名称】作業支援装置、作業支援システム、作業支援方法およびプログラム

(51)【国際特許分類】

   G06Q 10/0633 20230101AFI20241003BHJP

【ＦＩ】

G06Q10/0633

【審査請求】未請求

【請求項の数】21

【出願形態】ＯＬ

(21)【出願番号】P 2023055643

(22)【出願日】2023-03-30

(71)【出願人】

【識別番号】501335841

【氏名又は名称】株式会社エム・ソフト

(74)【代理人】

【識別番号】100112689

【弁理士】

【氏名又は名称】佐原 雅史

(74)【代理人】

【識別番号】100128934

【弁理士】

【氏名又は名称】横田 一樹

(74)【代理人】

【識別番号】100166833

【弁理士】

【氏名又は名称】白石 直子

(72)【発明者】

【氏名】代永 英明

(72)【発明者】

【氏名】合田 秀行

(72)【発明者】

【氏名】塙 人

(72)【発明者】

【氏名】浅野 隆弥

(72)【発明者】

【氏名】藤澤 結女

(72)【発明者】

【氏名】花本 しのぶ

(72)【発明者】

【氏名】宗宮 優一

(72)【発明者】

【氏名】田島 裕也

【テーマコード（参考）】

5L010

5L049

【Ｆターム（参考）】

5L010AA07

5L049AA07

(57)【要約】

【課題】 作業対象の保守等の作業に際し、準備段階においても容易に作業手順（の項目）等を設定することが可能であり、作業の実行時においても効率よく且つ、漏れや抜けのない確実な作業を行うことが可能な、利便性の高い作業支援装置、作業支援システム、作業支援方法およびプログラムを提供する。
【解決手段】 作業支援装置１０は、入力手段１０２と、表示手段１０３と、現実空間における作業対象と該作業対象の位置情報を紐づけた作業対象マスタＷＭを作成する作業対象マスタ作成手段１１０と、作業手順情報を少なくとも一つ含むシナリオＳを作成するシナリオ作成手段１１１と、シナリオＳを記憶可能な記憶手段１０４と、外部に対してシナリオＳを送受信可能な通信手段１０５と、を有し、シナリオ作成手段１１１は、作業対象マスタＷＭが保持する情報を参照し、作業の手順と、作業対象マスタが保持する情報とを紐付けた作業手順情報を作成可能である。
【選択図】図３

【特許請求の範囲】

【請求項1】

現実空間における作業者による所定の作業を支援する作業支援装置であって、
入力手段と、
表示手段と、
現実空間における作業対象の情報と該作業対象の位置情報とを紐づけた作業対象マスタを作成する作業対象マスタ作成手段と、
前記作業の手順に関する情報群（以下、「作業手順情報」）を少なくとも一つ含むシナリオを作成するシナリオ作成手段と、
前記シナリオを記憶可能な記憶手段と、
外部に対して前記シナリオを送受信可能な通信手段と、を有し、
前記シナリオ作成手段は、前記作業対象マスタが保持する情報を参照し、前記作業の手順と、前記作業対象マスタが保持する情報とを紐付けた前記作業手順情報を作成可能である、
ことを特徴とする作業支援装置。

【請求項2】

前記作業手順情報は、少なくとも一つの作業内容と、該作業の実行状態を示す作業情報と、該作業情報の正当性を判定するための判定情報により構成され、
前記シナリオ作成手段は、前記作業手順情報の内容に応じて前記判定情報を設定可能である、
ことを特徴とする請求項１に記載の作業支援装置。

【請求項3】

前記作業対象マスタ作成手段は、予め前記現実空間において取得した前記作業対象を含む周辺環境の３次元座標データに基づき、該作業対象と前記位置情報を紐づける、
ことを特徴とする請求項１に記載の作業支援装置。

【請求項4】

前記作業対象マスタ作成手段は、予め前記現実空間において取得した前記作業対象を含む周辺環境の３次元形状データに基づき該作業対象と前記位置情報を紐づける、
ことを特徴とする請求項１に記載の作業支援装置。

【請求項5】

前記シナリオを仮想的に実行するシミュレーション手段を有する、
ことを特徴とする請求項１に記載の作業支援装置。

【請求項6】

前記作業者により入力される前記作業情報に応じて、前記シナリオを修正するシナリオ修正手段を有する、
ことを特徴とする請求項２に記載の作業支援装置。

【請求項7】

前記判定情報に対応するコードを生成し、出力可能な判定コード生成手段を有する、
ことを特徴とする請求項２に記載の作業支援装置。

【請求項8】

請求項２に記載の作業支援装置と、
前記作業者が携帯可能な作業端末装置と、
通信回線と、を有する作業支援システムであって、
前記作業端末装置は、表示手段と、作業情報記録手段と、端末側記憶手段と、端末側通信手段と、を有し、
前記シナリオは、前記通信回線を介して前記作業支援装置と前記作業端末装置の間で送受信可能であり、
前記表示手段は前記作業手順情報を表示可能であり、
前記作業情報記録手段は、前記作業者によって入力される情報に基づき前記作業手順情報のそれぞれに対応する前記作業情報を更新する手段であり、
前記端末側記憶手段は、前記作業情報が更新された前記シナリオを記憶可能である、
ことを特徴とする作業支援システム。

【請求項9】

前記作業端末装置は、
作業対象領域の前記現実空間の映像を取得可能な撮像手段と、
前記シナリオに応じた仮想空間映像を生成するナビゲーション手段を有し、
前記表示手段は、前記現実空間の映像と前記仮想空間映像を重畳表示することで前記作業者に前記作業の手順を案内する、
ことを特徴とする請求項８に記載の作業支援システム。

【請求項10】

前記仮想空間映像は、拡張現実映像である、
ことを特徴とする請求項９に記載の作業支援システム。

【請求項11】

前記作業情報記録手段は、一の前記シナリオ内の少なくとも一つの前記作業手順情報に対して一の前記作業者に前記作業情報の更新の実行権を与えるよう排他制御する、
ことを特徴とする請求項８に記載の作業支援システム。

【請求項12】

前記作業端末装置は、３次元情報取得手段を有する、
ことを特徴とする請求項８に記載の作業支援システム。

【請求項13】

前記作業端末装置は、前記判定情報に基づき入力された前記作業情報の正当性を判定する判定手段を有する、
ことを特徴とする請求項８に記載の作業支援システム。

【請求項14】

管理者による前記シナリオに関する承認手段を有する、
ことを特徴とする請求項８に記載の作業支援システム。

【請求項15】

作業支援装置と作業端末装置を用いて現実空間における作業者による所定の作業を支援する作業支援方法であって、
前記作業支援装置が、作業対象の情報と、現実空間における該作業対象の位置情報を紐づけた作業対象マスタを作成する工程と、
前記作業支援装置が、前記作業の手順に関する情報群（以下、「作業手順情報」）を少なくとも一つ含むシナリオを作成する工程と、
前記現実空間における前記作業者の操作に応じて前記作業端末装置が前記シナリオを取得する工程と、
前記作業端末装置が前記シナリオに含まれる前記作業手順情報を表示手段に表示する工程と、
前記作業者によって入力される情報に応じて、前記作業端末装置が、前記作業手順情報のそれぞれに対応する作業情報を更新する工程と、
前記作業端末装置が、前記作業支援装置に前記作業情報が更新された前記シナリオを送信する工程と、を有する、
ことを特徴とする作業支援方法。

【請求項16】

前記作業端末装置が、前記現実空間において前記作業対象を含む３次元情報を取得し、該作業対象の前記位置情報を特定する工程を有する、
ことを特徴とする請求項１５に記載の作業支援方法。

【請求項17】

前記作業者によって入力される情報に応じて、前記作業端末装置が、一の前記シナリオ内の少なくとも一つの前記作業手順情報について一の前記作業者に前記作業情報の更新の実行権を与える工程を有する、
ことを特徴とする請求項１５に記載の作業支援方法。

【請求項18】

前記作業端末装置が、前記シナリオに設定された判定情報に基づき入力された前記作業情報の正当性を判定する工程を有する、
ことを特徴とする請求項１５に記載の作業支援方法。

【請求項19】

管理者による入力に応じて、前記作業支援装置が前記シナリオに関する承認を行う工程を有する、
ことを特徴とする請求項１５に記載の作業支援方法。

【請求項20】

前記作業対象マスタが保持する情報を参照し、前記作業の手順と、前記作業対象マスタが保持する情報とを紐付けて前記作業手順情報を作成する工程を有する、
ことを特徴とする請求項１５に記載の作業支援方法。

【請求項21】

請求項１５から請求項２０のいずれか一項に記載の作業支援方法の各工程をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業支援装置、作業支援システム、作業支援方法およびプログラムに関する。

【背景技術】

【0002】

従来、工場やプラントをはじめとする施設の保守（設備点検）において、近年では予防保全の観点から、日々の保守作業において漏れや抜けなく、定められた手順の通り設備の状態を確認することが求められている。

【0003】

例えば、作業者であるユーザが装着するヘッドマウントディスプレイの表示面に、当該作業者が実行すべき、或る一つの設備（例えば電気設備）に対する作業の手順書を仮想空間内に配置された仮想物体として、実空間の映像に重畳させて表示する技術が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第７１５４５０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来の技術では未だ改善の余地があった。具体的には例えば、施設内において保守（点検）対象となる作業対象（設備）は多岐に渡ることが一般的である。つまり、例えば特許文献１に記載の技術のように、仮想的な作業手順書を、作業者が視認可能な携帯型端末装置のディスプレイ（例えばヘッドマウントディスプレイ等）に表示する構成において、作業対象（設備）が複数存在する場合にはそれぞれに対応付けた作業手順書を、混乱しないように表示することが求められる。これを実現するためには、仮想的な作業手順書の準備段階として、複数の設備の現実位置に対応する仮想空間における３次元の位置情報（例えば３次元座標データや３次元形状データ等）を取得し、作業手順書と関連付ける必要がある。近年では、３次元スキャン技術は普及しつつあるものの、複数の作業対象（設備）の３次元の位置情報とそれぞれに対応する仮想的な作業手順書の関連付けを行うには、高度な専門技術が必要であるなど、誰もが容易に行えることではない。

【0006】

また、例えば作業者が（仮想的な）作業手順書に従って作業を行い、作業者の主観としては作業が完了したと認識していても、客観的には本来実行すべき作業が完了していない場合には、作業手順書があっても意味をなさないことになる。

【0007】

このように、一つの作業対象（設備）に対する作業手順に加え、複数の設備に渡る作業手順についても、効率よく且つ、漏れや抜けのない確実な作業が行えるとともに、その準備段階においても容易に作業手順（の項目）等を設定することが可能な、利便性の高い作業支援ツールの実現が強く望まれている。

【0008】

本発明は、斯かる実情に鑑み、作業対象の保守等の作業に際し、準備段階においても容易に作業手順（の項目）等を設定することが可能であり、作業の実行時においても効率よく且つ、漏れや抜けのない確実な作業を行うことが可能な、利便性の高い作業支援装置、作業支援システム、作業支援方法およびプログラムを提供しようとするものである。

【課題を解決するための手段】

【0009】

本発明は、現実空間における作業者による所定の作業を支援する作業支援装置であって、

【0010】

入力手段と、表示手段と、現実空間における作業対象の情報と該作業対象の位置情報を紐づけた作業対象マスタを作成する作業対象マスタ作成手段と、前記作業の手順に関する情報群（以下、「作業手順情報」）を少なくとも一つ含むシナリオを作成するシナリオ作成手段と、前記シナリオを記憶可能な記憶手段と、外部に対して前記シナリオを送受信可能な通信手段と、を有し、前記シナリオ作成手段は、前記作業対象マスタが保持する情報を参照し、前記作業の手順と、前記作業対象マスタが保持する情報とを紐付けた前記作業手順情報を作成可能である、
ことを特徴とする作業支援装置に係るものである。

【0011】

また、本発明は、上記の作業支援装置と、前記作業者が携帯可能な作業端末装置と、通信回線と、を有する作業支援システムであって、前記作業端末装置は、表示手段と、作業情報記録手段と、端末側記憶手段と、端末側通信手段と、を有し、前記シナリオは、前記通信回線を介して前記作業支援装置と前記作業端末装置の間で送受信可能であり、前記表示手段は前記作業手順情報を表示可能であり、前記作業情報記録手段は、前記作業者によって入力される情報に基づき前記作業手順情報のそれぞれに対応する前記作業情報を更新する手段であり、前記端末側記憶手段は、前記作業情報が更新された前記シナリオを記憶可能である、ことを特徴とする作業支援システムに係るものである。

【0012】

また、本発明は、作業支援装置と作業端末装置を用いて現実空間における作業者による所定の作業を支援する作業支援方法であって、前記作業支援装置が、作業対象の情報と、現実空間における該作業対象の位置情報を紐づけた作業対象マスタを作成する工程と、前記作業支援装置が、前記作業の手順に関する情報群（以下、「作業手順情報」）を少なくとも一つ含むシナリオを作成する工程と、前記現実空間における前記作業者の操作に応じて前記作業端末装置が前記シナリオを取得する工程と、前記作業端末装置が前記シナリオに含まれる前記作業手順情報を表示手段に表示する工程と、前記作業者によって入力される情報に応じて、前記作業端末装置が、前記作業手順情報のそれぞれに対応する作業情報を更新する工程と、前記作業端末装置が、前記作業支援装置に前記作業情報が更新された前記シナリオを送信する工程と、を有する、を有する、ことを特徴とする作業支援方法に係るものである。

【0013】

また、本発明は上記の作業支援方法の各工程をコンピュータに実行させるためのプログラムに係るものである。

【発明の効果】

【0014】

本発明によれば、作業対象の保守等の作業に際し、準備段階においても容易に作業手順（の項目）等を設定することが可能であり、作業の実行時においても効率よく且つ、漏れや抜けのない確実な作業を行うことが可能な、利便性の高い作業支援装置、作業支援システム、作業支援方法およびプログラムを提供することができる。

【図面の簡単な説明】

【0015】

【図1】本発明の実施形態に係る作業支援システムの概要図である。

【図2】本発明の実施形態に係る（Ａ）作業支援装置の構成ブロック図、（Ｂ）作業端末装置の構成ブロック図である。

【図3】本発明の実施形態に係る作業支援システムの機能ブロック図である。

【図4】本発明の実施形態に係る３次元座標データを説明する図である。

【図5】本発明の実施形態に係る作業支援マスタを説明する図である。

【図6】本発明の実施形態に係るシナリオの構成を説明する図である。

【図7】本発明の実施形態に係る作業支援装置における表示例を示す図である。

【図8】本発明の実施形態に係る作業支援装置における表示例を示す図である。

【図9】本発明の実施形態に係る作業支援装置における表示例を示す図である。

【図10】本発明の実施形態に係る作業支援装置における表示例を示す図である。

【図11】本発明の実施形態に係る作業支援装置における表示例を示す図である。

【図12】本発明の実施形態に係る作業支援装置における表示例を示す図である。

【図13】本発明の実施形態に係る作業端末装置における表示例を示す図である。

【図14】本発明の実施形態に係る作業端末装置における表示例を示す図である。

【図15】本発明の実施形態に係る作業端末装置における表示例を示す図である。

【図16】本発明の実施形態に係る作業端末装置における表示例を示す図である。

【図17】本発明の実施形態に係る作業支援装置における表示例を示す図である。

【発明を実施するための形態】

【0016】

以下、本発明の実施の形態について添付図面を参照して説明する。
＜作業支援システム＞
図１は、本発明の実施形態の一例である作業支援システム１の全体構成を示す概要図である。図２は、作業支援システム１を構成する作業支援装置１０と作業端末装置２０のハードウェア構成を示す概略ブロック図である。図２（Ａ）が作業支援装置１０の構成を示す図であり、図２（Ｂ）が作業端末装置２０の構成を示す図である。図３は、作業支援システム１を構成する作業支援装置１０と作業端末装置２０の機能の概略を示す機能ブロック図である。

【0017】

図１を参照して、本実施形態の作業支援システム１は、現実空間における作業者による所定の作業を支援するシステムであり、作業支援装置１０と、作業者が携帯可能な作業端末装置（作業端末）２０と、通信回線ＮＷと、サーバ装置３０および／またはクラウドサーバ３５等を有する。所定の作業とは、例えば作業対象に対する保守（点検、部品等の交換、修理など）である。作業対象は例えば、工場、プラントその他の建造物又は構造物、あるいはそれらの内部の構造や設備（例えば、生産設備）等である。作業支援システム１のユーザは、作業者および管理者である。作業者は、作業領域（現場）において実際の作業を行う者であり、管理者は、作業者および作業を管理する者である。作業者および／または管理者はそれぞれ一人であってもよいし複数人であってもよい。本実施形態では一例として、管理者は例えば、作業および／または作業者の全て又は一部に対して特別な権限を有する者であり、作業者は当該特別な権限を有していない者であるとする。しかしこれに限らず、作業者は管理者と同等の特別な権限を有する者であってもよし、当該特別な権限の一部を有するものであってもよい。また、管理者と作業者は同一人であってもよい。

【0018】

以下の実施形態では、工場やプラント内に配置される複数の作業対象（設備）に対する保守作業を支援する作業支援システム１を例に説明する。

【0019】

作業支援システム１は、作業対象（設備）に対する作業（保守作業）の手順と、現実空間における作業対象（設備）の実位置の位置情報とを紐付けた（関連付けた、以下同様）情報群であるシナリオＳを、通信回線ＮＷおよびサーバ装置３０および／またはクラウドサーバ３５を介して作業支援装置１０と作業端末装置２０との間で共有し、作業支援を行う。以下、説明の便宜上サーバ装置３０および／またはクラウドサーバ３５を「サーバ装置３０」と総称する。またシナリオＳの詳細については後述する。

【0020】

＜作業支援装置＞
図２（Ａ）を参照して、作業支援装置１０は、制御手段１０１と、入力手段１０２と、表示手段１０３、記憶手段１０４、通信手段１０５と、出力手段１０６等とこれらを接続するシステムバス等を有する計算機（情報処理装置）であり、現実空間における作業者による所定の作業を支援する。具体的には、作業支援装置１０は例えば、本実施形態に係る作業支援プログラムの一部（作業支援装置側アプリケーションプログラム）がインストールされた、または組み込まれたノート型ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）あるいはデスクトップ型ＰＣであるが、これに限らず、タブレット端末、スマートフォン、携帯電話、携帯情報端末（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｔ；ＰＤＡ）、ウェアラブルコンピュータなどであってもよい。

【0021】

作業支援装置側アプリケーションプログラムは例えば、Ｗｅｂアプリケーションプログラム（インターネット上で利用できるアプリケーションプログラム）として提供される。以下、このＷｅｂアプリケーションプログラムを「作業支援Ｗｅｂアプリ」という。しかしながらＷｅｂアプリケーションプログラム以外のアプリケーションプログラムとして提供されてもよい。

【0022】

制御手段１０１は例えば、演算処理装置（ＣＰＵ；ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＭＰＵ；ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ ｕｎｉｔ等）を備え、制御手段１０１等によって記憶手段１０４に記憶（インストール）されたオペレーティングシステム（ＯＳ；Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、各種アプリケーションプログラム、ブラウザソフトウェアを実行することによって、以下に説明する機能を含む種々の機能を提供し、また、各種プログラムの実行に必要なデータやファイル等を記憶手段１０４に記憶する処理などを行う。

【0023】

入力手段１０２は、作業支援装置１０（の制御手段１０１）に対するコマンド等を入力するためのものであり、例えば、キーボード、ポインティングデバイス（マウス等）、タッチパネル等によって構成される。

【0024】

表示手段１０３は、入力手段１０２によって入力された値やコマンド、および当該コマンドに対する作業支援装置１０の応答出力等（例えば、各種アプリケーションプログラムの実行指示に基づくユーザインターフェイス等）を表示するものである。

【0025】

記憶手段１０４は、内蔵メモリ（メインメモリ（ＲＡＭ；Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ストレージ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）など）や、外部記憶装置の総称である。記憶手段１０４には、ＯＳ、基本Ｉ／Ｏプログラム、制御プログラムおよびこれらの関連プログラム、ファームウェア、ブラウザソフトウェア、各種アプリケーションプログラム、各種ドライバの他、各種データ（画像データ、テキストデータ、３次元形状データ、３次元座標データ）など各種アプリケーションプログラムで処理可能なデータ、ドキュメント）などが記憶、保存される。記憶手段１０４には、シナリオＳも記憶可能である。

【0026】

通信手段１０５は、作業支援装置１０が通信回線ＮＷを介して他の装置（作業端末装置２０やサーバ装置３０、または他の作業支援装置１０やＰＣなど）とデータ通信等を行なうためのインターフェイスである。データ通信は、例えばＷｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ（ＢＬＥ）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等による近距離無線通信や、例えば、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）方式、４Ｇ（４ｔｈ Ｇｅｎｅｒａｔｉｏｎ）方式、５Ｇ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ）方式、ＦＤＭＡ方式、ＴＤＭＡ方式、ＣＤＭＡ方式、Ｗ－ＣＤＭＡの他、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）などの移動体通信網を介した種々の無線通信方式によって行われる。また一部に有線通信方式を含んでもよい。

【0027】

出力手段１０６は、入力手段１０２によって入力されたコマンド等に基づき、作業支援装置１０の応答を出力するものであり、例えば印刷装置であるが、これに加えて、音声出力装置（スピーカ）等を含んでもよい。

【0028】

図３を参照して、作業支援装置１０の機能について説明する。図３は作業支援システム１の構成を機能の観点から説明する機能ブロック図である。作業支援装置１０は、主に、現実空間の作業対象領域（現場）とは離れた場所で利用される装置であり、例えば、作業対象マスタ作成手段１１０と、シナリオ作成手段１１１と、シミュレーション手段１１２と、作業情報分析手段１１３と、シナリオ修正手段１１４と、３次元情報表示手段１１５と、承認手段１１６と、判定コード生成手段１１７などを有する。なお、図３に示す各手段（機能）は、作業支援Ｗｅｂアプリその他のソフトウェアおよび／または図２に示す１又は複数のハードウェアの協働により実現される。

【0029】

作業対象マスタ作成手段１１０は、現実空間における作業対象（設備）の情報と、その実位置の位置情報（具体的には、３次元座標）を紐づけた作業対象マスタＷＭを作成する。設備の３次元座標は、予め現実空間において取得した、作業対象を含む周辺環境（現場）の３次元情報に基づいて特定される。本実施形態における３次元情報とは、３次元座標データおよび／または３次元形状データである。

【0030】

３次元座標データに基づき、設備の３次元座標を特定する方法については後述するが、例えば、現場において作業対象となる設備を撮影したライブビュー映像に仮想３次元空間（例えば、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）空間）のデジタル付箋（マーク画像、ピン）を付与した３次元座標データを取得することで特定する。

【0031】

３次元形状データに基づき、設備の３次元座標を特定する方法は、例えば、３次元スキャナにより現場をスキャンして３次元形状データを取得し、当該３次元形状データ上の作業対象となる設備に属性を付与することで、特定する。本実施形態の３次元形状データは、少なくとも３次元の位置情報（および数値）を有するデータをいう。３次元形状データの一例としては、３Ｄスキャナによるスキャンデータ、スキャンデータを加工したデータ、３次元の位置情報（スキャナからの相対的なＸ，Ｙ，Ｚ情報）をそれぞれに有する点の集合体である３次元点群データや、３次元のコンピューターグラフィックスにおける立体形状を表現するために使われる多角形の面データ（３次元画像、ポリゴンデータ）、３次元ＣＡＤデータ、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）で使用可能なデータ、ＣＩＭ（Ｃｏｎｓｔｒｕｃｔｉｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）で使用可能なデータ、３６０度ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）システムで使用可能なデータなどである。

【0032】

なお、設備の位置情報は、２次元図面（平面図）から特定してもよい。その場合は、設備の位置情報は、２次元座標、あるいは３次元座標（ｘ、ｙ、ｚ）のうちいずれか１つの座標情報が一定値の座標として特定される。

【0033】

シナリオ作成手段１１１は、作業の手順に関する情報群（これを以下、「作業手順情報」という。）を少なくとも一つ含むシナリオＳを作成する手段である。作業手順情報およびシナリオＳについては後述するが、例えば、シナリオ作成手段１１１は、作業対象マスタＷＭを参照し、作業の手順と、作業対象マスタＷＭが保持する情報とを紐付けた作業手順情報を作成することが可能である。具体的には、シナリオ作成手段１１１は例えば、位置情報を持つ、すなわち３次元座標が特定された作業対象（設備）と、当該設備に対する作業の手順と、を紐付けた作業手順情報を含むシナリオＳを作成可能である。このように、或る設備に対する作業の手順と、当該設備の３次元座標とを紐づけることで「どこで」、「何をする」か、を可視化できる。作成されたシナリオＳは、表示手段（ディスプレイ）１０３に、２次元画像としてのリスト（ツリー）形式で表示可能であり、またこれに加え、現場の映像と仮想３次元空間（例えば、ＶＲ空間）で生成したオブジェクトを重畳させたナビゲーション形式で表示可能である。また、シナリオ作成手段１１１は、シナリオＳの作成時に、現場での作業に対する判定情報を設定可能である。判定情報は、実際の現場における作業においてシナリオＳに基づいた所定の手順で作業が行われたか否か（作業の合否）を判定する情報であるが、詳細は後述する。作業支援装置１０は、通信手段１０５、通信回線ＮＷおよびサーバ装置３０を介して、作業端末装置２０との間でシナリオＳや３次元情報等を送受信可能である。

【0034】

なお、シナリオ作成手段１１１は、作業対象マスタＷＭを参照せずに作業手順情報を作成することもできる。具体的には例えば、設備に関する情報を有さない作業の手順に関する情報群（のみ）で構成された作業手順情報（例えば、作業者の身なり装備確認や点呼などの作業手順情報））を作成することもできる。

【0035】

つまり、一つの作業手順情報は、一の設備と一の作業の手順が紐づけられた情報群、複数の設備と一の作業の手順が紐づけられた情報群、一つの設備と複数の作業の手順が紐づけられた情報群、複数の設備と複数の作業の手順が紐づけられた情報群、設備に関する情報を伴わない一または複数の作業の手順に関する情報群、のいずれであってもよい。

【0036】

作業情報分析手段１１３は、作業者により入力される作業情報に基づき、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）等により現場における作業内容を分析する手段である。作業情報についても後述するが、シナリオＳの実行状態（作業の進捗状況）を示す情報であり、選択入力ツール（ラジオボタンやチェックボックス等）やテキスト等の入力情報、あるいはデータとして添付可能な画像（映像）・音声などの視聴覚情報等である。

【0037】

例えば、作業情報の入力の時刻に基づいて現場での作業の実行順が把握できるが、それにより作業（保守作業）の手順（ルート）に無駄が生じているか否か、などが分析できる。作業情報分析手段１１３は、入力された作業情報に基づき、作業手順の見直し、具体的には、作業項目の追加・削除・入れ替え等の必要性を分析する。

【0038】

作業情報分析手段１１３の分析結果は、表示手段１０３および／または出力手段１０６などを介して表示・出力が可能であり、これらを参照することによりシナリオＳの作成者は、該当するシナリオＳを修正できる。

【0039】

シナリオ修正手段１１４は、作業情報分析手段１１３によって分析された作業内容の分析結果に基づき、シナリオＳを自動で修正する手段である。つまり作業情報分析手段１１３の分析結果は、上記のように手動によるシナリオＳの修正に利用されるが、これに代えて、あるいは加えて、作業支援装置１０による自動のシナリオＳの修正に利用される。

【0040】

承認手段１１６は、作成されたシナリオＳの内容に関し、責任者等、特別な権限を有する者の承認を付与する手段である。本実施形態では、シナリオＳの作成時、シナリオＳに含まれる複数の作業手順の完了時、および一つのシナリオＳの完了時のそれぞれに対して、責任者等によるデジタル承認を付与する手段である。

【0041】

３次元情報表示手段１１５は、仮想空間上に３次元形状データを配置し、３次元座標が特定された作業対象を重畳表示して可視化する手段である。例えば、シナリオ作成手段１１１において作業対象（設備）の位置情報が必要な場合に、３次元情報表示手段１１５によって３次元形状データと重畳表示された設備を参照し、また必要に応じて当該設備の情報を取得することができる。また、３次元形状データは位置情報を含むデータであるため、例えば、作業対象マスタ作成手段１１０に新たな作業対象を追加する場合などにおいて、３次元情報表示手段１１５が表示する３次元形状データの任意の点について位置情報を取得することができる。３次元情報表示手段１１５は、作業対象マスタ作成手段１１０が作成する作業対象マスタを仮想空間で可視化する手段といえる。

【0042】

判定コード生成手段１１７は、作業者による現場での作業の正当性を判定するためのコード（例えば、ＱＲコード（登録商標）等の２次元コードやバーコード等）を生成し、出力手段１０６を介して出力（印刷）可能な手段である。

【0043】

シミュレーション手段１１２は、作業支援装置１０内に生成される仮想空間（仮想３次元空間、ＶＲ空間）においてシナリオＳを仮想的に実施する手段である。具体的には、仮想空間（ＶＲ空間）に、現場の３次元形状データ（例えば点群データ）と、作業対象（設備）の位置に対応するデジタル付箋（マーク画像）やシナリオＳの手順に対応した設備の位置（作業開始の基準位置からの方向や距離）を示す仮想（ＶＲ）オブジェクトと、を重畳表示した（３次元情報表示手段１１５による重畳表示を利用してもよい）ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）等により案内する。これにより現場に赴くことなく、過去のシナリオＳまたは、作成したシナリオＳに基づき仮想的な作業を行うことができ、過去の作業の見直しや、作成したシナリオＳの正確性、効率性等を確認できる。

【0044】

＜作業対象の３次元座標を特定する方法＞
次に、シナリオＳ作成の準備段階として、作業対象（設備）の実位置（３次元座標）を特定する方法について、具体例を挙げて説明する。

【0045】

第１の方法は、現場の３次元形状データ上において、作業対象となる設備に属性を付与することで、設備の３次元座標を特定する方法である。

【0046】

この場合、予め現場に赴き、例えば３次元スキャナにより現場をスキャンして３次元形状データ（例えば、点群データ）を取得する。この３次元形状データ上の設備に対応するデータ（点群）には属性を付与することができる。属性として、設備名称やシナリオＳで用いる設備番号等の情報を付与することで、現場に対応する点群データ上において、設備の３次元座標を特定することができる。これを作業支援装置１０に取り込むことで、設備の情報と、その３次元座標を１対１で紐づけた作業対象マスタを作成することができる。

【0047】

第２の方法は、現場において設備及びその周辺を撮影したライブビュー映像に、ＡＲ空間のデジタル付箋（マーク画像、ピン）を付与した３次元座標データを取得することで、設備の３次元座標を特定する方法である。

【0048】

現在、ライブビュー映像を介して認識される現実空間の対象物に対し、ライブビュー映像上でデジタル付箋（マーク画像）を付与し、当該マーク画像の位置情報（３次元座標データ）を記憶（取得）できるアプリケーションが知られている（例えば、出願人の製品「ピンスペクト」など）。このアプリケーションにおけるマーク画像は、ライブビュー映像を撮影する装置内に生成される仮想３次元空間（ＡＲ空間）に付与されるものであり、ＡＲ空間内での位置を示す３次元座標を有している。つまり、当該マーク画像の位置（３次元座標）と自機の（推定される）位置との相対的（または絶対的）な位置関係に基づき、マーク画像に対応する現実環境の対象物の位置（３次元座標）を特定することができる。また、このアプリケーションではマーク画像に対して情報を関連付けることができるので、マーク画像に対応する現実空間の対象物の位置（３次元座標）及びそれに関連付けされた情報を、３次元座標データとして取得・記憶することができる。このアプリケーションを以下、「３次元座標データ取得アプリケーション」という。

【0049】

図４は、上記の３次元座標データ取得アプリケーションを用いて、現実空間の作業対象（設備）の３次元座標を特定している状態を示す図である。同図に示すように、例えばタブレット端末Ｔ（作業端末装置２０であってもよい）などにインストールした３次元座標データ取得アプリケーションを現場で起動し、ライブビュー映像を撮影しながら、作業対象（設備）の位置にマーク画像Ｍを付与する（マーク画像Ｍは複数付与できる）。また、マーク画像Ｍ（の夫々）に設備の情報（設備名称やシナリオＳで用いる設備に関する情報など）を格納する。この３次元座標データ取得することにより、マーク画像Ｍが有する仮想３次元座標と、基準となる点（３次元座標データを展開する自機の位置など）に基づき、マーク画像Ｍに対応する現実空間の設備の３次元座標を特定することができる。マーク画像Ｍを含む情報群（３次元座標データ）を取得した作業支援装置１０の作業対象マスタ作成手段１１０は、仮想空間（ＶＲ空間）を生成し、原点を合わせた上で取得した３次元座標データを展開し、設備の情報とその３次元座標とを紐づけた作業対象マスタＷＭ（図５（Ａ）参照）を作成する。

【0050】

＜作業対象マスタ＞
図５を参照して、作業対象マスタ作成手段１１０により作成される作業対象マスタＷＭの一例について説明する。同図は作業対象が設備である場合の一例である。図５（Ａ）は作業対象マスタＷＭのデータ構造の一例を示す図である。作業対象マスタＷＭは、シナリオＳに設備が含まれる場合は、含まれる設備のそれぞれに対し、例えば設備番号（便宜的な番号）、設備名、上記の第１の方法または第２の方法で特定した設備の３次元座標、などが１対１で紐づけて登録される。また、作業対象マスタＷＭには外部のデータベースが保持する情報を紐づけることもできる。また図示は省略するが、作業対象マスタＷＭは例えば、設備番号などをキーにして、当該設備に対する過去の作業履歴（後述する作業情報記録手段２２６によって記録されたシナリオＳの実施履歴（作業情報Ｃ等））を参照可能である。

【0051】

図５（Ｂ）は、３次元情報表示手段１１５による３次元情報の表示例である。３次元情報表示手段１１５は、仮想空間上において３次元形状データと上述の３次元座標データ取得アプリケーションにより取得した３次元座標データを重畳表示し可視化する。具体的には、３次元座標データと、別途、３次元スキャナにより取得した３次元形状データ（例えば、点群データ）とを作業支援装置１０に取り込み、３次元情報表示手段１１５によって両者の原点を合わせた上で重畳させる。この結果、図５（Ｂ）に示すような３次元情報を表示できる。３次元座標データには設備の位置を示すマーク画像Ｍが含まれており、これと点群データにおける設備が重畳表示され、点群データ上でマーク画像に関連付けられた情報（例えば、設備番号（便宜的な番号）、設備名称など）を把握できる。

【0052】

３次元情報表示手段１１５は、所定の操作に応じて作業対象マスタＷＭを更新することもできる。３次元情報表示手段１１５が表示する点群データには属性を付与できるため、図５（Ｃ）に示すように、点群データに表されている新たな設備について、属性（例えば、設備番号（便宜的な番号）、設備名称などを含む）を付与する。そして所定の操作（例えばボタン操作など）に応じて、３次元情報表示手段１１５は、変更後の３次元情報（点群データ）に基づき、作業対象マスタＷＭを更新（設備の情報と位置情報を追加・編集・削除）する。このように点群データにより現場の設備を可視化しつつ、作業対象マスタＷＭを更新できるので、利便性を高めることができる。

【0053】

また、３次元情報からも作業対象マスタＷＭを介して或る設備に対する過去の作業履歴（後述する作業情報記録手段２２６によって記録されたシナリオＳの実施履歴（作業情報Ｃ等））を参照可能である。これにより現場の作業状況が仮想空間上に反映されるデジタルツインが実現可能になる。

【0054】

＜シナリオのデータ構造＞
次に、シナリオ作成手段１１１により作成（生成）されるシナリオＳについて説明する。図６はシナリオＳのデータ構造を示す概念図である。図６（Ａ）に示すように、作業支援装置１０では１以上のシナリオＳを扱うことができる。シナリオＳは例えば、工場などの１または複数の建物単位、１または複数のフロア単位、１または複数の設備単位、或る（１または複数の）設備に対する処理単位、など任意の単位で作成することができる。具体的には例えば、シナリオＳ１は、第１工場内における或る設備に対する第１処理の作業手順を示す情報であり、シナリオＳ２は、第１工場内における或る設備に対する第２処理の作業手順を示す情報であり、シナリオＳ３は、第２工場の地下フロア内の全体の設備に対する点検の作業手順を示す情報、などである。また、この例では、シナリオＳ毎に、シナリオＳの作成、シナリオＳの閲覧、シナリオＳの変更、シナリオＳの承認などのアクセス権限を設定可能である。

【0055】

ここではシナリオＳ１のアクセス権限は、アカウントａ、ｂに与えられ、シナリオＳ２のアクセス権限は、アカウントａ、ｂ、ｃに与えられ、シナリオＳ３のアクセス権限は、アカウントｄに与えられている例を示している。アクセス権限が与えられていないシナリオＳは、表示手段１０３に非表示となり、当然にアクセスはできない。

【0056】

１つのアカウントは、作業者や責任者などのユーザ個人単位に割り当てられてもよいし、複数名のユーザからなるグループ（例えば部署単位や、部署を横断した複数の個人からなるグループ）単位に割り当てられてもよい。また図示は省略するが、シナリオＳの作成、シナリオＳの閲覧、シナリオＳの変更、シナリオＳの承認等の夫々に（個別に）アクセス権限を与えるようにするとよい。一例としてアカウントは、管理者アカウントと作業者アカウントを含み、管理者アカウントは特別な権限を有するアカウントであり、作業者アカウントは特別な権限を有しないアカウントである。なお例えば特別な権限を有する作業者アカウントを設定してもよい。

【0057】

それぞれのシナリオＳは、少なくとも一つの作業手順情報を含む。ここでは一例として、作業手順情報が階層構造となっている場合について説明する。具体的に、同図（Ｂ）に示すように１つのシナリオＳは、１以上の第１階層（上層）の作業手順に関する情報（第１階層作業手順情報Ａ）を含む。第１階層作業手順情報Ａは、第１階層（上層）の作業手順（以下これを「プロセス」という場合がある。）に関する複数の情報からなる情報群（データユニット）である。ここではシナリオＳ１には３つの第１階層作業手順情報Ａ１～Ａ３が含まれている場合を示している。

【0058】

また同図（Ｃ）に示すように１つ第１階層作業手順情報Ａは、１以上の第２階層（下層）の作業手順に関する情報（第２階層作業手順情報Ｂ）を含む。第２階層作業手順情報Ｂは、第１階層の作業手順（プロセス）を、更に細分化した（例えば最小単位の手順に細分化した）ものであり、具体的な作業内容を示す情報となる。第２階層（下層）の作業手順（以下これを「ステップ」という場合がある。）に関する複数の情報からなる情報群（データユニット）である。ここでは第１階層作業手順情報Ａ１に４つの第２階層作業手順情報Ｂ１～Ｂ４が含まれている場合を示している。

【0059】

第２階層作業手順情報Ｂは、少なくとも一つの実行すべき作業の内容（作業ＷＫ）と、該作業ＷＫの実行状態を示す作業情報Ｃと、該作業情報Ｃの正当性を判定するための判定情報Ｄを含む。また、作業ＷＫがある設備に対するものである場合は、当該作業ＷＫと、設備の位置情報（３次元座標）を少なくとも含む設備情報Ｕとが紐付けられて保持される。設備情報Ｕには設備の位置情報の他、識別表示（設備名または設備番号等）が含まれている。一つの第２階層作業手順情報Ｂに複数の設備情報Ｕが含まれてもよいし（例えば複数の設備に対して一の作業ＷＫを行う場合）、第２階層作業手順情報Ｂに設備情報Ｕが含まれなくてもよい（例えば、作業者の身なり装備に関する作業ＷＫの場合）。

【0060】

作業情報Ｃは、シナリオＳの作成時には現場の作業者による入力枠として設定される。入力枠のタイプ（入力を受け付ける情報のタイプ）としては例えば、選択入力ツール（ラジオボタンやチェックボックス等）によるもの、テキスト・数値、あるいはデータとして添付可能な画像（映像）・音声などの視聴覚情報等である。作業情報Ｃは現場の作業者にとっては入力情報であり、入力枠のタイプに応じた入力を行うことになる。

【0061】

判定情報Ｄは、シナリオＳ作成時に設定され、作業者により入力される作業情報Ｃの比較対象となる情報である。一例として、作業情報Ｃが選択入力ツールにより入力される場合は、判定情報Ｄは選択入力の有無、作業情報Ｃがテキスト入力（例えば、メータの値を示す数値）により入力される場合は、判定情報Ｄは作業の正当な完了と判断してよい想定値（例えば、数値範囲等）、作業情報Ｃが画像（例えば設備の写真等）で添付される場合は、判定情報Ｄは作業の正当な完了と判断するための比較画像などが設定可能である。また後述するが、判定情報Ｄは現場における作業時に用いられる。すなわち、作業者が現場で作業端末装置２０を操作して作業情報Ｃを入力した場合、作業端末装置２０は、判定情報Ｄと作業情報Ｃを比較して入力された作業情報Ｃの正当性を判定（作業の合否を判定）する。

【0062】

すなわち、作業情報Ｃは、作業を手順通り行ったか否か、作業を行ったエビデンスとしての画像や数値、メモが付帯したチェックリストとしてシナリオＳに記録される。

【0063】

このようなデータ構造を有するシナリオＳにより、まず図６（Ｃ）に示す一連の第２階層作業手順情報Ｂ（Ｂ１～Ｂ４）に基づき第２階層の作業手順（ステップ）を行って１つの第１階層の作業手順（プロセス）を完了させる。これを順次繰り返してシナリオＳに含まれる全てのプロセス（第１階層作業手順情報Ａ２～Ａ３のプロセス）を完了させることで、或るシナリオＳ（Ｓ１）の作業を、漏れなく確実に行うことができる。

【0064】

つまり本実施形態のシナリオＳによれば、１つの作業対象（設備）に対する作業手順に加え、複数の設備に渡る作業手順についても、効率よく且つ、漏れや抜けのない確実な作業が行えるとともに、その準備段階においても容易に作業手順（の項目）等を設定することが可能な、利便性の高い作業支援ツール実現できる。

【0065】

なお、シナリオＳのデータ構造（例えば上記で説明した２階層構造）は一例であり、一つの階層（例えば、上記の第２階層作業手順情報）のみで構成されていてもよいし、当該一つの階層を任意にグループ化できるようにしてもよい。

【0066】

また、シナリオＳには、作業の手順や注意事項を説明するためのマニュアル（ＰＤＦ、動画、ＣＧなどのファイルまたはＵＲＬリンク）を添付可能であり、作業者はこれを作業端末装置２０で参照可能である。またマニュアルはシナリオＳそのものに関連付けてもいいし、作業手順情報（この例では第１階層作業手順情報Ａ，第２階層作業手順情報Ｂ）単位に関連付けてもよい。

【0067】

＜作業端末装置＞
再び図１～図３を参照して、本実施形態の作業端末装置２０について説明する。図１に示すように、本実施形態の作業端末装置２０は、作業支援装置１０とともに作業支援システム１を構成し、現実空間における作業者による所定の作業を支援する。

【0068】

図２（Ｂ）を参照して作業端末装置２０のハードウェア構成について説明する。作業端末装置２０は、制御手段２０１と、入力手段２０２と、表示手段２０３、記憶手段２０４、通信手段２０５と、出力手段２０６と、撮像手段２０７と、３次元形状データ取得手段２０８と、各種センサ２１１等と、これらを接続するシステムバス等を有する携帯型の計算機（情報処理装置）である。

【0069】

具体的には、作業端末装置２０は例えば、本実施形態にかかる作業支援プログラムの一部（作業端末装置側アプリケーションプログラム）がインストールされた、または組み込まれたタブレット端末である。作業端末装置側アプリケーションプログラムは例えば、ネイティブアプリケーションプログラムとして提供される。以下、ネイティブアプリケーションプログラムを「端末アプリ」という。作業端末装置２０は、作業者が現場に容易に携帯できる装置であることが望ましく、タブレット端末に限らず、スマートフォン、携帯電話、携帯情報端末（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｔ；ＰＤＡ）、ウェアラブルコンピュータ（スマートウォッチ）、ハンディ端末、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）、スマートグラス、デジタルカメラ、ＧＰＳ端末、ノート型ＰＣなどであってもよい。

【0070】

制御手段２０１は例えば、演算処理装置（ＣＰＵ、ＭＰＵ等）を備え、制御手段２０１等によって記憶手段２０４に記憶（インストール）されたオペレーティングシステム（ＯＳ）、各種アプリケーションプログラム、ブラウザソフトウェアを実行することによって、以下に説明する機能を含む種々の機能を提供し、また、各種プログラムの実行に必要なデータやファイル等を記憶手段２０４に記憶する処理などを行う。

【0071】

入力手段２０２は、作業端末装置２０（の制御手段２０１）に対するコマンド等を入力するためのものであり、例えば、タブレット端末のタッチパネルおよび内蔵マイクであるが、キーボード、ポインティングデバイス（マウス等）等であってもよい。入力手段２０２がタッチパネルである場合、入力手段２０２の操作としては、表示されている画像を指やタッチスクリーンペンでタッチする（タップ、ドラッグ、ピンチアウト、ピンチイン、スワイプ等の動作をする）ことにより、選択、決定、拡大、縮小、移動等の各種操作を行うことができる。また、入力手段２０２がタッチスクリーンペンなどの場合、手書きの文字、線画を入力することもできる。また入力手段２０２は、物理ボタンを含む。物理ボタンは例えば、ホームボタンや、音量調整ボタンなどである。また、ここでの入力手段２０２には音声入力装置（マイク）も含まれる。

【0072】

表示手段２０３は、入力手段２０２によって入力された値やコマンド、および当該コマンドに対する作業端末装置２０の応答出力等（例えば、各種アプリケーションプログラムの実行指示に基づくユーザインターフェイス等）を表示するものである。表示手段２０３は、この例ではタブレット端末のタッチスクリーン（タッチパネルディスプレイ）であり、例えば、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ。または、ＯＬＥＤディスプレイ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ Ｄｉｓｐｌａｙ）ともよばれる。）などの表示手段１０３に、入力手段２０２であるタッチパネルが重畳されている。

【0073】

表示手段２０３はまた、撮像手段２０７で撮影した画像や、撮影対象の現実映像ＬＶを表示可能である。ここで本実施形態における現実映像ＬＶとは、撮像手段２０７がレンズ２１０を通して認識した対象物をリアルタイムに撮像素子上で結像し、撮像素子の光電変換により得られる画像情報を不揮発性の記憶手段２０４を介さず表示手段２０３に表示させる映像（画像）で、所謂ライブビュー映像をいう。具体的には、本実施形態における現実映像ＬＶとは、動画や写真の撮影のための撮影ボタン等を操作していない状態で、撮像手段２０７を介して表示手段２０３に対象物を含む対象領域の実像をリアルタイム表示させている映像をいう。

【0074】

表示手段２０３はまた、各種アプリケーションの実行結果としての画像や、３次元形状データ、入力手段１０２としてのアイコンや、ボタン等の画像、その他画像（文字も含む）を表示可能である。なお、本明細書における「画像」には特に区別して記載しない限り、静止画像および動画像が含まれる。

【0075】

なお、作業端末装置２０が例えば携帯電話やノート型ＰＣなどの場合、表示手段（ディスプレイ）２０３と、入力手段（例えば、キーボード、物理キー）２０２はそれぞれ独立した構成であってもよい。

【0076】

記憶手段２０４は、内蔵メモリ（メインメモリ（ＲＡＭ）、ストレージ、ＲＯＭなど）や、外部記憶装置の総称である。記憶手段２０４には、ＯＳ、基本Ｉ／Ｏプログラム、制御プログラムおよびこれらの関連プログラム、ファームウェア、ブラウザソフトウェア、各種アプリケーションプログラム、各種ドライバの他、各種データ（画像データ、テキストデータ、３次元情報）など各種アプリケーションプログラムで処理可能なデータ、ドキュメント）などが記憶、保存される。記憶手段２０４には、シナリオＳも記憶可能である。

【0077】

通信手段２０５は、作業端末装置２０が通信回線ＮＷを介して他の装置（作業支援装置１０やサーバ装置または他の作業端末装置２０やＰＣなど）とデータ通信等を行なうためのインターフェイスである。データ通信は、例えばＷｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＢＬＥ、ＮＦＣ等による近距離無線通信や、例えば、ＬＴＥ方式、３Ｇ方式、４Ｇ方式、５Ｇ方式、ＦＤＭＡ方式、ＴＤＭＡ方式、ＣＤＭＡ方式、Ｗ－ＣＤＭＡの他、ＰＨＳなどの移動体通信網を介した種々の無線通信方式によって行われる。また一部に有線通信方式を含んでもよい。作業端末装置２０は通信手段２０５および通信回線ＮＷを介して、作業支援装置１０との間でシナリオＳや３次元情報（３次元形状データおよび３次元座標データ）等を送受信可能である。

【0078】

出力手段２０６は、入力手段２０２によって入力されたコマンド等に基づき、作業支援装置１０の応答を出力するものであり、作業端末装置２０がタブレット端末の場合には主として音声出力装置（スピーカ）であるが、これに加えて、作業端末装置２０に外部接続する印刷装置などを含んでもよい。

【0079】

撮像手段２０７は、作業を行う現実空間の映像や、動画・静止画を取得可能な手段である。この例では、撮像用のアプリケーションプログラムと協働してカメラ機能を実現するユニット（タブレット端末のカメラユニット）であり、詳細な図示は省略するが、少なくともレンズと、撮像素子と画像処理プロセッサなどを含む。撮像手段２０７は、レンズを介して認識した対象を撮像素子上で結像し、撮像素子の光電変換により得られる画像（映像）情報を画像データとして記憶手段２０４に記憶する。レンズは、表示手段（ディスプレイ）２０３が設けられている面（前面）とは異なる面（背面）に配置される。

【0080】

また既に述べたように撮像手段２０７は、現場の現実映像を取得可能である。具体的には、作業端末装置（タブレット端末）２０のカメラ機能の起動により、撮像手段２０７は、実在する作業対象（設備）を含む対象領域をライブビュー映像として表示手段２０３に表示可能である。そして作業者等が撮影ボタン（例えば、表示手段２０３に表示されるボタン画像や、物理ボタンなど）を操作すると、現実映像ＬＶで表示中の映像情報を画像データ（静止画または動画）として記憶手段２０４に記憶する。

【0081】

３次元形状データ取得手段２０８は、作業対象（設備）を含む作業の対象領域（現場）の３次元形状データを取得する手段であり、対象領域を３次元で計測（スキャン）可能なデータ走査手段である。具体的には３次元形状データ取得手段２０８は例えばリアルタイム３Ｄスキャナ（例えば、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）スキャナのほか、ステレオカメラ、単眼カメラ、距離センサーを利用したＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）によるスキャナなど）である。しかしこれに限らず、レーザー、ＬＥＤ、又は赤外線の光、あるいは電波の反射光を検知して離れた物体の距離を測る手段（他の３Ｄスキャナ）であってもよい。また、３次元形状データ取得手段２０８は、フォトグラメトリであってもよい。フォトグラメトリは、さまざまな角度から写真や動画を撮影することで、３Ｄスキャナと同様に３次元形状データを取得できる。

【0082】

また本実施形態の３次元形状データとは、少なくとも３次元の位置情報（および数値）を有するデータをいう。３次元形状データの一例としては、３Ｄスキャナによるスキャンデータ、スキャンデータを加工したデータ、３次元の位置情報（スキャナからの相対的なＸ，Ｙ，Ｚ情報）をそれぞれに有する点の集合体である３次元点群データや、３次元のコンピューターグラフィックスにおける立体形状を表現するために使われる多角形の面データ（３次元画像、ポリゴンデータ）、３次元ＣＡＤデータ、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）で使用可能なデータ、ＣＩＭ（Ｃｏｎｓｔｒｕｃｔｉｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）で使用可能なデータ、３６０度ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）システムで使用可能なデータなどである。つまり本実施形態における仮想（３次元）空間とは、上記の３次元形状データが扱える環境をいい、本実施形態の３次元形状データは、上記の３次元形状データが扱える環境において生成、加工、更新、編集が行える情報である。

【0083】

作業端末装置２０がタブレット端末の場合は、上記の構成の他に、例えば、環境光センサ（照度／輝度）、近接センサ、磁力センサ、ジャイロセンサ、指紋認証センサ、触感センサなど既知のセンサ（これらを本実施形態では「各種センサ２１１」と総称する）と、ＧＰＳ、加速度計、ＢＬＥ、ＮＦＣなどタブレット端末として既知の構成・機能を有している。

【0084】

また、作業端末装置２０がタブレット端末やノート型ＰＣ等、Ｗｅｂアプリケーションを実行可能な装置である場合、作業端末装置２０にて作業支援Ｗｅｂアプリケーションを実行することもできる。つまり、例えば、作業支援装置１０および作業端末装置２０はいずれもタブレット端末であってもよい。その場合、作業支援Ｗｅｂアプリケーションの実行により両者が作業支援装置１０となり得るが、説明の便宜上、現場で実際の作業に用いる装置を作業端末装置２０と称し、現場以外での作業に用いる装置を作業支援装置１０と称する。

【0085】

再び図３を参照して作業端末装置２０の構成を機能の観点から説明する。作業端末装置２０は、位置推定手段２２１と、仮想視聴覚処理手段２２２と、３次元情報取得手段２２３と、作業情報記録手段２２６と、ナビゲーション手段２２７と、作業実施判定手段２２８などを有する。図３に示す各手段は、例えば作業端末装置２０にインストールされる端末アプリその他ソフトウェアおよび／または図２に示す１又は複数のハードウェアの協働により実現される。

【0086】

シナリオＳは、情報群（データユニット）として作業支援装置１０と作業端末装置２０の間でサーバ装置３０（またはクラウドサーバ３５、以下同様）を経由して送受信される。つまり作成されたシナリオＳは作業支援装置１０からサーバ装置３０にアップロードされる。作業者は現場で作業端末装置２０の端末アプリを立ち上げ、シナリオＳをサーバ装置３０からダウンロードする。端末アプリでは、例えば図６に示すようにシナリオＳを階層構造で確認できる。また第２階層作業手順情報Ｂの一覧を表示でき、第２階層作業手順情報Ｂ毎に作業情報Ｃの入力が可能となる。作業情報Ｃが入力されたシナリオＳは作業端末装置２０からサーバ装置３０にアップロード可能であり、作業支援装置１０は当該シナリオＳをダウンロードできる。このようにして、例えば作業情報Ｃが適宜更新されるシナリオＳが作業支援装置１０と作業端末装置２０で共有される。

【0087】

位置推定手段２２１は、作業端末装置２０が自機の位置を推定する手段である。位置推定手段２２１は、自機の方向（撮像手段２０７のレンズが向いている方向）や姿勢・位置などの状態を示す情報を取得し、必要に応じて演算等を行い記録する手段であり、これにより自機の状態（レンズが向いている方向、姿勢、位置など）を随時把握する。位置推定手段２２１は例えば、赤外線やレーザー等の物体からの反射光を検知して自機の姿勢や位置を検出する手段（例えば、ＬｉＤＡＲスキャナや、ＳＬＡＭを用いたスキャナや、ステレオカメラを用いたＳＬＡＭ）を含んで構成される。また、位置推定手段２２１は３次元形状データ取得手段２０８と併用（兼用）であってもよい。

【0088】

また、位置推定手段２２１は、例えば、３軸方向に対する地磁気を検出して方位を検出する電子コンパスや、３軸方向に対する作業端末装置２０の傾き角を検知する加速度センサ、ジャイロ（角速度）センサ、深度センサや、単眼カメラを用いたＳＬＡＭなどを含む。作業端末装置２０は、電子コンパスにより検出される方位と、３軸加速度センサやジャイロセンサにより検出される自機の傾き角度・姿勢に基づいて（必要に応じて演算を行い）、撮像手段２０７のレンズが向けられている撮像方向（撮像方位）及び撮像角度（画角）を検出することができる。またＳＬＡＭで、自機を基準となる位置（初期位置）から移動させ、撮像手段２０７により複数の周辺環境の画像を取得することにより、自己位置の推定と周辺環境の地図を作成可能なものであってもよい。

【0089】

また、位置推定手段２２１は、例えば、携帯電話の無線基地局や、Ｗｉ－Ｆｉ（登録商標）通信のアクセスポイントからの電波強度などによって自機の方向、姿勢、位置（絶対位置）を検出したり、全地球測位システム（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ））のように、衛星からの信号によって自機の方向、姿勢、位置（絶対位置）を検出することができる絶対位置情報取得モジュールが含まれる。

【0090】

仮想視聴覚処理（または仮想視覚処理、以下同様）手段２２２は、仮想的な視聴覚（または視覚）処理を実現する手段である。仮想視聴覚処理手段２２２は例えば、拡張現実（ＡＲ）を実現する拡張現実（ＡＲ）処理手段であり、具体的には、いわゆるＡＲフレームワークまたはＡＲライブラリである。

【0091】

仮想視聴覚処理手段２２２は例えば、仮想現実（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ；ＶＲ）を実現する拡張現実（ＡＲ）処理手段であり、具体的には、いわゆるＡＲフレームワークまたはＡＲライブラリでもよい。

【0092】

また、仮想視聴覚処理手段２２２は例えば、ＶＲを実現する仮想現実（ＶＲ）処理手段であり、具体的には、３次元ＣＧ表示ソフトウェア、３次元ＣＧ表示ライブラリでもよい。

【0093】

つまり、仮想視聴覚処理手段２２２は、ＡＲフレームワーク（ＡＲライブラリ）および／または３次元ＣＧソフトウェア（３次元ＣＧ表示ライブラリ）を含む手段であり、本実施形態の説明において、「ＡＲ処理手段」および「ＡＲフレームワーク」と記載した構成について「３次元ＣＧソフトウェア（３次元ＣＧ表示ライブラリ）」と置き換えても同様に実施でき、同様の効果を得られる。

【0094】

仮想視聴覚処理手段２２２は既知の構成であるので、詳細な説明は省略するが、例えば、撮像手段２０７や３次元形状データ取得手段２０８を用いて作業の対象領域（現実空間）や作業対象（設備）を撮影することにより、当該対象領域の空間の情報（対象領域の位置情報や対象領域に含まれる作業対象の情報（３次元形状データを含む）など）の記憶、認識、推定、解析等を行い、その撮影している対象領域（現実空間）の映像に対して情報を付加・削除・強調・減衰させることによって現実空間と同様に仮想的に可視化する技術である。

【0095】

ＡＲフレームワーク（ＡＲライブラリ、以下同様）２２２の一例としては、米Ａｐｐｌｅ社が提供するＡＲＫｉｔ（登録商標）や米Ｇｏｏｇｌｅ社が提供するＡＲＣｏｒｅ（登録商標）、オープンソースのＡＲＴｏｏｌＫｉｔなどがあり、本実施形態では仮想視聴覚処理手段（ＡＲフレームワーク）２２２としてＡＲＫｉｔ（登録商標）を利用する場合を例に説明する。この場合、ＡＲフレームワーク２２２は、例えば、３次元情報取得手段２２３によって取得した、作業対象を含む現実空間に対応する３次元座標データや３次元形状データに沿ってデジタル情報（コンピュータグラフィクス（ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ；ＣＧ）などによるオブジェクト画像を合成し、例えば作業対象にオブジェクト画像を重畳させるなどして即時に（リアルタイムで）表示手段２０３に表示することができる。または仮想空間内における作業対象（の３次元形状）が含まれる面（平面（水平面、垂直面など）や曲面）を検出し、当該面にそって、オブジェクト画像を合成し、作業対象にオブジェクト画像を重畳させるなどしてリアルタイムで表示手段１０３に表示することができる。

【0096】

なお、本実施形態の仮想視聴覚処理手段２２２は、上記と同様の機能が実現できるものであれば、ＡＲＫｉｔ（登録商標）に限らず、また特定のフレームワーク（ライブラリ）でなくてもよい（個別に上記機能を有するように作成されたプログラム等であってもよい）。

【0097】

３次元情報取得手段２２３は、３次元形状データ取得手段２０８および３次元座標データ取得手段２２４を含む。３次元座標データ取得手段２２４は、現場の設備の実位置の３次元座標を取得する手段であり、例えば上述の３次元座標データ取得アプリケーションである。

【0098】

作業情報記録手段２２６は、現場において実際の作業の進捗（完了したか否か）を記録する手段である。具体的には、作業の完了の有無は、シナリオＳの第２階層作業手順情報Ｂのそれぞれに対応する作業情報Ｃ（図６（Ｃ）参照）の入力の有無で判断され、作業情報記録手段２２６は、作業者により入力される作業情報Ｃを記録する。

【0099】

作業者は、現場で或る第２階層作業手順情報Ｂに基づく作業を行い、当該第２階層作業が完了すると第２階層作業手順情報Ｂに対応する作業情報Ｃを入力する。作業情報Ｃは、選択入力ツール（ラジオボタンやチェックボックス等）を用いた入力情報、テキスト・数値等の入力情報、あるいはデータとして添付可能な画像（映像）・音声などの視聴覚情報等である。作業端末装置２０では、或る第２階層作業手順情報Ｂについて作業情報Ｃの入力を受け付けると、作業実施判定手段２２８が当該第２階層作業手順情報Ｂに対応して設定されている判定情報Ｄと作業情報Ｃを比較し、作業情報Ｃの正当性を判断する（作業の合否判定を行う）。作業情報Ｃが正当と判断された場合、作業情報記録手段２２６は、入力された情報で作業情報Ｃ（第２階層作業手順情報Ｂ）を更新し、第２階層作業手順情報Ｂを含むシナリオＳを記憶手段２０４に記憶する。

【0100】

また、作業情報記録手段２２６は、作業情報Ｃの更新に際し排他制御を行う。一例として作業情報記録手段２２６は、第１階層作業手順情報Ａ毎に一の作業者のみに作業情報Ｃの更新の実行権を与え、その期間は同一シナリオＳ内の第１階層作業手順情報Ａについて他の作業者による作業情報Ｃの更新を不可にする。

【0101】

図６を参照して、具体的に説明する。或る作業者Ｗ１が、シナリオＳ１の第１階層作業手順情報Ａ１に基づく作業（第１階層作業手順情報Ａ１に含まれる第２階層作業手順情報Ｂ１～Ｂ４の作業）を実行する。このとき作業者Ｗ１を、第１階層作業手順情報Ａ１に基づく作業の担当者として端末アプリに登録する。これにより作業者Ｗ１は、第１階層作業手順情報Ａ１に含まれる第２階層作業手順情報Ｂ１～Ｂ４にそれぞれ対応する作業情報Ｃ１～Ｃ４の更新の実行権を取得する。この作業者Ｗ１が第２階層作業手順情報Ｂ１～Ｂ４に基づく作業、およびその実行結果としての作業情報Ｃ１～Ｃ４の入力・更新を行っている期間は、他の作業者は、同一の第１階層作業手順情報Ａ１に基づく作業について、作業情報Ｃの更新を行うことはできない。この場合、同一シナリオＳ１内の他の第１階層作業手順情報Ａ２、Ａ３に基づく作業については、作業情報Ｃの更新を行うことができないようにしてもよいし、作業情報Ｃの更新を許容してもよい。

【0102】

なお、本実施形態において、作業情報Ｃを更新可能な作業者は、第１階層作業手順情報Ａ毎に一人であるが、当該作業者に同行者があってもよい。すなわち、第１階層作業手順（プロセス）の実行に際し、複数人が現場に立ち入ることは許容される。作業者に同行者がある場合、一の作業者のみが一台の作業端末装置２０を現場に持ち込み、これを操作するようにしてもよいし、同行者も作業端末装置２０を持ち込み可能としてもよい。一の作業者のみが一台の作業端末装置２０を現場に持ち込むとしても同業者がある場合には、同業者も作業端末装置２０を操作可能である。この場合、作業者アカウントの認証などにより、厳密に作業者のみに作業端末装置２０の操作を認め、同業者には認めないようにしてもよいし、同業者は作業者と同等に作業端末装置２０の操作を認めるようにしてもよい。

【0103】

また、同行者も作業端末装置２０を持ち込み可能とする場合には、例えば一の作業者アカウントと、一以上の同行者アカウントを設定し、作業者アカウントのみに作業情報Ｃの更新の実行権を与え、同行者アカウントには更新の実行権を与えないようにしてもよいし、状況に応じて、同行者アカウントにも実行権を与えるようにしてもよい。

【0104】

図３に戻り、作業実施判定手段２２８は、第２階層作業手順情報Ｂのそれぞれに対応して設定される判定情報Ｄ（図６（Ｃ）参照）に基づき、入力された作業情報Ｃの正当性を判定する。判定情報Ｄの設定は、第２階層作業手順情報Ｂ毎に任意であるが、作業の正確性を高めるには第２階層作業手順情報Ｂ毎に判定情報Ｄを設定する方が望ましい。

【0105】

ナビゲーション手段２２７は、シナリオＳに応じた仮想空間（ＡＲ）映像を生成して表示手段２０３に表示し、作業者に対して作業の手順と作業対象（設備）の位置をナビゲーションする手段である。具体的に、ナビゲーション手段２２７は、仮想視聴覚処理手段２２２と協働して、シナリオＳの第２階層作業手順情報Ｂに含まれる設備に対応するＡＲオブジェクトや、現在位置から設備の位置までの方向や距離などを示すＡＲオブジェクトを生成し、現実空間のライブビュー映像に重畳させて表示手段２０３に表示する。第２階層作業手順情報Ｂには設備情報Ｕとして設備の位置情報（３次元座標）が含まれているため、ナビゲーション手段２２７はこの位置情報に基づき、対応するＡＲオブジェクトを生成して表示する。

【0106】

作業者が現場でシナリオＳを表示手段２０３に表示させて、或る第２階層作業手順情報Ｂに対する選択操作等を行うと、表示手段２０３の表示が切り替わり、現場のライブビュー映像を表示するとともに、その作業の対象となる設備の位置、またはその設備までの方向や距離を示すＡＲオブジェクトをライブビュー映像に重畳して作業者に対してナビゲーションすることができる。

【0107】

従来の保守作業などでは、対象となる設備の一覧を示す設備リストや、当該設備に対する作業の一覧を示す作業リストなどを用いて現場での作業を行っていた。例えば作業リストには設備の場所と作業内容とが表形式などで紐づけがされていることはあっても、設備の場所は例えば「１階のＡ室」など文字の表記に限られ、現場での実際の設備の位置が分かりにくいことで作業効率が向上できない、あるいは同様の設備が近傍に多数ある場合などには、設備の選択ミスなども生じやすいなどの問題があった。本実施形態では設備の位置情報（３次元座標）とその設備に対する作業ＷＫが紐づけられているため、作業手順に沿って対象となる設備のナビゲーションが可能となり、作業の正確性を高め、作業効率を向上させることができる。

【0108】

＜作業支援システムによる作業支援の流れ＞
以下、作業支援装置１０の表示手段１０３および作業端末装置２０の表示手段２０３に表示される画面の一例を参照しつつ、作業支援システム１における作業支援の流れ（作業支援方法）について説明する。なお、以下の説明で参照する表示画面は説明のための一例に過ぎず、表示項目、入力項目やそれらの配置等は図示の例に限るものではない。

【0109】

＜＜作業対象マスタ作成＞＞
まず事前の準備として、作業対象マスタＷＭを作成するために、現実空間において作業対象（設備）を含む周辺環境（現場）の３次元情報（３次元座標データまたは３次元形状データ）を取得する。ここでは一例として、作業端末装置２０の３次元データ取得手段２２４（３次元座標データ取得アプリケーション）により３次元座標データを取得する場合について説明する。

【0110】

図４に示したように、ユーザ（管理者または作業者）は、予め現場に赴き、ライブビュー映像を撮影しながら作業対象（設備）の位置にマーク画像を付与し、当該マーク画像に設備の情報（設備名称やシナリオＳで用いる設備に関する情報など）を格納する。そして、マーク画像Ｍを含む３次元座標データを記憶手段２０４に記憶する。

【0111】

その後、通信回線ＮＷやサーバ装置３０を介して、作業支援装置１０に取得した３次元座標データを取り込む。作業支援装置１０では作業対象マスタ作成手段１１０が、仮想空間（ＶＲ空間）を生成し、取得した３次元座標データと原点を合わせてこれを仮想空間（ＶＲ空間）に展開し、設備とその３次元座標とを紐づけた作業対象マスタＷＭ（図５（Ａ）参照）を作成する。

【0112】

なお、或る作業端末装置２０上で３次元座標データ取得アプリケーションを利用して設備の位置に対応するマーク画像を付した３次元座標データを取得し、同じ作業端末装置２０で、仮想空間上の始点（原点）を３次元座標データの取得時と一致させた上で、作業支援Ｗｅｂアプリを実行し、作業対象マスタ作成手段１１０によって作業対象マスタＷＭを作成してもよい。

【0113】

このように本実施形態の作業支援システム１では、作業対象となる設備と、その現実空間（現場）における位置（３次元座標）とを紐づける機能（３次元座標データ取得手段２２４など）、および設備とその３次元座標とを紐づけた状態で作業対象マスタＷＭとして管理する機能を有している。そして、この作業対象マスタＷＭを用いて、シナリオＳを作成する。

【0114】

＜＜シナリオ作成＞＞
次に、作業支援装置１０において、作業対象（設備）に対する作業手順と、その設備の３次元座標とを紐付けた情報群であるシナリオＳを作成する。

【0115】

図７～図１１は、作業支援装置１０において作業支援Ｗｅｂアプリを実行した場合の画面表示例である。まず新規のシナリオＳを登録する流れについて説明する。図７（Ａ）は、シナリオ一覧画面５００の表示例である。ここでは、「Ａ工場 定期点検」というタイトルのシナリオＳ１と「Ｂ工場 設備修繕」というタイトルのシナリオＳ２が既に登録されている。シナリオ一覧画面５００は新規作成ボタン５０１を含む。

【0116】

図７（Ｂ）は、シナリオ一覧画面５００において新規作成ボタン５０１を操作（クリック、タップ等）した場合に表示される新規のシナリオＳの登録画面５０２の表示例である。ここではシナリオＳのタイトル欄５０３にタイトル（一例として「高圧器 検査前処理」）を入力する。登録／キャンセルボタン５０４の操作により、シナリオＳの登録またはキャンセルが実行される。

【0117】

同図（Ｃ）はシナリオ「高圧器 検査前処理」の基本情報メニューに含まれる基本情報設定画面５０５の表示例である。ここでは、アクセス権欄５０６が設けられ、「高圧器 検査前処理」のシナリオＳの編集（追加・変更・削除）や承認についてアクセスを許可する者を登録可能である。ここでは一つのアクセス権欄５０６のみを示しているが、例えば、シナリオＳの編集（追加・変更・削除）と、シナリオＳの承認とで個別にアクセス権欄５０６を設け、それぞれ個別にアクセス権を制御するようにしてもよい。また図示は省略するが、シナリオＳの実行（作業）予定日や作業目的などの基本情報を設定可能である。

【0118】

図８（Ａ）は、シナリオ「高圧器 検査前処理」の作業計画メニューに含まれる第１階層作業手順情報登録画面５０７の表示例である。ここでは第１階層作業手順情報Ａ１のタイトル欄５０８，作業人数欄５０９、登録／キャンセルボタン５０４等が設けられる。また一例としてタイトル欄５０８に例えば「電源オフ」，作業人数欄５０９に例えば「３（人）」などを入力している。作業人数欄５０９の「３」は作業者（１人）の他、同行者が２人いることを意味する。登録／キャンセルボタン５０４の「登録」ボタンを操作すると、第１階層作業手順として「電源オフ」プロセスが登録され、図８（Ｂ）に遷移する。

【0119】

図８（Ｂ）は第１階層作業手順情報一覧画面５１０の表示例である。この画面は第１階層作業手順情報欄５１１を含む。第１階層作業手順情報欄５１１には、プロセス名（電源オフ）、作業人数（３人）、実行状態（未実施）などの情報が表示される。第１階層作業手順情報欄５１１を操作すると、「電源オフ」プロセスの詳細（第２階層作業手順情報Ｂ）を登録できる。

【0120】

図８（Ｃ）は、「電源オフ」プロセスの第２階層作業手順情報Ｂの登録画面の表示例である。この例では第２階層作業手順情報Ｂの詳細を登録する作業手順設定ウィンドウ５１２が表示されている状態である。

【0121】

図９は、図８（Ｃ）に示す作業手順設定ウィンドウ５１２を抜き出して示す表示例である。この作業手順設定ウィンドウ５１２で、第２階層作業手順情報Ｂを設定する。ここでは「電源オフ」プロセスの下層の手順として「高圧器の電源がオフであることを確認する」という内容の第２階層の作業手順（ステップ）に関する第２階層作業手順情報Ｂ１を登録する場合を例示する。

【0122】

作業手順設定ウィンドウ５１２は例えば、第２階層作業手順情報Ｂの作業内容欄５１３、設備番号欄５１４、３次元形状データ連携ボタン５１５、作業情報設定欄５１６等を有する。

【0123】

設備番号欄５１４は、第２階層手順の対象となる設備（ここでは高圧器の電源）を設定する欄であり、作業対象マスタＷＭの設備番号の入力欄である。作業対象マスタＷＭを参照するなどして設備番号（例えば高圧器の電源の設備番号「２０」）が判明している場合は、当該設備番号を直接入力する。これにより、「高圧器の電源がオフであることを確認する」という第２階層の作業手順（ステップ）と、その作業の対象となる高圧器の電源（設備番号「２０」）の３次元座標とを容易に紐付けすることができる。

【0124】

あるいは、設備番号は、ユーザによる直接入力ではなく３次元形状データ連携ボタン５１５の選択（クリック・タップ等）でも入力できる。具体的に説明すると、３次元形状データ連携ボタン５１５を選択すると、表示手段２０３の表示が図５（Ｂ）に示す３次元情報表示手段１１５による３次元情報の表示画面（３次元形状データ（例えば点群データ）と３次元座標データの重畳表示の画面）に切り替わる。この画面において、該当の設備、例えば丸印で示した高圧器の電源を選択（クリック・タップ等）すると、画面が作業手順設定ウィンドウ５１２に戻るとともに、設備番号欄５１４に、選択した設備（電源）の設備番号「２０」が自動入力される。このように対象となる設備（高圧器の電源）の名称や設備番号が不明であっても、現場を示す３次元形状データの上で設備を選択することで、設備番号「２０」を作業対象（設備）番号欄５１４に自動入力することができる。

【0125】

例えば作業対象領域における複数の設備の保守作業などにおいては、従来より作業対象の設備の一覧が例えば表形式などで用意され、それに基づき保守作業を行っていた。しかしながら、現場における設備の実際の位置との紐づけがなされておらず、作業手順書、あるいは作業の正確性に欠ける問題があった。

【0126】

本実施形態によれば、作業手順（第２階層作業手順）と、３次元座標を持つ作業対象（設備）とを紐づけたシナリオＳを作成するので、現場での作業の際、ライブビュー映像上に作業対象の位置を重ねて表示することができる。これにより作業とその対象となる設備の把握、設備の位置を正確に把握することができる。

【0127】

また、シナリオＳの作成段階で作業手順（第２階層作業手順）と、３次元座標を持つ作業対象（設備）とを紐づける際、３次元情報表示手段１１５によって設備の位置を可視化することができ、作業手順情報としての正確性を高めることができる。また、作業手順の設定画面（図８（Ｃ））と点群データ画面（図９）とを容易に遷移させることができるので、ユーザの利便性が高まる。

【0128】

なお、この場合、設備の位置を可視化することができればよいので、３次元情報表示手段１１５は、３次元形状データ（例えば点群データ）に代えて、図面（例えば３次元ＣＡＤの図面データ）と、マーク画像付き３次元座標データを表示手段２０３に重畳表示する構成でもよい。またマーク画像付き３次元座標データを２次元データに変換し、２次元ＣＡＤの図面データと重畳表示するようにしてもよい。

【0129】

作業情報設定欄５１６は、例えば、作業情報欄５１７と判定情報欄５１８を有する。作業情報欄５１７は、作業者による作業が実施された（作業が完了した）場合に作業者に入力させる作業情報Ｃのタイプを設定する欄であり、判定情報欄５１８は判定情報Ｄを設定する欄である。作業手順設定ウィンドウ５１２で設定された情報は、第２階層作業情報Ｂ（シナリオＳ）として作業端末装置２０でも共有される。つまり作業情報欄５１７の設定内容は、作業者が操作する作業端末装置２０の端末アプリの画面（作業情報入力画面）に表示される。また判定情報欄５１８の内容は、作業端末装置２０の作業実施判定手段２２８による判定に用いられる。つまり判定情報欄５１８の設定は作業支援装置１０側で行うが、入力される作業情報Ｃの判定は作業端末装置２０の作業実施判定手段２２８によって行うことになる。なお、シナリオＳが作業端末装置２０との間で共有されるので、第２階層作業情報Ｂの上層の第１階層作業手順情報Ａも作業端末装置２０との間で共有される。

【0130】

作業情報欄５１７について、作業情報Ｃのタイプとして、ここではチェックボックス、自由テキスト、数値、画像を選択可能である。「チェックボックス」タイプは作業が完了した場合に作業情報入力画面にチェックボックスを表示して作業者にチェックマークの入力を要求するタイプであり、この場合チェックマークが作業情報Ｃとなる。

【0131】

「自由テキスト」タイプは、作業情報入力画面において任意のテキストの入力を要求するタイプであり、この場合、入力される任意のテキストが作業情報Ｃとなる。

【0132】

「数値」タイプは、作業情報入力画面において作業者に数値の入力を要求するタイプであり、この場合、入力される任意の数値が作業情報Ｃとなる。

【0133】

「画像」タイプは、作業情報入力画面において作業者に画像（静止画像または動画像）の入力（添付）を要求するタイプであり、この場合、添付される任意の画像が作業情報Ｃとなる。

【0134】

使用欄５１７Ａはチェックマークの入力により作業情報Ｃのタイプを選択する。複数選択可能である。ラベル欄５１７Ｂは、作業情報入力画面に表示する単位や入力ガイドなどを入力可能である。

【0135】

判定情報欄５１８について、想定値欄５１８Ａには、作業情報Ｃのタイプごとに、作業が正当である場合に想定される値（作業の合否判定の判定基準）を設定する。例えば、作業情報Ｃが「自由テキスト」タイプの場合に「開」・「有」・「〇」等を設定しておくと、これらの文字列と作業情報入力画面に入力された自由テキストが作業実施判定手段２２８によって比較される。

【0136】

また、作業情報Ｃが「数値」タイプの場合は数値範囲での入力も可能である。一例として「－５～＋１０（範囲の指定方法は説明上の一例）」等を設定しておくと、この数値範囲と作業情報入力画面に入力された数値が作業実施判定手段２２８によって比較される。

【0137】

また、作業情報Ｃが「画像」タイプの場合は、例えば想定値欄５１８Ａに、画像比較の対象となる画像（比較画像）のパス等を設定可能である。この場合パスで特定される比較画像と作業情報入力画面において添付された画像とが作業実施判定手段２２８によって画像比較される。

【0138】

必須欄５１８Ｂは、作業情報入力画面における入力を必須とするかどうかを設定する欄であり、例えばチェックマークの入力により選択される。つまり必須欄５１８Ｂの入力（チェックマーク）がある場合に、判定情報Ｄが「有」となる。また、必須欄５１８Ｂの入力をした場合であっても想定値欄５１８Ａの入力は任意である。例えば、作業情報Ｃが「画像」タイプについて必須欄５１８Ｂにチェックがあり、想定値欄５１８Ａにチェックがない場合、判定情報Ｄは「有」となるが判定条件は「（画像の内容によらず）任意の画像の添付が有ること」となる。なお、図示は省略するが例えば作業情報Ｃのタイプとして３Ｄスキャンデータ等を取得する「３次元情報」や環境音を録音する「音（マイク）」等があってもよい。

【0139】

図９の入力例では、或る第２階層作業手順情報Ｂとして、第２階層の作業手順（ステップ）の内容（作業内容）が「高圧器の電源がオフであることを確認する。」であり、対象となる設備番号が高圧器の電源に対応する「２０」である。これらは作業者が操作する作業端末装置２０の作業情報入力画面（図１３（Ｂ）参照）に表示される。

【0140】

また、作業情報Ｃとして「チェックボックス」タイプ、「自由テキスト」タイプ、「画像」タイプが選択されている（使用欄５１７Ａのチェックがある）。この結果、作業情報入力画面には、作業情報Ｃの入力欄としてチェックボックス、自由テキスト入力欄、画像添付手段（カメラ起動ボタンなど）が表示される。

【0141】

また、判定情報Ｄとして「チェックボックス」タイプと「画像」タイプが選択され（必須欄５１８Ｂのチェックがあり）、「画像」タイプについては想定値欄５１８Ａの入力はない。この結果、作業情報入力画面の入力に対して判定情報Ｄが付与される。具体的には作業情報入力画面におけるチェックボックスの入力有無と、画像の添付の有無が、作業実施判定手段２２８の判定条件となる。従って作業情報入力画面においてチェックボックスにチェックマークが付与され、何等かの画像が添付された場合、作業実施判定手段２２８は、「高圧器の電源がオフであることを確認する。」作業について正当に完了した、と判定する。

【0142】

このように本実施形態によれば、シナリオＳの作成段階において、作業の状況（完了）を示す作業情報Ｃのタイプ（チェックボックスやテキスト、画像等）と第２階層作業手順情報Ｂを紐づけ、また、作業情報Ｃの正当性を確認する手段（判定情報Ｄ）も同様に紐づけることができる。作業情報Ｃのタイプが複数準備されているので、それぞれの作業に適した作業情報Ｃを設定することができる。また、判定情報Ｄを設定した場合には、作業者はこのシナリオＳに基づき作業を実行して作業情報Ｃを入力することで、作業情報Ｃの入力の正当性が判定されるため、作業の正確性を高めることができる。

【0143】

また、この例では作業情報欄５１７にコード生成ボタン５１７Ｃが設けられている。コード生成ボタンは、作業が完了したこと示す情報（判定情報欄５１８に設定されている完了報告値５１８Ｃ）に対応する判定コード（例えば、２次元コード）を生成し、出力するボタンである。コード生成ボタン５１７Ｃを選択操作すると、作業支援装置１０の判定コード生成手段１１７により完了報告値５１８Ｃに対応する判定コードが生成され、作業支援装置１０の出力手段１０６（例えば印刷装置）から出力される。

【0144】

ユーザ（シナリオＳの作成者）は例えばコード生成ボタン５１７Ｃを選択操作（クリック、タップ等）して２次元コードを出力し、シナリオＳ作成者（または作業者その他）が作業前に現場の設備等にその２次元コードを付与（貼り付けなど）しておく。作業者は当該現場で作業を行い、作業が完了したら作業端末装置２０の作業情報入力画面において２次元コードを読み込む（２次元コードを入力する）。作業端末装置２０の作業実施判定手段２２８は、作業情報入力画面において入力された２次元コードと、完了報告値５１８Ｃ（シナリオＳの第２階層作業手順情報Ｂとして保持している）を比較し、合致していれば作業が正当に完了したと判定する。この場合、読み込まれる（入力される）２次元コードが作業情報Ｃとなり、完了報告値５１８Ｃが判定情報Ｄとなる。

【0145】

また例えば、「部品を交換する。」という作業内容の第２階層作業手順情報Ｂがある場合、交換対象となる部品の固有情報（例えば、型番または型番に対応する値）を完了報告値５１８Ｃに設定できる。この場合シナリオＳ作成者はコード生成ボタン５１７Ｃにより２次元コードを作成、出力し、シナリオＳ作成者（または作業者その他）が作業前に現場の設備等にその２次元コードを付与しておく。作業者は、現場で部品を交換し、作業情報Ｃとして２次元コードを読み込む。作業実施判定手段２２８は、作業情報入力画面において入力された２次元コードと、完了報告値５１８Ｃ（この場合、部品の固有情報）を比較し、合致していれば交換作業が正当に完了したと判定する。

【0146】

このように作業情報Ｃのタイプでの設定に代えて、又はこれに加えて判定コードにより作業情報Ｃ及び判定情報Ｄを設定してもよい。

【0147】

以上説明したように本実施形態の第２階層作業手順情報Ｂは、第２階層作業手順（ステップ）と、対象となる設備（３次元座標を含む）、およびその作業の完了を示す作業情報Ｃ、作業情報Ｃの正当性を判定する判定情報Ｄを含む情報である。つまり、本実施形態のシナリオＳはこれらを紐付けて保持する情報群である。

【0148】

なお、作業情報欄５１７のみ入力（選択）し、判定情報欄５１８（必須欄５１８Ｂ）を入力（選択）しない場合は、その作業情報Ｃのタイプについて任意の入力が許容されるが、作業実施判定手段２２８による判定は行わない。例えば、当該任意の入力は作業のメモとして記録される。

【0149】

図１０（Ａ）は、作業計画メニューにおいて、第２階層作業手順情報Ｂの登録が完了した状態を示す画面の例であり、第２階層作業手順情報一覧画面５２０である。同図（Ａ）は、第１階層作業手順情報Ａとして「電源オフ」プロセスが、第２階層作業手順情報Ｂ１（手順番号Ｎｏ．１）として「電源がオフであることを確認する」手順が、第２階層作業手順情報Ｂ２（手順番号Ｎｏ．２）として「ポンプが動作していないことを確認する」手順がそれぞれ登録されている状態である。

【0150】

それぞれの第２階層作業手順情報欄５２１は、設備番号ボタン５２２と作業情報確認欄５２３を含む。設備番号ボタン５２２はその操作（クリック、タップ等）により設備番号に対応する設備の位置を、図５（Ｂ）に示す３次元情報表示手段１１５による３次元情報の表示画面により確認可能である。また、作業情報確認欄５２３は、作業情報欄５１７の設定状態（作業情報Ｃのタイプなど）がアイコン表示される。第２階層作業手順情報欄５２１の操作（クリック、タップ等）で作業手順設定ウィンドウ５１２が表示されるので、対応する第２階層作業手順情報Ｂの編集も可能である。

【0151】

これを繰り返し、第１階層作業手順情報Ａ（ここでは「電源オフ」プロセス）について全ての第２階層作業手順情報Ｂを登録し、シナリオＳについて全ての第１階層作業手順情報Ａを登録する。

【0152】

図１０（Ｂ）は作業計画メニューにおいて、第１階層作業手順情報Ａの登録が完了した状態を示す画面の例であり、第１階層作業手順情報一覧画面５２４である。第１階層作業手順情報欄５２５には、第１階層作業手順情報Ａのタイトル（プロセス名）とそのプロセスの実行状態（未実施・実行中・完了）などが表示される。

【0153】

＜＜シナリオの仮想実施（シミュレーション）＞＞
作成したシナリオＳは、作業支援装置１０において仮想空間上でシミュレーションすることができる。作業支援装置１０のシミュレーション手段１１２は、特に３次元形状データを取得している場合は、仮想空間（ＶＲ空間）に現場の３次元形状データ（例えば点群データ）と、３次元座標データを原点を合わせた上で重畳して表示手段１０３に表示し（３次元情報表示手段１１５が生成した重畳表示を利用してもよい）、更にシナリオＳの手順に対応した作業対象（設備など）の位置（自機位置など基準位置からの方向や距離）を示すＡＲオブジェクトを重畳表示する。なお、仮想空間上でのシミュレーション方法については、既知の方法が採用できるが、ここでの詳細な説明は省略する。

【0154】

これにより、現場に赴くことなく、作成したシナリオＳに基づき仮想的な作業を行うことができ、シナリオＳの承認申請の事前確認や、現場での作業の事前準備などを行うことができる。

【0155】

なお新規のシナリオＳの作成時の参考のため、あるいは過去の作業の見直し等を目的として、蓄積されているシナリオＳをシミュレーションすることもできる。

【0156】

＜＜シナリオ承認＞＞
シナリオＳの作成が完了した場合、管理者等、特別な権限を有する者により、シナリオＳの承認を行う。

【0157】

図１１（Ａ）は、登録されているシナリオＳの一覧を表示するシナリオ一覧画面５４０の表示例である。シナリオ表示欄５４１には、シナリオＳのタイトル、シナリオＳの状態と、作業の進捗に関する情報（シナリオＳ内の第１階層作業手順（プロセス）の終了数／第１階層作業手順（プロセス）の全数）などが表示される。この例では、「高圧器 検査前処理」のシナリオＳ、「高圧器 検査処理」のシナリオＳ、「高圧器 検査後処理」のシナリオＳ、の３つが登録されている。

【0158】

シナリオＳの状態は、例えば、シナリオＳの作成中であることを示す「計画作成中」、作成したシナリオＳの承認を申請し、承認待ちの状態であることを示す「計画承認待」、承認されたことを示す「計画承認済」、シナリオＳを実行中であることを示す「実行中」、シナリオＳの完了に対して承認を申請し、承認待ちの状態である「完了承認待」、シナリオＳの実行（完了）が承認されたことを示す「完了承認済」などである。例えば、「高圧器 検査前処理」のシナリオＳは「計画作成中」の状態で、進捗情報は、シナリオＳ内のステップの全数は３，終了数は０であることを示している。

【0159】

このシナリオ一覧画面５４０から承認申請を行うシナリオＳ（ここでは「高圧器 検査前処理」のシナリオＳ）を選択する。

【0160】

図１１（Ｂ）はシナリオＳの承認メニューにおける承認画面５５０の表示例である。承認画面５５０には、この例ではシナリオＳの作成に関する承認欄（計画承認欄５５１）と、シナリオＳの実行（完了）に関する承認欄（完了承認欄５５４）と、申請ボタン５５５などが設けられている。

【0161】

作成したシナリオＳの承認を申請するユーザは申請ボタン５５５を操作する。これにより計画承認欄５５１に承認ボタン５５２と差し戻しボタン５５３が表示され、「高圧器 検査前処理」のシナリオＳは「計画承認待」の状態となる。

【0162】

例えば管理者アカウント（特別な権限を有するユーザのアカウント）でログインした者のみが、この画面の表示および承認操作が可能となる。承認ボタン５５２の操作により、シナリオＳの作成に対する承認が行われる。承認が行われると「高圧器 検査前処理」のシナリオＳは「計画承認済」の状態となる。

【0163】

このようにして作成・承認されたシナリオＳは、作業支援装置１０の記憶手段１０４に記憶され、また通信手段１０５および通信回線ＮＷを介してサーバ装置３０にアップロードされる。

【0164】

＜＜作業開始＞＞
次に、作業対象の現実空間（現場）で作業を行う場合の流れについて、作業端末装置２０における画面表示例を参照しつつ説明する。

【0165】

まず、作業者は、作業対象の現実空間（現場）において作業端末装置２０にインストールされている端末アプリを起動し、実行するシナリオＳを取得する。端末アプリでは、連携する作業支援装置１０を設定することにより、作業端末装置２０の表示手段２０３に図１１（Ａ）に示すシナリオ一覧画面５４０（これに相当する画面）を表示可能である。なお、本実施形態ではシナリオＳ毎にアクセス権を設定しているので、作業支援装置１０においても作業端末装置２０においても、ユーザにはアクセス権を有しているシナリオＳのみが表示される。

【0166】

作業者が対象のシナリオＳを選択すると、図１２（Ａ）に示すシナリオのダウンロード画面６００に遷移する。ダウンロード画面６００は、例えばシナリオＳのタイトル（ここでは「高圧器 検査前処理」）が表示され、ダウンロードボタン６０１およびキャンセルボタン６０２等が設けられる。ダウンロードボタン６０１を操作すると「高圧器 検査前処理」のシナリオＳが作業端末装置２０にダウンロードされる。

【0167】

次に、作業者はシナリオＳの第１階層作業手順（プロセス）毎に作業担当者の割り当てを行う。作業担当者の割り当ては、第２階層作業手順情報Ｂの作業情報Ｃを更新する実行権の取得を意味する。

【0168】

図１２（Ｂ）は、作業端末装置２０にダウンロードしたシナリオＳ（ここでは「高圧器 検査前処理」）の作業担当者割り当て画面６０４の一例である。作業担当者割り当て画面６０４は例えば、シナリオＳ内の第１階層作業手順情報Ａを一覧表示し、作業担当者割り当てを行う第１階層作業手順（プロセス）を選択させるプロセス選択欄６０５と、選択したプロセス（ここでは「電源オフ」プロセス）についての詳細欄６０６と、選択したプロセスについて担当する作業担当者入力欄６０９と、担当割り当てボタン６１０などを有する。詳細欄６０６は、プロセス名欄６０７、第２階層作業手順情報欄６０８を有する。

【0169】

本実施形態では、作業情報記録手段２２６が、第１階層作業手順情報Ａ毎に、一の作業者（作業担当者）を割り当て、当該作業担当者に作業情報Ｃの更新の実行権を与える。そして、或る第１階層作業手順情報Ａ１の作業が作業担当者Ｗ１に割り当てられている期間は、他の作業担当者Ｗ２は、第１階層作業手順情報Ａ１の作業は作業情報Ｃの更新が行えないよう、排他制御される。また、実行権を取得した作業担当者Ｗ１の情報は、当該シナリオＳに記録される。

【0170】

ここでは一例として、「高圧器 検査前処理」というシナリオＳに、「電源オフ」プロセス、「開閉確認」プロセス、「メータ確認」プロセスに関する３つの第１階層作業手順情報Ａが含まれている場合を例示している。また、「電源オフ」プロセスの作業を行う作業担当者として、作業者Ｗ１を割り当てている。これにより作業者Ｗ１は、「電源オフ」プロセスの作業の実行権を専有する。この「実行権」は具体的には、「電源オフ」プロセスの第１階層作業手順情報Ａに含まれる、２つの第２階層作業手順情報Ｂの作業（「電源がオフであることを確認する」ステップ、「ポンプが動作していないことを確認する」ステップ）について、それぞれ作業情報Ｃを入力・更新する権利である。

【0171】

他の作業者Ｗ２は、作業者Ｗ１が上記２つの第２階層作業手順情報Ｂについて、作業情報Ｃの入力・更新を完了するまでは、「電源オフ」プロセスの内容（第２階層作業手順情報Ｂ）にアクセスできず、他の第１階層作業手順情報Ａ（「開閉確認」プロセスおよび「メータ確認」プロセス）についてもその内容（第２階層作業手順情報Ｂ）にアクセスできない。

【0172】

作業者Ｗ１が「電源オフ」プロセスについて実行権を解放すると、他の作業者Ｗ２は、「電源オフ」プロセス、「開閉確認」プロセスおよび「メータ確認」プロセスについての実行権の取得が可能となる。実行権は、シナリオＳをサーバ装置３０にアップロードすることで解放される。シナリオＳがサーバにアップロードされると、アカウント権限を有する者は誰でも、シナリオＳにアクセス（閲覧、ダウンロード等）を行うことができる。

【0173】

ここで、作業情報Ｃの更新の実行権を有する作業者は、形式的に一人の者であるが、現場において当該作業者（作業端末装置２０の保持者）に、作業端末装置２０を保持しない一以上の同行者があってもよい。また、作業情報Ｃの更新の実行権を有する作業者（作業端末装置２０の保持者）に加え、同行者も別の作業端末装置２０を保持してもよいが、その場合の同行者については、それぞれの作業端末装置２０の作業情報記録手段２２６の排他制御により保持する作業端末装置２０から作業情報Ｃを更新することはできない。同行者については例えば不図示の同行者欄などに入力することで、同行者をシナリオＳに記録できる。

【0174】

実行権の取得は、当該第１階層作業手順情報Ａが含まれるシナリオＳについてアクセス権がある者（アカウント）に限られる。また、この例では第１階層作業手順情報Ａ毎に実行権を与えているが、第２階層作業手順情報Ｂ毎に実行権を与えるようにしてもよい。

【0175】

＜＜作業開始＞＞
或る第１階層作業手順情報Ａについて実行権を取得した作業者は、当該作業を開始する。作業端末装置２０は、第１階層作業手順情報Ａに含まれる第２階層作業手順情報Ｂを順次表示し、作業者に案内する。第２階層作業手順（ステップ）は、リスト形式、あるいはＡＲナビゲーション形式での表示可能であり、作業者はいずれかを選択して第２階層作業手順（ステップ）を実行可能である。

【0176】

図１３（Ａ）は、「電源オフ」プロセス第２階層作業手順（ステップ）の実行モード表示方法を選択する実行モード選択画面６２０である。ここでは、第２階層作業手順情報ＢをＡＲナビゲーション形式で表示するＡＲナビモードボタン６２１と、第２階層作業手順情報Ｂをリスト形式で表示する通常モードボタン６２２とが設けられている。

【0177】

図１３（Ｂ）は、通常モードボタン６２２を選択操作した場合の、リスト形式表示画面６２３の表示例である。リスト形式表示画面６２３は図９を参照して説明した「作業情報入力画面」に対応する。通常モードでは第２階層作業手順情報Ｂ（ここでは、手順番号１（Ｎｏ．１）の「電源がオフであることを確認する」ステップ、手順番号２（Ｎｏ．２）の「ポンプが動作していないことを確認する」ステップ）がリスト形式で表示される。リスト形式表示画面６２３は、例えば、第２階層作業手順情報表示欄６２４と、作業一次停止ボタン６２５，作業終了ボタン６２６、カメラ起動ボタン６２７などを有する。

【0178】

第２階層作業手順情報表示欄６２４は、例えば設備番号ボタン６２８と作業情報入力欄６３０を有する。設備番号ボタン６２８の操作（クリック、タップ等）により、リスト形式表示画面６２３が図５（Ｂ）に示す３次元情報表示手段１１５による３次元情報の表示画面に切り替わり、設備番号に対応する設備の位置を確認できる。また、作業情報入力欄６３０は、作業情報Ｃの設定内容（図９に示す作業情報設定欄５１７の設定内容）に応じた入力領域となる。ここでは例えば、手順番号１については、チェックボックス６３１、画像添付ボタン６３２、自由テキスト入力欄６３３が設けられている。手順番号２については、チェックボックス６３１と画像添付ボタン６３２が設けられている。

【0179】

カメラ起動ボタン６２７は、操作により作業端末装置２０の撮像手段（カメラ）が起動し、映像や画像を撮影可能となる。撮影した画像は、画像添付ボタン６３２の操作により第２階層作業手順情報欄６２４に添付可能である。

【0180】

作業一次停止ボタン６２５は作業の一時停止時に操作し、作業終了ボタン６２６は作業終了時に操作するボタンである。

【0181】

作業者（作業担当者）は例えば、例えば手順番号１に則り作業を行う。この場合適宜、設備番号ボタン６２８の操作によって図５（Ｂ）に示す３次元情報の表示画面を表示し、設備の位置を確認する。なお通常モードの場合、設備までのナビゲーションは行われない。そして、「電源がオフであることを確認する」ステップを実行する。手順番号１の作業を終えた作業者は画像を添付するためカメラ起動ボタン６２７を操作する。これにより作業端末装置２０のカメラが起動し、映像や画像を撮影可能となる。設備の外観等を撮影した後は、リスト形式表示画面６２３に復帰するので、画像添付ボタン６３２を操作する。これにより手順番号１の第２階層作業手順情報Ｂに撮影した画像が添付される。その後、作業者はチェックボックス６３１に作業の終了を示すチェックマークを入れる。例えば、作業情報Ｃとして、画像（静止画、動画）の撮影および添付が必須の場合、画像の撮影前にはチェックボックス６３１への入力ができない、もしくは「写真を撮影してください」等のメッセージを表示するようにすると望ましい。

【0182】

図９に示す設定状態の場合、チェックボックス６３１へのチェックマークの入力（有り）と画像添付（有り）が判定情報Ｄとして登録されている。作業終了ボタン６２６を操作すると、作業端末装置２０の作業実施判定手段２２８は判定情報Ｄと作業情報入力欄６３０の入力内容を比較し、合致している場合（この場合は、チェックボックス６３１へのチェックマークの入力と画像添付が有ると判定した場合）、「高圧器の電源がオフであることを確認する。」作業について正当に完了した（合格）と判定する。

【0183】

作業実施判定手段２２８は、手順番号１の作業について合格判定を出した場合、作業情報Ｃを受け付けた旨の表示（例えば、「作業情報を受け付けました」などのメッセージ表示）を行う。一方、例えば、チェックボックス６３１へのチェックマークの入力がない場合などには、作業実施判定手段２２８は手順番号１の作業について不合格判定とし、警告表示（例えば、「チェックボックスにチェックしてください」などのメッセージ表示など）を行う。

【0184】

ここで、例えば作業者が、手順番号１の第２階層作業手順情報Ｂについて、判定コード生成手段１１７が生成した判定情報Ｄに対応するコード（例えば、２次元コード等）を印刷し、持参している場合は、手順番号１のステップが終了した後、作業端末装置２０によって２次元コードを読み込む。２次元コードの読み込みは作業情報入力欄６３０の入力となる。作業終了ボタン６２６の操作により、作業実施判定手段２２８は読み込まれた２次元コードの値と、手順番号１の第２階層作業手順情報Ｂに設定されている完了報告値（図９参照）を照合し、一致していれば作業が正当であると判定する。

【0185】

作業実施判定手段２２８が合格判定をすると、作業情報記録手段２２６が手順番号１の第２階層作業手順情報Ｂを、作業端末装置２０の記憶手段２０４に記憶する。これにより、作業者の操作する作業端末装置２０のローカル環境において（暫定的に）手順番号１の第２階層作業手順情報Ｂの作業情報Ｃが更新される。

【0186】

そして、作業者は次の手順（手順番号２の「ポンプが動作していないことを確認する」ステップ）について第２階層作業手順情報Ｂに基づき同様の作業を繰り返す。

【0187】

なお、第２階層作業手順（ステップ）は、手順番号の昇順に行うことを必須（手順番号１を正常に完了しないと手順番号２に進めない）としてもよいし、任意の順番で実行可能としてもよい（現場の状況に応じて適宜選択する）。

【0188】

このように設備（設備番号）と、その設備に対する手順とが１対１で紐づき、リスト形式で表示されるので、作業者はこれに従い作業をすることで漏れなく正確な作業が可能となる。

【0189】

図１４～図１６は、図１３（Ａ）に示す実行モード選択画面６２０においてＡＲナビモードボタン６２１を選択操作した場合の表示手段２０３の表示例である。作業端末装置２０は、位置推定手段２２１により自機の位置を推定可能であり、ＡＲナビモードでは、現場のライブビュー映像と、シナリオＳ（第２階層作業手順情報Ｂ）に登録されている設備に対応する（設備の位置を示す）マーク画像（ＡＲオブジェクト）とを重畳表示する。ここで、現場の作業端末装置２０が撮影するライブビュー映像の内部に生成される仮想空間（ＡＲ空間）１と、マーク画像（３次元座標データ取得アプリケーションによってマーク画像を付与した３次元座標データ、又はこれと点群データを重ねたデータ）を取得した際の仮想空間２は、原則、一致していない。このため、仮想空間１，２の仮想３次元座標軸の原点合わせ（位置合わせ）を行う必要がある。

【0190】

仮想空間１，２の仮想３次元座標軸の原点合わせは例えば以下の手順で行う。まず仮想空間２上の点を指定し、基準点１と２を決定する。基準点１は、仮想空間１と仮想空間２に共通の仮想３次元座標軸の原点（始点）で、基準点２は始点からの方向と大きさ（空間ベクトル）ベクトルを特定するものである。実際には、仮想空間１で現場に設けたＡＲマーカ１を読み取る。これが基準点１に相当する。次に仮想空間２で現場に設けた別のＡＲマーカ２を読み取る。これが基準点２に相当する。

【0191】

本実施形態では、一例として上記の原点合わせを、現場に設けられた２次元コードと、２つのＡＲマーカを用いて行う。本実施形態の作業支援システム１は、仮想空間２に、基準点１と基準点２の組（基準点ペア）を複数設定可能である。例えば基準点ペアＡは１階入り口ドアの両端、基準点ペアＢは２階入り口ドアの両端などである。２次元コードはこれらの基準点ペアＡ，Ｂを識別可能な固有値が埋め込まれる。これにより、例えば２階から作業を開始する場合は２階に設置された２次元コードを読み込むことで、これから読み込むＡＲマーカは２階入り口ドアの座標を示していることを特定することができ、１階に戻ることなく作業を開始することができる。

【0192】

具体的に、ＡＲナビモードボタン６２１を選択操作すると、図１４（Ａ）に示すように表示手段２０３がライブビュー映像ＬＶの撮影モードに切り替わり、表示領域に２次元コード読み取り枠６３５が表示される。作業者は、図１４（Ｂ）に示すように、現場に配置された基準点を識別する２次元コード６３６に２次元コード読み取り枠６３５を合わせ、これを読み込む。２次元コード６３６が読み取れた場合、図１４（Ｃ）に示すように表示領域の中央にガイド６３７が表示されるので、作業者は現場に配置された第１ＡＲマーカ６３８の中心にガイド６３７を合わせる。第１ＡＲマーカ６３８の中心とガイド６３７が一致すると、図１５（Ａ）に示すように仮想３次元座標軸を示すＡＲオブジェクト６３９が表示される。引き続き表示領域の中央にガイド６３７が表示されるので、作業者は現場に配置された第２ＡＲマーカ６４０の中心にガイド６３７を合わせる。第２ＡＲマーカ６４０の中心とガイド６３７が一致すると、図１５（Ｂ）に示すように基準線を示すＡＲオブジェクト６４１が表示される。その後決定ボタン６４２を選択操作すると、仮想空間１と仮想空間２の原点合わせが完了し、図１３（Ｂ）に示すリスト形式表示画面６２３が表示される。

【0193】

作業者は、リスト形式表示画面６２３から実行する作業（例えば、手順番号１のステップ）を選択する（第２階層作業手順情報表示欄６２４のタップ等の選択操作を行う）。これにより、図１６に示すようにＡＲナビゲーションが起動し、表示手段２０３がライブビュー映像の撮影モードに切り替わるとともに、現在の作業者の位置（実際の位置）から、選択した第２階層作業手順情報Ｂに含まれる設備までの距離や経路が、マーク画像やＡＲオブジェクトＸ（この例では矢印、設備番号表示、距離表示等）によりナビゲーションされる。なお、図１６は参考画像であり、図１２（Ｂ）に示す「開閉確認」ステップの第２階層作業手順情報Ｂに基づき、例えば設備番号「２１」の設備（バルブ）までのＡＲナビゲーションの様子を示している。

【0194】

作業者は対象となる設備（図１６の例ではバルブ（設備番号「２１」）に十分に近づいた場合、画面切り替えボタン６５０を操作してリスト形式表示画面６２３に切り替え、通常モードと同様に第２階層作業手順情報Ｂの作業を実行する。なお、ＡＲナビゲーション中において画面切り替えボタン６５０は常時表示してもよいし、例えば対象の設備に近接した場合に表示するようにしてもよい。

【0195】

作業が終了した場合の動作は、通常モードと同様である。すなわち作業情報Ｃの入力（例えばチェックボックス６３１への入力や画像添付など）を行い、作業を終了する。その後、判定情報Ｄが設定されている場合は作業実施判定手段２２８による判定が行われ、合格判定の場合は作業情報記録手段２２６が手順番号１の第２階層作業手順情報Ｂを、作業端末装置２０の記憶手段２０４に記憶する。

【0196】

次の作業手順（例えば手順番号２）に進む場合は、リスト形式表示画面６２３から実行する作業（例えば、手順番号２のステップ）を選択する。これにより再び、ＡＲナビゲーションが起動し、対応する設備までの案内が行われる。以下同様に処理を繰り返す。

【0197】

ＡＲナビモード、通常モードのいずれであっても、作業情報記録手段２２６による第２階層作業手順情報Ｂの記憶およびこれによる作業情報Ｃの更新は、作業端末装置２０のローカル環境における更新（暫定的な更新）に留まる。つまり、作業端末装置２０において、例えば、「高圧器 検査前処理」のシナリオＳが記憶手段２０４に記憶された場合、このタイミングでサーバ装置３０および作業支援装置１０が保持する「高圧器 検査前処理」のシナリオＳは更新されず、これらは作業端末装置２０が保持するシナリオＳの一世代前のシナリオＳを保持することになる。

【0198】

作業者は、予定の作業が終了したら、端末アプリが表示する所定のアップロードボタンを操作し、シナリオＳ（例えば、「高圧器 検査前処理」のシナリオＳ）をサーバ装置３０にアップロードする。つまりサーバ装置３０が保持する同一名のシナリオＳ（例えば、「高圧器 検査前処理」のシナリオＳ）はリアルタイムで更新されず、作業者による手動のアップロードにより更新される。

【0199】

またこの手動のアップロードにより、作業者Ｗ１による作業情報Ｃの更新の実行権の専有が解放される。つまり図１２（Ｂ）を参照して、作業者Ｗ１が例えば、「高圧器 検査前処理」のシナリオＳに含まれる、「電源オフ」プロセスについて（それに含まれる第２階層作業手順情報Ｂについて）作業情報Ｃの更新の実行権を専有していた場合（作業担当者となっていた場合）これが解放される。そして他の作業者Ｗ２は、「電源オフ」プロセスおよび他のプロセス（例えば、「開閉確認」プロセスや「メータ確認」プロセス）について（それに含まれる第２階層作業手順情報Ｂについて）、作業情報Ｃの更新の実行権を取得できる。

【0200】

なお、シナリオＳの記憶手段２０４への記憶、およびサーバ装置３０へのアップロードは、例えば、作業情報Ｃの更新の実行権を有している１つの第１階層作業手順情報Ａの作業（例えば、「電源オフ」プロセス）が全て終了した時点であるが、当該プロセスの作業が完了していなくても、また例えば当該プロセス内の或る第２階層作業手順情報Ｂに設定されている作業（例えば手順番号２の「ポンプが動作していないことを確認する」ステップ）の途中であっても実行可能である。

【0201】

シナリオＳをサーバ装置３０にアップロードした時点で、作業情報Ｃの更新の実行権は解放され（専有状態が解除され）、共有されるシナリオＳが最新版に更新される。また、シナリオＳをサーバ装置３０にアップロードした時点で、作業支援装置１０または他の作業端末装置２０は、最新のシナリオＳにアクセス（例えば作業の進捗状況の参照、ダウンロード等）が可能となる。本実施形態では現場から離れた遠隔地であっても、作業の進捗状況の確認が行えるため、工程管理における利便性が高まる。

【0202】

なお、仮想空間１，２の原点合わせの方法は、上記した２次元コードとＡＲマーカを用いる方法、およびＡＲマーカを用いる方法に限らない。例えば、現場の作業端末装置２０が撮影するライブビュー映像の内部に生成される仮想空間（ＡＲ空間）１内で２点を指定する方法（３次元座標データ取得アプリケーションにより指定可能）や、予め取得した現場の３次元形状データ（点群データ）と、現場の作業端末装置２０が撮影するライブビュー映像により取得した形状情報を照合させる方法など、異なる２つの仮想空間１，２の位置合わせ（原点を一致させる）を行うあらゆる方法が採用できる。

【0203】

＜＜作業完了の承認＞＞
作業端末装置２０がシナリオＳをサーバ装置３０にアップロードした場合、作業者は管理者等に対し、作業完了について承認申請をすることができる。本実施形態では、作業完了についての管理者等による承認は、第１階層作業手順情報Ａ毎の完了承認（プロセス完了承認）と、シナリオＳの完了承認（シナリオ完了承認）の２段階で行われる。

【0204】

つまり作業を終えた作業者はまず、作業端末装置２０の承認画面（例えば、図１１（Ｂ）と同様の画面）から管理者等に対し、プロセス完了承認の申請を行う。図１７（Ａ）は、作業支援装置１０側でプロセス完了承認を行う場合の、承認対象プロセス一覧画面６６０の表示例である。承認対象プロセス一覧画面６６０は、承認対象プロセス欄６６１を有し、シナリオＳ単位で承認対象プロセスに対応する第１階層作業手順情報Ａを表示する。承認対象プロセス欄６６１には、承認の申請状態（例えば、未申請、承認待ち、承認済など）が表示される。ここでは、「高圧器 検査前処理」のシナリオＳの全てのプロセスに対して承認申請が行われている。該当するプロセスを選択すると、プロセス完了承認画面に遷移する。

【0205】

図１７（Ｂ）は、プロセス完了承認画面６６５の表示例である。プロセス完了承認画面６６５は例えば、第１階層作業手順情報Ａが表示されるプロセス欄６６６と、第２階層作業手順情報Ｂが表示されるステップ欄６６７を有する。ステップ欄６６７は、設備番号ボタン６６８や作業情報確認欄６６９を有する。設備番号ボタン６６８の選択操作によりステップの対象となる設備を表示可能であり（図５（Ｂ）），作業情報確認欄６６９の選択操作により最新の作業情報Ｃを確認できる。管理者等はこれらを確認し、問題がなければプロセス完了承認ボタン６７０を操作する。これによりプロセス完了承認が行われる。

【0206】

そして、１つのシナリオＳに含まれる全てのプロセスについてプロセス完了承認が行われた場合、管理者等は図１１（Ｂ）に示す承認画面５５０において、完了承認欄５５４の完了承認ボタン５５６を操作し、当該シナリオＳの作業完了を承認する。完了承認ボタン５５６は例えば、プロセス完了承認が行われた場合に表示されるが、常時表示されてもよい。

【0207】

＜＜作業情報分析およびシナリオ修正＞＞
作業支援装置１０の作業情報分析手段１１３は、適宜、作業者によって作業情報Ｃが更新されたシナリオＳを分析する。シナリオ修正手段１１４は、その分析結果に基づき、シナリオＳの内容を自動で修正する。

【0208】

例えば、第２階層作業手順（ステップ）の実行順が限定されていない（任意の順での実行が許容されている）シナリオＳの場合、作業者が第２階層作業手順情報Ｂ毎に入力する作業情報Ｃの入力時刻を分析することで、作業者が現場で移動した経路を把握することができる。その結果、例えば、同じ第１階層作業手順（プロセス）を行う複数人（複数回）の移動の履歴から、原則的に決めている第２階層作業手順（ステップ）が効率的でない等の判断が可能となる場合がある。

【0209】

このような場合、シナリオ修正手段１１４は、自動で、当該第１階層作業手順情報Ａに含まれる第２階層作業手順情報Ｂの手順番号を、効率の良い順番に修正したり、不要と思われる設備についての作業を削除するなど、シナリオＳの修正（作業ルートの変更）を行う。

【0210】

以上説明したように、本実施形態の作業支援方法は、作業支援装置１０と作業端末装置２０を用いて現実空間における作業者による所定の作業を支援する方法であり、作業支援装置１０が、作業対象と、現実空間における該作業対象の３次元座標を紐づけた作業対象マスタＷＭを作成する工程と、作業支援装置１０が、作業対象に対する作業の手順と、該作業対象の３次元座標とを紐付けた情報群であるシナリオＳを作成する工程と、現実空間における作業者の操作に応じて作業端末装置２０がシナリオＳを取得する工程と、作業端末装置２０がシナリオＳに含まれる第１階層作業手順情報Ａと第２階層作業手順情報Ｂを表示手段２０３に表示する工程と、作業者によって入力される情報に応じて、作業端末装置２０が、第２階層作業手順情報Ｂのそれぞれに対応する作業情報Ｃを更新する工程と、作業端末装置２０が、作業支援装置１０に作業情報Ｃが更新されたシナリオＳを送信する工程と、を有する。

【0211】

そして、本実施形態の作業支援プログラムは、作業支援装置１０と作業端末装置２０に上記方法を実現させるプログラムであり、作業支援Ｗｅｂアプリと端末アプリを含むプログラムである（図３参照）。

【0212】

本実施形態によれば、作業（例えば保守作業）の実行に際し、作業対象（例えば設備）の現実空間での位置に対応する仮想３次元位置情報と、作業手順とを容易に紐付けすることができるため、作業における設備の見逃しを防ぐことができる。また、仮想３次元位置情報と作業手順の紐付けに加え、作業の完了の状態を客観的に判定する手段を有するため、誤った作業手順の実行や、作業の完了判断についての主観的なミスを回避できる。この結果、漏れや抜けの無い作業（保守作業）が可能となり、作業対象（設備）が正常な状態に保たれることで、ダウンタイムや不良品を防ぐことができる。

【0213】

［変形例］
以下、本発明に適用可能な変形例について説明する。
＜アカウントおよび作業情報記録手段の排他制御＞
上記の実施形態では、作業情報記録手段２２６は、同じ（一つの）シナリオＳについて、第１階層作業手順情報Ａ毎に、一人の作業者に作業情報Ｃを更新する実行権を与え、或る第１階層作業手順情報Ａ（Ａ１）に対応するプロセスが実行中（作業情報Ｃの更新の実行権を専有中）は、同一シナリオＳ内の他の第１階層作業手順情報Ａ（Ａ２）に対応するプロセスの実行（作業情報Ｃの更新）は不可とする排他制御を行う場合について説明した。しかしこれに限らず、例えば一つのシナリオＳ内に複数の第１階層作業手順情報Ａが含まれる場合、当該複数の第１階層作業手順情報Ａ間にあっては並列的に対応するプロセス（作業情報Ｃの更新）を許容するようにしてもよい。

【0214】

また、例えば、最新のシナリオＳ（作業情報Ｃ）のサーバ装置３０へのアップロードは、作業者による手動操作で行うのではなく、作業端末装置２０のローカル環境でシナリオＳ（作業情報Ｃ）の更新がされた場合にリアルタイムでサーバ装置３０にアップロードし、共有情報としてのシナリオＳを更新するようにしてもよい。しかしながら、その場合作業情報Ｃを更新する実行権の解放・取得が頻繁に発生するため、現場によっては作業情報Ｃを更新する実行権の解放にはある程度のタイムラグを確保する方が望ましい場合がある。また、地下など電波の届かない場所ではリアルタイムの作業情報Ｃの更新が困難となる場合もある。従って、特に作業情報Ｃを更新する実行権の取得と解放のタイミングについては、現場の状況に応じて適宜選択されることが望ましい。

【0215】

例えば、シナリオＳがサーバ装置３０にアップロードされない限り、作業情報Ｃの更新の実行権を有する作業者（作業担当者）以外の者はシナリオＳの内容が確認できないとなると、管理者や、後続の作業を行う作業者にとって作業の進捗状況がブラックボックスとなり、スケジュール管理が困難になる。このような場合は、特に通信環境が整っていることを前提として、例えば図１２（Ｂ）に示す担当者割り当て画面６０４等に、作業情報Ｃの更新の実行権の取得ボタンおよび実行権の解放ボタンなどを設け、これらのボタン操作に応じて実行権の取得、解放を行うようにしてもよい。この場合、実行権の有無とは別に作業情報Ｃの更新の情報（暫定の更新情報）はリアルタイムでサーバ装置３０にアップロードする。或る作業者Ｗ１が作業情報Ｃの更新の実行権を有している期間、管理者、および実行権を有さない他の作業者Ｗ２は、当該シナリオＳ（第２階層作業手順情報Ｂ）の更新は行えないが、閲覧や承認は可能となりブラックボックス化は解消する。そして実行権の解放ボタンが操作されると、共有情報となるシナリオＳが最新の状態に更新される。

【0216】

またこの場合、作業情報Ｃの更新の実行権の解放ボタンが操作された場合に、特に後続の作業者に向けて、実行権の解放を通知するようにしてもよい。

【0217】

また、通信環境の状態に応じて、シナリオＳのアップロードのタイミング（即時に行うか否か）を切り替えるようにしてもよい。

【0218】

＜作業情報の入力と判定＞
例えば、位置推定手段２２１により作業端末装置２０が自機の位置を推定し、シナリオＳ（第２階層作業手順情報Ｂ）に設定された設備の付近にいると推定された場合、作業実施判定手段２２８は、自動で、当該第２階層作業手順情報Ｂの作業情報Ｃを入力（例えば、チェックリスト欄にチェックマークを入力）するようにしてもよい。また、作業実施判定手段２２８は、画像処理によって作業者が撮影しているライブビュー映像に対象の設備が写っていること、更にはその設備の状態（例えば、設備のメータの目盛りが想定値欄５１６Ｆの値と同等と判断できるか、等を判定し、第２階層作業手順情報Ｂの作業が正当に完了していると判定した場合には、当該第２階層作業手順情報Ｂの作業情報入力欄６３０（図１３（Ｂ））への入力（例えば、チェックボックス６３１のチェックマーク入力や、撮影した画像の添付など）を実行してもよい。

【0219】

また、位置推定手段２２１により自機の位置を推定し、作業対象（設備）の近傍（例えば１ｍ以内など）に移動しない限り、作業情報入力欄６３０への入力の入力ができないようにしてもよい。

【0220】

＜作業対象リストおよびシナリオ＞
作業対象リストおよびシナリオＳは、作業の対象領域である現場から離れた場所で作成するものでなく、現場で作成するものであってもよい。例えば、現場でシナリオＳを作成しながら、作業対象（設備）については、３次元座標データ取得アプリケーションにより、現場のライブビュー映像を表示しながら設備の位置にマーク画像を付与する。これにより設備の実位置に対応した仮想空間における設備の３次元座標を特定できる。

【0221】

＜その他の構成＞
本実施形態の作業支援プログラムは、ロボットやドローンにも適用できる。

【0222】

また、作業の実施を記録、照明する作業情報Ｃは、画像（静止画、動画）に限らず、例えば、作業端末装置２０の各種センサ２１１により取得する可能なデータ、または作業端末装置２０と連携する機器（例えば、照度温度計など）から取得可能なデータ（例えば、照度、温度、音、振動、（瞬間）流量など）であってもよい。

【0223】

また、例えば作業者にモーションキャプチャを携帯させるなどし、作業者の実際の姿勢、および／または作業端末装置２０の向きや姿勢が作業（第２階層作業）で想定される作業者の姿勢（想定値）と大きく異なっている場合は、作業実施判定手段２２８等により正しい作業ができていないと判定し、警告を表示したり作業情報Ｃの入力を受け付けないようにしてもよい。

【0224】

また、作業マニュアルについて例えば改訂や新規追加の場合などは特に、作業前に表示手段２０３に作業マニュアルを表示し、それを最後まで読んだか否かを作業実施判定手段２２８等により判定し、最後まで読んでいない場合は警告を出す（作業情報Ｃの入力を不可とする）ようにしてもよい。

【0225】

また、特に作業端末装置２０については、手動の操作に加えて（または代えて）、音声認識技術により操作や記録を行うようにしてもよい。

【0226】

また、作業の実施状況をＡＲオブジェクトにより作業端末装置２０の表示手段２０３にリアルタイムで表示し、複数人（作業者と同行者）により同時に作業を行うようにしてもよい。

【0227】

また、位置推定手段２２１により推定した自機の位置情報に基づき、シナリオＳによって設定されている作業ルートを外れた場合に、作業者に対し表示や音声等で警告を報知してもよい。

【0228】

また、作業実施判定手段２２８は、例えば、位置推定手段２２１により推定した自機の位置情報に基づき、作業の対象となる設備が正しいか否かを判定してもよい。また、特に作業情報Ｃが設備の数値（メータや目盛りなど）である場合には、入力された作業情報Ｃが、（設備としての）各種規定に適合しているか否かを判定してもよい。また、ライブビュー映像と３次元形状データの特徴照合により、設備を識別してもよい。

【0229】

また、シナリオ作成手段１１１は、ＢＩＭプロパティから作業情報Ｃや判定情報Ｄを自動生成してもよい。また、過去のシナリオＳや、作業中の作業情報Ｃに基づき、実行中のシナリオＳとは異なる対応（緊急対応）が必要と判断した場合は新たなシナリオＳを自動生成するようにしてもよい。また、前回の作業（例えば点検など）からの経過日数に基づき、次回の作業を推定し、シナリオＳを自動生成するようにしてもよい。

【0230】

また、作業情報分析手段１１３は、例えば、過去のシナリオＳ（入力された作業情報）に基づき、作業者の姿勢や位置を算出することにより、作業時の作業者の位置や姿勢を最適化してもよい。また、作業時間の分析からボトルネックを抽出し、問題のある作業方法やルートを解析してもよい。

【0231】

本実施形態の作業支援装置１０および作業端末装置２０が取得、生成した情報はいずれも、他の作業端末装置２０や他の作業端末装置２０、それ以外の他の装置（例えば、サーバ装置や他のＰＣ、他のタブレット端末など）と共用可能である。

【0232】

本実施形態の作業支援装置１０は単一の装置で構成されるものに限らず、作業支援装置１０を構成する手段が複数の装置に分散されるものであってもよい。

【0233】

また、本実施形態の作業端末装置２０は単一の装置で構成されるものに限らず、作業端末装置２０を構成する手段が複数の装置に分散されるものであってもよい。
ようにしてもよい。

【0234】

上記の実施形態では、３次元座標データや３次元形状データは、作業端末装置２０の３次元情報取得手段２２３によって取得する場合を例に説明したが、これに限らない。すなわち、作業支援装置１０は、作業端末装置２０とは別の装置によって取得した３次元座標データや３次元形状データに基づき、シナリオＳを生成し、および／または仮想作業をシミュレーションするものであってもよい。

【0235】

また上記の実施形態では、作業端末装置２０がタブレット端末型の装置である場合を例に説明したが、これに限らず、例えば、ワイヤレスで頭部に装着するヘッドマウントディスプレイ型（あるいは眼鏡型）の装置（眼鏡型のＡＲグラスや、複合現実（ＭＲ）プラットフォーム用デバイス（例えば、ホログラフィックコンピューティングを実現するヘッドマウントディスプレイ型デバイス）など）であってもよい。

【0236】

また、以上説明した、作業端末装置２０および作業支援システム１を構成する各手段について、ハードウェア資源として説明した手段の一部または全てを、同等の機能を実現するソフトウェア資源に置き換えてもよい。また、作業端末装置２０および作業支援システム１を構成する各手段について、ソフトウェア資源として説明した手段の一部または全てを、同等の機能を実現するハードウェア資源に置き換えてもよい。

【0237】

また、上記の実施形態では、仮想視聴覚処理手段２２２がＡＲ処理手段である場合を例に説明するが、仮想視聴覚処理手段２２２は例えば、仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ：ＶＲ）を実現する仮想現実（ＶＲ）処理手段（ＶＲプラットフォーム）や、複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：ＭＲ）を実現する複合現実（ＭＲ）処理手段（ＭＲプラットフォーム）などであってもよい。

【0238】

また、本発明の作業支援装置、作業支援システム、作業支援方法および作業支援プログラムは、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

【符号の説明】

【0239】

１ 作業支援システム
１０ 作業支援装置
２０ 作業端末装置（タブレット端末）
３０ サーバ装置
３５ クラウドサーバ
１０１ 制御手段
１０２ 入力手段
１０３ 表示手段（ディスプレイ）
１０４ 記憶手段
１０５ 通信手段
１０６ 出力手段
１１０ 作業対象マスタ作成手段
１１１ シナリオ作成手段
１１２ シミュレーション手段
１１３ 作業情報分析手段
１１４ シナリオ修正手段
１１５ ３次元情報表示手段
１１６ 承認手段
１１７ 判定コード生成手段
２０ 作業端末装置
２０１ 制御手段
２０２ 入力手段
２０３ 表示手段（ディスプレイ）
２０４ 記憶手段
２０５ 通信手段
２０６ 出力手段
２０７ 撮像手段
２０８ ３次元形状データ取得手段
２１０ レンズ
２１１ 各種センサ
２２１ 位置推定手段
２２２ 仮想視聴覚処理手段
２２３ ３次元情報取得手段
２２４ ３次元座標データ取得手段
２２６ 作業情報記録手段
２２７ ナビゲーション手段
２２８ 作業実施判定手段
Ｓ シナリオ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】