特開 2024-120296 作業支援システム及び作業支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024120296

(43)【公開日】2024-09-05

(54)【発明の名称】作業支援システム及び作業支援方法

(51)【国際特許分類】

   G06Q 10/20 20230101AFI20240829BHJP

   G06F 3/01 20060101ALI20240829BHJP

【ＦＩ】

G06Q10/20

G06F3/01 510

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023026989

(22)【出願日】2023-02-24

(71)【出願人】

【識別番号】504373093

【氏名又は名称】日立チャネルソリューションズ株式会社

(71)【出願人】

【識別番号】506302826

【氏名又は名称】日立ターミナルメカトロニクス株式会社

(74)【代理人】

【識別番号】110002365

【氏名又は名称】弁理士法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】松尾 浩和

【テーマコード（参考）】

5E555

5L049

【Ｆターム（参考）】

5E555AA54

5E555BA02

5E555BB02

5E555BC17

5E555BD01

5E555BE17

5E555CA42

5E555CA47

5E555CB65

5E555DB03

5E555DC10

5E555FA00

5L049CC15

(57)【要約】

【課題】複合現実を用いた作業支援において、作業漏れを防止する。
【解決手段】作業者に装着されたＭＲデバイス１は、ＭＲデバイス１が作業者ｍに装着され、作業が開始されると、作業データに基づいて、表示部１１ｄを透過する作業対象であるＡＴＭ３の像に合わせて、ＡＴＭ３の作業内容及び作業箇所の識別画像を表示部１１ｄに表示する。そしてＭＲデバイス１は、アイトラッキングセンサ１２によって計測した作業者ｍの視線がＡＴＭ３の作業箇所に向いているか否かを判定し、判定結果を作業実績データに含めて保存する。
【選択図】図２

【特許請求の範囲】

【請求項1】

作業者に装着されたウェアラブル装置を有し、該ウェアラブル装置を用いて前記作業者が作業対象に対して行う作業の支援を実行する作業支援システムであって、
前記ウェアラブル装置は、
前記作業の作業内容及び前記作業対象における作業箇所を示す識別画像に関する情報を含んだ作業データと、前記作業者による前記作業の記録を含んだ作業実績データとを記憶する記憶部と、
前記ウェアラブル装置が前記作業者に装着された際に、前記作業者に対して前記作業対象を透過して視認させると共に、所定の情報を表示する表示部と、
前記ウェアラブル装置が前記作業者に装着された際に、前記作業者の視線を計測する視線計測センサと、
処理部と、を有し、
前記処理部は、
前記ウェアラブル装置が前記作業者に装着され、前記作業が開始されると、前記作業データに基づいて、前記表示部を透過する前記作業対象の像に合わせて、該作業に係る前記作業内容及び前記識別画像を前記表示部に表示し、
前記視線計測センサによって計測した前記ウェアラブル装置を装着する前記作業者の視線が前記作業箇所に向いているか否かを判定し、
前記作業者の視線が前記作業箇所に向いているか否かの判定結果を前記作業実績データに含めて保存する
ことを特徴とする作業支援システム。

【請求項2】

請求項１に記載の作業支援システムであって、
前記ウェアラブル装置は、音声を検知するマイクロフォンを有し、
前記処理部は、
所定の単語の発声が前記マイクロフォンによって検知された際に計測した前記作業者の視線が前記作業箇所に向いているか否かを判定する
ことを特徴とする作業支援システム。

【請求項3】

請求項２に記載の作業支援システムであって、
前記処理部は、
前記所定の単語の発声が前記マイクロフォンによって検知された際に計測した前記作業者の視線が前記作業箇所に向いている際に、
次に実施される前記作業がある場合には、次に実施される該作業に係る前記作業内容及び前記識別画像を前記表示部に表示し、
次に実施される前記作業がない場合には、処理を終了する
ことを特徴とする作業支援システム。

【請求項4】

請求項２に記載の作業支援システムであって、
前記処理部は、
前記所定の単語の発声が前記マイクロフォンによって検知された際に計測した前記作業者の視線が前記作業箇所に向いていない場合に、該視線を該作業箇所に向けて前記所定の単語を発声するように、前記作業者に通知を行う
ことを特徴とする作業支援システム。

【請求項5】

請求項２に記載の作業支援システムであって、
前記処理部は、
前記所定の単語の発声が前記マイクロフォンによって検知された際に計測した前記作業者の視線が前記作業箇所に向いていると判定するまでに、該視線が該作業箇所に向いていないと判定した回数を前記作業実績データに含めて保存する
ことを特徴とする作業支援システム。

【請求項6】

請求項１に記載の作業支援システムであって、
前記ウェアラブル装置は、カメラを有し、
前記処理部は、
前記作業者の視線が前記作業箇所に向いている場合に、前記作業者の操作に応じて、前記カメラを用いて前記作業者の視界を撮影し、
前記視界を撮影した画像データを、前記作業実績データに含めて保存する
ことを特徴とする作業支援システム。

【請求項7】

請求項１に記載の作業支援システムであって、
前記処理部は、
前記識別画像に代えて、前記作業箇所の周囲をマスクするマスク画像を前記表示部に表示する
ことを特徴とする作業支援システム。

【請求項8】

請求項５に記載の作業支援システムであって、
サーバを有し、
前記サーバは、
前記ウェアラブル装置の前記処理部によって前記作業実績データに含めて保存された前記回数を前記作業者毎に集計する
ことを特徴とする作業支援システム。

【請求項9】

請求項１に記載の作業支援システムであって、
複数の前記作業者がそれぞれ装着する複数の前記ウェアラブル装置を有し、
各前記ウェアラブル装置の前記処理部のそれぞれは、
同一の前記作業データに基づいて、前記作業内容及び前記識別画像を、各前記ウェアラブル装置の前記表示部に表示し、
各前記ウェアラブル装置の前記視線計測センサによって計測した各前記ウェアラブル装置を装着する各前記作業者の視線が前記作業箇所に向いているか否かを判定し、
各前記作業者の視線が前記作業箇所に向いているか否かの判定結果を前記作業実績データに含めて保存する
ことを特徴とする作業支援システム。

【請求項10】

請求項９に記載の作業支援システムであって、
各前記ウェアラブル装置は、それぞれがカメラを有し、
各前記ウェアラブル装置の前記処理部のそれぞれは、
各前記作業者の視線が前記作業箇所に向いている場合に、各前記作業者の操作に応じて、各前記ウェアラブル装置が有する前記カメラを用いて前記作業者の視界を撮影し、
前記視界を撮影した画像データを、前記作業実績データに含めて保存する
ことを特徴とする作業支援システム。

【請求項11】

請求項１０に記載の作業支援システムであって、
各前記ウェアラブル装置の前記処理部のそれぞれは、
前記作業内容及び前記識別画像を各前記ウェアラブル装置の前記表示部に表示する際に、複数の前記作業者のうちの他の前記作業者が装着する前記ウェアラブル装置によって撮影された前記画像データが既にある場合には、該画像データをさらに該表示部に表示する
ことを特徴とする作業支援システム。

【請求項12】

作業者に装着されたウェアラブル装置を有し、該ウェアラブル装置を用いて前記作業者が作業対象に対して行う作業の支援を実行する作業支援システムが実行する作業支援方法であって、
前記ウェアラブル装置は、
前記作業の作業内容及び前記作業対象における作業箇所を示す識別画像に関する情報を含んだ作業データと、前記作業者による前記作業の記録を含んだ作業実績データとを記憶する記憶部と、
前記ウェアラブル装置が前記作業者に装着された際に、前記作業者に対して前記作業対象を透過して視認させると共に、所定の情報を表示する表示部と、
前記ウェアラブル装置が前記作業者に装着された際に、前記作業者の視線を計測する視線計測センサと、
処理部と、を有し、
前記処理部が、
前記ウェアラブル装置が前記作業者に装着され、前記作業が開始されると、前記作業データに基づいて、前記表示部を透過する前記作業対象の像に合わせて、該作業に係る前記作業内容及び前記識別画像を前記表示部に表示し、
前記視線計測センサによって計測した前記ウェアラブル装置を装着する前記作業者の視線が前記作業箇所に向いているか否かを判定し、
前記作業者の視線が前記作業箇所に向いているか否かの判定結果を前記作業実績データに含めて保存する
各処理を含んだことを特徴とする作業支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業支援システム及び作業支援方法に関する。

【背景技術】

【0002】

文字や図形等の情報を現実世界に合わせて表示及び操作可能にすることで、現実世界とデジタル情報を融合させる複合現実（ＭＲ：Mixed Reality）がある。例えば特許文献１には、複合現実を用いて作業者の作業を支援する作業支援システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１４９１４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、上述した従来技術では、作業者がある作業の完了の確認を怠っても次の作業へ移行することができるため、作業漏れが発生してしまう場合があるという問題があった。

【0005】

本発明の目的は上述の問題を考慮して、複合現実を用いた作業支援において、作業漏れを防止することを目的とする。

【課題を解決するための手段】

【0006】

かかる課題を解決するため本発明の一態様では、作業者に装着されたウェアラブル装置を有し、該ウェアラブル装置を用いて前記作業者が作業対象に対して行う作業の支援を実行する作業支援システムであって、前記ウェアラブル装置は、前記作業の作業内容及び前記作業対象における作業箇所を示す識別画像に関する情報を含んだ作業データと、前記作業者による前記作業の記録を含んだ作業実績データとを記憶する記憶部と、前記ウェアラブル装置が前記作業者に装着された際に、前記作業者に対して前記作業対象を透過して視認させると共に、所定の情報を表示する表示部と、前記ウェアラブル装置が前記作業者に装着された際に、前記作業者の視線を計測する視線計測センサと、処理部と、を有し、前記処理部は、前記ウェアラブル装置が前記作業者に装着され、前記作業が開始されると、前記作業データに基づいて、前記表示部を透過する前記作業対象の像に合わせて、該作業に係る前記作業内容及び前記識別画像を前記表示部に表示し、前記視線計測センサによって計測した前記ウェアラブル装置を装着する前記作業者の視線が前記作業箇所に向いているか否かを判定し、前記作業者の視線が前記作業箇所に向いているか否かの判定結果を前記作業実績データに含めて保存することを特徴とする。

【発明の効果】

【0007】

本発明によれば、複合現実を用いた作業支援において、作業漏れを防止することができる。

【図面の簡単な説明】

【0008】

【図1】実施形態１に係る作業支援システムの構成例の概略を示す図。

【図2】実施形態１に係る作業支援システムの構成例を示す図。

【図3】実施形態１に係る作業データ（作業項目リスト）の構成例を示す図。

【図4】実施形態１に係る作業画像ファイルの表示例を示す図。

【図5】実施形態１に係る作業データ（表示座標リスト）の構成例を示す図。

【図6】実施形態１に係る作業実績データの構成例を示す図。

【図7】実施形態１に係る作業統計データ（抽出）の構成例を示す図。

【図8】実施形態１に係る作業統計データ（集計）の構成例を示す図。

【図9】実施形態１に係る作業データダウンロード処理の例を示すフローチャート。

【図10】実施形態１に係る入力画面の例を示す図。

【図11】実施形態１に係る位置決めコード画像読み取り指示画面の例を示す図。

【図12】実施形態１に係る作業実績登録処理の例を示すフローチャート。

【図13】実施形態１に係る作業内容表示及び作業箇所表示の例を示す図。

【図14】実施形態１に係る作業位置の注視のワーニング表示の例を示す図。

【図15】実施形態１に係る作業対象の遷移表示の例を示す図。

【図16】実施形態１に係る作業対象の周辺マスク表示の例を示す図。

【図17】実施形態２に係る作業支援システムの構成例の概略を示す図。

【図18】実施形態２に係る作業実績リストの構成例を示す図。

【発明を実施するための形態】

【0009】

以下、図面に基づいて本発明の実施形態を詳述する。以下の実施形態は、図面を含め例示に過ぎず、本発明を限定するものではない。以下の実施形態を説明するための各図面において同一の符号は同一あるいは類似の機能を備えた構成要素又は処理を示し、後出の説明を省略する。また各実施形態、各実施例、及び各変形例は、本発明の技術思想の範囲内かつ整合する範囲内で一部又は全部を適宜組合せることができる。

【0010】

以下の実施形態において、作業支援システム及びその構成要素の位置、向き、形状、又は大きさが限定されるものではない。また実施形態の説明及び図示における構成要素の数は、一例に過ぎない。

【0011】

以下の実施形態において、同一又は類似の複数の構成要素に同一の符号と異なる枝番号を付与して区別して説明する。また、同一の符号と異なる枝番号を付与した同一又は類似の複数の構成要素を総称する場合には、枝番号を除く同一の符号のみで表記して説明する。

【0012】

以下の実施形態では、作業支援システムが複合現実を用いて支援を行う作業は、ＡＴＭ（Automatic Teller Machine）の保守作業であるとする。しかし本願に係る技術はＡＴＭの保守作業に限らず、様々な装置の製造や組み立て、保守作業、倉庫内作業、医療、介護といった種々の屋内外作業にも適用できる。

【0013】

以下の説明では、実施形態で開示する技術と直接関係しない事項の説明を適宜省略する場合がある。また、後出の実施形態では、既出の実施形態と重複する事項の説明を省略し、差分を中心に説明する場合がある。

【0014】

以下の説明では、情報をテーブル形式で説明するが、情報はテーブル形式に限られず、他の形式であってもよい。以下の説明で図示する各データはあくまで表示例に過ぎず、実際の値を示すものではない。

【0015】

以下の説明におけるプロセッサは、ＣＰＵ（Central Processing Unit）とするが、ＭＰＵ（Micro Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）等でもよい。またメモリは、半導体を用いた一次記憶装置である。またストレージは、磁気ディスク又は半導体を用いた二次記憶装置である。

【0016】

［実施形態１］
（実施形態１に係る作業支援システム１Ｓの構成）
図１は、実施形態１に係る作業支援システム１Ｓの構成例の概略を示す図である。図２は、実施形態１に係る作業支援システム１Ｓの構成例を示す図である。

【0017】

作業支援システム１Ｓは、図１に示すように、ＡＴＭ３の保守点検作業を行う作業者ｍの頭部に装着されるＭＲ（Mixed Reality）デバイス１及び作業管理サーバ２を含んで構成される。ＭＲデバイス１は、ウェアラブル装置の一例である。ＭＲデバイス１と作業管理サーバ２は、無線通信（例えばＷｉ－Ｆｉ（登録商標）等の近距離無線通信）が可能である。

【0018】

ＭＲデバイス１は、例えばゴーグル型あるいは眼鏡型といった身体に装着可能な情報機器の一種であるウェアラブルデバイスである。ＭＲデバイス１は、作業者ｍの頭部に装着された際に、作業者ｍの眼前に位置するゴーグル又はメガネのレンズ部分に透過ディスプレイを備える。ＭＲデバイス１は、作業者ｍに眼前の作業対象のＡＴＭ３を視認させつつ、ＡＴＭ３に付加又は重畳するように各種情報を表示する。

【0019】

ＭＲデバイス１は、プロセッサ１１ｐ、メモリ１１ｍ、ストレージ１１ｓｔ、表示部１１ｄ、スピーカ１１ｓｐ、通信部１１ｃ、アイトラッキングセンサ１２、カメラ１３、環境認識センサ１４、及びマイクロフォン１５を含んで構成される。

【0020】

プロセッサ１１ｐは、メモリ１１ｍと協働してプログラムを実行し、ＭＲデバイス１の各構成要素を制御する。ストレージ１１ｓｔは、プロセッサ１１ｐが実行するプログラム及び各種データを格納する記憶部である。

【0021】

表示部１１ｄは、ＭＲデバイス１が作業者ｍの頭部に装着された際に作業者ｍの眼前に位置するゴーグル又はメガネのレンズ部分に該当する透過ディスプレイである。表示部１１ｄは、表示部１１ｄを透過したＡＴＭ３の像にホログラムや各種情報を付加又は重畳するように表示する。スピーカ１１ｓｐは、音声を出力する。

【0022】

通信部１１ｃは、ＭＲデバイス１が作業管理サーバ２やその他の外部機器と無線通信を行うための通信インターフェースである。

【0023】

アイトラッキングセンサ１２は、ＭＲデバイス１を装着する作業者ｍの視線を計測する視線計測センサである。

【0024】

カメラ１３は、ＭＲデバイス１を装着する作業者ｍの視線方向の対象物を撮影する。カメラ１３は、対象物を撮影する際、対象物に付加又は重畳するように表示部１１ｄに表示された情報を、対象物と共に撮影することができる。

【0025】

環境認識センサ１４は、画像センサ、深度センサ、ジャイロセンサ等を含み、ＭＲデバイス１を装着する作業者ｍが位置する環境の認識に必要な情報を取得する。マイクロフォン１５は、ＭＲデバイス１を装着する作業者ｍの声やＭＲデバイス１を装着する作業者ｍが位置する環境の環境音を取得する。

【0026】

作業管理サーバ２は、ストレージ２１、プロセッサ２２、メモリ２３、及び通信部２４を含んで構成される。

【0027】

ストレージ２１は、作業データ２１１、作業実績データ２１２、及び作業統計データ２１３を格納する記憶部である。作業データ２１１には、作業データ（作業項目リスト）２１１１（図３）と、作業データ（表示座標リスト）２１１２（図５）が含まれる。作業統計データ２１３には、作業統計データ（抽出）２１３１（図７）と、作業統計データ（集計）２１３２（図８）が含まれる。

【0028】

プロセッサ２２は、メモリ２３と協働してプログラムを実行することで実現される作業データ管理部２２１、作業実績データ管理部２２２、及び作業結果統計処理部２２３を有する。

【0029】

作業データ管理部２２１は、ＭＲデバイス１からのダウンロード要求に応じて、ストレージ２１に格納されている該当の作業データ２１１を要求元のＭＲデバイス１に送信する。作業実績データ管理部２２２は、ＭＲデバイス１から送信された作業実績データ２１２をストレージに格納する。作業結果統計処理部２２３は、作業実績データ２１２を集計し、作業統計データ（抽出）２１３１と、作業統計データ（集計）２１３２を作成し、作業統計データ２１３としてストレージ２１に格納する。

【0030】

通信部２４は、作業管理サーバ２がＭＲデバイス１と無線通信を行うための通信インターフェースである。

【0031】

（実施形態１に係る作業データ（作業項目リスト）２１１１の構成）
図３は、実施形態１に係る作業データ（作業項目リスト）２１１１の構成例を示す図である。作業データ（作業項目リスト）２１１１は、作業データ２１１を構成するデータの１つであり、作業順序が設けられた作業対象のＡＴＭ３の機種毎の各作業内容等を示す。作業データ（作業項目リスト）２１１１の各レコードに該当する各作業項目に対して、後述の「作業ＩＤ」をファイル名とする作業画像ファイル１１ｄ０が設けられる。作業画像ファイル１１ｄ０に基づいて、ＭＲデバイス１の表示部１１ｄに各作業内容が表示される（図４）。

【0032】

作業データ（作業項目リスト）２１１１は、「作業順序」「作業ＩＤ」「キーワード」「作業内容」「作業位置数」「視線チェック」「エビデンス撮影」「動画ファイル名」の項目を有する。

【0033】

「作業順序」は、各作業の実施順序である。「作業順序」に従って、該当する作業の作業画像ファイル１１ｄ０の画像（図４）が表示される。「作業ＩＤ」は、作業内容を示す識別情報である。

【0034】

「キーワード」は、各作業の完了時の音声操作で「確認」の発声前に発声される単語である。各作業の完了時に「キーワード」を付加した発声が行われることで、ＭＲデバイス１の各作業における発声検知の精度を高めることができる。「キーワード」は設定を省略できる。「作業内容」は、作業の具体的内容を示し、例えば作業画像ファイル１１ｄ０の画像（図４）の上部に表示されるテキストである。

【0035】

「作業箇所数」は、各作業における作業箇所の数である。作業者ｍがＭＲデバイス１を装着した状態で表示部１１ｄを透過して視認するＡＴＭ３の像において、作業箇所が、例えば“○”や“□”の記号で囲んで識別表示される。「視線チェック」は、作業完了の音声操作時に視線チェックを実施するかを“０”（視線チェックなし）、“１”（視線チェックあり）のフラグで表す。

【0036】

「エビデンス撮影」は、作業完了の音声操作時に作業者視点の画像を撮影するかを、“０”（撮影なし）、“１”（撮影あり）のフラグで表す。「動画ファイル名」は、ＭＲデバイス１の表示部１１ｄに表示する作業内容を示す動画が存在する場合に、そのファイル名を示す。

【0037】

（実施形態１に係る作業画像ファイル１１ｄ０の表示）
図４は、実施形態１に係る作業画像ファイル１１ｄ０の表示例を示す図である。例えば作業データ（作業項目リスト）２１１１（図３）の「作業順序」“１”、「作業ＩＤ」“ＡＴＭ－００１”で識別される作業データ（作業項目）の作業画像を提供する作業画像ファイル１１ｄ０は、ファイル名“ATM-001.jpg”である（図４）。

【0038】

作業画像ファイル１１ｄ０に基づく作業画像は、作業データ（作業項目リスト）２１１１の「作業順序」に該当する作業順序表示１１ｄａ、「作業内容」に該当する作業内容表示１１ｄｂ、「視線チェック」に該当する視線チェック要否アイコン１１ｄｃを備える。また作業画像ファイル１１ｄ０に基づく作業画像は、「エビデンス撮影」に該当するエビデンス撮影要否アイコン１１ｄｄ、「動画ファイル名」に該当する動画ファイルアイコン１１ｄｅを備える。また作業画像ファイル１１ｄ０に基づく作業画像は、作業指示表示１１ｄｆを備える。作業指示表示１１ｄｆは、作業者ｍに対して作業の具体的な指示を与える。これらの表示によって、該当の作業に関する情報やその有無、作業者ｍの各操作の要否等が確認できる。

【0039】

（実施形態１に係る作業データ（表示座標リスト）２１１２の構成）
図５は、実施形態１に係る作業データ（表示座標リスト）２１１２の構成例を示す図である。作業データ（表示座標リスト）２１１２は、作業データ２１１を構成するデータの１つである。作業データ（表示座標リスト）２１１２は、作業順序が設けられた作業対象であるＡＴＭ３の機種毎の各作業に対応する作業画像ファイル又は図形を、複合現実によって表示部１１ｄの表示上でＡＴＭ３の像に付加する際の表示位置及びサイズ等を示す。

【0040】

作業データ（表示座標リスト）２１１２は、「作業順序」「作業位置番号」「表示タイプ」「PosX」「PosY」「PosZ」「RotX」「RotY」「RotZ」「Width」「Height」「Mask」の項目を有する。

【0041】

「作業順序」は、作業データ（作業項目リスト）２１１１の「作業順序」と同様である。「作業箇所番号」は、「作業ＩＤ」で識別される１つの作業において作業画像又は図形が示す作業箇所の番号である。「作業箇所番号」には、“０”が作業画像の座標データであり、“１”以降で作業箇所の数だけのデータが存在する。

【0042】

「表示タイプ」は、表示するオブジェクトの種別を示し、“０”が作業画像、“１”が“○”の図形、“２”が“□”の図形を示す。“PosX”は、表示する作業画像又は図形のＡＴＭ３における原点からの横方向の距離に相当するＸ軸座標を示す。「PosY」は、表示する作業画像又は図形のＡＴＭ３における原点からの高さ方向の距離に相当するＹ軸座標を示す。「PosZ」は、表示する作業画像又は図形のＡＴＭ３における原点からの奥行横方向の距離に相当するＺ軸座標を示す。

【0043】

「RotX」は、表示する作業画像又は図形のＡＴＭ３の後述の基準座標系におけるＸ軸方向の表示角度を示す。「RotY」は、表示する作業画像又は図形のＡＴＭ３の基準座標系におけるＹ軸方向の表示角度を示す。「RotZ」は、表示する画像又は図形のＡＴＭ３の基準座標系におけるＺ軸方向の表示角度を示す。「Width」は、表示する作業画像又は図形の横幅を示す。「Height」は、表示する作業画像又は図形の縦長を示す。「Mask」は、作業箇所の周囲をホログラム等のマスク画像でマスクする範囲を数値で示す。「Mask」“０”はマスクなしである。

【0044】

（実施形態１に係る作業実績データ２１２の構成）
図６は、実施形態１に係る作業実績データ２１２の構成例を示す図である。作業実績データ２１２は、一連の作業の実施時にＭＲデバイス１のストレージ１１ｓｔに一旦格納され、一連の作業の実施時に作業管理サーバ２へ送信されて作業管理サーバ２に保存される。

【0045】

作業実績データ２１２は、「作業順序」「作業ＩＤ」「作業内容」「製造番号」「作業結果」「作業者ＩＤ」「端末ＩＤ」「作業日時」「作業時間」「視線確認回数」「視線ＮＧ回数」「エビデンス画像ファイル名」の列を有する。

【0046】

「作業順序」は、作業データ（作業項目リスト）２１１１及び作業データ（表示座標リスト）２１１２と同様である。「作業ＩＤ」は、作業データ（作業項目リスト）２１１１と同様である。「作業内容」は、作業データ（作業項目リスト）２１１１と同様である。「作業結果」は、ＭＲデバイス１のマイクロフォン１５を介した音声入力によって“ＯＫ”／“ＮＧ”の何れか又は“対象外”が登録される。“ＮＧ”の場合、作業が中断され、対処を実施後、この“ＮＧ”の作業項目から作業が再開されるとしてもよい。

【0047】

「作業日時」は、該当の作業結果を登録した日時である。「作業者ＩＤ」は、該当の作業を実施した作業者ｍの識別情報である。「端末ＩＤ」は、該当の作業結果を登録したＭＲデバイス１の識別情報である。

【0048】

「視線確認回数」は、該当の作業において作業対象の作業位置を注視しなければならない回数である。すなわち「視線確認回数」は、作業データ（作業項目リスト）２１１１において、作業対象のＡＴＭ３での一連の作業において「視線チェック」“１”となっている作業の数である。

【0049】

「視線ＮＧ回数」は、作業データ（作業項目リスト）２１１１において「視線チェック」ありの作業項目で、作業箇所を示す図形内を作業者ｍが見ずに「確認」を発声した回数である。“作業者が作業箇所を示す図形内を見ている”かは、ＭＲデバイス１のアイトラッキングセンサ１２による作業者ｍの視線計測で計測可能である。“作業者の「確認」の発声”は、ＭＲデバイス１のマイクロフォン１５によって検知可能である。「視線ＮＧ回数」は、作業者ｍの視線が作業箇所に向いているか否かの判定結果の一例である。

【0050】

「エビデンス画像ファイル名」は、作業データ（作業項目リスト）２１１１において「エビデンス撮影」“１（あり）”の作業の場合に撮影された画像のファイル名が登録される。ファイル名に対応する「エビデンス画像」は、作業実績データ２１２に対応付けられてＭＲデバイス１のストレージ１１ｓｔに格納される。「エビデンス画像」とは、作業者ｍが「確認」と発声した際の作業者の視界を撮影した画像である。「エビデンス画像」は、作業箇所を指差確認した作業者ｍの指先を含むことを必須要件としてもよい。

【0051】

（実施形態１に係る作業統計データ（抽出）２１３１の構成）
図７は、実施形態１に係る作業統計データ（抽出）２１３１の構成例を示す図である。作業統計データ（抽出）２１３１は、ＭＲデバイス１から作業管理サーバ２へ送信され、作業管理サーバ２に保存されている作業実績データ２１２から、所定周期（例えば日次や週次）の処理で項目が抽出されたデータである。

【0052】

作業結果統計処理部２２３は、作業実績データ２１２の各レコードから「作業者ＩＤ」「作業ＩＤ」「製造番号」「作業日時」「作業時間」「視線確認回数」「視線ＮＧ回数」の項目を抽出して作業統計データ（抽出）２１３１のレコードを生成し、ストレージ２１に格納する。

【0053】

（実施形態１に係る作業統計データ（集計）２１３２の構成）
図８は、実施形態１に係る作業統計データ（集計）２１３２の構成例を示す図である。作業統計データ（集計）２１３２は、作業管理サーバ２に保存されている作業統計データ（抽出）２１３１が、所定周期（例えば月次）の処理で集計されたデータである。作業統計データ（抽出）２１３１と作業統計データ（集計）２１３２の生成周期は特に限定されないが、作業統計データ（集計）２１３２の生成周期が、作業統計データ（抽出）２１３１の生成周期以上の長さであってもよい。

【0054】

作業結果統計処理部２２３は、作業実績データ（抽出）２１３１を基に「作業者ＩＤ」毎に「作業台数」「総視線確認回数」「視線ＮＧ回数」「ｐｐｍ（Parts Per Million）」を算出し、作業統計データ（集計）２１３２を生成する。「作業台数」は、「製造番号」（図７）の延べ数すなわち「作業者ＩＤ」毎のレコード数である。「総視線確認回数」は、「作業者ＩＤ」毎の「視線確認回数」（図７）の合計である。「視線ＮＧ回数」は、「視線ＮＧ回数」（図７）の合計である。「ｐｐｍ」は、「視線ＮＧ回数」を「総視線確認回数」で割った百万分率である。作業統計データ（集計）２１３２によって、作業位置を見ずに「確認」と発声した回数及びその発生率を作業者毎に把握でき、各作業者の正確さの傾向や体調等の把握に活用できる。

【0055】

（実施形態１に係る作業データダウンロード処理）
図９は、実施形態１に係る作業データダウンロード処理の例を示すフローチャートである。実施形態１に係る作業データダウンロード処理の説明の際に、図１０及び図１１も参照する。図１０は、実施形態１に係る入力画面の例を示す図である。図１１は、実施形態１に係る位置決めコード画像読み取り指示画面の例を示す図である。

【0056】

実施形態１に係る作業データダウンロード処理は、ＡＴＭ３の保守作業が実施される際に、作業者ｍによってＭＲデバイス１が装着されて指示が入力されると実行される。

【0057】

先ずステップＳ１１では、ＭＲデバイス１のプロセッサ１１ｐは、作業対象のＡＴＭ３の保守作業を実施する作業者ｍの作業者ＩＤの入力を受け付ける。作業者ＩＤの入力は、例えばＭＲデバイス１のカメラ１３又はＭＲデバイス１に接続されたバーコードリーダ等で二次元コード画像が読み取られることで行われる。

【0058】

次にステップＳ１２では、プロセッサ１１ｐは、作業対象のＡＴＭ３の保守作業の製品ＩＤの入力を受け付ける。次にステップＳ１３では、プロセッサ１１ｐは、作業対象のＡＴＭ３の製造番号の入力を受け付ける。製品ＩＤ及び製造番号の入力は、作業者ＩＤの入力と同様に実施される。

【0059】

ステップＳ１１～Ｓ１３の処理時に、作業者ｍによってその頭部に装着されたＭＲデバイス１の表示部１１ｄには、作業者ｍが視認している作業対象のＡＴＭ３に重畳されるように、作業者ＩＤ、製品ＩＤ、及び製造番号の入力画面１１ｄ１が表示されている。

【0060】

なおステップＳ１２で入力される製品ＩＤ、及びステップＳ１３で入力される製造番号は、同一対象の同一作業の繰り返しとなる定期点検等の場合には、ＭＲデバイス１のアプリケーションによる自動入力によりスキップすることができる。

【0061】

次にステップＳ１４では、プロセッサ１１ｐは、カメラ１３で位置決め二次元コード画像３ｃｄを読み取ると、その後表示部１１ｄの表示上で位置決め二次元コード画像３ｃｄ付近にホログラム３ｃｄ１が表示される。プロセッサ１１ｐは、表示部１１ｄに表示されたホログラム３ｃｄ１のタップを検知する。ホログラム３ｃｄ１がタップされると、その位置がＡＴＭ３の基準位置に設定される。プロセッサ１１ｐは、基準位置の設定処理の際に、“拡大”“縮小”の音声入力や表示に対する操作を受け付けると、後述の作業画像や図形の表示サイズを調整できるとしてもよい。

【0062】

位置決め二次元コード画像３ｃｄは、図１１に示すように、作業対象のＡＴＭ３の所定箇所に、貼付等により設けられている。ステップＳ１４の処理時に、図１１に示すように、位置決め二次元コード画像３ｃｄの読み取りとホログラム３ｃｄ１のタップを促す画面１１ｄ２が表示される。

【0063】

位置決め二次元コード画像３ｃｄの位置は、作業者ｍに装着されるＭＲデバイス１の表示部１１ｄにおける作業画像や図形等の各種情報の表示位置を示す座標の原点及び座標軸を与える基準位置となる。位置決め二次元コード画像３ｃｄに対応するホログラム３ｃｄ１がタップされることで、ＡＴＭ３における原点及び座標軸を含む基準座標系が確定する。ＡＴＭ３に係る基準座標系において、作業データ（表示座標リスト）２１１２の各行の「PosX」～「RotZ」を基に定まる座標及び向きで、作業画面等の各種情報が表示されるようになる。

【0064】

例えば作業データ（作業項目リスト）２１１１の「作業順序」“１”の作業では、作業データ（表示座標リスト）２１１２の「作業順序」“１”かつ「作業番号」“０”の行の「PosX」～「RotZ」に基づいて、作業画像ファイル１１ｄ０（「表示タイプ」“０”）の画像が表示部１１ｄに表示される。また「作業順序」“１”かつ「作業順序」“１”の作業では、作業データ（表示座標リスト）２１１２の「作業番号」“１”の行の「PosX」～「RotZ」に基づいて、“○”（「表示タイプ」“１”）の図形が表示部１１ｄに表示される。

【0065】

次にステップＳ１５では、プロセッサ１１ｐは、ステップＳ１２～Ｓ１３で入力された「作業ＩＤ」「製造番号」を作業管理サーバ２に送信し、該当する作業データ２１１が作業管理サーバ２に存在する旨を作業管理サーバ２から応答を受信したかを判定する。プロセッサ１１ｐは、該当する作業データ２１１が作業管理サーバ２にある旨を作業管理サーバ２から受信した場合（ステップＳ１５ＹＥＳ）にステップＳ１６に処理を移し、該当する作業データ２１１が作業管理サーバ２にない旨を作業管理サーバ２から受信した場合（ステップＳ１５ＮＯ）にステップＳ１２に処理を戻す。

【0066】

ステップＳ１６では、プロセッサ１１ｐは、作業管理サーバ２から該当の作業データ２１１（作業データ（作業項目リスト）２１１１及び作業データ（表示座標リスト）２１１２）をダウンロードし、ストレージ１１ｓｔに格納する。作業データ２１１のダウンロード時には、作業毎に１画像の画像データと、必要な作業のみに準備されている動画データが併せてダウンロードされる。

【0067】

なお作業データ２１１（作業データ（作業項目リスト）２１１１及び作業データ（表示座標リスト）２１１２）は、作業管理サーバ２からダウンロードされるのではなく、予めストレージ１１ｓｔに格納されていてもよい。この場合、作業管理サーバ２を省略することができる。

【0068】

（実施形態１に係る作業実績登録処理）
図１２は、実施形態１に係る作業実績登録処理の例を示すフローチャートである。実施形態１に係る作業実績登録処理の説明の際に、図１３～図１６も参照する。図１３は、実施形態１に係る作業内容表示１１ｄ３及び作業箇所表示１１ｄ４の例を示す図である。図１４は、実施形態１に係る作業位置の注視のワーニング表示１１ｄ６の例を示す図である。図１５は、実施形態１に係る作業対象の遷移表示１１ｄ７の例を示す図である。

【0069】

実施形態１に係る作業実績登録処理は、作業者ｍがＭＲデバイス１を用いてＡＴＭ３の保守作業を実施する毎に、ＭＲデバイス１によって実行される。

【0070】

先ずステップＳ２１では、ＭＲデバイス１のプロセッサ１１ｐは、ストレージ１１ｓｔに格納した作業データ２１１の中から選択した未実施の作業の作業内容表示１１ｄ３を表示部１１ｄに表示する。図１３の例では、“呼出しボタンを押して、ボタンランプが光ることを確認”という作業内容がホログラムで表示されている。

【0071】

また表示部１１ｄには、ホログラム等で作業内容を示す作業内容表示１１ｄ３と共に、作業箇所であるボタン３ｂを識別しやすく示す作業箇所表示１１ｄ４（“〇”や“□”等の記号で構成される識別画像）と、作業順序を示す作業順序表示１１ｄ５が表示される。これらの表示位置は、作業データ（表示座標リスト）２１１２に示される位置データが用いられる。

【0072】

次にステップＳ２２では、プロセッサ１１ｐは、作業者ｍが作業対象の保守作業を完了する際の「確認」又は「キーワード」（作業データ（作業項目リスト）２１１１）＋「確認」の発声の入力をマイクロフォン１５を介して受け付ける。

【0073】

なおステップＳ２２では、“不合格（ＮＧ）”と発声することで、作業及び作業実績登録処理を中断し、不合格部位を修正後に、例えば“再開”と発声することで、作業及び作業実績登録処理を再開することができる。

【0074】

次にステップＳ２３では、プロセッサ１１ｐは、作業者ｍがステップＳ２２で発声する際に作業箇所表示１１ｄ４の中心付近の作業位置を注視していたかを、アイトラッキングセンサ１２の視線計測結果に基づいて判定する。作業箇所を見た状態で、ステップＳ２２の「確認」又は「キーワード」＋「確認」の発声を行うことは、作業ミスを防止する「指差喚呼」に相当する確認行為である。１つの作業についてステップＳ２３ＮＯと判定された回数を集計したものが「視線ＮＧ回数」（作業実績データ２１２（図６））である。

【0075】

プロセッサ１１ｐは、作業者ｍがステップＳ２２で発声する際に作業位置を注視していた場合（ステップＳ２３ＹＥＳ）にステップＳ２５に処理を移し、注視していなかった場合（ステップＳ２３ＮＯ）にステップＳ２４に処理を移す。

【0076】

ステップＳ２４では、プロセッサ１１ｐは、作業位置の注視のワーニング表示１１ｄ６（図１４）を表示部１１ｄに表示する。ワーニング表示１１ｄ６は、例えば“作業位置を見て確認してください＜３回目＞”のように、ステップＳ２３の判定がＮＯとなりステップＳ２２が再度実施される回数を含む。プロセッサ１１ｐは、ステップＳ２４が終了すると、ステップＳ２２に処理を戻す。なおワーニング表示１１ｄ６に代えて、作業箇所表示１１ｄ４の色を変化させる等の表示態様の変更でワーニングを表してもよい。

【0077】

ステップＳ２５では、プロセッサ１１ｐは、該当の作業はエビデンスの画像撮影が必要（作業データ（作業項目リスト）２１１１の「エビデンス撮影」が“１”）かを判定する。プロセッサ１１ｐは、該当の作業はエビデンスの画像撮影が必要の場合（ステップＳ２５ＹＥＳ）にステップ２６に処理を移し、エビデンスの画像撮影が不要の場合（ステップＳ２５ＮＯ）にステップ２７に処理を移す。

【0078】

ステップＳ２６では、プロセッサ１１ｐは、作業者ｍの操作に応じてカメラ１３によって該当のＡＴＭ３を含む表示部１１ｄを透した作業者ｍの視界を撮影する。ステップＳ２６では、表示部１１ｄにおける表示上で、作業対象のＡＴＭ３に作業箇所表示１１ｄ４を重畳表示した状態で撮影されてもよい。そしてプロセッサ１１ｐは、撮影した画像ファイルをストレージに格納する。

【0079】

ステップＳ２７では、プロセッサ１１ｐは、ステップＳ２２～２６で実施した作業の実施記録を、ストレージ１１ｓｔに格納している作業実績データ２１２のレコードとして作業日時を付与して登録すると共に、ステップＳ２６で撮影した画像がある場合には作業実績データ２１２のレコードに紐付ける。

【0080】

なおステップＳ２７では、作業者ｍがステップＳ２２で発声する際に作業箇所表示１１ｄ４の中心付近の作業位置を注視していたことを、作業箇所表示１１ｄ４の色を変化させる等の表示態様の変更で示してもよい。

【0081】

次にステップＳ２８では、プロセッサ１１ｐは、ステップＳ２７で作業実績データ２１２として記録した作業が作業対象のＡＴＭ３での一連の作業の最終作業かを、作業データ（作業項目リスト）２１１１を参照して判定する。例えば作業データ（作業項目リスト）２１１１において「作業順序」を持つレコード群が一連の作業である。

【0082】

プロセッサ１１ｐは、最終作業である場合にステップＳ２９に処理を移し、最終作業でない場合にステップＳ２１に処理を戻す。ステップＳ２９では、プロセッサ１１ｐは、作業対象のＡＴＭ３での一連の作業に係る作業実績データ２１２を作業管理サーバ３に送信する。

【0083】

なお作業実績データ２１２は、作業管理サーバ２へ送信されず、ストレージ１１ｓｔで管理されるとしてもよい。この場合、作業管理サーバ２を省略することができる。

【0084】

一方ステップＳ２８から処理を戻されたステップＳ２１では、プロセッサ１１ｐは、ストレージ１１ｓｔに格納した作業データ２１１の中から選択した次の未実施の作業の作業内容表示１１ｄ３を表示部１１ｄに表示する。

【0085】

なお、図１６に示すように、作業箇所表示１１ｄ４（図１３）に代えて、ボタン３ｂの周囲をホログラム等でマスクする周辺マスク表示１１ｄ８を表示部１１ｄに表示してもよい。図１６は、実施形態１に係る作業対象の周辺マスク表示１１ｄ８の例を示す図である。周辺マスク表示１１ｄ８によって、作業者ｍは、ボタン３ｂの発見と作業に集中することができる。

【0086】

（実施形態１の効果）
上述の実施形態１では、「確認」又は「キーワード」＋「確認」の発声がマイクロフォン１５によって検知された際に計測した作業者ｍの視線が作業箇所に向いているか否かを判定する。よって、より具体的に作業内容を意識させ、作業漏れ防止の意識レベルを向上させることができる。

【0087】

また実施形態１では、「確認」又は「キーワード」＋「確認」の発声がマイクロフォン１５によって検知された際に計測した作業者ｍの視線が作業箇所に向いている場合に、次に実施される予定の作業がある場合には、次に実施される作業に係る作業内容表示１１ｄ３及び作業箇所表示１１ｄ４を表示部１１ｄに表示する。次に実施される予定の作業がない場合には、処理を終了する。このように作業完了時に次の作業に進まない仕組みを組み込むことで、指差喚呼に相当する仕組みを実現して、作業漏れを防止できる。

【0088】

また実施形態１では、「確認」又は「キーワード」＋「確認」の発声がマイクロフォン１５によって検知された際に計測した作業者ｍの視線が作業箇所に向いていない場合に、視線を作業箇所に向けて「確認」又は「キーワード」＋「確認」を発声するように、作業者ｍに作業位置の注視のワーニング表示１１ｄ６で通知を行う。これにより、即座に作業漏れを防止する対策を講じることができる。

【0089】

また実施形態１では、「確認」又は「キーワード」＋「確認」の発声がマイクロフォン１５によって検知された際に計測した作業者ｍの視線が作業箇所に向いていると判定するまでに、視線が作業箇所に向いていないと判定した回数を作業実績データ２１２として保存する。この作業実績データ２１２を集計、分析することで、作業者ｍ毎の確実性の傾向把握や、作業者ｍの集中力低下、体調不良などの把握に活用することができる。

【0090】

また実施形態１では、作業者ｍの視線が作業箇所に向いている場合に、作業者ｍの操作に応じて、カメラ１３を用いて作業箇所を撮影し、作業箇所を撮影した画像データを、作業実績データ２１２として保存する。このようにエビデンスを記録することで、作業を正確に行った証跡としたり、作業漏れの意識向上を図ったりすることができる。

【0091】

また実施形態１では、作業箇所表示１１ｄ４に代えて、作業箇所の周囲をマスクするマスク画像（周辺マスク表示１１ｄ８）を表示部１１ｄに表示する。これにより、作業位置をより強調し、不要な物を作業者ｍの視界から除外することで、作業者ｍを作業に集中させることができる。

【0092】

また実施形態１では、作業管理サーバ２を有し、作業管理サーバ２は、作業実績データ２１２として保存された、作業者ｍの視線が作業箇所に向いていないと判定した回数を作業者ｍ毎に集計する。これにより作業者ｍ毎の確実性の傾向把握や、作業者ｍの集中力低下、体調不良などの把握に活用することができる。

【0093】

［実施形態２］
実施形態１では、作業支援システム１ＳにおいてＭＲデバイス１は、１台であるとした。しかし本願に係る技術は、複数の作業者ｍがそれぞれＭＲデバイス１を装着して連携して保守作業を行う場合にも適用可能である。以下、実施形態２として、複数の作業者のそれぞれがＭＲデバイス１を装着し連携して保守作業を行う形態を、作業者数が２である場合を例として説明する。

【0094】

（実施形態２に係る作業支援システム２Ｓの構成）
図１７は、実施形態２に係る作業支援システム２Ｓの構成例の概略を示す図である。作業支援システム２Ｓは、図１７に示すように、ＡＴＭ３の保守点検作業を行う複数の作業者ｍ１，ｍ２のそれぞれの頭部に装着されるＭＲデバイス１（１－１，１－２）及び作業管理サーバ２Ｂを含んで構成される。ＭＲデバイス１－１，１－２と作業管理サーバ２Ｂは、無線通信が可能である。

【0095】

（実施形態２に係る作業実績データ２１２Ｂの構成）
図１８は、実施形態２に係る作業実績データ２１２Ｂの構成例を示す図である。作業実績データ２１２Ｂは、実施形態１に係る作業実績データ２１２と比較して、図１８に示すように作業者ｍ１，ｍ２の人数分だけ「作業結果」「作業者ＩＤ」「端末ＩＤ」「作業日時」「作業時間」「視線確認回数」「視線ＮＧ回数」「画像ファイル」の列が繰り返される点が異なる。

【0096】

すなわち、先ず作業開始時に複数の作業者ｍ１，ｍ２のＭＲデバイス１－１，１－２において並行して作業データダウンロード処理（図９）が実行されて同一の作業データ２１１がＭＲデバイス１－１，１－２にダウンロードされる。そしてＭＲデバイス１－１，１－２において独立して作業実績登録処理（図１２）が実行される。

【0097】

作業実績登録処理の際、ＭＲデバイス１－１，１－２は、作業実績データ２１２Ｂ及び「画像ファイル」に示される画像ファイルを相互に共有し、情報を同期する。同一の作業について、一方の作業者ｍ１が既に実施した作業の画像ファイルが存在する場合には、この画像ファイルを他方の作業者ｍ２が表示部１１ｄで参照しながら作業を実施してもよい。また作業者ｍ１，ｍ２は、独立に実施してもよい。また作業者ｍ１，ｍ２の「作業結果」が一致してはじめて次の作業へ移行できるようにしてもよい。

【0098】

作業実績データ２１２Ｂも、実施形態１に係る作業実績データ２１２と同様に、作業統計データ（抽出）２１３１を経て「作業者ＩＤ」毎の「作業台数」「総視線確認回数」「視線ＮＧ回数」「ｐｐｍ」を算出してもよい。

【0099】

（実施形態２の効果）
上述の実施形態２では、各作業者ｍ１，ｍ２の視線が作業箇所に向いているか否かのそれぞれの判定結果を作業実績データ２１２Ｂとして保存する。また実施形態２では、各作業者ｍ１，ｍ２の視線が作業箇所に向いている場合に、各作業者ｍ１，ｍ２の操作に応じて、各ＭＲデバイス１－１，１－２が有するカメラ１３を用いて作業箇所を撮影し、撮影した画像データを作業実績データ２１２として保存する。これにより、ダブルチェック等の複数人によるチェック体制を作業支援システム１Ｂで実現し、チェック漏れの防止の相乗効果が期待できる。

【0100】

また実施形態２では、作業内容表示１１ｄ３及び作業箇所表示１１ｄ４を各ＭＲデバイス１－１，１－２の各表示部１１ｄに表示する際に、複数の作業者ｍ１，ｍ２のうちの他の作業者が装着するＭＲデバイス１によって撮影された画像データが作業実績データ２１２として既にある場合には、この画像データをさらに表示部１１ｄに表示する。すなわち作業者ｍは、他の作業者の作業によるエビデンス画像を、自身の作業の際に参照することで、作業の際の留意点を認識して作業を行ったり、他の作業者の作業を評価したりすることができる。

【0101】

［その他の実施形態］
（作業管理サーバ２，２Ｂについて）
上述の実施形態１及び２では、作業管理サーバ２，２Ｂは、オンプレミスのサーバであるとしたが、クラウド上のサーバであってもよい。また作業支援システム１Ｓ，２Ｓにおいて、作業管理サーバ２，２Ｂを省略し、ＭＲデバイス１が予め作業データ２１１を保持していてもよい。この場合、ＭＲデバイス１が単独又は複数で分散処理して作業実績データ２１２を基に作業統計データ２１３を生成してもよい。ＭＲデバイス１は、作業統計データ２１３を表示部１１ｄに表示してもよい。

【0102】

本発明は上述の実施形態に限定されるものではなく、様々な変形例を含む。例えば、上述の実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また矛盾しない限りにおいて、ある実施形態の構成の一部を他の実施形態の構成で置き換えたり、ある実施形態の構成に他の実施形態の構成を加えたりすることも可能である。また各実施形態の構成の一部について、追加、削除、置換、統合、及び分割をすることが可能である。また実施形態で示した各処理は、処理効率又は実装効率に基づいて適宜分散又は統合してもよい。

【符号の説明】

【0103】

１Ｓ，２Ｓ：作業支援システム、１，１－１，１－２：ＭＲデバイス、２，２Ｂ：作業管理サーバ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】