特許 7667910 作業支援装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-04-15

(45)【発行日】2025-04-23

(54)【発明の名称】作業支援装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20250416BHJP

   G02B 27/02 20060101ALI20250416BHJP

   G06F 3/01 20060101ALI20250416BHJP

   G06T 19/00 20110101ALI20250416BHJP

   G09G 5/00 20060101ALI20250416BHJP

   G09G 5/14 20060101ALI20250416BHJP

   G09G 5/36 20060101ALI20250416BHJP

   G09G 5/37 20060101ALI20250416BHJP

   G09G 5/377 20060101ALI20250416BHJP

   G09G 5/38 20060101ALI20250416BHJP

   H04N 13/344 20180101ALI20250416BHJP

【ＦＩ】

H04N7/18 U

G02B27/02 Z

G06F3/01 510

G06T19/00 600

G09G5/00 510A

G09G5/00 510Q

G09G5/00 530M

G09G5/00 550B

G09G5/00 550C

G09G5/14 E

G09G5/36 400

G09G5/37 320

G09G5/377 100

G09G5/38 100

H04N13/344

【請求項の数】 9

(21)【出願番号】P 2024516082

(86)(22)【出願日】2022-11-24

(86)【国際出願番号】 JP2022043373

(87)【国際公開番号】W WO2023203806

(87)【国際公開日】2023-10-26

【審査請求日】2024-10-16

(31)【優先権主張番号】P 2022068893

(32)【優先日】2022-04-19

(33)【優先権主張国・地域又は機関】JP

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和４年１月１７日 ｄｏｃｏｍｏ Ｏｐｅｎ Ｈｏｕｓｅ’２２において、本願発明の内容を来場者に説明した。 令和４年１月１７日 ｄｏｃｏｍｏ Ｏｐｅｎ Ｈｏｕｓｅ’２２に関するウェブサイト（ＵＲＬ：ｈｔｔｐｓ：／／ｏｐｅｎｈｏｕｓｅ．ｄｏｃｏｍｏ．ｎｅ．ｊｐ／ｍａｉｎ／ｅｘｈｉｂｉｔｉｏｎ／０６０ ）において、本願発明の内容を公開した。

(73)【特許権者】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】110003177

【氏名又は名称】弁理士法人旺知国際特許事務所

(72)【発明者】

【氏名】水越 勇一

(72)【発明者】

【氏名】松嶌 信貴

【審査官】公文代 康祐

(56)【参考文献】

【文献】特開２０２０－１４９１３８（ＪＰ，Ａ）

【文献】国際公開第２０１９／１８８０７６（ＷＯ，Ａ１）

【文献】特開２０１９－２００２５７（ＪＰ，Ａ）

【文献】特開２０１０－１５２５１５（ＪＰ，Ａ）

【文献】特開２０２１－０８６４０１（ＪＰ，Ａ）

【文献】特開２０１１－１５９１６２（ＪＰ，Ａ）

【文献】特開２０２１－００５３８９（ＪＰ，Ａ）

【文献】国際公開第２０２０／２５５３８４（ＷＯ，Ａ１）

【文献】欧州特許出願公開第０３４７９９７１（ＥＰ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ １３／００－１７／０６

Ｇ０９Ｇ ５／００－ ５／４２

Ｇ０２Ｂ ２７／０２

Ｇ０６Ｆ ３／０１

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

作業領域において複数の工程を含む作業を実行する作業者の頭部に装着可能な作業支援装置であって、
前記作業者が前記作業を実行している状況において、外界を撮像する撮像装置から出力される撮像動画から前記作業領域に対応する作業動画を抽出する抽出部と、
前記作業動画に基づいて、前記作業の進捗を示す進捗情報を生成する進捗情報生成部と、
前記進捗情報に基づいて、前記複数の工程のうちどの工程の作業を支援するかを決定する決定部と、
前記複数の工程に１対１に対応する複数の支援情報のうち、前記決定部によって決定された工程に対応する支援情報を、前記決定された工程が終了するまで、繰り返し再生する再生部と、
前記再生部によって再生される支援情報に動画を示す動画情報が含まれる場合、前記作業者に複合現実空間を視認させる表示装置に前記動画情報の示す説明動画を表示させ、前記再生部によって再生される支援情報に音声を示す音声情報が含まれる場合、前記音声情報の示す音声をスピーカに放音させる出力制御部と、
を備える作業支援装置。

【請求項2】

前記決定部は、前記進捗情報の示す前記作業の進捗が現在の工程の終了である場合、次の工程を支援することを決定する、請求項１に記載の作業支援装置。

【請求項3】

前記撮像動画に基づいて、前記作業領域の外縁を示す枠画像を生成する枠画像生成部を更に備え、
前記出力制御部は、前記枠画像を前記表示装置に表示させる、
請求項１に記載の作業支援装置。

【請求項4】

前記出力制御部は、前記再生部によって再生される支援情報に前記動画情報が含まれる場合、前記表示装置において前記作業領域と重複しない位置に前記説明動画を表示させる、請求項３に記載の作業支援装置。

【請求項5】

前記枠画像生成部は、
前記作業支援装置が前記作業領域に置かれている状況において、前記撮像装置から出力される初期画像に基づいて、現実空間における前記作業領域の位置を特定し、
特定された前記作業領域の位置及び前記撮像動画に基づいて、前記枠画像を生成する、
請求項３に記載の作業支援装置。

【請求項6】

前記説明動画の内容は、前記複数の工程のうちいずれか一つの工程について、複数の頁にわたるドキュメント、及び前記一つの工程の作業について模範となる作業のうち少なくとも一方を示す、
請求項１に記載の作業支援装置。

【請求項7】

前記再生部は、前記説明動画の内容が前記ドキュメントを含む場合、前記決定部よって決定された工程が終了するまで、前記複数の頁を順番にめくる画像を繰り返し再生する、
請求項６に記載の作業支援装置。

【請求項8】

１フレームの画像と特徴量との関係を学習済みの第１学習モデルと、現在のフレームから所定数のフレームだけ過去のフレームまでのフレームごとの特徴量と、前記作業の進捗を示す状況情報との関係を学習済みの第２学習モデルとを記憶する記憶装置を更に備え、
前記進捗情報生成部は、
前記作業動画のフレームごとの静止画を前記第１学習モデルに入力することによって、前記作業動画のフレームごとの特徴量を取得する第１取得部と、
前記作業動画について現在のフレームから所定数のフレームだけ過去のフレームまでのフレームごとの特徴量を前記第２学習モデルに入力することによって、前記第２学習モデルから出力される前記進捗情報を取得する第２取得部とを備える、
請求項１に記載の作業支援装置。

【請求項9】

前記第１学習モデルに静止画が入力された第１時点から前記第１学習モデルから前記特徴量が出力される第２時点までの第１時間は、１フレームが開始した第３時点から１フレームが終了する第４時点までのフレーム時間以下であり、
前記第２学習モデルに前記作業動画について現在のフレームから前記所定数のフレームだけ過去のフレームまでのフレームごとの特徴量が入力された第５時点から前記進捗情報が前記第２学習モデルから出力される第６時点までの第２時間は、前記フレーム時間以下である、
請求項８に記載の作業支援装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業支援装置に関する。

【背景技術】

【0002】

特許文献１には、ヘッドマウントディスプレイを用いて作業支援を行う作業支援システムが開示されている。この作業支援システムは、カメラによって撮像された外景画像を画像認識することによって、作業者が実施する複数の手順のうちから現在の手順を特定する。作業支援システムは、更に現在の手順に関連付けられる指示内容を用いて手順情報を生成する。ヘッドマウントディスプレイには、手順情報の指示内容が作業者の視界を過度に遮らない態様で表示される。この手順は作業の最小単位である。指示内容は、例えば、「丸鋸刃ＮｏＸＸＸをとりつけてください」といったメッセージである。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－１４２７９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

作業は、複数の工程から構成されるのが通常である。例えば、第１の工程において作業の対象物に治具を取り付け、第２の工程において工作機械を用いて作業の対象物を加工し、第３の工程において治具を取り外し、第４の工程において加工された対象物を検査するといった具合である。そして、各工程に、複数の手順が含まれる。実際の作業において、作業に不慣れな作業者は、現在の手順だけでなく、ある工程について過去の手順から将来の手順までの作業の流れを知りたいことがある。

【0005】

しかしながら、従来の作業支援システムは、作業の最小単位である手順に対応した指示内容が表示されるだけであり、ある工程について作業の流れを知ることができなかった。

【0006】

本開示は、現在の工程における作業の流れを作業者に提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示に係る作業支援装置は、作業領域において複数の工程を含む作業を実行する作業者の頭部に装着可能な作業支援装置であって、前記作業者が前記作業を実行している状況において、外界を撮像する撮像装置から出力される撮像動画から前記作業領域に対応する作業動画を抽出する抽出部と、前記作業動画に基づいて、前記作業の進捗を示す進捗情報を生成する進捗情報生成部と、前記進捗情報に基づいて、前記複数の工程のうちどの工程の作業を支援するかを決定する決定部と、前記複数の工程に１対１に対応する複数の支援情報のうち、前記決定部によって決定された工程に対応する支援情報を、前記決定された工程が終了するまで、繰り返し再生する再生部と、前記再生部によって再生される支援情報に動画を示す動画情報が含まれる場合、前記作業者に複合現実空間を視認させる表示装置に前記動画情報の示す動画を表示させ、前記再生部によって再生される支援情報に音声を示す音声情報が含まれる場合、前記音声情報の示す音声をスピーカに放音させる出力制御部と、を備える。

【発明の効果】

【0008】

本開示によれば、複数の工程からなる一連の作業において、現在の工程について過去の手順から将来の手順までの作業の流れを、作業者に繰り返し提供できる。

【図面の簡単な説明】

【0009】

【図1】作業者が実行する作業の一例を示す説明図。

【図2】ＸＲグラス１の構成例を示すブロック図。

【図3A】作業環境の一例を示す斜視図。

【図3B】作業者がＸＲグラス１を介して視認する複合現実空間の一例示す説明図。

【図4】管理テーブルＴＢＬの記憶内容を示す説明図。

【図5A】撮像動画Ｇｘの一例を示す説明図。

【図5B】作業動画Ｇｙの一例を示す説明図。

【図6】抽出部１１１及び進捗情報生成部１１２の動作を示すタイミングチャート。

【図7】作業支援に関する処理装置１１の動作を示すフローチャート。

【図8】ＸＲグラス１の構成例を示すブロック図。

【発明を実施するための形態】

【0010】

１：実施形態
以下、図１～図８を参照しつつ、作業者を支援するＸＲグラス１について説明する。

【0011】

１．１：実施形態の概要
本実施形態は、作業者が、複数の工程を含む作業を実行する場合に、作業者を支援する作業支援装置に関する。図１は、作業者が実行する作業の一例を示す説明図である。本実施形態では、第１工程、第２工程、及び第３工程によって構成される作業が実行されることを想定する。但し、作業に含まれる工程の数は、３に限定されず、２以上であればよい。また、１つの工程には、１以上の手順が含まれる。

【0012】

図１に示される例では、各工程に４つの手順が含まれる。また、作業支援装置は、作業領域を撮像することによって得られた撮像動画に基づいて、進捗情報を生成する。進捗情報は、作業の進捗を示す。作業の進捗は、現在の作業が作業全体のどの位置まで終了しているかを意味する。各工程は、最後の手順が終了している場合に終了する。第１工程は、手順４が実行されることによって、レンチが工具箱に戻された状態で終了する。第２工程は、手順４が実行されることによって、木槌が工具箱に戻された状態で終了する。第３工程は、手順４が実行されることによって、ドライバーが工具箱に戻された状態で終了する。進捗情報を参照することによって、現在の作業が複数の工程のうちどの工程に属するか、及び現在の工程が終了したかを特定することができる。作業支援装置は、進捗情報に基づいて、作業者に支援を提供する。

【0013】

２．２：ＸＲグラスの構成
図２は、ＸＲグラス１の構成例を示すブロック図である。ＸＲグラス１は作業者の頭部に装着される。ＸＲグラス１は、作業領域において複数の工程を含む作業が実行される場合に、作業者を支援するための作業支援装置の一例である。

【0014】

ＸＲグラス１は、仮想オブジェクトを視認可能なシースルータイプのグラスである。作業者は、ＸＲグラス１を介して、現実空間を視認しながら仮想オブジェクトを視認する。仮想オブジェクトは、現実空間の位置に対応付けられて仮想空間上に配置される。作業者は、ＸＲグラス１を用いることによって、現実空間と仮想空間が複合された複合現実空間を視認する。

【0015】

例えば、作業者が、図３Ａに示される椅子１００に座り、作業台２００で作業を行う場合、作業者は、ＸＲグラス１を介して、図３Ｂに示される複合現実空間を視認する。この例では、作業者は、作業台２００の作業領域において、作業対象物である基板Ｗに、３個の部品を取り付ける作業を実施する。

【0016】

図３Ｂに示される複合現実空間には、実オブジェクトと仮想オブジェクトが存在する。作業台２００の上面、作業者の左右の手、及び基板Ｗは、実オブジェクトに該当する。また、枠画像Ｇｆ、第１静止画Ｇｓ１、第２静止画Ｇｓ２、説明動画Ｇｖ、及びテキスト画像Ｇｔは、仮想オブジェクトに該当する。枠画像Ｇｆは作業領域の外縁を示す。第１静止画Ｇｓ１は、現在の工程の開始時における基板Ｗの状態を示す。説明動画Ｇｖは、例えば、現在の工程の模範となる作業を示す。テキスト画像Ｇｔは、現在の工程に含まれる複数の手順を示す。説明動画Ｇｖは、一定の速度で再生される。このため、作業者が、現在の工程を作業中に説明動画Ｇｖが終了する場合がある。作業者が、現在の工程を作業している期間は、説明動画Ｇｖは繰り返し再生される。このため、作業に時間が掛かった場合であっても、作業者は、現在の工程の内容を繰り返し確認することができる。

【0017】

また、第１静止画Ｇｓ１、第２静止画Ｇｓ２、説明動画Ｇｖ、及びテキスト画像Ｇｔは、現在の工程が終了した場合、次の工程の内容に切り替わる。従って、作業者は、工程が進む度に、支援の内容を切り替えるために操作をしなくても、新たな作業支援を受けることができる。この結果、作業者は、両手の作業を中断する必要がない。

【0018】

ＸＲグラス１は、処理装置１１、記憶装置１２、検出装置１５、撮像装置１６、通信装置１７、及び出力装置１８を備える。ＸＲグラス１が有する各要素は、情報を通信するための単体又は複数のバスによって相互に接続される。なお、本明細書における「装置」という用語は、回路、デバイス又はユニット等の他の用語に読替えてもよい。

【0019】

処理装置１１は、ＸＲグラス１の全体を制御するプロセッサである。処理装置１１は、例えば、単数又は複数のチップを用いて構成される。また、処理装置３１は、例えば、周辺装置とのインターフェース、演算装置及びレジスタ等を含む中央処理装置（ＣＰＵ：Central Processing Unit）を用いて構成される。なお、処理装置１１が有する機能の一部又は全部を、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアによって実現してもよい。処理装置１１は、各種の処理を並列的又は逐次的に実行する。

【0020】

記憶装置１２は、処理装置１１による読取及び書込が可能な記録媒体である。また、記憶装置１２は、処理装置１１が実行する制御プログラムＰＲ１を含む複数のプログラム、第１学習モデルＭ１、第２学習モデルＭ２、管理テーブルＴＢＬを記憶する。管理テーブルＴＢＬには、複数の工程に１対１に対応する複数の支援情報が格納されている。記憶装置１２は、処理装置１１のワークエリアとして機能する。

【0021】

図４は、管理テーブルＴＢＬの記憶内容を示す説明図である。管理テーブルＴＢＬは、第１工程に対応するレコードＲ１、第２工程に対応するレコードＲ２、及び第３工程に対応するレコードＲ３を有する。１つのレコードＲは、工程を識別する工程ＩＤと作業者の作業を支援するための支援情報とを対応付ける。支援情報は、動画情報、第１静止画情報、第２静止画情報、及びテキスト画像情報を含む。動画情報は、説明動画Ｇｖを示す情報である。説明動画Ｇｖは、ある工程において、作業者を支援する内容であれば、どのような内容であってもよい。説明動画Ｇｖの内容は、例えば、模範となる作業であってもよいし、あるいは、注意すべき点を指摘する内容であってもよい。

【0022】

例えば、第１工程の動画情報は、「001.wmv」である。第１静止画情報は、第１静止画Ｇｓ１を示す情報である。例えば、第１工程の第１静止画情報は、「011.jpeg」である。第２静止画情報は、第２静止画Ｇｓ２を示す情報である。例えば、第１工程の第２静止画情報は、「021.jpeg」である。テキスト画像情報は、テキスト画像Ｇｔを示す情報である。例えば、第１工程のテキスト画像情報は、「031.jpeg」である。

【0023】

検出装置１５は、ＸＲグラス１の状態を検出する。検出装置１５は、例えば、加速度を検出する加速度センサ及び角加速度を検出するジャイロセンサなどの慣性センサ、並びに、方位を検出する地磁気センサを含む。加速度センサは、直交するＸ軸、Ｙ軸、及びＺ軸の軸ごとに当該軸に沿う方向の加速度を検出する。ジャイロセンサは、Ｘ軸、Ｙ軸、及びＺ軸の軸ごとに当該軸を回転の中心軸とする角加速度を検出する。検出装置１５は、ジャイロセンサの出力情報に基づいて、ＸＲグラス１の姿勢を示す姿勢情報を生成できる。動き情報は、３軸の加速度を各々示す加速度情報及び３軸の角加速度を各々示す角加速度情報を含む。また、検出装置１５は、ＸＲグラス１の姿勢を示す姿勢情報、ＸＲグラス１の動きに関する動き情報、及びＸＲグラス１の方位を示す方位情報を処理装置１１に出力する。

【0024】

撮像装置１６は、外界を撮像して得られた撮像動画Ｇｘを出力する。また、撮像装置１６は、例えば、レンズ、撮像素子、増幅器、及びＡＤ変換器を備える。レンズを介して集光された光は、撮像素子によってアナログ信号である撮像信号に変換される。増幅器は撮像信号を増幅した上で、増幅された撮像信号をＡＤ変換器に出力する。ＡＤ変換器はアナログ信号である増幅された撮像信号をデジタル信号である撮像情報に変換する。変換された撮像情報は、処理装置１１に出力される。撮像装置１６は、例えば、カメラである。

【0025】

ＸＲグラス１の形状は、一般的な眼鏡と同様の形状である。ＸＲグラス１は、左レンズと、右レンズと、左レンズ及び右レンズを支持するフレームを有する。フレームは、左レンズと右レンズとの間に設けられたブリッジ及び人の左右の耳に架かる一対のテンプルを有する。撮像装置１６は、ブリッジに設けられる。このため、撮像装置１６は、作業者の顔が向いている方向の外界を撮像する。

【0026】

通信装置１７は、他の装置と通信を行うための、送受信デバイスとしてのハードウェアである。また、通信装置１７は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ばれる。通信装置１７は、有線接続用のコネクターを備える。また、通信装置１７は、無線通信インターフェースを備えていてもよい。有線接続用のコネクター及びインターフェース回路としては有線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢに準拠した製品が挙げられる。また、無線通信インターフェースとしては無線ＬＡＮ及びＢｌｕｅｔｏｏｔｈ（登録商標）等に準拠した製品が挙げられる。

【0027】

出力装置１８は、表示装置１８Ａとスピーカ１８Ｂとを備える。表示装置１８Ａは、画像を表示するデバイスである。表示装置１８Ａは、処理装置１１の制御のもとで各種の画像を表示する。ＸＲグラス１の左側のテンプルには、左眼用の表示パネルと、左眼用の表示パネルから射出された光をレンズに導光する光学部材が設けられる。左レンズに設けられるハーフミラーは、外界の光を透過させて左眼に導くと共に、光学部材によって導光された光を反射した後、反射した光を左眼に入射させる。右側のテンプル及び右レンズも同様に構成される。表示装置１８Ａは、左レンズ、右レンズ、左眼用の表示パネル、右眼用の表示パネル、左眼用の光学部材、及び右眼用の光学部材を含む。以上の構成において、作業者は表示パネルに表示される画像を、外界の様子と重ね合わせたシースルーの状態で観察できる。また、ＸＲグラス１は、視差を伴う両眼画像のうち、左眼用画像を左眼用の表示パネルに表示させ、右眼用画像を右眼用の表示パネルに表示させる。このため、ＸＲグラス１は、作業者に対し、表示された画像があたかも奥行き、及び立体感を持つかのように知覚させる。

【0028】

スピーカ１８Ｂは、処理装置１１から供給される音信号を音に変換して放音する。音信号は音声情報の一例である。

【0029】

以上の構成において、処理装置１１は、制御プログラムＰＲ１を記憶装置１２から読み出して、読み出した制御プログラムＰＲ１を実行することによって、抽出部１１１、進捗情報生成部１１２、決定部１１３、再生部１１４、枠画像生成部１１５及び出力制御部１１６として機能する。また、処理装置１１は、第１学習モデルＭ１及び第２学習モデルＭ２を実行する。

【0030】

抽出部１１１は、作業者が作業を実行している状況において、撮像装置１６から出力される撮像動画Ｇｘから作業領域に対応する作業動画Ｇｙを抽出する。例えば、作業者がＸＲグラス１を介して図３Ｂに示される複合現実空間を視認する場合、撮像動画Ｇｘは、図５Ａに示される画像であり、作業動画Ｇｙは図５Ｂに示される画像となる。

【0031】

進捗情報生成部１１２は、作業動画Ｇｙに基づいて、作業の進捗を示す進捗情報Ｐを生成する。作業の進捗は、現在の作業が作業全体のどの位置まで終了しているかを意味する。具体的には、進捗情報生成部１１２は、進捗情報を生成するために、第１学習モデルＭ１と第２学習モデルＭ２とを用いる。第１学習モデルＭ１は、１フレームの画像と特徴量との関係を学習済みである。第２学習モデルＭ２は、複数フレームの特徴量と、作業の進捗を示す状況情報と、の関係を学習済みである。第１学習モデルＭ１及び第２学習モデルＭ２は、例えば、ＤＮＮ（Deep Neural Network）により構成されてもよい。より詳細には、第１学習モデルＭ１及び第２学習モデルＭ２は、ＶＧＧＮｅｔ（Visual Geometry Group Network）と呼ばれる画像分類のための畳み込みネットワークを用いることができる。

【0032】

進捗情報生成部１１２は、第１取得部１１２Ａと第２取得部１１２Ｂとを備える。第１取得部１１２Ａは、作業動画Ｇｙのフレームごとの静止画を第１学習モデルＭ１に入力することによって、作業動画Ｇｙのフレームごとの特徴量Ｆを取得する。

【0033】

第２取得部１１２Ｂは、作業動画Ｇｙについて現在のフレームから所定数のフレームだけ過去のフレームまでのフレームごとの特徴量Ｆを第２学習モデルＭ２に入力することによって、第２学習モデルＭ２から出力される進捗情報Ｐを取得する。

【0034】

１フレームが開始した第３時点から１フレームが終了する第４時点までの時間をフレーム時間Ｔｆとし、第１学習モデルＭ１に静止画が入力された第１時点から第１学習モデルＭ１から特徴量が出力される第２時点までの遅延時間を第１時間Ｔｄ１とし、第２学習モデルＭ２に所定数のフレームの特徴量が入力された第５時点から進捗情報Ｐが第２学習モデルＭ２から出力される第６時点までの遅延時間を第２時間Ｔｄ２とする。この場合、フレーム時間Ｔｆ、第１時間Ｔｄ１、及び第２時間Ｔｄ２には、以下の関係がある。
Ｔｄ１≦Ｔｆ （式１）
Ｔｄ２≦Ｔｆ （式２）

【0035】

図６は、抽出部１１１及び進捗情報生成部１１２の動作を示すタイミングチャートである。なお、図６に示されるＧｘ[n]はｎ番目のフレームの撮像動画Ｇｘを示す。Ｇｙ[n]はｎ番目のフレームの作業動画Ｇｙを示す。Ｆ[n]はｎ番目のフレームの特徴量を示す。Ｐ[n]はｎ番目のフレームの進捗情報Ｐを示す。但し、ｎは整数である。この例では、フレーム時間Ｔｆ、第１時間Ｔｄ１、及び第２時間Ｔｄ２が互いに等しく、第２学習モデルＭ２には、現在のフレームから５フレームだけ過去のフレームまでのフレームごとの特徴量Ｆが入力される。

【0036】

図６に示されるように、抽出部１１１は、撮像動画Ｇｘから作業動画Ｇｙを遅延なく抽出する。第１取得部１１２Ａは、第１学習モデルＭ１を用いて特徴量Ｆを取得するまでにフレーム時間Ｔｆを要する。例えば、第１取得部１１２Ａは、時刻ｔ０から時刻ｔ１までの期間に、作業動画Ｇｙの８番目のフレームに対応する静止画Ｇｙ[8]を第１学習モデルＭ１に入力する。この入力によって、第１取得部１１２Ａは、時刻ｔ１から時刻ｔ２までの期間に、第１学習モデルＭ１から８番目のフレームに対応する特徴量Ｆ[8]を取得する。

【0037】

第２取得部１１２Ｂは、第２学習モデルＭ２を用いて現在の工程（進捗情報Ｐ）を取得するまでにフレーム時間Ｔｆを要する。例えば、第２取得部１１２Ｂは、時刻ｔ１から時刻ｔ２までの期間に、作業動画Ｇｙの４番目から８番目までのフレームに対応する特徴量Ｆ[4]～Ｆ[8]を第２学習モデルＭ２に入力する。この入力によって、第２取得部１１２Ｂは、時刻ｔ２から時刻ｔ３までの期間に、第２学習モデルＭ２から進捗情報Ｐ[8]を取得する。従って、作業動画Ｇｙの８番目のフレームの静止画Ｇｙ[8]が得られてから、当該フレームに対応する進捗情報Ｐ[8]を生成するまでの遅延時間はフレーム時間Ｔｆの２倍以下になる。

【0038】

第２取得部１１２Ｂは、過去のフレームに対応する特徴量Ｆを記憶装置１２に記憶する。そして、第２取得部１１２Ｂは、記憶された過去のフレームに対応する特徴量Ｆを用いて、第２学習モデルＭ２に現在のフレームから所定フレームだけ過去のフレームまでのフレームごとの特徴量Ｆを入力する。従って、第１学習モデルＭ１を用いて過去のフレームの特徴量Ｆを再度算出する必要がない。この結果、進捗情報生成部１１２の処理時間が短縮される。

【0039】

決定部１１３は、進捗情報Ｐに基づいて、複数の工程のうちどの工程の作業を支援するかを決定する。例えば、進捗情報Ｐが、図１に示される第２工程の手順１～手順３の終了を示す場合、決定部１１３は、第２工程を支援することを決定する。また、進捗情報Ｐが、図１に示される第２工程の手順４の終了を示す場合、決定部１１３は、第３工程を支援することを決定する。即ち、決定部１１３は、現在の作業がある工程に属し、当該工程の終了が未検出である場合には、当該工程を支援することを決定する。一方、決定部１１３は、現在の作業がある工程に属し、当該工程の終了が検出されている場合には、当該工程の次の工程を支援することを決定する。

【0040】

再生部１１４は、複数の工程に１対１に対応する複数の支援情報のうち、決定部１１３によって決定された工程に対応する支援情報を、決定された工程が終了するまで、繰り返し再生する。例えば、決定部１１３によって第２工程を支援することが決定された場合、再生部１１４は、管理テーブルＴＢＬに記憶される複数のレコードＲ１、Ｒ２、及びＲ３の中から、レコードＲ２に対応付けられる動画情報「002.wmv」、第１静止画情報「021.jpeg」、第２静止画情報「022.jpeg」、及びテキスト画像情報「032.jpeg」を読み出して、読み出した情報を再生する。再生部１１４は、各情報を画像に変換する。例えば、再生部１１４は、動画情報をデコードすることによって説明動画Ｇｖを生成する。説明動画Ｇｖの再生時間は固定である。これに対して、作業者が現在の工程に要する作業時間は変動する。このため、説明動画Ｇｖの再生が終了しても、作業者が現在の工程に関する作業を完了していないことがある。再生部１１４は、作業者が現在の工程を開始した時点から作業者が現在の工程を終了する時点までの期間、動画情報を繰り返し再生する。

【0041】

枠画像生成部１１５は、撮像動画Ｇｘに基づいて、作業領域の外縁を示す枠画像Ｇｆを生成する。例えば、作業領域の色が周囲と区別できる特定の色である場合、枠画像生成部１１５は、撮像動画Ｇｘに対して特定の色を認識する画像処理を施すことによって枠画像Ｇｆを生成してもよい。

【0042】

出力制御部１１６は、再生部１１４によって再生される支援情報に動画情報が含まれる場合、表示装置１８Ａに動画情報の示す説明動画Ｇｖを表示させる。更に、出力制御部１１６は、第１静止画情報の示す第１静止画Ｇｓ１、第２静止画情報の示す第２静止画Ｇｓ２、テキスト画像情報の示すテキスト画像Ｇｔ、及び枠画像Ｇｆを表示装置１８Ａに表示させる。加えて、出力制御部１１６は、作業領域と重複しない位置に、説明動画Ｇｖ、第１静止画Ｇｓ１、第２静止画Ｇｓ２、及びテキスト画像Ｇｔを表示装置１８Ａに表示させる。このように支援情報に係る画像は、作業領域と重ならない位置に表示されるので、作業者は作業の状況を正確に認識できる。また、枠画像Ｇｆは、作業領域の外縁を示すので、作業者には枠画像Ｇｆの内側で作業を行うことが促される。この結果、作業動画Ｇｙには、作業の対象物が写り込むようになる。よって、現在の工程を特定する精度が向上する。

【0043】

３：実施形態の動作
図７は、作業支援に関する処理装置１１の動作を示すフローチャートである。ステップＳ１０において、処理装置１１は、撮像装置１６から出力される撮像動画Ｇｘを取得する。

【0044】

ステップＳ１１において、処理装置１１は、作業支援の開始を受け付けたかを判定する。具体的には、処理装置１１は、撮像動画Ｇｘに基づいて、作業者のジェスチャーが作業支援の開始を指定するジェスチャーに該当するかを判定する。作業支援の開始を指定するジェスチャーとしては、例えば、右手を握るジェスチャーが該当する。

【0045】

処理装置１１は、ステップＳ１１の判定結果が肯定になるまで、ステップＳ１０及びステップＳ１１の処理を繰り返す。ステップＳ１１の判定結果が肯定である場合、処理装置１１は、処理をステップＳ１２に進める。

【0046】

ステップＳ１２において、処理装置１１は、撮像動画Ｇｘに基づいて枠画像Ｇｆを生成する。ステップＳ１３おいて、処理装置１１は、第１工程の支援情報を再生する。具体的には、処理装置１１は、管理テーブルＴＢＬから、動画情報「001.wmv」、第１静止画情報「011.jpeg」、第２静止画情報「021.jpeg」、及びテキスト画像情報「031.jpeg」を読み出して、読み出した情報を再生する。この処理によって、動画情報の示す説明動画Ｇｖ、第１静止画情報の示す第１静止画Ｇｓ１、第２静止画情報の示す第２静止画Ｇｓ２、テキスト画像情報の示すテキスト画像Ｇｔ及び枠画像Ｇｆが、表示装置１８Ａに表示される。

【0047】

ステップＳ１４において、処理装置１１は、撮像動画Ｇｘから作業領域に対応する作業動画Ｇｙを抽出する。

【0048】

ステップＳ１５において、処理装置１１は、作業動画Ｇｙに基づいて、作業の進捗を特定する。処理装置１１は、作業動画Ｇｙのフレームごとの静止画を第１学習モデルＭ１に入力することによって、作業動画Ｇｙのフレームごとの特徴量Ｆを取得する。処理装置１１は、作業動画Ｇｙについて現在のフレームから所定数のフレームだけ過去のフレームまでのフレームごとの特徴量Ｆを第２学習モデルＭ２に入力する。この入力によって、第２学習モデルＭ２から進捗情報Ｐが出力される。進捗情報Ｐは、現在の作業が作業全体のどの位置まで終了しているかを示す。

【0049】

ステップＳ１６において、処理装置１１は、進捗情報Ｐに基づいて、現在の工程が終了したか否かを判定する。ステップＳ１６の判定結果が否定の場合、処理装置１１は、処理をステップＳ１７に進める。

【0050】

ステップＳ１７において、処理装置１１は説明動画Ｇｖの再生が終了したか否かを判定する。ステップＳ１７の判定結果が否定の場合、処理装置１１は処理をステップＳ１６に戻す。一方、ステップＳ１７の判定結果が肯定である場合、処理装置１１は処理をステップＳ１８に進める。

【0051】

ステップＳ１８において、処理装置１１は、再生が終了した動画情報を再度再生する。ステップＳ１８の処理が終了すると、処理装置１１は処理をステップＳ１６に戻す。ステップＳ１６からステップＳ１８までの処理によって、現在の工程が終了するまで、現在の工程に対応する説明動画Ｇｖが繰り返し再生される。

【0052】

ステップＳ１６の判定結果が肯定である場合、処理装置１１は処理をステップＳ１９に進める。ステップＳ１９において、処理装置１１は、進捗情報Ｐに基づいて、全ての工程が終了したか否かを判定する。

【0053】

ステップＳ１９の判定結果が否定である場合、処理装置１１は処理をステップＳ２０に進める。ステップＳ２０において、処理装置１１は次の工程の支援情報を再生する。具体的には、処理装置１１は、次の工程に対応する工程ＩＤを特定する。処理装置１１は、管理テーブルＴＢＬから、特定された工程ＩＤに対応する支援情報を読み出す。例えば、次の工程が第３工程である場合、処理装置１１は、管理テーブルＴＢＬから、動画情報「003.wmv」、第１静止画情報「031.jpeg」、第２静止画情報「032.jpeg」、及びテキスト画像情報「033.jpeg」を読み出して、読み出した情報を再生する。ステップＳ２０の処理によって、作業者に次の工程の支援情報が提供される。処理装置１１は、ステップＳ２０の処理が終了した場合、処理をステップＳ１４に進める。

【0054】

ステップ１９の判定結果が肯定である場合、処理装置１１は作業支援に関する処理を終了する。

【0055】

以上の処理において、処理装置１１は、ステップＳ１２において、枠画像生成部１１５として機能する。処理装置１１は、ステップＳ１４において、抽出部１１１として機能する。処理装置１１は、ステップＳ１５において、進捗情報生成部１１２、第１取得部１１２Ａ及び第２取得部１１２Ｂとして機能する。処理装置１１は、ステップＳ１６において、決定部１１３として機能する。処理装置１１は、ステップＳ１３、ステップＳ１７、ステップＳ１８及びステップＳ２０において、再生部１１４として機能する。処理装置１１は、ステップＳ１３、ステップＳ１８及びステップＳ２０において、出力制御部１１６として機能する。

【0056】

１．３：実施形態が奏する効果
以上の説明によれば、ＸＲグラス１は、作業領域において複数の工程を含む作業を実行する作業者の頭部に装着可能である。また、ＸＲグラス１は作業者が作業を実行している状況において、外界を撮像する撮像装置１６から出力される撮像動画Ｇｘから作業領域に対応する作業動画Ｇｙを抽出する抽出部１１１と、作業動画Ｇｙに基づいて、作業の進捗を示す進捗情報Ｐを生成する進捗情報生成部１１２と、進捗情報Ｐに基づいて、複数の工程のうちどの工程の作業を支援するかを決定する決定部１１３と、複数の工程に１対１に対応する複数の支援情報のうち、決定部１１３によって決定された工程に対応する支援情報を、決定された工程が終了するまで、繰り返し再生する再生部１１４と、再生部１１４によって再生される支援情報に動画を示す動画情報が含まれる場合、前記作業者に複合現実空間を視認させる表示装置１８Ａに動画情報の示す説明動画Ｇｖを表示させる出力制御部１１６とを備える。

【0057】

ＸＲグラス１は、以上の構成を有するので、複数の工程からなる一連の作業において、現在の工程について過去の手順から将来の手順までの作業の流れを、作業者に繰り返し提供できる。また，ＸＲグラス１は、撮像動画Ｇｖを外部に送信せずに、内部の処理によって、現在の工程に応じた支援情報を作業者に提供できる。よって、撮像画像Ｇｖを外部装置に送信する構成と比較して、ＸＲグラス１はセキュリティを向上させることができる。

【0058】

また、決定部１１３は、進捗情報Ｐの示す作業の進捗が現在の工程の終了である場合、次の工程を支援することを決定することが好ましい。決定部１１３がこのように決定することによって、再生部１１４は、再生の対象となる支援情報を、現在の工程に対応する支援情報から、次の工程に対応する支援情報に切り替えることができる。従って、作業者はある工程が終了した場合に、作業を中断して次の工程に対応する支援情報の再生を指示する必要がないので、ＸＲグラス１によれば、作業効率が向上する。

【0059】

ＸＲグラス１は、撮像動画Ｇｘに基づいて、作業領域の外縁を示す枠画像Ｇｆを生成する枠画像生成部１１５を更に備え、出力制御部１１６は、枠画像Ｇｆを表示装置１８Ａに表示させる。ＸＲグラス１は、枠画像Ｇｆを作業者に視認させるので、作業者は、作業領域を認識する。この認識によって、作業者は作業領域で作業することが促されるので、ＸＲグラス１は、枠画像Ｇｆを表示しない構成と比較して、作業の進捗が正確に特定できる。

【0060】

また、出力制御部１１６は、再生部１１４によって再生される支援情報に動画情報が含まれる場合、表示装置１８Ａにおいて作業領域と重複しない位置に説明動画Ｇｖを表示させる。この位置に説明動画Ｇｖが表示されるので、作業領域に重ねて説明動画Ｇｖが表示される構成と比較して、作業者の作業領域に対する視認性が向上する。

【0061】

記憶装置１２は、１フレームの画像と特徴量との関係を学習済みの第１学習モデルＭ１と、現在のフレームから所定数のフレームだけ過去のフレームまでのフレームごとの特徴量Ｆと、作業の進捗を示す状況情報との関係を学習済みの第２学習モデルＭ２とを記憶する。また、進捗情報生成部１１２は、作業動画Ｇｙのフレームごとの静止画を第１学習モデルＭ１に入力することによって、作業動画Ｇｙのフレームごとの特徴量Ｆを取得する第１取得部１１２Ａと、作業動画Ｇｙについて現在のフレームから所定数のフレームだけ過去のフレームまでのフレームごとの特徴量Ｆを第２学習モデルＭ２に入力することによって、第２学習モデルＭ２から出力される進捗情報Ｐを取得する第２取得部１１２Ｂとを備える。

【0062】

第２取得部１１２Ｂは、第１取得部１１２Ａによって取得された、現在のフレームから所定数のフレームだけ過去のフレームまでのフレームごとの特徴量Ｆを用いて、進捗情報Ｐを取得するので、第１学習モデルＭ１を用いて過去のフレームの特徴量Ｆを再度算出する必要がない。この結果、進捗情報生成部１１２の処理時間が短縮される。

【0063】

また、第１学習モデルＭ１に静止画が入力された第1時点から第１学習モデルＭ１から特徴量Ｆが出力される第２時点までの第１時間Ｔｄ１は、１フレームが開始した第３時点から１フレームが終了する第４時点までのフレーム時間Ｔｆ以下であり、第２学習モデルＭ２に作業動画について現在のフレームから所定数のフレームだけ過去のフレームまでのフレームごとの特徴量Ｆが入力された第５時点から進捗情報Ｐが第２学習モデルＭ２から出力される第６時点までの第２時間Ｔｄ２は、フレーム時間Ｔｆ以下である。このような時間関係に設定することによって、作業動画Ｇｙのあるフレームの静止画が得られた時点から、当該フレームに対応する進捗情報Ｐを生成する時点までの遅延時間をフレーム時間Ｔｆの２倍以下にできる。

【0064】

３：変形例
本開示は、以上に例示した実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を併合してもよい。

【0065】

３．１：変形例１
実施形態に係るＸＲグラス１において、枠画像生成部１１５は、撮像動画Ｇｘに対して特定の色を認識する画像処理を施すことによって枠画像Ｇｆを生成した。しかし、本開示は、画像処理を施すことによって枠画像Ｇｆを生成する点に限定されない。

【0066】

図８は、変形例１に係るＸＲグラス１Ａの構成例を示すブロック図である。ＸＲグラス１Ａは、記憶装置１２に特徴点マップＭＰを記憶する点、及び枠画像生成部１１５の替わりに枠画像生成部１１５Ａを備える点を除いて、図２に示される実施形態のＸＲグラス１と同様に構成される。

【0067】

特徴点マップＭＰは、複数の特徴点を三次元の座標系によって表現したデータである。特徴点マップＭＰは、例えば、ステレオカメラを用いて作業台２００が配置される場所周辺を撮像した画像から複数の特徴点を抽出することによって生成される。

【0068】

枠画像生成部１１５Ａは、以下の処理を実行する。第１の処理は、撮像動画Ｇｘに特徴点を抽出する抽出処理を施すことによって、特徴点画像Ｇｚを生成する。第２の処理は、特徴点画像Ｇｚと特徴点マップＭＰに記憶されている複数の特徴点とを照合することによって、ＸＲグラス１Ａの位置とＸＲグラス１Ａの向きを特定する。

【0069】

枠画像生成部１１５Ａは、ＸＲグラス１Ａが作業領域に置かれている状況において、撮像装置１６から出力される初期画像Ｇｒに基づいて、現実空間における作業領域の位置を特定する。作業領域の位置の特定は、初期画像Ｇｒに第１の処理と第２の処理とを施すことによって、実行される。例えば、作業者は、作業支援の提供を受ける前に、ＸＲグラス１Ａを作業領域の中央に配置する。この状態で作業者は、ＸＲグラス１Ａの電源をオンにすることにより撮像装置１６から得られる撮像動画Ｇｘを初期画像Ｇｒとすればよい。

【0070】

枠画像生成部１１５Ａは、撮像動画Ｇｘと作業領域の位置とに基づいて、枠画像Ｇｆを生成する。この場合、枠画像生成部１１５Ａは、撮像動画Ｇｘに第１の処理と第２の処理を施すことによって、ＸＲグラス１Ａの位置と向きとをリアルタイムに算出する。枠画像生成部１１５Ａは、算出されたＸＲグラス１Ａの位置及び向き、並びに作業領域の位置に基づいて、枠画像Ｇｆを生成する。

【0071】

即ち、枠画像生成部１１５Ａは、ＸＲグラス１Ａが作業領域に置かれている状況において、撮像装置１６から出力される初期画像Ｇｒに基づいて、現実空間における作業領域の位置を特定し、特定された作業領域の位置及び撮像動画Ｇｘに基づいて、枠画像Ｇｆを生成する。

【0072】

撮像動画Ｇｘに対して特定の色を認識する画像処理を施すことによって枠画像Ｇｆを生成する場合は、作業領域の色が特定の色である必要がある。これに対して、枠画像生成部１１５Ａには、作業領域の色に関する制約は無いので、多様な作業環境において枠画像Ｇｆを表示装置１８Ａに表示させることができる。

【0073】

３．１：変形例２
上述した実施形態及び変形例１において、支援情報は、画像に関する情報に限られた。しかし、本開示は、実施形態に限定されず、支援情報は音声を示す音声情報を含んでもよい。支援情報に音声情報が含まれる場合、再生部１１４は、決定部１１３によって決定された工程に対応する音声情報を、決定された工程が終了するまで、繰り返し再生する。また、出力制御部１１６は、再生部１１４によって再生される支援情報に音声を示す音声情報が含まれる場合、音声情報の示す音声をスピーカ１８Ｂに放音させる。音声情報の内容は、対応する工程について、作業の手順を説明する音声であってもよい。また、支援情報は、動画情報及び音声情報の少なくとも一方を含む。動画情報及び音声情報の少なくとも一方は、例えば、「動画情報」、「音声情報」、又は、「動画情報及び音声情報」を意味する。

【0074】

３．３：変形例３
上述した実施形態、変形例１及び変形例２において、動画情報の示す説明動画Ｇｖの内容として、模範となる作業を示す内容を一例として説明した。しかし、本開示はこれに限定されない。説明動画Ｇｖの内容は、複数の工程のうちいずれか一つ工程について、複数の頁にわたるドキュメント、及び一の工程の作業について模範となる作業のうち少なくとも一方を示す内容であればよい。複数の頁にわたるドキュメント、及び一の工程の作業について模範となる作業のうち少なくとも一方を示す内容は、例えば、「複数の頁にわたるドキュメントを示す内容」、「一の工程の作業について模範となる作業を示す内容」、又は、「複数の頁にわたるドキュメント、及び一の工程の作業について模範となる作業を示す内容」を意味する。説明動画Ｇｖの内容が複数の頁にわたるドキュメントを示す場合、説明動画Ｇｖは、複数の頁に１対１に対応する複数の静止画から構成される。

【0075】

再生部１１４は、説明動画Ｇｖの内容が複数の頁にわたるドキュメントを示す場合、決定部１１３よって決定された工程が終了するまで、複数の頁を順番にめくる画像を繰り返し再生する。

【0076】

変形例３によれば、説明動画Ｇｖの内容が複数の頁にわたるドキュメントを示す場合には、作業者は、ドキュメントに含まれる文字、図、及び表等によって、作業内容を確認することができる。

【0077】

３．４：変形例４
上述した実施形態、変形例１、変形例２及変形例３では、作業支援装置の一例として複合現実空間を作業者に視認させた。しかし、本開示はこれに限定されない。ＸＲグラス１又は１Ａは、拡張現実空間を作業者に視認させてもよい。

【0078】

また、上述した実施形態、変形例１、変形例２及変形例３では、作業支援装置の一例はＸＲグラス１又は１Ａである。しかし、本開示はこれに限定されない。作業支援装置は、ＸＲグラス１又は１Ａの他に、ＸＲグラス１又は１Ａと接続される端末装置を含んでもよい。作業支援装置が端末装置を含む場合、抽出部１１１、進捗情報生成部１１２、決定部１１３、再生部１１４、及び枠画像生成部１１５又は１１５Ａの一部又は全部を、端末装置が担ってもよい。

【0079】

４：その他
（１）上述した実施形態及び変形例では、記憶装置１２は、ＲＯＭ及びＲＡＭなどで含んでもよい。また、記憶装置１２は、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、ＣＤ－ＲＯＭ（Compact Disc－ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。また、プログラムは、電気通信回線を介して通信網ＮＥＴから送信されてもよい。

【0080】

（２）上述した実施形態及び変形例において、説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

【0081】

（３）上述した実施形態及び変形例において、入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

【0082】

（４）上述した実施形態及び変形例において、判定は、１ビットを用いて表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

【0083】

（５）上述した実施形態及び変形例において例示した処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

【0084】

（６）図１～図８に例示された各機能は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。

【0085】

（７）上述した実施形態及び変形例において例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称を用いて呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

【0086】

また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

【0087】

（８）本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。

【0088】

（９）上述した実施形態及び変形例において、「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的な結合又は接続であっても、論理的な結合又は接続であっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」を用いて読み替えられてもよい。本開示において使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。

【0089】

（１０）上述した実施形態及び変形例において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

【0090】

（１１）本開示において使用される「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。

【0091】

（１２）上述した実施形態及び変形例において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。更に、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

【0092】

（１３）本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

【0093】

（１４）本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」等の用語も、「異なる」と同様に解釈されてもよい。

【0094】

（１５）本開示において説明した実施形態及び変形例は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行う通知に限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

【0095】

以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施できる。従って、本開示の記載は、例示説明を目的とし、本開示に対して何ら制限的な意味を有さない。

【符号の説明】

【0096】

１，１Ａ…ＸＲグラス、１１…処理装置、１２…記憶装置、１６…撮像装置、１８Ａ…表示装置、１８Ｂ…スピーカ、１１１…抽出部、１１２…進捗情報生成部、１１２Ａ…第１取得部、１１２Ｂ…第２取得部、１１３…決定部、１１４…再生部、１１５，１１５Ａ…枠画像生成部、１１６…出力制御部、Ｇｘ…撮像画像、Ｇｙ…作業画像、Ｍ１…第１学習モデル、Ｍ２…第２学習モデル。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】