知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024131046
(43)【公開日】2024-09-30
(54)【発明の名称】表示制御装置、表示システムおよびプログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20240920BHJP
G06F 3/0481 20220101ALI20240920BHJP
G06T 19/00 20110101ALI20240920BHJP
【ＦＩ】
G06F3/01 510
G06F3/0481
G06T19/00 600
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2023041068
(22)【出願日】2023-03-15
(71)【出願人】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(74)【代理人】
【識別番号】100125346
【弁理士】
【氏名又は名称】尾形 文雄
(72)【発明者】
【氏名】小林 真之
【テーマコード（参考）】
5B050
5E555
【Ｆターム（参考）】
5B050CA07
5B050DA04
5B050EA07
5B050EA12
5B050EA19
5B050FA05
5B050FA13
5E555AA07
5E555AA63
5E555AA64
5E555AA76
5E555BA06
5E555BA38
5E555BB06
5E555BB38
5E555BC08
5E555BE17
5E555CA42
5E555CB23
5E555CB66
5E555CC05
5E555DA08
5E555DA09
5E555DB18
5E555DB41
5E555DC09
5E555DC31
5E555DC77
5E555DD02
5E555DD06
5E555DD08
5E555EA04
5E555EA07
5E555EA09
5E555EA22
5E555FA00
(57)【要約】
【課題】複数の操作対象物が存在する場合に、操作対象物の操作ができるように支援情報を表示する表示制御装置等を提供する。
【解決手段】表示制御装置は、現実空間または現実空間を撮影した撮影画像に重畳して、当該撮影画像に含まれる操作対象物の操作を支援する支援情報を表示させる制御を行うプロセッサを備え、前記プロセッサは、前記撮影画像に含まれる複数の前記操作対象物の中から、ユーザによる操作の優先度が高い一の操作対象物の前記支援情報を表示させる。
【選択図】図１１
【解決手段】表示制御装置は、現実空間または現実空間を撮影した撮影画像に重畳して、当該撮影画像に含まれる操作対象物の操作を支援する支援情報を表示させる制御を行うプロセッサを備え、前記プロセッサは、前記撮影画像に含まれる複数の前記操作対象物の中から、ユーザによる操作の優先度が高い一の操作対象物の前記支援情報を表示させる。
【選択図】図１１
【特許請求の範囲】
【請求項1】
現実空間または現実空間を撮影した撮影画像に重畳して、当該撮影画像に含まれる操作対象物の操作を支援する支援情報を表示させる制御を行うプロセッサを備え、
前記プロセッサは、前記撮影画像に含まれる複数の前記操作対象物の中から、ユーザによる操作の優先度が高い一の操作対象物の前記支援情報を表示させる
表示制御装置。
前記プロセッサは、前記撮影画像に含まれる複数の前記操作対象物の中から、ユーザによる操作の優先度が高い一の操作対象物の前記支援情報を表示させる
表示制御装置。
【請求項2】
前記プロセッサは、前記撮影画像におけるユーザとそれぞれの前記操作対象物との関係を元に、前記一の操作対象物を特定する請求項１に記載の表示制御装置。
【請求項3】
前記プロセッサは、複数の前記操作対象物のうち、前記撮影画像におけるユーザとの距離が短い当該操作対象物を前記一の操作対象物とする請求項２に記載の表示制御装置。
【請求項4】
前記プロセッサは、複数の前記操作対象物のうち、前記撮影画像においてユーザが指し示す方向にある当該操作対象物を前記一の操作対象物とする請求項２に記載の表示制御装置。
【請求項5】
前記プロセッサは、ユーザとそれぞれの前記操作対象物との関係として、ユーザが使用する器具と当該操作対象物との関係を元に、前記一の操作対象物を特定する請求項２に記載の表示制御装置。
【請求項6】
前記プロセッサは、前記撮影画像におけるユーザとそれぞれの前記操作対象物との関係から前記一の操作対象物を特定できない場合に、当該撮影画像におけるそれぞれの当該操作対象物の位置から当該一の操作対象物を特定する請求項２に記載の表示制御装置。
【請求項7】
前記プロセッサは、複数の前記操作対象物のうち、前記撮影画像において中心に近い位置にある当該操作対象物を前記一の操作対象物とする請求項６に記載の表示制御装置。
【請求項8】
前記プロセッサは、前記撮影画像におけるユーザとそれぞれの前記操作対象物との関係から前記一の操作対象物を特定できない場合に、複数の当該操作対象物の中から当該一の操作対象物の選択を受け付ける請求項２に記載の表示制御装置。
【請求項9】
前記プロセッサは、前記撮影画像における前記操作対象物の数が予め定められた数を超える場合に、前記一の操作対象物を特定できないとする請求項６乃至８のいずれか１項に記載の表示制御装置。
【請求項10】
前記プロセッサは、複数の前記操作対象物の操作状況を元に、前記一の操作対象物を特定する請求項１に記載の表示制御装置。
【請求項11】
前記プロセッサは、複数の前記操作対象物のうち予め定められた操作が終了していない当該操作対象物の中から前記一の操作対象物を特定する請求項１０に記載の表示制御装置。
【請求項12】
前記プロセッサは、前記一の操作対象物の状態に応じて前記支援情報を表示させる請求項１に記載の表示制御装置。
【請求項13】
前記プロセッサは、前記撮影画像におけるユーザの状態と前記一の操作対象物との関係に応じて前記支援情報を表示させる請求項１に記載の表示制御装置。
【請求項14】
現実空間を撮影する撮影手段と、
画像を表示する表示手段と、
前記表示手段に、現実空間または前記撮影手段が撮影した撮影画像に重畳して、当該撮影画像に含まれる操作対象物の操作を支援する支援情報を表示させるプロセッサと、
を備え、
前記プロセッサは、前記撮影画像に含まれる複数の操作対象物の中から、ユーザによる操作の優先度が高い一の操作対象物の前記支援情報を前記表示手段に表示させる表示システム。
画像を表示する表示手段と、
前記表示手段に、現実空間または前記撮影手段が撮影した撮影画像に重畳して、当該撮影画像に含まれる操作対象物の操作を支援する支援情報を表示させるプロセッサと、
を備え、
前記プロセッサは、前記撮影画像に含まれる複数の操作対象物の中から、ユーザによる操作の優先度が高い一の操作対象物の前記支援情報を前記表示手段に表示させる表示システム。
【請求項15】
現実空間または現実空間を撮影した撮影画像に重畳して、当該撮影画像に含まれる操作対象物の操作を支援する支援情報を表示させる制御を行うコンピュータに、
前記撮影画像に含まれる複数の操作対象物の中から、ユーザによる操作の優先度が高い一の操作対象物の前記支援情報を表示させる機能を実現するプログラム。
前記撮影画像に含まれる複数の操作対象物の中から、ユーザによる操作の優先度が高い一の操作対象物の前記支援情報を表示させる機能を実現するプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示制御装置、表示システムおよびプログラムに関する。
【背景技術】
【0002】
特許文献１には、ユーザの頭部に装着される表示デバイスに対して、ユーザが実施する作業に関する情報を表示させる作業支援システムが開示されている。この作業支援システムでは、複数種類のデータを表示させる順序を規定するシナリオデータに従い、作業工程に対応する画像を表示デバイスの表示部に表示させている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－１４９１３９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ヘッドマウントディスプレイ等の表示装置に対し操作対象物の操作を支援する支援情報を表示する技術が存在する。ここで、操作対象物が複数存在する場合、ユーザが支援情報を元に操作対象物を操作することが難しい場合がある。
本発明は、複数の操作対象物が存在する場合に、操作対象物の操作ができるように支援情報を表示する表示制御装置等を提供することを目的とする。
本発明は、複数の操作対象物が存在する場合に、操作対象物の操作ができるように支援情報を表示する表示制御装置等を提供することを目的とする。
【課題を解決するための手段】
【0005】
請求項１に記載の発明は、現実空間または現実空間を撮影した撮影画像に重畳して、当該撮影画像に含まれる操作対象物の操作を支援する支援情報を表示させる制御を行うプロセッサを備え、前記プロセッサは、前記撮影画像に含まれる複数の前記操作対象物の中から、ユーザによる操作の優先度が高い一の操作対象物の前記支援情報を表示させる表示制御装置である。
請求項２に記載の発明は、前記プロセッサは、前記撮影画像におけるユーザとそれぞれの前記操作対象物との関係を元に、前記一の操作対象物を特定する請求項１に記載の表示制御装置である。
請求項３に記載の発明は、前記プロセッサは、複数の前記操作対象物のうち、前記撮影画像におけるユーザとの距離が短い当該操作対象物を前記一の操作対象物とする請求項２に記載の表示制御装置である。
請求項４に記載の発明は、前記プロセッサは、複数の前記操作対象物のうち、前記撮影画像においてユーザが指し示す方向にある当該操作対象物を前記一の操作対象物とする請求項２に記載の表示制御装置である。
請求項５に記載の発明は、前記プロセッサは、ユーザとそれぞれの前記操作対象物との関係として、ユーザが使用する器具と当該操作対象物との関係を元に、前記一の操作対象物を特定する請求項２に記載の表示制御装置である。
請求項６に記載の発明は、前記プロセッサは、前記撮影画像におけるユーザとそれぞれの前記操作対象物との関係から前記一の操作対象物を特定できない場合に、当該撮影画像におけるそれぞれの当該操作対象物の位置から当該一の操作対象物を特定する請求項２に記載の表示制御装置である。
請求項７に記載の発明は、前記プロセッサは、複数の前記操作対象物のうち、前記撮影画像において中心に近い位置にある当該操作対象物を前記一の操作対象物とする請求項６に記載の表示制御装置である。
請求項８に記載の発明は、前記プロセッサは、前記撮影画像におけるユーザとそれぞれの前記操作対象物との関係から前記一の操作対象物を特定できない場合に、複数の当該操作対象物の中から当該一の操作対象物の選択を受け付ける請求項２に記載の表示制御装置である。
請求項９に記載の発明は、前記プロセッサは、前記撮影画像における前記操作対象物の数が予め定められた数を超える場合に、前記一の操作対象物を特定できないとする請求項６乃至８のいずれか１項に記載の表示制御装置である。
請求項１０に記載の発明は、前記プロセッサは、複数の前記操作対象物の操作状況を元に、前記一の操作対象物を特定する請求項１に記載の表示制御装置である。
請求項１１に記載の発明は、前記プロセッサは、複数の前記操作対象物のうち予め定められた操作が終了していない当該操作対象物の中から前記一の操作対象物を特定する請求項１０に記載の表示制御装置である。
請求項１２に記載の発明は、前記プロセッサは、前記一の操作対象物の状態に応じて前記支援情報を表示させる請求項１に記載の表示制御装置である。
請求項１３に記載の発明は、前記プロセッサは、前記撮影画像におけるユーザの状態と前記一の操作対象物との関係に応じて前記支援情報を表示させる請求項１に記載の表示制御装置である。
請求項１４に記載の発明は、現実空間を撮影する撮影手段と、画像を表示する表示手段と、前記表示手段に、現実空間または前記撮影手段が撮影した撮影画像に重畳して、当該撮影画像に含まれる操作対象物の操作を支援する支援情報を表示させるプロセッサと、を備え、前記プロセッサは、前記撮影画像に含まれる複数の操作対象物の中から、ユーザによる操作の優先度が高い一の操作対象物の前記支援情報を前記表示手段に表示させる表示システムである。
請求項１５に記載の発明は、現実空間または現実空間を撮影した撮影画像に重畳して、当該撮影画像に含まれる操作対象物の操作を支援する支援情報を表示させる制御を行うコンピュータに、前記撮影画像に含まれる複数の操作対象物の中から、ユーザによる操作の優先度が高い一の操作対象物の前記支援情報を表示させる機能を実現するプログラムである。
請求項２に記載の発明は、前記プロセッサは、前記撮影画像におけるユーザとそれぞれの前記操作対象物との関係を元に、前記一の操作対象物を特定する請求項１に記載の表示制御装置である。
請求項３に記載の発明は、前記プロセッサは、複数の前記操作対象物のうち、前記撮影画像におけるユーザとの距離が短い当該操作対象物を前記一の操作対象物とする請求項２に記載の表示制御装置である。
請求項４に記載の発明は、前記プロセッサは、複数の前記操作対象物のうち、前記撮影画像においてユーザが指し示す方向にある当該操作対象物を前記一の操作対象物とする請求項２に記載の表示制御装置である。
請求項５に記載の発明は、前記プロセッサは、ユーザとそれぞれの前記操作対象物との関係として、ユーザが使用する器具と当該操作対象物との関係を元に、前記一の操作対象物を特定する請求項２に記載の表示制御装置である。
請求項６に記載の発明は、前記プロセッサは、前記撮影画像におけるユーザとそれぞれの前記操作対象物との関係から前記一の操作対象物を特定できない場合に、当該撮影画像におけるそれぞれの当該操作対象物の位置から当該一の操作対象物を特定する請求項２に記載の表示制御装置である。
請求項７に記載の発明は、前記プロセッサは、複数の前記操作対象物のうち、前記撮影画像において中心に近い位置にある当該操作対象物を前記一の操作対象物とする請求項６に記載の表示制御装置である。
請求項８に記載の発明は、前記プロセッサは、前記撮影画像におけるユーザとそれぞれの前記操作対象物との関係から前記一の操作対象物を特定できない場合に、複数の当該操作対象物の中から当該一の操作対象物の選択を受け付ける請求項２に記載の表示制御装置である。
請求項９に記載の発明は、前記プロセッサは、前記撮影画像における前記操作対象物の数が予め定められた数を超える場合に、前記一の操作対象物を特定できないとする請求項６乃至８のいずれか１項に記載の表示制御装置である。
請求項１０に記載の発明は、前記プロセッサは、複数の前記操作対象物の操作状況を元に、前記一の操作対象物を特定する請求項１に記載の表示制御装置である。
請求項１１に記載の発明は、前記プロセッサは、複数の前記操作対象物のうち予め定められた操作が終了していない当該操作対象物の中から前記一の操作対象物を特定する請求項１０に記載の表示制御装置である。
請求項１２に記載の発明は、前記プロセッサは、前記一の操作対象物の状態に応じて前記支援情報を表示させる請求項１に記載の表示制御装置である。
請求項１３に記載の発明は、前記プロセッサは、前記撮影画像におけるユーザの状態と前記一の操作対象物との関係に応じて前記支援情報を表示させる請求項１に記載の表示制御装置である。
請求項１４に記載の発明は、現実空間を撮影する撮影手段と、画像を表示する表示手段と、前記表示手段に、現実空間または前記撮影手段が撮影した撮影画像に重畳して、当該撮影画像に含まれる操作対象物の操作を支援する支援情報を表示させるプロセッサと、を備え、前記プロセッサは、前記撮影画像に含まれる複数の操作対象物の中から、ユーザによる操作の優先度が高い一の操作対象物の前記支援情報を前記表示手段に表示させる表示システムである。
請求項１５に記載の発明は、現実空間または現実空間を撮影した撮影画像に重畳して、当該撮影画像に含まれる操作対象物の操作を支援する支援情報を表示させる制御を行うコンピュータに、前記撮影画像に含まれる複数の操作対象物の中から、ユーザによる操作の優先度が高い一の操作対象物の前記支援情報を表示させる機能を実現するプログラムである。
【発明の効果】
【0006】
請求項１の発明によれば、複数の操作対象物が存在する場合に、操作対象物の操作ができるように支援情報を表示する表示制御装置等を提供することができる。
請求項２の発明によれば、撮影画像におけるユーザとそれぞれの操作対象物との関係を元に一の操作対象物を特定しない場合と比べて、ユーザが操作を行おうとしている操作対象物についての支援情報を表示させやすくなる。
請求項３の発明によれば、撮影画像におけるユーザとの距離が短い操作対象物を一の操作対象物としない場合と比べて、ユーザが操作を行おうとしている操作対象物についての支援情報を表示させやすくなる。
請求項４の発明によれば、撮影画像においてユーザが指し示す方向にある操作対象物を一の操作対象物としない場合と比べて、ユーザが操作を行おうとしている操作対象物についての支援情報を表示させやすくなる。
請求項５の発明によれば、ユーザが使用する器具と操作対象物との関係を元に一の操作対象物を特定しない場合と比べて、ユーザが操作を行おうとしている操作対象物についての支援情報を表示させやすくなる。
請求項６の発明によれば、ユーザとの関係から一の操作対象物を特定できない場合でも、一の操作対象物を特定して支援情報を表示させることができる。
請求項７の発明によれば、撮影画像において中心に近い位置にある操作対象物を一の操作対象物として特定しない場合と比較して、ユーザが操作を行おうとしている操作対象物についての支援情報を表示させやすくなる。
請求項８の発明によれば、複数の操作対象物の中から一の操作対象物の選択を受け付けない場合と比べて、ユーザが支援情報の表示を希望する操作対象物についての支援情報を表示させやすくなる。
請求項９の発明によれば、操作対象物の数が予め定められた数を超える場合に、撮影画像におけるユーザとそれぞれの操作対象物との関係から一の操作対象物を特定する場合と比べて、ユーザが操作を行おうとしていない操作対象物が一の操作対象物として特定されにくくなる。
請求項１０の発明によれば、複数の操作対象物の操作状況を元に一の操作対象物を特定しない場合と比べて、ユーザによる操作が必要な操作対象物についての支援情報を表示させやすくなる。
請求項１１の発明によれば、操作が終了していない操作対象物の中から一の操作対象物を特定しない場合と比べて、ユーザによる操作が不要な操作対象物についての支援情報を表示させにくくなる。
請求項１２の発明によれば、一の操作対象物の状態に応じて支援情報を表示させない場合と比べて、ユーザが一の操作対象物の状態に応じた操作を行いやすくなる。
請求項１３の発明によれば、ユーザの状態と一の操作対象物との関係に応じて支援情報を表示させない場合と比べて、ユーザが一の操作対象物に対して誤った操作を行いにくくなる。
請求項１４の発明によれば、複数の操作対象物が存在する場合に、操作対象物の操作ができるように支援情報を表示する表示システム等を提供することができる。
請求項１５の発明によれば、複数の操作対象物が存在する場合に、操作対象物の操作ができるように支援情報を表示するプログラム等を提供することができる。
請求項２の発明によれば、撮影画像におけるユーザとそれぞれの操作対象物との関係を元に一の操作対象物を特定しない場合と比べて、ユーザが操作を行おうとしている操作対象物についての支援情報を表示させやすくなる。
請求項３の発明によれば、撮影画像におけるユーザとの距離が短い操作対象物を一の操作対象物としない場合と比べて、ユーザが操作を行おうとしている操作対象物についての支援情報を表示させやすくなる。
請求項４の発明によれば、撮影画像においてユーザが指し示す方向にある操作対象物を一の操作対象物としない場合と比べて、ユーザが操作を行おうとしている操作対象物についての支援情報を表示させやすくなる。
請求項５の発明によれば、ユーザが使用する器具と操作対象物との関係を元に一の操作対象物を特定しない場合と比べて、ユーザが操作を行おうとしている操作対象物についての支援情報を表示させやすくなる。
請求項６の発明によれば、ユーザとの関係から一の操作対象物を特定できない場合でも、一の操作対象物を特定して支援情報を表示させることができる。
請求項７の発明によれば、撮影画像において中心に近い位置にある操作対象物を一の操作対象物として特定しない場合と比較して、ユーザが操作を行おうとしている操作対象物についての支援情報を表示させやすくなる。
請求項８の発明によれば、複数の操作対象物の中から一の操作対象物の選択を受け付けない場合と比べて、ユーザが支援情報の表示を希望する操作対象物についての支援情報を表示させやすくなる。
請求項９の発明によれば、操作対象物の数が予め定められた数を超える場合に、撮影画像におけるユーザとそれぞれの操作対象物との関係から一の操作対象物を特定する場合と比べて、ユーザが操作を行おうとしていない操作対象物が一の操作対象物として特定されにくくなる。
請求項１０の発明によれば、複数の操作対象物の操作状況を元に一の操作対象物を特定しない場合と比べて、ユーザによる操作が必要な操作対象物についての支援情報を表示させやすくなる。
請求項１１の発明によれば、操作が終了していない操作対象物の中から一の操作対象物を特定しない場合と比べて、ユーザによる操作が不要な操作対象物についての支援情報を表示させにくくなる。
請求項１２の発明によれば、一の操作対象物の状態に応じて支援情報を表示させない場合と比べて、ユーザが一の操作対象物の状態に応じた操作を行いやすくなる。
請求項１３の発明によれば、ユーザの状態と一の操作対象物との関係に応じて支援情報を表示させない場合と比べて、ユーザが一の操作対象物に対して誤った操作を行いにくくなる。
請求項１４の発明によれば、複数の操作対象物が存在する場合に、操作対象物の操作ができるように支援情報を表示する表示システム等を提供することができる。
請求項１５の発明によれば、複数の操作対象物が存在する場合に、操作対象物の操作ができるように支援情報を表示するプログラム等を提供することができる。
【図面の簡単な説明】
【0007】
【図1】本実施形態が適用される表示システムの全体構成を示した図である。
【図2】表示制御装置のハードウェア構成の一例を示す図である。
【図3】表示制御装置により行われる処理の手順の一例を示したフローチャートである。
【図4】ＣＰＵによる一の操作対象物を特定する処理例１を説明する図であって、撮影部により撮影された撮影画像の一例を示した図である。
【図5】（ａ）～（ｂ）は、ＣＰＵによる一の操作対象物を特定する処理例２を説明する図であって、撮影部により撮影された撮影画像の一例を示した図である。
【図6】（ａ）～（ｂ）は、ＣＰＵによる一の操作対象物を特定する処理例２の他の態様を説明する図であって、撮影部により撮影された撮影画像の一例を示した図である。
【図7】（ａ）～（ｂ）は、ＣＰＵによる一の操作対象物を特定する処理例３を説明する図であって、撮影部により撮影された撮影画像の一例を示した図である。
【図8】ＣＰＵによる一の操作対象物を特定する処理例４を説明する図であって、撮影部により撮影された撮影画像の一例を示した図である。
【図9】撮影画像におけるユーザとそれぞれの操作対象物との関係を元に一の操作対象物を特定できない場合に、表示装置の表示部に表示される画面の一例を示した図である。
【図10】（ａ）～（ｂ）は、ＣＰＵがそれぞれの操作対象物の操作状況を元に一の操作対象物を特定する処理を説明する図である。
【図11】（ａ）～（ｂ）は、ＣＰＵが、一の操作対象物の支援情報を表示装置の表示部に表示させる処理を説明する図である。
【図12】表示装置の表示部に表示される画面の他の例を示した図である。
【図13】（ａ）～（ｂ）は、ＣＰＵが、一の操作対象物を備える装置の状態に応じて、表示装置に異なる支援情報を表示させる処理を説明する図である。
【発明を実施するための形態】
【0008】
以下、添付図面を参照して、本発明の実施形態について詳細に説明する。
（表示システム１）
図１は、本実施形態が適用される表示システム１の全体構成を示す図である。表示システム１は、ユーザが操作対象物の操作を行う場合に、操作対象物の操作を支援する支援情報を表示して、ユーザによる操作を支援する。
ここで、操作とは、一般に、操作対象物を動かして作業することを意味するが、それに限らず、本実施形態における「操作」は、操作対象物に対してユーザが何らかの動作を行うことを意味する。付言すると、「操作」には、例えば、操作対象物の一例としてタッチパネル上のアイコンをタップする動作や、操作対象物の一例として赤外線センサに手をかざす動作等のように、操作対象物が動かない動作も含む。
（表示システム１）
図１は、本実施形態が適用される表示システム１の全体構成を示す図である。表示システム１は、ユーザが操作対象物の操作を行う場合に、操作対象物の操作を支援する支援情報を表示して、ユーザによる操作を支援する。
ここで、操作とは、一般に、操作対象物を動かして作業することを意味するが、それに限らず、本実施形態における「操作」は、操作対象物に対してユーザが何らかの動作を行うことを意味する。付言すると、「操作」には、例えば、操作対象物の一例としてタッチパネル上のアイコンをタップする動作や、操作対象物の一例として赤外線センサに手をかざす動作等のように、操作対象物が動かない動作も含む。
【0009】
本実施形態の表示システム１は、表示装置１０と、表示制御装置２０とを備えている。表示制御装置２０は、例えば、ＰＣ（Personal Computer）やサーバコンピュータ等のコンピュータ装置により構成されている。
【0010】
（表示装置１０）
表示装置１０は、表示手段の一例である表示部１１を備え、表示部１１に操作対象物の操作を支援する支援情報を表示する。付言すると、表示装置１０は、表示制御装置２０による制御により、表示部１１に、現実空間または後述する撮影部１２が撮影した撮影画像に重畳して、撮影画像に含まれる操作対象物の操作を支援する支援情報を表示する。さらに付言すると、表示装置１０は、表示部１１を介して視認される現実空間に重畳して支援情報を表示する光学透過型の表示装置であってもよく、表示部１１に表示される撮影画像に重畳して支援情報を表示する非透過型の表示装置であってもよい。
なお、現実空間とは、実際に存在する空間である。
表示装置１０は、表示手段の一例である表示部１１を備え、表示部１１に操作対象物の操作を支援する支援情報を表示する。付言すると、表示装置１０は、表示制御装置２０による制御により、表示部１１に、現実空間または後述する撮影部１２が撮影した撮影画像に重畳して、撮影画像に含まれる操作対象物の操作を支援する支援情報を表示する。さらに付言すると、表示装置１０は、表示部１１を介して視認される現実空間に重畳して支援情報を表示する光学透過型の表示装置であってもよく、表示部１１に表示される撮影画像に重畳して支援情報を表示する非透過型の表示装置であってもよい。
なお、現実空間とは、実際に存在する空間である。
【0011】
以下では、表示装置１０が、ユーザの頭部に装着して使用されるヘッドマウントディスプレイ（以下、ＨＭＤ（Head Mounted Display）と表記する。）である場合を例示して説明を行う。なお、表示装置１０は、表示部１１を備えていれば、ＨＭＤに限定されず、例えば、スマートフォン、携帯電話、タブレット型端末等であってもよい。
【0012】
図１に示すように、表示装置１０は、表示部１１と、撮影部１２と、通信部１３とを備える。
表示部１１は、情報を表示する。表示部１１は、例えば、有機ＥＬ（Electro Luminescent）ディスプレイや液晶ディスプレイにより構成される。表示部１１は、表示装置１０を装着したユーザの視野に重なるように設けられる。本実施形態の表示部１１に表示される情報には、撮影部１２により撮影された撮影画像、および操作対象物の支援情報を含む。
表示部１１は、情報を表示する。表示部１１は、例えば、有機ＥＬ（Electro Luminescent）ディスプレイや液晶ディスプレイにより構成される。表示部１１は、表示装置１０を装着したユーザの視野に重なるように設けられる。本実施形態の表示部１１に表示される情報には、撮影部１２により撮影された撮影画像、および操作対象物の支援情報を含む。
【0013】
撮影部１２は、撮影手段の一例であって、現実空間を撮影し、撮影した画像である撮影画像を出力する。撮影部１２は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge-Coupled Device）イメージセンサにより構成される。撮影部１２は、単数のイメージセンサにより構成されていてもよく、複数のイメージセンサにより構成されていてもよい。
本実施形態では、撮影部１２は、表示装置１０に一体的に設けられている。そして、撮影部１２は、表示装置１０を装着したユーザの頭部が向いている方向、言い換えると、表示装置１０を装着したユーザが表示装置１０を介して眺める方向に位置する現実空間を撮影する。
本実施形態では、撮影部１２は、表示装置１０に一体的に設けられている。そして、撮影部１２は、表示装置１０を装着したユーザの頭部が向いている方向、言い換えると、表示装置１０を装着したユーザが表示装置１０を介して眺める方向に位置する現実空間を撮影する。
【0014】
通信部１３は、表示制御装置２０と接続し、表示制御装置２０の間で情報の送受信を行う。通信部１３による接続は、特に限定されず、例えば、ブルートゥース（Bluetooth）（登録商標）、無線ＬＡＮ（Local Area Network）等による接続や、インターネットを介した接続等が挙げられる。また、通信部１３は、有線接続により表示制御装置２０と接続してもよい。
【0015】
（表示制御装置２０）
続いて、表示制御装置２０のハードウェア構成について説明する。図２は、表示制御装置２０のハードウェア構成の一例を示す図である。
図２に示すように、表示制御装置２０は、情報の処理を行う情報処理部２１と、情報を記憶する記憶部２２と、通信を実現する通信インタフェース（通信Ｉ／Ｆ）２３とを備えている。また、表示制御装置２０では、情報処理部２１、記憶部２２、通信Ｉ／Ｆ２３は、バス２５に接続されており、このバス２５を介してデータの授受を行う。
続いて、表示制御装置２０のハードウェア構成について説明する。図２は、表示制御装置２０のハードウェア構成の一例を示す図である。
図２に示すように、表示制御装置２０は、情報の処理を行う情報処理部２１と、情報を記憶する記憶部２２と、通信を実現する通信インタフェース（通信Ｉ／Ｆ）２３とを備えている。また、表示制御装置２０では、情報処理部２１、記憶部２２、通信Ｉ／Ｆ２３は、バス２５に接続されており、このバス２５を介してデータの授受を行う。
【0016】
情報処理部２１は、図２に示すように、ＣＰＵ（Central Processing Unit）２１ａ、ＲＯＭ（Read Only Memory）２１ｂ、ＲＡＭ（Random Access Memory）２１ｃにより構成されている。
ＣＰＵ２１ａは、プロセッサの一例であって、ＲＯＭ２１ｂ等に記憶された各種プログラムをＲＡＭ２１ｃにロードして実行することにより、後述する各機能を実現する。ＲＡＭ２１ｃは、ＣＰＵ２１ａの作業用メモリ等として用いられるメモリである。ＲＯＭ２１ｂは、ＣＰＵ２１ａが実行する各種プログラム等を記憶するメモリである。
ＣＰＵ２１ａは、プロセッサの一例であって、ＲＯＭ２１ｂ等に記憶された各種プログラムをＲＡＭ２１ｃにロードして実行することにより、後述する各機能を実現する。ＲＡＭ２１ｃは、ＣＰＵ２１ａの作業用メモリ等として用いられるメモリである。ＲＯＭ２１ｂは、ＣＰＵ２１ａが実行する各種プログラム等を記憶するメモリである。
【0017】
ここで、ＣＰＵ２１ａによって実行されるプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータが読取可能な記録媒体に記憶した状態で提供しうる。また、ＣＰＵ２１ａによって実行されるプログラムは、インターネットなどの通信手段を用いて提供しうる。
【0018】
また、本実施の形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ：Central Processing Unit等）や、専用のプロセッサ（例えばＧＰＵ：Graphics Processing Unit、ＡＳＩＣ：Application Specific Integrated Circuit、ＦＰＧＡ：Field Programmable Gate Array、プログラマブル論理デバイス等）を含むものである。
また、本実施の形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は、本実施の形態において記載した順序のみに限定されるものではなく、変更してもよい。
また、本実施の形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は、本実施の形態において記載した順序のみに限定されるものではなく、変更してもよい。
【0019】
記憶部２２は、例えばＨＤＤ（Hard Disk Drive）により構成され、各種のデータを記憶する。
記憶部２２は、表示制御装置２０により支援情報の表示を行う複数の操作対象物に関する情報を記憶する。複数の操作対象物に関する情報としては、それぞれの操作対象物の画像に関する情報が挙げられる。詳細については後述するが、ＣＰＵ２１ａは、記憶部２２に記憶されている画像と比較することで、撮影画像に含まれる操作対象物を認識する。
また、複数の操作対象物に関する情報としては、それぞれの操作対象物の操作手順に関する情報が挙げられる。
また、複数の操作対象物に関する情報としては、それぞれの操作対象物の操作に使用する道具に関する情報が挙げられる。
さらに、複数の操作対象物に関する情報としては、それぞれの操作対象物の操作を行う条件に関する情報が挙げられる。
記憶部２２は、表示制御装置２０により支援情報の表示を行う複数の操作対象物に関する情報を記憶する。複数の操作対象物に関する情報としては、それぞれの操作対象物の画像に関する情報が挙げられる。詳細については後述するが、ＣＰＵ２１ａは、記憶部２２に記憶されている画像と比較することで、撮影画像に含まれる操作対象物を認識する。
また、複数の操作対象物に関する情報としては、それぞれの操作対象物の操作手順に関する情報が挙げられる。
また、複数の操作対象物に関する情報としては、それぞれの操作対象物の操作に使用する道具に関する情報が挙げられる。
さらに、複数の操作対象物に関する情報としては、それぞれの操作対象物の操作を行う条件に関する情報が挙げられる。
【0020】
また、記憶部２２は、表示装置１０の表示部１１に表示する支援情報を記憶する。支援情報は、上述したように、表示装置１０を装着したユーザによる操作対象物の操作を支援するための情報である。付言すると、支援情報とは、ユーザがこの情報を確認した際に、操作対象物に対して行うべき操作（例えば、操作対象物に対してどのような操作を行えばよいか、どのような操作を行ってはいけないのか等）を把握することが可能な情報である。
記憶部２２は、支援情報の一例として、ユーザによる操作対象物の操作を支援する画像であって、撮影部１２により撮影され表示部１１に表示される撮影画像に重畳して表示される支援画像を記憶している。
記憶部２２は、支援情報を、この支援情報により操作を支援するそれぞれの操作対象物に対応付けて記憶している。
記憶部２２は、支援情報の一例として、ユーザによる操作対象物の操作を支援する画像であって、撮影部１２により撮影され表示部１１に表示される撮影画像に重畳して表示される支援画像を記憶している。
記憶部２２は、支援情報を、この支援情報により操作を支援するそれぞれの操作対象物に対応付けて記憶している。
【0021】
（表示制御装置２０による処理）
表示システム１では、表示装置１０を装着したユーザが操作対象物の操作を行う場合に、表示制御装置２０が、表示装置１０の表示部１１に対して操作対象物の操作を支援する支援情報を表示させる。
続いて、表示システム１の動作を、表示制御装置２０が行う処理を中心に説明する。図３は、表示制御装置２０により行われる処理の手順の一例を示したフローチャートである。表示制御装置２０による処理は、情報処理部２１のＣＰＵ２１ａによりプログラムが実行されることにより行われる。
ここでは、表示装置１０を装着したユーザが、複数の操作対象物の中から１つの操作対象物の操作を行う場合に、表示制御装置２０が表示装置１０の表示部１１に支援情報を表示する場合を例に挙げて説明する。
表示システム１では、表示装置１０を装着したユーザが操作対象物の操作を行う場合に、表示制御装置２０が、表示装置１０の表示部１１に対して操作対象物の操作を支援する支援情報を表示させる。
続いて、表示システム１の動作を、表示制御装置２０が行う処理を中心に説明する。図３は、表示制御装置２０により行われる処理の手順の一例を示したフローチャートである。表示制御装置２０による処理は、情報処理部２１のＣＰＵ２１ａによりプログラムが実行されることにより行われる。
ここでは、表示装置１０を装着したユーザが、複数の操作対象物の中から１つの操作対象物の操作を行う場合に、表示制御装置２０が表示装置１０の表示部１１に支援情報を表示する場合を例に挙げて説明する。
【0022】
まず、表示システム１では、ユーザの頭部に装着された表示装置１０の撮影部１２による撮影が開始される。操作対象物の操作を行う場合、表示装置１０を装着したユーザは、操作対象物に対峙し、表示装置１０を介して操作対象物を視認しようとする。この場合、撮影部１２により、操作対象物を含む現実空間が撮影される。
そして、ＣＰＵ２１ａは、表示装置１０から、撮影部１２により撮影された撮影画像を取得する（ステップ１０１）。
そして、ＣＰＵ２１ａは、表示装置１０から、撮影部１２により撮影された撮影画像を取得する（ステップ１０１）。
【0023】
次いで、ＣＰＵ２１ａは、ステップ１０１にて取得した撮影画像を解析し、撮影画像に含まれる物体を認識する（ステップ１０２）。ステップ１０２にてＣＰＵ２１ａが撮影画像から認識する物体としては、表示装置１０を装着したユーザに関する物体、および操作対象物が挙げられる。詳細については後述するが、ＣＰＵ２１ａが撮影画像から認識するユーザに関する物体としては、手や指等のユーザの身体の一部の他、ユーザが使用する道具やユーザが身に着けている手袋や衣服等も含まれる。なお、本実施形態の説明において、撮影画像に含まれるユーザに関する物体を、単にユーザと表記する場合がある。
【0024】
ステップ１０２において、ＣＰＵ２１ａは、例えば、記憶部２２に予め記憶されている物体の画像と、撮影画像に含まれる物体とを比較することにより、撮影画像に含まれる物体を認識する。付言すると、ＣＰＵ２１ａは、例えば、記憶部２２に予め記憶されている操作対象物の画像と、撮影画像に含まれる物体の画像とが合致する場合に、撮影画像に含まれる物体をこの操作対象物として認識する。
なお、ＣＰＵ２１ａは、撮影画像の解析により撮影画像に含まれる物体を認識することができれば、その方法は特に限定されるものではない。
なお、ＣＰＵ２１ａは、撮影画像の解析により撮影画像に含まれる物体を認識することができれば、その方法は特に限定されるものではない。
【0025】
次いで、ＣＰＵ２１ａは、ステップ１０２での撮影画像の解析結果に基づき、撮影画像に複数の操作対象物が含まれているか否かの判定を行う（ステップ１０３）。
撮影画像に複数の操作対象物が含まれていない場合、言い換えると、撮影画像に含まれる操作対象物が１つである場合（ステップ１０３でＮＯ）、ＣＰＵ２１ａは、撮影画像に含まれる操作対象物を、表示部１１に支援情報を表示する一の操作対象物として特定する（ステップ１０４）。
撮影画像に複数の操作対象物が含まれていない場合、言い換えると、撮影画像に含まれる操作対象物が１つである場合（ステップ１０３でＮＯ）、ＣＰＵ２１ａは、撮影画像に含まれる操作対象物を、表示部１１に支援情報を表示する一の操作対象物として特定する（ステップ１０４）。
【0026】
一方、撮影画像に複数の操作対象物が含まれている場合（ステップ１０３でＹＥＳ）、ＣＰＵ２１ａは、撮影画像に含まれる複数の操作対象物の中から、表示部１１に支援情報を表示する一の操作対象物を特定する（ステップ１０５）。
ステップ１０５においてＣＰＵ２１ａが一の操作対象物を特定する処理については、後段にて詳細に説明する。
ここで、本実施形態では、ステップ１０４およびステップ１０５においてＣＰＵ２１ａが特定する「一の操作対象物」が、「ユーザによる操作の優先度が高い一の操作対象物」に当たる。ユーザによる操作の優先度が高いとは、他の操作対象物に比べて操作が優先して行われることを意味する。具体的には、表示装置１０を装着したユーザがその操作対象物の操作を行おうとしていること、または、操作対象物を含む装置の状況等によって、その操作対象物の操作を行うことが好ましいこと等を意味する。
ステップ１０５においてＣＰＵ２１ａが一の操作対象物を特定する処理については、後段にて詳細に説明する。
ここで、本実施形態では、ステップ１０４およびステップ１０５においてＣＰＵ２１ａが特定する「一の操作対象物」が、「ユーザによる操作の優先度が高い一の操作対象物」に当たる。ユーザによる操作の優先度が高いとは、他の操作対象物に比べて操作が優先して行われることを意味する。具体的には、表示装置１０を装着したユーザがその操作対象物の操作を行おうとしていること、または、操作対象物を含む装置の状況等によって、その操作対象物の操作を行うことが好ましいこと等を意味する。
【0027】
次いで、ＣＰＵ２１ａは、記憶部２２に記憶されている複数の支援情報の中から、ステップ１０４またはステップ１０５で特定した一の操作対象物の操作を支援する支援情報を選択する（ステップ１０６）。
なお、ステップ１０６においてＣＰＵ２１ａが、一の操作対象物の操作を支援する支援情報を選択する処理については、後段にて詳細に説明する。
なお、ステップ１０６においてＣＰＵ２１ａが、一の操作対象物の操作を支援する支援情報を選択する処理については、後段にて詳細に説明する。
【0028】
次いで、ＣＰＵ２１ａは、ステップ１０６で選択した一の操作対象物の操作を支援する支援情報を表示装置１０へ出力し表示部１１に表示させる（ステップ１０７）。
表示装置１０では、ＣＰＵ２１ａによる制御に基づき、ＣＰＵ２１ａから出力された支援情報が、撮影部１２により撮影された一の操作対象物を含む撮影画像に重畳して表示部１１に表示される。これにより、表示装置１０を装着したユーザは、表示部１１に表示された支援情報を元に、操作対象物の操作を行うことができる。
表示装置１０では、ＣＰＵ２１ａによる制御に基づき、ＣＰＵ２１ａから出力された支援情報が、撮影部１２により撮影された一の操作対象物を含む撮影画像に重畳して表示部１１に表示される。これにより、表示装置１０を装着したユーザは、表示部１１に表示された支援情報を元に、操作対象物の操作を行うことができる。
【0029】
特に本実施形態の表示システム１によれば、撮影部１２により撮影された撮影画像に複数の操作対象物が含まれる場合に、ユーザによる操作の優先度が高い一の操作対象物の支援情報が表示装置１０の表示部１１に表示される。これにより、撮影部１２により撮影された撮影画像に複数の操作対象物が含まれる場合であっても、表示装置１０を装着したユーザは、表示部１１に表示された支援情報を元に、ユーザによる操作の優先度が高い一の操作対象物の操作を行いやすくなる。
【0030】
（一の操作対象物を特定する処理）
続いて、ステップ１０５において、表示制御装置２０のＣＰＵ２１ａが行う、撮影画像に含まれる複数の操作対象物の中から、ユーザによる操作の優先度が高い一の操作対象物を特定する処理について説明する。
続いて、ステップ１０５において、表示制御装置２０のＣＰＵ２１ａが行う、撮影画像に含まれる複数の操作対象物の中から、ユーザによる操作の優先度が高い一の操作対象物を特定する処理について説明する。
【0031】
（処理例１）
本実施形態のＣＰＵ２１ａは、例えば、表示装置１０の撮影部１２により撮影された撮影画像におけるユーザとそれぞれの操作対象物との関係を元に、一の操作対象物を特定することができる。ユーザとそれぞれの操作対象物との関係としては、例えば、撮影画像におけるユーザとそれぞれの操作対象物との距離が挙げられる。
図４は、ＣＰＵ２１ａによる一の操作対象物を特定する処理例１を説明する図であって、撮影部１２により撮影された撮影画像の一例を示した図である。
本実施形態のＣＰＵ２１ａは、例えば、表示装置１０の撮影部１２により撮影された撮影画像におけるユーザとそれぞれの操作対象物との関係を元に、一の操作対象物を特定することができる。ユーザとそれぞれの操作対象物との関係としては、例えば、撮影画像におけるユーザとそれぞれの操作対象物との距離が挙げられる。
図４は、ＣＰＵ２１ａによる一の操作対象物を特定する処理例１を説明する図であって、撮影部１２により撮影された撮影画像の一例を示した図である。
【0032】
図４に示すように、撮影部１２により撮影された撮影画像には、ユーザによる操作が可能な操作対象物として、ガラスカバー５０１およびハンドル５０２の画像が含まれている。ＣＰＵ２１ａは、上述したステップ１０２における撮影画像の画像解析により、操作対象物として、ガラスカバー５０１およびハンドル５０２を認識する。そして、ＣＰＵ２１ａは、上述したステップ１０３において、撮影画像に複数の操作対象物が含まれていると判定する。
また、図４に示すように、撮影画像には、表示装置１０（図１参照）を装着したユーザの手６００の画像が含まれている。ＣＰＵ２１ａは、ステップ１０２における撮影画像の画像解析により、ユーザに関する物体として、ユーザの手６００を認識する。
また、図４に示すように、撮影画像には、表示装置１０（図１参照）を装着したユーザの手６００の画像が含まれている。ＣＰＵ２１ａは、ステップ１０２における撮影画像の画像解析により、ユーザに関する物体として、ユーザの手６００を認識する。
【0033】
ＣＰＵ２１ａは、撮影画像の画像解析の結果を用いて、撮影画像におけるユーザに関する物体とそれぞれの操作対象物との距離を取得する。この例では、ＣＰＵ２１ａは、ユーザに関する物体の一例であるユーザの手６００と操作対象物の一例であるガラスカバー５０１との距離Ｄ１、およびユーザの手６００と操作対象物の一例であるハンドル５０２との距離Ｄ２を取得する。
ＣＰＵ２１ａは、ユーザに関する物体と操作対象物との距離を、例えば、撮影画像においてユーザに関する物体の重心と操作対象物の重心とを結んだ距離とすることができる。
また、ＣＰＵ２１ａは、ユーザに関する物体と操作対象物との距離を、例えば、撮影画像におけるユーザに関する物体と操作対象物との最短距離とすることができる。
ＣＰＵ２１ａは、ユーザに関する物体と操作対象物との距離を、例えば、撮影画像においてユーザに関する物体の重心と操作対象物の重心とを結んだ距離とすることができる。
また、ＣＰＵ２１ａは、ユーザに関する物体と操作対象物との距離を、例えば、撮影画像におけるユーザに関する物体と操作対象物との最短距離とすることができる。
【0034】
ＣＰＵ２１ａは、撮影画像におけるユーザとそれぞれの操作対象物との距離に基づき、複数の操作対象物の中で、ユーザとの距離が最も短い操作対象物を、ユーザによる操作の優先度が高い一の操作対象物として特定する。
図４に示す撮影画像では、ユーザの手６００とガラスカバー５０１との距離Ｄ１と比べて、ユーザの手６００とハンドル５０２との距離Ｄ２が短い。したがって、ＣＰＵ２１ａは、複数の操作対象物であるガラスカバー５０１とハンドル５０２とのうち、ハンドル５０２を一の操作対象物として特定する。
図４に示す撮影画像では、ユーザの手６００とガラスカバー５０１との距離Ｄ１と比べて、ユーザの手６００とハンドル５０２との距離Ｄ２が短い。したがって、ＣＰＵ２１ａは、複数の操作対象物であるガラスカバー５０１とハンドル５０２とのうち、ハンドル５０２を一の操作対象物として特定する。
【0035】
ここで、一般に、操作対象物の操作を行おうとするユーザは、この操作対象物に対して、ユーザの手や操作に用いる道具等のユーザに関する物体を近づけようとすることが多い。このため、複数の操作対象物が存在する場合、ユーザが操作を行おうとしている操作対象物とユーザに関する物体との距離は、ユーザが操作を行おうとしていない他の操作対象物とユーザに関する物体との距離と比べて短くなりやすい。
本実施形態の表示システム１では、撮影画像に複数の操作対象物が含まれる場合に、ＣＰＵ２１ａが、複数の操作対象物の中でユーザに関する物体との距離が短い操作対象物を、一の操作対象物として特定する。これにより、表示装置１０の表示部１１に、ユーザが操作を行おうとしている操作対象物についての支援情報が表示されやすくなる。そして、ユーザは、操作を行おうとしている操作対象物の支援情報を参照しやすくなる。
本実施形態の表示システム１では、撮影画像に複数の操作対象物が含まれる場合に、ＣＰＵ２１ａが、複数の操作対象物の中でユーザに関する物体との距離が短い操作対象物を、一の操作対象物として特定する。これにより、表示装置１０の表示部１１に、ユーザが操作を行おうとしている操作対象物についての支援情報が表示されやすくなる。そして、ユーザは、操作を行おうとしている操作対象物の支援情報を参照しやすくなる。
【0036】
また、ＣＰＵ２１ａは、撮影画像におけるユーザに関する物体と操作対象物との関係として、撮影画像におけるユーザに関する物体とそれぞれの操作対象物との重なりに応じて、複数の操作対象物の中から一の操作対象物を特定してもよい。付言すると、ＣＰＵ２１ａは、複数の操作対象物の中で、撮影画像において、ユーザに関する物体と重なっている操作対象物を一の操作対象物として特定してもよい。また、ＣＰＵ２１ａは、複数の操作対象物の中で、撮影画像において、ユーザに関する物体と重なっている操作対象物が複数存在する場合には、ユーザに関する物体との重なりがより大きい操作対象物を、一の操作対象物として特定してもよい。
図４に示す撮影画像では、複数の操作対象物の内、ハンドル５０２に対しては手６００が重なっている一方で、ガラスカバー５０１に対しては手６００が重なっていない。したがって、ＣＰＵ２１ａは、撮影画像におけるユーザに関する物体とそれぞれの操作対象物との重なりに応じて、複数の操作対象物であるガラスカバー５０１とハンドル５０２とのうち、ハンドル５０２を一の操作対象物として特定することができる。
図４に示す撮影画像では、複数の操作対象物の内、ハンドル５０２に対しては手６００が重なっている一方で、ガラスカバー５０１に対しては手６００が重なっていない。したがって、ＣＰＵ２１ａは、撮影画像におけるユーザに関する物体とそれぞれの操作対象物との重なりに応じて、複数の操作対象物であるガラスカバー５０１とハンドル５０２とのうち、ハンドル５０２を一の操作対象物として特定することができる。
【0037】
（処理例２）
ＣＰＵ２１ａが、撮影画像におけるユーザとそれぞれの操作対象物との関係として、撮影画像におけるユーザの状態とそれぞれの操作対象物との関係を元に、一の操作対象物を特定する処理を説明する。
図５（ａ）～（ｂ）は、ＣＰＵ２１ａによる一の操作対象物を特定する処理例２を説明する図であって、撮影部１２により撮影された撮影画像の一例を示した図である。
ＣＰＵ２１ａが、撮影画像におけるユーザとそれぞれの操作対象物との関係として、撮影画像におけるユーザの状態とそれぞれの操作対象物との関係を元に、一の操作対象物を特定する処理を説明する。
図５（ａ）～（ｂ）は、ＣＰＵ２１ａによる一の操作対象物を特定する処理例２を説明する図であって、撮影部１２により撮影された撮影画像の一例を示した図である。
【0038】
図５（ａ）～（ｂ）に示すように、撮影部１２により撮影された撮影画像には、ユーザによる操作が可能なハンドル５０３、ボルト５０４、ナット５０５、ボタン５０６および計測器５０７の画像が含まれている。ＣＰＵ２１ａは、撮影画像の画像解析により、操作対象物として、ハンドル５０３、ボルト５０４、ナット５０５、ボタン５０６および計測器５０７を認識する。そして、ＣＰＵ２１ａは、上述したステップ１０３において、撮影画像に複数の操作対象物が含まれていると判定する。
【0039】
また、図５（ａ）に示す例では、撮影画像に、ユーザの手６０１の画像が含まれている。ＣＰＵ２１ａは、ステップ１０２における撮影画像の画像解析により、ユーザに関する物体として、ユーザの手６０１を認識する。さらに、ＣＰＵ２１ａは、ユーザに関する物体の状態として、ユーザの手６０１の姿勢を認識する。この例では、ＣＰＵ２１ａは、ユーザに関する物体の状態として、ユーザの手６０１が人差し指を伸ばした姿勢であること、およびユーザの手６０１の人差し指が示す方向（言い換えると、手６０１の人差し指が延びている方向）を認識する。なお、この例では、このユーザの手６０１の人差し指が示す方向が、ユーザが指し示す方向の一例である。
【0040】
そして、ＣＰＵ２１ａは、撮影画像におけるユーザの状態としてユーザに関する物体が示す方向に基づき、複数の操作対象物の中から撮影画像においてユーザに関する物体が示す方向に位置する操作対象物を、一の操作対象物として特定する。
図５（ａ）に示す撮影画像では、ユーザの手６０１の人差し指が示す方向（手６０１の人差し指が延びている方向）に、操作対象物の１つであるボルト５０４が位置している。したがって、ＣＰＵ２１ａは、複数の操作対象物であるハンドル５０３、ボルト５０４、ナット５０５、ボタン５０６および計測器５０７のうち、ボルト５０４を一の操作対象物として特定する。
図５（ａ）に示す撮影画像では、ユーザの手６０１の人差し指が示す方向（手６０１の人差し指が延びている方向）に、操作対象物の１つであるボルト５０４が位置している。したがって、ＣＰＵ２１ａは、複数の操作対象物であるハンドル５０３、ボルト５０４、ナット５０５、ボタン５０６および計測器５０７のうち、ボルト５０４を一の操作対象物として特定する。
【0041】
ここで、図５（ａ）に示す例では、ＣＰＵ２１ａは、ユーザに関する物体の状態として、ユーザの手６０１の姿勢（指し示す方向）を用いて一の操作対象物を特定したが、これに限られない。
図５（ｂ）に示す例では、撮影画像に、ユーザが使用する器具であるドライバー６０２の画像が含まれている。ＣＰＵ２１ａは、ステップ１０２における撮影画像の画像解析により、ユーザに関する物体として、ユーザが使用するドライバー６０２を認識する。さらに、ＣＰＵ２１ａは、ユーザに関する物体の状態として、ユーザが使用するドライバー６０２の先端が示す方向（言い換えると、ドライバー６０２の先端が延びている方向）を認識する。なお、この例では、このドライバー６０２の先端が示す方向が、ユーザが指し示す方向の一例である。
図５（ｂ）に示す例では、撮影画像に、ユーザが使用する器具であるドライバー６０２の画像が含まれている。ＣＰＵ２１ａは、ステップ１０２における撮影画像の画像解析により、ユーザに関する物体として、ユーザが使用するドライバー６０２を認識する。さらに、ＣＰＵ２１ａは、ユーザに関する物体の状態として、ユーザが使用するドライバー６０２の先端が示す方向（言い換えると、ドライバー６０２の先端が延びている方向）を認識する。なお、この例では、このドライバー６０２の先端が示す方向が、ユーザが指し示す方向の一例である。
【0042】
図５（ｂ）に示す撮影画像では、ユーザが使用するドライバー６０２の先端が示す方向（ドライバー６０２の先端が伸びている方向）に、操作対象物の１つであるボルト５０４が位置している。したがって、ＣＰＵ２１ａは、複数の操作対象物であるハンドル５０３、ボルト５０４、ナット５０５、ボタン５０６および計測器５０７のうち、ボルト５０４を一の操作対象物として特定する。
【0043】
このように、本実施形態では、複数の操作対象物の中で、ユーザが指し示す方向に位置する操作対象物を一の操作対象物として特定する。これにより、例えば、ユーザが手や器具により操作対象物を指し示すことで、ユーザが操作を行おうとしている操作対象物についての支援情報が表示されやすくなる。そして、ユーザは、操作を行おうとしている操作対象物の支援情報を参照しやすくなる。
【0044】
続いて、ＣＰＵ２１ａが、撮影画像におけるユーザの状態とそれぞれの操作対象物との関係を元に、一の操作対象物を特定する処理の他の態様を説明する。
図６（ａ）～（ｂ）は、ＣＰＵ２１ａによる一の操作対象物を特定する処理例２の他の態様を説明する図であって、撮影部１２により撮影された撮影画像の一例を示した図である。なお、図６（ａ）～（ｂ）は、ユーザに関する物体の一例である手６０３、６０４の状態以外は、図５（ａ）と同様である。
図６（ａ）～（ｂ）は、ＣＰＵ２１ａによる一の操作対象物を特定する処理例２の他の態様を説明する図であって、撮影部１２により撮影された撮影画像の一例を示した図である。なお、図６（ａ）～（ｂ）は、ユーザに関する物体の一例である手６０３、６０４の状態以外は、図５（ａ）と同様である。
【0045】
図５（ａ）～（ｂ）では、ＣＰＵ２１ａが、ユーザの状態として、撮影画像においてユーザが指し示す方向にある操作対象物を一の操作対象物を特定する処理を説明した。これに対し、図６（ａ）～（ｂ）に示す例では、ＣＰＵ２１ａは、撮影画像におけるユーザの状態の一例であるユーザの手６０３、６０４の姿勢と、複数の操作対象物との関係に応じて、一の操作対象物を特定する。
【0046】
図６（ａ）～（ｂ）に示す例では、ＣＰＵ２１ａは、ステップ１０２における撮影画像の画像解析により、ユーザに関する物体の状態として、ユーザの手６０３、６０４の姿勢を認識する。
図６（ａ）に示す例では、ＣＰＵ２１ａは、ユーザに関する物体の状態として、ユーザの手６０３が、手のひらを撮影画像の奥行き方向の奥側に向けて開いた姿勢であることを認識する。
また、図６（ｂ）に示す例では、ＣＰＵ２１ａは、ユーザに関する物体の状態として、ユーザの手６０４が、人差し指を延ばした姿勢であることを認識する。
図６（ａ）に示す例では、ＣＰＵ２１ａは、ユーザに関する物体の状態として、ユーザの手６０３が、手のひらを撮影画像の奥行き方向の奥側に向けて開いた姿勢であることを認識する。
また、図６（ｂ）に示す例では、ＣＰＵ２１ａは、ユーザに関する物体の状態として、ユーザの手６０４が、人差し指を延ばした姿勢であることを認識する。
【0047】
そして、ＣＰＵ２１ａは、撮影画像におけるユーザの状態としてユーザの手６０３、６０４の姿勢に基づき、複数の操作対象物の中から一の操作対象物を特定する。
図６（ａ）に示す例では、上述したように、ユーザの手６０３が開いた姿勢となっている。ＣＰＵ２１ａは、複数の操作対象物の中で、手を開いた状態で操作が可能な操作対象物、より具体的には、開いた手により掴むことで操作が可能なハンドル５０３を、一の操作対象物として特定する。
一方、図６（ｂ）に示す例では、上述したように、ユーザの手６０４が人差し指を延ばした姿勢となっている。ＣＰＵ２１ａは、複数の操作対象物の中で、人差し指を延ばした姿勢で操作が可能な操作対象物、より具体的には、延ばした人差し指により押圧する操作が可能なボタン５０６を、一の操作対象物として特定する。
図６（ａ）に示す例では、上述したように、ユーザの手６０３が開いた姿勢となっている。ＣＰＵ２１ａは、複数の操作対象物の中で、手を開いた状態で操作が可能な操作対象物、より具体的には、開いた手により掴むことで操作が可能なハンドル５０３を、一の操作対象物として特定する。
一方、図６（ｂ）に示す例では、上述したように、ユーザの手６０４が人差し指を延ばした姿勢となっている。ＣＰＵ２１ａは、複数の操作対象物の中で、人差し指を延ばした姿勢で操作が可能な操作対象物、より具体的には、延ばした人差し指により押圧する操作が可能なボタン５０６を、一の操作対象物として特定する。
【0048】
このように、表示装置１０を装着したユーザの姿勢に応じて複数の操作対象物の中から一の操作対象物を特定することで、ユーザが操作を行おうとしている操作対象物が一の操作対象物として特定されやすくなる。付言すると、ユーザが操作対象物を指し示す等の特別な動作を行わない場合であっても、複数の操作対象物の中からユーザが操作を行おうとしている操作対象物が一の操作対象物として特定されやすくなる。これにより、ユーザが操作を行おうとしている操作対象物についての支援情報が表示されやすくなる。そして、ユーザは、操作を行おうとしている操作対象物の支援情報を参照しやすくなる。
【0049】
また、ＣＰＵ２１ａは、ユーザの状態として、撮影画像におけるユーザに関する物体の動きに応じて一の操作対象物を特定してもよい。
例えば図６（ａ）に示す撮影画像において、ユーザの手６０３が水平方向に移動している場合、ＣＰＵ２１ａは、複数の操作対象物の中で、手を水平方向に移動させることで操作が可能なハンドル５０３を、一の操作対象物として特定することができる。
一方、例えば図６（ａ）に示す撮影画像において、ユーザの手６０３が図の手前側から奥側に向けて奥行き方向に移動している場合、ＣＰＵ２１ａは、複数の操作対象物の中で、手を奥行き方向に移動させることで操作が可能なボタン５０６を、一の操作対象物として特定することができる。
例えば図６（ａ）に示す撮影画像において、ユーザの手６０３が水平方向に移動している場合、ＣＰＵ２１ａは、複数の操作対象物の中で、手を水平方向に移動させることで操作が可能なハンドル５０３を、一の操作対象物として特定することができる。
一方、例えば図６（ａ）に示す撮影画像において、ユーザの手６０３が図の手前側から奥側に向けて奥行き方向に移動している場合、ＣＰＵ２１ａは、複数の操作対象物の中で、手を奥行き方向に移動させることで操作が可能なボタン５０６を、一の操作対象物として特定することができる。
【0050】
（処理例３）
ＣＰＵ２１ａが、撮影画像におけるユーザとそれぞれの操作対象物との関係として、撮影画像においてユーザが使用している器具とそれぞれの操作対象物との関係を元に、一の操作対象物を特定する処理を説明する。
図７（ａ）～（ｂ）は、ＣＰＵ２１ａによる一の操作対象物を特定する処理例３を説明する図であって、撮影部１２により撮影された撮影画像の一例を示した図である。なお、図７（ａ）～（ｂ）は、ユーザに関する物体としてユーザが使用する器具が撮影されている点を除いて、図５（ａ）と同様である。
ＣＰＵ２１ａが、撮影画像におけるユーザとそれぞれの操作対象物との関係として、撮影画像においてユーザが使用している器具とそれぞれの操作対象物との関係を元に、一の操作対象物を特定する処理を説明する。
図７（ａ）～（ｂ）は、ＣＰＵ２１ａによる一の操作対象物を特定する処理例３を説明する図であって、撮影部１２により撮影された撮影画像の一例を示した図である。なお、図７（ａ）～（ｂ）は、ユーザに関する物体としてユーザが使用する器具が撮影されている点を除いて、図５（ａ）と同様である。
【0051】
図７（ａ）に示す例では、撮影画像に、ユーザが使用する器具であるスパナ６０５の画像が含まれている。ＣＰＵ２１ａは、ステップ１０２における撮影画像の画像解析により、ユーザに関する物体として、ユーザが使用するスパナ６０５を認識する。そして、ＣＰＵ２１ａは、ユーザが使用する器具とそれぞれの操作対象物との関係を元に、複数の操作対象物の中から一の操作対象物を特定する。例えば、ＣＰＵ２１ａは、記憶部２２に予め記憶されている、それぞれの操作対象物と、それぞれの操作対象物の操作が可能な器具との関係に基づいて、複数の操作対象物の中から一の操作対象物を特定する。
この例では、ＣＰＵ２１ａは、複数の操作対象物の中で、スパナ６０５により操作が可能なナット５０５を、一の操作対象物として特定する。
この例では、ＣＰＵ２１ａは、複数の操作対象物の中で、スパナ６０５により操作が可能なナット５０５を、一の操作対象物として特定する。
【0052】
また、図７（ｂ）に示す例では、撮影画像に、ユーザが使用する器具であるドライバー６０６の画像が含まれている。ＣＰＵ２１ａは、ステップ１０２における撮影画像の画像解析により、ユーザに関する物体として、ユーザが使用するドライバー６０６を認識する。そして、ＣＰＵ２１ａは、複数の操作対象物の中で、ドライバー６０６により操作が可能なボルト５０４を、一の操作対象物として特定する。
【0053】
このように、表示装置１０を装着したユーザが使用する器具に応じて複数の操作対象物の中から一の操作対象物を特定することで、ユーザが操作を行おうとしている操作対象物が一の操作対象物として特定されやすくなる。付言すると、ユーザが操作対象物を指し示す等の特別な動作を行わない場合であっても、複数の操作対象物の中からユーザが操作を行おうとしている操作対象物が一の操作対象物として特定されやすくなる。これにより、ユーザが操作を行おうとしている操作対象物についての支援情報が表示されやすくなる。そして、ユーザは、操作を行おうとしている操作対象物の支援情報を参照しやすくなる。
【0054】
（処理例４）
ところで、ＣＰＵ２１ａは、ユーザとそれぞれの操作対象物との関係を元に一の操作対象物を特定できない場合がある。本実施形態のＣＰＵ２１ａは、撮影画像におけるユーザとそれぞれの操作対象物との関係を元に一の操作対象物を特定できない場合に、撮影画像におけるそれぞれの操作対象物の位置を元に、一の操作対象物を特定してもよい。
続いて、ＣＰＵ２１ａによる一の操作対象物を特定する処理例４として、撮影画像におけるそれぞれの操作対象物の位置を元に、一の操作対象物を特定する処理を説明する。
ところで、ＣＰＵ２１ａは、ユーザとそれぞれの操作対象物との関係を元に一の操作対象物を特定できない場合がある。本実施形態のＣＰＵ２１ａは、撮影画像におけるユーザとそれぞれの操作対象物との関係を元に一の操作対象物を特定できない場合に、撮影画像におけるそれぞれの操作対象物の位置を元に、一の操作対象物を特定してもよい。
続いて、ＣＰＵ２１ａによる一の操作対象物を特定する処理例４として、撮影画像におけるそれぞれの操作対象物の位置を元に、一の操作対象物を特定する処理を説明する。
【0055】
図８は、ＣＰＵ２１ａによる一の操作対象物を特定する処理例４を説明する図であって、撮影部１２により撮影された撮影画像の一例を示した図である。
図８に示すように、撮影画像には、ユーザによる操作が可能な操作対象物として、ガラスカバー５０１およびハンドル５０２の画像が含まれている。ＣＰＵ２１ａは、上述したステップ１０２における撮影画像の画像解析により、操作対象物として、ガラスカバー５０１およびハンドル５０２を認識する。そして、ＣＰＵ２１ａは、上述したステップ１０３において、撮影画像に複数の操作対象物が含まれていると判定する。
図８に示すように、撮影画像には、ユーザによる操作が可能な操作対象物として、ガラスカバー５０１およびハンドル５０２の画像が含まれている。ＣＰＵ２１ａは、上述したステップ１０２における撮影画像の画像解析により、操作対象物として、ガラスカバー５０１およびハンドル５０２を認識する。そして、ＣＰＵ２１ａは、上述したステップ１０３において、撮影画像に複数の操作対象物が含まれていると判定する。
【0056】
また、図８に示す例では、撮影画像に、ユーザの手やユーザが使用する器具等のユーザに関する物体が含まれていない。このため、ＣＰＵ２１ａは、ステップ１０２における撮影画像の画像解析により、ユーザに関する物体を認識しない。
このように、撮影画像においてユーザに関する物体を認識しない場合、ＣＰＵ２１ａは、撮影画像におけるユーザとそれぞれの操作対象物との関係を元に一の操作対象物を特定できないとして、撮影画像におけるそれぞれの操作対象物の位置を元に一の操作対象物を特定する。
このように、撮影画像においてユーザに関する物体を認識しない場合、ＣＰＵ２１ａは、撮影画像におけるユーザとそれぞれの操作対象物との関係を元に一の操作対象物を特定できないとして、撮影画像におけるそれぞれの操作対象物の位置を元に一の操作対象物を特定する。
【0057】
具体的に説明すると、ＣＰＵ２１ａは、撮影画像に含まれる複数の操作対象物の中で、撮影画像における中心位置（図８において、符号Ｃで示す位置）に近い操作対象物を、一の操作対象物として特定する。図８に示す撮影画像では、ガラスカバー５０１と比べてハンドル５０２の方が、中心位置Ｃに近い位置にある。したがって、ＣＰＵ２１ａは、複数の操作対象物であるガラスカバー５０１とハンドル５０２とのうち、ハンドル５０２を一の操作対象物として特定する。
【0058】
ここで、上述したように、操作対象物の操作を行おうとするユーザは、この操作対象物に対峙し、表示装置１０を介してこの操作対象物を視認しようとする。この場合、表示装置１０の撮影部１２により撮影される撮影画像において、ユーザが操作を行おうとする操作対象物が、中心に近い位置に存在する可能性が高くなる。
本実施形態では、撮影画像における中心位置に近い操作対象物を一の操作対象物として特定することで、ユーザが操作を行おうとしている操作対象物が一の操作対象物として特定されやすくなる。これにより、ユーザが操作を行おうとしている操作対象物についての支援情報が表示されやすくなる。そして、ユーザは、操作を行おうとしている操作対象物の支援情報を参照しやすくなる。
本実施形態では、撮影画像における中心位置に近い操作対象物を一の操作対象物として特定することで、ユーザが操作を行おうとしている操作対象物が一の操作対象物として特定されやすくなる。これにより、ユーザが操作を行おうとしている操作対象物についての支援情報が表示されやすくなる。そして、ユーザは、操作を行おうとしている操作対象物の支援情報を参照しやすくなる。
【0059】
なお、この例では、ＣＰＵ２１ａは、撮影画像における中心位置に近い操作対象物を一の操作対象物として特定したが、撮影画像における位置に基づいて一の操作対象物を特定するのであれば、撮影画像における位置は中心位置に限定されない。
例えば、撮影画像における位置として、撮影画像において表示装置１０を装着したユーザの利き手側（例えば右利きの場合には、撮影画像における右側）に近い操作対象物を一の操作対象物として特定してもよい。
例えば、撮影画像における位置として、撮影画像において表示装置１０を装着したユーザの利き手側（例えば右利きの場合には、撮影画像における右側）に近い操作対象物を一の操作対象物として特定してもよい。
【0060】
（処理例５）
また、本実施形態のＣＰＵ２１ａは、撮影画像におけるユーザとそれぞれの操作対象物との関係を元に一の操作対象物を特定できない場合に、ユーザから複数の操作対象物の中から一の操作対象物の選択を受け付けることができる。
例えば、ＣＰＵ２１ａは、表示装置１０の表示部１１に、複数の操作対象物の中から一の操作対象物の選択を受け付ける選択画面を表示する。そして、ＣＰＵ２１ａは、ユーザの選択画面に対する操作に応じて、撮影画像に含まれる複数の操作対象物の中から一の操作対象物を特定する。
また、本実施形態のＣＰＵ２１ａは、撮影画像におけるユーザとそれぞれの操作対象物との関係を元に一の操作対象物を特定できない場合に、ユーザから複数の操作対象物の中から一の操作対象物の選択を受け付けることができる。
例えば、ＣＰＵ２１ａは、表示装置１０の表示部１１に、複数の操作対象物の中から一の操作対象物の選択を受け付ける選択画面を表示する。そして、ＣＰＵ２１ａは、ユーザの選択画面に対する操作に応じて、撮影画像に含まれる複数の操作対象物の中から一の操作対象物を特定する。
【0061】
図９は、撮影画像におけるユーザとそれぞれの操作対象物との関係を元に一の操作対象物を特定できない場合に、表示装置１０の表示部１１に表示される画面の一例を示した図である。
図９に示すように、表示部１１に表示される選択画面には、撮影部１２により撮影された撮影画像１５０が含まれている。なお、図９の選択画面に含まれる撮影画像１５０は、上述の図５（ａ）に示した撮影画像と同様である。したがって、図９の撮影画像１５０には、ＣＰＵ２１ａによる画像解析により認識された複数の操作対象物として、ハンドル５０３、ボルト５０４、ナット５０５、ボタン５０６および計測器５０７が含まれている。
また、図９に示すように、表示部１１に表示される画面には、撮影画像１５０におけるハンドル５０３、ボルト５０４、ナット５０５、ボタン５０６および計測器５０７の画像の周囲に、一の操作対象物を選択するためのアイコン５０３ａ、５０４ａ、５０５ａ、５０６ａ、５０７ａが表示されている。さらに、図９に示すように、表示部１１に表示される画面には、「操作する物を選択してください。」との文章からなる、ユーザによる選択を促す画像８００が表示されている。
図９に示すように、表示部１１に表示される選択画面には、撮影部１２により撮影された撮影画像１５０が含まれている。なお、図９の選択画面に含まれる撮影画像１５０は、上述の図５（ａ）に示した撮影画像と同様である。したがって、図９の撮影画像１５０には、ＣＰＵ２１ａによる画像解析により認識された複数の操作対象物として、ハンドル５０３、ボルト５０４、ナット５０５、ボタン５０６および計測器５０７が含まれている。
また、図９に示すように、表示部１１に表示される画面には、撮影画像１５０におけるハンドル５０３、ボルト５０４、ナット５０５、ボタン５０６および計測器５０７の画像の周囲に、一の操作対象物を選択するためのアイコン５０３ａ、５０４ａ、５０５ａ、５０６ａ、５０７ａが表示されている。さらに、図９に示すように、表示部１１に表示される画面には、「操作する物を選択してください。」との文章からなる、ユーザによる選択を促す画像８００が表示されている。
【0062】
表示装置１０を装着したユーザは、表示部１１に表示された撮影画像１５０に含まれるそれぞれの操作対象物に対応したアイコン５０３ａ～５０７ａの中から、操作を行おうとする操作対象物のアイコン５０３ａ～５０７ａを選択する。この例では、ユーザは、例えば、ハンドル５０３のアイコン５０３ａを選択している。表示部１１では、選択されたアイコン（この例では、アイコン５０３ａ）がハイライト表示される。
ＣＰＵ２１ａは、アイコン５０３ａ～５０７ａの選択を、例えば、表示装置１０に設けられた不図示の操作手段（例えば操作用のボタン等）に対する操作や、ユーザの手等を使用したジェスチャ等により受け付けることができる。
ＣＰＵ２１ａは、アイコン５０３ａ～５０７ａの選択を、例えば、表示装置１０に設けられた不図示の操作手段（例えば操作用のボタン等）に対する操作や、ユーザの手等を使用したジェスチャ等により受け付けることができる。
【0063】
ＣＰＵ２１ａは、撮影画像１５０に含まれる複数の操作対象物の中で、ユーザにより選択された操作対象物を、一の操作対象物として特定する。この例では、ＣＰＵ２１ａは、複数の操作対象物の中で、ユーザによりアイコン５０３ａが選択されたハンドル５０３を一の操作対象物として特定する。
このように、選択を受け付けることで、ユーザが操作を行おうとしている操作対象物やユーザが支援情報の表示を希望する操作対象物が一の操作対象物として特定されやすくなる。
このように、選択を受け付けることで、ユーザが操作を行おうとしている操作対象物やユーザが支援情報の表示を希望する操作対象物が一の操作対象物として特定されやすくなる。
【0064】
なお、処理例４または処理例５では、ＣＰＵ２１ａが撮影画像におけるユーザとそれぞれの操作対象物との関係を元に一の操作対象物を特定できない場合として、撮影画像にユーザの手やユーザが使用する器具等が含まれず、ＣＰＵ２１ａがユーザに関する物体を認識しない場合を例示した。しかしながら、ユーザとそれぞれの操作対象物との関係を元に一の操作対象物を特定できない場合はこれに限られない。ＣＰＵ２１ａは、以下のような場合に、ユーザとそれぞれの操作対象物との関係を元に一の操作対象物を特定できないとしてもよい。
例えば、撮影画像にユーザの手やユーザが使用する器具が複数含まれており、ＣＰＵ２１ａがユーザに関する物体を１つに特定できない場合が挙げられる。
また、撮影画像においてユーザの手やユーザが使用する器具の画像が不鮮明であり、ＣＰＵ２１ａが撮影画像の画像解析によりユーザに関する物体を認識できない場合が挙げられる。
例えば、撮影画像にユーザの手やユーザが使用する器具が複数含まれており、ＣＰＵ２１ａがユーザに関する物体を１つに特定できない場合が挙げられる。
また、撮影画像においてユーザの手やユーザが使用する器具の画像が不鮮明であり、ＣＰＵ２１ａが撮影画像の画像解析によりユーザに関する物体を認識できない場合が挙げられる。
【0065】
また、ＣＰＵ２１ａは、撮影画像において、ユーザとの関係が等しい操作対象物が複数存在する場合に、ユーザとそれぞれの操作対象物との関係を元に一の操作対象物を特定できないとしてもよい。ユーザとの関係が等しい操作対象物が複数存在する場合としては、例えば、撮影画像において、それぞれの操作対象物とユーザとの距離が互いに等しい場合、それぞれの操作対象物とユーザとの重なりが互いに等しい場合等が挙げられる。
【0066】
また、ＣＰＵ２１ａは、撮影画像に含まれる複数の操作対象物が複雑である場合に、ユーザとそれぞれの操作対象物との関係を元に一の操作対象物を特定できないとしてもよい。
複数の操作対象物が複雑である場合としては、撮影画像に含まれる操作対象物の数が予め定められた数を超える場合が挙げられる。撮影画像に含まれる操作対象物が多い場合、ＣＰＵ２１ａがユーザとそれぞれの操作対象物との関係を元に一の操作対象物を特定する処理が複雑となりやすい。また、撮影画像に含まれる操作対象物が多い場合、ユーザとそれぞれの操作対象物との関係を元に一の操作対象物を特定した場合であっても、ユーザが操作を行おうとしていない操作対象物が一の操作対象物として特定されやすくなる。
複数の操作対象物が複雑である場合としては、撮影画像に含まれる操作対象物の数が予め定められた数を超える場合が挙げられる。撮影画像に含まれる操作対象物が多い場合、ＣＰＵ２１ａがユーザとそれぞれの操作対象物との関係を元に一の操作対象物を特定する処理が複雑となりやすい。また、撮影画像に含まれる操作対象物が多い場合、ユーザとそれぞれの操作対象物との関係を元に一の操作対象物を特定した場合であっても、ユーザが操作を行おうとしていない操作対象物が一の操作対象物として特定されやすくなる。
【0067】
（処理例６）
また、上述した処理例１～処理例５では、ＣＰＵ２１ａが撮影画像に基づいて複数の操作対象物の中から一の操作対象物を特定する処理について説明したが、ＣＰＵ２１ａが一の操作対象物を特定する処理は、これに限られない。例えば、ユーザによる操作が可能な複数の操作対象物を含む装置では、装置の機能を実現するために、予め定められた順序で複数の操作対象部の操作を順に行う場合がある。本実施形態のＣＰＵ２１ａは、撮影画像に複数の操作対象物が含まれる場合に、それぞれの操作対象物の操作状況を取得し、それぞれの操作対象物の操作状況を元に、一の操作対象物を特定してもよい。
図１０（ａ）～（ｂ）は、ＣＰＵ２１ａがそれぞれの操作対象物の操作状況を元に一の操作対象物を特定する処理を説明する図である。図１０（ａ）は、撮影部１２により撮影された撮影画像の一例を示した図であり、図１０（ｂ）は、複数の操作対象物を有する後述の装置５００Ａの操作手順、およびそれぞれの操作対象物の操作状況を示した図である。
また、上述した処理例１～処理例５では、ＣＰＵ２１ａが撮影画像に基づいて複数の操作対象物の中から一の操作対象物を特定する処理について説明したが、ＣＰＵ２１ａが一の操作対象物を特定する処理は、これに限られない。例えば、ユーザによる操作が可能な複数の操作対象物を含む装置では、装置の機能を実現するために、予め定められた順序で複数の操作対象部の操作を順に行う場合がある。本実施形態のＣＰＵ２１ａは、撮影画像に複数の操作対象物が含まれる場合に、それぞれの操作対象物の操作状況を取得し、それぞれの操作対象物の操作状況を元に、一の操作対象物を特定してもよい。
図１０（ａ）～（ｂ）は、ＣＰＵ２１ａがそれぞれの操作対象物の操作状況を元に一の操作対象物を特定する処理を説明する図である。図１０（ａ）は、撮影部１２により撮影された撮影画像の一例を示した図であり、図１０（ｂ）は、複数の操作対象物を有する後述の装置５００Ａの操作手順、およびそれぞれの操作対象物の操作状況を示した図である。
【0068】
図１０（ａ）に示すように、撮影部１２により撮影された撮影画像には、図５（ａ）等に示した例と同様に、ユーザによる操作が可能なハンドル５０３、ボルト５０４、ナット５０５、ボタン５０６および計測器５０７の画像が含まれている。なお、この例ではハンドル５０３、ボルト５０４、ナット５０５、ボタン５０６および計測器５０７は、１つの装置５００Ａに設けられている。
ＣＰＵ２１ａは、撮影画像の画像解析により、操作対象物として、ハンドル５０３、ボルト５０４、ナット５０５、ボタン５０６および計測器５０７を認識する。そして、ＣＰＵ２１ａは、上述したステップ１０３において、撮影画像に複数の操作対象物が含まれていると判定する。
ＣＰＵ２１ａは、撮影画像の画像解析により、操作対象物として、ハンドル５０３、ボルト５０４、ナット５０５、ボタン５０６および計測器５０７を認識する。そして、ＣＰＵ２１ａは、上述したステップ１０３において、撮影画像に複数の操作対象物が含まれていると判定する。
【0069】
また、ＣＰＵ２１ａは、記憶部２２から、複数の操作対象物を含む装置５００Ａの操作手順に関する情報を取得する。この例では、図１０（ｂ）に示すように、装置５００Ａの操作手順は、操作対象物の１つであるボタン５０６を操作する工程１、ボルト５０４を操作する工程２、およびハンドル５０３を操作する工程３を含む。また、ＣＰＵ２１ａは、通信Ｉ／Ｆ２３を介して、装置５００Ａから、工程１～工程３のそれぞれの操作対象物の操作状況を取得する。この例では、図１０（ｂ）に示すように、工程１のボタン５０６に対する操作は終了している一方、工程２のボルト５０４に対する操作、および工程３のハンドル５０３に対する操作は終了していない。
【0070】
本実施形態のＣＰＵ２１ａは、それぞれの操作対象物の操作状況を元に、複数の操作対象物の中から一の操作対象物を特定する。具体的には、ＣＰＵ２１ａは、複数の操作対象物のうち、操作手順に含まれる操作対象物であって、予め定められた操作が終了していない操作対象物の中から一の操作対象物を特定する。
この例では、ＣＰＵ２１ａは、複数の操作対象物のうち、工程２の操作が終了していないボルト５０４および工程３の操作が終了していないハンドル５０３の中から一の操作対象物を特定する。
この例では、ＣＰＵ２１ａは、複数の操作対象物のうち、工程２の操作が終了していないボルト５０４および工程３の操作が終了していないハンドル５０３の中から一の操作対象物を特定する。
【0071】
ここで、本実施形態のように、予め定められた操作が終了していない操作対象物が複数存在する場合、ＣＰＵ２１ａは、操作対象物を含む装置５００Ａの操作手順に従って、先に操作を行う必要がある操作対象物を一の操作対象物として特定することができる。この例では、ＣＰＵ２１ａは、先に操作を行う必要がある工程２のボルト５０４を、一の操作対象物として特定する。
【0072】
このように、それぞれの操作対象物の操作状況に応じて一の操作対象物を特定することで、装置５００Ａの操作手順において操作を行うことが好ましい操作対象物についての支援情報が表示されやすくなる。これにより、ユーザは、装置５００Ａの操作手順に従って操作対象物に対する操作を行いやすくなる。また、ユーザは、既に操作が完了した操作対象物等のように操作が不要な操作対象物を、誤って操作することが抑制される。
【0073】
なお、この例では、ＣＰＵ２１ａは、装置５００Ａからそれぞれの操作対象物の操作状況を取得したが、これに限られない。ＣＰＵ２１ａは、例えば、撮影画像の画像解析により、それぞれの操作対象物の状態を把握し、それぞれの操作対象物の操作状況を取得してもよい。
また、この例では、複数の操作対象物であるハンドル５０３、ボルト５０４、ナット５０５、ボタン５０６および計測器５０７が１つの装置５００Ａに設けられている場合を例示したが、これに限られない。複数の操作対象物が、複数の装置に別々に設けられていてもよい。この場合、ＣＰＵ２１ａは、操作対象物が設けられる複数の装置から、それぞれの操作対象物の操作状況を取得すればよい。
また、この例では、複数の操作対象物であるハンドル５０３、ボルト５０４、ナット５０５、ボタン５０６および計測器５０７が１つの装置５００Ａに設けられている場合を例示したが、これに限られない。複数の操作対象物が、複数の装置に別々に設けられていてもよい。この場合、ＣＰＵ２１ａは、操作対象物が設けられる複数の装置から、それぞれの操作対象物の操作状況を取得すればよい。
【0074】
また、上述したＣＰＵ２１ａが複数の操作対象物の中から一の操作対象物を特定する各処理は、複数の処理を組み合わせて行ってもよい。ＣＰＵ２１ａは、例えば、撮影画像において器具を持っていないユーザの手を認識した場合には、ユーザの手と複数の操作対象物との距離に応じて一の操作対象物を特定し、ユーザが使用する器具を認識した場合には、複数の操作対象物の中で器具による操作が可能な操作対象物を一の操作対象物として特定してもよい。
【0075】
（支援情報を表示させる処理）
続いて、ステップ１０６、ステップ１０７において、表示制御装置２０のＣＰＵ２１ａが行う、表示装置１０の表示部１１に支援情報を表示させる処理について説明する。
上述したように、ＣＰＵ２１ａは、記憶部２２に記憶されるそれぞれの操作対象物に対応付けられた支援情報の中から、特定した一の操作対象物の支援情報を選択し、表示装置１０の表示部１１に表示させる。
続いて、ステップ１０６、ステップ１０７において、表示制御装置２０のＣＰＵ２１ａが行う、表示装置１０の表示部１１に支援情報を表示させる処理について説明する。
上述したように、ＣＰＵ２１ａは、記憶部２２に記憶されるそれぞれの操作対象物に対応付けられた支援情報の中から、特定した一の操作対象物の支援情報を選択し、表示装置１０の表示部１１に表示させる。
【0076】
図１１（ａ）～（ｂ）は、ＣＰＵ２１ａが、一の操作対象物の支援情報を表示装置１０（図１参照）の表示部１１に表示させる処理を説明する図である。図１１（ａ）は、表示装置１０の表示部１１に表示される画面の一例を示した図である。また、図１１（ｂ）は、表示部１１に表示させる支援情報を選択する処理の一例を説明する図であって、一の操作対象物を含む後述する装置５００Ｂの操作手順を示した図である。
【0077】
図１１（ａ）に示すように、表示部１１には、撮影部１２により撮影された撮影画像１６０が表示されている。撮影画像１６０は、表示装置１０を装着したユーザが表示装置１０を介して対峙する現実空間に重なるように、表示部１１に表示される。
この例では、図４に示した撮影画像と同様に、図１１（ａ）の撮影画像１６０には、操作対象物としてガラスカバー５０１およびハンドル５０２が含まれている。なお、この例では、ガラスカバー５０１およびハンドル５０２は、１つの装置５００Ｂに設けられている。装置５００Ｂは、例えば画像形成装置である。また、図１１（ａ）の撮影画像１６０には、ユーザに関する物体として、ハンドル５０２を掴んだユーザの手６００が含まれている。
この例では、図４に示した撮影画像と同様に、図１１（ａ）の撮影画像１６０には、操作対象物としてガラスカバー５０１およびハンドル５０２が含まれている。なお、この例では、ガラスカバー５０１およびハンドル５０２は、１つの装置５００Ｂに設けられている。装置５００Ｂは、例えば画像形成装置である。また、図１１（ａ）の撮影画像１６０には、ユーザに関する物体として、ハンドル５０２を掴んだユーザの手６００が含まれている。
【0078】
ここでは、ＣＰＵ２１ａが、上述したステップ１０５において、複数の操作対象物であるガラスカバー５０１およびハンドル５０２のうち、ハンドル５０２を一の操作対象物として特定したものとして説明する。
図１１（ａ）に示すように、表示部１１には、撮影部１２により撮影された撮影画像１６０に重畳して、一の操作対象物の操作を支援する支援情報の一例である、ハンドル５０２の操作を支援する支援画像７０１が表示されている。付言すると、表示部１１には、ハンドル５０２の操作を支援する支援画像７０１として、「ゆっくり手前に引きます。」との文章が表示されている。
図１１（ａ）に示すように、表示部１１には、撮影部１２により撮影された撮影画像１６０に重畳して、一の操作対象物の操作を支援する支援情報の一例である、ハンドル５０２の操作を支援する支援画像７０１が表示されている。付言すると、表示部１１には、ハンドル５０２の操作を支援する支援画像７０１として、「ゆっくり手前に引きます。」との文章が表示されている。
【0079】
ＣＰＵ２１ａは、例えば、以下の処理により、支援情報を選択し、表示装置１０の表示部１１に表示させる。
まず、ＣＰＵ２１ａは、記憶部２２から、ステップ１０４またはステップ１０５で特定した一の操作対象物に対する操作を含む装置５００Ｂの操作手順に関する情報を取得する。この例では、ＣＰＵ２１ａは、装置５００Ｂの操作手順に関する情報として、トナーの交換手順に関する情報を取得する。図１１（ｂ）に示すように、装置５００Ｂの操作手順には、「トナーカバーを開けます。」との文章からなる工程１、「ハンドルに手をかけ、ゆっくり手前に引き出します。」との文章からなる工程２、「トナーカートリッジを取り出します。」との文章からなる工程３が含まれている。
まず、ＣＰＵ２１ａは、記憶部２２から、ステップ１０４またはステップ１０５で特定した一の操作対象物に対する操作を含む装置５００Ｂの操作手順に関する情報を取得する。この例では、ＣＰＵ２１ａは、装置５００Ｂの操作手順に関する情報として、トナーの交換手順に関する情報を取得する。図１１（ｂ）に示すように、装置５００Ｂの操作手順には、「トナーカバーを開けます。」との文章からなる工程１、「ハンドルに手をかけ、ゆっくり手前に引き出します。」との文章からなる工程２、「トナーカートリッジを取り出します。」との文章からなる工程３が含まれている。
【0080】
ＣＰＵ２１ａは、取得した装置５００Ｂの操作手順に含まれる工程の中から、一の操作対象物に対する操作を含む工程を選択する。この例では、ＣＰＵ２１ａは、一の操作対象物であるハンドル５０２に対する操作を含む工程である工程２を選択する。次いで、ＣＰＵ２１ａは、記憶部２２に記憶される支援情報の中から、選択した工程２に対応した支援情報（支援画像７０１）を抽出する。そして、ＣＰＵ２１ａは、抽出した支援画像７０１を、表示装置１０の表示部１１に表示させる。
これにより、図１１（ａ）に示すように、特定された一の操作対象物に対する操作を支援する支援画像７０１が、表示部１１に表示される。そして、表示装置１０を装着したユーザは、表示部１１の支援画像７０１を参照することで、一の操作対象物であるハンドル５０２の操作を行うことが可能となる。
これにより、図１１（ａ）に示すように、特定された一の操作対象物に対する操作を支援する支援画像７０１が、表示部１１に表示される。そして、表示装置１０を装着したユーザは、表示部１１の支援画像７０１を参照することで、一の操作対象物であるハンドル５０２の操作を行うことが可能となる。
【0081】
また、ＣＰＵ２１ａは、撮影画像におけるユーザの状態と一の操作対象物との関係に応じて、表示装置１０の表示部１１に異なる支援情報を表示させてもよい。
図１２は、表示装置１０の表示部１１に表示される画面の他の例を示した図である。なお、図１２に示す画面は、撮影画像１７０に含まれるユーザの手６１０の状態、撮影画像１７０に重畳して表示される支援情報を除いて、図１１（ａ）に示した画面と同様である。
図１２の撮影画像１７０には、操作対象物として、装置５００Ｂに設けられたガラスカバー５０１およびハンドル５０２が含まれている。また、図１２の撮影画像１７０には、ユーザに関する物体として、ユーザの手６１０の画像が含まれている。図１２の撮影画像１７０では、ユーザは、ハンドル５０２を掴んだ手６１０を矢印方向に回転させて、ハンドル５０２を回そうとしている。
図１２は、表示装置１０の表示部１１に表示される画面の他の例を示した図である。なお、図１２に示す画面は、撮影画像１７０に含まれるユーザの手６１０の状態、撮影画像１７０に重畳して表示される支援情報を除いて、図１１（ａ）に示した画面と同様である。
図１２の撮影画像１７０には、操作対象物として、装置５００Ｂに設けられたガラスカバー５０１およびハンドル５０２が含まれている。また、図１２の撮影画像１７０には、ユーザに関する物体として、ユーザの手６１０の画像が含まれている。図１２の撮影画像１７０では、ユーザは、ハンドル５０２を掴んだ手６１０を矢印方向に回転させて、ハンドル５０２を回そうとしている。
【0082】
図１１（ｂ）に示したように、装置５００Ｂの操作手順の工程２において、ハンドル５０２に対して行う操作は、「ハンドルに手をかけ、ゆっくり手前に引き出します。」というものである。すなわち、図１２に示す撮影画像１７０に含まれるユーザの状態、より具体的にはユーザの手６１０の動作は、操作手順の工程２におけるハンドル５０２に対する操作とは異なっている。
この場合、ＣＰＵ２１ａは、一の操作対象物であるハンドル５０２の操作を支援する支援情報として、ユーザの手６１０の動作が操作手順とは異なることを示す支援情報を表示部１１に表示させる。この例では、ＣＰＵ２１ａは、図１２に示すように、ハンドル５０２の操作を支援する支援画像７０２として、「ハンドルは回せません。」との文章を表示部１１に表示させる。
この場合、ＣＰＵ２１ａは、一の操作対象物であるハンドル５０２の操作を支援する支援情報として、ユーザの手６１０の動作が操作手順とは異なることを示す支援情報を表示部１１に表示させる。この例では、ＣＰＵ２１ａは、図１２に示すように、ハンドル５０２の操作を支援する支援画像７０２として、「ハンドルは回せません。」との文章を表示部１１に表示させる。
【0083】
このように、撮影画像におけるユーザの状態に応じて表示部１１に支援情報を表示させることで、例えば、ユーザが操作対象物に対して誤った操作を行おうとしている場合に、操作が誤っていることをユーザが把握することができ、誤った操作を継続して行うことが抑制される。
なお、この例では、撮影画像１７０におけるユーザの手６１０の動作が、ユーザの状態の一例である。また、撮影画像１７０におけるユーザの手６１０の動作と、装置５００Ｂの操作手順のうちハンドル５０２に対する操作を含む工程２の内容との関係が、撮影画像におけるユーザの状態と一の操作対象物との関係の一例である。
なお、この例では、撮影画像１７０におけるユーザの手６１０の動作が、ユーザの状態の一例である。また、撮影画像１７０におけるユーザの手６１０の動作と、装置５００Ｂの操作手順のうちハンドル５０２に対する操作を含む工程２の内容との関係が、撮影画像におけるユーザの状態と一の操作対象物との関係の一例である。
【0084】
また、ＣＰＵ２１ａは、一の操作対象物の状態、または一の操作対象物を備える装置等の状態に応じて、異なる支援情報を表示装置１０の表示部１１に表示させてもよい。
図１３（ａ）～（ｂ）は、ＣＰＵ２１ａが、一の操作対象物を備える装置の状態に応じて、表示装置１０に異なる支援情報を表示させる処理を説明する図である。図１３（ａ）は、表示装置１０の表示部１１に表示される画面の一例を示した図であり、図１３（ｂ）は、表示部１１に表示させる支援情報を選択する処理の一例を説明する図であって、一の操作対象物を含む装置５００Ａの操作手順の一例を示した図である。
図１３（ａ）に示す撮影画像１８０には、図５（ａ）に示した撮影画像と同様に、装置５００Ａに、操作対象物としてハンドル５０３、ボルト５０４、ナット５０５、ボタン５０６および計測器５０７が含まれている。
図１３（ａ）～（ｂ）は、ＣＰＵ２１ａが、一の操作対象物を備える装置の状態に応じて、表示装置１０に異なる支援情報を表示させる処理を説明する図である。図１３（ａ）は、表示装置１０の表示部１１に表示される画面の一例を示した図であり、図１３（ｂ）は、表示部１１に表示させる支援情報を選択する処理の一例を説明する図であって、一の操作対象物を含む装置５００Ａの操作手順の一例を示した図である。
図１３（ａ）に示す撮影画像１８０には、図５（ａ）に示した撮影画像と同様に、装置５００Ａに、操作対象物としてハンドル５０３、ボルト５０４、ナット５０５、ボタン５０６および計測器５０７が含まれている。
【0085】
ここでは、ＣＰＵ２１ａが、上述したステップ１０５において、複数の操作対象物であるハンドル５０３、ボルト５０４、ナット５０５、ボタン５０６および計測器５０７のうち、ハンドル５０３を一の操作対象物として特定したものとして説明する。
ＣＰＵ２１ａは、装置５００Ａの操作手順として、トナーの交換手順に関する情報を取得する。図１３（ｂ）に示すように、装置５００Ａの操作手順には、工程１、工程２および工程３の３つの工程が含まれる。そして、ハンドル５０３に対する操作を含む工程２は、装置５００Ａの温度に応じて、装置５００Ａの温度が予め定められた閾値以下の場合に行う、「ハンドルに手をかけ、ゆっくり手前に引き出します。」との文章からなる工程２－１と、装置５００Ａの温度が閾値を超える場合に行う、「装置の温度が高いので、５分待ってください。」との文章からなる工程２－２とに分けられている。
ＣＰＵ２１ａは、装置５００Ａの操作手順として、トナーの交換手順に関する情報を取得する。図１３（ｂ）に示すように、装置５００Ａの操作手順には、工程１、工程２および工程３の３つの工程が含まれる。そして、ハンドル５０３に対する操作を含む工程２は、装置５００Ａの温度に応じて、装置５００Ａの温度が予め定められた閾値以下の場合に行う、「ハンドルに手をかけ、ゆっくり手前に引き出します。」との文章からなる工程２－１と、装置５００Ａの温度が閾値を超える場合に行う、「装置の温度が高いので、５分待ってください。」との文章からなる工程２－２とに分けられている。
【0086】
ＣＰＵ２１ａは、複数の操作対象物の中からハンドル５０３を一の操作対象物として特定した場合、通信Ｉ／Ｆ２３を介して、装置５００Ａから装置５００Ａの温度に関する情報を取得する。そして、ＣＰＵ２１ａは、記憶部２２に記憶される支援情報の中から、装置５００Ａの温度に応じた支援情報を抽出し、表示装置１０の表示部１１に表示させる。例えば、装置５００Ａの温度が閾値以下である場合、ＣＰＵ２１ａは、工程２－１に対応する支援情報（例えば、「ハンドルに手をかけ、ゆっくり手前に引き出します。」等の文章）を表示させる。一方、装置５００Ａの温度が閾値を超える場合、ＣＰＵ２１ａは、図１３（ａ）に示すように、工程２－２に対応する支援情報である「装置の温度が高いので、５分待ってください。」との支援画像７０３を表示部１１に表示させる。
【0087】
このように、特定した一の操作対象物の状態、または一の操作対象物を含む装置の状態に応じて支援情報を表示することで、ユーザが、一の操作対象物や一の操作対象物を含む装置の状態に適した操作を行いやすくなる。
付言すると、例えば、操作対象物が高温等の操作対象物に触れることが好ましくない状態のときにユーザが操作対象物に触れてしまったり、装置が起動する前等のように操作対象物が操作を受け入れることができない状態のときに操作を行ってしまったりすることが抑制される。
付言すると、例えば、操作対象物が高温等の操作対象物に触れることが好ましくない状態のときにユーザが操作対象物に触れてしまったり、装置が起動する前等のように操作対象物が操作を受け入れることができない状態のときに操作を行ってしまったりすることが抑制される。
【0088】
なお、この例では、一の操作対象物であるハンドル５０３を含む装置５００Ａの状態を通信Ｉ／Ｆ２３を介して装置５００Ａから取得したが、これに限られない。ＣＰＵ２１ａは、例えば、表示装置１０の撮影部１２により撮影された撮影画像を解析することにより、装置５００Ａの状態や装置５００Ａに含まれる一の操作対象物の状態を取得してもよい。また、装置５００Ａの外部に設けられ装置５００Ａの状態を監視する他の装置から取得してもよい。
【0089】
また、本実施形態では、表示装置１０の表示部１１に表示する支援情報として、操作対象物の操作方法等を説明する文章からなる支援画像を例示したが、これに限られない。支援情報は、例えば、操作対象物の操作方法を示す記号等の画像であってもよい。また、支援情報は、静止画であってもよく、動画であってもよい。さらにまた、支援情報は、複数の静止画を時間経過とともに順次表示する態様であってもよい。
【0090】
なお、以上説明した表示システム１では、撮影画像に含まれる操作対象物の中から一の操作対象物を特定する処理、および表示装置１０の表示部１１への支援情報の表示制御を、表示装置１０と接続される表示制御装置２０により行っているが、これに限られない。すなわち、表示装置１０に、上述したＣＰＵ２１ａによる処理の一部または全部を行う情報処理部が含まれていてもよい。
【0091】
（プログラム）
以上説明を行った本実施形態のＣＰＵ２１ａが行う処理は、例えば、アプリケーションソフトウェア等のプログラムにより行われる。
よって、本実施形態のＣＰＵ２１ａが行う処理を実現するプログラムは、現実空間または現実空間を撮影した撮影画像に重畳して、撮影画像に含まれる操作対象物の操作を支援する支援情報を表示させる制御を行うコンピュータに、撮影画像に含まれる複数の操作対象物の中から、ユーザによる操作の優先度が高い一の操作対象物の支援情報を表示させる機能を実現するプログラムとして捉えることができる。
以上説明を行った本実施形態のＣＰＵ２１ａが行う処理は、例えば、アプリケーションソフトウェア等のプログラムにより行われる。
よって、本実施形態のＣＰＵ２１ａが行う処理を実現するプログラムは、現実空間または現実空間を撮影した撮影画像に重畳して、撮影画像に含まれる操作対象物の操作を支援する支援情報を表示させる制御を行うコンピュータに、撮影画像に含まれる複数の操作対象物の中から、ユーザによる操作の優先度が高い一の操作対象物の支援情報を表示させる機能を実現するプログラムとして捉えることができる。
【0092】
以上、本発明の実施形態について説明したが、本発明は、上述した実施形態に限るものではない。また、本発明による効果も、上述した実施形態に記載されたものに限定されない。本発明の技術思想の範囲から逸脱しない様々な変更や構成の代替は、本発明に含まれる。
【0093】
（付記）
（（（１）））
現実空間または現実空間を撮影した撮影画像に重畳して、当該撮影画像に含まれる操作対象物の操作を支援する支援情報を表示させる制御を行うプロセッサを備え、
前記プロセッサは、前記撮影画像に含まれる複数の前記操作対象物の中から、ユーザによる操作の優先度が高い一の操作対象物の前記支援情報を表示させる
表示制御装置。
（（（２）））
前記プロセッサは、前記撮影画像におけるユーザとそれぞれの前記操作対象物との関係を元に、前記一の操作対象物を特定する（（（１）））に記載の表示制御装置。
（（（３）））
前記プロセッサは、複数の前記操作対象物のうち、前記撮影画像におけるユーザとの距離が短い当該操作対象物を前記一の操作対象物とする（（（２）））に記載の表示制御装置。
（（（４）））
前記プロセッサは、複数の前記操作対象物のうち、前記撮影画像においてユーザが指し示す方向にある当該操作対象物を前記一の操作対象物とする（（（２）））に記載の表示制御装置。
（（（５）））
前記プロセッサは、ユーザとそれぞれの前記操作対象物との関係として、ユーザが使用する器具と当該操作対象物との関係を元に、前記一の操作対象物を特定する（（（２）））乃至（（（４）））のいずれか１つに記載の表示制御装置。
（（（６）））
前記プロセッサは、前記撮影画像におけるユーザとそれぞれの前記操作対象物との関係から前記一の操作対象物を特定できない場合に、当該撮影画像におけるそれぞれの当該操作対象物の位置から当該一の操作対象物を特定する（（（２）））乃至（（（５）））のいずれか１つに記載の表示制御装置。
（（（７）））
前記プロセッサは、複数の前記操作対象物のうち、前記撮影画像において中心に近い位置にある当該操作対象物を前記一の操作対象物とする（（（６）））に記載の表示制御装置。
（（（８）））
前記プロセッサは、前記撮影画像におけるユーザとそれぞれの前記操作対象物との関係から前記一の操作対象物を特定できない場合に、複数の当該操作対象物の中から当該一の操作対象物の選択を受け付ける（（（２）））乃至（（（５）））のいずれか１つに記載の表示制御装置。
（（（９）））
前記プロセッサは、前記撮影画像における前記操作対象物の数が予め定められた数を超える場合に、前記一の操作対象物を特定できないとする（（（６）））乃至（（（８）））のいずれか１つに記載の表示制御装置。
（（（１０）））
前記プロセッサは、複数の前記操作対象物の操作状況を元に、前記一の操作対象物を特定する（（（１）））に記載の表示制御装置。
（（（１１）））
前記プロセッサは、複数の前記操作対象物のうち予め定められた操作が終了していない当該操作対象物の中から前記一の操作対象物を特定する（（（１０）））に記載の表示制御装置。
（（（１２）））
前記プロセッサは、前記一の操作対象物の状態に応じて前記支援情報を表示させる（（（１）））乃至（（（１１）））のいずれか１つに記載の表示制御装置。
（（（１３）））
前記プロセッサは、前記撮影画像におけるユーザの状態と前記一の操作対象物との関係に応じて前記支援情報を表示させる（（（１）））乃至（（（１２）））のいずれか１つに記載の表示制御装置。
（（（１４）））
現実空間を撮影する撮影手段と、
画像を表示する表示手段と、
前記表示手段に、現実空間または前記撮影手段が撮影した撮影画像に重畳して、当該撮影画像に含まれる操作対象物の操作を支援する支援情報を表示させるプロセッサと、
を備え、
前記プロセッサは、前記撮影画像に含まれる複数の操作対象物の中から、ユーザによる操作の優先度が高い一の操作対象物の前記支援情報を前記表示手段に表示させる表示システム。
（（（１５）））
現実空間または現実空間を撮影した撮影画像に重畳して、当該撮影画像に含まれる操作対象物の操作を支援する支援情報を表示させる制御を行うコンピュータに、
前記撮影画像に含まれる複数の操作対象物の中から、ユーザによる操作の優先度が高い一の操作対象物の前記支援情報を表示させる機能を実現するプログラム。
（（（１）））
現実空間または現実空間を撮影した撮影画像に重畳して、当該撮影画像に含まれる操作対象物の操作を支援する支援情報を表示させる制御を行うプロセッサを備え、
前記プロセッサは、前記撮影画像に含まれる複数の前記操作対象物の中から、ユーザによる操作の優先度が高い一の操作対象物の前記支援情報を表示させる
表示制御装置。
（（（２）））
前記プロセッサは、前記撮影画像におけるユーザとそれぞれの前記操作対象物との関係を元に、前記一の操作対象物を特定する（（（１）））に記載の表示制御装置。
（（（３）））
前記プロセッサは、複数の前記操作対象物のうち、前記撮影画像におけるユーザとの距離が短い当該操作対象物を前記一の操作対象物とする（（（２）））に記載の表示制御装置。
（（（４）））
前記プロセッサは、複数の前記操作対象物のうち、前記撮影画像においてユーザが指し示す方向にある当該操作対象物を前記一の操作対象物とする（（（２）））に記載の表示制御装置。
（（（５）））
前記プロセッサは、ユーザとそれぞれの前記操作対象物との関係として、ユーザが使用する器具と当該操作対象物との関係を元に、前記一の操作対象物を特定する（（（２）））乃至（（（４）））のいずれか１つに記載の表示制御装置。
（（（６）））
前記プロセッサは、前記撮影画像におけるユーザとそれぞれの前記操作対象物との関係から前記一の操作対象物を特定できない場合に、当該撮影画像におけるそれぞれの当該操作対象物の位置から当該一の操作対象物を特定する（（（２）））乃至（（（５）））のいずれか１つに記載の表示制御装置。
（（（７）））
前記プロセッサは、複数の前記操作対象物のうち、前記撮影画像において中心に近い位置にある当該操作対象物を前記一の操作対象物とする（（（６）））に記載の表示制御装置。
（（（８）））
前記プロセッサは、前記撮影画像におけるユーザとそれぞれの前記操作対象物との関係から前記一の操作対象物を特定できない場合に、複数の当該操作対象物の中から当該一の操作対象物の選択を受け付ける（（（２）））乃至（（（５）））のいずれか１つに記載の表示制御装置。
（（（９）））
前記プロセッサは、前記撮影画像における前記操作対象物の数が予め定められた数を超える場合に、前記一の操作対象物を特定できないとする（（（６）））乃至（（（８）））のいずれか１つに記載の表示制御装置。
（（（１０）））
前記プロセッサは、複数の前記操作対象物の操作状況を元に、前記一の操作対象物を特定する（（（１）））に記載の表示制御装置。
（（（１１）））
前記プロセッサは、複数の前記操作対象物のうち予め定められた操作が終了していない当該操作対象物の中から前記一の操作対象物を特定する（（（１０）））に記載の表示制御装置。
（（（１２）））
前記プロセッサは、前記一の操作対象物の状態に応じて前記支援情報を表示させる（（（１）））乃至（（（１１）））のいずれか１つに記載の表示制御装置。
（（（１３）））
前記プロセッサは、前記撮影画像におけるユーザの状態と前記一の操作対象物との関係に応じて前記支援情報を表示させる（（（１）））乃至（（（１２）））のいずれか１つに記載の表示制御装置。
（（（１４）））
現実空間を撮影する撮影手段と、
画像を表示する表示手段と、
前記表示手段に、現実空間または前記撮影手段が撮影した撮影画像に重畳して、当該撮影画像に含まれる操作対象物の操作を支援する支援情報を表示させるプロセッサと、
を備え、
前記プロセッサは、前記撮影画像に含まれる複数の操作対象物の中から、ユーザによる操作の優先度が高い一の操作対象物の前記支援情報を前記表示手段に表示させる表示システム。
（（（１５）））
現実空間または現実空間を撮影した撮影画像に重畳して、当該撮影画像に含まれる操作対象物の操作を支援する支援情報を表示させる制御を行うコンピュータに、
前記撮影画像に含まれる複数の操作対象物の中から、ユーザによる操作の優先度が高い一の操作対象物の前記支援情報を表示させる機能を実現するプログラム。
【0094】
（（（１）））に係る表示制御装置によれば、複数の操作対象物が存在する場合に、操作対象物の操作ができるように支援情報を表示する表示制御装置等を提供することができる。
（（（２）））に係る表示制御装置によれば、撮影画像におけるユーザとそれぞれの操作対象物との関係を元に一の操作対象物を特定しない場合と比べて、ユーザが操作を行おうとしている操作対象物についての支援情報を表示させやすくなる。
（（（３）））に係る表示制御装置によれば、撮影画像におけるユーザとの距離が短い操作対象物を一の操作対象物としない場合と比べて、ユーザが操作を行おうとしている操作対象物についての支援情報を表示させやすくなる。
（（（４）））に係る表示制御装置によれば、撮影画像においてユーザが指し示す方向にある操作対象物を一の操作対象物としない場合と比べて、ユーザが操作を行おうとしている操作対象物についての支援情報を表示させやすくなる。
（（（５）））に係る表示制御装置によれば、ユーザが使用する器具と操作対象物との関係を元に一の操作対象物を特定しない場合と比べて、ユーザが操作を行おうとしている操作対象物についての支援情報を表示させやすくなる。
（（（６）））に係る表示制御装置によれば、ユーザとの関係から一の操作対象物を特定できない場合でも、一の操作対象物を特定して支援情報を表示させることができる。
（（（７）））に係る表示制御装置によれば、撮影画像において中心に近い位置にある操作対象物を一の操作対象物として特定しない場合と比較して、ユーザが操作を行おうとしている操作対象物についての支援情報を表示させやすくなる。
（（（８）））に係る表示制御装置によれば、複数の操作対象物の中から一の操作対象物の選択を受け付けない場合と比べて、ユーザが支援情報の表示を希望する操作対象物についての支援情報を表示させやすくなる。
（（（９）））に係る表示制御装置によれば、操作対象物の数が予め定められた数を超える場合に、撮影画像におけるユーザとそれぞれの操作対象物との関係から一の操作対象物を特定する場合と比べて、ユーザが操作を行おうとしていない操作対象物が一の操作対象物として特定されにくくなる。
（（（１０）））に係る表示制御装置によれば、複数の操作対象物の操作状況を元に一の操作対象物を特定しない場合と比べて、ユーザによる操作が必要な操作対象物についての支援情報を表示させやすくなる。
（（（１１）））に係る表示制御装置によれば、操作が終了していない操作対象物の中から一の操作対象物を特定しない場合と比べて、ユーザによる操作が不要な操作対象物についての支援情報を表示させにくくなる。
（（（１２）））に係る表示制御装置によれば、一の操作対象物の状態に応じて支援情報を表示させない場合と比べて、ユーザが一の操作対象物の状態に応じた操作を行いやすくなる。
（（（１３）））に係る表示制御装置によれば、ユーザの状態と一の操作対象物との関係に応じて支援情報を表示させない場合と比べて、ユーザが一の操作対象物に対して誤った操作を行いにくくなる。
（（（１４）））に係る表示システムによれば、複数の操作対象物が存在する場合に、操作対象物の操作ができるように支援情報を表示する表示システム等を提供することができる。
（（（１５）））に係るプログラムによれば、複数の操作対象物が存在する場合に、操作対象物の操作ができるように支援情報を表示するプログラム等を提供することができる。
（（（２）））に係る表示制御装置によれば、撮影画像におけるユーザとそれぞれの操作対象物との関係を元に一の操作対象物を特定しない場合と比べて、ユーザが操作を行おうとしている操作対象物についての支援情報を表示させやすくなる。
（（（３）））に係る表示制御装置によれば、撮影画像におけるユーザとの距離が短い操作対象物を一の操作対象物としない場合と比べて、ユーザが操作を行おうとしている操作対象物についての支援情報を表示させやすくなる。
（（（４）））に係る表示制御装置によれば、撮影画像においてユーザが指し示す方向にある操作対象物を一の操作対象物としない場合と比べて、ユーザが操作を行おうとしている操作対象物についての支援情報を表示させやすくなる。
（（（５）））に係る表示制御装置によれば、ユーザが使用する器具と操作対象物との関係を元に一の操作対象物を特定しない場合と比べて、ユーザが操作を行おうとしている操作対象物についての支援情報を表示させやすくなる。
（（（６）））に係る表示制御装置によれば、ユーザとの関係から一の操作対象物を特定できない場合でも、一の操作対象物を特定して支援情報を表示させることができる。
（（（７）））に係る表示制御装置によれば、撮影画像において中心に近い位置にある操作対象物を一の操作対象物として特定しない場合と比較して、ユーザが操作を行おうとしている操作対象物についての支援情報を表示させやすくなる。
（（（８）））に係る表示制御装置によれば、複数の操作対象物の中から一の操作対象物の選択を受け付けない場合と比べて、ユーザが支援情報の表示を希望する操作対象物についての支援情報を表示させやすくなる。
（（（９）））に係る表示制御装置によれば、操作対象物の数が予め定められた数を超える場合に、撮影画像におけるユーザとそれぞれの操作対象物との関係から一の操作対象物を特定する場合と比べて、ユーザが操作を行おうとしていない操作対象物が一の操作対象物として特定されにくくなる。
（（（１０）））に係る表示制御装置によれば、複数の操作対象物の操作状況を元に一の操作対象物を特定しない場合と比べて、ユーザによる操作が必要な操作対象物についての支援情報を表示させやすくなる。
（（（１１）））に係る表示制御装置によれば、操作が終了していない操作対象物の中から一の操作対象物を特定しない場合と比べて、ユーザによる操作が不要な操作対象物についての支援情報を表示させにくくなる。
（（（１２）））に係る表示制御装置によれば、一の操作対象物の状態に応じて支援情報を表示させない場合と比べて、ユーザが一の操作対象物の状態に応じた操作を行いやすくなる。
（（（１３）））に係る表示制御装置によれば、ユーザの状態と一の操作対象物との関係に応じて支援情報を表示させない場合と比べて、ユーザが一の操作対象物に対して誤った操作を行いにくくなる。
（（（１４）））に係る表示システムによれば、複数の操作対象物が存在する場合に、操作対象物の操作ができるように支援情報を表示する表示システム等を提供することができる。
（（（１５）））に係るプログラムによれば、複数の操作対象物が存在する場合に、操作対象物の操作ができるように支援情報を表示するプログラム等を提供することができる。
【符号の説明】
【0095】
１…表示システム、１０…表示装置、１１…表示部、１２…撮影部、２０…表示制御装置、２１…情報処理部、２１ａ…ＣＰＵ、２１ｂ…ＲＯＭ、２１ｃ…ＲＡＭ、２２…記憶部、７０１、７０２、７０３…支援画像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
