ホーム > 特許ランキング > セイコーエプソン株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024013342
(43)【公開日】2024-02-01
(54)【発明の名称】制御装置、頭部装着型表示装置の制御方法及びプログラム
(51)【国際特許分類】
G09G 5/00 20060101AFI20240125BHJP
G09G 5/38 20060101ALI20240125BHJP
G06F 3/01 20060101ALI20240125BHJP
G02B 27/02 20060101ALI20240125BHJP
H04N 5/64 20060101ALI20240125BHJP
【ＦＩ】
G09G5/00 550C
G09G5/00 510A
G09G5/38 A
G09G5/00 550B
G09G5/00 550H
G09G5/00 555G
G06F3/01 510
G02B27/02 Z
H04N5/64 511A
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022115363
(22)【出願日】2022-07-20
(71)【出願人】
【識別番号】000002369
【氏名又は名称】セイコーエプソン株式会社
(74)【代理人】
【識別番号】100179475
【弁理士】
【氏名又は名称】仲井 智至
(74)【代理人】
【識別番号】100216253
【弁理士】
【氏名又は名称】松岡 宏紀
(74)【代理人】
【識別番号】100225901
【弁理士】
【氏名又は名称】今村 真之
(72)【発明者】
【氏名】小林 伸一
【テーマコード（参考）】
2H199
5C182
5E555
【Ｆターム（参考）】
2H199CA02
2H199CA12
2H199CA25
2H199CA42
2H199CA47
2H199CA53
2H199CA66
2H199CA92
2H199CA93
2H199CA94
2H199CA95
2H199CA96
5C182AA02
5C182AB02
5C182AB08
5C182AB35
5C182AC02
5C182AC03
5C182BA03
5C182BA06
5C182BA14
5C182BA25
5C182BA28
5C182BA29
5C182BA39
5C182BA45
5C182BA46
5C182BA47
5C182BA56
5C182BA75
5C182BB01
5C182BB11
5C182BC01
5C182BC14
5C182BC22
5C182BC25
5C182BC41
5C182CA12
5C182CB12
5C182CB42
5C182CB44
5C182CB56
5C182DA41
5C182DA52
5C182DA65
5E555AA01
5E555BA01
5E555BA38
5E555BB01
5E555BB38
5E555BC01
5E555BE17
5E555CB65
5E555CB66
5E555DA08
5E555DA09
5E555DB53
5E555DC19
5E555FA00
(57)【要約】
【課題】使用者の負担を軽減した制御装置を提供する。
【解決手段】制御装置３００は、使用者Ｕの視線と、使用者Ｕの頭部の向きと、の少なくとも一方に基づき、画像表示部２０が表示する複数の画像のうち、使用者Ｕが視認する画像を判定する判定部３５５と、画像表示部２０が表示する複数の画像のうち、使用者Ｕが視認する画像であると判定された判定回数が最も多い画像を第１画像に設定し、使用者が視認する画像と判定された判定回数が前記第１画像の次に多い画像を第２画像に設定する設定部３５６と、第１画像と第２画像との表示上の距離である表示距離が、予め設定された設定距離よりも小さくなるように第２画像の表示位置を変更する表示制御部３５４と、を備える。
【選択図】図３
【解決手段】制御装置３００は、使用者Ｕの視線と、使用者Ｕの頭部の向きと、の少なくとも一方に基づき、画像表示部２０が表示する複数の画像のうち、使用者Ｕが視認する画像を判定する判定部３５５と、画像表示部２０が表示する複数の画像のうち、使用者Ｕが視認する画像であると判定された判定回数が最も多い画像を第１画像に設定し、使用者が視認する画像と判定された判定回数が前記第１画像の次に多い画像を第２画像に設定する設定部３５６と、第１画像と第２画像との表示上の距離である表示距離が、予め設定された設定距離よりも小さくなるように第２画像の表示位置を変更する表示制御部３５４と、を備える。
【選択図】図３
【特許請求の範囲】
【請求項1】
使用者の頭部に装着され、外景を視認可能に画像を表示する表示部を備える頭部装着型表示装置を制御する制御装置であって、
前記使用者の視線の方向を検出する第１検出部と、
前記使用者の頭部の向きを検出する第２検出部と、
前記使用者の視線と、前記使用者の頭部の向きと、の少なくとも一方に基づき、前記表示部が表示する複数の画像のうち、前記使用者が視認する画像を判定する判定部と、
前記表示部が表示する複数の画像のうち、前記判定部により前記使用者が視認する画像であると判定された判定回数が最も多い画像を第１画像に設定し、
前記判定部により前記使用者が視認する画像と判定された判定回数が前記第１画像の次に多い画像を第２画像に設定する設定部と、
前記第１画像と前記第２画像との表示上の距離である表示距離が、予め設定された設定距離よりも小さくなるように前記第２画像の表示位置を変更する表示制御部と、
を備える、制御装置。
前記使用者の視線の方向を検出する第１検出部と、
前記使用者の頭部の向きを検出する第２検出部と、
前記使用者の視線と、前記使用者の頭部の向きと、の少なくとも一方に基づき、前記表示部が表示する複数の画像のうち、前記使用者が視認する画像を判定する判定部と、
前記表示部が表示する複数の画像のうち、前記判定部により前記使用者が視認する画像であると判定された判定回数が最も多い画像を第１画像に設定し、
前記判定部により前記使用者が視認する画像と判定された判定回数が前記第１画像の次に多い画像を第２画像に設定する設定部と、
前記第１画像と前記第２画像との表示上の距離である表示距離が、予め設定された設定距離よりも小さくなるように前記第２画像の表示位置を変更する表示制御部と、
を備える、制御装置。
【請求項2】
前記設定部は、前記使用者が視認する画像であると前記判定部が判定した単位時間当たりの判定回数を、前記複数の画像の各々で計数し、前記単位時間当たりの判定回数が予め設定された設定回数以上であって、前記単位時間当たりの判定回数が最も多い画像を前記第１画像に設定し、
前記単位時間当たりの判定回数が予め設定された設定回数以上であって、前記第１画像に設定した画像以外の画像を前記第２画像に設定する、請求項１記載の制御装置。
前記単位時間当たりの判定回数が予め設定された設定回数以上であって、前記第１画像に設定した画像以外の画像を前記第２画像に設定する、請求項１記載の制御装置。
【請求項3】
前記表示制御部は、前記第１画像と前記第２画像との表示上の距離である表示距離が、前記設定距離よりも大きい場合に、前記第１画像との表示距離が前記設定距離よりも小さくなるように前記第２画像の表示位置を変更する、請求項１又は２記載の制御装置。
【請求項4】
前記第１画像の表示位置に対する第２画像の表示位置の優先度を設定した設定情報を記憶する記憶部を備え、
前記表示制御部は、前記第１画像の表示位置と、前記設定情報とに基づいて、前記第２画像の表示位置を変更する、請求項１記載の制御装置。
前記表示制御部は、前記第１画像の表示位置と、前記設定情報とに基づいて、前記第２画像の表示位置を変更する、請求項１記載の制御装置。
【請求項5】
外景を撮像する撮像部と、
前記撮像部が生成した撮像画像から前記使用者が視認する対象物を検出する第３検出部と、を備え、
前記表示制御部は、前記第１画像と前記第２画像とが、前記対象物の上下又は左右の両側に表示される場合に、前記第１画像と同一の側に表示されるように前記第２画像の表示位置を変更する、請求項１記載の制御装置。
前記撮像部が生成した撮像画像から前記使用者が視認する対象物を検出する第３検出部と、を備え、
前記表示制御部は、前記第１画像と前記第２画像とが、前記対象物の上下又は左右の両側に表示される場合に、前記第１画像と同一の側に表示されるように前記第２画像の表示位置を変更する、請求項１記載の制御装置。
【請求項6】
前記表示部は、前記第３検出部が検出した前記対象物に対応づけられた画像を表示する、請求項５記載の制御装置。
【請求項7】
前記対象物までの距離を検出する第４検出部を備え、
前記表示部は、前記第４検出部が検出した距離に対応する位置に前記複数の画像を表示する、請求項５記載の制御装置。
前記表示部は、前記第４検出部が検出した距離に対応する位置に前記複数の画像を表示する、請求項５記載の制御装置。
【請求項8】
前記判定部は、前記使用者が頭部を回転させながら視線の方向を変更して画像を視認したか否かを判定し、
前記設定部は、前記使用者が視認した回数を前記複数の画像の各々で計数した計数値を登録した計数テーブルを生成し、
前記使用者が頭部を回転させながら視線の方向を変更して画像を視認した場合に、前記計数テーブルの前記視認した画像に対応する計数値に加算する値を、前記使用者が頭部を回転させずに視線の方向を変更して画像を視認した場合に、前記計数テーブルの前記視認した画像に対応する計数値に加算する値よりも多くする、請求項１記載の制御装置。
前記設定部は、前記使用者が視認した回数を前記複数の画像の各々で計数した計数値を登録した計数テーブルを生成し、
前記使用者が頭部を回転させながら視線の方向を変更して画像を視認した場合に、前記計数テーブルの前記視認した画像に対応する計数値に加算する値を、前記使用者が頭部を回転させずに視線の方向を変更して画像を視認した場合に、前記計数テーブルの前記視認した画像に対応する計数値に加算する値よりも多くする、請求項１記載の制御装置。
【請求項9】
使用者の頭部に装着され、外景を視認可能に画像を表示する表示部を備える頭部装着型表示装置の制御方法であって、
前記使用者の視線の方向を検出する第１ステップと、
前記使用者の頭部の向きを検出する第２ステップと、
前記使用者の視線と、前記使用者の頭部の向きと、の少なくとも一方に基づき、前記表示部が表示する複数の画像のうち、前記使用者が視認する画像を判定する第３ステップと、
前記表示部が表示する複数の画像のうち、前記第３ステップにより前記使用者が視認する画像であると判定された判定回数が最も多い画像を第１画像に設定し、
前記第３ステップにより前記使用者が視認する画像と判定された判定回数が前記第１画像の次に多い画像を第２画像に設定する第４ステップと、
前記第１画像と前記第２画像との表示上の距離である表示距離が、予め設定された設定距離よりも小さくなるように前記第２画像の表示位置を変更する第５ステップと、
を含む、頭部装着型表示装置の制御方法。
前記使用者の視線の方向を検出する第１ステップと、
前記使用者の頭部の向きを検出する第２ステップと、
前記使用者の視線と、前記使用者の頭部の向きと、の少なくとも一方に基づき、前記表示部が表示する複数の画像のうち、前記使用者が視認する画像を判定する第３ステップと、
前記表示部が表示する複数の画像のうち、前記第３ステップにより前記使用者が視認する画像であると判定された判定回数が最も多い画像を第１画像に設定し、
前記第３ステップにより前記使用者が視認する画像と判定された判定回数が前記第１画像の次に多い画像を第２画像に設定する第４ステップと、
前記第１画像と前記第２画像との表示上の距離である表示距離が、予め設定された設定距離よりも小さくなるように前記第２画像の表示位置を変更する第５ステップと、
を含む、頭部装着型表示装置の制御方法。
【請求項10】
使用者の頭部に装着され、外景を視認可能に画像を表示する表示部を備える頭部装着型表示装置を制御する制御装置に搭載されたコンピューターに実行させるプログラムであって、
前記コンピューターに、
前記使用者の視線の方向を検出する第１手順と、
前記使用者の頭部の向きを検出する第２手順と、
前記使用者の視線と、前記使用者の頭部の向きと、の少なくとも一方に基づき、前記表示部が表示する複数の画像のうち、前記使用者が視認する画像を判定する第３手順と、
前記表示部が表示する複数の画像のうち、前記第３手順により前記使用者が視認する画像であると判定された判定回数が最も多い画像を第１画像に設定し、
前記第３手順により前記使用者が視認する画像と判定された判定回数が前記第１画像の次に多い画像を第２画像に設定する第４手順と、
前記第１画像と前記第２画像との表示上の距離である表示距離が、予め設定された設定距離よりも小さくなるように前記第２画像の表示位置を変更する第５手順と、
を実行させる、プログラム。
前記コンピューターに、
前記使用者の視線の方向を検出する第１手順と、
前記使用者の頭部の向きを検出する第２手順と、
前記使用者の視線と、前記使用者の頭部の向きと、の少なくとも一方に基づき、前記表示部が表示する複数の画像のうち、前記使用者が視認する画像を判定する第３手順と、
前記表示部が表示する複数の画像のうち、前記第３手順により前記使用者が視認する画像であると判定された判定回数が最も多い画像を第１画像に設定し、
前記第３手順により前記使用者が視認する画像と判定された判定回数が前記第１画像の次に多い画像を第２画像に設定する第４手順と、
前記第１画像と前記第２画像との表示上の距離である表示距離が、予め設定された設定距離よりも小さくなるように前記第２画像の表示位置を変更する第５手順と、
を実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、制御装置、頭部装着型表示装置の制御方法及びプログラムに関する。
【背景技術】
【0002】
従来、使用者Ｕの頭部に装着され、外景を視認可能に画像を表示する表示部を備える頭部装着型表示装置において、使用者Ｕの頭部の動きにより表示部が表示する画像を変更する技術が知られている。
特許文献1は、外景を視認可能な頭部装着型の表示装置であって、画像表示部の表示を制御する表示制御部を備える。表示制御部は、使用者Ｕの頭部の動きが、第１方向への動きであって予め定めた第１閾値を超えたときには第１態様で、第２方向への動きであって予め定めた第２閾値を超えたときには第２態様で、画像表示部の表示を制御する。
特許文献1は、外景を視認可能な頭部装着型の表示装置であって、画像表示部の表示を制御する表示制御部を備える。表示制御部は、使用者Ｕの頭部の動きが、第１方向への動きであって予め定めた第１閾値を超えたときには第１態様で、第２方向への動きであって予め定めた第２閾値を超えたときには第２態様で、画像表示部の表示を制御する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－１１９３６４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、表示の態様を切り替えるために頭部を動かす必要があり、表示部が表示する画像を使用状況に応じた表示に変更することができる技術が要望されている。
【課題を解決するための手段】
【0005】
本開示は、使用者の頭部に装着され、外景を視認可能に画像を表示する表示部を備える頭部装着型表示装置を制御する制御装置であって、前記使用者の視線の方向を検出する第１検出部と、前記使用者の頭部の向きを検出する第２検出部と、前記使用者の視線と、前記使用者の頭部の向きと、の少なくとも一方に基づき、前記表示部が表示する複数の画像のうち、前記使用者が視認する画像を判定する判定部と、前記表示部が表示する複数の画像のうち、前記判定部により前記使用者が視認する画像であると判定された判定回数が最も多い画像を第１画像に設定し、前記判定部により前記使用者が視認する画像と判定された判定回数が前記第１画像の次に多い画像を第２画像に設定する設定部と、前記第１画像と前記第２画像との表示上の距離である表示距離が、予め設定された設定距離よりも小さくなるように前記第２画像の表示位置を変更する表示制御部と、を備える、制御装置である。
【0006】
本開示は、使用者の頭部に装着され、外景を視認可能に画像を表示する表示部を備える頭部装着型表示装置の制御方法であって、前記使用者の視線の方向を検出する第１ステップと、前記使用者の頭部の向きを検出する第２ステップと、前記使用者の視線と、前記使用者の頭部の向きと、の少なくとも一方に基づき、前記表示部が表示する複数の画像のうち、前記使用者が視認する画像を判定する第３ステップと、前記表示部が表示する複数の画像のうち、前記第３ステップにより前記使用者が視認する画像であると判定された判定回数が最も多い画像を第１画像に設定し、前記第３ステップにより前記使用者が視認する画像と判定された判定回数が前記第１画像の次に多い画像を第２画像に設定する第４ステップと、前記第１画像と前記第２画像との表示上の距離である表示距離が、予め設定された設定距離よりも小さくなるように前記第２画像の表示位置を変更する第５ステップと、を含む、頭部装着型表示装置の制御方法である。
【0007】
本開示は、使用者の頭部に装着され、外景を視認可能に画像を表示する表示部を備える頭部装着型表示装置を制御する制御装置に搭載されたコンピューターに実行させるプログラムであって、前記コンピューターに、前記使用者の視線の方向を検出する第１手順と、前記使用者の頭部の向きを検出する第２手順と、前記使用者の視線と、前記使用者の頭部の向きと、の少なくとも一方に基づき、前記表示部が表示する複数の画像のうち、前記使用者が視認する画像を判定する第３手順と、前記表示部が表示する複数の画像のうち、前記第３手順により前記使用者が視認する画像であると判定された判定回数が最も多い画像を第１画像に設定し、前記第３手順により前記使用者が視認する画像と判定された判定回数が前記第１画像の次に多い画像を第２画像に設定する第４手順と、前記第１画像と前記第２画像との表示上の距離である表示距離が、予め設定された設定距離よりも小さくなるように前記第２画像の表示位置を変更する第５手順と、を実行させる、プログラムである。
【図面の簡単な説明】
【0008】
【図1】表示システムの概略構成を示す図。
【図2】画像表示部の光学系の構成を示す要部平面図。
【図3】ＨＭＤの構成を示すブロック図。
【図4】制御装置の構成を示すブロック図。
【図5】表示位置を変更前の参照画像を示す図。
【図6】表示位置を変更後の参照画像を示す図。
【図7】表示位置を変更前の参照画像を示す図。
【図8】表示位置を変更後の参照画像を示す図。
【図9】表示位置を変更前の参照画像を示す図。
【図10】表示位置を変更後の参照画像を示す図。
【図11】表示位置を変更後の参照画像を示す図。
【図12】表示位置を変更後の参照画像を示す図。
【図13】制御装置の動作を示すフローチャート。
【発明を実施するための形態】
【0009】
１．表示システムの構成
図１は、表示システム１の概略構成を示す図である。
表示システム１は、頭部装着型表示装置に相当するＨＭＤ１００と、制御装置３００とを備える。ＨＭＤ１００は、使用者Ｕの頭部に装着される画像表示部２０を備え、使用者Ｕに画像や映像を視認させる頭部装着型表示装置である。ＨＭＤは、Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙを略して表記したものである。画像表示部２０は表示部に相当する。
図１は、表示システム１の概略構成を示す図である。
表示システム１は、頭部装着型表示装置に相当するＨＭＤ１００と、制御装置３００とを備える。ＨＭＤ１００は、使用者Ｕの頭部に装着される画像表示部２０を備え、使用者Ｕに画像や映像を視認させる頭部装着型表示装置である。ＨＭＤは、Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙを略して表記したものである。画像表示部２０は表示部に相当する。
【0010】
図１に示すＸ軸、Ｙ軸及びＺ軸は、相互に直交する３軸方向であり、Ｚ軸方向が鉛直方向に対応し、Ｘ軸方向が使用者Ｕの頭部の左右方向に対応し、Ｙ軸方向が使用者Ｕの頭部の前後方向に対応する。
【0011】
ＨＭＤ１００は、画像表示部２０に接続された接続装置１０を有する。接続装置１０は、ＨＭＤ１００を、ＨＭＤ１００とは異なる装置に接続するインターフェイスとして機能する。表示システム１では、接続装置１０に制御装置３００が接続される。
以下の説明及び図面においては、説明の便宜のため、ＨＭＤ１００を構成するいくつかの機能部の名称に接頭辞ＤＰを付し、制御装置３００を構成するいくつかの機能部の名称に接頭辞ＣＯを付す。
以下の説明及び図面においては、説明の便宜のため、ＨＭＤ１００を構成するいくつかの機能部の名称に接頭辞ＤＰを付し、制御装置３００を構成するいくつかの機能部の名称に接頭辞ＣＯを付す。
【0012】
制御装置３００は、文字や画像を表示する表示画面、及び、タッチ操作や押圧操作を検出する操作部として機能するタッチパネル３２３を備え、携帯可能なサイズの端末装置であり、例えばスマートフォンを用いることができる。制御装置３００は、デスクトップ型パーソナルコンピューター、ノート型パーソナルコンピューター、タブレット型パーソナルコンピューター等であってもよい。
【0013】
接続装置１０は、箱形のケースに、コネクター１１Ａ及びコネクター１１Ｄを備える。コネクター１１Ａには接続ケーブル４０を介して画像表示部２０が接続され、コネクター１１ＤにはＵＳＢケーブル４６を介して制御装置３００が接続される。これにより、画像表示部２０と制御装置３００は相互にデータを送受信可能に接続される。例えば、制御装置３００は、画像表示部２０が画像を表示するための画像データや、音声データを画像表示部２０に出力する。例えば、画像表示部２０は、後述するように画像表示部２０が備える各種センサーのセンサーデータを制御装置３００に送信する。制御装置３００は、画像表示部２０に対して電力を供給可能であってもよい。ＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓを略して表記したものである。
【0014】
ＵＳＢケーブル４６を用いて接続装置１０と制御装置３００とを接続する構成は一例にすぎず、接続装置１０と制御装置３００との具体的な接続形態は制限されない。例えば、他の種類のケーブルを用いて有線接続してもよいし、無線通信を介して接続してもよい。例えば、ＵＳＢケーブル４６がＵＳＢ－ＴｙｐｅＣ規格のコネクター１１Ｄに接続される構成では、ＵＳＢケーブル４６により２０ボルトの直流電流の供給が可能であり、ＵＳＢ－ＴｙｐｅＣの代替モードの機能としてＨＤＭＩ規格の画像データ等を伝送できる。ＨＤＭＩは登録商標である。
【0015】
画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示部２２、左表示部２４、右導光板２６及び左導光板２８を備える。
【0016】
右保持部２１及び左保持部２３は、前部フレーム２７の両端部から後方に延び、使用者Ｕの頭部に画像表示部２０を保持する。右保持部２１は、前部フレーム２７において使用者Ｕの右側に位置する端部ＥＲに連結され、左保持部２３は使用者Ｕの左側に位置する端部ＥＬに連結される。
【0017】
右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。右導光板２６は、画像表示部２０の装着状態において使用者Ｕの右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態において使用者Ｕの左眼の眼前に位置し、左眼に画像を視認させる。右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部であり、右表示部２２及び左表示部２４が出力する画像光を、使用者Ｕの眼に導く。右導光板２６及び左導光板２８は、例えばプリズムである。
【0018】
前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有し、この連結位置は、使用者Ｕが画像表示部２０を装着する装着状態で、使用者Ｕの眉間に対応する。前部フレーム２７は、画像表示部２０の装着状態で使用者Ｕの鼻に当接する鼻当て部を備えてもよく、右保持部２１及び左保持部２３にベルトを連結して、ベルトによって画像表示部２０を使用者Ｕの頭部に保持する構成であってもよい。
【0019】
右表示部２２及び左表示部２４は、それぞれ、光学ユニット及び周辺回路をユニット化したモジュールである。右表示部２２は、右導光板２６により画像を表示させ、左表示部２４は左導光板２８により画像を表示させる。右表示部２２は右保持部２１に設けられ、左表示部２４は左保持部２３に設けられる。
【0020】
使用者Ｕの右眼には、右導光板２６により導かれた画像光と、右導光板２６を透過した外光とが入射する。同様に、左眼には、左導光板２８により導かれた画像光と、左導光板２８を透過した外光とが入射する。使用者Ｕの眼には、右導光板２６及び左導光板２８からの画像光と、右導光板２６及び左導光板２８を透過する外光とが入射する。これにより、使用者Ｕは画像表示部２０が表示する画像と、右導光板２６及び左導光板２８を透過する外景とを重ねて視認する。
【0021】
前部フレーム２７には、ＤＰ照度センサー６５が配置される。ＤＰ照度センサー６５は、画像表示部２０を装着する使用者Ｕの前方からの外光を受光するセンサーである。ＤＰ照度センサー６５によって、右導光板２６及び左導光板２８を透過して使用者Ｕの眼に入射する外光の照度や光量を検出できる。
【0022】
ＤＰ外側カメラ６１は、前部フレーム２７において、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。ＤＰ外側カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもよいし、ステレオカメラであってもよい。ＤＰ外側カメラ６１の画角は、画像表示部２０を装着した使用者Ｕが右導光板２６及び左導光板２８を透過して視認する外景の範囲の少なくとも一部を含む。ＤＰ外側カメラ６１は広角カメラであってもよく、画像表示部２０を装着した使用者Ｕが視認する外景の全体を撮像可能なものであってもよい。ＣＣＤは、Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅの略であり、ＣＭＯＳは、Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒの略である。
前部フレーム２７には、ＤＰ外側カメラ６１の動作中に点灯するＬＥＤインジケーター６７が配置される。
前部フレーム２７には、ＤＰ外側カメラ６１の動作中に点灯するＬＥＤインジケーター６７が配置される。
【0023】
前部フレーム２７には、予め設定された測定方向に位置する測定対象物までの距離を検出する距離センサー６４が設けられる。距離センサー６４は、例えば、ＬＥＤやレーザーダイオード等を用いた光反射式距離センサー、赤外線式深度センサー、超音波式の距離センサー、或いは、レーザーレンジスキャナーである。距離センサー６４は、画像検出と音声検出とを組み合わせた距離検出ユニットや、カメラによるステレオ撮像で得られる画像を処理して距離を検出する装置であってもよい。距離センサー６４の測定方向は、例えば、右導光板２６及び左導光板２８を透過して使用者Ｕが視認する外景の方向である。
【0024】
右表示部２２及び左表示部２４は、それぞれ、接続ケーブル４０により接続装置１０に接続される。接続ケーブル４０は、オーディオコネクター３６を備える。オーディオコネクター３６には、ステレオヘッドホンを構成する右イヤホン３２及び左イヤホン３４と、マイク６２とを有するヘッドセット３０が接続される。右イヤホン３２及び左イヤホン３４は、接続装置１０が出力する音声信号に基づき音声を出力する。マイク６２は、音声を集音して音声信号を接続装置１０に出力する。
【0025】
２．画像表示部の光学系の構成
図２は、画像表示部２０の光学系の構成を示す要部平面図である。図２には説明のため使用者Ｕの左眼ＬＥ及び右眼ＲＥを図示する。
右表示部２２と左表示部２４とは、例えば、左右対称に構成される。
右眼ＲＥに画像を視認させる構成として、右表示部２２は、画像光を発するＯＬＥＤユニット２２１、及び、ＯＬＥＤユニット２２１が発する画像光Ｌを右導光板２６に導く右光学系２５１を備える。ＯＬＥＤはＯｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅの略である。
図２は、画像表示部２０の光学系の構成を示す要部平面図である。図２には説明のため使用者Ｕの左眼ＬＥ及び右眼ＲＥを図示する。
右表示部２２と左表示部２４とは、例えば、左右対称に構成される。
右眼ＲＥに画像を視認させる構成として、右表示部２２は、画像光を発するＯＬＥＤユニット２２１、及び、ＯＬＥＤユニット２２１が発する画像光Ｌを右導光板２６に導く右光学系２５１を備える。ＯＬＥＤはＯｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅの略である。
【0026】
ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、例えばＲ、Ｇ、Ｂの色光をそれぞれ発する発光素子を配置した自発光型の表示パネルである。ＯＬＥＤ駆動回路２２５は、ＤＰ制御部１２０の制御に従ってＯＬＥＤパネル２２３を駆動する。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３の裏面に固定される不図示の基板に実装され、この基板に、図３に示す温度センサー２１７が実装される。
【0027】
右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌをコリメートレンズによって並行状態の光束にし、右導光板２６に入射させる。右導光板２６の内部において画像光Ｌは複数の反射面で反射し、右眼ＲＥの眼前に位置するハーフミラー２６１で反射して、右眼ＲＥに向けて右導光板２６から射出される。
【0028】
左眼ＬＥに画像を視認させる構成として、右表示部２２は、画像光を発するＯＬＥＤユニット２４１、及び、ＯＬＥＤユニット２４１が発する画像光Ｌを左導光板２８に導く左光学系２５２を備える。
【0029】
ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５とを有する。ＯＬＥＤパネル２４３は、例えばＲ、Ｇ、Ｂの色光をそれぞれ発する発光素子を配置した自発光型の表示パネルである。ＯＬＥＤ駆動回路２４５は、ＤＰ制御部１２０の制御に従ってＯＬＥＤパネル２４３を駆動する。ＯＬＥＤ駆動回路２４５は、例えばＯＬＥＤパネル２４３の裏面に固定される不図示の基板に実装され、この基板には図３に示す温度センサー２３９が実装される。
【0030】
左光学系２５２は、ＯＬＥＤパネル２４３から射出された画像光Ｌをコリメートレンズによって並行状態の光束にし、左導光板２８に入射させる。左導光板２８の内部において画像光Ｌは複数の反射面で反射し、左眼ＬＥの眼前に位置するハーフミラー２６１で反射して、左眼ＬＥに向けて左導光板２８から射出される。
【0031】
ＨＭＤ１００は、透過型の表示装置として機能する。すなわち、使用者Ｕの右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと右導光板２６を透過した外光ＯＬとが入射する。左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、ハーフミラー２８１を透過した外光ＯＬとが入射する。ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者Ｕの眼に入射させる。このため、使用者Ｕには、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。ハーフミラー２６１、２８１は、右表示部２２及び左表示部２４がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部を構成する。
【0032】
３．ＨＭＤの制御系
図３は、表示システム１のブロック図であり、特に、ＨＭＤ１００の構成を詳細に示す。
画像表示部２０において、右表示部２２は、右表示部基板２１０を有する。右表示部基板２１０には、接続ケーブル４０に接続される右Ｉ／Ｆ部２１１、右Ｉ／Ｆ部２１１を介して接続装置１０から入力されるデータを受信する受信部２１３、及び、ＥＥＰＲＯＭ２１５が実装される。右Ｉ／Ｆ部２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー２１７、ＤＰ外側カメラ６１、距離センサー６４、ＤＰ照度センサー６５、及びＬＥＤインジケーター６７を、接続装置１０に接続する。受信部２１３は、ＯＬＥＤユニット２２１を接続装置１０に接続する。
図３は、表示システム１のブロック図であり、特に、ＨＭＤ１００の構成を詳細に示す。
画像表示部２０において、右表示部２２は、右表示部基板２１０を有する。右表示部基板２１０には、接続ケーブル４０に接続される右Ｉ／Ｆ部２１１、右Ｉ／Ｆ部２１１を介して接続装置１０から入力されるデータを受信する受信部２１３、及び、ＥＥＰＲＯＭ２１５が実装される。右Ｉ／Ｆ部２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー２１７、ＤＰ外側カメラ６１、距離センサー６４、ＤＰ照度センサー６５、及びＬＥＤインジケーター６７を、接続装置１０に接続する。受信部２１３は、ＯＬＥＤユニット２２１を接続装置１０に接続する。
【0033】
左表示部２４は、左表示部基板２３０を有する。左表示部基板２３０には、接続ケーブル４０に接続される左Ｉ／Ｆ部２３１、及び、左Ｉ／Ｆ部２３１を介して接続装置１０から入力されるデータを受信する受信部２３３が実装される。左表示部基板２３０には、ＤＰ６軸センサー２３５及びＤＰ地磁気センサー２３７が実装される。
左Ｉ／Ｆ部２３１は、受信部２３３、ＤＰ６軸センサー２３５、ＤＰ地磁気センサー２３７及び温度センサー２３９を、接続装置１０に接続する。受信部２３３は、ＯＬＥＤユニット２４１を接続装置１０に接続する。また、左Ｉ／Ｆ部２３１は、右Ｉ／Ｆ部２１１と同等の機能させることも可能であり、つまり、左Ｉ／Ｆ部２３１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー２１７、ＤＰ外側カメラ６１、距離センサー６４、ＤＰ照度センサー６５及びＬＥＤインジケーター６７を、接続装置１０に接続する。この場合、右Ｉ／Ｆ部２１１は、受信部２３３、ＤＰ６軸センサー２３５、ＤＰ地磁気センサー２３７及び温度センサー２３９を、接続装置１０に接続する。この他にも、左Ｉ／Ｆ部２３１は、右Ｉ／Ｆ部２１１が接続装置１０に接続しているセンサー及び構成を、右Ｉ／Ｆ部２１１の代わりに接続装置１０に接続することも可能である。
左Ｉ／Ｆ部２３１は、受信部２３３、ＤＰ６軸センサー２３５、ＤＰ地磁気センサー２３７及び温度センサー２３９を、接続装置１０に接続する。受信部２３３は、ＯＬＥＤユニット２４１を接続装置１０に接続する。また、左Ｉ／Ｆ部２３１は、右Ｉ／Ｆ部２１１と同等の機能させることも可能であり、つまり、左Ｉ／Ｆ部２３１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー２１７、ＤＰ外側カメラ６１、距離センサー６４、ＤＰ照度センサー６５及びＬＥＤインジケーター６７を、接続装置１０に接続する。この場合、右Ｉ／Ｆ部２１１は、受信部２３３、ＤＰ６軸センサー２３５、ＤＰ地磁気センサー２３７及び温度センサー２３９を、接続装置１０に接続する。この他にも、左Ｉ／Ｆ部２３１は、右Ｉ／Ｆ部２１１が接続装置１０に接続しているセンサー及び構成を、右Ｉ／Ｆ部２１１の代わりに接続装置１０に接続することも可能である。
【0034】
ＥＥＰＲＯＭはＥｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙの略記である。また、受信部２１３及び受信部２３３の各々を、Ｒｘ２１３、Ｒｘ２３３と記載する場合がある。
【0035】
ＥＥＰＲＯＭ２１５は、各種のデータを不揮発的に記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示部２２又は左表示部２４が備えるセンサーの特性に関するデータなどを記憶する。具体的には、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー２１７、２３９の検出値を補償するデータ等をＤＰ制御部１２０により読取り可能に記憶する。
【0036】
ＤＰ外側カメラ６１は、右Ｉ／Ｆ部２１１を介して入力される信号に従って撮像を実行し、撮像画像を、右Ｉ／Ｆ部２１１に出力する。ＤＰ照度センサー６５は、外光を受光し、受光量又は受光強度に対応した検出値を出力する。ＬＥＤインジケーター６７は、右Ｉ／Ｆ部２１１を介して入力される制御信号又は駆動電流に従って点灯する。
温度センサー２１７は、ＯＬＥＤユニット２２１の温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。
温度センサー２１７は、ＯＬＥＤユニット２２１の温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。
【0037】
距離センサー６４は、距離を検出した検出結果を示す信号を、右Ｉ／Ｆ部２１１を介して接続装置１０に出力する。
【0038】
受信部２１３は、右Ｉ／Ｆ部２１１を介して接続装置１０から伝送される表示用の画像データを受信し、ＯＬＥＤユニット２２１に出力する。ＯＬＥＤユニット２２１は、接続装置１０が伝送する画像データに基づく映像を表示する。
受信部２３３は、左Ｉ／Ｆ部２３１を介して接続装置１０から伝送される表示用の画像データを受信し、ＯＬＥＤユニット２４１に出力する。ＯＬＥＤユニット２２１、２４１は、接続装置１０が伝送する画像データに基づく画像を表示する。
受信部２３３は、左Ｉ／Ｆ部２３１を介して接続装置１０から伝送される表示用の画像データを受信し、ＯＬＥＤユニット２４１に出力する。ＯＬＥＤユニット２２１、２４１は、接続装置１０が伝送する画像データに基づく画像を表示する。
【0039】
ＤＰ６軸センサー２３５は、３軸加速度センサー、及び、３軸ジャイロセンサーを備えるモーションセンサーである。ＤＰ地磁気センサー２３７は、例えば、３軸の地磁気センサーである。ＤＰ６軸センサー２３５及びＤＰ地磁気センサー２３７は、上記の各センサーがモジュール化されたＩＭＵであってもよく、ＤＰ６軸センサー２３５及びＤＰ地磁気センサー２３７を一体化したモジュールであってもよい。ＩＭＵは、Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔの略記である。温度センサー２３９は、ＯＬＥＤユニット２４１の温度を検出する。ＤＰ６軸センサー２３５、ＤＰ地磁気センサー２３７、及び温度センサー２３９は、それぞれ、検出値を接続装置１０に出力する。
【0040】
画像表示部２０の各部は、接続ケーブル４０により接続装置１０から供給される電力により動作する。画像表示部２０は、右表示部２２に電源部２２９を備え、左表示部２４に電源部２４９を備える。電源部２２９は、接続装置１０が接続ケーブル４０を介して供給する電力を、右表示部基板２１０を含む右表示部２２の各部に分配し、供給する。電源部２４９は、接続装置１０が接続ケーブル４０を介して供給する電力を、左表示部基板２３０を含む左表示部２４の各部に分配し、供給する。電源部２２９、２４９は、電圧を変換する変換回路等を備えてもよい。電源部２２９、２４９は、電源制御部１２６と共に電力供給部に相当する。
【0041】
接続装置１０は、Ｉ／Ｆ部１１０、ＤＰ制御部１２０、センサー制御部１２２、表示制御部１２４、電源制御部１２６、不揮発性記憶部１３０、操作部１４０、接続部１４５及び音声処理部１４７を備える。
【0042】
Ｉ／Ｆ部１１０は、コネクター１１Ｄ、及び各種通信規格に準拠した通信プロトコルを実行するインターフェイス回路を備える。Ｉ／Ｆ部１１０は、例えば、コネクター１１Ｄ及びインターフェイス回路を実装したインターフェイス基板である。Ｉ／Ｆ部１１０は、外部の記憶装置や記憶媒体を接続可能なメモリーカード用インターフェイス等を備えてもよいし、Ｉ／Ｆ部１１０を無線通信インターフェイスで構成してもよい。
【0043】
ＤＰ制御部１２０は、制御部に相当する。ＤＰ制御部１２０は、ＣＰＵやマイコン等のプロセッサーを備え、このプロセッサーがプログラムを実行することにより、接続装置１０の各部を制御する。ＤＰ制御部１２０は、プロセッサーのワークエリアを構成するＲＡＭを備えてもよい。ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙを省略した表記である。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔを省略した表記である。
【0044】
ＤＰ制御部１２０には、不揮発性記憶部１３０、操作部１４０、接続部１４５、及び音声処理部１４７が接続される。不揮発性記憶部１３０は、ＤＰ制御部１２０が実行するプログラムやデータを不揮発的に記憶するＲＯＭである。ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略記である。不揮発性記憶部１３０は、デバイスドライバーを記憶する。
【0045】
ＤＰ制御部１２０は、予め設定された設定時間ごとにＨＭＤ１００が備えるデバイスの異常を検出する異常検出処理を実行する。異常検出処理の対象となるデバイスには、例えば、ＤＰ照度センサー６５、温度センサー２１７、２３９、距離センサー６４、ＤＰ６軸センサー２３５、ＤＰ地磁気センサー２３９等のセンサーや、ＤＰ外側カメラ６１、音声処理部１４７等が含まれる。
【0046】
ＤＰ制御部１２０は、デバイスを駆動するドライバーにアクセス可能であるか否か、及び、ドライバーの状態を示す値が書き込まれるレジスターに、異常を示す値が書き込まれているか否かを判定して異常検出処理を実行する。
また、ＤＰ制御部１２０は、異常検出処理の対象となるデバイスがセンサーである場合、センサーから入力されるセンサー値が異常値を示しているか否かを判定してデバイスの異常を検出する。
また、ＤＰ制御部１２０は、異常検出処理の対象となるデバイスがセンサーである場合、センサーから入力されるセンサー値が異常値を示しているか否かを判定してデバイスの異常を検出する。
【0047】
ＤＰ制御部１２０は、異常が検出された場合、異常が検出されたデバイスのドライバーを再起動させる。例えば、ＤＰ制御部１２０は、ＯＬＥＤユニット２２１、２４１を駆動するディスプレイドライバーの異常が検出された場合、ディスプレイドライバーを再起動させる。
また、ＤＰ制御部１２０は、ＤＰ照度センサー６５、距離センサー６４、ＤＰ６軸センサー２３５、ＤＰ地磁気センサー２３９等のセンサーの異常が検出された場合、異常を検出したセンサーを駆動するデバイスドライバーを、まず、再起動させる。その後、ＤＰ制御部１２０は、ディスプレイドライバーを再起動させる。
ディスプレイドライバーの再起動に要する時間は、例えば、２秒である。また、デバイスドライバーを再起動させた後に、ディスプレイドライバーを再起動させた場合、再起動に要する時間は、例えば、４秒である。４秒は第１時間に相当し、２秒は第２時間に相当する。
また、ＤＰ制御部１２０は、ＤＰ照度センサー６５、距離センサー６４、ＤＰ６軸センサー２３５、ＤＰ地磁気センサー２３９等のセンサーの異常が検出された場合、異常を検出したセンサーを駆動するデバイスドライバーを、まず、再起動させる。その後、ＤＰ制御部１２０は、ディスプレイドライバーを再起動させる。
ディスプレイドライバーの再起動に要する時間は、例えば、２秒である。また、デバイスドライバーを再起動させた後に、ディスプレイドライバーを再起動させた場合、再起動に要する時間は、例えば、４秒である。４秒は第１時間に相当し、２秒は第２時間に相当する。
【0048】
センサー制御部１２２は、画像表示部２０が備えるセンサー群を動作させる。センサー群には、ＤＰ外側カメラ６１、距離センサー６４、ＤＰ照度センサー６５、温度センサー２１７、ＤＰ６軸センサー２３５、ＤＰ地磁気センサー２３７及び温度センサー２３９が含まれる。センサー制御部１２２は、ＤＰ制御部１２０の制御に従って各センサーのサンプリング周期の設定及び初期化を行い、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。
【0049】
センサー制御部１２２は、各センサーの検出値や検出結果を示すセンサーデータを、予め設定されたタイミングで、Ｉ／Ｆ部１１０に出力する。センサー制御部１２２は、アナログ信号をデジタルデータに変換するＡ／Ｄコンバーターを備えてもよい。この場合、センサー制御部１２２は、画像表示部２０のセンサーから取得した検出値や検出結果のアナログ信号をセンサーデータに変換して出力する。センサー制御部１２２は、画像表示部２０のセンサーから検出値や検出結果のデジタルデータを取得し、データフォーマットの変換や出力タイミングの調整等を行って、センサーデータをＩ／Ｆ部１１０に出力してもよい。
【0050】
センサー制御部１２２の動作により、Ｉ／Ｆ部１１０に接続された制御装置３００は、ＨＭＤ１００の各センサーの検出値や、ＤＰ外側カメラ６１の撮像画像を取得できる。
【0051】
センサー制御部１２２は、上述した各センサーの検出値をもとに演算処理した結果を、センサーデータとして出力してもよい。例えば、センサー制御部１２２は、複数のセンサーの検出値や検出結果を統合的に処理し、いわゆるセンサーフュージョン処理部として機能してもよい。この場合、センサー制御部１２２は、センサーフュージョンによって、画像表示部２０の各センサーに含まれない仮想のセンサーのセンサーデータを生成してもよい。例えば、センサー制御部１２２は、画像表示部２０が移動した軌跡を示す軌跡データ、画像表示部２０の３次元空間における位置を示す座標データ、画像表示部２０の方向を示す方向データを、センサーデータとして出力してもよい。ここで、座標データは、接続装置１０の位置を基準とする相対座標を示すデータであってもよいし、画像表示部２０が存在する空間に設定された基準位置に対する位置を示すデータであってもよい。方向データは、接続装置１０の位置や方向を基準とする方向を示すデータであってもよいし、画像表示部２０が存在する空間に設定された基準位置に対する方向を示すデータであってもよい。
センサー制御部１２２は、コネクター１１ＤにＵＳＢケーブル４６により接続された装置との間で通信プロトコルを実行し、センサーデータを出力する。
センサー制御部１２２は、コネクター１１ＤにＵＳＢケーブル４６により接続された装置との間で通信プロトコルを実行し、センサーデータを出力する。
【0052】
表示制御部１２４は、Ｉ／Ｆ部１１０に入力される再生信号に含まれる画像データ、或いは表示データに基づき、画像表示部２０に画像を表示させるための各種処理を実行する。本実施形態では、ＵＳＢ－ＴｙｐｅＣコネクターで構成されるコネクター１１Ｄを通じて、ＵＳＢ－ＴｙｐｅＣの代替モードで画像データが伝送される。表示制御部１２４は、例えば、フレームの切り出し、解像度変換、スケーリング、中間フレーム生成、フレームレート変換等の各種処理を実行する。表示制御部１２４は、ＯＬＥＤユニット２２１、２４１に対応する画像データを接続部１４５に出力する。接続部１４５に入力された画像データは、コネクター１１Ａから、画像データ２０１として右Ｉ／Ｆ部２１１及び左Ｉ／Ｆ部２３１に伝送される。表示制御部１２４は、Ｉ／Ｆ部１１０に入力される表示制御データに従って、画像表示部２０の表示状態を調整し、また、変更する。
【0053】
センサー制御部１２２と表示制御部１２４との少なくとも一方は、プロセッサーがプログラムを実行することにより、ソフトウェアとハードウェアとの協働により実現されてもよい。すなわち、センサー制御部１２２及び表示制御部１２４は、プロセッサーにより構成され、プログラムを実行することで上記の動作を実行する。この例で、センサー制御部１２２及び表示制御部１２４は、ＤＰ制御部１２０を構成するプロセッサーがプログラムを実行することで実現されてもよい。言い換えれば、プロセッサーがプログラムを実行することで、ＤＰ制御部１２０、表示制御部１２４、及びセンサー制御部１２２として機能してもよい。ここで、プロセッサーは、コンピューターと言い換えることができる。センサー制御部１２２及び表示制御部１２４は、データ処理を行うためのワークメモリーを具備してもよく、ＤＰ制御部１２０のメモリーを利用して処理を行ってもよい。
【0054】
表示制御部１２４、及び、センサー制御部１２２は、ＤＳＰやＦＰＧＡ等、プログラムされたハードウェアにより構成されてもよい。センサー制御部１２２及び表示制御部１２４を統合して、ＳｏＣ－ＦＰＧＡとして構成してもよい。ＤＳＰは、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒを略して表記したものである。ＦＰＧＡは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙを略して表記したものである。ＳｏＣはＳｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐを略して表記したものである。
【0055】
電源制御部１２６は、コネクター１１Ｄに接続され、コネクター１１Ｄから供給される電力に基づき接続装置１０の各部及び画像表示部２０に電源を供給する回路である。
電源制御部１２６は、電源部２２９、２４９と共に電力供給部に相当する。
電源制御部１２６は、電源部２２９、２４９と共に電力供給部に相当する。
【0056】
操作部１４０は、接続装置１０が備えるスイッチ等の操作を検出し、操作内容を示すデータをＤＰ制御部１２０に出力する。
【0057】
音声処理部１４７は、ＤＰ制御部１２０から入力される音声データに従って、音声信号を生成する。この音声データには、制御装置３００から入力される再生信号に含まれる音声データも含まれる。また、音声処理部１４７は、アンプを備え、生成した音声信号を増幅して接続部１４５に出力する。この音声信号は接続部１４５からオーディオコネクター３６を介して右イヤホン３２及び左イヤホン３４に出力される。音声処理部１４７は、マイク６２が集音した音声の音声データを生成し、ＤＰ制御部１２０に出力する。音声処理部１４７が出力する音声データは、画像表示部２０が備えるセンサーのセンサーデータと同様に、センサー制御部１２２により処理されてもよい。
【0058】
４．制御装置の構成
図４は、制御装置３００のブロック図である。
制御装置３００は、ＧＮＳＳ３１１、ＣＯカメラ３１２、ＣＯ６軸センサー３１３、ＣＯ磁気センサー３１４、ＣＯ照度センサー３１５、音声出力部３１６、ＣＯ表示部３２１、バッテリー３２５、通信部３２７、Ｉ／Ｆ部３２９及びＣＯ制御部３３０を備える。
図４は、制御装置３００のブロック図である。
制御装置３００は、ＧＮＳＳ３１１、ＣＯカメラ３１２、ＣＯ６軸センサー３１３、ＣＯ磁気センサー３１４、ＣＯ照度センサー３１５、音声出力部３１６、ＣＯ表示部３２１、バッテリー３２５、通信部３２７、Ｉ／Ｆ部３２９及びＣＯ制御部３３０を備える。
【0059】
ＣＯ制御部３３０には、ＧＮＳＳ３１１、ＣＯカメラ３１２、ＣＯ６軸センサー３１３、ＣＯ磁気センサー３１４、ＣＯ照度センサー３１５、音声出力部３１６、ＣＯ表示部３２１、バッテリー３２５、通信部３２７及びＩ／Ｆ部３２９が接続される。
【0060】
ＧＮＳＳ３１１は、衛星測位システムを利用して測位を行い、制御装置３００の位置をＣＯ制御部３３０に出力する。ＧＮＳＳは、Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍを省略した表記である。
【0061】
ＣＯカメラ３１２は、制御装置３００の本体に設けられるデジタルカメラであり、例えば、タッチパネル３２３に隣接して配置され、タッチパネル３２３に対向する方向を撮像する。ＣＯカメラ３１２は、ＣＯ制御部３３０の制御に従って撮像を実行し、撮像画像をＣＯ制御部３３０に出力する。
【0062】
ＣＯ６軸センサー３１３は、３軸加速度センサー及び３軸ジャイロセンサーを備えるモーションセンサーであり、検出値を示すセンサーデータをＣＯ制御部３３０に出力する。ＣＯ磁気センサー３１４は、例えば、３軸の地磁気センサーであり、検出値を示すセンサーデータをＣＯ制御部３３０に出力する。ＣＯ６軸センサー３１３及びＣＯ磁気センサー３１４は、上記の各センサーがモジュール化されたＩＭＵであってもよく、ＣＯ６軸センサー３１３及びＣＯ磁気センサー３１４を一体化したモジュールであってもよい。
ＣＯ照度センサー３１５は、外光を受光し、受光量又は受光強度に対応する検出値を示すセンサーデータをＣＯ制御部３３０に出力する。
ＣＯ照度センサー３１５は、外光を受光し、受光量又は受光強度に対応する検出値を示すセンサーデータをＣＯ制御部３３０に出力する。
【0063】
音声出力部３１６は、スピーカーを備え、ＣＯ制御部３３０の制御に従ってスピーカーから音声を出力する。音声出力部３１６は、ＣＯ制御部３３０が出力する音声信号を増幅してスピーカーに出力するアンプを備えてもよい。ＣＯ制御部３３０がデジタル音声データを出力する構成である場合、音声出力部３１６は、デジタル音声データをアナログ音声信号に変換するＤ／Ａコンバーターを備えてもよい。
【0064】
ＣＯ表示部３２１は、タッチパネル３２３を有し、ＣＯ制御部３３０の制御に従ってタッチパネル３２３に文字や画像を表示させる。
【0065】
バッテリー３２５は、制御装置３００の本体に内蔵される二次電池であり、制御装置３００の各部に電力を供給すると共に、接続されたＨＭＤ１００に電力を供給する。
ＣＯ制御部３３０は、Ｉ／Ｆ部３２９にＨＭＤ１００が接続されると、ＨＭＤ１００とのネゴシエーションを行い、ＨＭＤ１００に供給する電力を決定する。ネゴシエーションとは、例えば、電力ロールの設定、授受する電力量の設定などを行う処理である。電力ロールとは、電力を供給する供給源として機能する電力ソース、又は電力ソースから電力を受電する電力シンクである。
ＣＯ制御部３３０は、ネゴシエーションにより決定した電力を、Ｉ／Ｆ部３２９を介してＨＭＤ１００に供給させる。
バッテリー３２５及びＣＯ制御部３３０は、第１供給部に相当する。
ＣＯ制御部３３０は、Ｉ／Ｆ部３２９にＨＭＤ１００が接続されると、ＨＭＤ１００とのネゴシエーションを行い、ＨＭＤ１００に供給する電力を決定する。ネゴシエーションとは、例えば、電力ロールの設定、授受する電力量の設定などを行う処理である。電力ロールとは、電力を供給する供給源として機能する電力ソース、又は電力ソースから電力を受電する電力シンクである。
ＣＯ制御部３３０は、ネゴシエーションにより決定した電力を、Ｉ／Ｆ部３２９を介してＨＭＤ１００に供給させる。
バッテリー３２５及びＣＯ制御部３３０は、第１供給部に相当する。
【0066】
通信部３２７は、ＢｌｕｅｔｏｏｔｈやＷｉ－Ｆｉ等の無線通信プロトコルに対応し、表示システム１の外部の装置と無線通信を実行する。Ｂｌｕｅｔｏｏｔｈ及びＷｉ－Ｆｉは登録商標である。通信部３２７は、ＬＴＥや第５世代移動体通信システム等の移動体通信ネットワークを利用して、モバイルデータ通信を実行する構成であってもよい。ＬＴＥは登録商標である。
【0067】
Ｉ／Ｆ部３２９は、データ通信ケーブルが接続される不図示のコネクター、及び、コネクターにより各種通信規格に準拠した通信プロトコルを実行するインターフェイス回路を備える。例えば、Ｉ／Ｆ部３２９は、ＵＳＢ規格に準拠したコネクター及びインターフェイス回路を備え、ＵＳＢケーブル４６を通じてデータを送受信し、また、ＨＭＤ１００に電力を供給する。
【0068】
ＣＯ制御部３３０は、メモリー３４０及びプロセッサー３５０を備えるコンピューター装置である。メモリー３４０は、ＲＡＭ及びＲＯＭを備える。ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙを省略した表記である。ＲＡＭは、プロセッサー３５０のワークエリアを形成する。ＲＯＭは、プロセッサー３５０が実行するプログラムや、プロセッサー３５０により処理される各種データを不揮発的に記憶する。
【0069】
ＲＯＭは、プロセッサー３５０が実行する基本制御プログラムとしてのＯＳ３４１、ＡＰＰ３４２、対象物画像３４３、参照画像８０、視認回数テーブル３４４及び設定情報３４５を不揮発的に記憶する。ＯＳは、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍを省略した表記である。ＡＰＰは、Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍを省略した表記である。ＡＰＰ３４２には、制御装置３００が画像表示部２０により表示させる画像を制御するＡＰＰが含まれる。
【0070】
対象物画像３４３は、予め設定された対象物７０の画像であり、外側カメラ６１の撮像画像から対象物７０を特定するときに使用される。
参照画像８０は、画像表示部２０により表示領域５５に表示させる画像であり、画像表示部２０を頭部に装着した使用者Ｕに視認させる画像である。表示領域５５は、画像表示部２０が画像を表示可能な領域である。
視認回数テーブル３４４は、画像表示部２０によって表示された参照画像８０を使用者Ｕが視認する視認回数を計数するテーブルである。視認回数テーブル３４４は、計数テーブルに相当する。
設定情報３４５には、制御装置３００の動作設定の情報が含まれる。動作設定には、画像表示部２０に表示させる参照画像８０の表示位置に関する設定等が含まれる。
参照画像８０は、画像表示部２０により表示領域５５に表示させる画像であり、画像表示部２０を頭部に装着した使用者Ｕに視認させる画像である。表示領域５５は、画像表示部２０が画像を表示可能な領域である。
視認回数テーブル３４４は、画像表示部２０によって表示された参照画像８０を使用者Ｕが視認する視認回数を計数するテーブルである。視認回数テーブル３４４は、計数テーブルに相当する。
設定情報３４５には、制御装置３００の動作設定の情報が含まれる。動作設定には、画像表示部２０に表示させる参照画像８０の表示位置に関する設定等が含まれる。
【0071】
プロセッサー３５０は、ＣＰＵやＭＰＵ等のプロセッサーを備える演算処理装置である。プロセッサー３５０は、単一のプロセッサーにより構成してもよいし、複数のプロセッサーにより構成することも可能である。また、プロセッサー３５０は、メモリー３４０の一部又は全部や、その他の回路と統合されたＳｏＣにより構成してもよい。また、プロセッサー３５０は、プログラムを実行するＣＰＵと、所定の演算処理を実行するＤＳＰとの組合せにより構成してもよい。さらに、プロセッサー３５０の機能の全てをハードウェアに実装した構成としてもよく、プログラマブルデバイスを用いて構成してもよい。ＭＰＵは、Ｍｉｃｒｏ－Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔを省略した表記である。ＤＳＰはＤｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒを省略した表記である。
【0072】
ＣＯ制御部３３０は、第１検出部３５１、第２検出部３５２、第３検出部３５３、表示制御部３５４、判定部３５５及び設定部３５６を機能的構成として備える。
これらの機能的構成は、プロセッサー３５０がＯＳ３４１やＡＰＰ３４２等の制御プログラムを実行して演算を行うことで実現される機能である。
これらの機能的構成は、プロセッサー３５０がＯＳ３４１やＡＰＰ３４２等の制御プログラムを実行して演算を行うことで実現される機能である。
【0073】
第１検出部３５１は、使用者Ｕの視線の方向を検出する。
第１検出部３５１は、メモリー３４０から内側カメラ６３の撮像画像を取得する。
第１検出部３５１は、取得した内側カメラ６３の撮像画像を解析して使用者Ｕの視線方向を検出する。具体的には、第１検出部３５１は、内側カメラ６３の撮像画像から右眼ＲＥ及び左眼ＬＥの眼球表面における反射光や瞳孔の画像を検出して使用者Ｕの視線方向を特定する。また、第１検出部３５１は、右眼ＲＥ及び左眼ＬＥのそれぞれの眼球運動を検出することで、使用者Ｕの視線方向の変化を求めてもよい。第１検出部３５１は、検出した視線方向を示す情報を判定部３５５に出力する。また、第１検出部３５１は、内側カメラ６３の撮像画像から検出した右眼ＲＥ及び左眼ＬＥの瞳孔の位置に基づいて視線の中心を設定してもよい。
第１検出部３５１は、メモリー３４０から内側カメラ６３の撮像画像を取得する。
第１検出部３５１は、取得した内側カメラ６３の撮像画像を解析して使用者Ｕの視線方向を検出する。具体的には、第１検出部３５１は、内側カメラ６３の撮像画像から右眼ＲＥ及び左眼ＬＥの眼球表面における反射光や瞳孔の画像を検出して使用者Ｕの視線方向を特定する。また、第１検出部３５１は、右眼ＲＥ及び左眼ＬＥのそれぞれの眼球運動を検出することで、使用者Ｕの視線方向の変化を求めてもよい。第１検出部３５１は、検出した視線方向を示す情報を判定部３５５に出力する。また、第１検出部３５１は、内側カメラ６３の撮像画像から検出した右眼ＲＥ及び左眼ＬＥの瞳孔の位置に基づいて視線の中心を設定してもよい。
【0074】
第２検出部３５２は、使用者Ｕの頭部の向きを検出する。
第２検出部３５２は、メモリー３４０からＤＰ６軸センサー２３５及びＤＰ地磁気センサー２３７のセンシング結果を示すセンサーデータを取得する。
第２検出部３５２は、取得したＤＰ地磁気センサー２３７のセンサーデータに基づき、使用者Ｕの頭部が向く方向である方位角を検出する。また、第２検出部３５２は、ＤＰ６軸センサー２３５に含まれるジャイロセンサーのセンサーデータに基づき、頭部のＹ軸周りの回転角であるロール角や、Ｘ軸周りの回転角であるピッチ角を検出する。第２検出部３５２は、検出した方位角や、ピッチ角、ロール角の情報を判定部３５５に出力する。
第２検出部３５２は、メモリー３４０からＤＰ６軸センサー２３５及びＤＰ地磁気センサー２３７のセンシング結果を示すセンサーデータを取得する。
第２検出部３５２は、取得したＤＰ地磁気センサー２３７のセンサーデータに基づき、使用者Ｕの頭部が向く方向である方位角を検出する。また、第２検出部３５２は、ＤＰ６軸センサー２３５に含まれるジャイロセンサーのセンサーデータに基づき、頭部のＹ軸周りの回転角であるロール角や、Ｘ軸周りの回転角であるピッチ角を検出する。第２検出部３５２は、検出した方位角や、ピッチ角、ロール角の情報を判定部３５５に出力する。
【0075】
第３検出部３５３は、対象物７０を検出する。
第３検出部３５３は、メモリー３４０から外側カメラ６１の撮像画像を取得する。また、第３検出部３５３は、メモリー３４０から対象物画像３４３を取得する。
第３検出部３５３は、対象物画像３４３に含まれる特徴点と、撮像画像に含まれる特徴点とのパターンマッチングにより、撮像画像に対象物画像３４３が含まれるか否かを判定する。第３検出部３５３は、撮像画像から対象物７０を検出すると、対象物７０を検出したことを通知する検出通知を表示制御部３５４に出力する。
第３検出部３５３は、メモリー３４０から外側カメラ６１の撮像画像を取得する。また、第３検出部３５３は、メモリー３４０から対象物画像３４３を取得する。
第３検出部３５３は、対象物画像３４３に含まれる特徴点と、撮像画像に含まれる特徴点とのパターンマッチングにより、撮像画像に対象物画像３４３が含まれるか否かを判定する。第３検出部３５３は、撮像画像から対象物７０を検出すると、対象物７０を検出したことを通知する検出通知を表示制御部３５４に出力する。
【0076】
表示制御部３５４には、第３検出部３５３から検出通知が入力される。表示制御部３５４は、検出通知が入力されると、距離センサー６４のセンサーデータをメモリー３４０から取得する。表示制御部３５４は、取得したセンサーデータに基づき、ＨＭＤ１００から対象物７０までの距離を算出する。距離センサー６４は、第４検出部に相当する。例えば、表示制御部３５４は、距離センサー６４が検出した距離センサー６４から対象物７０までの距離をそのままＨＭＤ１００から対象物７０までの距離として使用してもよい。また、表示制御部３５４は、距離センサー６４が検出した距離センサー６４から対象物７０までの距離に、所定の値を加算又は減算してＨＭＤ１００から対象物７０までの距離を算出してもよい。
【0077】
次に、表示制御部３５４は、第３検出部３５３が検出した対象物７０に対応づけられた参照画像８０をメモリー３４０から取得し、取得した参照画像８０を画像表示部２０によって表示領域５５に表示させる。
参照画像８０は、使用者Ｕが対象物７０に対して作業を行うときに、使用者Ｕが参照する画像である。参照画像８０には、例えば、作業の手順や注意点等が記載された画像が含まれる。また、参照画像８０には、例えば、使用者Ｕがタッチパネル３２３等の操作デバイスを操作して作業記録を記入可能なドキュメントファイル等の画像が含まれる。
参照画像８０は、使用者Ｕが対象物７０に対して作業を行うときに、使用者Ｕが参照する画像である。参照画像８０には、例えば、作業の手順や注意点等が記載された画像が含まれる。また、参照画像８０には、例えば、使用者Ｕがタッチパネル３２３等の操作デバイスを操作して作業記録を記入可能なドキュメントファイル等の画像が含まれる。
【0078】
図５は、使用者Ｕが視認する視野範囲５０を示す図である。
視野範囲５０には、画像表示部２０が参照画像８０を表示可能な領域である表示領域５５が含まれる。表示領域５５は外景に重畳され、使用者Ｕは、画像表示部２０が表示する参照画像８０と外景とを同時に視認することが可能である。また、表示領域５５は、３次元空間の領域である。図５に示すＸ軸方向は表示領域５５の水平方向に対応し、Ｙ軸方向は表示領域５５の前後方向に対応し、Ｚ軸方向は表示領域５５の鉛直方向に対応する。参照画像８０の前後方向、つまりＹ軸方向における仮想的な表示位置は、右導光板２６に表示する参照画像８０と、左導光板２８に表示する参照画像８０との輻輳角を調整することによって変更が可能となる。
視野範囲５０には、画像表示部２０が参照画像８０を表示可能な領域である表示領域５５が含まれる。表示領域５５は外景に重畳され、使用者Ｕは、画像表示部２０が表示する参照画像８０と外景とを同時に視認することが可能である。また、表示領域５５は、３次元空間の領域である。図５に示すＸ軸方向は表示領域５５の水平方向に対応し、Ｙ軸方向は表示領域５５の前後方向に対応し、Ｚ軸方向は表示領域５５の鉛直方向に対応する。参照画像８０の前後方向、つまりＹ軸方向における仮想的な表示位置は、右導光板２６に表示する参照画像８０と、左導光板２８に表示する参照画像８０との輻輳角を調整することによって変更が可能となる。
【0079】
使用者Ｕは、画像表示部２０を頭部に装着して、作業を行う対象となる対象物７０に近づく。表示制御部３５４は、予め設定された対象物７０を検出すると、この対象物７０に対応づけられた参照画像８０、又は使用者Ｕがタッチパネル３２３を操作して選択した参照画像８０をメモリー３４０から読み出す。表示制御部３５４は、読み出した参照画像８０を画像表示部２０により表示領域５５に表示させる。使用者Ｕには、対象物７０と、画像表示部２０が表示する参照画像８０とを同時に視認可能となる。
【0080】
表示制御部３５４は、距離センサー６４のセンサーデータにより算出したＨＭＤ１００から対象物７０までの距離に基づき、参照画像８０を表示するＹ軸方向の距離を調整する。つまり、表示制御部３５４は、Ｙ軸方向において、ＨＭＤ１００から対象物７０までの距離と、ＨＭＤ１００から参照画像８０までの距離とが同一、又は略同一となるように参照画像８０のＹ軸方向の表示位置を調整する。
【0081】
また、表示領域５５において、参照画像８０を表示するＸ軸及びＺ軸方向の位置は任意であるが、対象物７０の周囲に表示するのが好ましい。例えば、対象物７０の周囲であって、上側、下側、左側及び右側の４方向に表示位置を設定し、さらに各表示位置に優先度を設定してもよい。優先度の設定は、設定情報３４５に含まれる情報である。表示制御部３５４は、参照画像８０が選択されると、優先度の設定に従って参照画像８０を表示する表示位置を決定する。例えば、表示制御部３５４は、最初に選択した参照画像８０を優先度が第１位の表示位置に表示させ、次に選択された参照画像８０を優先度が第２位の表示位置に表示させる。
【0082】
次に、判定部３５５は、使用者Ｕが視認する参照画像８０を判定する。
判定部３５５には、第１検出部３５１が検出した使用者Ｕの視線方向を示す情報と、第２検出部３５２が検出した使用者Ｕの頭部の向きを示す情報とが入力される。
判定部３５５は、入力される使用者Ｕの視線方向と、使用者Ｕの頭部の向きとの少なくとも一方に基づいて、使用者Ｕが参照する参照画像８０を判定する。
例えば、判定部３５５は、使用者Ｕの視線が、予め設定された設定時間以上、参照画像８０に向いている場合に、使用者Ｕは参照画像８０を視認していると判定する。
判定部３５５は、使用者Ｕが視認していると判定した参照画像８０を識別する識別情報を設定部３５６に出力する。
判定部３５５には、第１検出部３５１が検出した使用者Ｕの視線方向を示す情報と、第２検出部３５２が検出した使用者Ｕの頭部の向きを示す情報とが入力される。
判定部３５５は、入力される使用者Ｕの視線方向と、使用者Ｕの頭部の向きとの少なくとも一方に基づいて、使用者Ｕが参照する参照画像８０を判定する。
例えば、判定部３５５は、使用者Ｕの視線が、予め設定された設定時間以上、参照画像８０に向いている場合に、使用者Ｕは参照画像８０を視認していると判定する。
判定部３５５は、使用者Ｕが視認していると判定した参照画像８０を識別する識別情報を設定部３５６に出力する。
【0083】
設定部３５６には、使用者Ｕが視認していると判定された参照画像８０の識別情報が入力される。設定部３５６は、入力される識別情報に基づいて視認回数テーブル３４４を生成する。
視認回数テーブル３４４は、参照画像８０の識別情報と、使用者Ｕの視認回数とを対応づけて登録したテーブルである。視認回数テーブル３４４に識別情報が登録される参照画像８０は、表示制御部３５４の制御によって表示領域５５に表示中の参照画像８０である。設定部３５６は、判定部３５５から参照画像８０の識別情報が入力されると、入力された識別情報に一致する参照画像８０の視認回数を１加算する。
視認回数テーブル３４４の登録情報は、予め設定された単位時間ごとにリセットされる。この単位時間は、使用者Ｕの操作により変更が可能である。
視認回数テーブル３４４は、参照画像８０の識別情報と、使用者Ｕの視認回数とを対応づけて登録したテーブルである。視認回数テーブル３４４に識別情報が登録される参照画像８０は、表示制御部３５４の制御によって表示領域５５に表示中の参照画像８０である。設定部３５６は、判定部３５５から参照画像８０の識別情報が入力されると、入力された識別情報に一致する参照画像８０の視認回数を１加算する。
視認回数テーブル３４４の登録情報は、予め設定された単位時間ごとにリセットされる。この単位時間は、使用者Ｕの操作により変更が可能である。
【0084】
次に、設定部３５６は、視認回数テーブル３４４を参照して第１画像及び第２画像を設定する。
第１画像及び第２画像は、単位時間内での使用者Ｕの視認回数が、予め設定された設定回数以上の参照画像８０である。また、第１画像は、単位時間内での視認回数が最多の参照画像８０である。第２画像は、視認回数が予め設定された設定回数以上の参照画像８０のうち、第１画像に設定された参照画像８０を除く画像である。第１画像に設定される参照画像８０は１つであり、第２画像に設定される参照画像８０は１つ又は複数である。
第１画像及び第２画像は、単位時間内での使用者Ｕの視認回数が、予め設定された設定回数以上の参照画像８０である。また、第１画像は、単位時間内での視認回数が最多の参照画像８０である。第２画像は、視認回数が予め設定された設定回数以上の参照画像８０のうち、第１画像に設定された参照画像８０を除く画像である。第１画像に設定される参照画像８０は１つであり、第２画像に設定される参照画像８０は１つ又は複数である。
【0085】
図５は、表示位置を変更前の参照画像８０を示す図である。図５には、対象物７０の一例として空調装置を示す。また、使用者Ｕから見て対象物７０の右側には参照画像８０の例として参照画像８０Ａが表示され、使用者Ｕから見て対象物７０の左側には参照画像８０の例として参照画像８０Ｂが表示されている。また、使用者Ｕの視認回数に基づき、参照画像８０Ａが第１画像に設定され、参照画像８０Ｂが第２画像に設定されていると仮定する。また、図５には、使用者Ｕが参照画像８０Ａを視認するときの使用者Ｕの視線方向Ｌ１と、使用者Ｕが参照画像８０Ｂを視認するときの使用者Ｕの視線方向Ｌ２とを示す。
【0086】
判定部３５５は、検出された使用者Ｕの頭部の向きや、視線方向に基づいて、使用者Ｕが第１画像である参照画像８０Ａを視認しているか否かを判定する。
判定部３５５は、使用者Ｕが参照画像８０Ａを視認していると判定すると、第２画像である参照画像８０Ｂの表示位置を変更するか否かを判定する。
判定部３５５は、第１画像である参照画像８０Ａと、第２画像である参照画像８０Ｂとの表示位置が、予め設定された変更条件を満たす位置にあるか否かを判定する。
判定部３５５は、予め設定された変更条件を満たす場合に、第２画像である参照画像８０Ｂの表示位置を、第１画像である参照画像８０Ａの表示位置に基づいて変更する。
判定部３５５は、使用者Ｕが参照画像８０Ａを視認していると判定すると、第２画像である参照画像８０Ｂの表示位置を変更するか否かを判定する。
判定部３５５は、第１画像である参照画像８０Ａと、第２画像である参照画像８０Ｂとの表示位置が、予め設定された変更条件を満たす位置にあるか否かを判定する。
判定部３５５は、予め設定された変更条件を満たす場合に、第２画像である参照画像８０Ｂの表示位置を、第１画像である参照画像８０Ａの表示位置に基づいて変更する。
【0087】
変更条件には、以下の条件が含まれる。
変更条件には、例えば、参照画像８０Ａと参照画像８０Ｂとが対象物７０を挟んで左右、又は上下の両側に表示される場合が含まれる。参照画像８０Ａと参照画像８０Ｂとが対象物７０を挟んで左右、又は上下の両側に表示される場合、使用者Ｕの視線の移動距離が大きくなる。このため、判定部３５５は、参照画像８０Ａと参照画像８０Ｂとが対象物７０を挟んで左右、又は上下の両側に表示される場合、第２画像である参照画像８０Ｂの表示位置を変更する。
変更条件には、例えば、参照画像８０Ａと参照画像８０Ｂとが対象物７０を挟んで左右、又は上下の両側に表示される場合が含まれる。参照画像８０Ａと参照画像８０Ｂとが対象物７０を挟んで左右、又は上下の両側に表示される場合、使用者Ｕの視線の移動距離が大きくなる。このため、判定部３５５は、参照画像８０Ａと参照画像８０Ｂとが対象物７０を挟んで左右、又は上下の両側に表示される場合、第２画像である参照画像８０Ｂの表示位置を変更する。
【0088】
また、変更条件には、表示領域５５において、参照画像８０Ａと参照画像８０Ｂとの表示上の距離である表示距離が、予め設定された設定距離よりも大きい場合が含まれる。表示距離は、表示領域５０でのＸ軸方向及びＺ軸方向の距離である。また、参照画像８０Ａと参照画像８０Ｂとの表示距離は、例えば、参照画像８０Ａの中心と、参照画像８０Ｂの中心との距離であってもよいし、参照画像８０Ａと参照画像８０ＢとのＸ軸方向等の予め設定された方向での距離であってもよい。
【0089】
図６は、使用者Ｕの視野範囲５０を示す図であり、表示位置を変更後の参照画像８０Ｂを示す図である。
次に、第２画像である参照画像８０Ｂの変更後の表示位置について説明する。
表示制御部３５４は、参照画像８０Ｂの変更前よりも、変更後の参照画像８０Ｂと参照画像８０Ａとの表示距離が近づくように、参照画像８０Ｂの表示位置を変更する。より詳細には、使用者Ｕが参照画像８０Ａと参照画像８０Ｂとを交互に視認する場合に、使用者Ｕの視線の移動距離が短くなるように参照画像８０Ｂの表示位置を変更する。また、図６には、使用者Ｕが参照画像８０Ａを視認するときの使用者Ｕの視線方向Ｌ３と、使用者Ｕが参照画像８０Ｂを視認するときの使用者Ｕの視線方向Ｌ４とを示す。図５と図６とを比較すると明らかなように、参照画像８０Ｂの表示位置を変更した後の視線の移動距離は、参照画像８０Ｂの表示位置を変更する前の視線の移動距離よりも小さい。
次に、第２画像である参照画像８０Ｂの変更後の表示位置について説明する。
表示制御部３５４は、参照画像８０Ｂの変更前よりも、変更後の参照画像８０Ｂと参照画像８０Ａとの表示距離が近づくように、参照画像８０Ｂの表示位置を変更する。より詳細には、使用者Ｕが参照画像８０Ａと参照画像８０Ｂとを交互に視認する場合に、使用者Ｕの視線の移動距離が短くなるように参照画像８０Ｂの表示位置を変更する。また、図６には、使用者Ｕが参照画像８０Ａを視認するときの使用者Ｕの視線方向Ｌ３と、使用者Ｕが参照画像８０Ｂを視認するときの使用者Ｕの視線方向Ｌ４とを示す。図５と図６とを比較すると明らかなように、参照画像８０Ｂの表示位置を変更した後の視線の移動距離は、参照画像８０Ｂの表示位置を変更する前の視線の移動距離よりも小さい。
【0090】
表示制御部３５４は、参照画像８０Ａと参照画像８０Ｂとが対象物７０を挟んで左右、又は上下の両側に表示される場合、参照画像８０Ｂを、参照画像８０Ａと同じ側に表示させる。つまり、図５に示すように、使用者Ｕから見て参照画像８０Ａが対象物７０の右側に表示され、参照画像８０Ｂが対象物７０の左側に表示されている場合、第２画像である参照画像８０Ｂを、対象物７０の右側に表示させる。
また、使用者Ｕから見て参照画像８０Ａが対象物７０の下側に表示され、参照画像８０Ｂが対象物７０の上側に表示されている場合、第２画像である参照画像８０Ｂを、参照画像８０Ａと同じ対象物７０の下側に表示させる。
また、使用者Ｕから見て参照画像８０Ａが対象物７０の下側に表示され、参照画像８０Ｂが対象物７０の上側に表示されている場合、第２画像である参照画像８０Ｂを、参照画像８０Ａと同じ対象物７０の下側に表示させる。
【0091】
図７及び図８は、使用者Ｕの視野範囲５０を示す図である。特に、図７は、表示位置を変更前の参照画像８０Ｂを示す図であり、図８は、示位置を変更後の参照画像８０Ｂを示す図である。
図７は、使用者Ｕから見て、参照画像８０Ａと参照画像８０Ｂとが対象物７０の同じ側である右側に表示されている場合を示す。表示制御部３５４は、このような場合であっても、参照画像８０Ａと参照画像８０Ｂとの距離が予め設定された距離よりも大きい場合、参照画像８０Ｂの表示位置を、参照画像８０Ａの表示位置を基準として移動させる。図８には、参照画像８０Ｂを、参照画像８０Ａの直上に表示した例を示す。
図７は、使用者Ｕから見て、参照画像８０Ａと参照画像８０Ｂとが対象物７０の同じ側である右側に表示されている場合を示す。表示制御部３５４は、このような場合であっても、参照画像８０Ａと参照画像８０Ｂとの距離が予め設定された距離よりも大きい場合、参照画像８０Ｂの表示位置を、参照画像８０Ａの表示位置を基準として移動させる。図８には、参照画像８０Ｂを、参照画像８０Ａの直上に表示した例を示す。
【0092】
図９～図１１は、使用者Ｕの視野範囲５０を示す図である。特に、図９～図１１は、参照画像８０の例として、参照画像８０Ａ～参照画像８０Ｅの５つを表示領域５５に表示した状態を示す図である。また、図９は、表示位置を変更前の参照画像８０Ａ～参照画像８０Ｅを示す図である。また、図１０～図１１は、表示位置を変更後の参照画像８０Ａ～参照画像８０Ｅを示す図である。
図９に示すように、参照画像８０Ａ～参照画像８０Ｅの５つの参照画像８０が表示領域５５に表示されていると仮定する。判定部３５５は、使用者Ｕの頭部の向きや視線方向に基づいて使用者Ｕが視認する参照画像８０を判定し、設定部３５６は、視認回数テーブルを生成して、単位時間内に使用者Ｕが視認した視認回数を参照画像８０ごとに算出する。設定部３５６は、算出した視認回数に基づき、第１画像と、第２画像とをそれぞれ設定する。図９の表示状態において、参照画像８０Ａが第１画像に設定され、参照画像８０Ｂが第２画像に設定されたと仮定する。また、図９には、使用者Ｕが参照画像８０Ａを視認するときの使用者Ｕの視線方向Ｌ１と、使用者Ｕが参照画像８０Ｂを視認するときの使用者Ｕの視線方向Ｌ２とを示す。
図９に示すように、参照画像８０Ａ～参照画像８０Ｅの５つの参照画像８０が表示領域５５に表示されていると仮定する。判定部３５５は、使用者Ｕの頭部の向きや視線方向に基づいて使用者Ｕが視認する参照画像８０を判定し、設定部３５６は、視認回数テーブルを生成して、単位時間内に使用者Ｕが視認した視認回数を参照画像８０ごとに算出する。設定部３５６は、算出した視認回数に基づき、第１画像と、第２画像とをそれぞれ設定する。図９の表示状態において、参照画像８０Ａが第１画像に設定され、参照画像８０Ｂが第２画像に設定されたと仮定する。また、図９には、使用者Ｕが参照画像８０Ａを視認するときの使用者Ｕの視線方向Ｌ１と、使用者Ｕが参照画像８０Ｂを視認するときの使用者Ｕの視線方向Ｌ２とを示す。
【0093】
図１０は、第２画像に設定された参照画像８０Ｂの変更後の表示位置を示す図である。
表示制御部３５４は、第２画像に設定された参照画像８０Ｂの表示位置を変更する。表示制御部３５４は、対象物７０を挟んで参照画像８０Ａとは反対側に表示された参照画像８０Ｂを、参照画像８０Ａと同じ側に表示させる。表示制御部３５４は、第１画像及び第２画像に設定されていない参照画像８０Ｃの表示位置に、第２画像である参照画像８０Ｂを表示させる。このとき、表示制御部３５４は、第２画像に設定されていない参照画像８０Ｃを、参照画像８０Ｂを表示していた表示位置に表示させる。図１０には、使用者Ｕが参照画像８０Ａを視認するときの使用者Ｕの視線方向Ｌ３と、使用者Ｕが参照画像８０Ｂを視認するときの使用者Ｕの視線方向Ｌ４とを示す。図９と図１０とを比較すると明らかなように、参照画像８０Ｂの表示位置を変更した後の視線の移動距離は、参照画像８０Ｂの表示位置を変更する前の視線の移動距離よりも小さい。
表示制御部３５４は、第２画像に設定された参照画像８０Ｂの表示位置を変更する。表示制御部３５４は、対象物７０を挟んで参照画像８０Ａとは反対側に表示された参照画像８０Ｂを、参照画像８０Ａと同じ側に表示させる。表示制御部３５４は、第１画像及び第２画像に設定されていない参照画像８０Ｃの表示位置に、第２画像である参照画像８０Ｂを表示させる。このとき、表示制御部３５４は、第２画像に設定されていない参照画像８０Ｃを、参照画像８０Ｂを表示していた表示位置に表示させる。図１０には、使用者Ｕが参照画像８０Ａを視認するときの使用者Ｕの視線方向Ｌ３と、使用者Ｕが参照画像８０Ｂを視認するときの使用者Ｕの視線方向Ｌ４とを示す。図９と図１０とを比較すると明らかなように、参照画像８０Ｂの表示位置を変更した後の視線の移動距離は、参照画像８０Ｂの表示位置を変更する前の視線の移動距離よりも小さい。
【0094】
図１１は、第２画像に設定された参照画像８０Ｂの変更後の表示位置を示す図である。
図１０に示す例では、第２画像に設定された参照画像８０Ｂと、第２画像に設定されていない参照画像８０Ｃとの表示位置を変更する例を示した。
図１１に示す例では、表示領域５５のうち、参照画像８０が表示されていない表示位置に、第２画像に設定された参照画像８０Ｂを移動させた例を示す。
表示制御部３５４は、第２画像に設定された参照画像８０Ｂの表示位置を変更する場合に、他の参照画像８０が表示されていない表示領域５５の表示位置を選択し、選択した表示位置に参照画像８０Ｂを表示させる。図１１に示す例では、使用者Ｕから見て第１画像である参照画像８０Ａの右側及び下側に他の参照画像８０が表示されていないため、表示制御部３５４は、この参照画像８０Ａの右側及び下側のいずれかに参照画像８０Ｂを表示させる。
図１０に示す例では、第２画像に設定された参照画像８０Ｂと、第２画像に設定されていない参照画像８０Ｃとの表示位置を変更する例を示した。
図１１に示す例では、表示領域５５のうち、参照画像８０が表示されていない表示位置に、第２画像に設定された参照画像８０Ｂを移動させた例を示す。
表示制御部３５４は、第２画像に設定された参照画像８０Ｂの表示位置を変更する場合に、他の参照画像８０が表示されていない表示領域５５の表示位置を選択し、選択した表示位置に参照画像８０Ｂを表示させる。図１１に示す例では、使用者Ｕから見て第１画像である参照画像８０Ａの右側及び下側に他の参照画像８０が表示されていないため、表示制御部３５４は、この参照画像８０Ａの右側及び下側のいずれかに参照画像８０Ｂを表示させる。
【0095】
また、参照画像８０を表示させる表示位置に優先度を設定してもよい。
表示位置の優先度は、設定情報３４５に含まれる情報であり、使用者Ｕによって事前に設定される。表示位置の優先度は、例えば、第１画像に設定された参照画像８０の上側、下側、左側及び右側の４方向における優先度の設定である。例えば、表示位置の優先度として、使用者Ｕから見て参照画像８０の下側の優先度が第１位に設定され、参照画像８０の左側の優先度が第２位に設定されていると仮定する。また、表示位置の優先度として、参照画像８０の右側が第３位に設定され、参照画像８０の上側の優先度が第４位に設定されていると仮定する。
図９に示す例では、使用者Ｕから見て第１画像である参照画像８０Ａの下側と、右側とに参照画像８０を表示していないスペースがある。表示制御部３５４は、参照画像８０Ａの下側と、参照画像８０Ａの右側とでは、参照画像８０Ａの下側が表示位置の優先度が高く設定されている。このため、表示制御部３５４は、第２画像に設定された参照画像８０Ｂを、第１画像である参照画像８０Ａの下側に表示させる。
表示位置の優先度は、設定情報３４５に含まれる情報であり、使用者Ｕによって事前に設定される。表示位置の優先度は、例えば、第１画像に設定された参照画像８０の上側、下側、左側及び右側の４方向における優先度の設定である。例えば、表示位置の優先度として、使用者Ｕから見て参照画像８０の下側の優先度が第１位に設定され、参照画像８０の左側の優先度が第２位に設定されていると仮定する。また、表示位置の優先度として、参照画像８０の右側が第３位に設定され、参照画像８０の上側の優先度が第４位に設定されていると仮定する。
図９に示す例では、使用者Ｕから見て第１画像である参照画像８０Ａの下側と、右側とに参照画像８０を表示していないスペースがある。表示制御部３５４は、参照画像８０Ａの下側と、参照画像８０Ａの右側とでは、参照画像８０Ａの下側が表示位置の優先度が高く設定されている。このため、表示制御部３５４は、第２画像に設定された参照画像８０Ｂを、第１画像である参照画像８０Ａの下側に表示させる。
【0096】
また、複数の参照画像８０が第２画像に設定された場合、複数の参照画像８０の優先度にも優先度を設定してもよい。表示制御部３５４は、参照画像８０の優先度と、表示位置の優先度とに基づいて、第２画像に設定された複数の参照画像８０の表示位置を変更する。
参照画像８０の優先度は、例えば、第２画像に設定した複数の参照画像８０のうち、視認回数が最も多い参照画像８０の優先度を最も高く設定してもよい。また、第２画像に設定した複数の参照画像８０のうち、使用者Ｕが単位時間内の最後に視認した参照画像８０の優先度を最も高く設定してもよい。
表示制御部３５４は、複数の参照画像８０の表示位置を変更する場合、参照画像８０の優先度と、表示位置の優先度とに基づき、優先度が高く設定された参照画像８０を、表示位置の優先度が高く設定された表示位置に表示させる。
参照画像８０の優先度は、例えば、第２画像に設定した複数の参照画像８０のうち、視認回数が最も多い参照画像８０の優先度を最も高く設定してもよい。また、第２画像に設定した複数の参照画像８０のうち、使用者Ｕが単位時間内の最後に視認した参照画像８０の優先度を最も高く設定してもよい。
表示制御部３５４は、複数の参照画像８０の表示位置を変更する場合、参照画像８０の優先度と、表示位置の優先度とに基づき、優先度が高く設定された参照画像８０を、表示位置の優先度が高く設定された表示位置に表示させる。
【0097】
図１２は、複数の参照画像８０が第２画像に設定された場合の複数の参照画像８０の変更後の表示位置を示す図である。例えば、参照画像８０Ｂと、参照画像８０Ｅとが第２画像に設定されたと仮定する。また、第２画像に設定された参照画像８０Ｂと、参照画像８０Ｅとには、参照画像８０の優先度が設定されており、参照画像８０Ｂの優先度が、参照画像８０Ｅの優先度よりも高く設定されている。さらに、表示位置の優先度も設定されており、第１画像に設定された参照画像８０Ａの上側の優先度が第１位に設定されていると仮定する。
この場合、表示制御部３５４は、第２画像に設定された参照画像８０Ｂ及び８０Ｅの表示位置を、表示位置の優先度が第１位である参照画像８０Ａの上側に変更する。このとき、表示制御部３５４は、参照画像８０Ｂの参照画像８０の優先度が、参照画像８０Ｅの参照画像８０の優先度よりも高いため、参照画像８０Ｂを参照画像８０ＥよりもＹ軸方向の前側に表示させる。また、表示制御部３５４は、参照画像８０Ｅを参照画像８０ＢよりもＹ軸方向の後ろ側に表示する。また、表示制御部３５４は、参照画像８０Ｃを、参照画像８０Ｂ又は参照画像８０Ｅを表示していた表示位置に表示させる。
この場合、表示制御部３５４は、第２画像に設定された参照画像８０Ｂ及び８０Ｅの表示位置を、表示位置の優先度が第１位である参照画像８０Ａの上側に変更する。このとき、表示制御部３５４は、参照画像８０Ｂの参照画像８０の優先度が、参照画像８０Ｅの参照画像８０の優先度よりも高いため、参照画像８０Ｂを参照画像８０ＥよりもＹ軸方向の前側に表示させる。また、表示制御部３５４は、参照画像８０Ｅを参照画像８０ＢよりもＹ軸方向の後ろ側に表示する。また、表示制御部３５４は、参照画像８０Ｃを、参照画像８０Ｂ又は参照画像８０Ｅを表示していた表示位置に表示させる。
【0098】
５．制御装置の動作
図１３は、制御装置３００の動作を示すフローチャートである。
図１３に示すフローチャートを参照しながら制御装置３００の動作を説明する。
まず、ＣＯ制御部３３０は、制御装置３００が接続装置１０に接続され、ＡＰＰ３４２の起動操作を受け付けると、この起動操作を受け付けたＡＰＰ３４２を起動させる（ステップＳ１）。次に、ＣＯ制御部３３０は、ＤＰ外側カメラ６１が撮像した撮像画像をメモリー３４０から取得する（ステップＳ２）。
図１３は、制御装置３００の動作を示すフローチャートである。
図１３に示すフローチャートを参照しながら制御装置３００の動作を説明する。
まず、ＣＯ制御部３３０は、制御装置３００が接続装置１０に接続され、ＡＰＰ３４２の起動操作を受け付けると、この起動操作を受け付けたＡＰＰ３４２を起動させる（ステップＳ１）。次に、ＣＯ制御部３３０は、ＤＰ外側カメラ６１が撮像した撮像画像をメモリー３４０から取得する（ステップＳ２）。
【0099】
ＣＯ制御部３３０は、取得した撮像画像を解析して対象物７０を検出する（ステップＳ３）。ＣＯ制御部３３０は、対象物画像３４３に含まれる特徴点と、撮像画像に含まれる特徴点とのパターンマッチングにより、撮像画像に対象物画像３４３が含まれるか否かを判定して対象物７０を検出する。ＣＯ制御部３３０は、撮像画像から対象物７０を検出することができなかった場合（ステップＳ３／ＮＯ）、ステップＳ２に戻り、メモリー３４０から次の撮像画像を取得する。
【0100】
ＣＯ制御部３３０は、撮像画像から対象物７０を検出した場合（ステップＳ３／ＹＥＳ）、検出した対象物７０までの距離を検出する（ステップＳ４）。ＣＯ制御部３３０は、距離センサー６４の測定結果を示すセンサーデータに基づいてＨＭＤ１００から対象物７０までの距離を検出する。また、ＣＯ制御部３３０は、ＤＰ外側カメラ６１がステレオカメラである場合、このＤＰ外側カメラ６１の撮像画像に基づいて検出してもよい。
【0101】
次に、ＣＯ制御部３３０は、検出した対象物７０までの距離に基づき、複数の参照画像８０を画像表示部２０により表示領域５５に表示させる（ステップＳ５）。ＣＯ制御部３３０は、Ｙ軸方向において、ＨＭＤ１００から対象物７０までの距離と、ＨＭＤ１００から参照画像８０までの距離とが同一、又は略同一となるように参照画像８０のＹ軸方向の表示位置を調整する。
【0102】
次に、ＣＯ制御部３３０は、ＤＰ６軸センサー２３５のセンサーデータに基づいて、使用者Ｕの頭部の向きを検出し、ＤＰ内側カメラ６３の撮像画像を解析して使用者Ｕの視線方向を検出する（ステップＳ６）。
【0103】
次に、ＣＯ制御部３３０は、検出した頭部の向き及び視線方向の少なくとも一方に基づき、使用者Ｕが参照画像８０を視認しているか否かを判定する（ステップＳ７）。ＣＯ制御部３３０は、使用者Ｕが参照画像８０を視認していないと判定すると（ステップＳ７／ＮＯ）、ステップＳ６の処理に戻る。
【0104】
また、ＣＯ制御部３３０は、使用者Ｕが参照画像８０を視認していると判定すると（ステップＳ７／ＹＥＳ）、使用者Ｕの視認回数が設定回数以上の参照画像８０が複数検出されたか否かを判定する（ステップＳ８）。
【0105】
ＣＯ制御部３３０は、視認回数が設定回数以上の参照画像８０を複数検出していない場合（ステップＳ８／ＮＯ）、ステップＳ６の処理に戻る。また、ＣＯ制御部３３０は、視認回数が設定回数以上の参照画像８０を複数検出した場合（ステップＳ８／ＹＥＳ）、これら複数の参照画像８０の中から第１画像と、第２画像とを設定する（ステップＳ９）。
【0106】
ＣＯ制御部３３０は、視認回数が設定回数以上の参照画像８０のうち、視認回数が最多の参照画像８０を第１画像に設定する。また、ＣＯ制御部３３０は、第１画像に設定した参照画像８０以外の参照画像８０を、第２画像に設定する。ＣＯ制御部３３０は、複数の参照画像８０を第２画像に設定した場合、第２画像に設定した各参照画像８０の参照回数に基づき、各参照画像８０に優先度を設定してもよい。
【0107】
次に、ＣＯ制御部３３０は、ステップＳ６と同様に、使用者Ｕの頭部の向きと、使用者Ｕの視線方向とを再度、検出する（ステップＳ１０）。ＣＯ制御部３３０は、検出した使用者Ｕの頭部の向きと、視線方向との少なくとも一方に基づき、使用者Ｕが第１画像に設定した参照画像８０を視認しているか否かを判定する（ステップＳ１１）。
【0108】
ＣＯ制御部３３０は、使用者Ｕが第１画像に設定した参照画像８０を視認していないと判定した場合（ステップＳ１１／ＮＯ）、ステップＳ１０の処理に戻る。
また、ＣＯ制御部３３０は、使用者Ｕが第１画像に設定した参照画像８０を視認していると判定した場合（ステップＳ１１／ＹＥＳ）、第２画像に設定した参照画像８０の表示位置を変更する（ステップＳ１２）。例えば、ＣＯ制御部３３０は、第１画像と第２画像とに設定した参照画像８０の距離が、予め設定された設定距離よりも大きいや、第１画像と第２画像とに設定した参照画像８０が、対象物７０を挟んで上下又は左右の両側に表示されている場合に、第２画像の表示位置を変更する。例えば、使用者Ｕから見て、第１画像と第２画像とに設定した参照画像８０が、対象物７０の左右両側に表示されている場合、第２画像に設定した参照画像８０の表示位置を、第１画像に設定した参照画像８０と同一の側に表示する。
また、ＣＯ制御部３３０は、使用者Ｕが第１画像に設定した参照画像８０を視認していると判定した場合（ステップＳ１１／ＹＥＳ）、第２画像に設定した参照画像８０の表示位置を変更する（ステップＳ１２）。例えば、ＣＯ制御部３３０は、第１画像と第２画像とに設定した参照画像８０の距離が、予め設定された設定距離よりも大きいや、第１画像と第２画像とに設定した参照画像８０が、対象物７０を挟んで上下又は左右の両側に表示されている場合に、第２画像の表示位置を変更する。例えば、使用者Ｕから見て、第１画像と第２画像とに設定した参照画像８０が、対象物７０の左右両側に表示されている場合、第２画像に設定した参照画像８０の表示位置を、第１画像に設定した参照画像８０と同一の側に表示する。
【0109】
その後、ＣＯ制御部３３０は、ステップＳ６と同様に、使用者Ｕの頭部の向きと、使用者Ｕの視線方向とを再度、検出し（ステップＳ１３）、使用者Ｕが参照画像８０を視認しているか否かを判定する（ステップＳ１４）。ＣＯ制御部３３０は、使用者Ｕが参照画像８０を視認していない場合（ステップＳ１４／ＮＯ）、ステップＳ１６の処理に移行する。
【0110】
また、ＣＯ制御部３３０は、使用者Ｕが参照画像８０を視認している場合（ステップＳ１４／ＹＥＳ）、第１画像及び第２画像に設定した参照画像８０の少なくとも一方に変更があるか否かを判定する（ステップＳ１５）。ＣＯ制御部３３０は、第１画像及び第２画像に設定した参照画像８０に変更がない場合（ステップＳ１５／ＮＯ）、外側カメラ６１の撮像画像をメモリー３４０から取得する（ステップＳ１６）。また、ＣＯ制御部３３０は、使用者Ｕが参照画像８０を視認していない場合（ステップＳ１４／ＮＯ）も、外側カメラ６１の撮像画像をメモリー３４０から取得する（ステップＳ１６）。ＣＯ制御部３３０は、取得した撮像画像を解析して、使用者Ｕが視認する対象物７０が変更されたか否かを判定する（ステップＳ１７）。
【0111】
ＣＯ制御部３３０は、使用者Ｕが視認する対象物７０が変更されていない場合（ステップＳ１７／ＮＯ）、ＡＰＰ３４２を終了させる終了操作を受け付けたか否かを判定する（ステップＳ１８）。ＣＯ制御部３３０は、ＡＰＰ３４２の終了操作を受け付けていない場合（ステップＳ１８／ＮＯ）、ステップＳ１３の処理に戻る。また、ＣＯ制御部３３０は、ＡＰＰ３４２の終了操作を受け付けた場合（ステップＳ１８／ＹＥＳ）、この処理フローを終了させる。
【0112】
ＣＯ制御部３３０は、第１画像及び第２画像に設定した参照画像８０の少なくとも一方に変更があると判定すると（ステップＳ１５／ＹＥＳ）、ステップＳ９の処理に移行して第１画像と、第２画像とを再度、設定する。その後、ＣＯ制御部３３０は、ステップＳ１０以降の処理を繰り返す。また、ＣＯ制御部３３０は、使用者Ｕが視認する対象物７０が変更された場合（ステップＳ１７／ＹＥＳ）、ステップＳ４の処理に戻り、対象物７０までの距離を検出する（ステップＳ４）。
【0113】
６．本開示のまとめ
以下、本開示のまとめを付記する。
（付記１）
使用者の頭部に装着され、外景を視認可能に画像を表示する表示部を備える頭部装着型表示装置を制御する制御装置であって、
前記使用者の視線の方向を検出する第１検出部と、
前記使用者の頭部の向きを検出する第２検出部と、
前記使用者の視線と、前記使用者の頭部の向きと、の少なくとも一方に基づき、前記表示部が表示する複数の画像のうち、前記使用者が視認する画像を判定する判定部と、
前記表示部が表示する複数の画像のうち、前記判定部により前記使用者が視認する画像であると判定された判定回数が最も多い画像を第１画像に設定し、
前記判定部により前記使用者が視認する画像と判定された判定回数が前記第１画像の次に多い画像を第２画像に設定する設定部と、
前記第１画像と前記第２画像との表示上の距離である表示距離が、予め設定された設定距離よりも小さくなるように前記第２画像の表示位置を変更する表示制御部と、
を備える、制御装置。
以下、本開示のまとめを付記する。
（付記１）
使用者の頭部に装着され、外景を視認可能に画像を表示する表示部を備える頭部装着型表示装置を制御する制御装置であって、
前記使用者の視線の方向を検出する第１検出部と、
前記使用者の頭部の向きを検出する第２検出部と、
前記使用者の視線と、前記使用者の頭部の向きと、の少なくとも一方に基づき、前記表示部が表示する複数の画像のうち、前記使用者が視認する画像を判定する判定部と、
前記表示部が表示する複数の画像のうち、前記判定部により前記使用者が視認する画像であると判定された判定回数が最も多い画像を第１画像に設定し、
前記判定部により前記使用者が視認する画像と判定された判定回数が前記第１画像の次に多い画像を第２画像に設定する設定部と、
前記第１画像と前記第２画像との表示上の距離である表示距離が、予め設定された設定距離よりも小さくなるように前記第２画像の表示位置を変更する表示制御部と、
を備える、制御装置。
【0114】
この構成によれば、第１画像との表示距離が設定距離よりも小さくなるように第２画像の表示位置が変更される。このため、使用者の視線の移動距離が短くなり、使用者の負担を軽減することができる。
【0115】
（付記２）
前記設定部は、前記使用者が視認する画像であると前記判定部が判定した単位時間当たりの判定回数を、前記複数の画像の各々で計数し、前記単位時間当たりの判定回数が予め設定された設定回数以上であって、前記単位時間当たりの判定回数が最も多い画像を前記第１画像に設定し、
前記単位時間当たりの判定回数が予め設定された設定回数以上であって、前記第１画像に設定した画像以外の画像を前記第２画像に設定する、付記１記載の制御装置。
前記設定部は、前記使用者が視認する画像であると前記判定部が判定した単位時間当たりの判定回数を、前記複数の画像の各々で計数し、前記単位時間当たりの判定回数が予め設定された設定回数以上であって、前記単位時間当たりの判定回数が最も多い画像を前記第１画像に設定し、
前記単位時間当たりの判定回数が予め設定された設定回数以上であって、前記第１画像に設定した画像以外の画像を前記第２画像に設定する、付記１記載の制御装置。
【0116】
この構成によれば、単位時間ごとに判定回数が計数されるため、第１画像及び第２画像を単位時間ごとに変更することができる。このため、使用者の使用状況に応じて第１画像及び第２画像を変更することができる。
【0117】
（付記３）
前記表示制御部は、前記第１画像と前記第２画像との表示上の距離である表示距離が、前記設定距離よりも大きい場合に、前記第１画像との表示距離が前記設定距離よりも小さくなるように前記第２画像の表示位置を変更する、付記１又は２記載の制御装置。
前記表示制御部は、前記第１画像と前記第２画像との表示上の距離である表示距離が、前記設定距離よりも大きい場合に、前記第１画像との表示距離が前記設定距離よりも小さくなるように前記第２画像の表示位置を変更する、付記１又は２記載の制御装置。
【0118】
この構成によれば、第１画像と第２画像との表示距離が、予め設定された設定距離よりも大きい場合に、第１画像との表示距離が設定距離よりも小さくなるように第２画像の表示位置が変更される。このため、使用者の視線の移動距離が短くなり、使用者の負担を軽減することができる。
【0119】
（付記４）
前記第１画像の表示位置に対する第２画像の表示位置の優先度を設定した設定情報を記憶する記憶部を備え、
前記表示制御部は、前記第１画像の表示位置と、前記設定情報とに基づいて、前記第２画像の表示位置を変更する、付記１から３のいずれか一項に記載の制御装置。
前記第１画像の表示位置に対する第２画像の表示位置の優先度を設定した設定情報を記憶する記憶部を備え、
前記表示制御部は、前記第１画像の表示位置と、前記設定情報とに基づいて、前記第２画像の表示位置を変更する、付記１から３のいずれか一項に記載の制御装置。
【0120】
この構成によれば、第１画像の表示位置と、設定情報とに基づいて、第２画像の表示位置が変更される。このため、第２画像を優先度の高い位置に表示させることができる。
【0121】
（付記５）
外景を撮像する撮像部と、
前記撮像部が生成した撮像画像から前記使用者が視認する対象物を検出する第３検出部と、を備え、
前記表示制御部は、前記第１画像と前記第２画像とが、前記対象物の上下又は左右の両側に表示される場合に、前記第１画像と同一の側に表示されるように前記第２画像の表示位置を変更する、付記１から４のいずれか一項に記載の制御装置。
外景を撮像する撮像部と、
前記撮像部が生成した撮像画像から前記使用者が視認する対象物を検出する第３検出部と、を備え、
前記表示制御部は、前記第１画像と前記第２画像とが、前記対象物の上下又は左右の両側に表示される場合に、前記第１画像と同一の側に表示されるように前記第２画像の表示位置を変更する、付記１から４のいずれか一項に記載の制御装置。
【0122】
この構成によれば、第２画像が第１画像と同一の側に表示される。このため、使用者が対象物に対して作業を行うときの視線の移動距離を短くし、作業性を向上させることができる。
【0123】
（付記６）
前記表示部は、前記第３検出部が検出した前記対象物に対応づけられた画像を表示する、付記５記載の制御装置。
前記表示部は、前記第３検出部が検出した前記対象物に対応づけられた画像を表示する、付記５記載の制御装置。
【0124】
この構成によれば、表示された画像を視認しながら対象物に対して作業を行うことができ、作業性を向上させることができる。
【0125】
（付記７）
前記対象物までの距離を検出する第４検出部を備え、
前記表示部は、前記第４検出部が検出した距離に対応する位置に前記複数の画像を表示する、付記５又は６記載の制御装置。
前記対象物までの距離を検出する第４検出部を備え、
前記表示部は、前記第４検出部が検出した距離に対応する位置に前記複数の画像を表示する、付記５又は６記載の制御装置。
【0126】
この構成によれば、対象物と複数の画像とが頭部装着型表示装置から同一の距離に表示されるため、視線の移動量を減らして使用者の負担を軽減することができる。
【0127】
（付記８）
前記判定部は、前記使用者が頭部を回転させながら視線の方向を変更して画像を視認したか否かを判定し、
前記設定部は、前記使用者が視認した回数を前記複数の画像の各々で計数した計数値を登録した計数テーブルを生成し、
前記使用者が頭部を回転させながら視線の方向を変更して画像を視認した場合に、前記計数テーブルの前記視認した画像に対応する計数値に加算する値を、前記使用者が頭部を回転させずに視線の方向を変更して画像を視認した場合に、前記計数テーブルの前記視認した画像に対応する計数値に加算する値よりも多くする、付記１から７のいずれか一項に記載の制御装置。
前記判定部は、前記使用者が頭部を回転させながら視線の方向を変更して画像を視認したか否かを判定し、
前記設定部は、前記使用者が視認した回数を前記複数の画像の各々で計数した計数値を登録した計数テーブルを生成し、
前記使用者が頭部を回転させながら視線の方向を変更して画像を視認した場合に、前記計数テーブルの前記視認した画像に対応する計数値に加算する値を、前記使用者が頭部を回転させずに視線の方向を変更して画像を視認した場合に、前記計数テーブルの前記視認した画像に対応する計数値に加算する値よりも多くする、付記１から７のいずれか一項に記載の制御装置。
【0128】
この構成によれば、使用者が頭部を回転させずに視線方向を変更して視認した画像よりも、使用者が頭部を回転させながら視線の方向を変更して視認した画像が第１画像又は第２画像として選択される確率を高めることができる。
このため、使用者が頭部を回転させて視認する画像の表示位置を変更することができる。
このため、使用者が頭部を回転させて視認する画像の表示位置を変更することができる。
【0129】
(付記９)
使用者の頭部に装着され、外景を視認可能に画像を表示する表示部を備える頭部装着型表示装置の制御方法であって、
前記使用者の視線の方向を検出する第１ステップと、
前記使用者の頭部の向きを検出する第２ステップと、
前記使用者の視線と、前記使用者の頭部の向きと、の少なくとも一方に基づき、前記表示部が表示する複数の画像のうち、前記使用者が視認する画像を判定する第３ステップと、
前記表示部が表示する複数の画像のうち、前記第３ステップにより前記使用者が視認する画像であると判定された判定回数が最も多い画像を第１画像に設定し、
前記第３ステップにより前記使用者が視認する画像と判定された判定回数が前記第１画像の次に多い画像を第２画像に設定する第４ステップと、
前記第１画像と前記第２画像との表示上の距離である表示距離が、予め設定された設定距離よりも小さくなるように前記第２画像の表示位置を変更する第５ステップと、
を含む、頭部装着型表示装置の制御方法。
使用者の頭部に装着され、外景を視認可能に画像を表示する表示部を備える頭部装着型表示装置の制御方法であって、
前記使用者の視線の方向を検出する第１ステップと、
前記使用者の頭部の向きを検出する第２ステップと、
前記使用者の視線と、前記使用者の頭部の向きと、の少なくとも一方に基づき、前記表示部が表示する複数の画像のうち、前記使用者が視認する画像を判定する第３ステップと、
前記表示部が表示する複数の画像のうち、前記第３ステップにより前記使用者が視認する画像であると判定された判定回数が最も多い画像を第１画像に設定し、
前記第３ステップにより前記使用者が視認する画像と判定された判定回数が前記第１画像の次に多い画像を第２画像に設定する第４ステップと、
前記第１画像と前記第２画像との表示上の距離である表示距離が、予め設定された設定距離よりも小さくなるように前記第２画像の表示位置を変更する第５ステップと、
を含む、頭部装着型表示装置の制御方法。
【0130】
この構成によれば、第１画像との表示距離が設定距離よりも小さくなるように第２画像の表示位置が変更される。このため、使用者の視線の移動距離が短くなり、使用者の負担を軽減することができる。
【0131】
（付記１０）
使用者の頭部に装着され、外景を視認可能に画像を表示する表示部を備える頭部装着型表示装置を制御する制御装置に搭載されたコンピューターに実行させるプログラムであって、
前記コンピューターに、
前記使用者の視線の方向を検出する第１手順と、
前記使用者の頭部の向きを検出する第２手順と、
前記使用者の視線と、前記使用者の頭部の向きと、の少なくとも一方に基づき、前記表示部が表示する複数の画像のうち、前記使用者が視認する画像を判定する第３手順と、
前記表示部が表示する複数の画像のうち、前記第３手順により前記使用者が視認する画像であると判定された判定回数が最も多い画像を第１画像に設定し、
前記第３手順により前記使用者が視認する画像と判定された判定回数が前記第１画像の次に多い画像を第２画像に設定する第４手順と、
前記第１画像と前記第２画像との表示上の距離である表示距離が、予め設定された設定距離よりも小さくなるように前記第２画像の表示位置を変更する第５手順と、
を実行させる、プログラム。
使用者の頭部に装着され、外景を視認可能に画像を表示する表示部を備える頭部装着型表示装置を制御する制御装置に搭載されたコンピューターに実行させるプログラムであって、
前記コンピューターに、
前記使用者の視線の方向を検出する第１手順と、
前記使用者の頭部の向きを検出する第２手順と、
前記使用者の視線と、前記使用者の頭部の向きと、の少なくとも一方に基づき、前記表示部が表示する複数の画像のうち、前記使用者が視認する画像を判定する第３手順と、
前記表示部が表示する複数の画像のうち、前記第３手順により前記使用者が視認する画像であると判定された判定回数が最も多い画像を第１画像に設定し、
前記第３手順により前記使用者が視認する画像と判定された判定回数が前記第１画像の次に多い画像を第２画像に設定する第４手順と、
前記第１画像と前記第２画像との表示上の距離である表示距離が、予め設定された設定距離よりも小さくなるように前記第２画像の表示位置を変更する第５手順と、
を実行させる、プログラム。
【0132】
この構成によれば、第１画像との表示距離が設定距離よりも小さくなるように第２画像の表示位置が変更される。このため、使用者の視線の移動距離が短くなり、使用者の負担を軽減することができる。
【0133】
本発明は上記各実施形態で説明した構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上述した実施形態では、ＨＭＤ１００と、制御装置３００とがそれぞれ別体である表示システム１を例示したが、この表示システム１に限定されない。例えば、ＨＭＤ１００が制御装置３００を内蔵する構成であってもよい。つまり、接続装置１０を、制御装置３００として動作させてもよい。
例えば、上述した実施形態では、ＨＭＤ１００と、制御装置３００とがそれぞれ別体である表示システム１を例示したが、この表示システム１に限定されない。例えば、ＨＭＤ１００が制御装置３００を内蔵する構成であってもよい。つまり、接続装置１０を、制御装置３００として動作させてもよい。
【0134】
また、上記実施形態では、画像表示部２０と接続装置１０とが分離された構成を例に挙げて説明したが、接続装置１０と画像表示部２０とが一体に構成され、使用者Ｕの頭部に装着される構成とすることも可能である。また、画像表示部２０の光学系の構成は任意であり、例えば、使用者Ｕの眼の前方に位置して使用者Ｕの視界の一部又は全部に重なる光学部材を用いてもよい。或いは、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。或いは、光学部材の内部で画像光を導光させるものに限らず、使用者Ｕの眼に向けて画像光を屈折又は反射させて導く機能のみを有するものであってもよい。
【0135】
また、例えば、図３に示したＨＭＤ１００において、接続装置１０を、ＵＳＢ－ＴｙｐｅＣコネクター、ＵＳＢ－ＴｙｐｅＣコントローラー、及び、ＵＳＢハブを利用して構成してもよい。この場合、ＤＰ外側カメラ６１や、その他のセンサーを、ＵＳＢハブに接続してもよい。また、画像表示部２０における右表示部２２と左表示部２４の表示を制御するコントローラーとして、表示データを右表示部２２及び左表示部２４に出力するＦＰＧＡを、右表示部２２又は左表示部２４のいずれかに配置してもよい。この場合、接続装置１０は、ＵＳＢ－ＴｙｐｅＣコントローラーとＦＰＧＡとを接続するブリッジコントローラーを備えてもよい。また、画像表示部２０において、ＤＰ６軸センサー２３５、ＤＰ地磁気センサー２３７、ＥＥＰＲＯＭ２１５等をＦＰＧＡと同じ基板に実装した構成としてもよい。その他のセンサーの配置についても適宜に変更可能である。例えば、距離センサー６４やＤＰ照度センサー６５は、測定又は検出に適した位置に配置されて、ＦＰＧＡやＵＳＢＴｙｐｅ－Ｃコントローラーに接続される構成としてもよい。
また、ＯＬＥＤユニット２２１、２４１を含む画像表示装置の具体的な仕様についても制限はなく、例えば、ＯＬＥＤユニット２２１、２４１が共通の構成を有していてもよい。
また、ＯＬＥＤユニット２２１、２４１を含む画像表示装置の具体的な仕様についても制限はなく、例えば、ＯＬＥＤユニット２２１、２４１が共通の構成を有していてもよい。
【0136】
また、図３に示したＨＭＤ１００、図４に示した制御装置３００の各機能部は、機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、また、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、プロジェクターの他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。
【0137】
また、図１３に示すフローチャートの処理単位は、制御装置３００の処理を理解容易にするために、主な処理内容に応じて分割したものである。図１３のフローチャートに示す処理単位の分割の仕方や名称によって本発明が制限されることはない。また、制御装置３００の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、１つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。
【0138】
また、上述した実施形態では、使用者Ｕが視認する画像であると判定部３５５が判定した単位時間当たりの回数に基づいて第１画像と第２画像とを決定したが、使用者Ｕの視線の移動角度や、視線の移動速度である角速度を考慮して第１画像と第２画像とを決定してもよい。
【0139】
また、内側カメラ６３の撮像画像から使用者Ｕの視線方向と、使用者Ｕが注視する注視点の奥行き方向の位置とを検出してもよい。ＣＯ制御部３３０は、使用者Ｕの両眼の視線方向として、左眼の視線方向と右眼の視線方向とのそれぞれを検出する。ＣＯ制御部３３０は、左眼の視線方向と右眼の視線方向とが交差する点から、注視点の奥行き方向の位置を検出する。左眼の視線方向と、右眼の視線方向とが交差する点が、注視点の奥行き方向の位置に対応する。ＣＯ制御部３３０は、検出した注視点の奥行き方向の位置に基づき、使用者Ｕに認識させる画像の奥行き方向の位置を算出し、算出した奥行き方向の位置に仮想的な画像が見えるように、両眼視の視差を演算し、視差を有する右左の画像をＨＭＤ１００に送信する。また、ＣＯ制御部３３０は、注視点の奥行き方向の位置を含めて、第１画像との表示距離が設定距離よりも小さくなるように第２画像の表示位置を変更する。
【0140】
また、設定部３５６は、判定部３５５が参照画像８０を参照したと判定した場合に、視認回数テーブル３４４の視認回数に加算する加算値を、使用者Ｕが頭部を回転させながら視線の方向を変更して参照画像８０を視認した場合と、頭部を回転させずに視線の方向を変更して参照画像８０を視認した場合とで変更してもよい。
例えば、設定部３５６は、使用者Ｕが頭部を回転させながら視線の方向を変更して参照画像８０を視認した場合、視認回数テーブル３４４の視認回数に値「２」を加算し、頭部を回転させずに視線の方向を変更して参照画像８０を視認した場合、視認回数テーブル３４４の視認回数に値「１」を加算する。
これにより、使用者Ｕが頭部を回転させながら視線の方向を変更して参照した参照画像８０が第１画像又は第２画像に選択される確率を高めることができる。
例えば、設定部３５６は、使用者Ｕが頭部を回転させながら視線の方向を変更して参照画像８０を視認した場合、視認回数テーブル３４４の視認回数に値「２」を加算し、頭部を回転させずに視線の方向を変更して参照画像８０を視認した場合、視認回数テーブル３４４の視認回数に値「１」を加算する。
これにより、使用者Ｕが頭部を回転させながら視線の方向を変更して参照した参照画像８０が第１画像又は第２画像に選択される確率を高めることができる。
【符号の説明】
【0141】
１…表示システム、１０…接続装置、１１Ａ、１１Ｄコネクター、２０…画像表示部、２１…右保持部、２２…右表示部、２３…左保持部、２４…左表示部、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、３６…オーディオコネクター、４０…接続ケーブル、４６…ＵＳＢケーブル、５０…視野範囲、６１…ＤＰ外側カメラ、６２…マイク、６３…ＤＰ内側カメラ、６４…距離センサー、６５…ＤＰ照度センサー、６７…ＬＥＤインジケーター、７０…対象物、８０、８０Ａ、８０Ｂ、８０Ｃ、８０Ｄ、８０Ｅ…参照画像、１００…ＨＭＤ、１１０…Ｉ／Ｆ部、１２０…ＤＰ制御部、１２２…センサー制御部、１２６…電源制御部、１３０…不揮発性記憶部、１４０…操作部、１４５…接続部、１４７…音声処理部、２０１…画像データ、２１０…右表示部基板、２１１…右Ｉ／Ｆ部、２１３…受信部、２１５…ＥＥＰＲＯＭ、２１７…温度センサー、２２１…ＯＬＥＤユニット、２２３…ＯＬＥＤパネル、２２５…ＯＬＥＤ駆動回路、２２９…電源部、２３０…左表示部基板、２３１…左Ｉ／Ｆ部、２３３…受信部、２３５…ＤＰ６軸センサー、２３７…ＤＰ地磁気センサー、２３９…温度センサー、２４１…ＯＬＥＤユニット、２４３…ＯＬＥＤパネル、２４５…ＯＬＥＤ駆動回路、２４９…電源部、２５１…右光学系、２５２…左光学系、２６１、２８１ハーフミラー、３００…制御装置、３１１…ＧＮＳＳ、３１２…ＣＯカメラ、３１３…ＣＯ６軸センサー、３１４…ＣＯ磁気センサー、３１５…ＣＯ照度センサー、３１６…音声出力部、３２１…ＣＯ表示部、３２３…タッチパネル、３２５…バッテリー、３２７…通信部、３２８…タッチパネル、３２９…Ｉ／Ｆ部、３３０…ＣＯ制御部、３４０…メモリー、３４１…ＯＳ、３４２…ＡＰＰ、３４３…対象物画像、３４４…視認回数テーブル、３４５…対象物画像、３４５…設定情報、３５０…プロセッサー、３５１…第１検出部、３５２…第２検出部、３５３…第３検出部、３５４…表示制御部、３５５…判定部、３５６…設定部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】