特許 6406293 ディスプレイ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6406293

(24)【登録日】2018年9月28日

(45)【発行日】2018年10月17日

(54)【発明の名称】ディスプレイ

(51)【国際特許分類】

   G09G 5/00 20060101AFI20181004BHJP

   G02B 27/02 20060101ALI20181004BHJP

   G09G 5/38 20060101ALI20181004BHJP

   G09G 5/36 20060101ALI20181004BHJP

   H04N 13/344 20180101ALI20181004BHJP

   H04N 13/366 20180101ALI20181004BHJP

   H04N 5/64 20060101ALI20181004BHJP

【ＦＩ】

   G09G5/00 510G

   G02B27/02 Z

   G09G5/00 550C

   G09G5/38 A

   G09G5/36 520D

   H04N13/344

   H04N13/366

   H04N5/64 511A

【請求項の数】10

【全頁数】36

(21)【出願番号】特願2016-53924(P2016-53924)

(22)【出願日】2016年3月17日

(62)【分割の表示】特願2014-544283(P2014-544283)の分割

【原出願日】2014年2月24日

(65)【公開番号】特開2016-153899(P2016-153899A)

(43)【公開日】2016年8月25日

【審査請求日】2017年2月16日

(31)【優先権主張番号】特願2013-33076(P2013-33076)

(32)【優先日】2013年2月22日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニー株式会社

(74)【代理人】

【識別番号】100104215

【弁理士】

【氏名又は名称】大森 純一

(74)【代理人】

【識別番号】100196575

【弁理士】

【氏名又は名称】高橋 満

(74)【代理人】

【識別番号】100117330

【弁理士】

【氏名又は名称】折居 章

(74)【代理人】

【識別番号】100160989

【弁理士】

【氏名又は名称】関根 正好

(74)【代理人】

【識別番号】100168181

【弁理士】

【氏名又は名称】中村 哲平

(74)【代理人】

【識別番号】100170346

【弁理士】

【氏名又は名称】吉田 望

(74)【代理人】

【識別番号】100168745

【弁理士】

【氏名又は名称】金子 彩子

(74)【代理人】

【識別番号】100176131

【弁理士】

【氏名又は名称】金山 慎太郎

(74)【代理人】

【識別番号】100197398

【弁理士】

【氏名又は名称】千葉 絢子

(74)【代理人】

【識別番号】100197619

【弁理士】

【氏名又は名称】白鹿 智久

(72)【発明者】

【氏名】石川 博隆

(72)【発明者】

【氏名】岩津 健

【審査官】 斎藤 厚志

(56)【参考文献】

【文献】 特開平１１−１５３９８７（ＪＰ，Ａ）

【文献】 特開２０００−１８４３９８（ＪＰ，Ａ）

【文献】 特開２０１３−１５７９６（ＪＰ，Ａ）

【文献】 特開平７−８５３１６（ＪＰ，Ａ）

【文献】 特開２００７−３１６５６８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０９Ｇ ５／００

Ｇ０２Ｂ ２７／０２

Ｇ０９Ｇ ５／３６

Ｇ０９Ｇ ５／３８

Ｈ０４Ｎ ５／６４

Ｈ０４Ｎ １３／３４４

Ｈ０４Ｎ １３／３６６

(57)【特許請求の範囲】

【請求項1】

ユーザに実空間の視野と仮想的な画像とを同時に提供可能な表示部と、
前記表示部の少なくとも一軸周りの方位を検出する検出部と、
前記表示部に表示する前記仮想的な画像を制御する表示制御部と、
前記表示部を包囲する３次元座標における前記視野の前記一軸方向に沿った、前記仮想的な画像が表示される表示領域を制限することが可能な領域制限部と
を具備し、
前記領域制限部は、前記検出部の出力に基づいて前記方位に対応する前記３次元座標上の前記仮想的な画像を前記視野に表示するように制限する
ディスプレイ。

【請求項2】

請求項１に記載のディスプレイであって、
前記表示部は、シースルー型の表示部である
ディスプレイ。

【請求項3】

請求項２に記載のディスプレイであって、
前記表示部は、車両の運転席に搭載可能に構成される
ディスプレイ。

【請求項4】

請求項１に記載のディスプレイであって、
実空間の視野を撮像するカメラをさらに具備し、
前記表示制御部は、前記カメラで撮像された実空間の視野と、前記仮想的な画像とを前記表示部に同時に表示する
ディスプレイ。

【請求項5】

請求項２または請求項４に記載のディスプレイであって、
前記表示部は、ユーザの頭部に装着可能に構成される
ディスプレイ。

【請求項6】

請求項１〜５のいずれか１つに記載のディスプレイであって、
前記表示制御部は、前記視野に存在する所定の対象物に関連する情報を含み前記３次元座標に対応付けられた画像を、前記仮想的な画像として前記表示部に表示する
ディスプレイ。

【請求項7】

請求項６に記載のディスプレイであって、
前記表示制御部は、前記表示部と前記所定の対象物との間の相対位置に関する情報を取得し、前記相対位置の変化に応じて前記視野に表示されている前記仮想的な画像の表示形態を制御する
ディスプレイ。

【請求項8】

請求項７に記載のディスプレイであって、
前記相対位置に関する情報は、前記表示部と前記所定の対象物との間の相対距離に関する情報を含み、
前記表示制御部は、前記相対距離の変化に応じて、前記視野に表示されている仮想的な画像の位置および大きさの少なくとも一方を変化させる
ディスプレイ。

【請求項9】

請求項７に記載のディスプレイであって、
前記相対位置に関する情報は、前記所定の対象物を中心とする前記表示部の角度位置に関する情報を含み、
前記表示制御部は、前記角度位置の変化に応じて、前記視野に表示されている仮想的な画像の向きを三次元的に変化させる
ディスプレイ。

【請求項10】

請求項１〜９のいずれか１つに記載のディスプレイであって、
前記検出部は、鉛直軸周りの方位を検出し、
前記領域制限部は、鉛直軸周りの円筒座標における高さ方向の領域を前記視野の縦方向の領域に応じて制限する
ディスプレイ。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、表示視野に特定の情報を含む画像を表示することが可能なヘッドマウントディスプレイに関する。

【背景技術】

【0002】

現実空間の画像に、現実空間に対応する画像を付加する、拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が知られている。例えば特許文献１には、観察者の属する実空間に任意の物体の三次元形状情報を表示することが可能な立体合成装置が記載されている。また特許文献２には、ユーザが視認している外界に存在する対象物に関するオブジェクトを表示することが可能なヘッドマウントディスプレイが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０００−１８４３９８号公報

【特許文献2】特開２０１２−５３６４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

近年、シースルー型ヘッドマウントディスプレイにおいては、例えば、シースルー領域を確保しつつ、情報表示領域を制限したい場合がある。この場合、オブジェクトがディスプレイの視界に入りにくくなる、あるいは、オブジェクトが視界に入った状態を保つことが困難となるおそれがある。

【0005】

以上のような事情に鑑み、本技術の目的は、オブジェクトの検索性あるいは視認性を向上させることができるヘッドマウントディスプレイを提供することにある。

【課題を解決するための手段】

【0006】

本技術の一形態に係るヘッドマウントディスプレイは、表示部と、検出部と、第１の制御ユニットとを具備する。
上記表示部は、ユーザの頭部に装着可能であり、ユーザに実空間の視野を提供可能に構成される。
上記検出部は、上記表示部の少なくとも一軸周りの方位を検出する。
上記第１の制御ユニットは、領域制限部と、記憶部と、表示制御部とを有する。上記領域制限部は、上記表示部を包囲する３次元座標における上記視野の上記一軸方向に沿った表示領域を制限することが可能に構成される。上記記憶部は、上記視野に存在する所定の対象物に関連する情報を含む画像を上記３次元座標に対応付けて記憶する。上記表示制御部は、上記検出部の出力に基づいて上記方位に対応する上記３次元座標上の画像を上記視野に表示するように構成される。

【0007】

上記ヘッドマウントディスプレイによれば、上記一軸周りの姿勢変化に応じて表示される画像がユーザの視野に入る確率が高まるため、画像の検索性を向上させることができる。また当該画像が視野に入った状態を容易に保つことができるため、画像の視認性をも向上させることができる。

【0008】

ここで「表示部の方位」とは、典型的には、表示部の正面方向を意味する。ヘッドマウントディスプレイに関しては、表示部の正面方向は、ユーザの正面方向と定義することができる。したがって「表示部の方位」は、ユーザの顔の向きと同義に解釈され得る。

【0009】

「表示部の一軸周りの方位」とは、当該一軸を中心とする表示部の方位を意味し、例えば当該一軸が鉛直軸の場合には、東西南北の水平方向が対応する。この場合、例えば北を基準方位としたとき、当該方位からの角度で表示部の方位を表すことができる。一方、上記一軸が水平軸の場合、当該一軸周りの表示部の方位は、水平面を基準とした仰角あるいは俯角で表すことができる。上記の例に限られず、上記一軸は、鉛直軸および水平軸と交差する他の軸であってもよい。

【0010】

上記表示制御部は、上記表示部と上記所定の対象物との間の相対位置に関する情報を取得し、上記相対位置の変化に応じて上記視野に表示されている画像の表示形態を制御するように構成されてもよい。これにより視野に表示される画像の視認性を維持し、あるいは向上させることができる。

【0011】

上記相対位置に関する情報は、上記表示部と前記所定の対象物との間の相対距離に関する情報を含んでもよい。この場合、上記表示制御部は、上記相対距離の変化に応じて、上記視野に表示されている画像の位置および大きさの少なくとも一方を変化させるように構成されてもよい。

【0012】

あるいは、上記相対位置に関する情報は、上記所定の対象物を中心とする上記表示部の角度位置に関する情報を含んでもよい。この場合、上記表示制御部は、上記角度位置の変化に応じて、上記視野に表示されている画像の向きを三次元的に変化させるように構成されてもよい。

【0013】

上記表示制御部は、ユーザにより設定された少なくとも１つの表示条件に適合する情報を含む画像を上記記憶部から抽出し、抽出した上記画像を上記視野に選択的に表示するように構成されてもよい。これによりユーザにとって有意な情報のみを視野に表示することができる。

【0014】

上記表示制御部は、上記視野に表示すべき画像が複数の画像を含むとき、上記複数の画像各々を交互に表示するように構成されてもよい。これにより、視野に表示される個々の画像の識別性を高めることができる。

【0015】

上記記憶部は、上記所定の対象物に関連する複数の画像を記憶してもよい。この場合、上記表示制御部は、ユーザの操作に応じて上記視野に表示すべき画像を上記複数の画像から選択するように構成されてもよい。これにより同一対象物に関する情報を含む複数の画像を個々に表示することが可能となる。

【0016】

上記検出部は、上記表示部の鉛直軸周りの方位を検出し、上記領域制限部は、鉛直軸周りの円筒座標における高さ方向の領域を上記視野の縦方向の領域に応じて制限してもよい。これによりユーザの水平視野内における画像の検索性及び視認性を向上させることができる。

【0017】

上記表示制御部は、上記方位が第１の所定角度以上変化したときは、上記方位の変化に応じて上記画像を上記視野内で移動させ、上記方位の変化が上記第１の所定角度未満のときは、上記視野における上記画像の表示位置を固定してもよい。これによりユーザの鉛直軸周りの不用意な姿勢変化に起因する画像の移動を規制して、画像の視認性を高めることができる。

【0018】

上記検出部は、上記表示部の水平軸周りの姿勢変化をさらに検出するように構成されてもよい。この場合、上記表示制御部は、上記姿勢変化が第２の所定角度以上のときは、上記姿勢変化に応じて上記画像を上記視野内で移動させ、上記姿勢変化が上記第２の所定角度未満のときは、上記視野における上記画像の表示位置を固定する。これによりユーザの水平軸周りの不用意な姿勢変化に起因する画像の移動を規制して、画像の更なる視認性の向上を図ることができる。

【0019】

上記表示制御部は、上記検出部の出力変化が所定時間にわたって所定以下のときは、上記画像を上記視野の所定位置に移動させてもよい。すなわち所定時間にわたって検出部の出力が変化しないときは視野に表示された画像をユーザが参照している蓋然性が高いため、その画像を視野の所定位置に移動させることで画像の視認性を高めるようにしている。上記所定位置は、例えば視野の中央部であってもよく、更に移動後の画像は拡大表示されてもよい。

【0020】

上記表示制御部は、ユーザの操作により生成される所定信号の入力を検出したときは、上記画像を上記視野の所定位置に移動させてもよい。この構成においても上述と同様に画像の視認性を高めることができるとともに、ユーザの意図に即して画像の表示を制御することが可能となる。

【0021】

上記表示制御部は、上記視野の所定位置に上記画像が表示されている状態において、上記検出部の出力変化が所定周波数以上のときは、上記検出部の出力のうち上記所定周波数以上の周波数成分を無効としてもよい。上記所定周波数として、例えば、ユーザの顔ぶれに相当する周波数に設定することにより、ユーザの細かい顔ぶれの影響を受けることなく、画像の視認性を確保することができる。

【0022】

一方、上記第１の制御ユニットは、ユーザの操作により生成される所定信号の入力を検出したときは、上記３次元座標における高さ方向の領域を上記視野の上記一軸方向の領域に合わせて制限し、上記視野に表示される画像をすべて上記視野において同一の高さに揃えるように構成されてもよい。これにより視野に表示された画像の視認性の更なる向上を図ることができる。

【0023】

上記画像は、上記視野に存在する所定の対象物に関連する情報を含むものとすることができる。これにより上記対象物に関連する情報をユーザへ提供することができる。また、上記画像は静止画であってもよいし、アニメーション画像等の動画であってもよい。

【0024】

上記検出部は、表示部の方位や姿勢変化を検出できるものであれば特に限定されず、例えば地磁気センサ、モーションセンサ、あるいはこれらの組み合わせ等が採用可能である。

【0025】

上記ヘッドマウントディスプレイは、上記記憶部に記憶される複数の画像を取得する画像取得部を有する第２の制御ユニットをさらに具備してもよい。

【0026】

上記第１の制御ユニットは、上記第２の制御ユニットに対して、上記複数の画像の中から選択された１つ以上の画像の送信を要求するように構成されてもよい。このように第１の制御ユニットが主体となって必要な画像を必要な順序で取得できるようにすることで、第１及び第２の制御ユニット間の通信速度や、送信要求から実際に画像が送信されるまでの時間（レイテンシ）等の問題を感じさせないシステムを構築することができる。

【0027】

この場合、上記第１の制御ユニットは、上記３次元座標上の、上記視野の表示領域により近い座標位置に対応付けられた画像の優先的な送信を上記第２の制御ユニットに対して要求するように構成されてもよい。

【0028】

なお、画像がアニメーション画像である場合は、現在時刻とアニメーションフレーム時刻とを考慮して優先付けすればよい。例えば、上記第１の制御ユニットは、上記アニメーション画像を構成する全画像の少なくとも一部の一括的な送信を上記第２の制御ユニットに対して要求するように構成されてもよい。

【0029】

上記第１の制御ユニットは、上記記憶部に記憶された画像のすべてについて、その座標位置と上記視野の表示領域との距離を定期的に評価し、上記視野の表示領域から最も遠い座標位置の画像を上記記憶部から削除するように構成されてもよい。これにより記憶部の容量の低減を図ることが可能となる。

【0030】

上記第２の制御ユニットは、上記表示部の位置情報を取得可能な位置情報取得部をさらに有してもよい。上記画像取得部は、上記第１の制御ユニットへ送信可能な上記位置情報に対応する画像を取得する。これにより第２の制御ユニットは、ユーザの現在位置に応じて最適な画像を取得することができる。

【0031】

一方、本技術の他の形態に係るヘッドマウントディスプレイは、表示部と、検出部と、制御ユニットとを具備する。
上記表示部は、ユーザの頭部に装着可能であり、ユーザに実空間の視野を提供可能に構成される。
上記検出部は、上記表示部の少なくとも一軸周りの方位を検出する。
上記第１の制御ユニットは、記憶部と、表示制御部とを有する。上記記憶部は、上記視野に存在する所定の対象物に関連する情報を含む画像を、上記表示部を包囲する３次元座標に対応付けて記憶する。上記表示制御部は、上記検出部の出力に基づいて上記方位に対応する上記３次元座標上の画像を上記視野に表示するように構成される。

【0032】

上記表示制御部は、上記記憶部に記憶された所定の画像を、上記視野の前記一軸方向に沿った表示範囲に収まる座標値に変換して、上記視野に表示するように構成されてもよい。これにより、各方位に対応付けられた画像の探索性を高めることができる。

【発明の効果】

【0033】

以上のように、本技術によれば、オブジェクト画像の検索性あるいは視認性を向上させることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

【図面の簡単な説明】

【0034】

【図1】本技術の一実施形態に係るヘッドマウントディスプレイの機能を説明する概略図である。

【図2】上記ヘッドマウントディスプレイを示す全体図である。

【図3】上記ヘッドマウントディスプレイを含むシステムの構成を示すブロック図である。

【図4】上記ヘッドマウントディスプレイにおける制御ユニットの機能ブロック図である。

【図5A】上記ヘッドマウントディスプレイにおけるワールド座標系の一例としての円筒座標を示す概略図である。

【図5B】上記ヘッドマウントディスプレイにおけるワールド座標系の一例としての円筒座標を示す概略図である。

【図6A】図５Ａに示す円筒座標の展開図である。

【図6B】図５Ｂに示す円筒座標の展開図である。

【図7】上記円筒座標系における座標位置の説明図である。

【図8】視野とオブジェクトとの関係を概念的に示す上記円筒座標の展開図である。

【図9A】円筒座標（ワールド座標）から視野（ローカル座標）への変換方法を説明する図である。

【図9B】円筒座標（ワールド座標）から視野（ローカル座標）への変換方法を説明する図である。

【図10A】上記ヘッドマウントディスプレイにおける顔ぶれ補正機能を説明する概念図である。

【図10B】上記ヘッドマウントディスプレイにおける顔ぶれ補正機能を説明する概念図である。

【図11A】領域制限された円筒座標に対応付けられたオブジェクトと視野との相対位置関係を示す概略図である。

【図11B】領域制限された円筒座標に対応付けられたオブジェクトと視野との相対位置関係を示す概略図である。

【図12A】領域制限された円筒座標にオブジェクトを配置する手順を説明する概念図である。

【図12B】領域制限された円筒座標にオブジェクトを配置する手順を説明する概念図である。

【図13】領域制限された円筒座標にオブジェクトを配置する手順を説明するシーケンス図である。

【図14】上記システムの動作の概要を説明するフローチャートである。

【図15】上記制御ユニットによるオブジェクトデータの受信手順の一例を示すフローチャートである。

【図16】上記制御ユニットによる視野へのオブジェクトの描画手順の一例を示すフローチャートである。

【図17】上記ヘッドマウントディスプレイにおける一適用例を説明する視野の模式図である。

【図18】上記ヘッドマウントディスプレイにおける一適用例を説明する視野の模式図である。

【図19】上記ヘッドマウントディスプレイにおける一適用例を説明する視野の模式図である。

【図20】上記ヘッドマウントディスプレイにおける一適用例を説明する視野の模式図である。

【図21】上記ヘッドマウントディスプレイにおける一適用例を説明する視野の模式図である。

【図22】上記ヘッドマウントディスプレイにおける一適用例を説明する視野の模式図である。

【図23】上記ヘッドマウントディスプレイにおける一表示制御例を示すフローチャートである。

【図24】上記表示制御例を説明する視野の模式図である。

【図25A】他の表示制御例を説明する視野の模式図である。

【図25B】他の表示制御例を説明する視野の模式図である。

【図26】本技術の他の実施形態に係るヘッドマウントディスプレイの一作用を説明する模式図である。

【図27A】上記ヘッドマウントディスプレイの一作用を説明する模式図である。

【図27B】上記ヘッドマウントディスプレイの一作用を説明する模式図である。

【図27C】上記ヘッドマウントディスプレイの一作用を説明する模式図である。

【発明を実施するための形態】

【0035】

以下、本技術に係る実施形態を、図面を参照しながら説明する。本実施形態では、画像表示装置としてヘッドマウントディスプレイに本技術を適用した例について説明する。

【0036】

＜第１の実施形態＞
図１は、本技術の一実施形態に係るヘッドマウントディスプレイ（以下「ＨＭＤ」と称する。）の機能を説明する概略図である。まず図１を参照して、本実施形態に係るＨＭＤの基本的な機能の概要について説明する。

【0037】

ここで図１において、Ｘ軸方向及びＹ軸方向は相互に直交する水平方向を示し、Ｚ軸方向は鉛直軸方向を示している。これらＸＹＺ直交座標系は、ユーザの属する実空間の座標系（実３次元座標系）を表し、Ｘ軸の矢印は北方向を示し、Ｙ軸の矢印は東方向を示している。またＺ軸の矢印は重力方向を示している。

【0038】

［ＨＭＤの機能の概要］
本実施形態のＨＭＤ１００は、ユーザＵの頭部に装着され、ユーザＵの実空間の視野Ｖ（表示視野）に仮想的な画像を表示することが可能に構成される。視野Ｖに表示される画像には、当該視野Ｖに存在する所定の対象物Ａ１，Ａ２，Ａ３，Ａ４に関連する情報が含まれる。所定の対象物としては、例えば、ユーザＵの周囲に存在する風景、店舗、商品等が該当する。

【0039】

ＨＭＤ１００は、ＨＭＤを装着したユーザＵを包囲する仮想上のワールド座標系に対応付けられた画像（以下、オブジェクトともいう。）Ｂ１，Ｂ２，Ｂ３，Ｂ４を予め記憶する。ワールド座標系は、ユーザの属する実空間と等価な座標系であって、ユーザＵの位置及び所定の軸方向を基準とした対象物Ａ１〜Ａ４の位置を定める。本実施形態においてワールド座標は、鉛直軸を軸心とする円筒座標Ｃ０が採用されるが、これ以外にユーザＵを中心とする天球座標等の他の３次元座標が採用されてもよい。

【0040】

円筒座標Ｃ０の半径Ｒ、高さＨは任意に設定可能である。ここでは、半径Ｒは、ユーザＵから対象物Ａ１〜Ａ４までの距離よりも短く設定されるが、上記距離よりも長くてもよい。また高さＨは、ＨＭＤ１００を介して提供されるユーザＵの視野Ｖの高さ（縦方向の長さ）Ｈｖ以上の大きさに設定される。

【0041】

オブジェクトＢ１〜Ｂ４は、そのワールド座標系に存在する対象物Ａ１〜Ａ４に関連する情報を表示する画像であって、文字や絵柄等を含む画像であってもよいし、アニメーション画像であってもよい。またオブジェクトは、２次元画像であってもよいし、３次元画像であってもよい。さらにオブジェクトの形状は、矩形、円形その他の幾何学的形状であってもよく、オブジェクトの種類によって適宜設定可能である。

【0042】

円筒座標Ｃ０上におけるオブジェクトＢ１〜Ｂ４の座標位置は、例えば、対象物Ａ１〜Ａ４を注視するユーザの目線Ｌと円筒座標Ｃ０との交差位置にそれぞれ対応付けられる。図示の例では、オブジェクトＢ１〜Ｂ４各々の中心位置を上記交差位置に一致させたが、これに限られず、オブジェクトの周縁の一部（例えば四隅の一部）を上記交差位置に一致させてもよい。あるいは、オブジェクトＢ１〜Ｂ４の座標位置が上記交差位置から離れた任意の位置に対応付けられてもよい。

【0043】

円筒座標Ｃ０は、北方向を０°とした鉛直軸周りの角度を表す周方向の座標軸（θ）と、ユーザＵの水平方向の目線Ｌｈを基準とした上下方向の角度を表す高さ方向の座標軸（ｈ）とを有する。座標軸（θ）は、東周りを正方向とし、座標軸（ｈ）は、俯角を正方向、仰角を負方向としている。

【0044】

後述するように、ＨＭＤ１００は、ユーザＵの視点方向を検出するための検出部を有しており、当該検出部の出力に基づいて、ユーザＵの視野Ｖが円筒座標Ｃ０上のどの領域に対応するかを判定する。そしてＨＭＤ１００は、視野Ｖを形成するｘｙ座標系の対応領域に何れかのオブジェクト（例えばオブジェクトＢ１）が存在するときは、上記対応領域にオブジェクトＢ１を表示（描画）する。

【0045】

以上のように本実施形態のＨＭＤ１００は、実空間の対象物Ａ１に重畳してオブジェクトＢ１を視野Ｖに表示することで、ユーザＵに対して対象物Ａ１に関連する情報を提供する。またＨＭＤ１００は、ユーザＵの視点の方位あるいは方向に応じて、所定の対象物Ａ１〜Ａ４に関するオブジェクト（Ｂ１〜Ｂ４）をユーザＵに提供することができる。

【0046】

続いて、ＨＭＤ１００の詳細について説明する。図２は、ＨＭＤ１００を示す全体図であり、図３は、その構成を示すブロック図である。

【0047】

［ＨＭＤの構成］
ＨＭＤ１００は、表示部１０と、表示部１０の姿勢を検出する検出部２０と、表示部１０の駆動を制御する制御ユニット３０とを有する。本実施形態においてＨＭＤ１００は、ユーザに実空間の視野Ｖを提供可能なシースルー型のＨＭＤで構成されている。

【0048】

（表示部）
表示部１０は、ユーザＵの頭部に装着可能に構成される。表示部１０は、第１及び第２の表示面１１Ｒ，１１Ｌと、第１及び第２の画像生成部１２Ｒ，１２Ｌと、支持体１３とを有する。

【0049】

第１及び第２の表示面１１Ｒ，１１Ｌは、それぞれユーザＵの右眼及び左眼に実空間（外界視野）を提供可能な透明性を有する光学素子で構成される。第１及び第２の画像生成部１２Ｒ，１２Ｌは、それぞれ第１及び第２の表示面１１Ｒ，１１Ｌを介してユーザＵへ提示される画像を生成可能に構成される。支持体１３は、表示面１１Ｒ，１１Ｌ及び画像生成部１２Ｒ，１２Ｌを支持し、第１及び第２の表示面１１Ｌ，１１ＲがユーザＵの右眼及び左眼にそれぞれ対向するようにユーザの頭部に装着されることが可能な適宜の形状を有する。

【0050】

以上のように構成される表示部１０は、ユーザＵに対して、表示面１１Ｒ，１１Ｌを介して実空間に所定の画像（あるいは虚像）が重畳された視野Ｖを提供することが可能に構成される。この場合、右眼用の円筒座標Ｃ０と左眼用の円筒座標Ｃ０とがそれぞれ設定され、各円筒座標に描画されたオブジェクトが表示面１１Ｒ，１１Ｌに投影される。

【0051】

（検出部）
検出部２０は、表示部１０の少なくとも一軸周りの方位あるいは姿勢変化を検出することが可能に構成される。本実施形態において検出部２０は、Ｘ，Ｙ及びＺ軸周りの表示部１０の方位あるいは姿勢変化をそれぞれ検出するように構成されている。

【0052】

ここで、表示部１０の方位とは、典型的には、表示部の正面方向を意味する。本実施形態では、表示部１０の方位は、ユーザＵの顔の向きと定義される。

【0053】

検出部２０は、角速度センサ、加速度センサ等のモーションセンサ、あるいはこれらの組み合わせによって構成することができる。この場合、検出部２０は、角速度センサ及び加速度センサの各々を３軸方向に配置したセンサユニットで構成されてもよいし、各軸に応じて使用するセンサを異ならせてもよい。表示部１０の姿勢変化、変化の方向及びその変化の量等は、例えば角速度センサの出力の積分値を用いることができる。

【0054】

また、鉛直軸（Ｚ軸）周りの表示部１０の方位の検出には、地磁気センサが採用されてもよい。あるいは、地磁気センサと上記モーションセンサとが組み合わされてもよい。これにより精度の高い方位あるいは姿勢変化の検出が可能となる。

【0055】

検出部２０は、表示部１０の適宜の位置に配置されている。検出部２０の位置は特に限定されず、例えば画像生成部１２Ｒ，１２Ｌのいずれか一方、あるいは支持体１３の一部に配置される。

【0056】

（制御ユニット）
制御ユニット３０（第１の制御ユニット）は、検出部２０の出力に基づいて、表示部１０（画像生成部１２Ｒ，１２Ｌ）の駆動を制御する制御信号を生成する。本実施形態において制御ユニット３０は、接続ケーブル３０ａを介して表示部１０と電気的に接続されている。勿論これに限られず、制御ユニット３０は表示部１０と無線通信回線を通じて接続されてもよい。

【0057】

図３に示すように制御ユニット３０は、ＣＰＵ３０１と、メモリ３０２（記憶部）と、送受信部３０３と、内部電源３０４と、入力操作部３０５とを有する。

【0058】

ＣＰＵ３０１は、ＨＭＤ１００全体の動作を制御する。メモリ３０２は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を有し、ＣＰＵ３０１によるＨＭＤ１００の制御を実行するためのプログラムや各種パラメータ、表示部１０で表示するべき画像（オブジェクト）、その他必要なデータを記憶する。送受信部３０３は、後述する携帯情報端末２００との通信のためのインターフェースを構成する。内部電源３０４は、ＨＭＤ１００の駆動に必要な電力を供給する。

【0059】

入力操作部３０５は、ユーザ操作によって表示部１０で表示される画像を制御するためのものである。入力操作部３０５は、メカニカルスイッチで構成されてもよいし、タッチセンサで構成されてもよい。入力操作部３０５は、表示部１０に設けられてもよい。

【0060】

ＨＭＤ１００はさらに、スピーカ等の音響出力部、カメラ等を備えていてもよい。この場合、上記音声出力部及びカメラは、典型的には表示部１０に設けられる。さらに制御ユニット３０には、表示部１０の入力操作画面等を表示する表示デバイスが設けられてもよい。この場合、入力操作部３０５は、当該表示デバイスに設けられたタッチパネルで構成されてもよい。

【0061】

（携帯情報端末）
携帯情報端末２００（第２の制御ユニット）は、制御ユニット３０と無線通信回線を介して相互に通信可能に構成されている。携帯情報端末２００は、表示部１０で表示するべき画像を取得する機能と、取得した画像を制御ユニット３０へ送信する機能とを有する。携帯情報端末２００は、ＨＭＤ１００と有機的に組み合わされることで、ＨＭＤシステムを構築する。

【0062】

携帯情報端末２００は、表示部１０を装着するユーザＵによって携帯され、パーソナルコンピュータ（ＰＣ：Personal Computer）、スマートフォン、携帯電話機、タブレットＰＣ、ＰＤＡ（Personal Digital Assistant）等の情報処理装置で構成されるが、ＨＭＤ１００専用の端末装置であってもよい。

【0063】

図３に示すように携帯情報端末２００は、ＣＰＵ２０１と、メモリ２０２と、送受信部２０３と、内部電源２０４と、表示部２０５と、カメラ２０６と、位置情報取得部２０７とを有する。

【0064】

ＣＰＵ２０１は、携帯情報端末２００全体の動作を制御する。メモリ２０２は、ＲＯＭ及びＲＡＭ等を有し、ＣＰＵ２０１による携帯情報端末２００の制御を実行するためのプログラムや各種パラメータ、制御ユニット３０へ送信される画像（オブジェクト）、その他必要なデータを記憶する。内部電源２０４は、携帯情報端末２００の駆動に必要な電力を供給する。

【0065】

送受信部２０３は、ＷｉＦｉ（Wireless Fidelity）等の無線ＬＡＮ（IEEE802.11等）や移動通信用の３Ｇや４Ｇのネットワークを用いて、サーバＮや制御ユニット３０、近隣の他の携帯情報端末等と通信する。携帯情報端末２００は、送受信部２０３を介してサーバＮから、制御ユニット３０へ送信するべき画像（オブジェクト）やそれを表示するためのアプリケーションをダウンロードし、メモリ２０２へ格納する。

【0066】

サーバＮは、典型的にはＣＰＵ、メモリ等を含むコンピュータで構成され、ユーザＵの要求に応じて、あるいはユーザＵの意図に依らず自動的に、所定の情報を携帯情報端末２００へ送信する。

【0067】

表示部２０５は、例えばＬＣＤやＯＬＥＤで構成され、各種メニューやアプリケーションのＧＵＩ等を表示する。典型的には、表示部２０５は、タッチパネルと一体とされており、ユーザのタッチ操作を受け付け可能である。携帯情報端末２００は、表示部２０５のタッチ操作によって制御ユニット３０へ所定の操作信号を入力することが可能に構成されている。

【0068】

位置情報取得部２０７は、典型的にはＧＰＳ（Global Positioning System）受信機を含む。携帯情報端末２００は、位置情報取得部２０７を用いてユーザＵ（表示部１０）の現在位置（経度、緯度、高度）を測位し、サーバＮから必要な画像（オブジェクト）を取得することが可能に構成される。すなわちサーバＮは、ユーザの現在位置に関する情報を取得し、その位置情報に応じた画像データやアプリケーションソフトウェア等を携帯情報端末２００へ送信する。

【0069】

（制御ユニットの詳細）
次に、制御ユニット３０の詳細について説明する。

【0070】

図４は、ＣＰＵ３０１の機能ブロック図である。ＣＰＵ３０１は、座標設定部３１１と、画像管理部３１２と、座標判定部３１３と、表示制御部３１４とを有する。ＣＰＵ３０１は、メモリ３０２に格納されたプログラムに従って、これら座標設定部３１１、画像管理部３１２、座標判定部３１３及び表示制御部３１４における処理を実行する。

【0071】

座標設定部３１１は、ユーザＵ（表示部１０）を包囲する３次元座標を設定する処理を実行するように構成される。本例では、上記３次元座標は、鉛直軸Ａｚを中心とする円筒座標Ｃ０（図１参照）が用いられる。座標設定部３１１は、円筒座標Ｃ０の半径Ｒと高さＨをそれぞれ設定する。座標設定部３１１は、典型的には、ユーザＵに提示するべきオブジェクトの数や種類等に応じて円筒座標Ｃ０の半径Ｒ及び高さＨを設定する。

【0072】

円筒座標Ｃ０の半径Ｒは固定値でもよいが、表示するべき画像の大きさ（ピクセルサイズ）等に応じて任意に設定可能な可変値であってもよい。円筒座標Ｃ０の高さＨは、表示部１０によってユーザＵへ提供される視野Ｖの縦方向（垂直方向）の高さＨｖ（図１参照）の例えば１倍以上３倍以下の大きさに設定される。高さＨの上限は、Ｈｖの３倍に限られず、Ｈｖの３倍を超える大きさであってもよい。

【0073】

図５Ａは、視野Ｖの高さＨｖと同一の高さＨ１を有する円筒座標Ｃ０を示している。図５Ｂは、視野Ｖの高さＨｖの３倍の高さＨ２を有する円筒座標Ｃ０を示している。

【0074】

図６Ａ及び図６Ｂは、円筒座標Ｃ０を展開して示す模式図である。上述のように円筒座標Ｃ０は、北方向を０°とした鉛直軸周りの角度を表す周方向の座標軸（θ）と、ユーザＵの水平方向の目線Ｌｈを基準とした上下方向の角度を表す高さ方向の座標軸（ｈ）とを有する。座標軸（θ）は、東周りを正方向とし、座標軸（ｈ）は、俯角を正方向、仰角を負方向としている。高さｈは、視野Ｖの高さＨｖの大きさを１００％としたときの大きさを表し、円筒座標Ｃ０の原点ＯＰ１は、北方向の方位（０°）とユーザＵの水平方向の目線Ｌｈ（ｈ＝０％）との交点に設定される。

【0075】

座標設定部３１１は、表示部１０を方位する３次元座標における視野Ｖの一軸方向に沿った表示領域を制限することが可能な領域制限部としての機能を有する。本実施形態において座標設定部３１１は、表示部１０を包囲する円筒座標Ｃ０における視野Ｖの高さ方向の視野領域（Ｈｖ）を制限する。具体的には、座標設定部３１１は、高さ（Ｈ）の規定値が、視野Ｖの高さＨｖよりも大きいとき、当該円筒座標の高さ（Ｈ）を視野Ｖの高さ方向の領域に応じて制限する。さらに座標設定部３１１は、ユーザＵによる操作に応じて、例えば、円筒座標の高さをＨ２（図５Ｂ）からＨ１（図５Ａ）に制限する。

【0076】

画像管理部３１２は、メモリ３０２に格納された画像を管理する機能を有し、例えば、表示部１０を介して表示される単数又は複数の画像をメモリ３０２へ格納し、及び、メモリ３０２に格納された画像を選択的に削除する処理を実行するように構成される。メモリ３０２へ格納される画像は、携帯情報端末２００から送信される。画像管理部３１２はまた、送受信部３０３を介して携帯情報端末２００に対して画像の送信を要求する。

【0077】

メモリ３０２は、視野Ｖに表示すべき単数又は複数の画像（オブジェクト）を円筒座標Ｃ０に対応付けて記憶することができるように構成される。すなわちメモリ３０２は、図１に示した円筒座標Ｃ０上の個々のオブジェクトＢ１〜Ｂ４を円筒座標Ｃ０上の座標位置とともに記憶する。

【0078】

図７に示すように、円筒座標系（θ，ｈ）と直交座標系（Ｘ，Ｙ，Ｚ）とは、Ｘ＝ｒcosθ、Ｙ＝ｒsinθ、Ｚ＝ｈ、の関係を有する。図１に示したように視野Ｖの方位あるいは姿勢に対応して表示すべき個々のオブジェクトＢ１〜Ｂ４は、それぞれ固有の円筒座標Ｃ０上の座標領域を占めており、その領域内の特定の座標位置Ｐ（θ，ｈ）とともにメモリ３０２に格納される。

【0079】

円筒座標Ｃ０上におけるオブジェクトＢ１〜Ｂ４の座標（θ，ｈ）は、直交座標系（Ｘ，Ｙ，Ｚ）で各々定義される対象物Ａ１〜Ａ４の位置とユーザの位置とを結ぶ直線と、円筒座標Ｃ０の円筒面との交点における円筒座標系の座標に対応付けられる。すなわちオブジェクトＢ１〜Ｂ４の座標は、それぞれ、実３次元座標から円筒座標Ｃ０に変換された対象物Ａ１〜Ａ４の座標に相当する。このようなオブジェクトの座標変換は、例えば、画像管理部３１２において実行され、当該座標位置とともに各オブジェクトがメモリ３０２へ格納される。ワールド座標系に円筒座標Ｃ０が採用されることにより、オブジェクトＢ１〜Ｂ４を平面的に描画することができる。

【0080】

オブジェクトＢ１〜Ｂ４の座標位置は、各オブジェクトＢ１〜Ｂ４の表示領域内であればどの位置に設定されてもよく、１つのオブジェクトにつき特定の１点（例えば中心位置）に設定されてもよいし、２点以上（例えば対角の２点、あるいは四隅の点）に設定されてもよい。

【0081】

また図１に示したように、オブジェクトＢ１〜Ｂ４の座標位置が対象物Ａ１〜Ａ４を注視するユーザの目線Ｌと円筒座標Ｃ０との交差位置に対応付けられたとき、ユーザＵは、オブジェクトＢ１〜Ｂ４を対象物Ａ１〜Ａ４と重なる位置で視認する。これに代えて、オブジェクトＢ１〜Ｂ４の座標位置が上記交差位置から離れた任意の位置に対応付けられてもよい。これにより対象物Ａ１〜Ａ４に対してオブジェクトＢ１〜Ｂ４を所望の位置に表示あるいは描画することができる。

【0082】

座標判定部３１３は、検出部２０の出力に基づいてユーザＵの視野Ｖが円筒座標Ｃ０上のどの領域に対応するかを判定する処理を実行するように構成される。すなわち、視野Ｖは、ユーザＵ（表示部１０）の姿勢変化によって円筒座標Ｃ０上を移動し、その移動方向や移動量は、検出部２０の出力に基づいて算出される。座標判定部３１３は、検出部２０の出力に基づいて表示部１０の移動方向及び移動量を算出し、円筒座標Ｃ０上のどの領域に視野Ｖが属するかを判定する。

【0083】

図８は、円筒座標Ｃ０上における視野ＶとオブジェクトＢ１〜Ｂ４との関係を概念的に示す円筒座標Ｃ０の展開図である。視野Ｖは略矩形状であり、その左上の隅部を原点ＯＰ２とするｘｙ座標（ローカル座標）を有する。ｘ軸は、原点ＯＰ２から水平方向に延びる軸であり、ｙ軸は、原点ＯＰ２から垂直方向に延びる軸である。そして座標判定部３１３は、視野Ｖの対応領域にオブジェクトＢ１〜Ｂ４の何れかが存在するかどうかを判定する処理を実行するように構成される。

【0084】

表示制御部３１４は、検出部２０の出力（すなわち座標判定部３１３の判定結果）に基づいて表示部１０の方位に対応する円筒座標Ｃ０上のオブジェクトを視野Ｖに表示（描画）する処理を実行するように構成される。例えば図８に示すように、視野Ｖの現在の方位が、円筒座標Ｃ０上のオブジェクトＢ１，Ｂ２の表示領域にそれぞれ重なる場合、それらの重なる領域Ｂ１０，Ｂ２０に相当する画像を視野Ｖに表示する（ローカルレンダリング：Local Rendering）。

【0085】

図９Ａ及び図９Ｂは、円筒座標Ｃ０（ワールド座標）から視野Ｖ（ローカル座標）への変換方法を説明する図である。

【0086】

図９Ａに示すように円筒座標Ｃ０上における視野Ｖの基準点の座標を（θv，ｈv）とし、視野Ｖの領域内に位置するオブジェクトＢの基準点の座標を（θ0、ｈ0）とする。視野Ｖ及びオブジェクトＢの基準点はどの点に設定されてもよく、本例では矩形状である視野Ｖ及びオブジェクトＢの左上のコーナ部に設定される。αv［°］は、ワールド座標上における視野Ｖの幅角度であり、その値は表示部１０の設計あるいは仕様によって確定する。

【0087】

表示制御部３１４は、円筒座標系（θ，ｈ）をローカル座標系（ｘ，ｙ）に変換することで、視野ＶにおけるオブジェクトＢの表示位置を決定する。図９Ｂに示すようにローカル座標系における視野Ｖの高さ及び幅をそれぞれＨv及びＷvとし、ローカル座標系（ｘ，ｙ）におけるオブジェクトＢの基準点の座標を（ｘ0，ｙ0）とすると、変換式は、以下のとおりである。
ｘ0＝（θ0−θv）・Ｗv／αv …（１）
ｙ0＝（ｈ0−ｈv）・Ｈv／100 …（２）

【0088】

表示制御部３１４は、典型的には、表示部１０の方位あるいは姿勢の変化に追従して、視野Ｖ内でオブジェクトＢの表示位置を変化させる。この制御は、視野ＶにオブジェクトＢの少なくとも一部が存在する限り継続される。

【0089】

一方、近年においてはＨＭＤの小型化に伴ってその表示領域が狭くなる傾向にある。またシースルー型ヘッドマウントディスプレイにおいては、例えば、シースルー領域を確保しつつ、情報表示領域を制限したい場合がある。このような場合、上述のように表示部１０の方位あるいは姿勢の変化に追従して視野Ｖ内でオブジェクトＢの表示位置が変化すると、オブジェクトＢが視野Ｖに入った状態を保つことが困難になるおそれがある。このような問題を解決するため、本実施形態のＨＭＤ１００は以下に説明するようなオブジェクト表示固定機能を有する。

【0090】

＜オブジェクト表示固定機能＞
（１）ノンストリクト（Non Strict）属性の導入
表示制御部３１４は、表示部１０の方位あるいは姿勢が所定角度以上変化したときは、上記方位あるいは姿勢の変化に応じてオブジェクトを視野Ｖ内で移動させ、上記方位あるいは姿勢の変化が上記所定角度未満のときは、視野Ｖにおけるオブジェクトの表示位置を固定する処理を実行可能に構成される。

【0091】

本実施形態では、オブジェクトにノンストリクト属性が導入されてもよい。すなわち、オブジェクトＢがワールド座標系（円筒座標Ｃ０）の１ヶ所に固定されるのではなく、ユーザＵが見ている方向がある角度範囲内の場合、表示部１０のローカル座標系（ｘ，ｙ）にオブジェクトが固定表示されてもよい。このような処理を実行することにより、視野Ｖにオブジェクトが入った状態を容易に維持することができる。したがって、ユーザＵの鉛直軸周り又は水平軸周りの不用意な姿勢変化に起因するオブジェクトの移動を規制して、オブジェクトの視認性を高めることができる。

【0092】

上記所定角度としては、鉛直軸（Ｚ軸）周りの角度でもよいし、水平軸（Ｘ軸及び／又はＹ軸）まわりの角度であってもよいし、それらの双方であってもよい。上記所定角度の値は適宜設定可能であり、例えば±１５°である。上記所定角度は、鉛直軸周りの角度（第１の所定角度）及び水平軸周り（第２の所定角度）で同一であってもよいし、相互に異なっていてもよい。

【0093】

（２）第１のグラブ機能
表示制御部３１４は、検出部２０の出力変化が所定時間にわたって所定以下のときは、オブジェクトＢを視野Ｖの所定位置に移動させる処理を実行可能に構成される。

【0094】

本実施形態では、所定時間にわたって検出部２０の出力が変化しないときは視野Ｖに表示されたオブジェクトをユーザが参照している蓋然性が高いため、そのオブジェクトを視野Ｖの所定位置に移動させることでオブジェクトの視認性を高めるようにしてもよい。

【0095】

上記所定時間は特に限定されず、例えば５秒程度に設定される。上記所定位置も特に限定されず、例えば視野Ｖの中央部や隅部、あるいは上下左右の何れか偏った位置とされる。更に、移動後のオブジェクトは拡大等の誇張表示がされてもよい。

【0096】

当該機能は、例えば、オブジェクトが視野Ｖの中心に位置する状態で、所定時間検出部２０の出力変化が認められない場合に、当該オブジェクトＢを視野Ｖのローカル座標系（ｘ，ｙ）の所定位置に固定表示するようにしてもよい。この場合、検出部２０の出力が所定の値を超えたとき、当該オブジェクトの固定表示機能が解除される。このときの検出部２０の出力値は、上述した表示部１０の所定の軸周りへの所定角度以上の姿勢変化に相当する出力変化量であってもよいし、それ以外の出力変化量であってもよい。

【0097】

（３）第２のグラブ機能
表示制御部３１４は、ユーザＵの操作により生成される所定信号の入力を検出したときは、オブジェクトを視野Ｖの所定位置に移動させる処理を実行可能に構成される。このような構成においても上述と同様にオブジェクトの視認性を高めることができるとともに、ユーザの意図に即して画像の表示を制御することが可能となる。

【0098】

この処理は、例えば、オブジェクトを視野Ｖの中心に合わせて、入力操作部３０５あるいは携帯情報端末２００へ所定の入力操作を行うことで、オブジェクトが視野Ｖのローカル座標系（ｘ，ｙ）に固定される。そして入力操作部３０５等を再度操作することで、オブジェクトがワールド座標系に復帰し、オブジェクトの固定表示機能が解除される。

【0099】

（４）顔ぶれ補正機能
表示制御部３１４は、視野Ｖの所定位置にオブジェクトが表示されている状態において、検出部２０の出力変化が所定周波数以上のときは、検出部２０の出力のうち上記所定周波数以上の周波数成分を無効とする処理を実行可能に構成される。

【0100】

視野Ｖ内のオブジェクトが表示部１０の方位あるいは姿勢変化に追従して移動すると、ユーザＵの細かい顔のぶれにも追従してしまい、オブジェクトの視認性が悪化するおそれがある。この問題を防止するために、所定以上の高周波成分に対してはオブジェクトを表示部１０の姿勢変化に追従させず、所定未満の低周波成分に対してはオブジェクトの表示位置を視野Ｖ（ローカル座標系）に固定するようにしてもよい。上記所定周波数として、例えば、ユーザの顔ぶれに相当する周波数に設定される。これにより、ユーザの細かい顔ぶれの影響を受けることなく、画像の視認性を確保することができる。

【0101】

図１０Ａ及び図１０Ｂは、顔ぶれ補正機能を説明する概念図である。同図において、Ｖ１はある時点におけるローカル座標系を示し、Ｖ２は、Ｖ１に対応する顔ぶれ補正座標系を示す。ＯＰ及びＯＰ'は、Ｖ１及びＶ２の原点を示す。

【0102】

顔ぶれ補正機能が有効とされた場合、顔ぶれ補正座標系にオブジェクトが置かれる。顔ぶれ補正座標系は、視野Ｖのローカル座標系（ｘ，ｙ）に対してＰＤ制御で追従制御される。ＰＤ制御とは、フィードバック制御の一種であり、一般に、比例制御（Proportional Control）及び微分制御（Differential Control）を組み合わせて設定値に収束させる制御をいう。図１０Ａ，１０Ｂにおいて、視野Ｖと視野Ｖ'の間に各々接続されたバネ（ｐ）及びダンパ（ｄ）のうち、バネ（ｐ）がＰＤ制御のＰ成分に相当し、ダンパ（ｄ）がＰＤ制御のＤ成分に相当する。

【0103】

追従制御の計算方法の一例を挙げると、ある時点ｔでのローカル座標系Ｖ１にある点を（ｘ(t)，ｙ(t)）とし、それと対応する顔ぶれ補正座標系Ｖ２の点を（ｘ'(t)，ｙ'(t)）とする。さらにサンプル周期（Δｔ）前のローカル座標系Ｖ１の点を（ｘ(t−Δt)，ｙ(t−Δt)）とし、それと対応する顔ぶれ補正座標系Ｖ２の点を（ｘ'(t−Δt)，ｙ'(t−Δt)）とする。対応点の差分を（Δｘ(t)，Δｙ(t)）とすると、
Δｘ(t)＝ｘ'(t)−ｘ(t) …（３）
Δｙ(t)＝ｙ'(t)−ｙ(t) …（４）
と表され、対応点の速度差分を（Δｖx(t)，Δｖy(t)）とすると、
Δｖx(t)＝｛Δｘ'(t)−Δｘ'（t−Δt）｝−｛Δｘ(t)−Δｘ（t−Δt）｝…（５）
Δｖy(t)＝｛Δｙ'(t)−Δｙ'（t−Δt）｝−｛Δｙ(t)−Δｙ（t−Δt）｝…（６）
と表される。そのときに顔ぶれ補正座標系Ｖ１'がローカル座標系Ｖ１に追従移動すべき量（Δｐ(t)、Δｑ(t)）は、
Δｐ(t)＝Ｐx×Δｘ(t)＋Ｄx×Δｖx(t) …（７）
Δｑ(t)＝Ｐy×Δｙ(t)＋Ｄy×Δｖy(t) …（８）
と表される。
ここで、Ｐx、Ｐyはｘ、ｙに対する差分ゲイン定数、Ｄx、Ｄyはｘ、ｙに対する速度ゲイン定数である。

【0104】

ローカル座標系Ｖ１が回転した場合でも、顔ぶれ補正座標系Ｖ１'は回転成分には追従しない（図１０Ｂ）。すなわち、ユーザの前後方向の軸周りに顔を傾けた場合でもオブジェクトの傾きは規制されることになる。

【0105】

上述の各オブジェクト表示固定機能（１）〜（４）は、それぞれ個別に適用されてもよいし、各機能を適宜組み合わせて適用されてもよい。例えば、上記（１）〜（３）の何れか１つと上記（４）との組み合わせが適用可能である。

【0106】

＜領域制限機能＞
続いて、ＨＭＤ１００の領域制限機能について説明する。

【0107】

近年、シースルー型ヘッドマウントディスプレイにおいては、例えば、シースルー領域を確保しつつ、情報表示領域を制限したい場合がある。この場合、オブジェクト画像が視界に入りにくくなるおそれがある。そこで本実施形態では、オブジェクトの検索性を高める目的で、ワールド座標系の領域制限機能を有する。

【0108】

上述のように座標設定部３１１は、表示部１０を包囲する円筒座標Ｃ０におけるＺ軸方向に沿った領域（Ｈ）を視野Ｖの高さ方向の領域（Ｈｖ）に応じて制限することが可能な領域制限部としての機能を有する（図５Ａ参照）。円筒座標Ｃ０の高さＨを制限することにより、ユーザの水平視野内における画像の検索性及び視認性を向上させることができる。

【0109】

円筒座標Ｃ０の高さ方向の制限量は特に限定されず、本実施形態では、円筒座標Ｃ０の高さは、視野Ｖの高さＨｖと同一の高さ（Ｈ１）に制限される。表示制御部３１４は、当該領域制限機能が有効とされた場合には、領域制限された円筒座標Ｃ０内に各オブジェクトＢ１〜Ｂ４が位置するように、円筒座標系（θ，ｈ）のうち少なくともｈ座標を変更してオブジェクトＢ１〜Ｂ４を視野Ｖに表示することが可能に構成される。

【0110】

図１１Ａ及び図１１Ｂは、高さＨ１に領域制限された円筒座標Ｃ１に対応付けられたオブジェクトＢ１〜Ｂ４と視野Ｖとの相対位置関係を示す概略図である。ユーザＵは、Ｚ軸（鉛直軸）周りの姿勢変更だけで全ての方位に対応付けられたオブジェクトＢ１〜Ｂ４を視認することが可能となるため、オブジェクトＢ１〜Ｂ４の検索性が飛躍的に向上することになる。

【0111】

図１１Ａの例では、全てのオブジェクトＢ１〜Ｂ４を円筒座標Ｃ１内に配置されたが、これに限られず、必要に応じて、少なくとも１つのオブジェクトが円筒座標Ｃ１内に配置されてもよい。また円筒座標Ｃ１に配置されるオブジェクトＢ１〜Ｂ４の高さは特に限定されず、各々任意に設定可能である。

【0112】

さらに図１１の例では、オブジェクトＢ１〜Ｂ４の全体が円筒座標Ｃ１内に配置されたが、オブジェクトＢ１〜Ｂ４の少なくとも一部が視野Ｖに表示されるように構成されてもよい。これにより一定の方位に存在する当該画像を容易に認識することができる。この場合、入力操作部３０５等へのユーザＵによる入力操作によって、円筒座標Ｃ１の高さＨ１をこれよりも大きい高さに変更可能に構成されてもよい。これにより当該オブジェクトの全体を視認することができる。

【0113】

上述の領域制限機能を有効にするか無効にするかは、ユーザＵによる設定によって選択可能に構成されてもよい。本実施形態のＨＭＤ１００は、通常モードとして、ワールド座標系を円筒座標Ｃ１とする領域制限機能が有効な状態に設定されており、ユーザによる自発的な設定変更によって当該領域制限機能の変更（例えば高さＨの変更）あるいは無効状態への切り替えが可能に構成される。

【0114】

一方、制御ユニット３０は、ユーザＵの操作により生成される所定信号の入力を検出したときは、円筒座標における高さ方向の領域を視野Ｖの高さ方向の領域（Ｈｖ）に合わせて制限し、視野Ｖに表示されるオブジェクトをすべて視野Ｖにおいて同一の高さに揃える処理を実行可能に構成されてもよい。

【0115】

すなわち、領域制限機能が無効状態である場合、あるいはワールド座標系が円筒座標Ｃ１以外の円筒座標に設定されている場合において、ユーザＵによる入力操作部３０５等への入力操作によって、ワールド座標系を円筒座標Ｃ１に強制的に切り替えられる。そして更に、全てのオブジェクトＢ１〜Ｂ４が図１１Ｂに示すように視野Ｖにおいて同一の高さで表示される位置に各オブジェクトＢ１〜Ｂ４が円筒座標Ｃ１内に配置される。これにより視野に表示された画像の視認性の更なる向上を図ることができる。

【0116】

＜画像管理機能＞
続いて、ＨＭＤ１００の画像管理機能について説明する。

【0117】

上述のように本実施形態では、制御ユニット３０へのオブジェクトデータの送信に携帯情報端末２００が用いられる。携帯情報端末２００は、ユーザＵ（表示部１０）の位置を測位する位置情報取得部２０７と、制御ユニット３０のメモリ３０２へ格納すべき複数のオブジェクト（Ｂ１〜Ｂ４）をサーバＮ等から取得可能な送受信部２０３等を含む画像取得部を備える。

【0118】

本実施形態において制御ユニット３０は、携帯情報端末２００に対して、複数のオブジェクトデータの中から選択された１つ以上のオブジェクトデータの送信を要求し、携帯情報端末２００は、制御ユニット３０へ要求されたオブジェクトデータを送信する。

【0119】

ここで、表示部１０の視野Ｖへオブジェクトを円滑に描画する上で、携帯情報端末２００と制御ユニット３０との間の通信速度とレイテンシ（送信要求から実際に画像が送信されるまでの時間）が問題になる。本実施形態では、上記通信速度やレイテンシの問題を回避する目的で、制御ユニット３０（本例では画像管理部３１２）は以下のように構成されている。

【0120】

まず、制御ユニット３０は、あらかじめ必要な複数のオブジェクトデータを携帯情報端末２００から取得するように構成される。これにより、視野Ｖへのオブジェクトの描画タイミングを制御ユニット３０側で制御できるようになり、通信環境等によらずにユーザＵへ必要なオブジェクトを適切なタイミングで提供できるようになる。

【0121】

また制御ユニット３０は、円筒座標Ｃ０上の、視野Ｖの表示領域により近い座標位置に対応付けられたオブジェクトの優先的な送信を携帯情報端末２００に対して要求するように構成される。このように視野Ｖへ提示される可能性の高いオブジェクトデータを優先的に取得しておくことで、視野Ｖへのオブジェクト表示の遅延を阻止することができる。

【0122】

この際、画像管理部３１２は、まずワールド座標上にオブジェクトの配置位置に相当する単数又は複数のフレームを設定し、次いで、当該フレームに、優先度の高いオブジェクトを配置する処理を実行可能に構成される。なお、「ワールド座標上にフレームあるいはオブジェクトを配置する」とは、ワールド座標上にフレームあるいはオブジェクトを対応付けることを意味する。

【0123】

一例として、高さＨ１に領域制限された円筒座標Ｃ１にオブジェクトＢ３及びＢ４を配置する手順を図１２Ａ、図１２Ｂ及び図１３に示す。なお以下の手順は、領域制限されていない円筒座標Ｃ０あるいは他の３次元座標で構成されたワールド座標系にも同様に適用可能である。
本実施形態では、オブジェクトの画像データ（オブジェクトデータ）と当該オブジェクトの座標位置を定めるフレームデータの各々が、携帯情報端末２００から制御ユニット３０へ送信される。フレームデータは、オブジェクトデータよりもデータ量が少ないため、オブジェクトデータと比較して取得に時間を要さない。このため、先にフレームデータ取得の通信を行い、後から優先度順にオブジェクトデータ取得の通信を行う。

【0124】

（フレーム登録フェーズ）
まず、携帯情報端末２００は、制御ユニット３０へオブジェクトＢ３を配置するためのフレームＦ３の送信要否を確認し（ステップ１０１）、これに対して制御ユニット３０は、携帯情報端末２００へフレームＦ３の送信を要求する（ステップ１０２）。制御ユニット３０は、受信したフレームＦ３をメモリ３０２へ格納することで、フレームＦ３を円筒座標Ｃ１上の対応位置へ配置する。

【0125】

続いて、携帯情報端末２００は、制御ユニット３０へオブジェクトＢ４を配置するためのフレームＦ４の送信要否を確認し（ステップ１０３）、これに対して制御ユニット３０は、携帯情報端末２００へフレームＦ４の送信を要求する（ステップ１０４）。制御ユニット３０は、受信したフレームＦ４をメモリ３０２へ格納することで、フレームＦ４を円筒座標Ｃ１上の対応位置へ配置する。全フレームデータの送信後、携帯情報端末２００は制御ユニット３０へオブジェクトデータの送信許可を通知する（ステップ１０５）。

【0126】

（データ取得フェーズ）
制御ユニット３０は、上記オブジェクトデータの送信許可通知をトリガにデータ取得フェーズに移行する。具体的には例えば、制御ユニット３０は、検出部２０の出力に基づき、現在の視野Ｖ（表示部１０）の方位に最も近いフレーム（本例ではフレームＦ４）を判定し、そのフレームに属するオブジェクト（本例ではオブジェクトＢ４）の画像データの送信を要求する（ステップ１０６）。この要求を受けて、携帯情報端末２００は、制御ユニット３０へオブジェクトＢ４の画像データを送信する（ステップ１０７）。制御ユニット３０は、受信したオブジェクトＢ４の画像データをメモリ３０２へ格納することで、オブジェクトＢ４を円筒座標Ｃ１上のフレームＦ４内に配置する。

【0127】

続いて、制御ユニット３０は、フレームＦ４の次に視野Ｖの方位に近いフレーム（本例ではフレームＦ３）を判定し、そのフレームに属するオブジェクト（本例ではオブジェクトＢ３）の画像データの送信を要求する（ステップ１０８）。この要求を受けて、携帯情報端末２００は、制御ユニット３０へオブジェクトＢ３の画像データを送信する（ステップ１０９）。制御ユニット３０は、受信したオブジェクトＢ３の画像データをメモリ３０２へ格納することで、オブジェクトＢ３を円筒座標Ｃ１上のフレームＦ３内に配置する。

【0128】

以上のように、制御ユニット３０は、円筒座標Ｃ１上にあらかじめオブジェクトのフレームデータを登録しておくことで、現在の視野Ｖを基準とするオブジェクトの取得優先度を判定可能とし、その判定結果に基づいて、優先度の高い（視野Ｖに最も近い）オブジェクトから順次その画像データを取得するように構成される。

【0129】

ここで、オブジェクトがアニメーション画像の場合には、現在時刻とアニメーションフレーム時刻とを考慮して優先付けを行えばよい。例えば、制御ユニット３０は、当該アニメーション画像を構成する全画像の少なくとも一部の一括的な送信を携帯情報端末２００に対して要求するように構成される。このようにオブジェクトがアニメーション画像の場合であっても、そのフレームレートを考慮して必要な数の画像（例えば１秒後までの画像）をキャッシュしておくことで、動的に対応することができる。

【0130】

上述のようなシステムを構築するには、オブジェクトデータを保持するメモリ３０２の容量を大きくする必要が生じる。しかし、必要性が高いオブジェクトデータを優先的に保持し、必要性が低いデータを破棄する処理を動的に実施することで、全ては保持しきれないオブジェクトデータ量でも適切なオブジェクト表示が実現可能となる。なお破棄したデータは、必要性が出たら再取得すればよい。

【0131】

すなわち制御ユニット３０は、メモリ３０２に記憶されたオブジェクトのすべてについて、その座標位置と視野Ｖの表示領域との距離を定期的に評価し、視野Ｖの表示領域から最も遠い座標位置のオブジェクトをメモリ３０２から削除するように構成されてもよい。具体的には、円筒座標Ｃ１上の全オブジェクトと視野Ｖの現在方位との相対位置関係に基づいて、全オブジェクトの優先度を各々評価し、優先度の低いオブジェクトデータを消去する。これにより視野Ｖに近いオブジェクトデータの保存領域を確保することができる。

【0132】

優先度の評価方法は特に限定されず、例えば、円筒座標Ｃ１における視野Ｖの中心位置とオブジェクトの中心位置との間のピクセル数に基づいて評価することができる。またアニメーション画像の場合は、再生時刻に基づいた係数を評価値に乗じてもよい。

【0133】

［ＨＭＤの動作］
次に、以上のように構成される本実施形態に係るＨＭＤ１００を備えたＨＭＤシステムの動作の一例について説明する。

【0134】

図１４は、本実施形態に係るＨＭＤシステムの動作の概要を説明するフローチャートである。

【0135】

まず、携帯情報端末２００の位置情報取得部２０７を用いて、ユーザＵ（表示部１０）の現在位置が測定される（ステップ２０１）。表示部１０の位置情報は、サーバＮに送信される。そして携帯情報端末２００は、サーバＮから、ユーザＵの周囲の実空間に存在する所定の対象物に関連するオブジェクトデータを取得する（ステップ２０２）。

【0136】

次に、携帯情報端末２００は、制御ユニット３０へオブジェクトデータの送信準備ができたことを通知する。制御ユニット３０（本例では座標設定部３１１）は、オブジェクデータの種類等に応じてワールド座標系としての円筒座標Ｃ０の高さ（Ｈ）及び半径（Ｒ）を設定する（ステップ２０３）。

【0137】

この場合、座標設定部３１１は、表示部１０によって提供される視野Ｖの高さ（Ｈｖ）に応じた領域制限機能が有効な場合には、ワールド座標系を例えば図１２Ａに示す円筒座標Ｃ１に設定する。

【0138】

続いて、制御ユニット３０は、検出部２０の出力に基づいて視野Ｖの方位を検出し（ステップ２０４）、携帯情報端末２００からオブジェクトデータを取得してメモリ３０２へ格納する（ステップ２０５）。

【0139】

図１５は、制御ユニット３０によるオブジェクトデータの受信手順の一例を示すフローチャートである。

【0140】

制御ユニット３０は、携帯情報端末２００からのオブジェクトデータの送信許可確認を受信した後（ステップ３０１）、全オブジェクトのフレーム登録が完了したかどうかを判定する（ステップ３０２）。全オブジェクトのフレーム登録が完了しないとオブジェクトの座標位置が定まらず、また、オブジェクトの優先度の評価が不可能となるからである。フレーム登録が未完の場合は処理を終了し、上述した未完フレームの登録処理を実行する。

【0141】

一方、全オブジェクトのフレーム登録が完了しているときは、受信していないオブジェクトの有無とメモリ３０２の容量を確認する（ステップ３０３）。未登録オブジェクトがあり、かつメモリ容量が十分である場合は、当該未登録オブジェクトを受信しメモリ３０２へ格納する（ステップ３０４）。

【0142】

なお制御ユニット３０は、定期的にメモリ３０２内のオブジェクトの優先度を評価し、評価値の低いものは必要に応じて削除する。

【0143】

制御ユニット３０は、円筒座標Ｃ０における視野Ｖの対応領域に何れかのオブジェクトデータが存在する場合には、当該オブジェクトを視野Ｖの対応位置に表示部１０を介して表示（描画）する（ステップ２０６）。視野Ｖへのオブジェクトの表示に際しては、上述したオブジェクト表示固定機能の何れかが適用されてもよい。

【0144】

図１６は、制御ユニット３０による視野Ｖへのオブジェクトの描画手順の一例を示すフローチャートである。

【0145】

制御ユニット３０は、検出部２０の出力に基づいて現在の視野Ｖの方位を算出する（ステップ４０１）。視野Ｖの方位は、ワールド座標系（θ，ｈ）に換算されて、円筒座標Ｃ０上のどの位置に対応するかモニタリングされる。

【0146】

次に制御ユニット３０は、メモリ３０２に格納された全オブジェクトのうち、スキャンが未完了のオブジェクトがあるかどうか判定する（ステップ４０２）。上記スキャンは、画面更新毎にメモリ３０２に格納された全オブジェクトに対して行われる。

【0147】

スキャン未完了のオブジェクトがある場合、当該オブジェクトがワールド座標系のオブジェクトがどうか判定し（ステップ４０３）、「Ｎｏ」の場合は視野Ｖに当該オブジェクトを描画する（ステップ４０４）。

【0148】

一方、ステップ４０３において判定が「Ｙｅｓ」の場合には、続いて当該オブジェクトについて上記オブジェクト表示固定機能の何れか（例えば第１のグラブ機能）が適用されているかどうかを判定する（ステップ４０５）。当該機能が適用されている場合、所期の条件を満たした時点で当該オブジェクトを視野Ｖに固定表示する（ステップ４０６）。一方、何れの表示固定機能の適用がない場合には、視野Ｖがオブジェクト位置に入った時点で視野Ｖに当該オブジェクトを描画する（ステップ４０７）。

【0149】

以後、上述の処理が繰り返される。これにより表示部１０を介してユーザＵの現在位置に則した最新のオブジェクトをユーザＵへ提供することが可能となる。

【0150】

（適用例）
以下、本実施形態のＨＭＤ１００の適用例について説明する。

【0151】

［適用例１］
視野Ｖを介して提供される画像の表示形態が一様であると、それが表示する情報の属性（種類）によっては、ユーザにとって有用なものとならない場合がある。そのため、表示制御部３１４は、表示部１０と対象物Ａ１〜Ａ４との間の相対位置に関する情報を取得し、上記相対位置の変化に応じて視野Ｖに表示されている画像の表示形態を制御するように構成される。

【0152】

図１７は、対象物Ｔ２１に関連するオブジェクト（画像）Ｂ２１の表示形態を示している。対象物Ｔ２１は、例えば、街中の喫茶店であり、オブジェクトＢ２１は、対象物Ｔ２１に関連する情報として、特定のクーポンが利用可能であることを表示している。このような文字情報等を含むオブジェクトは、ユーザと対象物との距離に関係なく、一定の大きさで表示させたい場合がある。

【0153】

本例では、表示制御部３１４は、検出部２０および携帯情報端末３０を介して、表示部１０と対象物Ｔ２１との間の相対位置に関する情報として、表示部１０と対象物Ｔ２１との間の相対距離に関する情報を取得する。そして、表示制御部３１４は、上記相対距離の変化に応じて、視野Ｖに表示されているオブジェクトＢ２１の位置を変化させるように構成される。

【0154】

これにより、対象物Ｔ２１がユーザから遠く離れている場合においても、ユーザは当該対象物Ｔ２１に関連する情報を視認することができるとともに、オブジェクトＢ２１の指標位置を手掛かりに対象物Ｔ２１の位置を把握することができる。さらに、ユーザと対象物Ｔ２１との距離が近づくにつれて、視野Ｖにおける対象物Ｔ２１の大きさや位置も変化する。このときオブジェクトＢ２１の表示位置も変化するため、ユーザは容易に対象物Ｔ２１の場所を特定することができる。

【0155】

オブジェクトＢ２１の表示位置の変更は、例えば、ユーザと対象物との間の距離が所定以上変化したときに実行される。例えば、ユーザと対象物との間の相対距離が所定以上（例えば１０ｍ以上）変化したときに、視野ＶへのオブジェクトＢ２１の再表示（再レンダリング）が実行される。これにより、常に所定の微小時間間隔でオブジェクトの再表示を実行する場合と比較して、制御ユニット３０における演算等の処理の負担軽減を実現することができる。

【0156】

一方、図１８は、対象物Ｔ２２に関連するオブジェクト（画像）Ｂ２２の表示形態の変化を示している。本例において、表示制御部３１４は、表示部１０と対象物Ｔ２２との間の相対距離の変化に応じて、視野Ｖに表示されているオブジェクトＢ２１の位置および大きさを変化させるように構成される。

【0157】

本例では、ユーザと対象物との間の距離に応じて数段階の表示レベルを有する。図１８は、同一のオブジェクトＢ２２が、対象物Ｔ２２へユーザが近づくにつれて、段階的に右方へ拡大しながら移動する様子を示している。先に表示されたオブジェクトは、後のオブジェクトの表示に伴い消失する。上記表示レベルの変化には、オブジェクトの表示位置の位置または大きさのみが変化する段階が含まれてもよい。

【0158】

このようなオブジェクトの表示形態によれば、ユーザの近くに存在する対象物に関連する情報を、ユーザから離れた位置に存在する対象物に関連する情報よりも優先して、視野Ｖに表示させることができる。なお、視野Ｖに表示されるオブジェクトの優先度は、距離情報以外にも、他の属性の表示情報（目的地情報、更新情報、地名情報）が基準パラメータとされてもよい。

【0159】

図１９は、対象物Ｔ２３に関連するオブジェクト（画像）Ｂ２３の表示形態を示している。本例において、オブジェクトＢ２３は、三次元画像であり、表示制御部３１４は、検出部２０および携帯情報端末３０を介して、表示部１０と対象物Ｔ２３との間の相対位置に関する情報として、対象物Ｔ２３を中心とする表示部１０の角度位置に関する情報を取得する。そして、表示制御部３１４は、上記角度位置の変化に応じて、視野Ｖに表示されているオブジェクトＢ２１の向きを三次元的に変化させるように構成される。

【0160】

このようなオブジェクトの表示形態によれば、例えば、ユーザが対象物Ｔ２３のまわりを歩くことで、オブジェクトＢ２３が水平面内で回転する様子を表示することができる。例えば、対象物Ｔ２３が歴史上の旧跡あるいは史跡である場合、オブジェクトＢ２３として、当時の状態が３次元的に描画されてもよいし、対象物Ｔ２３が建物の建設予定地の場合、オブジェクトＢ２３として、完成予定の建物が描画されてもよい。

【0161】

この場合、メモリ３０２は、所定の対象物に関連する複数の画像を記憶し、表示制御部３１４は、ユーザの操作に応じて視野Ｖに表示すべき画像を複数の画像から選択するように構成される。

【0162】

例えば図２０に示すように、対象物Ｔ２４がある観光地における城跡の場合、視野Ｖに当該城跡に関する情報を含むオブジェクトＢ２４が表示される。オブジェクトＢ２４は、当時の城の様子を再現した画像があることを所定の態様で表示する。そして、ユーザによる入力操作部３０５の操作により、オブジェクトＢ２４が、図２１に示すように当時の城の様子を再現したオブジェクトＢ２４ａに切り替えられる。あるいは、オブジェクトＢ２４が、上記操作により、当時よりも過去の城の様子や位置を再現したオブジェクトＢ２４ｂに切り替えられる。

【0163】

なお、オブジェクトＢ２４ａ，Ｂ２４ｂの画像データは、例えば、自治体のサーバからダウンロード可能な観光地アプリケーションを携帯情報端末２００にインストールすることで取得される。

【0164】

［適用例２］
視野Ｖに複数の画像が表示されると、かえって画像の視認性を妨げ、ユーザに適切な情報提示を行うことができない場合がある。そのため、表示制御部３１４は、ユーザにより設定された少なくとも１つの表示条件に適合する情報を含む画像をメモリ３０２（記憶部）から抽出し、抽出した画像を視野Ｖに選択的に表示するように構成される。

【0165】

本例においては、オブジェクトの属性パラメータを利用してフィルタリングが行われ、円筒座標Ｃ０に投影（描画）するものとしないものとが決定される。オブジェクトの属性パラメータとしては、例えば、以下のものが挙げられる。
（１）ユーザからの距離（例：１００ｍ以内にあるオブジェクト）
（２）重要度（例：目的地、友人の現在地、渋滞情報）
（３）カテゴリ（例：観光スポット、コンビニエンスストア）
（４）更新時間（例：掲示板情報）
（５）歴史時間（例：時間情報を基準にピックアップされた史跡）

【0166】

フィルタリングの利用方法としては、例えば、予め用意されたシナリオモードにフィルタリング条件が登録され、当該フィルタリング条件に適合するオブジェクトのみを視野Ｖに表示可能とされる。シナリオモード、フィルタリング条件は、ユーザによって例えば携帯情報端末２００に入力される。

【0167】

シナリオモード例としては、例えば以下のものが挙げられる。
（ａ）観光モード（例：半径１ｋｍ以内の観光スポットを表示）
（ｂ）史跡探索モード（例：半径１０ｋｍ以内の江戸時代に存在した史跡を表示）
（ｃ）新情報表示モード（例：半径１０ｋｍ以内の更新日時が新しいものを２０個表示）
（ｄ）友人探索モード（例：近くにいる友人５人を表示）

【0168】

例えば、上記（ａ）は、フィルタリング条件として、上記属性パラメータ（１）と（３）が入力される。同様に、上記（ｂ）の場合は（１）と（５）、上記（ｃ）の場合は（１）と（４）、上記（ｄ）の場合は（１）と（２）が、それぞれフィルタリング条件として入力される。

【0169】

図２３は、制御ユニット３０（表示制御部３１４）において実行される処理のフローチャートである。

【0170】

制御ユニット３０は、メモリ３０２に格納されたオブジェクトから、入力されたフィルタリング条件（表示条件）に適合するオブジェクトを抽出し、それを円筒座標Ｃ０に投影する（ステップ５０１，５０２）。続いて、制御ユニット３０は、前回のオブジェクト投影時からのユーザの移動距離を算出し、それが所定以上（例えば１０ｍ以上）である場合には円筒座標Ｃ０にオブジェクトを再投影する（ステップ５０３，５０１，５０２）。以上の処理は、当該シナリオモードが終了するまで繰り返し実行される。

【0171】

オブジェクトの再投影は、同一オブジェクトの位置あるいは大きさの変更、新しいオブジェクトの投影等を含む。

【0172】

（表示制御例１）
図２４は、例えば、シナリオモードとしてカーナビゲーションアプリを設定したときのオブジェクトの表示例を示している。ここでは、フィルタリング条件として、別の車に乗車した友人の位置、目的地情報、道路の信号名が入力された例を説明する。

【0173】

視野Ｖにはユーザが搭乗した車から見た対象物に関連する種々のオブジェクトが表示される。対象物としては、友人の車、信号機、目的地が含まれ、これらに関連するオブジェクトとして、友人の車の位置情報（Ｂ２５１）、交差点名（信号名）（Ｂ２５２）、目的地の位置および距離情報（Ｂ２５３）が表示される。オブジェクトＢ２５１は、ユーザの携帯情報端末２００に入力された、友人が装着するＨＭＤのＩＤ等に基づいて表示される。

【0174】

交差点名に関するオブジェクトＢ２５２の対象としては、距離条件として、例えばユーザからの距離が１００ｍ以内に存在する交差点（信号機）が設定される。一方、友人の車や目的地に関するオブジェクトＢ２５１、Ｂ２５３に関しては、重要情報であるため、上記距離条件は適用しないようにすることができる。

【0175】

制御ユニット３０は、ユーザの位置情報に基づいて、オブジェクトＢ２５１〜Ｂ２５３を視野Ｖに表示する。制御ユニット３０は、オブジェクトＢ２５１〜Ｂ２５３を表示してからユーザの移動距離をモニタリングし、それが所定の距離（例えば１０ｍ）以上になると、オブジェクトＢ２５１〜Ｂ２５３の位置や大きさを変更するため、あるいは次の交差点名を含むオブジェクトを表示するため、視野Ｖのオブジェクトを更新する。このような表示制御は、ユーザが目的地に到着するまで繰り返し実行される。

【0176】

（表示制御例２）
一方、視野Ｖに表示されるオブジェクトが多すぎたり、オブジェクト同士が重なって表示されたりすると、ユーザにとって有用なオブジェクトの識別あるいは視認が困難になる場合がある。そこで、制御ユニット３０（表示制御部３１４）は、視野Ｖに表示すべき画画像が複数の画像を含むとき、当該複数の画像各々を交互に表示するように構成されてもよい。

【0177】

例えば図２５Ａ，Ｂに示すように、交差点名を表示するオブジェクトＢ２５２と、友人の車情報や目的地情報を表示するオブジェクトＢ２５１、Ｂ２５３とが所定時間ずつ交互に表示されてもよい。これにより、視野Ｖにおける各オブジェクトの視認性、識別性を高めることができる。

【0178】

各オブジェクトが相互に重ならないように各々の表示位置をずらして表示してしまうと、どのオブジェクトがどの対象物に関する情報かを識別するのが困難になる場合がある。本例によれば、各オブジェクトの表示タイミングを時間方向にずらすことで、オブジェクトの視認性、識別性を確保するようにしている。

【0179】

また同時に表示されるオブジェクトのグループは、属性パラメータ毎に分類されてもよい。これによりオブジェクトの一覧性が確保されるため、ユーザにとって優位な情報を人目で確認することができる。

【0180】

さらに視野Ｖにおけるオブジェクトの数、重なり量に応じて、表示されるオブジェクトのグループや、交代表示されるオブジェクトのグループが決定されてもよい。例えば、混み合ってない場所では交差点名と建物名を同時に表示し、混み合った場所では、交差点名と建物名とを時間的にずらして表示するようにしてもよい。

【0181】

＜第２の実施形態＞
続いて、本技術の第２の実施形態について説明する。以下、第１の実施形態と異なる構成について主に説明し、上述の実施形態と同様の構成についてはその説明を省略または簡略化する。

【0182】

本実施形態に係るヘッドマウントディスプレイは、ユーザの頭部に装着可能に構成されユーザに実空間の視野を提供可能な表示部と、上記表示部の方位を検出する検出部と、上記検出部の出力に基づいて画像を上記視野に表示する表示制御部とを備える。
上記表示制御部は、上記方位が第１の所定角度以上変化したときは、上記方位の変化に応じて上記画像を前記視野内で移動させる。
上記表示制御部は、上記方位の変化が上記第１の所定角度未満のときは、上記視野における上記画像の表示位置を固定する。

【0183】

上記表示部および検出部は、第１の実施形態で説明した表示部１０および検出部２０にそれぞれ相当する。上記表示制御部は、第１の実施形態で説明したオブジェクト表示固定機能（（１）ノンストリクト属性の導入）を有する表示制御部３１４に相当する。

【0184】

すなわち本実施形態のヘッドマウントディスプレイは、ワールド座標が円筒座標に限定されない他の任意の座標系に適用可能である。本実施形態においても第１の実施形態と同様な作用効果を得ることができる。すなわち、視野にオブジェクトが入った状態を容易に維持することができるため、ユーザの不用意な姿勢変化に起因するオブジェクトの移動を規制し、オブジェクトの視認性を高めることができる。

【0185】

なお本実施形態においても、第１の実施形態と同様に、領域制限機能および画像管理機能の少なくとも１つを備えていてもよい。

【0186】

＜第３の実施形態＞
続いて、本技術の第３の実施形態について説明する。以下、第１の実施形態と異なる構成について主に説明し、上述の実施形態と同様の構成についてはその説明を省略または簡略化する。

【0187】

本実施形態に係るヘッドマウントディスプレイは、ユーザの頭部に装着可能に構成されユーザに実空間の視野を提供可能な表示部と、上記表示部の方位を検出する検出部と、上記検出部の出力に基づいて画像を上記視野に表示する表示制御部とを備える。
上記表示制御部は、上記検出部の出力変化が所定時間にわたって所定以下のときは、上記画像を前記視野の所定位置に移動させる。
または、上記表示制御部は、ユーザの操作により生成される所定信号の入力を検出したときは、上記画像を上記視野の所定位置に移動させる。

【0188】

上記表示部および検出部は、第１の実施形態で説明した表示部１０および検出部２０にそれぞれ相当する。上記表示制御部は、第１の実施形態で説明したオブジェクト表示固定機能（（２）第１のグラブ機能、または、（３）第２のグラブ機能）を有する表示制御部３１４に相当する。

【0189】

すなわち本実施形態のヘッドマウントディスプレイは、ワールド座標が円筒座標に限定されない他の任意の座標系に適用可能である。本実施形態においても第１の実施形態と同様な作用効果を得ることができる。すなわち、視野にオブジェクトが入った状態を容易に維持することができるため、ユーザの不用意な姿勢変化に起因するオブジェクトの移動を規制し、オブジェクトの視認性を高めることができる。

【0190】

なお本実施形態においても、第１の実施形態と同様に、領域制限機能および画像管理機能の少なくとも１つを備えていてもよい。

【0191】

＜第４の実施形態＞
続いて、本技術の第４の実施形態について説明する。以下、第１の実施形態と異なる構成について主に説明し、上述の実施形態と同様の構成についてはその説明を省略または簡略化する。

【0192】

本実施形態に係るヘッドマウントディスプレイは、ユーザの頭部に装着可能に構成されユーザに実空間の視野を提供可能な表示部と、上記表示部の方位を検出する検出部と、上記検出部の出力に基づいて画像を上記視野に表示する表示制御部を備える。
上記表示制御部は上記視野の所定位置に上記画像が表示されている状態において、上記検出部の出力変化が所定周波数以上のときは、上記検出部の出力のうち上記所定周波数以上の周波数成分を無効とする。

【0193】

上記表示部および検出部は、第１の実施形態で説明した表示部１０および検出部２０にそれぞれ相当する。上記表示制御部は、第１の実施形態で説明したオブジェクト表示固定機能（（４）顔ぶれ補正機能）を有する表示制御部３１４に相当する。

【0194】

すなわち本実施形態のヘッドマウントディスプレイは、ワールド座標が円筒座標に限定されない他の任意の座標系に適用可能である。本実施形態においても、上述の第１の実施形態と同様の作用効果を得ることができる。すなわち、ユーザの細かい顔ぶれの影響を受けることなく、画像の視認性を確保することができる。

【0195】

なお本実施形態においても、第１の実施形態と同様に、領域制限機能および画像管理機能の少なくとも１つを備えていてもよい。

【0196】

＜第５の実施形態＞
続いて、本技術の第５の実施形態について説明する。以下、第１の実施形態と異なる構成について主に説明し、上述の実施形態と同様の構成についてはその説明を省略または簡略化する。

【0197】

本実施形態に係るヘッドマウントディスプレイは、表示部と、検出部と、制御ユニットとを備える。上記表示部は、ユーザの頭部に装着可能であり、ユーザに実空間の視野を提供可能に構成される。上記検出部は、上記表示部の少なくとも一軸周りの方位を検出する。上記第１の制御ユニットは、記憶部と、表示制御部とを有する。上記記憶部は、上記視野に存在する所定の対象物に関連する情報を含む画像を、上記表示部を包囲する３次元座標に対応付けて記憶する。上記表示制御部は、上記検出部の出力に基づいて上記方位に対応する上記３次元座標上の画像を上記視野に表示するように構成される。

【0198】

上記表示部および検出部は、第１の実施形態で説明した表示部１０および検出部２０にそれぞれ相当する。上記記憶部は、第１の実施形態で説明したメモリ３０２に相当する。上記表示制御部は、第１の実施形態で説明した表示制御部３１４に相当する。

【0199】

すなわち本実施形態のヘッドマウントディスプレイは、ワールド座標が円筒座標に限定されない他の任意の座標系に適用可能である。本実施形態においても、上述の第１の実施形態と同様の作用効果を得ることができる。

【0200】

本実施形態において表示制御部は、上記記憶部に記憶された所定の画像を、上記視野の上記一軸方向に沿った表示範囲に収まる座標値に変換して、上記視野に表示するように構成されてもよい。これにより視野Ｖの高さに追従したオブジェクトの描画制御が可能となり、第１の実施形態で説明した領域制限機能と同様の作用効果を得ることができる。

【0201】

例えば領域制限機能が無効とされた表示モードにおいては、図２６に示すように円筒座標におけるオブジェクトＢ１１，Ｂ１２の高さ座標が視野Ｖの表示範囲を越えている場合、ユーザＵは水平面内における姿勢変化ではオブジェクトＢ１１，Ｂ１２を視野Ｖに表示させることができない。

【0202】

一方、視野Ｖの高さに追従したオブジェクトの画像制御の場合は、視野Ｖの高さ方向の領域制限に追従してオブジェクトＢ１１，Ｂ１２の高さ座標も制限されることになる。その結果、図２７Ａに示すように、オブジェクトＢ１１，Ｂ１２は視野Ｖの表示領域内に入るように高さ座標が変更され、ユーザＵの水平面内における姿勢変化のみで各方位に対応するオブジェクトＢ１１，Ｂ１２を視野Ｖに表示させることが可能となる。

【0203】

また、図２７Ｂおよび図２７Ｃに示すように、視野Ｖが高さ方向に変化したときもオブジェクトＢ１１，Ｂ１２の高さ座標も視野Ｖの高さ座標に追従して変更されることになり、ユーザが上方あるいは下方を見ながら周囲を見渡したときも、オブジェクトＢ１１，Ｂ１２の視認が可能となる。

【0204】

以上のように視野Ｖの高さに追従するオブジェクトは、円筒座標Ｃ０上のすべてのオブジェクトであってもよいし、その一部のオブジェクトであってもよい。例えば、このようなオブジェクトの選定は、ユーザによって行われてもよいし、重要情報を表示するオブジェクトが優先的に選択されてもよい。

【0205】

以上、本技術の実施形態について説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

【0206】

例えば以上の実施形態では、ＨＭＤに本技術を適用した例を説明したが、ＨＭＤ以外の画像表示装置として、例えば、車両の運転席や航空機等のコックピットに搭載されるヘッドアップディスプレイ（ＨＵＤ）にも本技術は適用可能である。

【0207】

また以上の実施形態では、シースルー型（透過型）のＨＭＤへの適用例を説明したが、非透過型のＨＭＤにも本技術は適用可能である。この場合、表示部に装着したカメラで撮像された外界視野に、本技術に係る所定のオブジェクトを表示すればよい。

【0208】

さらに以上の実施形態では、ＨＭＤ１００は、実空間に存在する所定の対象物に関連する情報を含むオブジェクトを視野Ｖに表示するように構成されたが、これに限られず、ユーザＵの現在位置や進行方向に基づいて行先案内表示等が視野Ｖに表示されてもよい。

【0209】

なお、本技術は以下のような構成も採ることができる。
（１）ユーザの頭部に装着可能に構成され、ユーザに実空間の視野を提供可能な表示部と、
前記表示部の少なくとも一軸周りの方位を検出する検出部と、
前記表示部を包囲する３次元座標における前記視野の前記一軸方向に沿った表示領域を制限することが可能な領域制限部と、前記視野に存在する所定の対象物に関連する情報を含む画像を前記３次元座標に対応付けて記憶する記憶部と、前記検出部の出力に基づいて前記方位に対応する前記３次元座標上の画像を前記視野に表示するように構成された表示制御部と、を有する第１の制御ユニットと
を具備するヘッドマウントディスプレイ。
（２）上記（１）に記載のヘッドマウントディスプレイであって、
前記表示制御部は、前記表示部と前記所定の対象物との間の相対位置に関する情報を取得し、前記相対位置の変化に応じて前記視野に表示されている画像の表示形態を制御する
ヘッドマウントディスプレイ。
（３）上記（２）に記載のヘッドマウントディスプレイであって、
前記相対位置に関する情報は、前記表示部と前記所定の対象物との間の相対距離に関する情報を含み、
前記表示制御部は、前記相対距離の変化に応じて、前記視野に表示されている画像の位置および大きさの少なくとも一方を変化させる
ヘッドマウントディスプレイ。
（４）上記（２）に記載のヘッドマウントディスプレイであって、
前記相対位置に関する情報は、前記所定の対象物を中心とする前記表示部の角度位置に関する情報を含み、
前記表示制御部は、前記角度位置の変化に応じて、前記視野に表示されている画像の向きを三次元的に変化させる
ヘッドマウントディスプレイ。
（５）上記（２）に記載のヘッドマウントディスプレイであって、
前記表示制御部は、ユーザにより設定された少なくとも１つの表示条件に適合する情報を含む画像を前記記憶部から抽出し、抽出した前記画像を前記視野に選択的に表示する
ヘッドマウントディスプレイ。
（６）上記（５）に記載のヘッドマウントディスプレイであって、
前記表示制御部は、前記視野に表示すべき画像が複数の画像を含むとき、前記複数の画像各々を交互に表示する
ヘッドマウントディスプレイ。
（７）上記（５）に記載のヘッドマウントディスプレイであって、
前記記憶部は、前記所定の対象物に関連する複数の画像を記憶し、
前記表示制御部は、ユーザの操作に応じて前記視野に表示すべき画像を前記複数の画像から選択する
ヘッドマウントディスプレイ。
（８）上記（１）〜（７）のいずれか１つに記載のヘッドマウントディスプレイであって、
前記検出部は、前記表示部の鉛直軸周りの方位を検出し、
前記領域制限部は、鉛直軸周りの円筒座標における高さ方向の領域を前記視野の縦方向の領域に応じて制限する
ヘッドマウントディスプレイ。
（９）上記（１）〜（８）のいずれか１つに記載のヘッドマウントディスプレイであって、
前記表示制御部は、
前記方位が第１の所定角度以上変化したときは、前記方位の変化に応じて前記画像を前記視野内で移動させ、
前記方位の変化が前記第１の所定角度未満のときは、前記視野における前記画像の表示位置を固定する
ヘッドマウントディスプレイ。
（１０）上記（１）〜（９）のいずれか１つに記載のヘッドマウントディスプレイであって、
前記表示制御部は、前記検出部の出力変化が所定時間にわたって所定以下のときは、前記画像を前記視野の所定位置に移動させる
ヘッドマウントディスプレイ。
（１１）上記（１）〜（１０）のいずれか１つに記載のヘッドマウントディスプレイであって、
前記表示制御部は、ユーザの操作により生成される所定信号の入力を検出したときは、前記画像を前記視野の所定位置に移動させる
ヘッドマウントディスプレイ。
（１２）上記（１）〜（１１）のいずれか１つに記載のヘッドマウントディスプレイであって、
前記表示制御部は、前記視野の所定位置に前記画像が表示されている状態において、前記検出部の出力変化が所定周波数以上のときは、前記検出部の出力のうち前記所定周波数以上の周波数成分を無効とする
ヘッドマウントディスプレイ。
（１３）上記（１）〜（１２）のいずれか１つに記載のヘッドマウントディスプレイであって、
前記第１の制御ユニットは、ユーザの操作により生成される所定信号の入力を検出したときは、前記３次元座標における高さ方向の領域を前記視野の前記一軸方向の領域に合わせて制限し、前記視野に表示される画像をすべて前記視野において同一の高さに揃える
ヘッドマウントディスプレイ。
（１４）上記（１）〜（１３）のいずれか１つに記載のヘッドマウントディスプレイであって、
前記画像は、アニメーション画像を含む
ヘッドマウントディスプレイ。
（１５）上記（１）〜（１４）のいずれか１つに記載のヘッドマウントディスプレイであって、
前記記憶部に記憶される複数の画像を取得する画像取得部を有する第２の制御ユニットをさらに具備する
ヘッドマウントディスプレイ。
（１６）上記（１５）のいずれか１つに記載のヘッドマウントディスプレイであって、
前記第１の制御ユニットは、前記第２の制御ユニットに対して、前記複数の画像の中から選択された１つ以上の画像の送信を要求する
ヘッドマウントディスプレイ。
（１７）上記（１５）または（１６）に記載のヘッドマウントディスプレイであって、
前記第１の制御ユニットは、前記３次元座標上の、前記視野の表示領域により近い座標位置に対応付けられた画像の優先的な送信を前記第２の制御ユニットに対して要求する
ヘッドマウントディスプレイ。
（１８）上記（１５）〜（１７）のいずれか１つに記載のヘッドマウントディスプレイであって、
前記第２の制御ユニットは、前記表示部の位置情報を取得可能な位置情報取得部をさらに有し、
前記画像取得部は、前記第１の制御ユニットへ送信可能な前記位置情報に対応する画像を取得する
ヘッドマウントディスプレイ。

【符号の説明】

【0210】

１０…表示部
１１Ｒ，１１Ｌ…表示面
１２Ｒ，１２Ｌ…画像生成部
２０…検出部
３０…制御ユニット
１００…ヘッドマウントディスプレイ（ＨＭＤ）
２００…携帯情報端末
３１１…座標設定部
３１２…画像管理部
３１３…座標判定部
３１４…表示制御部
Ａ１〜Ａ４…対象物
Ｂ、Ｂ１〜Ｂ４…オブジェクト
Ｃ０，Ｃ１…円筒座標（ワールド座標）
Ｖ…視野
Ｕ…ユーザ

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6A】

【図6B】

【図7】

【図8】

【図9A】

【図9B】

【図10A】

【図10B】

【図11A】

【図11B】

【図12A】

【図12B】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25A】

【図25B】

【図26】

【図27A】

【図27B】

【図27C】