特開 2023-104319 画像表示装置および画像表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023104319

(43)【公開日】2023-07-28

(54)【発明の名称】画像表示装置および画像表示方法

(51)【国際特許分類】

   G02B 27/02 20060101AFI20230721BHJP

   H04N 5/64 20060101ALI20230721BHJP

   H04N 5/74 20060101ALI20230721BHJP

【ＦＩ】

G02B27/02 Z

H04N5/64 511A

H04N5/74 A

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022005236

(22)【出願日】2022-01-17

(71)【出願人】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(74)【代理人】

【識別番号】100109081

【弁理士】

【氏名又は名称】三木 友由

(74)【代理人】

【識別番号】100134256

【弁理士】

【氏名又は名称】青木 武司

(72)【発明者】

【氏名】小泉 誠

【テーマコード（参考）】

2H199

5C058

【Ｆターム（参考）】

2H199CA07

2H199CA29

2H199CA34

2H199CA42

2H199CA45

2H199CA47

2H199CA92

2H199CA94

2H199CA96

5C058AA18

5C058BA31

5C058BA35

5C058EA01

5C058EA05

5C058EA13

5C058EA32

5C058EA54

(57)【要約】

【課題】高精細、広視野の画像を、違和感なく容易に視認させる。
【解決手段】
画像平面２００において、中心部分を含む領域２１２ａを、その外側の領域２１４ａより高い解像度で表す。領域２１２ａは、レーザ光源２２０からの光をミラー２２２で反射させ２次元走査させることにより画像を投影するレーザ走査方式で表す。領域２１２ａは、注視点２０２ａが画像中心にあるときを基準とし、中心からの移動に伴い領域２１２ｂが拡張するように、ミラー２２２の角度の振幅を制御する。
【選択図】図２

【特許請求の範囲】

【請求項1】

表示画像のうち、画像平面における中心部分を表す中心画像を生成する中心画像生成部と、
前記表示画像のうち、前記中心画像の外側の領域を表す周辺画像を生成する周辺画像生成部と、
画素を表すレーザ光を、ミラーの反射により２次元走査させて画像を投影するレーザ走査方式により、前記中心画像を表す中心画像出力部と、
前記周辺画像を表示する周辺画像出力部と、
前記中心画像と前記周辺画像を合成して視認させる画像合成部と、
を備えたことを特徴とする画像表示装置。

【請求項2】

前記中心画像のサイズを制御する中心画像サイズ制御部をさらに備え、
前記中心画像出力部は、前記中心画像サイズ制御部が決定した中心画像のサイズに応じて、前記ミラーの角度の振幅を変化させることを特徴とする請求項１に記載の画像表示装置。

【請求項3】

表示画像に対するユーザの注視点を取得する注視点取得部をさらに備え、
前記中心画像サイズ制御部は、前記注視点が前記中心画像に含まれるように、前記注視点が画像平面の中心から離れるに従い、前記中心画像を拡張させることを特徴とする請求項２に記載の画像表示装置。

【請求項4】

前記中心画像サイズ制御部は、前記注視点が、前記中心画像出力部が表示可能な範囲の上限を超えた状態において、前記中心画像のサイズを、当該上限に設定することを特徴とする請求項３に記載の画像表示装置。

【請求項5】

前記画像合成部は、前記中心画像出力部が表す像と前記周辺画像出力部が表す像の一方を透過させ、他方を反射させることにより、両者を合成するハーフミラーを含むことを特徴とする請求項１から４のいずれかに記載の画像表示装置。

【請求項6】

前記中心画像出力部は、前記ミラーにおいて反射したレーザ光を拡散透過させるスクリーンを含み、
前記画像合成部は、前記スクリーンを拡散透過してなる像を、前記ハーフミラーにより、前記周辺画像出力部が表す像と合成することを特徴とする請求項５に記載の画像表示装置。

【請求項7】

前記中心画像出力部は、マックスウェル視により視認される前記中心画像を表すレーザ光をユーザの目の方向に投影し、
前記画像合成部は、前記ハーフミラーで、前記レーザ光を透過させるとともに、前記周辺画像出力部が表す像を反射させることにより、両者を合成して視認させることを特徴とする請求項５に記載の画像表示装置。

【請求項8】

前記周辺画像出力部は、非表示領域において背景の光を透過する光透過型ディスプレイにより前記周辺画像を表示し、
前記中心画像出力部は、前記ミラーにおいて反射したレーザ光を、前記光透過型ディスプレイの対応する領域に投影して拡散透過させることを特徴とする請求項１から４のいずれかに記載の画像表示装置。

【請求項9】

前記光透過型ディスプレイからの光を透過させるとともに、ユーザの眼球の像を反射させるハーフミラーと、
前記ハーフミラーで反射してなる前記眼球の像を撮影し注視点を取得するためのカメラと、
をさらに備えたことを特徴とする請求項８に記載の画像表示装置。

【請求項10】

前記中心画像出力部は、前記ミラーにおいて反射したレーザ光を拡散透過させるスクリーンを含み、
前記画像合成部は、前記スクリーンを拡散透過してなる像と、前記周辺画像出力部が表す像とを、画像平面上の対応する位置に誘導する自由曲面光学系により、両者の像を合成することを特徴とする請求項１から４のいずれかに記載の画像表示装置。

【請求項11】

ユーザの眼球の正面方向に、当該眼球を撮影し注視点を取得するためのカメラをさらに備え、前記スクリーンおよび、前記周辺画像出力部を構成するディスプレイパネルは、前記カメラの周囲に配置されることを特徴とする請求項１０に記載の画像表示装置。

【請求項12】

表示画像のうち、画像平面における中心部分を表す中心画像を生成するステップと、
前記表示画像のうち、前記中心画像の外側の領域を表す周辺画像を生成するステップと、
画素を表すレーザ光を、ミラーの反射により２次元走査させて画像を投影するレーザ走査方式の中心画像出力部により、前記中心画像を表すステップと、
周辺画像出力部により、前記周辺画像を表示するステップと、
前記中心画像と前記周辺画像を合成して視認させるステップと、
を含むことを特徴とする画像表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザに画像を視認させる画像表示装置および画像表示方法に関する。

【背景技術】

【0002】

対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えばヘッドマウントディスプレイにパノラマ映像を表示し、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると視線方向に応じたパノラマ画像が表示されるようにしたシステムが開発されている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させたりすることもできる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。

【0003】

映像体験の質を高めるには、広い視野の画像を高精細に表現することが求められる。ところが解像度や視野角を拡張するほど処理すべき画像のデータサイズが増大し、処理や転送に時間を要する結果、表示までの遅延が生じやすくなる。そこで、視野の中心から端に至るほど視力が低下する人の視覚特性を利用し、中心領域とその外側で画像の解像度に差を設け、視認上の画質を維持しつつ処理の無駄を軽減させる技術が提案されている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】米国特許第１０１４０６９５号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

ヘッドマウントディスプレイに限らず画像表示技術の分野において、広い視野で精細な画像を低遅延に表示できるようにすることは常に共通の課題である。例えば特許文献１の技術の場合、中心領域とそれ以外の領域で個別にディスプレイを設け、表示解像度に明確な差を与えることにより、処理リソースの適切な分配が容易になる。一方で、個別に表された解像度の異なる画像が合成されることにより、境界線が不自然に見えユーザに違和感を与えてしまう問題が生じ得る。これを解消するには、データ上で解像度を滑らかつなぐことが考えられるが、画像加工の処理が別途必要となる。高解像度の領域をユーザの注視点に連動させる場合は特に、変動する領域の切り取りや解像度調整のため、看過できない処理時間が生じることが考えられる。

【0006】

本発明はこうした課題に鑑みてなされたものであり、その目的は、高精細、広視野の画像を、違和感なく容易に視認させることのできる技術を提供することにある。

【課題を解決するための手段】

【0007】

本発明のある態様は画像表示装置に関する。この画像表示装置は、表示画像のうち、画像平面における中心部分を表す中心画像を生成する中心画像生成部と、表示画像のうち、中心画像の外側の領域を表す周辺画像を生成する周辺画像生成部と、画素を表すレーザ光を、ミラーの反射により２次元走査させて画像を投影するレーザ走査方式により、中心画像を表す中心画像出力部と、周辺画像を表示する周辺画像出力部と、中心画像と周辺画像を合成して視認させる画像合成部と、を備えたことを特徴とする。

【0008】

本発明の別の態様は画像表示方法に関する。この画像表示方法は、表示画像のうち、画像平面における中心部分を表す中心画像を生成するステップと、表示画像のうち、中心画像の外側の領域を表す周辺画像を生成するステップと、画素を表すレーザ光を、ミラーの反射により２次元走査させて画像を投影するレーザ走査方式の中心画像出力部により、中心画像を表すステップと、周辺画像出力部により、周辺画像を表示するステップと、中心画像と前記周辺画像を合成して視認させるステップと、を含むことを特徴とする。

【0009】

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0010】

本発明によると、高精細、広視野の画像を、違和感なく容易に視認させることができる。

【図面の簡単な説明】

【0011】

【図1】人の視覚特性と本実施の形態の表示形式との関係を説明するための図である。

【図2】本実施の形態で採用する、レーザ走査方式の表示機構と画像上の領域との関係を説明するための図である。

【図3】本実施の形態のヘッドマウントディスプレイの外観例を示す図である。

【図4】本実施の形態のヘッドマウントディスプレイの内部回路構成を示す図である。

【図5】本実施の形態のヘッドマウントディスプレイの機能ブロックの構成を示す図である。

【図6】本実施の形態における、注視点の移動に対する中心画像と周辺画像の変化を模式的に示す図である。

【図7】本実施の形態における、中心画像のサイズに対する解像度の変化を説明するための図である。

【図8】本実施の形態のヘッドマウントディスプレイが画像を表示する処理手順を示すフローチャートである。

【図9】本実施の形態のヘッドマウントディスプレイにおいて、中心画像と周辺画像を合成して視認させる画像合成部の構造例を示す図である。

【図10】本実施の形態のヘッドマウントディスプレイにおいて、中心画像と周辺画像を合成して視認させる画像合成部の構造の別の例を示す図である。

【図11】本実施の形態のヘッドマウントディスプレイにおいて、中心画像と周辺画像を合成して視認させる画像合成部の構造の別の例を示す図である。

【図12】本実施の形態のヘッドマウントディスプレイにおいて、中心画像と周辺画像を合成して視認させる画像合成部の構造の別の例を示す図である。

【図13】本実施の形態のヘッドマウントディスプレイにおいて、中心画像と周辺画像を合成して視認させる画像合成部の構造の別の例を示す図である。

【発明を実施するための形態】

【0012】

図１は、人の視覚特性と本実施の形態の表示形式との関係を説明するための図である。まず（ａ）に示す画像平面２００において、丸印で示したユーザの注視点２０２が中心付近に存在するとする。一般的な人の視覚特性として、瞳孔から注視点へ向かう視線を中心軸として５°以内に対応する領域２０４は弁別視野と呼ばれ、視力などの視機能が優れている。また水平方向に約３０°、垂直方向に約２０°以内に対応する領域２０６は有効視野と呼ばれ、眼球運動だけで瞬時に情報を受容できる。

【0013】

さらに水平方向に６０～９０°、垂直方向に４５～７０°以内に対応する領域２０８は安定注視野、水平方向に１００～２００°、垂直方向に８５～１３０°以内に対応する領域２１０は補助視野、というように、注視点２０２から離れるほど情報の識別能力が低くなる。この特性を踏まえ、本実施の形態では（ｂ）に示すように、注視点２０２を含む所定範囲の領域２１２を、その外側の領域２１４より高い解像度で表すことを基本とする。これを実現するため、領域２１２と領域２１４を異なる表示機構で表し、最終的にはそれらが合成された状態で視認されるようにする。

【0014】

注視点２０２を含む領域２１２の表示機構として、本実施の形態ではレーザ走査方式を採用する。レーザ走査方式とは、画素に対応するレーザ光を、偏向用のミラーを用いて２次元走査させることにより、投影面に画像を形成する技術である。例えばレーザ光をユーザの瞳孔に収束させ、網膜に画像を投影する技術は、主にウェアラブルディスプレイへの適用が進められている（例えば国際公開第２００９／０６６４６５号参照）。また、外部のスクリーンなどに画像を投影する小型のプロジェクタも実用化されている（例えば特開２０１７－８３６５７号公報参照）。

【0015】

図２は本実施の形態で採用する、レーザ走査方式の表示機構と画像上の領域との関係を説明するための図である。（ａ）、（ｂ）の上段は、レーザ走査方式の表示機構を側面から見た模式図である。レーザ光源２２０は赤、青、緑の成分を含むレーザ光を出力する。当該レーザ光はミラー２２２により反射され投影面（画像平面２００）に投影される。

【0016】

ミラー２２２を２軸周りで揺動させることにより、レーザ光が投影面上で２次元走査され、各時刻で出力したレーザ光を画素とする画像が形成される。なおこの例でミラー２２２は、レーザの反射光が画像平面２００の中心に到達する状態での姿勢を基準として対称に揺動させる。これによりレーザ走査方式で表現する領域２１２ａの中心は、画像平面の中心と一致することになる。ただし本実施の形態をこれに限る主旨ではない。

【0017】

また図ではヘッドマウントディスプレイを想定し、透過性を有するスクリーンなどの投影面の逆側にユーザの目２２４を示している。ただし上述のとおり網膜に直描してもよく、スクリーンは必須でない。ミラー２２２として、例えばＭＥＭＳ（Micro Electro Mechanical Systems）ミラーを導入する。ＭＥＭＳミラーは、電磁駆動により２軸周りの角度変化を精度よく制御できる、小型かつ低消費電力の装置である。ただしミラーの駆動方式は特に限定されない。

【0018】

本実施の形態では、注視点の移動に応じてミラー２２２の角度の振幅を変化させることにより、画像平面２００の中心から注視点が離れるほど、レーザ走査方式で表現する領域のサイズを拡張させる。まず（ａ）に示すケースは、図１で示したように、注視点２０２ａが画像平面２００の中心にある。このときのミラー２２２の角度の振幅、ひいてはレーザ光の走査角の振幅を基準値θ_ｓｔｄとする。基準値θ_ｓｔｄは、あらかじめ定められた最小値でよい。

【0019】

一方、（ｂ）に示すケースは、注視点２０２ｂが画像平面２００の左下方向に移動している。このとき、ミラー２２２の角度の振幅θを、θ_ｓｔｄより大きくする。具体的には、レーザ走査方式で表現する領域２１２ｂの縁が注視点２０２ｂから一定の距離を保つように、ミラー２２２の角度の振幅θを増加させ、領域２１２ｂを拡張させる。例えば（ａ）に示す基準状態の領域２１２ａを縦方向にｎ倍に拡張する場合、次のように角度の振幅θを決定できる。
ｔａｎθ＝ｎ×ｔａｎ（θ_ｓｔｄ）
当然、横方向についても同様に、ミラー２２２の角度の振幅を決定できる。

【0020】

レーザ走査による表示方式では、フレームレートを固定とした場合、走査角と解像度が反比例の関係となる。すなわち領域２１２ａをｎ倍に拡張する場合、拡張方向における単位角度当たりの画素の数は１／ｎとなる。一方、別の表示機構によって表される外側の領域２１４ａ、２１４ｂの解像度は一定でよい。このような制御によれば、まず、注視点は常に、レーザ走査方式で表現する領域２１２ａ、２１２ｂの内部にあるため、解像度に差が生じている境界部分が注視されづらい。また注視点が画像平面２００の端に近づくほど、領域間の解像度差が小さくなるため境界が目立ちにくくなる。そのため仮に注視点がレーザ走査によって表現できる領域を超えても、境界線が認識されづらくなる。

【0021】

なお（ａ）に示す基準状態においては、レーザ走査方式で表現する領域２１２ａの縁が、少なくとも有効視野の外側になるようにするなど、一般的な視覚特性に応じて基準値θ_ｓｔｄを決定すれば、解像度にある程度の差があってもその境界が視認されづらくなる。これにより、領域２１２ａの解像度を高くし、高品質な画像を違和感なく見せることができる。以上のような効果は、レーザ走査型の表示方式においてミラー２２２の角度の振幅を制御することにより自ずと得られるため、処理負荷の増大を抑えることができる。

【0022】

本実施の形態を適用できる表示装置は特に限定されないが、以後、ヘッドマウントディスプレイを例に説明する。図３は、本実施の形態のヘッドマウントディスプレイの外観例を示している。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には上述したようなレーザ走査方式の表示機構と、その他の領域の画像を表示する機構とを備える。

【0023】

筐体１０８内部にはさらに、表示された２領域の画像を合成する機構、および、視野角を拡大する接眼レンズを備える。左右の目のそれぞれに、視差を有するステレオ画像を表示することにより立体視を実現してもよい。筐体１０８内部にはさらに、表示された画像に対するユーザの注視点を検出する注視点検出器を備える。

【0024】

ヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。この例でヘッドマウントディスプレイ１００は、筐体１０８の前面にステレオカメラ１１０を備え、ユーザの視線に対応する視野で周囲の実空間を動画撮影する。さらにヘッドマウントディスプレイ１００は筐体１０８の内部あるいは外部に、加速度センサ、ジャイロセンサ、地磁気センサ、ＧＰＳなど、ヘッドマウントディスプレイ１００の動き、姿勢、位置などを導出するための各種センサのいずれかを備えてよい。

【0025】

図４は、ヘッドマウントディスプレイ１００の内部回路構成を示している。ヘッドマウントディスプレイ１００は、ＣＰＵ（Central Processing Unit）１２０、ＧＰＵ（Graphics Processing Unit)１２２、メインメモリ１２４を含む。これらの各部は、バス１４０を介して相互に接続されている。バス１４０にはさらに入出力インターフェース１３８が接続されている。入出力インターフェース１３８には、通信部１２６、モーションセンサ１２８、ステレオカメラ１１０、注視点検出器１３０、第１表示部１３２、第２表示部１３４、および音声出力部１３６が接続される。

【0026】

ＣＰＵ１２０は、メインメモリ１２４に格納されているオペレーティングシステムを実行することによりヘッドマウントディスプレイ１００の全体を制御する。ＣＰＵ１２０はまた、通信部１２６を介してダウンロードされた各種プログラムを実行したり、電子コンテンツを再生したりする。ＧＰＵ１２２は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ１２０からの描画命令に従って表示画像を描画し、第１表示部１３２、第２表示部１３４に出力する。

【0027】

メインメモリ１２４はＲＡＭ（Random Access Memory）により構成され、ＣＰＵ１２０などの処理に必要なプログラムやデータを記憶する。通信部１２６は、有線又は無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）などのネットワークインターフェースであり、外部の装置との通信を実現する。モーションセンサ１２８は加速度センサ、ジャイロセンサ、地磁気センサ、ＧＰＳなどのセンサの少なくともいずれかで構成され、ヘッドマウントディスプレイ１００、ひいてはそれを装着しているユーザの頭部の位置、姿勢、動きを計測する。

【0028】

ステレオカメラ１１０は図３で示したとおり、ユーザの視点に対応する視野で、周囲の実空間を左右の視点から撮影するビデオカメラの対である。ステレオカメラ１１０が撮影した動画像を第１表示部１３２、第２表示部１３４に即時に表示させれば、ユーザが向いた方向の実空間の様子がそのまま見える、いわゆるビデオシースルーを実現できる。さらに撮影画像に写っている実物体の像上に仮想オブジェクトを描画すれば、拡張現実を実現できる。またステレオカメラ１１０が撮影した画像を、Ｖｉｓｕａｌ ＳＬＡＭ（Simultaneous Localization and Mapping）など公知の技術で解析することにより、ヘッドマウントディスプレイ１００、ひいてはユーザの頭部の位置や姿勢を追跡できる。

【0029】

撮影画像の解析結果とモーションセンサ１２８の計測結果を統合することにより、より高い精度でユーザ頭部の動きを取得してもよい。これにより、頭部の動きに応じた視野での表示画像を高精度に生成でき、映像世界への没入感を高められる。また、ユーザの頭部の動きを、コンテンツに対するユーザ操作として受け付け、それに応じて処理を分岐させることもできる。

【0030】

注視点検出器１３０は、第１表示部１３２、第２表示部１３４により表される画像を見ているユーザの注視点の位置座標を所定のレートで検出する。注視点検出器１３０は例えば、眼球に赤外線を照射する機構と、その反射光を撮影するカメラで構成され、撮影画像から瞳孔の向きを特定することにより、画像上でユーザが注視しているポイントを追跡する。その他、注視点を検出する手段としては様々な技術が実用化されており、本実施の形態ではそのいずれを採用してもよい。

【0031】

第１表示部１３２は図２で説明したレーザ走査方式の表示機構で構成され、画像平面の中心を含む領域の画像を投影表示する。以後、第１表示部１３２により表される部分的な画像を「中心画像」と呼ぶ。第２表示部１３４は、中心画像の外側の領域の画像を表示する。以後、第２表示部１３４により表される部分的な画像を「周辺画像」と呼ぶ。第２表示部１３４の表示方式は特に限定されず、液晶パネルや有機ＥＬパネルなど発光素子の２次元配列からなる表示パネルでもよいし、第１表示部１３２と同様のレーザ走査方式の表示機構でもよい。いずれにしろ第２表示部１３４は、第１表示部１３２が表示する中心画像より低い解像度で周辺画像を表示する。

【0032】

第１表示部１３２、第２表示部１３４はそれぞれ、ＧＰＵ１２２が生成した中心画像と周辺画像を所定のレートで表示する。第１表示部１３２、第２表示部１３４が表示した画像は、後述する合成機構により合成され、１つの表示画像としてユーザに視認される。なお上述のとおり、左右の目に対しステレオ画像を表示することにより立体視を実現してもよい。この場合、ステレオ画像は、中心画像と周辺画像を合成した画像の対となる。音声出力部１３６は、ヘッドマウントディスプレイ１００の装着時にユーザの耳に対応する位置に設けたスピーカーやイヤホンで構成され、ユーザに音声を聞かせる。

【0033】

なお図示するヘッドマウントディスプレイ１００の機能の一部は、ヘッドマウントディスプレイ１００と通信を確立した外部の装置に設けてもよい。例えば、適切な視野を決定し全体的な画像を生成する処理、注視点に応じて中心画像と周辺画像の境界を制御する処理、中心画像と周辺画像のデータを生成する処理、などの少なくとも一部は、外部の画像生成装置やネットワークを介して接続した画像提供サーバが行ってもよい。

【0034】

図５は、ヘッドマウントディスプレイ１００の機能ブロックの構成を示している。同図に示す各機能ブロックは、ハードウェア的には、図４で示した各種回路によりで実現でき、ソフトウェア的には、記録媒体からメインメモリ１２４にロードした、情報処理機能、画像処理機能、表示機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

【0035】

ヘッドマウントディスプレイ１００は、表示対象の画像のデータを取得する画像データ取得部５０、表示された画像に対するユーザの注視点を取得する注視点取得部５２、中心画像のサイズを制御する中心画像サイズ制御部５４、中心画像を生成する中心画像生成部５６、周辺画像を生成する周辺画像生成部５８、中心画像を表示対象として出力する中心画像出力部６０、周辺画像を表示対象として出力する周辺画像出力部６２、中心画像と周辺画像を合成した状態でユーザの目に到達させる画像合成部６４を備える。

【0036】

画像データ取得部５０は、表示すべき動画像または静止画像の生成に必要なデータを取得する。ここで画像が表す内容は特に限定されず、ゲーム画像、映画、ライブ映像、録画映像、アニメーション、写真、環境映像、ウェブサイト、文書、デジタルサイネージなどのいずれでもよい。またステレオカメラ１１０が撮影した画像や、それに加工を施したり仮想オブジェクトを描画したりした画像であってもよい。このような画像の内容によって、画像データ取得部５０によるデータの取得先は様々でよい。

【0037】

例えば画像データ取得部５０は、外部の画像生成装置やサーバがストリーム転送する動画像のデータを取得してもよいし、内部の記憶装置に格納されたデータを用いて画像を描画したり再生したりしてもよい。注視点取得部５２は図４で示した注視点検出器１３０を含み、表示画像に対するユーザの注視点の位置座標を所定のレートで取得する。なお本実施の形態において表示画像とは、ユーザの視界に入る画像であればよく、レーザ光の投影も「表示」としている。

【0038】

中心画像サイズ制御部５４は、ユーザの注視点の位置に応じて中心画像のサイズを制御する。具体的には図２で説明したように、注視点が画像平面の中心にあるときを基準状態とし、注視点の移動に応じて中心画像がそれを内包するように範囲を拡張する。結果として中心画像は、注視点が中心から離れるほど広がり、注視点が中心に近づくほど狭くなる。中心画像サイズ制御部５４は、所定のレートまたは必要に応じて中心画像のサイズを決定し、中心画像生成部５６、周辺画像生成部５８、および中心画像出力部６０にその情報を供給する。

【0039】

中心画像生成部５６は図４で示したＧＰＵ１２２を含み、画像データ取得部５０から必要なデータを取得して中心画像を生成する。周辺画像生成部５８も図４で示したＧＰＵ１２２を含み、画像データ取得部５０から必要なデータを取得して周辺画像を生成する。ここで周辺画像は、表示画像全体のうち、中心画像の領域を黒抜きにした（無効にした）画像である。中心画像と周辺画像の境界は、中心画像サイズ制御部５４からの情報に従い適宜更新する。

【0040】

中心画像出力部６０は、図４で示した第１表示部１３２を含み、中心画像生成部５６が生成した中心画像を、レーザ走査により所定のレートで表示する。詳細には中心画像出力部６０は、中心画像サイズ制御部５４から通知された中心画像のサイズに応じて、ミラーの角度の振幅を２軸周りのそれぞれに対して決定する。そして中心画像の各画素の色を表すレーザ光を、当該振幅に対応する走査角で２次元走査させることにより、ユーザの網膜または眼前のスクリーンなどに投影する。

【0041】

周辺画像出力部６２は、図４で示した第２表示部１３４を含み、発光素子からなる表示パネルまたはレーザ走査により周辺画像を表示する。表示パネルを用いる場合、中心画像の領域は発光させない。レーザ走査方式を採用する場合、中心画像の領域に対してはレーザ光を出力しない。いずれにしろ中心画像のサイズによらず、周辺画像を表示するための画素の密度は一定である。

【0042】

画像合成部６４は、表示された中心画像と周辺画像が１つの画像として目に到達するように合成する光学系である。すなわち画像合成部６４は、中心画像と周辺画像をずれなく合成して見せるハードウェア構造であり、第１表示部１３２と第２表示部１３４の位置関係や、注視点検出器１３０に求められる配置などに応じて様々な形態をとり得る。具体例は後述する。

【0043】

図６は、注視点の移動に対する中心画像と周辺画像の変化を模式的に示している。図の上段は表示画像全体、中段は中心画像、下段は周辺画像である。なお中心画像および周辺画像は、画像全体に対する領域の範囲を、範囲外を暗色とすることで示しており、データとしての画像のサイズを示すものではない。（ａ）に示すように注視点７０ａが画像全体の中心にある場合、中心画像はそれを中心とする所定サイズ（Ｘ_ｓｔｄ，Ｙ_ｓｔｄ）の領域、周辺画像は、画像全体から中心画像の領域を除いた領域とする。

【0044】

ここで中心画像のサイズ（Ｘ_ｓｔｄ，Ｙ_ｓｔｄ）は、厳密には図１で説明したように、視線を中心軸としたときの角度と視力との関係に基づき決定することが望ましい。一方、（ｂ）に示すように、注視点７０ｂが画像平面上で中心から変位した場合、それを内包するように中心画像を拡張する。例えば図示するように画像中心からの注視点の変位ベクトルが（Δｘ，Δｙ）のとき、中心画像のサイズ（Ｘ，Ｙ）を次のように決定する。
Ｘ＝２＊（｜Δｘ｜＋ｍ_ｘ）
Ｙ＝２＊（｜Δｙ｜＋ｍ_ｙ）

【0045】

ここでｍ_ｘ、ｍ_ｙは、中心画像の縁のうち注視点の最近傍にある２辺と注視点との距離に与えるマージンである。換言すれば、中心画像の縁は常に、注視点から少なくとも（ｍ_ｘ、ｍ_ｙ）だけ外側に位置するように制御する。（ｍ_ｘ，ｍ_ｙ）も、視線を中心軸としたときの角度と視力との関係に基づき、決定規則をあらかじめ準備しておくことが望ましい。例えば（ｍ_ｘ，ｍ_ｙ）＝（Ｘ_ｓｔｄ／２，Ｙ_ｓｔｄ／２）としてもよい。あるいは（ｍ_ｘ、ｍ_ｙ）を、変位ベクトル（Δｘ，Δｙ）の関数としてもよい。この場合も周辺画像は、画像全体から中心画像の領域を除いた領域とする。

【0046】

なお中心画像サイズ制御部５４は、注視点の変位ベクトルの変化に応じて随時、中心画像のサイズを更新してもよいし、変位ベクトルがしきい値以上変化したときなどに、段階的に中心画像のサイズを更新してもよい。画像を立体視させる場合、中心画像生成部５６および周辺画像生成部５８は、左目用画像と右目用画像の双方について、図示するような中心画像、周辺画像を生成する。また中心画像生成部５６および周辺画像生成部５８は、ヘッドマウントディスプレイ１００の接眼レンズによる歪曲収差や色収差と逆方向の歪みを与えた中心画像、周辺画像を生成することにより、接眼レンズを介して見たときに歪みや色ずれのない画像が視認されるようにする。また第１表示部１３２の構成によっては、中心画像の形状は矩形に限定されず、当然、周辺画像の黒抜きの領域の形状も中心画像の形状に依存する。

【0047】

図７は、中心画像のサイズに対する解像度の変化を説明するための図である。図の上段は表示画像全体を示しており、（ａ）は注視点７２ａが中心にある基準状態、（ｂ）は注視点７２ｂが画像平面上で中心から変位した状態とする。下段は、画像平面上、注視点７２ａ、７２ｂを通る水平方向ＡＡ’とＢＢ’における解像度の分布を示している。（ａ）に示す、基準状態における最小サイズの中心画像７４ａと比較し、（ｂ）に示すように中心画像７４ｂが広がると、その部分の解像度が低くなる。

【0048】

ここで「解像度」とは、画像のデータ上の細かさではなく、単位面積（または単位角度）あたりの物理的な画像の描写数、すなわち画素密度を指す。レーザ走査方式の表示機構は上述のとおり、投影面積が小さいほど解像度が増加する特性を持つ。例えば水平方向の視野角３０°の範囲に６００画素分の画像を表示できる装置の場合、角解像度は２０ｐｐｄ（ｐｉｘｅｌ ｐｅｒ ｄｅｇｒｅｅ）である。その状態でミラーの角度の振幅を半減させると、視野角１５°の範囲に同じく６００画素分の画像が表示されることになるため、角解像度は４０ｐｐｄになる。

【0049】

この特性により、（ａ）に示す最小サイズの中心画像７４ａでは、その部分の解像度が最大となり、（ｂ）に示すように中心画像７４ｂのサイズが大きくなるほど解像度が減少する。ユーザは注視点７２ａ、７２ｂを中心に画像を見るため、視線を画像端方向に移すに従い解像度が逓減し周辺画像と滑らかにつながるように見える。また周辺画像は鑑賞に堪え得る一定の解像度で表示され続けているため、視野の範囲は維持される。結果として注視点がどのように変位しようと、領域境界が与える違和感を最小限に、広い視野の画像を高精細に視認させ続けることができる。

【0050】

次に、以上の構成により実現できるヘッドマウントディスプレイ１００の動作について説明する。図８は、本実施の形態のヘッドマウントディスプレイ１００が画像を表示する処理手順を示すフローチャートである。このフローチャートは、ユーザがヘッドマウントディスプレイ１００を装着し、図示しない入力装置などを介して表示対象のコンテンツを選択することにより開始される。これに応じて画像データ取得部５０は、当該コンテンツの画像データ取得を開始する。なおヘッドマウントディスプレイ１００は、内部でゲームなどの情報処理を行ったり、外部の装置と通信を確立し画像データを要求したりしてよいが、図では特に画像の表示処理について示している。

【0051】

まずヘッドマウントディスプレイ１００は、コンテンツの初期画像を表示する（Ｓ１０）。当該初期画像も、中心画像出力部６０が表示した中心画像と周辺画像出力部６２が表示した周辺画像を合成した画像でよく、この場合の中心画像は初期画像に対しあらかじめ設定されたサイズを有していてよい。次に注視点取得部５２は、初期画像に対するユーザの注視点を取得する（Ｓ１２）。すると中心画像サイズ制御部５４はまず、当該注視点が、中心画像出力部６０、すなわち中心画像を表示するためのレーザ走査による描画可能範囲以内にあるか否かを確認する（Ｓ１４）。

【0052】

注視点が中心画像出力部６０の描画可能範囲以内にある場合（Ｓ１４のＹ）、中心画像サイズ制御部５４は、図６で示したように注視点の位置に応じて中心画像のサイズを決定する（Ｓ１６）。注視点が中心画像出力部６０の描画可能範囲の外にある場合（Ｓ１４のＮ）、中心画像サイズ制御部５４は中心画像を最大サイズ、すなわち描画可能な最大範囲に決定する（Ｓ１８）。これにより、中心画像の解像度は最低となり、周辺画像との解像度の差が不自然に視認される可能性を抑える。なお中心画像の解像度の最小値と、周辺画像の解像度を統一するように構成することにより、周辺画像に注視点があるときは解像度が均一化されるようにしてもよい。

【0053】

中心画像サイズ制御部５４は随時、決定した中心画像のサイズを中心画像出力部６０に通知することにより、当該サイズに対応する、ＭＥＭＳミラーの角度の振幅を設定させる（Ｓ２０）。一方、中心画像生成部５６および周辺画像生成部５８は、中心画像サイズ制御部５４から通知された中心画像のサイズに基づき、画像データ取得部５０から必要なデータを取得したうえ中心画像および周辺画像をそれぞれ生成する（Ｓ２２）。そして中心画像出力部６０および周辺画像出力部６２がそれぞれ、中心画像と周辺画像を表示することで、画像合成部６４により合成された表示画像がユーザの目に到達する（Ｓ２４）。

【0054】

コンテンツの表示を終了させるユーザ操作がなされるなど、表示を終了する必要が生じない期間は、Ｓ１２からＳ２４の処理を繰り返す（Ｓ２６のＮ）。これにより、注視点の移動によって中心画像の範囲と解像度を変化させながら画像表示が継続される。表示を終了する必要が生じたら全処理を終了させる（Ｓ２６のＹ）。

【0055】

次に、中心画像と周辺画像を合成して視認させる具体的な構造について説明する。図９は本実施の形態のヘッドマウントディスプレイ１００において、中心画像と周辺画像を合成して視認させる画像合成部６４の構造例を示している。同図はヘッドマウントディスプレイ１００を装着した際のユーザの目２２４と、第１表示部１３２、第２表示部１３４を含む表示部の位置関係を、垂直方向の断面図で模式的に示している。後述する図１０～１３も同様である。

【0056】

図９の態様では、第１表示部１３２として、レーザ光源２２０、ミラー２２２とともに、反射したレーザ光を拡散透過させる部材からなる中心画像用スクリーン２３２を設ける。一方、第２表示部１３４として、発光素子の２次元配列からなる周辺画像用ディスプレイパネル２３４を設ける。そして中心画像用スクリーン２３２と周辺画像用ディスプレイパネル２３４のなす角度を９０°とし、その中間に、それぞれと４５°をなすように配置したハーフミラー２３６により、中心画像と周辺画像を合成する。ハーフミラー２３６は、入射光のうち所定の割合を透過させ、残りを反射させる一般的なものでよい。

【0057】

図の例では、ミラー２２２で反射したレーザ光は、中心画像用スクリーン２３２で拡散透過し、ハーフミラー２３６を透過し接眼レンズ２３８を介して目２２４に到達する。すなわち第１表示部１３２は、中心画像用スクリーン２３２で拡散透過された状態で本来の像が表されるようにミラー２２２の動作等を制御する。一方、周辺画像用ディスプレイパネル２３４からの光はハーフミラー２３６で反射し、接眼レンズ２３８を介して目２２４に到達する。これにより中心画像と周辺画像が合成された状態で視認される。

【0058】

ただし第１表示部１３２と第２表示部１３４の位置関係を逆とし、ミラー２２２からのレーザ光をハーフミラー２３６で反射させ、周辺画像用ディスプレイパネル２３４からの光を透過させて目２２４に到達させてもよい。また周辺画像用ディスプレイパネル２３４の代わりに、レーザ走査方式により周辺画像を表示してもよい。いずれにしろこの構成では、注視点検出器１３０に含まれる、眼球撮影用カメラ２４０は、図示するように接眼レンズ２３８の脇などに配置することが考えられる。

【0059】

図１０は本実施の形態のヘッドマウントディスプレイ１００において、中心画像と周辺画像を合成して視認させる画像合成部６４の構造の別の例を示している。この構成では、第１表示部１３２として中心画像用スクリーンを設けず、レーザ光からなる画像をユーザの網膜に直接投影させる点が図９と異なる。マックスウェル視の原理により、映像を網膜に投影する手法については上述のとおり公知の技術を応用できる。つまり第１表示部１３２は、レーザ光が瞳孔で収束され網膜に結像したとき本来の像が視認されるようにミラー２２２の動作等を制御する。

【0060】

ただし本実施の形態では、ハーフミラー２３６を介して中心画像を投影することにより、周辺画像用ディスプレイパネル２３４で表示されハーフミラー２３６で反射される周辺画像と合成して視認させる。なおこの場合、中心画像用スクリーンを設けないことにより、注視点検出器１３０に含まれる眼球撮影用カメラ２４０の配置の自由度が高くなる。例えば図示するように、ハーフミラー２３６を介して眼球を正面近傍から撮影することも可能になる。

【0061】

図１１は本実施の形態のヘッドマウントディスプレイ１００において、中心画像と周辺画像を合成して視認させる画像合成部６４の構造の別の例を示している。この構成では、第１表示部１３２のレーザ光を拡散透過させる中心画像用スクリーン２４２を、周辺画像用ディスプレイ２４４と一体的に設け、ハーフミラーを設けない点が図９と異なる。ディスプレイパネルのうち画像を表示していない領域（非表示領域）においては背景からの光を透過可能な光透過型ディスプレイが知られている（例えば国際公開第２０１４／０１０５８５号参照）。本実施の形態ではこれを応用し、光透過型ディスプレイの基材を半透明の素材としたものを周辺画像用ディスプレイ２４４とする。

【0062】

これにより、周辺画像用ディスプレイ２４４において周辺画像を表示していない領域を、ミラー２２２で反射したレーザ光を拡散透過させる中心画像用スクリーン２４２として利用できる。当然、中心画像のサイズ変化に応じて周辺画像の及ぶ範囲も変化するため、中心画像用スクリーン２４２の範囲は中心画像のサイズに応じて適切に変化する。なおこの場合、中心画像出力部６０および周辺画像出力部６２の一部が画像合成部６４を兼ねることになる。このような構成とすることで、異なる方向から２種類の画像を投影するのと比較し、光学系をシンプルにできる。この構成では図９と同様、注視点検出器１３０に含まれる眼球撮影用カメラ２４０を、接眼レンズ２３８の脇などに配置することが考えられる。

【0063】

図１２は本実施の形態のヘッドマウントディスプレイ１００において、中心画像と周辺画像を合成して視認させる画像合成部６４の構造の別の例を示している。この構成は図１１と同様、光透過型ディスプレイを応用することで、中心画像用スクリーン２４２と周辺画像用ディスプレイ２４４とを一体的に設けている。一方、接眼レンズ２３８との間にハーフミラー２４６を設ける点が図１１と異なる。すなわち中心画像用スクリーン２４２と周辺画像用ディスプレイ２４４からの光を、ハーフミラー２４６ごしに視認させる。このようにすると画像の光量は低下するが、目２２４の面と４５°をなすようにハーフミラー２４６を配置すれば、その反射により目２２４の像を眼球撮影用カメラ２４０で撮影することができるため、正面からの撮影と同等の質で注視点を検出できる。

【0064】

図１３は本実施の形態のヘッドマウントディスプレイ１００において、中心画像と周辺画像を合成して視認させる画像合成部６４の構造の別の例を示している。この構成では図９と同様、中心画像用スクリーン２５０と周辺画像用ディスプレイパネル２５２を個別に設けるが、それらを略同一平面に配置したうえ、中心画像用光学系２５４および周辺画像用光学系２５６によりそれぞれの像を適切な方向に誘導することにより画像合成を実現する。

【0065】

自由曲面の光学系をヘッドマウントディスプレイに導入し、複数のディスプレイに表示した画像を反射や屈折により適切な位置に誘導して１つの画像として視認させる手法は、例えば国際公開第２０１９／１４７９４６号などに開示される。この構成によれば、異なる方向から２種類の画像を投影するのと比較し、ヘッドマウントディスプレイ１００を小型化できる。また比較的自由に光路を設計できるため、眼球撮影用カメラ２４０の配置の自由度を高められる。

【0066】

例えば図示するように、中心画像用スクリーン２５０と周辺画像用ディスプレイパネル２５２、およびそれぞれの光学系２５４、２５６を、目２２４の正面を避けて配置することにより、眼球撮影用光学系２５８と眼球撮影用カメラ２４０を目２２４の正面に配置することができる。これにより注視点の検出が容易になる。なお中心画像用光学系２５４および周辺画像用光学系２５６の設計によって、中心画像用スクリーン２５０および周辺画像用ディスプレイパネル２５２の位置や姿勢は様々であってよい。

【0067】

以上述べた本実施の形態によれば、表示画像を中心画像と周辺画像に分割し、中心画像がより高い解像度で表されるように個別の機構で表示させたうえで合成して視認させる。ここで少なくとも中心画像を表す表示機構は、ミラーでの反射によりレーザを２次元走査させ画像を形成するレーザ走査方式とする。レーザ走査方式によれば、ミラーの角度の振幅を制御することにより、表示範囲と、それを表す画素の密度としての解像度とを変化させることができる。したがって、発光素子の密度が固定の表示パネルと比較し、表示画像における解像度の分布を制御しやすい。

【0068】

例えばユーザの注視点が画像平面の中心から離れるに従い、それを包含する範囲に中心画像が拡張されるように、ミラーの角度の振幅を変化させる。これにより注視点の位置によらず、中心画像と周辺画像の境界線が注視点から離隔された状態となり、境界における解像度差が認識されづらくなる。また中心画像の拡張に伴い解像度が逓減するため、実際の解像度差も小さくなる。これにより、画像データの加工といった高負荷の処理を伴わずに、解像度に分布のある画像を違和感なく認識させることができる。結果として、視覚特性上、識別能力の高い領域にリソースを集中させることができ、広視野の画像であっても低遅延かつ高精細に見せることができる。

【0069】

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【0070】

例えば本発明の実装形態はヘッドマウントディスプレイに限らず、プロジェクタや一般的なテレビ受像器などにも適用できる。これらの場合も内部構造は、図９、１１、１２、１３のいずれかと同様でよい。プロジェクタの場合、接眼レンズ２３８の代わりに外部のスクリーンなどへ画像を投影する投射レンズを設ける。テレビ受像器の場合は、接眼レンズ２３８の代わりに像を透過させるスクリーンを表示面とする。あるいは図１１の構成によれは、周辺画像用ディスプレイ２４４を実現する光透過型ディスプレイをそのまま用いることができる。

【0071】

これらの場合、注視点検出器は当然、スクリーンや表示面を見ているユーザの目の方向に眼球撮影用のカメラを設ける。なお本実施の形態では注視点の移動に応じて中心画像のサイズを制御したが、注視点の代わりに、主要なオブジェクトの表示位置や、表示上、重要な領域の位置に応じて、それが中心画像に含まれるようにサイズを制御してもよい。主要なオブジェクトや重要な領域は注視される可能性が高いため、このようにしても本実施の形態と同様の効果を奏することが考えられる。

【符号の説明】

【0072】

５０ 画像データ取得部、 ５２ 注視点取得部、 ５４ 中心画像サイズ制御部、 ５６ 中心画像生成部、 ５８ 周辺画像生成部、 ６０ 中心画像出力部、 ６２ 周辺画像出力部、 ６４ 画像合成部、 １００ ヘッドマウントディスプレイ、 １１０ ステレオカメラ、 １２０ ＣＰＵ、 １２２ ＧＰＵ、 １２４ メインメモリ、 １３０ 注視点検出器、 １３２ 第１表示部、 １３４ 第２表示部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】