特開 2023-178761 画像表示システムおよび画像表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023178761

(43)【公開日】2023-12-18

(54)【発明の名称】画像表示システムおよび画像表示方法

(51)【国際特許分類】

   G02B 27/02 20060101AFI20231211BHJP

   A61B 3/103 20060101ALI20231211BHJP

   H04N 5/64 20060101ALI20231211BHJP

   G01C 3/06 20060101ALI20231211BHJP

【ＦＩ】

G02B27/02 Z

A61B3/103

H04N5/64 511A

G01C3/06 120Q

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022091633

(22)【出願日】2022-06-06

(71)【出願人】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(74)【代理人】

【識別番号】100109081

【弁理士】

【氏名又は名称】三木 友由

(74)【代理人】

【識別番号】100134256

【弁理士】

【氏名又は名称】青木 武司

(72)【発明者】

【氏名】小泉 誠

【テーマコード（参考）】

2F112

2H199

4C316

【Ｆターム（参考）】

2F112AD01

2F112BA06

2F112CA07

2F112CA12

2F112DA25

2F112EA05

2F112FA03

2F112FA07

2F112FA21

2F112FA45

2H199CA06

2H199CA07

2H199CA29

2H199CA34

2H199CA42

2H199CA71

2H199CA77

2H199CA86

2H199CA96

4C316AA08

4C316AA13

4C316AA16

4C316AA25

4C316AA26

4C316AB11

4C316FA08

4C316FA10

4C316FA18

4C316FB11

4C316FC28

4C316FY02

4C316FY06

4C316FY08

4C316FZ03

(57)【要約】

【課題】網膜に画像を投影する表示技術において、より高い品質で臨場感のある画像を視認させる。
【解決手段】
走査ミラー５２は、画像用レーザー光５７の到達点を、眼球１０２の網膜１０４上で２次元走査させるとともに、参照用レーザー光５９を、画像用レーザー光５７と同じ経路で眼球１０２へ入射させる。距離取得部６０は参照用レーザー光の反射光６１を観測し、眼球１０２における複数の反射面までの距離を取得する。眼球状態取得部６４は、水晶体の厚さなどから得られる眼球状態を推定し、ビーム制御部５４は、眼球状態に合わせて、画像用レーザー光５７のビーム状態を調整する。
【選択図】図４

【特許請求の範囲】

【請求項1】

ユーザの眼の状態に係る情報を取得する眼球状態取得部と、
前記眼の状態に係る情報に対応させて、表示画像の画素を形成する画像用レーザー光のビーム状態を調整するビーム制御部と、
ユーザの網膜に対し、前記画像用レーザー光を投影する画像投影部と、
を備えたことを特徴とする画像表示システム。

【請求項2】

ユーザの眼球に参照用レーザー光を照射する参照光照射部と、
前記眼球において反射してなる前記参照用レーザー光を検出し、検出結果に基づいて前記眼球における複数の反射面までの距離を取得する距離取得部と、
をさらに備え、
前記眼球状態取得部は、前記複数の反射面の間の距離に基づき、前記眼の状態に係る情報を取得することを特徴とする請求項１に記載の画像表示システム。

【請求項3】

前記参照光照射部は、前記画像用レーザー光と共通の経路で、前記参照用レーザー光を前記眼球に照射することを特徴とする請求項２に記載の画像表示システム。

【請求項4】

前記眼球状態取得部は、水晶体の厚さまたは眼軸長を取得することにより、ユーザの裸眼視力を推定し、
前記ビーム制御部は、前記裸眼視力に応じて、前記画像用レーザー光のビーム径およびビーム発散角の少なくともいずれかを調整することを特徴とする請求項２または３に記載の画像表示システム。

【請求項5】

前記眼球状態取得部は、水晶体の厚さを取得することにより、ユーザの焦点距離を推定し、
前記ビーム制御部は、表示対象の３次元空間における物の距離と、前記焦点距離との関係に基づき、前記画像用レーザー光のビーム径およびビーム発散角の少なくともいずれかを、画像平面内で変化させることを特徴とする請求項２または３に記載の画像表示システム。

【請求項6】

前記ビーム制御部は、前記３次元空間における物のうち、前記焦点距離から所定範囲内にある物が他より高い解像度で視認されるように、前記ビーム径およびビーム発散角の少なくともいずれかを調整することを特徴とする請求項５に記載の画像表示システム。

【請求項7】

前記眼球状態取得部は、前記画像用レーザー光による動画のフレームの表示周期より短い周期で前記複数の反射面までの距離のデータセットを取得し、前記焦点距離を推定することを特徴とする請求項５に記載の画像表示システム。

【請求項8】

前記３次元空間における物の距離と、前記焦点距離との関係に基づき、画像平面内で解像度を変化させて表示画像のデータを生成する画像データ出力部をさらに備えたことを特徴とする請求項５に記載の画像表示システム。

【請求項9】

前記画像用レーザー光の到達点が、前記網膜において２次元走査されるように前記画像用レーザー光を反射させるとともに、前記参照用レーザー光も反射させて前記眼球に到達させる走査ミラーをさらに備えたことを特徴とする請求項２または３に記載の画像表示システム。

【請求項10】

前記距離取得部は、前記走査ミラーを反射してなる、前記画像用レーザー光および前記参照用レーザー光の出射口に外接する位置で、前記反射してなる前記参照用レーザー光を検出することを特徴とする請求項９に記載の画像表示システム。

【請求項11】

前記眼球状態取得部は、水晶体の厚さの２次元分布を取得することにより、ユーザの注視点を取得し、
前記ビーム制御部は、前記注視点に基づき、前記画像用レーザー光のビーム径およびビーム発散角の少なくともいずれかを、画像平面内で変化させることを特徴とする請求項２または３に記載の画像表示システム。

【請求項12】

ユーザの眼の状態に係る情報を取得するステップと、
前記眼の状態に係る情報に対応させて、表示画像の画素を形成する画像用レーザー光のビーム状態を調整するステップと、
ユーザの網膜に対し、前記画像用レーザー光を投影するステップと、
を含むことを特徴とする、画像表示システムによる画像表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、網膜への投影により画像を表示する画像表示システムおよび画像表示方法に関する。

【背景技術】

【0002】

マックスウェル視を利用し人の網膜に画像を投影する技術は、ウェアラブルディスプレイの分野で実用化が進められている（例えば特許文献１参照）。この技術では、画像を表す光を、ユーザの瞳孔中心で収束させたうえ、網膜上で２次元画像として結像させる。これにより、結像結果が水晶体の影響を受けにくく、個人の視力やピント位置によらず同程度の品質で画像を視認できるフォーカスフリー性が得られやすい（例えば非特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２００９／０６６４６５号

【非特許文献】

【0004】

【非特許文献1】Mitsuru Sugawara、外６名、「Every aspect of advanced retinal imaging laser eyewear: principle, free focus, resolution, laser safety, and medical welfare applications」、SPIE OPTO、２０１８年２月２２日、Proceedings Volume 10545, MOEMS and Miniaturized Systems XVII、105450O

【発明の概要】

【発明が解決しようとする課題】

【0005】

非特許文献１によれば、ビームの状態に依存して、フォーカスフリー性と視認上の解像度が様々に変化することがわかっている。例えば視認上の解像度を高める方向にビームを調整するとフォーカスフリー性が低下し、視力によっては却って画像が見づらくなることがあり得る。逆にフォーカスフリー性を高める方向にビームを調整すると、視認上の解像度がそれほど得られなくなる。このように、解像度とフォーカスフリー性はトレードオフの関係にあり両立が困難である。

【0006】

また、実世界で人が物を見るとき、その距離に合わせて水晶体の厚さを変化させることで焦点を合わせる。一方、上記技術では、視認される像が水晶体の厚さの影響を受けにくい。このため、画像上での距離に合わせて生理的に水晶体の厚さが変化しても、像の見え方は変化しないという輻輳調節矛盾が生じ、臨場感が損なわれやすい。

【0007】

本発明はこうした課題に鑑みてなされたものであり、その目的は、網膜に画像を投影する表示技術において、より高い品質で臨場感のある画像を視認できるようにする技術を提供することにある。

【課題を解決するための手段】

【0008】

本発明のある態様は画像表示システムに関する。この画像表示システムは、ユーザの眼の状態に係る情報を取得する眼球状態取得部と、当該眼の状態に係る情報に対応させて、表示画像の画素を形成する画像用レーザー光のビーム状態を調整するビーム制御部と、ユーザの網膜に対し、画像用レーザー光を投影する画像投影部と、を備えたことを特徴とする。

【0009】

本発明の別の態様は画像表示方法に関する。この画像表示方法は、画像表示システムが、ユーザの眼の状態に係る情報を取得するステップと、当該眼の状態に係る情報に対応させて、表示画像の画素を形成する画像用レーザー光のビーム状態を調整するステップと、ユーザの網膜に対し、画像用レーザー光を投影するステップと、を含むことを特徴とする。

【0010】

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0011】

本発明によると、網膜に画像を投影する表示技術において、より高い品質で臨場感のある画像を視認させることができる。

【図面の簡単な説明】

【0012】

【図1】第１実施形態を利用できる画像表示システムの基本的な構成を例示する図である。

【図2】非特許文献１に開示される、眼球に入射するレーザー光のビーム径と、網膜上でのビームスポットの半径との関係を示すシミュレーション結果である。

【図3】非特許文献１に開示される、裸眼視力に対する獲得視力の実験結果を示す図である。

【図4】第１実施形態における画像表示システムの詳細な構成を示す図である。

【図5】第１実施形態における距離取得部、眼球状態取得部、およびビーム制御部の機能ブロックの構成を示す図である。

【図6】第１実施形態における距離取得部の演算部が、複数の反射面までの距離を取得する手法を説明するための図である。

【図7】第１実施形態における裸眼視力取得部が内部で保持する裸眼視力テーブルのデータ構造例を示す図である。

【図8】第１実施形態におけるビーム状態決定部が内部で保持するビーム状態テーブルのデータ構造例を示す図である。

【図9】第１実施形態における距離取得部の受光面の形状の一例を示す図である。

【図10】第１実施形態における画像表示システムの構成の別の例を示す図である。

【図11】第２実施形態で利用する、焦点距離と水晶体の厚さとの関係を説明するための図である。

【図12】第２実施形態における画像表示システムの構成を示す図である。

【図13】第２実施形態における画像データ出力部の内部回路構成を示す図である。

【図14】第２実施形態における眼球状態取得部、画像データ出力部、およびビーム制御部の機能ブロックの構成を示す図である。

【図15】第２実施形態における画像生成部が内部で保持する解像度テーブルのデータ構造例を示す図である。

【図16】第２実施形態におけるビーム状態決定部が内部で保持するビーム状態テーブルのデータ構造例を示す図である。

【図17】第２実施形態における、表示対象の画像とビームの状態調整による表示結果を模式的に示す図である。

【発明を実施するための形態】

【0013】

第１実施形態
本実施の形態は、レーザー光走査方式でユーザの網膜に画像を投影する表示技術に関する。レーザー光走査方式とは、画素に対応するレーザー光を、偏向用のミラーを用いて２次元走査させることにより、対象物に画像を形成する手法である。図１は、本実施の形態を利用できる画像表示システムの基本的な構成を例示している。この例で画像表示システム１４は、画像データ出力部１０、光照射部１２、走査ミラー５２、反射ミラー１００を備える。

【0014】

画像データ出力部１０は、表示対象の画像のデータを光照射部１２に出力する。光照射部１２は当該データを取得し、画像を構成する各画素の色を表すレーザー光を発生させる。レーザー光は例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の成分を含む。走査ミラー５２は、２軸周りで角度が変化するように制御され、光照射部１２が発生させたレーザー光の到達点を２次元方向に変位させる。光照射部１２が、走査ミラー５２の揺動と同期するようにレーザー光の色を順次変化させることにより、各時刻での色を画素とする画像が形成される。

【0015】

反射ミラー１００は、走査ミラー５２で反射したレーザー光を、ユーザの眼球１０２の方向へ反射させる。ここで反射ミラー１００は、走査ミラー５２により２次元走査されたレーザー光が、眼球１０２の瞳孔で収束したうえ、網膜１０４上で２次元走査されるように設計される。これにより、裸眼視力やピント位置によらず、常に同程度の品質で画像を視認できるフォーカスフリー性を実現できる可能性が高まる。

【0016】

なお実際には、図示するような構造を左右の眼に対し設けたヘッドマウントディスプレイやスマートグラスなどのウェアラブルディスプレイの形態で実体化することが考えられる。また図の例は、網膜直描による表示システムの基本構造を示しており、本実施の形態をこれに限る趣旨ではない。例えばレーザー光の経路にコリメートレンズや別のミラーを設けたり、各ミラーの制御機構を設けたりしてもよい。

【0017】

本実施の形態では、図示するような方式の表示技術において、視認される画像のさらなる品質向上を実現する。具体的には、レーザー光のビームの状態をユーザごとに最適化することにより、より精細な画像が視認されるようにする。非特許文献１には、レーザー光の状態および観察者の裸眼視力が、網膜へ投影される画像に与える影響について開示されている。

【0018】

図２は、非特許文献１に開示される、眼球に入射するレーザー光のビーム径と、網膜上でのビームスポットの半径との関係を示すシミュレーション結果である。実線は、色収差を考慮した幾何光学に基づく計算結果であり、点線は、光の回折を考慮した計算結果である。幾何光学上は、入射ビーム径が小さいほど、網膜上のビームスポットが小さくなるが、回折現象によれば、入射ビーム径が大きいほど、網膜上のビームスポットが小さくなる。

【0019】

つまり網膜上のビームスポットに極小値を与える入射ビーム径が存在する。網膜直描による画像表示において視認上の解像度を上げるには、この極小値を狙って入射ビーム径を調整することが望ましい。図の例では入射ビーム径を１．５ｍｍとすることが考えられるが、この結果は特定の条件下でのものであり、ユーザの裸眼視力やビームの発散角によって最適な入射ビーム径が変化する。

【0020】

図３は、非特許文献１に開示される、裸眼視力に対する獲得視力の実験結果を示している。ここで獲得視力（Acquired Visual Acuity）は、網膜に投影された画像を視認する際の視力を指す。（ａ）は、ビームを平行光とし、入射ビーム径ｄを０．３１、０．４７、０．８２、１．３６ｍｍと異ならせたときの、裸眼視力に対する獲得視力の変化を示す。（ｂ）は、ビーム径を１．４９ｍｍとし、開口数ＮＡを－０．００１２、－０．００２９、－０．００４５と異ならせたときの、裸眼視力に対する獲得視力の変化を示す。なお入射ビームの半角（発散角）θを用い、開口数ＮＡは次の式で定義される。
ＮＡ＝ｓｉｎθ

【0021】

（ａ）によれば、平行光の場合、０．３１ｍｍから０．８２ｍｍまでのビーム径では、獲得視力に裸眼視力依存性が小さいフォーカスフリー性がみられる。なかでもビーム径ｄが０．８２ｍｍのときの獲得視力が最も高くなる。一方、ビーム径ｄを１．３６ｍｍにすると、裸眼視力によって獲得視力が大きく変化する。例えば裸眼視力が１程度であれば最高の獲得視力が得られる一方、裸眼視力が０．１の場合、他のビーム径より獲得視力が低くなる。すなわち、可能な限り精細な画像を見せる目的においては、ユーザの裸眼視力によって適切なビーム径が異なることがわかる。

【0022】

一方、ビーム径を１．４９ｍｍで固定したとき、（ｂ）に示すように、開口数が－０．００１２あるいは－０．００２９であれば、（ａ）の平行光における、ビーム径１．３６ｍｍの場合と類似した結果となる。すなわち裸眼視力が０．５程度以下では、裸眼視力の低下に応じて獲得視力も低くなる。ところが開口数を－０．００４５とすると、獲得視力が逆の挙動を示し、裸眼視力が０．５程度以下で、裸眼視力が低いほど獲得視力が高くなる。また裸眼視力が１程度では、他の開口数より獲得視力が格段に低くなる。すなわち可能な限り精細な画像を見せる目的においては、裸眼視力によって適切な開口数、ひいてはビームの発散角が異なることがわかる。

【0023】

またこれらの結果から、視認される画像の精細さ（解像度）を高めようとするほど、フォーカスフリー性が失われることがわかる。この現象は、ユーザの眼の屈折力に対して最適なビーム径やビーム発散角の条件が異なることに起因する原理的なものである。本実施の形態では、ユーザ個々の眼の状態に合わせてビームの状態を自動で調整することにより、より高い解像度で高精細な画像を見せるとともに、誰でもその状態を享受できるという意味でのフォーカスフリー性を実現する。

【0024】

図４は、本実施の形態における画像表示システムの詳細な構成を示している。上述のとおり画像表示システム１４は、画像データ出力部１０、光照射部１２、走査ミラー５２を備える。なお反射ミラー１００は図示を省略している。光照射部１２は、網膜１０４に投影する画像の画素を形成する光を、当該網膜１０４に照射する画像投影部として、画像用レーザー光源５０およびビーム制御部５４を備える。画像用レーザー光源５０は、画像データ出力部１０が出力する画像データＩに基づき、投影画像の各画素の色を表す画像用レーザー光５７を発生させる。

【0025】

画像用レーザー光５７は例えばＲＧＢに対応する３つのレーザー光で構成されるが、画素値に対応する色を表す限り波長や数は限定されない。ビーム制御部５４は、画像用レーザー光５７のビーム径および発散角の少なくともいずれかを、ユーザの眼の状態に応じて調整する。以後、ビーム径および発散角の双方またはどちらか一方を、「ビーム状態」と総称する場合がある。ビームの状態の具体的な調整手段は後に例示する。調整が施された画像用レーザー光５７は走査ミラー５２で反射し、最終的にユーザの眼球１０２に入射する。

【0026】

走査ミラー５２としては例えば、ＭＥＭＳ（Micro Electro Mechanical Systems）ミラーを導入する。ＭＥＭＳミラーは、電磁駆動により２軸周りの角度変化を精度よく制御できる、小型かつ低消費電力の装置である。ただし走査ミラー５２の駆動方式は特に限定されない。走査ミラー５２は、投影画像の画素を形成する画像用レーザー光５７の色と同期するように角度を制御する制御機構を備える。なお当該制御機構は、画像データ出力部１０が備えていてもよい。

【0027】

本実施の形態において光照射部１２はさらに、ユーザの眼球１０２の状態情報を取得する機能を有する。具体的には光照射部１２は、裸眼視力の推定に用いることのできる、眼球１０２の構造に係る所定のパラメータを取得する。当該パラメータとして、水晶体１０８の厚さや、眼球の奥行き方向の長さ（眼軸長）などが挙げられる。光照射部１２は、そのような視力推定用パラメータに基づきユーザの裸眼視力を推定し、ユーザごとに最適なビーム状態で画像用レーザー光５７が照射されるようにする。

【0028】

詳細には、光照射部１２は、視力推定用パラメータを取得するための参照用レーザー光を出力する参照用レーザー光源５６、参照用レーザー光を画像用レーザー光と重ね合わせ、走査ミラー５２に導くビームスプリッター５８、参照用レーザー光の波長の光を透過させる参照用レーザー光透過フィルタ６２、参照用レーザー光の反射光を検出し反射地点までの距離を取得する距離取得部６０、および、得られた距離の情報から視力推定用パラメータを取得し、裸眼視力を推定する眼球状態取得部６４を備える。

【0029】

この例で参照用レーザー光源５６およびビームスプリッター５８は、参照光照射部として機能する。参照用レーザー光源５６は参照用レーザー光５９として、例えば１００ピコ秒～数ナノ秒のパルス幅の近赤外レーザー光を発生させる。ビームスプリッター５８は、参照用レーザー光５９を画像用レーザー光５７の経路に合流させ、走査ミラー５２へ導くように設けられる。これにより、参照用レーザー光５９は画像用レーザー光５７と共通の経路で、走査ミラー５２において反射し、反射ミラー等を経て眼球１０２へ到達する。なお「共通の経路」とは、実質的に共通と見なせる範囲内であればよく、微小なずれがある場合も含まれる。

【0030】

距離取得部６０は、参照用レーザー光５９が眼球１０２内の組織を反射してなる光を検出することにより、反射地点までの距離を取得する。眼球１０２の瞳孔へ到達した参照用レーザー光５９は、眼球内の様々な組織を透過して網膜１０４へ到達するとともに、組織表面で一部が反射する。例えば参照用レーザー光５９は、水晶体１０８の瞳孔側の表面（前面）で反射するとともに残りが透過する。透過したレーザー光の一部は、水晶体１０８の網膜側の表面（背面）で反射するとともに残りが透過する。最終的に残ったレーザー光は網膜１０４へ到達し反射する。

【0031】

距離取得部６０は、そのようにして複数の面で反射した光子を受光素子で検出し、参照用レーザー光５９の出射から検出までの時間差に基づき、各面までの距離を導出する。距離取得部６０は、例えばｄＴＯＦ（Direct Time Of Flight）センサで構成され、参照用レーザー光５９の出射と同期して駆動する。詳細には、参照用レーザー光源５６は、距離取得部６０から入力される同期信号Ｓを契機として、参照用レーザー光５９のパルスを周期的に発生させる。距離取得部６０は、同期信号Ｓの出力時刻に基づく参照用レーザー光５９の出射時刻と、その反射光６１の検出時刻との時間差を一定期間、繰り返し測定する。

【0032】

参照用レーザー光５９の出射から反射光６１の検出までの時間差をΔｔ、光速をｃとすると、距離取得部６０の受光素子から反射面までの距離Ｃは、原理的には次のように求められる。
C = c×Δt/2
なお走査ミラー５２からのレーザー光の出射口と距離取得部６０の受光面は略同一としている。ただし本実施の形態において、参照用レーザー光の反射を検出することにより反射地点の距離を測定する手法をｄＴＯＦに限る主旨ではない。

【0033】

上述のとおり本実施の形態では、参照用レーザー光の反射面が複数あるため、距離取得部６０が検出する光子の数は、反射面までの距離に対応する複数の時刻ｔ１、ｔ２、ｔ３、・・・で極大値を持つ。距離取得部６０は例えば、複数の参照用レーザー光のパルスについて、検出した光子の数の、出射時刻からの時間変化を蓄積してカウントしていくことにより、光子数が極大値をとる時間差Δｔ１，Δｔ２、Δｔ３、・・・を取得する。これにより、上式に基づき、複数の反射面までの距離Ｃ１、Ｃ２、Ｃ３・・・を高い精度で得ることができる。

【0034】

なお図では参照用レーザー光５９の経路を直線としているが、図１に示すようにレーザー光の経路が直線でなくとも計算は同様となる。この場合、「距離」は、レーザー光の経路長と読み替えることができる。いずれにしろ本実施の形態では、画像用レーザー光５７と同じ経路で参照用レーザー光５９を照射することにより、ユーザが映像を視認できる条件において、水晶体１０８や網膜１０４へ確実に到達させることができる。

【0035】

眼球状態取得部６４は、複数の反射面までの距離Ｃ１、Ｃ２、Ｃ３、・・・からなるデータセットＣを距離取得部６０から取得し、それを利用して視力推定用パラメータを取得する。例えば眼球状態取得部６４は、水晶体１０８の前面と背面の距離の差を、水晶体１０８の厚さとして取得する。眼球状態取得部６４は、その結果に基づきユーザの裸眼視力ＶＡを推定して、ビーム制御部５４に通知する。

【0036】

ビーム制御部５４は、通知された裸眼視力ＶＡに適したビーム状態となるように、画像用レーザー光５７を調整する。なお参照用レーザー光源５６、距離取得部６０、眼球状態取得部６４による裸眼視力の取得は、本実施の形態の画像表示システムを用いてユーザがコンテンツなどの画像を見始める際の初期動作として一度のみ実施してよい。

【0037】

あるいは、ユーザが画像を見ている最中に、一定周期やシーンの切り替わり時など所定のタイミングで実施してもよい。本実施の形態では、画像の表示処理と視力の推定処理が干渉することなく、同じシステムで両立できるため、ユーザは手間を覚えることなく最適な状態で画像を楽しむことができる。

【0038】

図５は、本実施の形態における距離取得部６０、眼球状態取得部６４、およびビーム制御部５４の機能ブロックの構成を示している。同図に示す各機能ブロックは、ハードウェア的には各種センサやマイクロプロセッサなどで実現でき、ソフトウェア的には、データ入出力機能、演算機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

【0039】

また距離取得部６０、眼球状態取得部６４、およびビーム制御部５４は、実際には１つまたは２つの装置であってもよいし、４つ以上の装置として実装してもよい。また図示する距離取得部６０の機能の一部やビーム制御部５４の機能の一部は、眼球状態取得部６４が備えてもよい。あるいは眼球状態取得部６４の一部または全部は、距離取得部６０またはビーム制御部５４に含まれていてもよい。

【0040】

距離取得部６０は、参照用レーザー光源５６に対し同期信号を出力する同期信号出力部７２、参照用レーザー光の反射光を検出する検出部７０、および、検出結果に応じて反射位置までの距離を取得する演算部７４を備える。同期信号出力部７２は上述のとおり、参照用レーザー光のパルスを発生させる契機となる同期信号を生成し、参照用レーザー光源５６に与える。検出部７０は受光素子の配列を含み、参照用レーザー光源５６が同期信号を契機に発生させた参照用レーザー光のパルスが眼球において反射してなる光を検出し、検出数の時間変化を演算部７４に通知する。

【0041】

演算部７４は、同期信号出力部７２が生成した同期信号のタイミングに基づき、参照用レーザー光のパルスの出射時刻を求める。そして上述のとおり、出射時刻からの経過時間に対する反射光の検出数を、複数のパルスについて蓄積してカウントすることにより、検出数に極大値を与える複数の時間差Δｔ１、Δｔ２、Δｔ３、・・・を求める。さらに演算部７４は、求めた時間差にそれぞれ対応する距離値を、上式を用いて導出する。

【0042】

眼球状態取得部６４は、得られた距離値を利用して、ユーザの裸眼視力を推定する裸眼視力取得部７８を備える。詳細には裸眼視力取得部７８は、距離値の差分に基づき、水晶体の厚さや眼軸長など、１つまたは複数の裸眼視力推定用パラメータを求める。そして眼球状態取得部６４は、求めた裸眼視力推定用パラメータの値に基づき、ユーザの裸眼視力を推定する。このため裸眼視力取得部７８は、裸眼視力推定用パラメータと裸眼視力とを対応づけた裸眼視力テーブルを、内部のメモリなどに保持する。

【0043】

ビーム制御部５４は、ビーム状態の最適値を決定するビーム状態決定部８０、および、決定結果に応じて、画像用レーザー光のビーム状態を調整する調整部８２を備える。ビーム状態決定部８０は、ユーザの裸眼視力の推定値を眼球状態取得部６４から取得し、当該裸眼視力に最適なビーム状態を決定する。このためビーム状態決定部８０は、裸眼視力と、最適なビーム状態とを対応づけたビーム状態テーブルを、内部のメモリなどに保持する。

【0044】

調整部８２は、ビーム状態決定部８０が決定したビーム状態を達成するように、画像用レーザー光を調整する。このため調整部８２は、ビーム径およびビームの発散角の少なくともいずれかを調整する手段を有する。例えば調整部８２は、ビーム径の調整に用いるビームエキスパンダーを備える。

【0045】

ビームエキスパンダーは、入射するレーザー光の径を拡げる第１のレンズと、それを平行光にする第２のレンズからなり、両者の距離を調整することでビーム径の倍率を変化させることができる周知の装置である（例えば、「ビームエキスパンダー」、[online]、エドモンド・オプティクス・ジャパン株式会社、[令和４年５月９日検索］、インターネット<URL:https://www.edmundoptics.jp/knowledge-center/application-notes/lasers/beam-expanders>参照）。ただしビーム径の調整手段をビームエキスパンダーに限る趣旨ではない。

【0046】

また調整部８２は例えば、ビームの発散角の調整に用いる拡散レンズ、集光レンズ、液体レンズ、およびフォトニック結晶のいずれかを含むデバイスを備える。拡散レンズおよび集光レンズによれば、それらのレンズの位置を光軸方向に移動させることにより発散角を調整できる。この場合、調整部８２はアクチュエータによりレンズを機械的に移動させる必要があり、１００ｍｓｅｃ～１ｓｅｃ程度の調整時間を要する。

【0047】

液体レンズは、水などの極性液体とシリコンオイルなどの無極性液体をホルダーに封入し、印加電圧の変化により界面の形状変化を誘発することで、入射する光の屈折率を変化させる装置である（例えば、特開２０１１－９００５４号公報参照）。この場合、調整部８２は、印加電圧を変化させるのみで発散角を制御でき、調整の応答速度を格段に高くできる。

【0048】

フォトニック結晶を用いたデバイスは、屈折率分布の周期を固定としたフォトニック結晶と、周期を連続的に変化させたフォトニック結晶とを組み合わせ、駆動させる電極の位置を移動させることにより周期の差を変化させ、ビームの出射角を調整する装置である（例えば、特開２０１３－２１１５４２号公報）。この場合も調整部８２は、駆動対象の電極を変化させるのみで発散角を制御できる。なお本実施の形態においてビームの状態を調整する手段は上述したものに限らない。

【0049】

図６は、距離取得部６０の演算部７４が、複数の反射面までの距離を取得する手法を説明するための図である。上述のとおり参照用レーザー光は、その一部が水晶体の表面や背面などで反射され、残りが網膜に到達する。したがって距離取得部６０では、参照用レーザーパルスを照射するごとに、反射率に対応する数の光子が時間差をもって複数回検出される。図のヒストグラムは、レーザーパルスの出射時刻からの時間経過に対する、光子の検出数の変化を模式的に示しており、３つの極大値が得られている。

【0050】

参照用レーザーパルスの照射回数を増やし、検出結果をヒストグラムに加算していくことにより、より明確に極大値が得られる。極大値が得られる時間差Δｔ１、Δｔ２、Δｔ３は、その反射をもたらした面までの距離Ｃ１、Ｃ２、Ｃ３に対応する。図ではわかりやすさのために、水晶体の前面と背面、および網膜での反射を想定している。すなわち検出部７０の受光面から水晶体の前面までの距離がＣ１、背面までの距離がＣ２、網膜までの距離がＣ３である。眼球の構造上、それ以外の反射面があっても、互いの位置関係により、水晶体の各面や網膜を表す極大点を特定できる。

【0051】

裸眼視力取得部７８は、そのようにして得られた複数の距離値のデータを取得し、例えば水晶体の背面と前面の距離の差Ｃ２－Ｃ１を、水晶体の厚さとして求める。あるいは裸眼視力取得部７８は、網膜と水晶体の前面との距離の差Ｃ３－Ｃ１を、眼軸長として求める。なお裸眼視力推定用パラメータは、眼球における反射面の距離に基づき裸眼視力を推定できるものであればその種類や数は限定されない。また水晶体の厚さや眼軸長であっても、裸眼視力を導出するための指標であればよく、一般的な定義に則った厳密な数値でなくてもよい。

【0052】

図７は、裸眼視力取得部７８が内部で保持する裸眼視力テーブルのデータ構造例を示している。図示する例で裸眼視力テーブル１１０は、水晶体厚さと裸眼視力を対応づけたデータである。裸眼視力は水晶体の厚さに依存することが知られている（屈折性異常）。すなわち水晶体が正常値より厚くなると、屈折率が大きくなり、入射した光が網膜より手前で結像する近視の状態となる。水晶体が正常値より薄くなると、屈折率が小さくなり、入射した光が網膜より奥で結像する遠視の状態となる。

【0053】

したがって、図示するような裸眼視力テーブル１１０を、実験や理論的な計算などにより作成しておけば、裸眼視力取得部７８は、実際に求めた水晶体の厚さから裸眼視力を推定できる。なお図示する数値は一例であり、さらに細かい粒度で各数値を設定してよい。また水晶体の厚さから裸眼視力を導出できる限り、それに用いるデータはテーブルに限らず計算式などでもよい。

【0054】

一方、裸眼視力は眼軸長にも依存することが知られている（軸性異常）。すなわち眼軸長が正常値より長くなると、入射した光が網膜より手前で結像する近視の状態となる。眼軸長が正常値より短くなると、入射した光が網膜より奥で結像する遠視の状態となる。したがって裸眼視力テーブルは、眼軸長と裸眼視力を対応づけたデータであってもよい。あるいは裸眼視力テーブルは、水晶体の厚さと眼軸長の組み合わせに、裸眼視力を対応づけたデータであってもよいし、それ以外のパラメータと裸眼視力を対応づけたデータであってもよい。

【0055】

図８は、ビーム状態決定部８０が内部で保持するビーム状態テーブルのデータ構造例を示している。図示する例でビーム状態テーブル１１２は、裸眼視力と、それに適したビーム状態とを対応づけたデータである。図示する例ではビーム状態として、ビーム径および、発散角に対応する開口数を示しているが、そのどちらかのみでもよい。

【0056】

ビーム径のみを調整対象とする場合、図３の（ａ）で示したように、発散角を規定値で固定したうえ、実験あるいは計算により、各裸眼視力で最高の獲得視力が得られるビーム径を求め、対応づける。発散角のみを調整対象とする場合、図３の（ｂ）で示したように、ビーム径を規定値で固定したうえ、実験あるいは計算により、各裸眼視力で最高の獲得視力が得られる発散角（開口数）を求め、対応づける。ビーム径および発散角の双方を調整対象とする場合は両者を変数とし、実験あるいは計算により、各裸眼視力で最高の獲得視力が得られる組み合わせを求め、対応づける。

【0057】

ビーム状態決定部８０は、眼球状態取得部６４の裸眼視力取得部７８が取得した、ユーザの裸眼視力に基づき、ビーム状態テーブル１１２を参照し、最適なビーム状態を決定したうえ、調整部８２に通知する。なお図示する数値は一例であり、さらに細かい粒度で各数値を設定してよい。また裸眼視力からビーム状態の最適値を導出できる限り、それに用いるデータはテーブルに限らず計算式などでもよい。

【0058】

図９は、本実施の形態における距離取得部６０の受光面の形状の一例を示している。すなわち同図は、図４で示した構成において、距離取得部６０を参照用レーザー光透過フィルタ６２側から見た正面図である。図示するように距離取得部６０は、中央に開口部６６を備えた中空矩形の面に受光素子を配列させた構造を有する。当然、参照用レーザー光透過フィルタ６２も同様の形状を有する。開口部６６は、走査ミラー５２で反射してなる、画像用レーザー光５７および参照用レーザー光５９の出口を形成する。

【0059】

すなわち距離取得部６０は、それらのレーザー光の出射口に外接する位置で、参照用レーザー光の反射光を検出する。なおその限りにおいて、開口部６６や、受光素子を配列させる面の形状は限定されない。本実施の形態ではレーザー光走査方式により、画素ごとに順次レーザー光を照射する。そのため図示するように、レーザー光の出射口に外接するように距離取得部６０の受光面を設けても、距離の取得と画像の表示は互いに干渉しない。

【0060】

さらに図示するように、レーザー光の出射口である開口部６６を囲むように、反射光の受光面を設けることにより、レーザー光の照射軸と受光面の中心軸６７（受光面の中心を通る垂直軸）を一致させることができる。その結果、画像表示のための機構を利用して、眼球の状態に係る情報を無理なく正確に取得できる。なお距離取得部６０の受光素子配列とレーザー光の出射口との間隔は、接しているとみなされる微小の距離範囲にあればよい。

【0061】

図１０は、本実施の形態における画像表示システムの構成の別の例を示している。同図において、図４で示した画像表示システム１４と同様の構成には同じ符号を付している。すなわち図示する画像表示システム１４ａは、図４で示した画像データ出力部１０、ビーム制御部５４、眼球状態取得部６４、距離取得部６０、走査ミラー５２、参照用レーザー光透過フィルタ６２を備える。一方、この例では、画像用レーザー光源５０および参照用レーザー光源５６の代わりに、画像・参照兼用レーザー光源１２０を設ける。画像・参照兼用レーザー光源１２０は、画像投影用のレーザー光と参照用のレーザー光を、同じ面の近接した位置から発生させるレーザーモジュールである。

【0062】

画像・参照兼用レーザー光源１２０は、画像データ出力部１０から得た画像データＩに基づき画像用レーザー光を発生させる一方、距離取得部６０からの同期信号Ｓに応じて参照用レーザー光のパルスを発生させる。その他の動作は、図４で示したものと同様でよい。この構成によれば、図４で示した構成と比較し、画像表示システムを小型化できる。またビームスプリッターを介する必要がないため、画像・参照兼用レーザー光源１２０から発生させたレーザー光の光量を維持したまま対象物に到達させることができ、消費電力を抑えることができる。

【0063】

以上述べた本実施の形態によれば、レーザー光走査方式により網膜に画像を投影する表示システムにおいて、画像用レーザー光の照射機構を利用して参照用レーザー光を眼球に照射し、その反射光を検出することにより眼球の状態を取得する。具体的には裸眼視力に影響を与える所定のパラメータを取得することにより、ユーザの裸眼視力を推定する。そして画像用レーザー光のビーム状態を最適化することにより、ユーザの裸眼視力によらず、極力高い解像度で精細な画像を視認させることができる。

【0064】

また画像表示のための機構を利用して参照用レーザー光を眼球に照射するため、視力測定のために特別な装置を用いる必要がない、つまりユーザが、画像を鑑賞するためにウェアラブルディスプレイなどを装着した状態で、自動で測定を行うことができ、その結果を即時にビームの状態に反映させることができる。結果として、ユーザが認識せずとも正確な調整が可能になる。さらに画像用レーザー光と同経路で参照用レーザー光を照射するため、キャリブレーション等の手間なく正確に眼球を測定できる。

【0065】

第２実施形態
第１実施形態では、裸眼視力がどのようであっても、できるだけ高い解像度で画像が視認されるようにビーム状態の調整を行った。本実施の形態では、生体的な焦点距離の変動に合うように、視認される画像の解像度を変動させる。具体的には、水晶体の厚さに基づきユーザが焦点を合わせている距離を推定し、それに合わせてビーム状態をリアルタイムで調整する。

【0066】

図１１は、焦点距離と水晶体の厚さとの関係を説明するための図である。（ａ）、（ｂ）は、ユーザが実世界において、距離が異なる２つの物１３０ａ、１３０ｂのうち矢印で示す物に焦点を合わせているときの、眼球１０２の状態を比較している。（ａ）のように、ユーザが遠くの物１３０ａを見ている（焦点を合わせている）とき、眼球１０２の水晶体１０８は薄くなる。これにより実線で示すように、見ている物１３０ａの像は網膜で結像し、明確な像として認識される。一方、この場合、近くにある物１３０ｂの像は、一点鎖線で示すように、網膜より奥で結像する状態となりぼやけて見える。

【0067】

（ｂ）のように、ユーザが近くの物１３０ｂを見ている（焦点を合わせている）とき、眼球１０２の水晶体１０８は厚くなる。これにより一点鎖線で示すように、見ている物１３０ｂの像は網膜で結像し明確な像として認識される。一方、この場合、遠くにある物１３０ａの像は、実線で示すように、網膜より手前で結像する状態となりぼやけて見える。

【0068】

網膜直描による表示技術では、上述のとおり、ユーザがどこに焦点を合わせているかに関わらず同じ状態で画像が視認される。すなわち、ユーザがある物の像に焦点を合わせても、視覚上、焦点が合っている感覚が得られない輻輳調節矛盾が生じる。本実施の形態では、画像の表示と並行して水晶体の厚さを取得し、それに基づき焦点距離をリアルタイムで推定する。そして表示対象の３次元空間、すなわち仮想空間あるいは実写した空間において、焦点距離に対応する位置にある物の像を高解像度で、焦点距離から離れている物の像を低解像度で視認させる。これにより輻輳調節矛盾を解消し、より臨場感の高い画像表現を実現する。

【0069】

図１２は、本実施の形態における画像表示システムの構成を示している。基本的な構成は図４で示したものと同様であり、対応する構成には同じ符号を付している。すなわち画像表示システム１４ｂは、画像データ出力部１０、光照射部１２、走査ミラー５２を備える。光照射部１２は、画像用レーザー光源５０、ビーム制御部５４、参照用レーザー光源５６、ビームスプリッター５８、参照用レーザー光透過フィルタ６２、距離取得部６０、および眼球状態取得部６４を備える。

【0070】

なお画像用レーザー光源５０と参照用レーザー光源５６は、図１０で示した画像・参照兼用レーザー光源１２０に代えてもよい。それぞれの構成は基本的に、第１実施形態と同様である。一方、本実施の形態において参照用レーザー光源５６は、画像用レーザー光５７の照射と並行して、参照用レーザー光５９のパルスを発生させ続ける。距離取得部６０は、第１実施形態と同様の原理で、参照用レーザー光の反射光を検出することにより、眼球１０２における複数の反射面までの距離Ｃ１、Ｃ２、Ｃ３、・・・からなるデータセットＣを求める。

【0071】

参照用レーザー光のパルスを照射させつづけることにより、距離Ｃ１、Ｃ２、Ｃ３、・・・の時間変化を取得できる。水晶体の厚さが変動すれば、当該距離値も変動する。したがって距離取得部６０は、例えば所定の周期でデータセットＣを求め、眼球状態取得部６４に順次供給する。眼球状態取得部６４はデータセットＣに基づき、水晶体１０８の厚さの時間変化を求める。眼球状態取得部６４はその結果に基づき、焦点距離Ｄｆを所定の周期で推定し、ビーム制御部５４に通知する。なお眼球状態取得部６４は焦点距離Ｄｆの情報を、必要に応じて画像データ出力部１０にも通知してよい。

【0072】

ビーム制御部５４は、表示対象の空間において、通知された焦点距離Ｄｆに対応する位置にある物の像が明確に、焦点距離Ｄｆから離れている物の像がぼけて見えるように、画像用レーザー光５７を調整する。このためビーム制御部５４は、表示画像に対応する深度情報Ｄｉを、画像用レーザー光源５０を介して画像データ出力部１０から取得する。そしてビーム制御部５４は、深度情報Ｄｉと焦点距離Ｄｆとを照合し、画像平面において像を明確にする領域とぼかす領域を決定する。

【0073】

像を明確にしたりぼかしたりする手法としては、第１実施形態における解像度の調整原理を応用できる。すなわちビーム制御部５４は、画像上の領域によって、それを表す画像用レーザー光のビーム状態に差をつける。このような調整により、画素を最小単位として解像度を制御し、水晶体の変化に合致する焦点の変化を表現できる。本実施の形態ではさらに、画像データ出力部１０が焦点距離Ｄｆの情報を取得し、それに合わせて画像のデータ自体に解像度の差をつけてもよい。

【0074】

例えば画像データ出力部１０は、ビーム制御部５４によってぼかされる領域の解像度を、元から低下させて表示画像のデータを生成する。画像用レーザー光のビーム状態の調整によりぼかされる領域については、画像生成処理を簡易化し低解像度としても、視認上への影響が小さい。結果として画質を劣化させることなく、画像データ出力部１０における画像生成処理の負荷を軽減できる。この場合、画像データ出力部１０は、表示画像に対応する深度情報Ｄｉと焦点距離Ｄｆとを照合し、生成処理を簡易化できる領域を決定したうえで画像を生成する。

【0075】

図１３は、画像データ出力部１０の内部回路構成を示している。画像データ出力部１０は、ＣＰＵ（Central Processing Unit）２３、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。

【0076】

入出力インターフェース２８には、サーバ等と通信を確立する通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、画像用レーザー光源５０へデータを出力する出力部３６、眼球状態取得部６４からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。通信部３２は、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースで構成される。

【0077】

ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することにより画像データ出力部１０の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２３からの描画命令に従って描画処理を行い、出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

【0078】

図１４は、眼球状態取得部６４、画像データ出力部１０、およびビーム制御部５４の機能ブロックの構成を示している。同図に示す各機能ブロックは、ハードウェア的には、図１３で示したＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などのほか、各種センサやマイクロプロセッサなどで実現でき、ソフトウェア的には、記録媒体からメモリにロードした、情報処理機能、画像描画機能、データ入出力機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

【0079】

なお距離取得部６０の機能ブロックの構成は図５で示したものと同様のため、図示を省略している。眼球状態取得部６４は、距離取得部６０から供給される距離値を利用して、焦点距離をリアルタイムで推定する焦点距離取得部１４０を備える。詳細には焦点距離取得部１４０は、水晶体の前面と背面の距離の差から、その厚さを所定の周期などで継続的に求め、その結果に基づき各時点での焦点距離を推定する。このため焦点距離取得部１４０は、水晶体の厚さと焦点距離とを対応づけた焦点距離テーブルを、内部のメモリなどに保持する。

【0080】

一例として、レーザー光の出射口から５ｃｍの経路を隔てて眼球がある場合、参照用レーザー光が出射してから反射光が検出されるまでの時間Δｔは次のようになる。
Δt = 1/(3.0×10⁸)[m/sec]×0.1[m]=0.33[nsec]
投影画像のフレームレートを３０ｆｐｓ（ｆｒａｍｅ／ｓｅｃ）とすると、１フレーム当たりにレーザーパルスを打てる回数Ｐは次のようになる。
P = 1/30[fps]/0.33[nsec] = 5×10⁸[dots]

【0081】

投影画像の解像度を１２８０×７２０画素とすると、１画素当たりに参照用レーザー光を打てる回数ｐは次のようになる。
ｐ = 5×10⁸[dots]/(1280×720)［pixel] = 108.5[dots/pixel]
仮に実用的な精度で距離を測定するために必要な時間の測定回数を５００回程度とし、レーザー光のパルスの反射光を全ての受光素子で検出できるという理想的な条件を想定した場合、距離取得部６０の受光面には、５個程度の受光素子を配置すればよい。

【0082】

このような構成によれば、焦点距離取得部１４０は、フレームの表示周期より格段に短い周期で、距離値のデータセットＣを取得でき、水晶体の厚さを、当該周期での高い時間分解能で取得することが可能になる。これにより、１フレーム分の画像投影期間中に焦点距離が変化しても、それに対応するようにビーム状態を調整し、画像上の焦点を適応させることができる。ただしビーム状態の調整頻度は特に限定されず、例えばフレームごとやそれ以上の周期で調整してもよい。

【0083】

なお距離取得部６０は、ｄＴＯＦセンサ以外の手法で水晶体の厚さの変化を測定してもよい。例えば距離取得部６０として、眼球を撮像するカメラを導入する。そして距離取得部６０は、参照用レーザー光を照射した眼球の撮影画像におけるＰｕｒｋｉｎｊｅ－Ｓａｎｓｏｎ像の変化に基づき、水晶体の厚さの変化を測定する（例えば特開２０００－１３９８４１号公報参照）。この場合、参照用レーザー光が水晶体に対し斜め方向から入射するように、別途経路を設ければよい。

【0084】

画像データ出力部１０は、焦点距離の情報を取得する焦点距離取得部１４２、表示対象の画像を生成する画像生成部１４４、画像の深度情報を生成する深度情報生成部１４６、および、表示画像のデータと深度情報を出力する出力部１４８を備える。焦点距離取得部１４２は、所定周期などで継続的に、眼球状態取得部６４から焦点距離の情報を取得する。

【0085】

画像生成部１４４は、表示すべき静止画や動画のフレームデータを生成する。ここで画像生成部１４４は、あらかじめ生成された画像データを、サーバなど外部の装置や内部の記憶装置などから取得してもよい。あるいは画像生成部１４４は、内部の記憶装置などに格納しておいたプログラムやモデルデータを用いて、自らが画像を描画してもよい。深度情報生成部１４６は、画像生成部１４４が生成する画像の平面上で、表される物の距離の分布を示した深度情報を生成する。

【0086】

画像生成部１４４が自ら画像を描画する場合、深度情報生成部１４６は、描画処理の過程で得られる距離の情報を画像生成部１４４から取得することで深度情報を生成する。あらかじめ生成された画像を再生する場合、深度情報生成部１４６は、当該画像データに対応づけて提供されている深度情報を取得してもよい。あるいは深度情報生成部１４６は、画像解析や深層学習などを利用して、生成済みの画像に対応する深度情報を生成してもよい。

【0087】

水晶体から得られる焦点距離の変化に応じて画像データ自体の解像度を変化させる場合、画像生成部１４４は、深度情報生成部１４６が生成した深度情報と、焦点距離取得部１４２が取得した焦点距離の情報とを照合し、画像の生成処理に反映させる。すなわち画像生成部１４４は、画像に表される物のうち、焦点距離に近い物ほど解像度が高くなるように（焦点距離から遠い物ほど解像度が低くなるように）画像を生成する。このため画像生成部１４４は、焦点距離を基準とした物の距離（深度）と、解像度の目標値とを対応づけた解像度テーブルを、内部のメモリなどに保持する。

【0088】

画像生成部１４４は好適には、直前に得られた焦点距離の情報を、次に生成する画像の解像度に反映させる。ただし眼球状態取得部６４による焦点距離の取得レートと、画像生成部１４４による解像度分布の更新レートは独立に設定してよい。なお焦点距離を画像データに反映させない場合、焦点距離取得部１４２の機能は省略できる。出力部１４８は、画像生成部１４４が生成した画像のデータおよび、深度情報生成部１４６が生成した深度情報のデータを対応づけて、画像用レーザー光源５０へ出力する。動画を表示する場合、出力部１４８はそれらのデータを所定のフレームレートで出力する。

【0089】

ビーム制御部５４は、ビーム状態の最適値を決定するビーム状態決定部１５０、および、決定結果に応じて、画像用レーザー光のビーム状態を調整する調整部１５２を備える。ビーム状態決定部１５０は、画像用レーザー光源５０を介して取得した深度情報と、眼球状態取得部６４から取得した焦点距離の情報とを照合し、表示画像の画素ごと、あるいは領域ごとに、ビーム状態の最適値を決定する。

【0090】

具体的にはビーム状態決定部１５０は、画像に表される物のうち、焦点距離に近い物ほど獲得視力が高くなるように（焦点距離から遠い物ほど獲得視力が低くなるように）、ビーム状態を決定する。このためビーム状態決定部１５０は、焦点距離を基準とした物の距離（深度）と、ビーム状態の目標値とを対応づけたビーム状態テーブルを、内部のメモリなどに保持する。

【0091】

調整部１５２は、第１実施形態と同様の手段で、ビーム状態決定部１５０が決定したビーム状態を達成するように、画像用レーザー光を調整する。ただし本実施の形態の調整部１５２は、画像用レーザー光源５０から出射した画像用レーザー光が、表示画像のどの画素を形成するかを特定し、当該画素に対応して決定されたビーム状態に調整する。焦点距離の変化に応じて、ビーム状態決定部１５０が決定したビーム状態の分布に変化が生じたら、調整部１５２は即時に応答し、ビーム状態に反映させることが望ましい。

【0092】

図１５は、画像生成部１４４が内部で保持する解像度テーブルのデータ構造例を示している。図示する例で解像度テーブル１６０は、焦点距離を基準（始点）とした距離の範囲と、その範囲にある物の解像度の目標値とを対応づけたデータである。なお図では、解像度の目標値として「高」、「中」、「低」なる設定がされているが、実際にはそれぞれ、高解像度、中程度の解像度、低解像度に対応する具体的な数値を設定する。画像の本来の解像度は、図示する「高」、「中」、「低」の解像度のいずれに属していてもよい。

【0093】

例えば本来の解像度を「高」とした場合、画像生成部１４４は、解像度を低減する方向にのみ調整する。本来の解像度を「中」とした場合、画像生成部１４４は領域によって、解像度を高める方向と低減する方向の双方に調整する。本来の解像度を「低」とした場合、画像生成部１４４は、解像度を高める方向にのみ調整する。

【0094】

また「距離範囲」の軸は、典型的には画像に対する仮想視点からの奥行き方向とするが、ユーザの眼球の動きを別途取得できる場合などは、それ以外の方向に対しても距離範囲を設定してよい。例えば注視点検出器を画像表示システムの構成に加え、画像上での注視点を基準とした水平方向の距離の範囲で、解像度に分布を設定してもよい。注視点検出器は赤外線などの参照光を眼球に照射し、その撮影画像に基づく眼球の動きから注視点を特定する周知の装置である。

【0095】

なお本実施の形態の距離取得部６０および眼球状態取得部６４が、注視点検出器を兼ねていてもよい。すなわち距離取得部６０の受光面に、２次元で受光素子を配列させることにより、参照用レーザー光の反射光は２次元の輝度分布を表す画像として表される。したがって眼球状態取得部６４は、当該画像から眼球の動きを取得することで、注視点を同定してもよい。

【0096】

あるいは距離取得部６０は、受光素子の２次元配列により、これまで述べた反射面までの距離を、２次元分布として取得してもよい。これにより眼球状態取得部６４は、水晶体の厚さの２次元分布を取得してもよい。水晶体の厚さは光軸に対応する中央部が最も厚く縁に近づくほど薄くなる。したがって眼球状態取得部６４は、水晶体の厚さの２次元分布の変化に基づき眼球の動きを検出し、ひいては注視点を同定してもよい。

【0097】

図１５の設定によれば、焦点距離から１ｍ未満の範囲に存在する物の像は、高解像度で、焦点距離から１ｍ以上５ｍ未満の範囲に存在する物の像は中程度の解像度で、焦点距離から５ｍ以上の範囲に存在する物の像は低解像度で表現される。このように、焦点距離に応じてデータ上で解像度に分布を与えておくことにより、画像用レーザー光の調整による解像度の変化に対応させることができる。

【0098】

これにより画像生成部１４４は、ビーム状態の調整によって最終的にぼかして表される領域に対し、無駄な処理負荷をかける必要がなくなる。また焦点距離に近い領域は画像データ上でも確実に高解像度としておくことにより、ビーム状態の調整効果が打ち消されることなく明確に表現できる。なお図示する数値は一例であり、さらに細かい粒度で各数値を設定してよい。また距離範囲から解像度の目標値を導出できる限り、それに用いるデータはテーブルに限らず計算式などでもよい。

【0099】

図１６は、ビーム状態決定部１５０が内部で保持するビーム状態テーブルのデータ構造例を示している。図示する例でビーム状態テーブル１７０は、焦点距離を基準（始点）とした距離の範囲と、その範囲にある物を表す際の画像用レーザー光のビーム状態の目標値とを対応づけたデータである。この例ではビーム状態として、ビーム径および、発散角に対応する開口数を示しているが、そのどちらかのみでもよい。

【0100】

例えば図２で示したように、ある条件下では理論上、ビーム径を１．５ｍｍとしたとき、網膜上でのビームスポットが最小になる。したがってビーム径のみを調整対象とする場合、焦点距離の近傍ではビーム径を１．５ｍｍとし、そこから離れるほど、ビーム径を増加または減少させていくような設定とする。発散角のみを調整対象とする場合は、例えばビーム径を１．５ｍｍで固定し、焦点距離から離れるほど、発散角を大きくしていくような設定とする。

【0101】

ビーム径および発散角の双方を調整対象とする場合は両者を変数とし、実験あるいは計算により、違和感なく解像度の分布を視認できる組み合わせを求め、対応づける。ビーム状態決定部１５０は、眼球状態取得部６４の焦点距離取得部１４０が取得した、リアルタイムでの焦点距離と、画像データ出力部１０が出力した深度情報に基づきビーム状態テーブル１７０を参照し、最適なビームの状態を画素ごとに決定したうえ、調整部１５２に通知する。

【0102】

なおビーム状態テーブル１７０は、ユーザの裸眼視力によって変化させてもよい。第１実施形態で説明したように、最高の解像度が視認されるビームの状態は、ユーザの裸眼視力によって様々になる。したがって第１実施形態の構成と組み合わせることにより、焦点距離にある物を、裸眼視力によらず最高の解像度で視認させ、その状態を基準として、離れた物が適切にぼけて見えるような設定を実現できる。

【0103】

この場合、ビーム状態決定部１５０は、裸眼視力に対応づけた複数のビーム状態テーブルを内部のメモリなどに保持する。そしてビーム状態決定部１５０はまず、第１実施形態で説明したようにユーザの裸眼視力を取得したうえ、それに対応するビーム状態テーブルを読み出す。以後、調整部１５２は、当該ビーム状態テーブルを用いて、焦点距離に応じたビーム状態の調整を行う。

【0104】

図示するビーム状態テーブル１７０における「距離範囲」の設定は、図１５の解像度テーブル１６０で説明したのと同様に、奥行き方向のみでもよいし、それ以外の方向を含めてもよい。また図示する数値は一例であり、さらに細かい粒度で各数値を設定してよい。距離範囲からビームの状態の目標値を導出できる限り、それに用いるデータはテーブルに限らず計算式などでもよい。

【0105】

図１７は、表示対象の画像とビームの状態調整による表示結果を模式的に示している。このうち（ａ）は、画像データ出力部１０が出力する画像データの例であり、カーレースのゲームにおけるユーザの視野として、前を走る車の動画像を表示対象としている。画像データ出力部１０は、当該動画像のフレーム１８０のデータを生成し、所定のレートで出力する。画像データ出力部１０はさらに、フレーム１８０に対応する深度情報のデータ１８２を出力する。

【0106】

この例で深度情報のデータ１８２は、フレーム１８０に表される物の距離値を、距離値が小さいほど高い輝度の画素値として表したデプス画像の形式を有する。ただし深度情報のデータ形式は特に限定されない。（ｂ）は、ビーム制御部５４がビーム状態を調整した結果として、ユーザに視認される画像を例示している。画像用レーザー光源５０は、フレーム１８０のデータを取得し、各画素に対応するレーザー光を順次発生させる。

【0107】

ビーム制御部５４は、直前に得られたユーザの焦点距離の情報に基づきビーム状態テーブルを参照し、焦点距離からの距離によって解像度（獲得視力）が変化するようにビーム状態を調整する。結果として、ユーザの焦点が手前の車１８６ａに合っている期間は、表示画像１８４ａのように、車１８６ａやその周囲が明確に見え、奥の車１８６ｂやその周囲がぼけて見えるようになる。ユーザの焦点が奥の車１８６ｂに合っている期間は、表示画像１８４ｂのように、車１８６ｂやその周囲が明確に見え、手前の車１８６ａやその周囲がぼけて見えるようになる。

【0108】

なお図示する例では、画像データ出力部１０が出力するフレーム１８０のデータには解像度の調整がなされていない。一方、上述のとおり画像データ出力部１０は、フレーム１８０のデータ上で、（ｂ）に示すように解像度に分布を与えておいてもよい。

【0109】

以上述べた本実施の形態によれば、レーザー光走査方式により網膜に画像を投影する表示システムにおいて、画像用レーザー光の照射と並行して、参照用レーザー光を眼球に照射し、その反射光を検出することにより眼球の状態を取得する。具体的には、ユーザの水晶体の厚さを測定し、それに基づき焦点距離をリアルタイムで推定する。当該焦点距離に応じて、解像度（獲得視力）が画像平面内で変化するようにビーム状態を制御することにより、実世界と同様の見え方を表示上で再現でき、輻輳調節矛盾を解消できる。

【0110】

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【0111】

例えば第１の実施形態では、参照用レーザー光を照射することにより、水晶体の厚さなど眼の構造上の数値を測定し、裸眼視力を推定することで最適なビーム状態を決定した。一方、裸眼視力は別の手段で取得してもよい。例えばユーザ自身が、図示しない入力装置を介して裸眼視力を入力してもよい。この場合、例えば画像データ出力部１０が、裸眼視力の入力画面を画像用レーザー光により表示させ、これに対しユーザが入力したデータを、眼球状態取得部６４が受け付けてもよい。その後の処理は第１実施形態と同じとすることで、同様の効果が得られる。

【0112】

また第２の実施形態では、参照用レーザー光を照射することにより水晶体の厚さの変化を測定し、焦点距離を推定することでビーム状態を変化させた。一方、上述のとおり注視点検出器を表示システムに含める場合、画像平面における注視点の位置のみに基づき、ビーム状態を変化させてもよい。この場合、例えばビーム制御部５４は、画像平面において注視点を含む所定範囲の領域で最大の獲得視力が得られ、注視点から離れるほど獲得視力が低くなるようにビーム状態を調整する。

【0113】

このようにしても、ユーザが見ている部分に焦点が合うような感覚を与えることができ、簡易的に輻輳調節矛盾による違和感を軽減させることができる。なお上述のとおり、距離取得部６０および眼球状態取得部６４が、注視点検出器の機能を備えていてもよい。またこの態様においても画像データ出力部１０は、ビーム状態の調整に対応するように、画像平面における解像度の分布を変化させて画像データを生成してよい。これにより、視認上への影響を少なく、画像生成処理の負荷を軽減できる。

【符号の説明】

【0114】

１０ 画像データ出力部、 １２ 光照射部、 １４ 画像表示システム、 ５０ 画像用レーザー光源、 ５２ 走査ミラー、 ５４ ビーム制御部、 ５６ 参照用レーザー光源、 ５８ ビームスプリッター、 ６０ 距離取得部、 ６２ 参照用レーザー光透過フィルタ、 ６４ 眼球状態取得部、 ７０ 検出部、 ７２ 同期信号出力部、 ７４ 演算部、 ７８ 裸眼視力取得部、 ８０ ビーム状態決定部、 ８２ 調整部、 １２０ 画像・参照兼用レーザー光源、 １４０ 焦点距離取得部、 １４２ 焦点距離取得部、 １４４ 画像生成部、 １４６ 深度情報生成部、 １４８ 出力部、 １５０ ビーム状態決定部、 １５２ 調整部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】