(58)【調査した分野】(Int.Cl.,DB名)
前記プロセッサは、複数の候補の光学レンズのうちの1枚以上を前記ユーザが選択することを可能にするディスプレイを生成し、前記光学効果は、前記選択された1枚以上の候補の光学レンズの前記光学効果である、請求項1または2に記載の電子機器。
前記プロセッサは、前記ユーザがユーザ・クレデンシャルを提供し、前記ユーザと関連し、前記1枚以上の光学レンズと関連したユーザ・アカウントにアクセスすることを可能にするディスプレイを生成する、請求項1乃至3のいずれか1項に記載の電子機器。
前記プロセッサは、前記電子機器にインストールされたオペレーティング・システムの1つ以上の機能を実行し、前記グラフィカル・ユーザ・インタフェースを修正する、請求項1乃至4のいずれか1項に記載の電子機器。
前記ユーザの視力測定を示すセンサ・データを受信することをさらに備え、前記制御信号を決定することは、前記視力測定により識別された前記ディスプレイの領域に関する1枚以上の光学レンズの前記光学効果を再現する前記制御信号を決定することを備える、請求項6に記載の方法。
前記コスト関数を最適化することは、前記ユーザの視線方向と関連した事前に計算されたデータを受信することを備える、請求項8乃至10のいずれか1項に記載の方法。
前記制御信号を決定することは、前記インタフェースの各複数のサブセットのピクセルについて前記制御信号を決定することを備える、請求項6乃至12のいずれか1項に記載の方法。
【発明を実施するための形態】
【0036】
遠視または老視のような、視力障害のある人々は、コンタクト・レンズ、または眼鏡のようなレンズを使用して、表示装置とインタラクトすることができる。しかしながら、よくこれらのレンズは、それらが変位する、破損する、またはまだ購入されていない、さまざまな理由のために、利用不可能である。これらの状況で、ディスプレイがぼやけてみえる場合にデバイスを操作することは、ユーザにとって困難である。
【0037】
さらに、老視の事例で特に、レンズの利用可能性に問題があるだけではなく、読書眼鏡の必要性に関連した年齢に関する社会的不名誉、及びその後、表示装置を操作するために眼鏡を着用するのに気が進まないことを伴う可能性がある。
【0038】
図2は、グラフィカル・ユーザ・インタフェースを視力障害のあるユーザへ表示するための、スマートフォンのような、コンピュータ・システム200を図示する。
【0039】
コンピュータ・システムは、プログラム・メモリ204と、データ・メモリ206と、GSM、3G、LTE、またはWiFiポートのような通信ポート208と、ディスプレイ・ポート210とに接続されたプロセッサ202を備える。プログラム・メモリ204は、ハード・ドライブ、ソリッド・ステート・ディスク、またはCD−ROMのような、非一時的なコンピュータ可読媒体である。ソフトウェアは、実行可能なプログラムであり、プログラム・メモリ204上に格納され、プロセッサ202に
図2の方法を実行させる、すなわち、プロセッサ202は、グラフィカル・ユーザ・インタフェースを修正する要求を受信し、グラフィカル・ユーザ・インタフェースを修正する。さらにソフトウェアは、プロセッサ202に
図15の方法1500を実行させることができる、すなわち、プロセッサは、制御信号に基づくコスト関数、及び視覚的に障害のあるユーザの知覚品質基準を最適化することで、アクティブ層、及びマスク層についての制御信号を決定し、この制御信号をディスプレイに適用する。
【0040】
1つの実施例で、ソフトウェアは、AppleのAppStore、またはGoogle Playにより提供されたソフトウェアのような、スマートフォン・アプリであり、元のディスプレイのオーバーレイとして動作する。別の実施例で、ソフトウェアは、デバイス200のオペレーティング・システム内に統合される、またはシステム・コール、若しくは手順を使用して、ディスプレイを直接修正する。
【0041】
プロセッサ202は、グラフィカル・ユーザ・インタフェースをユーザへ示すディスプレイ212に接続される、データ・メモリ206から、ならびに通信ポート208及びディスプレイ・ポート210から、要求データのような、データを受信することができる。ディスプレイ212は、ディスプレイを修正する要求をユーザが入力することを可能にする、タッチ・スクリーン・ディスプレイであってもよい。より詳細に以下で記述されるように、ディスプレイは、ディスプレイ・ポート210を介してプロセッサに両方とも接続される、アクティブ層、及びマスク層を含むことができる。
【0042】
さらにスマートフォン200は、ユーザの両眼に向けられたカメラ214を備える。このカメラ214は、ユーザの両眼を連続監視し、ユーザが現在みている、ユーザの視線方向、及び特に、画面上の点、すなわち、画面212のピクセル座標を測定する。
【0043】
1つの実施例で、プロセッサ202は、たとえば、IEEE802.11によるWi−Fiネットワークを使用することで、通信ポート208を介してサーバから要求データを受信する。Wi−Fiネットワークは、ルータのような専用の管理インフラストラクチャを必要としないような、分散型アドホック・ネットワーク、またはネットワークを管理するルータ、若しくはアクセス・ポイントを含む集中型ネットワークであってもよい。
【0044】
通信ポート208、及びディスプレイ・ポート210を別個のエンティティとして示すが、ネットワーク接続、メモリ・インタフェース、プロセッサ202のチップ・パッケージのピン、若しくはIPソケットのような論理ポートのようなデータ、またはプログラム・メモリ204に格納され、プロセッサ202により実行された関数のパラメータを受信するために任意の種類のデータ・ポートを使用することができることを理解するであろう。これらのパラメータは、データ・メモリ206に格納されることができ、ソース・コード内で、値渡しで、または参照渡しで、すなわち、ポインタとして、処理されることができる。
【0045】
プロセッサ202は、キャシュ若しくはRAMのような揮発性メモリの、または光ディスク・ドライブ、ハード・ディスク・ドライブ、ストレージ・サーバ、若しくはクラウド・ストレージのような不揮発性メモリのメモリ・アクセスを含む、すべてのこれらのインタフェースを介してデータを受信することができる。
【0046】
いずれかの受信ステップが後で受信するデータを決定する、または計算するプロセッサ202により先行されることができることを理解するであろう。たとえば、プロセッサ202は、要求データを決定し、RAMまたはプロセッサ・レジスタのような、データ・メモリ206内にこの要求データを格納する。つぎにプロセッサ202は、たとえば、メモリ・アドレスと共に読み出し信号を提供することで、データ・メモリ206からこのデータを要求する。データ・メモリ206は、物理的なビット線上に電圧信号としてデータを提供し、プロセッサ202は、メモリ・インタフェースを介して要求データを受信する。
【0047】
1つの実施例で、ディスプレイ212は、さらに以下で記述されるように、アクティブ層、及びこのアクティブ層上に制御可能なマスク層を備える。その実施例で、プロセッサ202は、アクティブ層、及びマスク層を制御し、1枚以上の光学レンズの光学効果を再現する制御信号を決定する。これは、そのユーザが光学レンズを通してディスプレイを見る場合にビームが到達する方式と同様に、ビームがユーザの眼の網膜106に到達するように、プロセッサ202がこれらの層を制御することを意味する。
【0048】
図3は、プロセッサ202により実行されるユーザへのディスプレイ上にグラフィカル・ユーザ・インタフェースを表示するプロセッサ202により実行されるような方法300を図示する。先に述べたように、方法300は、コンパイルされ、プログラム・メモリ204に格納される、ソース・コード内に実装される。ユーザは、たとえば、プロセッサ202により生成され、ディスプレイ212に表示された、入力フォームに要求されたデータを入力することで、ディスプレイを修正する要求を生成する。
【0049】
図4は、グラフィカル・ユーザ・インタフェースの修正を編成するサービスにユーザがサインアップすることを可能にするディスプレイ402を図示する。ディスプレイ402は、名前入力フィールド404、電子メール入力フィールド406、パスワード入力フィールド408、再入力パスワード入力フィールド410、及びレンズ選択フィールド412を備える。ユーザは、すべての要求された情報をフィールド404、406、408及び410に入力する。レンズ選択フィールド412は、複数の候補の光学レンズのうちの1枚以上をユーザが選択することを可能にする。
【0050】
図5は、ユーザがレンズ選択フィールド412をタップした後のディスプレイ402を図示する。プロセッサ202は、処方レンズのような、光学レンズについて複数の候補をユーザへ提示する選択フォーム502を生成する。処方レンズを使用する利点は、それらがタイプのような、識別子により容易に特徴付けられることである。ユーザは、検眼士に相談し、特定の視力障害について最適な処方レンズの識別子を提供することが可能である。この識別子を使用して、ユーザは、適切な処方レンズを簡便に選択することが可能である。別の実施例で、障害がユーザの両眼間で異なる場合にユーザが2枚の異なるレンズを選択することを可能にする。
【0051】
いくつかの領域で、老視人口は、遠視人口より顕著に多く、老視を矯正するレンズ・タイプは、遠視を矯正するものより「基本的」である。結果として、老視用のレンズを異なるタイプに標準化することは、あまり複雑ではないため、提案されたシステム及び方法は、この視力障害について特に有利である。
【0052】
ユーザがリストの候補の光学レンズ502のうちの1枚以上を選択すると、ユーザは、提示制御フィールド504をタップすることでフォームを提示する。これは、たとえば、スマートフォン200にLTE経由でインターネットを介してサーバへユーザ情報を送信させる。1つの実施例で、サーバは、クラウド・コンピューティング環境でインターネット・サービスとして実装される。サーバは、ユーザ・アカウントを作成し、データベースにユーザ・アカウントと関連した、選択された処方レンズの識別子を格納する。
【0053】
図6は、アクティベーション制御フィールド604をタップすることで、グラフィカル・ユーザ・インタフェースの修正をユーザがアクティベートすることを可能にするディスプレイ602を図示する。この方式で、プロセッサ202は、
図2の方法300のステップ302により表現されるように、グラフィカル・ユーザ・インタフェースを修正する要求を受信する。ユーザがアクティベーション制御フィールド604をタップした後に、プロセッサは、グラフィカル・ユーザ・インタフェースを修正し、ユーザの視力障害を補う(304)。この効果を達成するために、プロセッサ202は、選択された処方レンズの光学効果を再現する。すなわち、プロセッサ202は、処方レンズを着用するユーザにより引き起こされる光の屈折を測定し、測定された屈折特性をグラフィカル・ユーザ・インタフェースに適用する。特に、屈折特性を適用することは、制御信号をアクティブ層、及びマスク層に適用し、ある角度でディスプレイ・ピクセルからのビームを向け、視力障害を補うプロセッサ202を備える。
【0054】
同様に、プロセッサ202は、ユーザがグラフィカル・ユーザ・インタフェースの修正を非アクティベートすることを可能にするディスプレイを生成することができる。
【0055】
図7は、名前入力フィールド704、電子メール入力フィールド706、及びパスワード入力フィールド708に情報を入力することで、以前に定められたユーザ・クレデンシャルをユーザが提供することを可能にするディスプレイ702を図示する。スマートフォン200は、提供されたユーザ・クレデンシャルをサーバへ送信し、サーバは、パスワードが入力された名前、及び電子メール・アドレスと関連して以前に格納されたパスワードに同一であるかどうかを確認する。パスワードが正しい場合に、サーバは、スマートフォン200、ならびにこれによりユーザがユーザと、及び以前に選択された処方レンズと関連するアカウントにアクセスすることを可能にする。
【0056】
パスワードを確認し、ユーザがログインすると、ユーザは、
図5のものと同様のディスプレイを提示され、グラフィカル・ユーザ・インタフェースの修正をアクティベートすることができる。
【0057】
上記の「ディスプレイ」及び「グラフィカル・ユーザ・インタフェース」間の違いが任意であり、用語「グラフィカル・ユーザ・インタフェース」がスマートフォン200により表示されるすべてのものに関連することが可能であることに留意する。たとえば、修正のアクティベーション後にユーザが別の独立したスマートフォン・アプリを開始する場合に、独立したスマートフォン・アプリの表示も、本明細書で記述されるようにプロセッサ202により修正される。またグラフィカル・ユーザ・インタフェースは、ユーザへビデオまたは画像データを提示する、たとえば、ビデオ・プレーヤー、または任意の他のソフトウェア・アプリケーションであり得る。グラフィカル・ユーザ・インタフェースは、テキスト、画像、静的及び動的ビデオ、写真スライドショーのようなパッシブ・ビューのみ、ならびにテキスト処理アプリケーションまたはソーシャル・メディア・アプリケーションのようなインタラクティブ・ビューを表示することができる。
【0058】
図8aは、視覚障害のあるユーザにより知覚されるような修正のアクティベーション前の、一般的なホーム画面ディスプレイ802を図示する。デバイス200と同様にディスプレイ802がぼやけて知覚されるため、効率的にデバイス200を操作することがユーザにとって困難であることが分かることが可能である。
【0059】
図8bは、視覚障害のあるユーザにより知覚されるような修正のアクティベーション後の一般的なホーム画面804を図示する。ここで視力障害を補うように、ディスプレイ804を修正することが分かることが可能である。プロセッサ202が処方レンズの光学効果を再現するため、修正の程度は、ディスプレイ804を鮮明であると知覚するような程度であり、ユーザにとって効率的にデバイス200を操作することが可能になる。興味深いことに、デバイス200自体は、ぼやけて知覚されたままである。しかしながら、これは、デバイスとユーザのインタラクションの大部分がディスプレイ804で発生し、デバイス200自体のハードウェアで発生しないため、ユーザによるデバイス200のユーザビリティに悪影響をほとんど与えない。
【0060】
方法は、スマートフォンに関連して上記で説明されているが、テレビ、タブレット・コンピュータ、パーソナル・コンピュータ、デジタル・カメラ、白物家電、ならびに車両及び航空機内のもののような、他の表示装置がこの方法を同様に実行することができることを理解するであろう。
【0061】
図9は、ピクセルで光方向にわたる完全な制御が可能である光学系900を示す。この光学系は、眼の瞳孔アパーチャ906から約600mmの距離904でユーザの視覚的な近点902、及び瞳孔アパーチャ906から約300mmに設置されたディスプレイ画面908を含む。瞳孔アパーチャ906の直径は、5mmであり得る。
【0062】
ユーザの網膜に鮮明である「単一の」ピクセルの画像を取得するために、たとえば、ディスプレイ908の第一点Q910、及び第二点Q’912(QQ’)間の、2.5mmの小領域上の複数のピクセルは、図で示されるような焦点内光線束914として特定の方向に光を放射する。実際には、しかしながら、各ピクセルは、
図10で示されるように、ある範囲の方向に光を放射し、依然としてブラー・スポット1002により図示されるようにぼかしをもたらすが、従来のディスプレイでもたらされるものよりもある程度まで低減される。
【0063】
任意の特定のディスプレイ・ピクセルは、いくつかのこのような小さい複数のピクセル領域に属するため、各領域に対応する異なる強度及び色情報を提供することが求められる。さまざまな技術は、これを達成するために使用されることが可能である。これらは、以下のものを含む。
1.時間内に高速で連続して一連のデータを周期的なパターンで繰り返し表示し、多成分画像を知覚する網膜について視覚保持の原理による、各ピクセルP、Q、Q’、...。
2.各ピクセルは、強度及び色について独立して制御されることが可能である複数のサブピクセルからなることができる。
3.各ピクセルは、その成分の強度及び色の合計を表示する。
【0064】
この概念の任意の実際の実施形態内で考慮されるさまざまなパラメータは、以下のものを含む。
1.理想的にある点に結像される領域QQ’のサイズ。これは、瞳孔径に密接に関連する。
2.各ピクセルQ、P、Q’、...と関連した光線方向の広がり。これは、主にディスプレイ技術の機能である。
3.ユーザがディスプレイを視聴している方向。これは、多くのスマートフォン、3D立体ディスプレイ、及び他のデバイスに現在存在している「スマート・スクリーン」・アイ・トラッキング技術の使用により想定されて固視される、または動的に測定される、のいずれか一方をされることが可能である。
4.ユーザの視野。本明細書で、ブラー制御が中心窩視野の小さい領域で最も重要であることに留意するべきである。これは、一般的に直進方向に関して±1°のみである。この領域の外側(眼の中心窩に対応する)に、網膜は、低い視力を有し、ブラーに比較的に鈍感である。
5.ディスプレイ画面の視距離。ふたたび、これは、多くのスマートフォン、3D立体ディスプレイ及び他のデバイスに現在存在している「スマート・スクリーン」・アイ・トラッキング技術の使用により、想定されて固視される、または動的に測定される、のいずれか一方をされることが可能である。
6.ユーザの屈折矯正。これは、ユーザが
図5を参照して上記で説明されるように入力することができるユーザ固有のデータである。
これらのパラメータは、ブラーを制御する際に相反する役割をもつことができる。
【0065】
本開示は、これらのパラメータのうちの1つ、1つより多い、またはすべても考慮する方法を記述し、画面(ピクセルP、Q、Q’、...で)に表示される画像を制御する一般的な方法を定めるため、ユーザは、画面視聴時にできる限り最小のブラーを知覚するので、最大の利便性、快適性、及び容易さでディスプレイを視聴することが可能である。さらに、本開示は、スマートフォン、タブレット、コンピュータ・モニタ、ラップトップまたは同様の表示装置上で、実際にこの実施形態を達成することが可能である方式を記述する。
【0066】
光線方向を制御する、または管理する視覚的なディスプレイ技術
表示装置技術は、LEDのような、発光素子アレイのいずれかである光源を用いることができる、またはマスク背後のバックライト源からくる光を透過させる、若しくは遮断するために、発光素子をオン若しくはオフにすることが可能である、行列マスクを用いることができる。LCDディスプレイは、この後者の技術の実施例である。このようにして、ピクセルは、物理的な、発光素子、または背景光が通過するアパーチャのいずれか一方である。どちらの事例でも、このピクセルは、電子的な手段によりオンまたはオフに切り替えられることが可能である。さまざまな素子、方法、及びピクセル・パターンは、色、解像度、及び電力使用効率のような、望ましい画像特性を達成するために使用できる。
【0067】
図11は、本技術の1つの拡張であり得る多層ディスプレイ1100を図示する。
図11は、このようなディスプレイを使用して、ある点の方向に小さい角度変化で光線束を放射することが可能である方式の実施例を示す。ディスプレイ1100は、均一な背景照明(バックライト付きLCDディスプレイについての事例であり得るような)を含む、マスク層1104、及びソース層1106を含む光源1102を備える。しかしながら、発光源アレイもこの役割を果たすことが可能である。
【0068】
任意の他の層がない場合に、ピクセルS1108から発する光は、角度方向の大きな広がりを有する。しかしながら、後続のマスク層1110を導入することで、ならびに透過用に開く、または閉じて透過を遮断する、のいずれか一方であるアパーチャ1112及び1114のような、アパーチャの適切な選択により、点S01116で主な方向を有し、この主な方向についての方向で比較的小さな広がりを有し、現れる光線束を取得することが可能である。
【0069】
マスク層1110及び1104が任意の特定の実施形態で、静的(ピンホール・マスクのように)である、または動的であり得ることに留意するべきであり、これは、一般的に、電子的でプログラムによる手段により、開いている、または閉じているアパーチャを動的に制御することを意味する。あるいは、アパーチャを通る透過を完全に開いた状態、及び完全に閉じた状態の間で連続して制御することが可能である。
【0070】
点画像
ふたたび、近見視点が600mm(1.66D)であり、300mmの距離でディスプレイを明瞭に見たいユーザの特定の事例を考察する。これは、300mmで近見視力用に+1.50〜+2.00Dの加算を必要とする老視ユーザの典型である。
【0071】
図12は、ユーザの視聴時に、鮮明な点画像としてユーザの網膜上に結像される、光線1206及び1208のような、光線の構成をユーザへ提示する、光源層1202、及び1層の追加のマスク層1204を含むディスプレイ1200の例示的な設計を示す。この光線の集まりは、600mmで視覚的な近点を有するユーザに十分に発散していて、これらの光線を鮮明な画像へ無理なく集束させる。換言すれば、発散光線(L=1.66D)は、眼が鮮明に集束する。現れる光線の集まりは、1.66Dの輻輳を有し、これは、点P1212を通る中心光線から1.25mmの変位1210で、現れる光線が円弧の約15分の相対的な方向1214を有することを意味する。2層間の距離1216は、20mmであり得る。
【0072】
この目標を達成することが可能である、多くの可能な設計がある。関連する設計要因は、ソース層内のピクセルの寸法及びピッチ、マスク層1内のアパーチャの寸法及びピッチ、これらの層間の距離、ユーザの視線方向、ならびにソース・ピクセルからの光の相対的な強度を含む。いくつかの実施例で、アパーチャ及びピクセルは、回析効果を制限するため恣意的に小さくない。
【0073】
本明細書で提示されるように、この実施例は、追加の1層のみに関連するが、本開示は、全体的に、若しくは部分的に、のいずれか一方で、または色若しくは偏光により、光を選択的に透過する、または遮断することが可能である任意の数の追加の層の使用を含む。
【0074】
本明細書で提示されるように、この実施例は、光源層1202内の3つのピクセルQ1224、P1212、及びP’1226のみ、ならびにマスク層1204内の3つのアパーチャのみを使用するが、より多くの数のピクセルまたはアパーチャ、特にピクセル及びアパーチャの2次元構成に容易に拡張されることが可能である。
【0075】
また
図12は、P1212からの周辺光線がマスク層1204上の点M’1218に出ることができることを示す。このような光線は、
図12で実線として示される主な光線1206及び1208の網膜像点で眼により鮮明に集束されない可能性がある。同様に、他のピクセルQ1224及びQ’1226から生じる他のアパーチャM1220及びN1222を通る周辺光線があり得る。上記で列挙された設計要因の慎重な選択により、プロセッサ202は、他の設計要件と一致して、このブラー効果を最小にすることが可能である。この最適化は、設計最適化技術の使用により実行されることが可能である。また、ピクセルから放射された光の放射強度が典型的に光線の傾きとともに低減することを理解するであろう。
【0076】
ユーザの視線方向が、設計への重要な入力であることを理解するであろう。アイ・トラッキング・アプリケーションは、スマートフォン及びタブレットにインストールされることができる。このような技術は、ユーザの視線方向を評価することが可能である。
【0077】
拡張画像
点画像を生成するだけでなく、空間的に拡張されたオブジェクトの網膜像を生成することが望ましい。このような画像は、多くの点の画像の重ね合わせから構成されることが可能である。このようにして、開始点として、上記で開示された方法は、この目的のために使用できる。しかしながら、それ自体で、これは、異なる点画像を生成するために、同一のピクセル、及び同一のアパーチャの複数回の使用により、不満足な画質を生成する可能性がある。これは、通信及び撮像技術で複数の他の分野で発生する「クロストーク」現象に類似する。この困難を克服するため、単独で、または任意の組み合わせに併せて、のいずれか一方で以下のアプローチを使用することができる。
a)パターンを通じて、ピクセル強度、及びアパーチャ透過高速サイクルである、時間ベースの多重化は、複数の点画像のために必要である。これは、異なるパターンに電子的に再マッピングされる光源及びマスク技術の短い動的な応答時間、ならびに多成分画像を知覚する網膜への視覚保持の原理に依存する。
b)各ピクセル、及び各アパーチャは、強度、色及び透過について独立して制御されることが可能である、それぞれ複数のサブピクセル、及びサブアパーチャからなることができる。
c)各ピクセルは、それが与える必要がある、さまざまな複数の像点の強度及び色の合計を表示する。
d)設計最適化技術は、像点間の「クロストーク」の全体的に望ましくないブラー効果を最小にするために使用されることが可能である。これは、「クロストーク」の存在下で、信号を最適化するために広く使用される、工学、数学、統計学及びコンピュータ・サイエンスの既存の分野からの設計最適化技術を用いることで実行されることが可能である。このような技術は、最小二乗最適化、フィルタリング、周波数、及びフーリエ解析の使用を頻繁に含む。
【0078】
このような最適化で、最小化される目的関数は、多くの場合、ブラー・スポット・カーネルの観点から表現される、ユーザが知覚したブラーの数学的な表現である。この表現は、それらが重要である限り、中心窩視野、可変瞳孔径、両眼視効果、輻輳効果、及びサッカードの分野を含む、ヒト視覚系の固有の特徴を考慮する。
【0079】
操作のために利用可能である設計パラメータは、
・ソース層のピクセルの寸法及びピッチ、
・マスク層1(及び存在する場合に追加の層)のアパーチャの寸法及びピッチ、
・これらの層間距離、
・ユーザの視線方向、ならびに
・ソース・ピクセルからの光の相対的な強度、
を含む。
【0080】
任意のディスプレイ・ハードウェア制約は、この最適化を実行する際に尊重されることができる。d)で参照される設計最適化操作は、静的であることができ、一度実行され(オフライン)、すべての拡張画像に適用される、またはそれは、動的であることができ、各拡張画像についてリアルタイムで実行される、またはそれは、いくつかの静的な特徴、及びいくつかの動的な特徴を有する、両方の組み合わせであり得る。完全な動的最適化がプロセッサ時間及びメモリに関して計算上必要とされていることを理解するであろう。
【0081】
このようにして、実際には頻繁に、かなりの静的最適化を引き受けることが好ましく、これは、オフラインで行われることが可能であり、時間及びメモリ要件は、それほど問題にはならず、計算上必要性の少ない操作への動的な態様をリアルタイムに制限することが好ましい。
【0082】
別段の記載のない限り、用語「リアルタイム」は、つぎの画像が表示される前に、1つの画像についての計算が完了することを意味する。たとえば、30fpsのフレーム・レートを有するビデオについて、各画像を1/30s内で計算する。
【0083】
図12に関して、点M1220、N1222、及びM’1218に適用すると同時に、ソース層1202、及びマスク層1204間の分離をdで示し、マスク層1204のアパーチャの直径をaで示す。
図1、9及び10に関して、眼の入射瞳孔径をpで示す、すなわち、視線の直進方向を中心とする直径pの円内の眼の正面(角膜)上に衝突する光のすべての光線は、眼の内部へ眼の正面により屈折される。
【0084】
図12で示されるように、M1220、N1222、及びM’1218を中心とするアパーチャから生じる光線束は、視聴者の眼の正面に投影されるときに、全瞳孔面積より小さい面積に衝突する。この理由は、焦点外光線束から生じる視聴者により体験されたブラーが、光線束が衝突する眼の正面の面積に比例するからである。通常の視野状況で、これは、全視野面積である。1つの実施例において、
図12で、QM1206、PN1228、及びQ’M’1208を中心とする各光線束は、1.666Dで焦点外である(それらが視聴者から300mm付近の距離でソース層から生じる場合に)。しかしながら、設計パラメータを決定することで、プロセッサ202は、以下のことを確実にする。
1.光線束は、全瞳孔面積より小さい面積に衝突するため、それらの効果的なブラーは、衝突された瞳孔面積対全瞳孔面積の割合で1.66Dから低減される。
2.各束の中心光線は、網膜上の同一の点へ鮮明に集束される。
【0085】
1つの実施例で、よく照明された室内環境での瞳孔径は、約5mmである(これは、携帯電話、ラップトップ・モニタ、またはデスクトップ・モニタを使用する共通の環境である)。このような状況で顕著なブラーについての閾値が屈折誤差(全瞳孔アパーチャで)の範囲0.25〜0.50D内にあり得ることにも留意するべきである。この閾値で人により自然な変化があるが、中間の視距離(一般的に0.3〜1m)に近い読書タイプのタスクのために、閾値がこの範囲の上側にあることは、通常の事例である。さらに、より高い屈折誤差さえ、0.75〜1.00Dの追加が老視者用の一般的な初期の近見視力矯正である事実により実証されるように、多くの老視者による苦情なしで許容される。
【0086】
以下の表は、
図12を参照して設計の4つの実施例についての設計パラメータを示す。また、得られた均等な全瞳孔ブラーは、各事例について計算される。列挙された事例について、この均等なブラーが0.75Dより小さく、3つの事例で、0.30Dより小さいことが分かる。上記で説明されるように、これらの設計パラメータの修正形態は、均等な全瞳孔焦点誤差に影響を与える。
【表1】
【0087】
これら4つの各実施形態で、P’Qのような周辺光線が直進方向PNへ非常に大きな角度で傾斜するため、眼の正面に衝突しないことに留意するべきである。
【0088】
一方で、層分離dについての小さい値が望ましいため、2層ディスプレイの総厚が可能な限り小さい。このようなディスプレイは、薄型化及びコンパクト化の利点を有する。他方で、dのより高い値は、同一の最上層アパーチャについて眼の表面上に光線束のより小さい投影面積をもたらすことができる。これは、より低いブラーをもたらすことができる。dの高い値も、ソース・ピクセルQ、Q’、ならびに最上層アパーチャM及びM’間のより大きな水平変位をもたらすことができるため、より粗いピクセル・ピッチ(すなわち、より低いピクセル密度)は、ソース層のために使用されることが可能である。
【0089】
この方式で、ディスプレイのコンパクト化、視聴者が知覚するブラー、ならびにディスプレイ・ハードウェア解像度及びコスト間のトレードオフを伴う、パラメータd、aならびにピクセル・ピッチでの相反する傾向間の均衡を設計がとることが分かる。許容可能であるとみなされるトレードオフに応じて、上記で概説された設計原理を使用して、十分に確立された設計最適化技術を使用して最適な設計パラメータを決定することが可能である。
【0090】
多層表示装置は、さまざまな科学技術及びフォーマットに存在する。鍵パラメータは、ピクセル及びアパーチャのピッチ及びサイズを有する。これらのパラメータは、広範囲の、
ピクセル及びアパーチャのピッチ:0.005mm〜0.200mm
ピクセル及びアパーチャの直径(サイズ):0.005mm〜0.100mm
を有することが可能である。
【0091】
すべてのこのような科学技術及びパラメータ範囲は、本発明のために利用されることが可能であるが、上記で説明された傾向に従い、いくつかの値が他のものより高品質の結果を与え得ることを理解するであろう。特定のパラメータ範囲を本明細書で指定するが、原理は、これらの範囲外にある値に均等に適用されるが、上限付近の、または上限を超える値が大規模なブラーにより低減された視覚的な品質をもたらす可能性があり、下限付近の、または下限未満の値について、視覚的な品質が回析効果により悪影響を受ける可能性があることを理解するであろう。
【0092】
図11及び12の層間の間隙は、空気(この説明で想定されるように)、または別の透過性材料であってもよい。後者の事例で、矯正は、層間材料の屈折率での変化を考慮するために上記の計算で行い得る。同様に、矯正は、これらの層の厚さにより、ソース及び最上層を構成する材料の屈折率について行い得る。
【0093】
図13aは、ユーザの右(R)眼1302、及び左(L)眼1304がこれらの眼の正面300mmであり、アクティブ層1310、及びマスク層1312を含む、ディスプレイ1308上の点1306に輻輳された状況1300を図示する。
【0094】
図13bは、それぞれ、視聴者のR及びL眼1302及び1304の網膜上に同時に結像することが望まれる2次元(理想的には)画像を表現する像面F1350を図示する。水平方向でi=0,...,N
H、垂直方向でj=0,...,N
Vにより示されたピクセル行列として表現する、Zをこの像面1350上の任意の点1352とする。この実施例で、中心窩視野の限界は、300mm距離で約5mmである。
【0095】
プロセッサ202は、[mod(i,m),mod(j,m)]で示されたフレームへ各ピクセル(i,j)を割り当てることで像面のパーティションを多重化するm
2を画定することができる。この方式のプロセッサ202は、I,J=0,...,m−1についての[I,J]により示されたm
2フレームに像面Fをパーティショニングする。
図14は、2
2パーティション1400の実施例を示す。各パーティションは、1サブセットのピクセルを画定し、プロセッサ202は、以下で記述されるように後の使用のためにデータ・ストア106にパーティション・インデックスを格納する。
【0096】
サブセットにパーティショニングする特定の種類のフレームは、本明細書で開示されているが、本発明は、他のパーティショニング技術を有し、この意図は、1つのフレーム内で可能な限り点を分離させることである。単一のフレームも本発明により包含されることを理解するであろう。
【0097】
理想的には、各フレーム内の点は、投影されるときに、それぞれ、ソース層、または最上マスク層上の任意のソース点、またはアパーチャを共有しない。このようにして、
図12の内容で、Q、P、Q’及びM、N、M’のみを利用して、各フレーム内の1点の網膜点に結像する。さらに一般的に、プロセッサ202は、上記の実施例で分_距離=2のような、所定の距離内のピクセルが異なるサブセットに属するようにパーティションを実行する。
【0098】
パーティショニング1400は、この点だけについてソース及びマスク層を最適化することを可能にする。実際には、このような理想の分離は、実現不可能である可能性があるため、フレームへのパーティショニングは、中心窩視野を提供している面積に最も注意を払い、この共有を最小にする。
【0099】
プロセッサ202は、各フレームについて最適なソース層、及びマスク層パターンを計算することができる。つぎにプロセッサ202は、これらのフレームを時間内に高速で順次に投影する。フレーム数及び各フレームの投影持続時間は、ソース及びマスク層の応答時間、ヒト視覚系の応答時間、視覚の持続性及び網膜画像を合計する視覚系の能力に関する要因、ならびに十分な速度でこの計算タスクを処理するプロセッサ202の能力でのハードウェア制約により決定されることができる。高速フレーム・リフレッシュ・レートを有する、多数のフレームがこの目的のために最も望ましいが、今概説された理由から、より低いリフレッシュ・レートを有する、より少ない数のフレームが任意の実施形態についての事例であることを理解するであろう。
【0100】
また、フレーム・パーティション、及びフレーム最適化で行われる必要がある多くの計算が1回だけ実行される必要がある(すなわち、事前に計算されるが、リアルタイムに計算されない)ため、プロセッサ内へハードコードされることが可能であることを理解することができる。これは、プロセッサのリアルタイム計算要件を減少させる。
【0101】
1つの実施例で、ソース・ピクセル、及びマスク層アパーチャのピッチ及びサイズは、それらの間の分離dと同様に、予め決定されるため、以下の最適化中に固定されたままである。実際には、この選択は、上記で概説された、実際の考察及び制約の種類に基づくことができる。設計最適化の目標は、これらの選択されたディスプレイ・ハードウェア・パラメータを与えられた最もよい視覚応答を取得することである。
【0102】
この最適化を実行して、プロセッサ202は、多重化を通して、プロセッサ202が独立した画像として視聴者にフレームを提示するため、各フレームを独立してみなす。最適化の出力としてプロセッサ202は、ソース層内のQでのピクセルの強度、及び最上マスク層上の点Mでのアパーチャの透過をそれぞれ表現する、2つのマッピングi(Q)、及びt(M)を決定する。
【0103】
1層より多いマスク層を含む多層ディスプレイについて、対応するより多数の透過関数があってもよい。マスク層のハードウェアにより、t(M)は、バイナリ(オン・オフ)値、または連続値をとり得る。
【0104】
2つの最適化アプローチを記述する。第一のアプローチは、画像フレームの特定の動的コンテンツに依存しない場合に、1回だけ実行できる(すなわち、1回事前に計算され、その結果をデータ・メモリ106上に格納し、リアルタイムで計算されない)。
【0105】
これは、プロセッサでリアルタイム計算要件を減少させる利点を有する。しかしながら、それは、一般的な画像フレームについてよい結果を与えない可能性がある。第二のアプローチは、特定のフレームのコンテンツに直接関連するため、プロセッサ202は、リアルタイムでこのフレームを処理する。これは、プロセッサ202上に顕著な計算要求を課す可能性がある。望ましいハイブリッド・アプローチは、一般に改善された画質を得るために、第一アプローチを使用して、第二アプローチについての開始構成(プレディクタ)を生成し、つぎにこのプレディクタを部分的に「矯正する」ことが可能である。
【0106】
点画像最適化
この第一最適化アプローチの目標は、設計目的関数、
【数1】
を最小にするために、マッピングi(Q)、及びt(M)を決定することであり、合計は、現在の画像フレーム内のすべてのピクセルZにわたり、e
R(Z)、e
L(Z)は、それぞれ右及び左眼内の点Zの画像についての均等な全瞳孔焦点誤差(上記で定められるような)を示す。
【0107】
これを計算するために、各光線束の主光線QMは、それが最も近いフレームの像点Zと関連する。プロセッサ202は、上記で概説された線沿いの近軸幾何光学に基づく光線追跡技術を使用することにより、上記の目的関数でe
R(Z)、e
L(Z)の計算を実行することができる。プロセッサ202は、この計算について眼の簡単な屈折モデルを使用することができる。それは、眼が空気界面(角膜を表現する)、及び5mmの入射瞳孔アパーチャ・サイズを有する屈折率n=4/3の均一な媒質であるとみなすのに十分であり得る。この界面の光学屈折度数は、45Dであると考えられることができるが、この値は、この計算で重要ではない。さらに、この最適化を実行する際に、Zと関連したすべての光線束の輝度の合計を一定であるように制約し、この一定がすべてのZについて同一であることを理解するであろう。
【0108】
鋭角の中心窩視野の面積内にある像点に対応する像点Zに最大の注意を払うのに十分かつ、計算上効率的であり得ることに留意するべきである。これは、各眼についての視線の直進方向を中心とする、およそ5mm範囲直径であり得る。これは、画像フレーム内のZの位置により目的関数に異なる重み付けを使用することで実装でき、これらの重み付けのいくつかは、0であり得る。
【0109】
使用可能である、画像ブラー及び画像忠実度の、均等物、または密接に関連した定量的な表現があることを理解するであろう。本明細書で記述された最適化技術は、これらの代替の表現に拡張されることができる。
【0110】
この最適化は、最急降下法のような、非線形最小二乗技術を使用することで達成されることができる。さらに、この最適化を実行する際に、プロセッサ202は、すべての点Zについて一定であるようにZの知覚された画像の輝度を制約することができる。
【0111】
フレームへのパーティショニングは、同一のフレーム内で隣接する像点Z間の「クロストーク」が減少することを意味する。しかしながら、一般に、この減少は、許容可能な画質を得るのに十分ではない可能性がある。この第一アプローチは、その目標として、非特定な、均一の画像フレームFを利用する。つぎに説明される、第二アプローチは、その目標として実際の画像フィールドを使用する。
【0112】
拡張された画像の最適化
この第二最適化アプローチの目標は、設計目的関数、
【数2】
を最小にするために、マッピングi(Q)、及びt(M)を決定することであり、この合計は、現在の画像フレーム内のすべてのピクセルZにわたる。
【0113】
本明細書で、e
R(Z)、e
L(Z)は、第一アプローチと同様であり、E
R(Z)、E
L(Z)は、ここでZでの理想画像、及びZと関連しているすべての光線束QMの合計輝度間の輝度での誤差を表現する。ふたたび、プロセッサ202は、この計算について眼の簡単な屈折モデルを使用する、近軸幾何光学に基づく光線追跡技術によるE
R(Z)、E
L(Z)のこの計算を実行することができる。それは、眼が空気界面(角膜を表現する)を含む屈折率n=4/3の均一な媒質、及び5mmの入射瞳孔アパーチャ・サイズであるとみなすのに十分であり得る。界面の光学屈折度数は、45Dであると考えられることができるが、この値は、この計算で重要ではない。
【0114】
鋭角の中心窩視野の面積内にある像点に対応する像点Zに最も注意を払うのに十分かつ、計算上効率的であり得ることに留意するべきである。これは、各眼についての視線の直進方向を中心とする、およそ5mm直径の領域であり得る。これは、画像フレーム内のZの位置による目的関数に異なる重み付けを使用することで、実装されることができ、これらの重み付けのうちのいくつかは、0であり得る。
【0115】
ふたたび、使用可能である、画像ブラー及び画像忠実度の、均等物、または密接に関連した定量的な表現があることを理解するであろう。本明細書で記述された最適化技術は、これらの代替の表現へ容易に拡張されることができる。
【0116】
プロセッサ202は、眼が空気界面(角膜を表現する)を含む屈折率n=4/3の均一な媒質、及び5mmの入射瞳孔アパーチャ・サイズであるとみなすことができる。この界面の光学屈折度数は、45Dであると考えられることができるが、この値は、この計算で重要ではない。この目的のために使用されることが可能である複数の他の画像忠実度基準があり、これらは、E
R(Z)、及びE
L(Z)に均等物、または密接に関連する、のいずれか一方であることを理解するであろう。
【0117】
プロセッサ202は、最急降下法のような、非線形最小二乗技術を使用して最適化を実行することができる。上述のように、プロセッサ202は、プロセッサ202で計算上必要としている可能性がある、リアルタイムでの最適化を実行することができる。このために、第一最適化アプローチの事前に計算された結果(実際の理想のフレーム画像と適切な畳み込み後の)を使用して、この第二最適化アプローチを開始するためにつぎに使用できる、マッピングi(Q)、及びt(M)についての良好な初期構成を得ることができる。
【0118】
e(Z)、及びE(Z)の計算がアパーチャの有限なサイズに基づくことができることに留意する。
【0119】
アパーチャがブラーを制限するために各アパーチャから眼に到達する光量を制限する場合に、各アパーチャにより与えられた輝度をアパーチャなしの輝度から低減させる。この効果を打ち消すために、プロセッサ202は、点(
図11のM、N及びM’のような)の結像に提供する複数のアパーチャがあるように、アクティブ層、及びマスク層の制御信号を決定することができる。プロセッサ202は、眼の表面に衝突するすべての光線束の強度の合計が所望の画像輝度をもたらすように、各ソース・ピクセルQ、P、Q’の輝度を選択する。
【0120】
近似の十分なレベルへ、Bが任意のアパーチャ・マスクのない所望の輝度を生じるように単一のピクセルPの光度を示す場合に、つぎにアパーチャ・マスクで、単一の点の結像に提供する各nピクセルの光度は、
b=B/(各光線束により照射された全瞳孔面積のnx割合)
であり、同一の輝度を生じる。
図11で、2次元パターンで、n=3の例示目的のために、他の事例で、n>10、輝度を増す。
【0121】
さらに、プロセッサ202が多重化を実装する場合に、プロセッサ202は、デューティ・サイクルを考慮して増加した強度を増加させる。このようにして、等しい持続時間の、1サイクルあたりf個のフレームがある場合に、強度は、b’=bxfである。
【0122】
図15は、プロセッサ202で実行されるような、視覚的に障害があるユーザの視力障害を補う方法を図示する。プロセッサ202は、制御信号に基づくコスト関数を最適化することでアクティブ層、及びマスク層についての制御信号、ならびに視覚的に障害のあるユーザの知覚の品質基準を決定する(1502)。つぎにプロセッサ202は、制御信号をアクティブ層、及びマスク層に適用し、視力障害を補う1504。
【0123】
図16は、ディスプレイ212についての例示的なアーキテクチャを図示する。ディスプレイ212は、制御信号線1606を介してプロセッサ202へ両方接続される、アクティブ層1602、及びマスク層1604を備える。この実施例で、アクティブ層は、LEDまたはOLEDのような、各ピクセルについての個別の光源を備える。マスク層1604は、LCDであることができ、グレースケールLCDであり得る。ピクセル数、ならびに層1602及び1604のピッチが異なることができる、または同一であり得ることに留意する。
【0124】
図17は、ディスプレイ212についてのさらなる例示的なアーキテクチャを図示する。
図16の実施例と同様に、ディスプレイ212は、制御信号線1606を介してプロセッサ202へまた接続される、ソース層1702、及びマスク層1604を備える。マスク層1604は、
図16でのものと同一のマスク層1604であり得る。
図16と対照的に、この実施例で、アクティブ層1702は、均一のバックライト1704、及び中間層1706を含み、個々のピクセルについてバックライトからの光を制御する。中間層1706は、カラーLCDのような、LCDであり得る。
【0125】
図16及び17のアーキテクチャの組み合わせは、中間層1706のピクセル群について制御可能であるバックライト1704、またはLCD層1706で各ピクセルと関連した白色LEDを備えるバックライト1704のようなものも可能である。
【0126】
図18は、
図8a及び8bで示されるような一般的なホーム画面1802の別の実施例を図示する。
図18の実施例で、ユーザの視線方向は、ホーム画面の中央アイコン1804にあることを検出されるため、最適化は、ホーム画面1804の中央により高い重み付けを適用している。結果として、中央アイコン1804は、他のアイコンがブラーでありながら、矯正して投影され、鮮明にみえる。
【0127】
図19は、ユーザの眼の光学系1900の簡略化された表現を図示する。光学系1900がプレゼンテーション目的のために縮尺どおりではないことに留意する。プロセッサ202は、複雑さを軽減するために、光学系1900に基づき最適化を実行することができ、近軸光学を使用することができる。光学系は、
図16及び17を参照して記述されるように、アクティブ層1602、及びマスク層1604を含む、ディスプレイ212を備える。さらに光学系1900は、レンズ(図示せず)を含むユーザの瞳孔アパーチャF1902、及びたとえば、瞳孔アパーチャ1902から600mmでオブジェクト1906についての焦点面である、網膜像面R1904を備える。眼の屈折度数は、約4.5Dであり得る。
【0128】
ユーザが瞳孔アパーチャ1902から約300である、ディスプレイ212で見るが、ユーザの遠視により、焦点が600mm離れたオブジェクト1906上にあることが、修正なしでディスプレイがぼやけてみえる理由であることに留意する。
【0129】
さらに
図19は、ソース層1602により生成され、マスク層1604により制御された光線束1908を示す。光線束1908は、主光線QM1910を備える。像面1904上の「X」マーカー、たとえば、マーカー1912は、現在のフレームの像面内の点の行列を示す。
【0130】
光線束が眼の表面1902に衝突する下部点1914をGとして示し、上部点1916をG’として示す。
【0131】
ここで、これらの計算を実行するプロセッサ202により使用されたアルゴリズムの概要を記述する。
1.中心光線QM1910を含む任意の光線束1908について、光線束1908が衝突する眼の正面1902(
図19でのように、今回の用途では、平面であるとみなされる)上の面積(GG’)を計算する。これは、
図12の内容で前述されたような、マスク層1604から300mmで眼1902の表面上にMでアパーチャ1604の投影面積である。
2.主光線QM1910が眼(直径pの)の瞳孔アパーチャ内の眼1902の正面上に衝突する場合に、つぎに眼1902の正面での屈折後に主光線QM1910が網膜1904に当たる(600mmの距離でオブジェクトについての焦点面である
図19でのような平面であると今回の用途では、みなされる)点H1918を求める。この計算を近軸光線追跡に基づき実行する。
3.H1918に最も近い現在のフレームの点Z1912を決定し、この光線束QM1910〜Z1912を割り当てる。
4.i(Q)×t(M)×面積GG’として、この光線束1910の輝度を計算し、i(Q)は、ソース点Q(均一と仮定される)に放射された光の強度であり、t(M)は、Mでアパーチャを介する透過率である。
5.すべての光線束QMについて計算1.〜4.を実行し、Qは、ソース面内のすべての点(またはこの簡略化されたオプションを考慮する場合に、中心窩視野の制限内のすべての点)に及び、Mは、マスク層の対応する部分上のすべてのアパーチャに及び、明らかに、t(M)>0が必要であるアパーチャのみを考慮する。これを行う際に、
a.各点Zと関連したすべての光線束の輝度の数値合計を蓄積する
b.各点Zと関連した投影された光線束により衝突される面積GG’の集合論的合併を蓄積する
6.5.で記述された計算ループの最後に、
a.E(Z)は、各点Zと関連したすべての光線束の輝度の合計である
b.各点Zと関連した、投影された光線束により衝突される面積GG’の合併の面積をA(Z)とし、つぎに
e(Z)=A(Z)/(πp
2)
で、pは、瞳孔径である(上記の実施例で5mmであるとされている)。
7.現在の視線方向及び両眼輻輳について左眼及び右眼の両方のための計算1.〜7.を実行する(
図6参照)。これは、e
R(Z),e
L(Z),E
R(Z)、及びE
L(Z)を与えられる。
【0132】
つぎに、プログラム・メモリ104に格納されるようなコスト関数は、ソース点Qi(Q)で放射された光の強度、及びMt(M)でアパーチャを通る透過率によりパラメータ化される
【数3】
である。この方式で、コスト関数を最適化することで、プロセッサ202は、コスト関数を最小化するために、アクティブ層1602の各ピクセル、及びマスク層1604の各アパーチャについてのi(Q)、及びt(M)を求めることが可能である。最適化問題は、変数i(Q)、及びt(M)をバイナリ変数へ限定することで単純化されることができるため、ピクセルは、オンまたはオフのいずれか一方であり、アパーチャは、開くまたは閉じる、のいずれか一方であり、白黒画像、または完全に飽和したRGB画像をもたらす。
【0133】
1つの実施例において、アクティブ層1602、及びマスク層1604間の分離は、1mmである。この実施例で、離散角度ステップは、5°(=arctan((25.4/300)/1)、25.4=mm/inch、300=dpi、及び1=mm間隔)である。別の実施例で、プロセッサ202は、層間の分離300dpi及び20mmを有する、約0.25°のステップで主光線方向に進めることが可能である。1つの実施例で、マスク層は、約1250dpiに対応する0.020mmピッチを有する。
【0134】
このような高解像度でプロセッサ202は、4x4ブロックにアパーチャをグルーピングすることができ、ブロック内のこれら各16個のアパーチャは、同一である(バイナリ事例で、開く、または閉じる)。このようにして、これは、いくつかのオフセットで、最適化変数として含まれるが(プロセッサ202がこれらを予め予測することが可能であるが)、最適化自由度に関係する限り、300dpi解像度に関連する。
【0135】
最適化の複雑さ、すなわち、最適化変数の数は、以下の対策により減少することができる。
1.単一点の事例についてのコスト関数を最適化する結果は、データ・メモリ206上に格納されることができる。プロセッサ202は、大幅に輻輳を増加させ、計算を加速させることができる、開始点としてこれらの値にアクセスすることが可能である。
2.プロセッサ202は、鋭角視野で主要である、「中心窩視野」の領域に計算を集中させることができる。これは、300mmでディスプレイを見るときに、約5mmx5mmの領域に対応することができる。12/mm(300dpi)のピクセル及びアパーチャ・ピッチを仮定すると、これは、どの時点(すなわち、任意の特定の視線方向について)でも主要である潜在的に7200個の最適化変数(2層について)を与える。中心窩視野のこの領域外に、相当のブラーを許容することができるため、最適ではない解は、許容可能である。視線方向が変化する場合に、プロセッサ202は、中心窩視野のこの領域を変更する。
3.概説された第一最適化アプローチは、事前に計算され、データ・メモリ206に格納され、オフラインで行われることが可能であるため、リアルタイムでデバイスのプロセッサ202により行われない。
4.プロセッサ202は、ある程度の近似に最適化計算の精度を限定することができる。たとえば、プロセッサ202は、古い解、及び新規の解の間での変更が所定の閾値を下回るまで、反復してよりよい解を求める。この実施例で、所定の閾値は、比較的高い可能性がある。他の実施例で、ディスプレイのフレーム・レートに基づき一定時間後に最適化を簡単に停止することが可能である。
【0136】
いくつかの状況で、ユーザの視線は、たとえば、
図18のアイコン1804のような、画面上の特定の1点をユーザが見るときに、比較的に変化しないままである。これらの状況で、プロセッサ202は、データ・メモリ206に最適化結果を格納し、後の最適化の開始値として結果を読み出すことが可能である。これは、プロセッサ202の計算能力がリアルタイムの計算に不十分である場合でさえ、ディスプレイが多くの状況でそれでも便利である、2秒内のような、時間の経過とともにユーザへ明瞭になることを意味する。
【0137】
本明細書で開示されたアプローチは、他のアプローチと異なる、すなわち、複雑な画像前処理により視聴者の屈折誤差に起因するブラー・イベント後に補おうとするよりもむしろ、代替の現在のアプローチは、照明源の真上にマスク層を利用して、ブラー・スポットの選択的部分的閉塞により、そのブラー・ソースでブラー効果を減少させようとする。
【0138】
以下の説明は、上記の実施例に組み合わせて、またはこれらの代替として使用できるさらなる実施例を提供する。換言すれば、下記のいくつかの特徴は、上記の対応する特徴を置換すること、または上記の方法を補うことを個別に行い得る。たとえば、以下の最適化手順は、上記のコスト関数を最適化するために使用できる。
【0139】
以下の実施例は、つぎの特徴を備えることができる。
1.必要な計算の多くを事前に実行し、この結果をデータとして、またはプログラムされたプロセッサ・インストラクションとしてデバイス内の内部に格納することができながら、計算上比較的簡単である。重要なことには、他の画像処理アプローチとは異なり、この技術は、各フレームの特定の画像コンテンツの任意の知識に依存しない。適切なプロセッサで、すべての計算は、リアルタイムで実行されることが可能である。
2.このアプローチは、ヒト視覚系の基本的な光及び運動挙動、特に視力についての中心窩領域の決定的な重要性、拡張された視野の知覚を視聴者に与える眼の動き、及び適当な老視者の両眼輻輳プロファイルを考慮に入れる。
3.リアルタイムで視聴者の両眼の視線方向、視聴者の両眼の状態、及び瞳孔径を正確に追跡するアイ・トラッキング・ハードウェア及びソフトウェアの使用。これは、多層ディスプレイのさまざまなピクセル状態を変更することで、デバイス上に表示される画像を動的に更新するために使用される。
4.それは、所望の全体画像の部分を各表現する、複数の部分画像を使用する。これらの部分画像は、インターレース方式で高速に連続してユーザへ提示される。これを適切なタイミングで行う場合に、つぎに残像、及びヒト視覚系のフリッカー応答は、単一画像の視聴者の知覚をもたらす。
【0140】
このアプローチは、スタンド・アロン設定で、または性能を潜在的にさらに向上させる逆最適化アプローチの簡略化された形式と共に使用されることが可能である。
【0141】
単一の屈折面2002、網膜面2004、及び共役面2006を備える眼の単純な縮小光学モデル2000を示す、
図20で描写される構成を考察する。近軸光学をこの説明を通して使用することができる。図面内に表現された特定の事例は、
・61.666Dの球面屈折度数を有する角膜面、
・22.222mmの軸上の角膜網膜間距離P
0Q
0、
・n’=4/3の内部屈折率、
・角膜面内にある瞳孔、
を有する。
【0142】
図で描写された例示的なパラメータ値について、この眼は、網膜2004上に600mmでオブジェクト正確に集束する。これは、距離補正が必要ないが老視者の近見視力で+1.66D Sphで快適に調節することだけを可能にする老視ユーザの近見焦点を表現することを意図される。一般的に、600mmより近い距離でスマートフォンまたはタブレット・ディスプレイを視聴すると、ブラー画像をもたらす。多くの状況で、コンピュータ・ディスプレイは、これよりも近い距離で視聴される可能性がある。
【0143】
近軸光学をこの実施例で想定する場合に、角膜及び瞳孔の中心P
0で角膜への接平面、ならびにQ
0で網膜への接平面に対応する、角膜面2002、及び網膜面2004を
図20でほぼ平面として示す。Q
0P
0で定められた方向2008は、眼の光軸、及び眼の視線(または固視)方向である。点
は、この方向2008沿いに600mmであり、
を通る水平破線2006は、網膜へ共役な平面を表現する。
【0144】
共役面2006上のすべての点は、網膜2004上に完璧に集束され、特に、Q’は、網膜上にQで集束され、そこで、
【数4】
であり、負号は、
図20で示されるような、画像反転を示す。
【0145】
このようにして、このサンプル・モデルで、任意の光線により形成された画像を求めるために、光線方向を拡張し、角膜2002との交点の点Pを求める。この点が開いた瞳孔内にある場合に、光線は、逆方向に拡張され、共役面2006との交点の点Q’を求める。つぎにこの点は、上記の簡単なスケーリングにより適切に網膜2004上にマッピングされ、網膜像点Qを与える。(この拡張が実際の光線に対応しないことに留意する。網膜像点の計算を支援することは、単なる幾何学的構成である。)Pが網膜外にある場合、画像がない。
【0146】
眼の瞳孔径は、瞳孔に入る照明の程度に主に応答して、動的に変化する。1つの実施例で、瞳孔径の値は、適度に照らされた室内状況で典型的である、ρ=5mmである。他の要因が等しい、個々の間でρが可変であることに留意する。前述のように、本明細書で与えられた説明は、他の瞳孔径について容易に修正されることが可能である。
【0147】
視力、すなわち、細かい詳細を区別する能力に応答可能である、ヒト網膜の部分は、非常に小さい。最大鋭角視野(小窩)領域は、視野の約1.25°に対応する、典型的に直径350μm、または300mmで7mmである。この領域外で、視力は、急速に低下し、ブラーは、ほとんど気づかれない。より広い視野の知覚は、中心窩上の視野の異なる部分の画像を移動させる一定の眼球運動により起こる。本発明のこの説明で、中心窩がQ
0を中心とする400×400μmの円形領域であると仮定する。これは、共役面で約15mmの辺の円に対応する。
【0148】
多層ディスプレイ
図21a及び21bは、2層の視覚ディスプレイを示す。それは、光を放射する規則的なピクセル・アレイであるソース層2102からなる。これらのピクセルは、LEDディスプレイ内のような、それら自体の能力で光源であることができ、代替に、それらは、バックライトを含むLCDディスプレイ内のように、このソース層の背後にある別の照明源から制御された光量を透過させる、制御された透過素子であり得る。より一般的に、それらは、強度範囲にわたり光を放射するために個別に制御されることが可能である規則的なピクセル・アレイである。さらに、それぞれのこれらのピクセルは、再度それぞれ個別に制御可能な、少数のサブピクセルを含むことができる。たとえば、これらのサブピクセルは、異なる色の光を放射し、いくつかのRGBの3色パターンでピクセル内に配列されることができる。
【0149】
上記のソース層2102は、規則的に制御されたアパーチャ・アレイからなるマスク層2104である。各アパーチャは、閉じ、この場合にアパーチャは、それを通るすべての光の通路を遮断する、またはアパーチャは、開き、それはすべてを、若しくは背後からそれに当たるすべての光の実質的な部分を透過させる、のいずれか一方である。それぞれのこれらのアパーチャは、個々に制御可能であり、開及び閉状態間で切り替えられることが可能である。ふたたび、LCDパネルは、この種類のマスク層の特定の実施例である。
【0150】
アライメントを取られたピクセル及びアパーチャ・アレイを含む、ソース層2102、及びマスク層2104は、ソース層2104の正面に(ソース光進行方向に)固定距離t
0でマスク層2104とともに配列される。
【0151】
図21a及び21bで、アパーチャは、マスク層2104を集合的に完全に覆うように描写され、ソース・ピクセルは、各第四マスク・アパーチャ下に配置される。ソース・ピクセルは、アパーチャと同一のサイズであるように描写される。また、
図21a及び21bは、たとえば、円形または正方形として、ソース・ピクセルのさまざまな可能な2次元表現を有する、1次元図のみを表現する。ソース・ピクセル、及びマスク・アパーチャが円形であると仮定することができる。
【0152】
1つの実施例で、層間距離t
0=5mm、及びアパーチャの直径δ=20μmである。このサイズの、及びこれより小さいサイズのピクセルは、スマートフォンのいくつかの非常に高解像度のディスプレイ内で現在使用される。
【0153】
この説明の理解を助けるために、マスク層2104を通して透過された光の幾何学的パターンをさらに考察することは、有用である可能性がある。
図21aで描写されるように、光のパターンは、非常に複雑であることが可能である。それは、ソース・ピクセルの形状及び構造、たとえば、RGBサブピクセルを配列する方法、ソース・ピクセルの輝度がその直径にわたり変化する方法、マスク・アパーチャの形状及び構造、ならびにその透過率がその直径にわたり変化することができる方法に依存する。さらに、回析効果も存在することができる。
【0154】
簡略化された計算について、プロセッサ202は、アパーチャにより形成された瞳孔を介して等方性の輝度を有するポイント・ソースとして表現されるソース・ピクセルを示す、
図21bに描写されるような簡単な透過パターンに基づき計算を実行することができる。推定として、このパターンは、網膜上の半径16μmのブラー・スポットへつながる。
【0155】
プレゼンテーションの明瞭さのためのさらなる簡略化について、この説明は、ときとして、アパーチャ中心を通るピクセルの中心からの主光線を単に指す。この簡略化された主光線の説明を使用するときに、それがマスク層から外へ進行する場合に、この主光線を囲む発散光線束もあることに留意する。
【0156】
また、ソース・ピクセル、及びマスク・アパーチャ間のオフセットnの概念を導入することも、便利である。これは、特定のソース・ピクセルの真上のアパーチャから特定のマスク・アパーチャへのアパーチャ・ステップ数を計数する。
図21bにそれを図示する。
【0157】
図21bで図示されるように、オフセットは、整数である。しかしながら、本発明のいくつかの実施例で、1.5のオフセットのような、小数のオフセットがあり得る。各アパーチャは、単一の制御された透過素子であるが、いくつかの実施例で、このようなアパーチャは、個別に制御されることが可能であるサブアパーチャを含むことができる。たとえば、正方形アパーチャは、
図22a及び22bで示されるような、正方形サブアパーチャの2×2アレイからなることができる。図面で、フル・サイズのアパーチャが示されるようなオフセットを有する場合に、つぎに、シフトされたサブアパーチャ・グルーピングは、実質的に、ハーフ・ステップ・オフセットを有するフルサイズ・アパーチャである。
【0158】
単眼直視、及び複数の部分画像アプローチ
以下の実施例は、ディスプレイ面に垂直な視線方向を有する、上記の多層ディスプレイの単眼視の事例に関係する。 例示的なユーザが600mmの近点で老視者であることが想起され、
図23は、眼2304から300mmの距離で配置されたディスプレイ2302を示す。これは、望ましい読書距離であり、このユーザにとって、屈折誤差1.66Dに対応する。マスク層なしで、または完全に開いたマスク層ありで視聴する場合に、ポイント・ソース・ピクセルは、多くの状況でディスプレイを使用するユーザの能力を制限する、70μmの近似半径のこのような視聴者の中心窩上のブラー・スポットに導く(これは、
図23のQを介して網膜へ共役な平面に投影された瞳孔に対応する)。
【0159】
前節で記述された、この種類の多層ディスプレイ2302のための、多層ディスプレイに関連する眼の所与の構成についての事例である。
1.各ソース・ピクセルについて、そのアパーチャを通過するそのソース・ピクセルからの光も、瞳孔を通過するような、限定された数のアパーチャのみがある。これは、そのピクセル、及びオフセット・アパーチャを通る主光線が瞳孔を通過するように、ピクセルに関連するアパーチャ・オフセット・セットによる近似方式で簡便に記述されることが可能である。これらのアパーチャは、そのソース・ピクセル(及び所与の眼構成)について実現可能なアパーチャと言われる。
2.異なるソース・ピクセルについて実現可能なアパーチャ・セット間でオーバーラップがない、またはより一般的に、比較的オーバーラップが少ない、これらの例外は、
・最適化技術(後に考察される)により処理されることが可能である、または
・間もなく説明される構成に影響を与えない、または
・記述される構成で無視され、この無視が性能を低下させる可能性があることを受け入れる。
【0160】
図24及び25は、インターレース方式で一緒に撮られることが中心窩上に任意の所望の画像コンテンツを提示することを可能にするマスク・アパーチャの2つの配列を描写する。これを説明するために、最初に
図24を考察する。これは、瞳孔及びソース層に関して、さまざまな光線の交点を並行に示し、その光線の構築された拡張は、網膜へ共役の平面に返る。
【0161】
ソース面2402上のS
0及びS
1間の任意のソース・ピクセル、ならびにオフセットn=0を有する、その対応するマスク・アパーチャは、太い暗い線R
0を生成する、図内の縦線で、瞳孔2406の外側部分を通り、網膜に共役の平面2404にマッピングされる。この事例で、点S
0及びS
1は、それぞれ、光軸から距離1.2mm及び2.4mmであり、領域R
0は、光軸から1.2mm〜2.4mmに拡張する。
【0162】
同様に、ソース面上のS
1及びS
2間の任意のソース・ピクセル、ならびにオフセットn=1を有する、その対応するマスク・アパーチャは、太い暗い線R
1を生成する、図内の斜線で、瞳孔の外側部分を通り、網膜に共役の平面上にマッピングされる。この事例で、点S
1及びS
2は、それぞれ光軸から距離2.4mm及び3.6mmであり、領域R
1は、光軸から3.6mm〜4.8mmに拡張する。
【0163】
距離1.2mmのこの構成、ならびにその倍数及び間隔での発生は、計算、
【数5】
の結果である。
【0164】
図24で示されるように、オフセットについてより高い値を使用して、ソース面沿いに光軸から外方向に進行するこのプロセスを継続することが可能である。
【0165】
1次元設定で本明細書に記述されるが、この構成は、半径方向ベースの構成にピクセル及びアパーチャの正方形格子アレイを適合させるために必要なわずかな調整を行った後に、任意の半径方向に適用されることが可能である。水平または垂直方向ではない、いずれかの半径方向について、半径方向の整数オフセットn
半径方向は、一般に、アパーチャの長方形格子内の整数オフセット(n
水平方向,n
垂直方向)に正確に対応していない。この事例で、プロセッサ202は、理想の半径方向オフセット位置にできる限り近いように、長方形のアパーチャ・オフセットを選択する。これが性能のいくつかの損失につながる可能性があるが、小数の長方形アパーチャ・オフセットを使用することが可能である場合に、性能のこの損失を減少させることを理解するであろう。
【0166】
この方式で、一連の円形バンド、または近見円形バンドは、共役面で得られ、ソース面の画像に対応する。これらの円形バンドは、中心窩境界及びこれを越えて外へ拡張する。しかしながら、明らかに、この中に間隙がある。つぎに
図25を見ると、同様の構成は、瞳孔の別の部分を使用して、これらの間隙を埋めることが可能である。
【0167】
共に、これら2つの構成は、2ステージを実行することで任意の画像を共役面上に形成することを可能にする。これは、インターレース方式で高速に連続してユーザにこれらの部分画像を提示することで達成されることができる。これが適切なタイミングで行われる場合に、つぎにヒト視覚系の残像及びフリッカー応答は、単一画像の視聴者の知覚をもたらす。
【0168】
単に記述された特定の構成がこの目標を達成することが可能である唯一のものではないことに留意するべきである。たとえば、
図26及び27は、同様の結果を達成するために、アパーチャの別のパターンを記述する同一の根底にある概念を使用する。瞳孔アパーチャ、及びマスク層アパーチャ・オフセットの異なる部分を選択的に使用して、網膜に共役な平面の視覚関連領域を埋める、部分的に、インターレースされた画像の集まりを生成する、同一の原理に基づき、多くの同様の構成がある。つぎに、これらの部分画像は、高速で連続して表示されることが可能であるため、視聴者は、単一の画像を知覚する。本明細書で与えられた実施例は、2枚の部分画像が全体画像を生成するのに十分であるものであるが、より多数の部分画像、たとえば、3枚または4枚を使用することができる。
【0169】
異なる状況で、いくつかの構成は、不確かさ及び不正確さへ光学性能及び感度で(たとえば、ディスプレイに関連する瞳孔径及び眼の位置で、ならびにピクセル及びアパーチャの形状及びアライメントで)他のものより優れていることを証明することができる。
【0170】
斜め単眼の視線方向、及びアイ・トラッキング技術
つぎに、
図28で描写されるような、単眼斜めの視線方向の事例を考察する。典型的に、傾斜角αは、小さく、α≦10°である。この事例で、最も顕著な効果は、ここで上記の構成のオフセットnが
図29で示されるような視線方向に対応するオフセットn
0に関連して、
【数6】
で計算されることである。すなわち、
図24、25、26及び27の構成で、n=0,1,2,3,...は、n
0,n
0+1,n
0+2,n
0+3,...により置換される。
【0171】
眼の視線方向、ソース面上の固視点、ならびに瞳孔位置及び瞳孔径の中心の正確な知識が操作のために有用であることは、与えられた説明だけでわかり得る。ユーザが表示装置のコンテンツを見る場合に、確かに動的な変更があり得る。
【0172】
最新のスマートフォン、及び同様のデバイスは、顔追跡を提供する。プロセッサ202は、スマートフォンの内部カメラ、及び内部画像処理ソフトウェアを使用して、リアルタイムで動的にユーザの顔の位置及び方向を測定する。プロセッサ202は、ディスプレイ電源管理、及びスクロールのような、さまざまな制御機能についてこの情報を使用する。さらに進化したアイ・トラッキング技術も、再度カメラ及び画像処理ソフトウェアを使用して、利用可能である。
【0173】
両眼アイ・トラッキング技術は、各眼についての、
1.視線方向
2.視聴されている拡張されたオブジェクト上の眼の固視点
3.瞳孔の中心位置
4.瞳孔径
をリアルタイムで正確に測定することが可能である。プロセッサ202は、このアイ・トラッキング技術からのこれらの結果を利用して、上記の計算に必要なパラメータを決定する。
【0174】
両眼視
近見視力で、ユーザの両眼の視線方向は、共通点上に輻輳近点を通常輻輳する。輻輳について調節刺激から発生すると考えられる、近見視力の輻輳及び調節間で観測された密接な相関があるため、輻輳近点は、近見焦点に通常近い。このような、調節可能な輻輳は、ユーザがそれに気付かない、無意識である。自発的な輻輳は、一部のユーザに可能であり得るが、それは、通常かなりの集中力を必要とするため、退屈かつ不自然かつ不快である可能性がある。
【0175】
図30は、老視ユーザの近見焦点3004より近くにあるマスク面3002を視聴する老視ユーザの左及び右眼についての視線方向を示す。PD3006は、右及び左眼の瞳孔の中心間の距離である、瞳孔間距離を示す。ほとんどの成人で、これは、60〜70mmの近似範囲内にある。このような老視ユーザについて、老視ユーザは、調節可能な範囲が制限されているため、快適な輻輳近点は、マスク面3002、及びソース面3008の背後にある、近見焦点に近い可能性が高い。このようにして、図内で、両眼の視線方向は、Q
r及びQ
lにより示される、異なる点でマスク面に当たる。左及び右眼の視線がディスプレイの異なる部分に固定されるが、正常な両眼融合機能を有するユーザは、輻輳近点の側方位置に近い側方位置で、単一の両眼融合画像を知覚する。
【0176】
調節及び輻輳間の結合が完全ではないことは、知られている。調節可能な輻輳とは別に、両眼の輻輳は、近接性輻輳と言われる、視聴されるオブジェクトの近さのユーザの精神的意識により無意識に影響を受ける可能性もある。図で提示された事例で、これは、近見焦点からマスク及びソース面へより近い輻輳近点を移動させる可能性が高い。他方で、輻輳への無意識な融合成分についての証拠もある、すなわち、両眼の視線方向は、変わるため、両眼は、心が単一の視覚に融合させることを可能にする一貫した網膜画像を提示される。近接性輻輳を克服する、融合して調節可能な輻輳の実施例は、300mmに保持された鏡の中の自分の顔を見ることで与えられる。この説明で考察された特定の老視者は、それが600mmに光学的に設置される場合に、鏡の中の顔の画像を快適かつ明瞭に見る。両眼輻輳状態は、図面内のようである。
【0177】
上記の考察に照らして、プロセッサ202で実行された計算は、(快適な)輻輳近点が近見焦点と一致する仮定に基づくことができる。
【0178】
点Q
r及びQ
lは、十分遠くに離れているため、右及び左眼がそれぞれQ
r及びQ
l周囲で、ソース及びマスク・パターンを制御することで互いから独立して何かを見ることを制御することが可能である。プロセッサ202は、その結果、Q
r及びQ
lの位置を計算し、単眼視について上記の方法を使用して、互いから独立してQ
r及びQ
l周囲のソース及びマスク・パターンを測定する。
【0179】
代替に、上記と異なる輻輳パターンは、このパターンが近見視力で快適である特定のユーザと関連したデータ・ストア206に格納されることができる。プロセッサ202は、その結果、彼らがQ
r及びQ
lについてマスク及びソース・パターンの独立した選択を可能にするために十分に遠く離れたままでいる限り、点Q
r及びQ
lをシフトさせることで、このパターンを組み込むことが可能である。
【0180】
輻輳パターンを示すデータ・ストア206に格納されたデータは、輻輳不足または過剰(斜位)を有するユーザの以前の臨床検査から生じることができる、またはそれは、上記で説明されるアイ・トラッキング能力により得られたデータの分析を通して決定されることが可能である。これは、セットアップ及び較正ステージ中に、または動的に使用中に、のいずれか一方で1回行われることが可能である。
【0181】
この説明で考察された特定の事例について、マスク及びソース面は、瞳孔の平面から約300mmであり、近見焦点は、さらに300mm離れている。65mmのPD距離について、これは、距離Q
rQ
lが約32.5mmであることを意味する。この事例で、各眼の中心窩領域上に単眼で結像されるソース及びマスク面上の領域の半径が、ある余分な中心窩予備を可能にする約4mm、または8mmであることが想起される。このようにして、この事例で右及び左眼間のオーバーラップがなく、左及び右眼を独立して扱うことが可能である。
【0182】
追加の最適化
先に述べたように、実現可能なアパーチャ・セットの非オーバーラップに関連する上記の一般的な構成様式の背後のいくつかの仮定は、必ずしも成り立たない可能性がある。この仮定が成立しない場合に、つぎにそれは、異なるアパーチャを通過する主光線により共役面上の空間的に別の2点で1つのソース・ピクセルを結像するときの事例につながることができる。一方で、この状況を許容することができ、この事例で、上記の構成を無関係に実行し、性能のいくらかの低下をもたらす。他方で、この状況が発生する場合に、それは、その影響を最小にしようとする、追加の計算最適化手順により処理されることができる。この意味で、プロセッサ202は、一方のサブセットの投影のオーバーラップを、共役面上の任意の他方のサブセットの投影で最小にする。この最小化は、構成技術が最小のオーバーラップ、若しくはオーバーラップがないことにつながる仮定で、制御信号を構成することを備えることができる、または最小のオーバーラップに最終的に到達するように制御信号を反復して最適化することを備えることができる。
【0183】
複数のソース・ピクセルの矯正
ζ
k,k=1,...,Nを、網膜への共役面上の1セットの点とする。典型的に、1セットのζ
kは、各ζ
kが単一の網膜の視細胞、またはおそらく少数の隣接する視細胞の中心に対応する、点の長方形のアレイである。
【0187】
プロセッサ202は、可能なら、各主光線を囲む発散光線束について、及び任意の回析効果(上述のような)について、いくつかの計算上便利な近似を行った後に、上述のような近軸光学構成及び計算を使用することで、係数B
ksmを計算することができる。
【0191】
「単眼直視、及び複数の部分画像アプローチ」の下で、
図24及び25を参照して、上記の説明が上記の1〜3項に記述された簡略化の特定の実施例とみられることができることに留意する。
【0195】
本明細書で定式化されるように、これは、制約のある最小二乗最適化問題であり、このようなものとして、この問題を解くさまざまな計算技術がある。しかしながら、これは、いくつかの事例で、以下のことを特に認識する、大きな計算上の問題に依然としてつながる可能性がある。
1.実際に、実行される3つの(独立した)最適化があり、各ピクセル空間位置と関連した各3色の成分R、G、Bについてのものである。
2.この計算は、リアルタイムで、潜在的に経時的に変化している標的画像について実行できる。
3.この計算は、視聴者の変化する視線方向についてリアルタイムで実行できる。
【0196】
したがって、計算上の実現可能性について、またはプロセッサ・モデル、及びバッテリー・サイズの観点での経費節約について、プロセッサ202は、いくつかのさらなる近似を用いることができる。本発明で、以下の近似技術を用いることができる。
【0197】
1.この種類の最小二乗問題は、正規方程式とよく言われる、1セットの線形方程式を導く。近似ステップは、これらの正規方程式を記述する行列の特異値分解を求めることから始まる。これが依然として計算集約ステップであり得ることに留意する。しかしながら、プロセッサ202は、特定の視線方向について(または1セットの類似の視線方向について)1回のみこのステップを実行することができる。さらに、このステップは、標的画像から独立していて、オフラインで実行され、その結果、つぎの使用のためにモバイル・デバイスに格納されることができる。つぎの使用で、プロセッサ202は、リアルタイムで特異ベクトル、及び標的画像間の内積のみを計算する。これらは、計算するのに比較的効率がよい。換言すれば、プロセッサ202は、ユーザの視線を測定し、データ・ストア206でルックアップを実行し、マスク層アパーチャがこの視線について開いているかを判定する。これは、それらが現在の画像に依存している場合に、制御信号を決定することがソース・ピクセル強度のみを計算することを備えることも意味する。
【0198】
2.この特異値分解アプローチをモバイル・デバイスでより効率的にするために、プロセッサ202は、つぎの計算のために、少数の特異ベクトル(最大の特異値に関して、典型的に10〜100)のみを使用することができる。さらに、プロセッサ202は、小さい成分を無視することで、サイズでこれらの特異ベクトルを減らすことができる。典型的に、このような減らされた特異ベクトルの各々は、0ではなく、100未満の成分を有する。しかしながら、保持されている特異ベクトル数、及び変更された特異ベクトル内の非ゼロの数は、本明細書で記述されているものから調整され、使用されているデバイス及びプロセッサの計算、メモリ及びストレージ能力に合うことが可能である。少数の特異ベクトルの使用、及びこれらの特異ベクトルの非ゼロ成分のより大きな数の無視が網膜上で形成される画像の品質を低下させる可能性があることを理解するであろう。
【0199】
3.計算強度を低下させるために導入されることができる、さらなる近似は、近似最適化自体の中のx
sで不等式制約を緩和することであるが、つぎにそれらに、このようにして得られた制約のない近似最適解への事後確率を課す。
【0200】
今説明されたものと一緒に、または別個に、のいずれか一方で用いられることができる代替の近似手順は、(2)で現れる合計の縮小された次元表現を求めることを必要とする。これは、たとえば、
と関連した行列の最も重要な特異ベクトルを考察することで、行われることが可能である。ふたたび、これをオフラインで実行することができ、つぎのリアルタイム処理のためにモバイル・デバイスのデータ・ストア206に格納される結果に関して1回のみそれを行うことが可能である。これは、問題の次元を減らすが、それは、計算集約的な計算を依然として構成していることができる。モバイル、または他の表示装置上のプロセッサ202は、効率的なこれらの計算のために、上記で説明された一部、またはすべての近似技術を使用することもできる。
【0201】
プロセッサ能力に依存する、一部の上記の近似ステップが反復方式(反復補正)で適用することが可能であることを実現するであろう。すなわち、理想の最適解から残りの偏差のいくつかの推定が続く、近似ステップの最初の簡単なアプリケーションがある。つぎに近似ステップは、この推定された偏差に適用され、それを補正しようとすることが可能である。理論的に、このプロセスは、無期限に継続されることが可能である。しかしながら、プロセッサ能力の実施上の制約、及びリアルタイム処理の必要性は、これを適度な数に制限する可能性がある。
【0202】
1つの実施例で、モバイル・デバイス上に表示される元の画像は、ユーザ・インタラクションから独立している。たとえば、ビデオは、ユーザ・インタラクションなしで一般に再生される。これらの事例で、別のコンピューティング・デバイス、たとえば、より大きな計算力を有するビデオ・サーバ、またはパーソナル・コンピュータは、モバイル・デバイスにビデオ・データをダウンロードする前にこのビデオ・データを前処理することができる。結果として、モバイル・プロセッサから最小の計算入力で異なるフレームを正確にインターレースするために使用される情報を含む新規のビデオ・フォーマットを提案する。このようなビデオ・ファイルに関して、ユーザは、眼鏡を着用しないで、ビデオを視聴することが可能である。1つの実施例で、直進の視線方向のような、特定の視線方向の仮定の下で、ビデオ・ファイルを準備する。
【0203】
1枚以上の光学レンズの光学効果を再現することで、ユーザの視力障害を補うためのグラフィカル・ユーザ・インタフェースの変更が自動的にモバイル・デバイスにより、またはユーザの視力障害を補うためにグラフィカル・ユーザ・インタフェースを変更する要求を受信しないデフォルトによりアクティベートできることに留意する。
【0204】
当業者は、特許請求の範囲に定められるような範囲から逸脱することなく、複数の変形形態及び/または修正形態を特定の実施形態に行うことができることを理解するであろう。
【0205】
本開示の技術がさまざまな科学技術を使用して実装されることができることを理解するであろう。たとえば、本明細書で記述された方法は、適切なコンピュータ可読媒体に存在する、一連のコンピュータ実行可能命令により実装されることができる。適切なコンピュータ可読媒体は、揮発性(たとえば、RAM)及び/または不揮発性(たとえば、ROM、ディスク)メモリ、搬送波及び伝送媒体を含むことができる。例示的な搬送波は、ローカル・ネットワーク、またはインターネットのような公衆アクセス可能なネットワーク沿いにデジタル・データ・ストリームを伝達する、電気、電磁気、または光学信号の形式を取ることができる。
【0206】
また、以下の考察から明らかなように、特に別段の定めのない限り、説明全体を通して、「推定する」、または「処理する」、または「computing(計算する)」、または「calculating(計算する)」、「最適化する」、または「測定する」、または「表示する」、または「最大にする」、または同様にするような用語を利用する考察がコンピュータ・システム・メモリ若しくはレジスタまたは他のこのような情報ストレージ、伝送、若しくは表示装置内で物理的な量として同様に表現される他のデータ内にコンピュータ・システムのレジスタ及びメモリ内の物理的な(電子的な)量として表現されたデータを処理し、変換する、コンピュータ・システム、または同様の電子コンピューティング・デバイスのアクション及びプロセスを指すことを理解するであろう。
【0207】
本実施形態は、このようにして、 あらゆる点で、例示とみなされるが、限定とみなされるべきではない。