特許 7335285 単一深度追跡型の遠近調節－両眼転導ソリューション

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-21

(45)【発行日】2023-08-29

(54)【発明の名称】単一深度追跡型の遠近調節－両眼転導ソリューション

(51)【国際特許分類】

   H04N 13/122 20180101AFI20230822BHJP

   H04N 13/344 20180101ALI20230822BHJP

【ＦＩ】

H04N13/122

H04N13/344

【請求項の数】 19

【外国語出願】

(21)【出願番号】P 2021038211

(22)【出願日】2021-03-10

(62)【分割の表示】P 2019506096の分割

【原出願日】2017-08-03

(65)【公開番号】P2021122109

(43)【公開日】2021-08-26

【審査請求日】2021-04-08

(31)【優先権主張番号】16182719.1

(32)【優先日】2016-08-04

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】62/370,901

(32)【優先日】2016-08-04

(33)【優先権主張国・地域又は機関】US

【前置審査】

(73)【特許権者】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】ナイナン，アジト

(72)【発明者】

【氏名】ワン，チュン チー

【審査官】佐野 潤一

(56)【参考文献】

【文献】特開２０１４－２１９６２１（ＪＰ，Ａ）

【文献】特開２００６－２８７８１３（ＪＰ，Ａ）

【文献】特開２０１３－０９０１８０（ＪＰ，Ａ）

【文献】特開２０１４－０７１２３０（ＪＰ，Ａ）

【文献】国際公開第２０１６／１０５５２１（ＷＯ，Ａ１）

【文献】特開２００８－０７８８４６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／００１６６７４（ＵＳ，Ａ１）

【文献】特開２０１１－１２５６９２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １３／００

Ｈ０４Ｎ ５／６６

Ｇ０３Ｂ ３５／００

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

観察者が第１の左画像および第１の右画像を含む第１の立体画像を観察しているときに、少なくとも２種の視線追跡方法の組み合わせであって、１種が電界測定を用い、他の１種が光センサ、眼球像の取得、または赤外線を用いる少なくとも２種の視線追跡方法の組み合わせにより、観察者の左眼の左転導角および前記観察者の右眼の右転導角を決定することと、
（ｉ）前記観察者の左眼の左転導角および（ｉｉ）前記観察者の右眼の右転導角に少なくとも部分的に基づいて、仮想物体深度を決定することと、
前記観察者のための第２の左画像および第２の右画像を含む第２の立体画像を１つ以上の画像ディスプレイに描画することであって、前記第２の立体画像は前記第１の立体画像よりも後に提示される、描画することと、
前記第２の立体画像を前記１つ以上の画像ディスプレイから前記仮想物体深度にある仮想物体面に１つ以上の自動調整レンズを用いて投射することであって、前記第２の左画像および前記第２の右画像の１つ以上の空間領域を入力左画像および入力右画像に対してぼやけさせる１回以上のブラーフィルタリング演算を適用することにより、前記第２の左画像および前記第２の右画像は前記入力左画像および前記入力右画像から生成され、前記第２の左画像および前記第２の右画像の前記１つ以上の空間領域は、前記観察者の中心視から離れている、投射することと、
を含み、
前記ブラーフィルタリング演算は、可変空間解像度を有するブラーフィルタによって実装され、
前記ブラーフィルタは、第１および第２のブラーフィルタを含み、前記第１のブラーフィルタは、前記仮想物体面の左中心視領域に投射された前記第２の左画像中の画像細部においてゼロまたは最小限のぼやけを生じさせるように構成され、前記第２のブラーフィルタは、前記仮想物体面の右中心視領域に投射された前記第２の右画像中の画像細部においてゼロまたは最小限のぼやけを生じさせるように構成されており、
前記第２の立体画像の前記第２の左画像および前記第２の右画像の少なくとも一方は、単一のレンズ素子または複数のレンズ素子を有する自動調整レンズに基づいて前記仮想物体面に投射される、方法。

【請求項2】

前記仮想物体深度は、前記観察者の少なくとも１つの特性に少なくとも部分的に基づいて調整され、前記特性は、｛眼鏡装用、眼鏡非装用、コンタクトレンズ装用、瞳孔間距離、および目－自動調整レンズ距離｝からなる群から選択される、請求項１に記載の方法。

【請求項3】

前記ブラーフィルタリング演算は、ある強度でぼやけを付与することを含み、前記ぼやけの強度は、前記仮想物体面に表現された前記第２の左画像および前記第２の右画像における画像細部の、前記観察者の中心視に対する距離が増加するにしたがって増大する、請求項１または２に記載の方法。

【請求項4】

前記ブラーフィルタリング演算は、
前記観察者の中心視を包含する画像細部において最小限またはゼロのぼやけを付与することと、
前記観察者の中心視からより遠い画像細部においてより強いぼやけを付与することと、を含む、請求項３に記載の方法。

【請求項5】

前記第１および第２のブラーフィルタは、前記仮想物体面の１つ以上の左右それぞれの非中心視領域に投射される前記第２の左画像および前記第２の右画像の中の画像細部において、より強いぼやけを生じさせるように構成されている、請求項４に記載の方法。

【請求項6】

前記入力左画像および前記入力右画像中に表される視認対象物体のアスペクト比を、前記仮想物体深度にある前記仮想物体面に投射される前記第２の左画像および前記第２の右画像中に表される前記視認対象物体の変更後のアスペクト比に調整する、１回以上のアスペクト比調整演算を適用することにより、前記第２の左画像および前記第２の右画像は入力左画像および入力右画像から生成される、請求項１から５のいずれかに記載の方法。

【請求項7】

前記入力左画像および前記入力右画像中に表される視認対象物体の深度を、前記仮想物体深度にある前記仮想物体面に投射された前記第２の左画像および前記第２の右画像中に表される前記視認対象物体の変更後の深度に変換する、１回以上の深度補正演算の適用することによって、前記第２の左画像および前記第２の右画像は入力左画像および入力右画像から生成される、請求項１から６のいずれかに記載の方法。

【請求項8】

前記第２の立体画像の前記第２の左画像および前記第２の右画像は、同時に描画されて前記観察者によって観察される、請求項１から７のいずれかに記載の方法。

【請求項9】

前記第２の立体画像の前記第２の左画像および前記第２の右画像は、フレームシーケンシャルに描画されて前記観察者によって観察される、請求項１から８のいずれかに記載の方法。

【請求項10】

前記第２の立体画像は、前記観察者に観察されるために描画される立体画像のシーケンス中において、前記第１の立体画像の時間的に直後に提示される、請求項１から９のいずれかに記載の方法。

【請求項11】

前記仮想物体深度に少なくとも部分的に基づいて、前記１つ以上の自動調整レンズの１つ以上の焦点距離が決定される、請求項１から１０のいずれかに記載の方法。

【請求項12】

前記第２の立体画像は、入力立体画像のシーケンス中における第２の入力立体画像から生成され、前記第２の立体画像以外の立体画像は、前記第２の入力立体画像から生成されず、前記第２の立体画像は、前記仮想物体深度以外の仮想物体深度では投射されない、請求項１から１１のいずれかに記載の方法。

【請求項13】

前記第２の立体画像の前記第２の左画像および前記第２の右画像は、それぞれ、第１の画像ディスプレイおよび第２の画像ディスプレイに描画される、請求項１から１２のいずれかに記載の方法。

【請求項14】

前記第２の立体画像の前記第２の左画像および前記第２の右画像は、１つの画像ディスプレイに描画される、請求項１から１２のいずれかに記載の方法。

【請求項15】

前記第２の立体画像の前記第２の左画像は、前記観察者の左眼にのみ視認可能であり、前記第２の立体画像の前記第２の右画像は、前記観察者の右眼にのみ視認可能である、請求項１から１４のいずれかに記載の方法。

【請求項16】

前記観察者が前記第２の左画像および前記第２の右画像を含む前記第２の立体画像を観察しているときに、前記観察者の左眼の第２の左転導角および前記観察者の右眼の第２の右転導角を決定することと、
（ｉ）前記観察者の左眼の前記第２の左転導角および（ｉｉ）前記観察者の右眼の前記第２の右転導角に少なくとも部分的に基づいて、第２の仮想物体深度を決定することと、
前記観察者のための第３の左画像および第３の右画像を含む第３の立体画像を、前記１つ以上の画像ディスプレイに描画することであって、前記第３の立体画像は前記第２の立体画像よりも後に提示される、描画することと、
前記第３の立体画像を前記１つ以上の画像ディスプレイから前記第２の仮想物体深度にある第２の仮想物体面に投射することと、
をさらに含む、請求項１から１５のいずれかに記載の方法。

【請求項17】

請求項１から１６のいずかに記載の方法を実行するように構成された装置。

【請求項18】

１つ以上のプロセッサによって実行されたときに請求項１から１６のいずれかに記載の方法を実行させるソフトウェア命令を含むコンピュータプログラム。

【請求項19】

１つ以上のプロセッサと、１つ以上のプロセッサによって実行されたとき、請求項１から１６のいずかに記載の方法を実行させる、１組の命令を格納した１つ以上の記憶媒体とを備えた、計算装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像描画全般に関しており、特に、ディスプレイデバイスを用いた三次元（３Ｄ）および／またはマルチビューの画像描画に、単一深度追跡型の遠近調節－両眼転導ソリューションを適用することに関する。

【背景技術】

【0002】

網膜は、（例えば人間、観察者などの）眼の内表面のうちの、眼の瞳孔の反対側にある視覚センサー群を備えた主要部分を指す。中心窩（ｆｏｖｅａ）は、眼において最も鮮明な視覚および最も高感度な色認識が可能である多数の視覚センサー群を備えた、網膜のうちの比較的小さい中央部分を指す。

【0003】

人間の脳は、両眼転導（ｖｅｒｇｅｎｃｅ）プロセスを用いて、（人間の）観察者の両眼を、あるシーン中の任意の可視物体にむけて同時に輻輳または開散させるように外眼筋を制御することによって、その物体を３Ｄ物体として知覚することをサポートする。同時に、人間の脳は、遠近調節（ａｃｃｏｍｍｏｄａｔｉｏｎ）プロセスを用いて、両眼中の瞳孔の後ろにある水晶体の各々を、ある焦点距離（あるいは焦点屈折力（ｆｏｃａｌ ｐｏｗｅｒ）に順応させるように毛様体筋を制御することによって、その物体の明瞭視、すなわち中心視をサポートする。

【0004】

実世界環境（あるいはシーン）における実世界の物体を観察するとき、人間の脳は、自然発生的で相互依存的な遠近調節および両眼転導のプロセスを用いて、毛様体筋および外眼筋を同時に制御して観察者の別々の水晶体の両焦点距離を順応させることにより、所定の空間的位置に位置する実世界の物体の明瞭な視覚（すなわち中心視）をサポートし、かつこれと同時に、その空間的位置にある実世界の物体に向けて両眼を輻輳および開散させることにより、その実世界の物体を含む実世界環境の知覚をサポートする。

【0005】

これに対して、ニアアイディスプレイ（ｎｅａｒ－ｅｙｅ ｄｉｓｐｌａｙ）を用いて３Ｄ画像を観察するとき、人間の脳は、相反する遠近調節および両眼転導のプロセスを用いて毛様体筋および外眼筋を制御するために、再学習のプロセスを経なければならない。３Ｄ画像の観察時にこれらの相反する遠近調節および両眼転導のプロセスが毛様体筋および外眼筋を制御する方法は、実世界環境における実世界の物体の観察時に遠近調節および両眼転導のプロセスが毛様体筋および外眼筋を制御する方法とは非常に異なる。

【0006】

より具体的には、人間の脳は、眼からある固定距離に位置するニアアイディスプレイに描画された画像の明瞭視（すなわち中心視）をサポートするために、観察者によって観察されている画像中に表される物体がどこに位置することになっているかによらず、観察者の眼の水晶体を一定の焦点距離に設定するように毛様体筋を制御する必要がある。明瞭な観察を行うために毛様体筋が水晶体の焦点距離をニアアイディスプレイに固定するとき、同時に、人間の脳は、ニアアイディスプレイからある距離に存在する画像中に表される物体に向けて同時に両眼を輻輳または開散するように外眼筋を制御することで、その物体の３Ｄ物体としての知覚をサポートする必要がある。

【0007】

これは、遠近調節－両眼転導の不整合（ａｃｃｏｍｍｏｄａｔｉｏｎ－ｖｅｒｇｅｎｃｅ ｃｏｎｆｌｉｃｔ）として知られている。すなわち、脳は、３Ｄ画像を観察する時には、実世界の物体を観察する時とは非常に異なる方法で毛様体筋および外眼筋を制御しなければならない。残念なことに、３Ｄ画像の観察における遠近調節－両眼転導の不整合は、３Ｄ画像の観察中およびその後において、吐き気、頭痛、見当識障害などの心理的な不
快感・気持ち悪さを、高頻度にかつ深刻に引き起こし得る。
本節に記載されているアプローチは、探求し得るアプローチではあるが、必ずしもこれまでに着想または探求されてきたアプローチではない。従って、別途示唆のない限り、本節に記載されたアプローチのいずれも、本節に記載されているという理由だけで従来技術としての適格性を有すると考えるべきではない。同様に、別途示唆のない限り、１以上のアプローチに関して特定される問題が、本節に基づいて、いずれかの先行技術において認識されたことがあると考えるべきではない。

【0008】

添付図面の各図において、本発明を限定する事なく例示する。同様の部材には同様の参照符号を付している。

【図面の簡単な説明】

【0009】

【図1A】一例としての人間の眼の断面図を示している。

【図1B】左眼および右眼による物体平面内に位置する実世界の物体の観察の一例を示している。

【図2A】左画像および右画像を含む立体画像に表される仮想物体の観察の一例を示している。

【図2B】左画像および右画像を含む立体画像に表される仮想物体の観察の一例を示している。

【図2C】立体画像の時間的シーケンスを観察する際の、観察者の転導角の追跡の一例を示している。

【図2D】左画像および右画像を含む立体画像に表される仮想物体の観察の一例を示している。

【図2E】ブラーフィルタの一例を示している。

【図3A】ビデオストリーミングサーバーおよびクライアントの一例を示している。

【図3B】ビデオストリーミングサーバーおよびクライアントの一例を示している。

【図3C】ビデオストリーミングサーバーおよびクライアントの一例を示している。

【図4】プロセスフローの一例を示している。

【図5】本明細書に記載のコンピュータまたは計算装置が実装され得るハードウェアプラットフォームの一例を示す。

【発明を実施するための形態】

【0010】

ディスプレイデバイスを用いた３Ｄおよび／またはマルチビューの画像描画に単一深度追跡型の遠近調節－両眼転導ソリューションを適用することに関連する例示的実施形態を、本明細書に記載する。以下の説明においては、便宜上、本発明を完全に理解できるように、多数の詳細事項を説明する。ただし、これらの詳細事項が無くても本発明を実施可能であることは明白であろう。他方、本発明の説明を不必要に煩雑にしたり、不明瞭にしたり、難読化したりしないように、周知の構造およびデバイスの細かな詳細までは説明しない。

【0011】

本明細書において、以下の概略にしたがって例示的実施形態を記載する：
１．一般的概要
２．遠近調節および両眼転導
３．遠近調節と両眼転導との不整合
４．遠近調節と両眼転導との不整合の解決
５．転導角の追跡
６．ビデオストリーミングサーバーおよびクライアントの例
７．プロセスフローの例
８．実装メカニズム－ハードウェア概要
９．均等物、拡張物、代替物、その他

【0012】

１．一般的概要
本概要は、本発明のある例示的実施形態が有するいくつかの側面について、基本的説明を提示する。本概要は、例示的実施形態が有する諸側面についての広範かつ網羅的な要約ではない、ということに留意すべきである。さらに留意すべきは、本概要は、例示的実施形態が有する任意の特に重要な側面または要素を示すものとして理解されるようには意図されておらず、その特定の例示的実施形態あるいは広く本発明の何らの範囲をも規程するものとして理解されるようにも意図されていない。本概要は、単に、例示的実施形態に関するいくつかの概念を凝縮された簡素な形式で提示するものであって、以下に続く例示的実施形態についてのより詳細な説明に対する単なる概念的な前置きとして理解されるべきである。別個の実施形態が本明細書において述べているが、本明細書に述べた実施形態の任意の組み合わせおよび／または部分的な実施形態は、組み合わせられてさらなる実施形態を形成し得ることに留意されたい。

【0013】

本明細書に記載の例示的実施形態は、自動調整レンズを介して、３Ｄ画像（またはマルチビュー画像）の描画および観察における遠近調節－両眼転導の不整合を解決することに関する。観察者が第１の左画像および第１の右画像を含む第１の立体画像を観察しているときに、前記観察者の左眼の左転導角および前記観察者の右眼の右転導角が決定される。（ｉ）前記観察者の左眼の左転導角および（ｉｉ）前記観察者の右眼の右転導角に少なくとも部分的に基づいて、仮想物体深度が決定される。前記観察者のための、第２の左画像および第２の右画像を含む第２の立体画像が、１つ以上の画像ディスプレイに描画される。前記第２の立体画像は前記第１の立体画像よりも後に提示される。前記第２の立体画像は、前記１つ以上の画像ディスプレイから、前記仮想物体深度にある仮想物体面に投射される。

【0014】

いくつかの実施形態において、入力左画像および入力右画像中に表される視認対象物体のアスペクト比を、前記仮想物体深度にある前記仮想物体面に投射された前記第２の左画像および前記第２の右画像に表される視認対象物体の変更後のアスペクト比に調整する、１回以上のアスペクト比調整演算を適用することによって、前記第２の左画像および前記第２の右画像は、前記入力左画像および前記入力右画像から生成される。

【0015】

いくつかの実施形態において、入力左画像および入力右画像中に表される視認対象物体の深度を、前記仮想物体深度にある前記仮想物体面に投射された前記第２の左画像および前記第２の右画像中に表される前記視認対象物体の変更後の深度に変換する、１回以上の深度補正演算を適用することによって、前記第２の左画像および前記第２の右画像は、前記入力左画像および前記入力右画像から生成される。

【0016】

いくつかの実施形態において、前記第２の左画像および前記第２の右画像の１つ以上の空間領域を入力左画像および入力右画像に対してぼやけさせる１回以上のブラーフィルタリング演算を適用することによって、前記第２の左画像および前記第２の右画像は、前記入力左画像および前記入力右画像から生成され、前記第２の左画像および前記第２の右画像の前記１つ以上の空間領域は、前記観察者の中心視から離れている。

【0017】

いくつかの例示的実施形態において、本明細書に記載された機構は、以下を含むがこれに限定されないメディア処理システムの一部を形成する。すなわち、ニアアイディスプレイ、クラウドベースのサーバー、モバイルデバイス、仮想現実システム、拡張現実システム、ヘッドアップディスプレイデバイス、ヘルメットマウンテッドディスプレイデバイス、ｚＳｐａｃｅディスプレイ、ＣＡＶＥタイプシステムすなわち壁サイズのディスプレイ、テレビゲーム装置、ディスプレイデバイス、メディアプレイヤー、メディアサーバー、メディア制作システム、カメラシステム、ホーム用システム、通信デバイス、映像処理シ
ステム、ビデオコーデックシステム、スタジオシステム、ストリーミングサーバー、クラウドベースのコンテンツサービスシステム、ハンドヘルドデバイス、ゲーム機器、テレビ、劇場ディスプレイ（ｃｉｎｅｍａ ｄｉｓｐｌａｙ）、ラップトップコンピュータ、ネットブックコンピュータ、タブレットコンピュータ、携帯無線電話、電子ブックリーダー、ＰＯＳ端末（ｐｏｉｎｔ ｏｆ ｓａｌｅ ｔｅｒｍｉｎａｌ）、デスクトップコンピュータ、コンピュータワークステーション、コンピュータサーバー、コンピュータキオスク、または様々な他の種類の端末およびメディア処理ユニットである。

【0018】

本明細書中に記載の好ましい実施形態ならびに一般的な原則や特徴に対する様々な変更は、当該分野の当業者にとっては容易に明らかであろう。よって、本開示は提示された実施形態に限定されるように意図されているのではなく、本明細書中に記載の原則および特徴に合致する最も広い範囲を与えられるべきである。

【0019】

２．遠近調節および両眼転導
図１Ａは、一例としての観察者の有する人間の眼１００を、観察者の頭部の真上から見た断面図を示す。図示されるように、眼（１００）は、眼（１００）の前部に位置する瞳孔１０４の中心点と、眼（１００）の後部にある網膜１１０に位置する中心窩１０６の中心点とを通過する、光軸１０２（横線１１２に垂直である）を有する。瞳孔（１０４）の後ろに位置する水晶体１０８を通って集められた光は、水晶体（１０８）によって、中心窩（１０６）に投射され得る。例示目的にすぎないが、水晶体（１０８）は、眼球焦点距離によって光学的に特徴付けられ得る。水晶体は、単一の焦点距離を有する光学レンズを表現している場合としていない場合とが有り得るため、本明細書における眼球焦点距離は、以下のうちの１つを指す。すなわち、光軸（１０２）近くの光に対する焦点距離、水晶体の中央部の平均焦点距離、光軸（１０２）近くの光に対する実効焦点距離、中心窩に投射された光に関する焦点距離、または、中心視に対して局所的には完全に近いレンズ（ｌｏｃａｌｌｙ ｎｅａｒ ｐｅｒｆｅｃｔ ｌｅｎｓ）の焦点距離などである。様々な実施形態において、水晶体は単一のレンズまたは複数のレンズとしてモデル化することができ、このうちの１つ、一部、または全部が、例えば眼（１００）内のあるいは眼（１００）に関連する毛様体筋を通じて制御可能な、可変焦点レンズを有し得ることに留意されたい。

【0020】

図１Ｂは、観察者の左眼１００－１および右眼１００－２による、物体平面１１６内に位置する実世界の物体１１４の観察の例を示す。図示されるように、物体平面（１１６）（実世界の物体（１１４）が位置している）は、観察者の正面観察方向１１８に垂直であり、観察者の瞳孔間線１２０に平行である。

【0021】

左眼（１００－１）の左中心窩（１０６－１）および右眼（１００－２）の右中心窩（１０６－２）の両方を介して実世界の物体（１１４）の明瞭視を実現するために、観察者の脳は、両眼転導プロセス（例えば開散プロセス、輻輳プロセスなど）を用いて両眼における外眼筋を同時に制御することにより、左眼（１００－１）および右眼（１００－２）を実世界の物体（１１４）に向ける。もし観察者の光軸（１０２－１および１０２－２、それぞれ横線１１２－１および１１２－２に垂直である）が実世界の物体（１１４）よりも近くの空間上の点に前もって向けられていたならば、観察者の脳は開散プロセスを用いて両眼における外眼筋を制御することにより、左眼（１００－１）および右眼（１００－２）を同時に実世界の物体（１１４）に向けて開散させる。逆にもし観察者の光軸（１０２－１および１０２－２）が実世界の物体（１１４）よりも遠くの空間上の点に前もって向けられていたならば、観察者の脳は輻輳プロセスを用いて両眼における外眼筋を制御することにより、左眼（１００－１）および右眼（１００－２）を同時に実世界の物体（１１４）に向けて輻輳させる。

【0022】

その結果、左眼（１００－１）の左光軸（１０２－１）および右眼（１００－２）の右光軸（１０２－２）（例えば正常な視覚を有する）が実世界の物体（１１４）に交わるることにより、実世界の物体（１１４）からの光は、左眼（１００－１）の左中心窩（１０６－１）および右眼（１００－２）の右中心窩（１０６－２）の両方に投射される。

【0023】

実世界環境・シーンにおける実世界の物体を観察する際、遠近調節および両眼転導プロセス・機能は独立的ではなく、むしろ観察者の脳において相互依存的に、ある物体に転導（輻輳・開散）し、かつ同時に（例えば順応して）その同じ物体にフォーカスするように、筋肉を制御する。例えば、両眼転導プロセスを用いて両眼における外眼筋を制御して左眼（１００－１）および右眼（１００－２）を同時に実世界の物体（１１４）に向けると同時に、観察者の脳は、遠近調節プロセスを用いて両眼における毛様体筋を同時に制御して左眼（１００－１）および右眼（１００－２）を実世界の物体（１１４）にフォーカスさせる。左眼（１００－１）および右眼（１００－２）の焦点距離は、遠近調節プロセスによって、実世界の物体（１１４）からの光（例えば発光、反射等された光）が左中心窩（１０６－１）および右中心窩（１０６－２）に交わる像平面（すなわち網膜）にフォーカスするように調節され得る。より具体的には、左眼（１００－１）の焦点距離は、実世界の物体（１１４）と左水晶体（１０８－１）との間の（左）距離１２２－１に少なくとも部分的に基づいて、実世界の物体（１１４）からの光が左中心窩（１０６－１）に交わる左像面（すなわち左網膜）にフォーカスされるように、遠近調節プロセスによって設定され得る。一方、右眼（１００－２）の焦点距離は、実世界の物体（１１４）と右水晶体（１０８－２）との間の（右）距離１２２－２に少なくとも部分的に基づいて、実世界の物体（１１４）からの光が右中心窩（１０６－２）に交わる右像面（すなわち右網膜）にフォーカスされるように、遠近調節プロセスによって設定され得る。実世界の物体（１１４）が、観察者の眼から瞳孔間線（１２０）に沿った観察者の瞳孔間距離（観察者の両眼間の距離）よりも遥かに（例えば１０倍など）大きい距離に位置している状況においては、左眼（１００－１）および右眼（１００－２）の焦点距離は、遠近調節プロセスによって同じ焦点距離またはほぼ同じ焦点距離に調節され得る。

【0024】

３．遠近調節と両眼転導との不整合
いくつかの実施形態において、本明細書に記載の立体画像またはマルチビュー画像は、１つ以上の空間環境において用いられる１つ以上のカメラシステムによって撮像され得る。空間環境の例は、これらのみに限定されないが、物理的空間環境、シミュレートされた空間環境、映画スタジオ、屋外シーン、屋内シーン、トンネル、通り、乗り物、船、飛行機、大気圏外空間などがある。カメラシステムの例としては、これらのみに限定されないが、３Ｄカメラ、マルチビューカメラ、ライトフィールドカメラ、重複する視野および／または重複しない視野を有する複数のカメラ、デジタルカメラ、アナログカメラ、ウェブカメラなどがある。

【0025】

本明細書に記載の立体画像またはマルチビュー画像における、左画像、右画像、複数の異なるビュー中の特定のビューの画像は、１画像フレーム中の画素上に分配された画素値として、記録または整理され得る。

【0026】

図２Ａは、左画像２０２－１および右画像２０２－２を含む立体画像中に表される仮想物体２１４の観察の一例を示す。立体画像中において、仮想物体（２１４）は、観察者の左眼（１００－１）および右眼（１００－２）にとって、仮想物体面２１６内に位置するように表現され得る。例示目的にすぎないが、仮想物体面（２１６）（ここに仮想物体（２１４）が（仮想的に）位置している）は、観察者の正面観察方向（１１８）に垂直であり、かつ観察者の瞳孔間線（１２０）に平行である。

【0027】

左眼（１００－１）の左中心窩（１０６－１）および右眼（１００－２）の右中心窩（
１０６－２）の両方を介して仮想物体（２１４）の明瞭視を実現するために、観察者の脳は、両眼転導プロセス（例えば開散プロセス、輻輳プロセスなど）を用いて両眼における外眼筋を同時に制御することにより、左眼（１００－１）および右眼（１００－２）を仮想物体（２１４）に向ける。もし観察者の光軸（１０２－１および１０２－２）が仮想物体（２１４）よりも近くの仮想空間上の点（立体画像中に表されている）に前もって向けられていたならば、観察者の脳は開散プロセスを用いて両眼における外眼筋を制御することにより、左眼（１００－１）および右眼（１００－２）を同時に仮想物体（２１４）に向けて開散させる。逆にもし観察者の光軸（１０２－１および１０２－２）が仮想物体（２１４）よりも遠くの仮想空間上の点（立体画像中に表されている）に前もって向けられていたならば、観察者の脳は輻輳プロセスを用いて両眼における外眼筋を制御することにより、左眼（１００－１）および右眼（１００－２）を同時に仮想物体（２１４）に向けて輻輳させる。

【0028】

この結果、左眼（１００－１）の左光軸（１０２－１）および右眼（１００－２）の右光軸（１０２－２）が仮想物体（２１４）に交わることにより、仮想物体（２１４）を表す、左画素２２４－１（左画像（２０２－１）内）および右画素２２４－２（右画像（２０２－２）内）からの光が、それぞれ左眼（１００－１）の左中心窩（１０６－１）および右眼（１００－２）の右中心窩（１０６－２）に投射される。

【0029】

両眼転導プロセスを用いて両眼における外眼筋を制御して左眼（１００－１）および右眼（１００－２）を同時に仮想物体（２１４）に向けると同時に、観察者の脳は、遠近調節プロセスを用いて両眼における毛様体筋を同時に制御して左眼（１００－１）および右眼（１００－２）をそれぞれ、仮想物体（２１４）を表している左画素（２２４－１）および右画素（２２４－２）上にフォーカスさせる。左眼（１００－１）および右眼（１００－２）の焦点距離は、遠近調節プロセスによって、仮想物体（２１４）を表す左画素（２２４－１）および右画素（２２４－２）からの光が、各像面（すなわち網膜）に交わる左中心窩（１０６－１）および右中心窩（１０６－２）にフォーカスされるように調節され得る。より具体的には、左眼（１００－１）の焦点距離は、左画素（２２４－１）と左水晶体（１０８－１）との間の（左）距離２２２－１に少なくとも部分的に基づいて、左画素（２２４－１）からの光が左中心窩（１０６－１）に交わる左像面（すなわち左網膜）にフォーカスされるように、遠近調節プロセスによって設定され得る。一方、右眼（１００－２）の焦点距離は、右画素（２２４－２）と右水晶体（１０８－２）との間の（右）距離２２２－２に少なくとも部分的に基づいて、右画素（２２４－２）からの光が右中心窩（１０６－２）に交わる右像面（すなわち右網膜）にフォーカスされるように、遠近調節プロセスによって設定され得る。左右の画像（２０２－１および２０２－２）が瞳孔間線（１２０）に沿った観察者の瞳孔間距離（観察者の両眼間の距離）と同程度の距離に観察者の眼から位置している状況においては、左眼（１００－１）および右眼（１００－２）の焦点距離は、遠近調節プロセスによってそれぞれ異なる焦点距離に調節され得る。

【0030】

図２Ａにおいて観察者の脳が用いる遠近調節および両眼転導のプロセス・機能は、図１Ｂにおいて観察者の脳が用いる遠近調節および両眼転導のプロセス・機能とは全く異なった動作を行う。

【0031】

例えば、前述のように、図１Ｂに例示するような実世界の物体を観察する際には、観察者の脳は、自然な遠近調節および両眼転導のプロセスを用いることにより、ある物体に転導（輻輳・開散）し、かつ同時に（例えば順応して）その同じ物体にフォーカスするように、筋肉を制御する。より具体的には、図１Ｂの遠近調節プロセスは、実世界の物体（１１４）と左右水晶体（１０８－１および１０８－２）との距離に基づいて、左水晶体（１０８－１）および右水晶体（１０８－２）の焦点距離を調節する。これらの距離は、自己矛盾なく、左眼（１００－１）および右眼（１００－２）の光軸（１０２－１および１０
２－２）の交差点に合致、すなわちそこで完結・終結する。さらに、大抵の場合、これらの距離は瞳孔間距離の何倍もの大きさであるため、図１Ｂにおける遠近調節プロセスによって設定される左水晶体（１０８－１）および右水晶体（１０８－２）の焦点距離は、実質的に同一である。

【0032】

一方で、図２Ａに例示されるような仮想物体を観察する際には、観察者の脳は、新しく不自然な遠近調節および両眼転導のプロセスを用いて、仮想物体に向けて転導（輻輳・開散）し、同時に、相反するように、仮想的な空間的位置における仮想物体ではなく、仮想物体を表している（ディスプレイ（単数または複数）上の）画素にフォーカスするように、筋肉を制御しなければならない。より具体的には、図２Ａにおける遠近調節プロセスは、左画素（２２４－１）と左水晶体（１０８－１）との間の距離、および右画素（２２４－２）と右水晶体（１０８－２）との間の距離に基づいて、左水晶体（１０８－１）および右水晶体（１０８－２）の焦点距離を調節することにより、左右の画素（２２４－１および２２４－２）が描画されるディスプレイ（単数または複数）上に、最も鮮明な視覚を固定する。これらの距離は、左眼（１００－１）および右眼（１００－２）の光軸（１０２－１および１０２－２）の交差点とは合致しない、すなわちそこで完結・終結しない。左水晶体（１０８－１）および右水晶体（１０８－２）は、左中心窩（１０６－１）および右中心窩（１０６）とともに、２つの異なるディスプレイにそれぞれ位置する（あるいは同じディスプレイ上の異なる空間上の位置に位置する）２つの異なるグループの画素に、実質的に強制的に向けられることになる。

【0033】

また、左右の画像（２０２－１および２０２－２）が観察者の眼（１００－１および１００－２）の近くに描画される場合、左画素（２２４－１）と左水晶体（１０８－１）との間の距離、および右画素（２２４－２）と右水晶体（１０８－２）との間の距離が瞳孔間距離と同程度であるため、図２Ａにおける遠近調節プロセスによって設定される左水晶体（１０８－１）の焦点距離と右水晶体（１０８－２）の焦点距離とが十分に異なり、その結果、観察者の脳に、眼の追加的な新たな制御を強制的に再学習させて、遠近調節－両眼転導の不整合の解消の一環として、水晶体の異なる焦点レンズ（ｆｏｃａｌ ｌｅｎｓｅｓ）を用いさせることになり得る。

【0034】

４．遠近調節と両眼転導との不整合の解決
図２Ｂは、（ａ）左画像（２５２－１）および右画像（２５２－２）が描画される１つ以上の画像ディスプレイと（ｂ）観察者の眼（１００－１および１００－２）との間に配置された、１つ以上の自動調整レンズ２２８－１、２２８－２等を介した、左画像（２５２－１）および右画像（２５２－２）を含む立体画像中に表される仮想物体（２１４）の観察の一例を示す。いくつかの実施形態において、画像ディスプレイのうちのいくつかまたは全部が、観察者に対して固定されており（例えば観察者に対して固定距離にあるなど）、かつ瞳孔間線（１２０）に平行（または実質的に平行）である。例示目的にすぎないが、自動調整レンズは、左画像（２５２－１）と左眼（１００－１）との間に配置された左自動調整レンズ２２８－１、および、右画像（２５２－２）と右眼（１００－２）との間に配置された右自動調整レンズ２２８－２を有する。本明細書に記載の自動調整レンズの例としては、必ずしも以下のものに限定されないが、機械的制御が可能な自動調整レンズ、電子的制御が可能な自動調整レンズ、液体ベースの自動調整レンズなどがある。

【0035】

本明細書に記載の画像処理システムは、以下を含むがこれらに限定されない様々なディスプレイ用途において用いられ得る。すなわち、３Ｄディスプレイ用途、マルチビューディスプレイ用途、球体画像ディスプレイ用途、仮想現実（ＶＲ）用途、拡張現実（ＡＲ）用途、リモートプレゼンス用途などである。画像処理システムは、リアルタイムで視線追跡演算（および／または眼球追跡演算）を行うことにより、観察者によって観察される３Ｄまたはマルチビュー画像を描画するディスプレイ用途において、観察者の眼が任意の時
点において仮想空間上のどの特定の位置を見ているかを決定するように構成され得る。例示目的として、視線・眼球追跡演算の結果に基づき、画像処理システムは、仮想物体（２１４）が位置する仮想空間上の特定の位置を、決定・推測する。視線・眼球追跡演算は、１つ以上の（例えばリアルタイムの）視線・眼球追跡方法の任意の組み合わせに基づき得る。例えば、これらの視線・眼球追跡方法は、以下のうちのうち１つ以上を用いて動作し得る。すなわち、アイアタッチメント、光センサ、眼球像の取得および分析（ｅｙｅ ｉｍａｇｅ ａｃｑｕｉｓｉｔｉｏｎ ａｎｄ ａｎａｌｙｓｅｓ）、電界測定、赤外光などである。

【0036】

様々な実施形態において、仮想空間上の特定の位置は、観察者が位置する画像描画環境内において表現される任意の空間座標系（例えばデカルト座標系、極座標系、ワールド座標系、相対座標系など）によって表現され得る。

【0037】

任意の時点における仮想空間上の特定の位置に基づき、画像処理システムは、仮想空間上の特定の位置（または仮想物体（２１４））がその任意の時点において位置している仮想物体面２１６を、特定・決定する。例えば、任意の時点における仮想空間上の特定の位置に基づき、画像処理システムは、任意の時点において仮想物体面（２１６）に対する単一深度２３６（すなわち仮想物体深度）を算出してもよい。単一深度（２３６）は、必ずしもこれに限定されないが、仮想物体面（２１６）と自動調整レンズ（２２８－１および２２８－２）との距離によって表現されてもよい。画像描画平面に描画された左画像（２５２－１）および右画像（２５２－２）の両方が、左自動調整レンズ（２２８－１）および右自動調整レンズ（２２８－２）によって仮想物体面（２１６）にそれぞれ投射されてもよい。

【0038】

いくつかの実施形態において、画像処理システムは、レンズ方程式（単数または複数）を用いて、左右自動調整レンズ（２２８－１および２２８－２）の焦点距離（単数または複数）を決定する。

【0039】

限定的ではない実装例において、レンズ方程式を用いて単一の焦点距離を算出してもよい。左右の自動調整レンズ（２２８－１および２２８－２）の両方が、同じ算出された単一の焦点距離に自動調整されてもよい。この単一の焦点距離を算出する際におけるレンズ方程式に対する入力は、（ａ）仮想物体面（２１６）と自動調整レンズ（２２８－１および２２８－２）との距離によって表現される単一深度（２３６）、および、（ｂ）自動調整レンズ（２２８－１および２２８－２）と左画像（２５２－１）および右画像（２５２－２）が描画される画像ディスプレイとの距離によって表現される画像表示深度（２４２）を含み得る。単一深度（２３６）はレンズ方程式において画像距離（ｄ２）として用いられ、画像表示深度（２４２）はレンズ方程式において対物距離（ｄ１）として用いられ得る。本明細書に記載の自動調整レンズの焦点距離を算出するためのレンズ方程式の一例を、以下に示す：

【数1】

【0040】

自動調整レンズ（２２８－１および２２８－２）の存在により、左画像（２５２－１）および右画像（２５２－２）が実際に描画される画像ディスプレイから、左画像（２５２－１）および右画像（２５２－２）が自動調整レンズ（２２８－１および２２８－２）によって投射される仮想的な画像ディスプレイ（仮想物体面（２１６）によって表現される）まで、画像が実質的に移動する。

【0041】

左眼（１００－１）の左中心窩（１０６－１）および右眼（１００－２）の右中心窩（１０６－２）の両方を介して仮想物体（２１４）の明瞭視を実現するために、観察者の脳は、両眼転導プロセス（例えば開散プロセス、輻輳プロセスなど）を用いて両眼における外眼筋を同時に制御することにより、左眼（１００－１）および右眼（１００－２）を仮想物体（２１４）に向ける。

【0042】

その結果、左眼（１００－１）の左光軸（１０２－１）および右眼（１００－２）の右光軸（１０２－２）が仮想物体（２１４）に交わることにより、仮想物体（２１４）からの光が、左眼（１００－１）の左中心窩（１０６－１）および右眼（１００－２）の右中心窩（１０６－２）に投射される。より具体的には、仮想物体（２１４）からの光は、（ａ）左自動調整レンズ（２２８－１）によって左画素２３４－１から投射される左光部分（左画像（２５２－１）中）および、（ｂ）右自動調整レンズ（２２８－２）によって右画素２３４－２から投射される右光部分（右画像（２５２－２）中）を含み、左画素（２３４－１）および右画素（２３４－２）は仮想物体（２１４）を表している。左画素（２３４－１）の仮想画像部分に対応する左光部分は左眼（１００－１）の左中心窩（１０６－１）によって受け取られ、右画素（２３４－２）の仮想画像部分に対応する右光部分は、右眼（１００－２）の右中心窩（１０６－２）によって受け取られる。

【0043】

両眼転導プロセスを用いて両眼における外眼筋を制御して左眼（１００－１）および右眼（１００－２）を同時に仮想物体（２１４）に向けると同時に、観察者の脳は、遠近調節プロセスを用いて両眼における毛様体筋を同時に制御して左眼（１００－１）および右眼（１００－２）を仮想物体面（２１６）における仮想物体（２１４）にそれぞれフォーカスさせる。左眼（１００－１）および右眼（１００－２）の焦点距離は、仮想物体（２１４）からの光が左中心窩（１０６－１）および右中心窩（１０６－２）に交わるそれぞれの像面にフォーカスされるように、遠近調節プロセスによって調節され得る。より具体的には、左眼（１００－１）の焦点距離は、仮想物体（２１４）が位置する仮想空間上の位置と左水晶体（１０８－１）との（左）距離に少なくとも部分的に基づいて、仮想物体（２１４）からの光の左光部分を左中心窩（１０６－１）に交わる左像面にフォーカスさせるように、遠近調節プロセスによって設定され得る。一方、右眼（１００－２）の焦点距離は、仮想物体（２１４）が位置する仮想空間上の位置と右水晶体（１０８－２）との（右）距離に少なくとも部分的に基づいて、仮想物体（２１４）からの光の右光部分を右中心窩（１０６－２）に交わる右像面にフォーカスさせるように、遠近調節プロセスによって設定され得る。仮想物体（２１４）が位置している仮想空間上の位置が瞳孔間線（１２０）に沿った観察者の瞳孔間距離（観察者の両眼間の距離）よりも遥かに大きい距離に観察者の眼から位置している状況においては、左眼（１００－１）および右眼（１００－２）の焦点距離は、同じかほぼ同じであってもよい。

【0044】

図２Ｂにおいて観察者の脳によって用いられる遠近調節プロセスは、図１Ｂにおいて観察者の脳によって用いられる遠近調節プロセスと同一か、実質的に同じである。例えば、図１Ｂと同様に、図２Ｂの遠近調節プロセスは、観察者の中心視にある仮想物体（２１４）と左右の水晶体（１０８－１および１０８－２）との距離に基づいて、左水晶体（１０８－１）および右水晶体（１０８－２）の焦点距離を調節する。図１Ｂにおける距離と同様に、図２Ｂにおけるこれらの距離は自己矛盾なく左眼（１００－１）および右眼（１００－２）の光軸（１０２－１および１０２－２）の交差点に合致、すなわちそこで完結・終結する。さらに、図１Ｂにおける場合と同様に、大抵の場合、これらの距離は瞳孔間距離の何倍もの大きさであるため、図１Ｂにおける遠近調節プロセスによって設定される左水晶体（１０８－１）および右水晶体（１０８－２）の焦点距離は、実質的に同一である。

【0045】

いくつかのアプローチにおいては、１つの立体画像に対して、複数の描画された画像（
例えば６つの異なる深度における６つの描画された画像、１２の異なる深度における１２個の描画された画像、連続的に可変である深度において描画された画像など）を生成し、複数の深度で表示してもよい。立体画像中に表される物体は、複数の描画された画像の深度に対する当該表される物体の深度に基づいて、複数の描画された画像のうちの１つの中に表示されればよい。この結果得られるディスプレイシステムにおいては、多数の描画された画像が生成されて表示され、複数の深度の間で表される物体のいくつかは不正確に表現されていたり、かつ／または複数の描画された画像の複数の深度に対してミスマッチングな深度を有する表される物体を補間するための多大な演算を要したりする。あるディスプレイシステムのある与えられたフレームリフレッシュレート（例えば毎秒６０フレーム、毎秒１２０フレームなど）について、１つの立体画像に対して複数の描画された画像を複数の異なる深度において表示することは、知覚され得るような画像のジャダーを生成しやすい。

【0046】

これに対して、本明細書に記載の技術を用いれば、観察者が現在どこを見ているかに基づいて、１つの立体またはマルチビュー画像が表示されるべき単一深度を決定することができる。これにより、本明細書に記載の技術を実装するディスプレイシステムは、例えば１つ以上の自動調整レンズを用いることによって、左画像および右画像を単一深度または非常に少ない数の深度に提示・投射することが可能となる。この技術は、効果的に遠近調節－両眼転導の不整合を解決し得る。なぜなら、遠近調節および両眼転導のプロセスは、例えば物体・人物を表す立体画像の画像細部がある同じ空間上の位置に向けて、観察者の眼を順応させることができるからである。さらに、本明細書に記載の技術は、以下を含むが必ずしもこれのみに限られない、広範なディスプレイシステムにおいて用いられることができる。すなわち、ニアアイディスプレイ、ヘッドマウントディスプレイ、ｚＳｐａｃｅディスプレイ、劇場ディスプレイ、大型ディスプレイシステム、医療用ディスプレイシステム、高フレームレートのディスプレイシステム、比較的低フレームレートのディスプレイシステム、３Ｄグラス、ＴＶ、などである。

【0047】

いくつかの実施形態において、自動調整レンズ（例えば２２８－１、２２８－２など）は１つのレンズ素子を備えており、この１つのレンズ素子の焦点距離は、画像（例えば２５２－１、２５２－２）が自動調整レンズによってどこに投射されるべきかに基づき、調節されることができる。

【0048】

いくつかの実施形態において、１つの自動調整レンズ（例えば２２８－１、２２８－２など）は複数のレンズ素子を備えており、複数のレンズ素子の焦点距離の一部または全部は、画像（例えば２５２－１、２５２－２）が自動調整レンズによってどこに投射されるべきかに基づき、調節されることができる。例えば、自動調整レンズの１つ以上のレンズ素子が、本明細書に記載の画像処理システムによって、画像の一部を仮想物体面（２１６）に投射するように決定・選択されることができる。ここで画像の当該一部は、観察者の中心視（例えば１０６－１、１０６－２など）内にある、仮想空間上の特定の位置（仮想物体面（２１６）上の）を含む。仮想空間上の特定の位置とレンズ素子との距離（例えば２３２－１、２３２－２など）は、仮想物体面（２１６）と、自動調整レンズが位置する平面（例えばレンズ素子の位置、自動調整レンズの位置など）との間の幾何学的関係（例えば単一深度（２３６）など）に基づき、決定されることができる。仮想空間上の特定の位置とレンズ素子との距離に少なくとも部分的に基づいて、レンズ素子の焦点距離を１つ以上のレンズ方程式において決定することができる。

【0049】

いくつかの実施形態において、１つの自動調整レンズを用いて、１つ以上の画像ディスプレイ上の左画像および右画像の両方を、任意の時点において、単一深度で、ある仮想物体面に投射する。

【0050】

異なる観察者は、異なる視覚特性（近視、遠視、正常な立体視覚、正常でない立体視覚、眼鏡装用、眼鏡非装用、コンタクトレンズ装用などを含む）を有し得る。追加的、選択的、または代替的に、異なる観察者は、異なる頭部寸法特性（瞳孔間距離、目－自動調整レンズ距離などを含む）を有し得る。いくつかの実施形態において、画像処理システムは、特定の視覚特性および／または特定の頭部寸法特性を有するある特定の観察者に対して、固有にキャリブレーションされる能力を有していてもよい。例えば、画像処理システムをディスプレイ用途における３Ｄまたはマルチビューの画像を観察するために用いる前のキャリブレーションセッション中において、画像処理システムは、テスト立体画像を、完全・基準視覚をもつ基準観察者に対応する単一深度の付近に分布する異なる深度で、観察者に提示してもよい。その観察者に固有の、補正された深度が、自動的に、ユーザーの入力有りまたは無しで決定されてもよい。完全・基準視覚を備えた基準観察者に対応して、複数の深度の各々についてこのプロセスを観察者に対し繰り返してもよい。曲線、ルックアップテーブル（ＬＵＴ）などが、キャリブレーションセッションにおいて決定され得る。完全・基準視覚をもつ基準観察者に対しランタイム計算された深度を調節することで、観察者の特定の深度を算出してもよい。追加的、選択的、または代替的に、正確な視線・眼球追跡と、画像処理システムの１つ以上の自動調整レンズによって異なる時点における画像が投射されるべき仮想物体面の正確な配置とを行う目的で、観察者の特定の頭部寸法特性を、測定または画像処理システムに入力してもよい。

【0051】

左画像（２５２－１）および右画像（２５２－２）に表される仮想物体（２１４）を含む物体・人物は、自動調整レンズ（２２８－１および２２８－２）によって拡大されてもよいことに留意されたい。いくつかの実施形態において、単一深度（２３６）に少なくとも部分的に基づいて、画像処理システムは拡大率を決定する。例えば、拡大率は、単一深度（２３６）の画像表示深度（２４２）に対する比として決定され得る。画像処理システムは、仮想物体面（２１６）の単一深度（２３６）に関連して決定される拡大率に基づき、アスペクト比調整演算を行うことができる。例えば、画像処理システムは、入力された映像信号から、左画像（２５２－１）および右画像（２５２－２）を導出するために用いられる入力左画像および入力右画像を受け取るかまたは復号化してもよい。画像処理システムは、拡大率の逆数を入力左画像および入力右画像に適用することにより、自動調整レンズ（２２８－１および２２８－２）の存在下で知覚された左画像（２５２－１）および右画像（２５２－２）中に表される物体・人物（これは仮想物体面（２１６）に位置していてもしていなくてもよい）が、アスペクト比、サイズなどに関して、自動調整レンズ（２２８－１および２２８－２）の存在無しに知覚された入力左画像および入力左画像中に表される同じ物体・人物にマッチしているように、左画像（２５２－１）および右画像（２５２－２）を生成してもよい。

【0052】

自動調整レンズ（２２８－１および２２８－２）の存在無しに画像ディスプレイにおいて知覚された左画像（２５２－１）および右画像（２５２－２）の深度情報は、自動調整レンズ（２２８－１および２２８－２）の存在下で仮想物体面（２１６）において知覚される投射画像における新しい深度情報に、変更され得る。

【0053】

いくつかの実施形態において、深度情報は、入力された左右の画像に関連する視差画像（単数または複数）、入力された左右の画像を取得・生成・作成する（仮想または現実の）カメラシステムのカメラ幾何情報など、の組み合わせから導出されることができる。いくつかの実施形態において、深度情報は、入力された左右の画像とともに受け取られた深度マップ（単数または複数）から、直接読み出され得る。視差画像（単数または複数）、深度マップ（単数または複数）、カメラ幾何情報などのうち一部または全部は、入力された映像信号中において、左右の画像とともに受け取られることができる。

【0054】

追加的、選択的、または代替的に、いくつかの実施形態において、左画像（２５２－１
）および右画像（２５２－２）を生成するとき、画像処理システムは、入力左画像および入力右画像に深度補正演算を適用することによって、自動調整レンズ（２２８－１および２２８－２）の存在下で知覚された左画像（２５２－１）および右画像（２５２－２）中に表される物体・人物（これは仮想物体面（２１６）上に位置していてもしていなくてもよい）の新たな深度情報が、自動調整レンズ（２２８－１および２２８－２）の存在無しに知覚された入力左画像および入力左画像中に表される同じ物体・人物の入力深度情報にマッチしているようにする。

【0055】

追加的、選択的、または代替的に、いくつかの実施形態において、（例えば低強度のなど）可変空間解像度を有するブラーフィルタを、左画像（２５２－１）および右画像（２５２－２）を生成する画像処理演算に適用することにより、観察者の中心視の外に位置する左画像（２５２－１）および右画像（２５２－２）から高空間周波数成分を様々に激減させ得る。ブラーフィルタは、観察者の網膜によって実現されるぼやけ機能をシミュレートするために用いられ得る。仮想物体面（例えば２１６－１など）上に表現される画像細部の、観察者の中心視に対する距離が増加するにしたがって、ブラーフィルタの強度を増大してもよい。

【0056】

いくつかの実施形態において、ブラーフィルタは、観察者の中心視（例えば１０６－１、１０６－２など）を包含する画像細部においてゼロまたはわずかなぼやけを付与し、観察者の中心視からより遠い画像細部、例えば網膜（例えば１１０－１１１０－２など）のうち観察者の中心視（例えば１０６－１、１０６－２など）の外側の領域などに対してはより強いぼやけを付与する。

【0057】

例えば、図２Ｅに示すように、第１のブラーフィルタを用いて、仮想物体面（例えば２１６－１など）の左中心視領域２５６に投射される左画像（２５２－１）中の画像細部に対して、ゼロまたはわずかなぼやけを付与し得る。仮想物体面の左中心視領域（２５６）は、観察者の左中心視（１０６－１）を包含する。この第１のブラーフィルタを用いて、仮想物体面（例えば２１６－１など）の１つ以上の左の非中心視領域２５８に投射される左画像（２５２－１）中の画像細部に対して、より強いぼやけを付与することができる。仮想物体面の左の非中心視領域（２５８）は、観察者の左中心視（１０６－１）中には無い。

【0058】

同様に、第２のブラーフィルタを用いて、仮想物体面（例えば２１６－１など）の右中心視領域（不図示）に投射される右画像（２５２－２）中の画像細部に対して、ゼロまたはわずかなぼやけを付与することができる。仮想物体面の右中心視領域は、観察者の右中心視（１０６－２）を包含する。この第２のブラーフィルタを用いて、仮想物体面（例えば２１６－１など）の１つ以上の右の非中心視領域（不図示）に投射される右画像（２５２－２）中の画像細部に対して、より強いぼやけを付与することができる。仮想物体面の右の非中心視領域は、観察者の右中心視（１０６－２）中には無い。

【0059】

５．転導角の追跡
図２Ｃは、立体画像の時間的シーケンスを観察する際の、観察者の転導角の追跡の一例を示す。立体画像の時間的シーケンスは、１つ以上のシーン、シーンの一部分、グループオブピクチャ（ＧＯＰ）などを表し得る。立体画像の各々は、２つの３Ｄ画像の組み合わせ、または２つ以上のマルチビュー画像の組み合わせによって表現され得る。本明細書において、転導角とは、観察者の個々の眼（例えば左眼、右眼など）の視野角を言う。本明細書に記載の技術によって追跡される転導角の例としては、必ずしも以下のものに限定されないが、 左転導角（すなわち左眼の転導角）、右転導角（すなわち右眼の転導角）、観察者の瞳孔間線（１２０）、観察者の正面観察方向（１１８）などのうちの一つなどの基準方向に対する転導角、観察者の水平観察平面または観察者の顔面の（鉛直方向の）正
中線に対する仰角などがある。

【0060】

例示目的にすぎないが、本明細書に記載の画像処理システムは、第１の時点において、立体画像の時間的シーケンスを表現する画像が描画されている画像ディスプレイから仮想物体面（２１６）に画像処理システムの１つ以上の自動調整レンズによって投射された、第１の左画像および第２の右画像の組み合わせを含む第１の立体画像において、観察者の眼が仮想物体面（２１６）に位置する仮想物体（２１４）を見ていることを決定または測定する。

【0061】

第１の時点から第２の時点にかけて、観察者の眼は、立体画像の時間的シーケンスにおいて表される第２の仮想物体面２１６－１における第２の仮想物体２１４－１に対して、輻輳または開散する。

【0062】

第２の時点は、以下のうちの１つの時点であり得る。すなわち、第１の時点の直後、第１の時点より１つ以上のフレーム時間間隔だけ後（各フレーム時間間隔は１画像フレームを表示することに相当）、第１の時点より１フレーム時間間隔の分数だけ後などである。

【0063】

図２Ｃに示すように、第２の時点において、観察者の左眼は第２の仮想物体（２１４－１）に向けて輻輳（内側に移動）する。一方、観察者の右眼は第２の仮想物体（２１４－１）に向けて開散（外側に移動）する。様々な状況において、観察者の眼が両方とも輻輳する場合や、両方とも開散する場合もあることに留意されたい。

【0064】

いくつかの実施形態において、画像処理システムは、第２の時点における観察者の転導角を測定・追跡することができる。第２の時点における観察者の転導角に基づき、画像処理システムは、観察者が第２の仮想物体面（２１６－１）に位置する第２の仮想物体（２１４－１）を見ていることを判断できる。

【0065】

観察者が第２の仮想物体面（２１６－１）に位置する第２の仮想物体（２１４－１）を見ていると判断すると、画像処理システムは、第２の左画像および第２の右画像の組み合わせによって表現される第２の立体画像を、第２の仮想物体面（２１６－１）に投射することができる。第２の立体画像は、第１の立体画像の直後、第１の立体画像より１つ以上のフレーム時間間隔だけ後（各フレーム時間間隔は１画像フレームを表示することに相当）、第１の立体画像よりも（例えば厳密に）固定された時間長以内だけ後、などの１つで提示される（立体画像の時間的シーケンス中の）１つの立体画像であり得る。

【0066】

図２Ｄは、左画像（２５２－１）および右画像（２５２－２）を含む立体画像を、（ａ）左画像（２５２－１）および右画像（２５２－２）が描画される１つ以上の画像ディスプレイ、および（ｂ）観察者の眼（１００－１および１００－２）の間に配置された１つ以上の自動調整レンズ２２８－１、２２８－２等を通じて観察することの一例を示す。図示されるように、左画像（２５２－１）および右画像（２５２－２）の画像ディスプレイは、単一のディスプレイスクリーン２５４によって提供され得る。一例において、単一のディスプレイスクリーン（２５４）は、携帯電話、携帯情報端末（ＰＤＡ）、ｅブックリーダー、ＴＶなどのディスプレイスクリーンであり得る。

【0067】

いくつかの実施形態において、本明細書に記載の立体画像（例えば入力立体画像、入力立体画像から導出される変更後の立体画像など）の左画像（例えば２５２－１）および右画像（例えば２５２－２）は、１つ以上の画像ディスプレイ（互いに重なり合っていても重なり合っていなくてもよい）において同時またはフレームシーケンシャルに描画され得る。追加的、選択的、または代替的に、本明細書に記載の立体画像の描画に用いられる複数の画像ディスプレイは、単一のディスプレイスクリーンまたは複数のディスプレイスク
リーンによって提供され得る。

【0068】

いくつかの実施形態において、立体画像の左画像および右画像を描画するために２つの画像ディスプレイを用い、これらはそれぞれ２つの異なるディスプレイスクリーン（例えば１つのニアアイディスプレイデバイスにおける２つのディスプレイスクリーンなど）によって提供される。これらの実施形態において、左画像および右画像は、観察者に対して同時に表示され得る。追加的、選択的、または代替的に、左画像および右画像は、左画像および右画像のうち一方をまず表示し、その後左画像および右画像のうち他方を表示することで、フレームシーケンシャルに観察者に対して表示され得る。

【0069】

いくつかの実施形態において、立体画像の左画像および右画像を描画するために２つの画像ディスプレイを用い、これらはそれぞれ単一のディスプレイスクリーン上の２つの空間的部分（例えば１つのｉＰｈｏｎｅのスクリーン上の２つの空間的部分など）によって提供される。いくつかの実施形態において、これらの２つの空間的部分は、重なり合っていなくてもよい。いくつかの実施形態において、これらの２つの空間的部分は、少なくとも部分的に重なり合っていてもよい。これらのすべての実施形態において、左画像および右画像は、観察者に対して同時に表示され得る。追加的、選択的、または代替的に、左画像および右画像は、左画像および右画像のうち一方をまず表示し、その後、左画像および右画像のうち他方を表示することで、フレームシーケンシャルに観察者に対して表示されてもよい。

【0070】

いくつかの実施形態において、立体画像の左画像および右画像を描画するために１つの画像ディスプレイが用いられ、当該ディスプレイは、単一のディスプレイスクリーン（例えばＴＶなど）によって提供される。左画像および右画像は、観察者に対して同時に表示され得る。同時に表示された画像は、異なる光波長、異なるレンチキュラービュー、異なる光偏光などを用いて識別され得る。追加的、選択的、または代替的に、左画像および右画像は、左画像および右画像のうちの一方をまず表示し、その後左画像および右画像のうちの他方を表示することで、フレームシーケンシャルに観察者に対して表示されてもよい。

【0071】

様々な実施形態において、本明細書に記載の立体画像（またはマルチビュー画像）の異なるビュー（例えば左右の画像など）は、以下のうちの１つ以上を用いて画像処理システムにより識別され得る。すなわち、異なるディスプレイスクリーン、単一のディスプレイスクリーンの異なる空間的部分、異なる時点にある異なるフレーム、異なるビューに対して割り当てられた異なる（例えば重なり合わない）光波長、異なるビューに対して割り当てられた異なるレンチキュラービュー、異なるビューに対する異なる光偏光などである。

【0072】

６．ビデオストリーミングサーバーおよびクライアントの例
図３Ａは、画像プロセッサ３０２、深度ベースの画像生成器３１２などを備えたビデオストリーミングサーバー３００の一例を示す。いくつかの実施形態において、画像プロセッサ（３０２）は、画像受信器３０６、データリポジトリ３１０などを備える。ビデオストリーミングサーバー（３００）の構成要素の一部または全部は、１つ以上のデバイス、モジュール、ユニットなどによって、ソフトウェア、ハードウェア、ソフトウェアとハードウェアとの組み合わせなどとして実装され得る。

【0073】

いくつかの実施形態において、画像受信器（３０６）は、クラウドベースの画像ソースなどの画像ソースや、ＶＲ用途、ＡＲ用途、リモートプレゼンス用途、３Ｄディスプレイ用途、マルチビューディスプレイ用途などに関連するカメラシステムから入力画像ストリーム３０４を受け取り、この入力画像ストリーム（３０４）を、１つ以上の入力立体画像（例えば入力立体画像のシーケンス、入力マルチビュー画像のシーケンスなど）に復号化
するように構成された、ソフトウェア、ハードウェア、ソフトウェアとハードウェアの組み合わせなどを含む。いくつかの実施形態において、入力画像ストリーム（３０４）は、画像受信器（３０６）によって入力画像ストリーム（３０４）から復号化され得る、画像メタデータ（例えばカメラ幾何情報など）を保持し得る。

【0074】

いくつかの実施形態において、データリポジトリ（３１０）は、入力立体画像、画像メタデータなどの一部または全部について、記憶、更新、検索、削除などの動作をサポートするように構成された、１つ以上のデータベース、１つ以上のデータ記憶ユニット・モジュール・デバイスなどを表す。いくつかの実施形態において、入力立体画像は、入力画像ストリーム（３０４）でなくデータリポジトリ（３１０）から深度ベースの画像生成器（３０８）によって取り出される。

【0075】

いくつかの実施形態において、深度ベースの画像生成器（３０８）は、双方向データフロー３１４を介して、ユーザー（または観察者）の転導角などを経時的に受け取り、深度ベースの立体画像および深度制御メタデータを含む出力映像ストリームを生成し、双方向データフロー３１４を介して出力映像ストリームを、（例えば直接的にまたは中間デバイスを通じて間接的に）立体視ビデオストリーミングクライアント、ディスプレイデバイス、記憶装置などに提供・送信するように構成された、ソフトウェア、ハードウェア、ソフトウェアとハードウェアの組み合わせなどを含む。様々な実施形態において、深度ベースの立体画像は、入力立体画像（例えばビデオストリーミングサーバー（３００）などによって受け取られる）、あるいは入力立体画像から導出された変更後の立体画像を指すことがある。

【0076】

深度制御メタデータは、単一深度の時間的な関数を表し得る。任意の時点における深度制御メタデータが示す単一深度は、ユーザーの転導角およびその他の画像ディスプレイなどに関する寸法情報（例えば画像ディスプレイとユーザーの眼との距離、画像ディスプレイと自動調整レンズとの距離など）に少なくとも部分的に基づいて決定・算出され得、そして単一深度が決定・算出された対応立体画像を投射するように、ユーザーが立体画像の観察に用いている画像描画装置における１つ以上の自動調整レンズの１つ以上の焦点距離を制御するために用いられ得る。

【0077】

追加的、選択的、または代替的に、アスペクト比調整演算、深度補正演算、ブラーフィルタリング、シーンカット検出、座標系間の変換、時間減衰（ｔｅｍｐｏｒａｌ ｄａｍｐｅｎｉｎｇ）、ディスプレイマネジメント、コンテンツマッピング、カラーマッピング、視野管理などの画像処理演算の一部または全部は、立体視ビデオストリーミングサーバー（３００）によって、深度ベースの立体画像および出力映像ストリーム中に符号化された深度制御メタデータを生成する目的で実行されてもよい。

【0078】

ビデオストリーミングサーバー（３００）は、リアルタイム視覚用途、準リアルタイム視覚用途、非リアルタイム視覚用途、仮想現実、拡張現実、ヘルメットマウンテッドディスプレイ用途、ヘッズアップディスプレイ用途、ゲーム、２Ｄディスプレイ用途、３Ｄディスプレイ用途、マルチビューディスプレイ用途などをサポートするために用いられ得る。

【0079】

図３Ｂは、深度ベースの画像受信器３１６、転導角追跡器３２６、自動調整レンズ制御器３１８、１つ以上の画像ディスプレイ３２０などを備える、画像描画システム３２４－１の一例を示す。画像描画システム（３２４－１）の構成要素の一部または全部は、１つ以上のデバイス、モジュール、ユニットなどによって、ソフトウェア、ハードウェア、ソフトウェアとハードウェアの組み合わせなどとして実装され得る。

【0080】

ユーザー（または観察者）は、ユーザーの転導角を、異なる深度の画像細部（すなわち立体画像中に表されている視認対象物体・人物）に、ランタイムの異なる時点においてそれぞれ移動し得る。いくつかの実施形態において、転導角追跡器（３２６）は、ユーザーの転導角などを経時的に追跡するように構成された、ソフトウェア、ハードウェア、ソフトウェアとハードウェアの組み合わせなどを含む。ユーザーの経時的な転導角は、比較的細かい時間スケール（例えばミリ秒毎、５ミリ秒毎など）でサンプルまたは測定され得る。

【0081】

いくつかの実施形態において、深度ベースの画像受信器（３１６）は、双方向データフロー３１４を介して、ユーザーの転導角、その他の寸法情報（例えば画像ディスプレイとユーザーの眼との距離、画像ディスプレイと自動調整レンズとの距離など）などを送り、深度ベースの立体画像およびその深度ベースの立体画像に対応する深度制御メタデータを含む映像ストリーム（例えば上流側のデバイスなどから出力される）を受け取るなどの動作を行うように構成された、ソフトウェア、ハードウェア、ソフトウェアとハードウェアとの組み合わせなどを含む。

【0082】

画像描画システム（３２４－１）は、受け取った映像ストリームを深度ベースの立体画像および深度制御メタデータに復号化し、受け取った映像ストリームから復号化された深度ベースの立体画像（例えばそれぞれが左右の画像を含む）を画像ディスプレイ３２０に描画するように構成されている。

【0083】

いくつかの実施形態において、自動調整レンズ制御器（３１８）は、深度制御メタデータを用いて１つ以上の自動調整レンズを制御することにより、画像ディスプレイ（３２０）に描画された立体画像を、異なる深度における仮想画像にそれぞれ異なる時点（例えば１ミリ秒、１０ミリ秒、フレーム時間の分数などのリアルタイム処理遅延による）で投射するように構成された、ソフトウェア、ハードウェア、ソフトウェアとハードウェアの組み合わせなどを含む。

【0084】

追加的、選択的、または代替的に、視線・眼球追跡、アスペクト比調整演算、深度補正演算、ブラーフィルタリング、シーンカット検出、時間とともに変化する画像パラメータの時間減衰、その他画像パラメータの任意の時間的操作、ディスプレイマネジメント、コンテンツマッピング、トーンマッピング、カラーマッピング、視野管理、予測、マウス、トラックボール、キーボード、フットトラッカー、実際の身体モーションなどを介したナビゲーションなどの画像描画演算の一部または全部が、画像描画システム（３２４－１）によって行われても良い。

【0085】

画像描画システム（３２４－１）は、リアルタイム、準リアルタイム（ｎｅａｒ ｒｅａｌ ｔｉｍｅ）、または非リアルタイム視覚用途、準リアルタイム視覚用途、非リアルタイム視覚用途、仮想現実、拡張現実、ヘルメットマウンテッドディスプレイ用途、ヘッズアップディスプレイ用途、ゲーム、２Ｄディスプレイ用途、３Ｄディスプレイ用途、マルチビューディスプレイ用途、などをサポートするために使用され得る。

【0086】

本明細書に記載の技術は、様々なシステムアーキテクチャによって実装され得る。本明細書に記載の一部または全部の画像処理演算は、クラウドベースのビデオストリーミングサーバー、ビデオストリーミングクライアントに付随して配置されるかこれに内包されるビデオストリーミングサーバー、画像描画システム、画像描画システム、ディスプレイデバイスなどのうちの１つ以上の任意の組み合わせによって実装され得る。受信側デバイスの視覚アプリケーションのタイプ、帯域幅・ビットレート制約、演算能力、リソース、負荷など、ならびにビデオストリーミングサーバーおよび／またはコンピュータネットワークの演算能力、リソース、負荷などの１つ以上のファクターに基づき、いくつかの画像処
理演算をビデオストリーミングサーバーによって行い、他のいくつかの画像処理演算をビデオストリーミングクライアント、画像描画システムディスプレイデバイスなどによって行ってもよい。

【0087】

図３Ｃは、深度ベースの画像生成器（例えば３１２など）がエッジビデオストリーミングサーバー３２４－２に導入される構成例を示す。いくつかの実施形態において、図３Ｃの画像プロセッサ３０２は、クラウドベースであってもよい。いくつかの実施形態において、画像プロセッサ（３０２）は、エッジビデオストリーミングサーバー（３２４－２）などのエッジデバイスとは別の、コアネットワーク中に位置していてもよい。図３Ａのように、画像プロセッサ（３０２）は、画像受信器３０６、データリポジトリ３１０などを有していてもよい。画像プロセッサ（３０２）は、比較的早いビットレートでエッジビデオストリーミングサーバー（３２４－２）と通信する、上流側のビデオストリーミングサーバーを表し得る。画像プロセッサ（３０２）および／またはエッジビデオストリーミングサーバー（３２４－２）の構成要素の一部または全部は、１つ以上のデバイス、モジュール、ユニットなどによって、ソフトウェア、ハードウェア、ソフトウェアとハードウェアの組み合わせなどとして実装され得る。

【0088】

いくつかの実施形態において、画像プロセッサ（３０２）は、データフロー３２２中のの入力立体画像を、下流側のデバイス（そのうち１つはエッジビデオストリーミングサーバー（３２４－２）であってもよい）に送るように構成される。

【0089】

いくつかの実施形態において、エッジビデオストリーミングサーバー（３２４－２）、またはその中の深度ベースの画像生成器（３１２）は、ユーザーの転導角、その他の寸法情報などを経時的に決定し、深度ベースの立体画像および深度制御メタデータを含む出力映像ストリームを生成し、出力映像ストリームを双方向データフロー３１４を介して（直接または中間デバイスを通じて間接的になど）ビデオストリーミングクライアント、ディスプレイデバイス、記憶装置など提供・送信するように構成された、ソフトウェア、ハードウェア、ソフトウェアとハードウェアの組み合わせなどを含む。

【0090】

７．プロセスフロー例
図４は、本発明の例示的実施形態によるプロセスフローの例を示す。いくつかの例示的実施形態において、１つ以上の計算装置または構成要素がこのプロセスフローを実行し得る。ブロック４０２において、観察者が第１の左画像および第１の右画像を含む第１の立体画像を観察しているときに、画像処理システム（例えば図３Ａから図３Ｃのビデオストリーミングサーバーまたはビデオストリーミングクライアントの任意の組み合わせなど）が、観察者の左眼の左転導角および前記観察者の右眼の右転導角を決定する。

【0091】

ブロック４０４において、画像処理システムは、（ｉ）前記観察者の左眼の左転導角および（ｉｉ）前記観察者の右眼の右転導角に少なくとも部分的に基づいて、仮想物体深度を決定する。

【0092】

ブロック４０６において、画像処理システムは、前記観察者のための第２の左画像および第２の右画像を含む第２の立体画像を、１つ以上の画像ディスプレイに描画する。前記第２の立体画像は前記第１の立体画像よりも後に提示される。

【0093】

ブロック４０８において、画像処理システムは、前記第２の立体画像を前記１つ以上の画像ディスプレイから前記仮想物体深度にある仮想物体面に投射する。

【0094】

一実施形態において、入力左画像および入力右画像中に表される視認対象物体のアスペクト比を、前記仮想物体深度にある前記仮想物体面に投射された前記第２の左画像および
前記第２の右画像中に表される前記視認対象物体の変更後のアスペクト比に調整する、１回以上のアスペクト比調整演算を適用することにより、前記第２の左画像および前記第２の右画像は前記入力左画像および前記入力右画像から生成される。

【0095】

一実施形態において、入力左画像および入力右画像中に表される視認対象物体の深度を、前記仮想物体深度にある前記仮想物体面に投射された前記第２の左画像および前記第２の右画像中に表される前記視認対象物体の変更後の深度に変換する、１回以上の深度補正演算の適用することにより、前記第２の左画像および前記第２の右画像は、前記入力左画像および前記入力右画像から生成される。

【0096】

一実施形態において、前記第２の左画像および前記第２の右画像の１つ以上の空間領域を入力左画像および入力右画像に対してぼやけさせる１回以上のブラーフィルタリング演算を適用することにより、前記第２の左画像および前記第２の右画像は、前記入力左画像および前記入力右画像から生成される。ここで、前記第２の左画像および前記第２の右画像の前記１つ以上の空間領域は、前記観察者の中心視から離れている。

【0097】

一実施形態において、前記第２の立体画像の前記第２の左画像および前記第２の右画像は、同時に描画されて前記観察者によって観察される。

【0098】

一実施形態において、前記第２の立体画像の前記第２の左画像および前記第２の右画像は、フレームシーケンシャルに描画されて前記観察者によって観察される。

【0099】

一実施形態において、前記第２の立体画像は、前記観察者に観察されるために描画される立体画像のシーケンス中において、前記第１の立体画像の時間的に直後に提示される。

【0100】

一実施形態において、前記第２の立体画像を前記仮想物体深度にある前記仮想物体面に投射するために１つ以上の自動調整レンズが用いられ、前記仮想物体深度に少なくとも部分的に基づいて、前記１つ以上の自動調整レンズの１つ以上の焦点距離が決定される。

【0101】

一実施形態において、前記第２の立体画像は入力立体画像のシーケンス中における第２の入力立体画像から生成され、前記第２の立体画像以外の立体画像は、前記第２の入力立体画像から生成されず、前記第２の立体画像は、前記仮想物体深度以外の仮想物体深度では投射されない。

【0102】

一実施形態において、前記第２の立体画像の前記第２の左画像および前記第２の右画像はそれぞれ、第１の画像ディスプレイおよび第２の画像ディスプレイに描画される。

【0103】

一実施形態において、前記第２の立体画像の前記第２の左画像および前記第２の右画像は１つの画像ディスプレイに描画される。

【0104】

一実施形態において、前記第２の立体画像の前記第２の左画像および前記第２の右画像の少なくとも一方は、単一のレンズ素子を有する自動調整レンズに基づいて前記仮想物体面に投射される。

【0105】

一実施形態において、前記第２の立体画像の前記第２の左画像および前記第２の右画像の少なくとも一方は、複数のレンズ素子を有する自動調整レンズに基づいて前記仮想物体面に投射される。

【0106】

一実施形態において、前記第２の立体画像の前記第２の左画像は、前記観察者の左眼にのみ視認可能であり、前記第２の立体画像の前記第２の右画像は、前記観察者の右眼にの
み視認可能である。

【0107】

一実施形態において、画像処理システムはさらに、以下を行うように構成される：前記観察者が前記第２の左画像および前記第２の右画像を含む前記第２の立体画像を観察しているときに、前記観察者の左眼の第２の左転導角および前記観察者の右眼の第２の右転導角を決定することと、（ｉ）前記観察者の左眼の第２の左転導角および（ｉｉ）前記観察者の右眼の第２の右転導角に少なくとも部分的に基づいて、第２の仮想物体深度を決定することと、前記観察者のための第３の左画像および第３の右画像を含む第３の立体画像を、前記１つ以上の画像ディスプレイに描画することであって、前記第３の立体画像は前記第２の立体画像よりも後に提示される、描画することと、前記第３の立体画像を前記１つ以上の画像ディスプレイから前記第２の仮想物体深度にある第２の仮想物体面に投射することなど。

【0108】

一実施形態において、前記仮想物体深度は、前記観察者の固有の視覚特性に少なくとも部分的に基づいて調節される。

【0109】

様々な例示的実施形態において、装置、システム、装置、または１つ以上の他の計算装置が、記載した前述の方法のうちのいずれかまたはその一部を実行する。一実施形態において、非一時的なコンピュータ読み取り可能な記憶媒体がソフトウェア命令を格納しており、これらが１つ以上のプロセッサにより実行されたとき、本明細書に記載の方法を実行させる。

【0110】

別個の実施形態が本明細書で述べられているが、本明細書に述べられた実施形態の任意の組み合わせおよび／または部分的な実施形態は、組み合わせられてさらなる実施形態を形成し得ることに留意されたい。

【0111】

８．実装メカニズム－ハードウェア概要
一実施形態によれば、本明細書に説明されている技術は、１つ以上の専用の計算装置によって実施される。専用の計算装置は、当該技術を実行するようにハードワイヤードで接続され得るか、または、当該技術を実行するように持続的にプログラムされた１つ以上の特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）のようなデジタル電子デバイスを含み得るか、または、ファームウェア、メモリ、その他の格納装置、または何らかの組み合わせにおけるプログラム指令に従って技術を実行するようにプログラムされた、１つ以上の汎用のハードウェアプロセッサを含み得る。そのような専用の計算装置はまた、カスタムハードワイヤードロジック、ＡＳＩＣ，またはＦＰＧＡとカスタムプログラミングとを組み合わせることにより、技術を実現し得る。専用の計算装置は、デスクトップコンピュータシステム、ポータブルコンピュータシステム、携帯用のデバイス、ネットワーキングデバイス、またはハードワイヤードおよび／またはプログラムロジックを組み込むことにより技術を実施する、任意の他のデバイスであり得る。

【0112】

例えば、図５は、発明の例示的実施形態が実施され得るコンピュータシステム５００を例示するブロック図である。コンピュータシステム５００は、情報通信のためのバス５０２または他の通信機構と、情報処理のためにバス５０２と結合されたハードウェアプロセッサ５０４とを含む。ハードウェアプロセッサ５０４は、例えば、汎用のマイクロプロセッサであり得る。

【0113】

コンピュータシステム５００はまた、ランダムアクセスメモリ（ＲＡＭ）または他の動的記憶装置のようなメインメモリ５０６を含み、メインメモリ５０６は、バス５０２と結合されることにより、情報およびプロセッサ５０４により実行される指令を格納する。メ
インメモリ５０６はまた、プロセッサ５０４で実行される指令の実行中に、一時変数または他の中間情報を格納するために用いられ得る。そのような指令は、プロセッサ５０４がアクセスできる非一時的な記憶媒体に格納された場合、コンピュータシステム５００を、当該指令で指定された動作を実行するカスタマイズされた専用マシーンにする。

【0114】

コンピュータシステム５００は、プロセッサ５０４に対する静的な情報および指令を格納するようにバス５０２に接続された、読み出し専用メモリ（ＲＯＭ）５０８または他の静的記憶装置をさらに含む。

【0115】

磁気ディスクまたは光学ディスク、ソリッドステートＲＡＭのような記憶装置５１０が提供され、情報および指令を格納するようにバス５０２に接続される。

【0116】

コンピュータシステム５００は、バス５０２を経由して液晶ディスプレイのようなディスプレイ５１２に接続されることにより、情報をコンピュータユーザーに表示する。英数字および他のキーを含む入力装置５１４は、バス５０２に接続されることにより、情報およびコマンド選択をプロセッサ５０４に伝達する。別のタイプのユーザー入力装置は、マウス、トラックボールまたはカーソル方向キーのようなカーソルコントロール５１６であり、方向情報およびコマンド選択をプロセッサ５０４に伝達し、ディスプレイ５１２上のカーソルの動きを制御する。この入力装置は、典型的には、２つの軸、第１の軸（例えば、ｘ）および第２の軸（例えば、ｙ）において、２つの自由度を有することにより、装置は平面内の場所を特定できる。

【0117】

コンピュータシステム５００は、当該コンピュータシステムと組み合わせられたとき、コンピュータシステム５００を専用のマシーンにしたり、専用のマシーンになるようにプログラムする、デバイス固有のハードワイヤードロジック、１つ以上のＡＳＩＣＳまたはＦＰＧＡ、ファームウェアおよび／またはプログラムロジックを用いて、本明細書に説明されている技術を実行することができる。一実施形態によれば、本明細書の技術は、メインメモリ５０６に含まれる１つ以上の指令の１つ以上のシーケンスを実行するプロセッサ５０４に応答して、コンピュータシステム５００によって実行される。そのような指令は、記憶装置５１０のような別の記憶媒体から、メインメモリ５０６に読み込まれ得る。メインメモリ５０６に含まれる指令シーケンスの実行により、プロセッサ５０４は、本明細書に説明されているプロセスステップを実行する。別の実施形態では、ハードワイヤード回路は、ソフトウェア指令の代わりに、またはソフトウェア指令と組み合わせて用いられ得る。

【0118】

本明細書に用いられる用語「記憶媒体」は、マシーンを特定の形態で動作させるデータおよび／または指令を格納する、任意の非一時的な媒体をいう。そのような記憶媒体は、不揮発性媒体および／または揮発性媒体を含み得る。不揮発性媒体は、例えば、記憶装置５１０のような光学または磁気ディスクを含む。揮発性媒体は、メインメモリ５０６のような動的メモリを含む。記憶媒体の一般的な形態は、例えば、フロッピーディスク、プレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープまたは任意の他の磁気データ記憶媒体、ＣＤ－ＲＯＭ、任意の他の光学データ記憶媒体、穴のパターンを有する任意の物理的な媒体、ＲＡＭ、ＰＲＯＭ，およびＥＰＲＯＭ，ＦＬＡＳＨ－ＥＰＲＯＭ、ＮＶＲＡＭ、任意の他のメモリチップまたはカートリッジを含む。

【0119】

記憶媒体は、伝達媒体とは別個のものであるが、伝達媒体と併せて用いられ得る。伝達媒体は、記憶媒体間の情報転送に関与する。例えば、伝達媒体は、バス５０２を含むワイヤを含む、同軸ケーブル、銅線、光ファイバを含む。伝達媒体はまた、ラジオ波または赤外データ通信時において生成されるような、音波または光波の形態を取り得る。

【0120】

１つ以上の指令の１つ以上のシーケンスを実行するためにプロセッサ５０４に転送する際に、様々な形態の媒体が関与し得る。例えば、指令は、最初、リモートコンピュータの磁気ディスクまたはソリッドステートドライブ上に担持され得る。リモートコンピュータは、指令を自身の動的メモリに読み込み、モデムを用いて指令を電話線に送り得る。コンピュータシステム５００に固有のモデムは、電話線上においてデータを受け取り、赤外線送信機を用いることにより、データを赤外線信号に変換し得る。赤外線検知器は、赤外線信号で送られたデータを受け取り、そして適切な回路がデータをバス５０２上に配置し得る。バス５０２は、データをメインメモリ５０６に送り、プロセッサ５０４はメインメモリ５０６から指令を取り出し実行する。メインメモリ５０６によって受け取られた指令は、オプションとして、プロセッサ５０４により実行される前または後において、記憶装置５１０に格納され得る。

【0121】

コンピュータシステム５００はまた、バス５０２に接続された通信インターフェース５１８を含む。通信インターフェース５１８は、ローカルネットワーク５２２と接続されたネットワークリンク５２０との、双方向のデータ通信接続を提供する。例えば、通信インターフェース５１８は、サービス総合デジタル網（ＩＳＤＮ）カード、ケーブルモデム、衛星モデムまたはモデムであり、対応するタイプの電話線にデータ通信接続を提供し得る。別の例として、通信インターフェース５１８は、ローカルエリアネットワーク（ＬＡＮ）カードであり、適合性のあるＬＡＮへのデータ通信接続を提供する。無線リンクも実施され得る。そのような任意の実施において、通信インターフェース５１８は、様々なタイプの情報を表すデジタルデータストリームを送る、電気的、電磁気的または光学的な信号を送受信する。

【0122】

ネットワークリンク５２０は、典型的には、データ通信を１つ以上のネットワークを介して他のデータ装置に提供する。例えば、ネットワークリンク５２０は、ローカルネットワーク５２２を介して、ホストコンピュータ５２４への接続、または、インターネットサービスプロバイダ（ＩＳＰ）５２６によって動作されるデータ装置への接続を提供する。そして、ＩＳＰ５２６は、現在一般に「インターネット」５２８と呼ばれている全世界的なパケットデータ通信ネットワークを介して、データ通信サービスを提供する。ローカルネットワーク５２２およびインターネット５２８の両方とも、デジタルデータストリームを搬送する、電気的、電磁気的、または光学的な信号を用いる。様々なネットワークを介した信号、および、ネットワークリンク５２０上および通信インターフェース５１８を介した信号は、コンピュータシステム５００とデジタルデータをやり取りするものであり、伝達媒体の形態の例である。

【0123】

コンピュータシステム５００は、ネットワーク、ネットワークリンク５２０および通信インターフェース５１８を介して、メッセージを送り、プログラムコードを含むデータを受け取ることができる。インターネットを例に挙げると、サーバー５３０は、インターネット５２８、ＩＳＰ５２６、ローカルネットワーク５２２および通信インターフェース５１８を介して、アプリケーションプログラムのために要求されるコードを伝達し得る。

【0124】

受け取られたコードは、受信されてそのままプロセッサ５０４によって実行されてもよく、且つ／または、後で実行するために記憶装置５１０または他の不揮発性記憶装置に保存されてもよい。

【0125】

９．均等物、拡張物、代替物、その他
この明細書において、態様毎に異なり得る多数の詳細事項に言及しながら本発明の実施形態を説明した。従って、本発明が何たるか、また、本出願人が本発明であると意図するものを示す唯一且つ排他的な指標は、本願が特許になった際の請求の範囲（今後出されるあらゆる補正を含む、特許された特定の請求項）である。当該請求項に含まれる用語につ
いて本明細書中に明示したあらゆる定義が、請求項において使用される当該用語の意味を決定するものとする。よって、請求項において明示されていない限定事項、要素、性質、特徴、利点または属性は、その請求項の範囲をいかなる意味においても限定すべきではない。従って、本明細書および図面は、限定的ではなく、例示的であるとみなされるものである。

【0126】

本発明の様々な側面は、以下の列挙された例示的実施形態（ｅｎｕｍｅｒａｔｅｄ ｅｘａｍｐｌｅ ｅｍｂｏｄｉｍｅｎｔｓ）（ＥＥＥ）から理解することができる。
ＥＥＥ１． 観察者が第１の左画像および第１の右画像を含む第１の立体画像を観察しているときに、観察者の左眼の左転導角および前記観察者の右眼の右転導角を決定することと、
（ｉ）前記観察者の左眼の左転導角および（ｉｉ）前記観察者の右眼の右転導角に少なくとも部分的に基づいて、仮想物体深度を決定することと、
前記観察者のための第２の左画像および第２の右画像を含む第２の立体画像を１つ以上の画像ディスプレイにおいて描画することであって、前記第２の立体画像は前記第１の立体画像よりも後に提示される、描画することと、
前記第２の立体画像を前記１つ以上の画像ディスプレイから前記仮想物体深度にある仮想物体面に投射すること、
を含む方法。
ＥＥＥ２．前記入力左画像および前記入力右画像中に表される視認対象物体のアスペクト比を、前記仮想物体深度にある前記仮想物体面に投射された前記第２の左画像および前記第２の右画像中に表される前記視認対象物体の変更後のアスペクト比に調整する、１回以上のアスペクト比調整演算を適用することによって、前記第２の左画像および前記第２の右画像は入力左画像および入力右画像から生成される、ＥＥＥ１に記載の方法。
ＥＥＥ３．前記入力左画像および前記入力右画像中に表される視認対象物体の深度を、前記仮想物体深度にある前記仮想物体面に投射された前記第２の左画像および前記第２の右画像中に表される前記視認対象物体の変更後の深度に変換する、１回以上の深度補正演算の適用することによって、前記第２の左画像および前記第２の右画像は入力左画像および入力右画像から生成される、ＥＥＥ１に記載の方法。
ＥＥＥ４．前記第２の左画像および前記第２の右画像の１つ以上の空間領域を前記入力左画像および前記入力右画像に対してぼやけさせる１回以上のブラーフィルタリング演算を適用することにより、前記第２の左画像および前記第２の右画像は入力左画像および入力右画像から生成され、前記第２の左画像および前記第２の右画像の前記１つ以上の空間領域は、前記観察者の中心視から離れている、ＥＥＥ１に記載の方法。
ＥＥＥ５．前記第２の立体画像の前記第２の左画像および前記第２の右画像は、同時に描画されて前記観察者によって観察される、ＥＥＥ１に記載の方法。
ＥＥＥ６．前記第２の立体画像の前記第２の左画像および前記第２の右画像は、フレームシーケンシャルに描画されて前記観察者によって観察される、ＥＥＥ１に記載の方法。
ＥＥＥ７．前記第２の立体画像は、前記観察者に観察されるために描画される立体画像のシーケンス中において、前記第１の立体画像の時間的に直後に提示される、ＥＥＥ１に記載の方法。
ＥＥＥ８．前記第２の立体画像を前記仮想物体深度にある前記仮想物体面に投射するために１つ以上の自動調整レンズが用いられ、前記仮想物体深度に少なくとも部分的に基づいて、前記１つ以上の自動調整レンズの１つ以上の焦点距離が決定される、ＥＥＥ１に記載の方法。
ＥＥＥ９．前記第２の立体画像は入力立体画像のシーケンス中における第２の入力立体画像から生成され、前記第２の立体画像以外の立体画像は前記第２の入力立体画像から生成されず、前記第２の立体画像は、前記仮想物体深度以外の仮想物体深度では投射されない、ＥＥＥ１に記載の方法。
ＥＥＥ１０．前記第２の立体画像の前記第２の左画像および前記第２の右画像は、それ
ぞれ、第１の画像ディスプレイおよび第２の画像ディスプレイに描画される、ＥＥＥ１に記載の方法。
ＥＥＥ１１．前記第２の立体画像の前記第２の左画像および前記第２の右画像は、１つの画像ディスプレイに描画される、ＥＥＥ１に記載の方法。
ＥＥＥ１２．前記第２の立体画像の前記第２の左画像および前記第２の右画像の少なくとも一方は、単一のレンズ素子を有する自動調整レンズに基づいて前記仮想物体面に投射される、ＥＥＥ１に記載の方法。
ＥＥＥ１３．前記第２の立体画像の前記第２の左画像および前記第２の右画像の少なくとも一方は、複数のレンズ素子を有する自動調整レンズに基づいて前記仮想物体面に投射される、ＥＥＥ１に記載の方法。
ＥＥＥ１４．前記第２の立体画像の前記第２の左画像は、前記観察者の左眼にのみ視認可能であり、前記第２の立体画像の前記第２の右画像は、前記観察者の右眼にのみ視認可能である、ＥＥＥ１に記載の方法。
ＥＥＥ１５．前記観察者が前記第２の左画像および前記第２の右画像を含む前記第２の立体画像を観察しているときに、前記観察者の左眼の第２の左転導角および前記観察者の右眼の第２の右転導角を決定することと、
（ｉ）前記観察者の左眼の前記第２の左転導角および（ｉｉ）前記観察者の右眼の前記第２の右転導角に少なくとも部分的に基づいて、第２の仮想物体深度を決定することと、
前記観察者のための第３の左画像および第３の右画像を含む第３の立体画像を、前記１つ以上の画像ディスプレイにおいて描画することであって、前記第３の立体画像は前記第２の立体画像よりも後に提示される、描画することと、
前記第３の立体画像を前記１つ以上の画像ディスプレイから前記第２の仮想物体深度にある第２の仮想物体面に投射することと、をさらに含む、ＥＥＥ１に記載の方法。
ＥＥＥ１６．前記仮想物体深度は、前記観察者の固有の視覚特性に少なくとも部分的に基づいて調節される、ＥＥＥ１に記載の方法。
ＥＥＥ１７．ＥＥＥ１から１６に記載の方法のうちいずれかを実行する、装置。
ＥＥＥ１８．ＥＥＥ１から１６に記載の方法のうちいずれかを実行する、システム。
ＥＥＥ１９．１つ以上のプロセッサにより実行されたとき、ＥＥＥ１から１６のいずれかに記載の方法を実行させるソフトウェア命令を格納した、非一時的なコンピュータ読み取り可能な記憶媒体。
ＥＥＥ２０．１つ以上のプロセッサと、１つ以上のプロセッサにより実行されたとき、ＥＥＥ１から１６のいずれかに記載の方法を実行させる、１組の命令を格納した１つ以上の記憶媒体とを備えた、計算装置。

【図1A】

【図1B】

【図2A】

【図2B】

【図2C】

【図2D】

【図2E】

【図3A】

【図3B】

【図3C】

【図4】

【図5】