特表 2024-507138 ライトフィールドカメラシステム並びにベースライン及び収束距離を設定する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-16

(54)【発明の名称】ライトフィールドカメラシステム並びにベースライン及び収束距離を設定する方法

(51)【国際特許分類】

   H04N 13/246 20180101AFI20240208BHJP

   H04N 13/243 20180101ALI20240208BHJP

   H04N 13/111 20180101ALI20240208BHJP

   H04N 13/282 20180101ALI20240208BHJP

   G03B 15/00 20210101ALI20240208BHJP

   G03B 35/00 20210101ALI20240208BHJP

【ＦＩ】

H04N13/246

H04N13/243

H04N13/111

H04N13/282

G03B15/00 B

G03B35/00 Z

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023548559

(86)(22)【出願日】2022-01-31

(85)【翻訳文提出日】2023-09-20

(86)【国際出願番号】 US2022014613

(87)【国際公開番号】W WO2022173611

(87)【国際公開日】2022-08-18

(31)【優先権主張番号】63/148,587

(32)【優先日】2021-02-11

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＳＷＩＦＴ

(71)【出願人】

【識別番号】514274546

【氏名又は名称】レイア、インコーポレイテッド

【氏名又は名称原語表記】ＬＥＩＡ ＩＮＣ．

(74)【代理人】

【識別番号】100092783

【弁理士】

【氏名又は名称】小林 浩

(74)【代理人】

【識別番号】100120134

【弁理士】

【氏名又は名称】大森 規雄

(74)【代理人】

【識別番号】100093676

【弁理士】

【氏名又は名称】小林 純子

(74)【代理人】

【識別番号】100126354

【弁理士】

【氏名又は名称】藤田 尚

(74)【代理人】

【識別番号】100221327

【弁理士】

【氏名又は名称】大川 亮

(72)【発明者】

【氏名】バーニー，アーサー ゼット．

【テーマコード（参考）】

2H059

【Ｆターム（参考）】

2H059AA07

2H059AA17

2H059AA38

(57)【要約】

ライトフィールドカメラシステム並びに多眼カメラリグのベースライン及び収束距離を設定する方法は、サンプル点深度を使用して、３次元（3D）シーンに関する値を決定及び設定する。多眼カメラリグのベースライン及び収束距離は、多眼カメラリグと多眼カメラリグの視野内の３Ｄシーン内の複数のサンプル点との間の距離を表す複数のサンプル点深度を決定することによって設定される。収束距離は、複数のサンプル点深度の平均サンプル点深度になるように設定される。次いで、ベースラインは、複数のサンプル点深度の最小サンプル点深度と収束距離との間の差の逆数として設定される。ライトフィールドカメラシステムは、複数のカメラを備える多眼カメラリグを含む。

【特許請求の範囲】

【請求項1】

多眼カメラリグのベースライン及び収束距離を設定する方法であって、
前記多眼カメラリグと前記多眼カメラリグの視野内の３次元シーン内の複数のサンプル点との間の距離を表す複数のサンプル点深度を決定するステップと、
前記複数のサンプル点深度の平均サンプル点深度になるように前記収束距離を設定するステップと、
前記複数のサンプル点深度の最小サンプル点深度を決定するステップと、
前記最小サンプル点深度と前記収束距離との間の差の逆数になるように前記ベースラインを設定するステップと
を含む、ベースライン及び収束距離を設定する方法。

【請求項2】

前記複数のサンプル点深度を決定するステップが、前記３次元シーン内でレイキャスティングを実行するステップと、前記複数のサンプル点のサンプル点ごとにヒット距離を記録するステップとを含む、請求項１に記載のベースライン及び収束距離を設定する方法。

【請求項3】

前記複数のサンプル点深度を決定するステップが、前記複数のサンプル点のサンプル点ごとに前記３次元シーンの視差マップから前記サンプル点深度を算出するステップを含む、請求項１に記載のベースライン及び収束距離を設定する方法。

【請求項4】

前記複数のサンプル点深度を算出するステップが、前記多眼カメラリグの異なるカメラによってキャプチャされた画像間の画像視差を使用するステップと、前記画像視差から前記３次元シーンの視差マップを形成するステップとをさらに含む、請求項３に記載のベースライン及び収束距離を設定する方法。

【請求項5】

前記複数のサンプル点深度を決定するステップが、前記多眼カメラリグと前記３次元シーン内のオブジェクトとの間の距離を測定するために深度センサを使用するステップを含み、前記オブジェクトが前記複数のサンプル点のうちのサンプル点に対応する、請求項１に記載のベースライン及び収束距離を設定する方法。

【請求項6】

前記深度センサが、レーザ距離センサ及び飛行時間距離センサのうちの１つを含む、請求項５に記載のベースライン及び収束距離を設定する方法。

【請求項7】

前記平均サンプル点深度が、前記３次元シーン内の焦点からの距離の減少関数に従って割り当てられた重みを有する加重平均である、請求項１に記載のベースライン及び収束距離を設定する方法。

【請求項8】

前記加重平均の前記重みが、前記焦点を中心とするガウス分布に従って割り当てられる、請求項７に記載のベースライン及び収束距離を設定する方法。

【請求項9】

前記多眼カメラリグが複数の仮想カメラを備え、前記３次元シーンが３次元モデルである、請求項１に記載のベースライン及び収束距離を設定する方法。

【請求項10】

前記多眼カメラリグが複数の物理カメラを備え、前記３次元シーンが前記複数の物理カメラのうちのカメラによって撮像された物理シーンを表す、請求項１に記載のベースライン及び収束距離を設定する方法。

【請求項11】

前記多眼カメラリグが、前記３次元シーンを形成する画像をキャプチャするために複数の位置の間を移動するカメラを備える、請求項１に記載のベースライン及び収束距離を設定する方法。

【請求項12】

複数のカメラを備える多眼カメラリグと、
プロセッサと、
前記プロセッサによって実行されると、
前記多眼カメラリグと前記多眼カメラリグの視野内の３次元シーン内の複数のサンプル点との間の距離を表す複数のサンプル点深度を決定し、
前記多眼カメラの収束距離及びベースラインを設定する
命令を記憶するように構成されたメモリと
を備え、
前記収束距離が前記複数のサンプル点深度の平均サンプル点深度であり、前記ベースラインが前記複数のサンプル点深度の最小サンプル点深度マイナス前記収束距離の逆数である、
ライトフィールドカメラシステム。

【請求項13】

前記複数のサンプル点深度が、前記３次元シーンを表す画像の深度マップから、視差マップを使用して前記サンプル点深度を算出すること、前記３次元シーンでレイキャスティングを実行して前記３次元シーン内の前記サンプル点深度を決定することのうちの１つ又はそれ以上によって決定される、請求項１２に記載のライトフィールドカメラシステム。

【請求項14】

前記複数のサンプル点深度が、深度センサを使用して、前記多眼カメラリグと前記３次元シーン内のオブジェクトとの間の距離を測定することによって決定され、前記オブジェクトが前記複数のサンプル点のうちのサンプル点に対応する、請求項１２に記載のライトフィールドカメラシステム。

【請求項15】

前記複数のサンプル点深度の前記平均サンプル点深度が加重平均であり、前記加重平均の重みが前記３次元シーンの焦点からの距離の減少関数に従って割り当てられる、請求項１２に記載のライトフィールドカメラシステム。

【請求項16】

前記複数のカメラのうちのカメラが仮想カメラであり、前記３次元シーンが３次元モデルである、請求項１２に記載のライトフィールドカメラシステム。

【請求項17】

前記多眼カメラリグの前記複数のカメラのうちのカメラが物理カメラを含み、前記３次元シーンが前記物理カメラによって撮像された物理シーンを表す、請求項１２に記載のライトフィールドカメラシステム。

【請求項18】

マルチビューディスプレイをさらに備え、前記収束距離が、前記マルチビューディスプレイのゼロ視差平面に対応する、請求項１２に記載のライトフィールドカメラシステム。

【請求項19】

コンピュータシステムのプロセッサによって実行されると、多眼カメラリグのベースライン及び収束距離を決定する動作を実行する実行可能命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記動作が、
前記多眼カメラリグと前記多眼カメラリグの視野内の３次元シーン内の複数のサンプル点との間の距離を表す複数のサンプル点深度を決定することであって、前記収束距離が前記複数のサンプル点深度の平均サンプル点深度として設定される、決定することと、
前記複数のサンプル点深度の最小サンプル点深度を決定することであって、前記ベースラインが前記最小サンプル点深度と前記収束距離との間の差の逆数として設定される、決定することと
を含む、非一時的コンピュータ可読記憶媒体。

【請求項20】

前記複数のサンプル点深度を決定することが、前記３次元シーンを表す画像の深度マップから、視差マップを使用して前記深度を算出すること、前記３次元シーンでレイキャスティングを実行して前記３次元シーン内の前記サンプル点深度を決定すること、及び深度センサを使用して前記多眼カメラリグと前記３次元シーン内のオブジェクトとの間の距離を測定することのうちの１つ又はそれ以上を含み、前記オブジェクトが前記複数のサンプル点のうちのサンプル点に対応する、請求項１９に記載の非一時的コンピュータ可読記憶媒体。

【請求項21】

前記複数のサンプル点深度の前記平均サンプル点深度が加重平均であり、前記加重平均の重みが前記３次元シーンの焦点からの距離の減少関数に従って割り当てられる、請求項１９に記載の非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、その全体が参照により本明細書に組み込まれる、２０２１年２月１１日に出願された米国仮特許出願第６３／１４８，５８７号の優先権を主張する。

【0002】

連邦政府により資金提供された研究又は開発に関する声明
なし

【背景技術】

【0003】

３次元（3D）空間内のシーンは、視野角に応じて複数の視点から見られる場合がある。加えて、立体映像で見られると、シーンの異なる視点を表す複数のビューが同時に知覚される場合があり、視聴者によって知覚され得る奥行き感が効果的に作り出される。マルチビューディスプレイは、３Ｄ世界においてシーンがどのように知覚されるかを表すために、複数のビューを有する画像を提示する。マルチビューディスプレイは、同時に異なるビューをレンダリングして、ユーザに実際的な体験を提供する。マルチビュー画像は、ソフトウェアによって動的に生成及び処理される場合がある。マルチビュー画像のキャプチャは、複数のカメラ又はカメラ位置を要する場合がある。

【発明の概要】

【0004】

本明細書に記載された原理による例及び実施形態の様々な特徴は、添付の図面とともに以下の発明を実施するための形態を参照してより容易に理解され得、同様の参照番号は同様の構造要素を指定する。

【図面の簡単な説明】

【0005】

【図1A】本明細書に記載された原理と一致する一実施形態による、一例におけるマルチビューディスプレイの斜視図を示す。

【0006】

【図1B】本明細書に記載された原理と一致する一実施形態による、一例におけるマルチビューディスプレイを使用してマルチビュー画像を表示することを示す。

【0007】

【図2】本明細書に記載された原理と一致する一実施形態による、一例における３次元（3D）シーンのマルチビュー画像をキャプチャすることを示す。

【0008】

【図3】本明細書に記載された原理の一実施形態による、一例における多眼カメラリグのベースライン及び収束距離を設定する方法のフローチャートを示す。

【0009】

【図4】本明細書に記載された原理の一実施形態による、一例におけるレイキャスティングを示す。

【0010】

【図5】本明細書に記載された原理の一実施形態による、一例におけるライトフィールドカメラシステムのブロック図を示す。

【0011】

【図6A】本明細書に記載された原理と一致する一実施形態による、一例におけるマルチビューディスプレイの断面図を示す。

【0012】

【図6B】本明細書に記載された原理と一致する一実施形態による、別の例におけるマルチビューディスプレイの断面図を示す。

【0013】

【図6C】本明細書に記載された原理と一致する一実施形態による、一例におけるマルチビューディスプレイの斜視図を示す。

【0014】

【図7】本明細書に記載された原理と一致する一実施形態による、一例におけるクライアントデバイスのブロック図を示す。

【発明を実施するための形態】

【0015】

いくつかの例及び実施形態は、上記の参照図に示された特徴に加えて、又はその代わりに他の特徴を有する場合がある。これらの特徴及び他の特徴は、上記の参照図を参照して以下に詳述される。

【0016】

本明細書に記載された原理による例及び実施形態は、３次元（3D）シーンのマルチビュー画像をキャプチャするために使用されるカメラリグのベースライン及び収束距離の両方を設定するための技法を提供する。詳細には、様々な実施形態によれば、多眼カメラリグのベースライン及び収束距離は、多眼カメラリグによってキャプチャされた３次元（3D）コンテンツに基づいて決定される場合がある。次に、ベースライン及び収束距離は、３Ｄコンテンツが変化するときに多眼カメラリグの１つ又はそれ以上のカメラに見える３Ｄコンテンツに基づいて動的に調整される場合がある。様々な実施形態によれば、ベースライン及び収束距離を設定することは、ライトフィールド画像及びビデオをキャプチャするための物理カメラ、又は様々なレンダリングエンジン（例えば、３Ｄモデリング／アニメーションソフトウェア、ゲームエンジン、ビデオ編集ツール）のいずれかに見られるような仮想カメラのいずれかを使用することができる。

【0017】

以下に説明されるように、事前設定されたベースライン及び収束距離を使用すること、又はベースライン及び収束距離を手動で調整するのではなく、実施形態は、カメラ、又はより詳細には多眼カメラリグの１つ若しくはそれ以上のカメラのビュー内のシーンの様々な深度に応じて、これらのパラメータを修正することを対象とする。１つ又はそれ以上のカメラは、仮想カメラ又は実際の若しくは物理的なカメラのいずれかであってもよい。レンダラ内に実装されるとき、仮想カメラは、３Ｄモデルの一部分の３Ｄシーンをキャプチャするように配置される場合がある。レンダラは、ゲームエンジン、３Ｄモデルプレーヤ、ビデオプレーヤ、又は３Ｄモデルをキャプチャするために仮想カメラを位置決めする他のソフトウェア環境であってもよい。

【0018】

様々な実施形態によれば、カメラは、一般に、３Ｄモデルの３Ｄシーンを表すビューをキャプチャするために特定の位置（例えば、座標）及び方向を有する。この点に関して、カメラとカメラのビュー内の３Ｄシーンの様々な表面との間に複数の深度（サンプル点深度）が存在する。マルチビュー画像を生成するために、複数のカメラ又は「多眼カメラリグ」は、３Ｄシーンの様々な重複ビューをキャプチャする。仮想カメラを使用するいくつかの実施形態では、仮想カメラ（例えば、基準カメラ）は、例えば、３Ｄモデルからの３Ｄシーンの変化する重複ビューをキャプチャする多眼カメラリグを生成するために、複製（例えば、生成、コピー）される場合がある。他の実施形態では、多眼カメラリグは、物理的な又は実際の３Ｄシーンの異なるビューを表す画像をキャプチャするように構成された物理的な又は実際のカメラを含む。これらの実施形態では、深度は、物理的な３Ｄシーン内の実際の又は物理的な深度を表す。

【0019】

図１Ａは、本明細書に記載された原理と一致する一実施形態による、一例におけるマルチビューディスプレイ１００（又はマルチモードディスプレイのマルチビューモード）の斜視図を示す。図１Ａに示されたように、マルチビューディスプレイ１００は、視聴されるマルチビュー画像１１０を表示するように構成されたスクリーンを備える。マルチビューディスプレイ１０は、マルチビューディスプレイ１００のスクリーンに対して異なるビュー方向１２０にマルチビュー画像の異なるビュー１１２を提供する。ビュー方向１６は、スクリーンから様々な異なる主角度方向に延在する矢印として示され、異なるビュー１１２は、（すなわち、ビュー方向１２０を描写する）矢印の終端において影付きの多角形ボックスとして示され、４つのビュー１１２及び４つのビュー方向１２０のみが示されているが、すべて例であり、限定ではない。図１Ａでは異なるビュー１１２がスクリーンの上方にあるものとして示されているが、マルチビュー画像１１０がマルチビューディスプレイ１００に表示されるとき、ビュー１４は、実際にはスクリーン上、又はスクリーンの近傍に現れることに留意されたい。図１Ａにおいてマルチビューディスプレイ１００のスクリーンの上方にビュー１１２を描写することは、説明を簡単にするためだけであり、特定のビュー１１２に対応するビュー方向１２０のうちのそれぞれ１つからマルチビューディスプレイ１００を見ていることを表すことになっている。図示されたように、マルチビュー画像１１０を表示するように構成されたマルチビューディスプレイ１００は、様々な実施形態による、電話（例えば、携帯電話、スマートフォンなど）のディスプレイ（例えば、ディスプレイスクリーン）、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータのコンピュータモニタ、カメラディスプレイ、又は実質的に任意の他のデバイスの電子ディスプレイであってもよく、そのように機能してもよい。

【0020】

ビュー方向、言い換えれば、マルチビューディスプレイのビュー方向に対応する方向を有する光ビームは、一般に、本明細書の定義により、角度成分｛θ，φ｝によって与えられた主角度方向を有する。角度成分θは、本明細書では光ビームの「仰角成分」又は「仰角」と呼ばれる。角度成分φは、光ビームの「座角成分」又は「座角」と呼ばれる。定義により、仰角θは垂直面内の角度（例えば、マルチビューディスプレイのスクリーンの平面に垂直であり、座角φは水平面内の角度（例えば、マルチビューディスプレイのスクリーンの平面に平行）である。

【0021】

図１Ｂは、本明細書に記載された原理と一致する一実施形態による、一例におけるマルチビューディスプレイ１００を使用してマルチビュー画像１１０を表示することを示す。マルチビュー画像１１０は、複数のビュー１１２を有する。ビュー１１２の各々は、異なるビュー方向１２０又はシーンの視点に対応する。ビュー１１２は、マルチビューディスプレイ１００による表示のためにレンダリングされる。そのため、各ビュー１１２はマルチビュー画像１１０の異なる視野角を表す。したがって、異なるビュー１１２は、互いに対してあるレベルの視差を有する。いくつかの実施形態では、視聴者は、右眼で１つのビュー１１２を知覚し、左眼で異なるビュー１１２を知覚することができる。これは、視聴者が同時に異なるビューを知覚することを可能にし、結果として立体映像をもたらすことができる。言い換えれば、異なるビュー１１２は３次元（3D）効果をもたらす。

【0022】

いくつかの実施形態では、視聴者がマルチビューディスプレイ１００に対して視野角を物理的に変更すると、視聴者の眼は、視野角が変わるにつれて異なる時点においてマルチビュー画像１１０の異なるビュー１１２に遭遇することができる。結果として、視聴者は、視野角を変更することによってマルチビューディスプレイ１００と対話して、マルチビュー画像１１０の異なるビュー１１２を見ることができる。例えば、視聴者が左に移動するにつれて、視聴者は、マルチビュー画像１１０内のオブジェクトの左側のより多くを見ることができる。様々な実施形態によれば、マルチビュー画像１１０は、いわゆる「水平視差のみ」（HPO）３Ｄマルチビュー画像を提供する水平面又は水平軸に沿って複数のビュー１１２を有することができるが、他の実施形態では、マルチビュー画像１１０は、いわゆる「完全視差」３Ｄマルチビュー画像をもたらす水平軸と垂直面又は垂直軸の両方に沿って複数のビュー１１２を有することができる。したがって、ユーザが異なるビュー１１２を見るために視野角を変更すると、視聴者は、マルチビュー画像１１０内のさらなる視覚的詳細を得ることができる。表示のために処理されると、マルチビュー画像１１０は、様々な実施形態による、異なるビュー１１２を記録するフォーマットのデータとして記憶される。

【0023】

本明細書では、「２次元ディスプレイ」又は「２Ｄディスプレイ」は、画像が見られる（すなわち、２Ｄディスプレイの事前定義された視野角又は範囲内の）方向にかかわらず実質的に同じ画像のビューを提供するように構成されたディスプレイとして定義される。多くのスマートフォン及びコンピュータモニタに見られる従来の液晶ディスプレイ（LCD）が２Ｄディスプレイの例である。対照的に、本明細書では、「マルチビューディスプレイ」は、ユーザの視点から同時に、異なるビュー方向に又は異なるビュー方向からマルチビュー画像の異なるビューを提供するように構成された電子ディスプレイ又はディスプレイシステムとして定義される。詳細には、異なるビュー１１２は、マルチビュー画像１１０の異なる斜視図を表すことができる。

【0024】

以下により詳細に記載されるように、マルチビューディスプレイ１００は、異なる画像ビューが同時に知覚されるようにそれらの提示に適応する様々な技術を使用して実装される場合がある。マルチビューディスプレイの一例は、異なるビュー１１２の主角度方向を制御するために回折格子を使用するディスプレイである。いくつかの実施形態によれば、マルチビューディスプレイ１００は、異なるビューに対応する異なる色及び異なる方向の複数の光ビームを提示するディスプレイである、ライトフィールドディスプレイであり得る。いくつかの例では、ライトフィールドディスプレイは、深度を知覚するために特別なアイウェアを必要とすることなくマルチビュー画像の自動立体表現を提供するために回折格子又はマルチビーム素子を使用することができる、いわゆる「裸眼」３次元（3D）ディスプレイである。いくつかの実施形態では、マルチビューディスプレイ１００は、どのビュー１１２がユーザの各眼によって知覚されるかを制御するために眼鏡又は他のアイウェアを必要とする場合がある。

【0025】

いくつかの実施形態では、マルチビューディスプレイ１００は、マルチビュー画像及び２Ｄ画像をレンダリングするマルチビューディスプレイシステムの一部である。この点に関して、マルチビューディスプレイシステムは、異なるモードで動作する複数のバックライトを含む場合がある。例えば、マルチビューディスプレイシステムは、広角バックライトを使用して２Ｄモードの間に広角放射光を提供するように構成される場合がある。加えて、マルチビューディスプレイシステムは、マルチビーム素子のアレイを有するマルチビューバックライトを使用してマルチビューモードの間に指向性放射光を提供するように構成される場合があり、指向性放射光は、マルチビーム素子アレイの各マルチビーム素子によって提供される複数の指向性光ビームを含む。マルチビューディスプレイシステムは、２Ｄモードに対応する第１の順次時間間隔中に広角バックライトを、マルチビューモードに対応する第２の順次時間間隔中にマルチビューバックライトを順次アクティブ化するために、モードコントローラを使用して２Ｄモード及びマルチビューモードを時間多重化するように構成される場合がある。指向性光ビームの指向性光ビームの方向は、マルチビュー画像の異なるビュー方向に対応することができる。

【0026】

例えば、２Ｄモードでは、広角バックライトは、マルチビューディスプレイシステムが２Ｄディスプレイのように動作するように画像を生成することができる。定義により、「広角」放射光は、マルチビュー画像又はマルチビューディスプレイのビューの円錐角よりも大きい円錐角を有する光として定義される。詳細には、いくつかの実施形態では、広角放射光は、約２０度よりも大きい（例えば、＞±２０°）円錐角を有することができる。他の実施形態では、広角放射光円錐角は、約３０度よりも大きい（例えば、＞±３０°）、又は約４０度よりも大きい（例えば、＞±４０°）、又は５０度よりも大きい（例えば、＞±５０°）場合がある。例えば、広角放射光の円錐角は、約６０度（例えば、＞±６０°）であり得る。

【0027】

マルチビューモードは、広角バックライトの代わりにマルチビューバックライトを使用することができる。マルチビューバックライトは、互いに異なる主角度方向を有する複数の指向性光ビームとして光を散乱させるマルチビーム素子のアレイを有することができる。例えば、マルチビューディスプレイ１００が、４つのビューを有するマルチビュー画像を表示するためにマルチビューモードで動作する場合、マルチビューバックライトは、光を４つの指向性光ビームに散乱させることができ、各指向性光ビームは異なるビューに対応する。モードコントローラは、マルチビュー画像がマルチビューバックライトを使用して第１の順次時間間隔で表示され、２Ｄ画像が広角バックライトを使用して第２の順次時間間隔で表示されるように、２Ｄモードとマルチビューモードとの間を連続的に切り替えることができる。

【0028】

いくつかの実施形態では、マルチビューディスプレイシステムは、導光体内の光を導波光として導くように構成される。本明細書では、「導光体」は、全内部反射すなわち「TIR」を使用して構造内で光を導く構造として定義される。詳細には、導光体は、導光体の動作波長で実質的に透明なコアを含む場合がある。様々な例では、「導光体」という用語は、概して、導光体の誘電体材料とその導光体を取り囲む材料又は媒体との間の界面において、光を導くために全内部反射を使用する誘電体光導波路を指す。定義により、全内部反射の条件は、導光体の屈折率が導光体材料の表面に隣接する周囲媒体の屈折率よりも大きいことである。いくつかの実施形態では、導光体は、全内部反射をさらに容易にするために前述の屈折率の差に加えて、又はその代わりにコーティングを含む場合がある。コーティングは、例えば、反射性コーティングであり得る。導光体は、プレート又はスラブガイド及びストリップガイドのうちの１つ又は両方を含むが、それらに限定されない、いくつかの導光体のうちのいずれかであり得る。導光体は、プレート又はスラブのような形状であり得る。導光体は、光源（例えば、発光デバイス）によってエッジ照明されてもよい。

【0029】

いくつかの実施形態では、マルチビューディスプレイシステムは、マルチビーム素子アレイのマルチビーム素子を使用して、導波光の一部分を指向性放射光として散乱させるように構成され、マルチビーム素子アレイの各マルチビーム素子は、回折格子、マイクロ屈折素子、及びマイクロ反射素子のうちの１つ又はそれ以上を含む。いくつかの実施形態では、マルチビーム素子の回折格子は、複数の個々のサブ格子を含む場合がある。いくつかの実施形態では、マイクロ反射素子は、導波光部分を複数の指向性光ビームとして反射的に結合するか、又は散乱させるように構成される。マイクロ反射素子は、導波光が散乱する方法を制御するための反射コーティングを有する場合がある。いくつかの実施形態では、マルチビーム素子は、屈折によって、又は屈折を使用して導波光部分を複数の指向性光ビームとして結合するか、又は散乱させる（すなわち、導波光部分を屈折的に散乱させる）ように構成されたマイクロ屈折素子を含む。

【0030】

図２は、本明細書に記載された原理と一致する一実施形態による、一例における３次元（3D）シーン２００のマルチビュー画像をキャプチャすることを示す。図２に示されたように、３Ｄシーン２００は、（例えば、物理的又は仮想的な）様々なオブジェクト、例えば地面２０８上の木２０２及び岩２０４を含む。木２０２、岩２０４、及び地面２０８はオブジェクトと呼ばれる場合があり、それらは一緒に３Ｄシーン２００の少なくとも一部を形成する。３Ｄシーン２００のマルチビュー画像は、図１Ａ～図１Ｂに関して説明された方式と同様の方式で表示され、見ることができる。マルチビュー画像をキャプチャするために、カメラ２１０が使用される場合がある。いくつかの実施形態では、カメラ２１０は、１つ又はそれ以上の物理カメラを含む場合がある。例えば、物理カメラは、光をキャプチャし、光を画像として記録するためのレンズを含む。複数の物理カメラは、シーンの異なるビューをキャプチャしてマルチビュー画像を作成するために使用される場合がある。例えば、各物理カメラは、シーン内のオブジェクトの異なる視点がキャプチャされることを可能にするために、定義された距離で離間される場合がある。異なる物理カメラ間の距離は、視聴者の眼の間の距離が３Ｄビジョンを可能にするのと同じ方法で、３Ｄシーン２００の深度をキャプチャする能力を可能にする。

【0031】

カメラ２１０はまた、物理カメラとは対照的に、１つ又はそれ以上の仮想（例えば、シミュレートされた又は仮想上の）カメラを表すことができる。３Ｄシーン２００は、コンピュータ生成情報を操作するコンピュータグラフィックス技法を使用して生成される場合がある。この例では、カメラ２１０は、３Ｄシーン２００をキャプチャするために視点を有する仮想カメラとして実装される。仮想カメラは、３Ｄモデル内の視野角及び座標に関して定義される場合がある。３Ｄモデルは、仮想カメラによってキャプチャされる様々なオブジェクト（例えば、木２０２、岩２０４、及び地面２０８）を定義することができる。

【0032】

カメラ２１０を使用してシーンのビューを生成又はキャプチャするとき、カメラは収束面２３０に従って構成される場合がある。「収束面」又は「収束平面」は、異なるビュー間に視差がほとんどないように、異なるビューが整列する複数の位置として定義される。収束面２３０はカメラ２１０の前方に生じる。カメラ２１０と収束面２３０との間のオブジェクトは視聴者により近くに見えるが、収束面２３０の背後のオブジェクトは視聴者からさらに遠くに見える。この点に関して、異なるビュー間の視差の程度は、オブジェクトが収束面２３０から離れて配置されるほど増加する。収束面２３０に沿ったオブジェクトは、視聴者に対して焦点が合って見える。カメラ２１０と収束面２３０との間の距離は、収束距離又は収束オフセットと呼ばれる。カメラ２１０が位置若しくは方向を変えるにつれて、又はシーンが変化するにつれて、収束距離は本明細書に記載されたように動的に更新される。

【0033】

カメラ２１０は、カメラ２１０の錐台２２０内に入るシーンをキャプチャする。錐台２２０は、３Ｄシーン２００の視野角範囲を定義する上限及び下限を有するように示されている。図２では、収束面２３０は、（カメラ２１０に対して）木２０２の底部及び木２０２の背面と交差する。結果として、木２０２の底部は、焦点が合っているように見え、ディスプレイ上に位置しているように見えるので、視聴者にとって関心がある主要な点として見えることになる。加えて、岩２０４は木２０２の前方の前景に現れる場合がある。

【0034】

本明細書で使用される「視差」は、対応する位置におけるマルチビュー画像の少なくとも２つのビューの間の差として定義される。例えば、立体映像のコンテキストでは、左眼及び右眼は同じオブジェクトを見るが、眼の間の視野角の差によってわずかに異なる位置に見る場合がある。この差は、視差として定量化される場合がある。マルチビュー画像にわたる視差の変化は、奥行き感を伝える。

【0035】

「ベースライン」又は「カメラベースライン」という用語は、マルチビュー画像の対応するビューをキャプチャする２つのカメラの間の距離として定義される。例えば、立体映像のコンテキストでは、ベースラインは左眼と右眼との間の距離である。ベースラインが大きいほど、視差の増加をもたらし、マルチビュー画像の３Ｄ効果を向上させることができる。ベースラインをスケーリングすること又はベースラインスケーリングは、ベースラインを減少又は増加させるために乗数に従ってベースラインを変更又は調整することを指す。本明細書では、多眼カメラリグのカメラのペアは、定義により、ベースラインだけ互いに離間している。いくつかの実施形態では、多眼カメラリグのカメラの各ペアの間で共通のベースラインが使用される。

【0036】

本明細書では、「収束距離」又は「収束オフセット」は、定義により、カメラと収束面に沿った点との間の距離を指す。収束オフセットを修正することは、異なる深度における新しいオブジェクト上にマルチビュー画像の焦点を再び合わせるように収束面の場所を変化させる。

【0037】

さらに本明細書では、「３Ｄシーン」は、物理空間に存在することができるか、又は３Ｄモデル若しくは３Ｄ環境として仮想的に表現され得る１つ又はそれ以上の３Ｄオブジェクトを含むシーンを指す。物理的な３Ｄシーンは物理カメラによってキャプチャされ得、仮想的な３Ｄシーンは仮想カメラによってキャプチャされ得る。

【0038】

さらに、本明細書で使用される冠詞「a」は、特許技術分野におけるその通常の意味、すなわち「１つ又はそれ以上」を有することが意図される。例えば、「カメラ」は１つ又はそれ以上のカメラを意味するので、本明細書では「カメラ」は「複数のカメラ」を意味する。また、「上（top）」、「下（bottom）」、「上（upper）」、「下（lower）」、「上（up）」、「下（down）」、「前（front）」、「後ろ（back）」、「第１の（first）」、「第２の（second）」、「左（left）」、又は「右（right）」に対する本明細書におけるいずれの言及も、本明細書では限定であるように意図されない。本明細書では、「約」という用語が値に適用されるとき、特に明記されない限り、概してその値を生成するために使用される機器の許容範囲内を意味するか、又は±１０％、若しくは±５％、若しくは±１％を意味する場合がある。さらに、本明細書で使用される「実質的に」という用語は、大多数、又はほとんどすべて、又はすべて、又は約５１％～約１００％の範囲内の量を意味する。さらに、本明細書の例は、例示のみであることが意図され、説明目的で提示され、限定するためではない。

【0039】

本明細書に記載された原理のいくつかの実施形態によれば、多眼カメラリグのベースライン及び収束距離を設定する方法が提供される。図３は、本明細書に記載された原理の一実施形態による、一例における多眼カメラリグのベースライン及び収束距離を設定する方法３００のフローチャートを示す。いくつかの実施形態では、多眼カメラリグのベースライン及び収束距離を設定する方法３００は、多眼カメラリグのベースライン及び収束距離の両方を動的に調整するために使用される場合がある。例えば、いくつかの実施形態によれば、収束距離調整とともにベースライン調整又はベースラインスケーリングが、リアルタイムで実施される場合がある。

【0040】

図示されたように、多眼カメラリグのベースライン及び収束距離を設定する方法３００は、一組又は複数のサンプル点深度を決定するステップ３１０を含む。様々な実施形態によれば、サンプル点深度は、３次元（3D）シーン内の多眼カメラリグと複数のサンプル点との間の距離の集合又は複数の距離を表す。例えば、３Ｄシーンは、多眼カメラリグの視野内にある（例えば、多眼カメラリグのカメラに見える）シーンであり得、距離は、３Ｄシーン内の様々なオブジェクト又は関心点までの距離を表すことができる。

【0041】

いくつかの実施形態では、複数のサンプル点深度を決定するステップ３１０は、３Ｄシーン内でレイキャスティングを実行するステップを含む場合がある。例えば、レイキャストのグリッドは、多眼カメラリグから３Ｄシーンに向かって外側に生成される場合がある。次いで、３Ｄシーン内の様々な衝突物までのヒット距離が、レイキャストグリッド内のレイキャストについて記録される。ヒット距離は、３Ｄシーン内の様々な衝突物の深度に対応する。

【0042】

図４は、本明細書に記載された原理の一実施形態による、一例におけるレイキャスティングを示す。図示されたように、３Ｄシーン４０２は複数のオブジェクト４０４を含み、多眼カメラリグ４１０は３Ｄシーン４０２のマルチビュー画像をキャプチャするように配置される。レイキャスティングは、図４の矢印によって示されたように、複数の又は格子状の光線４２０を生成し、個々の光線４２０がオブジェクト４０４上の点に遭遇する３Ｄシーン４０２に光線を向けることを含む。図示されたように、ヒット距離は、多眼カメラリグ４１０の原点と、光線４２０が特定のオブジェクト４０４に遭遇する（すなわち、そこで終端する）点との間を延在する光線４２０の長さである。次いで、レイキャスティングによって提供された光線のグリッドのヒット距離は、複数のサンプル点深度（又は距離）を３１０で決定する。図４はまた、多眼カメラリグ４１０の隣接するカメラ間のベースラインｂを示す。

【0043】

他の実施形態では、複数のサンプル点深度を決定するステップ３１０は、３Ｄシーンの視差マップから深度を算出するステップを含む場合がある。いくつかの実施形態では、視差マップはシーンの画像とともに提供される場合がある。他の実施形態では、視差マップは、多眼カメラリグの異なるカメラによって記録された画像間の視覚的視差から算出される場合がある。詳細には、深度を算出するステップは、多眼カメラリグの異なるカメラによってキャプチャされた画像間の画像視差を使用するステップを含む場合がある。例えば、多眼カメラリグのカメラによる３Ｄシーンのキャプチャされた画像に関連付けられた深度バッファが調べられる場合がある。いくつかの実施形態では、深度を算出するステップは、画像視差から３Ｄシーンの視差マップを形成するステップをさらに含む場合がある。

【0044】

さらに他の実施形態では、複数のサンプル点深度を決定するステップ３１０は、多眼カメラリグと３Ｄシーン内のオブジェクトとの間の距離を測定するために、深度センサを使用するステップを含む場合がある。様々な実施形態では、オブジェクトは、複数のサンプル点のうちのサンプル点に対応する場合があり、深度センサは、様々な深度センサのいずれかを含む場合がある。例えば、深度センサは、レーザ検出及び測距（LIDAR）システムを含むがそれに限定されないレーザ距離センサであってもよい。別の例では、深度センサは飛行時間距離センサであってもよい。さらに別の例では、音波（例えば、音声ナビゲーション及び測距すなわち「SONAR」システム）又は構造化光のいずれかを使用する測距又は深度測定システム。例えば、異なる高さに異なる色を有する画像がシーンに投影される場合があり、次いで、カメラによってキャプチャされたシーンの画像が、各ピクセルの色に基づいて深度を割り当てることによって深度マップを生成するために、アルゴリズムによって使用される場合がある。３Ｄ追跡を有するロボットであっても、風景を効果的に探索又は「転動」し、高さ又は距離などを記録するために使用される場合があり、サンプル点深度を決定するために使用される場合がある。

【0045】

図３に示されたように、多眼カメラリグのベースライン及び収束距離を設定する方法３００は、複数のサンプル点深度の平均深度になるように収束距離を設定するステップ３２０をさらに含む。詳細には、複数の同じ点深度のサンプル点深度の平均が算出される。次いで、収束距離がサンプル点深度の算出された平均に等しくなるように設定される。いくつかの実施形態では、複数のサンプル点深度は、すべてのサンプル点の深度を含む。他の実施形態では、複数のサンプル点深度は、サンプル点の総数よりも小さいサンプル点深度の選択を含む場合があり、例えば、セットは、関連するか又は重要であると考えられるサンプル点、例えば、３Ｄシーン内の主要なオブジェクト又は衝突物に関連付けられたサンプル点のみを含む場合がある。別の実施形態では（例えば、大規模な３Ｄモデルの場合）、複数のサンプル点深度は、複数の頂点のサブセット（例えば、１つおき又は３つおきの頂点）に対して決定される場合がある。図４を再び参照すると、平均サンプル深度（数１）が平均レイキャストヒット距離として示されている。

【0046】

【数1】

【0047】

いくつかの実施形態では、複数のサンプル点の平均深度は加重平均である。様々な実施形態によれば、加重平均（数２）は、式（１）を使用して算出される場合があり、

【0048】

【数2】

【0049】

【数3】

ここで、ｎは複数のサンプル点の中のサンプル点の数であり、ｓ_ｉは複数のサンプル点のうちの個々のサンプル点であり、ｗ_ｉは加重平均（数２）の重みである。

【0050】

いくつかの実施形態によれば、荷重平均（数２）の重みｗ_ｉは、３Ｄシーン内の所定の位置又は特定のオブジェクトからの様々なサンプル点ｓ_ｉの距離に基づいて選択されるか、又は割り当てられる場合がある。例えば、重みｗ_ｉは、シーンの中心からｉ番目のサンプル点ｓ_ｉの距離に基づいて選択又は決定される場合がある。別の例では、重みｗ_ｉは、多眼カメラリグ内のカメラのピント位置（焦点）からｉ番目のサンプル点ｓ_ｉの距離に基づいて選択されるか、又は割り当てられる場合がある。さらに別の例では、重みｗ_ｉは、特定のサンプル点ｓ^＊（例えば、３Ｄシーン内の対象のオブジェクト上の、又は対象のオブジェクトに関連付けられたサンプル点）からｉ番目のサンプル点ｓ_ｉの距離に基づいて選択されるか、又は割り当てられる場合がある。

【0051】

いくつかの実施形態では、加重平均（数２）の重みｗ_ｉは、距離、例えばシーン中心、焦点、又は特定のサンプル点ｓ^＊からの距離の関数として減少する場合がある。いくつかの実施形態では、重みｗ_ｉの減少は、距離の関数としての線形分布又は非線形関数（例えば、指数分布）のいずれかを有する場合がある。いくつかの実施形態では、加重平均（数２）の重みｗ_ｉは、ガウス分布に従って割り当てられる場合がある。ガウス分布は、例えば、シーン中心、焦点、又は特定のサンプル点ｓ^＊を中心とする場合がある。

【0052】

図３を再び参照すると、図３に示された多眼カメラリグのベースライン及び収束距離を設定する方法３００は、複数のサンプル点深度の最小サンプル点深度を決定するステップ３３０をさらに含む。本明細書では、最小サンプル点深度は、一般に、多眼カメラリグのカメラからの最小深度又は最小距離を有するサンプル点として定義される。最小サンプル点深度は、例えば、複数のサンプル点深度を調査し、最小値を有するサンプル点を発見又は識別することにより、３３０で決定される場合がある。他の例では、最小サンプル点深度は、最も低い深度（又は距離）を有するサンプル点のグループを識別し、次いで、最も低い深度のサンプル点のグループ内のサンプル点深度の平均に等しくなるように最小サンプル点深度を設定することにより、３３０で決定される場合がある。いくつかの例では、最も低い深度のサンプル点グループは、最も低い深度又は距離を有するサンプル点の割合、例えば、最も低い深度又は距離を有するサンプル点の約５パーセント（５％）又は約１０パーセント（１０％）を含む場合がある。図４に戻って参照すると、光線４２０の最小ヒット距離を表す最小サンプル点深度ｚ_ｍｉｎが示されている。

【0053】

図３に再び戻ると、様々な実施形態によれば、多眼カメラリグのベースライン及び収束距離を設定する方法３００は、式（２）によって与えられるように、最小サンプル点深度と収束距離との間の差の逆数になるようにベースラインを設定するステップ３４０をさらに含み、

【0054】

【数4】

ここで、ｂはベースラインであり、ｚ_ｍｉｎは最小サンプル点深度であり、Ｄ_ｃｏｎｖは収束距離であり、上述されたように提供される。

【0055】

いくつかの実施形態によれば、多眼カメラリグは複数の仮想カメラを含む場合がある。例えば、３Ｄシーンは３Ｄモデルであってもよく、複数の仮想カメラは、３Ｄモデルに関連付けられた、又は３Ｄモデルを撮像するために使用されるカメラであってもよい。いくつかの実施形態では、複数の仮想カメラのうちの仮想カメラは、レンダラによって管理される仮想カメラであってもよい。例えば、多眼カメラリグは、多眼カメラリグの仮想カメラを使用して仮想３Ｄシーンをキャプチャするレンダラに関連付けられる場合がある。別の実施形態では、多眼カメラリグは複数の物理カメラを含む場合がある。例えば、３Ｄシーンは、複数の物理カメラのうちのカメラによって撮像された物理シーンであり得るか、又はそれを表すことができる。さらに別の実施形態では、多眼カメラリグは、３Ｄシーンを形成する画像をキャプチャするために複数の位置の間を移動するカメラ（例えば、１つ又はそれ以上のカメラ）を含む場合がある。いくつかの実施形態では、サンプル点深度は、多眼カメラリグの１つのカメラ（例えば、基準カメラ）に対する深度又は距離を表すことができるが、他の実施形態では、サンプル点深度は、全体として多眼カメラリグに対する距離であり得る。上述されたように、図４はまた、多眼カメラリグ４１０の隣接するカメラ間のベースラインｂを示す。

【0056】

本明細書に記載された原理による他の実施形態では、ライトフィールドカメラシステムが提供される。いくつかの実施形態では、ライトフィールドカメラシステムは、自動的なベースライン及び収束距離の決定を有するか、又は提供することができる。図５は、本明細書に記載された原理の一実施形態による、一例におけるライトフィールドカメラシステム５００のブロック図を示す。図５に示されたように、ライトフィールドカメラシステム５００は多眼カメラリグ５１０を備える。多眼カメラリグ５１０は、図示されたように、ベースラインｂによって互いに分離された複数のカメラを備える。

【0057】

ライトフィールドカメラシステム５００は、プロセッサ５２０及びメモリ５３０をさらに備える。メモリ５３０は、プロセッサ５２０によって実行されると、多眼カメラリグと多眼カメラリグの視野内の３次元（3D）シーン内の複数のサンプル点との間の距離を表す一組又は複数のサンプル点深度を決定することを実施する命令を記憶するように構成される。いくつかの実施形態では、複数のサンプル点深度を決定することは、多眼カメラリグのベースライン及び収束距離を設定する方法３００に関して上述されたように、サンプル点深度を決定するステップ３１０と実質的に同様であり得る。

【0058】

詳細には、いくつかの実施形態では、複数のサンプル点深度は、３Ｄシーンを表す画像の深度マップから、視差マップを使用して深度を算出すること、及び３Ｄシーンでレイキャスティングを実行して３Ｄシーン内のサンプル点深度を決定することのうちの１つ又はそれ以上により、３１０で決定される場合がある。他の実施形態では、複数のサンプル点深度は、深度センサを使用して多眼カメラリグと３Ｄシーン内のオブジェクトとの間の距離を測定することにより、３１０で決定される場合があり、オブジェクトは複数のサンプル点のうちのサンプル点に対応する。いくつかの実施形態では、複数のサンプル点深度の平均深度は加重平均であり、加重平均の重みは、３Ｄシーンの焦点からの距離の減少関数に従って割り当てられる。

【0059】

いくつかの実施形態では、複数のカメラのうちのカメラは仮想カメラであり、３Ｄシーンは３Ｄモデルである。いくつかの実施形態では、多眼カメラリグの複数のカメラのうちのカメラは物理カメラを含み、３Ｄシーンは物理カメラによって撮像された物理シーンを表す。

【0060】

図５に示されたプロセッサ５２０によって実行されると、メモリ５３０に記憶された命令は、多眼カメラリグの収束距離及びベースラインを設定することをさらに実施する。様々な実施形態では、収束距離は、複数のサンプル点深度の平均深度であってもよく、ベースラインは、様々な実施形態によれば、最小サンプル点深度マイナス収束距離の逆数であってもよい。いくつかの実施形態では、収束距離及びベースラインを設定することは、多眼カメラリグのベースライン及び収束距離を設定する上述された方法３００の収束距離を設定するステップ３２０及びベースラインを設定するステップ３４０と実質的に同様であり得る。

【0061】

いくつかの実装形態では、プロセッサ５２０によって実行されるアプリケーションは、３Ｄモデリングのためのコンピュータグラフィックス技法を使用して３Ｄモデルを生成することができる。３Ｄモデルは、異なるオブジェクトの様々な表面及びテクスチャの数学的表現であり、オブジェクト間の空間関係を含む場合がある。アプリケーションは、ユーザ入力に応じて３Ｄモデルを生成及び更新するレンダラを含む場合がある。ユーザ入力は、カーソルをクリック又はドラッグすること、方向ボタンを押すこと、ユーザの物理的位置を３Ｄモデル内の仮想位置に変換することなどによって３Ｄモデルをナビゲートすることを含む場合がある。３Ｄモデルは、メモリ５３０にロードされ、その後更新される場合がある。３Ｄモデルは、３Ｄモデルへのウィンドウを明らかにするマルチビュー画像に変換される場合がある。ウィンドウは複数の仮想カメラによって定義される場合があり、多眼カメラリグ５１０は３Ｄモデル内の座標及び方向を有する。いくつかの実施形態では、仮想カメラのベースライン及び収束距離は、仮想カメラの動き又は３Ｄシーンの変化に応じて動的に更新される場合がある。

【0062】

（例えば、図５に示されたような）いくつかの実施形態では、ライトフィールドカメラシステム５００はマルチビューディスプレイ５４０をさらに備える。これらの実施形態では、収束距離は、マルチビューディスプレイ５４０のゼロ視差平面に対応することができる。

【0063】

図６Ａは、本明細書に記載された原理と一致する一実施形態による、一例におけるマルチビューディスプレイ６００の断面図を示す。図６Ｂは、本明細書に記載された原理と一致する一実施形態による、別の例におけるマルチビューディスプレイ６００の断面図を示す。詳細には、図６Ａは、第１のモード又は２次元（2D）モードの間の又はそれに従うマルチビューディスプレイ６００を示す。図２Ｂは、第２のモード又はマルチビューモードの間の又はそれに従うマルチビューディスプレイ６００を示す。図６Ｃは、本明細書に記載された原理と一致する一実施形態による、一例におけるマルチビューディスプレイ６００の斜視図を示す。マルチビューディスプレイ６００は、限定ではなく例として、マルチビューモードの間に図２Ｃに示されている。さらに、様々な実施形態によれば、２Ｄモード及びマルチビューモードは、交互の第１及び第２の時間間隔（例えば、図６Ａと図６Ｂとの間で交互の）で２Ｄモード及びマルチビューモードを提供するために、時系列又は時間インターレース方式で時間多重化される場合がある。そのため、マルチビューディスプレイ６００は、「時間多重化モード切替え」マルチビューディスプレイと呼ばれる場合もある。

【0064】

図示されたように、マルチビューディスプレイ６００は、放射光６０２として光を提供又は放射するように構成される。様々な例及び実施形態によれば、放射光６０２は、マルチビューディスプレイ６００を使用して画像を照射及び提供するために使用される場合がある。例えば、放射光６０２は、マルチビューディスプレイ６００のライトバルブ（例えば、以下に記載されるライトバルブ６３０）のアレイを照射するために使用される場合がある。

【0065】

様々な実施形態によれば、マルチビュー画像の異なるビュー方向に対応する方向を有する複数の指向性光ビームを含む指向性放射光６０２”は、マルチビューモードの間に提供される場合がある。逆に、様々な実施形態によれば、２Ｄモードの間、大部分が無指向性であり、さらに一般に、マルチビューディスプレイ６００に関連付けられたマルチビュー画像又はマルチビューディスプレイのビューの円錐角よりも大きい円錐角を有する広角放射光６０２’が提供される場合がある。広角放射光６０２’は、説明を容易にするために破線の矢印として図６Ａに示されている。しかしながら、広角放射光６０２’を表す破線の矢印は、放射光６０２のいかなる特定の指向性も意味するものではなく、代わりに、例えば、マルチビューディスプレイ６００からの光の放射及び伝搬を表すにすぎない。同様に、図６Ｂ及び図６Ｃは、指向性放射光６０２”の指向性光ビームを複数の発散する矢印として示している。様々な実施形態では、指向性光ビームはライトフィールドであり得るか、又はライトフィールドを表すことができる。

【0066】

図６Ａ～図６Ｃに示されたように、時間多重化マルチモードディスプレイ６００は、広角バックライト６１０を含む。図示された広角バックライト６１０は、広角放射光６０２’を提供するように構成された平面又は実質的に平面の発光面を有する（例えば、図６Ａ参照）。様々な実施形態によれば、広角バックライト６１０は、ディスプレイのライトバルブのアレイを照射するために光を提供するように構成された発光面６１０’を有する、実質的に任意のバックライトであってもよい。例えば、広角バックライト６１０は、直接発光する又は直接照射される平面バックライトであってもよい。直接発光する又は直接照射される平面バックライトには、限定はしないが、平面発光面６１０’を直接照射し、広角放射光６０２’を提供するように構成された、冷陰極蛍光ランプ（CCFL）、ネオンランプ、又は発光ダイオード（LED）の平面アレイを使用するバックライトパネルが含まれる。エレクトロルミネセンスパネル（ELP）は、直接発光平面バックライトの別の非限定的な例である。他の例では、広角バックライト６１０は、間接光源を使用するバックライトを備える場合がある。そのような間接照射バックライトは、限定はしないが、エッジ結合型又はいわゆる「エッジライト型」バックライトの様々な形態を含む場合がある。

【0067】

図６Ａ～図６Ｃに示されたマルチビューディスプレイ６００は、マルチビューバックライト６２０をさらに備える。図示されたように、マルチビューバックライト６２０はマルチビーム素子６２２のアレイを備える。様々な実施形態によれば、マルチビーム素子アレイのマルチビーム素子６２２は、マルチビューバックライト６２０にわたって互いに離間している。アクティブエミッタ及び様々な散乱素子を含むがそれらに限定される、異なるタイプのマルチビーム素子６２２がマルチビューバックライト６２０内で利用される場合がある。様々な実施形態によれば、マルチビーム素子アレイの各マルチビーム素子６２２は、マルチビューモードの間にマルチビュー画像の異なるビュー方向に対応する方向を有する複数の指向性光ビームを提供するように構成される。

【0068】

（例えば、図示された）いくつかの実施形態では、マルチビューバックライト６２０は、導波光として光を導くように構成された導光体６２４をさらに備える。いくつかの実施形態では、導光体６２４はプレート導光体であってもよい。様々な実施形態によれば、導光体６２４は、全内部反射に従って、導光体６２４の長さに沿って導波光を導くように構成される。導光体６２４内の導波光の概略的な伝搬方向は、図６Ｂにおいて太矢印で示されている。いくつかの実施形態では、導波光は、非ゼロ伝搬角度で伝搬方向に導かれる場合があり、図６Ｂに示されたように、所定のコリメーション係数σに従ってコリメートされたコリメート光を含む場合がある。

【0069】

導光体６２４を含む実施形態では、マルチビーム素子アレイのマルチビーム素子６２２は、図６Ｂに示されたように、導光体６２４内から導波光の一部分を散乱させ、指向性放射光６０２”を提供するために散乱した部分を放射表面から離れるように導くように構成される場合がある。例えば、導波光部分は、第１の表面を通ってマルチビーム素子６２２によって散乱する場合がある。さらに、図６Ａ～図６Ｃに示されたように、様々な実施形態によれば、マルチビューバックライト６２０の第１の表面とは反対側にある第２の表面は、広角バックライト６１０の平面発光面に隣接する場合がある。さらに、マルチビューバックライト６２０は、広角バックライト６１０で発生し、続いてマルチビューバックライト６２０を通過する破線矢印によって図６Ａに示されたように、広角バックライト６１０からの広角放射光６０２’が、マルチビューバックライト６２０の厚さを通過又は透過することを可能にするように、（例えば、少なくとも２Ｄモードにおいて）実質的に透明であり得る。

【0070】

（例えば、図６Ａ～図６Ｃに示された）いくつかの実施形態では、マルチビューバックライト６２０は光源６２６をさらに備える場合がある。そのため、マルチビューバックライト６２０は、例えば、エッジライト型バックライトであり得る。様々な実施形態によれば、光源６２６は、導光体６２４内で導かれる光を提供するように構成される。様々な実施形態では、光源６２６は、１つ若しくはそれ以上の発光ダイオード（LED）、又はレーザ（例えば、レーザダイオード）を含むが、それらに限定されない、実質的に任意の光源（例えば、光エミッタ）を含む場合がある。いくつかの実施形態では、光源６２６は、特定の色によって表記された狭帯域スペクトルを有する、実質的に単色の光を生成するように構成された光エミッタを含む場合がある。詳細には、単色光の色は、特定の色空間又は色モデル（例えば、赤－緑－青（RGB）色モデル）の原色であり得る。他の例では、光源６２６は、実質的に広帯域又は多色の光を提供するように構成された実質的に広帯域の光源であり得る。例えば、光源６２６は白色光を提供することができる。いくつかの実施形態では、光源６２６は、異なる色の光を提供するように構成された複数の異なる光エミッタを含む場合がある。異なる光エミッタは、異なる色の光の各々に対応する、導波光の異なる色固有の非ゼロ伝搬角度を有する光を提供するように構成される場合がある。図６Ｂに示されたように、マルチビューバックライト６２０の作動は、光源６２６を作動させることを含む場合がある。

【0071】

（例えば、図６Ａ～図６Ｃに示された）いくつかの実施形態によれば、マルチビーム素子アレイのマルチビーム素子６２２は、（例えば、マルチビューバックライト６２０の第１の表面に隣接する）導光体６２４の第１の表面に配置される場合がある。他の実施形態（図示せず）では、マルチビーム素子６２２は導光体６２４内に配置される場合がある。さらに他の実施形態（図示せず）では、マルチビーム素子６２２は、（例えば、マルチビューバックライト６２０の第２の表面に隣接する）導光体６２４の第２の表面に、又はその上に配置される場合がある。さらに、マルチビーム素子６２２のサイズは、マルチビューディスプレイ６００のライトバルブのサイズに相当する。いくつかの実施形態では、マルチビーム素子６２２のサイズは、ライトバルブサイズの約１／４～約２倍であり得る。

【0072】

上述されたように、また図６Ａ～図６Ｃに示されたように、マルチビューディスプレイ６００はライトバルブ６３０のアレイをさらに備える。様々な実施形態では、液晶ライトバルブ、電気泳動ライトバルブ、及びエレクトロウェッティングに基づくか又はそれを使用するライトバルブのうちの１つ又はそれ以上を含むが、それらに限定されない様々な異なるタイプのライトバルブのいずれかが、ライトバルブアレイのライトバルブ６３０として使用される場合がある。さらに、図示されたように、マルチビーム素子のアレイのマルチビーム素子６２２ごとに固有の複数のライトバルブ６３０が存在する場合がある。固有の複数のライトバルブ６３０は、例えば、時間多重化マルチモードディスプレイ６００のマルチビューピクセルに対応する場合がある。いくつかの実施形態によれば、マルチビーム素子６２２及びライトバルブ６３０の同等のサイズは、マルチビューディスプレイのビュー間の暗いゾーンを低減するか、又はいくつかの例では最小化し、同時に、マルチビューディスプレイのビュー又はマルチビュー画像と同等のビュー間の重複を低減するか、又はいくつかの例では最小化するように選択される場合がある。

【0073】

様々な実施形態によれば、マルチビューバックライト６２０のマルチビーム素子６２２は、導波光の一部分を散乱させるように構成されたいくつかの異なる構造のいずれかを備える場合がある。例えば、異なる構造は、回折格子、マイクロ反射素子、マイクロ屈折素子、又はそれらの様々な組合せを含む場合があるが、それらに限定されない。いくつかの実施形態では、回折格子を備えるマルチビーム素子６２２は、異なる主角度方向を有する複数の指向性光ビームを含む指向性放射光６０２”として、導波光部分を回折的に結合するか、又は散乱させるように構成される。いくつかの実施形態では、マルチビーム素子の回折格子は、複数の個々のサブ格子を含む場合がある。他の実施形態では、マイクロ反射素子を備えるマルチビーム素子６２２は、複数の指向性光ビームとして導波光部分を反射的に結合するか、若しくは散乱させるように構成されるか、又はマイクロ屈折素子を備えるマルチビーム素子６２２は、屈折によって、又は屈折を使用して複数の指向性光ビームとして導波光部分を結合するか、若しくは散乱させる（すなわち、導波光部分を屈折的に散乱させる）ように構成される。

【0074】

いくつかの実施形態では、図５のライトフィールドカメラシステム５００は、クライアントデバイス内に、又はクライアントデバイスを使用して実装される場合がある。図７は、本明細書に記載された原理と一致する一実施形態による、一例におけるクライアントデバイス７００のブロック図を示す。ライトフィールドカメラシステム５００は、例えば、クライアントデバイス７００を備える場合がある。例えば、ライトフィールドカメラシステム５００のプロセッサ５２０及びメモリ５３０は、クライアントデバイス７００の一部であってもよい。

【0075】

図示されたように、クライアントデバイス７００は、クライアントデバイス７００のユーザのための様々なコンピューティング動作を実行する構成要素のシステムを備える場合がある。クライアントデバイス７００は、ラップトップ、タブレット、スマートフォン、タッチスクリーンシステム、インテリジェントディスプレイシステム、又は他のクライアントデバイスであってもよい。クライアントデバイス７００は、様々な構成要素、例えば、プロセッサ７１０、メモリ７２０、入力／出力（I/O）構成要素７３０、ディスプレイ７４０、及び潜在的な他の構成要素を含む場合がある。これらの構成要素は、クライアントデバイス７００の構成要素が互いに通信することを可能にするローカルインターフェースとして機能するバス７５０に結合することができる。クライアントデバイス７００の構成要素は、クライアントデバイス７００内に収容されるものとして示されているが、構成要素の少なくともいくつかは、外部接続を介してクライアントデバイス７００に結合できることを諒解されたい。例えば、構成要素は、外部ポート、ソケット、プラグ、又はコネクタを介してクライアントデバイス７００に外部から差し込まれるか、又はさもなければ接続することができる。

【0076】

プロセッサ７１０は、中央処理装置（CPU）、グラフィックス処理装置（GPU）、コンピューティング処理動作を実行する任意の他の集積回路、又はそれらの任意の組合せであってもよい。プロセッサ７１０は、１つ又はそれ以上の処理コアを含む場合がある。プロセッサ７１０は、命令を実行する回路を備える。命令は、例えば、コンピュータコード、プログラム、ロジック、又は他の機械可読命令を含み、それらは、プロセッサ７１０によって受け取られ実行されて、命令内に具現化されたコンピューティング機能を実行する。プロセッサ７１０は、命令を実行してデータに対して動作することができる。例えば、プロセッサ７１０は、入力データ（例えば、画像）を受け取り、命令セットに従って入力データを処理し、出力データ（例えば、処理された画像）を生成することができる。別の例として、プロセッサ７１０は、命令を受け取り、次の実行のための新しい命令を生成することができる。プロセッサ７１０は、レンダラからの出力をレンダリングするグラフィックスパイプラインを実装するハードウェアを備える場合がある。例えば、プロセッサ７１０は、１つ又はそれ以上のＧＰＵコア、ベクトルプロセッサ、スケーラプロセッサ、又はハードウェアアクセラレータを備える場合がある。

【0077】

メモリ７２０は、１つ又はそれ以上のメモリ構成要素を含む場合がある。メモリ７２０は、本明細書では、揮発性メモリ及び不揮発性メモリのいずれか又は両方を含むものとして定義される。揮発性メモリ構成要素は、電力喪失時に情報を保持しないメモリ構成要素である。揮発性メモリは、例えば、ランダムアクセスメモリ（RAM）、スタティックランダムアクセスメモリ（SRAM）、ダイナミックランダムアクセスメモリ（DRAM）、磁気ランダムアクセスメモリ（MRAM）、又は他の揮発性メモリ構造を含む場合がある。システムメモリ（例えば、メインメモリ、キャッシュなど）は、揮発性メモリを使用して実装される場合がある。システムメモリは、プロセッサ７１０を支援するために、迅速な読取り及び書込みアクセスのためにデータ又は命令を一時的に記憶することができる高速メモリを指す。

【0078】

不揮発性メモリ構成要素は、電力喪失時に情報を保持するメモリ構成要素である。不揮発性メモリには、読取り専用メモリ（ROM）、ハードディスクドライブ、ソリッドステートドライブ、ＵＳＢフラッシュドライブ、メモリカードリーダを介してアクセスされるメモリカード、関連するフロッピーディスクドライブを介してアクセスされるフロッピーディスク、光ディスクドライブを介してアクセスされる光ディスク、適切なテープドライブを介してアクセスされる磁気テープが含まれる。ＲＯＭは、例えば、プログラマブル読取り専用メモリ（PROM）、消去可能プログラマブル読取り専用メモリ（EPROM）、電気的消去可能プログラマブル読取り専用メモリ（EEPROM）、又は他の同様のメモリデバイスを含む場合がある。記憶メモリは、データ及び命令の長期保持を提供するために不揮発性メモリを使用して実装される場合がある。

【0079】

メモリ７２０は、命令並びにデータを記憶するために使用される揮発性メモリと不揮発性メモリの組合せを指す場合がある。例えば、データ及び命令は、不揮発性メモリに記憶され、プロセッサ７１０による処理のために揮発性メモリにロードされる場合がある。命令の実行は、例えば、不揮発性メモリから揮発性メモリにロードされ、次いでプロセッサ７１０によって実行され得るフォーマットのマシンコードに変換されるコンパイルされたプログラム、適切なフォーマット、例えばプロセッサ７１０による実行のために揮発性メモリにロードされ得るオブジェクトコードに変換されるソースコード、又は揮発性メモリ内に命令を生成するために別の実行可能プログラムによって解釈され、プロセッサ７１０によって実行されるソースコードなどを含む場合がある。命令は、例えば、ＲＡＭ、ＲＯＭ、システムメモリ、ストレージ、又はそれらの任意の組合せを含むメモリ７２０の任意の部分又は構成要素に記憶又はロードされる場合がある。

【0080】

メモリ７２０は、クライアントデバイス７００の他の構成要素とは別個のものとして示されているが、メモリ７２０は、少なくとも部分的に、１つ又はそれ以上の構成要素に組み込まれるか、又はさもなければ統合され得ることを諒解されたい。例えば、プロセッサ７１０は、処理動作を実行するためのオンボードメモリレジスタ又はキャッシュを含む場合がある。

【0081】

Ｉ／Ｏ構成要素７３０には、例えば、タッチスクリーン、スピーカ、マイクロフォン、ボタン、スイッチ、ダイヤル、カメラ、センサ、加速度計、又はユーザ入力を受け取るか、若しくはユーザに向けられる出力を生成する他の構成要素が含まれる。Ｉ／Ｏ構成要素７３０は、ユーザ入力を受け取り、それをメモリ７２０に記憶するため、又はプロセッサ７１０によって処理するためのデータに変換することができる。Ｉ／Ｏ構成要素７３０は、メモリ７２０又はプロセッサ７１０によって出力されたデータを受け取り、それらをユーザによって知覚されるフォーマット（例えば、音、触覚応答、視覚情報など）に変換することができる。Ｉ／Ｏ構成要素７３０は、クライアントデバイスに結合された１つ又はそれ以上の物理カメラを含む場合がある。クライアントデバイス７００は、カメラのベースライン並びにそれらの合焦能力を制御することができる。

【0082】

特定のタイプのＩ／Ｏ構成要素７３０は、ディスプレイ７４０である。ディスプレイ７４０は、マルチビューディスプレイ（例えば、マルチビューディスプレイ１００）、２Ｄディスプレイと組み合わされたマルチビューディスプレイ、又は画像を提示する任意の他のディスプレイを含む場合がある。Ｉ／Ｏ構成要素７３０として機能する容量性タッチスクリーンレイヤは、ユーザが視覚出力を同時に知覚しながら入力を提供することを可能にするために、ディスプレイ内に積層される場合がある。プロセッサ７１０は、ディスプレイ７４０上に提示するための画像としてフォーマットされたデータを生成することができる。プロセッサ７１０は、命令を実行して、ユーザによって知覚されるためのディスプレイ上の画像をレンダリングすることができる。

【0083】

バス７５０は、プロセッサ７１０、メモリ７２０、Ｉ／Ｏ構成要素７３０、ディスプレイ７４０、及びクライアントデバイス７００の任意の他の構成要素の間の命令及びデータの通信を容易にする。バス７５０は、データ及び命令の通信を可能にするために、アドレス変換器、アドレスデコーダ、ファブリック、導電性トレース、導電性ワイヤ、ポート、プラグ、ソケット、及び他のコネクタを含む場合がある。

【0084】

メモリ７２０内の命令は、ソフトウェアスタックの少なくとも一部分を実装する方式で様々な形態に具現化される場合がある。例えば、命令は、オペレーティングシステム７２２、アプリケーション７２４、デバイスドライバ（例えば、ディスプレイドライバ７２６）、ファームウェア（例えば、ディスプレイファームウェア７２８）、又は他のソフトウェア構成要素として具現化される場合がある。オペレーティングシステム７２２は、クライアントデバイス７００の基本機能、例えば、タスクのスケジューリング、Ｉ／Ｏ構成要素７３０の制御、ハードウェアリソースへのアクセスの提供、電力の管理、及びアプリケーション７２４のサポートをサポートするソフトウェアプラットフォームである。

【0085】

アプリケーション７２４は、オペレーティングシステム７２２上で実行され、オペレーティングシステム７２２を介してクライアントデバイス７００のハードウェアリソースにアクセスすることができる。この点に関して、アプリケーション７２４の実行は、オペレーティングシステム７２２によって少なくとも部分的に制御される。アプリケーション７２４は、高レベルの機能、サービス、及び他の機能をユーザに提供するユーザレベルのソフトウェアプログラムであり得る。いくつかの実施形態では、アプリケーション７２４は、クライアントデバイス７００上でユーザがダウンロード可能又はさもなければアクセス可能な専用の「アプリ」であり得る。ユーザは、オペレーティングシステム７２２によって提供されるユーザインターフェースを介してアプリケーション７２４を起動することができる。アプリケーション７２４は、開発者によって開発され、様々なソースコードフォーマットで定義される場合がある。アプリケーション７２４は、いくつかのプログラミング言語又はスクリプト言語、例えば、Ｃ、Ｃ＋＋、Ｃ＃、Ｏｂｊｅｃｔｉｖｅ Ｃ、Ｊａｖａ（登録商標）、Ｓｗｉｆｔ、ＪａｖａＳｃｒｉｐｔ（登録商標）、Ｐｅｒｌ、ＰＨＰ、Ｖｉｓｕａｌ Ｂａｓｉｃ（登録商標）、Ｐｙｔｈｏｎ（登録商標）、Ｒｕｂｙ、Ｇｏ、又は他のプログラミング言語を使用して開発される場合がある。アプリケーション７２４は、コンパイラによってオブジェクトコードにコンパイルされるか、又はプロセッサ７１０による実行のためにインタープリタによって解釈される場合がある。アプリケーション７２４は、レンダラ又は他のグラフィックスレンダリングエンジンを含む場合がある。

【0086】

デバイスドライバ、例えばディスプレイドライバ７２６は、オペレーティングシステム７２２が様々なＩ／Ｏ構成要素７３０と通信することを可能にする命令を含む。各Ｉ／Ｏ構成要素７３０は、それ自体のデバイスドライバを有することができる。デバイスドライバは、それらがストレージに記憶され、システムメモリにロードされるようにインストールされ得る。例えば、インストール時に、ディスプレイドライバ７２６は、オペレーティングシステム７２２から受け取った高レベル表示命令を、画像を表示するためにディスプレイ７４０によって実施される低レベル命令に変換する。

【0087】

ファームウェア、例えばディスプレイファームウェア７２８は、Ｉ／Ｏ構成要素７３０又はディスプレイ７４０が低レベル動作を実行することを可能にするマシンコード又はアセンブリコードを含む場合がある。ファームウェアは、特定の構成要素の電気信号をより高いレベルの命令又はデータに変換することができる。例えば、ディスプレイファームウェア７２８は、電圧信号又は電流信号を調整することにより、ディスプレイ７４０が個々のピクセルを低レベルでどのようにアクティブ化するかを制御することができる。ファームウェアは、不揮発性メモリに記憶され、不揮発性メモリから直接実行される場合がある。例えば、ディスプレイファームウェア７２８は、ＲＯＭチップがクライアントデバイス７００の他のストレージ及びシステムメモリから分離されるように、ディスプレイ７４０に結合されたＲＯＭチップ内に具現化される場合がある。ディスプレイ７４０は、ディスプレイファームウェア７２８を実行するための処理回路を含む場合がある。

【0088】

オペレーティングシステム７２２、アプリケーション７２４、ドライバ（例えば、ディスプレイドライバ７２６）、ファームウェア（例えば、ディスプレイファームウェア）、及び潜在的に他の命令セットは、各々上述された機能及び動作を実行するためにクライアントデバイス７００のプロセッサ７１０又は他の処理回路によって実行可能な命令を含む場合がある。本明細書に記載された命令は、上述されたようにプロセッサ７１０によって実行されるソフトウェア又はコード内に具現化される場合があるが、代替として、命令はまた、専用ハードウェア又はソフトウェアと専用ハードウェアの組合せで具現化される場合がある。例えば、上述された命令によって実行される機能及び動作は、いくつかの技術のうちのいずれか１つ又はそれらの組合せを使用する回路又は状態機械として実装される場合がある。これらの技術は、限定はしないが、１つ又はそれ以上のデータ信号の印加時に様々な論理機能を実施するための論理ゲートを有する個別論理回路、適切な論理ゲートを有する特定用途向け集積回路（ASIC）、フィールドプログラマブルゲートアレイ（FPGA）、又は他の構成要素などを含む場合がある。

【0089】

記載された原理のいくつかの実施形態では、コンピュータシステムのプロセッサによって実行されると、多眼カメラリグのベースライン及び収束距離を決定する動作を実行する実行可能命令を記憶する非一時的コンピュータ可読記憶媒体が提供される。詳細には、上述された機能及び動作を実行する命令は、非一時的コンピュータ可読記憶媒体内で具現化される場合がある。例えば、いくつかの実施形態は、コンピューティングシステム（例えば、クライアントデバイス７００）のプロセッサ（例えば、プロセッサ７１０）によって実行されると、多眼カメラリグの収束距離又はベースラインを動的かつ自動的に更新するための様々な動作を含む、上述された様々な機能をプロセッサに実行させる実行可能命令を記憶する非一時的コンピュータ可読記憶媒体を対象とする場合がある。

【0090】

詳細には、非一時的コンピュータ可読記憶媒体に記憶された命令を実行するプロセッサによって実行される動作は、多眼カメラリグと多眼カメラリグの視野内の３次元（3D）シーン内の複数のサンプル点との間の距離を表す一組又は複数のサンプル点深度を決定することを含む場合があり、収束距離は複数のサンプル点深度の平均深度として設定される。動作は、複数のサンプル点深度の最小サンプル点深度を決定することをさらに含む場合があり、ベースラインは最小サンプル点深度と収束距離との間の差の逆数として設定される。いくつかの実施形態では、複数のサンプル点深度を決定することは、３Ｄシーンを表す画像の深度マップから、視差マップを使用して深度を算出すること、３Ｄシーンでレイキャスティングを実行して３Ｄシーン内のサンプル点深度を決定すること、及び深度センサを使用して多眼カメラリグと３Ｄシーン内のオブジェクトとの間の距離を測定することのうちの１つ又はそれ以上を含み、オブジェクトは複数のサンプル点のうちのサンプル点に対応する。いくつかの実施形態では、複数のサンプル点深度の平均深度は加重平均であり、加重平均の重みは、３Ｄシーンの焦点からの距離の減少関数に従って割り当てられる。

【0091】

本明細書では、「非一時的コンピュータ可読記憶媒体」は、命令実行システムによって、又はそれとともに使用するための本明細書に記載された命令を含むか、記憶するか、又は維持することができる任意の媒体として定義される。例えば、非一時的コンピュータ可読記憶媒体は、ライトフィールドカメラシステム５００又はクライアントデバイス７００によって、又はそれとともに使用するための命令を記憶することができる。さらに、非一時的コンピュータ可読記憶媒体は、上述されたクライアントデバイス７００の一部（例えば、メモリ７２０の一部）であってもなくてもよい。非一時的コンピュータ可読記憶媒体によって記憶される命令は、非一時的コンピュータ可読媒体からフェッチされ、処理回路（例えば、プロセッサ５２０又はプロセッサ７１０）によって実行され得る命令文、コード、又は宣言を含む場合があるが、それらに限定されない。さらに、「非一時的コンピュータ可読記憶媒体」という用語は、本明細書の定義により、例えば搬送波を含む一時的媒体を明示的に除外する。

【0092】

様々な実施形態によれば、非一時的コンピュータ可読媒体は、多くの物理媒体、例えば磁気媒体、光学媒体、又は半導体媒体のうちのいずれか１つを含む場合がある。適切な非一時的コンピュータ可読媒体のより具体的な例は、磁気テープ、磁気フロッピーディスケット、磁気ハードドライブ、メモリカード、ソリッドステートドライブ、ＵＳＢフラッシュドライブ、又は光ディスクを含む場合があるが、それらに限定されない。また、非一時的コンピュータ可読媒体は、例えば、スタティックランダムアクセスメモリ（SRAM）及びダイナミックランダムアクセスメモリ（DRAM）、又は磁気ランダムアクセスメモリ（MRAM）を含むランダムアクセスメモリ（RAM）であってもよい。加えて、非一時的コンピュータ可読媒体は、読取り専用メモリ（ROM）、プログラマブル読取り専用メモリ（PROM）、消去可能プログラマブル読取り専用メモリ（EPROM）、電気的消去可能プログラマブル読取り専用メモリ（EEPROM）、又は他のタイプのメモリデバイスであってもよい。

【0093】

クライアントデバイス７００は、上述された動作のいずれかを実行するか、又は上述された機能を実装することができる。例えば、上述されたプロセスフローは、命令を実行し、データを処理するクライアントデバイス７００によって実行される場合がある。クライアントデバイス７００は単一のデバイスとして示されているが、実施形態はそのように限定されない。いくつかの実施形態では、クライアントデバイス７００は、複数の他のクライアントデバイス７００又は他のコンピューティングデバイスが、一緒に動作して分散配置に記憶又はロードされ得る命令を実行するように、分散方式で命令の処理をオフロードすることができる。例えば、少なくともいくつかの命令又はデータは、クライアントデバイス７００と連携して動作するクラウドベースのシステム内で記憶、ロード、又は実行される場合がある。

【0094】

このように、ライトフィールドカメラシステムに適用して多眼カメラリグのベースライン及び収束距離を設定する例及び実施形態が記載されている。いくつかの実施形態では、ベースライン及び収束距離は、カメラビュー内の点の深度に基づいて動的に又はリアルタイムで決定される場合がある。上述された例は、本明細書に記載された原理を表す多くの具体例のうちの一部の単なる例示であることを理解されたい。明らかに、当業者は、本明細書に提示された説明から逸脱することなく、多数の他の構成を容易に考案することができる。

【符号の説明】

【0095】

１００ マルチビューディスプレイ
１１０ マルチビュー画像
１１２ ビュー
１２０ ビュー方向
２００ ３次元（３Ｄ）シーン
２０２ 木
２０４ 岩
２０８ 地面
２１０ カメラ
２２０ 錐台
２３０ 収束面
３００ 方法
３１０ ステップ
３２０ ステップ
３３０ ステップ
３４０ ステップ
４０２ ３Ｄシーン
４０４ オブジェクト
４１０ 多眼カメラリグ
４２０ 光線
５００ ライトフィールドカメラシステム
５１０ 多眼カメラリグ
５２０ プロセッサ
５３０ メモリ
５４０ マルチビューディスプレイ
６００ マルチビューディスプレイ
６０２ 放射光
６０２’ 広角放射光
６０２” 指向性放射光
６１０ 広角バックライト
６１０’ 発光面
６２０ マルチビューバックライト
６２２ マルチビーム素子
６２４ 導光体
６２６ 光源
６３０ ライトバルブ
７００ クライアントデバイス
７１０ プロセッサ
７２０ メモリ
７２２ オペレーティングシステム
７２４ アプリケーション
７２６ ディスプレイドライバ
７２８ ディスプレイファームウェア
７３０ Ｉ／Ｏ構成要素
７４０ ディスプレイ
７５０ バス
ｂ ベースライン
Ｄ_ｃｏｎｖ 収束距離
ｚ_ｍｉｎ 最小サンプル点深度
θ 仰角成分
φ 座角成分
σ コリメーション係数

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図7】

【手続補正書】

【提出日】2023-09-20

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】００１９

【補正方法】変更

【補正の内容】

【0019】

図１Ａは、本明細書に記載された原理と一致する一実施形態による、一例におけるマルチビューディスプレイ１００（又はマルチモードディスプレイのマルチビューモード）の斜視図を示す。図１Ａに示されたように、マルチビューディスプレイ１００は、視聴されるマルチビュー画像１１０を表示するように構成されたスクリーンを備える。マルチビューディスプレイ１００は、マルチビューディスプレイ１００のスクリーンに対して異なるビュー方向１２０にマルチビュー画像の異なるビュー１１２を提供する。ビュー方向１２ ０は、スクリーンから様々な異なる主角度方向に延在する矢印として示され、異なるビュー１１２は、（すなわち、ビュー方向１２０を描写する）矢印の終端において影付きの多角形ボックスとして示され、４つのビュー１１２及び４つのビュー方向１２０のみが示されているが、すべて例であり、限定ではない。図１Ａでは異なるビュー１１２がスクリーンの上方にあるものとして示されているが、マルチビュー画像１１０がマルチビューディスプレイ１００に表示されるとき、ビュー１１２は、実際にはスクリーン上、又はスクリーンの近傍に現れることに留意されたい。図１Ａにおいてマルチビューディスプレイ１００のスクリーンの上方にビュー１１２を描写することは、説明を簡単にするためだけであり、特定のビュー１１２に対応するビュー方向１２０のうちのそれぞれ１つからマルチビューディスプレイ１００を見ていることを表すことになっている。図示されたように、マルチビュー画像１１０を表示するように構成されたマルチビューディスプレイ１００は、様々な実施形態による、電話（例えば、携帯電話、スマートフォンなど）のディスプレイ（例えば、ディスプレイスクリーン）、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータのコンピュータモニタ、カメラディスプレイ、又は実質的に任意の他のデバイスの電子ディスプレイであってもよく、そのように機能してもよい。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００２６

【補正方法】変更

【補正の内容】

【0026】

例えば、２Ｄモードでは、広角バックライトは、マルチビューディスプレイシステムが２Ｄディスプレイのように動作するように画像を生成することができる。定義により、「広角」放射光は、マルチビュー画像又はマルチビューディスプレイのビューの円錐角よりも大きい円錐角を有する光として定義される。詳細には、いくつかの実施形態では、広角放射光は、約２０度よりも大きい（例えば、＞±２０°）円錐角を有することができる。他の実施形態では、広角放射光円錐角は、約３０度よりも大きい（例えば、＞±３０°）、又は約４０度よりも大きい（例えば、＞±４０°）、又は約５０度よりも大きい（例えば、＞±５０°）場合がある。例えば、広角放射光の円錐角は、約６０度よりも大きい（例えば、＞±６０°）場合がある。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００４３

【補正方法】変更

【補正の内容】

【0043】

他の実施形態では、複数のサンプル点深度を決定するステップ３１０は、３Ｄシーンの視差マップから深度を算出するステップを含む場合がある。いくつかの実施形態では、視差マップはシーンの画像とともに提供される場合がある。他の実施形態では、視差マップは、多眼カメラリグの異なるカメラによって記録された画像間の視覚的視差から算出される場合がある。詳細には、深度を算出するステップは、多眼カメラリグの異なるカメラによってキャプチャされた画像間の画像視差を使用するステップを含む場合がある。例えば、多眼カメラリグのカメラによってキャプチャされた３Ｄシーンの画像に関連付けられた深度バッファが調べられる場合がある。いくつかの実施形態では、深度を算出するステップは、画像視差から３Ｄシーンの視差マップを形成するステップをさらに含む場合がある。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】００４５

【補正方法】変更

【補正の内容】

【0045】

図３に示されたように、多眼カメラリグのベースライン及び収束距離を設定する方法３００は、複数のサンプル点深度の平均深度になるように収束距離を設定するステップ３２０をさらに含む。詳細には、複数のサンプル点深度におけるサンプル点深度の平均が算出される。次いで、収束距離がサンプル点深度の算出された平均に等しくなるように設定される。いくつかの実施形態では、複数のサンプル点深度は、すべてのサンプル点の深度を含む。他の実施形態では、複数のサンプル点深度は、サンプル点の総数よりも小さいサンプル点深度の選択を含む場合があり、例えば、セットは、関連するか又は重要であると考えられるサンプル点、例えば、３Ｄシーン内の主要なオブジェクト又は衝突物に関連付けられたサンプル点のみを含む場合がある。別の実施形態では（例えば、大規模な３Ｄモデルの場合）、複数のサンプル点深度は、複数の頂点のサブセット（例えば、１つおき又は３つおきの頂点）に対して決定される場合がある。図４を再び参照すると、平均サンプル深度（数１）が平均レイキャストヒット距離として示されている。

【手続補正5】

【補正対象書類名】明細書

【補正対象項目名】００５３

【補正方法】変更

【補正の内容】

【0053】

図３に再び戻ると、様々な実施形態によれば、多眼カメラリグのベースライン及び収束距離を設定する方法３００は、式（２）によって与えられるように、最小サンプル点深度と収束距離との間の差の負の逆数になるようにベースラインを設定するステップ３４０をさらに含み、

【手続補正6】

【補正対象書類名】明細書

【補正対象項目名】００５４

【補正方法】変更

【補正の内容】

【0054】

【数4】

ここで、ｂはベースラインであり、ｚ_ｍｉｎは最小サンプル点深度であり、Ｄ_ｃｏｎｖは収束距離であり、上述されたように提供される。

【手続補正7】

【補正対象書類名】明細書

【補正対象項目名】００５８

【補正方法】変更

【補正の内容】

【0058】

詳細には、いくつかの実施形態では、複数のサンプル点深度は、３Ｄシーンを表す画像の深度マップから、視差マップを使用して深度を算出すること、及び３Ｄシーン内でレイキャスティングを実行して３Ｄシーン内のサンプル点深度を決定することのうちの１つ又はそれ以上により、３１０で決定される場合がある。他の実施形態では、複数のサンプル点深度は、深度センサを使用して多眼カメラリグと３Ｄシーン内のオブジェクトとの間の距離を測定することにより、３１０で決定される場合があり、オブジェクトは複数のサンプル点のうちのサンプル点に対応する。いくつかの実施形態では、複数のサンプル点深度の平均深度は加重平均であり、加重平均の重みは、３Ｄシーンの焦点からの距離の減少関数に従って割り当てられる。

【手続補正8】

【補正対象書類名】明細書

【補正対象項目名】００６０

【補正方法】変更

【補正の内容】

【0060】

図５に示されたプロセッサ５２０によって実行されると、メモリ５３０に記憶された命令は、多眼カメラリグの収束距離及びベースラインを設定することをさらに実施する。収束距離は、複数のサンプル点深度の平均深度であってもよく、ベースラインは、様々な実施形態によれば、最小サンプル点深度マイナス収束距離の負の逆数であってもよい。いくつかの実施形態では、収束距離及びベースラインを設定することは、多眼カメラリグのベースライン及び収束距離を設定する上述された方法３００の収束距離を設定するステップ３２０及びベースラインを設定するステップ３４０と実質的に同様であり得る。

【手続補正9】

【補正対象書類名】明細書

【補正対象項目名】００６３

【補正方法】変更

【補正の内容】

【0063】

図６Ａは、本明細書に記載された原理と一致する一実施形態による、一例におけるマルチビューディスプレイ６００の断面図を示す。図６Ｂは、本明細書に記載された原理と一致する一実施形態による、別の例におけるマルチビューディスプレイ６００の断面図を示す。詳細には、図６Ａは、第１のモード又は２次元（2D）モードの間の又はそれに従うマルチビューディスプレイ６００を示す。図６Ｂは、第２のモード又はマルチビューモードの間の又はそれに従うマルチビューディスプレイ６００を示す。図６Ｃは、本明細書に記載された原理と一致する一実施形態による、一例におけるマルチビューディスプレイ６００の斜視図を示す。マルチビューディスプレイ６００は、限定ではなく例として、マルチビューモードの間に図６Ｃに示されている。さらに、様々な実施形態によれば、２Ｄモード及びマルチビューモードは、交互の第１及び第２の時間間隔（例えば、図６Ａと図６Ｂとの間で交互の）で２Ｄモード及びマルチビューモードを提供するために、時系列又は時間インターレース方式で時間多重化される場合がある。そのため、マルチビューディスプレイ６００は、「時間多重化モード切替え」マルチビューディスプレイと呼ばれる場合もある。

【手続補正10】

【補正対象書類名】明細書

【補正対象項目名】００９０

【補正方法】変更

【補正の内容】

【0090】

詳細には、非一時的コンピュータ可読記憶媒体に記憶された命令を実行するプロセッサによって実行される動作は、多眼カメラリグと多眼カメラリグの視野内の３次元（3D）シーン内の複数のサンプル点との間の距離を表す一組又は複数のサンプル点深度を決定することを含む場合があり、収束距離は複数のサンプル点深度の平均深度として設定される。動作は、複数のサンプル点深度の最小サンプル点深度を決定することをさらに含む場合があり、ベースラインは最小サンプル点深度と収束距離との間の差の負の逆数として設定される。いくつかの実施形態では、複数のサンプル点深度を決定することは、３Ｄシーンを表す画像の深度マップから、視差マップを使用して深度を算出すること、３Ｄシーン内でレイキャスティングを実行して３Ｄシーン内のサンプル点深度を決定すること、及び深度センサを使用して多眼カメラリグと３Ｄシーン内のオブジェクトとの間の距離を測定することのうちの１つ又はそれ以上を含み、オブジェクトは複数のサンプル点のうちのサンプル点に対応する。いくつかの実施形態では、複数のサンプル点深度の平均深度は加重平均であり、加重平均の重みは、３Ｄシーンの焦点からの距離の減少関数に従って割り当てられる。

【手続補正11】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項21】

前記複数のサンプル点深度の前記平均サンプル点深度が加重平均であり、前記加重平均の重みが前記３次元シーンの焦点からの距離の減少関数に従って割り当てられる、請求項１９に記載の非一時的コンピュータ可読記憶媒体。

【手続補正13】

【補正対象書類名】図面

【補正対象項目名】図３

【補正方法】変更

【補正の内容】

【図3】

【国際調査報告】