特表 2023-550074 マルチビュー画像収束面傾斜を用いたマルチビューディスプレイシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-11-30

(54)【発明の名称】マルチビュー画像収束面傾斜を用いたマルチビューディスプレイシステム及び方法

(51)【国際特許分類】

   H04N 13/111 20180101AFI20231122BHJP

   H04N 13/128 20180101ALI20231122BHJP

   H04N 13/302 20180101ALI20231122BHJP

   H04N 13/356 20180101ALI20231122BHJP

   G06T 15/00 20110101ALI20231122BHJP

【ＦＩ】

H04N13/111

H04N13/128

H04N13/302

H04N13/356

G06T15/00 501

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023528731

(86)(22)【出願日】2020-12-18

(85)【翻訳文提出日】2023-05-15

(86)【国際出願番号】 US2020066251

(87)【国際公開番号】W WO2022108609

(87)【国際公開日】2022-05-27

(31)【優先権主張番号】63/115,531

(32)【優先日】2020-11-18

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＳＷＩＦＴ

(71)【出願人】

【識別番号】514274546

【氏名又は名称】レイア、インコーポレイテッド

【氏名又は名称原語表記】ＬＥＩＡ ＩＮＣ．

(74)【代理人】

【識別番号】100092783

【弁理士】

【氏名又は名称】小林 浩

(74)【代理人】

【識別番号】100093676

【弁理士】

【氏名又は名称】小林 純子

(74)【代理人】

【識別番号】100120134

【弁理士】

【氏名又は名称】大森 規雄

(74)【代理人】

【識別番号】100126354

【弁理士】

【氏名又は名称】藤田 尚

(72)【発明者】

【氏名】ダルクィスト，ニコラス

(72)【発明者】

【氏名】オジュグ，ジェシー

【テーマコード（参考）】

5B080

【Ｆターム（参考）】

5B080AA19

5B080BA02

5B080BA04

5B080CA01

5B080CA04

5B080DA06

5B080FA02

5B080FA15

5B080GA00

5B080GA22

(57)【要約】

システム及び方法は、マルチビュー画像のビューをメモリにロードすることを対象とする。ビューは、ピクセル座標系によって定義されたビットマップとしてフォーマットされ得る。ビューと中心視点との間の距離が識別され得る。その後、ビューは、ピクセル座標系の軸に沿って適用される剪断機能に従って、剪断ビューとしてグラフィックスパイプラインにレンダリングされ得る。剪断機能の剪断強度は、ビューと中心視点との間の距離と相関する。

【特許請求の範囲】

【請求項1】

コンピュータ実装される、マルチビュー画像の収束面を傾斜させる方法であって、前記方法は、
前記マルチビュー画像のビューをメモリにロードするステップであって、前記ビューは、ピクセル座標系によって定義されるビットマップとしてフォーマットされる、ステップと、
前記ビューと中心視点との間の距離を識別するステップと、
前記ピクセル座標系の軸に沿って適用される剪断機能に従って、剪断ビューとして、グラフィックスパイプラインにおいて前記ビューをレンダリングするステップであって、前記剪断機能の剪断強度は、前記距離と相関する、ステップと、
を含む、マルチビュー画像の収束面を傾斜させる方法。

【請求項2】

前記剪断機能は、前記ビューを前記ピクセル座標系の水平軸に沿ってのみスキューするように構成される、請求項１に記載のマルチビュー画像の収束面を傾斜させる方法。

【請求項3】

前記マルチビュー画像は、ナビゲーションアプリケーションによって生成されたマップを含む、請求項２に記載のマルチビュー画像の収束面を傾斜させる方法。

【請求項4】

前記ビューと前記中心視点との間の前記距離は、前記マルチビュー画像の前記ビューの順序付けられたビュー番号を決定することによって識別される、請求項１に記載のマルチビュー画像の収束面を傾斜させる方法。

【請求項5】

ユーザインターフェースからユーザ入力を受信するステップと、
前記ユーザ入力に基づいて前記剪断強度を決定するステップと、
を更に含む、請求項１に記載のマルチビュー画像の収束面を傾斜させる方法。

【請求項6】

前記方法は、
前記マルチビュー画像の前記ビューと別のビューとの間の共通点における視差値を計算することによって、前記剪断強度を自動的に決定するステップを更に含む、請求項１に記載のマルチビュー画像の収束面を傾斜させる方法。

【請求項7】

ユーザインターフェースからユーザ入力を受信するステップと、
前記ユーザ入力に基づいて視差値範囲を決定するステップと、
前記視差値範囲内の視差値を有するピクセルに応答して、前記ビューの前記ピクセルに対して動作するようにシェーダを構成するステップと、
を更に含む、請求項１に記載のマルチビュー画像の収束面を傾斜させる方法。

【請求項8】

前記シェーダは、透明度動作および被写界深度動作のうちの少なくとも１つを実行するように構成される、請求項７に記載のマルチビュー画像の収束面を傾斜させる方法。

【請求項9】

マルチビューディスプレイシステムであって、前記システムは、
プロセッサと、
複数の命令を記憶するメモリと、を備え、前記複数の命令は、実行されると、前記プロセッサに、
マルチビュー画像のビューを前記メモリにロードするステップであって、前記ビューは、ピクセル座標系によって定義されるビットマップとしてフォーマットされる、ステップと、
前記ピクセル座標系の軸に沿って適用される剪断機能に従って、前記ビューを剪断ビューとしてレンダリングする命令をグラフィックスパイプラインに送信するステップであって、前記剪断機能の剪断強度は、前記マルチビュー画像内の他のビューに対する前記ビューの位置と相関する、ステップと、を行わせ、
前記グラフィックスパイプラインは、前記ビットマップのピクセルが前記グラフィックスパイプラインによってサンプリングされるときに前記剪断機能を実装するように構成され、
前記マルチビューディスプレイシステムは、前記グラフィックスパイプラインにおいて収束面を傾斜させるように構成される、マルチビューディスプレイシステム。

【請求項10】

前記剪断機能は、前記ビューを前記ピクセル座標系の水平軸に沿ってのみスキューするように構成される、請求項９に記載のマルチビューディスプレイシステム。

【請求項11】

前記マルチビュー画像は、ナビゲーションアプリケーションによって生成されたマップを含む、請求項９に記載のマルチビューディスプレイシステム。

【請求項12】

前記複数の命令は、実行されると、前記プロセッサに、
ユーザインターフェースからユーザ入力を受信するステップと、
前記ユーザ入力に基づいて前記剪断強度を決定するステップと、
を更に行わせる、請求項９に記載のマルチビューディスプレイシステム。

【請求項13】

前記複数の命令は、実行されると、前記プロセッサに、前記マルチビュー画像の前記ビューと別のビューとの間の共通点における視差値を計算することによって、前記剪断強度を自動的に決定するステップを更に行わせる、請求項９に記載のマルチビューディスプレイシステム。

【請求項14】

前記複数の命令は、実行されると、前記プロセッサに、
ユーザインターフェースからユーザ入力を受信するステップと、
前記ユーザ入力に基づいて視差値範囲を決定するステップと、
前記視差値範囲内の視差値を有するピクセルに応答して前記ビューの前記ピクセルに対して動作するようにシェーダを構成するステップと、
を更に行わせる、請求項９に記載のマルチビューディスプレイシステム。

【請求項15】

前記シェーダは、透明度動作および被写界深度動作のうちの少なくとも１つを実行するように構成される、請求項１４に記載のマルチビューディスプレイシステム。

【請求項16】

前記マルチビューディスプレイシステムは、広角バックライトを使用して２Ｄモード中に広角放射光を提供するように構成され、
前記マルチビューディスプレイシステムは、マルチビーム要素のアレイを有するマルチビューバックライトを使用してマルチビューモード中に指向性放射光を提供するように構成され、前記指向性放射光は、前記マルチビーム要素アレイの各マルチビーム要素によって提供される複数の指向性光ビームを含み、
前記マルチビューディスプレイシステムは、前記２Ｄモードに対応する第１の順次時間間隔中に前記広角バックライトを、前記マルチビューモードに対応する第２の順次時間間隔中に前記マルチビューバックライトを順次アクティブ化するために、モードコントローラを使用して前記２Ｄモードと前記マルチビューモードとを時間多重化するように構成され、
前記複数の指向性光ビームの指向性光ビーム方向は、マルチビュー画像の異なるビュー方向に対応する、請求項９に記載のマルチビューディスプレイシステム。

【請求項17】

前記マルチビューディスプレイシステムは、導光体内の光を導波光として導波するように構成され、
前記マルチビューディスプレイシステムは、前記マルチビーム要素アレイのマルチビーム要素を使用して、前記導波光の一部を前記指向性放射光として散乱させるように構成され、前記マルチビーム要素アレイの各マルチビーム要素は、回折格子、微小屈折要素、及び微小反射要素のうちの１つ又はそれ以上を備える、請求項１６に記載のマルチビューディスプレイシステム。

【請求項18】

コンピューティングシステムのプロセッサによって実行されると、グラフィックスパイプラインにおいて収束面を傾斜させることを実装する命令を記憶する非一時的コンピュータ可読記憶媒体であって、
マルチビュー画像の複数のビューを生成するステップであって、各ビューは、ピクセル座標系によって定義されるビットマップとしてフォーマットされ、前記複数のビューは、第１のビューと第２のビューとを備える、ステップと、
前記ピクセル座標系の軸に沿って適用される剪断機能の第１の剪断強度に従って、第１の剪断ビューとして、前記グラフィックスパイプラインにおいて前記第１のビューをレンダリングするステップと、
前記ピクセル座標系の前記軸に沿って適用される前記剪断機能の第２の剪断強度に従って、第２の剪断ビューとして、前記グラフィックスパイプラインにおいて前記第２のビューをレンダリングするステップと、
を含む、非一時的コンピュータ可読記憶媒体。

【請求項19】

前記剪断機能は、前記ピクセル座標系の水平軸に沿ってのみ適用される、請求項１８に記載の非一時的コンピュータ可読記憶媒体。

【請求項20】

前記剪断機能は、前記ピクセル座標系の垂直軸に沿って前記第１のビュー及び前記第２のビューをスキューするように構成される、請求項１８に記載の非一時的コンピュータ可読記憶媒体。

【請求項21】

前記第１の剪断強度は、負の剪断強度であり、前記第２の剪断強度は、正の剪断強度である、請求項１８に記載の非一時的コンピュータ可読記憶媒体。

【請求項22】

前記グラフィックスパイプラインは、前記マルチビュー画像の前記ビットマップのピクセルが前記グラフィックスパイプラインによってサンプリングされるときに前記剪断機能を実装するように構成される、請求項１８に記載の非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２０年１１月１８日に出願された米国仮特許出願第６３／１１５，５３１号に対する優先権を主張し、その全体が参照により本明細書に組み込まれる。

【0002】

連邦政府資金による研究開発の記載
Ｎ／Ａ

【背景技術】

【0003】

３次元（３Ｄ）空間内のシーンは、視野角に応じて複数の視点から見ることができる。加えて、立体視を用いてユーザによって視認されると、場面の異なる視点を表す複数のビューが、同時に知覚され、ユーザによって知覚され得る深度の感覚を効果的に生成することができる。マルチビューディスプレイは、３Ｄ世界においてシーンがどのように知覚されるかを表すために、複数のビューを有する画像を提示する。マルチビューディスプレイは、異なるビューを同時にレンダリングして、ユーザに現実的な体験を提供する。マルチビュー画像は、ソフトウェアによって動的に生成及び処理することができる。その後、これらをグラフィックスパイプラインによってリアルタイムでレンダリングすることができる。グラフィックスパイプラインは、表示のためにマルチビュー画像をレンダリングするときに、マルチビュー画像に対して種々の動作を適用することができる。

【発明の概要】

【0004】

本明細書で説明する原理による例及び実施形態の種々の特徴は、添付の図面とともに以下の詳細な説明を参照することによってより容易に理解され得、同様の参照番号は同様の構造要素を示す。

【図面の簡単な説明】

【0005】

【図1】本明細書で説明する原理と一致する一実施形態による、一例におけるマルチビュー画像を示す。

【0006】

【図2】本明細書で説明する原理と一致する一実施形態による、マルチビュー画像を生成する一例を示す。

【0007】

【図3】本明細書で説明する原理と一致する一実施形態による、マルチビュー画像の収束面を傾斜させる一例を示す。

【0008】

【図4】本明細書で説明する原理と一致する一実施形態による、マルチビュー画像の収束面を傾斜させるコンピューティングシステムの一例を示す。

【0009】

【図5A】本明細書で説明する原理と一致する一実施形態による、剪断機能を適用する例を示す。

【図5B】図５Ａの説明と同じ。

【0010】

【図6】本明細書で説明する原理と一致する一実施形態による、グラフィックスパイプラインとのインターフェースの一例を示す。

【0011】

【図7A】本明細書で説明する原理と一致する実施形態による、マルチビュー画像のレンダリングを構成するためのユーザインターフェースの例を示す。

【図7B】図７Ａの説明と同じ。

【0012】

【図8】本明細書で説明される原理と一致する一実施形態による、ピクセルがサンプリングされるときに剪断機能を適用するコンピューティングシステムの一例を示す。

【0013】

【図9】本明細書で説明する原理と一致する一実施形態による、マルチビュー画像の収束面を傾斜させるシステム及び方法のフローチャートを示す。

【0014】

【図10】本明細書で説明する原理と一致する一実施形態による、マルチビューディスプレイを提供するマルチビューディスプレイシステムの１つの例示的な図を示す概略ブロック図である。

【発明を実施するための形態】

【0015】

一部の例及び実施形態は、上記で参照した図に示された特徴に加えて、かつその代わりの特徴のうちの１つである他の特徴を有する。これら及び他の特徴は、上記で参照された図を参照して以下に詳述される。

【0016】

本明細書で説明する原理による例及び実施形態は、収束面を傾斜させることによってマルチビュー画像を知覚するユーザ体験を改善するための技術を提供する。デフォルトとして、収束面は、典型的には、カメラからある程度離れたカメラレンズと平行である。収束面と交差する物体は、かかる物体の異なるビュー間に視差がないように焦点が合って見える。しかしながら、視点が、例えば、鳥瞰ビュー角度などの極端な角度に変化すると、マルチビュー画像中の対象物体は、視認体験に悪影響を及ぼすように視差を受ける可能性がある。本明細書で説明するように、実施形態は、カメラのビューの角度に基づいて物体が知覚される方法を改善するために収束面を傾斜させることを対象とする。鳥瞰ビューの場合、収束面は、地面と実質的に平行になるように傾斜させることができる。その結果、地面により近い物体は、視認者の視点からより明確に知覚され得る。

【0017】

実施形態は、リアルタイムグラフィックスパイプラインにおいて収束面を傾斜させるためにグラフィックスレベル操作を適用することを対象とする。例えば、収束面は、マルチビュー画像がリアルタイムでレンダリングされるときに後処理動作の一部として傾斜されてもよい。グラフィックスパイプライン中のシェーダは、収束面を効果的に傾斜させるために異なるビューに剪断機能を適用するように構成され得る。例えば、シェーダは、得られたビューを剪断するようにマルチビュー画像のビューからピクセルをサンプリングしてもよい。剪断量は、特定のビューが中心視点から離れている程度に対応し得る。この目的のために、剪断機能は、マルチビューの異なるビューをリアルタイムで剪断して、収束面を効果的に傾斜させ、それによって、視認者にとってより良好な視認体験を作り出す。

【0018】

図１は、本明細書で説明する原理と一致する一実施形態による、一例におけるマルチビュー画像１０３を示している。マルチビュー画像１０３は、複数のビュー１０６を有する。ビュー１０６の各々は、異なるビュー方向１０９に対応する。ビュー１０６は、マルチビューディスプレイ１１２による表示のためにレンダリングされる。図１に示されるマルチビュー画像１０３は、鳥瞰視点からの地上の種々の建物のビューを示している。各ビュー１０６は、マルチビュー画像１０３の異なる視野角を表す。したがって、異なるビュー１０６は、互いに対してあるレベルの視差を有する。一部の実施形態では、視認者は、その右眼で１つのビュー１０６を知覚しながら、その左眼で異なるビュー１０６を知覚することができる。これは、視認者が同時に異なるビューを知覚することを可能にし、結果として立体視をもたらす。換言すれば、異なるビュー１０６は、３次元（３Ｄ）効果を生成する。

【0019】

一部の実施形態では、視認者がマルチビューディスプレイ１１２に対して自分の視野角を物理的に変更すると、視認者の眼は、マルチビュー画像１０３の異なるビュー１０６を捉えることができる。その結果、視認者は、マルチビューディスプレイ１１２と対話して、マルチビュー画像１０３の異なるビュー１０６を見ることができる。例えば、視認者が左に移動するにつれて、視認者は、マルチビュー画像１０３内の建物の左側のより多くを見ることができる。マルチビュー画像１０３は、水平面に沿って複数のビュー１０６を有することができ、かつ／又は垂直面に沿って複数のビュー１０６を有することができる。したがって、ユーザが異なるビュー１０６を見るために視野角を変更すると、視認者は、マルチビュー画像１０３の追加の視覚的詳細を得ることができる。表示のために処理されると、マルチビュー画像１０３は、異なるビュー１０６を記録するフォーマットのデータとして記憶される。

【0020】

上述のように、各ビュー１０６は、マルチビューディスプレイ１１２によって、異なる対応する主極大角度方向１０９に提示される。表示のためにマルチビュー画像１０３を提示するとき、ビュー１０６は、実際には、マルチビューディスプレイ１１２上又はその近傍に現れることができる。２Ｄディスプレイは、マルチビュー画像１０３の異なるビュー１０６とは対照的に、２Ｄディスプレイが概して単一のビュー（例えば、ビューのうちの１つのみ）を提供するように構成されることを除いて、マルチビューディスプレイ１１２と実質的に同様であり得る。

【0021】

本明細書では、「２次元ディスプレイ」又は「２Ｄディスプレイ」は、画像が見られる方向にかかわらず（すなわち、２Ｄディスプレイの所定の視野角又は範囲内で）実質的に同じである画像のビューを提供するように構成されたディスプレイとして定義される。２Ｄディスプレイの例として、スマートフォン及びコンピュータモニタに見られる従来の液晶ディスプレイ（ＬＣＤ）が挙げられる。対照的に、本明細書では、「マルチビューディスプレイ」は、ユーザの視点から同時に、異なるビュー方向に又は異なるビュー方向からマルチビュー画像の異なるビューを提供するように構成された電子ディスプレイ又はディスプレイシステムとして定義される。特に、異なるビュー１０６は、マルチビュー画像１０３の異なる斜視図を表すことができる。

【0022】

マルチビューディスプレイ１１２は、同時に知覚されるように異なる画像ビューの提示に対応する種々の技術を使用して実装することができる。マルチビューディスプレイの一例は、異なるビュー１０６の主な角度方向を制御するために回折格子を使用するものである。一部の実施形態によれば、マルチビューディスプレイ１１２は、異なるビューに対応する異なる色及び異なる方向の複数の光ビームを提示するものであるライトフィールドディスプレイであり得る。一部の例では、ライトフィールドディスプレイは、深度を知覚するために特別なアイウェアを必要とすることなくマルチビュー画像の裸眼立体表現を提供するために回折格子を使用し得る、いわゆる「裸眼」３次元（３Ｄ）ディスプレイである。一部の実施形態では、マルチビューディスプレイ１１２は、どのビュー１０６がユーザの各眼によって知覚されるかを制御するために眼鏡又は他のアイウェアを必要とする場合がある。

【0023】

一部の実施形態では、マルチビューディスプレイ１１２は、マルチビュー画像及び２Ｄ画像をレンダリングするマルチビューディスプレイシステムの一部である。このそれぞれにおいて、マルチビューディスプレイシステムは、異なるモードで動作する複数のバックライトを含み得る。例えば、マルチビューディスプレイシステムは、広角バックライトを使用して２Ｄモード中に広角放射光を提供するように構成されてもよい。加えて、マルチビューディスプレイシステムは、マルチビーム要素のアレイを有するマルチビューバックライトを使用してマルチビューモード中に指向性放射光を提供するように構成することができ、指向性放射光は、マルチビーム要素アレイの各マルチビーム要素によって提供される複数の指向性光ビームを含む。マルチビューディスプレイシステムは、２Ｄモードに対応する第１の順次時間間隔中に広角バックライトを、マルチビューモードに対応する第２の順次時間間隔中にマルチビューバックライトを順次アクティブ化するために、モードコントローラを使用して２Ｄモードとマルチビューモードとを時間多重化するように構成され得る。指向性光ビームの指向性光ビーム方向は、マルチビュー画像の異なるビュー方向に対応し得る。

【0024】

例えば、２Ｄモードでは、広角バックライトは、マルチビューディスプレイシステムが２Ｄディスプレイのように動作するように画像を生成してもよい。定義により、「広角」放射光は、マルチビュー画像又はマルチビューディスプレイのビューの円錐角よりも大きい円錐角を有する光として定義される。特に、一部の実施形態では、広角放射光は、約２０度よりも大きい（例えば、＞±２０°）円錐角を有することができる。他の実施形態では、広角放射光円錐角は、約３０度超（例えば、＞±３０°）又は約４０度超（例えば、＞±４０°）又は５０度超（例えば、＞±５０°）であってもよい。例えば、広角放射光の円錐角は、約６０度（例えば、＞±６０°）であってもよい。

【0025】

マルチビューモードは、広角バックライトの代わりにマルチビューバックライトを使用することができる。マルチビューバックライトは、互いに異なる主極大角度方向を有する複数の指向性光ビームとして光を散乱させるマルチビーム要素のアレイを有することができる。例えば、マルチビューディスプレイ１１２が、４つのビューを有するマルチビュー画像を表示するためにマルチビューモードで動作する場合、マルチビューバックライトは、光を４つの指向性光ビームに散乱させることができ、各指向性光ビームは異なるビューに対応する。モードコントローラは、マルチビューバックライトを用いてマルチビュー画像が第１の順次時間間隔で表示され、広角バックライトを用いて２Ｄ画像が第２の順次時間間隔で表示されるように、２Ｄモードとマルチビューモードとを連続的に切り替えることができる。

【0026】

一部の実施形態では、マルチビューディスプレイシステムは、導光体内の光を導波光として導波するように構成される。本明細書では、「導光体」は、全内部反射すなわち「ＴＩＲ」を使用して構造内で光を導く構造として定義される。特に、導光体は、導光体の動作波長で実質的に透明なコアを含み得る。種々の例では、「導光体」という用語は、概して、導光体の誘電体材料とその導光体を取り囲む材料又は媒体との間の界面において光を導波するために全内部反射を採用する誘電体光導波路を指す。定義によれば、全内部反射の条件は、導光体の屈折率が、導光体材料の表面に隣接する周囲媒体の屈折率よりも大きいことである。一部の実施形態では、導光体は、全内部反射を更に促進するために、前述の屈折率差に加えて、又はその代わりに、コーティングを含んでもよい。コーティングは、例えば、反射コーティングであってもよい。導光体は、プレート又はスラブガイド及びストリップガイドのうちの１つ又は両方を含むが、それらに限定されない、複数の導光体のうちのいずれかであり得る。導光体は、プレート又はスラブのような形状であり得る。導光体は、光源（例えば、発光デバイス）によってエッジ照明されてもよい。

【0027】

一部の実施形態では、マルチビューディスプレイシステムは、マルチビーム要素アレイのマルチビーム要素を使用して、導波光の一部分を指向性放射光として散乱させるように構成され、マルチビーム要素アレイの各マルチビーム要素は、回折格子、微小屈折要素、及び微小反射要素のうちの１つ又はそれ以上を備える。一部の実施形態では、マルチビーム要素の回折格子は、複数の個々のサブ格子を含み得る。一部の実施形態では、微小反射要素は、導波光部分を複数の指向性光ビームとして反射的に結合又は散乱させるように構成される。微小反射要素は、誘導光が散乱される方法を制御するための反射コーティングを有し得る。一部の実施形態では、マルチビーム要素は、屈折によって、又は屈折を使用して、導波光部分を複数の指向性光ビームとして結合又は散乱させる（すなわち、導波光部分を屈折的に散乱させる）ように構成された微小屈折要素を備える。

【0028】

図１に示すように、マルチビューディスプレイ１１２は、マルチビュー画像１０３を表示するスクリーンを備える。画面は、例えば、電話（例えば、携帯電話、スマートフォンなど）、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータのコンピュータモニタ、カメラディスプレイ、又は実質的に任意の他のデバイスの電子ディスプレイの表示画面であってもよい。

【0029】

図２は、本明細書で説明する原理と一致する一実施形態による、マルチビュー画像１１５を生成する一例を示している。図２のマルチビュー画像１１５は、地面１２０上の木１１８などの種々の物体を含む。木１１８及び地面１２０は物体と称されることがあり、これらは一緒にシーンの少なくとも一部を形成する。マルチビュー画像１１５は、図１に関して説明した方法と同様の方法で表示し、見ることができる。マルチビュー画像１１５を生成するために、カメラ１２１を使用してシーンをキャプチャすることができる。一部の実施形態では、カメラ１２１は、１つ又はそれ以上の物理カメラを含み得る。例えば、物理カメラは、光を捕捉し、それを画像として記録するためのレンズを含む。シーンの異なるビューをキャプチャしてマルチビュー画像１１５を作成するために、複数の物理カメラが使用され得る。例えば、各物理カメラは、シーン中の物体の異なるパースペクティブがキャプチャされることを可能にするために、定義された距離で離間されてもよい。異なる物理カメラ間の距離は、視認者の眼の間の距離が３Ｄビジョンを可能にするのと同じように、シーンの奥行きをキャプチャする能力を可能にする。

【0030】

カメラ１２１はまた、物理的なカメラとは対照的に、仮想（例えば、シミュレートされた又は仮想の）カメラを表すことができる。シーンは、コンピュータ生成情報を操作するコンピュータグラフィックス技術を使用して生成することができる。この例では、カメラ１２１は、画像を編集するためのソフトウェアツールを使用してシーンを生成するための視点を有する仮想カメラとして実装される。仮想カメラは、３Ｄモデルの視野角及び座標に関して定義することができる。３Ｄモデルは、仮想カメラによってキャプチャされる種々の物体を定義することができる。

【0031】

一部の実施形態では、マルチビュー画像１１５の１つ又はそれ以上のビューは、自動化アルゴリズム（例えば、コンピュータビジョン、人工知能、画像バッチ処理など）を通して生成することができる。例えば、物理カメラ又は仮想カメラを使用してシーンのビューを生成又はキャプチャした後、元のビューから予測、補間、又は外挿することによって、１つ又はそれ以上の他のビューが人工的に生成されてもよい。例えば、種々のコンピュータビジョン技術が、１つ又はそれ以上の入力ビューに基づいて追加のビューを生成してもよい。これは、１つ又はそれ以上の入力ビューから異なるビューを予測、補間、及び／又は外挿する訓練されたコンピュータビジョンモデルを採用することを含むことができる。

【0032】

カメラ１２１を使用してシーンのビューを生成又はキャプチャするとき、マルチビュー画像は、収束面１２７を有し得る。「収束面」又は「収束平面」は、異なるビュー間に視差がほとんどないように、異なるビューが整合される位置のセットとして定義される。収束面１２７は、ゼロ視差面（ＺＤＰ）と称されることもある。収束面１２７は、カメラ１２１の前方に生じる。カメラ１２１と収束面１２７との間の物体は、視認者のより近くに見え、一方、収束面１２７の背後の物体は、視認者からより遠くに見える。この点に関して、異なるビュー間の視差の程度は、物体が収束面１２７から離れて配置されるほど増加する。収束面１２７に沿った物体は、視認者に対して焦点が合って見える。したがって、マルチビュー画像１１５を生成するとき、特定の物体を主要な被写体として特徴付けることを望む作成者は、収束面１２７が主要な被写体に当たることを望む場合がある。ＺＤＰ上にレンダリングされたピクセルは、ディスプレイ上に位置しているかのように見え、ＺＤＰの前にレンダリングされたピクセルは、ディスプレイの前に位置しているかのように見え、ＺＤＰの後ろにレンダリングされたピクセルは、ディスプレイの後ろに位置しているかのように見えることがある。

【0033】

カメラ１２１は、カメラ１２１の視錐台１３０内に入るシーンをキャプチャする。視錐台１３０は、シーンの視野角範囲を定義する上限及び下限を有するように示されている。典型的には、デフォルトの収束面１２７は、カメラ１２１のカメラレンズによって形成される平面に平行であり、その結果、それは、視錐台１３０に対して台形を形成する。図２において、収束面１２７は、（カメラ１２１に対して）木１１８の底部及び木１１８の背面と交差する。その結果、木１１８の底部は、焦点が合っているように見え、ディスプレイ上に位置しているように見えるため、視認者にとって関心のある特徴点として見えることになる。

【0034】

図２はまた、マルチビュー画像１１５のビューのうちの１つの視差マップ１３３を示している。視差マップ１３３は、ビューのうちの少なくとも１つについて生成され得る。場合によっては、視差マップは生成されない。いずれの場合も、視差マップ１３３は、本明細書で説明される実施形態に関連する概念を示すために説明される。視差マップ１３３は、各ピクセル（又は潜在的にピクセルのクラスタ）を対応する視差値に関連付ける。視差値は、異なるビューの対応するピクセルに対する距離に関して視差を定量化する。例えば、第１のビューに対して大きい視差値を有するピクセルは、第２のビュー内の対応するピクセルに関して、ピクセル及び対応するピクセルが特定の視野角から視認者に見える場所に大きい差があることを意味する。

【0035】

本明細書において、「視差マップ」は、マルチビュー画像１１５の少なくとも２つのビュー間の明らかなピクセル差を示す情報として定義される。この点について、視差マップは、マルチビュー画像の２つのビューの２つのピクセル間の位置の差を示すことができる。視差がゼロである（例えば、ゼロに等しいか又はゼロに近い）場合、物体を表すピクセルは、視認者には同じ位置に見える。換言すれば、ユーザによって焦点が合っている物体は、複数のビュー（例えば、左眼ビュー及び右眼ビュー）の間でゼロ視差を有する。視差がほとんど又は全くない領域は、収束面１２７（又はＺＤＰ）に対応すると見なされる。焦点が合っている物体の前又は後ろに現れる物体は、種々の程度の視差で視差を有するため、収束面を超えている。例えば、カメラ１２１と収束面１２７との間の物体を表すピクセルは、正の視差値を有してもよく、収束面１２７の背後の物体を表すピクセルは、負の視差値を有してもよい。視差の絶対値が大きいほど、収束面１２７から遠ざかる。視差は、深度に反比例する。

【0036】

図２は、３つの領域１３５ａ～ｃを有する視差マップ１３３を示している。各領域１３５ａ～ｃは、種々の視差値を表すピクセルを包含する。例えば、下部領域１３５ａは、木１１８の前の地面１２０を表すピクセルに対応し、中間領域１３５ｂは、木１１８の下端を表すピクセルに対応し、上部領域１３５ｃは、木１１８の上端を表すピクセルに対応する。下部領域１３５ａにおける視差値は、収束面１２７の前のピクセルを表すため、比較的大きく、正であり得る。中間領域１３５ｂにおける視差値は、収束面１２７上のピクセルを表すため、ゼロに近くてもよい。上部領域１３５ｃにおける視差値は、収束面１２７の背後のピクセルを表すため、比較的大きく、負であり得る。マルチビューディスプレイ上にレンダリングされると、マルチビュー画像１１５は、地面１２０に対して広範囲の視差が存在するようにユーザによって知覚される。言い換えれば、地面１２０のごく一部のみに焦点が合ってディスプレイ上に位置するように見える。地面１２０の残りの部分は、ディスプレイの前又はディスプレイの後ろに現れる。この結果は、一部の用途では望ましくない場合がある。例えば、地面１２０に沿って移動する被写体又は地面上の種々の位置にある複数の被写体を特徴とするマルチビューコンテンツは、鳥瞰ビューから視認者に最適な方法で提示されないことがある。かかる場合には、収束面を傾斜させることが望ましい。

【0037】

図３は、本明細書で説明する原理と一致する一実施形態によるマルチビュー画像の収束面１２７を傾斜させる一例を示している。例えば、カメラ１２１の（仮想又は物理）レンズによって形成された平面に対して最初は平行である収束面１２７は、カメラ１２１の（仮想又は物理）レンズによって形成された平面に対して平行でない傾斜収束面１３８を形成するように傾斜されてもよい。図３は、収束面１２７（初期収束面と称され得る）と傾斜収束面１３８との間の角度として定量化され得る傾斜量１４１を示している。傾斜収束面１３８は、回転点（初期収束面１２７と傾斜収束面１３８との交点に示される）の周りで収束面１２７を回転させた結果として生成され得る。

【0038】

傾斜収束面１３８を適用することによって、マルチビュー画像は、より審美的に心地よい視認体験をもたらすことができる。例えば、傾斜収束面１３８は、地面１２０によって形成された平面に対応してもよい。その結果、地面に沿った物体は視差を有さず、それにより、地面がマルチビュー画像に広がるにつれて、視認者の注意を地面の方に引き付ける。例えば、地面上又は地面付近に位置する物体は、ディスプレイ上にあるかのように見え、地面より上の物体は、ディスプレイの前に見え、地面より下の物体は、ディスプレイの後ろに見える。

【0039】

数学的関係に関して、収束面１２７は、以下の式（１）に従って視差マップを修正することによって垂直（ｙ）軸に沿って傾斜させることができる。
Ｄ’（Ｘ，Ｙ）＝Ｄ（Ｘ，Ｙ）＋Ｔ＊Ｙ＋Ｃ （１）
ここで、「Ｄ」は視差値を指し、「Ｄ’」は更新された視差値を指し、視差値はピクセルのＸ及びＹ座標の関数であり、「Ｔ」は傾斜量１４１を定量化し、「Ｃ」は回転軸１５０によって定義される収束面１２７の回転の位置に対応する。上記の式を視差マップ１３３に適用することによって、視差は、回転軸１５０から離れるほど視差の変化が大きくなるように、垂直軸に沿って修正される。

【0040】

視差マップ１３３を修正して傾斜収束面１３８を作成することは、視差マップ１３３が容易に利用可能でないことがあるため、一部の実施形態では選択肢ではない場合がある。例えば、リアルタイムレンダリング環境では、視差マップを生成する帯域幅又は能力がないとき、マルチビュー画像がオンザフライでレンダリングされ、後処理されてもよい。この目的のために、視差マップ上で動作することは、グラフィックスパイプラインにおけるリアルタイムレンダリングを可能にしない場合がある。以下の図では、グラフィックスパイプラインを使用して、リアルタイムレンダリング環境において収束面１２７を傾斜させることを説明する。

【0041】

マルチビュー画像を生成又はレンダリングするとき、画像が表示される方法を制御する種々の視覚特性又は効果がある。これらの視覚特性として、例えば、視差、被写界深度（ＤｏＦ）、ベースライン、収束面、収束オフセット、透明度などが挙げられる。マルチビュー画像の視覚特性は、後処理動作としてレンダリング時に適用され得る。

【0042】

本明細書で使用される場合、「視差」は、対応する位置におけるマルチビュー画像の少なくとも２つのビュー間の差として定義される。例えば、立体視のコンテキストでは、左眼及び右眼は、眼の間の視野角の差により、同じ物体を見るが、わずかに異なる位置において見ることができる。この差は、視差として定量化することができる。マルチビュー画像にわたる視差の変化は、奥行きの感覚を伝える。

【0043】

本明細書で使用されるように、「被写界深度」は、焦点が合っていると見なされる２つの物体間の深度の差として定義される。例えば、マルチビュー画像の大きい被写界深度は、比較的大きい範囲の深度間の少量の視差をもたらす。

【0044】

本明細書で使用される場合、「ベースライン」又は「カメラベースライン」は、マルチビュー画像の対応するビューをキャプチャする２つのカメラ間の距離として定義される。例えば、立体視の文脈では、ベースラインは、左眼と右眼との間の距離である。より大きいベースラインは、視差の増加をもたらし、マルチビュー画像の３Ｄ効果を向上させ得る。

【0045】

本明細書で使用されるように、「収束オフセット」は、カメラと収束面に沿った点との間の距離を指す。収束オフセットを修正することは、異なる深度における新しい物体上にマルチビュー画像を再合焦させるように、収束面の場所を変化させる。

【0046】

本明細書で使用されるように、「透明度」は、物体の背後の他の物体が見られ得る程度を定義する物体特性を指す。物体は、マルチビュー画像の最終的なビューを形成するレイヤとしてレンダリングされ得る。前面層の透明度を増加させると、背面層が見えるようになる。最小透明度（例えば、透明度なし）は、背面層が見られることを防止し、最大透明度は、背面層を完全に露出させるように、特定の層を不可視にする。

【0047】

更に、本明細書で使用される場合、冠詞「ａ」は、特許技術分野におけるその通常の意味、すなわち「１つ又はそれ以上の」を有することが意図される。例えば、本明細書では、「プロセッサ」は１つ又はそれ以上のプロセッサを意味し、したがって、「メモリ」は「１つ又はそれ以上のメモリ構成要素」を意味する。

【0048】

図４は、本明細書で説明する原理と一致する一実施形態による、マルチビュー画像の収束面を傾斜させるコンピューティングシステムの一例を示している。収束面を傾斜させる動作は、視差マップを使用せずにグラフィックスパイプライン２００において行うことができる。図４は、収束面を傾斜させるためにグラフィックスパイプライン２００とインターフェースする一実施形態を示している。本明細書で使用される「グラフィックスパイプライン」は、モデルをレンダリングして表示するコンピュータ実装環境として定義される。グラフィックスパイプラインは、１つ又はそれ以上のグラフィックス処理装置（ＧＰＵ）、ＧＰＵコア、又は画像コンテンツを画面にレンダリングするために最適化された他の専用処理回路を含み得る。例えば、ＧＰＵは、データのアレイに対して並列に動作するように命令セットを実行するベクトルプロセッサを含んでもよい。グラフィックスパイプライン２００は、グラフィックスカード、グラフィックスドライバ、又はグラフィックスをレンダリングするために使用される他のハードウェア及びソフトウェアを含み得る。グラフィックスパイプライン２００は、マルチビューディスプレイ１１２上に画像をレンダリングするように構成され得る。グラフィックスパイプライン２００は、ディスプレイの対応する位置上にピクセルをマッピングし、画像をレンダリングするために光を放射するようにディスプレイを制御し得る。

【0049】

図４に示されるコンピューティングシステムはまた、１つ又はそれ以上の中央処理装置（ＣＰＵ）２０２を含み得る。ＣＰＵ２０２は、命令を実行し、オペレーティングシステムをサポートし、ユーザレベルアプリケーション２０５を提供する汎用プロセッサであり得る。一部の実施形態において、グラフィックスパイプライン２００は、ＣＰＵ２０２とは別個のサブシステムである。例えば、グラフィックスパイプライン２００は、ＣＰＵ２０２とは別個の専用プロセッサ（例えば、ＧＰＵ）を含んでもよい。一部の実施形態では、グラフィックスパイプライン２００は、ＣＰＵ２０２によって純粋にソフトウェアとして実装される。例えば、ＣＰＵ２０２は、専用グラフィックスハードウェアなしにグラフィックスパイプライン２００として動作するソフトウェアモジュールを実行してもよい。一部の実施形態では、グラフィックスパイプライン２００の一部は、専用ハードウェアで実装され、他の部分は、ＣＰＵ２０２によってソフトウェアモジュールとして実装される。

【0050】

アプリケーション２０５は、マルチビューディスプレイ１１２上に表示するためにグラフィックスパイプライン２００によってレンダリングされるユーザインターフェースを生成するユーザレベルアプリケーションであり得る。例えば、アプリケーション２０５は、通り、建物、及び他の地理的ランドマークを示す種々のマップをロードするナビゲーションアプリケーションであってもよい。ナビゲーションアプリケーションは、地理的エリアの３Ｄモデルを生成するユーザインターフェースを提供することができる。ナビゲーションアプリケーションは、仮想カメラの配向に基づいて３Ｄモデルの一部の視覚出力を生成するために、３Ｄモデルにおける仮想カメラの視野角を動的に更新することができる。

【0051】

コンピューティングシステムはまた、メモリ２０８を含み得る。メモリ２０８は、メインメモリ（例えば、システムメモリ）、キャッシュ、又はデータを迅速に処理するための他の高速メモリを含み得る。メモリ２０８は、揮発性メモリであってもよいが、以下で更に詳細に説明するように、不揮発性メモリを含んでもよい。メモリ２０８は、ＣＰＵ２０２及びグラフィックスパイプライン２００が同じメモリリソースを共有するように、ＣＰＵ２０２のためのメモリとグラフィックスパイプライン２００のためのメモリとを含み得る。一部の実施形態では、メモリ２０８は、ＣＰＵ専用の第１のメモリ（例えば、ＣＰＵメモリ）を含み、グラフィックスパイプライン２００専用の第２のメモリ（例えば、ＧＰＵメモリ、テクスチャメモリなど）を含む。この実施形態では、グラフィックスパイプライン２００は、ＣＰＵメモリからＧＰＵメモリにコンテンツをロードし、コピーし、又は別様に移動させることができる。

【0052】

上述したように、アプリケーション２０５は、３Ｄモデリングのためのコンピュータグラフィックス技術を使用して３Ｄモデルを生成することができる。３Ｄモデルは、異なる物体の種々の表面及びテクスチャの数学的表現であり、物体間の空間的関係を含み得る。アプリケーション２０５は、ユーザ入力に応じて３Ｄモデルを生成及び更新することができる。ユーザ入力は、カーソルをクリック又はドラッグすること、方向ボタンを押すこと、ユーザの物理的位置を３Ｄモデル内の仮想位置に変換することなどによって３Ｄモデルをナビゲートすることを含み得る。３Ｄモデルは、メモリ２０８にロードされ、その後、更新され得る。

【0053】

３Ｄモデルは、３Ｄモデルへのウィンドウを明らかにするマルチビュー画像２１１に変換することができる。ウィンドウは、３Ｄモデル内の座標のセット、視野角、焦点距離、ベースラインなどを有する仮想カメラによって定義することができる。マルチビュー画像２１１のシーケンスは、特定のフレームレート（例えば、毎秒３０フレーム）で表示されるビデオを形成することができる。各マルチビュー画像２１１は、複数のビュー２１４ａ～ｄから構成され得る。図４の例は、４つのビューを有する４ビュー画像としてフォーマットされたマルチビュー画像２１１を示すが、任意の数のビューが使用され得る。ビュー２１４ａ～ｄは、水平視差、垂直視差、又は両方を提供するように構成され得る。例えば、水平視差があるとき、ビュー２１４ａ～ｄは、視認者がマルチビューディスプレイ１１２に対して左から右に移動するにつれて変化するように見える。

【0054】

アプリケーション２０５は、マルチビュー画像２１１のビュー２１４ａ～ｄをメモリ２０８にロードすることができる。例えば、アプリケーション２０５は、３Ｄモデルを、３Ｄモデルから導出されたマルチビュー画像２１１を示すためのレンダリングされたシーンに変換するように構成されてもよい。１つ又はそれ以上のビュー２１４ａ～ｄは、アプリケーション２０５によって生成され、メモリ２０８の特定のブロックに配置される。ビュー２１４ａ～ｄは、ピクセル座標系によって定義されたビットマップとしてフォーマットされ得る。例えば、ビュー２１４ａ～ｄは、水平（Ｘ）軸及び垂直（Ｙ）軸に沿ったビットマップの２次元アレイとして表現されてもよい。ビットマップ内の各ピクセルは、ディスプレイ上の対応する位置を有する。例えば、ビットマップの最も左上のピクセルは、ディスプレイの最も左上のピクセルの出力を制御する。加えて、各ビュー２１４ａ～ｄは、対応するビューインデックス番号２２０を有し得る。ビューインデックス番号２２０は、マルチビュー画像２１１内のビューの順序付けられたビュー番号であり得る。例えば、４ビューマルチビューフォーマットでは、４つのビューの各々は、１、２、３、及び４と番号付けされてもよい。ビューインデックス番号２２０は、他のビューに対するビューの位置を示す。例えば、ビュー１は最左ビューであり得、ビュー２は左中央ビューであり得、ビュー３は右中央ビューであり得、ビュー４は最右ビューであり得る。この場合、最大視差は、ビュー１とビュー４との間である。

【0055】

ビュー２１４ａ～ｄが生成され、メモリ２０８にロードされると、アプリケーション２０５は、グラフィックスパイプライン２００へのレンダリングコマンド２２１を呼び出すことができる。レンダリングコマンド２２１は、グラフィックスパイプライン２００にマルチビュー画像２１１のレンダリングを開始するように命令する。レンダリングコマンド２２１は、グラフィックスパイプライン２００にマルチビュー画像２１１をレンダリングさせるためのグラフィックスドライバへの関数呼び出しとすることができる。レンダリングコマンド２２１は、レンダリングされる特定のマルチビュー画像２１１を識別することができる。例えば、レンダリングコマンド２２１は、マルチビュー画像２１１が記憶されているアドレスブロックを識別してもよい。

【0056】

グラフィックスパイプライン２００は、マルチビュー画像２１１をレンダリングするための１つ又はそれ以上のシェーダ２２６を含み得る。シェーダ２２６は、ハードウェアデバイス（例えば、シェーダコア）、ソフトウェアモジュール、又はそれらの組み合わせであり得る。シェーダ２２６は、グラフィックスパイプライン２００のＧＰＵによって実行され得る。マルチビュー画像２１１の初期レンダリングは、マルチビュー画像２１１の単純版又はラフ版をレンダリングするために、例えば、ラスタライゼーションなどの種々の技術を実行するモジュールによって実行され得る。初期レンダリング動作は、表示のためにシーンジオメトリをピクセルに変換するための、迅速で非常に効率的な動作であり得る。初期レンダリングは、より高度な光学的に高度な効果を含まなくてもよい。一部の実施形態では、シェーダ２２６が初期レンダリングにおいて使用され得る。

【0057】

初期レンダリングが実行された後、最初にレンダリングされたマルチビュー画像に１つ又はそれ以上の高度な光学効果を適用することができる。光学効果は、１つ又はそれ以上のシェーダ２２６を使用して適用することができる。最初にレンダリングされたマルチビュー画像２１１に作用することによって、シェーダ２２６は、後処理効果を実装すると見なされる。本明細書で使用される場合、「後処理」は、グラフィックスパイプライン２００におけるレンダリングプロセスの一部として最初にレンダリングされる画像に対して実行される動作として定義される。異なるシェーダ２２６を、後処理を実行するように構成することができる。後処理の一部の例として、限定はしないが、色飽和を修正すること、色相を修正すること、輝度を調整すること、コントラストを調整すること、ブラーを適用すること、ボリュメトリックライティングを実行すること、深度効果を適用すること、セルシェーディングを実行すること、ボケ効果を生成すること、１つ又はそれ以上のフィルタを適用することが挙げられる。本明細書で使用する「シェーダ」は、例えば、初期レンダリング又は後処理を含む特定のグラフィックス動作を適用するグラフィックスパイプライン内のグラフィックス構成要素であると定義される。

【0058】

アプリケーション２０５は、１つ又はそれ以上のアプリケーションプログラミングインターフェース（ＡＰＩ）を使用してグラフィックスパイプライン２００とインターフェースすることができる。ＡＰＩの一例は、アプリケーション２０５がグラフィックスパイプライン２００において実行される機能を呼び出すことを可能にするためのインターフェースを提供するＯｐｅｎＧＬである。例えば、最初にレンダリングされたマルチビュー画像２１１に対して後処理を実行する特定のシェーダ２２６を呼び出すために、アプリケーション２０５によってＡＰＩが使用されてもよい。

【0059】

実施形態は、リアルタイムレンダリング中に収束面を傾斜させるためにグラフィックスパイプライン２００において機能を実装することを対象とする。以下は、コンピューティングシステム内で行われ得る機能及び動作の一例を提供する。上述したように、アプリケーション２０５は、マルチビュー画像２１１のビュー２１４ａ～ｄを生成し、メモリ２０８にロードすることができる。オペレーティングシステム上で実行されるアプリケーション２０５は、ビュー２１４ａ～ｄをメモリ２０８のブロックにロードするようにＣＰＵに命令することができる。

【0060】

ビュー２１４ａ～ｄは、ピクセル座標系によって定義されたビットマップとしてフォーマットされ得る。ビュー２１４ａ～ｄは、３Ｄモデルの特定の視点及び視野角を識別し、それをビットマップに変換することによって、３Ｄモデルから生成され得る。これは、マルチビュー画像２１１の各ビューについて実行することができる。次いで、アプリケーション２０５は、レンダリングコマンド２２１を呼び出して、マルチビュー画像２１１のビュー２１４ａ～ｄを最初にレンダリングすることができる。例えば、アプリケーション２０５は、ＡＰＩを使用して、初期レンダリングを実行するようにグラフィックスパイプライン２００に要求してもよい。それに応答して、グラフィックスパイプライン２００は、例えば、ラスタライゼーションを実行することによって、最初にレンダリングされたビュー２１４ａ～ｄを生成してもよい。リアルタイムグラフィックスレンダリング環境では、グラフィックスパイプライン２００は、オンザフライでビュー２１４ａ～ｄを迅速にレンダリングするように最適化され得る。これは、新しいマルチビュー画像２１１が動的に生成される（及び事前レンダリングされない）ため、シームレスな体験を視認者に提供する。

【0061】

次に、アプリケーション２０５は、収束面をリアルタイムで傾斜させるように構成される。例えば、アプリケーション２０５は、ビュー２１４ａ～ｄと中心視点との間の距離を識別してもよい。異なるビュー２１４ａ～ｄが、中心視点に対して種々の程度の水平視差を有する場合を仮定すると、水平軸に沿った各ビューと中心視点との間の距離が決定され得る。この距離は、ベースライン（例えば、ビュー間の距離）に依存する。例えば、ベースラインが大きいほど、中心視点からの距離が大きくなる。一部の実施形態では、ビュー２１４ａ～ｄと中心視点との間の距離は、マルチビュー画像２１１内のビュー２１４ａ～ｄの順序付けられたビュー番号（例えば、ビューインデックス番号２２０）を決定することによって識別される。例えば、マルチビュー画像２１１のビュー２１４ａ～ｄが１から４まで順序付けられる場合、ビュー１は最も左側に配置され、ビュー４は最も右側に配置される。ビューインデックス番号２２０は、ビュー２１４ａ～ｄと中心視点との間の距離に対応する。例えば、１のビューインデックス番号２２０は、中心の左に５０ピクセルの距離に対応し得、２のビューインデックスは、中心の左に２５ピクセルの距離に対応し得、３のビューインデックス番号２２０は、中心の右に２５ピクセルの距離に対応し得、４のビューインデックスは、中心の右に５０ピクセルの距離に対応し得る。中心からの距離は、ビューが中心の左にあるかどうかを示すための符号付きの数（例えば、正又は負）であり得る。例えば、負の距離は、ビューが中心の左にあることを示し得、一方、正の距離は、ビューが中心の右にあることを示し得る。

【0062】

中心視点からのビュー２１４ａ～ｄの距離を決定することは、リアルタイムグラフィックスパイプライン２００において収束面をどのように傾斜させるかを判定することの一部である。アプリケーション２０５は、剪断機能を使用することによって、収束面を傾斜させるためのレンダリング命令を生成することができる。アプリケーション２０５は、グラフィックスパイプライン２００に、ビューを剪断ビューとしてレンダリングする命令を送信することができる。この点において、アプリケーション２０５は、ピクセル座標系の軸に沿って適用される剪断機能に従って剪断されるように、最初にレンダリングされたマルチビュー画像を後処理するための命令を呼び出すことができる。具体的には、グラフィックスパイプライン２００は、グラフィックスパイプライン２００内のビュー２１４ａ～ｄを、剪断機能に従って剪断ビューとしてレンダリングすることができる。剪断機能の剪断強度は、ビュー２１４ａ～ｄと中心視点との間の距離と相関する。本明細書で使用される「剪断機能」は、剪断強度による方向に沿って画像のピクセルを変位させるグラフィックス操作として定義される。剪断強度は、剪断機能によって画像に適用される剪断効果の量を定量化する。剪断機能の剪断強度は、マルチビュー画像内の他のビューに対するビューの位置と相関し得る。以下に説明する図５は、剪断機能の視覚的説明を提供する。

【0063】

剪断機能を実行すると、マルチビュー画像２１１がグラフィックスパイプラインにおいてレンダリングされるときに、収束面がリアルタイムで傾斜する。シェーダ２２６は、剪断機能を実装するようにカスタマイズすることができる。この点において、アプリケーション２０５は、シェーダ２２６を呼び出して、最初にレンダリングされたマルチビュー画像２１１に対して剪断機能を実行することができる。剪断機能をマルチビュー画像のビュー２１４ａ～ｄに適用した後、グラフィックスパイプライン２００は、その結果を剪断マルチビュー画像２３２としてメモリ２０８にロードすることができる。グラフィックスパイプライン２００は、剪断マルチビュー画像２３２でマルチビュー画像２１１をオーバーライドすることができ、又は剪断マルチビュー画像２３２をメモリ２０８の別個の部分にロードすることができる。最終的にマルチビューディスプレイ１１２上にレンダリングされる前に、剪断マルチビュー画像２３２に追加の後処理を適用することができる。

【0064】

図５Ａ及び図５Ｂは、本明細書で説明する原理と一致する一実施形態による、剪断機能を適用する一例を示している。図５Ａは、マルチビュー画像の異なるビューを示している。各ビューは、例えば図４のメモリ２０８などのメモリに記憶又はロードされるビットマップ画像としてフォーマットされ得る。４つのビューが示されているが、マルチビュー画像は任意の数のビューを有することができる。図５Ａに示されるビュー（例えば、ビュー１、ビュー２、ビュー３、及びビュー４）は、水平視差を有する。図５Ａのマルチビュー画像は、中心視点２３５を有することができる。視認者は、水平軸に沿って（例えば、左から右に又は右から左に）移動することによってマルチビュー画像中の物体の周りを見ることができる。

【0065】

各ビューは、中心視点２３５までの対応する距離を有し得る。図５Ａは、各ビューの中心から測定されたこの距離を示すが、距離は、例えば、左端又は右端などのビューの任意の点から測定されてもよい。ビュー１は、中心視点２３５から「Ｄ１」の距離だけ離れている。ビュー２は、中心視点２３５から「Ｄ２」の距離だけ離れている。ビュー３は、中心視点２３５から「Ｄ２」の距離だけ離れている。ビュー４は、中心視点２３５から「Ｄ４」の距離だけ離れている。距離Ｄ１及びＤ２は、それが中心視点２３５の左にあることを示す負の値であり得、距離Ｄ３及びＤ４は、それが中心視点２３５の右にあることを示す正の値であり得る。

【0066】

図５Ａは、メモリにロードされるときのマルチビュー画像と、後処理の前にグラフィックスパイプラインによって最初にレンダリングされるときにどのように見えるかとを示している。図５Ｂは、リアルタイムグラフィックスパイプライン（例えば、図４のグラフィックスパイプライン２００）における後処理の一部として剪断機能によって剪断された後のマルチビュー画像を示している。具体的には、図５Ｂは、ビュー１から生成された剪断ビュー１、ビュー２から生成された剪断ビュー２、ビュー３から生成された剪断ビュー３、及びビュー４から生成された剪断ビュー４を示している。剪断ビュー１～４の各々は、剪断強度を適用する剪断機能によって生成される。剪断強度は、ビューと中心視点２３５との間の距離（例えば、Ｄ１～Ｄ４）に基づいて決定される。例えば、中心視点２３５からの距離が大きくなるほど、剪断強度は大きくなる。加えて、剪断強度の符号（例えば、正又は負）は、距離の符号によって定義される。剪断強度の符号は、剪断機能によって加えられる剪断の方向を制御する。

【0067】

剪断機能はまた、剪断線２３８によって定義することができる。剪断線２３８は、各ビューがどのように剪断されるかを制御する特定の軸に沿って延在することができる。剪断機能は、剪断線２３８に従って動作する。図５Ｂの例は、水平軸に沿った剪断線２３８を示している。その結果、剪断機能は、ピクセル座標系の水平軸に沿ってのみビューをスキューするように構成される。この点、ピクセル座標系上のピクセルは水平方向にのみ変位する。ピクセル変位の方向及び程度は、中心視点２３５までのビューの距離（例えば、正又は負の距離のいずれか）、並びに変位されているピクセルが剪断線２３８の上方又は下方にあるかどうかに依存する。例えば、剪断ビュー１及び剪断ビュー２では、剪断線２３８の上のピクセルは右にスキューされ、剪断線２３８の下のピクセルは左にスキューされる。剪断ビュー３及び剪断ビュー４では、剪断線２３８より上のピクセルは左にスキューされ、剪断線２３８より下のピクセルは右にスキューされる。

【0068】

図５Ｂはまた、対応する剪断ビュー１～４の剪断効果２４１ａ～ｄを示している。より強い剪断効果は、ビューをより剪断させる。剪断効果は、大きな剪断強度がより大きな剪断効果２４１ａ～ｄをもたらすように、剪断強度によって決定される。例えば、剪断強度は、収束面の傾斜量に基づいてもよい。加えて、剪断強度は、ビューが中心視点２３５から離れるにつれて増加する。例えば、剪断ビュー１の剪断効果２４１ａは、剪断ビュー２の剪断効果２４１ｂよりも強いが、これは、剪断ビュー１は、中心視点２３５からより遠く離れているからである。加えて、剪断ビュー１及び剪断ビュー４は中心視点２３５から等距離にあるため、剪断ビュー１の剪断効果２４１ａは剪断ビュー４の剪断効果２４１ｄと同様である。しかしながら、剪断ビュー１及び剪断ビュー４は、中心視点２３５の反対側にあるため、剪断効果２４１ａ、２４１ｄの反対の方向を有する。

【0069】

剪断線２３８は、デフォルトとして、垂直軸に沿って中央に位置する水平線を形成することができる。他の実施形態では、剪断線２３８は、種々の垂直位置に配置されてもよく、ユーザ指定されてもよい。図５Ｂは水平剪断線２３８を示しているが、剪断線２３８は垂直であってもよい。この実施形態では、剪断機能は、ピクセル座標系の垂直軸に沿って第１のビュー及び第２のビューをスキューするように構成される。一部の実施形態では、剪断線２３８は、水平軸及び垂直軸に沿って変化する点を有するように傾斜又は湾曲している。この例では、ピクセルは、Ｘ方向及びＹ方向の両方に沿って変位され得る。

【0070】

一実施形態は、ユーザが物理空間又は仮想空間をナビゲートしているときにマップシーンのマルチビュー画像を動的に生成するためにナビゲーションアプリケーションを使用することを企図している。カメラ角度が鳥瞰ビューと同様であるか、又はそれに近い場合、収束面は水平軸の周りに傾斜され得る。その結果、剪断機能は、ピクセル座標系の水平軸に沿ってのみビューをスキューするように構成される。

【0071】

図６は、本明細書で説明する原理と一致する一実施形態による、グラフィックスパイプラインとのインターフェースの一例を示している。上述のように、アプリケーション２０５は、グラフィックスパイプライン２００とインターフェースすることができる。例えば、アプリケーション２０５は、クライアントデバイスのオペレーティングシステム上で実行されるユーザレベルアプリケーションであってもよい。アプリケーション２０５はまた、サーバ上で実行され、クライアントデバイスを介してユーザに提供されるクラウドベースのアプリケーションとして実装されてもよい。アプリケーション２０５は、１つ又はそれ以上のＡＰＩを使用してグラフィックスパイプライン２００とインターフェースすることができる。アプリケーション２０５は、ビューを計算する役割を担う。ビューは、ユーザが入力を提供するにつれて、３Ｄモデルから動的に計算され得る。例えば、ユーザは、３Ｄモデルによって定義されたシーンをキャプチャするカメラのパースペクティブ、ズーム、配向、又は位置を変更するための命令又は入力を与えてもよい。これに応答して、アプリケーション２０５は、マルチビュー画像のビューをリアルタイムで計算することができる。この場合、マルチビュー画像は、リアルタイムグラフィックスパイプラインにおいてレンダリングされるべきビデオのフレームであり得る。

【0072】

マルチビュー画像のビューは、ユーザ対話に応答して動的に計算することができる。アプリケーション２０５は、アプリケーション２０５によって計算されているいずれか又は全てのビューのリアルタイムレンダリングを実行するために、グラフィックスパイプライン２００へのコマンドを生成することができる。例えば、アプリケーション２０５は、ＡＰＩ関数呼び出しをグラフィックスパイプライン２００に送信して、ビューをレンダリングしてもよい。

【0073】

リアルタイムレンダリングは、初期レンダリング部分及び後処理部分を含み得る。初期レンダリング部分は、初期ビューをレンダリングするためのグラフィックスパイプライン２００を含む。上記で説明したように、ビューは、高度な光学効果なしにディスプレイ上にマルチビュー画像のピクセルを迅速にレンダリングするために最初にレンダリングされる。初期レンダリングを実行するためにシェーダが使用され得る。その後、アプリケーション２０５は、１つ又はそれ以上の後処理動作を呼び出して、初期レンダリングを最終レンダリングに変換することができる。後処理は、最初にレンダリングされた画像の品質又はリアリズムを改善する画像編集操作を適用することができる。実施形態によれば、アプリケーション２０５は、収束面を傾斜させるようにグラフィックスパイプライン２００に命令する。例えば、グラフィックスパイプライン２００は、各ビューに剪断機能を適用する。剪断機能の剪断強度は、マルチビュー画像内の他のビューに対するビューの位置と相関する。剪断機能を実装するためにシェーダが使用され得る。アプリケーション２０５は、剪断強度、剪断線、又はその両方をグラフィックスパイプラインへの入力として提供することができる。マルチビュー画像の剪断ビューは、次いで、マルチビューディスプレイ１１２上にレンダリングされる。このプロセスは、アプリケーション２０５がリアルタイムでレンダリングされる新しいマルチビュー画像を生成するときに連続的に行われる。

【0074】

図７Ａ及び図７Ｂは、本明細書で説明する原理と一致する実施形態による、マルチビュー画像のレンダリングを構成するためのユーザインターフェース２４４の例を示している。概して、ソフトウェア開発及び使用の２つのモード、すなわち、構成モード及びランタイムモードがある。構成モードは、開発者がソフトウェアアプリケーションを作成し、構成するモードを指す。例えば、アプリケーションは、開発者が構成モード中にナビゲーションアプリケーションを作成することを可能にしてもよい。開発者は、所望のカメラアングル、後処理動作、及びマルチビュー画像がどのようにレンダリングされるかの他の態様を指定することができる。ランタイムモードは、エンドユーザが、開発者によって構成されたソフトウェアを実行するモードを指す。

【0075】

ユーザインターフェース２４４は、クライアントデバイス上でレンダリングされ、ランタイムモード中にマルチビュー画像を最終的にレンダリングするアプリケーションを開発している開発者によって構成モード中に使用され得る。ユーザインターフェースは、ユーザに提示される情報（例えば、テキスト及びグラフィックス）を含むウィンドウを含み得る。ユーザインターフェース２４４は、エンドユーザアプリケーションを設計するために使用されるアプリケーションによって生成され得る。例えば、ユーザインターフェース２４４は、ナビゲーションアプリケーション、ゲームアプリケーション、又は他のアプリケーションを設計するために開発者によって使用されてもよい。ユーザインターフェース２４４は、グラフィックスを設計する開発者、及びグラフィックスが他のユーザに提示される方法によって使用されてもよい。ユーザインターフェース２４４はまた、エンドユーザアプリケーションによってレンダリングされ得る。ユーザインターフェース２４４は、ユーザが、異なる後処理動作に関するユーザ選択を行うことによって、構成モード中にシェーダを構成することを可能にし得る。シェーダがユーザ入力に従って構成されると、シェーダは、ランタイムにおいてマルチビュー画像を後処理することができる。

【0076】

ユーザインターフェース２４４は、マルチビュー画像又はその表現を表示するための第１の部分２４７を有することができる。第１の部分２４７は、マルチビュー画像のレンダリングを含み得る。例えば、マルチビュー画像のレンダリングは、ユーザ設定がランタイム中にマルチビュー画像にどのように適用されるかをシミュレートすることができる。ユーザインターフェース２４４は、メニューを含む第２の部分２５０を有することができる。メニューは、例えば、スライダ、テキストボックス、チェックボックス、ラジオボタン、ドロップダウンメニューなどの種々の入力要素を含んでもよい。メニューは、マルチビュー画像が第１の部分にレンダリングされるときに、ユーザがマルチビュー画像の種々の視覚的パラメータを変更することを可能にする。これらの視覚的パラメータは、例えば、カメラベースライン、収束オフセット、ＺＤＰ回転、自動ＺＤＰオプション、被写界深度（ＤｏＦ）閾値、ＤｏＦ強度、透明度閾値、透明度強度、及び潜在的に他の視覚的パラメータを含む。ユーザは、１つ又はそれ以上の入力要素を操作することによって入力を提供することができる。その結果、ユーザ入力がユーザインターフェース２４４から受信される。

【0077】

図７Ａは、ユーザインターフェースからユーザ入力を受信し、ユーザ入力に基づいて剪断強度を決定する一例を示している。例えば、ユーザは、ＺＤＰ回転スライダをスライドさせて、ＺＤＰ回転の範囲を選択してもよい。スライダが一端にあるように最小値（例えば、ゼロ回転）に設定されると、収束面は回転されない。スライダを他方の端部に移動させることによって最大値に設定されると、収束面は対応する方法で傾斜される。すなわち、ユーザ指定のＺＤＰ回転の量を使用して、傾斜量を決定する。これにより、ランタイム中に剪断機能を適用するときの剪断の強度を定量化することができる。

【0078】

剪断機能はまた、ユーザ指定され得るベースラインに従って剪断の強度を計算することができる。ベースラインは、少なくとも２つのビュー間の距離を増加させることによって、各ビューと中心視点との間の距離を制御する。したがって、ベースラインを増加させることで、ビューが中心視点からより遠くに移動し、それによって、そのビューにより強い剪断効果を受けるようになる。この目的のために、外側ビューは、収束面を傾斜させる効果を達成するために、より大きな程度まで剪断される。

【0079】

図７Ｂは、構成モード中に収束面の傾斜の量を自動的に決定するオプションをユーザが選択することを可能にするユーザインターフェースの一例を示している。例えば、アプリケーションは、マルチビュー画像のビューと別のビューとの間の共通点における視差値を計算することによって、剪断強度を自動的に決定してもよい。例えば、アプリケーションは、所定の位置における特徴を識別してもよい。特徴は、ピクセル、または共通の色を有するピクセルの集合であり得る。所定の位置は、ビューの水平軸又は垂直軸に沿った中間点であり得る。アプリケーションは、別のビュー内の対応する特徴の位置を識別して、他のビューの異なるビュー角度に起因してシフトした量を決定することができる。アプリケーションは、レイキャスト操作を呼び出して、所定の位置における特徴を識別することができる。レイキャスティングは、３Ｄモデルの特定の位置に向かって特定の角度から仮想光線を投影することを指す。出力は、３Ｄモデルの特徴を識別する。レイキャスティングは、３Ｄモデルからの異なるビュー間の視差を決定するために使用され得る。２つのビューの間で特徴が変位する量は、視差に等しい。２つのビュー間の視差が特定の位置で識別されると、収束面を傾斜した結果としてその特定の位置における視差が除去されるように、最適な剪断強度を決定することができる。この点に関して、計算された剪断強度を使用して収束面を傾斜させることは、視差が存在しないように所定の位置にビューを整合させることになる。

【0080】

図７Ａ及び図７Ｂはまた、後処理動作を選択的に適用するためのユーザインターフェースを示している。一部の実施形態では、マルチビュー画像の選択された領域に後処理動作を適用することができる。例えば、アプリケーションは、ユーザインターフェースからユーザ入力を受信し、ユーザ入力に基づいて視差値範囲を決定し、視差値範囲内の視差値を有するピクセルに応答してビューのピクセルに対して動作するようにシェーダを構成するように構成されてもよい。ユーザインターフェース２４４は、例えば、ＤｏＦ閾値、透明度閾値、又は他の後処理動作のための閾値など、閾値を選択するためのメニューを含み得る。閾値は、視差の範囲に対応する値の範囲であり得る。低い閾値は、低い量の視差（例えば、０又は０に近い視差）に対応するビューの領域を包含し得る。より高い閾値は、ビュー全体が選択されるように、大量の視差に対応するビューの領域を包含し得る。閾値選択は、ビューの選択をゼロ視差面の両方向（内及び外）に拡張する。したがって、閾値選択に基づいて、アプリケーションは、視差値範囲を決定し、視差値範囲内に入るビュー中の領域を選択することができる。

【0081】

ビューの領域を選択した後、アプリケーションは、選択された領域のみにシェーダ動作（例えば、後処理動作）を適用する。シェーダは、透明度動作又は被写界深度動作、あるいは潜在的に他の後処理動作を実行するように構成される。透明度動作は、物体の背後の他の物体が見える程度を変化させる。この程度は、ユーザインターフェースを使用してユーザ指定されてもよい。例えば、図７Ａ及び図７Ｂに示すように、ユーザは、透明度閾値内のピクセルの透明度を制御するために、透明度強度を指定してもよい。透明度動作を実行するシェーダは、透明度強度に従って構成され、透明度閾値によって定義される選択されたピクセルに対して動作する。

【0082】

被写界深度動作は、焦点が合っていると見なされる２つの物体間の深度の差を修正する。例えば、被写界深度動作は、選択されたピクセル内のピクセルの視差値を変更してもよい。例えば、被写界深度閾値が－３０と＋３０との間の視差値を有するピクセルを選択する場合、大きな被写界深度強度は、選択されたピクセルに適用されるぼかしの程度を指定することができる。被写界深度動作は、被写界深度強度に対応するように、選択されたピクセルをぼかす。

【0083】

ユーザインターフェース２４４は、ユーザが閾値及び後処理動作パラメータに対して特定の選択を行うことを可能にする。これらの設定は、シェーダを構成するために使用される。ランタイム中、シェーダは、ユーザインターフェース２４４を介して適用された設定に従って動作する。

【0084】

図８は、本明細書で説明される原理と一致する一実施形態による、ピクセルがサンプリングされるときに剪断機能を適用するコンピューティングシステムの一例を示している。図８は、少なくともプロセッサ及びメモリ３０３を含むコンピューティングシステムを示し、メモリ３０３は、実行されたときにプロセッサに種々の動作を実行させる複数の命令を記憶する。メモリ３０３は、図４のメモリ２０８と同様であり得る。プロセッサ及びメモリを示すこのコンピューティングアーキテクチャの一例は、図１０に関してより詳細に説明される。

【0085】

コンピューティングシステムは、マルチビュー画像のビューをメモリ３０３にロードすることができる。例えば、図４に関して上記で説明したように、アプリケーション（例えば、アプリケーション２０５）は、１つ又はそれ以上のマルチビュー画像３０９を生成し、異なるビュー３１２をリアルタイムでメモリ３０３にロードしてもよい。ビュー３１２は、ピクセル座標系によって定義されたビットマップとしてフォーマットされ得る。図８に示すように、ビットマップは、水平（Ｘ）軸及び垂直（Ｙ）軸を有することができる。例示すると、各ピクセルは、列の文字（Ａ～Ｇ）及び行の番号（１～７）によって参照されてもよい。最も左上のピクセルは、ビュー３１２のピクセルＡ１と称される。各ビュー３１２についてのピクセルの数は、図８に示されるピクセルの数よりも著しく大きくてもよいことを理解されたい。

【0086】

次に、コンピューティングシステムは、ピクセル座標系の軸３２３に沿って適用される剪断機能に従って、剪断ビュー３２０としてビューをレンダリングするための命令（レンダリング命令３１７）をグラフィックスパイプライン３１５に送信することができる。グラフィックスパイプライン３１５は、図４のグラフィックスパイプライン２００と同様であり得る。レンダリング命令３１７は、剪断機能を適用するように構成されたシェーダを呼び出すことによって、ビューを剪断ビュー３２０としてレンダリングするためのＡＰＩ関数呼び出しであり得る。剪断ビュー３２０は、各ビュー３１２が対応する剪断ビュー３２０を有するように、シーミングされたマルチビュー画像３２６の一部である。レンダリング命令３１７は、剪断されるビューを識別することができる。レンダリング命令３１７は、アプリケーションによって動的に生成されるマルチビュー画像２１１をレンダリングするためにグラフィックスパイプライン３１５にリアルタイムで送信される命令であってもよい。剪断機能は、例えば、図４のシェーダ２２６などのシェーダによって実装されてもよい。シェーダは、例えば、図７Ａ及び図７Ｂのユーザインターフェース２４４などのユーザインターフェースを使用して、ユーザによって構成モード中に構成されてもよい。

【0087】

剪断機能の剪断強度は、マルチビュー画像３０９内の他のビューに対するビュー３１２の位置と相関する。例えば、ビューインデックス番号は、他のビューに対するビュー３１２の位置を識別してもよい。上記で説明したように、一部の実施形態では、剪断強度は、ユーザインターフェースを介してユーザ入力を提供する構成モード中にユーザによって決定され得る。剪断強度は、ユーザ入力から決定され、ランタイム中に適用される。

【0088】

グラフィックスパイプライン３１５は、ビットマップのピクセルがグラフィックスパイプライン３１５によってサンプリングされるときに剪断機能を実装するように構成される。例えば、剪断機能は、ビュー３１２からピクセルをサンプリングすることによって剪断ビューを形成することを含んでもよい。１対１の対応で一様にサンプリングするのではなく、剪断機能は、剪断強度を使用して剪断線に沿ってピクセルをサンプリングして、剪断効果を引き起こす。例えば、剪断機能は、剪断線を形成する軸３２３に従って動作する。剪断ビュー３２０のピクセルは、ビュー３１２の対応する位置に近い位置からサンプリングされる。剪断ビュー３２０のピクセルが軸３２３から（垂直方向に）より遠くに移動するにつれて、水平変位の量は、ピクセルがサンプリングされている場所に対して増加する。

【0089】

例示すると、剪断ビュー３２０のピクセルＤ３は、行３及び４の近くにある軸に近い。剪断ビュー３２０のこのピクセルは、ビュー３１２のピクセルＤ３からサンプリングされる。これは、ピクセルサンプリングが同じ対応する位置で実行されるため、剪断効果がないことになる。しかしながら、ピクセルが垂直方向に更に上方に位置するにつれて、剪断効果はより明らかになる。剪断ビューのピクセルＤ１は、ビュー３１２のピクセルＣ１からサンプリングされる。この点に関して、軸３２３の北側のピクセルは右にスキューされている。これは、剪断効果を剪断ビューに適用させるサンプリングオフセットである。同様に、剪断ビュー３２０のピクセルＤ７は、ビュー３１２のピクセルＥ７からサンプリングされる。軸３２３の南側のピクセルは左にスキューされている。このスキュー機能は、ビュー３１２の特定のエッジの近くで動作するとき、無効な位置においてピクセルをサンプリングすることにつながり得る。例えば、剪断ビュー３２０のピクセルＧ７は、ビューの外側の位置（Ｘとして示される）からサンプリングされる。この場合、剪断ビュー３２０のＧ７についてのピクセルを生成するためにデフォルトピクセルが使用され得る。デフォルトピクセルは、ゼロ色値をもつピクセル（例えば、黒色ピクセル）であり得るか、又は任意の他のデフォルトピクセル値を有し得る。一部の実施形態では、デフォルトピクセル値は、境界内にある最も近いピクセルにマッチングすることによって決定され得る。

【0090】

図８は、ビュー３１２をピクセル座標系の水平軸（例えば、軸３２３）に沿ってのみスキューするように構成された剪断機能を示している。しかしながら、任意の軸配向を適用することができる。加えて、図７Ａ及び図７Ｂに関して上述したように、後処理動作（収束面を傾斜させることを含む）は、ユーザインターフェース（例えば、ユーザインターフェース２４４）を使用して構成モード中に構成されてもよい。その後、剪断機能は、グラフィックスパイプライン３１５においてランタイム中に適用され得る。

【0091】

図９は、本明細書で説明する原理と一致する一実施形態によるマルチビュー画像の収束面を傾斜させるシステム及び方法のフローチャートを示している。図９のフローチャートは、命令セットを実行するコンピューティングデバイス（例えば、マルチビューディスプレイシステム）によって実装される異なるタイプの機能の一例を提供する。代替として、図９のフローチャートは、１つ又はそれ以上の実施形態による、コンピューティングデバイスにおいて実装される方法の要素の一例を示すものと見なされ得る。

【0092】

項目４０４において、コンピューティングデバイスは、マルチビュー画像の複数のビューを生成する。例えば、アプリケーション（例えば、図４のアプリケーション２０５）は、ユーザ入力に応答してマルチビュー画像のビューを動的に生成することができる。アプリケーションは、ビューをメモリ（例えば、図４のメモリ２０８、図８のメモリ３０３）にロードすることができる。

【0093】

項目４０７において、コンピューティングデバイスは、各ビューと中心視点との間の距離を識別する。例えば、アプリケーションは、別のビューに対する各ビューの位置を示すビューインデックス番号に基づいて、この距離を識別してもよい。ビューインデックス番号は、ビューが中心の右にあるか左にあるかと、インデックス番号が順序付けられるときにビューが中心にどれだけ近いかとを示すことができる。距離は、ベースラインに従って計算され得る。ベースラインが予め決定されている場合、ビューインデックスは、ビューと中心視点との間の距離を推測するのに十分であり得る。

【0094】

項目４１０において、コンピューティングデバイスは、剪断機能を各ビューに適用して剪断ビューを生成する。例えば、グラフィックスパイプライン（例えば、図４のグラフィックスパイプライン２００、図８のメモリ３０３）は、後処理剪断機能を適用するようにアプリケーションによって命令されてもよい。グラフィックスパイプラインは、ピクセル座標系の軸に沿って適用される剪断機能の第１の剪断強度に従って、第１の剪断ビューとしてグラフィックスパイプラインにおいて第１のビューをレンダリングすることができる。グラフィックスパイプラインは、ピクセル座標系の軸に沿って適用される剪断機能の第２の剪断強度に従って、第２の剪断ビューとしてグラフィックスパイプラインにおいて第２のビューをレンダリングすることができる。第１の剪断強度及び第２の剪断強度は異なり、ビューと中心視点との間の距離に基づく。例えば、第１の剪断強度は負の剪断強度であってもよく、第２の剪断強度は正の剪断強度であってもよい。剪断強度の符号は、ビューに適用される剪断の方向を制御し、これは、中心視点に対するビューの相対位置に依存する。

【0095】

項目４１３において、コンピューティングデバイスは、レンダリングされた剪断ビューを表示する。剪断ビューは、各ビューに適用される剪断量によって制御される傾斜収束面を効果的に有する。ビューは、マルチビューディスプレイ上にマルチビュー画像としてレンダリングされ得る。例えば、グラフィックスパイプラインは、例えば、グラフィックスドライバ及び／又はファームウェアを使用してマルチビューディスプレイと通信して、マルチビュー画像を表示のためにレンダリングさせてもよい。

【0096】

上記で説明した図９のフローチャートは、命令セットの実装形態の機能及び動作を有する、収束面をリアルタイムで傾斜させるシステム又は方法を示し得る。ソフトウェアで具現化される場合、各ボックスは、指定された論理機能（複数可）を実装するための命令を含むモジュール、セグメント、又はコードの一部を表し得る。命令は、プログラミング言語で書かれた人間可読ステートメントを含むソースコード、ソースコードからコンパイルされた物体コード、又はプロセッサ、コンピューティングデバイスなどの適切な実行システムによって認識可能な数値命令を含む機械コードの形態で具現化され得る。マシンコードは、ソースコードなどから変換されてもよい。ハードウェアで具現化される場合、各ブロックは、指定された論理機能（複数可）を実装するための回路又は複数の相互接続された回路を表してもよい。

【0097】

図９のフローチャートは特定の実行順序を示すが、実行順序は図示されたものと異なってもよいことが理解される。例えば、２つ以上のボックスの実行順序は、示された順序に対してスクランブルされてもよい。また、示される２つ以上のボックスは、同時に、又は部分的に同時に実行されてもよい。更に、一部の実施形態では、ボックスのうちの１つ又はそれ以上がスキップ又は省略され得る。

【0098】

図１０は、本明細書で説明する原理と一致する一実施形態によるマルチビューディスプレイシステムを提供するマルチビューディスプレイシステム１０００の例示的な図を示す概略ブロック図である。マルチビューディスプレイシステム１０００は、マルチビューディスプレイシステム１０００のユーザのために種々のコンピューティング動作を実行する構成要素のシステムを含み得る。マルチビューディスプレイシステム１０００は、ラップトップ、タブレット、スマートフォン、タッチスクリーンシステム、インテリジェントディスプレイシステム、又は他のクライアントデバイスであり得る。マルチビューディスプレイシステム１０００は、例えば、プロセッサ（複数可）１００３、メモリ１００６、入力／出力（Ｉ／Ｏ）構成要素（複数可）１００９、ディスプレイ１０１２、及び潜在的に他の構成要素などの種々の構成要素を含み得る。これらの構成要素は、マルチビューディスプレイシステム１０００の構成要素が互いに通信することを可能にするローカルインターフェースとして機能するバス１０１５に結合することができる。マルチビューディスプレイシステム１０００の構成要素は、マルチビューディスプレイシステム１０００内に収容されるように示されているが、構成要素の少なくとも一部は、外部接続を介してマルチビューディスプレイシステム１０００に結合することができることを理解されたい。例えば、構成要素は、外部ポート、ソケット、プラグ、又はコネクタを介してマルチビューディスプレイシステム１０００に外部から差し込むか、又は他の方法で接続してもよい。

【0099】

プロセッサ１００３は、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、コンピューティング処理動作を実行する任意の他の集積回路、又はそれらの任意の組み合わせであり得る。プロセッサ（複数可）１００３は、１つ又はそれ以上の処理コアを含み得る。プロセッサ（複数可）１００３は、命令を実行する回路を備える。命令は、例えば、コンピュータコード、プログラム、ロジック、又は他のマシン可読命令を含み、これらは、プロセッサ（複数可）１００３により受け取られて実行され、命令に具現化されたコンピューティング機能を遂行する。プロセッサ（複数可）１００３は、データ上で動作するための命令を実行し得る。例えば、プロセッサ（複数可）１００３は、入力データ（例えば、画像）を受信し、命令セットに従って入力データを処理し、出力データ（例えば、処理された画像）を生成してもよい。別の例として、プロセッサ（複数可）１００３は、命令を受信し、後続の実行のために新しい命令を生成し得る。プロセッサ１００３は、グラフィックスパイプライン（例えば、図４のグラフィックスパイプライン２００、図８のグラフィックスパイプライン３１５）を実装するためのハードウェアを備え得る。例えば、プロセッサ（複数可）１００３は、１つ又はそれ以上のＧＰＵコア、ベクトルプロセッサ、スケーラプロセス、又はハードウェアアクセラレータを備えてもよい。

【0100】

メモリ１００６は、１つ又はそれ以上のメモリ構成要素を含み得る。メモリ１００６は、本明細書では、揮発性メモリ及び不揮発性メモリのいずれか又は両方を含むものとして定義される。揮発性メモリ構成要素は、電力喪失時に情報を保持しないものである。揮発性メモリは、例えば、ランダムアクセスメモリ（ＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、磁気ランダムアクセスメモリ（ＭＲＡＭ）、又は他の揮発性メモリ構造を含んでもよい。システムメモリ（例えば、メインメモリ、キャッシュなど）は、揮発性メモリを使用して実装され得る。システムメモリは、プロセッサ（複数可）１００３を支援するために、迅速な読み出し及び書き込みアクセスのためのデータ又は命令を一時的に記憶し得る高速メモリを指す。メモリ１００６は、図４のメモリ２０８若しくは図８のメモリ３０３、又は１つ又はそれ以上の他のメモリデバイスを含み得る。

【0101】

不揮発性メモリ構成要素は、電力喪失時に情報を保持するものである。不揮発性メモリとして、読み出し専用メモリ（ＲＯＭ）、ハードディスクドライブ、ソリッドステートドライブ、ＵＳＢフラッシュドライブ、メモリカードリーダを介してアクセスされるメモリカード、関連するフロッピーディスクドライブを介してアクセスされるフロッピーディスク、光ディスクドライブを介してアクセスされる光ディスク、適切なテープドライブを介してアクセスされる磁気テープが挙げられる。ＲＯＭは、例えば、プログラマブルリードオンリメモリ（ＰＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、又は他の同様のメモリデバイスを含んでもよい。記憶メモリは、データ及び命令の長期保持を提供するために、不揮発性メモリを使用して実装され得る。

【0102】

メモリ１００６は、命令並びにデータを記憶するために使用される揮発性メモリと不揮発性メモリとの組み合わせを指すことがある。例えば、データ及び命令は、不揮発性メモリに記憶され、プロセッサ（複数可）１００３による処理のために揮発性メモリにロードされ得る。命令の実行は、例えば、不揮発性メモリから揮発性メモリにロードされ、次いでプロセッサ１００３によって実行され得るフォーマットのマシンコードに変換されるコンパイルされたプログラム、プロセッサ１００３による実行のために揮発性メモリにロードされ得る物体コードなどの好適なフォーマットに変換されるソースコード、又は揮発性メモリ中に命令を生成するために別の実行可能プログラムによって解釈され、プロセッサ１００３によって実行されるソースコードなどを含んでもよい。命令は、例えば、ＲＡＭ、ＲＯＭ、システムメモリ、ストレージ、又はそれらの任意の組み合わせを含むメモリ１００６の任意の部分又は構成要素に記憶又はロードされてもよい。

【0103】

メモリ１００６は、マルチビューディスプレイシステム１０００の他の構成要素とは別個のものとして示されているが、メモリ１００６は、１つ又はそれ以上の構成要素に少なくとも部分的に埋め込むか、又は他の方法で統合することができることを理解されたい。例えば、プロセッサ（複数可）１００３は、処理動作を実行するためのオンボードメモリレジスタ又はキャッシュを含み得る。

【0104】

Ｉ／Ｏ構成要素（複数可）１００９は、例えば、タッチスクリーン、スピーカー、マイクロフォン、ボタン、スイッチ、ダイヤル、カメラ、センサ、加速度計、又はユーザ入力を受信するか、若しくはユーザへの出力を生成する他の構成要素を含む。Ｉ／Ｏ構成要素（複数可）１００９は、ユーザ入力を受信し、それをメモリ１００６に記憶するための、又はプロセッサ（複数可）１００３によって処理するためのデータに変換することができる。Ｉ／Ｏ構成要素（複数可）１００９は、メモリ１００６又はプロセッサ（複数可）１００３によって出力されたデータを受信し、それらをユーザによって知覚されるフォーマット（例えば、音、触覚応答、視覚情報など）に変換し得る。

【0105】

特定のタイプのＩ／Ｏ構成要素１００９は、ディスプレイ１０１２である。ディスプレイ１０１２は、マルチビューディスプレイ（例えば、マルチビューディスプレイ１１２）、２Ｄディスプレイと組み合わされたマルチビューディスプレイ、又は画像を提示する任意の他のディスプレイを含み得る。Ｉ／Ｏ構成要素１００９として機能する容量性タッチスクリーン層は、ユーザが視覚出力を同時に知覚しながら入力を提供することを可能にするために、ディスプレイ内に積層され得る。プロセッサ（複数可）１００３は、ディスプレイ１０１２上に提示するための画像としてフォーマットされるデータを生成し得る。プロセッサ（複数可）１００３は、ユーザによって知覚されるためにディスプレイ上に画像をレンダリングするための命令を実行し得る。

【0106】

バス１０１５は、プロセッサ（複数可）１００３、メモリ１００６、Ｉ／Ｏ構成要素（複数可）１００９、ディスプレイ１０１２、及びマルチビューディスプレイシステム１０００の任意の他の構成要素の間の命令及びデータの通信を容易にする。バス１０１５は、データ及び命令の通信を可能にするために、アドレス変換器、アドレスデコーダ、ファブリック、導電性トレース、導電性ワイヤ、ポート、プラグ、ソケット、及び他のコネクタを含み得る。

【0107】

メモリ１００６内の命令は、ソフトウェアスタックの少なくとも一部を実装するように、種々の形態で具現化され得る。例えば、命令は、オペレーティングシステム１０３１、アプリケーション（複数可）１０３４、デバイスドライバ（例えば、ディスプレイドライバ１０３７）、ファームウェア（例えば、ディスプレイファームウェア１０４０）、又は他のソフトウェア構成要素として具現化されてもよい。オペレーティングシステム１０３１は、タスクのスケジューリング、Ｉ／Ｏ構成要素１００９の制御、ハードウェアリソースへのアクセスの提供、電力の管理、及びアプリケーション１０３４のサポートなど、マルチビューディスプレイシステム１０００の基本機能をサポートするソフトウェアプラットフォームである。

【0108】

アプリケーション（複数可）１０３４は、オペレーティングシステム１０３１上で実行され、オペレーティングシステム１０３１を介してマルチビューディスプレイシステム１０００のハードウェアリソースへのアクセスを得ることができる。この点において、アプリケーション（複数可）１０３４の実行は、オペレーティングシステム１０３１によって少なくとも部分的に制御される。アプリケーション（複数可）１０３４は、高レベルの機能、サービス、及び他の機能性をユーザに提供する、ユーザレベルのソフトウェアプログラムであってもよい。一部の実施形態では、アプリケーション１０３４は、マルチビューディスプレイシステム１０００上でユーザにダウンロード可能であるか、又は別様にアクセス可能な専用の「アプリ」とすることができる。ユーザは、オペレーティングシステム１０３１によって提供されるユーザインターフェースを介してアプリケーション（複数可）１０３４を起動することができる。アプリケーション（複数可）１０３４は、開発者によって開発され、種々のソースコードフォーマットで定義されてもよい。アプリケーション１０３４は、例えば、Ｃ、Ｃ＋＋、Ｃ＃、Ｏｂｊｅｃｔｉｖｅ Ｃ、Ｊａｖａ（登録商標）、Ｓｗｉｆｔ、ＪａｖａＳｃｒｉｐｔ（登録商標）、Ｐｅｒｌ、ＰＨＰ、Ｖｉｓｕａｌ Ｂａｓｉｃ（登録商標）、Ｐｙｔｈｏｎ（登録商標）、Ｒｕｂｙ、Ｇｏ、又は他のプログラミング言語などの一部のプログラミング言語又はスクリプト言語を使用して開発され得る。アプリケーション（複数可）１０３４は、コンパイラによって物体コードにコンパイルされてもよいし、プロセッサ（複数可）１００３による実行のためにインタープリタによって解釈されてもよい。アプリケーション１０３４は、図４のアプリケーション２０５であり得る。アプリケーションはまた、図４のアプリケーション２０５を作成している開発者のための構成モードの一部としてユーザインターフェース（例えば、ユーザインターフェース２４４）を提供する別のアプリケーションであり得る。

【0109】

例えば、ディスプレイドライバ１０３７などのデバイスドライバは、オペレーティングシステム１０３１が種々のＩ／Ｏ構成要素１００９と通信することを可能にする命令を含む。各Ｉ／Ｏ構成要素１００９は、それ自体のデバイスドライバを有することができる。デバイスドライバは、それらがストレージに記憶され、システムメモリにロードされるようにインストールされ得る。例えば、インストール時に、ディスプレイドライバ１０３７は、オペレーティングシステム１０３１から受信された高レベル表示命令を、画像を表示するためにディスプレイ１０１２によって実装される低レベル命令に変換する。

【0110】

例えば、ディスプレイファームウェア１０４０などのファームウェアは、Ｉ／Ｏ構成要素１００９又はディスプレイ１０１２が低レベル動作を実行することを可能にするマシンコード又はアセンブリコードを含んでもよい。ファームウェアは、特定の構成要素の電気信号をより高いレベルの命令又はデータに変換することができる。例えば、ディスプレイファームウェア１０４０は、電圧又は電流信号を調整することによって、ディスプレイ１０１２が個々のピクセルを低レベルでどのようにアクティブ化するかを制御してもよい。ファームウェアは、不揮発性メモリに記憶され、不揮発性メモリから直接実行されてもよい。例えば、ディスプレイファームウェア１０４０は、ＲＯＭチップがマルチビューディスプレイシステム１０００の他のストレージ及びシステムメモリから分離されるように、ディスプレイ１０１２に結合されたＲＯＭチップ内に具現化されてもよい。ディスプレイ１０１２は、ディスプレイファームウェア１０４０を実行するための処理回路を含み得る。

【0111】

オペレーティングシステム１０３１、アプリケーション（複数可）１０３４、ドライバ（例えば、ディスプレイドライバ１０３７）、ファームウェア（例えば、ディスプレイファームウェア１０４０）、及び場合によっては他の命令セットはそれぞれ、上記で説明した機能及び動作を実行するためにマルチビューディスプレイシステム１０００のプロセッサ（複数可）１００３又は他の処理回路によって実行可能な命令を含み得る。本明細書に記載される命令は、上述のようにプロセッサ（複数可）１００３によって実行されるソフトウェア又はコードで具現化されてもよいが、代替として、命令はまた、専用ハードウェア又はソフトウェアと専用ハードウェアとの組み合わせで具現化されてもよい。例えば、上述の命令によって実行される機能及び動作は、一部の技術のうちのいずれか１つ又はそれらの組み合わせを採用する回路又は状態機械として実装されてもよい。これらの技術は、限定はしないが、１つ又はそれ以上のデータ信号の印加時に種々の論理機能を実装するための論理ゲートを有するディスクリート論理回路、適切な論理ゲートを有する特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は他の構成要素などを含み得る。

【0112】

一部の実施形態では、上記で説明した機能及び動作を実行する命令は、非一時的コンピュータ可読記憶媒体において具現化され得る。コンピュータ可読記憶媒体は、マルチビューディスプレイシステム１０００の一部であっても、そうでなくてもよい。命令は、例えば、コンピュータ可読媒体からフェッチされ、処理回路（例えば、プロセッサ（複数可）１００３）によって実行され得るステートメント、コード、又は宣言を含み得る。本明細書で論じる文脈では、「非一時的コンピュータ可読媒体」は、例えば、マルチビューディスプレイシステム１０００などの命令実行システムによって、又はそれに関連して使用するために、本明細書で説明する命令を含み、記憶し、又は維持することができる任意の媒体とすることができる。

【0113】

非一時的コンピュータ可読媒体は、例えば、磁気、光学、又は半導体媒体などの多くの物理媒体のうちのいずれか１つを備えることができる。適切なコンピュータ可読媒体のより具体的な例は、磁気テープ、磁気フロッピーディスケット、磁気ハードドライブ、メモリカード、ソリッドステートドライブ、ＵＳＢフラッシュドライブ、又は光ディスクを含み得るが、これらに限定されない。また、コンピュータ可読媒体は、例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）及びダイナミックランダムアクセスメモリ（ＤＲＡＭ）を含むランダムアクセスメモリ（ＲＡＭ）、又は磁気ランダムアクセスメモリ（ＭＲＡＭ）であってもよい。加えて、コンピュータ可読媒体は、読み出し専用メモリ（ＲＯＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、又は他のタイプのメモリデバイスであってもよい。

【0114】

マルチビューディスプレイシステム１０００は、上述の動作のいずれかを実行するか、又は上述の機能を実装することができる。例えば、上記で説明したフローチャート及びプロセスフローは、命令を実行し、データを処理するマルチビューディスプレイシステム１０００によって実行されてもよい。マルチビューディスプレイシステム１０００は単一のデバイスとして示されているが、実施形態はそのように限定されない。一部の実施形態では、マルチビューディスプレイシステム１０００は、複数のマルチビューディスプレイシステム１０００又は他のコンピューティングデバイスが一緒に動作して、分散配置で記憶又はロードすることができる命令を実行するように、分散方式で命令の処理をオフロードすることができる。例えば、少なくとも一部の命令又はデータは、マルチビューディスプレイシステム１０００とともに動作するクラウドベースのシステムに記憶され、ロードされ、又は実行されてもよい。

【0115】

以上、マルチビュー画像の収束面を傾斜させる例及び実施形態について説明した。例えば、収束面は、マルチビュー画像が表示のためにレンダリングされるときに、リアルタイムグラフィックスパイプラインにおいて傾斜されてもよい。この点において、収束面は、各ビューの相対位置に基づいてマルチビュー画像の異なるビューに剪断機能を適用することによって傾斜され得る。上述の例は、本明細書に記載された原理を表す多くの特定の例のうちの一部の単なる例示であることを理解されたい。明らかに、当業者は、以下の特許請求の範囲によって定義される範囲から逸脱することなく、多数の他の構成を容易に考案することができる。

【符号の説明】

【0116】

１～４ 剪断ビュー
１０３ マルチビュー画像
１０６ ビュー
１０９ ビュー方向、主極大角度方向
１１２ マルチビューディスプレイ
１１５ マルチビュー画像
１１８ 木
１２０ 地面
１２１ カメラ
１２７ 収束面
１３０ 視錐台
１３３ 視差マップ
１３５ａ 下部領域
１３５ｂ 中間領域
１３５ｃ 上部領域
１３８ 傾斜収束面
１４１ 傾斜量
１５０ 回転軸
２００ リアルタイムグラフィックスパイプライン
２０２ ＣＰＵ
２０５ ユーザレベルアプリケーション
２０８ メモリ
２１１ マルチビュー画像
２１４ａ～ｄ ビュー
２２０ ビューインデックス番号
２２１ レンダリングコマンド
２２６ シェーダ
２３２ 剪断マルチビュー画像
２３５ 中心視点
２３８ 水平剪断線
２４１ａ 剪断効果
２４１ｂ 剪断効果
２４１ｄ 剪断効果
２４４ ユーザインターフェース
２４７ 第１の部分
２５０ 第２の部分
３０３ メモリ
３０９ マルチビュー画像
３１２ ビュー
３１５ グラフィックスパイプライン
３１７ レンダリング命令
３２０ 剪断ビュー
３２３ 軸
３２６ マルチビュー画像
１０００ マルチビューディスプレイシステム
１００３ プロセッサ
１００６ メモリ
１００９ 入力／出力（Ｉ／Ｏ）構成要素
１０１２ ディスプレイ
１０１５ バス
１０３１ オペレーティングシステム
１０３４ アプリケーション
１０３７ ディスプレイドライバ
１０４０ ディスプレイファームウェア

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【手続補正書】

【提出日】2023-06-12

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】０００４

【補正方法】変更

【補正の内容】

【0004】

本明細書で説明する原理による例及び実施形態の種々の特徴は、添付の図面とともに以下の詳細な説明を参照することによってより容易に理解され得、同様の参照番号は同様の構造要素を示す。
本開示は、以下の[１]から[２２]を含む。
［１］コンピュータ実装される、マルチビュー画像の収束面を傾斜させる方法であって、上記方法は、
上記マルチビュー画像のビューをメモリにロードするステップであって、上記ビューは、ピクセル座標系によって定義されるビットマップとしてフォーマットされる、ステップと、
上記ビューと中心視点との間の距離を識別するステップと、
上記ピクセル座標系の軸に沿って適用される剪断機能に従って、剪断ビューとして、グラフィックスパイプラインにおいて上記ビューをレンダリングするステップであって、上記剪断機能の剪断強度は、上記距離と相関する、ステップと、
を含む、マルチビュー画像の収束面を傾斜させる方法。
［２］上記剪断機能は、上記ビューを上記ピクセル座標系の水平軸に沿ってのみスキューするように構成される、上記［１］に記載のマルチビュー画像の収束面を傾斜させる方法。
［３］上記マルチビュー画像は、ナビゲーションアプリケーションによって生成されたマップを含む、上記［２］に記載のマルチビュー画像の収束面を傾斜させる方法。
［４］上記ビューと上記中心視点との間の上記距離は、上記マルチビュー画像の上記ビューの順序付けられたビュー番号を決定することによって識別される、上記［１］に記載のマルチビュー画像の収束面を傾斜させる方法。
［５］ユーザインターフェースからユーザ入力を受信するステップと、
上記ユーザ入力に基づいて上記剪断強度を決定するステップと、
を更に含む、上記［１］に記載のマルチビュー画像の収束面を傾斜させる方法。
［６］上記方法は、
上記マルチビュー画像の上記ビューと別のビューとの間の共通点における視差値を計算することによって、上記剪断強度を自動的に決定するステップを更に含む、上記［１］に記載のマルチビュー画像の収束面を傾斜させる方法。
［７］ユーザインターフェースからユーザ入力を受信するステップと、
上記ユーザ入力に基づいて視差値範囲を決定するステップと、
上記視差値範囲内の視差値を有するピクセルに応答して、上記ビューの上記ピクセルに対して動作するようにシェーダを構成するステップと、
を更に含む、上記［１］に記載のマルチビュー画像の収束面を傾斜させる方法。
［８］上記シェーダは、透明度動作および被写界深度動作のうちの少なくとも１つを実行するように構成される、上記［７］に記載のマルチビュー画像の収束面を傾斜させる方法。
［９］マルチビューディスプレイシステムであって、上記システムは、
プロセッサと、
複数の命令を記憶するメモリと、を備え、上記複数の命令は、実行されると、上記プロセッサに、
マルチビュー画像のビューを上記メモリにロードするステップであって、上記ビューは、ピクセル座標系によって定義されるビットマップとしてフォーマットされる、ステップと、
上記ピクセル座標系の軸に沿って適用される剪断機能に従って、上記ビューを剪断ビューとしてレンダリングする命令をグラフィックスパイプラインに送信するステップであって、上記剪断機能の剪断強度は、上記マルチビュー画像内の他のビューに対する上記ビューの位置と相関する、ステップと、を行わせ、
上記グラフィックスパイプラインは、上記ビットマップのピクセルが上記グラフィックスパイプラインによってサンプリングされるときに上記剪断機能を実装するように構成され、
上記マルチビューディスプレイシステムは、上記グラフィックスパイプラインにおいて収束面を傾斜させるように構成される、マルチビューディスプレイシステム。
［１０］上記剪断機能は、上記ビューを上記ピクセル座標系の水平軸に沿ってのみスキューするように構成される、上記［９］に記載のマルチビューディスプレイシステム。
［１１］上記マルチビュー画像は、ナビゲーションアプリケーションによって生成されたマップを含む、上記［９］に記載のマルチビューディスプレイシステム。
［１２］上記複数の命令は、実行されると、上記プロセッサに、
ユーザインターフェースからユーザ入力を受信するステップと、
上記ユーザ入力に基づいて上記剪断強度を決定するステップと、
を更に行わせる、上記［９］に記載のマルチビューディスプレイシステム。
［１３］上記複数の命令は、実行されると、上記プロセッサに、上記マルチビュー画像の上記ビューと別のビューとの間の共通点における視差値を計算することによって、上記剪断強度を自動的に決定するステップを更に行わせる、上記［９］に記載のマルチビューディスプレイシステム。
［１４］上記複数の命令は、実行されると、上記プロセッサに、
ユーザインターフェースからユーザ入力を受信するステップと、
上記ユーザ入力に基づいて視差値範囲を決定するステップと、
上記視差値範囲内の視差値を有するピクセルに応答して上記ビューの上記ピクセルに対して動作するようにシェーダを構成するステップと、
を更に行わせる、上記［９］に記載のマルチビューディスプレイシステム。
［１５］上記シェーダは、透明度動作および被写界深度動作のうちの少なくとも１つを実行するように構成される、上記［１４］に記載のマルチビューディスプレイシステム。
［１６］上記マルチビューディスプレイシステムは、広角バックライトを使用して２Ｄモード中に広角放射光を提供するように構成され、
上記マルチビューディスプレイシステムは、マルチビーム要素のアレイを有するマルチビューバックライトを使用してマルチビューモード中に指向性放射光を提供するように構成され、上記指向性放射光は、上記マルチビーム要素アレイの各マルチビーム要素によって提供される複数の指向性光ビームを含み、
上記マルチビューディスプレイシステムは、上記２Ｄモードに対応する第１の順次時間間隔中に上記広角バックライトを、上記マルチビューモードに対応する第２の順次時間間隔中に上記マルチビューバックライトを順次アクティブ化するために、モードコントローラを使用して上記２Ｄモードと上記マルチビューモードとを時間多重化するように構成され、
上記複数の指向性光ビームの指向性光ビーム方向は、マルチビュー画像の異なるビュー方向に対応する、上記［９］に記載のマルチビューディスプレイシステム。
［１７］上記マルチビューディスプレイシステムは、導光体内の光を導波光として導波するように構成され、
上記マルチビューディスプレイシステムは、上記マルチビーム要素アレイのマルチビーム要素を使用して、上記導波光の一部を上記指向性放射光として散乱させるように構成され、上記マルチビーム要素アレイの各マルチビーム要素は、回折格子、微小屈折要素、及び微小反射要素のうちの１つ又はそれ以上を備える、上記［１６］に記載のマルチビューディスプレイシステム。
［１８］コンピューティングシステムのプロセッサによって実行されると、グラフィックスパイプラインにおいて収束面を傾斜させることを実装する命令を記憶する非一時的コンピュータ可読記憶媒体であって、
マルチビュー画像の複数のビューを生成するステップであって、各ビューは、ピクセル座標系によって定義されるビットマップとしてフォーマットされ、上記複数のビューは、第１のビューと第２のビューとを備える、ステップと、
上記ピクセル座標系の軸に沿って適用される剪断機能の第１の剪断強度に従って、第１の剪断ビューとして、上記グラフィックスパイプラインにおいて上記第１のビューをレンダリングするステップと、
上記ピクセル座標系の上記軸に沿って適用される上記剪断機能の第２の剪断強度に従って、第２の剪断ビューとして、上記グラフィックスパイプラインにおいて上記第２のビューをレンダリングするステップと、
を含む、非一時的コンピュータ可読記憶媒体。
［１９］上記剪断機能は、上記ピクセル座標系の水平軸に沿ってのみ適用される、上記［１８］に記載の非一時的コンピュータ可読記憶媒体。
［２０］上記剪断機能は、上記ピクセル座標系の垂直軸に沿って上記第１のビュー及び上記第２のビューをスキューするように構成される、上記［１８］に記載の非一時的コンピュータ可読記憶媒体。
［２１］上記第１の剪断強度は、負の剪断強度であり、上記第２の剪断強度は、正の剪断強度である、上記［１８］に記載の非一時的コンピュータ可読記憶媒体。
［２２］上記グラフィックスパイプラインは、上記マルチビュー画像の上記ビットマップのピクセルが上記グラフィックスパイプラインによってサンプリングされるときに上記剪断機能を実装するように構成される、上記［１８］に記載の非一時的コンピュータ可読記憶媒体。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００２０

【補正方法】変更

【補正の内容】

【0020】

上述のように、各ビュー１０６は、マルチビューディスプレイ１１２によって、異なる対応するビュー方向１０９に提示される。表示のためにマルチビュー画像１０３を提示するとき、ビュー１０６は、実際には、マルチビューディスプレイ１１２上又はその近傍に現れることができる。２Ｄディスプレイは、マルチビュー画像１０３の異なるビュー１０６とは対照的に、２Ｄディスプレイが概して単一のビュー（例えば、ビューのうちの１つのみ）を提供するように構成されることを除いて、マルチビューディスプレイ１１２と実質的に同様であり得る。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００２４

【補正方法】変更

【補正の内容】

【0024】

例えば、２Ｄモードでは、広角バックライトは、マルチビューディスプレイシステムが２Ｄディスプレイのように動作するように画像を生成してもよい。定義により、「広角」放射光は、マルチビュー画像又はマルチビューディスプレイのビューの円錐角よりも大きい円錐角を有する光として定義される。特に、一部の実施形態では、広角放射光は、約２０度よりも大きい（例えば、＞±２０°）円錐角を有することができる。他の実施形態では、広角放射光円錐角は、約３０度超（例えば、＞±３０°）又は約４０度超（例えば、＞±４０°）又は約５０度超（例えば、＞±５０°）であってもよい。例えば、広角放射光の円錐角は、約６０度超（例えば、＞±６０°）であってもよい。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】００５４

【補正方法】変更

【補正の内容】

【0054】

アプリケーション２０５は、マルチビュー画像２１１のビュー２１４ａ～ｄをメモリ２０８にロードすることができる。例えば、アプリケーション２０５は、３Ｄモデルを、３Ｄモデルから導出されたマルチビュー画像２１１を示すためのレンダリングされたシーンに変換するように構成されてもよい。１つ又はそれ以上のビュー２１４ａ～ｄは、アプリケーション２０５によって生成され、メモリ２０８の特定のブロックに配置される。ビュー２１４ａ～ｄは、ピクセル座標系によって定義されたビットマップ２１７としてフォーマットされ得る。例えば、ビュー２１４ａ～ｄは、水平（Ｘ）軸及び垂直（Ｙ）軸に沿ったビットマップの２次元アレイとして表現されてもよい。ビットマップ２１７内の各ピクセルは、ディスプレイ上の対応する位置を有する。例えば、ビットマップ２１７の最も左上のピクセルは、ディスプレイの最も左上のピクセルの出力を制御する。加えて、各ビュー２１４ａ～ｄは、対応するビューインデックス番号２２０を有し得る。ビューインデックス番号２２０は、マルチビュー画像２１１内のビューの順序付けられたビュー番号であり得る。例えば、４ビューマルチビューフォーマットでは、４つのビューの各々は、１、２、３、及び４と番号付けされてもよい。ビューインデックス番号２２０は、他のビューに対するビューの位置を示す。例えば、ビュー１は最左ビューであり得、ビュー２は左中央ビューであり得、ビュー３は右中央ビューであり得、ビュー４は最右ビューであり得る。この場合、最大視差は、ビュー１とビュー４との間である。

【手続補正5】

【補正対象書類名】明細書

【補正対象項目名】００６０

【補正方法】変更

【補正の内容】

【0060】

ビュー２１４ａ～ｄは、ピクセル座標系によって定義されたビットマップ２１７としてフォーマットされ得る。ビュー２１４ａ～ｄは、３Ｄモデルの特定の視点及び視野角を識別し、それをビットマップ２１７に変換することによって、３Ｄモデルから生成され得る。これは、マルチビュー画像２１１の各ビューについて実行することができる。次いで、アプリケーション２０５は、レンダリングコマンド２２１を呼び出して、マルチビュー画像２１１のビュー２１４ａ～ｄを最初にレンダリングすることができる。例えば、アプリケーション２０５は、ＡＰＩを使用して、初期レンダリングを実行するようにグラフィックスパイプライン２００に要求してもよい。それに応答して、グラフィックスパイプライン２００は、例えば、ラスタライゼーションを実行することによって、最初にレンダリングされたビュー２１４ａ～ｄを生成してもよい。リアルタイムグラフィックスレンダリング環境では、グラフィックスパイプライン２００は、オンザフライでビュー２１４ａ～ｄを迅速にレンダリングするように最適化され得る。これは、新しいマルチビュー画像２１１が動的に生成される（及び事前レンダリングされない）ため、シームレスな体験を視認者に提供する。

【手続補正6】

【補正対象書類名】明細書

【補正対象項目名】００６１

【補正方法】変更

【補正の内容】

【0061】

次に、アプリケーション２０５は、収束面をリアルタイムで傾斜させるように構成される。例えば、アプリケーション２０５は、ビュー２１４ａ～ｄと中心視点との間の距離を識別してもよい。異なるビュー２１４ａ～ｄが、中心視点に対して種々の程度の水平視差を有する場合を仮定すると、水平軸に沿った各ビューと中心視点との間の距離が決定され得る。この距離は、ベースライン（例えば、ビュー間の距離）に依存する。例えば、ベースラインが大きいほど、中心視点からの距離が大きくなる。一部の実施形態では、ビュー２１４ａ～ｄと中心視点との間の距離は、マルチビュー画像２１１内のビュー２１４ａ～ｄの順序付けられたビュー番号（例えば、ビューインデックス番号２２０）を決定することによって識別される。例えば、マルチビュー画像２１１のビュー２１４ａ～ｄが１から４まで順序付けられる場合、ビュー１は最も左側に配置され、ビュー４は最も右側に配置される。ビューインデックス番号２２０は、ビュー２１４ａ～ｄと中心視点との間の距離に対応する。例えば、１のビューインデックス番号２２０は、中心の左に５０ピクセルの距離に対応し得、２のビューインデックス番号２２０は、中心の左に２５ピクセルの距離に対応し得、３のビューインデックス番号２２０は、中心の右に２５ピクセルの距離に対応し得、４のビューインデックス番号２２０は、中心の右に５０ピクセルの距離に対応し得る。中心からの距離は、ビューが中心の左にあるかどうかを示すための符号付きの数（例えば、正又は負）であり得る。例えば、負の距離は、ビューが中心の左にあることを示し得、一方、正の距離は、ビューが中心の右にあることを示し得る。

【手続補正7】

【補正対象書類名】明細書

【補正対象項目名】００６５

【補正方法】変更

【補正の内容】

【0065】

各ビューは、中心視点２３５までの対応する距離を有し得る。図５Ａは、各ビューの中心から測定されたこの距離を示すが、距離は、例えば、左端又は右端などのビューの任意の点から測定されてもよい。ビュー１は、中心視点２３５から「Ｄ１」の距離だけ離れている。ビュー２は、中心視点２３５から「Ｄ２」の距離だけ離れている。ビュー３は、中心視点２３５から「Ｄ３」の距離だけ離れている。ビュー４は、中心視点２３５から「Ｄ４」の距離だけ離れている。距離Ｄ１及びＤ２は、それが中心視点２３５の左にあることを示す負の値であり得、距離Ｄ３及びＤ４は、それが中心視点２３５の右にあることを示す正の値であり得る。

【手続補正8】

【補正対象書類名】明細書

【補正対象項目名】００９３

【補正方法】変更

【補正の内容】

【0093】

項目４０７において、コンピューティングデバイスは、各ビューと中心視点との間の距離を識別する。例えば、アプリケーションは、別のビューに対する各ビューの位置を示すビューインデックス番号に基づいて、この距離を識別してもよい。ビューインデックス番号は、ビューが中心の右にあるか左にあるかと、インデックス番号が順序付けられるときにビューが中心にどれだけ近いかとを示すことができる。距離は、ベースラインに従って計算され得る。ベースラインが予め決定されている場合、ビューインデックス番号は、ビューと中心視点との間の距離を推測するのに十分であり得る。

【手続補正9】

【補正対象書類名】明細書

【補正対象項目名】００９８

【補正方法】変更

【補正の内容】

【0098】

図１０は、本明細書で説明する原理と一致する一実施形態によるマルチビューディスプレイを提供するマルチビューディスプレイシステム１０００の例示的な図を示す概略ブロック図である。マルチビューディスプレイシステム１０００は、マルチビューディスプレイシステム１０００のユーザのために種々のコンピューティング動作を実行する構成要素のシステムを含み得る。マルチビューディスプレイシステム１０００は、ラップトップ、タブレット、スマートフォン、タッチスクリーンシステム、インテリジェントディスプレイシステム、又は他のクライアントデバイスであり得る。マルチビューディスプレイシステム１０００は、例えば、プロセッサ（複数可）１００３、メモリ１００６、入力／出力（Ｉ／Ｏ）構成要素（複数可）１００９、ディスプレイ１０１２、及び潜在的に他の構成要素などの種々の構成要素を含み得る。これらの構成要素は、マルチビューディスプレイシステム１０００の構成要素が互いに通信することを可能にするローカルインターフェースとして機能するバス１０１５に結合することができる。マルチビューディスプレイシステム１０００の構成要素は、マルチビューディスプレイシステム１０００内に収容されるように示されているが、構成要素の少なくとも一部は、外部接続を介してマルチビューディスプレイシステム１０００に結合することができることを理解されたい。例えば、構成要素は、外部ポート、ソケット、プラグ、又はコネクタを介してマルチビューディスプレイシステム１０００に外部から差し込むか、又は他の方法で接続してもよい。

【国際調査報告】