特表 2024-534103 マルチビュー画像撮影システムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-18

(54)【発明の名称】マルチビュー画像撮影システムおよび方法

(51)【国際特許分類】

   H04N 13/282 20180101AFI20240910BHJP

   H04N 13/296 20180101ALI20240910BHJP

   H04N 13/194 20180101ALI20240910BHJP

   H04N 21/2187 20110101ALI20240910BHJP

   G03B 35/08 20210101ALI20240910BHJP

   G03B 15/00 20210101ALI20240910BHJP

【ＦＩ】

H04N13/282

H04N13/296

H04N13/194

H04N21/2187

G03B35/08

G03B15/00 P

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024510626

(86)(22)【出願日】2021-08-26

(85)【翻訳文提出日】2024-04-19

(86)【国際出願番号】 US2021047669

(87)【国際公開番号】W WO2023027708

(87)【国際公開日】2023-03-02

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＳＷＩＦＴ

(71)【出願人】

【識別番号】514274546

【氏名又は名称】レイア、インコーポレイテッド

【氏名又は名称原語表記】ＬＥＩＡ ＩＮＣ．

(74)【代理人】

【識別番号】100092783

【弁理士】

【氏名又は名称】小林 浩

(74)【代理人】

【識別番号】100120134

【弁理士】

【氏名又は名称】大森 規雄

(74)【代理人】

【識別番号】100093676

【弁理士】

【氏名又は名称】小林 純子

(74)【代理人】

【識別番号】100221327

【弁理士】

【氏名又は名称】大川 亮

(72)【発明者】

【氏名】ファッタル，デイヴィッド エー．

(72)【発明者】

【氏名】ケイリギル，セリム

【テーマコード（参考）】

2H059

5C164

【Ｆターム（参考）】

2H059AA07

2H059AA13

5C164SA26P

5C164SB41S

5C164YA21

(57)【要約】

システムおよび方法は、円弧に沿って物体のマルチビュー画像を撮影するように構成されたカメラシステムを対象とする。カメラシステムの各カメラは、共通の視野に対応してよい。加えて、カメラシステムに結合されたコンピューティングシステムが、第１の値および第２の値に基づいて目標カメラ基準値を計算し、目標カメラ基準値に一致するようにカメラ間撮影距離を動的に調節してよい。第１の値は、共通の視野を示してよく、第２の値は、カメラシステムと物体との間の距離を示してよい。
【選択図】図３

【特許請求の範囲】

【請求項1】

マルチビュー画像撮影システムであって、
円弧に沿って並べられた複数のカメラを備えるカメラシステムであって、前記複数のカメラは共平面の向きを有し、前記複数のカメラの各カメラは共通の視野を有し、前記カメラシステムは、前記複数のカメラの各々から共通の距離に位置する物体のマルチビュー画像を撮影するように構成され、前記マルチビュー画像は、前記物体の複数の異なるビュー画像を含む、カメラシステムと、
前記カメラシステムに結合されたコンピューティングシステムであって、
前記共通の視野を示す第１の値および前記共通の距離を示す第２の値に基づいて目標カメラ基準値を計算し、
前記目標カメラ基準値に一致するように、前記カメラのサブセットのカメラ間のカメラ間撮影距離を動的に調節する
ように構成されたコンピューティングシステムと、を備えるマルチビュー画像撮影システム。

【請求項2】

前記物体と前記カメラの前記サブセットの前記カメラの各々との間の前記共通の距離を測定して、前記第２の値を生成するように構成されたセンサ
をさらに備える、請求項１に記載のマルチビュー画像撮影システム。

【請求項3】

各カメラが回転可能支持部材に取り付けられ、前記回転可能支持部材は、前記複数のカメラを前記物体の周りで前記円弧に沿って均一に周回させるように構成されている、請求項１に記載のマルチビュー画像撮影システム。

【請求項4】

前記目標カメラ基準値がさらに、所定の視差レベルを実現するように計算される、請求項１に記載のマルチビュー画像撮影システム。

【請求項5】

前記コンピューティングシステムが、無テクスチャの背景の存在を判定するようにさらに構成される、請求項４に記載のマルチビュー画像撮影システム。

【請求項6】

無テクスチャの背景の存在に応じて、前記目標カメラ基準値がさらに、前記カメラの前記サブセットと前記物体の前部との間の距離、および前記カメラの前記サブセットと前記物体の後部との間の距離に基づいて計算される、請求項５に記載のマルチビュー画像撮影システム。

【請求項7】

前記コンピューティングシステムが、前記複数のカメラから前記カメラの前記サブセットのカメラを個々に選択することにより、前記カメラ間撮影距離を動的に調節するようにさらに構成される、請求項１に記載のマルチビュー画像撮影システム。

【請求項8】

前記コンピューティングシステムが、前記カメラの前記サブセットによって提供されるビュー画像にクロッピング窓を適用することによって前記共通の視野を変更するようにさらに構成される、請求項１に記載のマルチビュー画像撮影システム。

【請求項9】

前記コンピューティングシステムが、前記カメラの前記サブセットの中の各カメラをトラックに沿って個々に移動させることによって前記カメラ間撮影距離を動的に調節するようにさらに構成される、請求項１に記載のマルチビュー画像撮影システム。

【請求項10】

前記マルチビュー画像が、マルチビューディスプレイデバイスによってリアルタイムで描画されるマルチビュービデオストリームのフレームに変換され、前記フレームは、複数のインターレース解除された圧縮ビュー画像として前記マルチビューディスプレイデバイスにストリーミングされるように構成される、請求項１に記載のマルチビュー画像撮影システム。

【請求項11】

マルチビュー画像撮影の方法であって、
円弧に沿って複数のカメラを配置することであって、前記複数のカメラが共平面であり、前記複数のカメラの各カメラが共通の視野を有する、配置することと、
前記複数のカメラのカメラのサブセットを使用して物体のマルチビュー画像を撮影することであって、前記マルチビュー画像は、前記物体の複数の異なるビュー画像を含み、前記物体は、カメラの前記サブセットから共通の距離に位置している、撮影することと、
前記共通の視野を示す第１の値および前記共通の距離を示す第２の値を受け取ることと、
前記第１の値および前記第２の値に基づいて目標カメラ基準値を計算することと、
前記目標カメラ基準値に一致するように、カメラの前記サブセットのカメラ間のカメラ間撮影距離を動的に調節することと、を含むマルチビュー画像撮影の方法。

【請求項12】

前記複数のカメラを回転させて、前記複数のカメラを前記物体の周りで前記円弧に沿って均一に周回させることをさらに含む、請求項１１に記載のマルチビュー画像撮影の方法。

【請求項13】

所定の視差レベルを実現するように前記目標カメラ基準値を計算することをさらに含む、請求項１１に記載のマルチビュー画像撮影の方法。

【請求項14】

カメラの前記サブセットと前記物体の前部との間の距離、およびカメラの前記サブセットと前記物体の後部との間の距離に基づいて前記目標カメラ基準値を計算する、請求項１１に記載のマルチビュー画像撮影の方法。

【請求項15】

前記複数のカメラからカメラの前記サブセットを選択すること、および、
カメラの前記サブセットの中の各カメラをトラックに沿って個々に移動させること、
の１つまたは複数を行うことにより、前記カメラ間撮影距離を動的に調節することをさらに含む、請求項１１に記載のマルチビュー画像撮影の方法。

【請求項16】

前記マルチビュー画像を、複数のインターレース解除された圧縮ビュー画像として、リアルタイムでマルチビューディスプレイデバイスにストリーミングすることをさらに含む、請求項１１に記載のマルチビュー画像撮影の方法。

【請求項17】

マルチビュー画像撮影システムであって、
少なくとも１つのカメラを備えるカメラシステムであって、前記カメラシステムは、円弧に沿った複数の異なる場所で物体の画像を撮影するように構成され、各画像は前記物体を含む共通の視野に対応する、カメラシステムと、
前記カメラシステムに結合されたコンピューティングシステムであって、
前記共通の視野を示す第１の値および前記円弧と前記物体との間の距離を示す第２の値を受け取り、
前記第１の値および前記第２の値に基づいて目標カメラ基準値を計算し、前記目標カメラ基準値は、前記円弧に沿った前記複数の異なる場所間の距離に対応し、
前記目標カメラ基準値に一致するように前記カメラシステムの撮影間距離を動的に調節する、
ように構成されたコンピューティングシステムと、を備えるマルチビュー画像撮影システム。

【請求項18】

前記カメラシステムが、前記円弧に沿って並べられた複数のカメラを備え、前記複数のカメラが、共平面の向きを有している、請求項１７に記載のマルチビュー画像撮影システム。

【請求項19】

前記カメラシステムが、前記円弧に沿って走行するように構成された無人空中車両を備え、前記無人空中車両は、前記距離を測定して前記第２の値を生成するように構成されたセンサを備え、前記少なくとも１つのカメラが前記無人空中車両に取り付けられている、請求項１７に記載のマルチビュー画像撮影システム。

【請求項20】

前記コンピューティングシステムが、撮影画像ごとにタイムスタンプ間隔を決定することによって、前記撮影間距離を動的に調節するように構成される、請求項１９に記載のマルチビュー画像撮影システム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
該当なし

【0002】

連邦政府による資金提供を受けた研究開発の記載
該当なし

【背景技術】

【0003】

マルチビューディスプレイは、従来の２Ｄコンテンツと比べて没入感の高い視聴体験を提供する新興のディスプレイ技術である。マルチビューコンテンツは、静止画像または一連のビデオフレームを含むことがあり、各マルチビュー画像（例えば、ピクチャまたはフレーム）は、一つのシーンの異なるビューを含んでいる。マルチビュー画像は、一つのシーンの異なる視点に対応する、複数の異なるビュー画像から構成されることがある。異なるビュー画像は、１つもしくは複数のカメラによって撮影されることがあり、または他のビュー画像から外挿もしくは内挿されて合成されることもある。

【0004】

本明細書に記載される原理に従う例および実施形態の様々な特徴は、添付図面と併せて以下の詳細な説明を参照することにより、より容易に理解され得る。添付図面では、同様の数字は同様の構造要素を表す。

【図面の簡単な説明】

【0005】

【図1】本明細書に記載される原理に従う一実施形態による、一例におけるマルチビュー画像を示す図である。

【図2】本明細書に記載される原理に従う一実施形態による、マルチビューディスプレイの一例を示す図である。

【図3】図３Ａは本明細書に記載される原理に従う一実施形態による、上面視から示された複数のカメラを含むマルチビュー画像撮影システムを示す図である。図３Ｂは本明細書に記載される原理に従う一実施形態による、側面視から示された複数のカメラを含むマルチビュー画像撮影システムを示す図である。

【図4】本明細書に記載される原理に従う一実施形態による、マルチビュー画像撮影システムのカメラシステムに結合されたコンピューティングシステムを示す図である。

【図5】本明細書に記載される原理に従う一実施形態による、カメラのサブセットを個々に選択することによる、カメラ間撮影距離の動的な調節の例を示す図である。

【図6】本明細書に記載される原理に従う一実施形態による、カメラのサブセットの中の各カメラをトラックに沿って個々に移動させることによる、カメラ間撮影距離の動的な調節の例を示す図である。

【図7】本明細書に記載される原理に従う一実施形態による、各ビュー画像にクロッピング窓を適用することによって視野を変更する例を示す図である。

【図8】本明細書に記載される原理に従う一実施形態による、マルチビュー画像のデータが、マルチビューディスプレイデバイスによってリアルタイムで描画されるマルチビュービデオストリームのフレームに変換される例を示す図である。

【図9】本明細書に記載される原理に従う一実施形態によるマルチビュー画像撮影の例を提供するフローチャートである。

【図10】本明細書に記載される原理に従う一実施形態による、マルチビュー画像撮影システムの例を示す図であり、カメラシステムは無人空中車両を備えている。

【図11】本明細書に記載される原理に従う一実施形態によるコンピューティングシステムの例示的図示を描いた概略ブロック図である。

【発明を実施するための形態】

【0006】

ある例および実施形態は、上記で参照される図に示された特徴に追加されるものかそれに代わるものかのいずれかである他の特徴を有する。それらおよび他の特徴は、上記で参照される図を参照して以下で詳細に説明される。

【0007】

本明細書に記載される原理に従う例および実施形態は、シーンを１つまたは複数のマルチビュー画像として撮影する技術を提供する。マルチビュー画像を撮影する際、技術は、対象マルチビューディスプレイの目標表示レベルを達成するように撮影プロセスを最適化することを伴う。具体的には、マルチビューディスプレイは、特定の視差レベルでマルチビュー画像を描画するように設計されることがある。マルチビューディスプレイによって提示されるビューの角度範囲が、マルチビューディスプレイによって許される好ましい視差レベルを定め得る。対象マルチビューディスプレイの視差レベルに合わせられたマルチビューコンテンツを生成するために、マルチビューカメラシステムは、カメラのサブセットのカメラ間のカメラ間撮影距離を、目標カメラ基準値と一致させるように動的に調節してよく、目標基準値は、描画されるマルチビュー画像に所定の視差レベルを提供する。

【0008】

いくつかの実施形態では、撮影者が、様々な視覚的パラメータ（例えば、視野、ズーム、カメラ位置、カメラシステムと物体の間の距離等）を調節してよく、それに応じて目標カメラ基準値が計算され、カメラシステムによって動的に適用されて、カメラシステムのカメラ間のカメラ間撮影距離を変更する。例えば、撮影者が、カメラシステムのカメラを撮影対象の物体にズームインさせるまたは物体からズームアウトさせる入力を提供すると、カメラ間撮影距離が動的に変化して、マルチビューディスプレイの最適視差レベルと一致する目標カメラ基準値を実現する。いくつかの実施形態は、カメラ間撮影距離を動的に変化させる複数のカメラを使用する。他の実施形態は、物体の周りを周回し、複数の異なる場所でまたは複数の異なる視点から物体の画像を撮影してマルチビュー画像を生成する、単一のカメラを対象とする。この単一のカメラは、無人空中車両（例えば、ドローン）であってよい。カメラ間撮影距離は、単一のカメラによって画像が撮影されるときに、撮影画像ごとにタイムスタンプ間隔を決定することによって動的に調節されてよい。

【0009】

撮影されたマルチビューコンテンツ（すなわち、マルチビュー画像を構成する画像のセットの画像）は、記憶されてよく、または対象マルチビューディスプレイでリアルタイムで描画するためにストリーミングされてもよい。本明細書で使用される場合、「リアルタイム」は、システムが入力を処理して出力を生成するのに要する時間と定義される。例えば、後の時点にデータを処理する目的のためだけにデータを記憶することはリアルタイムではない。上記で触れたように、マルチビューコンテンツのカメラ基準値は、受信側のマルチビューディスプレイによって許される好ましい（例えば、典型的なまたは理想的な）視差レベルに合わせて最適化される。

【0010】

図１は、本明細書に記載される原理に従う一実施形態による、一例におけるマルチビュー画像を示す。マルチビュー画像１０３は、静止画、またはマルチビュービデオストリームからのビデオフレームであってよい。マルチビュー画像１０３は、複数のビュー画像１０６（例えば、ビュー）を含む。複数のビュー画像の各ビュー画像１０６は、複数の異なる主角度方向１０９からのシーンまたは物体のビュー（例えば、左ビュー、右ビュー等）に対応する。ビュー画像１０６は、マルチビューディスプレイ１１２で描画される。各ビュー画像１０６は、マルチビュー画像１０３の中でシーンまたは物体の異なる視認角度を表す。したがって、異なるビュー画像１０６は、互いに対していくらかの程度の視差を有する。見る者は、右眼で１つのビュー画像１０６を知覚し、同時に左眼で別のビュー画像１０６を知覚することができる。これにより、見る者は、異なるビュー画像１０６を同時に知覚することができ、それにより３次元（３Ｄ）効果を経験する。マルチビューディスプレイ１１２は、隣り合うビュー間の表示幅の百分率として定められてよい、最大のまたは要求される視差レベルに対応可能であり得る。例えば、マルチビューディスプレイ１１２は、約１パーセントの所定の視差レベルを有してよい。他の例では、所定の視差レベルは、１パーセント未満（例えば、０．２５パーセント～１パーセント）であってよく、または１パーセントよりも高くてよい（例えば、１パーセント～１０パーセント）。所定の視差レベルはまた、ビュー間に視差を作り出す画素の数として定義されてもよい。例えば、マルチビューディスプレイが１０００画素の幅であり、約１０画素分の視差でビューを提示することが可能な場合、このマルチビューディスプレイは、マルチビューディスプレイの画素距離に対する視差の画素距離である、約１パーセントの所定の視差レベルを有する。

【0011】

いくつかの実施形態では、見る者がマルチビューディスプレイ１１２に対する自身の視認角度を物理的に変化させると、見る者の眼は、マルチビュー画像１０３の異なるビューを捉え得る。その結果、見る者はマルチビューディスプレイ１１２と相互作用して、マルチビュー画像１０３の異なるビュー画像１０６を見ることができる。例えば、見る者が左に移動すると、見る者は、マルチビュー画像１０３内のシーンの左側をより多く見ることができる。マルチビュー画像１０３は、水平面に沿って複数のビュー画像１０６を有するか、または垂直面に沿って複数のビュー画像１０６を有するか、またはその両方であってもよい。よって、ユーザが異なるビュー画像１０６を見るために視認角度を変えると、見る者は、マルチビュー画像１０３に表わされるシーンの追加的な視覚的詳細を得ることができる。

【0012】

上記で解説したように、各ビュー画像１０６は、それぞれ異なる対応する主角度方向１０９で、マルチビューディスプレイ１１２によって提示される。マルチビュー画像１０３を表示のために提示する時、ビュー画像１０６は、マルチビューディスプレイ１１２上にまたはその近傍に実際に現れてよい。これに関して、描画されるマルチビューコンテンツはライトフィールド（lightfield）コンテンツと呼ばれることがある。ライトフィールドコンテンツを観察することの一つの特徴は、異なるビューを同時に観察できることである。ライトフィールドコンテンツは、画面の前方と画面の後方の両方に現れて奥行きの感覚を見る者に伝え得る視覚的画像を含んでいる。

【0013】

２Ｄディスプレイは、２Ｄディスプレイは一般にマルチビュー画像１０３の複数の異なるビューと対照的に単一のビュー（例えば、ビューのうち１つのみ）を提供するように構成されることを除き、マルチビューディスプレイ１１２と実質的に同様であり得る。本明細書において、「２次元ディスプレイ」または「２Ｄディスプレイ」は、画像が見られる方向に関係なく実質的に同じである（すなわち、２Ｄディスプレイの予め定められた視認角度または範囲内にある）画像のビューを提供するように構成されたディスプレイと定義される。多くのスマートフォンやコンピュータモニタに見られる従来の液晶ディスプレイ（ＬＣＤ）は、２Ｄディスプレイの例である。それに対して本明細書では、「マルチビューディスプレイ」は、ユーザの視点から、異なる視認方向のまたは方向からのマルチビュー画像の異なるビューを同時に提供するように構成された電子ディスプレイまたはディスプレイシステムと定義される。詳細には、異なるビュー画像１０６は、マルチビュー画像１０３の異なる視点からの見た目を表してよい。

【0014】

マルチビューディスプレイ１１２は、画像ビューが同時に知覚されるように複数の異なる画像ビューの提示に対応可能な各種技術を使用して実装されてよい。マルチビューディスプレイの一例は、マルチビーム要素を利用して、異なるビュー画像１０６の視認方向に対応する制御された主角度方向に光を散乱させるものである。いくつかの実施形態によると、マルチビューディスプレイ１１２はライトフィールドディスプレイであってよく、これは、異なるビューに対応する異なる色および異なる方向の複数の光線を提示するディスプレイである。いくつかの例では、ライトフィールドディスプレイは、マルチビーム要素（例えば、回折格子）を使用して、奥行きを知覚するための特殊な眼鏡を装着する必要なく、マルチビュー画像の自動立体表現を提供し得る、いわゆる「メガネ不要（glasses free）」の３次元（３Ｄ）ディスプレイである。

【0015】

図２は、本明細書に記載される原理に従う一実施形態による、マルチビューディスプレイの一例を示す。マルチビューディスプレイ１１２は、マルチビューモードで動作している時にマルチビューコンテンツを生成してよい。いくつかの実施形態では、マルチビューディスプレイ１１２は、その動作モードに応じて、２Ｄ画像のみならずマルチビュー画像も描画する。例えば、マルチビューディスプレイ１１２は、様々なモードで動作するための複数のバックライトを含んでよい。マルチビューディスプレイ１１２は、２Ｄモードの間、広角バックライト１１５を使用して広角発光を提供するように構成されてよい。加えて、マルチビューディスプレイ１１２は、マルチビューモードの間、マルチビーム要素のアレイを有するマルチビューバックライト１１８を使用して指向性発光を提供するように構成されてよく、指向性発光は、マルチビーム要素アレイの各マルチビーム要素によって提供される複数の指向性光線を含む。いくつかの実施形態では、マルチビューディスプレイ１１２は、モードコントローラ１２１を使用して２Ｄモードとマルチビューモードを時間多重化して、２Ｄモードに対応する第１の連続した時間間隔の間は広角バックライト１１５を有効にし、マルチビューモードに対応する第２の連続した時間間隔の間はマルチビューバックライト１１８を順次有効にするように構成されてよい。方向性光線の各指向性光線の方向は、マルチビュー画像１０３の異なる視認方向に対応してよい。モードコントローラ１２１は、広角バックライト１１５またはマルチビューバックライト１１８を有効にするためのモード選択信号１２４を生成してよい。

【0016】

２Ｄモードでは、広角バックライト１１５が使用されて、マルチビューディスプレイ１１２が２Ｄディスプレイ様に動作するように画像を生成してよい。定義上、「広角」発光は、マルチビュー画像またはマルチビューディスプレイのビューの円錐角よりも大きい円錐角を有する光と定義される。詳細には、いくつかの実施形態では、広角発光は、約２０度よりも大きい（例えば、＞±２０°）円錐角を有してよい。他の実施形態では、広角発光の円錐角は、約３０度よりも大きい（例えば、＞±３０°）か、または約４０度よりも大きい（例えば、＞±４０°）か、または約５０度よりも大きくてよい（例えば、＞±５０°）。例えば、広角発光の円錐角は、約６０度（例えば、＞±６０°）であってよい。

【0017】

マルチビューモードでは、広角バックライト１１５に代えてマルチビューバックライト１１８を使用してよい。マルチビューバックライト１１８は、マルチビューバックライト１１８の上面、下面、または上面と下面の間に、マルチビーム要素のアレイを有してよい。マルチビーム要素は、光を、互いと異なる主角度方向を有する複数の指向性光線として散乱させるように構成される。さらに、複数の指向性光線の指向性光線は、マルチビューモードの間、マルチビューディスプレイ１１２の、またはそれと等価にマルチビューディスプレイ１１２によって表示されるマルチビュー画像の、視認方向に対応する方向を有する。例えば、マルチビューディスプレイ１１２がマルチビューモードで動作して４つのビューを有するマルチビュー画像を表示する場合、マルチビューバックライト１１８は、４つの指向性光線を含む光を散乱させてよく、各指向性光線は、４つのビューのうち異なる１つに対応する。モードコントローラ１２１は、第１の連続した時間間隔中にはマルチビューバックライトを使用してマルチビュー画像が表示され、第２の連続した時間間隔中には広角バックライトを使用して２Ｄ画像が表示されるように、２Ｄモードとマルチビューモード間を連続的に切り替わってよい。指向性光線は所定の角度であってよく、各指向性光線はマルチビュー画像の異なるビューに対応する。

【0018】

いくつかの実施形態では、マルチビューディスプレイ１１２の各バックライト（すなわち、広角バックライト１１５およびマルチビューバックライト１１８）は、ライトガイド中で導光として光を導くように構成される。すなわち、広角バックライト１１５およびマルチビューバックライト１１８の一方または両方が、導光として光を導くように構成されたライトガイドを備えてよい。本明細書において、「ライトガイド」は、全内反射または「ＴＩＲ」を使用して構造内で光を導く構造と定義される。詳細には、ライトガイドは、ライトガイドの動作波長において実質的に透明であるコアを含んでよい。様々な例において、用語「ライトガイド」は一般に、全内反射を利用してライトガイドの誘電材料とそのライトガイドを包囲する材料または媒体との界面において光を導く、誘電体光学導波路を言う。定義上、全内反射の条件は、ライトガイドの屈折率が、ライトガイドの表面に隣接する周囲媒体の屈折率よりも大きいことである。いくつかの実施形態では、ライトガイドは、全内反射をさらに促進するために、上述の屈折率の差に加えてまたはその代わりにコーティングを含んでよい。コーティングは、例えば反射コーティングであってよい。ライトガイドは、これらに限定されないが、板または平板ガイドおよび帯状ガイドの一方または両方を含む、数種のライトガイドのいずれであってもよい。ライトガイドは、板または平板状の形状であってよい。ライトガイドは、光源（例えば、発光素子）によってエッジ照明されてよい。

【0019】

上記で説明したように、マルチビューディスプレイ１１２のマルチビューバックライト１１８は、マルチビーム要素アレイのマルチビーム要素を使用して、導光の一部を指向性発光として散乱させるように構成され、マルチビーム要素アレイの各マルチビーム要素は、回折格子、微小屈折要素、および微小反射要素の１つまたは複数を含む。いくつかの実施形態では、マルチビーム要素の回折格子は、複数の個々の下位格子を備えてよく、微小屈折要素は複数の個々の屈折下位要素を備えてよく、微小反射要素は複数の個々の下位反射体または反射下位要素を備えてよい。様々な実施形態によると、回折格子を備えるマルチビーム要素は、導光部分を複数の指向性光線として回折結合するまたは散乱させるように構成される。様々な実施形態によると、微小反射要素は、導光部分を複数の指向性光線として反射結合するまたは散乱させるように構成される。微小反射要素は、導光がライトガイドから散乱される様態を制御する反射コーティングを備えてよい。様々な実施形態によると、微小屈折要素は、屈折により、または屈折を使用して、導光部分を複数の指向性光線として結合または散乱させる（すなわち、導光部分を屈折散乱させる）ように構成される。

【0020】

マルチビューディスプレイ１１２はまた、バックライトの上方（例えば、広角バックライト１１５の上方およびマルチビューバックライト１１８の上方）に配置されたライトバルブ（light valve）アレイを含んでよい。ライトバルブアレイのライトバルブは、例えば、液晶ライトバルブ、電気泳動ライトバルブ、エレクトロウェッティングに基づくまたはそれを利用したライトバルブ、またはそれらの任意の組み合わせであってよい。２Ｄモードで動作しているとき、広角バックライト１１５は、ライトバルブアレイに向けて光を発する。各ライトバルブは、広角バックライト１１５によって発された広角光によって照明されたときに２Ｄ画像を表示する特定の画素バルブを実現するように制御される。これに関して、各ライトバルブは、単一の画素に対応する。これに関して、単一の画素は、単一の画素セル（例えば、ＬＣＤセル）を構成する異なる色の画素（例えば、赤、緑、青）を含んでよい。

【0021】

マルチビューモードで動作しているとき、マルチビューバックライト１１８は、ライトバルブアレイを照明するための指向性光線を（例えば、明視野として）発する。ライトバルブは、一つのマルチビュー画素を形成するように共にグループ化されてよい。例えば、４ビューのマルチビュー形式では、一マルチビュー画素が４つの異なる画素を含んでよく、各画素は異なるビューに対応する。マルチビュー画素内の各画素はさらに、異なる色の画素を含んでよい。

【0022】

マルチビュー画素配列内の各ライトバルブは、主角度方向を有する複数の指向性光線の指向性光線のうちの１つによって照明されてよい。よって、マルチビュー画素は、マルチビュー画像の異なるビューの中の異なる画素を表す画素のグループ化である。いくつかの実施形態では、マルチビューバックライト１１８の各マルチビーム要素は、ライトバルブアレイのマルチビュー画素に対応する。

【0023】

マルチビューディスプレイ１１２は、マルチビュー画像１０３を表示するための画面を提供する。画面は、例えば、電話（例えば、携帯電話、スマートフォン等）の表示画面、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータのコンピュータモニタ、カメラディスプレイ、または実質的任意の他のデバイスの電子ディスプレイであってよい。

【0024】

本明細書で使用される場合、冠詞「ａ」は、特許分野における通常の意味、すなわち「１つまたは複数の」を有することが意図される。例えば、「a processor」は、１つまたは複数のプロセッサを意味し、そのため「the processor」は、本明細書において「１つまたは複数のプロセッサ」を意味する。また、本明細書における「上部」、「底部」、「上方」、「下方」、「上」、「下」、「前」、「後ろ」、「第１の」、「第２の」、「左」、または「右」の言及は、本明細書において制限であることは意図されない。本明細書において、値に適用される場合の語「約」は、概して、明示的に断らない限り、その値を生成するために使用される機器の誤差範囲内を意味するか、あるいは、プラスもしくはマイナス１０％、またはプラスもしくはマイナス５％、またはプラスもしくはマイナス１％を意味する場合がある。さらに、本明細書で使用される語「実質的に」は、過半数、またはほぼすべて、またはすべて、または約５１％～約１００％の範囲内の量を意味する。さらに、本明細書における例は、単に説明のためであり、解説の目的で提示され、制限として提示されるのではない。

【0025】

本明細書で使用される場合、用語「視野（field of view）」（ＦｏＶ）は、カメラがそのレンズを通じて観察することができる角度範囲を意味するものと定義される。ＦｏＶは、カメラレンズに入射することを許される光の円錐を形成する角度として定義されてよい。例えば、広角レンズを有するカメラは、６５°～９５°の範囲のＦｏＶを有することがあり、望遠レンズを有するカメラは、１０°～３０°の範囲の狭いＦｏＶを有することがある。

【0026】

図３Ａは、本明細書に記載される原理に従う一実施形態による、上面視から示された複数のカメラを含むマルチビュー画像撮影システムを示す。いくつかの実施形態では、マルチビュー画像撮影システムは、円弧２０６に沿って並べられた複数のカメラ２０３を備えるカメラシステム２０１を備え、複数のカメラ２０３は共平面の向きを有し、各カメラ２０３は共通の視野（ＦｏＶ）２０７を有し、カメラシステム２０１は、カメラ２０３の各々から共通の距離「ｄ」に位置する物体２０９の画像データを取り込むように構成される。画像データはマルチビュー画像を含み、マルチビュー画像は、物体の複数の異なるビュー画像を含む。カメラ２０３は、物体２０９からレンズを通して受け取られた光を画像に変換する装置であり、画像は、カメラ２０３の位置、向き、および構成に基づく物体のデジタル表現であってよい。

【0027】

カメラ２０３は、円弧２０６に沿って配置される。円弧２０６は、カメラ２０３が物体２０９から離れる距離「ｄ」がほぼ同じになるように、円形または部分的に円形であってよい。すなわち、距離ｄは、円弧２０６の半径であってよい。最終的なマルチビュー画像の品質が損なわれないよう、物体２０９と各カメラ２０３との間の距離「ｄ」が実質的にほぼ同じになるように、ある程度の許容誤差が許されることが認識されるはずである。

【0028】

加えて、カメラ２０３は、共平面の向きを有してよい。カメラ２０３を共平面の向きに配置することにより、各カメラが、同じ面に沿って各自の視野（ＦｏＶ）を持ちながら、同じ平面に沿って配置される。このようにして、直径方向に対向するカメラ２０３同士が互いの方に向けられる。異なる面を向いているカメラ同士は共平面ではない。例えば、下または上に向けられたカメラの環は、共平面の向きではない。

【0029】

各カメラ２０３は、共通のＦｏＶ２０７を有してよい。これに関して、各カメラ２０３は、同じ角度範囲の光が各カメラ２０３のレンズに入射できるようにするために、同じタイプのレンズまたは同じレンズ構成を有してよい。ＦｏＶ２０７は、ズームインまたはズームアウトによって調節されてよい。共通のＦｏＶ２０７を有するようにすべてのカメラ２０３を構成することにより、ズームイン、ズームアウト、またはＦｏＶ２０７をその他の方法で変化させるユーザ入力によって、各カメラ２０３が各自のＦｏＶ２０７をグローバルに変化させる。よって、各カメラ２０３は、ユーザ入力に応じて動的に同じＦｏＶ２０７を採り得る。ＦｏＶ２０７は焦点距離に変換され、焦点距離は、記録面の幅の百分率として表される。焦点距離ｆは、次の式（１）に従って決定されてよい。

【0030】

【数1】

ここで焦点距離ｆは、記録面の幅の百分率として表され、式（１）のＦｏＶはＦｏＶ２０７であり、これは各カメラ２０３に同一であってよい。ＦｏＶは、本明細書においては一般にカメラ間撮影距離を計算するために用いられるが、式（１）に照らすと、本明細書に記載される原理の範囲を越えることなく、ＦｏＶと焦点距離のどちらが使用されてもよい。

【0031】

カメラシステム２０１は、カメラ２０３の各々から共通の距離ｄに位置する物体２０９の画像データを取り込むように構成されてよい。物体２０９の大きさは、小さい物品（例えば、靴、腕時計）から大きい物品（例えば、車、建物）に及んでよい。いくつかの実施形態では、カメラ２０３は、円弧２０６に沿って一斉に移動してよい。これに関して、カメラ２０３は、物体２０９の周りを周回して、物体２０９の異なる視点を撮影してよい。各カメラ２０３は、各カメラ２０３が同じ焦点距離ｆを持って物体２０９に合焦するよう、カメラ２０３の焦点面２１５を物体上に置くように構成されてよい。

【0032】

いくつかの実施形態では、各カメラ２０３は、回転可能支持部材に取り付けられる。回転可能支持部材は、複数のカメラ２０３を物体２０９の周りで円弧２０６に沿って均一に周回させるように構成される。図３Ａは、カメラ２０３がどのようにして、各カメラ２０３間に一定の間隙（例えば、カメラ基準値）を維持しながら、物体２０９の周りを一斉に回転し得るのかを示す、双方向の曲がった矢印を示す。各カメラ２０３は、回転可能支持部材に堅固に固定されてよく、その場合、回転可能支持部材は剛体のリングのような形状である。回転可能支持部材は、各カメラ２０３が回転可能支持部材によって作り出される回転軸に沿って均一に滑らかに移動できるようにするトラックを有してよい。撮影者が、カメラ２０３が物体２０９の周りを周回できるように回転の速度および方向を制御するためのユーザ入力を提供してよい。

【0033】

図３Ｂは、本明細書に記載される原理に従う一実施形態による、側面視から示された複数のカメラを含むマルチビュー画像撮影システムを示す。図３Ｂは、物体のマルチビュー画像を撮影するために、異なるカメラ２０３がどのように円弧２０６に沿って配置され、共平面の向きに並べられるかを示している。

【0034】

図４は、本明細書に記載される原理に従う一実施形態による、マルチビュー画像撮影システムのカメラシステム２０１に結合されたコンピューティングシステム２２１を示す。コンピューティングシステム２２１は、入力を受け取り、プログラム命令を実行し、出力を生成する、プロセッサに基づくシステムであってよい。コンピューティングシステム２２１の例は、図１１との関連でより詳細に説明する。図４は、有線接続または無線接続を使用してカメラシステム２０１に結合されたコンピューティングシステム２２１を示す。コンピューティングシステム２２１は、カメラシステム２０１に制御信号２２４を送信してよい。制御信号２２４は、カメラシステム２０１のカメラを制御または構成する指令を含んでよい。例えば、制御信号２２４は、カメラシステム２０１にそのカメラを動かせる、ズームインさせる、ズームアウトさせる、視野を調節させる、画像撮影のためにカメラのサブセットを選択させる、一部のカメラの選択を解除させる、記録を開始させる、記録を停止させる指令、またはカメラを制御し、視覚的パラメータを設定するためのその他の指令であってよい。

【0035】

コンピューティングシステム２２１は、カメラシステム２０１からフィードバック信号２２７も受信してよい。フィードバック信号２２７は、カメラの視覚的パラメータ（例えば、ＦｏＶ、焦点距離、カメラと物体間の距離）、カメラ位置、カメラの状態、またはカメラシステム２０１に関係するその他の情報を含んでよい。いくつかの実施形態では、マルチビュー撮影システムは、物体とカメラのセットの各カメラとの間の共通の距離を測定して、第２の値を生成するように構成されたセンサを含んでよい。センサは、１つまたは複数のカメラに取り付けられた距離センサであってよい。フィードバック信号２２７は、センサによって測定された共通の距離を示す第２の値を含んでよい。

【0036】

カメラシステム２０１はまた、物体の画像データ２３０を取り込み、その画像データ２３０をカメラシステム２０１に送信してよい。画像データ２３０は、物体の異なるビュー画像を含んでおり、ビデオフレームまたは静止画像を表すマルチビュー画像としてフォーマットされてよい。マルチビュー画像は、物体の複数の異なるビュー画像を含む。コンピューティングシステム２２１は、画像データ２３０を受け取り、それをメモリに記憶してよい。コンピューティングシステム２２１はまた、画像データ２３０を処理し、それをリアルタイムで描画するためにライブマルチビュービデオとしてマルチビューディスプレイデバイスにストリーミングしてよい。例えば、マルチビュー画像は、タイルから構成されるフレームに変換されてよく、各タイルは異なるビュー画像を表す。

【0037】

よって、実施形態によると、コンピューティングシステム２２１は、共通の視野を示す第１の値および共通の距離を示す第２の値を受け取るように構成される。第１の値または第２の値は、フィードバック信号２２７の一部であっても、またはコンピューティングシステム２２１のメモリにアクセスすることによって受け取られてもよい。例えば、撮影者が、カメラシステム２０１のＦｏＶ値（または焦点距離もしくはＦｏＶを示す他の相当物）をユーザ入力２３２として指定してよい。撮影者は、各カメラを共通のＦｏＶで構成し、その共通のＦｏＶを、コンピューティングシステム２２１への入力である第１の値として提供してよい。これに関して、カメラシステム２０１は、そのカメラをユーザ指定のＦｏＶを採用するように構成してよく、ユーザ指定のＦｏＶは、目標カメラ基準値２３３を決定する計算の一部として、第１の値としてコンピューティングシステム２２１によって受け取られてよい。

【0038】

共通の距離を示す第２の値は、コンピューティングシステム２２１に提供される距離入力２４３として受け取られてよい。距離入力２４３は、ユーザによって指定されても、または撮影される物体とカメラシステム２０１のカメラとの間の距離を測定するように構成されているセンサによって自動的に決定されてもよい。

【0039】

実施形態によると、コンピューティングシステム２２１は、共通のＦｏＶを示す第１の値および共通の距離を示す第２の値に基づいて目標カメラ基準値２３３を計算するように構成される。例えば、距離入力２４３およびＦｏＶは、最適な目標カメラ基準値２３３を決定するために使用されてよい。目標カメラ基準値２３３は、互いに対応するビューを提供する２つの視点（例えば、カメラ位置）の間の距離を示す値である。目標カメラ基準値２３３がより大きいと、異なるビュー間の視差がより多くなる。目標カメラ基準値２３３がゼロであると、ビュー間に視差がないため、マルチビュー画像は単一のビュー画像に収まる。

【0040】

いくつかの実施形態では、目標カメラ基準値２３３はさらに、所定の視差レベルを実現するように計算される。所定の視差レベル２４６は、対象マルチビューディスプレイの要求視差量を指定する値であってよい。マルチビューディスプレイは、図１および図２のマルチビューディスプレイ１１２と同様であってよい。所定の視差レベル２４６は、隣り合うビュー間のマルチビューディスプレイ幅の百分率として表されてよい。これに関して、目標カメラ基準値２３３は、特定のマルチビューディスプレイの視差レベルに合わせて最適化されるように計算され得る。所定の視差レベル２４６は、コンピューティングシステム２２１への入力として受け取られるか、またはその他の方法でコンピューティングシステム２２１のメモリに記憶されてよい。

【0041】

目標カメラ基準値２３３は、所定の視差レベル２４６に比例し、共通の距離に比例し、かつ焦点距離ｆに逆比例するように計算されてよい。上記で述べたように、焦点距離ｆはＦｏＶから変換されてよい。

【0042】

いくつかの実施形態では、コンピューティングシステム２２１はさらに、無テクスチャの背景の存在を決定するように構成される。無テクスチャの背景の存在を使用して、目標カメラ基準値２３３がどのように計算されるかをさらに定義してよい。本明細書における定義上、「無テクスチャの背景」は、同様の濃淡の色から成る単色の背景、または多様な視覚的特徴を欠く他の背景であってよい。例えば、緑色の画面または青色の画面が、撮影されている物体の後方に置かれる無テクスチャの背景であり得る。無テクスチャの背景の存在は、コンピューティングシステム２２１に入力として供給される背景データ２４９として提供されてよい。例えば、ユーザが、物体の後方に加えられる無テクスチャの背景があるかどうかを指定してよい。背景データ２４９は、無テクスチャの背景の存在のフラグまたは二進表示であってよい。いくつかの実施形態では、背景データ２４９は、ユーザによって指定される入力であってよい。他の実施形態では、無テクスチャの背景の存在は、センサによって自動的に判定されてよい。例えば、センサが、背景の色のばらつきの度合いを測定してよく、それが閾値と比較されて、それがテクスチャのあるものか無テクスチャのものであるかを判定する。

【0043】

いくつかの実施形態では、無テクスチャの背景の存在に応答して、目標カメラ基準値２３３はさらに、シーンの奥行きに基づいて計算される。これに関して、無テクスチャの背景の存在に応答して、目標カメラ基準値はさらに、カメラのサブセットと物体の前部との間の距離、およびカメラのサブセットと物体の後部との間の距離に基づいて計算される。

【0044】

共通の距離（カメラと物体の間の距離）はさらに、２つの異なる値を含むように指定されるかまたは他の方法で２つの異なる値から導出されてよく、この２つの異なる値はＺｍｉｎおよびＺｍａｘである。Ｚｍｉｎは、カメラと物体の前部との間の距離を取ることによって計算される最小のシーン奥行きであり、Ｚｍａｘは、カメラと物体の後部との間の距離を取ることによって計算される。よって、共通の距離は、Ｚｍｉｎ、Ｚｍａｘ、または両者の平均であってよい。無テクスチャの背景が存在することに応じて、目標カメラ基準値２３３は、次の式（２）に従って計算されてよく、

【0045】

【数2】

ここで、Ｂは目標カメラ基準値２３３であり、Ｄは所定の視差レベルであり、ｆは、記録面の幅の百分率として表された焦点距離であり、Ｚｍｉｎは上記で定義した通りであり、Ｚｍａｘは上記で定義した通りである。ＺｍｉｎおよびＺｍａｘは、カメラと物体の前部との間の距離（Ｚｍｉｎ）およびカメラと物体の後部との間の距離を示すユーザ入力を受け取ることによって決定されてよい。他の実施形態では、物体の周りに配置されたセンサが、ＺｍｉｎおよびＺｍａｘを測定してよい。例えば、物体を取り囲むカメラの環が、一つのカメラまたはカメラのサブセットに対するシーンの奥行きを測定するためのセンサも含んでよい。

【0046】

いくつかの実施形態では、テクスチャのある背景の存在に応答して、目標カメラ基準値はさらに、次の式（３）に従って計算され、
Ｂ＝Ｄ＊ｄ／ｆ （３）
ここで、Ｂは目標カメラ基準値２３３であり、Ｄは所定の視差レベルであり、ｄは共通の距離（例えば、カメラと物体間の距離）であり、ｆは、記録面の幅の百分率として表される焦点距離である。テクスチャのある背景は、シーンの一部であるかまたはその他の形でシーンの主題であることが意図される、色のばらつきや視覚的アーチファクトを含む。一方、無テクスチャの背景は、見る者の注意を背景から逸らし、物体に向けることが意図される。

【0047】

よって、テクスチャのある背景の存在または無テクスチャの背景の存在は、シーンの奥行きの計算を加味することによって目標カメラ基準値２３３がどのように計算されるかをコントロールする。上記で解説したように、シーンの奥行きの計算は、カメラのサブセットに対する物体の前部と物体の後部との間の奥行きの変化に基づく。

【0048】

目標カメラ基準値２３３を計算すると、コンピューティングシステム２２１はさらに、目標カメラ基準値２３３に一致するように、カメラのサブセットのカメラ間のカメラ間撮影距離を動的に調節するように構成されてよい。カメラ間撮影距離は、互いに隣接するカメラの視点間の距離である。いくつかの実施形態によると、カメラ間撮影距離は、互いに隣接するカメラレンズの中心間の物理的距離、または各カメラ位置間の相当する距離であってよい。目標カメラ基準値２３３を計算すると、コンピューティングシステム２２１は、目標カメラ基準値２２３を実現するためにカメラを再構成するようカメラシステム２０１を制御する制御信号を生成してよい。

【0049】

上述したように、カメラ間撮影距離は、動的に変更されてよい。撮影者がズームインもしくはズームアウトするかまたは物体の位置付けを変化させる、または焦点距離／ＦｏＶを変化させる、またはその他の同様の変更を行うと、更新された目標カメラ基準値２３３が、特定のマルチビューディスプレイに合わせて最適化されるように計算されてよい。カメラ間撮影距離は、撮影者が様々な視覚的パラメータ（例えば、ズーム、ＦｏＶ、物体からの距離等）を変更するのに伴って、マルチビューディスプレイに合わせて最適化された視差レベルを提供するために、その場で動的に変更されてよい。

【0050】

カメラのサブセットが、物体のマルチビューコンテンツを撮影するために有効化されるかまたはその他の方法で選択されてよい。例えば、撮影者が、４つの別個のビューを有するマルチビューコンテンツを撮影したい場合には、４つの異なるカメラが選択されて、カメラのサブセットを形成してよい。コンピューティングシステム２２１は、マルチビュー画像形式のビューの数に対応する数のカメラを選択してよい。マルチビュー画像形式は、特定の数のビューを定めてよく、マルチビューディスプレイによって指定されてよい。より多数のビューに対応可能なマルチビューディスプレイには、より多くのカメラがマルチビューコンテンツを撮影するために選択されてよい。

【0051】

図５は、本明細書に記載される原理に従う一実施形態による、カメラ２０３のサブセットを個々に選択することによる、カメラ間撮影距離の動的な調節の例を示す。例えば、コンピューティングシステム２２１は、複数のカメラ２０３からカメラ２０３のサブセットを個々に選択することにより、カメラ間撮影距離を動的に調節するようにさらに構成されてよい。図５は、撮影されるマルチビューコンテンツが４つのビューを有する例を示す。したがって、４つのカメラ２０３がコンピューティングシステムによって選択される。選択されたカメラ２０３は実線で示され、選択されていないカメラ２０３は点線で示されている。各カメラ２０３は、カメラ識別子を使用してコンピューティングシステム２２１によって選択されてよい。カメラ識別子により、コンピューティングシステム２２１は、物体のビュー画像を撮影する特定のカメラを個々に選択することができる。４つのカメラ２０３は、目標カメラ基準値に一致させるようにカメラ間撮影距離を制御できるように選択される。この実施形態では、各カメラ２０３は、他のカメラに対して固定された位置を有してよい。その結果、カメラ間撮影距離が量子化され、カメラ２０３は、目標カメラ基準値に可能な限り一致するように選択される。カメラ２０３は、カメラ間撮影距離の小さい調節に対応可能となるように、互いと近い固定された位置を有してよい。

【0052】

例えば、計算された目標カメラ基準値を減らす場合は、互いと近いカメラ２０３が選択されてよい。一方、計算された目標カメラ基準値を増す場合は、より遠く離れたカメラ２０３が選択されてよい。図５のこの例では、カメラ間撮影距離は、選択されたカメラ同士の間にあるカメラの数に対応してよい。

【0053】

図６は、本明細書に記載される原理に従う一実施形態による、カメラのサブセットの中の各カメラをトラックに沿って個々に移動させることによる、カメラ間撮影距離の動的な調節の例を示す。例えば、図６は、コンピューティングシステムが、カメラのサブセットの中の各カメラをトラックに沿って個々に移動させることによってカメラ間撮影距離を動的に調節するようにさらに構成される実施形態を描いている。カメラ２０３は、個々に選択され、円弧をなすトラックに沿って動かされてよい。カメラは、互いに相対的に移動してよい。これに関して、各カメラ２０３は、隣接するカメラ２０３に向かう方または離れる方へ個々に移動してよい。加えて、各カメラ２０３は、カメラのサブセットにわたってほぼ同じ基準値を維持するために均一に移動してよい。これにより、撮影者は、カメラ間撮影距離をカメラ２０３ａ～ｄのサブセットにわたって適用し、カメラ間撮影距離を維持しながらそれらのカメラ２０３ａ～ｄを物体の周りを周回させることが可能となる。

【0054】

図６は、カメラのサブセットの中の１つのカメラが中央ビューカメラとして指定される実施形態を描いている。例えば、第３のカメラ２０３ｃが中央ビューカメラと考えられてよい。中央ビューカメラ２０３ｃの左および右のカメラは、目標カメラ基準値に一致するカメラ間撮影距離を実現するように、近づくようにまたはより遠ざかるように移動してよい。

【0055】

図７は、本明細書に記載される原理に従う一実施形態による、各ビュー画像にクロッピング窓を適用することによって視野を変更する例を示す。例えば、図７は、コンピューティングシステムが、カメラのサブセットによって提供されるビュー画像にクロッピング窓を適用することによって共通の視野を変更するようにさらに構成される実施形態を描いている。

【0056】

図７は、物体２０９のマルチビューコンテンツを撮影するために選択された４つのカメラ２０３ａ～ｄを示している。第１のカメラ２０３ａはビュー画像Ａを撮影し、第２のカメラ２０３ｂはビュー画像Ｂを撮影し、第３のカメラ２０３ｃはビュー画像Ｃを撮影し、第４のカメラ２０３ｄはビュー画像Ｄを撮影する。カメラ２０３ａ～ｄによって撮影された各ビュー画像は、カメラ２０３ａ～ｄの位置に基づく、物体２０９の異なる視点を有する。

【0057】

ユーザは、コンピューティングシステムにより受け取られるユーザ入力を提供することによって視野を変更してよい。例えば、ユーザは、ズームインまたはズームアウトしてよい。ユーザ入力に応じて、コンピューティングシステムは、対応するビュー画像（例えば、ビュー画像Ａ～Ｄ）にクロッピング窓２５５ａ～ｄを適用してよい。より小さいクロッピング窓は、ズームインして視野を実質的に狭めるのに対し、クロッピング窓を大きくすると、ズームアウトして視野を実質的に広くする。これに関して、視野を変更させる単一のユーザ入力により、コンピューティングシステムが、マルチビュー画像の各ビュー画像にクロッピング窓２５５ａ～ｄを適用する。言い換えると、コンピューティングシステムは、ユーザ入力に従って、選択されたカメラごとにクロッピング窓２５５ａ～ｄをグローバルに適用して視野を変更する。

【0058】

図８は、本明細書に記載される原理に従う一実施形態による、データマルチビュー画像が、マルチビューディスプレイデバイスによって描画されるマルチビュービデオストリームに変換される例を示す。いくつかの実施形態では、マルチビュービデオストリームは、リアルタイムで描画されてよい。例えば、図８は、マルチビュー画像が、マルチビューディスプレイデバイスによってリアルタイムで描画されるマルチビュービデオストリームのフレームに変換される場合を示しており、フレームは、複数のインターレース解除された圧縮ビュー画像としてマルチビューディスプレイデバイスにストリーミングされるように構成される。マルチビュー画像を構成する画像データ２３０は、カメラシステム２０１によって生成され、コンピューティングシステム２２１に送信される。画像データ２３０は、複数のカメラのサブセットの複数のカメラから取得されたビュー画像を含んでよい。カメラ間撮影距離は、ユーザ入力（例えば、ズームイン、ズームアウト、ＦｏＶの変更等）に応じて動的に変更されてよい。それに応じて、動的に更新されたカメラ間撮影距離を使用して、追加的なマルチビュー画像を含む追加的な画像データ２３０が撮影される。

【0059】

コンピューティングシステム２２１は、画像データ２３０のマルチビュー画像を複数のタイリングされたフレームにフォーマットすることにより、マルチビュービデオストリーム２５８を生成してよい。図８は、フレームＡからフレームｎの範囲のタイリングされたフレームを描いている。タイリングされたフレームはマルチビューフレームであり、特定のタイリングされたフレームの各マルチビュー画像は、そのタイリングされたフレーム内のタイルとして配置される。その結果、一つのタイリングされたフレーム内の各マルチビュー画像（例えば、タイル）は、他のマルチビュー画像（例えば、タイル）から空間的に分離している。図８の例は、４つのビューを有するタイリングされたフレームを示しており、ビュー１は左上の象限にあり、ビュー２は右上の象限にあり、ビュー３は左下の象限にあり、ビュー４は右下の象限にある。

【0060】

タイリングされたマルチビューフレームは、インターレース解除されていると言ってもよい。インターレース処理は、各ビュー画像の画素を空間的に多重化してインターレースされたマルチビュー画像２５９を形成する処理である。インターレースされたマルチビュー画像２５９は、マルチビュービデオストリーム２５８の中の一フレームを表してよく、タイリングされたマルチビューフレームは、その後インターレースされて、対象マルチビューディスプレイデバイス２６０で描画される。マルチビューディスプレイデバイス２６０は、例えば図１および図２のマルチビューディスプレイ１１２などのマルチビューディスプレイを含む。マルチビューディスプレイデバイス２６０は、例えば図１１で説明したコンピューティングシステムなどのコンピューティングシステムであってよい。

【0061】

図８に示すように、インターレースされたマルチビュー画像２５９は、空間的に多重化されたまたはその他の方法でインターレースされたビューを有する。インターレースされたマルチビュー画像２５９は、画素のアレイを含んでおり、各画素は、画素同士がインターレースされる（例えば、インターリーブまたは空間的に多重化される）ように、４つのビューの１つに対応する。ビュー１に属する画素は番号１で表され、ビュー２に属する画素は番号２で表され、ビュー３に属する画素は番号３で表され、ビュー４に属する画素は番号４で表される。インターレースされたマルチビュー画像２５９のビューは、各行に沿って水平方向に画素単位でインターレースされる。インターレースされたマルチビュー画像２５９は、大文字Ａ～Ｅによって表される画素の行と小文字ａ～ｈによって表される画素の列とを有する画素アレイであってよい。図８は、行Ｅ、列ｅ～ｈにあるマルチビュー画素２８２の１つの場所を示している。マルチビュー画素２８２は、４つのビュー各々の画素から取られた画素を配列したものである。言い換えると、マルチビュー画素２８２は、空間的に多重化されるように４つのビュー各々の個々の画素をインターレースした結果である。図８は、異なるビューの画素を水平方向にインターレースする場合を示しているが、異なるビューの画素は、垂直方向、ならびに水平方向と垂直方向の両方においてインターレースされてもよい。

【0062】

マルチビュー画像形式が４つのビューを指定すると仮定すると、インターレースされたマルチビュー画像２５９は、４つのビュー各々から１画素ずつを有するマルチビュー画素２８２となり得る。いくつかの実施形態では、マルチビュー画素は、図８に示すように特定の方向にずらされてよく、図８では、マルチビュー画素は、垂直方向にずらされながら水平方向において整列されている。他の実施形態では、マルチビュー画素は、水平方向にずらされ、垂直方向において整列されてよい。マルチビュー画素がインターレースおよびずらされる特定の方式は、マルチビューディスプレイの設計に依存し得る。インターレースされたマルチビュー画像２５９は、その画素をインターレースさせ、マルチビュー画素として並べて、それらをマルチビューディスプレイの物理的画素（例えば、ライトバルブアレイ）にマッピングできるようにしてよい。言い換えると、インターレースされたマルチビュー画像２５９の画素座標は、マルチビューディスプレイの物理的場所に対応する。マルチビュー画素２８２は、ライトバルブアレイ内のライトバルブの特定のセットへのマッピングを有する。ライトバルブアレイは、インターレースされたマルチビュー画像２５９に従って光を変調するように制御される。ライトバルブアレイのライトバルブは、例えば、液晶ライトバルブ、電気泳動ライトバルブ、エレクトロウェッティングに基づくまたはそれを利用したライトバルブ、またはそれらの任意の組み合わせであってよい。

【0063】

マルチビュービデオストリーム２５８を生成する際、コンピューティングシステム２２１は、マルチビュー画像を複数のインターレース解除された圧縮ビュー画像に変換してよい。マルチビュービデオストリーム２５８は、圧縮処理を適用することによって圧縮されたタイリングマルチビューフレームを含んでよい。圧縮とは、最低限の量のビデオ品質を維持しながら、ビデオデータのサイズ（ビット換算）を減らす処理を言う。圧縮しないと、ビデオを完全にストリーミングするのに要する時間が増大するか、またはその他の形でネットワーク帯域幅を消耗する。したがって、ビデオ圧縮は、減らされたビデオストリームデータを可能にして、リアルタイムのビデオストリーミング、より高速のビデオストリーミング、または受信されるビデオストリームのバッファリングの低減を支援し得る。圧縮は不可逆圧縮であってよく、これは、入力データの圧縮および圧縮解除が品質のいくらかの低下を引き起こすことを意味する。圧縮されたビデオは、例えばＨ．２６４やその他のＣＯＤＥＣ仕様などの圧縮仕様に準拠するビデオエンコーダ（例えば、圧縮器）（例えば、コーダデコーダ（ＣＯＤＥＣ））を使用して生成されてよい。圧縮は、一連のフレームを、ＣＯＤＥＣによって定められるＩフレーム、Ｐフレーム、およびＢフレームに変換することの発生を伴うことがある。

【0064】

マルチビューディスプレイデバイス２６０は、マルチビュービデオストリーム２５８（例えば、インターレース解除された圧縮ビューを含む）を受信するように構成されてよい。その後、マルチビューディスプレイデバイス２６０は、例えばＣＯＤＥＣを使用してマルチビュービデオストリーム２５８を圧縮解除してよい。マルチビューディスプレイデバイス２６０は、フレームの各ビュー画像をインターレースして、インターレースされたマルチビュー画像２５９を生成してよい。インターレースされたマルチビュー画像を圧縮するのではなく、タイリングされたフレームを圧縮することにより、より効率的な圧縮が実現され得る。その結果、コンピューティングシステム２２１がインターレース処理を行うのではなく、マルチビューディスプレイデバイス２６０がインターレース処理を行ってよい。

【0065】

図９は、本明細書に記載される原理に従う一実施形態によるマルチビュー画像撮影の例を提供するフローチャートである。図９のフローチャートは、マルチビュー画像撮影システムを動作させる一例を提供し、マルチビュー画像撮影システムは、命令セットを実行して動作の一部を行うプロセッサを含む。

【0066】

いくつかの実施形態では、マルチビュー画像撮影は、円弧に沿ってカメラを配置すること３０４を含む。例えば、マルチビュー画像撮影は、円弧に沿って複数のカメラを配置することを含み、複数のカメラは共平面の向きを有し、各カメラは共通の視野を有する。いくつかの実施形態では、カメラは、対象の物体の方を向くように、剛体の円形支持体に付けられてよい。円形のまたは円弧状の向きは、各カメラが物体まで共通の距離を有することを可能にする。このカメラの配置の例が図３Ａおよび図３Ｂに示される。

【0067】

いくつかの実施形態では、マルチビュー画像撮影は、複数のカメラを回転させて、複数のカメラを物体の周りを円弧に沿って均一に周回させる。撮影者が、一定のカメラ間撮影距離を維持しながら、複数のカメラのサブセットを物体の周りの円弧に沿って回転させて物体の新しいビューを提供してよい。各カメラは、トラックに沿ってスライドして複数のカメラが物体の周りを均一に周回できるようにする、円形の支持部材に取り付けられてよい。

【0068】

いくつかの実施形態では、マルチビュー画像撮影は、物体のマルチビュー画像を撮影すること３０７を含む。例えば、これは、カメラのサブセットから共通の距離に位置する物体のデータマルチビュー画像を撮影することを伴い得る。各カメラは、そのカメラの視点から物体をデジタル的に記録し、それにより特定の時点におけるビュー画像を作成してよい。特定の時点における複数のカメラにわたるビュー画像は、結果として物体のマルチビュー画像を生ずる。撮影されたマルチビュー画像は、コンピュータシステムに送信されて処理された後、ストリーミングされるかまたは記憶されてよい。

【0069】

いくつかの実施形態では、マルチビュー画像撮影は、第１の値および第２の値を受け取ること３１０を含む。例えば、これは、共通の視野を示す第１の値と、共通の距離を示す第２の値とを受け取ることを伴い得る。コンピューティングシステムが、第１および第２の値を入力として受け取ってよく、第１および第２の値は、ユーザによって指定されてよく、または第１および第２の値を記憶しているメモリにアクセスすることによって受け取られてもよい。

【0070】

いくつかの実施形態では、マルチビュー画像撮影は、目標カメラ基準値を計算すること３１３を含む。例えば、これは、第１の値および第２の値に基づいて目標カメラ基準値を計算することを伴い得る。コンピューティングシステムが、第１および第２の値を入力として受け取り、上記で解説した式（１）、式（２）、および式（３）の１つまたは複数を使用して、目標カメラ基準値を生成してよい。

【0071】

いくつかの実施形態では、マルチビュー画像撮影は、所定の視差レベルを実現するように目標カメラ基準値を計算することをさらに含む。例えば、追加的な入力として、コンピューティングシステムが、特定のマルチビューディスプレイについての所定の最適な視差レベルを表す所定の視差レベルを受け取ってよい。したがって、異なるマルチビューディスプレイは、異なる視差レベルに好適に対応できるように設計され得るので、目標カメラ基準値の計算は、特定のマルチビューディスプレイに合わせて最適化されている目標カメラ基準値を生ずる。いくつかの実施形態では、マルチビュー画像撮影システムは、無テクスチャの背景がある場合にシーンの奥行きに基づいて目標カメラ基準値を計算することをさらに含む。無テクスチャの背景の存在は、マルチビュー画像に関連する最小奥行きおよび最大奥行きを作り出す。すなわち、無テクスチャの背景を使用する場合、シーンの有意味な部分が物体に制限され、それに応じて、シーンの奥行きが決定されて、その後、目標カメラ基準値を計算するために使用されてよい。

【0072】

いくつかの実施形態では、マルチビュー画像撮影は、カメラ間撮影距離を動的に調節すること３１６を含む。例えば、これは、目標カメラ基準値に一致するように、カメラのサブセットのカメラ同士のカメラ間撮影距離を動的に調節することを伴い得る。そして、目標カメラ基準値を計算するコンピューティングシステムが、制御信号を送信して、カメラシステムに、目標カメラ基準値に一致するカメラ間撮影距離に従ってマルチビューコンテンツを撮影させることにより、その目標カメラ基準値を実施するようにカメラシステムを制御してよい。カメラ間撮影距離を動的に調節することは、複数のカメラからカメラのサブセットを選択すること、およびカメラのサブセットの中の各カメラをトラックに沿って移動させることの１つまたは複数を行うことを含んでよい。

【0073】

撮影されたマルチビュー画像は、処理および後の時点における描画のために記憶されてよい。代替として、マルチビュー画像撮影は、マルチビュー画像を、複数のインターレース解除された圧縮ビュー画像として、リアルタイムでマルチビューディスプレイデバイスにストリーミングすることを含んでもよい。この例は、上記で図８との関連で解説している。コンピューティングシステムが、マルチビュー画像を、圧縮されてリアルタイムでマルチビューディスプレイデバイスにストリーミングされるタイリングされたマルチビューフレームに変換してよい。マルチビューディスプレイデバイスは、タイリングされたフレームを圧縮解除し、インターレースして、ストリーミングされるビデオコンテンツをリアルタイムで描画してよい。

【0074】

上記で解説した図９のフローチャートは、マルチビュー画像撮影のシステムまたは方法を示し得る。ソフトウェアとして実装され、かつ該当する場合、枠は、指定された論理機能を実装する命令を含む、モジュール、セグメント、またはコードの部分を表し得る。命令は、プログラミング言語で書かれた人間可読の文を含むソースコード、ソースコードからコンパイルされるオブジェクトコード、またはコンピューティングデバイスのプロセッサなどの適切な実行システムによって認識可能な数値命令を含む機械コードの形態で具現化されてよい。機械コードは、ソースコード等から変換されてよい。ハードウェアとして実装される場合、各ブロックは、指定された論理機能を実装する一つの回路または相互に接続されたいくつかの回路を表し得る。

【0075】

図９のフローチャートは特定の順序を示しているが、順序は図示のものと異なってよいことが理解される。例えば、２つ以上の枠の順序が、示された順序に対して入れ替えられてよい。また、示される２つ以上の枠が、同時にまたは部分的に同時に実行されてよい。さらに、いくつかの実施形態では、枠の１つまたは複数が省略されるまたは割愛されてよい。

【0076】

上記で解説したように、実施形態は、カメラシステムとコンピューティングシステムとを備えるマルチビュー画像撮影システムを含む。カメラシステムは、少なくとも１つのカメラを備え、円弧に沿った複数の異なる場所で物体の画像を撮影するように構成され、各画像はその物体を含む共通の視野に対応する。画像撮影システムはまた、カメラシステムに結合されたコンピューティングシステムを備える。コンピューティングシステムとカメラシステムは協働して、マルチビューディスプレイの要求視差レベルに対応可能となるようにカメラ間撮影距離を動的に調節することにより、対象マルチビューディスプレイに合わせて最適化されているマルチビューコンテンツを生成する。加えて、コンピューティングシステムは、共通の視野を示す第１の値およびカメラシステムと円弧との間の距離を示す第２の値を受け取るように構成されてよい。コンピューティングシステムは、共通の視野を示す第１の値および共通の距離を示す第２の値に基づいて目標カメラ基準値を計算するように構成されてよく、目標カメラ基準値は、円弧に沿った上記複数の異なる場所間の距離に対応する。加えて、コンピューティングシステムは、目標カメラ基準値に一致するように、カメラシステムの撮影間距離を動的に調節するように構成されてよい。上記で解説したように、いくつかの実施形態では、カメラシステムは、円弧に沿って並べられた複数のカメラを備え、複数のカメラは共平面の向きを有する。例えば、複数のカメラは、円形の剛体支持部材に取り付けられてよい。

【0077】

他の実施形態では、カメラシステムは、円弧に沿って走行するように構成された無人空中車両を備え、無人空中車両は、距離を測定して第２の値を生成するように構成されたセンサを備えている。例えば、図１０は、本明細書に記載される原理に従う一実施形態によるマルチビュー画像撮影システム４０２の例を示し、カメラシステム４０５は無人空中車両を備えている。無人空中車両は、円弧４０８に沿って移動して物体４１１の１つまたは複数のマルチビュー画像を撮影するように遠隔制御またはプログラム制御される、ドローンまたはその他の自律車両であってよい。少なくとも１つのカメラは、無人空中車両に取り付けられてよい。図１０に示すように、カメラシステム４０５は、円弧（例えば、円形経路の少なくとも一部分）に沿って反時計回り方向に移動する単一のカメラである。カメラシステム４０５は、カメラシステム４０５の焦点面４１５に入る物体４１１を撮影する、固定されたまたは調節可能な視野（ＦｏＶ）４１２を有してよい。

【0078】

カメラシステム４０５は、データマルチビュー画像を受信し、またカメラシステム４０５を制御する場合もあるコンピューティングシステム４２１との通信リンクを有してよい。コンピューティングシステム４２１は、例えば、ＦｏＶ４１２（または焦点距離）、カメラシステム４０５と物体４１１との間の距離、マルチビューディスプレイの所定の視差レベル、または物体の位置、ビュー、ズームの度合い等に関係するその他の視覚的パラメータなどの様々な入力を受信してよい。それに応じて、コンピューティングシステム４２１は、共通の視野を示す第１の値と、共通の距離を示す第２の値とに基づいて目標カメラ基準値を計算し、目標カメラ基準値に一致するように撮影間距離を動的に調節してよい。

【0079】

いくつかの実施形態では、コンピューティングシステム４２１は、撮影画像ごとにタイムスタンプ間隔を判定することにより、撮影間距離を動的に調節するように構成される。図１０は、カメラシステム４０５によって撮影された異なるビュー画像のタイムスタンプ（Ｔ１～Ｔ４）を示す。タイムスタンプ間隔は、カメラシステム４０５が円弧に沿って移動する際の時間または距離として表されてよい。タイムスタンプ間隔が大きいほど、撮影間距離は大きくなる。例えば、４つのビュー画像が、対応するタイムスタンプ（Ｔ１～Ｔ４）の時に撮影される。それら４つのビュー画像は、連続するタイムスタンプ間の時間間隔によって定められるカメラ基準値を有するマルチビュー画像を構成する。

【0080】

図１１は、本明細書に記載される原理に従う一実施形態によるコンピューティングシステムの例示的図示を描いた概略ブロック図である。コンピューティングシステム１０００は、マルチビュー画像を受け取り、入力値を受け取り、カメラシステムのパラメータを計算し、カメラシステムを制御するための制御信号を生成し、マルチビュー画像を処理し、マルチビューディスプレイデバイスにストリーミングする、様々なコンピューティング動作を実施する構成要素のシステムを含んでよい。コンピューティングシステム１０００は、ラップトップ、タブレット、スマートフォン、タッチ画面システム、インテリジェントディスプレイシステム、または他のクライアントデバイスであってよい。コンピューティングシステム１０００は、例えば、プロセッサ１００３、メモリ１００６、入力／出力（Ｉ／Ｏ）構成要素１００９、ディスプレイ１０１２、および場合によりその他の構成要素などの様々な構成要素を含んでよい。これらの構成要素は、コンピューティングシステム１０００の構成要素が互いと通信することを可能にするローカルインターフェースの役割を果たすバス１０１５に接続してよい。コンピューティングシステム１０００の構成要素は、コンピューティングシステム１０００の中に含まれるものと示されるが、構成要素の少なくとも一部は外部接続を通じて に接続してよいことが認識されるはずである。例えば、構成要素は、外部ポート、ソケット、プラグ、無線リンク、またはコネクタを介して、外部からコンピューティングシステム１０００にプラグインするか、またはその他の方法で接続してよい。

【0081】

コンピューティングシステム１０００は、図４および図８のコンピューティングシステム２２１ならびに図１０のコンピューティングシステム４２１を実装してよい。加えて、コンピューティングシステム１０００がマルチビューディスプレイを含む実施形態では、コンピューティングシステム１０００は、図８のマルチビューディスプレイデバイス２６０を実装してよい。

【0082】

プロセッサ１００３は、中央演算処理装置（ＣＰＵ）、グラフィクス処理装置（ＧＰＵ）、コンピューティング処理動作を行う任意の他の集積回路、またはそれらの任意の組み合わせであってよい。プロセッサ１００３は、１つまたは複数の処理コアを含んでよい。プロセッサ１００３は、命令を実行する回路を備える。命令には、例えば、コンピュータコード、プログラム、論理、またはプロセッサ１００３によって受け取られ、実行されて、命令中に具現化されたコンピューティング機能を実施する他の機械可読命令が含まれる。プロセッサ１００３は、データに作用するための命令を実行してよい。例えば、プロセッサ１００３は、入力データ（例えば、データマルチビュー画像、ビデオストリーム、マルチビューコンテンツ、ユーザ入力等）を受け取り、命令セットに従ってその入力データを処理し、出力データを生成してよい（例えば、ストリーミングするためのマルチビューコンテンツ、制御信号等を処理する）。別の例として、プロセッサ１００３は、命令を受け取り、後に実行される新しい命令を生成してよい。プロセッサ１００３は、マルチビューコンテンツの処理・描画するためのグラフィックパイプラインを実装するハードウェアを備えてよい。例えば、プロセッサ１００３は、１つまたは複数のＧＰＵコア、ベクトルプロセッサ、スカラープロセス、またはハードウェアアクセラレータを備えてよい。

【0083】

メモリ１００６は、１つまたは複数のメモリ構成要素を含んでよい。メモリ１００６は、本明細書において、揮発性メモリおよび不揮発性メモリのいずれかまたは両方を含むものと定義される。揮発性メモリ構成要素は、電力が失われると情報を保持しないメモリ構成要素である。揮発性メモリは、例えば、ランダムアクセスメモリ（ＲＡＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、動的ランダムアクセスメモリ（ＤＲＡＭ）、磁気ランダムアクセスメモリ（ＭＲＡＭ）、またはその他の揮発性メモリ構造を含んでよい。システムメモリ（例えば、主メモリ、キャッシュ等）は、揮発性メモリを使用して実装されてよい。システムメモリは、プロセッサ１００３を支援するために迅速な読み出しおよび書き込みアクセスのためにデータや命令を一時的に記憶し得る高速メモリを言う。

【0084】

不揮発性メモリ構成要素は、電力が失われたときに情報を保持するメモリ構成要素である。不揮発性メモリには、読出し専用メモリ（ＲＯＭ）、ハードディスクドライブ、ソリッドステートドライブ、ＵＳＢフラッシュドライブ、メモリカードリーダを介してアクセスされるメモリカード、関連するフロッピーディスクドライブを介してアクセスされるフロッピーディスク、光ディスクドライブを介してアクセスされる光ディスク、好適なテープドライブを介してアクセスされる磁気テープがある。ＲＯＭは、例えば、プログラム可能読出し専用メモリ（ＰＲＯＭ）、消去可能なプログラム可能読出し専用メモリ（ＥＰＲＯＭ）、電気的に消去可能なプログラム可能読出し専用メモリ（ＥＥＰＲＯＭ）、またはその他の同様のメモリデバイスを含み得る。記憶メモリは、データおよび命令の長期の保持を提供するために不揮発性メモリを使用して実装されてよい。

【0085】

メモリ１００６は、命令ならびにデータを記憶するために使用される揮発性メモリと不揮発性メモリの組み合わせを指し得る。例えば、データおよび命令は、不揮発性メモリに記憶され、プロセッサ１００３による処理のために揮発性メモリにロードされてよい。命令の実行は、例えば、不揮発性メモリから揮発性メモリにロード可能な形式の機械コードに翻訳されてからプロセッサ１００３によって実行されるコンパイルプログラム、プロセッサ１００３による実行のために揮発性メモリにロード可能なオブジェクトコードなどの適切な形式に変換されるソースコード、または、別の実行可能プログラムによって解釈されて揮発性メモリ内に命令を生成し、プロセッサ１００３によって実行されるソースコード等を含んでよい。命令は、例えば、ＲＡＭ、ＲＯＭ、システムメモリ、ストレージ、またはそれらの任意の組み合わせを含む、メモリ１００６の任意の部分または構成要素に記憶またはロードされてよい。

【0086】

メモリ１００６は、コンピューティングシステム１０００の他の構成要素とは別個として図示されているが、メモリ１００６は、１つまたは複数の構成要素に埋め込まれるか他の方法で少なくとも部分的に一体化されてよいことが認識されるはずである。例えば、プロセッサ１００３は、処理動作を行うための内蔵メモリレジスタまたはキャッシュを含むことがある。デバイスファームウェアまたはドライバは、専用メモリデバイスに記憶された命令を含むことがある。

【0087】

Ｉ／Ｏ構成要素１００９には、例えば、タッチ画面、スピーカ、マイクロフォン、ボタン、スイッチ、ダイヤル、カメラ、センサ、加速度計、またはユーザ入力を受け取るかもしくはユーザに向けられた出力を生成するその他の構成要素がある。Ｉ／Ｏ構成要素１００９は、ユーザ入力を受け取り、それを、メモリ１００６に記憶するための、またはプロセッサ１００３によって処理するためのデータに変換してよい。Ｉ／Ｏ構成要素１００９は、メモリ１００６またはプロセッサ１００３によって出力されたデータを受け取り、それを、ユーザによって知覚される形式（例えば、音、触覚応答、視覚情報等）に変換してよい。

【0088】

特定タイプのＩ／Ｏ構成要素１００９はディスプレイ１０１２である。ディスプレイ１０１２は、マルチビューディスプレイ（例えば、マルチビューディスプレイ１１２）、２Ｄディスプレイと組み合わされたマルチビューディスプレイ、または画像を提示する任意の他のディスプレイを含み得る。Ｉ／Ｏ構成要素１００９の役割を果たす静電容量タッチ画面層がディスプレイ内に層化されて、ユーザが、視覚的出力を知覚しながら同時に入力を提供できるようにしてよい。プロセッサ１００３は、ディスプレイ１０１２に提示するための画像としてフォーマットされるデータを生成してよい。プロセッサ１００３は、ユーザによって知覚されるために画像をディスプレイ上に描画させる命令を実行してよい。

【0089】

バス１０１５は、プロセッサ１００３、メモリ１００６、Ｉ／Ｏ構成要素１００９、ディスプレイ１０１２、およびコンピューティングシステム１０００の任意の他の構成要素間の命令およびデータの通信を容易にする。バス１０１５は、アドレス変換器、アドレスデコーダ、ファブリック、導電性配線、導電線、ポート、プラグ、ソケット、ならびにデータおよび命令の通信を可能にするその他のコネクタを含んでよい。

【0090】

メモリ１００６内の命令は、ソフトウェアスタックの少なくとも一部分を実装するように、様々な形態で具現化されてよい。例えば、命令は、オペレーティングシステム１０３１の一部、アプリケーション１０３４、デバイスドライバ、ファームウェア、他のソフトウェア構成要素、またはそれらの任意の組み合わせとして具現化されてよい。オペレーティングシステム１０３１は、スケジューリングタスク、Ｉ／Ｏ構成要素１００９の制御、ハードウェアリソースへのアクセスの提供、電力管理、およびアプリケーション１０３４の支援などの、コンピューティングシステム１０００の基本的機能を支援するソフトウェアプラットフォームである。

【0091】

アプリケーション１０３４がオペレーティングシステム１０３１で実行されてよく、オペレーティングシステム１０３１を介してコンピューティングシステム１０００のハードウェアリソースへのアクセスを得てよい。これに関して、アプリケーション１０３４の実行は、少なくとも部分的に、オペレーティングシステム１０３１によって制御される。アプリケーション１０３４は、高水準の機能、サービス、およびその他の機能をユーザに提供する、ユーザレベルのソフトウェアプログラムである。いくつかの実施形態では、アプリケーション１０３４は、コンピューティングシステム１０００にユーザがダウンロード可能なまたはその他の方法でアクセス可能な専用の「アプリ」であってよい。ユーザは、オペレーティングシステム１０３１によって提供されるユーザインターフェースを介してアプリケーション１０３４を起動してよい。アプリケーション１０３４は、様々なソースコード形式で開発者によって開発され、定義される。アプリケーション１０３４は、例えば、Ｃ、Ｃ＋＋、Ｃ＃、Ｏｂｊｅｃｔｉｖｅ Ｃ、Ｊａｖａ（登録商標）、Ｓｗｉｆｔ、ＪａｖａＳｃｒｉｐｔ（登録商標）、Ｐｅｒｌ、ＰＨＰ、Ｖｉｓｕａｌ Ｂａｓｉｃ（登録商標）、Ｐｙｔｈｏｎ（登録商標）、Ｒｕｂｙ、Ｇｏ、またはその他のプログラミング言語などの複数のプログラミング言語またはスクリプト言語を使用して開発されてよい。アプリケーション１０３４は、コンパイラによってオブジェクトコードにコンパイルされる場合も、またはプロセッサ１００３による実行のためにインタープリタによって解釈される場合もある。アプリケーション１０３４は、上記で解説した機能の少なくとも一部を実装してよい。例えば、アプリケーション１０３４は、ユーザが、様々な視覚的パラメータを提供することよってカメラシステムを制御できるようにしてよい。

【0092】

オペレーティングシステム１０３１、アプリケーション１０３４、ドライバ、ファームウェア、および場合によっては他の命令セットは各々、上記で解説された機能および動作の少なくとも一部を実施するためにプロセッサ１００３またはコンピューティングシステム１０００の他の処理回路によって実行可能な命令を備えてよい。本明細書に記載される命令は、上記で解説したようにプロセッサ１００３によって実行されるソフトウェアまたはコードとして具現化されてよいが、代替として、命令は、専用ハードウェアまたはソフトウェアと専用ハードウェアの組み合わせとして具現化されてもよい。例えば、上記で解説した命令によって実施される機能および動作は、いくつかの技術のいずれか１つまたは組み合わせを利用する回路または状態機械として実装されてよい。これらの技術には、これらに限定されないが、１つまたは複数のデータ信号の適用に対して様々な論理機能を実装するための論理ゲートを有するディスクリート論理回路、適切な論理ゲートを有する特定用途集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、その他の構成要素等が含まれ得る。

【0093】

いくつかの実施形態では、上記で解説した機能および動作を実施する命令は、非一過性のコンピュータ可読記憶媒体に具現化されてよい。非一過性のコンピュータ可読記憶媒体は、コンピューティングシステム１０００の一部である場合もそうでない場合もある。命令には、例えば、コンピュータ可読媒体から取り出され、処理回路（例えば、プロセッサ１００３）によって処理されることが可能な命令文、コード、または宣言が含まれ得る。本明細書における定義として、「非一過性のコンピュータ可読記憶媒体」は、例えばコンピューティングシステム１０００などの命令実行システムによって使用されるまたはそれとの関連で使用される、本明細書に記載される命令を収容、記憶、または維持することができる任意の媒体と定義され、さらに、例えば搬送波などの一過性の媒体を除外する。

【0094】

非一過性のコンピュータ可読媒体は、例えば、磁気、光学、または半導体媒体などの多くの物理媒体のいずれか１つを備えてよい。好適な非一過性のコンピュータ可読媒体のより具体的な例には、これらに限定されないが、磁気テープ、磁気フロッピーディスケット、磁気ハードドライブ、メモリカード、ソリッドステートドライブ、ＵＳＢフラッシュドライブ、または光ディスクが含まれ得る。また、非一過性のコンピュータ可読媒体は、例えば、静的ランダムアクセスメモリ（ＳＲＡＭ）および動的ランダムアクセスメモリ（ＤＲＡＭ）、または磁気ランダムアクセスメモリ（ＭＲＡＭ）を含む、ランダムアクセスメモリ（ＲＡＭ）であってよい。加えて、非一過性のコンピュータ可読媒体は、読出し専用メモリ（ＲＯＭ）、プログラム可能読出し専用メモリ（ＰＲＯＭ）、消去可能なプログラム可能読出し専用メモリ（ＥＰＲＯＭ）、電気的に消去可能なプログラム可能読出し専用メモリ（ＥＥＰＲＯＭ）、または他のタイプのメモリデバイスであってよい。

【0095】

コンピューティングシステム１０００は、上記で説明された動作のいずれかを行う、または機能を実装してよい。例えば、上記で解説した処理フローは、命令を実行し、データを処理するコンピューティングシステム１０００によって行われてよい。コンピューティングシステム１０００は単一のデバイスとして図示されているが、実施形態はそのように制限されない。いくつかの実施形態では、コンピューティングシステム１０００は、複数のコンピューティングシステム１０００または他のコンピューティングデバイスが共に動作して、分散配置で記憶またはロードされてよい命令を実行するように、命令の処理を分散方式でオフロードしてよい。例えば、少なくとも一部の命令またはデータは、コンピューティングシステム１０００と併せて動作するクラウドに基づくシステム内で記憶、ロード、または実行されてよい。

【0096】

このように、マルチビュー画像を撮影するマルチビュー撮影システムおよび方法の例および実施形態が説明された。カメラシステムは、撮影者が様々な視覚的パラメータを変更するのと同時に、所定の視差レベルに対応するようにその撮影間距離を動的に変更させながら、物体の様々なビューを撮影してよい。これに関して、カメラシステムによって生成されたマルチビューコンテンツは、対象マルチビューディスプレイに対する特定の視差レベルを実現するように最適化される。撮影者は、撮影されたマルチビューコンテンツの描画が所定の視差レベルを実現することを確実にしながら、例えば視野、焦点距離、ズームなどのパラメータを自在に変更することができる。明らかなように、当業者は、添付の特許請求の範囲によって規定される範囲から逸脱することなく多数の他の構成を容易に考案することができる。

【符号の説明】

【0097】

１０３ マルチビュー画像
１０６ ビュー画像
１０９ 主角度方向
１１２ マルチビューディスプレイ
１１５ 広角バックライト
１１８ マルチビューバックライト
１２１ モードコントローラ
１２４ モード選択信号
２０１ カメラシステム
２０３、２０３ａ～ｄ カメラ
２０６ 円弧
２０７ 視野（ＦｏＶ）
２０９ 物体
２１５ 焦点面
２２１ コンピューティングシステム
２２４ 制御信号
２２７ フィードバック信号
２３０ 画像データ
２３２ ユーザ入力
２３３ 目標カメラ基準値
２４３ 距離入力
２４６ 視差レベル
２４９ 背景データ
２５５ａ～ｄ クロッピング窓
２５８ マルチビュービデオストリーム
２５９ インターレースされたマルチビュー画像
２６０ マルチビューディスプレイデバイス
２８２ マルチビュー画素
４０２ マルチビュー画像撮影システム
４０５ カメラシステム
４０８ 円弧
４１１ 物体
４１５ 焦点面
４２１ コンピューティングシステム
１０００ コンピューティングシステム
１００３ プロセッサ
１００６ メモリ
１００９ Ｉ／Ｏ構成要素
１０１２ ディスプレイ
１０１５ バス
１０３１ オペレーティングシステム
１０３４ アプリケーション

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【国際調査報告】