特表 2024-509782 マルチビューファイルフォーマットを検出するシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-05

(54)【発明の名称】マルチビューファイルフォーマットを検出するシステムおよび方法

(51)【国際特許分類】

   H04N 13/106 20180101AFI20240227BHJP

   H04N 13/302 20180101ALI20240227BHJP

   H04N 13/359 20180101ALI20240227BHJP

   G09G 5/373 20060101ALI20240227BHJP

   G09G 5/37 20060101ALI20240227BHJP

【ＦＩ】

H04N13/106

H04N13/302

H04N13/359

G09G5/373

G09G5/37 400

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023551667

(86)(22)【出願日】2021-05-08

(85)【翻訳文提出日】2023-10-04

(86)【国際出願番号】 US2021031451

(87)【国際公開番号】W WO2022182376

(87)【国際公開日】2022-09-01

(31)【優先権主張番号】63/153,917

(32)【優先日】2021-02-25

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＳＷＩＦＴ

(71)【出願人】

【識別番号】514274546

【氏名又は名称】レイア、インコーポレイテッド

【氏名又は名称原語表記】ＬＥＩＡ ＩＮＣ．

(74)【代理人】

【識別番号】100092783

【弁理士】

【氏名又は名称】小林 浩

(74)【代理人】

【識別番号】100120134

【弁理士】

【氏名又は名称】大森 規雄

(74)【代理人】

【識別番号】100093676

【弁理士】

【氏名又は名称】小林 純子

(74)【代理人】

【識別番号】100126354

【弁理士】

【氏名又は名称】藤田 尚

(72)【発明者】

【氏名】キム，チェホン

(72)【発明者】

【氏名】ファ，イウェン

(72)【発明者】

【氏名】ファタル，デイヴィッド エー．

【テーマコード（参考）】

5C182

【Ｆターム（参考）】

5C182AA03

5C182AA26

5C182AA27

5C182AB08

5C182AB14

5C182AB21

5C182AC03

5C182AC46

5C182CB12

5C182CB52

5C182DA35

5C182DA44

(57)【要約】

システムおよび方法は、マルチビューフォーマット検出に関する。複数のタイルビュー画像を含むマルチビュー画像がアクセスされる。マルチビュー画像からの相互相関マップは、マルチビュー画像をマルチビュー画像のシフトされたコピーと自己相関させることによって生成することができる。相互相関マップは、相互相関値のセットを識別するために相互相関マップの複数の所定の位置でサンプリングされ得る。相互相関値のセットを含むマルチビュー画像の特徴セットを分類することによって、マルチビュー画像のマルチビューフォーマットを検出することができる。マルチビュー画像は、マルチビューフォーマットに基づいてマルチビューディスプレイ上にレンダリングされるように構成されてもよい。

【特許請求の範囲】

【請求項1】

マルチビューフォーマット検出のコンピュータ実装方法であって、
複数のタイルビュー画像を含むマルチビュー画像にアクセスするステップと、
前記マルチビュー画像を前記マルチビュー画像のシフトされたコピーと自己相関させることによって、前記マルチビュー画像から相互相関マップを生成することと、
相互相関値のセットを識別するために、前記相互相関マップの複数の所定の位置で前記相互相関マップをサンプリングするステップと、
前記相互相関値のセットを含む前記マルチビュー画像の特徴セットを分類することによって前記マルチビュー画像のマルチビューフォーマットを検出することと、を含み、
前記マルチビュー画像が、前記マルチビューフォーマットに基づいてマルチビューディスプレイ上にレンダリングされるように構成されている、方法。

【請求項2】

前記マルチビュー画像のアスペクト比を決定することをさらに含み、前記特徴セットが前記アスペクト比をさらに含む、
請求項１に記載のマルチビューフォーマット検出のコンピュータ実装方法。

【請求項3】

前記所定の位置のうちの少なくとも１つが、前記相互相関マップのコーナー領域を含む、請求項１に記載のマルチビューフォーマット検出のコンピュータ実装方法。

【請求項4】

前記所定の位置のうちの少なくとも１つが、前記相互相関マップの長さおよび幅のうちの一方に沿った中点を含む、請求項１に記載のマルチビューフォーマット検出のコンピュータ実装方法。

【請求項5】

前記相互相関値のセットの各相互相関値が、単一の相互相関値に基づいて決定される、請求項１に記載のマルチビューフォーマット検出のコンピュータ実装方法。

【請求項6】

前記相互相関値のセットの各相互相関値が、対応する所定の位置内の値を平均化することによって決定される、請求項１に記載のマルチビューフォーマット検出のコンピュータ実装方法。

【請求項7】

訓練データに従って前記特徴セットを分類するために分類器を訓練することをさらに含み、前記訓練データが、マルチビュー画像の訓練セットおよび対応する訓練ラベルを含む、
請求項１に記載のマルチビューフォーマット検出のコンピュータ実装方法。

【請求項8】

前記訓練ラベルが、単一のタイルフォーマット、１×２のタイルフォーマット、２×１のタイルフォーマット、および２×２のタイルフォーマットを示すラベルを含む、請求項７に記載のマルチビューフォーマット検出のコンピュータ実装方法。

【請求項9】

前記マルチビューディスプレイが、広角バックライトを使用して２次元モード（２Ｄモード）中に広角放射光を提供するように構成され、
前記マルチビューディスプレイが、マルチビーム要素のアレイを有するマルチビューバックライトを使用してマルチビューモード中に指向性放射光を提供するように構成され、前記指向性放射光が、前記マルチビームの要素アレイの各マルチビーム要素によって提供される複数の指向性光ビームを含み、
前記マルチビューディスプレイが、モードコントローラを使用して前記２Ｄモードおよび前記マルチビューモードを時間多重化し、前記２Ｄモードに対応する第１の連続した時間間隔の間に前記広角バックライトを順次起動し、前記マルチビューモードに対応する第２の連続した時間間隔の間に前記マルチビューバックライトを順次起動するように構成され、
前記指向性光ビームの方向が、前記マルチビュー画像の異なるビュー方向に対応する、請求項１に記載のマルチビューフォーマット検出のコンピュータ実装方法。

【請求項10】

前記マルチビューディスプレイが、ライトガイド内の光を導波光として導くように構成され、
前記マルチビューディスプレイが、マルチビーム要素のアレイのマルチビーム要素を使用して、前記導波光の一部を指向性放射光として散乱させるように構成され、前記マルチビーム要素のアレイの各マルチビーム要素が、回折格子、マイクロ屈折要素、およびマイクロ反射要素のうちの１つまたは複数を含む、請求項１に記載のマルチビューフォーマット検出のコンピュータ実装方法。

【請求項11】

マルチビューディスプレイシステムであって、
マルチビュー画像を表示するように構成されたマルチビューディスプレイと、
プロセッサと、
複数の命令と記憶するメモリと、を備え、前記複数の命令が実行されると、前記プロセッサに、
複数のタイルビュー画像を含むマルチビュー画像にアクセスするステップと、
前記マルチビュー画像を前記マルチビュー画像のシフトされたコピーと自己相関させることによって、前記マルチビュー画像から相互相関マップを生成するステップと、
相互相関値のセットを識別するために前記相互相関マップの複数の所定の位置で前記相互相関マップをサンプリングするステップと、
前記マルチビュー画像の特徴セットを分類器に入力することであって、前記特徴セットは前記相互相関値のセットを含む、入力するステップと、
分類器から、マルチビュー画像のマルチビューフォーマットを示すラベルを取り出すステップと、
前記マルチビューフォーマットに基づいてマルチビューディスプレイ上で前記マルチビュー画像をレンダリングするステップと、を行わせるように構成されている、マルチビューディスプレイシステム。

【請求項12】

前記複数の命令が、実行されると、前記プロセッサに、
前記マルチビュー画像のアスペクト比を決定することであって、前記特徴セットが前記アスペクト比をさらに含む、決定することを行わせる、請求項１１に記載のマルチビューディスプレイシステム。

【請求項13】

前記所定の位置の少なくとも一方が、前記相互相関マップのコーナー領域を含む、請求項１１に記載のマルチビューディスプレイシステム。

【請求項14】

前記所定の位置の少なくとも一方が、前記相互相関マップの長さおよび幅の一方に沿った中点を含む、請求項１１に記載のマルチビューディスプレイシステム。

【請求項15】

前記相互相関値のセットの各相互相関値が、単一の相互相関値に基づいて決定される、請求項１１に記載のマルチビューディスプレイシステム。

【請求項16】

前記分類器が、訓練データを使用して訓練され、前記訓練データが、マルチビュー画像の訓練セットおよび対応する訓練ラベルを含む、請求項１１に記載のマルチビューディスプレイシステム。

【請求項17】

前記訓練ラベルが、単一のタイルフォーマット、１×２のタイルフォーマット、および２×１のタイルフォーマットを示すラベルを含む、請求項１６に記載のマルチビューディスプレイシステム。

【請求項18】

実行可能命令を含むコンピュータプログラムであって、前記実行可能命令が、コンピュータシステムのプロセッサによって実行されると、マルチビューフォーマット検出の動作を実行し、前記動作が、
複数のタイルビュー画像を含むマルチビュー画像にアクセスするステップと、
前記マルチビュー画像を前記マルチビュー画像のシフトされたコピーと自己相関させることによって、前記マルチビュー画像から相互相関マップを生成するステップと、
相互相関値のセットを識別するために、前記相互相関マップの複数の所定の位置で前記相互相関マップをサンプリングするステップと、
前記相互相関値のセットを含む前記マルチビュー画像の特徴セットを分類することによってマルチビュー画像のマルチビューフォーマットを検出するステップと、
前記マルチビューフォーマットを検出すると、前記マルチビュー画像の前記タイルビュー画像のピクセルをインタレースするステップと、を含む、コンピュータプログラム。

【請求項19】

前記動作が、
前記マルチビュー画像のアスペクト比を決定することであって、前記特徴セットが前記アスペクト比をさらに含む、決定することをさらに含む、請求項１８に記載のコンピュータプログラム。

【請求項20】

前記マルチビューフォーマットが、１×２タイルフォーマット、２×１タイルフォーマット、または２×２タイルフォーマットである、請求項１８に記載のコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２１年２月２５日に出願された米国仮出願第６３／１５３，９１７号の優先権を主張し、その全体が参照により本明細書に組み込まれる。

【0002】

連邦政府による資金提供を受けた研究開発の記載
なし

【背景技術】

【0003】

マルチビューディスプレイは、従来の２Ｄコンテンツと比較してより没入的な視聴体験を提供する新たなディスプレイ技術である。マルチビューコンテンツは、静止画像または一連のビデオフレームを含むことができ、各マルチビュー画像（例えば、写真またはフレーム）は、シーンの異なるビューを含む。マルチビューコンテンツを受信して処理するエンドデバイスは、受信したマルチビューコンテンツをネイティブまたはローカルフォーマットに変換して、エンドデバイスに表示できるようにする役割を担う。マルチビューコンテンツは、様々なソースから受信することができる。

【図面の簡単な説明】

【0004】

本明細書に記載の原理による例および実施形態の様々な特徴は、添付の図面と併せて以下の詳細な説明を参照することによって、より容易に理解することができ、図面では、同様の参照番号は同様の構造要素を示す。

【0005】

【図1】本明細書で説明する原理と一致する一実施形態による、一例におけるマルチビュー画像を示す。

【0006】

【図2】本明細書に記載の原理と一致する一実施形態による、マルチビューディスプレイの一例を示す。

【0007】

【図3】本明細書に記載の原理と一致する一実施形態による、複数のタイルビュー画像を含むマルチビュー画像にアクセスする一例を示す。

【0008】

【図4】本明細書に記載の原理と一致する一実施形態によるマルチビュー画像から相互相関マップを生成する一例を示す。

【0009】

【図5】本明細書に記載の原理と一致する一実施形態による、異なるマルチビューフォーマットから生成された様々な相互相関マップの一例を示す。

【0010】

【図6】本明細書に記載の原理と一致する一実施形態による、相互相関マップをサンプリングする一例を示す。

【0011】

【図7】本明細書に記載の原理と一致する一実施形態による、マルチビュー画像のマルチビューフォーマットを検出する一例を示す図である。

【0012】

【図8】本明細書に記載の原理と一致する一実施形態による、マルチビューフォーマットに基づいてマルチビューディスプレイ上にマルチビュー画像をレンダリングする一例を示す。

【0013】

【図9】本明細書に記載の原理と一致する一実施形態による、マルチビューフォーマットを検出するように構成されたマルチビューディスプレイシステムの機能の例を提供するフローチャートである。

【0014】

【図10】本明細書に記載の原理と一致する一実施形態によるマルチビューディスプレイシステムの例示的な図を示す概略ブロック図である。

【発明を実施するための形態】

【0015】

特定の例および実施形態は、上記参照された図面に示された特徴に加えて、およびその代わりに、他の特徴を有する。これらおよび他の特徴は、上記参照された図を参照して以下に詳述される。

【0016】

本明細書に記載の原理による例および実施形態は、マルチビューディスプレイシステムがマルチビュー画像を適切に処理およびレンダリングすることを可能にするために、マルチビュー画像のマルチビューフォーマットを検出するための技術を提供する。マルチビュー画像ファイルは、様々なフォーマットでビュー画像を配置することができる。マルチビュー画像の処理、レンダリング、および表示を担当するエンドデバイスは、ビュー画像がどのように配置されるかに関する情報を必要とする場合がある。ユーザがマルチビューフォーマットを手動で指定することに頼ることは、マルチビュー画像をレンダリングするワークフローを混乱させる可能性がある。さらに、一般にプロセスを自動化すると、特に繰り返しパターンまたはテクスチャを有する画像では、不正確な結果が生じる可能性がある。実施形態は、マルチビュー画像の特徴を抽出し、特徴を分類することによってマルチビューフォーマットを自動的に検出することに関する。そのような実施形態の結果は、非常に正確で自律的なマルチビューフォーマット分類を提供することができる。例えば、いくつかの実施形態では、１つの特徴は相互相関値のセットであり得る。相互相関値は、相互相関マップを生成するためにマルチビュー画像に対して自己相関演算を実行することによって決定される。相互相関マップは、マルチビュー画像内の反復の位置を表す画像として視覚化することができる行列である。相互相関マップは、相互相関値に基づいて特徴を生成するために、所定の位置でサンプリングされ得る。例えばアスペクト比を含む他の特徴がマルチビュー画像から抽出されてもよい。分類器は、実行時にマルチビューフォーマットを検出するために、この特徴セットを用いてマルチビュー画像を分類するように訓練される。

【0017】

図１は、本明細書に記載の原理と一致する一実施形態による、一例におけるマルチビュー画像を示す。マルチビュー画像１０３は、マルチビュービデオストリームからの静止画像またはビデオフレームであってもよい。マルチビュー画像１０３は、複数のビュー画像１０６（例えば、ビュー）を有する。ビュー画像１０６の各々は、異なる主角度方向１０９（例えば、左ビュー、右ビューなど）に対応する。ビュー画像１０６は、マルチビューディスプレイ１１２上にレンダリングされる。各ビュー画像１０６は、マルチビュー画像１０３のシーンの異なる視野角を表す。したがって、異なるビュー画像１０６は、互いに対してある程度の視差を有する。視聴者は、左眼で異なるビュー画像１０６を知覚しながら、右眼であるビュー画像１０６を知覚することができる。これにより、視聴者は異なるビュー画像１０６を同時に知覚することができ、それによって三次元(3D)効果を体験することができる。

【0018】

いくつかの実施形態では、視聴者がマルチビューディスプレイ１１２に対して視野角を物理的に変更すると、視聴者の眼はマルチビュー画像１０３の異なるビューを捕捉することができる。結果として、視聴者は、マルチビュー画像１０３の異なるビュー画像１０６を見るためにマルチビューディスプレイ１１２と対話することができる。例えば、視聴者が左に移動すると、視聴者はマルチビュー画像１０３内のシーンの左側をより多く見ることができる。マルチビュー画像１０３は、水平面に沿って複数のビュー画像１０６を有してもよく、または垂直面に沿って複数のビュー画像１０６を有してもよく、またはその両方であってもよい。したがって、ユーザが異なるビュー画像１０６を見るために視野角を変更すると、視聴者は、マルチビュー画像１０３に表現されたシーンの追加の視覚的詳細を得ることができる。

【0019】

上述したように、各ビュー画像１０６は、異なる対応する主角度方向１０９でマルチビューディスプレイ１１２によって提示される。表示のためにマルチビュー画像１０３を提示するとき、ビュー画像１０６は、実際にはマルチビューディスプレイ１１２上またはその近くに現れることができる。この点において、レンダリングされたマルチビューコンテンツは、ライトフィールドコンテンツと呼ばれる場合がある。ライトフィールドコンテンツを観察する特性は、異なるビューを同時に観察する能力である。ライトフィールドコンテンツは、視聴者に奥行き感を伝えるために、スクリーンの前だけでなくスクリーンの後ろにも現れ得る視覚的画像を含む。

【0020】

２Ｄディスプレイは、マルチビュー画像１０３の異なるビューとは対照的に、一般に、単一のビュー（例えば、ビューのうちの１つのみ）を提供するように構成されることを除いて、マルチビューディスプレイ１１２と実質的に同様であり得る。本明細書では、（すなわち、２Ｄディスプレイの所定の視野角または範囲内）「２次元ディスプレイ」または「２Ｄディスプレイ」は、画像が見られる方向にかかわらず実質的に同じ画像のビューを提供するように構成されたディスプレイとして定義される。多くのスマートフォンおよびコンピュータモニタに見られる従来の液晶ディスプレイ(LCD)は、２Ｄディスプレイの例である。対照的に、本明細書では、「マルチビューディスプレイ」は、ユーザの視点から同時に異なるビュー方向で、または異なるビュー方向からマルチビュー画像の異なるビューを提供するように構成された電子ディスプレイまたはディスプレイシステムとして定義される。特に、異なるビュー画像１０６は、マルチビュー画像１０３の異なる斜視図を表すことができる。

【0021】

マルチビューディスプレイ１１２は、それらが同時に知覚されるように異なる画像ビューの提示に対応する様々な技術を使用して実装することができる。マルチビューディスプレイの一例は、異なるビュー画像１０６の主角度方向を制御するために光を散乱させるマルチビーム要素を使用するものである。いくつかの実施形態によれば、マルチビューディスプレイ１１２は、異なるビューに対応する異なる色および異なる方向の複数の光ビームを提示するライトフィールドディスプレイであってもよい。いくつかの例では、ライトフィールドディスプレイは、マルチビーム要素（例えば、回折格子）を使用して、深度を知覚するために特別なアイウェアを装着する必要なしにマルチビュー画像の自動立体視表現を提供することができる、いわゆる「眼鏡不要」三次元(3D)ディスプレイである。

【0022】

図２は、本明細書に記載の原理と一致する一実施形態による、マルチビューディスプレイの一例を示す。マルチビューディスプレイ１１２は、マルチビューモードで動作するときにライトフィールドコンテンツを生成することができる。いくつかの実施形態では、マルチビューディスプレイ１１２は、その動作モードに応じてマルチビュー画像および２Ｄ画像をレンダリングする。例えば、マルチビューディスプレイ１１２は、異なるモードで動作するための複数のバックライトを含むことができる。マルチビューディスプレイ１１２は、広角バックライト１１５を使用して、２Ｄモード中に広角放射光を提供するように構成され得る。さらに、マルチビューディスプレイ１１２は、マルチビーム要素のアレイを有するマルチビューバックライト１１８を使用して、マルチビューモード中に指向性放射光を提供するように構成されてもよく、指向性放射光は、マルチビーム要素アレイの各マルチビーム要素によって提供される複数の指向性光ビームを含む。いくつかの実施形態では、マルチビューディスプレイ１１２は、モードコントローラ１２１を使用して２Ｄモードおよびマルチビューモードを時間多重化し、２Ｄモードに対応する第１の連続した時間間隔の間に広角バックライト１１５を順次起動し、マルチビューモードに対応する第２の連続した時間間隔の間にマルチビューバックライト１１８を順次起動するように構成されてもよい。指向性光ビームの指向性光ビームの方向は、マルチビュー画像１０３の異なるビュー方向に対応し得る。モードコントローラ１２１は、広角バックライト１１５またはマルチビューバックライト１１８を起動させるためのモード選択信号１２４を生成することができる。

【0023】

２Ｄモードでは、広角バックライト１１５を使用して、マルチビューディスプレイ１１２が２Ｄディスプレイのように動作するように画像を生成することができる。定義により、「広角」放射光は、マルチビュー画像またはマルチビューディスプレイのビューの円錐角よりも大きい円錐角を有する光として定義される。特に、いくつかの実施形態では、広角放射光は、約２０度（例えば、＞±２０°）より大きい円錐角を有することができる。他の実施形態では、広角放射光円錐角は、約３０度より大きくてもよく（例えば、＞±３０°）、または約４０度より大きくてもよく（例えば、＞±４０°）、または５０度より大きくてもよい（例えば、＞±５０°）。例えば、広角放射光の円錐角は、約６０度（例えば、＞±６０°）であってもよい。

【0024】

マルチビューモードは、広角バックライト１１５の代わりにマルチビューバックライト１１８を使用してもよい。マルチビューバックライト１１８は、互いに異なる主角度方向を有する複数の指向性光ビームとして光を散乱させる上面または底面にマルチビーム要素アレイを有することができる。例えば、マルチビューディスプレイ１１２がマルチビューモードで動作して４つのビューを有するマルチビュー画像を表示する場合、マルチビューバックライト１１８は光を４つの指向性光ビームに散乱させることができ、各指向性光ビームは異なるビューに対応する。モードコントローラ１２１は、マルチビューバックライトを使用してマルチビュー画像が第１の連続した時間間隔で表示され、広角バックライトを使用して２Ｄ画像が第２の連続した時間間隔で表示されるように、２Ｄモードとマルチビューモードとを順次切り替えてもよい。指向性光ビームは所定の角度にあってもよく、各指向性光ビームはマルチビュー画像の異なるビューに対応する。

【0025】

いくつかの実施形態では、マルチビューディスプレイ１１２の各バックライトは、導波光としてライトガイド内の光を導くように構成される。本明細書では、「ライトガイド」は、全内部反射または「ＴＩＲ」を使用して構造内で光を導く構造として定義される。特に、ライトガイドは、ライトガイドの動作波長で実質的に透過性のコアを含むことができる。様々な例において、「ライトガイド」という用語は、一般に、ライトガイドの誘電体材料とそのライトガイドを取り囲む材料または媒体との間の界面で光を導くために全内部反射を使用する誘電体光導波路を指す。定義により、全内部反射の条件は、ライトガイドの屈折率がライトガイド材料の表面に隣接する周囲媒体の屈折率よりも大きいことである。いくつかの実施形態では、ライトガイドは、全内部反射をさらに促進するために、前述の屈折率差に加えて、またはその代わりにコーティングを含んでもよい。コーティングは、例えば、反射コーティングであってもよい。ライトガイドは、プレートまたはスラブガイドおよびストリップガイドの一方または両方を含むがこれらに限定されないいくつかのライトガイドのいずれかであってもよい。ライトガイドは、プレートまたはスラブのような形状であってもよい。ライトガイドは、光源（例えば、発光デバイス）によってエッジライトされてもよい。

【0026】

いくつかの実施形態では、マルチビューディスプレイ１１２のマルチビューバックライト１１８は、マルチビーム要素アレイのマルチビーム要素を使用して指向性放射光として導波光の一部を散乱させるように構成され、マルチビーム要素アレイの各マルチビーム要素は、回折格子、マイクロ屈折要素、およびマイクロ反射要素のうちの１つまたは複数を含む。いくつかの実施形態では、マルチビーム要素の回折格子は、複数の個々のサブ格子を含むことができる。いくつかの実施形態では、マイクロ反射要素は、複数の指向性光ビームとして導波光部分を反射的に結合または散乱させるように構成される。マイクロ反射要素は、導波光が散乱される方法を制御するための反射コーティングを有してもよい。いくつかの実施形態では、マルチビーム要素は、屈折（すなわち、ガイドされた光部分を屈折的に散乱させる）によって、または屈折を使用して、複数の指向性光ビームとして導波光部分を結合または散乱させるように構成されたマイクロ屈折要素を含む。

【0027】

マルチビューディスプレイ１１２はまた、バックライトの上方（例えば、広角バックライト１１５の上方およびマルチビューバックライト１１８の上方）に配置されたライトバルブアレイを含むことができる。ライトバルブアレイのライトバルブは、例えば、液晶ライトバルブ、電気泳動ライトバルブ、エレクトロウェッティングに基づくもしくはエレクトロウェッティングを使用するライトバルブ、またはそれらの任意の組み合わせであってもよい。２Ｄモードで動作するとき、広角バックライト１１５は、ライトバルブアレイに向かって光を放射する。この光は、広い角度で放射される拡散光であってもよい。各ライトバルブは、広角バックライト１１５によって放射された光によって照明されるときに、特定のピクセルバルブを達成して２Ｄ画像を表示するように制御される。この点で、各ライトバルブは単一のピクセルに対応する。この点において、単一のピクセルは、単一のピクセルセル（例えば、ＬＣＤセル）を構成する異なる色のピクセル（例えば、赤色、緑色、青色）を含むことができる。

【0028】

マルチビューバックライト１１８は、マルチビューモードで動作するとき、ライトバルブアレイを照明するために指向性光ビームを放射する。ライトバルブは、マルチビューピクセルを形成するために一緒にグループ化されてもよい。例えば、４ビューマルチビューフォーマットでは、マルチビューピクセルは、各々が異なるビューに対応する４つの異なるピクセルを含むことができる。マルチビューピクセル内の各ピクセルは、異なるカラーピクセルをさらに含んでもよい。

【0029】

マルチビューピクセル配置内の各ライトバルブは、主角度方向を有する光ビームのうちの１つによって照明されてもよい。したがって、マルチビューピクセルは、マルチビュー画像のピクセルの異なるビューを提供するピクセルグループである。いくつかの実施形態では、マルチビューバックライト１１８の各マルチビーム要素は、ライトバルブアレイのマルチビューピクセル専用である。

【0030】

マルチビューディスプレイ１１２は、マルチビュー画像１０３を表示するためのスクリーンを備える。スクリーンは、例えば、電話（例えば、携帯電話、スマートフォンなどである。）、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータのコンピュータモニタ、カメラディスプレイ、または実質的に任意の他のデバイスの電子ディスプレイの表示画面であってもよい。

【0031】

本明細書で使用される場合、冠詞「ａ」は、特許技術におけるその通常の意味、すなわち「１つまたは複数」を有することを意図している。例えば、「プロセッサ(a processor)」は「１つまたは複数のプロセッサ」を意味し、したがって、本明細書では「メモリ(the memory)」は「１つまたは複数のメモリ構成要素」を意味する。

【0032】

図３は、本明細書に記載の原理と一致する一実施形態による、複数のタイルビュー画像を含むマルチビュー画像にアクセスする一例を示す。図３は、複数のタイルビュー画像を含むマルチビュー画像２０４にアクセスすることによるマルチビューフォーマット検出の例を示す。マルチビュー画像２０４は、図１および図２のマルチビュー画像１０３と同様であってもよい。マルチビュー画像２０４は、ファイルとしてフォーマットされてもよく、またはファイルに含まれてもよい。マルチビュー画像２０４は、例えば、リモートサーバ、ストリーミングサービス、リポジトリ、またはローカルアプリケーションなどのソースから受信することができる。マルチビューディスプレイシステムは、表示のためにマルチビュー画像２０４を処理およびレンダリングするように構成することができる。例えば、マルチビューディスプレイシステムは、マルチビュー画像２０４を表示させるアプリケーション２０７を実行することができる。アプリケーション２０７は、メディアプレーヤアプリケーション、ビデオゲーム、ソーシャルメディアアプリケーション、またはマルチビューコンテンツを表示する任意の他のアプリケーションであってもよい。ビュー画像は、タイリングされた構成で別のビュー画像に隣接して配置されるので、タイリングされると考えられる。したがって、マルチビュー画像は、各ビュー画像を水平方向、垂直方向、またはその両方に沿ってタイルのグリッドとして配置するようにフォーマットされる。

【0033】

マルチビュー画像２０４は、タイル状配置で編成された１つまたは複数のビュー画像を含むことができる。マルチビューフォーマットは、ビュー画像の数、ならびにビュー画像がタイルとして空間的に配置される方法を指す。この点において、マルチビュー画像２０４は、タイルのアレイとして形成された様々なビュー画像を有する２Ｄ画像として視覚化することができ、各タイルは異なるビュー画像に対応する。したがって、マルチビュー画像２０４は、特定のマルチビューフォーマット２１０に従って配置される。図３は、マルチビューフォーマットの異なる例を示す。示されている第１のマルチビューフォーマットは、単一のタイルフォーマット２１０ａ（例えば、単一ビュー画像）である。単一のタイルフォーマット２１０ａは、単一のビュー（例えば、１つのタイル）を含み、したがって真のマルチビュー画像ではない。しかしながら、実施形態は、単一のタイルフォーマットを複数のタイルを有する他のマルチビューフォーマット２１０から区別することに関する。示されている第２のマルチビューフォーマットは、２×１タイルフォーマット２１０ｂである。２×１タイルフォーマットは、２つの異なるビュー画像が水平方向に沿って並んで配置されるサイドバイサイドフォーマットとも呼ばれ得る。２×１タイルフォーマット２１０ｂは、一方のビュー画像が左眼用に意図され、他方のビュー画像が右眼用に意図されるように使用されてもよい。上述したように、マルチビュー画像２０４は、同じシーンの異なるビューを含み、別個のビュー画像はほとんどが類似しているが、ある程度の視差を有する。示されている第３のマルチビューフォーマットは、１×２タイルフォーマット２１０ｃである。１×２タイルフォーマット２１０ｃはまた、２つの異なるビュー画像を含むが、垂直方向に沿って隣接して配置される。示されている第４のマルチビューフォーマットは、２×２タイルフォーマット２１０ｄである。２×２タイルフォーマット２１０ｄは、水平方向に２タイル、垂直方向に２タイル配置された４つの異なるビュー画像を含む。２×２タイルフォーマット２１０ｄは、クワッドフォーマットと呼ばれることもある。

【0034】

マルチビュー画像２０４は、任意の様々な配置（例えば、１×４タイルフォーマット、４×１タイルフォーマット、８ビューフォーマットなど）の任意の数のタイルを有する様々なタイプのマルチビューフォーマット２１０のうちの１つに準拠することができる。アプリケーション２０７は、マルチビュー画像２０４のマルチビューフォーマット２１０のタイプを認識していない可能性がある。実施形態は、マルチビュー画像２０４を分析し、マルチビュー画像２０４のマルチビューフォーマット２１０を検出するために使用され得るマルチビューフォーマット検出器２１３に関する。マルチビューフォーマット検出器２１３は、マルチビュー画像のマルチビューフォーマット２１０を示すマルチビューフォーマットラベル２１６を生成することができる。アプリケーション２０７は、マルチビューフォーマットラベル２１６を使用してマルチビュー画像２０４をレンダリングまたは処理することができる。これにより、アプリケーション２０７は、最初は不明または未知のマルチビューフォーマット２１０を有するマルチビュー画像２０４を処理することができる。

【0035】

マルチビューフォーマット検出器２１３は、複数のタイルビュー画像を含むマルチビュー画像にアクセスすることによって開始する。マルチビュー画像２０４は、メモリからアクセスされてもよく、あるいはマルチビュー画像２０４をマルチビューディスプレイシステムで実行されるアプリケーション２０７に送信するソースによって提供されてもよい。

【0036】

図４は、本明細書で説明される原理と一致する一実施形態によるマルチビュー画像２０４から相互相関マップを生成する一例を示す。例えば、マルチビュー画像２０４にアクセスすると、マルチビューフォーマット検出器２１３は、マルチビュー画像をマルチビュー画像のシフトされたコピーと自己相関させることによってマルチビュー画像から相互相関マップを生成することを含む動作を実行することができる。図４は、マルチビュー画像２０４がマルチビュー画像のシフトされたコピー２１９（例えば、自己相関）と相関付けられる自己相関演算を示す。シフトされたコピー２１９は、自己相関プロセスの一部として、マルチビュー画像２０４上で水平方向および垂直方向に畳み込み、あるいはスライドすることができる。自己相関演算は、シフトされたコピー２１９の一部とマルチビュー画像２０４との間の内積計算を含むことができる。自己相関演算は、ピクセル領域または周波数領域で行われ得る。自己相関演算は相互相関マップ２２２を生成する。相互相関マップ２２２は、要素の２次元行列であってもよい。相互相関マップ２２２は、画像として表現または視覚化することができ、各ピクセル値は、マルチビュー画像２０４に対するシフトされたコピー２１９の所与の位置についての相互相関値を含む。

【0037】

図５は、本明細書に記載の原理と一致する一実施形態による、異なるマルチビューフォーマットから生成された様々な相互相関マップの例を示す。単一のタイルフォーマットを有するマルチビュー画像２３１は、相互相関マップ２３４をもたらすことができる。図５に示すように、相互相関マップ２３４は、疎なクロスハッチングを有する領域として示される低い相互相関値と、より密なクロスハッチングを有する領域として示される高い相互相関値とを有する。相互相関マップの大部分は疎なクロスハッチングを有し、ほとんどの位置で相互相関のレベルが低いことを示している。しかしながら、相互相関マップ２３４は、中央に単一のホットスポットを有する。ホットスポットは、比較的高い相互相関値を含む相互相関マップ内の領域である。具体的には、相互相関マップ２３４の中央はクロスハッチングで密になっており、これは、シフトされたコピー２１９がマルチビュー画像２０４の上に（例えば、中央に）配置されるとき、大きな相互相関があることを意味する。加えて、相互相関マップ２３４の中央の外側には相互相関の強い指示はない。

【0038】

２×１タイルフォーマットを有するマルチビュー画像２３７は、中央にホットスポットを有する相互相関マップ２４０と、左右のエッジに沿った２つのホットスポット２４３とをもたらすことができる。これは、シフトされたコピー２１９が水平方向に沿ってスライドするときに３つの強い相互相関位置があることを示す。

【0039】

２×２タイルフォーマットを有するマルチビュー画像２４６は、中央にホットスポット、ならびに左右のエッジに沿ったいくつかのホットスポットおよびコーナーに沿ったホットスポット２５２を有する相互相関マップ２４９をもたらすことができる。これは、シフトされたコピー２１９が水平方向および垂直方向の両方に沿ってスライドするとき、これらの領域に強い相互相関値があることを示す。

【0040】

図６は、本明細書に記載の原理と一致する一実施形態による、相互相関マップをサンプリングする一例を示す。例えば、相互相関マップ２２２を生成すると、マルチビューフォーマット検出器２１３は、相互相関値のセットを識別するために、相互相関マップの複数の所定の位置で相互相関マップをサンプリングすることを含む動作を実行することができる。図６は、相互相関マップ２２２上の特定の座標を有する所定の位置２６０ａ～ｄを示す。いくつかの実施形態では、所定の位置のうちの少なくとも１つは、相互相関マップのコーナー領域（例えば、所定の位置２６０ａ）を含む。いくつかの実施形態では、所定の位置の少なくとも一方は、相互相関マップ２２２の長さまたは幅に沿った中点（例えば、所定の位置２６０ｂ、２６０ｃ）を含む。コーナーのサンプリングは、垂直方向のタイルの検出を可能にすることができ、中点のサンプリングは、水平方向のタイルの検出を可能にすることができる。サンプルの数は、予想されるビュー画像の数に基づいて選択することができる。例えば、潜在的なビューの数が増加するにつれて、より多くのサンプル点を使用してマルチビュー画像を区別することができる。

【0041】

いくつかの実施形態では、相互相関値の各々は、単一の相互相関値に基づいて決定される。例えば、相互相関マップ２２２をサンプリングすることは、相互相関マップ２２２の単一の要素（例えば、ピクセル）の値を識別することを含むことができる。所定の位置は、相互相関マップ２２２の特定のｘ－ｙ座標であってもよい。いくつかの実施形態では、相互相関値の各々は、対応する所定の位置内の値を平均することによって決定される。この例では、各所定の位置は、相互相関マップ２２２のｘ－ｙ座標の範囲を含むことができる。各範囲内の相互相関値は、平均化されてもよいし、そうでなければ集約されてもよい。したがって、ホットスポットにあり得る１つの要素をサンプリングするのではなく、ホットスポット内のいくつかのピクセルをサンプリングして平均化相互相関値を生成することができる。

【0042】

サンプリングされると、相互相関値２６３のセットが決定される。相互相関値２６３のセットは、各要素が相互相関値である、要素の比較的小さいアレイであってもよい。相互相関値２６３のセットは、特徴セット内の一特徴として使用され得る。より多くの数のビューを有するマルチビューフォーマットを検出するために、より多くのサンプルを使用することができる。図６の例では、４つのサンプルが取得され、各サンプルはそれぞれの所定の位置２６０ａ～ｄに対応する。さらに、この例では、第１の相互相関値は４であり、コーナー領域（所定の位置２６０ａ）からサンプリングされる。第２の相互相関値は８であり、上部水平中点（所定の位置２６０ｂ）からサンプリングされる。第３の相互相関値は１２１であり、左垂直中点（所定の位置２６０ｃ）からサンプリングされる。第４の相互相関値は１１８であり、中央（所定の位置２６０ｄ）からサンプリングされる。相互相関値２６３のこの特徴は、２×１フォーマットのシグネチャパターンに適合する水平方向に沿った自己相関の可能性を示す。具体的には、相互相関値２６３の最初の２つの要素は比較的低く、シフトされたコピーが垂直方向にスライドするにつれて自己相関が低いことを示す。相互相関値２６３の最後の２つの要素は比較的高く、シフトされたコピーが水平方向にスライドするにつれて高い自己相関を示す。

【0043】

図７は、本明細書に記載の原理と一致する一実施形態による、マルチビュー画像のマルチビューフォーマットを検出する一例を示す。例えば、相互相関値２６３のセットを決定すると、マルチビューフォーマット検出器２１３は、相互相関値のセットを含むマルチビュー画像の特徴セットを分類することによってマルチビュー画像のマルチビューフォーマットを検出することを含む動作を実行することができる。マルチビューフォーマット検出器２１３は、マルチビュー画像２０４から特徴を抽出し、マルチビュー画像２０４の特徴セット２６９を生成する特徴抽出器２６６を含むことができる。

【0044】

上述したように、図６に関して、一特徴は相互相関値２６３のセットであり得る。いくつかの実施形態では、特徴抽出器２６６は、マルチビュー画像２０４のアスペクト比を決定することを含む他の動作を実行することができ、特徴セット２６９はアスペクト比をさらに含む。アスペクト比は、ピクセル単位でのマルチビュー画像２０４の高さと幅の比であってもよい。特徴抽出器２６６は、マルチビュー画像２０４を特徴付ける任意の数の他の特徴を識別することができる。

【0045】

マルチビューフォーマット検出器２１３は、分類器２７５を含むことができる。分類器２７５は、サポートベクトルマシンであってもよい。いくつかの実施形態では、分類器２７５は、訓練データを使用して訓練され、訓練データは、マルチビュー画像の訓練セットおよび対応する訓練ラベルを含む。公知のマルチビューフォーマットが付加された特徴セットは、分類器２７５を訓練するための訓練データとして分類器２７５に入力され得る。分類器２７５を訓練するとき、訓練ラベルは、単一のタイルフォーマット、１×２のタイルフォーマット、２×１のタイルフォーマット、および２×２のタイルフォーマットを示すラベルを含むことができる。訓練データは、任意のマルチビューフォーマット２１０を含むことができる。分類器２７５は、構成時間中に訓練され、次いで実行時にマルチビュー画像２０４の未知のマルチビューフォーマットを分類するために実行されてもよい。

【0046】

例えば、訓練データは、グラウンドトゥルースを提供するラベルと共に特徴ベクトルを含むことができる。訓練データは、特徴値の特定のセットをグラウンドトゥルースに相関付けるファイルまたはテーブルとしてフォーマットすることができる。訓練データは、例えば、アプリケーションプログラミングインターフェースを使用して分類器２７５に入力することができる。分類器２７５は、訓練データを使用して、分類または回帰モデルをツリー構造の形式で構築することによって、訓練データをクラスごとに分離し、各クラスの条件付き確率を計算することによって、畳み込み演算で使用される訓練データから訓練重みを生成することによって、訓練データを特徴ベクトル空間内のデータポイントに変換することによって、または分類器を構成する他の訓練方法を使用することによって、分類器を訓練することができる。

【0047】

マルチビューフォーマット検出器２１３は、マルチビュー画像の特徴セットを分類器に入力することができ、特徴セットは相互相関値のセットを含む。分類器２７５には、マルチビュー画像２０４から抽出された特徴セット２６９が供給され、特徴セット２６９は、所定の位置でサンプリングされた相互相関値を含む。分類器２７５は、マルチビューフォーマットラベル２１６を生成する。アプリケーション２０７は、分類器からラベルを取り出すことができ、ラベルは、マルチビュー画像のマルチビューフォーマットを示す。ラベルは、マルチビューフォーマットラベル２１６であってもよい。

【0048】

図８は、本明細書に記載の原理と一致する一実施形態による、マルチビューフォーマットに基づいてマルチビューディスプレイ上にマルチビュー画像をレンダリングする一例を示す。例えば、アプリケーション２０７は、マルチビューディスプレイ１１２を使用してマルチビュー画像２０４をレンダリングすることを可能にするためにマルチビューフォーマットラベル２１６を取り出すことができる。図８は、アプリケーション２０７がマルチビューフォーマットラベル２１６を使用してマルチビュー画像２０４をレンダリングする方法の例を提供する。図８に示す実施形態は、レンダリングパイプライン２７６を使用してマルチビュー画像２０４をレンダリングするアプリケーション２０７に関する。

【0049】

レンダリングパイプライン２７６は、画像コンテンツを処理してディスプレイ（例えば、マルチビューディスプレイ１１２）上に提示する１つまたは複数の構成要素を含むことができる。レンダリングパイプライン２７６は、中央処理装置(CPU)、グラフィックス処理装置(GPU)、またはそれらの任意の組み合わせによって実行可能な構成要素を含むことができる。アプリケーション２０７は、関数呼び出しまたはアプリケーションプログラミングインターフェース(API)を使用してレンダリングパイプライン２６７とインターフェースすることができる。いくつかの実施形態では、レンダリングパイプライン２７６は、ビュー合成器２７７、インタレーサ２７８、またはグラフィックスをレンダリングする他の構成要素を含むことができる。

【0050】

ビュー合成器２７７は、ビュー合成を実行して、マルチビュー画像２０４に含まれる元のビュー画像から目標数のビュー画像を生成する。例えば、マルチビュー画像２０４が、マルチビューディスプレイシステムによってサポートされる目標ビュー数よりも少ないビューを含む場合、ビュー合成器は、マルチビュー画像２０４の元のビュー画像に基づいて追加のビュー画像を生成することができる。ビュー合成は、新しいビュー画像を生成するために１つまたは複数の元のビュー画像を補間または外挿する動作を含む。ビュー合成は、非遮蔽領域を埋めるなどのために近くの領域をサンプリングするための順方向ワーピング、深度試験、およびインペインティング技術のうちの１つまたは複数を含むことができる。順方向ワーピングは、ソース画像に変換を適用する画像歪みプロセスである。ソース画像からのピクセルは、走査線順に処理することができ、結果は、ターゲット画像に投影される。深度試験は、シェーダによって処理される、または処理されるべき画像のフラグメントが、書き込まれているサンプルの深度に関してテストされる深度値を有するプロセスである。フラグメントは、試験が失敗したときに破棄される。また、深度バッファは、試験に合格したときにフラグメントの出力深度で更新される。インペインティングとは、画像の欠落または未知の領域を塗りつぶすことを指す。いくつかの技術は、近くのピクセルに基づいてピクセル値を予測すること、または近くのピクセルを未知または欠落領域に反射させることを含む。画像の欠落領域または未知の領域は、別のシーンオブジェクトによって部分的に覆われているシーンオブジェクトを指すシーンの非遮蔽から生じ得る。この点において、再投影は、元の視点からシーンの新しい視点を構築するための画像処理技術を含むことができる。ビュー画像は、訓練されたニューラルネットワークを使用して合成することができる。さらに、ビュー合成器２７７は、マルチビュー画像の深度マップを使用して追加のビュー画像を生成することができる。深度マップは、特定のビュー画像内の各ピクセルの深度を示すファイルまたは画像であってもよい。

【0051】

レンダリングパイプライン２７６はまた、インタレーサ２７８（例えば、インタレーシングプログラム、インタレーシングシェーダなど）を含むことができる。インタレーサ２７８は、マルチビュー画像のタイルビュー画像のピクセルを（任意の合成ビュー画像と共に）インタレースするように構成され得る。インタレーサ２７８は、グラフィックスシェーダであってもよく、アプリケーション２０７の一部であってもよく、そうでなければアプリケーション２０７によって呼び出されてもよい。

【0052】

マルチビューフォーマットラベル２１６は、ビュー画像の数およびそれらのビュー画像の配向を指定する。ビュー合成器２７７は、マルチビューフォーマットラベル２１６に基づいて追加のビュー画像を生成することができる。例えば、目標ビュー数が４つのビューであり、マルチビューフォーマットラベル２１６がマルチビュー画像が２×１フォーマットであることを示すと仮定する。この例では、ビュー合成器２７７は、マルチビュー画像２０４内の元の２つのビューの特定の位置を識別し、目標数のビュー画像を達成するために２つの追加のビュー画像を生成することができる。したがって、この例では、レンダリングパイプライン２７６は、２×１フォーマットのマルチビュー画像に存在する２つの元のビュー画像から２つの追加のビュー画像を合成することによって、２×１フォーマットのマルチビュー画像を４ビューマルチビュー画像に変換する。レンダリングパイプライン２７６は、マルチビューフォーマットラベル２１６を使用してマルチビュー画像が２×１フォーマットマルチビュー画像であると判定することによって、タイル化マルチビュー画像内の２つの元のビュー画像の座標または位置を判定する。マルチビューフォーマットを知ることによって、元のビュー画像を配置し、分離して、新しいビュー画像を合成することができる。

【0053】

いくつかの実施形態では、ビュー画像を合成する必要がないことをマルチビューフォーマットラベル２１６が示す場合、ビュー合成器２７７をバイパスすることができる。例えば、目標ビュー数が４であり、マルチビューフォーマットラベル２１６が、そのマルチビュー画像が特定の配向（例えば、クワッド方向）に４つのビューを有することを示す場合、ビュー合成は必要とされない。いくつかの実施形態では、マルチビューフォーマットラベル２１６が、マルチビューディスプレイシステムによってサポートされているものよりも多くのビュー画像がマルチビュー画像２０４にあることを示す場合、ビュー画像は、マルチビューディスプレイシステムによってサポートされるビュー画像の目標数を達成するために除去され得る。

【0054】

したがって、マルチビューフォーマットラベル２１６を使用して、ビュー画像の位置を識別するとともに、追加のビューを合成する必要があるかどうか、または元のビュー画像を除去して目標数のビューを達成する必要があるかどうかを判定するために使用することができる。ビュー画像がマルチビューフォーマットラベルに基づいて識別される（そして潜在的に新しいビュー画像が合成される）と、インタレーサ２７８はインタレースされたマルチビュー画像２７９を生成する。

【0055】

レンダリングを実行するインタレーサ２７８（例えば、インタレーシングプログラム）は、マルチビュー画像２０４および任意の合成ビューを受信して、出力としてインタレースされたマルチビュー画像２７９を生成することができる。インタレースされたマルチビュー画像２７９は、グラフィックスメモリバッファにロードされるか、そうでなければマルチビューディスプレイ１１２にペイントされてもよい。インタレースプログラムは、マルチビューディスプレイ１１２に固有かつネイティブなフォーマットに従って、インタレースされたマルチビュー画像２７９をフォーマットすることができる。いくつかの実施形態では、これは、対応する位置に基づいて様々なビューのピクセルをコロケートするために、各ビュー画像のピクセルをインタレースすることを含む。例えば、各ビュー画像の左上のピクセルは、インタレースされたマルチビュー画像２７９を生成するときにコロケートされてもよい。言い換えれば、各ビュー画像のピクセルは、空間的に多重化されるか、そうでなければインタレースされて、インタレースされたマルチビュー画像２７９を生成する。マルチビューフォーマットラベル２１６は、レンダリングパイプライン２７６がビュー画像の位置を識別することを可能にする。例えば、マルチビューフォーマットを知ることにより、レンダリングパイプライン２７６は、各タイルの各ピクセルの位置（例えば、ビュー画像）を決定することができる。言い換えれば、マルチビューフォーマットを知ることにより、レンダリングパイプライン２７６は、マルチビュー画像２０４内の各ビュー画像の開始ピクセルおよび終了ピクセルを識別することができる。この例では、マルチビューディスプレイシステムは４つのビュー（例えば、ビュー１、ビュー２、ビュー３、およびビュー４）を提示する。マルチビューフォーマットラベル２１６は、これらのビュー画像の位置と、新しいビュー画像を合成する必要があるかどうかを示す。

【0056】

図８に示すように、インタレースされたマルチビュー画像２７９は、空間的に多重化された、または他の方法でインタレースされたビューを有する。図８は、４つのビューのうちの１つに対応するピクセルを示し、ピクセルはインタレースされている（例えば、インターリーブまたは空間多重化）。ビュー１に属するピクセルは番号１で表され、ビュー２に属するピクセルは番号２で表され、ビュー３に属するピクセルは番号３で表され、ビュー４に属するピクセルは番号４で表される。インタレースされたマルチビュー画像２７９のビューは、各行に沿って水平に、ピクセルごとにインタレースされる。インタレースされたマルチビュー画像２７９は、大文字Ａ～Ｅによって表されるピクセルの行と、小文字ａ～ｈによって表されるピクセルの列とを有する。図８は、行Ｅ、列ｅ～ｈにおけるマルチビューピクセル２８２のうちの１つの位置を示す。マルチビューピクセル２８２は、四つのビューのそれぞれのピクセルから取られたピクセルの配列である。言い換えれば、マルチビューピクセル２８２は、４つのビューのそれぞれの個々のピクセルを空間的に多重化するようにインタレースした結果である。図８は、異なるビューのピクセルを水平方向にインタレースすることを示しているが、異なるビューのピクセルは、垂直方向ならびに水平方向および垂直方向の両方にインタレースすることができる。

【0057】

インタレースされたマルチビュー画像２７９は、目標ビュー数が４であると仮定すると、４つのビューの各々からの１つのピクセルを有するマルチビューピクセル２８２をもたらすことができる。上述したように、マルチビューフォーマットラベルは、レンダリングパイプライン２７６が各ビュー画像の対応するピクセルを見つけることを可能にする。いくつかの実施形態では、マルチビューピクセルは、図８に示すように、特定の方向に互い違いに配置されてもよく、マルチビューピクセルは、垂直に互い違いに配置されながら水平に整列される。他の実施形態では、マルチビューピクセルは、水平方向に互い違いに配置され、垂直方向に整列されてもよい。マルチビューピクセルがインタレースされ、互い違いにされる特定の方法は、マルチビューディスプレイ１１２の設計に依存し得る。インタレースされたマルチビュー画像２７９は、ピクセルをインタレースし、そのピクセルをマルチビューピクセルに配置して、それらをマルチビューディスプレイ１１２の物理ピクセル（例えば、ライトバルブアレイ２８５）にマッピングできるようにすることができる。言い換えれば、インタレースされたマルチビュー画像２７９のピクセル座標は、マルチビューディスプレイ１１２の物理的な位置に対応する。マルチビューピクセル２８２は、ライトバルブアレイ２８４内のライトバルブの特定のセットへのマッピング２８７を有する。ライトバルブアレイ２８４は、インタレースされたマルチビュー画像２７９に従って光を変調するように制御される。

【0058】

図９は、本明細書に記載の原理と一致する一実施形態による、マルチビューフォーマットを検出するように構成されたマルチビューディスプレイシステムの機能の例を提供するフローチャートである。図９のフローチャートは、命令セットを実行するコンピューティングデバイス（例えば、図１０のマルチビューディスプレイシステム）によって実装される異なるタイプの機能の一例を提供する。例えば、マルチビューディスプレイシステムは、マルチビュー画像（例えば、マルチビューディスプレイ１１２）を表示するように構成されたマルチビューディスプレイを含むことができる。マルチビューディスプレイシステムは、プロセッサと、プロセッサによって実行されると、プロセッサにフローチャートに示された様々な動作を実行させる複数の命令を記憶するメモリとをさらに含むことができる。代替として、図９のフローチャートは、１つまたは複数の実施形態によるコンピューティングデバイスで実施される方法のステップの一例を示すものと見なすことができる。図９はまた、コンピュータシステムのプロセッサによって実行されると、マルチビューフォーマット検出の動作を実行する実行可能命令を記憶する一時的または非一時的コンピュータ可読記憶媒体上のコンピュータプログラムなどのコンピュータプログラムを表すことができる。コンピュータシステムの一例は、図８に関して以下に説明するマルチビューディスプレイシステムであってもよい。これらの動作をフローチャートに示す。

【0059】

命令は、プロセッサに、複数のタイルビュー画像を含むマルチビュー画像にアクセスさせる（３０４）ために実行されてもよい。例えば、マルチビュー画像は、マルチビューフォーマット検出器によってアクセスされてもよい。マルチビューフォーマット検出器は、マルチビュー画像のマルチビューフォーマットを検出するように構成されたソフトウェアモジュールまたはルーチンであってもよい。マルチビュー画像は、メモリ位置からアクセスされてもよく、あるいはマルチビュー画像をレンダリングするように構成されたアプリケーションによってマルチビューフォーマット検出器に提供されてもよい。アプリケーションは、マルチビューフォーマットに基づいてマルチビュー画像を分類するためのマルチビューフォーマット検出器を呼び出すか、そうでなければ含むことができる。

【0060】

命令は、プロセッサに、マルチビュー画像をマルチビュー画像のシフトされたコピーと自己相関させることによって、マルチビュー画像から相互相関マップを生成させる（３０７）ように実行されてもよい。シフトされたコピーは、マルチビュー画像と同一になるようにマルチビュー画像から複製されてもよい。シフトされたコピーは、相互相関値を計算するためにマルチビュー画像にわたってシフトされる。相互相関値は相互相関マップとして記憶される。相互相関マップは、要素の２次元アレイであってもよく、各要素は、相互相関値および相互相関マップ内の位置（例えば、座標）を有する。要素の位置は、マルチビュー画像に対するシフトされたコピーの位置に対応する。したがって、シフトされたコピーがマルチビュー画像の上側コーナーからマルチビュー画像の下側コーナーにスライドするにつれて、相互相関マップのサイズはマルチビュー画像よりも大きくなり得る。

【0061】

相互相関値のセットを識別するために、プロセッサに、相互相関マップの複数の所定の位置で相互相関マップをサンプリングさせる命令３１０を実行することができる。所定の位置は、相互相関マップ内の座標または座標範囲として指定することができる。所定の位置は、コーナー領域、相互相関マップの長さに沿った中点、相互相関マップの高さに沿った中点、相互相関マップの中央、または他の所定の位置であってもよい。所定の位置は、タイルビュー画像の配置に基づいてホットスポットが現れる可能性が高い位置に対応する。

【0062】

命令は、プロセッサに特徴セットを生成させる（３１３）ために実行されてもよい。いくつかの実施形態では、特徴セットを生成するとき、命令は、プロセッサに、マルチビュー画像のアスペクト比を決定させることができ、特徴セットはアスペクト比をさらに含む。特徴セットは、マルチビュー画像から抽出された個々の特徴を含むことができる。

【0063】

プロセッサに、マルチビュー画像の特徴セットを分類器に入力させる命令３１６を実行することができ、特徴セットは相互相関値のセットを含む。例えば、特徴セットは、サンプリングされた相互相関値のアレイを含む。特徴セットは、ラベルを生成するように構成された訓練された分類器に入力（例えば、通過）される。ラベルは、入力された特徴セットが特定のマルチビューフォーマットである対応する確率を有する潜在的なマルチビューフォーマットのリストを含むことができる。ラベルは、入力された特徴セットに基づいて最も高い確率を有するマルチビューフォーマットを識別することができる。分類器の実行前に、実施形態は、訓練データを使用して特徴セットを分類するために分類器を訓練することに関し、訓練データは、マルチビュー画像の訓練セットおよび対応する訓練ラベルを含む。

【0064】

プロセッサに分類器からラベルを取り出させる命令３１９を実行することができ、ラベルはマルチビュー画像のマルチビューフォーマットを示す。ラベルは、マルチビュー画像のレンダリングを担うアプリケーションに送信されてもよい。ラベルは、マルチビューフォーマットが１×２タイルフォーマット、２×１タイルフォーマット、または２×２タイルフォーマットであることを示すことができる。いくつかの実施形態では、ラベルは、マルチビュー画像が単一のタイルフォーマットになるように、マルチビュー画像が真のマルチビュー画像ではないときを示すことができる。

【0065】

命令は、プロセッサに、マルチビューフォーマットに基づいてマルチビューディスプレイ上にマルチビュー画像をレンダリングさせる（３２２）ように実行されてもよい。この点において、マルチビュー画像は、マルチビューフォーマットに基づいてマルチビューディスプレイ上にレンダリングされるように構成される。レンダリングは、レンダリングパイプラインによって実行することができる。マルチビュー画像をレンダリングすることは、マルチビューフォーマットを検出すると、マルチビュー画像のタイルビュー画像のピクセルをインタレースする動作を含むことができる。例えば、マルチビューフォーマットを知ることにより、レンダリングパイプラインは、マルチビュー画像の個々のビュー画像を配置し、目標数のビューを達成するために新しいビュー画像を合成する必要があるかどうかを判定することができる。ビュー画像を特定し、潜在的に新しいビュー画像を合成すると、インタレーサは、元はマルチビュー画像の一部であるか、または新しく合成されたかにかかわらず、ビュー画像をインタレースすることができる。したがって、アプリケーションは、ラベルを使用して、レンダリングパイプラインにマルチビュー画像をレンダリングするように命令することができる。

【0066】

上述した図９のフローチャートは、マルチビューフォーマット検出のシステムまたは方法、および実行可能命令セットの実装を示すことができる。ソフトウェアで実施される場合、各ボックスは、指定された論理機能を実施するための命令を含むモジュール、セグメント、またはコードの一部を表すことができる。命令は、プログラミング言語で書かれた人間可読命令を含むソースコード、ソースコードからコンパイルされたオブジェクトコード、またはプロセッサ、コンピューティングデバイスなどの適切な実行システムによって認識可能な数値命令を含むマシンコードの形態で具現化されてもよい。マシンコードは、ソースコードなどから変換することができる。ハードウェアで実施される場合、各ブロックは、指定された論理機能を実施するための回路またはいくつかの相互接続された回路を表すことができる。

【0067】

図９のフローチャートは特定の実行順序を示しているが、実行順序は図示されているものとは異なり得ることが理解される。例えば、２つ以上のボックスの実行順序は、示された順序に対してスクランブルされてもよい。また、示されている２つ以上のボックスは、同時にまたは部分的に一致して実行されてもよい。さらに、いくつかの実施形態では、ボックスの１つまたは複数をスキップまたは省略することができる。

【0068】

図１０は、本明細書に記載の原理と一致する一実施形態によるマルチビューディスプレイシステムの例示的な図を示す概略ブロック図である。マルチビューディスプレイシステム１０００は、マルチビュー画像のマルチビューフォーマットを検出する様々な計算動作を実行する構成要素のシステムを含むことができる。マルチビューディスプレイシステム１０００は、ラップトップ、タブレット、スマートフォン、タッチスクリーンシステム、インテリジェントディスプレイシステム、または他のクライアントデバイスであってもよい。マルチビューディスプレイシステム１０００は、例えば、プロセッサ１００３、メモリ１００６、入出力(I/O)構成要素１００９、ディスプレイ１０１２、および潜在的に他の構成要素などの様々な構成要素を含むことができる。これらの構成要素は、マルチビューディスプレイシステム１０００の構成要素が互いに通信することを可能にするローカルインターフェースとして機能するバス１０１５に結合することができる。マルチビューディスプレイシステム１０００の構成要素は、マルチビューディスプレイシステム１０００内に含まれるように示されているが、構成要素の少なくともいくつかは、外部接続を介してマルチビューディスプレイシステム１０００に結合することができることを理解されたい。例えば、構成要素は、外部ポート、ソケット、プラグ、無線リンク、またはコネクタを介してマルチビューディスプレイシステム１０００に外部から差し込まれるか、そうでなければ接続することができる。

【0069】

プロセッサ１００３は、中央処理装置(CPU)、グラフィックス処理装置(GPU)、計算処理動作を実行する任意の他の集積回路、またはそれらの任意の組み合わせであってもよい。プロセッサ１００３は、１つまたは複数の処理コアを含んでもよい。プロセッサ１００３は、命令を実行する回路を備える。命令は、例えば、コンピュータコード、プログラム、論理、または命令に組み込まれた計算機能を実行するためにプロセッサ１００３によって受信および実行される他の機械可読命令を含む。プロセッサ１００３は、データに対して動作する命令を実行することができる。例えば、プロセッサ１００３は、入力データ（例えば、画像またはフレーム）を受信し、命令セットに従って入力データを処理し、出力データ（例えば、処理された画像またはフレーム）を生成することができる。別の例として、プロセッサ１００３は、命令を受信し、後続の実行のための新しい命令を生成することができる。プロセッサ１００３は、ライトフィールドコンテンツを処理およびレンダリングするためのグラフィックスパイプラインを実装するハードウェアを備えることができる。例えば、プロセッサ１００３は、１つまたは複数のＧＰＵコア、ベクトルプロセッサ、スケーラプロセス、またはハードウェアアクセラレータを含み得る。

【0070】

メモリ１００６は、１つまたは複数のメモリ構成要素を含むことができる。メモリ１００６は、本明細書では、揮発性メモリおよび不揮発性メモリのいずれかまたは両方を含むものとして定義される。揮発性メモリ構成要素は、電力喪失時に情報を保持しないものである。揮発性メモリは、例えば、ランダムアクセスメモリ(RAM)、スタティックランダムアクセスメモリ(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)、磁気ランダムアクセスメモリ(MRAM)、または他の揮発性メモリ構造を含むことができる。システムメモリ（例えば、メインメモリ、キャッシュなどである。）は、揮発性メモリを使用して実装されてもよい。システムメモリは、プロセッサ１００３を支援するために迅速な読み出しおよび書き込みアクセスのためのデータまたは命令を一時的に記憶することができる高速メモリを指す。

【0071】

不揮発性メモリ構成要素は、電力喪失時に情報を保持するものである。不揮発性メモリは、読み出し専用メモリ(ROM)、ハードディスクドライブ、ソリッドステートドライブ、ＵＳＢフラッシュドライブ、メモリカードリーダを介してアクセスされるメモリカード、関連するフロッピーディスクドライブを介してアクセスされるフロッピーディスク、光ディスクドライブを介してアクセスされる光ディスク、適切なテープドライブを介してアクセスされる磁気テープを含む。ＲＯＭは、例えば、プログラマブル読み出し専用メモリ(PROM)、消去可能プログラマブル読み出し専用メモリ(EPROM)、電気的消去可能プログラマブル読み出し専用メモリ(EEPROM)、または他の同様のメモリデバイスを含むことができる。ストレージメモリは、データおよび命令の長期保持を提供するために不揮発性メモリを使用して実装されてもよい。

【0072】

メモリ１００６は、命令ならびにデータを記憶するために使用される揮発性メモリと不揮発性メモリとの組み合わせを指すことができる。例えば、データおよび命令は、不揮発性メモリに記憶され、プロセッサ１００３による処理のために揮発性メモリにロードされてもよい。命令の実行は、例えば、不揮発性メモリから揮発性メモリにロードされ、次いでプロセッサ１００３によって実行され得るフォーマットのマシンコードに変換されるコンパイル済みプログラム、プロセッサ１００３による実行のために揮発性メモリにロードされることが可能なオブジェクトコードなどの適切なフォーマットに変換されるソースコード、または揮発性メモリ内に命令を生成するために別の実行可能プログラムによって解釈され、プロセッサ１００３によって実行されるソースコードなどを含み得る。命令は、例えば、ＲＡＭ、ＲＯＭ、システムメモリ、ストレージ、またはそれらの任意の組み合わせを含むメモリ１００６の任意の部分または構成要素に記憶またはロードすることができる。

【0073】

メモリ１００６は、マルチビューディスプレイシステム１０００の他の構成要素とは別個のものとして示されているが、メモリ１００６は、少なくとも部分的に、１つまたは複数の構成要素に埋め込まれるか、そうでなければ統合されてもよいことを理解されたい。例えば、プロセッサ１００３は、処理動作を実行するためにオンボードメモリレジスタまたはキャッシュを含むことができる。デバイスファームウェアまたはドライバは、専用メモリデバイスに記憶された命令を含むことができる。

【0074】

Ｉ／Ｏ構成要素１００９は、例えば、タッチスクリーン、スピーカ、マイクロフォン、ボタン、スイッチ、ダイヤル、カメラ、センサ、加速度計、またはユーザ入力を受信するか、またはユーザに向けられた出力を生成する他の構成要素を含む。Ｉ／Ｏ構成要素１００９は、ユーザ入力を受信し、メモリ１００６に記憶するために、またはプロセッサ１００３による処理のために、ユーザ入力をデータに変換することができる。Ｉ／Ｏ構成要素１００９は、メモリ１００６またはプロセッサ１００３によって出力されたデータを受信し、それらをユーザ（例えば、音、触覚応答、視覚情報など）によって知覚されるフォーマットに変換することができる。

【0075】

特定のタイプのＩ／Ｏ構成要素１００９は、ディスプレイ１０１２である。ディスプレイ１０１２は、マルチビューディスプレイ（例えば、マルチビューディスプレイ１１２）、２Ｄディスプレイと組み合わされたマルチビューディスプレイ、または画像を提示する任意の他のディスプレイを含むことができる。Ｉ／Ｏ構成要素１００９として機能する静電容量式タッチスクリーン層をディスプレイ内に積層して、ユーザが視覚出力を同時に知覚しながら入力を提供することを可能にすることができる。プロセッサ１００３は、ディスプレイ１０１２上に提示するための画像としてフォーマットされたデータを生成することができる。プロセッサ１００３は、ユーザによって知覚されるようにディスプレイ上に画像をレンダリングするための命令を実行することができる。

【0076】

バス１０１５は、プロセッサ１００３、メモリ１００６、Ｉ／Ｏ構成要素１００９、ディスプレイ１０１２、およびマルチビューディスプレイシステム１０００の任意の他の構成要素の間の命令およびデータの通信を容易にする。バス１０１５は、データおよび命令の通信を可能にするために、アドレス変換器、アドレスデコーダ、ファブリック、導電性トレース、導線、ポート、プラグ、ソケット、および他のコネクタを含むことができる。

【0077】

メモリ１００６内の命令は、ソフトウェアスタックの少なくとも一部を実装する方法で様々な形態で具現化することができる。例えば、命令は、オペレーティングシステム１０３１、アプリケーション１０３４、デバイスドライバ（例えば、ディスプレイドライバ１０３７）、ファームウェア（例えば、ディスプレイファームウェア１０４０）、他のソフトウェア構成要素、またはそれらの任意の組み合わせの一部として具現化されてもよい。オペレーティングシステム１０３１は、マルチビューディスプレイシステム１０００の基本機能のサポート、例えば、スケジューリングタスク、Ｉ／Ｏ構成要素１００９の制御、ハードウェアリソースへのアクセスの提供、電力の管理、およびアプリケーション１０３４をサポートするソフトウェアプラットフォームである。

【0078】

アプリケーション１０３４は、オペレーティングシステム１０３１上で実行され、オペレーティングシステム１０３１を介してマルチビューディスプレイシステム１０００のハードウェアリソースにアクセスすることができる。この点において、アプリケーション１０３４の実行は、少なくとも部分的に、オペレーティングシステム１０３１によって制御される。アプリケーション１０３４は、高レベルの機能、サービス、および他の機能をユーザに提供するユーザレベルソフトウェアプログラムであってもよい。いくつかの実施形態では、アプリケーション１０３４は、マルチビューディスプレイシステム１０００上でユーザがダウンロード可能またはアクセス可能な専用の「アプリ」であってもよい。ユーザは、オペレーティングシステム１０３１によって提供されるユーザインターフェースを介してアプリケーション１０３４を起動することができる。アプリケーション１０３４は、開発者によって開発され、様々なソースコードフォーマットで定義され得る。アプリケーション１０３４は、例えば、Ｃ、Ｃ＋＋、Ｃ＃、Ｏｂｊｅｃｔｉｖｅ Ｃ、Ｊａｖａ（登録商標）、Ｓｗｉｆｔ、ＪａｖａＳｃｒｉｐｔ（登録商標）、Ｐｅｒｌ、ＰＨＰ、Ｖｉｓｕａｌ Ｂａｓｉｃ（登録商標）、Ｐｙｔｈｏｎ（登録商標）、Ｒｕｂｙ、Ｇｏ、または他のプログラミング言語などの多数のプログラミング言語またはスクリプト言語を使用して開発することができる。アプリケーション１０３４は、コンパイラによってオブジェクトコードにコンパイルされてもよく、またはプロセッサ１００３による実行のためにインタプリタによって解釈されてもよい。アプリケーション１０３４は、図３に関して上述したアプリケーション２０７であってもよい。

【0079】

例えばディスプレイドライバ１０３７などのデバイスドライバは、オペレーティングシステム１０３１が様々なＩ／Ｏ構成要素１００９と通信することを可能にする命令を含む。各Ｉ／Ｏ構成要素１００９は、それ自体のデバイスドライバを有してもよい。デバイスドライバは、ストレージに記憶され、システムメモリにロードされるようにインストールされてもよい。例えば、インストール時に、ディスプレイドライバ１０３７は、オペレーティングシステム１０３１から受信した高レベルの表示命令を、画像を表示するためにディスプレイ１０１２によって実施される低レベルの命令に変換する。

【0080】

例えばディスプレイファームウェア１０４０などのファームウェアは、Ｉ／Ｏ構成要素１００９またはディスプレイ１０１２が低レベル動作を実行することを可能にするマシンコードまたはアセンブリコードを含むことができる。ファームウェアは、特定の構成要素の電気信号をより高いレベルの命令またはデータに変換することができる。例えば、ディスプレイファームウェア１０４０は、ディスプレイ１０１２が電圧または電流信号を調整することによって個々のピクセルを低レベルでどのように起動するかを制御することができる。ファームウェアは、不揮発性メモリに記憶され、不揮発性メモリから直接実行されてもよい。例えば、ディスプレイファームウェア１０４０は、ＲＯＭチップがマルチビューディスプレイシステム１０００の他のストレージおよびシステムメモリとは別個であるように、ディスプレイ１０１２に結合されたＲＯＭチップに組み込まれてもよい。ディスプレイ１０１２は、ディスプレイファームウェア１０４０を実行するための処理回路を含むことができる。

【0081】

オペレーティングシステム１０３１、アプリケーション１０３４、ドライバ（例えば、ディスプレイドライバ１０３７）、ファームウェア（例えば、ディスプレイファームウェア１０４０）、および潜在的に他の命令セットはそれぞれ、上述した機能および動作を実行するためにマルチビューディスプレイシステム１０００のプロセッサ１００３または他の処理回路によって実行可能な命令を含むことができる。本明細書に記載の命令は、上述のようにプロセッサ１００３によって実行されるソフトウェアまたはコードで具現化されてもよいが、代替として、命令はまた、専用ハードウェアまたはソフトウェアと専用ハードウェアとの組み合わせで具現化されてもよい。例えば、上述した命令によって実行される機能および動作は、いくつかの技術のうちの任意の１つまたは組み合わせを使用する回路またはステートマシンとして実装されてもよい。これらの技術は、１つまたは複数のデータ信号の印加時に様々な論理機能を実装するための論理ゲートを有する離散論理回路、適切な論理ゲートを有する特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、または他の構成要素などを含むことができるが、これらに限定されない。

【0082】

いくつかの実施形態では、上述した機能および動作を実行する命令は、非一時的コンピュータ可読記憶媒体で具現化されてもよい。非一時的コンピュータ可読記憶媒体は、マルチビューディスプレイシステム１０００の一部であってもなくてもよい。命令は、例えば、コンピュータ可読媒体からフェッチされ、処理回路（例えば、プロセッサ１００３）によって実行され得る文、コード、または宣言を含んでもよい。本明細書で定義すると、「非一時的コンピュータ可読記憶媒体」は、例えばマルチビューディスプレイシステム１０００などの命令実行システムによって、またはそれに関連して使用するために、本明細書で説明する命令を含み、記憶し、または維持することができ、さらに、例えば搬送波を含む一時的媒体を除外する任意の媒体として定義される。

【0083】

非一時的コンピュータ可読媒体は、多くの物理媒体のうちのいずれか１つ、例えば、磁気媒体、光学媒体、または半導体媒体を含むことができる。適切な非一時的コンピュータ可読媒体のより具体的な例は、磁気テープ、磁気フロッピーディスケット、磁気ハードドライブ、メモリカード、ソリッドステートドライブ、ＵＳＢフラッシュドライブ、または光ディスクを含むことができるが、これらに限定されない。また、非一時的コンピュータ可読媒体は、例えば、スタティックランダムアクセスメモリ(SRAM)およびダイナミックランダムアクセスメモリ(DRAM)を含むランダムアクセスメモリ(RAM)、または磁気ランダムアクセスメモリ(MRAM)であってもよい。さらに、非一時的コンピュータ可読媒体は、読み出し専用メモリ(ROM)、プログラマブル読み出し専用メモリ(PROM)、消去可能プログラマブル読み出し専用メモリ(EPROM)、電気的消去可能プログラマブル読み出し専用メモリ(EEPROM)、または他のタイプのメモリデバイスであってもよい。

【0084】

マルチビューディスプレイシステム１０００は、上記の動作のいずれかを実行するか、または上記の機能を実装することができる。例えば、上述したプロセスフローは、命令を実行し、データを処理するマルチビューディスプレイシステム１０００によって実行されてもよい。マルチビューディスプレイシステム１０００は単一のデバイスとして示されているが、実施形態はそのように限定されない。いくつかの実施形態では、マルチビューディスプレイシステム１０００は、複数のマルチビューディスプレイシステム１０００または他のコンピューティングデバイスが共に動作して、分散配置された状態で記憶またはロードされ得る命令を実行するように、分散方式で命令の処理をオフロードすることができる。例えば、少なくともいくつかの命令またはデータは、マルチビューディスプレイシステム１０００と連携して動作するクラウドベースのシステムに記憶、ロード、または実行することができる。

【0085】

したがって、マルチビュー画像のマルチビューフォーマットを検出する例および実施形態について説明した。動作は、マルチビュー画像に対して自己相関を実行すること、および相互相関マップの特定の位置をサンプリングすることに基づく特徴の生成を含む。分類器は、マルチビューフォーマットを検出するために少なくともこの特徴に基づいて訓練される。上述の例は、本明細書に記載の原理を表す多くの特定の例のいくつかの単なる例示であることを理解されたい。明らかに、当業者は、以下の特許請求の範囲によって定義される範囲から逸脱することなく、多数の他の構成を容易に考案することができる。

【符号の説明】

【0086】

１０３、２０４、２３１、２３７、２４６、２７９ マルチビュー画像
１０６ ビュー画像
１０９ 主角度方向
１１２ マルチビューディスプレイ
１１５ 広角バックライト
１１８ マルチビューバックライト
１２１ モードコントローラ
１２４ モード選択信号
２０７、１０３４ アプリケーション
２１０ マルチビューフォーマット
２１０ａ 単一のタイルフォーマット
２１０ｂ ２×１タイルフォーマット
２１０ｃ １×２タイルフォーマット
２１０ｄ ２×２タイルフォーマット
２１３ マルチビューフォーマット検出器
２１６ マルチビューフォーマットラベル
２１９ シフトされたコピー
２２２、２３４、２４０、２４９ 相互相関マップ
２４３、２５２ ホットスポット
２６０ａ～ｄ 所定の位置
２６３ 相互相関値
２６６ 特徴抽出器
２６７、２７６ レンダリングパイプライン
２６９ 特徴セット
２７５ 分類器
２７７ ビュー合成器
２７８ インタレーサ
２８２ マルチビューピクセル
２８４、２８５ ライトバルブアレイ
２８７ マッピング
１０００ マルチビューディスプレイシステム
１００３ プロセッサ
１００６ メモリ
１００９ Ｉ／Ｏ構成要素
１０１２ ディスプレイ
１０１５ バス
１０３１ オペレーティングシステム
１０３７ ディスプレイドライバ
１０４０ ディスプレイファームウェア

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【手続補正書】

【提出日】2023-10-04

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】００２３

【補正方法】変更

【補正の内容】

【0023】

２Ｄモードでは、広角バックライト１１５を使用して、マルチビューディスプレイ１１２が２Ｄディスプレイのように動作するように画像を生成することができる。定義により、「広角」放射光は、マルチビュー画像またはマルチビューディスプレイのビューの円錐角よりも大きい円錐角を有する光として定義される。特に、いくつかの実施形態では、広角放射光は、約２０度（例えば、＞±２０°）より大きい円錐角を有することができる。他の実施形態では、広角放射光円錐角は、約３０度より大きくてもよく（例えば、＞±３０°）、または約４０度より大きくてもよく（例えば、＞±４０°）、または約５０度より大きくてもよい（例えば、＞±５０°）。例えば、広角放射光の円錐角は、約６０度より大きくてもよい（例えば、＞±６０°）。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００４４

【補正方法】変更

【補正の内容】

【0044】

上述したように、図６に関して、一特徴は相互相関値２６３のセットであり得る。いくつかの実施形態では、図７に示されるように、特徴抽出器２６６は、マルチビュー画像２０４のアスペクト比２７２を決定することを含む他の動作を実行することができ、特徴セット２６９はアスペクト比２７２をさらに含む。アスペクト比２７２は、ピクセル単位でのマルチビュー画像２０４の高さと幅の比であってもよい。特徴抽出器２６６は、マルチビュー画像２０４を特徴付ける任意の数の他の特徴を識別することができる。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００４９

【補正方法】変更

【補正の内容】

【0049】

レンダリングパイプライン２７６は、画像コンテンツを処理してディスプレイ（例えば、マルチビューディスプレイ１１２）上に提示する１つまたは複数の構成要素を含むことができる。レンダリングパイプライン２７６は、中央処理装置(CPU)、グラフィックス処理装置(GPU)、またはそれらの任意の組み合わせによって実行可能な構成要素を含むことができる。アプリケーション２０７は、関数呼び出しまたはアプリケーションプログラミングインターフェース(API)を使用してレンダリングパイプライン２７６とインターフェースすることができる。いくつかの実施形態では、レンダリングパイプライン２７６は、ビュー合成器２７７、インタレーサ２７８、またはグラフィックスをレンダリングする他の構成要素を含むことができる。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】００５７

【補正方法】変更

【補正の内容】

【0057】

インタレースされたマルチビュー画像２７９は、目標ビュー数が４であると仮定すると、４つのビューの各々からの１つのピクセルを有するマルチビューピクセル２８２をもたらすことができる。上述したように、マルチビューフォーマットラベルは、レンダリングパイプライン２７６が各ビュー画像の対応するピクセルを見つけることを可能にする。いくつかの実施形態では、マルチビューピクセルは、図８に示すように、特定の方向に互い違いに配置されてもよく、マルチビューピクセルは、垂直に互い違いに配置されながら水平に整列される。他の実施形態では、マルチビューピクセルは、水平方向に互い違いに配置され、垂直方向に整列されてもよい。マルチビューピクセルがインタレースされ、互い違いにされる特定の方法は、マルチビューディスプレイ１１２の設計に依存し得る。インタレースされたマルチビュー画像２７９は、ピクセルをインタレースし、そのピクセルをマルチビューピクセルに配置して、それらをマルチビューディスプレイ１１２の物理ピクセル（例えば、ライトバルブアレイ２８４）にマッピングできるようにすることができる。言い換えれば、インタレースされたマルチビュー画像２７９のピクセル座標は、マルチビューディスプレイ１１２の物理的な位置に対応する。マルチビューピクセル２８２は、ライトバルブアレイ２８４内のライトバルブの特定のセットへのマッピング２８７を有する。ライトバルブアレイ２８４は、インタレースされたマルチビュー画像２７９に従って光を変調するように制御される。

【手続補正5】

【補正対象書類名】図面

【補正対象項目名】図９

【補正方法】変更

【補正の内容】

【図9】

【国際調査報告】