特許 6681675 映像処理方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6681675

(24)【登録日】2020年3月26日

(45)【発行日】2020年4月15日

(54)【発明の名称】映像処理方法及び装置

(51)【国際特許分類】

   H04N 13/32 20180101AFI20200406BHJP

   H04N 13/305 20180101ALI20200406BHJP

   H04N 13/324 20180101ALI20200406BHJP

   H04N 13/349 20180101ALI20200406BHJP

   H04N 13/366 20180101ALI20200406BHJP

   G09G 5/36 20060101ALI20200406BHJP

   G09G 5/00 20060101ALI20200406BHJP

   G09G 5/393 20060101ALI20200406BHJP

   G09G 5/377 20060101ALI20200406BHJP

   G09G 5/38 20060101ALI20200406BHJP

   G02B 30/00 20200101ALI20200406BHJP

【ＦＩ】

   H04N13/32

   H04N13/305

   H04N13/324

   H04N13/349

   H04N13/366

   G09G5/36 510V

   G09G5/36 520C

   G09G5/00 550M

   G09G5/36 530E

   G09G5/36 520M

   G09G5/38 A

   G02B27/22

【請求項の数】25

【全頁数】37

(21)【出願番号】特願2015-141193(P2015-141193)

(22)【出願日】2015年7月15日

(65)【公開番号】特開2016-42689(P2016-42689A)

(43)【公開日】2016年3月31日

【審査請求日】2018年7月2日

(31)【優先権主張番号】10-2014-0107172

(32)【優先日】2014年8月18日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】朴 柱 容

(72)【発明者】

【氏名】南 東 ▲ぎょん▼

(72)【発明者】

【氏名】李 碩

【審査官】 秦野 孝一郎

(56)【参考文献】

【文献】 特開２０１０−１０９４１４（ＪＰ，Ａ）

【文献】 特開２００６−１１５２４６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００６／００８２５７４（ＵＳ，Ａ１）

【文献】 特開２０１２−１９８３６４（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１３／００６３３２７（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１４／０１３２７１１（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００−１３／３９８

Ｇ０９Ｇ ５／００− ５／４０

Ｇ０２Ｂ ２７／００−２７／６４

(57)【特許請求の範囲】

【請求項1】

第１パネルのための映像データを受信するステップと、
３次元ディスプレイ装置の第２パネルの光学的特性、及び前記第２パネル内の複数のサブピクセルのサブピクセル構造に基づいて前記映像データを処理するステップと、
を含み、前記処理するステップは、
前記第２パネル内の選択されたサブピクセルに対応する領域内の第１パネルサブピクセル値を抽出するステップと、
前記第２パネルのサブピクセル構造に基づいて、抽出された前記第１パネルサブピクセル値をフィルタリングすることで、前記選択されたサブピクセルの第２パネル値を生成するステップを含む
ことを特徴とする映像処理方法。

【請求項2】

前記光学的特性は、前記第２パネル内のサブピクセルの光線方向に関する特性を含む、ことを特徴とする請求項１に記載の映像処理方法。

【請求項3】

前記光学的特性は、
前記第２パネルと光学レイヤとの間の距離と、
前記第２パネル内の前記複数のサブピクセルのうち少なくとも１つのサブピクセルの位置と、
前記光学レイヤ内の光学素子のうち、前記少なくとも１つのサブピクセルから出力された光が通過する光学素子の位置と、
のうち少なくとも１つに基づいて算出される、ことを特徴とする請求項１又は２に記載の映像処理方法。

【請求項4】

前記第２パネルのサブピクセル構造は、
前記第２パネル内のサブピクセルの色と、
前記色に基づいて前記第２パネル内のサブピクセルが配置される形態と、
前記第２パネル内の各色のサブピクセルの大きさと、
前記第２パネル内の各色のサブピクセルの数と、
のうち少なくとも１つを含む、ことを特徴とする請求項１乃至３のうちのいずれか一項に記載の映像処理方法。

【請求項5】

前記第１パネルはＲＧＢストライプパネルであり、前記第２パネルは前記ＲＧＢストライプパネルと異なるパネルである、ことを特徴とする請求項１乃至４のうちのいずれか一項に記載の映像処理方法。

【請求項6】

前記映像データが第１パネル用の多視点映像を含み、
前記処理するステップは、
前記光学的特性に基づいて、前記第２パネル内の選択されたサブピクセルに対応する視点を取得するステップと、
前記光学的特性に基づいて、前記視点の映像内の前記選択されたサブピクセルに対応する領域を取得するステップであって、前記領域は、前記選択されたサブピクセル周辺の隣接サブピクセルを含むステップと、
を含む、ことを特徴とする請求項１乃至５のうちのいずれか一項に記載の映像処理方法。

【請求項7】

前記視点を取得するステップは、予め備えられたテーブルから前記視点を取得するステップを含み、
前記領域を取得するステップは、前記テーブルから前記領域を取得するステップを含む、ことを特徴とする請求項６に記載の映像処理方法。

【請求項8】

前記視点を取得するステップは、
前記選択されたサブピクセルの光線方向に基づいて、前記多視点映像内の複数の視点のいずれか１つの視点を選択するステップと、
前記多視点映像のカメラパラメータに基づいて、前記選択された視点の映像内の前記選択されたサブピクセルに対応する位置を決定するステップと、
を含む、ことを特徴とする請求項６又は７に記載の映像処理方法。

【請求項9】

前記カメラパラメータは、
複数の視点それぞれのカメラの画角と、
前記複数の視点それぞれのカメラの撮影方向と、
前記複数の視点それぞれのカメラと被写体との間の距離と、
のうち少なくとも１つを含む、ことを特徴とする請求項８に記載の映像処理方法。

【請求項10】

前記抽出された第１パネルサブピクセル値は、前記選択されたピクセルと同じ色を有する隣接ピクセルの第１パネルサブピクセル値である、ことを特徴とする請求項６乃至９のうちのいずれか一項に記載の映像処理方法。

【請求項11】

前記視点を取得するステップは、
前記選択されたサブピクセルが複数の視点に対応する場合、前記選択されたサブピクセルに対応する前記複数の視点を決定するステップと、
前記複数の視点で前記選択されたサブピクセルに対応する複数の領域を決定するステップであって、前記複数の領域それぞれは、前記選択されたサブピクセル周辺の隣接サブピクセルを含むステップと、
を含む、ことを特徴とする請求項６乃至１０のうちのいずれか一項に記載の映像処理方法。

【請求項12】

前記抽出するステップは、
前記複数の領域それぞれ内の前記選択されたサブピクセルと同じ色を有する隣接サブピクセルの第１サブピクセル値を抽出するステップと、
前記複数の領域の間で前記第１パネルサブピクセル値を補間するステップと、
を含む、ことを特徴とする請求項１１に記載の映像処理方法。

【請求項13】

前記生成するステップは、
前記サブピクセル構造に基づいて前記抽出された第１パネルサブピクセル値の加重値を取得するステップと、
前記加重値を用いて、前記抽出された第１パネルサブピクセル値を加重合算することで、前記選択されたサブピクセルの前記第１パネル値を算出するステップと、
を含む、ことを特徴とする請求項６に記載の映像処理方法。

【請求項14】

ユーザの両目の位置を取得するステップと、
前記両目の位置に基づいて、前記選択されたサブピクセルが左側の目又は右側の目に対応するか否かを決定するステップと、
をさらに含み、
前記領域を決定するステップは、
前記選択されたサブピクセルに対応する目の位置に基づいて、前記多視点映像内の複数の視点のいずれか１つの視点を選択するステップと、
前記多視点映像のカメラパラメータに基づいて、前記選択された視点の映像内の前記選択されたサブピクセルに対応する位置を決定するステップと、
を含む、ことを特徴とする請求項６に記載の映像処理方法。

【請求項15】

前記映像データが３次元モデルを含み、
前記処理するステップは、
前記光学的特性に基づいて、前記第２パネル内の選択されたサブピクセルに対応する視点を取得するステップと、
前記光学的特性に基づいて前記視点の映像内の前記選択されたサブピクセルに対応する領域を取得するステップであって、前記領域は、前記選択されたサブピクセル周辺の隣接サブピクセルを含むステップと、
を含む、ことを特徴とする請求項１乃至１４のうちのいずれか一項に記載の映像処理方法。

【請求項16】

前記視点を取得するステップは、予め備えられたテーブルから前記視点を取得するステップを含み、
前記領域を取得するステップは、前記テーブルから前記領域を取得するステップを含む、ことを特徴とする請求項１５に記載の映像処理方法。

【請求項17】

前記視点を取得するステップは、
前記選択されたサブピクセルの光線方向に応じて前記３次元モデルを見るように前記視点を決定するステップと、
前記光線方向に伝搬する光が前記決定された視点のための仮想カメラに入射される位置に基づいて、前記決定された視点の映像内の前記選択されたサブピクセルに対応する位置を決定するステップと、
を含む、ことを特徴とする請求項１５に記載の映像処理方法。

【請求項18】

前記生成された値は、前記選択されたサブピクセルと同じ色を有する隣接サブピクセルの第１パネルサブピクセル値である、ことを特徴とする請求項１５又は１６に記載の映像処理方法。

【請求項19】

前記生成するステップは、
前記サブピクセル構造に基づいて前記生成された第１パネルサブピクセル値の加重値を取得するステップと、
前記加重値を用いて、前記生成された第１パネルサブピクセル値を加重合算することで、前記選択されたサブピクセルの第２パネル値を算出するステップと、
を含む、ことを特徴とする請求項１５乃至１８のうちのいずれか一項に記載の映像処理方法。

【請求項20】

前記映像データが第１パネル用の立体映像を含む場合、ユーザの両目の位置を取得するステップをさらに含み、
前記処理するステップは、
前記両目の位置に基づいて、第２パネル内の選択されたサブピクセルが左側映像又は右側映像に対応するか否かを決定するステップを含み、
前記第１パネルサブピクセル値の抽出は、前記選択されたサブピクセルが対応する左側映像又は右側映像から行われる、
ことを特徴とする請求項１乃至１９のうちのいずれか一項に記載の映像処理方法。

【請求項21】

前記選択されたサブピクセルの光線方向に沿って伝搬する光が前記ユーザの右側の目よりも前記ユーザの左側の目にさらに近く到達する場合、前記選択されたサブピクセルは前記左側映像に対応し、
前記光が前記左側の目よりも前記右側の目にさらに近く到達する場合、前記選択されたサブピクセルは前記右側映像に対応する、ことを特徴とする請求項２０に記載の映像処理方法。

【請求項22】

前記抽出された第１パネルサブピクセル値は、前記選択されたサブピクセルと同じ色を有する隣接サブピクセルの第１パネルサブピクセル値である、ことを特徴とする請求項２０又は２１に記載の映像処理方法。

【請求項23】

前記生成するステップは、
前記サブピクセル構造に基づいて前記抽出された第１パネルサブピクセル値の加重値を取得するステップと、
前記加重値を用いて、前記抽出された第１パネルサブピクセル値を加重合算することで、前記選択されたサブピクセルの第２パネル値を算出するステップと、
を含む、ことを特徴とする請求項２０乃至２２のうちのいずれか一項に記載の映像処理方法。

【請求項24】

請求項１〜請求項２３のいずれか一項に記載の方法を実行させるためのプログラムが記録されたコンピュータ読み出し可能な記録媒体。

【請求項25】

第１パネルのための映像データを受信する受信部と、
３次元ディスプレイ装置の第２パネルの光学的特性、及び前記第２パネル内複数のサブピクセルのサブピクセル構造に基づいて前記映像データを処理する処理部と、
を含み、前記処理部は、
前記第２パネル内の選択されたサブピクセルに対応する領域内の第１パネルサブピクセル値を抽出し、
前記第２パネルのサブピクセル構造に基づいて、抽出された前記第１パネルサブピクセル値をフィルタリングすることで、前記選択されたサブピクセルの第２パネル値を生成するように構成されている
ことを特徴とする映像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

以下の実施形態は映像処理方法及び装置に関し、より具体的に、３次元ディスプレイ装置のための映像処理方法及び装置に関する。

【背景技術】

【0002】

現在の商用化されているほとんどの３次元ディスプレイ装置は、ユーザの両目に互いに異なる映像を再生することで深さを与える原理を用いる。しかし、このような方式はユーザに両眼の視差情報のみを与えるだけであって、焦点調整、運動視差などの単眼の深さの認知要因を伝達することができない。そのため、３次元映像がナチュラルではなく、目の疲労を与えることが懸念される。

【0003】

疲労感のないナチュラルな３次元映像を表示する技術として、光線の空間角度（ｓｐａｔｉｏ−ａｎｇｕｌａｒ）分布、すなわち、ライトフィールド（ｌｉｇｈｔ ｆｉｅｌｄ）を再生する３次元ディスプレイ技術が挙げられる。ここで、ライトフィールドは、物体からの光線の位置ごと又は方向ごとの分布を指す。このようなライトフィールドを任意の面で光学的に再生すれば、その後ろに位置するユーザは実際に物体があるような光線分布を経験するため、ナチュラルな物体の３次元映像を見ることができる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

実施形態の目的は、第１パネル用映像データを処理することで、第２パネル基盤の３次元ディスプレイのための映像を生成する技術を提供する。

【課題を解決するための手段】

【0005】

一側面に係る映像処理方法は、第１パネルのための映像データを受信するステップと、３次元ディスプレイ装置のための第２パネルの光学的特性、及び前記第２パネル内複数のサブピクセルのサブピクセル構造に基づいて前記映像データを処理するステップとを含む。

【0006】

前記光学的特性は、前記第２パネル内のサブピクセルの光線方向に関する特性を含んでもよい。前記光学的特性は、前記第２パネルと光学レイヤとの間の距離と、前記第２パネル内の前記複数のサブピクセルのうち少なくとも１つのサブピクセルの位置と、前記光学レイヤ内の光学素子のうち、前記少なくとも１つのサブピクセルから出力された光が通過する光学素子の位置と、のうち少なくとも１つに基づいて算出されてもよい。

【0007】

前記第２パネルのサブピクセル構造は、前記第２パネル内のサブピクセルの色（各サブピクセルは色に関する）と、前記色に基づいて前記第２パネル内のサブピクセルが配置される形態と、前記第２パネル内の各色のサブピクセルの大きさと、前記第２パネル内の各色のサブピクセルの数のうち少なくとも１つを含んでもよい。

【0008】

前記第１パネルはＲＧＢストライプパネルであり、前記第２パネルは前記ＲＧＢストライプパネルと異なるパネルであってもよい。

【0009】

前記映像データが第１パネル用の多視点映像を含む場合、前記処理するステップは、前記光学的特性に基づいて、前記第２パネル内の選択されたサブピクセルに対応する視点を取得するステップと、前記光学的特性に基づいて、前記視点の映像内の前記選択されたサブピクセルに対応する領域を取得するステップ（前記領域は、前記選択されたサブピクセル周辺の隣接サブピクセルを含む）と、前記多視点映像に基づいて、前記選択されたサブピクセル及び前記隣接サブピクセルの第１パネルサブピクセル値を抽出するステップと、前記第２パネルのサブピクセル構造に基づいて、前記抽出された第１パネルサブピクセル値をフィルタリングすることで、前記選択されたサブピクセルの第２パネル値を生成するステップとを含んでもよい。

【0010】

前記視点を取得するステップは、予め備えられたテーブルから前記視点を取得するステップを含み、前記領域を取得するステップは、前記テーブルから前記領域を取得するステップを含んでもよい。

【0011】

前記視点を取得するステップは、前記選択されたサブピクセルの光線方向に基づいて、前記多視点映像内の複数の視点のいずれか１つの視点を選択するステップと、前記多視点映像のカメラパラメータに基づいて、前記選択された視点の映像内の前記選択されたサブピクセルに対応する位置を決定するステップとを含んでもよい。

【0012】

前記カメラパラメータは、複数の視点それぞれのカメラの画角と、前記複数の視点それぞれのカメラの撮影方向と、前記複数の視点それぞれのカメラと被写体との間の距離のうち少なくとも１つを含んでもよい。

【0013】

前記抽出された第１パネルサブピクセル値は、前記選択されたピクセルと同じ色を有する隣接ピクセルの第１パネルサブピクセル値であってもよい。

【0014】

前記視点を取得するステップは、前記選択されたサブピクセルが複数の視点に対応する場合、前記選択されたサブピクセルに対応する前記複数の視点を決定するステップと、前記複数の視点で前記選択されたサブピクセルに対応する複数の領域を決定するステップ（前記複数の領域それぞれは、前記選択されたサブピクセル周辺の隣接サブピクセルを含む）とを含んでもよい。

【0015】

前記抽出するステップは、前記複数の領域それぞれ内の前記選択されたサブピクセルと同じ色を有する隣接サブピクセルの第１サブピクセル値を抽出するステップと、前記複数の領域の間で前記第１パネルサブピクセル値を補間するステップとを含んでもよい。

【0016】

前記生成するステップは、前記サブピクセル構造に基づいて前記抽出された第１パネルサブピクセル値の加重値を取得するステップと、前記加重値を用いて、前記抽出された第１パネルサブピクセル値を加重合算することで、前記選択されたサブピクセルの前記第１パネル値を算出するステップとを含んでもよい。

【0017】

前記映像処理方法は、ユーザの両目の位置を取得するステップと、前記両目の位置に基づいて、前記選択されたサブピクセルが左側の目又は右側の目に対応するか否かを決定するステップとをさらに含み、前記領域を決定するステップは、前記選択されたサブピクセルに対応する目の位置に基づいて、前記多視点映像内の複数の視点のいずれか１つの視点を選択するステップと、前記多視点映像のカメラパラメータに基づいて、前記選択された視点の映像内の前記選択されたサブピクセルに対応する位置を決定するステップとを含んでもよい。

【0018】

前記映像データが３次元モデルを含む場合、前記処理するステップは、前記光学的特性に基づいて、前記第２パネル内の選択されたサブピクセルに対応する視点を取得するステップと、前記光学的特性に基づいて前記視点の映像内の前記選択されたサブピクセルに対応する領域を取得するステップ（前記領域は、前記選択されたサブピクセル周辺の隣接サブピクセルを含む）と、前記３次元モデルに基づいて、前記選択されたサブピクセル及び前記隣接サブピクセルの第１パネルサブピクセル値を生成するステップと、前記第２パネルのサブピクセル構造に基づいて前記生成された第１パネルサブピクセル値をフィルタリングすることで、前記選択されたサブピクセルの第１パネル値を生成するステップとを含んでもよい。

【0019】

前記視点を取得するステップは、予め備えられたテーブルから前記視点を取得するステップを含み、前記領域を取得するステップは、前記テーブルから前記領域を取得するステップを含んでもよい。

【0020】

前記視点を取得するステップは、前記選択されたサブピクセルの光線方向に応じて前記３次元モデルを見るように前記視点を決定するステップと、前記光線方向に伝搬する光が前記決定された視点のための仮想カメラに入射される位置に基づいて、前記決定された視点の映像内の前記選択されたサブピクセルに対応する位置を決定するステップとを含んでもよい。

【0021】

前記生成された値は、前記選択されたサブピクセルと同じ色を有する隣接サブピクセルの第１パネルサブピクセル値であってもよい。

【0022】

前記生成するステップは、前記サブピクセル構造に基づいて前記生成された第１パネルサブピクセル値の加重値を取得するステップと、前記加重値を用いて、前記生成された第１パネルサブピクセル値を加重合算することで、前記選択されたサブピクセルの第２パネル値を算出するステップとを含んでもよい。

【0023】

前記映像データが第１パネル用の立体映像を含む場合、ユーザの両目の位置を取得するステップをさらに含み、前記処理するステップは、前記両目の位置に基づいて、第２パネル内の選択されたサブピクセルが左側映像又は右側映像に対応するか否かを決定するステップと、前記選択されたサブピクセルが対応する映像から、前記選択されたサブピクセルに対応する領域内の第１パネルサブピクセル値を抽出するステップと、前記第２パネルのサブピクセル構造に基づいて、前記抽出された第１パネルサブピクセル値をフィルタリングすることで、前記選択されたサブピクセルの第２パネル値を生成するステップとを含んでもよい。

【0024】

前記選択されたサブピクセルの光線方向に沿って伝搬する光が前記ユーザの右側の目よりも前記ユーザの左側の目にさらに近く到達する場合、前記選択されたサブピクセルは前記左側映像に対応し、前記光が前記左側の目よりも前記右側の目にさらに近く到達する場合、前記選択されたサブピクセルは前記右側映像に対応してもよい。

【0025】

前記抽出された第１パネルサブピクセル値は、前記選択されたサブピクセルと同じ色を有する隣接サブピクセルの第１パネルサブピクセル値であってもよい。

【0026】

前記生成するステップは、前記サブピクセル構造に基づいて前記抽出された第１パネルサブピクセル値の加重値を取得するステップと、前記加重値を用いて、前記抽出された第１パネルサブピクセル値を加重合算することで、前記選択されたサブピクセルの第２パネル値を算出するステップとを含んでもよい。

【0027】

一実施形態に係る映像処理装置は、第１パネルのための映像データを受信する受信部と、３次元ディスプレイ装置の第２パネルの光学的特性、及び前記第２パネル内複数のサブピクセルのサブピクセル構造に基づいて前記映像データを処理する処理部とを含む。

【0028】

一実施形態に係る第１サブピクセル構造を有する第１パネル内の選択されたサブピクセルのサブピクセル値を生成する方法は、前記第１サブピクセル構造と異なる第２サブピクセル構造を有する第２パネルに関する映像データを取得するステップと、前記選択されたサブピクセルに対応する視点に基づいて、少なくとも一部の映像データを前記選択されたサブピクセルのサブピクセル値に変換することで前記映像データを処理するステップとを含む。

【0029】

前記処理するステップは、前記映像データに基づいて前記選択されたサブピクセルに対応する前記視点を決定するステップ（前記視点は映像に関する）と、前記映像内の選択されたサブピクセルに対応する領域を決定するステップ（前記サブピクセル値は前記領域に基づく）とを含んでもよい。

【0030】

前記処理するステップは、前記領域に基づいて第２パネルサブピクセルのサブピクセル値を決定するステップと、前記第２パネルサブピクセルの前記サブピクセル値に基づいて、前記選択されたサブピクセルのサブピクセル値を決定するステップとを含んでもよい。

【発明の効果】

【0031】

本発明によると、第１パネル用映像データを処理することで、第２パネル基盤３次元ディスプレイのための映像を生成する技術を提供することができる。

【図面の簡単な説明】

【0032】

【図1】一実施形態に係る映像処理装置を説明する図である。

【図2】一実施形態に係る映像処理装置を説明する図である。

【図3】一実施形態に係る映像処理装置を説明する図である。

【図4】一実施形態に係る映像処理装置を説明する図である。

【図5】一実施形態に係る映像処理装置を説明する図である。

【図6】一実施形態に係る映像処理装置を説明する図である。

【図7】一実施形態に係る映像処理装置を説明する図である。

【図8】実施形態に係る視点選択動作を説明する図である。

【図9】実施形態に係る視点選択動作を説明する図である。

【図10】実施形態に係る位置決定動作を説明する図である。

【図11】実施形態に係る位置決定動作を説明する図である。

【図12】実施形態に係る位置決定動作を説明する図である。

【図13】実施形態に係る位置決定動作を説明する図である。

【図14】実施形態に係る領域決定動作を説明する図である。

【図15】実施形態に係る領域決定動作を説明する図である。

【図16】実施形態に係るフィルタリング動作を説明する図である。

【図17】実施形態に係るフィルタリング動作を説明する図である。

【図18】実施形態に係るフィルタリング動作を説明する図である。

【図19】実施形態に係るフィルタリング動作を説明する図である。

【図20】実施形態に係るフィルタリング動作を説明する図である。

【図21】実施形態に係るフィルタリング動作を説明する図である。

【図22】実施形態に係るフィルタリング動作を説明する図である。

【図23】実施形態に係るフィルタリング動作を説明する図である。

【図24】一実施形態に係るライトフィールドレンダリング方法を示す動作フローチャートである。

【図25】一実施形態に係る補間動作を説明する図である。

【図26】一実施形態に係る補間動作を説明する図である。

【図27】一実施形態に係る補間動作を説明する図である。

【図28】一実施形態に係る補間動作を説明する図である。

【図29】他の実施形態に係るライトフィールドレンダリング装置を説明する図である。

【図30】他の実施形態に係るライトフィールドレンダリング装置を説明する図である。

【図31】他の実施形態に係るライトフィールドレンダリング装置を説明する図である。

【図32】他の実施形態に係るライトフィールドレンダリング装置を説明する図である。

【図33】更なる実施形態に係るライトフィールドレンダリング装置を説明する図である。

【図34】更なる実施形態に係るライトフィールドレンダリング装置を説明する図である。

【図35】更なる実施形態に係るライトフィールドレンダリング装置を説明する図である。

【図36】更なる実施形態に係るライトフィールドレンダリング装置を説明する図である。

【図37】更なる実施形態に係るライトフィールドレンダリング装置を説明する図である。

【図38】更なる実施形態に係るライトフィールドレンダリング装置を説明する図である。

【図39】更なる実施形態に係るライトフィールドレンダリング装置を説明する図である。

【図40】更なる実施形態に係るライトフィールドレンダリング装置を説明する図である。

【発明を実施するための形態】

【0033】

以下、実施形態を添付する図面を参照しながら詳細に説明する。各図面に提示された同一の参照符号は同一の部材を示す。下記で説明される実施形態は、ライトフィールドディスプレイ方式のためのレンダリングに用いてもよい。ライトフィールドディスプレイ方式は、３次元映像を表現する無メガネ方式であって、例えば、３Ｄテレビ、３Ｄモニター、３Ｄデジタル情報ディスプレイ（Ｄｉｇｉｔａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｄｉｓｐｌａｙ、ＤＩＤ）、及び３Ｄモバイル機器などに適用されてもよい。

【0034】

図１〜図７は、一実施形態に係る映像処理装置を説明する図である。映像処理装置は、ライトフィールドディスプレイ方式を用いて映像を処理する装置であり、例えば、ライトフィールドレンダリング装置を含んでもよい。以下、説明の便宜のため、映像処理装置はライトフィールドレンダリング装置と称する。

【0035】

図１を参照すると、一実施形態に係るライトフィールドレンダリング装置１１０は、受信部１１１と処理部１１２を含む。受信部１１１は、第１パネルのための映像データ１２０を受信する。一実施形態によると、第１パネルのための映像データ１２０は第１パネル用の多視点映像を含んでもよい。

【0036】

処理部１１２は、第２パネル基盤３次元ディスプレイ装置１３０のための映像を生成するため、第１パネルのための映像データ１２０を処理する。第２パネル基盤３次元ディスプレイ装置１３０は、ライトフィールドディスプレイ方式を用いて３次元映像を再生する装置であり、例えば、第２パネル基盤ライトフィールドディスプレイ装置を含んでもよい。以下、説明の便宜のために、第２パネル基盤３次元ディスプレイ装置１３０は、第２パネル基盤ライトフィールドディスプレイ装置と称する。

【0037】

処理部１１２は、第２パネル基盤３次元ディスプレイ装置の光学的特性及び第２パネルのサブピクセル構造に基づいて第１パネルのための映像データ１２０を処理することで、第２パネル基盤ライトフィールドディスプレイ装置のための映像を生成してもよい。第２パネル基盤３次元ディスプレイ装置の光学的特性は、第２パネルに含まれたサブピクセルの光線方向に関する特性を含んでもよい。

【0038】

より具体的に、一実施形態に係るライトフィールドレンダリング装置１１０は、第１パネル用の多視点映像を用いて第２パネル基盤ライトフィールドディスプレイ装置に含まれた第２パネルのサブピクセル値を生成してもよい。ライトフィールドレンダリング装置１１０は、ライトフィールドをレンダリングするための各種のモジュールから構成されてもよい。ライトフィールドレンダリング装置１１０を構成する各種のモジュールは、ハードウェアモジュール、ソフトウェアモジュール、または、その組み合わせで実現されてもよい。ソフトウェアモジュールは、少なくとも１つのプロセッサによって駆動されてもよい。

【0039】

第１パネルのサブピクセル構造と第２パネルのサブピクセル構造は互いに異なってもよい。任意のパネルのサブピクセル構造は、そのパネルに含まれたサブピクセルの色、そのパネルに各色のサブピクセルが配置される形態、そのパネルに含まれた各色のサブピクセルの大きさ、及びそのパネルに含まれた各色のサブピクセルの数などを含んでもよい。

【0040】

例えば、第１パネルは一般的なＲＧＢパネルであり、第２パネルはペンタイル^ＴＭパネルであってもよい。一般的なＲＧＢパネルのサブピクセル構造とペンタイル^ＴＭパネルのサブピクセル構造は互いに異なる。より具体的に、一般的なＲＧＢパネルは、１つのピクセルに互いに同一の大きさを有するＲ（ｒｅｄ）サブピクセル、Ｇ（ｇｒｅｅｎ）サブピクセル、及びＢ（ｂｌｕｅ）サブピクセルが含まれているサブピクセル構造を有する。例えば、一般的なＲＧＢパネルは、ＲＧＢストライプ（ｓｔｒｉｐｅ）構造で実現されてもよい。

【0041】

一方、ペンタイル^ＴＭパネルは、１つのピクセルに大きさの互いに同一であるＲサブピクセル、Ｇサブピクセル、及びＢサブピクセルが含まれているサブピクセル構造を有しない。ペンタイル^ＴＭパネルは様々な形態に実現されてもよい。一例として、ペンタイル^ＴＭパネルは、図２に示すようなサブピクセル構造を有してもよい。図２に示すサブピクセル構造は、ダイヤモンドペンタイル^ＴＭ構造と称してもよい。図２は、ダイヤモンドペンタイル^ＴＭサブピクセル構造を有する複数のピクセル２００_１−２００_ｎを示す。図２を参照すると、１つのピクセル（例えば、ピクセル２００_１）は２つのサブピクセルを含む。それぞれのピクセルは、Ｒサブピクセル、Ｇサブピクセル、及びＢサブピクセルを全ては含まない。それぞれのピクセルは、Ｒサブピクセル及びＧサブピクセルを含んだり、Ｂサブピクセル及びＧサブピクセルを含む。Ｇサブピクセルの大きさは、Ｒサブピクセルの大きさ及びＢサブピクセルの大きさよりも小さいこともある。１つのピクセル内でＧサブピクセルとＲサブピクセルは対角方向に配置されてもよい。また、１つのピクセル内でＧサブピクセルとＢサブピクセルは対角方向に配置されてもよい。１つのピクセル内のサブピクセルの配置は様々に変形されてもよい。また、Ｒサブピクセル、Ｇサブピクセル、及びＢサブピクセルそれぞれの大きさ及び形態は様々に変形されてもよい。

【0042】

他の例として、ペンタイル^ＴＭパネルは図３に示すようなサブピクセル構造を有してもよい。図３は、他のペンタイル^ＴＭサブピクセル構造を有する複数のピクセル３００_１−３００_ｎを示す。図３を参照すると、１つのピクセル（例えば、ピクセル３００_１）は２つのサブピクセルを含む。それぞれのピクセルは、Ｒサブピクセル、Ｇサブピクセル、及びＢサブピクセルを全ては含まない。それぞれのピクセルは、Ｒサブピクセル及びＧサブピクセルを含んだり、Ｂサブピクセル及びＧサブピクセルを含む。Ｒサブピクセルの大きさ、Ｇサブピクセルの大きさ、及びＢサブピクセルの大きさは互いに異なってもよい。１つのピクセル内でＧサブピクセルとＲサブピクセルは縦方向に配置されてもよい。また、１つのピクセル内でＧサブピクセルとＢサブピクセルは縦方向に配置されてもよい。１つのピクセル内のサブピクセルの配置は様々に変形されてもよい。また、Ｒサブピクセル、Ｇサブピクセル、及びＢサブピクセルそれぞれの大きさ及び形態は様々に変形されてもよい。

【0043】

更なる例として、ペンタイル^ＴＭパネルは、図４に示すようなサブピクセル構造を有してもよい。図４は、他のペンタイル^ＴＭサブピクセル構造を有する複数のピクセル４００_１−４００_ｎを示す。図４を参照すると、ペンタイル^ＴＭパネルは、Ｒサブピクセル、Ｇサブピクセル、及びＢサブピクセルの他にも、Ｗサブピクセルをさらに含んでもよい。それぞれのピクセルは、Ｒサブピクセル、Ｇサブピクセル、Ｂサブピクセル、及びＷサブピクセルを全ては含まない。それぞれのピクセルはＲサブピクセル及びＧサブピクセルを含んだり、Ｂサブピクセル及びＷサブピクセルを含む。１つのピクセル内でＧサブピクセルとＲサブピクセルは横方向に配置されてもよい。また、１つのピクセル内でＢサブピクセルとＷサブピクセルは横方向に配置されてもよい。１つのピクセル内のサブピクセルの配置は様々に変形されてもよい。また、Ｒサブピクセル、Ｇサブピクセル、Ｂサブピクセル、及びＷサブピクセルのそれぞれの大きさ及び形態は様々に変形されてもよい。

【0044】

以上で、説明の便宜のために第２パネルがペンタイル^ＴＭ（登録商標）パネルの場合を説明したが、第２パネルは、ペンタイル^ＴＭパネルの他にも一般的なＲＧＢパネルと異なる構造のパネルであってもよい。

【0045】

ライトフィールドレンダリング装置１１０は、第１パネル用の多視点映像を用いて第２パネル基盤ライトフィールドディスプレイ装置に含まれた第２パネルのサブピクセル値を生成することで、ライトフィールドをレンダリングしてもよい。例えば、図５を参照すると、第２パネル基盤ライトフィールドディスプレイ装置は、一定の空間に存在する点で様々な方向に出力される光をそのまま表現することができる。第２パネル基盤ライトフィールドディスプレイ装置は、実際に物体が一点で様々な方向に光を生成したり照り返す原理を用いる。

【0046】

第２パネル基盤ライトフィールドディスプレイ装置は、サブピクセルを含む第２パネル５０１及びサブピクセルから出力される光が通過する光学レイヤ５０２を含む。ここで、光学レイヤ５０２は、レンチキュラレンズ（Ｌｅｎｔｉｃｕｌａｒ Ｌｅｎｓ）、パララックスバリア（Ｐａｒａｌｌｅｘ Ｂａｒｒｉｅｒ）、レンズアレイ、及びマイクロレンズアレイなど光学フィルタを含んでもよい。また、光学レイヤ５０２は、指向性バックライトユニット（ｄｉｒｅｃｔｉｏｎａｌ ｂａｃｋ ｌｉｇｈｔ ｕｎｉｔ）を含んでもよい。以下、説明の便宜のために光学レイヤ５０２がレンズアレイである場合を説明するが、実施形態は前述した光学フィルタに限定されることなく、ディスプレイの前面又は後面に配置する全ての形態の光学レイヤを用いてもよい。

【0047】

第２パネル５０１に含まれたサブピクセルから出力される光の方向は光学レイヤ５０２を介して決定されてもよい。サブピクセルそれぞれから出力される光は、光学レイヤ５０２を通過しながら特定方向に放射されてもよい。このような過程により第２パネル基盤ライトフィールドディスプレイ装置は、立体映像又は多視点映像を表現してもよい。

【0048】

光学レイヤ５０２は複数の素子を含んでもよい。それぞれの素子は３Ｄ画素と称されてもよい。１つの３Ｄ画素は、様々な方向に他の情報を含む光線を出力してもよい。例えば、光学レイヤ５０２に含まれた１つの３Ｄ画素で１５×４方向の光線５０３が出力されてもよい。第２パネル基盤ライトフィールドディスプレイ装置は、複数の３Ｄ画素を用いて３次元空間上の点などを表現してもよい。

【0049】

ここで、第２パネル５０１のサブピクセル構造に応じて第２パネル５０１内のサブピクセルの位置及び／又は大きさが変わるため、第２パネル５０１のサブピクセル構造に応じて第２パネル５０１内各サブピクセルから出力される光線の方向が変わる。そのため、第１パネル用の多視点映像のサブピクセル値を第２パネル５０１のサブピクセル値に決定する場合、多視点映像を充分に表現することができない。例えば、一般的なＲＧＢパネルのサブピクセル構造に応じて、ライトフィールドレンダリングされたパネル映像をペンタイル^ＴＭパネルのサブピクセル構造に適するように単純変換する場合、ペンタイル^ＴＭパネルのサブピクセル構造に応じてサブピクセルの光線方向が変更される点が無視されることで、意図した映像を充分表現することができない。

【0050】

ライトフィールドレンダリング装置１１０は、任意のサブピクセル構造を有する第２パネルを用いるライトフィールドディスプレイ装置のためのレンダリング方式を提供する。例えば、ライトフィールドレンダリング装置１１０は、第２パネルのサブピクセル構造に基づいて第１パネル用の多視点映像から第２パネルのサブピクセルの値を生成してもよい。ライトフィールドレンダリング装置１１０の動作に関するより詳細な説明は後述する。

【0051】

そのため、実施形態は、ライトフィールドディスプレイ装置を様々なパネルに実現する技術を提供することができる。以下で詳細に説明するが、ライトフィールドレンダリング装置１１０は、第２パネルのサブピクセル構造に適するようにサブピクセル構造変換する演算を最小限にするため、第２パネル基盤ライトフィールドディスプレイ装置で実際に用いられるサブピクセルについてのみ、サブピクセル構造変換を行うアルゴリズムを提供することができる。

【0052】

図６を参照すると、一実施形態に係るライトフィールドレンダリング装置１１０は、受信部６１０、決定部６２０、抽出部６３０、及び生成部６４０を含む。受信部６１０は、第１パネル用の多視点映像を受信する。受信部６１０は図１に示す受信部１１１に対応する。決定部６２０は、第２パネルに含まれたサブピクセルに対応する視点及びその視点の映像内でサブピクセルに対応する領域を決定する。抽出部６３０は、多視点映像から、決定された視点及び決定された領域に対応するサブピクセル値を抽出する。生成部６４０は、抽出されたサブピクセル値を第２パネルのサブピクセル構造に基づいてフィルタリングすることで、サブピクセルの値を生成する。決定部６２０、抽出部６３０、及び生成部６４０は、図１に示す処理部１１２に対応する。

【0053】

決定部６２０、抽出部６３０、及び生成部６４０は、ハードウェア、ファームウェア、ソフトウェアを実行する装置、または、この様々な組み合わせであってもよい。決定部６２０、抽出部６３０、及び生成部６４０のうち少なくとも１つは、中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、アプリケーション特化集積回路（ＡＳＩＣ）、または、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）から構成されたり、決定部６２０、抽出部６３０、及び生成部６４０のうち少なくとも１つの機能実行に特化された装置で構成されてもよい。ＣＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＧＰＡは処理装置のように包括的に称してもよい。

【0054】

決定部６２０、抽出部６３０、及び生成部６４０のうち少なくとも１つは、格納媒体１１３に格納されたソフトウェアを実行するプロセッサで構成されてもよい。プロセッサは、決定部６２０、抽出部６３０、及び生成部６４０のうち少なくとも１つの機能を行う。

【0055】

決定部６２０は、サブピクセルの光線方向に基づいてサブピクセルに対応する視点及びサブピクセルに対応する領域を決定する。図７を参照すると、決定部６２０は、サブピクセル７１１の値をレンダリングするため、サブピクセル７１１の光線方向を算出する。例えば、サブピクセル７１１から出力された光は、光学レイヤ７２０内の素子７２１の中心を通過する方向に伝搬（ｐｒｏｐａｇａｔｅ）する。決定部６２０は、第２パネル７１０と光学レイヤ７２０との間の距離、第２パネル７１０内のサブピクセル７１１の位置、及び光学レイヤ７２０内の素子のうち、サブピクセル７１１から出力された光が通過する素子７２１の位置に基づいて、サブピクセル７１１の光線方向を算出してもよい。以下、サブピクセルから出力された光は、ＬＥＤのようにそれ自体が発光するサブピクセルから出力される光のみならず、ＬＣＤのようにバックライトの光を透過させるサブピクセルから出力される光を全て含んでもよい。

【0056】

サブピクセル７１１の光線方向に沿って伝搬する光は、多視点映像の視点７３０のいずれか１つと対応する。多視点映像は、複数の視点に対応する視点映像から構成されてもよい。決定部６２０は、サブピクセル７１１の光線方向に応じて伝搬する光が到達する位置に対応する視点７３１を選択してもよい。視点選択動作に関するより詳細な説明は、図８及び図９を参照して後述する。

【0057】

決定部６２０は、多視点映像のカメラパラメータに基づいて、選択された視点７３１の映像７４０内のサブピクセルに対応する位置７４１を決定してもよい。カメラパラメータは多視点映像を撮影した多視点カメラのパラメータであり、例えば、それぞれの視点のカメラの画角、それぞれの視点のカメラの撮影方向、それぞれの視点のカメラと被写体との間の距離を含んでもよい。カメラパラメータは多視点映像に含まれ、決定部６２０は多視点映像からカメラパラメータを取得してもよい。位置決定動作に関するより詳細な説明は、図１０〜図１３を参照して後述する。

【0058】

決定部６２０は、選択された視点７３１の映像７４０内の位置７４１を含む領域７４２をサブピクセル７１１に対応する領域として決定してもよい。領域７４２は、映像７４０内で位置７４１を中心にする予め決定した大きさの領域であってもよい。領域決定動作に関するより詳細な説明は、図１４及び図１５を参照して後述する。

【0059】

以上、決定部６２０がサブピクセルの光線方向に基づいてサブピクセルに対応する視点及びサブピクセルに対応する領域を決定する動作方式を説明したが、実施形態は、決定部６２０が予め備えられたテーブルからサブピクセルに対応する視点及びサブピクセルに対応する領域を取得する動作方式に変形されてもよい。例えば、多視点映像を撮影する距離、多視点映像を撮影する画角、多視点映像を撮影する方向、または、多視点映像のカメラパラメータなど多視点映像を撮影する条件が標準化される場合、任意のサブピクセルに対応する視点及び当該サブピクセルに対応する領域は予め決定されてもよい。予め備えられたテーブルは、第２パネルのサブピクセル構造に応じて第２パネルに含まれたサブピクセルに対応する視点及び領域に関する情報を格納してもよい。この場合、決定部６２０は、予め備えられたテーブルを参照することでサブピクセルに対応する視点及びサブピクセルに対応する領域を決定してもよい。

【0060】

テーブルは全てのサブピクセルに対して、当該サブピクセルが表現する視点とサブピクセルの値を取得するためにフィルタリングしなければならないＲＧＢパネルの領域情報を予め算出して格納してもよい。多視点映像が入力される場合、テーブル内視点情報は視点を指示する視点番号であってもよい。３次元モデルデータが用いられる場合、テーブル内視点情報は、３次元モデルデータをレンダリングするために指定する仮想カメラの中心の位置、カメラが見る方向、カメラの視点であってもよい。

【0061】

さらに、当該視点映像の解像度に基づいて、ペンタイル^ＴＭパネルのサブピクセルの値を取得するために、フィルタリングする視点映像内の領域情報もテーブルに格納されてもよい。テーブル内に格納空間の数はサブピクセルの数に対応する。前述した視点情報、仮想カメラ情報、フィルタリングのために必要な視点映像内の位置、及び範囲情報はそれぞれ格納空間に格納されてもよい。格納された情報は、ペンタイルパネルのサブピクセル値を算出するとき検出されて用いてもよい。

【0062】

入力映像のフォーマットが同一である場合、サブピクセルの方向及び位置に応じて視点情報及びフィルタリングのための領域情報は毎回算出される必要はない。したがって、このような情報は１回算出されて格納され、続いて入力される次の情報に同一に適用される。

【0063】

仮想カメラは、３Ｄモデルを２Ｄレンダリングするために用いるカメラの位置、方向、視野（Ｆｉｅｌｄ ｏｆ ｖｉｅｗ）などの情報を有する仮想（現実ではない）カメラを称する。

【0064】

仮想カメラの生成とは、このようなカメラの情報が生成されることを意味する。サブピクセルが表現する光の方向を延長した線の上にカメラの投射中心が位置し、サブピクセルによって表現される光の方向が視点内に含まれれば、カメラ情報は様々な形態に変形されてもよい。ただし、便宜のために、当該仮想カメラの上向きベクトル（ｕｐ ｖｅｃｔｏｒ）がディスプレイの垂直方向と同じように上側を向くか、仮想カメラの視点の中心に向かう方向（投射方向）がディスプレイ面と垂直であるか、などの制約条件が予め設定されてもよい。

【0065】

仮想カメラは、当該サブピクセルからの光と正確に一致する方向の光線情報をキャプチャーできるように設定されてもよい。

【0066】

再び図７を参照すると、抽出部６３０は、多視点映像から視点７３１及び領域７４２に対応するサブピクセル値を抽出する。例えば、抽出部６３０は、多視点映像を構成する複数の視点映像のうち、視点７３１に対応する視点映像を検出してもよい。抽出部６３０は、検出された視点映像から領域７４２に含まれたサブピクセルの値を抽出してもよい。

【0067】

ここで、抽出部６３０は、領域７４２に含まれたサブピクセルのうち、サブピクセル７１１の色と同じ色のサブピクセルの値を選択的に抽出する。例えば、サブピクセル７１１はＲサブピクセルであってもよく、領域７４２にはＲサブピクセル、Ｇサブピクセル、及びＢサブピクセルが含まれてもよい。この場合、抽出部６３０は領域７４２内のＲサブピクセル、Ｇサブピクセル、及びＢサブピクセルのうちＲサブピクセルの値のみを選択的に抽出してもよい。

【0068】

生成部６４０は、領域７４２に基づいてサブピクセル７１１の値を生成する。生成部６４０は、領域７４２から抽出されたサブピクセル値をフィルタリングすることで、サブピクセル７１１の値を生成する。例えば、生成部６４０は、第２パネル７１０のサブピクセル構造に基づいて加重値を決定してもよい。生成部６４０は、加重値を用いて領域７４２から抽出されたサブピクセル値を加重合算することで、サブピクセル７１１の値を算出してもよい。生成された値は、サブピクセル７１１に印加されてもよい。フィルタリング動作に関する詳細な説明は図１６〜図２３を参照して後述する。

【0069】

図８及び図９は、実施形態に係る視点選択動作を説明する図である。図８を参照すると、サブピクセル８１０は様々な方向に光を出力してもよく、出力された光は、光学レイヤ８２０を通過しながら光線方向が量子化される形態に表現される。例えば、サブピクセル８１０から出力される光の方向は、光学レイヤ８２０に含まれた素子それぞれの中心を通過する方向に量子化されてもよい。

【0070】

決定部（図示せず）は、量子化された光線方向のうち、多視点映像を構成する視点に対応する光線方向をサブピクセル８１０の光線方向として決定する。例えば、第１光線方向８４１は多視点映像を構成する視点のうち視点８３０に対応し、第２光線方向８４２は多視点映像を構成する視点のいずれにも対応しない場合がある。第１光線方向８４１は、サブピクセル８１０から出力された光が素子８２１の中心を通過する方向であり、第２光線方向８４２は、サブピクセル８１０から出力された光が素子８２２の中心を通過する方向である。この場合、決定部は、第１光線方向８４１をサブピクセル８１０の光線方向に決定してもよい。

【0071】

場合に応じて、複数の光線方向が多視点映像を構成する視点に対応する。この場合、決定部は、多視点映像の中心位置に近い視点に対応する光線方向を当該サブピクセルの光線方向に決定してもよい。多視点映像の中心位置は、多視点映像を構成する複数の視点が分布する領域の中心に該当する位置であってもよい。

【0072】

図９を参照すると、一実施形態に係る第２パネル９１０のサブピクセルそれぞれの光線方向は、光学レイヤ９２０内のいずれか１つの素子の中心を通過する方向として決定されてもよい。各光線方向は、多視点映像を構成する複数の視点９３０のいずれか１つに対応する。

【0073】

図１０〜図１３は、実施形態に係る位置決定動作を説明する図である。図１０を参照すると、第２パネルのサブピクセル１０１０から出力される光は、光学レイヤの素子１０２０を介して出力され、視点１０３０に対応する。決定部（図示せず）は、多視点映像のカメラパラメータに基づいて視点１０３０の映像１０４０内でサブピクセル１０１０に対応する位置を決定してもよい。

【0074】

例えば、決定部は、カメラパラメータに基づいて視点１０３０のための仮想カメラ１０５０を設定し、光線方向１０２５に沿って伝搬する光が視点１０３０のための仮想カメラ１０５０の撮影空間内のどの位置に入射するのかを算出してもよい。ここで、視点１０３０のための仮想カメラ１０５０の撮影空間は視点１０３０の映像１０４０に該当し、光線方向１０２５に沿って伝搬する光は映像１０４０内の位置１０４１に入射してもよい。決定部は、位置１０４１をサブピクセル１０１０に対応する位置として決定してもよい。

【0075】

図１１を参照すると、一実施形態に係る決定部（図示せず）は、カメラパラメータに基づいて視点１０３０のための仮想カメラ１０６０を図１０に示す仮想カメラ１０５０と異なるように設定してもよい。この場合、光線方向１０２５に沿って伝搬する光が視点１０３０の映像１０４０内の他の位置に入射してもよい。例えば、光線方向１０２５に沿って伝搬する光は、視点１０３０の映像１０４０内の位置１０４２に入射してもよい。決定部は、位置１０４２をサブピクセル１０１０に対応する位置として決定してもよい。

【0076】

図１０〜図１１に示すように、仮想カメラ１０５０の投射方向はディスプレイ面と垂直に設定され、仮想カメラ１０６０の投射方向はサブピクセルから出る光線の方向と一致するように設定されてもよい。

【0077】

カメラパラメータが決定されれば、カメラの位置、投射方向、視点などが決定部６２０によって決定されてもよい。そのため、カメラが空間上の光をキャプチャーする唯一の設定が決定されてもよい。この状態で、カメラがディスプレイ面を撮影すると、カメラが撮影した映像内の特定サブピクセルの位置が決定部６２０によって決定されてもよい。

【0078】

図１０に示すように、サブピクセル１０１０からの光が斜めに仮想カメラ１０５０に入射し、入射した光は仮想カメラ１０５０で撮影した映像１０４０内の位置１０４１でキャプチャーされてもよい。図１１に示すように、仮想カメラ１０６０の投射方向がサブピクセル１０１０に向かっているため、サブピクセル１０１０は、カメラ１０６０が撮影した映像１０４０の中央に該当する位置１０４２でキャプチャーされてもよい。

【0079】

図１２を参照すると、一実施形態に係るサブピクセル１２１０から出力される光は光学レイヤの素子１２２０を介して出力され、視点１０３０に対応する。ここで、光線方向１２２５に沿って伝搬する光は、視点１０３０のための仮想カメラ１０５０の中心１０３１に正確に入射されず、他の位置１０３２に入射されてもよい。この場合、決定部（図示せず）は、素子１２２０と仮想カメラ１０５０の中心１０３１の間の仮想の光線を用いてサブピクセル１２１０に対応する位置を決定する。

【0080】

例えば、図１３を参照すると、決定部は素子１２２０の中心から仮想カメラ１０５０の中心１０３１に向かう光線方向１２２６を設定してもよい。決定部は、光線方向１２２６に沿って光が伝搬する場合、当該光が視点１０３０の映像１０４０に入射する位置１０４３を算出してもよい。決定部は、位置１０４３をサブピクセル１２１０に対応する位置として決定してもよい。

【0081】

図１４及び図１５は、実施形態に係る領域決定動作を説明する図である。図１４を参照すると、第１パネル用映像１４００は複数のピクセルで構成されてもよい。第１パネル用映像１４００に含まれたピクセルそれぞれは、当該ピクセルの色を表現するＲサブピクセル値、Ｇサブピクセル値、及びＢサブピクセル値を含んでもよい。第１パネル用映像１４００は、多視点映像を構成する複数の視点のいずれか１つの視点に対応する映像であってもよい。

【0082】

決定部（図示せず）は、第１パネル用映像１４００内で決定された位置を含む領域１４１０を決定してもよい。決定された位置は、第１パネル用映像１４００に含まれた複数のピクセルのいずれか１つのピクセル１４１１に該当し、領域１４１０は、ピクセル１４１１及び周辺ピクセルを含む３×３の大きさのピクセルグループであってもよい。

【0083】

ピクセル１４１１を含むように決定される領域の大きさは３×３の大きさに制限されることなく、様々に設定されてもよい。例えば、図１５を参照すると、決定部は、ピクセル１４１１及び周辺ピクセルを含む５×５の大きさのピクセルグループに領域１５１０を決定してもよい。または、ピクセル１４１１を含む領域は、円形などの様々な形態に設定されてもよい。以下、説明の便宜のためにサブピクセルに対応する領域は３×３の大きさのピクセルグループの場合を仮定してフィルタリング動作を説明するが、実施形態は様々な大きさ及び／又は様々な形態の領域にもそのまま適用されてもよい。

【0084】

図１６〜図２３は、実施形態に係るフィルタリング動作を説明する図である。図１６を参照すると、生成部（図示せず）は、サブピクセルの値を生成するため、第２パネルのサブピクセル構造に基づいて加重値を決定する。例えば、生成部は、サブピクセル１６１０の値を生成するため、サブピクセル１６１０及びその周辺サブピクセルの加重値を決定してもよい。サブピクセル１６１０はＲサブピクセルであり、サブピクセル１６１０の上下左右にはＲサブピクセルが配置されることなく、サブピクセル１６１０の対角線方向にはＲサブピクセルが配置されている。

【0085】

生成部は、このようなサブピクセル構造に基づいて加重値マップ１６２０を決定してもよい。加重値マップ１６２０は３×３の大きさのマトリクスとして、視点映像内で決定された領域の大きさと同一であってもよい。図１６に示す加重値マップ１６２０は一例として、加重値マップ１６２０に設定された加重値は、第２パネルのサブピクセル構造を反映する様々な方式によってそれぞれ異なるように決定されてもよい。

【0086】

上述したように、決定部（図示せず）は、視点映像内で決定された領域からサブピクセル１６１０の色と同じ色に該当するサブピクセル値を抽出してもよい。生成部は、視点映像内で決定された領域から抽出されたサブピクセル値１６３０を加重値マップ１６２０により加重合算することで、サブピクセル１６１０の値を生成する。例えば、サブピクセル１６１０の値は、数式１６４０のように算出されてもよい。

【0087】

図１７を参照すると、サブピクセル１７１０はＧサブピクセルであり、サブピクセル１７１０の上下左右及び対角線方向にはＧサブピクセルが配置されている。生成部は、このようなサブピクセル構造に基づいて加重値マップ１７２０を決定してもよい。生成部は、視点映像内で決定された領域から抽出されたサブピクセル値１７３０を加重値マップ１７２０により加重合算することで、サブピクセル１７１０の値を生成する。例えば、サブピクセル１７１０の値は、数式１７４０のように算出されてもよい。サブピクセル構造に応じて、第２パネルの全てのピクセルにＧサブピクセルが含まれているため、Ｇサブピクセルは実質的にフィルタリングされないこともある。

【0088】

図１８を参照すると、サブピクセル１８１０はＢサブピクセルであり、サブピクセル１８１０の上下左右にはＢサブピクセルが配置されることなく、サブピクセル１８１０の対角線方向にはＢサブピクセルが配置されている。生成部はこのようなサブピクセル構造に基づいて加重値マップ１８２０を決定してもよい。生成部は、視点映像内で決定された領域から抽出されたサブピクセル値１８３０を加重値マップ１８２０により加重合算することで、サブピクセル１８１０の値を生成する。例えば、サブピクセル１８１０の値は数式１８４０のように算出されてもよい。

【0089】

図１９を参照すると、生成部（図示せず）は、ＲＧＢＷペンタイル^ＴＭパネルのためにＷ（白色）サブピクセル値を生成する。例えば、生成部は、ＲＧＢ映像に該当する第１サブピクセル値１９１０から第２サブピクセル値１９２０のＷサブピクセル値を生成する。例えば、任意のピクセルのためＷサブピクセル値は、当該ピクセルのＲサブピクセル値、Ｇサブピクセル値、及びＢサブピクセル値のうちの最小値に決定されてもよい。第１サブピクセル値１９１０は、視点映像内で決定された領域から抽出されたＲサブピクセル値、Ｇサブピクセル値、及びＢサブピクセル値である。第２サブピクセル値１９２０は、ＲＧＢＷペンタイル^ＴＭパネルのＷサブピクセルの値を生成するために用いてもよい。

【0090】

図２０を参照すると、生成部（図示せず）は、サブピクセル２０１０の値を生成するために、サブピクセル２０１０及びその周辺サブピクセルの加重値を決定してもよい。サブピクセル２０１０はＲサブピクセルであり、サブピクセル２０１０の上下左右にはＲサブピクセルが配置されることなく、サブピクセル２０１０の対角線方向にはＲサブピクセルが配置されている。生成部は、このようなサブピクセル構造に基づいて加重値マップ２０２０を決定してもよい。生成部は、視点映像内で決定された領域から抽出されたサブピクセル値２０３０を加重値マップ２０２０により加重合算することで、サブピクセル２０１０の値を生成する。例えば、サブピクセル２０１０の値は、数式２０４０のように算出されてもよい。

【0091】

図２１を参照すると、サブピクセル２１１０はＧサブピクセルであり、サブピクセル２１１０の上下左右にはＧサブピクセルが配置されることなく、サブピクセル２１１０の対角線方向にはＧサブピクセルが配置されている。生成部は、このようなサブピクセル構造に基づいて加重値マップ２１２０を決定してもよい。生成部は、視点映像内で決定された領域から抽出されたサブピクセル値２１３０を加重値マップ２１２０により加重合算することで、サブピクセル２１１０の値を生成する。例えば、サブピクセル２１１０の値は、数式２１４０のように算出されてもよい。

【0092】

図２２を参照すると、サブピクセル２２１０はＢサブピクセルであり、サブピクセル２２１０の上下左右にはＢサブピクセルが配置されることなく、サブピクセル２２１０の対角線方向にはＢサブピクセルが配置されている。生成部は、このようなサブピクセル構造に基づいて加重値マップ２２２０を決定してもよい。生成部は、視点映像内で決定された領域から抽出されたサブピクセル値２２３０を加重値マップ２２２０により加重合算することで、サブピクセル２２１０の値を生成する。例えば、サブピクセル２２１０の値は数式２２４０のように算出されてもよい。

【0093】

図２３を参照すると、サブピクセル２３１０はＷサブピクセルであり、サブピクセル２３１０の上下左右にはＷサブピクセルが配置されることなく、サブピクセル２３１０の対角線方向にはＷサブピクセルが配置されている。生成部は、このようなサブピクセル構造に基づいて加重値マップ２３２０を決定してもよい。生成部は、図１９を参照して説明したように、生成されたサブピクセル値２３３０を加重値マップ２３２０により加重合算することで、サブピクセル２３１０の値を生成する。例えば、サブピクセル２３１０の値は数式２３４０のように算出されてもよい。

【0094】

図２４は、一実施形態に係るライトフィールドレンダリング方法を示す動作フローチャートである。図２４を参照すると、ライトフィールドレンダリング方法は、第１パネル用の多視点映像を受信するステップＳ２４１０、第２パネルに含まれたサブピクセルに対応する視点を決定するステップＳ２４２０、決定された視点の映像内のサブピクセルに対応する領域を決定するステップＳ２４３０、多視点映像から、決定された視点及び決定された領域に対応するサブピクセル値を抽出するステップＳ２４４０、及び第２パネルのサブピクセル構造に基づいて抽出されたサブピクセル値をフィルタリングすることで、サブピクセルの値を生成するステップＳ２４５０を含む。図２４に示された各ステップには、図１〜図２３を参照して説明した事項がそのまま適用されているため、より詳細な説明は省略する。

【0095】

図２５〜図２８は、一実施形態に係る補間動作を説明する図である。図２５を参照すると、第２パネルのサブピクセル２５１０から出力された光は、光学レイヤの素子２５２０を通過する光線方向２５３０に伝搬してもよい。ここで、光線方向２５３０に伝搬する光は、いずれか１つの視点に正確に対応できない場合がある。例えば、光線方向２５３０に伝搬する光は、第１視点２５４０のための仮想カメラ位置２５４１と第２視点２５５０のための仮想カメラ位置２５５１との間で入射されてもよい。この場合、サブピクセル２５１０は、第１視点２５４０及び第２視点２５５０など複数の視点に対応するものと表現されてもよい。

【0096】

図２６を参照すると、サブピクセル２５１０の値を生成するために、光線方向２５３０に伝搬する光に正確に対応する仮想カメラ２６１０が設定されてもよい。多視点映像には、仮想カメラ２６１０によって撮影された映像が含まれていないため、補間方式に基づいて仮想カメラ２６１０によって撮影された映像が生成されてもよい。例えば、図２７を参照すると、決定部（図示せず）は、複数の視点でサブピクセル２５１０に対応する領域を決定してもよい。決定部は、素子２５２０から第１視点２５４０のための仮想カメラ位置２５４１に伝搬する光線方向２７１０に基づいて、第１視点２５４０の映像２７３０内のサブピクセル２５１０に対応する第１領域２７３１を決定してもよい。また、決定部は、素子２５２０から第２視点２５５０のための仮想カメラ位置２５５１に伝搬する光線方向２７２０に基づいて、第２視点２５５０の映像２７４０内のサブピクセル２５１０に対応する第２領域２７４１を決定してもよい

【0097】

図２８を参照すると、抽出部（図示せず）は、多視点映像から第１領域２７３１のサブピクセル値を抽出し、第２領域２７４１のサブピクセル値を抽出してもよい。抽出部は、第１領域２７３１と第２領域２７４１との間で、互いに対応するサブピクセルの値を補間してもよい。例えば、抽出部は、第１領域２７３１の中心に位置するサブピクセル値２７３２と第２領域２７４１の中心に位置するサブピクセル値２７４２を補間することで、第３領域２８１０の中心に位置するサブピクセル値２８１１を生成してもよい。第３領域２８１０は、図２６に示す仮想カメラ２６１０によって撮影された映像内でサブピクセル２５１０に対応する領域である。生成部（図示せず）は、第３領域２８１０のサブピクセル値をフィルタリングすることで、サブピクセル２５１０の値を生成してもよい。

【0098】

以上で、２つの視点を用いる補間方式を説明したが、実施形態は３個以上の視点を用いる補間方式に拡張してもよい。この場合、サブピクセル２５１０の光線方向に基づいて３個以上の視点が決定され、各視点の映像内でサブピクセル２５１０に対応する領域が決定されてもよい。

【0099】

図２９〜図３２は、他の実施形態に係るライトフィールドレンダリング装置を説明する図である。図２９を参照すると、ライトフィールドレンダリング装置２９１０は、３次元モデルを含むデータ２９２０を用いて第２パネル基盤ライトフィールドディスプレイ装置２９３０に含まれた第２パネルのサブピクセル値を生成してもよい。第２パネルは、一般的なＲＧＢパネルと異なるパネルであって、例えば、ペンタイル^ＴＭパネルであってもよい。ライトフィールドレンダリング装置２９１０は、３次元モデルを用いて第２パネル基盤ライトフィールドディスプレイ装置２９３０に含まれた第２パネルのサブピクセル値を生成することで、ライトフィールドをレンダリングしてもよい。

【0100】

図３０を参照すると、ライトフィールドレンダリング装置２９１０は、受信部３０１０、決定部３０２０、第１生成部３０３０、及び第２生成部３０４０を含む。受信部３０１０は、３次元モデルを含むデータを受信する。受信部３０１０は、図１に示す受信部１１１に対応する。決定部３０２０は、第２パネルに含まれたサブピクセルに対応する視点及びその視点の映像内でサブピクセルに対応する領域を決定してもよい。第２パネルは、ペンタイル^ＴＭパネルであってもよい。決定部３０２０、第１生成部３０３０、及び第２生成部３０４０は、図１に示す処理部１１２に対応する。

【0101】

決定部３０２０、第１生成部３０３０、及び第２生成部３０４０は、ハードウェア、ファームウェア、ソフトウェアを実行する装置、または、その組み合わせであってもよい。決定部３０２０、第１生成部３０３０、及び第２生成部３０４０のうち少なくとも１つは、中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、アプリケーション特化集積回路（ＡＳＩＣ）、または、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）で構成されたり、決定部３０２０、第１生成部３０３０、及び第２生成部３０４０のうち少なくとも１つの機能実行に特化された装置で構成されてもよい。ＣＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＧＰＡは、処理装置と包括的に称してもよい。

【0102】

決定部３０２０、第１生成部３０３０、及び第２生成部３０４０のうち少なくとも１つは、格納媒体１１３に格納されたソフトウェアを実行するプロセッサで構成されてもよい。プロセッサは、決定部３０２０、第１生成部３０３０、及び第２生成部３０４０のうち少なくとも１つの機能を行う。

【0103】

第１生成部３０３０は、３次元モデルに基づいて決定された視点及び決定された領域に対応するサブピクセル値を生成する。第２生成部３０４０は、生成されたサブピクセル値を第２パネルのサブピクセル構造に基づいてフィルタリングすることで、サブピクセルの値を生成してもよい。第１生成部３０３０によって生成されるサブピクセル値は、一般的なＲＧＢパネルの値であり、第２生成部３０４０によって生成されるサブピクセルの値は、ペンタイル^ＴＭパネルの値であってもよい。

【0104】

決定部３０２０は、サブピクセルの光線方向に基づいてサブピクセルに対応する視点及びサブピクセルに対応する領域を決定してもよい。図３１を参照すると、決定部３０２０は、サブピクセル３１１０の値をレンダリングするために、サブピクセル３１１０の光線方向を算出してもよい。例えば、サブピクセル３１１０から出力された光は、光学レイヤ内の素子３１２０の中心を通過する方向に伝搬してもよい。決定部３０２０は、第２パネルと光学レイヤとの間の距離、第２パネル内のサブピクセル３１１０の位置、及び光学レイヤ内の素子のうち、サブピクセル３１１０から出力された光が通過する素子３１２０の位置に基づいて、サブピクセル３１１０の光線方向３１２５を算出してもよい。

【0105】

決定部３０２０は、光線方向３１２５により３次元モデル３１０５を見るように視点を決定してもよい。決定部３０２０は、光線方向３１２５で伝搬する光が決定された視点のため、仮想カメラ３１３０に入射される位置に基づいてサブピクセル３１１０に対応する位置を決定してもよい。決定部３０２０は、決定された位置を含む領域３１４０を決定してもよい。

【0106】

以上で、決定部３０２０がサブピクセルの光線方向に基づいてサブピクセルに対応する視点及びサブピクセルに対応する領域を決定する動作方式を説明したが、実施形態は、決定部３０２０が予め備えられたテーブルからサブピクセルに対応する視点及びサブピクセルに対応する領域を取得する動作方式に変形されてもよい。例えば、ディスプレイのピクセルの大きさ、解像度、光学レイヤのパラメータ、及び位置などディスプレイ関連情報が決定されている場合、各サブピクセルに対応する視点のための仮想カメラの位置、撮影方向、画角が予め決定されてもよく、これにより撮影映像内に当該サブピクセルに対応する領域も予め決定されてもよい。予め備えられたテーブルは、第２パネルのサブピクセル構造に応じて第２パネルに含まれたサブピクセルに対応する視点のための仮想カメラの位置、撮影方向、画角、及び視点映像内の当該サブピクセルに対応する領域に関する情報を格納してもよい。この場合、決定部は、予め備えられたテーブルを参照することで、サブピクセルに対応する視点のための仮想カメラ情報及びサブピクセルに対応する領域を決定することができる。

【0107】

第１生成部３０３０は、３次元モデル３１０５に基づいて領域３１４０に対応するサブピクセル値を生成する。例えば、第１生成部３０３０は、３次元モデル３１０５に基づいて領域３１４０に含まれるＲＧＢピクセル値をレンダリングしてもよい。ここで、第１生成部３０３０は、領域３１４０に含まれたサブピクセルのうちサブピクセル３１１０の色と同じ色のサブピクセルの値を選択的に生成してもよい。例えば、サブピクセル３１１０はＲサブピクセルであってもよく、領域３１４０には、Ｒサブピクセル、Ｇサブピクセル、及びＢサブピクセルが含まれてもよい。この場合、第１生成部３０３０は、領域３１４０内のＲサブピクセル、Ｇサブピクセル、及びＢサブピクセルのうちＲサブピクセルの値のみを選択的に生成してもよい。

【0108】

第２生成部３０４０は、領域３１４０内のサブピクセル値を第２パネルのサブピクセル構造に基づいてフィルタリングすることで、サブピクセル３１１０の値を生成する。例えば、第２生成部３０４０は、サブピクセル構造に基づいて領域３１４０内のサブピクセル値の加重値を決定するか、決定された加重値を読み出し、領域３１４０内のサブピクセル値を加重合算することで、サブピクセル３１１０の値を算出することができる。

【0109】

図３２を参照すると、一実施形態に係るライトフィールドレンダリング方法は、３次元モデルを含むデータを受信するステップＳ３２１０、第２パネルに含まれたサブピクセルに対応する視点を決定するステップＳ３２２０、その視点の映像内のサブピクセルに対応する領域を決定するステップＳ３２３０、３次元モデルに基づいて、決定された視点及び決定された領域に対応するサブピクセル値を生成するステップＳ３２４０、及び第２パネルのサブピクセル構造に基づいて領域に対応するサブピクセル値をフィルタリングすることで、第２パネルに含まれたサブピクセルの値を生成するステップＳ３２５０を含む。図３２に示された各ステップには、図２９〜図３１を参照して説明した事項がそのまま適用されているため、より詳細な説明は省略する。

【0110】

図３３〜図３６は、更なる実施形態に係るライトフィールドレンダリング装置を説明する図である。図３３を参照すると、ライトフィールドレンダリング装置３３１０は、第１パネル用の立体映像３３２０及びユーザの両目の位置３３３０を用いて、第２パネル基盤ライトフィールドディスプレイ装置３３４０に含まれた第２パネルのサブピクセル値を生成してもよい。第１パネルは一般的なＲＧＢパネルであり、第２パネルは第１パネルと異なるパネルであり、例えば、ペンタイル^ＴＭパネルであってもよい。ライトフィールドレンダリング装置３３１０は、第１パネル用の立体映像３３２０及びユーザの両目の位置３３３０を用いて、第２パネル基盤ライトフィールドディスプレイ装置３３４０に含まれた第２パネルのサブピクセル値を生成することで、ライトフィールドをレンダリングしてもよい。

【0111】

図３４を参照すると、ライトフィールドレンダリング装置３４００は、第１受信部３４１０、第２受信部３４２０、決定部３４３０、抽出部３４４０、及び生成部３４５０を含む。第１受信部３４１０は第１パネル用の立体映像を受信する。第１パネル用の立体映像は、左側の目のための左側映像及び右側の目のための右側映像を含んでもよい。第２受信部３４２０は、ユーザの両目の位置を受信してもよい。例えば、第２受信部３４２０は、ユーザの両目の位置を追跡するセンサからユーザの両目の位置に関する情報を含む信号を受信してもよい。第１受信部３４１０及び第２受信部３４２０は、図１に示す受信部１１１に対応する。

【0112】

決定部３４３０はユーザの両目の位置に基づいて、第２パネルに含まれたサブピクセルが左側映像又は右側映像に対応するか否かを決定する。例えば、図３５を参照すると、サブピクセルの光線方向に沿って伝搬する光がユーザの右側の目よりもユーザの左側の目にさらに近く到達すると判断される場合、当該サブピクセルは左側映像に対応するものと決定されてもよい。また、サブピクセルの光線方向に沿って伝搬する光がユーザの左側の目よりもユーザの右側の目にさらに近く到達すると判断される場合、当該サブピクセルは右側映像に対応するものと決定されてもよい。

【0113】

決定部３４３０は、サブピクセルが対応する映像内で、サブピクセルに対応する領域を決定する。例えば、決定部３４３０は、第２パネル内のサブピクセルの位置を把握できる。決定部３４３０は、第２パネル内のサブピクセルの位置をサブピクセルが対応する映像内のサブピクセルに対応する位置として決定し、決定された位置の周辺領域をサブピクセルに対応する領域として決定してもよい。

【0114】

抽出部３４４０は、サブピクセルが対応する映像から、サブピクセルに対応する領域に含まれたサブピクセル値を抽出する。ここで、抽出部３４４０は、サブピクセルの色と同じ色のサブピクセル値を選択的に抽出してもよい。

【0115】

生成部３４５０は、サブピクセルに対応する領域から抽出されたサブピクセル値を第２パネルのサブピクセル構造に基づいてフィルタリングすることで、サブピクセルの値を生成する。例えば、生成部３４５０は、サブピクセル構造に基づいてサブピクセル値の加重値を決定したり、決定された加重値を読み出して加重値を用いてサブピクセル値を加重合算することで、サブピクセルの値を算出することができる。

【0116】

決定部３４３０、抽出部３４４０、及び生成部３４５０は、図１に示す処理部１１２に対応する。

【0117】

決定部３４３０、抽出部３４４０、及び生成部３４５０は、ハードウェア、ファームウェア、ソフトウェアを実行する装置、または、その組み合わせであってもよい。決定部３４３０、抽出部３４４０、及び生成部３４５０のうち少なくとも１つは、中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、アプリケーション特化集積回路（ＡＳＩＣ）、または、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）に構成されたり、決定部３４３０、抽出部３４４０、及び生成部３４５０のうち少なくとも１つの機能実行に特化された装置に構成してもよい。ＣＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＧＰＡは処理装置と包括的に称する。

【0118】

決定部３４３０、抽出部３４４０、及び生成部３４５０のうち少なくとも１つは、格納媒体１１３に格納されたソフトウェアを実行するプロセッサで構成されてもよい。プロセッサは、決定部３４３０、抽出部３４４０、及び生成部３４５０のうち少なくとも１つの機能を行う。

【0119】

図３６を参照すると、一実施形態に係るライトフィールドレンダリング方法は、第１パネル用の立体映像を受信するステップＳ３６１０、ユーザの両目の位置を受信するステップＳ３６２０、両目の位置に基づいて第２パネルに含まれたサブピクセルが左側映像又は右側映像に対応するか否かを決定するステップＳ３６３０、サブピクセルが対応する映像からサブピクセルに対応する領域に含まれたサブピクセル値を抽出するステップＳ３６４０、及び第２パネルのサブピクセル構造に基づいて抽出されたサブピクセル値をフィルタリングすることで、サブピクセルの値を生成するステップＳ３６５０を含む。図３６に示された各ステップには、図３３〜図３５を参照して説明した事項がそのまま適用されているため、より詳細な説明は省略する。

【0120】

図３７〜図４０は、更なる実施形態に係るライトフィールドレンダリング装置を説明する図である。図３７を参照すると、ライトフィールドレンダリング装置３７１０は、第１パネル用の多視点映像３７２０及びユーザの両目の位置３７３０を用いて、第２パネル基盤ライトフィールドディスプレイ装置３７４０に含まれた第２パネルのサブピクセル値を生成してもよい。第１パネルは一般的なＲＧＢパネルであり、第２パネルは第１パネルと異なるパネルであり、例えば、ペンタイル^ＴＭパネルであってもよい。ライトフィールドレンダリング装置３７１０は、第１パネル用の多視点映像３７２０及びユーザの両目の位置３７３０を用いて、第２パネル基盤ライトフィールドディスプレイ装置３７４０に含まれた第２パネルのサブピクセル値を生成することで、ライトフィールドをレンダリングする。

【0121】

図３８を参照すると、ライトフィールドレンダリング装置３８００は、受信部３８１０、第２受信部３８５０、決定部３８２０、第２決定部３８６０、抽出部３８３０、及び生成部３８４０を含む。受信部３８１０は、第１パネル用の多視点映像を受信する。第１パネル用の多視点映像は複数の視点で構成されてもよい。第２受信部３８５０はユーザの両目の位置を受信する。例えば、第２受信部３８５０は、ユーザの両目の位置を追跡するセンサからユーザの両目の位置に関する情報を含む信号を受信してもよい。受信部３８１０及び第２受信部３８５０は、図１に示す受信部１１１に対応する。

【0122】

第２決定部３８６０は、ユーザの両目の位置に基づいて、第２パネルに含まれたサブピクセルが左側の目又は右側の目に対応するか否かを決定する。例えば、図３９を参照すると、サブピクセル３９１１の光線方向３９３１に沿って伝搬する光がユーザの右側の目よりもユーザの左側の目にさらに近く到達すると判断される場合、サブピクセル３９１１は左側映像に対応するものと決定してもよい。また、サブピクセル３９１２の光線方向３９３２に沿って伝搬する光がユーザの左側の目よりもユーザの右側の目にさらに近く到達すると判断される場合、サブピクセル３９１２は右側映像に対応するものと決定してもよい。

【0123】

決定部３８２０は、サブピクセルが対応する目の位置に基づいて視点映像に含まれた複数の視点のいずれか１つの視点を選択してもよい。例えば、図３９を参照すると、サブピクセル３９１１から出力された光は、光学レイヤの素子３９２１を通過してユーザの左側の目に対応する。決定部３８２０は、素子３９２１からユーザの左側の目に向かう方向３９４１に基づいて、多視点映像に含まれた複数の視点のうち視点３９５２を選択してもよい。また、サブピクセル３９１２から出力された光は、光学レイヤの素子３９２２を通過してユーザの右側の目に対応する。決定部３８２０は、素子３９２２からユーザの右側の目に向かう方向３９４２に基づいて、多視点映像に含まれた複数の視点の中の一の視点３９５３を選択してもよい。

【0124】

決定部３８２０は、選択された視点の映像内のサブピクセルに対応する領域を決定する。例えば、決定部３８２０は、カメラパラメータに基づいて選択された視点の映像内のサブピクセルに対応する位置を決定し、決定された位置を含む予め決定した大きさの領域をサブピクセルに対応する領域として決定してもよい。

【0125】

抽出部３８３０は、選択された視点の映像から、サブピクセルに対応する領域に含まれたサブピクセル値を抽出する。ここで、抽出部３８３０は、サブピクセルの色と同じ色のサブピクセル値を選択的に抽出してもよい。

【0126】

生成部３８４０は、選択された視点の映像から抽出されたサブピクセル値を第２パネルのサブピクセル構造に基づいてフィルタリングすることで、サブピクセルの値を生成する。例えば、生成部３８４０は、サブピクセル構造に基づいて、サブピクセル値の加重値を決定するか、決定された加重値を読み出し、加重値を用いてサブピクセル値を加重合算することでサブピクセルの値を算出することができる。

【0127】

決定部３８２０、第２決定部３８６０、抽出部３８３０、及び生成部３８４０は図１の処理部１１２に対応する。

【0128】

図４０を参照すると、一実施形態に係るライトフィールドレンダリング方法は、第１パネル用の多視点映像を受信するステップＳ４０１０、ユーザの両目の位置を受信するステップＳ４０２０、両目の位置に基づいて、第２パネルに含まれたサブピクセルが左側の目又は右側の目に対応するか否かを決定するステップＳ４０３０、サブピクセルに対応する目の位置に基づいて、多視点映像に含まれた複数の視点のいずれか１つの視点を選択するステップＳ４０４０、選択された視点の映像内のサブピクセルに対応する領域を決定するステップＳ４０５０、多視点映像から決定された領域に対応するサブピクセル値を抽出するステップＳ４０６０、及び第２パネルのサブピクセル構造に基づいて抽出されたサブピクセル値をフィルタリングすることで、サブピクセルの値を生成するステップＳ４０７０を含む。図４０に示された各ステップには、図３７〜図３９を参照して説明した事項がそのまま適用されているため、より詳細な説明は省略する。

【0129】

図１〜図４０において、ライトフィールドレンダリング装置の構成は、組み合わせたり分離できるものと理解しなければならない。例えば、第１受信部３８１０と第２受信部３８５０は単一受信部であってもよい。

【0130】

実施形態は、平板ディスプレイ（Ｆｌａｔ Ｐａｎｅｌ Ｄｉｓｐｌａｙ、ＦＰＤ）基盤ライトフィールドディスプレイ方式を提供してもよい。実施形態は、一般的なＲＧＢパネルのサブピクセル構造と異なるサブピクセル構造を有するペンタイル^ＴＭパネルを基盤とするライトフィールドディスプレイ方式を提供する。

【0131】

実施形態は、ライトフィールドディスプレイを構成するＦＰＤの種類を多様化し、新しいサブピクセル構造のためのライトフィールドレンダリング時にサブピクセル構造の変換演算を最小限にする技術を提供する。そのため、実施形態は、効率的にライトフィールドをレンダリングする技術を提供することができる。また、実施形態は、ＦＰＤ基盤ライトフィールドディスプレイ装置でユーザの両目の位置に適するように映像を表現するレンダリングアルゴリズムを提供することができる。

【0132】

以上で説明された実施形態は、ハードウェア構成要素、ソフトウェア構成要素、及び／又はハードウェア構成要素及びソフトウェア構成要素の組合で実現してもよい。例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、または、命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答できる異なる装置のように、１つ以上の汎用コンピュータまたは特殊目的のコンピュータを用いて実現されてもよい。処理装置は、オペレーティングシステム（ＯＳ）及び前記オペレーティングシステム上で行われる１つ以上のソフトウェアアプリケーションを行ってもよい。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理及び生成してもよい。理解の便宜のために、処理装置は１つ使用されるものと説明される場合もあるが、当該の技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含んでいることが分かる。例えば、処理装置は、複数のプロセッサまたは１つのプロセッサ及び１つのコントローラを含んでもよい。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

【0133】

ソフトウェアはコンピュータプログラム、コード、命令、またはこのうちの１つ以上の組合せを含んでもよく、希望の通りに動作するよう処理装置を構成したり独立的または結合的に処理装置を命令してもよい。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令またはデータを提供するためどのような類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体または装置、送信される信号波に永久的または一時的に具体化できる。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散し、分散された方法で格納されたり実行されてもよい。ソフトウェア及びデータは１つ以上のコンピュータで読み出し可能な記録媒体に格納されてもよい。

【0134】

実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータで読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうち１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行できる高級言語コードが含まれる。前記したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして動作するように構成されてもよく、その逆も同様である。

【0135】

上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。

【0136】

したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。

【符号の説明】

【0137】

１１０ ライトフィールドレンダリング装置
１１１ 受信部
１１２ 処理部
１２０ 第１パネルのための映像データ
１３０ 第２パネル基盤３次元ディスプレイ装置
５０１ 第２パネル
５０２ 光学レイヤ
５０３ 光線
６１０ 受信部
６２０ 決定部
６３０ 抽出部
６４０ 生成部
７１０ 第２パネル
７１１ サブピクセル
７２０ 光学レイヤ
７２１ 素子
７３０ 視点
７３１ 視点
７４０ 映像
７４１ 位置
７４２ 領域
８１０ サブピクセル
８２０ 光学レイヤ
８２１ 素子
８２２ 素子
８３０ 視点
８４１ 光線方向
８４２ 光線方向
９１０ 第２パネル
９２０ 光学レイヤ
９３０ 視点
１０１０ サブピクセル
１０２０ 素子
１０２５ 光線方向
１０３０ 視点
１０３１ 中心
１０３２ 位置
１０４０ 映像
１０４１ 位置
１０４２ 位置
１０４３ 位置
１０５０ 仮想カメラ
１０６０ 仮想カメラ
１２１０ サブピクセル
１２２０ 素子
１２２５ 光線方向
１２２６ 光線方向
１４００ 第１パネル用映像
１４１０ 領域
１４１１ ピクセル
１５１０ 領域
１６１０ サブピクセル
１６２０ 加重値マップ
１６３０ サブピクセル値
１６４０ 数式
１７１０ サブピクセル
１７２０ 加重値マップ
１７３０ サブピクセル値
１７４０ 数式
１８１０ サブピクセル
１８２０ 加重値マップ
１８３０ サブピクセル値
１８４０ 数式
１９１０ 第１サブピクセル値
１９２０ 第２サブピクセル値
２０１０ サブピクセル
２０２０ 加重値マップ
２０３０ サブピクセル値
２０４０ 数式
２１１０ サブピクセル
２１２０ 加重値マップ
２１３０ サブピクセル値
２１４０ 数式
２２１０ サブピクセル
２２２０ 加重値マップ
２２３０ サブピクセル値
２２４０ 数式
２３１０ サブピクセル
２３２０ 加重値マップ
２３３０ サブピクセル値
２３４０ 数式
２５１０ サブピクセル
２５２０ 素子
２５３０ 光線方向
２５４０ 第１視点
２５４１ 仮想カメラ位置
２５５０ 第２視点
２５５１ 仮想カメラ位置
２６１０ 仮想カメラ
２７３０ 映像
２７３１ 第１領域
２７３２ サブピクセル値
２７４０ 映像
２７４１ 第２領域
２７４２ サブピクセル値
２８１０ 第３領域
２８１１ サブピクセル値
２９１０ ライトフィールドレンダリング装置
２９２０ ３次元モデルデータ
２９３０ 第２パネル基盤ライトフィールドディスプレイ装置
３０１０ 受信部
３０２０ 決定部
３０３０ 第１生成部
３０４０ 第２生成部
３１０５ ３次元モデル
３１１０ サブピクセル
３１２０ 素子
３１２５ 光線方向
３１３０ 仮想カメラ
３１４０ 領域
３３１０ ライトフィールドレンダリング装置
３３２０ 第１パネル用の立体映像
３３３０ ユーザの両目の位置
３３４０ 第２パネル基盤ライトフィールドディスプレイ装置
３４００ ライトフィールドレンダリング装置
３４１０ 第１受信部
３４２０ 第２受信部
３４３０ 決定部
３４４０ 抽出部
３４５０ 生成部
３７１０ ライトフィールドレンダリング装置
３７２０ 第１パネル用の多視点映像
３７３０ ユーザの両目の位置
３７４０ 第２パネル基盤ライトフィールドディスプレイ装置
３８１０ 受信部
３８２０ 決定部
３８３０ 抽出部
３８４０ 生成部
３８５０ 第２受信部
３８６０ 第２決定部
３９１１ サブピクセル
３９１２ サブピクセル
３９２１ 素子
３９２２ 素子
３９３１ 光線方向
３９３２ 光線方向
３９４１ 方向
３９４２ 方向
３９５２ 視点
３９５３ 視点

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】