特許 5704893 アクティブサブピクセルレンダリング方式に基づく高密度多視点映像表示システムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5704893

(24)【登録日】2015年3月6日

(45)【発行日】2015年4月22日

(54)【発明の名称】アクティブサブピクセルレンダリング方式に基づく高密度多視点映像表示システムおよび方法

(51)【国際特許分類】

   H04N 13/04 20060101AFI20150402BHJP

   G02B 27/22 20060101ALI20150402BHJP

【ＦＩ】

   H04N13/04 220

   H04N13/04 680

   G02B27/22

【請求項の数】37

【全頁数】32

(21)【出願番号】特願2010-247707(P2010-247707)

(22)【出願日】2010年11月4日

(65)【公開番号】特開2011-101366(P2011-101366A)

(43)【公開日】2011年5月19日

【審査請求日】2013年8月15日

(31)【優先権主張番号】10-2009-0105855

(32)【優先日】2009年11月4日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(72)【発明者】

【氏名】南 東 ▲ぎょん▼

(72)【発明者】

【氏名】朴 斗 植

(72)【発明者】

【氏名】成 基 榮

(72)【発明者】

【氏名】金 昌 容

(72)【発明者】

【氏名】金 允 泰

(72)【発明者】

【氏名】朴 柱 容

【審査官】 鈴木 明

(56)【参考文献】

【文献】 特開２００７−０９４０２２（ＪＰ，Ａ）

【文献】 特開２００６−１７４２５８（ＪＰ，Ａ）

【文献】 特開２００５−３０９３７４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００−１３／０４

Ｇ０２Ｂ ２７／２２

(57)【特許請求の範囲】

【請求項1】

ユーザまたは前記ユーザの１つ以上の眼球の位置を検知する位置センシング部と、
前記検知された位置に対応する視点を計算する視点計算部と、
前記計算された視点に対応するように決められたサブピクセルの視点映像および前記サブピクセルの視点を通じて複数のサブピクセルを有する３次元ピクセルに含まれる前記サブピクセルの前記視点映像から色情報を得て、前記サブピクセルの視点とは異なる視点を有する前記３次元ピクセルの少なくとも１つの他のサブピクセルを設定し、前記サブピクセルの前記視点映像の追加色情報を得るレンダリング部と、
前記色情報および前記追加色情報を表示する表示部と
を含む、映像表示システム。

【請求項2】

前記レンダリング部は、前記少なくとも１つの他のサブピクセルの色成分値を前記サブピクセルの視点映像に該当する色成分値に変換するが、前記色情報の色成分と前記追加色情報の色成分が互いに異なるように変換する、請求項１に記載の映像表示システム。

【請求項3】

前記表示部は、レンチキュラレンズ、パララックスバリア、プリズム配列、光の方向を変換する特性のホログラフィック素子、および指向性バックライトのうちの１つを用いて前記３次元ピクセルから前記色情報および前記追加色情報を表示する、請求項１に記載の映像表示システム。

【請求項4】

前記表示部は、レンチキュラレンズ、パララックスバリア、プリズム配列、光の方向を変換する特性のホログラフィック素子、および指向性バックライトのうちの１つを用いて前記３次元ピクセルから少なくとも２つの互いに異なる視点の視点映像を表示する、請求項１に記載の映像表示システム。

【請求項5】

前記表示部は、前記３次元ピクセルの垂直方向におけるＮ個のピクセルの大きさの前記３次元ピクセルの水平方向におけるＭ個のサブピクセルの大きさに対する比率に基づいた角度だけ、光軸が傾くように構成された前記３次元ピクセルを表示し、（前記光軸は、同一の視点に対して前記３次元ピクセルの第１サブピクセルと異なる３次元ピクセルの第１サブピクセルを通過する）
前記ＮおよびＭは、互いに素な整数である、請求項１に記載の映像表示システム。

【請求項6】

前記Ｍは、３の倍数である、請求項５に記載の映像表示システム。

【請求項7】

前記視点計算部は、少なくとも１つの３次元ピクセルで検知された位置に該当する方向角度を計算し、前記少なくとも１つの３次元ピクセルで発生するすべての視点映像の各方向角度と前記計算された方向角度との間の差を比較し、最小差を有する視点を前記計算された視点として決める、請求項１に記載の映像表示システム。

【請求項8】

前記位置センシング部は、前記ユーザを撮影してユーザ映像を生成するユーザ映像生成部と、前記生成されたユーザ映像からユーザの左右の眼球の位置を計算する位置計算部とを含む、請求項１に記載の映像表示システム。

【請求項9】

前記ユーザ映像生成部は、単眼カメラ、ステレオカメラ、マルチカメラ、深さ情報測定が可能なカメラのうちの少なくとも１つを含む、請求項８に記載の映像表示システム。

【請求項10】

前記位置センシング部は、前記ユーザに追加的な光源を投射して映像表示システムとユーザとの間の距離情報を測定する距離情報測定部をさらに含む、請求項８に記載の映像表示システム。

【請求項11】

前記検知された位置に基づいてユーザが３次元映像表示のための最適視聴位置に存在するか否かを決める視聴位置確認部をさらに含む請求項１に記載の映像表示システム。

【請求項12】

前記視点計算部は、
前記視聴位置確認部によって前記ユーザが最適視聴位置に存在するものと決まれば、すべての３次元ピクセルのうち少なくとも１つから検知された空間的位置に該当する方向角度を計算し、前記少なくとも１つの３次元ピクセルで発生するすべての視点映像の各方向角度と前記計算された方向角度との間の差を比較し、最小差を有する視点映像の視点を前記計算された視点として決める、請求項１１に記載の映像表示システム。

【請求項13】

ユーザまたは前記ユーザの少なくとも１つの眼球の位置を検知するステップと、
前記検知された位置に対応する視点を計算するステップと、
３次元ピクセルのサブピクセルのための色情報をレンダリングするステップと、
前記色情報および追加色情報を表示するステップと、
を含み、
前記レンダリングするステップは、
前記計算された視点に対応するように決められたサブピクセルの視点映像および前記サブピクセルの視点を通じて複数のサブピクセルを有する３次元ピクセルに含まれる前記サブピクセルの前記視点映像から色情報を得るステップと、
前記サブピクセルの視点とは異なる視点を有する前記３次元ピクセルの少なくとも１つの他のサブピクセルを設定し、前記サブピクセルの前記視点映像の追加色情報を得るステップと、
を含む映像表示方法。

【請求項14】

前記レンダリングするステップは、前記少なくとも１つの他のサブピクセルの色成分値を前記サブピクセルの視点映像に該当する色成分値に変換するが、前記色情報の色成分と前記追加色情報の色成分が互いに異なるように変換する、請求項１３に記載の映像表示方法。

【請求項15】

前記表示するステップは、レンチキュラレンズ、パララックスバリア、プリズム配列、光の方向を変換する特性のホログラフィック素子、および指向性バックライトのうちの１つを用いて前記３次元ピクセルから前記色情報および前記追加色情報を表示する、請求項１３に記載の映像表示方法。

【請求項16】

前記表示するステップは、レンチキュラレンズ、パララックスバリア、プリズム配列、光の方向を変換する特性のホログラフィック素子、および指向性バックライトのうちの１つを用いて前記３次元ピクセルから少なくとも２つの互いに異なる視点の視点映像を表示する、請求項１３に記載の映像表示方法。

【請求項17】

前記視点を計算するステップは、少なくとも１つの３次元ピクセルから検知された位置に該当する方向角度を計算し、前記少なくとも１つの３次元ピクセルで発生するすべての視点映像の各方向角度と前記計算された方向角度との間の差を比較して最小差を有する視点を前記計算された視点として決める、請求項１３に記載の映像表示方法。

【請求項18】

前記検知するステップは、
前記ユーザを撮影してユーザイメージを生成するステップと、
前記生成されたユーザイメージからユーザの左右眼球の位置を計算するステップと、
を含む、請求項１３に記載の映像表示方法。

【請求項19】

前記検知された位置に基づいてユーザが３次元イメージ表示のための最適視聴位置に存在するか否かを決めるステップと、
をさらに含む、請求項１３に記載の映像表示方法。

【請求項20】

前記視点を計算するステップは、前記ユーザが３次元イメージ表示のための最適視聴位置に存在するか否かを決めるステップに基づいて、すべての３次元ピクセルのうち少なくとも１つから検知された位置に該当する方向角度を計算し、前記少なくとも１つの３次元ピクセルで発生するすべての視点映像の各方向角度と前記計算された方向角度との間の差を比較して最小差を有する視点映像の視点を、前記計算された視点として決める、請求項１９に記載の映像表示方法。

【請求項21】

請求項１３〜２０のうちのいずれか一項に記載の方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

【請求項22】

ディスプレイに対して相対的な予め決められたユーザの可変方向に基づいて左側視点および右側視点を計算する視点計算部と、
前記左側視点に基づいて左側視点映像を、前記右側視点に基づいて右側視点映像をそれぞれ生成し、アクティブサブピクセルレンダリングを通じて、前記左側視点とは異なる視点の１つ以上のサブピクセルから少なくとも１つの追加左側視点映像を生成および／または前記右側視点とは異なる視点の１つ以上のサブピクセルから少なくとも１つの追加右側視点映像を生成するレンダリング部と、
を含み、
前記追加左側視点映像および前記追加右側視点映像のうち少なくとも１つ、前記生成された左側視点映像および前記生成された右側視点映像を同時に表示することによって、複数のサブピクセルを含む３次元ピクセルのための３次元イメージを前記ユーザに提供する、３次元表示システム。

【請求項23】

前記追加左側視点映像および前記追加右側視点映像のうち少なくとも１つ、前記生成された左側視点映像および前記生成された右側視点映像を同時に表示する表示部をさらに含む、請求項２２に記載の３次元表示システム。

【請求項24】

前記少なくとも１つの追加左側イメージは、前記左側視点と隣り合う１つ以上の視点から生成され、
前記少なくとも１つの追加右側イメージは、前記右側視点と隣り合う１つ以上の視点から生成される、請求項２２に記載の３次元表示システム。

【請求項25】

ディスプレイに対して相対的な予め決められたユーザの可変方向に基づいて左側視点および右側視点を計算するステップと、
前記左側視点に基づいて左側視点映像を、前記右側視点に基づいて右側視点映像をそれぞれ生成し、アクティブサブピクセルレンダリングを通じて、前記左側視点とは異なる視点の１つ以上のサブピクセルから少なくとも１つの追加左側視点映像を生成および／または前記右側視点とは異なる視点の１つ以上のサブピクセルから少なくとも１つの追加右側視点映像を生成するステップを含み、
前記追加左側視点映像および前記追加右側視点映像のうち少なくとも１つ、前記生成された左側視点映像および前記生成された右側視点映像を同時に表示することによって、複数のサブピクセルを含む３次元ピクセルのための３次元イメージを前記ユーザに提供する、３次元表示方法。

【請求項26】

前記追加左側視点映像および前記追加右側視点映像のうち少なくとも１つ、前記生成された左側視点映像および前記生成された右側視点映像を同時に表示するステップをさらに含む、請求項２５に記載の３次元表示方法。

【請求項27】

前記少なくとも１つの追加左側イメージは、前記左側視点と隣り合う１つ以上の視点から生成され、
前記少なくとも１つの追加右側イメージは、前記右側視点と隣り合う１つ以上の視点から生成される、請求項２５に記載の３次元表示方法。

【請求項28】

請求項２５〜２７のうちいずれか一項に記載の方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

【請求項29】

ユーザまたは前記ユーザの少なくとも１つの眼球の位置を検知する位置センシング部と、
前記検知された位置に対する少なくとも１つの３次元ピクセルのための視点を計算する視点計算部と、
前記計算された視点に基づいてアクティブサブピクセルレンダリングを実行することによって３次元イメージをレンダリングするレンダリング部と、
を含み、
前記アクティブサブピクセルレンダリングは、３次元ピクセルの視点のうち前記計算された視点と最も近い１つの視点を有する３次元ピクセルの第１サブピクセルのために色情報をレンダリングして前記第１サブピクセルのために定義された視点映像の色情報を得て、前記第１サブピクセルと隣り合う前記３次元ピクセルの少なくとも１つのサブピクセルのための色情報をレンダリングして前記第１サブピクセルのための視点映像の色情報を得る、イメージ表示システム。

【請求項30】

前記レンダリング部は、
前記第１サブピクセルおよび前記少なくとも１つのサブピクセルとは異なる前記３次元ピクセルの少なくとも１つの他のサブピクセルを前記他のサブピクセルをさらにレンダリングするが、前記第１サブピクセルおよび前記少なくとも１つのサブピクセルの視点とは異なる視点により、前記第１サブピクセルのための視点イメージとは異なる前記他のサブピクセルの視点イメージに基づいて前記他のサブピクセルをさらにレンダリングすることで、前記アクティブサブピクセルレンダリングを行う、請求項２９に記載のイメージ表示システム。

【請求項31】

前記３次元ピクセルは、前記第１サブピクセルおよび前記少なくとも１つのサブピクセルが同一の視点映像のために互いに異なる色成分情報を有するように、そして前記他のサブピクセルが前記他のサブピクセルの他の視点映像のための色成分情報を有するようにレンダリングされる、請求項３０に記載のイメージ表示システム。

【請求項32】

前記第１サブピクセルおよび前記少なくとも１つのサブピクセルと異なる前記３次元ピクセルのサブピクセルを通じて、前記第１サブピクセルのための視点映像および少なくとも１つの他の視点映像を同時に表示する表示部をさらに含み、
前記表示部は、
前記３次元ピクセルの各サブピクセルのための互いに異なる視点を提供するために、レンチキュラレンズ、パララックスバリア、プリズム配列、光の方向を変換する特性のホログラフィック素子、および指向性バックライトのうちの１つを用いて３次元イメージを表示する、請求項２９に記載のイメージ表示システム。

【請求項33】

ユーザまたは前記ユーザの少なくとも１つの眼球の位置を検知するステップと、
前記検知された位置に対する少なくとも１つの３次元ピクセルのための視点を計算するステップと、
前記計算された視点に基づいてアクティブサブピクセルレンダリングを実行することによって３次元イメージをレンダリングするステップと、
を含み、
前記アクティブサブピクセルレンダリングは、３次元ピクセルの視点のうち前記計算された視点と最も近い１つの視点を有する３次元ピクセルの第１サブピクセルのために色情報をレンダリングして前記第１サブピクセルのために定義された視点映像の色情報を得て、前記第１サブピクセルと隣り合う前記３次元ピクセルの少なくとも１つのサブピクセルのための色情報をレンダリングして前記第１サブピクセルのための視点映像の色情報を得る、イメージ表示方法。

【請求項34】

前記第１サブピクセルおよび前記少なくとも１つのサブピクセルとは異なる前記３次元ピクセルの少なくとも１つの他のサブピクセルを前記他のサブピクセルをさらにレンダリングするが、前記第１サブピクセルおよび前記少なくとも１つのサブピクセルの視点とは異なる視点により、前記第１サブピクセルのための視点イメージとは異なる前記他のサブピクセルの視点イメージに基づいて前記他のサブピクセルをレンダリングするステップをさらに含む、請求項３３に記載のイメージ表示方法。

【請求項35】

前記３次元ピクセルは、前記第１サブピクセルおよび前記少なくとも１つのサブピクセルが同一の視点映像のために互いに異なる色成分情報を有するように、そして前記他のサブピクセルが前記他のサブピクセルの他の視点映像のための色成分情報を有するようにレンダリングされる、請求項３４に記載のイメージ表示方法。

【請求項36】

前記第１サブピクセルおよび前記少なくとも１つのサブピクセルと異なる前記３次元ピクセルのサブピクセルを通じて、前記第１サブピクセルのための視点映像および少なくとも１つの他の視点映像を同時に表示するステップをさらに含み、
前記表示するステップは、
前記３次元ピクセルの各サブピクセルのための互いに異なる視点を提供するために、レンチキュラレンズ、パララックスバリア、プリズム配列、光の方向を変換する特性のホログラフィック素子、および指向性バックライトのうちの１つを用いて３次元イメージを表示する、請求項３３に記載のイメージ表示方法。

【請求項37】

請求項３３〜３６のうちいずれか一項に記載の方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、アクティブサブピクセルレンダリング方式に基づく高密度多視点映像表示システムおよび方法に関する。

【背景技術】

【0002】

立体的な感覚を提供する３次元映像を効果的に実現するためには、人間の左右の視覚に互いに異なる視点の映像を示さなければならない。眼鏡のようなフィルタを用いずにこれを実現するためには、３次元映像を視点（ｖｉｅｗ ｐｏｉｎｔ）によって空間的に分割して示さなければならないが、このような方式を裸眼立体ディスプレイ（ａｕｔｏｓｔｅｒｅｏｓｃｏｐｉｃ ｄｉｓｐｌａｙ）という。裸眼立体ディスプレイでは、光学的な手段を用いて映像を空間的に分割して示すが、代表的には光学レンズや光学バリアを用いる。レンズの場合は、レンチキュラレンズ（Ｌｅｎｔｉｃｕｌａｒ ｌｅｎｓ）を用いてそれぞれのピクセル映像が特定の方向にのみ示されるようにし、バリア（ｂａｒｒｉｅｒ）の場合には、ディスプレイの全面にスリットを配置して特定の方向で特定のピクセルのみを見ることができるようにする。レンズやバリアを用いた裸眼立体ディスプレイの場合、基本的に左右２つの視点の映像を示すが、この場合、極めて狭い立体視聴領域（スイートスポット）（ｓｗｅｅｔ ｓｐｏｔ）が形成される。立体視聴領域は視聴距離と視聴角度で示されるが、前者はレンズあるいはスリットの幅（ｐｉｔｃｈ）によって決まり、後者は表現視点数によって決まる。視点数を増加させて視聴角度を広げたものを裸眼多視点ディスプレイ（ｍｕｌｔｉ−ｖｉｅｗ ｄｉｓｐｌａｙ）という。

【0003】

多視点ディスプレイを用いれば、より広い立体視聴領域を生成することができるが、ディスプレイ解像度の低下が生じる。例えば、フルＨＤ（ｆｕｌｌ ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ）映像を示すことができる１９２０×１０８０解像度のパネルで９視点映像を示す場合、表現可能なディスプレイ解像度は、横縦それぞれを１／３ずつ減らして６４０×３６０となる。多視点ディスプレイの表現解像度の低下は、３次元映像の品質を大きく低下させ、表現立体感を歪曲させ、視聴の疲労を誘発する主な原因となる。高品質の裸眼立体ディスプレイを実現するためには、視聴領域の制限が低く、視覚の疲労が少ない３次元映像の表現が極めて重要となるため、高解像度でより多くの視点の映像を示すことが必要となるが、上述したように、この２つは互いに相反する特性を有するため、解決が簡単ではない。

【0004】

さらに、多視点ディスプレイは、ステレオディスプレイに比べて広い視聴角度を有することができるが、制限された角度、特定の距離でのみ歪曲のない３次元映像を視聴することができ、ユーザが顔を傾けて視聴したり斜めに横になって視聴する場合には、適切な３次元映像を見ることができない。このような視聴自由の制限は、既存の２次元ディスプレイに比べて大きな弱点であり、３次元ディスプレイの商用化に障害となっている。

【0005】

従って、効果的に３次元立体映像を示すことができる映像表示システムおよび方法が望まれる。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、既存の裸眼多視点ディスプレイの最大の短所である低い解像度の表現の問題点をアクティブサブピクセルレンダリングによって克服することにより、ディスプレイパネルの解像度の増加や時分割３次元表現のための高速パネルを用いることなく、既存のパネルを用いてより多くの視点の映像を示すことを目的とする。

【0007】

また、本発明は、高価の高速／高解像度ディスプレイパネルを用いずに、カメラを用いたユーザ追跡によって高品質の３次元映像を実現することを他の目的とする。

【0008】

また、本発明は、ユーザが最適な視聴位置を逸脱したり、ユーザが任意の姿勢を取る場合にも、それに適合するようにアクティブな視点レンダリングを実行して高品質の立体映像を示すことを他の目的とする。

【0009】

さらに、本発明は、ユーザの視聴位置によって発生する隣接視点領域のクロストーク（ｃｒｏｓｓｔａｌｋ）の発生を改善し、視聴の疲労度が低い３次元映像を示すことをさらに他の目的とする。

【課題を解決するための手段】

【0010】

ユーザまたはユーザの１つ以上の眼球の位置を検知する位置センシング部と、検知された位置に対応する視点を計算する視点計算部と、計算された視点に対応するように決められたサブピクセルの視点映像およびサブピクセルの視点を通じて複数のサブピクセルを有する３次元ピクセルに含まれるサブピクセルの視点映像から色情報を得て、サブピクセルの視点とは異なる視点を有する３次元ピクセルの少なくとも１つの他のサブピクセルを設定し、サブピクセルの視点映像の追加色情報を得るレンダリング部と、色情報および追加色情報を表示する表示部とを含む映像表示システムが提供される。

【0011】

一側面によれば、レンダリング部は、少なくとも１つの他のサブピクセルの色成分値をサブピクセルの視点映像に該当する色成分値に変換するが、色情報の色成分と追加色情報の色成分が互いに異なるように変換することができる。

【0012】

また他の側面によれば、表示部は、レンチキュラレンズ（Ｌｅｎｔｉｃｕｌａｒ ｌｅｎｓ）、パララックスバリア（ｐａｒａｌｌａｘ ｂａｒｒｉｅｒ）、プリズム配列、光の方向を変換する特性のホログラフィック素子、および指向性バックライトのうちの１つを用いて３次元ピクセルから色情報および追加色情報を表示することができる。

【0013】

また他の側面によれば、表示部は、レンチキュラレンズ、パララックスバリア、プリズム配列、光の方向を変換する特性のホログラフィック素子、および指向性バックライトのうちの１つを用いて３次元ピクセルから少なくとも２つの互いに異なる視点の視点映像を表示することができる。

【0014】

ユーザまたはユーザの少なくとも１つの眼球の位置を検知するステップと、検知された位置に対応する視点を計算するステップと、３次元ピクセルのサブピクセルのための色情報をレンダリングするステップと、色情報および追加色情報を表示するステップとを含み、レンダリングするステップは、計算された視点に対応するように決められたサブピクセルの視点映像およびサブピクセルの視点を通じて複数のサブピクセルを有する３次元ピクセルに含まれるサブピクセルの視点映像から色情報を得るステップと、サブピクセルの視点とは異なる視点を有する３次元ピクセルの少なくとも１つの他のサブピクセルを設定してサブピクセルの視点映像の追加色情報を得るステップとを含む映像表示方法が提供される。

【0015】

ディスプレイに対して相対的に決められたユーザの可変方向に基づいて左側視点および右側視点を計算する視点計算部と、左側視点に基づいて左側視点映像を、右側視点に基づいて右側視点映像をそれぞれ生成し、アクティブサブピクセルレンダリングを通じて、左側視点とは異なる視点の１つ以上のサブピクセルから少なくとも１つの追加左側視点映像を生成および／または右側視点とは異なる視点の１つ以上のサブピクセルから少なくとも１つの追加右側視点映像を生成するレンダリング部とを含み、追加左側視点映像および追加右側視点映像のうち少なくとも１つ、生成された左側視点映像および生成された右側視点映像を同時に表示することによって、複数のサブピクセルを含む３次元ピクセルのための３次元イメージがユーザに提供される、３次元表示システムが提供される。

【0016】

ディスプレイに対して相対的に決められたユーザの可変方向に基づいて左側視点および右側視点を計算するステップと、左側視点に基づいて左側視点映像を、右側視点に基づいて右側視点映像をそれぞれ生成し、アクティブサブピクセルレンダリングを通じて、左側視点とは異なる視点の１つ以上のサブピクセルから少なくとも１つの追加左側視点映像を生成および／または右側視点とは異なる視点の１つ以上のサブピクセルから少なくとも１つの追加右側視点映像を生成するステップとを含み、追加左側視点映像および追加右側視点映像のうち少なくとも１つ、生成された左側視点映像および生成された右側視点映像を同時に表示することによって、複数のサブピクセルを含む３次元ピクセルのための３次元イメージがユーザに提供される、３次元表示方法が提供される。

【0017】

ユーザまたはユーザの少なくとも１つの眼球の位置を検知する位置センシング部と、検知された位置に対する少なくとも１つの３次元ピクセルのための視点を計算する視点計算部と、計算された視点に基づいてアクティブサブピクセルレンダリングを実行することによって３次元イメージをレンダリングするレンダリング部とを含み、アクティブサブピクセルレンダリングは、３次元ピクセルの視点のうち計算された視点と最も近い１つの視点を有する３次元ピクセルの第１サブピクセルのために色情報をレンダリングして第１サブピクセルのために定義された視点映像の色情報を得て、第１サブピクセルと隣り合う３次元ピクセルの少なくとも１つのサブピクセルのための色情報をレンダリングして第１サブピクセルのための視点映像の色情報を得る、イメージ表示システムが提供される。

【0018】

ユーザまたはユーザの少なくとも１つの眼球の位置を検知するステップと、検知された位置に対する少なくとも１つの３次元ピクセルのための視点を計算するステップと、計算された視点に基づいてアクティブサブピクセルレンダリングを実行することによって３次元イメージをレンダリングするステップとを含み、アクティブサブピクセルレンダリングは３次元ピクセルの視点のうち計算された視点と最も近い１つの視点を有する３次元ピクセルの第１サブピクセルのために色情報をレンダリングして第１サブピクセルのために定義された視点映像の色情報を得て、第１サブピクセルと隣り合う３次元ピクセルの少なくとも１つのサブピクセルのための色情報をレンダリングして第１サブピクセルのための視点映像の色情報を得る、イメージ表示方法が提供される。

【0019】

ユーザの左右の眼球の空間的位置を検知する位置センシング部と、検知された空間的位置に基づいてユーザが最適視聴位置に存在するか否かを確認する視聴位置確認部と、ユーザが最適視聴位置に存在しない場合、それぞれの３次元ピクセルにおける検知された空間的位置に対応する視点を計算する視点計算部と、計算された視点に視点映像をサブピクセル単位で生成するレンダリング部と、生成された視点映像を表示する表示部とを含む映像表示システムを提供する。

【発明の効果】

【0020】

既存の裸眼多視点ディスプレイの最大の短所である低い解像度の表現の問題をアクティブサブピクセルレンダリングによって克服することにより、ディスプレイパネルの解像度の増加や時分割３次元表現のための高速パネルを用いることなく、既存のパネルを用いてより多くの視点の映像を示すことができる。

【0021】

高価の高速／高解像度ディスプレイパネルを用いずに、カメラを用いたユーザ追跡によって高品質の３次元映像を実現することができる。

【0022】

ユーザが最適視聴位置を逸脱したり、ユーザが任意の姿勢を取る場合にも、それに適合するようにアクティブな視点レンダリングを実行して高品質の立体映像を示すことができる。

【0023】

ユーザの視聴位置によって発生する隣接視点映像のクロストークの発生を改善し、視聴の疲労度が低い３次元映像を示すことができる。

【図面の簡単な説明】

【0024】

【図1】レンズに基づいた方向性をもつ視点映像を表示する一例を示す図である。

【図2】ピクセルレンダリングとサブピクセルレンダリングのためのピクセル構造の一例を示す図である。

【図3】ピクセルレンダリングとサブピクセルレンダリングそれぞれによって生成される視点の一例を示す図である。

【図4】本発明の一実施形態において、ユーザ追跡によって視聴視点を把握する一例を示す図である。

【図5】本発明の一実施形態において、視聴視点によるアクティブサブピクセルレンダリングを説明する一例を示す図である。

【図6】本発明の一実施形態において、視聴視点の移動によるアクティブサブピクセルレンダリングを説明する一例を示す図である。

【図7】本発明の一実施形態において、アクティブサブピクセルレンダリングのためのピクセル構造および条件を示す図である。

【図8】ユーザの位置および姿勢の変化による様子を示す図である。

【図9】本発明の一実施形態において、ユーザの位置および姿勢の変化によってアクティブサブピクセルレンダリングを適用する一例を示す図である。

【図10】本発明の一実施形態において、ユーザの位置および姿勢の変化によるアクティブサブピクセルレンダリング方法を示すフローチャートである。

【図11】本発明の一実施形態において、アクティブサブピクセルレンダリング方法を示すフローチャートである。

【図12】本発明の一実施形態において、映像表示システムの内部構成を説明するためのブロック図である。

【図13】本発明の一実施形態において、映像表示方法を示すフローチャートである。

【図14】本発明の他の実施形態において、映像表示システムの内部構成を説明するためのブロック図である。

【図15】本発明の他の実施形態において、映像表示方法を示すフローチャートである。

【発明を実施するための形態】

【0025】

以下、添付の図面を参照しながら、本発明に係る多様な実施形態について詳しく説明する。

【0026】

本発明に係る実施形態は、ユーザの左右の眼球の位置を追跡し、ユーザが視聴する映像の視点情報を把握し、把握された情報に基づいたアクティブサブピクセルレンダリングを用いてクロストークや立体感の歪曲がない３次元映像を提供する映像表示システムおよび映像表示方法に関する。ピクセルレンダリングではなくサブピクセルレンダリングを実行することにより、視点数がサブピクセルの数だけ増加し、視点情報を用いて最適な映像をレンダリングして示すことにより、サブピクセルレンダリングで発生する３次元映像の品質低下が発生しない。

【0027】

１．背景
眼鏡を用いずに３次元映像を表示するためには、視聴位置によって視点が異なる映像が示されなければならず、左右の視野に互いに異なる視点映像が実際と同じように示されなければならない。これを実現するためには、ディスプレイの各ピクセルで示される光が特定の方向でのみ観測される必要があるが、このような特性は、各ピクセル情報がすべての方向で同じように観測される２次元ディスプレイと比べて最大の差となる。各ピクセルで示される光を特定の方向でのみ観測できるようにするための方法としては、レンズを用いたりバリアを用いることが代表的である。

【0028】

図１は、レンズに基づいた方向性をもつ視点映像を表示する一例である。すなわち、図１は、ディスプレイ１１０の上部にレンチキュラレンズ１２０を配置した様子を示している。レンチキュラレンズの焦点がピクセルに位置すれば、レンズ軸（Ｌｅｎｓ Ａｘｉｓ）１２１に沿って示されるピクセル値がレンズ全体に拡大して示される。レンズを眺める方向（視聴方向）が変化する場合、レンズ軸が相対的に移動するため、新たなピクセル値が再びレンズ全体に拡大して表示されるようになる。例えば、ユーザの視聴方向が点線１３０で示す部分に該当する場合、点線が通る部分のピクセルがレンズによって拡大して示される。このような方法により、ユーザの視聴方向の変化によって異なるピクセル情報を示すことができるため、視聴位置によって異なる視点の映像を示すことが可能となる。

【0029】

視点映像をピクセルに示すには、ピクセル単位またはサブピクセル単位で行うことが可能である。ここで、サブピクセルは、それぞれの色相情報を有している最小映像表示単位であり（例えば、ＲＧＢ色空間におけるＲ、Ｇ、Ｂ色相それぞれを示す単位）、ピクセルは、サブピクセルが合わさって完全な色相情報を表現する最小映像表示単位である（例えば、Ｒ、Ｇ、Ｂサブピクセルが集まって１つのピクセルを構成する）。

【0030】

図２は、ピクセルレンダリングとサブピクセルレンダリングのためのピクセル構造の一例を示す図である。このような図２において、実線はそれぞれレンズ軸を示しているが、図２のセグメント２１０のように１つのレンズ軸が通るそれぞれのサブピクセルがすべて同じ視点映像を表示する場合をピクセルレンダリングといい、図２のセグメント２２０のようにレンズ軸が通るそれぞれのサブピクセルがすべて異なる視点映像を表示する場合をサブピクセルレンダリングという。ピクセルレンダリングの場合、レンズ軸に対して完全な色相情報が表示されるため色相歪曲のない視点映像を示すことが可能であるが、サブピクセルレンダリングの場合、１つのレンズ軸に対して１種類の色相のみを示すことができるため、色相の歪曲が発生するようになる。しかしながら、サブピクセルレンダリングを用いる場合、ピクセルレンダリングの場合よりも多くの数の視点映像を示すことができるため、より多くの数の視点映像を示さなければならない多視点ディスプレイの場合に有利な点を有する。

【0031】

図３は、ピクセルレンダリングとサブピクセルレンダリングそれぞれによって生成される視点の一例を示す図である。すなわち、多視点ディスプレイの場合、ユーザが視点映像と視点映像の間の位置で眺める場合、２つの視点映像が同時に目に入るようになるが、ピクセルレンダリングの場合、表現視点の数が減ることによって視点と視点の間の間隔が大きく、２つの映像間の差が多く発生し、クロストークが悪化する。図３を参照すれば、実線は、ピクセルレンダリングによって生成された視点を示す。サブピクセルレンダリングの場合、多くの数の視点映像を示すことによって視点と視点の間の間隔が小さく、視点間にも過度のクロストークが発生しない。図３を参照すれば、点線は、サブピクセルレンダリングによって生成された視点を示す。このとき、図３において、ピクセルレンダリングによって生成された視点のすべては、サブピクセルレンダリングによっても生成されるようになる。

【0032】

換言すれば、ピクセルレンダリングの場合は、正確な視点視聴位置では優れた品質の視点映像を示すが、視点と視点の間では視差（Ｄｉｓｐａｒｉｔｙ）が大きく、過度のクロストークが生じた映像が生成される。しかしながら、サブピクセルレンダリングの場合は、視点間でクロストークは大きくないが、それぞれの視点映像で色ゴースト（Ｃｏｌｏｒ Ｇｈｏｓｔ）が現われるようになる。このような視点視聴位置を逸脱する映像の品質は、立体ディスプレイの立体感および疲労感に大きな影響を及ぼす。左目が視点視聴位置に存在しても、右目が視点視聴位置を逸脱するようになれば、片目にのみ過度のクロストークが生じた映像が示されて焦点を合わせることが困難になり、疲労感が高まるようになる。

【0033】

２．ユーザの左右の眼球の位置を用いたサブピクセルレンダリング
本発明の実施形態では、多くの数の視点映像を生成しながらも、視点間のクロストークや色ゴーストのない３次元映像を実現するために、ユーザの左右の眼球の位置を追跡して最適な視点の映像を示すようにする。この場合、ユーザに見える映像はピクセルレンダリングを用いるが、ユーザの位置変化による視点映像の変化は、サブピクセル単位のレンダリングによって実現するようにした。

【0034】

図４は、本発明の一実施形態において、ユーザ追跡によって視聴視点を把握する一例を示す図である。このとき、図４は、多視点映像を表示するディスプレイ４１０と一体化したカメラ４２０でユーザを撮影し、ユーザが現在眺めている映像がどの視点の映像であるかを把握する様子を示している。また、図４は、ディスプレイ４１０が１２個の視点映像を表示する一例を示している。

【0035】

図５は、本発明の一実施形態において、視聴視点によるアクティブサブピクセルレンダリングを説明するための一例を示す図である。図５の例では、ディスプレイ上の１つの３次元ピクセルにおいて、１２方向に視点映像が表示されることを示している。このとき、ユーザが最適視聴位置に存在する場合、すべての３次元ピクセルから出るそれぞれの視点映像は同じ点で集まるようになるため、１つの３次元ピクセルから出るものとして示しても問題ない。この場合、１２方向の視点映像は、サブピクセルレンダリングによって生成されるため、それぞれの視点映像は単一色で構成されている。このような図５は、このような場合においてどのようにピクセルをレンダリングするかを示している。すなわち、第一のセグメント５１０のように、カメラで撮影した人間の左右の眼球位置において、右目は５番視点に位置し、左目は９番視点に位置すると仮定しよう。このとき、サブピクセルレンダリングによる色ゴーストを除去するために、５番視点と隣接した視点映像（４番および６番視点映像）を５番視点映像に変換するようになる。すなわち、サブピクセルがそれぞれＲ、Ｇ、Ｂの色相で構成されているものとし、５番視点映像がＲ色情報を有するようにサブピクセルレンダリングされた視点映像であれば、４番視点映像と６番視点映像はそれぞれＧとＢ色情報を有する５番視点映像に変換するようになる。９番視点映像に対しても同様に、８番視点映像および１０番視点映像がそれぞれ異なる色情報を有する９番視点映像としてレンダリングされる。図５のセグメント５２０は、隣接した視点映像がユーザの目に該当する視点映像に変化した様子を示している。このような方法により、サブピクセルレンダリングされた映像は、ユーザの視点位置においてピクセルレンダリングによって変わるようになる。本明細書では、このようなサブピクセルレンダリング方式をアクティブ型サブピクセルレンダリングと命名する。

【0036】

このとき、ユーザが移動して右目が４番視点の位置に、左目が８番視点の位置に移動する場合、４番視点は再び本来の４番視点映像のＧ色情報を示すようになり、隣接した３番および５番視点のサブピクセルは、それぞれ４番視点のＢおよびＲ色情報に変換する。これは、８番視点に対しても同じ方式で適用される。このように、ユーザの左右の眼球が位置した場所の映像はピクセルレンダリングを実行すると共に、ユーザの位置変化によって生成される体感的な視点数はサブピクセルレンダリングによって得ることができる１２視点となる。

【0037】

図６は、本発明の一実施形態において、視聴視点の移動によるアクティブサブピクセルレンダリングを説明するための一例を示す図である。このとき、図６は、左目が４番視点位置、３番視点位置、２番視点位置にそれぞれ移動することにより、レンズに示される映像値がどのように変化するかを示している。

【0038】

このようなアクティブ型サブピクセルレンダリング方式によって立体表示を実現するためには、これに適合するピクセル構造（ｐｉｘｅｌ ｓｔｒｕｃｔｕｒｅ）およびレンズの整列（ｌｅｎｓ ａｌｉｇｎｍｅｎｔ）が必要となり、ユーザの左右の目の位置を把握し、これに適合するサブピクセルレベルのレンダリングを実行しなければならない。図１および２を参照しながらレンズを用いて多視点立体を示す方法を上述したが、高品質のアクティブ型サブピクセルレンダリングを実行するためには、ピクセル構造およびレンズの整列が次の（１）〜（３）の条件の満たす必要がある。

【0039】

（１）各視点に対してサブピクセルを通るレンズ軸間の距離が同じでなければならない。換言すれば、３次元ピクセル内の各サブピクセルによって生成される視点映像の方向が均一な間隔で形成される必要があり、これにより、品質が優れた多視点映像を形成することができる。このためには、レンズ軸の傾きが１つの３次元ピクセルに対して垂直方向におけるＮ個のピクセルの大きさの水平方向におけるＭ個のサブピクセルの大きさに対する比率に基づいた角度だけ傾かなければならない。このとき、ＮとＭは整数であり、ここで言うピクセルおよびサブピクセルは、ディスプレイパネルのピクセルおよびサブピクセルを意味する。または、複数の視点映像を表示する表示部が垂直方向におけるＮ個のピクセルの大きさの水平方向におけるＭ個のサブピクセルの大きさに対する比率に基づいた角度だけ光軸が傾くように構成された３次元ピクセルを表示しなければならない。

【0040】

図７は、本発明の一実施形態において、アクティブサブピクセルレンダリングのためのピクセル構造および条件を示す図である。（１）の条件を説明するための一例として、図７の第一のセグメント７１０を参照すれば、３次元ピクセル７１１の垂直の大きさは「ｙ」として示すことができ、ディスプレイパネルの垂直ピクセルの距離の２倍の値を有することができる。また、３次元ピクセル７１１の水平の大きさは「ｘ」として示すことができ、ディスプレイパネルの水平サブピクセルの距離の１倍とすれば、均一な視点映像の生成が可能となる。また、上記の条件を満たすピクセル構造に対する一例として、レンチキュラレンズは、レンズ軸が垂直方向に対して「θ」角度を有さなければならず、「θ」は下記の数式（１）のように決めることができる。

【0041】

θ＝ｔａｎ^−１（ｘ／ｙ）＝ｔａｎ^−１（Ｍ／Ｎ） （１）
（２）アクティブサブピクセルレンダリングのためには、３次元ピクセルを形成する各サブピクセルが個別な視点映像を形成しなければならない。このために、上述したＮ、Ｍは、互いに素（ｃｏｐｒｉｍｅ）でなければならない。一例として、図７の第二のセグメント７２０のように、３次元ピクセル７２１の大きさがＮ＝２、Ｍ＝２の値を有するようになれば、１視点映像を形成するレンズ軸が２つのサブピクセルの中心を通過するようになるため、ピクセルレンダリングは可能であるが、サブピクセルレンダリングは不可能となる。

【0042】

（３）アクティブサブピクセルレンダリングのためには、隣接した視点映像が表示する色相情報が互いに相違しなければならない。例えば、隣接した１、２、３視点映像の色相がＲ、Ｇ、Ｇのように示される場合、２番映像に対してアクティブサブピクセルレンダリングを実行すればＢ色が出なくなる。このためには、上述したＭの値は３の倍数とならなければならない。

【0043】

図７のセグメント７３０は、このような（１）〜（３）の条件をすべて満たすピクセル構造を示している。このとき、３次元ピクセル７３１の大きさがＮ＝２、Ｍ＝３となり、上述した３種類の条件をすべて満たすようになる。この場合、アクティブサブピクセルレンダリングによって生成することができる視点映像の数は６個となる。

【0044】

ユーザの左右の眼球の追跡によるアクティブサブピクセルレンダリングを実現するにあたり、ユーザが最適視聴位置に存在する場合に対しては、図４を参照しながら上述した。以下では、ユーザが最適視聴位置に位置しないかユーザの姿勢が傾いている場合に対するアクティブサブピクセルレンダリング方式について説明する。

【0045】

ユーザが最適視聴位置に存在する場合は、各３次元ピクセルで生成される同じ視点映像が１ヶ所に集まってユーザが見ることができるため、図４のように、１つの３次元ピクセルに対してのみ視点映像を考慮してサブピクセルレンダリングをすることができる。しかしながら、ユーザが最適視聴位置から逸脱したりユーザの姿勢が傾いている場合には、３次元ピクセルそれぞれから出る視点映像をすべて個別に考慮してサブピクセルレンダリングを実行しなければならない。

【0046】

図８は、ユーザの位置および姿勢の変化による様子を示す図である。第１位置８１０は、ユーザが最適視聴位置のように一般的な位置であり、ディスプレイと同一軸方向でディスプレイ面と目が垂直をなす場合を意味することができる。このとき、第一のセグメント８１１は、第１位置８１０でユーザを撮影した映像とそれぞれの視点に該当する位置を示す。第２位置８２０はユーザが最適視聴距離を逸脱した場合を、第３位置８３０はユーザが最適視聴角度を逸脱した場合を、第４位置８４０は最適視聴位置で首を横に傾ける場合を、第５位置８５０は最適視聴距離から逸脱して横目でディスプレイを見る場合を、それぞれ意味することができる。また、図面８２１、８３１、８４１、８５１は、それぞれの位置でユーザを撮影した映像とそれぞれの視点に該当する位置を示す。このとき、本実施形態によれば、ユーザの左右の眼球の位置に基づいて３次元ピクセルそれぞれから出る視点映像をすべて個別にサブピクセルレンダリングすることにより、高品質の３次元映像を高解像度で提供することが可能となる。

【0047】

図９は、本発明の一実施形態において、ユーザの位置および姿勢の変化によってアクティブサブピクセルレンダリングを適用する一例を示す図である。すなわち、図９では、ユーザが最適視聴位置を逸脱した場合のアクティブサブピクセルレンダリング方法を説明する。まず、カメラなどを用いてユーザの左右の眼球の３次元空間位置を測定する。このために、目の間の距離の比率を測定したり、ステレオカメラを用いた三脚測量、深さカメラ（Ｄｅｐｔｈ Ｃａｍｅｒａ）を用いた直接的な距離および方向を測定する方法などを用いることができる。

【0048】

この後、測定された左右の眼球の空間位置値を用いてディスプレイの各３次元ピクセルが左右の眼球となす角度を計算する。図９の一例では、１番目の３次元ピクセルが左右の眼球となす角度を

【0049】

【数1】

および

【0050】

【数2】

のように示し、ｋ番目の３次元ピクセルが左右の眼球となす角度を

【0051】

【数3】

のように示す。それぞれの３次元ピクセルで目が空間上に位置する角度を計算した後、各３次元ピクセルでどの視点の映像が目に示されなければならないかを計算するようになる。このように、示される映像の視点情報が導き出されれば、上述して計算したように、該当する視点映像と隣接した視点の映像をピクセルレンダリング方式によって変換して示すようになる。

【0052】

図９では、理解の便宜のために、上述した平面に対して測定した角度のみを用いているが、実際には空間角度を計算し、目がどの視点の映像を見るようになるかを計算することができる。

【0053】

図１０は、本発明の一実施形態において、ユーザの位置および姿勢の変化によるアクティブサブピクセルレンダリング方法を示すフローチャートである。このようなアクティブサブピクセルレンダリング方法は、本発明の一実施形態に係る映像表示システムによって実行することができる。

【0054】

ステップ１０１０において、映像表示システムは、ユーザの左右の目の方向を計算する。このとき、ユーザの左右の目方の向は、

【0055】

【数4】

のように示すことができる。ここで、

【0056】

【数5】

はｋ番目の３次元ピクセルで右目の位置に該当する角度を、

【0057】

【数6】

はｋ番目の３次元ピクセルで左目の位置に該当する角度をそれぞれ意味することができる。

【0058】

ステップ１０２０において、映像表示システムは、すべての３次元ピクセルそれぞれで左右の目それぞれに最も近い視点を決める。この場合、左右の目それぞれに最も近い視点は、下記の数式（２）のように計算することができる。

【0059】

【数7】

ここで、

【0060】

【数8】

はｋ番目の３次元ピクセルで右目の示そうとする最適視点を、

【0061】

【数9】

はｋ番目の３次元ピクセルで左目の示そうとする最適視点を意味することができ、θ^ｉ_ｋはｋ番目の３次元ピクセルでｉ番目の視点を示す角度を意味することができる。

【0062】

ステップ１０３０において、映像表示システムは、決められた視点に基づいてサブピクセルレンダリングを実行する。決められた視点に基づいてサブピクセルレンダリングを実行する方法については、上述して説明したため省略する。

【0063】

図１１は、本発明の一実施形態において、アクティブサブピクセルレンダリング方法を示すフローチャートである。本の実施形態に係るアクティブサブピクセルレンダリング方法は、図１０を参照しながら説明した映像表示システムによって実行することができる。

【0064】

ステップ１１１０において、映像表示システムは、多視点３次元映像データを受信／生成する。

【0065】

ステップ１１２０において、映像表示システムは、サブピクセルレンダリングを実行する。

【0066】

ステップ１１３０において、映像表示システムは、カメラでユーザの目の検出が可能であるか否かを把握し、可能な場合にはステップ１１４０を実行し、不可能な場合にはステップ１１９０を実行する。すなわち、カメラでユーザの目の検出が可能でない場合にも、多視点視聴が可能となる。

【0067】

ステップ１１４０において、映像表示システムは、ユーザが最適視聴位置に存在するか否かを把握し、最適視聴位置に存在する場合にはステップ１１５０を実行し、最適視聴位置に存在しない場合にはステップ１１６０を実行する。

【0068】

ステップ１１５０において、映像表示システムは、カメラ映像からユーザの左右の目に該当する視点を検出し、該当するサブピクセルを計算する。このとき、映像表示システムは、ステップ１１５０を実行した後、ステップ１１８０を実行することができる。

【0069】

ステップ１１６０において、映像表示システムは、カメラでユーザの左右の目の空間位置を検出する。

【0070】

ステップ１１７０において、映像表示システムは、左右の目の空間位置に対する各３次元ピクセル別の視点およびサブピクセルを計算する。

【0071】

ステップ１１８０において、映像表示システムは、該当するサブピクセルに隣接したサブピクセルの色成分値を左右の目が見ている視点映像の色成分値に変換する。

【0072】

ステップ１１９０において、映像表示システムは、それぞれの視点映像を表示する。

【0073】

このようなステップ１１５０、１１６０、１１７０により、ユーザの姿勢や位置に関係なく、そして色ゴーストなどのような画質劣化なく、高品質の多視点３次元映像をユーザに提供できるようになる。

【0074】

図１２は、本発明の一実施形態において、映像表示システムの内部構成を説明するためのブロック図である。本実施形態に係る映像表示システム１２００は、図１２に示すように、位置センシング部１２１０と、視点計算部１２２０と、レンダリング部１２３０と、表示部１２４０とを含む。

【0075】

位置センシング部１２１０は、ユーザの左右の眼球の位置を検知する。例えば、位置センシング部１２１０は、ユーザを撮影してユーザ映像を生成するユーザ映像生成部（図示せず）と、生成されたユーザ映像からユーザの左右の眼球の位置を計算する位置計算部（図示せず）とを含むことができる。ユーザの左右の眼球に対する空間的位置を決めるための一例として、ユーザ映像生成部は、単眼カメラ、ステレオカメラ、マルチカメラ、深さ情報測定が可能なカメラのうちの少なくとも１つを含むことができる。他の一例として、上述した空間的位置を決めるために、位置センシング部１２１０でユーザに追加的な光源を投射してユーザとの距離情報を測定する距離情報測定部（図示せず）をさらに含むこともできる。上述した例では、ユーザの左右の眼球に対する位置を検知するためにユーザを撮影してユーザ映像を生成したが、位置の検知する方法がカメラなどを用いたイメージ処理方法に限定されるものではない。また、他の実施形態において、位置センシング部１２１０は、ユーザの位置を検知することもでき、位置センシング部１２１０を含まないこともできる。位置センシング部１２１０を含まない異なる実施形態の場合、視点計算部１２２０は、ディスプレイに対して相対的に決められたユーザの可変方向に基づいて左側視点および右側視点を計算することができる。

【0076】

視点計算部１２２０は、検知された位置に対応する視点を計算する。このとき、視点計算部１２２０は、少なくとも１つの３次元ピクセルから検知された位置に該当する方向角度を計算し、前記少なくとも１つの３次元ピクセルで発生するすべての視点映像の各方向角度と前記計算された方向角度との間の差を比較し、最小差を有する視点を前記計算された視点として決めることができる。

【0077】

レンダリング部１２３０は、計算された視点による視点映像をサブピクセル単位で生成する。このとき、レンダリング部１２３０は、計算された視点に対応するように決められたサブピクセルの視点映像および前記サブピクセルの視点を通じて複数のサブピクセルを有する３次元ピクセルに含まれる前記サブピクセルの前記視点映像から色情報を得て、前記サブピクセルの視点とは異なる視点を有する前記３次元ピクセルの少なくとも１つの他のサブピクセルを設定し、前記サブピクセルの前記視点映像の追加色情報を得ることができる。

【0078】

また、レンダリング部１２３０は、計算された視点と隣接した視点に該当するサブピクセルの色成分値を計算された視点の視点映像に該当する色成分値に変換するが、計算された視点および隣接した視点の視点映像がそれぞれ互いに異なる色成分を有するように変換してそれぞれの視点映像を生成することができる。すなわち、レンダリング部１２３０は、少なくとも１つの他のサブピクセルの色成分値を前記サブピクセルの視点映像に該当する色成分値に変換するが、前記色情報の色成分と前記追加色情報の色成分が互いに異なるように変換することができる。

【0079】

また、レンダリング部１２３０は、上述したように、視点計算部１２２０で左側視点および右側視点を計算した場合、前記左側視点に基づいて左側視点映像を、前記右側視点に基づいて右側視点映像をそれぞれ生成し、アクティブサブピクセルレンダリングを通じて、前記左側視点とは異なる視点の１つ以上のサブピクセルから少なくとも１つの追加左側視点映像を生成および／または前記右側視点とは異なる視点の１つ以上のサブピクセルから少なくとも１つの追加右側視点映像を生成することができる。このとき、前記追加左側視点映像および前記追加右側視点映像のうち少なくとも１つ、前記生成された左側視点映像および前記生成された右側視点映像を同時に表示することによって、複数のサブピクセルを含む３次元ピクセルのための３次元イメージを前記ユーザに提供することができる。前記少なくとも１つの追加左側イメージは、前記左側視点と隣り合う１つ以上の視点から生成することができ、前記少なくとも１つの追加右側イメージは前記右側視点と隣り合う１つ以上の視点から生成することができる。

【0080】

表示部１２４０は、生成された視点映像を表示する。このような表示部１２４０は、上述したディスプレイに対応することができる。このとき、一例として、表示部１２４０は、レンチキュラレンズ、パララックスバリア（ｐａｒａｌｌａｘ ｂａｒｒｉｅｒ）、プリズム配列、光の方向を変換する特性のホログラフィック素子、および指向性バックライトのうちの１つを通じて２つ以上の互いに異なる視点の視点映像を表示することができる。少なくとも２つの互いに異なる視点の視点映像を表示するために、表示部１２４０は上述した色情報および追加色情報を表示することができる。他の例として、表示部１２４０は、１つの３次元ピクセルに対して垂直方向におけるＮ個のピクセルの大きさの水平方向におけるＭ個のサブピクセルの大きさに対する比率に基づいた角度だけ軸が傾くように構成されたレンズを含むことができる。この場合、ＮおよびＭは、互いに素な整数であってもよい。また、Ｍは、３の倍数であってもよい。このような例は、上述したように、高品質のアクティブ型サブピクセルレンダリングのためにピクセル構造およびレンズの整列が満たされなければならない（１）〜（３）の条件を表示部１２４０が満たすようにするためである。例えば、Ｍが３の倍数の値を有することは、隣接したサブピクセルがそれぞれ互いに異なる色相情報を有するようにするためである。また、表示部１２４０は、前記追加左側視点映像および前記追加右側視点映像のうち少なくとも１つ、前記生成された左側視点映像および前記生成された右側視点映像を同時に表示することができる。

【0081】

図１３は、本発明の一実施形態において、映像表示方法を示すフローチャートである。本実施形態に係る映像表示方法は、図１２を参照しながら説明した映像表示システム１２００によって実行することができる。図１３では、映像表示システム１２００によってそれぞれのステップが実行される過程を説明することによって映像表示方法を説明する。

【0082】

ステップ１３１０において、映像表示システム１２００は、ユーザの左右の眼球の位置を検知する。例えば、映像表示システム１２００は、ユーザを撮影してユーザ映像を生成し、生成されたユーザ映像からユーザの左右の眼球の位置を計算することができる。ユーザの左右の眼球に対する空間的位置を決めるための一例として、映像表示システム１２００は、単眼カメラ、ステレオカメラ、マルチカメラ、深さ情報測定が可能なカメラのうちの少なくとも１つを含むことができる。他の一例として、上述した空間的位置を決めるために、映像表示システム１２００は、ユーザに追加的な光源を投射してユーザとの距離情報を測定することもできる。上述した例では、ユーザの左右の眼球に対する位置を検知するためにユーザを撮影してユーザ映像を生成したが、位置の検知する方法がカメラなどを用いたイメージ処理方法に限定されるものではない。また、他の実施形態において、映像表示システム１２００は、ステップ１３１０でユーザの位置を検知することもでき、ステップ１３１０を実行しないこともある。ステップ１３１０を実行しない他の実施形態の場合、映像表示システム１２００は、ディスプレイに対して相対的に決められたユーザの可変方向に基づいて左側視点および右側視点を計算することができる。

【0083】

ステップ１３２０において、映像表示システム１２００は、検知された位置に対応する視点を計算する。このとき、映像表示システム１２００は、少なくとも１つの３次元ピクセルから検知された位置に該当する方向角度を計算し、前記少なくとも１つの３次元ピクセルで発生するすべての視点映像の各方向角度と前記計算された方向角度との間の差を比較し、最小差を有する視点を前記計算された視点として決めることができる。

【0084】

ステップ１３３０において、映像表示システム１２００は、計算された視点による視点映像をサブピクセル単位で生成する。このとき、映像表示システム１２００は、計算された視点に対応するように決められたサブピクセルの視点映像および前記サブピクセルの視点を通じて複数のサブピクセルを有する３次元ピクセルに含まれる前記サブピクセルの前記視点映像から色情報を得て、前記サブピクセルの視点とは異なる視点を有する前記３次元ピクセルの少なくとも１つの他のサブピクセルを設定し、前記サブピクセルの前記視点映像の追加色情報を得ることができる。

【0085】

また、映像表示システム１２００は、計算された視点と隣接した視点に該当するサブピクセルの色成分値を計算された視点の視点映像に該当する色成分値に変換するが、計算された視点および隣接した視点の視点映像がそれぞれ互いに異なる色成分を有するように変換してそれぞれの視点映像を生成することができる。すなわち、映像表示システム１２００は、少なくとも１つの他のサブピクセルの色成分値を前記サブピクセルの視点映像に該当する色成分値に変換するが、前記色情報の色成分と前記追加色情報の色成分が互いに異なるように変換することができる。

【0086】

また、映像表示システム１２００は、上述したように、ステップ１３２０で左側視点および右側視点が計算された場合、前記左側視点に基づいて左側視点映像を、前記右側視点に基づいて右側視点映像をそれぞれ生成し、アクティブサブピクセルレンダリングを通じて、前記左側視点とは異なる視点の１つ以上のサブピクセルから少なくとも１つの追加左側視点映像を生成および／または前記右側視点とは異なる視点の１つ以上のサブピクセルから少なくとも１つの追加右側視点映像を生成することができる。このとき、前記追加左側視点映像および前記追加右側視点映像のうち少なくとも１つ、前記生成された左側視点映像および前記生成された右側視点映像を同時に表示することによって、複数のサブピクセルを含む３次元ピクセルのための３次元イメージを前記ユーザに提供することができる。前記少なくとも１つの追加左側イメージは、前記左側視点と隣り合う１つ以上の視点から生成することができ、前記少なくとも１つの追加右側イメージは前記右側視点と隣り合う１つ以上の視点から生成することができる。

【0087】

ステップ１３４０において、映像表示システム１２００は、生成された視点映像を表示する。このとき、一例として、映像表示システム１２００は、レンチキュラレンズ、パララックスバリア、プリズム配列、光の方向を変換する特性のホログラフィック素子、および指向性バックライトのうちの１つを通じて２つ以上の互いに異なる視点の視点映像を表示することができる。少なくとも２つの互いに異なる視点の視点映像を表示するために、表示部１２４０は上述した色情報および追加色情報を表示することができる。他の例として、映像表示システム１２００は、１つの３次元ピクセルに対して垂直方向におけるＮ個のピクセルの大きさの水平方向におけるＭ個のサブピクセルの大きさに対する割合に基づいた角度だけ軸が傾くように構成されたレンズを含むことができる。この場合、ＮおよびＭは、互いに素の整数であってもよい。また、Ｍは、３の倍数であってもよい。このような例は、上述したように、高品質のアクティブ型サブピクセルレンダリングのためにピクセル構造およびレンズの整列が満たされなければならない（１）〜（３）の条件を満たすようにするためである。また、映像表示システム１２００は、前記追加左側視点映像および前記追加右側視点映像のうち少なくとも１つ、前記生成された左側視点映像および前記生成された右側視点映像を同時に表示することができる。

【0088】

図１４は、本発明の他の実施形態において、映像表示システムの内部構成を説明するためのブロック図である。本実施形態に係る映像表示システム１４００は、図１４に示すように、位置センシング部１４１０と、視聴位置確認部１４２０と、視点計算部１４３０と、レンダリング部１４４０と、表示部１４５０とを含む。

【0089】

位置センシング部１４１０は、ユーザの左右の眼球の空間的位置を検知する。このとき、ユーザの左右の眼球に対する空間的位置を決めるための一例として、位置センシング部１４１０は、単眼カメラ、ステレオカメラ、マルチカメラ、深さ情報測定が可能なカメラのうちの少なくとも１つを含むことができる。他の一例として、上述した空間的位置を決めるために、位置センシング部１４１０は、ユーザに追加的な光源を投射してユーザとの距離情報を測定することもできる。

【0090】

視聴位置確認部１４２０は、検知された空間的位置に基づいてユーザが最適視聴位置に存在するか否かを確認する。このような最適視聴位置は、表示部１４５０のピクセル構造やレンズの配列などによって予め設定することができ、視聴位置確認部１４２０は、検知された空間的位置によってユーザが最適視聴位置に存在するか否かを確認することができる。

【0091】

視点計算部１４３０は、ユーザが最適視聴位置に存在しない場合、それぞれの３次元ピクセルにおける検知された空間的位置に対応する視点を計算する。このとき、視点計算部１４３０は、すべての３次元ピクセルそれぞれで検知された空間的位置に該当する方向角度を計算し、計算された方向角度と３次元ピクセルそれぞれで発生するすべての視点映像の方向角度の差を比較し、最小差を有する視点を３次元ピクセルそれぞれに対して検知された空間的位置に対応する視点として決めることができる。また、視点計算部１４３０は、ユーザが最適視聴位置に存在する場合、少なくとも１つの３次元ピクセルで検知された位置に該当する方向角度を計算し、計算された方向角度と３次元ピクセルで発生するすべての視点映像の方向角度の差を比較し、最小差を有する視点を検知された空間的位置に対応する視点として決めることができる。

【0092】

レンダリング部１４４０は、計算された視点に視点映像をサブピクセル単位で生成する。このとき、レンダリング部１４４０は、計算された視点と隣接した視点に該当するサブピクセルの色成分値を計算された視点の視点映像に該当する色成分値に変換するが、計算された視点および隣接した視点の視点映像がそれぞれ互いに異なる色成分を有するように変換してそれぞれの視点映像を生成することができる。

【0093】

表示部１４５０は、生成された視点映像を表示する。このとき、一例として、表示部１４５０は、レンチキュラレンズ、パララックスバリア、プリズム配列、光の方向を変換する特性のホログラフィック素子、および指向性バックライトのうちの１つを通じて２つ以上の互いに異なる視点の視点映像を表示することができる。他の例として、表示部１４５０は、１つの３次元ピクセルに対して垂直方向におけるＮ個のピクセルの大きさの水平方向におけるＭ個のサブピクセルの大きさに対する比率に基づいた角度だけ軸が傾くように構成されたレンズを含むことができる。この場合、ＮおよびＭは、互いに素な整数であってもよい。また、Ｍは、３の倍数であってもよい。このような例は、上述したように、高品質のアクティブ型サブピクセルレンダリングのために、ピクセル構造およびレンズの整列が満たさなければならない（１）〜（３）の条件を表示部１４５０が満たすようにするためである。例えば、Ｍが３の倍数の値を有することは、隣接したサブピクセルがそれぞれ互いに異なる色相情報を有するようにするためである。

【0094】

図１５は、本発明の他の実施形態において、映像表示方法を示すフローチャートである。

【0095】

ステップ１５１０において、映像表示システム１４００は、ユーザの左右の眼球の空間的位置を検知する。このとき、ユーザの左右の眼球に対する空間的位置を決めるための一例として、映像表示システム１４００は、単眼カメラ、ステレオカメラ、マルチカメラ、深さ情報測定が可能なカメラのうちの少なくとも１つを含むことができる。他の一例として、上述した空間的位置を決めるために、映像表示システム１４００は、ユーザに追加的な光源を投射してユーザとの距離情報を測定することもできる。

【0096】

ステップ１５２０において、映像表示システム１４００は、検知された空間的位置に基づいてユーザが最適視聴位置に存在するか否かを確認する。このような最適視聴位置は、ディスプレイのピクセル構造やレンズの配列などによって予め設定することができ、映像表示システム１４００は、検知された空間的位置によってユーザが最適視聴位置に存在するか否かを確認することができる。

【0097】

ステップ１５３０において、映像表示システム１４００は、ユーザが最適視聴位置に存在しない場合、それぞれの３次元ピクセルにおける検知された空間的位置に対応する視点を計算する。このとき、映像表示システム１４００は、少なくとも１つの３次元ピクセルから検知された位置に該当する方向角度を計算し、前記少なくとも１つの３次元ピクセルで発生するすべての視点映像の各方向角度と前記計算された方向角度との間の差を比較し、最小差を有する視点を前記計算された視点として決めることができる。すべての３次元ピクセルそれぞれで検知された空間的位置に該当する方向角度を計算し、計算された方向角度と３次元ピクセルそれぞれで発生するすべての視点映像の方向角度の差を比較し、最小差を有する視点を３次元ピクセルそれぞれに対して検知された空間的位置に対応する視点として決めることができる。また、映像表示システム１４００は、ユーザが最適視聴位置に存在する場合、少なくとも１つの３次元ピクセルで検知された位置に該当する方向角度を計算し、計算された方向角度と３次元ピクセルで発生するすべての視点映像の方向角度の差を比較し、最小差を有する視点を検知された空間的位置に対応する視点として決めることができる。

【0098】

ステップ１５４０において、映像表示システム１４００は、計算された視点に視点映像をサブピクセル単位で生成する。このとき、映像表示システム１４００は、計算された視点と隣接した視点に該当するサブピクセルの色成分値を計算された視点の視点映像に該当する色成分値に変換するが、計算された視点および隣接した視点の視点映像がそれぞれ互いに異なる色成分を有するように変換してそれぞれの視点映像を生成することができる。

【0099】

ステップ１５５０において、映像表示システム１４００は、生成された視点映像を表示する。このとき、一例として、表示部１４５０は、レンチキュラレンズ、パララックスバリア、プリズムの配列、光の方向を変換する特性のホログラフィック素子、および指向性バックライトのうちの１つを通じて２つ以上の互いに異なる視点の視点映像を表示することができる。他の例として、映像表示システム１４００は、１つの３次元ピクセルに対して垂直方向におけるＮ個のピクセルの大きさの水平方向におけるＭ個のサブピクセルの大きさに対する比率に基づいた角度だけ軸が傾くように構成されたレンズを含むことができる。この場合、ＮおよびＭは、互いに素な整数であってもよい。また、Ｍは、３の倍数であってもよい。このような例は、上述したように、高品質のアクティブ型サブピクセルレンダリングのためにピクセル構造およびレンズの整列が満たさなければならない（１）〜（３）の条件を満たすようにするためである。例えば、Ｍが３の倍数の値を有することは、隣接したサブピクセルがそれぞれ互いに異なる色相情報を有するようにするためである。

【0100】

図１２〜１５で省略された説明は、図１〜１１を参照することができる。

【0101】

このように、本発明の実施形態に係る映像表示システムまたは映像表示方法を用いれば、既存の裸眼多視点ディスプレイの最大の短所である低い解像度の表現の問題をアクティブサブピクセルレンダリングによって克服することにより、ディスプレイパネルの解像度増加や時分割３次元表現のための高速パネルを用いることなく、既存のパネルを用いてより多くの視点の映像を表示することができ、高価の高速、高解像度ディスプレイパネルを用いずに、カメラを用いたユーザ追跡によって高品質の３次元映像を実現することができる。

【0102】

また、ユーザが最適視聴位置を逸脱したりユーザが任意の姿勢を取る場合にも、それに適合するようにアクティブな視点レンダリングを実行して高品質の立体映像を表現することができ、ユーザの視聴位置によって発生する隣接視点映像のクロストークの発生を改善し、視聴の疲労度が低い３次元映像を表現することができる。

【0103】

なお、本発明に係る実施形態は、コンピュータにより実現される多様な動作を実行するためのプログラム命令を含むコンピュータ読取可能な記録媒体を含む。当該記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともでき、記録媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、オプティカルディスクのような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。また、記録媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体でもある。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。前記したハードウェア要素は、本発明の動作を実行するために一以上のソフトウェアモジュールとして作動するように構成することができ、その逆もできる。

【0104】

上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。
［付記］
付記（１）：
ユーザまたは前記ユーザの１つ以上の眼球の位置を検知する位置センシング部と、
前記検知された位置に対応する視点を計算する視点計算部と、
前記計算された視点に対応するように決められたサブピクセルの視点映像および前記サブピクセルの視点を通じて複数のサブピクセルを有する３次元ピクセルに含まれる前記サブピクセルの前記視点映像から色情報を得て、前記サブピクセルの視点とは異なる視点を有する前記３次元ピクセルの少なくとも１つの他のサブピクセルを設定し、前記サブピクセルの前記視点映像の追加色情報を得るレンダリング部と、
前記色情報および前記追加色情報を表示する表示部と
を含む、映像表示システム。
付記（２）：
前記レンダリング部は、前記少なくとも１つの他のサブピクセルの色成分値を前記サブピクセルの視点映像に該当する色成分値に変換するが、前記色情報の色成分と前記追加色情報の色成分が互いに異なるように変換する、付記（１）に記載の映像表示システム。
付記（３）：
前記表示部は、レンチキュラレンズ、パララックスバリア、プリズム配列、光の方向を変換する特性のホログラフィック素子、および指向性バックライトのうちの１つを用いて前記３次元ピクセルから前記色情報および前記追加色情報を表示する、付記（１）に記載の映像表示システム。
付記（４）：
前記表示部は、レンチキュラレンズ、パララックスバリア、プリズム配列、光の方向を変換する特性のホログラフィック素子、および指向性バックライトのうちの１つを用いて前記３次元ピクセルから少なくとも２つの互いに異なる視点の視点映像を表示する、付記（１）に記載の映像表示システム。
付記（５）：
前記表示部は、前記３次元ピクセルの垂直方向におけるＮ個のピクセルの大きさの前記３次元ピクセルの水平方向におけるＭ個のサブピクセルの大きさに対する比率に基づいた角度だけ、光軸が傾くように構成された前記３次元ピクセルを表示し、（前記光軸は、同一の視点に対して前記３次元ピクセルの第１サブピクセルと異なる３次元ピクセルの第１サブピクセルを通過する）
前記ＮおよびＭは、互いに素な整数である、付記（１）に記載の映像表示システム。
付記（６）：
前記Ｍは、３の倍数である、付記（５）に記載の映像表示システム。
付記（７）：
前記視点計算部は、少なくとも１つの３次元ピクセルで検知された位置に該当する方向角度を計算し、前記少なくとも１つの３次元ピクセルで発生するすべての視点映像の各方向角度と前記計算された方向角度との間の差を比較し、最小差を有する視点を前記計算された視点として決める、付記（１）に記載の映像表示システム。
付記（８）：
前記位置センシング部は、前記ユーザを撮影してユーザ映像を生成するユーザ映像生成部と、前記生成されたユーザ映像からユーザの左右の眼球の位置を計算する位置計算部とを含む、付記（１）に記載の映像表示システム。
付記（９）：
前記ユーザ映像生成部は、単眼カメラ、ステレオカメラ、マルチカメラ、深さ情報測定が可能なカメラのうちの少なくとも１つを含む、付記（８）に記載の映像表示システム。
付記（１０）：
前記位置センシング部は、前記ユーザに追加的な光源を投射して映像表示システムとユーザとの間の距離情報を測定する距離情報測定部をさらに含む、付記（８）に記載の映像表示システム。
付記（１１）：
前記検知された位置に基づいてユーザが３次元映像表示のための最適視聴位置に存在するか否かを決める視聴位置確認部をさらに含む付記（１）に記載の映像表示システム。
付記（１２）：
前記視点計算部は、
前記視聴位置確認部によって前記ユーザが最適視聴位置に存在するものと決まれば、すべての３次元ピクセルのうち少なくとも１つから検知された空間的位置に該当する方向角度を計算し、前記少なくとも１つの３次元ピクセルで発生するすべての視点映像の各方向角度と前記計算された方向角度との間の差を比較し、最小差を有する視点映像の視点を前記計算された視点として決める、付記（１１）に記載の映像表示システム。
付記（１３）：
ユーザまたは前記ユーザの少なくとも１つの眼球の位置を検知するステップと、
前記検知された位置に対応する視点を計算するステップと、
３次元ピクセルのサブピクセルのための色情報をレンダリングするステップと、
前記色情報および前記追加色情報を表示するステップと、
を含み、
前記レンダリングするステップは、
前記計算された視点に対応するように決められたサブピクセルの視点映像および前記サブピクセルの視点を通じて複数のサブピクセルを有する３次元ピクセルに含まれる前記サブピクセルの前記視点映像から色情報を得るステップと、
前記サブピクセルの視点とは異なる視点を有する前記３次元ピクセルの少なくとも１つの他のサブピクセルを設定し、前記サブピクセルの前記視点映像の追加色情報を得るステップと、
を含む映像表示方法。
付記（１４）：
前記レンダリングするステップは、前記少なくとも１つの他のサブピクセルの色成分値を前記サブピクセルの視点映像に該当する色成分値に変換するが、前記色情報の色成分と前記追加色情報の色成分が互いに異なるように変換する、付記（１３）に記載の映像表示方法。
付記（１５）：
前記表示するステップは、レンチキュラレンズ、パララックスバリア、プリズム配列、光の方向を変換する特性のホログラフィック素子、および指向性バックライトのうちの１つを用いて前記３次元ピクセルから前記色情報および前記追加色情報を表示する、付記（１３）に記載の映像表示方法。
付記（１６）：
前記表示するステップは、レンチキュラレンズ、パララックスバリア、プリズム配列、光の方向を変換する特性のホログラフィック素子、および指向性バックライトのうちの１つを用いて前記３次元ピクセルから少なくとも２つの互いに異なる視点の視点映像を表示する、付記（１３）に記載の映像表示方法。
付記（１７）：
前記視点を計算するステップは、少なくとも１つの３次元ピクセルから検知された位置に該当する方向角度を計算し、前記少なくとも１つの３次元ピクセルで発生するすべての視点映像の各方向角度と前記計算された方向角度との間の差を比較して最小差を有する視点を前記計算された視点として決める、付記（１３）に記載の映像表示方法。
付記（１８）：
前記検知するステップは、
前記ユーザを撮影してユーザイメージを生成するステップと、
前記生成されたユーザイメージからユーザの左右眼球の位置を計算するステップと、
を含む、付記（１３）に記載の映像表示方法。
付記（１９）：
前記検知された位置に基づいてユーザが３次元イメージ表示のための最適視聴位置に存在するか否かを決めるステップと、
をさらに含む、付記（１３）に記載の映像表示方法。
付記（２０）：
前記視点を計算するステップは、前記ユーザが３次元イメージ表示のための最適視聴位置に存在するか否かを決めるステップに基づいて、すべての３次元ピクセルのうち少なくとも１つから検知された位置に該当する方向角度を計算し、前記少なくとも１つの３次元ピクセルで発生するすべての視点映像の各方向角度と前記計算された方向角度との間の差を比較して最小差を有する視点映像の視点を、前記計算された視点として決める、付記（１９）に記載の映像表示方法。
付記（２１）：
付記（１３）〜（２０）のうちのいずれか一つに記載の方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
付記（２２）：
ディスプレイに対して相対的に決められたユーザの可変方向に基づいて左側視点および右側視点を計算する視点計算部と、
前記左側視点に基づいて左側視点映像を、前記右側視点に基づいて右側視点映像をそれぞれ生成し、アクティブサブピクセルレンダリングを通じて、前記左側視点とは異なる視点の１つ以上のサブピクセルから少なくとも１つの追加左側視点映像を生成および／または前記右側視点とは異なる視点の１つ以上のサブピクセルから少なくとも１つの追加右側視点映像を生成するレンダリング部と、
を含み、
前記追加左側視点映像および前記追加右側視点映像のうち少なくとも１つ、前記生成された左側視点映像および前記生成された右側視点映像を同時に表示することによって、複数のサブピクセルを含む３次元ピクセルのための３次元イメージを前記ユーザに提供する、３次元表示システム。
付記（２３）：
前記追加左側視点映像および前記追加右側視点映像のうち少なくとも１つ、前記生成された左側視点映像および前記生成された右側視点映像を同時に表示する表示部をさらに含む、付記（２２）に記載の３次元表示システム。
付記（２４）：
前記少なくとも１つの追加左側イメージは、前記左側視点と隣り合う１つ以上の視点から生成され、
前記少なくとも１つの追加右側イメージは、前記右側視点と隣り合う１つ以上の視点から生成される、付記（２２）に記載の３次元表示システム。
付記（２５）：
ディスプレイに対して相対的に決められたユーザの可変方向に基づいて左側視点および右側視点を計算するステップと、
前記左側視点に基づいて左側視点映像を、前記右側視点に基づいて右側視点映像をそれぞれ生成し、アクティブサブピクセルレンダリングを通じて、前記左側視点とは異なる視点の１つ以上のサブピクセルから少なくとも１つの追加左側視点映像を生成および／または前記右側視点とは異なる視点の１つ以上のサブピクセルから少なくとも１つの追加右側視点映像を生成するステップを含み、
前記追加左側視点映像および前記追加右側視点映像のうち少なくとも１つ、前記生成された左側視点映像および前記生成された右側視点映像を同時に表示することによって、複数のサブピクセルを含む３次元ピクセルのための３次元イメージを前記ユーザに提供する、３次元表示方法。
付記（２６）：
前記追加左側視点映像および前記追加右側視点映像のうち少なくとも１つ、前記生成された左側視点映像および前記生成された右側視点映像を同時に表示するステップをさらに含む、付記（２５）に記載の３次元表示方法。
付記（２７）：
前記少なくとも１つの追加左側イメージは、前記左側視点と隣り合う１つ以上の視点から生成され、
前記少なくとも１つの追加右側イメージは、前記右側視点と隣り合う１つ以上の視点から生成される、付記（２５）に記載の３次元表示方法。
付記（２８）：
付記（２５）〜（２７）のうちいずれか一つに記載の方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
付記（２９）：
ユーザまたは前記ユーザの少なくとも１つの眼球の位置を検知する位置センシング部と、
前記検知された位置に対する少なくとも１つの３次元ピクセルのための視点を計算する視点計算部と、
前記計算された視点に基づいてアクティブサブピクセルレンダリングを実行することによって３次元イメージをレンダリングするレンダリング部と、
を含み、
前記アクティブサブピクセルレンダリングは、３次元ピクセルの視点のうち前記計算された視点と最も近い１つの視点を有する３次元ピクセルの第１サブピクセルのために色情報をレンダリングして前記第１サブピクセルのために定義された視点映像の色情報を得て、前記第１サブピクセルと隣り合う前記３次元ピクセルの少なくとも１つのサブピクセルのための色情報をレンダリングして前記第１サブピクセルのための視点映像の色情報を得る、イメージ表示システム。
付記（３０）：
前記レンダリング部は、
前記第１サブピクセルおよび前記少なくとも１つのサブピクセルとは異なる前記３次元ピクセルの少なくとも１つの他のサブピクセルを前記他のサブピクセルをさらにレンダリングするが、前記第１サブピクセルおよび前記少なくとも１つのサブピクセルの視点とは異なる視点により、前記第１サブピクセルのための視点イメージとは異なる前記他のサブピクセルの視点イメージに基づいて前記他のサブピクセルをさらにレンダリングすることで、前記アクティブサブピクセルレンダリングを行う、付記（２９）に記載のイメージ表示システム。
付記（３１）：
前記３次元ピクセルは、前記第１サブピクセルおよび前記少なくとも１つのサブピクセルが同一の視点映像のために互いに異なる色成分情報を有するように、そして前記他のサブピクセルが前記他のサブピクセルの他の視点映像のための色成分情報を有するようにレンダリングされる、付記（３０）に記載のイメージ表示システム。
付記（３２）：
前記第１サブピクセルおよび前記少なくとも１つのサブピクセルと異なる前記３次元ピクセルのサブピクセルを通じて、前記第１サブピクセルのための視点映像および少なくとも１つの他の視点映像を同時に表示する表示部をさらに含み、
前記表示部は、
前記３次元ピクセルの各サブピクセルのための互いに異なる視点を提供するために、レンチキュラレンズ、パララックスバリア、プリズム配列、光の方向を変換する特性のホログラフィック素子、および指向性バックライトのうちの１つを用いて３次元イメージを表示する、付記（２９）に記載のイメージ表示システム。
付記（３３）：
ユーザまたは前記ユーザの少なくとも１つの眼球の位置を検知するステップと、
前記検知された位置に対する少なくとも１つの３次元ピクセルのための視点を計算するステップと、
前記計算された視点に基づいてアクティブサブピクセルレンダリングを実行することによって３次元イメージをレンダリングするステップと、
を含み、
前記アクティブサブピクセルレンダリングは、３次元ピクセルの視点のうち前記計算された視点と最も近い１つの視点を有する３次元ピクセルの第１サブピクセルのために色情報をレンダリングして前記第１サブピクセルのために定義された視点映像の色情報を得て、前記第１サブピクセルと隣り合う前記３次元ピクセルの少なくとも１つのサブピクセルのための色情報をレンダリングして前記第１サブピクセルのための視点映像の色情報を得る、イメージ表示方法。
付記（３４）：
前記第１サブピクセルおよび前記少なくとも１つのサブピクセルとは異なる前記３次元ピクセルの少なくとも１つの他のサブピクセルを前記他のサブピクセルをさらにレンダリングするが、前記第１サブピクセルおよび前記少なくとも１つのサブピクセルの視点とは異なる視点により、前記第１サブピクセルのための視点イメージとは異なる前記他のサブピクセルの視点イメージに基づいて前記他のサブピクセルをレンダリングするステップをさらに含む、付記（３３）に記載のイメージ表示方法。
付記（３５）：
前記３次元ピクセルは、前記第１サブピクセルおよび前記少なくとも１つのサブピクセルが同一の視点映像のために互いに異なる色成分情報を有するように、そして前記他のサブピクセルが前記他のサブピクセルの他の視点映像のための色成分情報を有するようにレンダリングされる、付記（３４）に記載のイメージ表示方法。
付記（３６）：
前記第１サブピクセルおよび前記少なくとも１つのサブピクセルと異なる前記３次元ピクセルのサブピクセルを通じて、前記第１サブピクセルのための視点映像および少なくとも１つの他の視点映像を同時に表示するステップをさらに含み、
前記表示するステップは、
前記３次元ピクセルの各サブピクセルのための互いに異なる視点を提供するために、レンチキュラレンズ、パララックスバリア、プリズム配列、光の方向を変換する特性のホログラフィック素子、および指向性バックライトのうちの１つを用いて３次元イメージを表示する、付記（３３）に記載のイメージ表示方法。
付記（３７）：
付記（３３）〜（３６）のうちいずれか一つに記載の方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

【符号の説明】

【0105】

１２００ 映像表示システム
１２１０ 位置センシング部
１２２０ 視点計算部
１２３０ レンダリング部
１２４０ 表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】