(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6066547
(24)【登録日】2017年1月6日
(45)【発行日】2017年1月25日
(54)【発明の名称】2次元映像表示領域内に部分3次元映像を表示する方法及び装置
(51)【国際特許分類】
H04N 13/04 20060101AFI20170116BHJP
H04N 13/00 20060101ALI20170116BHJP
H04N 13/02 20060101ALI20170116BHJP
【FI】
H04N13/04 560
H04N13/00 140
H04N13/02 710
H04N13/04 040
H04N13/04 970
【請求項の数】15
【全頁数】18
(21)【出願番号】特願2011-225279(P2011-225279)
(22)【出願日】2011年10月12日
(65)【公開番号】特開2012-161067(P2012-161067A)
(43)【公開日】2012年8月23日
【審査請求日】2014年8月12日
(31)【優先権主張番号】10-2011-0009829
(32)【優先日】2011年1月31日
(33)【優先権主張国】KR
(73)【特許権者】
【識別番号】512187343
【氏名又は名称】三星ディスプレイ株式會社
【氏名又は名称原語表記】Samsung Display Co.,Ltd.
(74)【代理人】
【識別番号】110000408
【氏名又は名称】特許業務法人高橋・林アンドパートナーズ
(72)【発明者】
【氏名】尹 海 榮
(72)【発明者】
【氏名】閔 雄 圭
(72)【発明者】
【氏名】金 明 煥
【審査官】
佐野 潤一
(56)【参考文献】
【文献】
特表2009−510508(JP,A)
【文献】
国際公開第2010/116614(WO,A1)
【文献】
特開2005−164916(JP,A)
【文献】
特開2006−186768(JP,A)
【文献】
特開2008−271490(JP,A)
【文献】
特開2010−164852(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 13/00−15/00
(57)【特許請求の範囲】
【請求項1】
2次元入力映像データ及び前記2次元入力映像データに関連する入力奥行きデータを有する入力データに基づいて、第1の視点で表示パネル上で2次元映像表示領域内に位置した少なくとも1つの部分3次元映像領域内の3次元映像のオートステレオスコピック表示を行う方法であって、
前記入力奥行きデータのデータ値に基づいて、前記第1の視点とは異なる複数の与えられた視点の中のそれぞれの与えられた視点で前記少なくとも1つの部分3次元映像領域の境界で各3次元シフト映像領域を前記2次元映像表示領域と識別し、
映像フレームの第1の期間の間に第1の解像度でインターウィービングされた第1の映像を表示し、
前記映像フレームの第2の期間の間に前記第1の解像度とは異なる第2の解像度でインターウィービングされた第2の映像を表示し、
前記第1の映像は、2次元映像であり、前記第2の映像は、3次元映像であることを特徴とするオートステレオスコピック表示方法。
【請求項2】
前記各3次元シフト映像領域は、基準値とは異なる奥行きデータ値で表現され、前記基準値は、前記2次元入力映像を示す前記奥行きデータ値であることを特徴とする請求項1に記載のオートステレオスコピック表示方法。
【請求項3】
前記入力データは、前記2次元入力映像データに対応する背景入力データをさらに有し、前記与えられた視点に対する前記3次元シフト映像領域の合計に対応する3次元合計領域の外側の2次元領域で残りの2次元映像を生成することを特徴とする請求項2に記載のオートステレオスコピック表示方法。
【請求項4】
前記3次元合計領域内の画素に階調値を割り当てることを特徴とする請求項3に記載のオートステレオスコピック表示方法。
【請求項5】
前記少なくとも1つの部分3次元映像領域に対応する前記入力奥行きデータに基づいて前記各3次元シフト映像領域内の3次元映像を生成することを特徴とする請求項4に記載のオートステレオスコピック表示方法。
【請求項6】
前記各3次元シフト映像領域の外側の前記2次元映像領域内の画素に階調値を割り当てることを特徴とする請求項5に記載のオートステレオスコピック表示方法。
【請求項7】
2次元入力映像データ及び前記2次元入力映像データに関連する入力奥行きデータを有する入力データに基づいて、第1の視点で表示パネル上で2次元映像表示領域内に位置した少なくとも1つの部分3次元映像領域内の3次元映像のオートステレオスコピック表示を行う装置であって、
前記入力奥行きデータのデータ値に基づいて、前記第1の視点とは異なる複数の与えられた視点の中のそれぞれの与えられた視点で前記少なくとも1つの部分3次元映像領域の境界で各3次元シフト映像領域を前記2次元映像表示領域と識別するように構成された3次元領域識別回路と、
映像フレームの第1の期間の間に第1の解像度でインターウィービングされた第1の映像を表示し、前記映像フレームの第2の期間の間に前記第1の解像度とは異なる第2の解像度でインターウィービングされた第2の映像を表示する表示パネルと、を有し、
前記第1の映像は、2次元映像であり、前記第2の映像は、3次元映像であることを特徴とするオートステレオスコピック表示装置。
【請求項8】
2次元入力映像データ及び前記2次元入力映像データに関連する入力奥行きデータを有する入力データに基づいて、第1の視点で表示パネル上で2次元映像表示領域内に位置した少なくとも1つの部分3次元映像領域内の3次元映像のオートステレオスコピック表示を行う方法であって、
前記第1の視点とは異なる与えられた視点で、前記少なくとも1つの部分3次元映像領域の境界で前記2次元入力映像データと関連する上記入力奥行きデータを基準データと比較することにより3次元シフト映像領域を前記2次元映像表示領域と識別し、
映像フレームの第1の期間の間に第1の解像度でインターウィービングされた第1の映像を表示し、
前記映像フレームの第2の期間の間に前記第1の解像度とは異なる第2の解像度でインターウィービングされた第2の映像を表示し、
前記第1の映像は、2次元映像であり、前記第2の映像は、3次元映像であることを特徴とする3次元映像のオートステレオスコピック表示を行う方法。
【請求項9】
前記第1の解像度は、前記第2の解像度より高いことを特徴とする請求項8に記載の3次元映像のオートステレオスコピック表示を行う方法。
【請求項10】
2次元入力映像データ及び前記2次元入力映像データに関連する入力奥行きデータを有する入力データに基づいて、第1の視点で表示パネル上で2次元映像表示領域内に位置した少なくとも1つの部分3次元映像領域内の3次元映像のオートステレオスコピック表示を行う方法であって、
映像フレームの第1の期間の間に第1の映像を表示し、
前記映像フレームの第2の期間の間に第2の映像を表示し、
前記映像フレームの第3の期間の間に第3の映像を表示し、
前記第2の映像を変えるためのレンチキュラー素子を用いず前記第2の映像を表示する光を照射し、
前記第3の映像を変える前記レンチキュラー素子を用いて前記第3の映像を表示する光を照射し、
前記第1の映像及び前記第2の映像は2次元映像であり、前記第3の映像は3次元映像であり、
前記第3の映像を表示するために照射される光は、前記第2の映像を表示するために照射される光よりさらに明るいことを特徴とする3次元映像のオートステレオスコピック表示を行う方法。
【請求項11】
前記第1の映像は、前記第1の映像を表示するための光を照射せず、かつ、前記第1の映像を変えるための前記レンチキュラー素子を用いず表示されることを特徴とする請求項10に記載の3次元映像のオートステレオスコピック表示を行う方法。
【請求項12】
画素を有する表示パネル上に3次元映像のオートステレオスコピック表示を行う方法であって、
2次元映像入力データに従って前記2次元映像を表示する第1の画素を用い、かつ、第2の画素を同一の階調値で設定して、映像フレームの第1の期間の間に2次元映像を表示し、
3次元映像入力データに従って前記3次元映像を表示する前記第2の画素を用い、かつ、前記第1の画素を同一の階調値で設定して、前記映像フレームの第2の期間の間に前記3次元映像を表示し、
前記第1の画素及び前記第2の画素を用いて前記映像フレームの第3の期間の間に第1の黒色映像を表示することを特徴とする3次元映像のオートステレオスコピック表示を行う方法。
【請求項13】
前記映像フレームの前記第1の期間において、前記第2の画素は第1の黒色映像を表示するように設定され、前記映像フレームの第2の期間において、前記第1の画素は第2の黒色映像を表示するように設定されることを特徴とする請求項12に記載の3次元映像のオートステレオスコピック表示を行う方法。
【請求項14】
前記第1の画素及び前記第2の画素を用いて前記映像フレームの第4の期間の間に第2の黒色映像を表示することを特徴とする請求項12に記載の3次元映像のオートステレオスコピック表示を行う方法。
【請求項15】
前記映像フレームは、前記第3の期間、前記第1の期間、前記第4の期間、及び前記第2の期間を順次有することを特徴とする請求項14に記載の3次元映像のオートステレオスコピック表示を行う方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、2次元(two−dimensional:2D)映像表示領域内に少なくとも1つの3次元映像を表示する方法及び装置に関する。
【背景技術】
【0002】
物体の立体感は、両眼視差(binocular disparity)とも呼ばれ、視聴者又は観察者が異なる方向で左眼及び右眼の網膜を通してその物体を同時に見て、これを脳により認識する際に得られることができる。したがって、3次元(three−dimensional:以下、「3D」と称する。)映像を表示するために、観察者の左眼及び右眼は、両眼視差の原理を用いて異なる映像を見ることにより、観察者が3D映像を認識することができるようにする。
【0003】
3D表示技術は、3D立体映像を見ることができるようにするために視聴者がシャッターメガネのような特殊なメガネを掛けることを要求するステレオスコピック表示(stereoscopic display)技術と、視聴者がメガネを掛けることを要求しないオートステレオスコピック表示(autostereoscopic display)技術とに分類される。このステレオスコピック表示技術は、右眼液晶及び左眼液晶が所定の期間で交互に光を通過し遮断する液晶シャッターメガネ及びこれらのシャッターメガネのための駆動装置を用いる。したがって、異なる左眼映像及び右眼映像を分離し提供することにより視聴者が関連する立体映像を認識するようにする。
【0004】
オートステレオスコピック表示技術は、パララックスバリア3D表示装置及びレンチキュラー3D表示装置を含む。このパララックスバリア3D表示装置は、行及び列のマトリックスで配列された画素を有する表示パネルの前に設置された縦格子形状の開口を有するパララックスバリアを含む。このパララックスバリアは、観察者の右眼及び左眼に対する右眼映像と左眼映像とを分離することにより、表示パネルでの異なる右眼映像と左眼映像間の両眼視差を引き起こす。一方、レンチキュラー3D表示装置又はレンチキュラー装置は、縦格子形状のパララックスバリアの代りに半円筒形レンズの列方向配列を有するレンチキュラーレンズシートと、レンチキュラーレンズシートと対向するフラットな表面化されたプレートと、レンチキュラーレンズシートとフラットな表面化されたプレート間に充填された液晶と、レンチキュラーレンズシート及びフラットな表面化されたプレートの内側上に形成された電極とを含む。このようなレンチキュラー装置は、表示パネルの前に設置され、この表示装置は、電極間に印加される電圧のターンオン/ターンオフにより2D及び3D表示モード間でスイッチングする。2Dモードにおいて、見る方向で液晶の屈折率は、この液晶物質を横切って印加される電圧があるか否かに基づいてレンチキュラーレンズシートに使用される物質の屈折率と実質的に同一であるようにすることにより、レンチキュラー装置のレンズ作用を除去する。この場合に、レンチキュラー装置は、表示パネルから出てくる光の通路の影響なしに表示パネル上の光透過プレートとして機能する。他方、3Dモードにおいて、液晶の屈折率がこの液晶物質を横切って印加される電圧があるか否かによりこの液晶物質の配向に従ってこのレンチキュラーレンズシートに使用される物質の屈折率と異なるので、レンチキュラー装置は、レンズとして機能することができ、これにより、観察者の左眼及び右眼に異なる映像を提供し、観察者が立体映像を認識することができるようにする。
【0005】
オートステレオスコピック3D表示装置は、観測者が3D映像を見ることができる視点が固定されるため、使用可能な複数の視点を有することが重要である。したがって、観察者が複数の視点で3D映像を見ることができるようにするために、表示装置は、適切な入力データを受信しなければならない。適切な入力データは、中央視点に対する入力映像のシーケンス及びこれに対応する奥行きマップのシーケンスを含む。入力映像に対応する奥行きマップに画素をシフトすることにより、視点の数に対応する出力映像の集合を生成する。出力映像の集合を用いて、オートステレオスコピック3D映像信号又は合成立体映像信号は、レンチキュラー装置を使用する液晶表示(LCD)パネルを駆動するように生成される。複数の視点及び各奥行きデータに基づく画素シフトデータのルックアップテーブルは、メモリに格納され、表示装置は、画素シフトデータに基づいてシフトされた映像データにより3D映像データを表示する。
【0006】
しかしながら、3D映像表示の際に視点の数が増加する場合に、解像度は、視点の数に反比例する。上述した技術により、3D映像が2D映像表示領域内に表示され、2D領域が2D映像表示領域内に3D映像表示で処理される場合に、2D映像を含む全映像のディスプレイの解像度は、視点の数が増加する場合に減少する。したがって、このように減少した解像度は、画質に否定的な影響を及ぼす。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】米国特許6529175号明細書
【特許文献2】米国特許6791599号明細書
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は、上述した課題に鑑みてなされたものであり、ディスプレイの解像度を向上させるために2D映像表示領域内に少なくとも1つの部分3D映像を表示する方法を提供することを目的とする。
【0009】
本発明の他の目的は、ディスプレイの解像度を向上させるために2D映像表示領域内に少なくとも1つの部分3D映像を表示すること装置を提供することにある。
【0010】
本発明のまた他の目的は、ディスプレイの解像度を向上させるために2D映像表示領域内の3D映像表示領域を識別する方法を提供することにある。
【0011】
本発明のさらなる他の目的は、ディスプレイの解像度を向上させるために2D映像表示領域内の3D映像表示領域を識別する回路を提供することにある。
【課題を解決するための手段】
【0012】
本発明の実施形態にに係るオートステレオスコピック表示を行う方法は、2次元入力映像データ及び前記2次元入力映像データに関連する入力奥行きデータを有する入力データに基づいて、第1の視点で表示パネル上で2次元映像表示領域内に位置した少なくとも1つの部分3次元映像領域内の3次元映像のオートステレオスコピック表示を行う方法であって、前記入力奥行きデータのデータ値に基づいて、前記第1の視点とは異なる複数の与えられた視点の中のそれぞれの与えられた視点で前記少なくとも1つの部分3次元映像領域の境界で各3次元シフト映像領域を上記2次元映像表示領域と識別することを特徴とする。
【0013】
本発明の実施形態に係るオートステレオスコピックディスプレイを行う装置は、2次元入力映像データ及び前記2次元入力映像データに関連する入力奥行きデータを有する入力データに基づいて、第1の視点で表示パネル上で2次元映像表示領域内に位置した少なくとも1つの部分3次元映像領域内の3次元映像のオートステレオスコピック表示を行う装置であって、前記入力奥行きデータのデータ値に基づいて、前記第1の視点とは異なる複数の与えられた視点の中のそれぞれの与えられた視点で前記少なくとも1つの部分3次元映像領域の境界で各3次元シフト映像領域を前記2次元映像表示領域と識別するように構成された3D領域識別回路を有することを特徴とする。
【0014】
本発明の実施形態に係る3次元映像を識別する方法は、2次元入力映像データ及び前記2次元入力映像データに関連する入力奥行きデータを有する入力データに基づいて、第1の視点で2次元映像表示領域内に位置した少なくとも1つの部分3次元映像領域内の3次元映像を識別する方法であって、前記第1の視点とは異なる与えられた視点で、前記少なくとも1つの部分3次元映像領域の境界で前記2次元入力映像データと関連する上記入力奥行きデータを基準データと比較することにより3次元シフト映像領域を前記2次元映像表示領域と識別することを特徴とする。
【0015】
本発明の実施形態に係る3次元映像を識別する装置は、2次元入力映像データ及び前記2次元入力映像データに関連する入力奥行きデータを有する入力データに基づいて、第1の視点で2次元映像表示領域内に位置した少なくとも1つの部分3次元映像領域内の3次元映像を識別する装置であって、前記第1の視点とは異なる与えられた視点で前記少なくとも1つの部分3次元映像領域の境界で前記2次元入力映像データと関連する前記入力奥行きデータを基準データと比較することにより3次元シフト映像領域を前記2次元映像表示領域と識別するように構成された3D映像識別回路を有することを特徴とする。
【0016】
本発明の実施形態に係る3次元映像を表示する方法は、映像フレームの第1の期間の間に第1の解像度でインターウィービングされた第1の映像を表示し、前記映像フレームの第2の期間の間に前記第1の解像度とは異なる第2の解像度でインターウィービングされた第2の映像を表示することを特徴とする。
【0017】
本発明の実施形態に係る3次元映像を表示する方法は、映像フレームの第1の期間の間に第1の映像を表示し、前記映像フレームの第2の期間の間に第2の映像を表示し、前記映像フレームの第3の期間の間に第3の映像を表示し、前記第1の映像及び前記第2の映像は2次元映像であり、前記第3の映像は3次元映像であることを特徴とする。
【0018】
本発明の実施形態に係る3次元映像を表示する方法は、少なくとも3個の動作モードを用いて表示装置に映像を表示する方法であって、第1の動作モードで、2次元映像レンダリング工程を用いて第1のフレームの間に第1の2次元映像を表示し、第2の動作モードで、3次元映像レンダリング工程を用いて第2のフレームの間に第1の3次元映像を表示し、第3の動作モードで、第3のフレームの第1の期間の間に2次元映像を表示し、前記第3のフレームの第2の期間の間に3次元映像を表示することを特徴とする。
【0019】
本発明の実施形態に係る3次元映像を表示する方法は、画素を有する表示パネル上に3次元映像を表示する方法であって、2次元映像入力データに従って前記2次元映像を表示する第1の画素を用い、かつ、第2の画素を同一の階調値で設定して、映像フレームの第1の期間の間に2次元映像を表示し、3次元映像入力データに従って前記3次元映像を表示する前記第2の画素を用い、かつ、前記第1の画素を同一の階調値で設定して、前記映像フレームの第2の期間の間に前記3次元映像を表示することを特徴とする。
【発明の効果】
【0020】
本発明によれば、ディスプレイの解像度を向上させるために2D映像表示領域内に少なくとも1つの部分3D映像を表示する方法を提供することができる。
【0021】
また、本発明によれば、ディスプレイの解像度を向上させるために2D映像表示領域内に少なくとも1つの部分3D映像を表示すること装置を提供するができる。
【0022】
また、本発明によれば、ディスプレイの解像度を向上させるために2D映像表示領域内の3D映像表示領域を識別する方法を提供することができる。
【0023】
さらに、本発明によれば、ディスプレイの解像度を向上させるために2D映像表示領域内の3D映像表示領域を識別する回路を提供することができる。
【図面の簡単な説明】
【0024】
【
図1】本発明の一実施形態による駆動部及びディスプレイユニットを示す概略ブロック図である。
【
図2】本発明の一実施形態によって用いられる入力映像を示す図である。
【
図3】本発明の一実施形態による動作を示す概略タイミング図である。
【
図4A】本発明の一実施形態による駆動方法を示す概略フローチャートである。
【
図4B】本発明の一実施形態による駆動方法を示す概略フローチャートである。
【
図4C】本発明の一実施形態による駆動方法を示す概略フローチャートである。
【
図4D】本発明の一実施形態による駆動方法を示す概略フローチャートである。
【
図5】奥行きデータに基づいて映像データをシフトする一例を示す概念図である。
【
図6A】本発明の実施形態による3D合計領域を示す図である。
【
図6B】本発明の実施形態による表示パネルに供給される出力映像の一例を示す図である。
【
図6C】本発明の実施形態による表示パネルに供給される出力映像の一例を示す図である。
【発明を実施するための形態】
【0025】
以下、本発明の実施形態を、添付の図面を参照しつつ詳細に説明する。下記の説明において、本発明の詳細な構成および構成要素のような細部事項は、本発明の実施形態の包括的な理解を助けるために記載される。したがって、本発明の範囲及び趣旨を逸脱することなく、ここに説明された実施形態の様々な変更及び変形が可能であるということは、当該技術分野における通常の知識を有する者には明らかである。また、明瞭性と簡潔性の観点から、当業者に良く知られている機能や構成に関する具体的な説明は、省略する。
【0026】
図面において、同一の参照符号は、同一の構成要素、特徴、及び構造を示すものであることを理解するであろう。
【0027】
以下、本発明の一実施形態における2D映像表示領域内に少なくとも1つの部分3D映像領域内の3D映像をオートステレオスコピック表示を行うことができる方法及び装置について詳細に説明する。本発明の実施形態では、様々な数値が開示されているが、このような数値は、単に例示として記載されていることに留意すべきである。したがって、特許請求範囲で定義しない限り、本発明の範囲を限定してはいけない。
【0028】
図1は、1つの画面上に2D映像及び2D映像内の3D映像のオートステレオスコピック表示を行う装置を示す概略図である。この装置は、ディスプレイユニット100及び駆動部200を含む。ディスプレイユニット100は、液晶表示(LCD)パネルのような表示パネル120と、表示パネル120の後ろに位置したバックライトソース110と、表示パネル120の前に位置したレンチキュラー装置130とを含む。表示パネル120は、行及び列のマトリックスで配列された画素(図示せず)を含み、この画素は、ゲート、ソース、及びドレーンがそれぞれ行ライン(又はゲートライン)、列ライン(又はデータライン)、及び画素電極に接続された薄膜トランジスタ(TFT)を含む。表示パネル120は、行及び列ラインと、薄膜トランジスタと、画素電極とが形成された第1の基板と、画素電極と対向する共通電極を有する第2の基板と、第1の基板及び第2の基板間に充填された液晶と、第1の基板及び第2の基板の両方又は第1の基板及び第2の基板のいずれか1つの外側に位置した偏光板又は複数の偏光板とを含む。表示パネル120は、ゲートラインを駆動するためのゲート駆動装置と、データラインを駆動するためのデータ駆動装置とを含む。バックライトソース110は、表示パネル120の後面で照射光を発生し、画素電極と共通電極間に印加される電圧により発生する液晶の配向の変更、すなわち、液晶の屈折率の変更は、この照射された光の透過を変調することにより映像を発生させる。ここで、「バックライト」ソースと名づけられたが、バックライトソース110は、表示パネル120に光を照射できるすべてのタイプの光源であってもよい。レンチキュラー装置130は、上述したように、表示パネル120で2D表示モード及び3D表示モード間でスイッチングすることができる。ここで、ディスプレイ部100をLCDパネル及びレンチキュラー装置として説明したが、本発明の実施形態は、3D映像を表示することができるすべてのタイプの表示装置に適用される。また、本発明の実施形態は、公知の製造された3D表示装置及びこれから製造される3D表示装置の両方で使用される。
【0029】
本発明の実施形態による駆動部200は、2D映像表示領域内に少なくとも1つの部分3D映像を表現するレンダリング(Rendering)装置を含む。
【0030】
駆動部200は、受信部210と、制御部220と、メモリ230と、3D領域識別回路240と、2D映像発生回路250と、3D映像発生回路260と、レンチキュラー制御器270と、タイミング制御器(TCON)280と、バックライトソース制御器290とを含む。受信部210は、入力信号をデコーディングし、制御部220は、メモリ230に格納されたプログラムを実行する。制御部220の制御の下で、3D領域識別回路240は、正面視点で見た2D映像領域内に部分3D映像を示す2D入力映像データとこれに関連した入力奥行きデータから与えられた複数の視点の各視点に対して各3Dシフト映像領域を発生する。2D映像発生回路250は、各視点に対して各3Dシフト映像領域外部の各2D映像領域に存在する2D映像の画素データが発生し、各3Dシフト映像領域内の画素に階調値を割り当てる。この割り当てられた階調値は、黒色階調値、白色階調値、又は他の任意の選択された階調値であってもよい。3D映像発生回路260は、3Dシフト映像領域内のデータのこの入力奥行きデータに基づいて各3Dシフト映像領域内の3D映像の画素データを発生し、この各3Dシフト映像領域外部の各2D映像領域内の画素に階調値を割り当てる。この割り当てられた階調値は、黒色階調値、白色階調値、又は他の任意の選択された階調値であってもよい。タイミング制御器(TCON)280は、この2D入力映像データ及びこれに対応する入力奥行きデータの1つのフレーム期間よりさらに短い2つの期間のそれぞれで各視点に対して2D映像発生回路250及び3D映像発生回路260から発生した映像データに基づいて表示パネル120が映像を表示することようにタイミング情報を提供する。バックライトソース制御器290は、この2つの期間でバックライトソース110が照射光を照射するように制御する。レンチキュラー制御器270は、この2つの期間の中の第2の期間で3D映像を発生するようにレンチキュラー装置130に電源を供給する。ここで、3D領域識別回路240、2D映像発生回路250、及び3D映像発生回路260は、例えば、フィールドプログラマブルゲートアレイ(Field−Programmable Gate Array:FPGA)又は特定用途向け集積回路(Application−Specific Integrated Circuit:ASIC)を用いて実現される。
【0031】
受信部210によりデコーディングされた入力映像信号列は、制御部220の制御の下でメモリ230に格納される。例えば、受信部210は、デジタルモデムを含み、制御部220は、例えば、マイクロプロセッサ又は中央処理装置である。
【0032】
受信部210によりデコーディングされた映像信号データは、
図2に示すデータである。
【0033】
図2は、フル高精細度(Full High Definition:FHD)、すなわち、1920×1080ピクセルの高解像度を有する映像データを示す概略図である。ラインL1及びラインL2は、1080個の行及び1920個の列を4等分する。左側上部領域LU、右側上部領域RU、左側下部領域LL、及び右側下部領域RLは、それぞれ940×540の解像度を有する。左側上部領域LU及び左側下部領域LLは、カラー情報を示し、右側上部領域RU及び右側下部領域RLは、奥行き情報を示す。このカラー情報は、カラー映像を表示するために用いられる情報である。例えば、カラー赤色(R)、緑色(G)、及び青色(B)は、映像を表示するために用いられる。左側上部領域LU及び右側上部領域RUは、正面で見た映像に関するカラー情報及び奥行き情報をそれぞれ示し、左側下部領域LL及び右側下部領域RLは、背面で見た映像に関するカラー情報及び奥行き情報をそれぞれ示す。言い換えれば、左側上部領域LU及び右側上部領域RUは、前景(foreground)情報を示し、左側下部領域LL及び右側下部領域RLは、背景(background)情報を示す。また、左側上部領域LUの画素は、中央視点、例えば、画面前の9個の視点の中で5番目の視点で見た2D入力映像データを示し、右側上部領域RUの画素は、左側上部領域LU内の2D入力映像データに対応する奥行きデータを示す。同様に、左側下部領域LLは、右側上部領域LUで2D入力映像の背面映像データ、すなわち、入力背景映像データを示し、右側下部領域RLは、左側下部領域LLで入力背景映像データの奥行きデータを示す。ここで、このデコーディングされた映像信号は、左側上部領域LU、右側上部領域RU、左側下部領域LL、及び右側下部領域RLに関する情報を含むものと説明したが、他の代案も可能である。例えば、このデコーディングされた情報は、左側上部領域LU及び右側上部領域RUに関する情報だけを含み、左側下部領域LL及び右側下部領域RLに関する情報は、左側上部領域LU及び右側上部領域RUに関する情報を用いて計算してもよい。
【0034】
図2に示すように、左側上部領域LUは、2D入力映像領域204内にある部分3D入力領域202を有し、右側上部領域RUは、部分3D入力領域202に対応する部分3D入力奥行きデータ領域206を有する。左側上部領域LU内の画素は、右側上部領域RU内の画素と1:1の対応関係を有し、左側下部領域LL内の画素は、右側下部領域RL内の画素と1:1の対応関係を有する。すなわち、左側上部領域LU内のi番目の行及びj番目の列にある画素は、右側上部領域RU、左側下部領域LL、及び右側下部領域RLのそれぞれでi番目の行及びj番目の列にある画素に対応する。したがって、同一の行及び列にある画素から色情報、奥行き情報、背景カラー情報、及び背景奥行き情報を取得することができる。
【0035】
2D入力映像領域204に位置した部分3D入力領域202内の部分3D入力映像のオートステレオスコピック表示を行うために、複数の視点の各視点で部分3D入力映像の境界上の画素の奥行き値の変化を検出しなければならず、移動されない2D領域は、その検出によりシフトされる画素により移動された3D領域と識別されなければならない。
【0036】
奥行き値は、階調値を用いて表現される。階調値又は奥行き値を用いて各視点で決定される画素シフトデータは、上述するとともに、参考として米国特許出願公開第2010/0007661号明細書に開示されている。本発明の実施形態に対する理解を助けるために、ここでは、米国特許出願公開第2010/0007661号明細書の
図5を、奥行きデータに基づいて映像データをシフトする一例を示す概念図として、
図5に示す。
【0037】
図5を参照すると、9個の視点が画面の前に位置する。カラーディスプレイの場合、各画素は、赤色(R)、緑色(G)、及び青色(B)の副画素を含む。各画素、すなわち、各副画素は、8ビットのデータを有すると仮定する。各画素は、2
8=256個の階調値を有する。画面の階調値、すなわち、基準値が128であると仮定すると、画面の前で見られる画素の階調値は、129から256の階調値を有し、画面の後ろで見られる画素の階調値は、1から127の階調値を有するであろう。画面の表面に垂直であり、中央視点5の方向で高さhを有するA点が最も高い点である場合、すなわち、A点が最大高さの点である場合に、A点の階調値は、256である。このように、最大高さ値が与えられる場合に、最大高さ以下の高さに対する階調値、すなわち、奥行き値が決定される。ここで、最も低い高さは、1の階調値を有する。したがって、最も高い高さ及び最も低い高さが与えられる場合に、高さの階調値が決定される。A点の高さhが与えられる場合に、その階調値は、決定される。画素シフトデータは、A点に対する各視点に対して計算される。A点が1番目の視点1で見られる際に、画面上でA点からA”点への画素シフトデータ(x)は、画素単位で下記の数式(1)で表現される。
【0038】
(数式1)
画素シフトデータ(x)=(h×D)/{q×(H−h)}・・・(1)
【0039】
ここで、Hは、1番目の視点1から画面までの垂直距離を示し、hは、A点の高さを示し、Dは、中央視点ラインから1番目の視点lまでの最短距離を示し、qは、副画素の幅を示す。高さ値hが与えられる場合に、その階調値、すなわち奥行き値が決定され、各視点での画素シフトデータは、数式(1)を用いて計算される。したがって、階調値、すなわち、奥行き値が与えられる場合に、9個の視点の各々に対する奥行き値の画素シフトデータが計算され、256個の階調値及び9個の視点に対する画素シフトデータを含むルックアップテーブルが作成され、メモリ230に格納される。各視点に対する画素シフトデータは、数式(1)を用いて計算されるか、又はルックアップテーブルを参照することにより決定される。
【0040】
本発明の実施形態の説明において、画面の基準(reference)階調値が128であると仮定したが、他の基準値は、設計に従って画面の階調値、すなわち、基準奥行き値として選択される。
【0041】
図3は、
図2に示すような映像データを用いて映像を表示する本発明の実施形態による動作タイミング図を示す。
図2に示す入力映像がFHD解像度、すなわち、1920×1080の解像度を有するため、1080個の水平サイクルの中で各水平サイクル1Hに1920個の画素データを有するデータイネーブル信号DEとして提供される。データイネーブル信号DEとともに、垂直同期信号VSは、垂直同期信号情報に基づいて作成され、1つのフレーム1F内の1080個の水平サイクルを有するデータイネーブル信号DEは、入力イネーブル信号から生成される。1つのフレーム内の入力映像データ、すなわち、
図2に示し、1つのフレーム内に存在する入力映像データは、メモリ230に格納される。したがって、
図3に示す現在のフレーム300の前のフレームでメモリ230に格納された入力映像データは、現在のフレーム300でその出力映像を発生する。すなわち、期間T1において、前のフレーム内の入力映像データに対して黒色階調値を割り当てた出力映像を出力する。したがって、この出力映像は、前のフレームで提供された入力映像データを有する全画素の画素データ値が黒色階調値を有するように液晶表示パネル120に提供される。言い換えれば、黒色映像は、期間T1で発生する。バックライトソース110及びレンチキュラー装置130は、すべて期間T1でオフされる。
【0042】
期間T2において、すべての視点に対する識別された部分3Dシフト領域の合計に対応する3D合計領域内の画素の画素値は、階調値の割り当てを受ける。この割り当てを受けた階調値は、黒色階調値、白色階調値、又は他の任意の選択された階調値である。残りの2D映像は、
図2の左側上部領域LU内の入力映像データに基づいて3D合計領域外部の2D領域で発生する。あるいは、左側下部領域LL内の入力映像データも用いられる。割り当てられた階調値を有する3D合計領域及び残りの2D映像を有する2D合計映像信号を発生させ、期間T2で2D合計映像信号を液晶表示パネル120に供給する。バックライトソース110は、T2期間でオンとなる。他方、レンチキュラー装置130は、オフとなる。
図6Aは、本発明の一実施形態による3D合計領域を示し、
図6Bは、本発明の一実施形態による表示パネルに提供される出力映像の一例を示す。
図6Aに示す例において、9個の視点の場合、3D合計領域600は、9個の識別された部分3Dシフト領域の領域を含む。この9個の識別された部分3Dシフト領域は、点線の楕円を用いて図示される。
図6Bは、
図2の入力映像データを用いてT2期間に2D映像を表示する際に、割り当てられた階調値を有する3D合計領域600及び残りの2D映像領域625を含み、2D映像が表示される出力映像620の一例を示す。
【0043】
期間T3において、期間T1と同一の方式で、出力映像は、前のフレームで提供された入力映像データを有する全画素の画素データ値が黒色階調値を有するように液晶表示パネル120に提供される。したがって、期間T1のように、黒色映像は、期間T3で発生する。レンチキュラー装置130及びバックライトソース110の両方は、期間T3でオフとなる。
【0044】
期間T4において、3D映像は、各視点に対して部分3D映像領域に対応する入力奥行きデータに基づいて各3Dシフト映像領域で発生し、各3Dシフト映像領域外部の残りの2D映像領域内の画素は、階調値の割り当てを受ける。この割り当てを受けた階調値は、黒色階調値、白色階調値、又は他の任意の選択された階調値である。各視点に対する3D映像を有する各3Dシフト映像領域及び割り当てられた階調値を有する残りの2D映像領域を有する各3D合計映像が生成される。9個の視点に対応する9個の3D合計映像の各解像度が液晶表示パネル120の解像度と一致するように各3D合計映像のインターウィービング(interweaving)及びスケーリング(scaling)を行うことにより得られた合成3D映像信号は、液晶表示パネル120に提供される。この期間において、レンチキュラー装置130及びバックライトソース110の両方は、オンとなり、さらに高い電圧は、期間T2で照射光よりさらに明るい照射光を放射するようにバックライトソース110に印加される。
図6Cは、本発明の一実施形態による表示パネルに提供される出力映像の一例を示す。
図6Cに示す例において、出力映像640は、
図2の入力映像データを用いて期間T4で3D映像を表示する際に、3D映像が表示される3D合計領域600と、割り当てられた階調値を有する2D映像が表示される残りの2D映像領域625とを含む。
【0045】
したがって、期間T1、T2、T3、及びT4の各々が1フレーム期間の1/4であると仮定すると、液晶表示パネル120及びレンチキュラー装置130で用いられる液晶は、高速で応答する液晶を用いる必要はない。例えば、製品コード名がMAT−10−238であるMerck社のネマチック液晶がこれらの液晶として用いられる。期間T1、T2、T3、及びT4の各々が1フレーム期間の1/4として図示したが、当業者は、期間T1及びT4で黒色映像を表示する際に、LCDパネルの動作特性のために、実際には、黒色映像は、期間T2及びT4で表示される映像よりさらに短い期間の間に表示されることを理解するであろう。その結果、
図3は、各期間T1、T2、T3、及びT4で表示される各映像が同一の時間の間にかならず表示される必要はない。
【0046】
上述したように、黒色映像は、バックライトソース110をターンオフすることにより期間T1及びT3で生成される。当業者が理解することができるように、これらの期間で他の選択も可能である。例えば、バックライトソース110は、オンとなり、黒色階調値は、すべての画素に提供される。あるいは、バックライトソース110がオンとなっている間に、黒色値以外の階調値は、すべての画素に提供される。
【0048】
図4Aを参照すると、ステップ402は、開始工程である。ステップ404で、nが「0」に設定されるように初期化が行われる。ステップ406で、nは、「1」に設定される。ステップ408で、フレームF
1、すなわち、1番目のフレーム内の入力映像データは、メモリ203に格納される。言い換えれば、
図2に示すように、1番目のフレームに存在し、960×540の解像度を有する左側上部領域LUに存在する2D入力映像(又は画素)データと、同一の解像度を有する右側上部領域RUに存在し、2D入力映像(又は画素)データに対応する入力奥行きデータと、同一の解像度を有する左側下部領域LLに存在し、2D入力映像(又は画素)データに対応する入力背景データと、同一の解像度を有する右側下部領域RLに存在し、入力背景データに対応する入力背景奥行きデータとは、メモリ203に格納される。
【0049】
ステップ410で、ヘッダーは、メモリ230に格納された入力映像データから読み出される。このヘッダーは、入力映像データが3D映像、2D映像、又は部分3D映像を示すデータであるか否かを判定することができる情報を提供する。このヘッダーは、960×540の解像度の1番目の行に配列された画素のデータから読み出される。各行に配列された画素は、上述したように、R、G、及びBの副画素を含み、各画素が8ビットのデータを有するために、このヘッダーは、適切な画素又は画素の最上位ビット(MSB)のビット値により定義される。
【0050】
ステップ412で、この読み出されたヘッダーが3D映像を示すか否かを判定する。3D映像でない場合に、ステップ414及びステップ415で示すように、フレームF
1内の入力映像データが2D映像を示すために、2D出力映像は、2D映像を発生するために用いられる適切な方法に従って左側上部領域LU内の2D入力映像データから発生される。連続するフレームにおいて、2D出力映像は、ステップ406乃至ステップ415の反復により発生される。この読み出されたヘッダーが3D映像を示すが、部分3D映像を示さない場合、3D出力映像は、ステップ418及びステップ419で、2D入力映像データ及びこれに関連する奥行きデータで、例えば、上述したように、米国特許出願公開第2009/0115780号明細書に開示されているような適切な方法により発生される。その後に、連続するフレームで、3D出力映像は、ステップ406乃至ステップ412及びステップ416乃至ステップ419の反復により発生される。ステップ416で、この読み出されたヘッダーが部分3D映像を示す場合に、ステップ420が行われる。
【0051】
ステップ420及びステップ420の次のステップは、本発明の実施形態による3D映像領域を2D映像領域内に有する場合に行われる。ステップ420は、本発明の実施形態による部分3Dシフト映像領域と部分3Dシフト映像領域の外側の残りの2D映像領域とを識別する。9個の視点があり、入力映像データについて、
図2に示すように2D入力映像(又は画素)データが2D入力映像領域204内に部分3D入力領域202を有すると仮定する。この場合に、2D入力映像領域204内の部分3D入力領域202の外側の残りの領域内の画素データに対応する第1の領域206での入力奥行きデータは、この残りの領域が2D映像を有するために、上述したように、128の基準値を有する。しかしながら、部分3D入力領域202内の部分3D入力映像が3D映像を有するために、部分3D入力領域202に対応する第2の領域208での入力奥行きデータは、基準値でない値を有する。したがって、部分3D入力領域202の境界に対応する第2の領域208の境界の付近に存在する画素の奥行き値が128の基準値と比較され、3D映像を示す128でない他の奥行き値を有する場合に、9個の視点のそれぞれに対する部分3D入力領域202のシフトは、メモリ230内に格納されたルックアップテーブルを参照して他の奥行き値により決定され、部分3D入力領域202は、各視点に対して、シフトされた部分3D入力領域により2D領域と識別される。すなわち、部分3D入力領域202の境界は、領域RU内の各ラインを順次スキャンする間に基準値でない奥行きデータ値を有する開始点及び終了点を検出することにより決定される。各視点に対する各部分3Dシフト領域は、数式(1)に従って境界を示す開始点及び終了点の奥行きデータ値を計算するか、又はメモリ230に格納されたルックアップテーブルを参照することにより2D領域と識別される。言い換えれば、部分3D入力領域202のエッジで、画素の奥行きデータは、基準値と比較され、エッジで各視点に対する部分3Dシフト領域は、基準値以外の奥行きデータに基づいて2D領域と識別される。
図2は、説明の便宜のために、左側上部領域LUに単一の部分3D入力領域202を示す。複数の部分3D入力領域が右側上部領域LUに存在することは明白である。
【0052】
図4Dは、ステップ420の概略的サブルーチンを示す。ステップ502で、2D入力映像データに対応する入力奥行きデータは、
図2の右側上部領域RU内の行ラインを順次スキャンすることにより読み出される。ステップ504で、この読み出された奥行きデータの値が基準値であるか否かを判定する。この読み出された奥行きデータの値がこの基準値である場合、次の入力奥行きデータが読み出され、この読み出された入力奥行きデータがこの基準値と比較される。これは、この入力奥行きデータ値がこの基準値でないときまで継続して行われる。この読み出された奥行きデータ値が基準値でない場合に、ステップ506で、この値及び画素位置が記憶される。その後に、ステップ508で、次の入力奥行きデータが読み出され、ステップ510で、この読み出された奥行きデータがこの基準値と比較される。この読み出された奥行きデータ値がこの基準値でない場合、この次の入力奥行きデータが読み出され、この基準値と比較される。ステップ504乃至ステップ510の結果として行ラインをスキャンすることにより検出され、基準値でない開始及び最後の奥行きデータ値の集合は、部分3D入力領域の境界又はエッジとなる。この境界又はエッジで奥行きデータ値及びこれらの位置又は基準値でない奥行きデータ値を有する領域に関する情報は、メモリ230に記憶される。ステップ512で、この境界又はエッジで、各視点での画素シフト値は、この奥行きデータ値及び数式(1)を用いて計算されるか又はメモリ230に格納されたルックアップテーブルを参照することにより決定される。ステップ502乃至ステップ512は、各行の最後の画素が読み出され、右側上部領域RUの最後の行がスキャンされるまで繰り返される。ステップ514で、最後の行がスキャンされたものと判定される場合、2D映像表示領域内の少なくとも1つの3D映像表示領域を識別する工程が完了する。上述したように、右側上部領域RUの各行をスキャンした後に、ステップ512で、各視点での画素シフト値が決定される。あるいは、画素シフト値を決定する前に右側上部領域RUのすべての行がスキャンされる。
【0053】
図4Bに戻ると、
図3に示すタイミング図が実行される。ステップ422で、現在の期間が期間T1である場合に、出力映像は、前のフレームF
1内の映像データが黒色階調値を有するようにステップ424で発生される。ステップ426で、黒色階調値を有する出力映像の発生が前のフレームF
1内のすべての映像データに対して行なわれたか否かを判定する。そうだとしたら、ステップ428で、フレームF
1内のすべての映像データに対する黒色表示信号は、期間T1内で液晶表示パネル120に提供される。
【0054】
ステップ430で、期間T1の経過の後に開始される期間T2に到達したか否かを確認し、期間T2に到達した場合に、ステップ432で、すべての視点に対する識別された部分3Dシフト領域の合計に対応する3D合計領域内の画素の画素値は、白色階調値又は黒色階調値のような任意の階調値の割り当てを受ける。ステップ434で、残りの2D映像は、左側下部領域LL内の背景2D入力映像データ及び/又は右側上部領域LU内の2D入力映像データに基づいて3D合計領域の外の2D領域で発生される。ステップ436で、この割り当てられた階調値を有する3D合計領域及び残りの2D映像を有する2D合計映像信号が発生され、2D合計映像信号は、液晶表示パネル120に提供される。期間T2において、バックライトソース110は、オンとなり、2D映像だけが表示されるためにレンチキュラー装置130は、オフとなる。
【0055】
期間T2の経過の後の期間T3において、ステップ440乃至ステップ444が行われる。ステップ440乃至ステップ444は、期間T1で行われるステップ424乃至ステップ428の動作と同一である。したがって、期間T3において、すべての画素がフレームF
1で黒色階調値を有し得るように表示信号が発生され、期間T3及び期間T1において、液晶表示パネル120は、黒色映像を表示する。
【0056】
期間T3の経過の後の期間T4において、ステップ446の判断工程によりステップ448乃至ステップ452が行われる。ステップ448で、3D映像は、各視点に対して部分3D映像領域に対応する入力奥行きデータに基づいて各3Dシフト映像領域で生成される。ステップ450で、階調値は、各視点に対して各3Dシフト映像領域の外の残りの2D映像領域内の画素に割り当てられる。ステップ452で、各視点に対して3D映像を有する各3Dシフト映像領域及びこの割り当てられた階調値を有する残りの2D映像領域を有する各3D合計映像が発生される。したがって、9個の視点に対する9個の3D合計映像の各々は、上述したように、960×540の解像度を有する。各3D合計映像は、1920×1080の解像度を有するように規格化され、オートステレオスコピック映像となるように9個の規格化された3D合計映像をマッピングすることにより発生される画素の配列により生成された合成3D映像は、ステップ454で液晶表示パネル120に提供される。フレームF
1のデータ処理が終了された後に、ステップ406で、次のフレームF
2の同一のデータ処理が行われる。
【0057】
上述した部分3D映像のオートステレオスコピック表示を行う方法は、プロセッサによるプログラムにより実行される。
【0058】
図2に示す入力映像がオートステレオスコピック表示を行う際に、2D領域及び3D領域は、相互に識別され、2D領域の解像度は、
図2の左側下部領域LUを4倍に拡大するために一般解像度の1/4を有する。しかしながら、2D領域及び3D領域が従来技術に従って3D映像表示のためにともに処理される場合、この解像度が全画面に表示される間に視点数に反比例し、視点数が増加する場合に、従来技術による解像度は、2D領域が2D映像を生成するように識別される場合に比べて減少する。
【0059】
以上、本発明を具体的な実施形態を参照して詳細に説明してきたが、本発明の範囲及び精神を逸脱することなく様々な変形が可能であるということは、当該技術分野における通常の知識を持つ者には明らかであり、本発明の範囲は、上述の実施形態に限定されるべきではなく、特許請求の範囲の記載及びこれと均等なものの範囲内で定められるべきである。
【符号の説明】
【0060】
100:ディスプレイユニット、200:駆動部、110:バックライトソース、120:液晶表示パネル、130:レンチキュラー装置、210:受信部、220:制御部、230:メモリ、240:3D領域識別回路、250:2D映像発生回路、260:3D映像発生回路、270:レンチキュラー制御器、280:タイミング制御器(TCON)、290:バックライトソース制御器、L1,L2:ライン、202:部分3D入力領域、204:2D入力映像領域、206:3D入力奥行きデータ領域、208:第2の領域。