特許 5977752 映像変換装置およびそれを利用するディスプレイ装置とその方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5977752

(24)【登録日】2016年7月29日

(45)【発行日】2016年8月24日

(54)【発明の名称】映像変換装置およびそれを利用するディスプレイ装置とその方法

(51)【国際特許分類】

   H04N 13/02 20060101AFI20160817BHJP

   H04N 13/00 20060101ALI20160817BHJP

【ＦＩ】

   H04N13/02 820

   H04N13/00 110

【請求項の数】12

【全頁数】17

(21)【出願番号】特願2013-538621(P2013-538621)

(86)(22)【出願日】2011年8月9日

(65)【公表番号】特表2014-504462(P2014-504462A)

(43)【公表日】2014年2月20日

(86)【国際出願番号】KR2011005795

(87)【国際公開番号】WO2012064010

(87)【国際公開日】20120518

【審査請求日】2014年8月7日

(31)【優先権主張番号】10-2010-0111278

(32)【優先日】2010年11月10日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】503447036

【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】チャン，ジュ−ヨン

(72)【発明者】

【氏名】リー，ジン−ソン

(72)【発明者】

【氏名】ミン，ジョン−スル

(72)【発明者】

【氏名】キム，ソン−ジン

【審査官】 佐野 潤一

(56)【参考文献】

【文献】 特開２０１０−０７９８９９（ＪＰ，Ａ）

【文献】 特開２００４−１０２３２３（ＪＰ，Ａ）

【文献】 特開２００８−０３９４９１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／０２

Ｈ０４Ｎ １３／００

(57)【特許請求の範囲】

【請求項1】

映像変換装置の映像変換方法において、
ステレオ映像をダウンスケーリングするステップと、
前記ダウンスケーリングされたステレオ映像に対して、適応的な加重値を適用してステレオマッチングを行うステップと、
前記ステレオマッチングに応じて、デプスマップを生成するステップと、
原解像度状態の入力映像を参照し、前記デプスマップをアップスケーリングするステップと、
前記アップスケーリングされたデプスマップと前記原解像度状態の入力映像に対してデプス−映像基盤のレンダリングを行い、複数個の多時点映像を生成するステップと
を含み、
前記ステレオマッチングを行うステップは、
前記ステレオ映像の一つである第１入力映像および第２入力映像の各々に対して、予め設定された大きさのウィンドウを順次に適用するステップと、
前記各ウィンドウ内の中心ピクセルおよび周辺ピクセルの間の類似性を計算するステップと、
前記計算された前記中心ピクセルとの類似性に比例して増加する適応的な加重値を適用し、前記第１入力映像および前記第２入力映像の間のマッチングされるポイントを探索するステップと
を更に含む映像変換方法。

【請求項2】

前記デプスマップは、
前記マッチングされるポイント間の距離差に応じて異なるグレイレベルを有するイメージであることを特徴とする請求項１に記載の映像変換方法。

【請求項3】

前記グレイレベルは、前記マッチングされるポイント間の距離差に反比例する値に設定されることを特徴とする請求項２に記載の映像変換方法。

【請求項4】

前記デプスマップをアップスケーリングするステップは、
前記デプスマップと前記原解像度状態の入力映像の間の類似点を探索するステップと、
前記探索された類似点に対して前記適応的な加重値を適用して、前記デプスマップに対してアップスケーリングを行うステップと
を含むことを特徴とする請求項１に記載の映像変換方法。

【請求項5】

前記複数個の多時点映像は、非メガネ３Ｄディスプレイシステムから出力され、３Ｄ画面を構成するステップを更に含むことを特徴とする請求項１に記載の映像変換方法。

【請求項6】

映像変換装置において、
ステレオ映像をダウンスケーリングするダウンスケーラ部と、
前記ダウンスケーリングされたステレオ映像に対して適応的な加重値を適用してステレオマッチングを行い、前記ステレオマッチングに応じて、デプスマップを生成するステレオマッチング部と、
原解像度状態の入力映像を参照し、前記デプスマップをアップスケーリングするアップスケーラ部と、
前記アップスケーリングされたデプスマップと前記原解像度状態の入力映像に対してデプス−映像基盤のレンダリングを行い、複数個の多時点映像を生成するレンダリング部と
を含み、
前記ステレオマッチング部は、
前記ステレオ映像の一つである第１入力映像および第２入力映像の各々に対して、予め設定された大きさのウィンドウを順次に適用するウィンドウ生成部と、
前記第１入力映像および前記第２入力映像の各々のウィンドウ内の中心ピクセルおよび周辺ピクセルの間の類似性を計算する類似性計算部と、
前記計算された前記中心ピクセルとの類似性に比例して増加する加重値を適用し、前記第１入力映像および前記第２入力映像の間のマッチングされるポイントを探索する探索部と、
前記探索されたマッチングポイント間の移動距離を用いて、デプスマップを生成するデプスマップ生成部と
を含む映像変換装置。

【請求項7】

前記デプスマップは、
前記マッチングされるポイント間の距離差に応じて異なるグレイレベルを有するイメージであることを特徴とする請求項６に記載の映像変換装置。

【請求項8】

前記グレイレベルは、前記マッチングされるポイント間の距離差に反比例する値に設定されることを特徴とする請求項７に記載の映像変換装置。

【請求項9】

前記アップスケーラ部は、
前記デプスマップと前記原解像度状態の入力映像の間の類似点を探索し、前記探索された類似点に対して前記適応的な加重値を適用してアップスケーリングを行うことを特徴とする請求項６に記載の映像変換装置。

【請求項10】

前記複数個の多時点映像を非メガネ３Ｄディスプレイシステムから出力するインターフェース部を更に含むことを特徴とする請求項６に記載の映像変換装置。

【請求項11】

前記ステレオ映像を受信する受信部を更に含むことを特徴とする請求項６に記載の映像変換装置。

【請求項12】

ディスプレイ装置において、
ステレオ映像を受信する受信部と、
前記ステレオ映像をダウンスケーリングした後、適応的な加重値を適用してステレオマッチングを行い、前記ステレオマッチングに応じて、デプスマップを算出し、前記算出されたデプスマップおよび原解像度映像の入力映像を参照して前記デプスマップをアップスケーリングし、前記アップスケーリングされたデプスマップと原解像度状態の入力映像に対してデプス−映像基盤のレンダリングを行い、複数個の多時点映像を生成する映像変換処理部と、
前記映像変換処理部から生成された多時点映像を出力するディスプレイ部と
を含み、
前記映像変換処理部は、
前記ステレオ映像の一つである第１入力映像および第２入力映像の各々に対して、予め設定された大きさのウィンドウを順次に適用するウィンドウ生成部と、
前記第１入力映像および前記第２入力映像の各々のウィンドウ内の中心ピクセルおよび周辺ピクセルの間の類似性を計算する類似性計算部と、
前記計算された前記中心ピクセルとの類似性に比例して増加する加重値を適用し、前記第１入力映像および前記第２入力映像の間のマッチングされるポイントを探索する探索部と、
前記探索されたマッチングポイント間の移動距離を用いて、デプスマップを生成するデプスマップ生成部と
を含むディスプレイ装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像変換装置およびそれを利用するディスプレイ装置とその方法に関し、より詳細には、ステレオ映像を多時点映像に変換する映像変換装置およびそれを利用するディスプレイ装置とその方法に関する。

【背景技術】

【0002】

電子技術の発達により、多様な種類および機能の家電製品が発売されている。代表的な家電製品としては、テレビのようなディスプレイ装置が使用されている。

【0003】

一方、最近は、３Ｄ映像画面を視聴できる３Ｄディスプレイ装置も普及されている。３Ｄディスプレイ装置は、３Ｄ映像視聴用のメガネの使用有無に応じて、メガネ式または非メガネ式システムに分けられる。

【0004】

メガネ式システムの一例としては、ディスプレイ装置ではステレオ映像を交互に出力しつつ、それと連動してメガネの左右シャッタグラスを交互に開閉させてユーザが立体感を感じることができるようにするシャッタグラス方式がある。このようなシャッタグラス方式の３Ｄディスプレイ装置では、２Ｄ映像信号が入力される場合には、入力信号を左眼映像および右眼映像に変換して交互に出力する。一方、左眼および右眼映像信号を含むステレオ映像信号が入力される場合には、入力信号を交互に出力して３Ｄ画面を構成するようになる。

【0005】

非メガネ式システムは、多時点映像を空間的にシフトさせてディスプレイし、メガネをかけないユーザも立体感を感じることができるようにしている。このように、非メガネ式システムの場合、メガネを使用しなくとも、３Ｄ映像視聴が可能だという長所があるが、それを実現するためには、多時点映像を設けなければならないという不都合があった。

【0006】

すなわち、多時点映像は、一つの被写体に対して複数個の異なる時点から眺めた映像を意味する。基本的に、このような多時点映像を生成するためには、複数個のカメラを用いて複数個の映像信号を生成しなければならない。よって、放送製作そのものが難しく、コストへの負担を大きく、コンテンツ伝送時にも多くの帯域幅を使用するため、現実現に困難であった。このようなことを考慮し、現在まではメガネ式システムに対する開発への取り組みが更に主導的に行われており、それにより、コンテンツ自体も２Ｄまたはステレオ映像コンテンツが主流となっていた。

【0007】

しかし、メガネを設けずに、３Ｄ映像を視聴できる非メガネ式システムに対する要求が絶えず、メガネ式システムでも多時点映像が使用できる余地があったため、既存のステレオ映像を用いて多時点映像を設けることができる技術に対する必要性が生じている。

【発明の概要】

【発明が解決しようとする課題】

【0008】

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ステレオ映像を利用して多時点映像を生成できる映像変換装置およびそれを利用するディスプレイ装置とその方法を提供することにある。

【課題を解決するための手段】

【0009】

本発明の一実施形態によると、映像変換装置の映像変換方法は、ステレオ映像を受信するステップと、前記ステレオ映像をダウンスケーリングするステップと、前記ダウンスケーリングされたステレオ映像に対して適応的な加重値を適用してステレオマッチングを行うステップと、前記ステレオマッチング結果に応じて、デプスマップを生成するステップと、原解像度状態の入力映像を参照し、前記デプスマップをアップスケーリングするステップと、前記アップスケーリングされたデプスマップと前記原解像度状態の入力映像に対してデプス−映像基盤のレンダリングを行い、複数個の多時点映像を生成するステップとを含む。

【0010】

ここで、前記ステレオマッチングを行うステップは、前記ステレオ映像の一つである第１入力映像および第２入力映像の各々に対して、予め設定された大きさのウィンドウを順次に適用するステップと、前記第１入力映像および前記第２入力映像の各々に適用された前記ウィンドウ内の中心ピクセルおよび周辺ピクセルの間の類似性を計算するステップと、前記類似性に応じて異なる加重値を適用し、前記第１入力映像および前記第２入力映像の間のマッチングされるポイントを探索するステップとを含む。

【0011】

ここで、前記デプスマップは、前記マッチングされるポイント間の距離差に応じて異なるグレイレベルを有するイメージであってよい。

【0012】

一方、前記加重値は、前記中心ピクセルとの類似度に比例する大きさに設定され、前記グレイレベルは、前記マッチングされるポイント間の距離差に反比例する値に設定されてよい。

【0013】

なお、前記デプスマップをアップスケーリングするステップは、前記デプスマップと前記原解像度状態の入力映像の間の類似点を探索するステップと、前記探索された類似点に対して加重値を適用してアップスケーリングを行うステップとを含んでよい。

【0014】

そして、本映像変換方法は、前記複数個の多時点映像は、非メガネ３Ｄディスプレイシステムから出力され、３Ｄ画面を構成するステップを更に含んでよい。

【0015】

一方、本発明の一実施形態によると、映像変換装置は、ステレオ映像を受信する受信部と、前記ステレオ映像をダウンスケーリングするダウンスケーラ部と、前記ダウンスケーリングされたステレオ映像に対して適応的な加重値を適用してステレオマッチングを行い、前記ステレオマッチング結果に応じて、デプスマップを生成するステレオマッチング部と、原解像度状態の入力映像を参照し、前記デプスマップをアップスケーリングするアップスケーラ部と、前記アップスケーリングされたデプスマップと前記原解像度状態の入力映像に対してデプス−映像基盤のレンダリングを行い、複数個の多時点映像を生成するレンダリング部とを含む。

【0016】

ここで、前記ステレオマッチング部は、前記ステレオ映像の一つである第１入力映像および第２入力映像の各々に対して、予め設定された大きさのウィンドウを順次に適用するウィンドウ生成部と、前記ウィンドウ内の中心ピクセルおよび周辺ピクセルの間の類似性を計算する類似性計算部と、前記類似性に応じて異なる加重値を適用し、前記第１入力映像および前記第２入力映像の間のマッチングされるポイントを探索する探索部とを含んでよい。

【0017】

そして、前記デプスマップは、前記マッチングされるポイント間の距離差に応じて異なるグレイレベルを有するイメージであってよい。

【0018】

なお、前記加重値は、前記中心ピクセルとの類似度に比例する大きさに設定され、前記グレイレベルは、前記マッチングされるポイント間の距離差に反比例する値に設定されてよい。

【0019】

そして、前記アップスケーラ部は、前記デプスマップと前記原解像度状態の入力映像の間の類似点を探索し、前記探索された類似点に対して加重値を適用してアップスケーリングを行ってよい。

【0020】

なお、本映像変換装置は、前記複数個の多時点映像を非メガネ３Ｄディスプレイシステムから出力するインターフェース部を更に含んでよい。

【0021】

一方、本発明の一実施形態によると、ディスプレイ装置は、ステレオ映像を受信する受信部と、前記ステレオ映像をダウンスケーリングした後、適応的な加重値を適用してデプスマップを算出し、算出されたデプスマップおよび原解像度映像を用いてアップスケーリングを行って、多時点映像を生成する映像変換処理部と、前記映像変換処理部から生成された多時点映像を出力するディスプレイ部とを含む。

【0022】

ここで、前記映像変換処理部は、前記ステレオ映像をダウンスケーリングするダウンスケーラ部と、前記ダウンスケーリングされたステレオ映像に対して適応的な加重値を適用してステレオマッチングを行い、前記ステレオマッチング結果に応じて、デプスマップを生成するステレオマッチング部と、原解像度状態の入力映像を参照し、前記デプスマップをアップスケーリングするアップスケーラ部と、前記アップスケーリングされたデプスマップと前記原解像度状態の入力映像に対してデプス−映像基盤のレンダリングを行い、複数個の多時点映像を生成するレンダリング部とを含んでよい。

【発明の効果】

【0023】

以上説明したように、本発明によれば、ステレオ映像から多時点映像を容易に生成して活用することができるようになる。

【図面の簡単な説明】

【0024】

【図1】本発明の一実施形態に係る映像変換装置の構成を示すブロック図である。

【図2】ステレオマッチング部の構成の一例を示すブロック図である。

【図3】本発明の別の実施形態に係る映像変換装置の構成を示すブロック図である。

【図4】本発明の一実施形態に係るディスプレイ装置の構成を示すブロック図である。

【図5】本発明の一実施形態に係る映像変換過程を説明するための図である。

【図6】本発明の一実施形態に係る映像変換過程を説明するための図である。

【図7】本発明の一実施形態に係る映像変換過程を説明するための図である。

【図8】本発明の一実施形態に係る映像変換過程を説明するための図である。

【図9】本発明の一実施形態に係る映像変換過程を説明するための図である。

【図10】本発明の一実施形態に係る映像変換装置が適用された非メガネ式３Ｄディスプレイシステムの構成およびそのディスプレイ方法を示す図である。

【図11】本発明の一実施形態に係る映像変換装置が適用された非メガネ式３Ｄディスプレイシステムの構成およびそのディスプレイ方法を示す図である。

【図12】本発明の一実施形態に係る映像変換方法を説明するためのフローチャートである。

【図13】ステレオマッチング過程の一例を説明するためのフローチャートである。

【発明を実施するための形態】

【0025】

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

【0026】

図１は、本発明の一実施形態に係る映像変換装置の構成を示すブロック図である。同図に示すように、映像変換装置は、受信部１１０と、ダウンスケーラ部１２０と、ステレオマッチング部１３０と、アップスケーラ部１４０およびレンダリング部１５０を含む。

【0027】

受信部１１０は、ステレオ映像を受信する。ステレオ映像とは、二つ以上の映像を意味する。一例として、一つの被写体を異なる角度から撮影した二つの映像、すなわち、第１入力映像および第２入力映像がステレオ映像であってよい。説明の便宜上、本明細書では、第１入力映像を左眼映像（または、左側映像）、第２入力映像を右眼映像（または、右側映像）と称し、説明を進める。

【0028】

このようなステレオ映像は、多様なソースから提供されてよい。一例として、受信部１１０は、放送局チャネルのようなソースからステレオ映像を有線または無線で伝送されてよい。この場合、受信部１１０は、チューナ部や、復調部や、等化部等のような多様な構成要素を具備してよい。

【0029】

または、受信部１１０は、ＤＶＤや、ブルーレイディスク、メモリカード等のような各種記録媒体を再生できる記録媒体再生ユニット（図示せず）から再生されたステレオ映像を受信してよく、またはカメラから撮影されたステレオ映像を直接受信することもできる。この場合、受信部１１０は、ＵＳＢインターフェースのような各種インターフェースを具備する形態で実現されてよい。

【0030】

ダウンスケーラ部１２０は、受信部１１０を介して受信されたステレオ映像をダウンスケーリングする。すなわち、ステレオ映像を多時点映像に変換するためには、演算の負担を軽減することが望ましい。そのために、ダウンスケーラ部１２０は、入力されたステレオ映像をダウンスケーリングしてデータサイズを減らして、演算への負担を軽減させることができる。

【0031】

具体的には、ダウンスケーラ部１２０は、ステレオ映像に含まれた左眼映像および右眼映像に対して、各々予め定義された定数（ｎ）倍だけ解像度を下げる。一例として、予め定義された周期ごとにピクセルを除去したり、所定の大きさのピクセルブロックに対しては、ピクセルの平均値または代表値で表現する方式でダウンスケーリングを行うことができる。それにより、ダウンスケーラ部１２０は、低解像度の左眼映像データおよび低解像度の右眼映像データを出力することができる。

【0032】

ステレオマッチング部１３０は、ダウンスケーリングされた左眼映像および右眼映像で互いに対応するポイントを探すステレオマッチング作業を行う。この場合、ステレオマッチング部１３０は、適応的な加重値を用いてステレオマッチングを行うことができる。

【0033】

すなわち、左眼映像と右眼映像とは、一つの被写体を互いに異なる時点から撮影された映像であるため、視覚の差による映像の差異を生じ得る。例えば、左眼映像では、被写体のエッジ部分と背景が重なって映り、右眼映像では、若干離れた場合等が生じ得る。よって、被写体を基準に、一定範囲内のピクセル値を有するピクセルに対しては加重値を上げ、範囲から外れたピクセル値を有するピクセルに対しては加重値を下げる適応的な加重値を適用することができる。それにより、ステレオマッチング１３０は、左眼映像および右眼映像の各々に対して適応的な加重値を適用した後に、その適応的な加重値を比較してマッチングするか否かを決定することができる。このように、適応的な加重値を利用するようになると、正しい対応点であるにもかかわらず、低い相関関係を有すると判定されることを防止することができるようになるため、マッチングの正確度が向上する。

【0034】

ステレオマッチング部１３０は、マッチング結果に応じて、デプスマップ（ｄｅｐｔｈ ｍａｐ）を生成してよい。

【0035】

図２は、本発明の一実施形態に係るステレオマッチング部１３０の構成の一例を示すブロック図である。同図によると、ステレオマッチング部１３０は、ウィンドウ生成部１３１と、類似性計算部１３２と、探索部１３３およびデプスマップ生成部１３４を含む。

【0036】

ウィンドウ生成部１３１は、所定の大きさ（ｎ＊ｍ）のウィンドウを生成してダウンスケーリングされた左眼映像および右眼映像の各々に対して適用する。

【0037】

類似性計算部１３２は、ウィンドウ内の中心ピクセルおよび周辺ピクセルの間の類似性を計算する。例えば、左眼映像の第１ピクセルに対して、その第１ピクセルを中心ピクセルとするウィンドウが適用された場合なら、類似性計算部１３２は、ウィンドウ内で中心ピクセルを除く残りのピクセル、すなわち、周辺ピクセルのピクセル値を確認する。その後、中心ピクセルのピクセル値を基準に、予め設定された範囲内のピクセル値を有する周辺ピクセルを類似ピクセルと判断し、範囲を超過するピクセル値を有する周辺ピクセルは非類似ピクセルと判断する。

【0038】

探索部１３３は、類似性計算部１３２によって計算された類似性に応じて異なる加重値を適用し、左眼映像および右眼映像の間のマッチングされるポイントを探索する。

【0039】

加重値は、類似性に比例して大きくなってよい。例えば、０、１のように二つの加重値が使用される場合、中心ピクセルと類似する周辺ピクセルに対しては、加重値１が与えられ、非類似の周辺ピクセルに対しては、加重値０が与えられる。更に別の例として、１、０.３、０.６、１のように、４つの加重値が使用される場合、中心ピクセル値との差の大きさを範囲に応じて、４つのグループに区分し、最も差の大きい周辺ピクセルに対しては加重値０、その次に大きい周辺ピクセルは０.３、その次に大きい周辺ピクセルは０.６、差が最も小さいかピクセル値が同じグループに該当する周辺ピクセルは加重値１を与え、加重値マップを構成することができる。

【0040】

探索部１３３は、以下の数式を用いてマッチング度を算出することができる。

【0041】

【数1】

数式（１）で、ＳＵＭ（）は、ウィンドウ内の各ピクセルに対する計算の結果の合算を意味する関数であり、Ｌ＿ｉｍａｇｅおよびＲ＿ｉｍａｇｅは、各々左眼映像のピクセル値および右眼映像のピクセル値を意味し、Ｗ１およびＷ２は、各々当該ピクセルに対して決定された加重値を意味する。探索部１３３は、数式１のような方式で、左眼映像の各ウィンドウに対して、右眼映像の全ウィンドウを比較し、左眼映像と右眼映像の間で互いにマッチングされるウィンドウを探索することができる。

【0042】

デプスマップ生成部１３４は、探索部１３３から探索されたマッチングポイント間の移動距離に基づいて、デプスマップを生成する。すなわち、左眼映像内で被写体を構成するａピクセルの位置と、右眼映像内でａピクセルの位置とを比較し、その差を算出する。それにより、算出された差に対応するグレイレベルを有するイメージ、すなわち、デプスマップを生成する。

【0043】

デプスとは、被写体とカメラとの間の距離、被写体と被写体の映像が結像する記録媒体（例えば、フィルム）の間の距離、立体感の具合等で定義されてよい。よって、左眼映像と右眼映像との間のポイント間の距離差が大きい場合、その分だけ更に立体感が増大していることが分かる。デプスマップとは、このようなデプスの変化状態を一つの映像で構成することを意味する。具体的に、デプスマップは、左眼映像および右眼映像で互いにマッチングされるポイント間の距離の大きさに応じて異なるグレイレベルで表示されてよい。すなわち、デプスマップ生成部１３４は、距離差が大きいポイントは明るく表示され、小さいポイントは暗く表示されるデプスマップを生成することができる。

【0044】

図１に戻り説明すると、ステレオマッチング部１３０によってデプスマップが生成されると、アップスケーラ部１４０は、デプスマップをスケーリングする。ここで、アップスケーラ部１４０は、原解像度状態の入力映像（すなわち、左眼映像または右眼映像）を参照し、デプスマップをアップスケーリングすることができる。すなわち、アップスケーラ部１４０は、入力映像の輝度情報またはカラー値の構造を考慮し、低解像度状態のデプスマップの各ポイントに対して異なる加重値を適用して、アップスケーリングを行うことができる。

【0045】

一例として、アップスケーラ部１４０は、原解像度状態の入力映像をブロックで区分した後、ブロック内のピクセル値を比較して類似性を検討することができる。検討の結果に応じて類似する部分に対しては、高い加重値を与えて加重値ウィンドウを生成することができる。その後、生成された加重値ウィンドウをデプスマップに適用してアップスケーリングするようになると、デプスマップ内で主要部分に対しては、高い加重値でアップスケーリングが行われることができる。このように、原解像度の入力映像を考慮して適応的なアップスケーリングを行うことができる。

【0046】

レンダリング部１５０は、アップスケーリングされたデプスマッチと原解像度状態の入力映像に対して、デプス−映像基盤のレンダリングを行い、複数個の多時点映像を生成する。この場合、レンダリング部１５０は、一つの時点から眺めた映像を生成した後、その映像とデプスマップを用いて別の時点から眺めた映像を推定して生成することができる。すなわち、レンダリング部１５０は、一つの映像が生成されると、その生成された映像を基準映像として、焦点距離、被写体のデプス等を用いて、時点変化時に記録媒体（すなわち、フィルム）上における移動距離を推定する。レンダリング部１５０は、推定された移動距離および方向に応じて、基準映像の各ピクセルの位置を移動させて、新たな映像を生成する。生成された映像は、基準映像とは所定の角度だけ離隔している状態で被写体を眺めた映像であってよい。レンダリング部１５０は、このような方式で複数の多時点映像を生成することができる。

【0047】

一方、図１の映像変換装置は、一つのモジュールまたはチップで実現され、ディスプレイ装置に搭載されてよい。

【0048】

または、ディスプレイ装置とは別に設けられた独立的な装置で実現されてよい。例えば、セットトップボックス、パソコン、イメージプロセッサ装置等のような装置で実現されてよい。この場合、生成された多時点映像をディスプレイ装置に提供することができる構成が更に必要となってよい。

【0049】

図３は、本映像変換装置がディスプレイ装置とは別に設けられる場合を説明するためのブロック図である。同図によると、映像変換装置は、受信部１１０と、ダウンスケーラ部１２０と、ステレオマッチング部１３０と、アップスケーラ部１４０と、レンダリング部１５０の他に、インターフェース部１６０を含んでよい。

【0050】

インターフェース部１６０は、レンダリング部１５０から生成された複数個の多時点映像を外部のディスプレイ装置に伝送するための構成である。一例として、インターフェース部１６０は、ＵＳＢインターフェース部や無線通信プロトコルを利用する無線通信インターフェース部等で実現されてよい。なお、上述のディスプレイ装置は、非メガネ３Ｄディスプレイシステムであってよい。

【0051】

インターフェース部１６０を除く残りの構成要素は、図１を参照して説明した内容と同様であるため、繰り返し説明は省略する。

【0052】

図４は、本発明の一実施形態に係るディスプレイ装置の構成を示すブロック図である。図４のディスプレイ装置は、３Ｄディスプレイが可能な装置であってよい。具体的には、図４のディスプレイ装置は、テレビやパソコンモニタ、デジタルフォトフレーム、ＰＤＰ、携帯電話のような多様な装置であってよい。

【0053】

同図によると、ディスプレイ装置は、受信部２１０と、映像変換処理部２２０およびディスプレイ部２３０を含む。

【0054】

受信部２１０は、外部ソースからステレオ映像を受信する。

【0055】

映像変換処理部２２０は、受信されたステレオ映像をダウンスケーリングした後、適応的な加重値を適用してデプスマップを算出する。その後、算出されたデプスマップおよび原解像度映像を用いてアップスケーリングを行って多時点映像を生成する。

【0056】

ディスプレイ部２３０は、映像変換処理部２２０から生成された多時点映像を出力し、３Ｄ画面を構成することができる。一例として、ディスプレイ部２３０は、多時点映像を空間的に区分して出力し、メガネをかけなくても被写体との距離感を感じ、３Ｄ映像として認識するようにすることができる。この場合、ディスプレイ部２３０は、パララックスバリア（Ｐａｒａｌｌａｘ Ｂａｒｒｉｅｒ）技術またはレンチキュラー（Ｌｅｎｔｉｃｕｌａｒ）技術によるディスプレイパネルで実現されてよい。

【0057】

または、ディスプレイ部２３０は、多時点映像を時間的に交互に出力し、立体感を感じるように実現してよい。すなわち、本ディスプレイ装置は、非メガネシステムおよびメガネシステムのいずれか一方のシステムで実現されてよい。

【0058】

一方、映像変換処理部２２０は、図１ないし図３に開示された構成で実現されてよい。すなわち、映像変換処理部２２０は、ステレオ映像をダウンスケーリングするダウンスケーラ部と、ダウンスケーリングされたステレオ映像に対して適応的な加重値を適用してステレオマッチングを行い、ステレオマッチング結果に応じてデプスマップを生成するステレオマッチング部と、原解像度状態の入力映像を参照し、前記デプスマップをアップスケーリングするアップスケーラ部と、前記アップスケーリングされたデプスマップと前記原解像度状態の入力映像に対してデプス−映像基盤のレンダリングを行い、複数個の多時点映像を生成するレンダリング部等を含んでよい。映像変換処理部２２０の細部構成および動作については、図１ないし図３に説明された内容と同様であるため、繰り返し説明は省略する。

【0059】

図５ないし図９は、本発明の一実施形態に係る映像変換方法を説明するための図である。

【0060】

まず、図５によると、原解像度の大きさの左眼映像５００と、右眼映像６００とが受信部１１０によって受信されると、ダウンスケーラ部１２０がダウンスケーリングを行い、低解像度の左眼映像５１０および右眼映像６１０を出力する。

【0061】

低解像度の左眼映像５１０および右眼映像６１０に対しては、ステレオマッチングの手続きが進められ、コストボリューム（ｃｏｓｔ ｖｏｌｕｍｅ）５２０が計算されてよい。それにより、各ピクセルごとに最も低いコストを有するデプス（ｄｅｐｔｈ）が選択され、デプスマップ５３０が生成される。

【0062】

ステレオマッチングの手続きは高い計算量を要求するため、上述のように、ダウンスケーリングを先行して低解像度の映像にした後に、ステレオマッチングを進めることにより、アルゴリズムの複雑度を下げて演算への負担を軽減することができる。ただ、単なる方式でステレオマッチングを行うようになると、合成された映像の画質の低下が生じるおそれがある。それにより、本実施形態では、適応的な加重値ウィンドウ（ａｄａｐｔｉｖｅ ｗｅｉｇｈｔｅｄ ｗｉｎｄｏｗ）基盤のステレオマッチングアルゴリズム（ｓｔｅｒｅｏ ｍａｔｃｈｉｎｇ ａｌｇｏｒｉｔｈｍ）を使用する。それについては、詳細に後述する。

【0063】

一方、デプスマップ５３０が生成されると、デプスマップ５３０と原解像度の入力映像のうちの一つ（図５の場合、左眼映像５００）を用いてアップスケーリングを行う。すなわち、低解像度のデプスマップ５３０を単にアップスケーリングするようになると、画質低下が生じかねない。それにより、原解像度状態の左眼映像５００に基づいて、加重値ウィンドウを生成し、その加重値ウィンドウをデプスマップ５３０に適用して特定部分に対しては、アップスケーリングがより大きい値で行われ、背景のような部分では相対的に小さい値で行われるようにすることができる。

【0064】

具体的には、原解像度状態の左眼映像５００をブロックで区分した後、ブロック内のピクセル値を比較して類似性を検討することができる。ピクセル値の類似性に応じて類似する部分に対しては、高い加重値を与えて加重値ウィンドウを生成することができる。その後に、生成された加重値ウィンドウを低解像度のデプスマップ５３０上で同じ部分に適用してアップスケーリングを行う。それにより、背景等を除く客体部分、特に、エッジ部分等で高い加重値でアップスケーリングが行われるようになり、画質の低下を防止することができる。

【0065】

このように、アップスケーリングが行われて、高解像度のデプスマップ５４０が設けられると、再び原解像度の入力映像５００を参照し、多時点映像７００−１〜７００ｎ）を生成する。多時点映像の数は、実施形態に応じて異なってよいが、一例としては、９つの多時点映像が利用されてよい。

【0066】

図５においては、左眼映像５１０に対するデプスマップと、原解像度の左眼映像５００を用いてアップスケーリングを行うことを示しているが、必ずしもそれに限定されるものではない。

【0067】

図６は、低解像度の左眼映像および右眼映像の各々に対してウィンドウを適用する過程を説明するための図である。図６によると、左眼映像５１０および右眼映像６１０上で、各ピクセルを中心ピクセル（Ｃ）とするウィンドウを各々順次に生成する。このとき、図６のように、背景の境界と登場人物の境界とが近くなる部分があってよい。この場合、左眼映像と右眼映像の視覚が互いに異なるため、背景と登場人物の間の位置関係によって、背景および背景人物が少し離れているように見えてよく、重なって見えてよい。

【0068】

すなわち、図６のように、背景２０が登場人物１０の左側にある場合、左眼映像５１０の１ピクセル（Ｃ１）を中心ピクセルとするウィンドウ（ａ）では、背景部分２０が登場人物１０と少し離れているように見えるが、右側の右眼映像６１０の１ピクセル（Ｃ２）を中心ピクセルとするウィンドウ（ｂ）では、背景２０と登場人物１０が重なるようになる。

【0069】

図７は、左眼映像に対して適用されたウィンドウ（ａ）と右眼映像に対して適用されたウィンドウ（ｂ）をそのまま用いてマッチング度を算出する過程を示す。同図に示すように、左眼映像ウィンドウ（ａ）の各ピクセル値に対して右眼映像ウィンドウ（ｂ）の各ピクセル値を直接差し引いた後、二乗し、マッチングするか否かを判断する。この場合、図６の例でのように、背景と登場人物との間の境界地点では、左眼映像および右眼映像のウィンドウ（ａ、ｂ）のピクセルが相当異なるように現れかねないため、マッチング度が極めて低く示される。

【0070】

図８は、本発明の一実施形態によって加重値ウィンドウを用いてマッチング度を算出する過程を示す。同図によると、左眼映像ウィンドウ（ａ）に対する第１加重値ウィンドウ（ｗ１）と、右眼映像ウィンドウ（ｂ）に対する第２加重値ウィンドウ（ｗ２）が利用される。

【0071】

第１加重値ウィンドウ（ｗ１）および第２加重値ウィンドウ（ｗ２）は、各々左眼映像および右眼映像に基づいて得られてよい。すなわち、第１加重値ウィンドウ（ｗ１）を例えると、左眼映像ウィンドウ（ａ）内で中心ピクセル（ｃ１）のピクセル値と周辺ピクセルのピクセル値とを比較する。それにより、中心ピクセル（ｃ１）と同様か、所定の誤差範囲内に属する類似するピクセル値を有する周辺ピクセルに対しては、高い加重値を与える。すなわち、ウィンドウ（ａ）では、中心ピクセル（ｃ１）が登場人物を構成するピクセルであるため、登場人物を構成する別の周辺ピクセルに対して高い加重値が与えられる。一方、登場人物を除く残りのピクセルに対しては、相対的に低い加重値が与えられる。加重値の例として０または１を挙げるとしたら、登場人物に該当するピクセルは加重値１が与えられ、残りのピクセルは加重値０が与えられてよい。このような方式で、第１加重値ウィンドウ（ｗ１）が生成されてよい。第２加重値ウィンドウ（ｗ２）は右眼映像ウィンドウ（ｂ）に基づいて、同じ方式で生成されてよい。

【0072】

このような状態で、第１および第２加重値ウィンドウ（ｗ１、ｗ２）が生成されると、図８のように、左眼映像ウィンドウ（ａ）および右眼映像ウィンドウ（ｂ）に対して、各々乗算する。その後、乗算した値を減算してから二乗し、その結果値に基づいてマッチングを行うか否かを判断する。このように、加重値ウィンドウを各ウィンドウ（ａ、ｂ）に乗算するため、背景要素の影響を最小限化しつつ、主要部の登場人物に基づいてマッチングを行うか否かが判断されてよい。よって、図６のように、背景と登場人物の境界部分に対するウィンドウが背景の影響のため、マッチングされないポイントであると判断されることを防止することができるようになる。

【0073】

図８に示すような方式で、低解像度の左眼映像および右眼映像５１０、６１０の各々に対してマッチングされるポイントを探索するようになると、そのマッチングポイントの間の距離を算出し、コストボリューム５２０を設ける。それにより、その算出された距離に対応するグレイレベルを有するデプスマップを生成するようになる。

【0074】

その後、生成されたデプスマップと原解像度の入力映像を用いてアップスケーリングを行う。

【0075】

図９は、本発明の一実施形態に係るアップスケーリング過程を説明するための図である。同図によると、原解像度の左眼映像５００を参考にしない場合（ａ）および参考にする場合（ｂ）で、低解像度状態の左眼映像のデプスマップ５３０をアップスケーリングしたときの画質状態を示している。

【0076】

まず、図９の（ａ）では、原解像度の左眼映像５００を参考にせずに、低解像度のデプスマップ５３０−１を直ちにアップスケーリングした場合を示す。それは、通常のアップスケーリング方式により、所定の周期またはパターンでピクセルを補間して解像度を単純に増大させる方式が使用されてよい。この場合、エッジ部分に対する処理が正常に行われないため、アップスケーリングされたデプスマップ５３０−２でエッジが滑らかではなく、断層状態で表現されることを確認することができる。それにより、全デプスマップ５４０’の画質は劣化した状態であることが分かる。

【0077】

一方、図９の（ｂ）では、原解像度の左眼映像５００を参考にし、低解像度のデプスマップ５３０をアップスケーリングする過程を示す。まず、低解像度のデプスマップ５３０の各ピクセルに対してウィンドウ５３０−１を適用する。その後、原解像度の左眼映像５００内のウィンドウの中で、デプスマップウィンドウ５３０−１にマッチングされるウィンドウ５００−１を探索する。その後、探索されたウィンドウ５００−１に対する加重値ウィンドウ（ｗ３）を生成する。本加重値ウィンドウ（ｗ３）は、ウィンドウ５００−１内の中心ピクセルとその周辺ピクセルの間の類似度を用いて、ウィンドウ内の各ピクセルに対して加重値を与えたウィンドウを意味する。それにより、生成された加重値ウィンドウ（ｗ３）をデプスマップウィンドウ５３０−１に適用してアップスケーリングを行う。それにより、アップスケーリングされたデプスマップウィンドウ５４０−１は、図９の（ａ）のデプスマップウィンドウ５３０−２と違って、エッジ部分が滑らかに処理されていることを確認することができる。結果的に、全デプスマップウィンドウ５４０−１が集めるようになると、高解像度のデプスマップ５４０が生成される。図９の（ａ）のように、原解像度の入力映像を参考にせずに、アップスケーリングされたデプスマップ５４０’と比較すると、図９の（ｂ）のように、原解像度の入力映像を参考にして、アップスケーリングされたデプスマップ５４０の画質がずっと改善された状態であることが分かる。

【0078】

図１０は、アップスケーリングされたデプスマップ５４０および原解像度の入力映像を用いて生成された多時点映像を用いて、３Ｄディスプレイを実現する過程を説明するための図である。

【0079】

同図によると、ステレオ入力、すなわち、左眼映像（Ｌ）および右眼映像（Ｒ）が映像変換装置１００に入力される。映像変換装置１００は、上述の方式で左眼映像および右眼映像を処理し、多時点映像を生成する。その後、ディスプレイ部２３０を介して多時点映像を空間分割方式でディスプレイする。それにより、ディスプレイ部２３０を眺める視聴者（ＵＳＥＲ）は、その位置に応じて両眼から互いに異なる時点映像（ｖｉｅｗ）を各々見るようになり、メガネをかけなくても立体感を感じることができるようになる。

【0080】

図１１は、多時点映像の出力方式の一例を示す図である。図１１によると、ディスプレイ部２３０では、計９つの多時点映像（Ｖ１ないしＶ９）を空間的に分割された方向に出力するようになる。図１１のように、左側から最後の９番目の映像出力が終わる部分では、再び一番目の映像から出力するようになる。それにより、ディスプレイ部２３０の正面を眺めるユーザではなく、側面方向に位置したユーザであるとしても、立体感を感じることができるようになる。一方、多時点映像の数は、必ずしも９つに限定されるものではなく、その数に応じてディスプレイ方向の数も異なってよい。

【0081】

このように、本発明の多様な実施形態によると、ステレオ映像を効果的に多時点映像に変換することができるようになり、非メガネ３Ｄディスプレイシステムおよびその他のディスプレイシステムに適用できるようになる。

【0082】

図１２は、本発明の一実施形態に係る映像変換方法を説明するためのフローチャートである。

【0083】

同図によると、ステレオ映像が受信されると（Ｓ１２１０）、各々の映像に対してダウンスケーリングが行われる（Ｓ１２２０）。ここで、ステレオ映像とは、互いに異なる時点から撮影された複数の映像を意味する。一例として、人の両眼時差分だけ離隔している状態で、撮影された左側おおび右側映像、すなわち、左眼および右眼映像であってよい。

【0084】

その後、ダウンスケーリングの各映像に対してウィンドウを適用してマッチングされるポイントを探索する。すなわち、ステレオマッチングを行う（Ｓ１２３０）。この場合、ウィンドウ内の各ピクセル間の類似度を考慮して、加重値を与える加重値ウィンドウを利用することができる。

【0085】

それにより、マッチングされるポイントが探索されると、当該ポイントの間の距離差を用いてデプスマップを生成する（Ｓ１２４０）。その後、生成されたデプスマップをアップスケーリングする（Ｓ１２５０）。この場合、原解像度の入力映像を参照し、一定の部分に加重値を与えて、アップスケーリングを行うことができる。それにより、エッジ部分等のように、主要部分ではアップスケーリングがより集中的に行われ、画質の低下を防止することができる。

【0086】

このように、アップスケーリングが行われると、アップスケーリングされたデプスマップおよび原解像度の入力映像を用いて多時点映像を生成する（Ｓ１２６０）。具体的には、一つの多時点映像を先に生成した後、その多時点映像に基づいて残りの多時点映像を生成する。本方法が、ディスプレイ装置とは別に設けられた映像変換装置で行われる場合なら、生成された多時点映像はディスプレイ装置、特に、非メガネ３Ｄディスプレイシステムに伝送されるステップが更に含まれてよい。それにより、３Ｄ画面で出力されてよい。または、本発明がディスプレイ装置自体で行われる場合なら、生成された多時点映像を３Ｄ画面に出力するステップが更に含まれてよい。

【0087】

図１３は、加重値ウィンドウを用いたステレオマッチング過程の一例を説明するためのフローチャートである。同図によると、第１入力映像および第２入力映像の各々に対してウィンドウを適用する（Ｓ１３１０）。

【0088】

その後、ウィンドウ内の各ピクセル値を確認し、ピクセル間の類似性を計算する（Ｓ１３２０）。

【0089】

それにより、類似性に応じて異なる加重値を適用し、第１入力映像ウィンドウおよび第２入力映像ウィンドウの各々に対する加重値ウィンドウを生成する。その後、生成された加重値ウィンドウを第１入力映像ウィンドウおよび第２入力映像ウィンドウに各々適用し、互いにマッチングされるか否かを比較する。それにより、マッチングポイントを探索する（Ｓ１３３０）。

【0090】

一方、マッチングポイントの比較は、第１入力映像の１ピクセルに対して一つのウィンドウが適用された状態で、第２入力映像の全ピクセルに対してウィンドウを移動させつつ、全てを比較することができる。その後、第１入力映像の次のピクセルに対しても再びウィンドウを適用し、新たなウィンドウと第２入力映像の全ウィンドウを再び比較することができる。このような方式で、第１入力映像の全ウィンドウと第２入力映像の全ウィンドウを比較し、マッチングポイントを探索することができる。

【0091】

以上のように、本発明の多様な実施形態によると、ステレオ映像信号を適切に変換して複数個の多時点映像を生成することができるようになる。それにより、既存のステレオ映像で製作されたコンテンツをそのまま多時点映像コンテンツで活用することができるようになる。

【0092】

なお、上述の本発明の多様な実施形態に係る映像変換方法は、多様な記録媒体に保存され、ＣＰＵによって実行されるプログラムコードで実現されてよい。

【0093】

具体的には、上述の電源提供方法を行なうためのコードは、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、レジスタ、ハードディスク、リムーバブルディスク、メモリカード、ＵＳＢメモリ、ＣＤ−ＲＯＭ等のように、端末機で読取可能な多様な記録媒体に保存されていてよい。

【0094】

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】