特許 5692980 深さマップ生成を用いた変換方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5692980

(24)【登録日】2015年2月13日

(45)【発行日】2015年4月1日

(54)【発明の名称】深さマップ生成を用いた変換方法および装置

(51)【国際特許分類】

   G06T 1/00 20060101AFI20150312BHJP

   H04N 13/02 20060101ALI20150312BHJP

【ＦＩ】

   G06T1/00 315

   H04N13/02

【請求項の数】24

【全頁数】17

(21)【出願番号】特願2009-214604(P2009-214604)

(22)【出願日】2009年9月16日

(65)【公開番号】特開2010-79899(P2010-79899A)

(43)【公開日】2010年4月8日

【審査請求日】2012年3月30日

【審判番号】不服2014-1713(P2014-1713/J1)

【審判請求日】2014年1月30日

(31)【優先権主張番号】10-2008-0093956

(32)【優先日】2008年9月25日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】鄭 用 柱

(72)【発明者】

【氏名】白 アロン

(72)【発明者】

【氏名】朴 斗 植

【合議体】

【審判長】 清水 正一

【審判官】 藤井 浩

【審判官】 豊島 洋介

(56)【参考文献】

【文献】 特開２００４−３２０１８９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

G06T 1/00

G06T 19/00

H04N 13/00 - 15/00

(57)【特許請求の範囲】

【請求項1】

入力イメージから決定されたエッジを用いてエッジマップを生成するステップと、
前記エッジマップで予め設定された条件を満たすエッジを抽出して、前記抽出されたエッジを入力された初期ラインマップにマッピングしてラインマップを生成するステップであって、前記ラインマップは互いに交差しない複数のライン及び前記複数のラインによって区分される複数の領域を含む、ステップと、
前記複数の領域に異なる深さ値を順次的に割り当てて深さマップを生成するステップであって、隣接するラインによって区分された領域の中では深さ値が同じである、ステップと、
を含むことを特徴とする２次元映像の３次元映像変換のための深さマップ生成を用いた変換方法。

【請求項2】

前記入力イメージ上のエッジを用いてエッジマップを生成するステップは、
前記入力イメージのピクセルの検出された輝度差によるエッジを抽出してエッジマップを生成するステップ、
を含むことを特徴とする請求項１に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換方法。

【請求項3】

前記予め設定された条件を満足するエッジは、
予め設定された値よりも強いエッジであり、
前記マッピングは、前記エッジマップの一側境界からさらに他の一側境界の方向に、前記抽出されたエッジに含まれたポイントを追跡して前記複数のラインを生成するものである
ことを特徴とする請求項１に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換方法。

【請求項4】

前記深さマップを生成するステップは、
前記複数の領域に対して深さ値を順次的に増加または減少させる方法によって前記深さマップを生成するステップ、
であることを特徴とする請求項１に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換方法。

【請求項5】

前記複数の領域のうち特定の１領域内の深さ値は同一であることを特徴とする請求項４に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換方法。

【請求項6】

前記複数のラインは、
予め設定された勾配値を超過しないことを特徴とする請求項１に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換方法。

【請求項7】

前記ラインマップを生成するステップは、
前記ラインが垂直方向に急変することを防ぎ、前記エッジマップに最も近いラインを選択するために平滑度制約を適用するステップ、
をさらに含むことを特徴とする請求項１に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換方法。

【請求項8】

前記ラインマップを生成するステップは、
前記ラインのうちの１つのラインが予め設定された値よりも垂直方向に急変することを制限するための弾性制約を適用するステップ、
をさらに含むことを特徴とする請求項１に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換方法。

【請求項9】

前記エッジマップを生成するステップは、
前記入力イメージをダウンスケーリングするステップ、
をさらに含むことを特徴とする請求項１に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換方法。

【請求項10】

前記深さマップをアップスケーリングするステップと、
前記深さマップをスムージングするステップと、
をさらに含むことを特徴とする請求項１に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換方法。

【請求項11】

前記深さマップの各ピクセルの位置の深さ値に基づいて側面移動させ、前記側面移動に基づいてステレオ映像を生成するステップ、
をさらに含むことを特徴とする請求項１に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換方法。

【請求項12】

前記深さマップを用いて画像深さキューを生成するステップと、
前記画像深さキューを用いて前記深さマップを再生成するステップと、
をさらに含むことを特徴とする請求項１に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換方法。

【請求項13】

入力イメージから決定されたエッジを用いてエッジマップを生成するエッジ感知部と、
前記エッジマップで予め設定された条件を満たすエッジを抽出して、前記抽出されたエッジを入力された初期ラインマップにマッピングしてラインマップを生成するライン追跡部であって、前記ラインマップは、互いに交差しない複数のライン及び前記複数のラインによって区分される複数の領域を含む、ライン追跡部と、
前記複数の領域に異なる深さ値を順次的に割り当てて深さマップを生成する深さ生成部であって、隣接するラインによって区分された領域の中では深さ値が同じである、生成部と、
を備えることを特徴とする２次元映像の３次元映像変換のための深さマップ生成を用いた変換装置。

【請求項14】

前記エッジ感知部は、
前記入力イメージのピクセルの輝度差によるエッジを抽出してエッジマップを生成することを特徴とする請求項１３に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換装置。

【請求項15】

前記予め設定された条件を満足するエッジは、予め設定された値よりも強いエッジであり、
前記ライン追跡部は、
前記エッジマップの一側境界からさらに他の一側境界の方向に、前記抽出されたエッジに含まれたポイントを追跡して前記複数のラインを生成することを特徴とする請求項１３に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換装置。

【請求項16】

前記深さ生成部は、
前記複数の領域に対して深さ値を順次的に増加または減少させる方法によって深さマップを生成することを特徴とする請求項１３に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換装置。

【請求項17】

前記複数の領域のうち特定の１領域内の深さ値は同一であることを特徴とする請求項１６に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換装置。

【請求項18】

前記複数のラインは、
予め設定された勾配値を超過しないことを特徴とする請求項１３に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換装置。

【請求項19】

前記ライン追跡部は、
前記ラインが垂直方向に急変することを防ぎ、前記エッジマップに最も近いラインを選択するために平滑度制約を適用することを特徴とする請求項１３に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換装置。

【請求項20】

前記ライン追跡部は、
前記ラインのうちの１つのラインが予め設定された値よりも垂直方向に急変することを制限するための弾性制約を適用することを特徴とする請求項１３に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換装置。

【請求項21】

前記入力イメージをダウンスケーリングするダウンスケーリング部、
をさらに備えることを特徴とする請求項１３に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換装置。

【請求項22】

前記深さマップをアップスケーリングするアップスケーリング部と、
前記深さマップをスムージングするスムージング部と、
をさらに備えることを特徴とする請求項１３に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換装置。

【請求項23】

前記深さマップの各ピクセルの位置の深さ値に基づいて側面移動させてステレオ映像を生成する側面移動部、
をさらに備えることを特徴とする請求項１３に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換装置。

【請求項24】

前記深さマップを用いて画像深さキューを生成する画像深さキュー生成部と、
前記画像深さキューを用いて前記深さマップを再生成する深さマップ再生成部と、
をさらに備えることを特徴とする請求項１３に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、深さマップ生成を用いた変換方法および装置に関し、より詳細には、２次元映像の３次元映像変換のための深さマップ生成方法および装置に関する。

【背景技術】

【0002】

最近では３次元ディスプレイ装置の発展に伴い、一般視聴者に既存の映像よりもより現実的な立体感と臨場感がある３次元映像を提供できるようになり、これによって３次元コンテンツに対する需要が増加し続けている。

【0003】

ステレオ３次元ディスプレイ（Ｓｔｅｒｅｏｓｃｏｐｉｃ ３Ｄ Ｄｉｓｐｌａｙ）の商用化と３次元映画などのような３次元コンテンツサービスの増加趨勢により、ユーザの経験欲求は高まっている。しかしながら、現在、３次元ディスプレイが市場で訴求力を有するための最大の問題は、３次元コンテンツ（３Ｄ Ｃｏｎｔｅｎｔｓ）の不足にある。一般的に、３次元映像を提供するためには様々な時点の２次元映像が必要であったが、このような方式では過去に製作された単一時点の２次元映像を活用することができなかった。

【0004】

したがって、２次元イメージ／ビデオ（２Ｄ Ｉｍａｇｅ／Ｖｉｄｅｏ）をステレオ（Ｓｔｅｒｅｏ）映像に変換してステレオ３次元ディスプレイでレンダリングするための技術が切に求められている。

【発明の開示】

【発明が解決しようとする課題】

【0005】

本発明は、上述した問題点を解決するために案出されたものであって、深さマップ生成方法および装置をステレオ３次元テレビ（Ｓｔｅｒｅｏｓｃｏｐｉｃ ３Ｄ ＴＶ）に適用することができる深さマップ生成方法および装置のような変換装置および方法を提供することを目的とする。

【0006】

また、本発明は、予め製作された２次元映像を用いて多様な３次元映像コンテンツを提供することを他の目的とする。

【0007】

さらに、本発明は、２次元映像の３次元映像変換チップ（２Ｄ−ｔｏ−３Ｄ ｃｏｎｖｅｒｓｉｏｎ ｃｈｉｐ）またはソフトウェア（Ｓｏｆｔｗａｒｅ）に適用し、ステレオ３次元ディスプレイ／テレビ、ＤＶＤ／ＢＤプレーヤなどの多様なディスプレイおよび映像再生装置への活用を可能にすることをさらに他の目的とする。

【課題を解決するための手段】

【0008】

上述した問題点を解決するために、本発明の実施形態に係る２次元映像の３次元映像変換のための深さマップ生成を用いた変換方法は、入力イメージの決定されたエッジ（ｅｄｇｅ）を用いてエッジマップ（ｅｄｇｅ ｍａｐ）を生成するステップと、前記エッジマップで予め設定された条件を満たすエッジを抽出して入力された初期ラインマップ（Ｉｎｉｔｉａｌ ｌｉｎｅ ｍａｐ）にマッピングし、前記抽出されたエッジの入力された初期ラインマッピングによって生成されるラインを含むラインマップ（ｌｉｎｅ ｍａｐ）を生成するステップと、前記ラインマップのラインを用いて順次的な深さ（ｄｅｐｔｈ）値を有する深さマップ（ｄｅｐｔｈ ｍａｐ）を生成するステップとを含む。

【0009】

このとき、前記入力イメージ上のエッジを用いてエッジマップを生成するステップは、前記入力イメージのピクセルの検出された輝度差によるエッジを抽出してエッジマップを生成するステップであり得る。

【0010】

このとき、前記エッジマップから予め設定された値よりも強いエッジを抽出して初期ラインマップにマッピングし、前記マッピングによって生成されるラインを含むラインマップを生成するステップは、前記エッジマップの一側境界（ｂｏｒｄｅｒ）からさらに他の一側境界の方向に、予め設定された値よりも強いエッジを抽出して初期ラインマップにマッピングし、前記マッピングによって生成されるラインを含むラインマップを生成するステップであり得る。

【0011】

このとき、前記ラインマップのラインを用いて順次的な深さ値を含む深さマップを生成するステップは、前記ラインと順次的に隣接したラインとの間に位置する間領域の深さ値を順次的に増加または減少させる方法によって深さマップを生成するステップであり得る。

【0012】

このとき、前記間領域は、前記ラインマップのそれぞれのラインとラインの間に位置し、同じ深さ値を有することができる。

【0013】

このとき、前記ラインは、相互交差されず、予め設定された勾配値を超過しない場合がある。

【0014】

このとき、前記マッピングによって生成されるラインを含むラインマップを生成するステップは、前記ラインが垂直方向（ｖｅｒｔｉｃａｌ ｄｉｒｅｃｔｉｏｎ）に急変することを防ぎ、前記エッジマップに最も近いラインを選択するために平滑度制約（Ｓｍｏｏｔｈｎｅｓｓ ｃｏｎｓｔｒａｉｎｔ）を適用するステップをさらに含むことができる。

【0015】

このとき、前記マッピングによって生成されるラインを含むラインマップを生成するステップは、前記ラインのうちの１つのラインが予め設定された値よりも垂直方向に急変することを制限するための弾性制約（Ｅｌａｓｔｉｃｉｔｙ ｃｏｎｓｔｒａｉｎｔ）を適用するステップであり得る。

【0016】

このとき、前記入力イメージ上のエッジを用いてエッジマップを生成するステップは、前記入力イメージをダウンスケーリング（ｄｏｗｎ ｓｃａｌｉｎｇ）するステップをさらに含むことができる。

【0017】

このとき、前記深さマップをアップスケーリング（ｕｐ ｓｃａｌｉｎｇ）するステップと、前記深さマップをスムージング（ｓｍｏｏｔｈｉｎｇ）するステップとをさらに含むことができる。

【0018】

このとき、前記深さマップの各ピクセルの位置の深さ値に基づいて側面移動（ｌａｔｅｒａｌ ｓｈｉｆｔｉｎｇ）させ、前記側面移動に基づいてステレオ映像（ｓｔｅｒｅｏ ｉｍａｇｅ）を生成するステップをさらに含むことができる。

【0019】

このとき、前記深さマップを用いて画像深さキュー（ｐｉｃｔｏｒｉａｌ ｄｅｐｔｈ ｃｕｅ）を生成するステップと、前記画像深さキューを用いて前記深さマップを再生成するステップとをさらに含むことができる。

【0020】

本発明の実施形態に係る２次元映像の３次元映像変換のための深さマップ生成を用いた変換装置は、入力イメージの決定されたエッジを用いてエッジマップを生成するエッジ感知部と、前記エッジマップで予め設定された条件を満たすエッジを抽出して入力された初期ラインマップにマッピングし、前記抽出されたエッジの入力された初期ラインマッピングによって生成されるラインを含むラインマップを生成する深さ生成部とを備える。

【0021】

このとき、前記エッジ感知部は、前記入力イメージのピクセルの輝度差によるエッジを抽出してエッジマップを生成することができる。

【0022】

このとき、前記ライン追跡部は、前記エッジマップの一側境界からさらに他の一側境界の方向に、予め設定された値よりも強いエッジを抽出して初期ラインマップにマッピングし、マッピングによって生成されるラインを含むラインマップを生成することができる。

【0023】

このとき、前記深さ生成部は、前記ラインと順次的に隣接したラインとの間に位置する間領域の深さ値を順次的に増加または減少させる方法によって深さマップを生成することができる。

【0024】

このとき、前記の間領域は、前記ラインマップのそれぞれのラインとラインの間に位置し、同じ深さ値を有することができる。

【0025】

このとき、前記ラインは、相互交差されず、予め設定された勾配値を超過しない場合がある。

【0026】

このとき、前記ライン追跡部は、前記ラインが垂直方向に急変することを防ぎ、前記エッジマップに最も近いラインを選択するために平滑度制約を適用することができる。

【0027】

このとき、前記ライン追跡部は、前記ラインのうちの１つのラインが予め設定された値よりも垂直方向に急変することを制限するための弾性制約を適用することができる。

【0028】

このとき、前記入力イメージをダウンスケーリングするダウンスケーリング部をさらに備えることができる。

【0029】

このとき、前記深さマップをアップスケーリングするアップスケーリング部と、前記深さマップをスムージングするスムージング部とをさらに備えることができる。

【0030】

このとき、前記深さマップの各ピクセルの位置の深さ値に基づいて側面移動させてステレオ映像を生成する側面移動部をさらに備えることができる。

【0031】

このとき、前記深さマップを用いて画像深さキューを生成する画像深さキュー生成部と、前記画像深さキューを用いて前記深さマップを再生成する深さマップ再生成部とをさらに備えることができる。

【発明の効果】

【0032】

本発明によれば、深さマップ生成方法および装置をステレオ３次元テレビに適用し、入力２次元映像をステレオ３次元映像に変換してディスプレイすることができる。

【0033】

また、本発明によれば、予め製作された２次元映像を用いて多様な３次元映像コンテンツを提供することができる。

【0034】

さらに、本発明によれば、２次元映像の３次元映像変換チップまたはソフトウェアに適用し、ステレオ３次元ディスプレイ／テレビ、ＤＶＤ／ＢＤプレーヤなどの多様なディスプレイおよび映像再生装置への活用が可能である。

【発明を実施するための形態】

【0035】

以下、添付の図面および添付の図面に記載された内容を参照しながら、本発明の実施の形態について詳細に説明する。

【0036】

図１は、本発明の実施形態に係る２次元映像の３次元映像変換のための深さマップ生成装置を示す構成図である。図１を参照しながら、本発明の実施形態に係る２次元映像の３次元映像変換のための深さマップ生成装置について説明する。このとき、深さマップ生成装置は、映像変換に基づいて３Ｄ映像を出力する表示装置とすることができる。

【0037】

図１に示すように、２次元映像の３次元映像変換のための深さマップ生成装置は、ダウンスケーリング部１１０と、エッジ感知部１２０と、ライン追跡部１３０と、深さ生成部１４０と、アップスケーリングおよびスムージング部１５０と、側面移動部１６０とを備える。

【0038】

エッジ感知部１２０は、入力イメージの感知されたエッジを用いてエッジマップを生成する。

【0039】

このとき、エッジ感知部１２０は、入力イメージのピクセルの輝度差によるエッジを抽出してエッジマップを生成することができる。

【0040】

ダウンスケーリング部１１０は、入力イメージをダウンスケーリングすることができる。

【0041】

ライン追跡部１３０は、エッジマップで予め設定された値よりも強いエッジを抽出して入力された初期ラインマップにマッピングし、マッピングによって生成されるラインを含むラインマップを生成することができる。

【0042】

このとき、ライン追跡部１３０は、エッジマップの一側境界からさらに他の一側境界の方向に、予め設定された値よりも強いエッジを抽出することができる。ライン追跡部１３０は、抽出されたエッジを初期ラインマップにマッピングし、マッピングによって生成されるラインを含むラインマップを生成することができる。

【0043】

ライン追跡部１３０は、ラインが垂直方向に急変することを防ぎ、エッジマップに最も近いラインを選択するために平滑度制約を適用することができる。

【0044】

また、ライン追跡部１３０は、ラインのうちの１つのラインが予め設定された値よりも垂直方向に急変することを制限するための弾性制約を適用することができる。

【0045】

深さ生成部１４０は、ラインマップのラインを用いて順次的な深さ値を含む深さマップを生成することができる。

【0046】

深さ生成部１４０は、ラインと順次的に隣接したラインとの間に位置する間領域の深さ値を順次的に増加または減少させる方法によって深さマップを生成することができる。

【0047】

このとき、間領域は、ラインマップのそれぞれのラインとラインの間に位置し、同じ深さ値を有することができる。

【0048】

また、一実施形態において、ラインは相互交差されず、予め設定された勾配値を超過しない。

【0049】

また、本発明の実施形態によれば、深さ生成部１４０で生成された深さマップをアップスケーリングして深さマップをスムージングするアップスケーリングおよびスムージング部１５０をさらに備えることができる。このとき、アップスケーリングおよびスムージング部１５０は、深さマップをアップスケーリングするアップスケーリング部（図示せず）と、深さマップをスムージングするスムージング部（図示せず）とにそれぞれ分離して構成することができる。

【0050】

側面移動部１５０は、深さマップの各ピクセルの位置の深さ値に基づいて側面移動させてステレオ映像を生成することができる。

【0051】

また、本発明の実施形態によれば、深さマップを用いて画像深さキューを生成する画像深さキュー生成部（図示せず）と、画像深さキューを用いて深さマップを再生成する深さマップ再生成部とをさらに備えることができる。

【0052】

図２は、本発明の実施形態に係る２次元映像の３次元映像変換のための深さマップ生成方法を説明するためのフローチャートである。図２を参照しながら、本発明の実施形態に係る２次元映像の３次元映像変換のための深さマップ生成方法について説明する。

【0053】

本発明の実施形態に係る深さマップ生成方法は、大きく、初期深さ推定ステップＳ２１０と、ステレオイメージ生成ステップＳＳ２２０とで構成される。

【0054】

本発明の実施形態に係る深さマップ生成装置は、入力されるイメージ（または映像）をダウンスケーリングすることができる（Ｓ２１１）。

【0055】

このとき、入力されるイメージ（または映像）をダウンスケーリングするステップは、アルゴリズムの複雑性（ｃｏｍｐｌｅｘｉｔｙ）を減らすためのものである。

【0056】

深さマップ生成装置は、入力されるイメージ（または映像）上のエッジを感知し、感知されたエッジを用いてエッジマップを生成する（Ｓ２１２）。

【0057】

このとき、深さマップ生成装置は、入力イメージのピクセルの輝度（ｌｕｍｉｎａｎｃｅ）差によるエッジを抽出してエッジマップを生成することができる。

【0058】

深さマップ生成装置は、エッジマップで予め設定された値よりも強いエッジを抽出して初期ラインマップの入力を受ける。深さマップ生成装置は、抽出されたエッジと入力された初期ラインマップにマッピングし、マッピングによって生成されるラインを含むラインマップを生成する（Ｓ２１３）。

【0059】

このとき、深さマップ生成装置は、エッジマップの一側境界からさらに他の一側境界の方向に、予め設定された値よりも強いエッジを抽出し、抽出されたエッジを初期ラインマップにマッピングすることができる。

【0060】

例えば、エッジの抽出時にエッジマップの左側境界（ｌｅｆｔ ｂｏｒｄｅｒ）から右側境界（ｒｉｇｈｔ ｂｏｒｄｅｒ）側に強いエッジ位置を追跡（ｔｒａｃｅ）してラインマップを生成することができる。

【0061】

深さマップ生成装置は、ラインマップのラインを用いて順次的な深さ値を含む深さマップを生成する（Ｓ２１４）。

【0062】

このとき、深さマップ生成装置は、ラインと順次的に隣接したラインとの間に位置する間領域の深さ値を順次的に増加または減少させる方法によって深さマップを生成することができる。間領域は、ラインマップのそれぞれのラインとラインの間に位置し、同じ深さ値を有することができる。

【0063】

例えば、各ラインとラインの間に位置した領域に対して同じ深さ値を有するようにしながら、新しいラインの出現時に深さ値を予め設定された値だけ増加させる。すなわち、最下位に位置したラインとラインの間の領域には深さ値「０」が割り当てられ、最上位に位置したラインとラインの間の領域は最大の深さ値（例えば「５０」）を有することができる。

【0064】

この後、深さマップ生成装置は、深さマップをアップスケーリングしたり深さマップをスムージングしたりできる（Ｓ２２１）。また、３次元映像をより効果的に実現するために、上述した方法以外の多様な後処理（ｐｏｓｔ ｐｒｏｃｅｓｓｉｎｇ）方法を適用することができる。

【0065】

この後、深さマップ生成装置は、深さマップの各ピクセルの位置の深さ値に基づいて側面移動させてステレオ映像を生成（Ｓ２２２）する。

【0066】

したがって、本発明の実施形態によれば、入力２次元映像をステレオ３次元映像に変換してディスプレイするため、予め製作された２次元映像を用いて多様な３次元映像コンテンツを提供することができる。

【0067】

また、本発明の実施形態によれば、２次元映像の３次元映像変換チップまたはソフトウェアに適用し、ステレオ３次元ディスプレイ／テレビ、ＤＶＤ／ＢＤプレーヤなどの多様なディスプレイおよび映像再生装置への活用が可能である。

【0068】

図３は、本発明の実施形態に係る深さマップの生成方法を説明するための図である。また、図４は、本発明の実施形態に係る深さマップの生成方法を説明するためのグラフである。

【0069】

図３は、初期ラインマップと初期ラインマップに対する深さマップ、またラインマップとラインマップによる深さマップを示している。

【0070】

初期ラインマップを用いて各ラインとラインの間に位置した領域に対して同じ深さ値を有するようにしながら、新しいラインの出現時に深さ値を予め設定された値だけ増加させれば、初期深さマップ３２０と同じ形態の深さマップが生成される。

【0071】

したがって、平行なＮ個のラインを含む初期ラインマップ３１０を用いて入力映像の特性に最適に適合するラインマップ３３０を生成し、生成されたラインマップ３３０に基づいて深さマップ３４０を生成することができる。

【0072】

このとき、図４に示すように、ラインは相互交差されず、予め設定された勾配値を超過しない。

【0073】

また、図４に示すように、生成された深さマップ３４０は、各ラインとラインの間に位置した領域が同じ深さ値を有し、新しいラインが出現するたびに一定の値だけ深さ値が増加するように構成される。すなわち、図４に示すように、５つのラインを有するラインマップの場合には、５つのラインによって生成される６つの深さを有する深さマップが生成されるようになる。

【0074】

図５は、本発明のさらに他の実施形態に係る深さマップの生成方法を説明するための図である。また、図６は、本発明の実施形態に係るライントレーシング（Ｌｉｎｅ ｔｒａｃｉｎｇ）方法を説明するためのグラフである。さらに、図７は、本発明の実施形態に係るライントレーシング方法を説明するための図である。

【0075】

深さマップ生成装置は、入力イメージ５１０上のエッジを用いてエッジマップ５２０を生成する。

【0076】

深さマップ生成装置は、エッジマップ５２０で予め設定された値よりも強いエッジを抽出して入力された初期ラインマップにマッピングし、マッピングによって生成されるラインを含むラインマップ５３０を生成する。

【0077】

この後、深さマップ生成装置は、ラインマップ５３０のラインを用いて順次的な深さ値を含む深さマップ５４０を生成する。

【0078】

このとき、本発明に係る深さマップ生成装置は、強いエッジ位置を追跡し、ラインマップを生成時には次のような様々な種類の規則を適用することができる。

【0079】

すなわち、生成されるラインの個数は一定であり、ラインは相互間に交差されてはならず、どの地点においてもラインの勾配値は予め設定された勾配値よりも小さくなければならず、ラインはエッジマップの一側境界からさらに他の一側境界の方向に生成され、ラインによって区分される間領域の深さ値は均一に構成することができる。

【0080】

図６に示すように、各ラインの初期左側地点６１０（ｉｎｉｔｉａｌ ｌｅｆｔ ｐｏｉｎｔ）から開始して右側境界に到達するまで、次の右側地点６２０（ｒｉｇｈｔ ｐｏｉｎｔ）を選択することにおいて、１つ目にはエッジが強く、２つ目にはｙ軸方向に変化度スムーズするようにしながら、３つ目には初期ラインから多く逸脱しないようにする、最適のベクトルｙを選択する。

【0081】

したがって、本発明の実施形態に係る深さマップ生成装置は、ライントレーシング時に最適な次のピクセルを追跡することができる。

【0082】

また、より最適なライン追跡（ｏｐｔｉｍａｌ ｌｉｎｅ ｔｒａｃｅ）のために、次のような制約を適用することができる。

【0083】

このような制約には、強いエッジ（ｓｔｒｏｎｇ ｅｄｇｅ）を追跡するためのライン追跡制約（ｌｉｎｅ ｔｒａｃｅ ｃｏｎｓｔｒａｉｎｔ）、ラインが垂直方向に急変することを防ぐ（ｐｅｎａｌｉｚｅ）のための平滑度制約（ｓｍｏｏｔｈｎｅｓｓ ｃｏｎｓｔｒａｉｎｔ）、さらに図７に示すように、あるライン７１０において垂直方向の位置７２０、７３０、７４０に多くの量の変化を防ぐために、開始点である左側境界から極めて離隔する位置を避ける弾性制約などを適用することができる。また、上述した制約を数式で示せば、次の式（１）のようになる。

【0084】

【数1】

（ただし、Ｅ_ｌｔ（ｘ，ｙ）はライン追跡制約値、Ｅ_ｓ（ｘ，ｙ）は平滑度制約値、Ｅ_ｅ（ｘ，ｙ）は弾性制約値、またａ、ｂ、ｃはエネルギー量を調節するパラメータ値である。）

【0085】

このとき、ａ、ｂ、ｃは、入力映像特性とアルゴリズムによってエネルギー（ｅｎｅｒｇｙ）量を調節するパラメータ値である。

【0086】

したがって、ライントレーシングは、上述した式（１）によって算出されたライン追跡制約値Ｅ_ｌｔ（ｘ，ｙ）、平滑度制約値Ｅ_ｓ（ｘ，ｙ）、弾性制約値Ｅ_ｅ（ｘ，ｙ）に基づき、結果的に次の式（２）のように定形化（ｆｏｒｍｕｌａｔｅ）される。

【0087】

【数2】

（ただし、α、β、γは加重要素（ｗｅｉｇｈｔｉｎｇ ｆａｃｔｏｒ）である。）

【0088】

上述したような整形化したライントレーシングのためには、最適化（ｏｐｔｉｍｉｚａｔｉｏｎ）方法が適用される。このような最適化技法としては、グローバル最適化（Ｇｌｏｂａｌ ｏｐｔｉｍｉｚａｔｉｏｎ）方法およびローカル最適化（Ｌｏｃａｌ ｏｐｔｉｍｉｚａｔｉｏｎ）を用いることができる。

【0089】

グローバル最適化方法としては、代表的に模擬焼きなまし（Ｓｉｍｕｌａｔｅｄ Ａｎｎｅａｌｉｎｇ）方法を用いることができ、模擬焼きなまし方法をライントレーシングに適用すれば多くの場合の数が発生する。したがって、模擬焼きなまし方法の適用過程において多くの繰り返し（ｉｔｅｒａｔｉｏｎ）が必要になり、これは所謂アルゴリズムの高い複雑性（ｈｉｇｈ ｃｏｍｐｌｅｘｉｔｙ）を意味するようになる。

【0090】

ローカル最適化方法としては、代表的に、グリディアルゴリズム（Ｇｒｅｅｄｙ Ａｌｇｏｒｉｔｈｍ）とも呼ばれるＩＣＭ（Ｉｔｅｒａｔｅｄ Ｃｏｎｄｉｔｉｏｎａｌ Ｍｏｄｅｓ）方法を用いることができ、ＩＣＭは低い複雑性（ｌｏｗ ｃｏｍｐｌｅｘｉｔｙ）アルゴリズムに適合する。

【0091】

図８は、本発明の他の実施形態に係る２次元映像の３次元映像変換のための深さマップ生成方法を説明するためのフローチャートである。図８を参照しながら、本発明のさらに他の実施形態に係る２次元映像の３次元映像変換のための深さマップ生成方法について説明する。

【0092】

本発明の実施形態に係る深さマップ生成方法は、大きく、初期深さ推定ステップＳ８１０と、深さマップ生成ステップＳ８２０と、ステレオイメージ（Ｓｔｅｒｅｏ Ｉｍａｇｅ）生成ステップＳ８３０とで構成される。

【0093】

本発明の実施形態に係る深さマップ生成装置は、入力されるイメージ（または映像）をダウンスケーリングすることができる（Ｓ８１１）。

【0094】

このとき、入力されるイメージ（または映像）をダウンスケーリングするステップは、アルゴリズムの複雑性を減らすためのものである。

【0095】

深さマップ生成装置は、入力されるイメージ（または映像）上のエッジを感知し、感知されたエッジを用いてエッジマップを生成する（Ｓ８１２）。

【0096】

このとき、深さマップ生成装置は、前記入力イメージのピクセルの輝度差によるエッジを抽出してエッジマップを生成することができる。

【0097】

深さマップ生成装置は、エッジマップで予め設定された値よりも強いエッジを抽出して初期ラインマップの入力を受ける。深さマップ生成装置は、抽出されたエッジと入力された初期ラインマップにマッピングし、マッピングによって生成されるラインを含むラインマップを生成する（Ｓ８１３）。

【0098】

このとき、深さマップ生成装置は、エッジマップの一側境界からさらに他の一側境界の方向に、予め設定された値よりも強いエッジを抽出し、抽出されたエッジを初期ラインマップにマッピングすることができる。

【0099】

深さマップ生成装置は、ラインマップのラインを用いて順次的な深さ値を含む初期深さマップを生成する（Ｓ８１４）。

【0100】

このとき、深さマップ生成装置は、ラインと順次的に隣接したラインとの間に位置する間領域の深さ値を順次的に増加または減少させる方法によって初期深さマップ生成することができる。間領域は、ラインマップのそれぞれのラインとラインの間に位置し、同じ深さ値を有することができる。

【0101】

この後、初期深さマップを用いて画像深さキューを生成し（Ｓ８２１）、生成された画像深さキューを用いて深さマップを生成することができる（Ｓ８２２）。

【0102】

すなわち、この実施形態によれば、ライントレーシングによって求められた深さマップを初期深さ情報として用い、映像分析によって抽出された他の画像深さキューを用いて深さ改善（ｄｅｐｔｈ ｒｅｆｉｎｅｍｅｎｔ）過程を経た後、最終的に深さマップを得る。

【0103】

例えば、映像分析によって線形遠近感（ｌｉｎｅａｒ ｐｅｒｓｐｅｃｔｉｖｅ）、映像内のオブジェクト間の重畳（ｏｖｅｒｌａｐｐｉｎｇ）、またはテクスチャ勾配（ｔｅｘｔｕｒｅ ｇｒａｄｉｅｎｔ）情報を抽出し、このような情報をラインマップによって求めた深さ情報に基づいて併合／補完して３次元効果（３Ｄ ｅｆｆｅｃｔ）を増進させることができる。

【0104】

この後、深さマップ生成装置は、深さマップをアップスケーリングしたり深さマップをスムージングすることができる（Ｓ８３１）。また、３次元映像をより効果的に実現するために、上述した方法以外の多様な後処理方法を適用することができる。

【0105】

この後、深さマップ生成装置は、深さマップの各ピクセルの位置の深さ値に基づいて側面移動させてステレオ映像を生成する（Ｓ８３２）。

【0106】

したがって、このような深さマップ生成方法および装置をステレオ３次元テレビに適用することができる。

【0107】

時間順次（Ｔｉｍｅ ｓｅｑｕｅｎｔｉａｌ）方式のステレオディスプレイを介して左目／右目映像を交互にディスプレイし、観察者（ｖｉｅｗｅｒ）はシャッターガラス（ｓｈｕｔｔｅｒ ｇｌａｓｓ）を着用して３次元立体映像を視聴することができる。

【0108】

また、このような深さマップ生成方法および装置は、時間順次方式だけではなく多様な方式のステレオ３次元テレビに搭載され、入力２次元映像をステレオ３次元映像に変換してディスプレイされるようにできる。

【0109】

上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。

【図面の簡単な説明】

【0110】

【図1】本発明の実施形態に係る２次元映像の３次元映像変換のための深さマップ生成装置を示す構成図である。

【図2】本発明の実施形態に係る２次元映像の３次元映像変換のための深さマップ生成方法を説明するためのフローチャートである。

【図3】本発明の実施形態に係る深さマップの生成方法を説明するための図である。

【図4】本発明の実施形態に係る深さマップの生成方法を説明するためのグラフである。

【図5】本発明のさらに他の実施形態に係る深さマップの生成方法を説明するための図である。

【図6】本発明の実施形態に係るライントレーシング方法を説明するためのグラフである。

【図7】本発明の実施形態に係るライントレーシング方法を説明するための図である。

【図8】本発明のさらに他の実施形態に係る２次元映像の３次元映像変換のための深さマップ生成方法を説明するためのフローチャートである。

【符号の説明】

【0111】

１１０ ダウンスケーリング部
１２０ エッジ感知部
１３０ ライン追跡部
１４０ 深さ生成部
１５０ アップスケーリングおよびスムージング部
１６０ 側面移動部

【図1】

【図2】

【図4】

【図6】

【図8】

【図3】

【図5】

【図7】