特許 6131256 映像処理装置及びその映像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6131256

(24)【登録日】2017年4月21日

(45)【発行日】2017年5月17日

(54)【発明の名称】映像処理装置及びその映像処理方法

(51)【国際特許分類】

   H04N 13/00 20060101AFI20170508BHJP

【ＦＩ】

   H04N13/00 220

   H04N13/00 700

【請求項の数】10

【全頁数】16

(21)【出願番号】特願2014-530592(P2014-530592)

(86)(22)【出願日】2012年9月14日

(65)【公表番号】特表2014-534657(P2014-534657A)

(43)【公表日】2014年12月18日

(86)【国際出願番号】KR2012007362

(87)【国際公開番号】WO2013039347

(87)【国際公開日】20130321

【審査請求日】2015年8月31日

(31)【優先権主張番号】61/534,533

(32)【優先日】2011年9月14日

(33)【優先権主張国】US

(31)【優先権主張番号】10-2012-0091368

(32)【優先日】2012年8月21日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】503447036

【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】リモノフ，アレクサンダー

(72)【発明者】

【氏名】リ，ジン−ソン

(72)【発明者】

【氏名】ミン，ジョン−スル

【審査官】 益戸 宏

(56)【参考文献】

【文献】 特開２００７−０２８４３９（ＪＰ，Ａ）

【文献】 特開２００３−２０９８５８（ＪＰ，Ａ）

【文献】 特開２００２−２４７６１１（ＪＰ，Ａ）

【文献】 特許第５１２７９７３（ＪＰ，Ｂ２）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００−１５／００

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

３Ｄ映像に含まれたテキスト領域を検出するテキスト領域検出部と、
前記検出されたテキスト領域に対応するテキストマスクを生成するマスク生成部と、
前記生成されたテキストマスクに基づいて前記テキスト領域のデプスを第１デプス値に補正するデプス補正部と
を含み、
前記第１デプス値は、

【数9】

によって算出され、Ｌ（ｘ、ｙ）は左眼イメージ、Ｒ（ｘ、ｙ）は右眼イメージであり、Ｔはテキスト領域であり、ｄはデプス値である、ことを特徴とする映像処理装置。

【請求項2】

前記デプス補正部は、
前記デプスの補正されたテキスト領域にデプステンポラルスムージング（ｄｅｐｔｈ ｔｅｍｐｏｒａｌ ｓｍｏｏｔｈｉｎｇ）処理を行うことを特徴とする請求項１に記載の映像処理装置。

【請求項3】

前記テキスト領域検出部は、
テキストライン及びテキストカラーを検出し、検出されたテキストライン及びテキストカラーに基づいてテキスト領域を検出することを特徴とする請求項１に記載の映像処理装置。

【請求項4】

前記マスク生成部は、
前記検出されたテキストラインによってマスクを拡張し、前記検出されたテキストカラーによって前記拡張されたマスクをフィルタリングして前記テキストマスクを生成することを特徴とする請求項３に記載の映像処理装置。

【請求項5】

前記３Ｄ映像のデプスを推定し、前記推定されたデプスに基づいてデプスマップ（ｄｅｐｔｈ ｍａｐ）を生成するデプス推定部を更に含み、
前記デプス補正部は、
前記デプスマップで前記テキスト領域に対応するデプス値を補正することを特徴とする請求項１に記載の映像処理装置。

【請求項6】

入力された３Ｄ映像に含まれたテキスト領域を検出するステップと、
前記検出されたテキスト領域に対応するテキストマスクを生成するステップと、
前記生成されたテキストマスクに基づいて前記テキスト領域のデプスを第１デプス値に補正するステップと
を含み、
前記第１デプス値は、

【数10】

によって算出され、Ｌ（ｘ、ｙ）は左眼イメージ、Ｒ（ｘ、ｙ）は右眼イメージであり、Ｔはテキスト領域であり、ｄはデプス値である、ことを特徴とする映像処理方法。

【請求項7】

前記デプスの補正されたテキスト領域にデプステンポラルスムージング（ｄｅｐｔｈ ｔｅｍｐｏｒａｌ ｓｍｏｏｔｈｉｎｇ）処理を行うステップを更に含むことを特徴とする請求項６に記載の映像処理方法。

【請求項8】

前記テキスト領域を検出するステップは、
テキストライン及びテキストカラーを検出し、検出されたテキストライン及びテキストカラーに基づいてテキスト領域を検出することを特徴とする請求項６に記載の映像処理方法。

【請求項9】

前記テキストマスクを生成するステップは、
前記検出されたテキストラインによってマスクを拡張し、前記検出されたテキストカラーによって前記拡張されたマスクをフィルタリングして前記テキストマスクを生成することを特徴とする請求項８に記載の映像処理方法。

【請求項10】

前記３Ｄ映像のデプスを推定し、前記推定されたデプスに基づいてデプスマップ（ｄｅｐｔｈ ｍａｐ）を生成するステップを更に含み、
前記デプスを補正するステップは、
前記デプスマップで前記テキスト領域に対応するデプス値を補正することを特徴とする請求項６に記載の映像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像処理装置及びその映像処理方法に関し、より詳細には、３Ｄ映像を提供する映像処理装置及びその映像処理方法に関する。

【背景技術】

【0002】

最近、より臨場感のある視聴のために、３Ｄディスプレイ装置に対する開発への取り組みが加速化している。それにより、従来は映画館で主に視聴していた３Ｄ映像を家庭でもテレビのような一般のディスプレイ装置を用いて視聴することができるようになった。

【0003】

一方、３Ｄ映像で映画タイトル、ゲームスコアのようにオーバーレイ（ｏｖｅｒｌａｉｄ）テキストは、ユーザに関心を提供する部分である。しかし、既存のステレオマッチングアルゴリズム（ｓｔｅｒｅｏ ｍａｔｃｈｉｎｇ ａｌｇｏｒｉｔｈｍｓ）によってオーバーレイテキストに対する正確なディスパリティを算出することは困難である。

【0004】

それによる空間的なディスパリティ不一致は、テキスト歪み及びフリッカーの原因となる。このような問題点は、テキスト領域でより目立つようになる。それにより、テキスト領域におけるディスパリティ不一致を解消するための方策が求められる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、３Ｄ映像に含まれたテキスト領域のデプスを補正することができる映像処理装置及びその映像処理方法を提供することにある。

【課題を解決するための手段】

【0006】

以上のような目的を達成するための本発明の一実施形態に係る映像処理装置は、入力された３Ｄ映像のデプスを推定するデプス推定部と、前記３Ｄ映像に含まれたテキスト領域を検出するテキスト領域検出部と、前記検出されたテキスト領域に対応するテキストマスクを生成するマスク生成部と、前記推定されたデプス及び前記生成されたテキストマスクに基づいて前記テキスト領域のデプスを補正するデプス補正部とを含む。

【0007】

なお、前記デプス補正部は、前記推定されたデプスに基づいて前記テキスト領域のデプスを第１デプス値に補正してよい。

【0008】

ここで、前記第１デプス値は、下記数式によって算出されてよい。

【0009】

【数1】

ここで、Ｌ（x、ｙ）は左眼イメージ、Ｒ（x、ｙ）は右眼イメージであり、ｄはテキストである。

【0010】

なお、前記デプス補正部は、前記デプスの補正されたテキスト領域にデプステンポラルスムージング（ｄｅｐｔｈ ｔｅｍｐｏｒａｌ ｓｍｏｏｔｈｉｎｇ）処理を行ってよい。

【0011】

なお、前記テキスト領域検出部は、テキストライン及びテキストカラーを検出し、検出されたテキストライン及びテキストカラーに基づいてテキスト領域を検出してよい。

【0012】

なお、前記マスク生成部は、前記検出されたテキストラインによってマスクを拡張し、前記検出されたテキストカラーによって前記拡張されたマスクをフィルタリングして前記テキストマスクを生成してよい。

【0013】

なお、前記デプス推定部は、前記推定されたデプスに基づいてデプスマップ（ｄｅｐｔｈ ｍａｐ）を生成し、前記デプス補正部は、前記デプスマップで前記テキスト領域に対応するデプス値を補正してよい。

【0014】

一方、本発明の一実施形態に係る映像処理方法は、入力された３Ｄ映像のデプスを推定するステップと、前記３Ｄ映像に含まれたテキスト領域を検出するステップと、前記検出されたテキスト領域に対応するテキストマスクを生成するステップと、前記推定されたデプス及び前記生成されたテキストマスクに基づいて前記テキスト領域のデプスを補正するステップとを含む。

【0015】

なお、前記デプスを補正するステップは、前記推定されたデプスに基づいて前記テキスト領域のデプスを第１デプス値に補正してよい。

【0016】

ここで、前記第１デプス値は、下記数式によって算出されてよい。

【0017】

【数2】

ここで、Ｌ（x、ｙ）は左眼イメージ、Ｒ（x、ｙ）は右眼イメージであり、ｄはテキストである。

【0018】

なお、前記デプスの補正されたテキスト領域にデプステンポラルスムージング（ｄｅｐｔｈ ｔｅｍｐｏｒａｌ ｓｍｏｏｔｈｉｎｇ）処理を行うステップを更に含んでよい。

【0019】

なお、前記テキスト領域を検出するステップは、テキストライン及びテキストカラーを検出し、検出されたテキストライン及びテキストカラーに基づいてテキスト領域を検出してよい。

【0020】

なお、前記テキストマスクを生成するステップは、前記検出されたテキストラインによってマスクを拡張し、前記検出されたテキストカラーによって前記拡張されたマスクをフィルタリングして前記テキストマスクを生成してよい。

【0021】

なお、前記デプスを推定するステップは、前記推定されたデプスに基づいてデプスマップ（ｄｅｐｔｈ ｍａｐ）を生成し、前記デプスを補正するステップは、前記デプスマップで前記テキスト領域に対応するデプス値を補正してよい。

【発明の効果】

【0022】

以上説明したように、本発明によれば、３Ｄ映像を視聴する視聴者の便宜性を向上させることができる。

【図面の簡単な説明】

【0023】

【図1】本発明が適用されるテキスト領域のエラー状態について説明するための図である。

【図2】本発明の理解を促すための両眼に写る物体に対するディスパリティについて説明するための図である。

【図3】本発明の一実施形態に係る映像処理装置の構成を示すブロック図である。

【図4】本発明の一実施形態に係るデプス補正部の細部構成を示すブロック図である。

【図5】本発明の一実施形態によってテキストマスクを生成する方法について説明するための図である。

【図6】本発明の一実施形態によってテキストマスクを生成する方法について説明するための図である。

【図7】本発明の一実施形態に係るアルゴリズムについて説明するためのブロック図である。

【図8】本発明の一実施形態に係る映像処理方法について説明するためのフローチャートである。

【図9】本発明が適用されるテキスト領域のエラー状態について説明するための図である。

【発明を実施するための形態】

【0024】

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

【0025】

図１及び図９は、本発明が適用されるテキスト領域のエラー状態について説明するための図である。

【0026】

最近、多くの電子装置は、ステレオビデオ再生機能を提供する。このような装置のサイズは小型モバイルフォンで大型テレビパネルまで、多様である。２Ｄ映像と違って、３Ｄステレオコンテンツは不適切なディスパリティが目の緊張及び疲れをもたらすおそれがあるため、スクリーンサイズに適するように容易にスケーリングすることができない。よって、全ての３Ｄステレオコンテンツは、視聴者の不都合を防止するために、既存のディスプレイサイズ及び視聴距離を採択する必要がある。

【0027】

一般に、ディスパリティはステレオスコピックワーピング（ｗａｒｐｉｎｇ）によって調整されてよい。この場合、デプスマップは、左眼及び右眼イメージの間の対応部分を検出することで推定される。同一の接近方式が、オートステレオスコピックディスプレイに対するビュー補間に適用され、全ての中間ビューは既存の最左側、最右側ビュー及び対応するデプスマップから同期化されてよい。

【0028】

一方、周期的なパターン及び薄い前景オブジェクトを有するイメージは、ステレオマッチングアルゴリズムに対して共通したエラーソースになる。ディスパリティ推定エラーは、ステレオスコピックワーピング後に深刻な視覚的な欠陥を引き起こすおそれがある。

【0029】

オブジェクトの歪み及びフリッカーは、特に、人の顔、テキスト及びロゴ等のような高い突出性（ｓａｌｉｅｎｃｙ）領域で目立つ。

【0030】

特に、オーバーレイテキストは、背景イメージと互いに異なるデプスを有する周期的なパターン及び文字のストローク近くに位置するため、ステレオマッチングに対するステレオスコピックイメージのうち、最も難しい部分の1つである。

【0031】

一般的に、テキスト領域に対する不正確及び／または不一致のデプス推定は、歪み及びフリッカーを引き起こす。このような欠陥は、ユーザに眩暈を引き起こしたり、集中を妨げたり、とある時にはテキストが読み取れなくなるときもある。

【0032】

図１は、３Ｄ映像のテキスト領域で発生するフリッカー現象を示す図である。

【0033】

図９は、３Ｄ映像のテキスト領域で発生する歪み現象を示す図である。

【0034】

それにより、本発明では、３Ｄ映像のテキスト領域で発生するフリッカー及び歪み現象を軽減させる方策が提案される。

【0035】

図２は、本発明の理解を促すための両眼に写る物体に対するディスパリティについて説明するための図である。

【0036】

図２において、Ｖは３Ｄディスプレイと視聴者との間の距離を示し、Ｄはオブジェクトがスクリーンから仮想で飛び出たり窪んで見える距離を示し、Ｅは視聴者間の両眼距離を示す。このとき、両眼に写る物体に対するディスパリティは下記の数式（１）のように表現されてよい。

【0037】

【数3】

前記数式（１）によると、仮想３Ｄ映像からＤ分だけスクリーンに窪んで映すために、ディスパリティだけの両眼に映る時点のシフトが要求される。このような特性に応じて、３Ｄディスプレイはディスパリティだけ離れた仮想の右眼映像と仮想の左眼映像とを生成してユーザに立体感を感じさせるようにする。

【0038】

図３は、本発明の一実施形態に係る映像処理装置の構成を示すブロック図である。

【0039】

図３に示すように、映像処理装置１００は、受信部１１０と、デプス推定部１２０と、テキスト領域検出部１３０及びデプス補正部１４０を含む。

【0040】

受信部１１０は、３Ｄ映像信号を受信する。

【0041】

ここで、３Ｄ映像は、ステレオ映像であってよい。ステレオ映像とは、１つの被写体を別の角度から撮影した２つの映像、すなわち、左眼映像及び右眼映像を含む。このようなステレオ映像は、多様なソースから提供されてよい。一例として、受信部１１０は、放送局チャネルのようなソースからステレオ映像を有線または無線で受信することができる。この場合、受信部１１０は、チューナ部、復調部、等化部のような多様な構成要素を備えることができる。

【0042】

または、受信部１１０は、ＤＶＤ、ブルーレイディスク、メモリカード等のような各種記録媒体を再生できる記録媒体再生ユニットから再生されたステレオ映像を受信することもでき、カメラから撮影されたステレオ映像を直接受信することもできる。この場合、受信部１１０は、ＵＳＢインターフェース等のような各種インターフェースを具備する形態で実現されてよい。

【0043】

または、受信部１１０は、ウェブサーバのような外部サーバからステレオ映像を受信することも可能である。

【0044】

または、３Ｄ映像は、２Ｄ／３Ｄ切り替え技法に応じて、２Ｄ映像を基板として生成された映像であってよい。それについての詳細な説明は、省略する。

【0045】

デプス推定部１２０は、左眼映像及び右眼映像に基づいて、映像内に存在する客体に関するデプス情報を推定する。ここで、デプス（ｄｅｐｔｈ）情報とは、映像内に存在する客体の３次元距離情報を示すものとして、デプスマップまたはデプス映像と称してよい。

【0046】

例えば、被写体とカメラとの間の距離、被写体と被写体の映像とが結像する記録媒体間の距離等のように、立体感の情報を示す情報を意味する。すなわち、左眼映像と右眼映像との間の互いに対応するポイント間の距離差が大きい場合、その分だけより立体感が増大するようになる。デプスマップとは、このような深さの変化状態を１つの映像で構成したものとして、左眼及び右眼映像で互いにマッチングするポイント間の距離の大きさに応じて異なるグレイレベルで表現されてよい。例えば、デプスマップで明るく表示された部分は立体感の大きい部分であり、暗く表示された部分は立体感の小さい部分を意味する。

【0047】

具体的に、デプス推定部１２０は、映像を構成する各ピクセルごとに、０から２５５の間の値でデプス値を表現し、映像内に存在する客体の３次元距離情報を示してよい。例えば、黒／白を基準に表すとき、黒（低い値）が視聴者から遠いところを表し、白（高い値）が視聴者から近いところを表してよい。

【0048】

一方、デプス推定部１２０は、デプスマップを生成するために、左眼及び右眼映像で互いにマッチングするポインタを探すステレオマッチング作業を行うことができる。この場合、適応的な加重値を適用してステレオマッチングを行うこともできる。

【0049】

例えば、左眼映像と右眼映像とは、１つの被写体を互いに異なる時点で撮影した映像であるため、視覚の差による映像の差が生じるおそれがある。例えば、左眼映像では被写体のエッジ部分と背景とが重なって写り、右眼映像ではやや離れた場合等である。よって、被写体を基準に一定範囲内のピクセル値を有するピクセルに対しては加重値をアップし、範囲から外れたピクセル値を有するピクセルに対しては加重値をダウンした適応的な加重値を適用することができる。それにより、左眼映像及び右眼映像のそれぞれに対して適応的な加重値を適用した後に、その結果を比較し、マッチング可否を決定することができる。このように、適応的な加重値を用いると、正しい適応点であるにもかかわらず、低い相関関係を有すると判定されることを防止することができるようになるため、マッチングの精度が向上される。

【0050】

一方、図示はしていないが、映像処理装置１００には、デプスマップ生成のための演算の負担を軽減するためのダウンスケーラ部（図示せず）が更に含まれてよい。すなわち、ダウンスケーラ部（図示せず）は、受信部１１０を介して受信された映像をダウンスケーリングしてデプス推定部１２０に提供することで、演算負担を軽減させることができるようになる。

【0051】

テキスト領域検出部１３０は、３Ｄ映像に含まれたテキスト領域を検出する。ここで、テキスト領域は、字幕領域、ＯＳＤに含まれたテキスト領域、放送会社Ｌｏｇｏ領域等、オーバーレイテキスト領域であってよい。

【0052】

テキスト領域検出部１３０は、既に検出されたテキストフレームに対してテキストローカライゼーション（ｌｏｃａｌｉｚａｔｉｏｎ）を行うことができる。ここで、テキストフレームは、入力される映像の中で、固定された間隔で配置された部分または圧縮されたドメイン部分を検出することで検出されてよい。

【0053】

テキスト領域検出部１３０は、検出されたテキストフレームに対してエッジ抽出等の前処理を行い、前処理されたフレームのハフ変換（Ｈｏｕｇｈ Ｔｒａｎｓｆｏｒｍ）等の線形抽出過程を通じて線形部分を抽出することで、テキストが含まれた領域を抽出することができる。

【0054】

具体的に、テキスト領域検出部１３０は、テキストライン及びテキストカラーを検出し、検出されたテキストライン及びテキストカラーに基づいてテキスト領域を検出することができる。ここで、テキスト領域は、四角状で抽出されてよいが、それに限定されるものではない。

【0055】

テキスト領域の検出のために、テキスト領域検出部１３０は、例えば、テキスト領域の検出するために、テキストライン集合接近方法を利用してよい。ここで、ラインは、Ｗｕ ｅｔ ａｌ.（Ｖ. Ｗｕ、Ｒ. Ｍａｎｍａｔｈａ、ａｎｄ Ｅ. Ｍ. Ｒｉｓｅｍａｎ、“Ｔｅｘｔｆｉｎｄｅｒ： Ａｎ ａｕｔｏｍａｔｉｃ Ｓｙｓｔｅｍ ｔｏ ｄｅｔｅｃｔ ａｎｄ ｒｅｃｏｇｎｉｚｅ ｔｅｘｔ ｉｎ ｉｍａｇｅｓ、” ＩＥＥＥ Ｔｒａｎｓ. Ｐａｔｔｅｒｎ Ａｎａｌ. Ｍａｃｈ. Ｉｎｔｅｌｌ.、ｖｏｌ. 21、ｎｏ. １１、ｐｐ. １２２４−１２２９、Ｎｏｖ. １９９９.）に開示された方法と類似する固定された垂直エッジの密度に応じて検出されてよい。

【0056】

１．垂直エッジ検出
垂直エッジを検出するために、以下の数式（２）のようにイメージ１の垂直成分Ｇｙを算出する。

【0057】

【数4】

そして、現在のフレームｎに対するエッジ閾値ＥＴを以下の数式（３）のように設定する。

【0058】

【数5】

ここで、ｋは臨界時間スムージングに利用される以前のフレームの数を示す。

【0059】

安定的なエッジ検出のために、確率モデルを利用する。エッジ確率Ｅｐ（ｘ、ｙ）は、以下の数式（４）のようにアップデートされる。

【0060】

【数6】

エッジ確率が０.５より大きい場合のピクセルが現在のフレームに対してエッジピクセルとしてカウンティングされる。

【0061】

２．テキストライン検出
各水平ラインに対してエッジ密度ＥＤを算出する。関数ＥＤ（ｙ）は中間フィルタを用いて処理される。

【0062】

テキストラインに対して、垂直エッジに関連して同一の確率モデルを利用する。

【0063】

ライン閾値は、ＥＤ（ｙ）のＲＭＳとして定義される。ライン確率Ｌｐが０.５より大きい連続的なイメージラインはテキストラインを形成するのに組み合わせられ、最後にテキストラインは最小及び最大のラインの高さに応じてフィルタリングされる。

【0064】

３．テキストカラー検出
テキストカラーを検出するために入力されたイメージカラー量子化を適用し、ＲＧＢカラー空間を２５６カラーのパレット（Ｐａｌｌｅｔｅ）に変換する、各カラーｃ及びテキストライン内側ＣＤ ｉｎ（ｃ）に、テキストラインの外側ＣＤ ｏｕｔ（ｃ）の等しい領域でカラー密度を算出する。ここで、ｃはカラーテキストのカラーであってよい。

【0065】

一方、本発明の別の実施形態によると、テキスト領域に含まれたテキストを抽出し、テキストに対してデプスを補正することも可能である。この場合、テキストは、テキスト領域に対してモーフォロジーオペレーションまたは区域基盤処理等を通じて行われてよい。

【0066】

デプス補正部１４０は、推定されたデプス及び生成されたテキストマスクに基づいてテキスト領域のデプスを補正する。

【0067】

具体的に、デプス補正部１４０は、推定されたデプス及び生成されたテキストマスクに基づいてテキスト領域のデプスを均一の第１デプス値に補正することができる。すなわち、テキスト領域内に含まれたそれぞれのテキストに対するデプス感が相互異なることがないように表現されるように、均一のデプス値を付与することができる。

【0068】

この場合、デプス補正部１４０は、デプス推定部１２０で推定されたテキスト領域のデプス値のうち、最も大きい値にテキスト領域のデプスを均一に設定することができる。

【0069】

なお、デプス補正部１４０は、場合によって、周辺領域のデプス値を考慮することもできる。すなわち、テキスト領域が周辺の背景映像と異質にならず、不連続に表現されないように、周辺の背景映像のデプス値と類似する値にデプスを設定することができる。すなわち、推定されたテキスト領域のデプス値のうち、背景映像のデプス値と最も類似する値にテキスト領域のデプスを設定することも可能である。

【0070】

なお、デプス補正部１４０は、デプスの補正されたテキスト領域に対してフリッカを軽減させるために、デプステンポラルスムージング（ｄｅｐｔｈ ｔｅｍｐｏｒａｌ ｓｍｏｏｔｈｉｎｇ）処理を行うことができる。

【0071】

デプス補正部１４０については、図４を参照して詳細に説明する。

【0072】

一方、図示はしていないが、映像処理装置１００は映像処理部（図示せず）、３Ｄ映像生成部（図示せず）及びディスプレイ部（図示せず）を更に含んでよい。

【0073】

映像処理部（図示せず）は、テキスト領域のデプスの補正されたデプスマップに基づいて、補正された左眼映像と右眼映像とをそれぞれクロップ（ｃｒｏｐ）した後、互いに重畳して３Ｄ映像を生成することができる。

【0074】

３Ｄ映像生成部（図示せず）は、左眼映像及び右眼映像を互いに対応する大きさにクロップして３Ｄ映像を生成する。ここで、３Ｄ映像とは、クロップされた左眼映像及び右眼映像が重畳して生成した１つの３Ｄ映像ファイルを意味してよく、クロップされた左眼映像及び右眼映像のそれぞれが保存されたファイルを意味してよい。

【0075】

ディスプレイ部（図示せず）は、３Ｄ映像生成部（図示せず）から出力されるデータを用いて３Ｄ映像をディスプレイする。すなわち、３Ｄ映像生成部（図示せず）でクロップされた左眼及び右眼映像を重畳して１つの３Ｄ映像を生成した場合には、その３Ｄ映像を直ちにディスプレイすることができる。または、クロップされた左眼映像及び右眼映像を別途に出力する場合、出力された２つの映像を重畳して３Ｄ映像形態で出力することができる。

【0076】

一例として、ディスプレイ部（図示せず）は、３Ｄ映像を空間的に区分して出力し、メガネかけなくても、被写体との距離感を感じられるようになり、３Ｄ映像として認識することができる。この場合、ディスプレイ部（図示せず）は、パララックスベアラ（Ｐａｒａｌｌａｘ Ｂａｒｒｉｅｒ）技術またはレンチキュラー（Ｌｅｎｔｉｃｕｌａｒ）技術によるディスプレイパネルで実現されてよい。または、ディスプレイ部（図示せず）は、左眼及び右眼映像を交互に出力し、立体感を感じられるように実現することもできる。すなわち、本映像処理装置は、非メガネシステム及びメガネシステムのいずれでも実現可能である。

【0077】

一方、上述の実施形態では、左眼映像及び右眼映像に基づいてテキスト領域のデプスを補正するものとして説明したが、それは一実施形態に過ぎない。本発明の別の実施形態によると、２Ｄ映像に対してテキスト領域を検出した後、テキスト領域に対するデプス値を均一に割り当てた後、左眼及び右眼映像を生成することも可能である。

【0078】

図４は、本発明の一実施形態に係るデプス補正部の細部構成を示すブロック図である。

【0079】

図４に示すように、デプス補正部１４０は、マスク生成部１４１及びテキスト領域デプス補正部１４２を含む。

【0080】

マスク生成部１４１は、テキスト領域検出部１３０から検出されたテキストラインによってマスクを拡張し、検出されたテキストカラーによって拡張されたマスクをフィルタリングしてテキスト領域に対応するマスクを生成することができる。

【0081】

図５は、本発明の一実施形態によってテキストマスクを生成する方法について説明するための図である。

【0082】

図５の（ａ）に示すように、オーバーレイテキストを有する入力映像に、図５の（ｂ）に示すように、オーバーレイテキストを含むテキスト領域に対応するテキストマスクを生成してテキスト領域に対するデプスを補正することができる。

【0083】

テキストマスクは、次のような繰り返しプロセスによって生成される。

【0084】

１．垂直エッジマスク拡張
２．テキストカラーによるマスクフィルタリング
ここで、繰り返しプロセスは、テキストラインの内側のテキストマスクが安定すると終了する。安定した結果のために、上述のようにテキストマスクに対する同一の確率モデルを適用することができる。

【0085】

テキスト領域デプス補正部１４２は、マスク生成部１４１で生成されたマスクを用いてテキスト領域のデプスを均一の値に設定することができる。

【0086】

テキスト領域デプス補正部１４２は、上述のように、テキスト領域に対して算出されたデプス値のうち、最大値にテキスト領域のデプスを均一に設定することもできるが、場合によっては、以下のように多様な方式でデプスを設定することも可能である。

【0087】

例えば、０を含むデフォルト値、背景映像に含まれた客体のうち、最も高いデプス値または平均値より所定の値だけ大きいデプス値、テキスト領域の中央におけるデプス値または境界におけるデプス値、ユーザによって入力された値等をテキスト領域のデプス値に設定することもできる。

【0088】

なお、１つのフレーム内にテキスト領域が複数個である場合には、複数のテキスト領域のそれぞれに異なるデプス値を設定したり、同一のデプス値を設定することができる。

【0089】

具体的に、全イメージ領域が同一のデプス値を有するとしたら、ＳＡＤ（ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ ｍｅｔｈｏｄ）の最小値を検索して探すことができる。この場合、全テキスト領域に対するステレオマッチングは、ウィンドウベースマッチングより改善された結果を提供することができる。

【0090】

左眼イメージＬ（ｘ、ｙ）及び右眼イメージＲ（ｘ、ｙ）及び対応するバイナリテキストマスクＴ（ｘ、ｙ）が与えられると、テキストｄに対するデプス値を補正し、次の数式（５）のように最小化するようになる。

【0091】

【数7】

補正デプス値ｄが各テキスト領域に対して検出されると、全てのテキストピクセルに対して予め設定されたデプス値をオーバーレイすることができる（図６の（ａ））。結果的に、デプスマップは図６の（ｂ）のように示される。

【0092】

テキストマスクが理想的であり、全てのテキストピクセルが同一のデプスを有する場合、最小ＳＡＤ値は小さく、０に近くならなければならない。言い換えると、最小ＳＡＤ値が相対的に大きい場合、テキストマスクは不適切だったり、テキストが互いに異なるデプス値を有してよい。両方の場合に、デプス補正は更なるエラーを引き起こすおそれがあるため望ましくない。このようなテキストは、デプス補正が安全であることを保障することができる。

【0093】

スムージング処理部１４３は、デプス値の補正されたテキスト領域に対してデプステンポラルスムージング（ｄｅｐｔｈ ｔｅｍｐｏｒａｌ ｓｍｏｏｔｈｉｎｇ）処理を行うことができる。

【0094】

スムージング処理部１４３は、デプス値の補正されたテキスト領域の内部で一定ではないデプス値をスムージング処理し、デプス変動によるテキストフリッカを除去したり、補正されたデプス値と背景領域のデプス値との差によるテキスト領域の境界で歪みを解消するために、スムージング処理を行うことができる。

【0095】

スムージング処理部１４３は、デプス値の補正されたテキスト領域に対して、メディアンフィルタ（ｍｅｄｉａｎ Ｆｉｌｔｅｒ）、加重平均フィルタ（ｗｅｉｇｈｔｅｄ ａｖｅｒａｇｅ Ｆｉｌｔｅｒ）、マキシマムフィルタ（ｍａｘｉｍｕｍ ｆｉｌｔｅｒ）等のようなスムージングフィルタを適用し、スムージング処理を行うことができる。

【0096】

以下の数式（６）は、スムージング処理の一例を示す。

【0097】

【数8】

ここで、ω∈（０、１)である。

【0098】

図７は、本発明の一実施形態に係るアルゴリズムについて説明するためのブロック図である。

【0099】

図７に示すように、まず、左眼及び右眼映像が入力されると、ステレオデプスを推定してデプスマップを生成する。

【0100】

なお、入力された左眼及び右眼映像でオーバーレイテキスト領域を検出する。

【0101】

次に、検出されたオーバーレイテキスト領域に対応するテキストマスクを生成する。

【0102】

次に、推定されたデプス及び生成されたテキストマスクに基づいてテキスト領域のデプスを補正してデプスマップを補正する。

【0103】

このように補正されたデプスマップは、３Ｄ映像のデプス調整のような多様な機能に利用されてよい。

【0104】

図８は、本発明の一実施形態に係る映像処理方法について説明するためのフローチャートである。

【0105】

図８に示す映像処理方法によると、まず、入力された３Ｄ映像のデプスを推定する（Ｓ８１０）。

【0106】

更に、３Ｄ映像に含まれたテキスト領域を検出する（Ｓ８２０）。

【0107】

なお、検出されたテキスト領域に対応するテキストマスクを生成する（Ｓ８３０）。

【0108】

続いて、推定されたデプス及び生成されたテキストマスクに基づいてテキスト領域のデプスを補正する（Ｓ８４０）。

【0109】

一方、テキスト領域のデプスを補正するステップＳ８４０では、ステップＳ８１０で推定されたデプスに基づいてテキスト領域のデプスを第１デプス値に補正することができる。

【0110】

この場合、第１デプス値は、上述の数式（６）によって算出されてよい
なお、第１デプスが補正されたテキスト領域にデプステンポラルスムージング（ｄｅｐｔｈ ｔｅｍｐｏｒａｌ ｓｍｏｏｔｈｉｎｇ）処理を行うことができる。

【0111】

なお、テキスト領域を検出するステップＳ８２０では、テキストライン及びテキストカラーを検出し、検出されたテキストライン及びテキストカラーに基づいてテキスト領域を検出してよい。

【0112】

なお、テキストマスクを生成するステップＳ８３０では、検出されたテキストラインによってマスクを拡張し、検出されたテキストカラーによって拡張されたマスクをフィルタリングしてテキストマスクを生成することができる。

【0113】

なお、デプスを推定するステップＳ８１０では、推定されたデプスに基づいてデプスマップ（Ｄｅｐｔｈ ｍａｐ）を生成することができる。この場合、デプスを補正するステップＳ８４０では、生成されたデプスマップでテキスト領域に対応するデプス値を補正することができる。

【0114】

それにより、３Ｄ映像のテキスト領域に発生する歪み及びフリッカを軽減することができるようになる。

【0115】

一方、本発明は、２Ｄ映像及びデプス情報に基づいてマルチビュー映像を生成する場合にも同様に適用されてよい。

【0116】

上述の多様の実施形態に係るディスプレイ装置の制御方法や、メガネ装置の制御方法は、ソフトウェアで生成されて映像処理装置に搭載されてよい。

【0117】

具体的には、本発明の一実施形態に係る映像処理装置には、入力された３Ｄ映像のデプスを推定するステップと、３Ｄ映像に含まれたテキスト領域を検出するステップと、検出されたテキスト領域に対応するテキストマスクを生成するステップと、推定されたデプス及び生成されたテキストマスクに基づいてテキスト領域のデプスを補正するステップとを行うプログラムが保存された非一時的な読み取り可能な媒体が設置されてよい。

【0118】

非一時的な読み取り可能な媒体とは、レジスタやキャッシュ、メモリ等のように短い間だけデータを保存する媒体ではなく、半永久的にデータを保存し、機器によって読み取り（Ｒｅａｄｉｎｇ）が可能な媒体を意味する。具体的には、上述の多様なアプリケーションまたはプログラムは、ＣＤやＤＶＤ、ハードディスク、ブルーレイディスク、ＵＳＢ、メモリカード、ＲＯＭ等のような非一時的な読み取り可能な媒体に保存されて提供されてよい。

【0119】

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6a)】

【図6b)】

【図7】

【図8】

【図9】