特許 7110178 映像処理装置及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-22

(45)【発行日】2022-08-01

(54)【発明の名称】映像処理装置及び記録媒体

(51)【国際特許分類】

   H04N 7/01 20060101AFI20220725BHJP

【ＦＩ】

H04N7/01 350

H04N7/01 170

【請求項の数】 15

(21)【出願番号】P 2019512635

(86)(22)【出願日】2017-09-05

(65)【公表番号】

(43)【公表日】2019-11-07

(86)【国際出願番号】 KR2017009686

(87)【国際公開番号】W WO2018048171

(87)【国際公開日】2018-03-15

【審査請求日】2020-08-21

(31)【優先権主張番号】10-2016-0115104

(32)【優先日】2016-09-07

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】503447036

【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド

(74)【代理人】

【識別番号】110000051

【氏名又は名称】特許業務法人共生国際特許事務所

(72)【発明者】

【氏名】ユ，ソクボン

(72)【発明者】

【氏名】リム，ヒョンジュン

(72)【発明者】

【氏名】キム，ギヨン

(72)【発明者】

【氏名】ムン，ヨンス

(72)【発明者】

【氏名】アン，テギョン

【審査官】長谷川 素直

(56)【参考文献】

【文献】特開平１０－１８７９６４（ＪＰ，Ａ）

【文献】特開平１１－０９８３６４（ＪＰ，Ａ）

【文献】特開２００９－１５２９６８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／００１６７２０（ＵＳ，Ａ１）

【文献】特開２００１－３３９７３１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／０１

(57)【特許請求の範囲】

【請求項1】

映像処理装置であって、
複数のピクセルを含む入力映像を受信する信号受信部と、
前記入力映像を処理して出力映像を生成する映像処理部と、
複数のピクセル値にそれぞれ対応するように備えられた複数のパッチを記憶する記憶部と、
前記記憶部に記憶された前記複数のパッチから前記複数のピクセルのそれぞれのピクセル値に対応するパッチを判断して、前記複数のピクセルのそれぞれに前記判断されたパッチを適用して前記出力映像を生成するように前記映像処理部を制御する制御部と、
を備え、前記複数のパッチはそれぞれに乱数アルゴリズムに基づくパッチ値を有することを特徴とする映像処理装置。

【請求項2】

前記複数のパッチのそれぞれは、前記パッチが適用される領域に近接しているピクセルの位置にそれぞれ対応する前記パッチ値を含むことを特徴とする、請求項１に記載の映像処理装置。

【請求項3】

前記制御部は、前記複数のピクセルよりも大きい領域に前記複数のパッチを適用することを特徴とする、請求項２に記載の映像処理装置。

【請求項4】

前記複数のパッチは７ｘ７の行列形態の領域に適用されるように備えられたことを特徴とする、請求項３に記載の映像処理装置。

【請求項5】

前記制御部は、前記複数のパッチが重なるように前記入力映像のそれぞれの前記ピクセルに対して前記複数のパッチを適用し、前記それぞれのピクセルに対して重なった前記複数のパッチ値の平均を算出して前記出力映像を生成することを特徴とする、請求項３に記載の映像処理装置。

【請求項6】

１つの前記パッチ内の前記複数のパッチ値間の相関度は０であることを特徴とする、請求項５に記載の映像処理装置。

【請求項7】

前記複数のパッチのうちの少なくとも一つは、予め設定された乱数アルゴリズムに基づいて判断され、
前記複数のパッチのうちの残りは、線形補間法に基づいて生成されることを特徴とする、請求項２に記載の映像処理装置。

【請求項8】

前記制御部は、前記入力映像の各ピクセルに対して前記複数のパッチを適用することによって生成されたテクスチャを、前記入力映像に基づいてガイデッドフィルタリング（ｇｕｉｄｅｄ ｆｉｌｔｅｒｉｎｇ）して補正されたテクスチャに変換させ、前記入力映像と前記補正されたテクスチャとを結合させることによって前記出力映像を生成することを特徴とする、請求項２に記載の映像処理装置。

【請求項9】

前記制御部は、前記入力映像にスムージングフィルタ（ｓｍｏｏｔｈｉｎｇ ｆｉｌｔｅｒ）を適用し、前記スムージングフィルタが適用された前記入力映像に前記複数のパッチを適用することを特徴とする、請求項１に記載の映像処理装置。

【請求項10】

映像処理装置のプロセッサによって実行可能な方法のプログラムコードを記憶する不揮発性記録媒体であって、
前記方法は、
複数のピクセルを含む入力映像を受信する段階と、
複数のピクセル値にそれぞれ対応するように備えられた複数のパッチから、前記入力映像の前記複数のピクセルのそれぞれのピクセル値に対応するパッチを判断する段階と、
前記複数のピクセルのそれぞれに前記判断されたパッチを適用して出力映像を生成する段階と、
を含み、
前記複数のパッチはそれぞれに乱数アルゴリズムに基づくパッチ値を有することを特徴とする記録媒体。

【請求項11】

前記複数のパッチのそれぞれは、前記パッチが適用される領域に近接しているピクセルの位置にそれぞれ対応する前記パッチ値を含むことを特徴とする、請求項１０に記載の記録媒体。

【請求項12】

前記複数のパッチは前記複数のピクセルよりも広い領域に適用されることを特徴とする、請求項１１に記載の記録媒体。

【請求項13】

前記出力映像を生成する段階は、
前記複数のパッチが重なるように前記入力映像のそれぞれのピクセルに前記複数のパッチを適用する段階と、
前記それぞれの前記ピクセルに対して重なった前記複数のパッチ値の平均を算出して前記出力映像を生成する段階と、を含むことを特徴とする、請求項１１に記載の記録媒体。

【請求項14】

１つの前記パッチ内の前記複数のパッチ値間の相関度は０であることを特徴とする、請求項１３に記載の記録媒体。

【請求項15】

前記複数のパッチのうちの少なくとも一つは、予め設定された乱数アルゴリズムによって判断され、
前記複数のパッチの残りは、線形補間法に基づいて生成されることを特徴とする、請求項１１に記載の記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンテンツソースから提供される入力映像の映像信号が出力映像として表示され得るように当該映像信号を処理する映像処理装置及び記録媒体に関する。

【背景技術】

【0002】

所定の情報を特定プロセスにしたがって演算及び処理するために、演算のためのＣＰＵ、チップセット、メモリなどの電子部品を基本的に含む電子装置は、処理対象となる情報によって様々に区別できる。例えば、電子装置には、汎用の情報を処理するＰＣやサーバーなどの情報処理装置があり、映像情報を処理する映像処理装置がある。

【0003】

映像処理装置は、映像データを含むコンテンツ信号を外部から受信し、コンテンツ信号から抽出される映像データを様々な映像処理プロセスにしたがって処理する。映像処理装置は処理された映像データを、自分のディスプレイパネル（ｄｉｓｐｌａｙ ｐａｎｅｌ）上に映像として表示するか、又はディスプレイパネルを有する他のディスプレイ装置で映像として表示されるように当該ディスプレイ装置に出力する。ディスプレイパネルを有さない映像処理装置の代表例には、セットトップボックス（ｓｅｔ－ｔｏｐ ｂｏｘ）がある。ディスプレイパネルを有する映像処理装置を特にディスプレイ装置といい、その例示には、ＴＶ、モニタ、携帯用マルチメディア再生機、タブレット（ｔａｂｌｅｔ）、モバイルフォン（ｍｏｂｉｌｅ ｐｈｏｎｅ）などがある。

【0004】

技術が発展するに伴ってＵＨＤ級の高解像度を支援するディスプレイパネルがディスプレイ装置に適用されており、最近では４Ｋ ＵＨＤ級を超えて８Ｋ ＵＨＤ級の超高解像度ディスプレイパネルも発売されている。ところが、ディスプレイ装置に提供される入力映像はこのように非常に高い解像度のディスプレイパネルに相応する高品質、高解像度のコンテンツではなく、相対的に低品質のコンテンツであることがある。例えば、ＵＨＤ級のディスプレイパネルを有するＴＶに、ＦＨＤ級の入力映像が提供される場合がある。このような状態でディスプレイ装置が入力映像を表示するためには低解像度の入力映像を高解像度の出力映像にアップスケーリングする一方で、アップスケーリング過程で出力映像のディテールを強化させることによって、出力映像の精細さ及び鮮明度を向上させることが好ましい。

【0005】

ただし、このようにディテールを強化させるプロセッサを適用する場合に２つの問題点が発生し得るが、その一つは、映像フレーム間の時間的な一貫性の欠如によるフリッカー（ｆｌｉｃｋｅｒ）現象の発生であり、もう一つは、一つの映像フレーム内における空間的な相関度の低下によるノイズの発生である。ディスプレイ装置又は映像処理装置が原本の入力映像のディテールを強化させて出力映像を提供する上で出力映像の品質を保障するにはこのような問題点を解決しなければならない。

【発明の概要】

【課題を解決するための手段】

【0006】

本発明の実施例に係る映像処理装置は、入力映像を受信する信号受信部と、前記入力映像を処理して出力映像を生成する映像処理部と、前記入力映像の第１ピクセルに対応する第１パッチを記憶する記憶部と、前記記憶部に記憶された前記第１パッチを前記第１ピクセルに適用して前記出力映像を生成するように前記映像処理部を制御する制御部とを含む。

【0007】

前記第１パッチは、複数のピクセル値にそれぞれ対応するように備えられた複数のパッチのうちの一つであり、前記複数のパッチのそれぞれは、前記パッチが適用される領域に近接しているピクセルの位置にそれぞれ対応する複数のパッチ値を含み、前記制御部は、前記第１ピクセルのピクセル値に基づいて前記第１パッチを判断する。

【0008】

前記制御部は、前記第１ピクセルよりも大きい領域に前記第１パッチを適用する。

【0009】

前記第１パッチは７ｘ７の行列形態の領域に適用されるように備えられ得る。

【0010】

前記制御部は、前記複数のパッチが重なるように前記入力映像のそれぞれの前記ピクセルに対して前記複数のパッチを適用し、前記それぞれのピクセルに対して重なった前記複数のパッチ値の平均を算出して前記出力映像を生成する。

【0011】

１つの前記パッチ内の前記複数のパッチ値間の相関度は０である。

【0012】

前記複数のパッチのうちの少なくとも一つは、予め設定された乱数アルゴリズムに基づいて判断され、前記複数のパッチの残りは、線形補間法に基づいて生成される。

【0013】

前記制御部は、前記入力映像の前記各ピクセルに対して前記複数のパッチを適用することによって生成されたテクスチャを、前記入力映像に基づいてガイデッドフィルタリング（ｇｕｉｄｅｄ ｆｉｌｔｅｒｉｎｇ）して補正されたテクスチャに変換させ、前記入力映像と前記補正されたテクスチャとを結合させることによって前記出力映像を生成する。

【0014】

前記制御部は、前記入力映像にスムージングフィルタ（ｓｍｏｏｔｈｉｎｇ ｆｉｌｔｅｒ）を適用し、該スムージングフィルタが適用された前記入力映像に前記第１パッチを適用する。

【0015】

本発明の実施例に係る映像処理装置のプロセッサによって実行可能な方法のプログラムコードを記憶する不揮発性記録媒体において、前記方法は、入力映像を受信する段階と、第１ピクセルに対応する第１パッチを取得する段階と、前記第１ピクセルに前記第１パッチを適用して出力映像を生成する段階とを含む。

【0016】

前記第１パッチは、複数のピクセル値にそれぞれ対応するように備えられた複数のパッチのうちの一つであり、前記複数のパッチのそれぞれは、前記パッチが適用される領域に近接しているピクセルの位置にそれぞれ対応する複数のパッチ値を含み、前記出力映像を生成する段階は、前記第１ピクセルのピクセル値に基づいて前記第１パッチを判断する段階を含む。

【0017】

前記第１パッチは、前記第１ピクセルよりも大きい領域に適用され得る。

【0018】

いずれか１つのパッチは７ｘ７の行列形態の領域に適用されるように備えられ得る。

【0019】

前記出力映像を生成する段階は、前記複数のパッチが重なるように前記入力映像のそれぞれの前記ピクセルに対して前記複数のパッチを適用する段階と、前記それぞれのピクセルに対して重なった前記複数のパッチ値の平均を算出して前記出力映像を生成する段階とを含む。

【0020】

１つの前記パッチ内の前記複数のパッチ値間の相関度は０である。

【0021】

前記複数のパッチのうちの少なくとも一つは、予め設定された乱数アルゴリズムに基づいて判断され、前記複数のパッチの残りは、線形補間法に基づいて生成され得る。

【0022】

前記第１パッチは、複数のピクセル値にそれぞれ対応する複数のパッチのうちの一つであり、前記出力映像を生成する段階は、前記各ピクセルに対して前記複数のパッチを適用することによって生成されたテクスチャを、前記入力映像に基づいてガイデッドフィルタリングして補正されたテクスチャに変換させる段階と、前記入力映像と前記補正されたテクスチャとを結合させることによって前記出力映像を生成する段階とを含む。

【0023】

前記出力映像を生成する段階は、前記入力映像にスムージングフィルタを適用する段階と、前記スムージングフィルタが適用された前記入力映像に前記第１パッチを適用する段階とを含む。

【0024】

本発明の実施例に係る映像プロセッサは、複数のピクセル値にそれぞれ対応する複数のパッチを含むメモリと、映像の第１ピクセルの第１ピクセル値に基づいて前記複数のパッチから第１パッチを判断し、前記第１ピクセルと該第１ピクセルに隣接した映像の第２ピクセルに前記第１パッチを印加することによって出力映像を生成する少なくとも一つのプロセッサとを含む。

【0025】

前記少なくとも一つのプロセッサは、前記第２ピクセルの第２ピクセル値に基づいて前記複数のパッチから第２パッチを判断し、前記第１ピクセルに前記第１パッチ及び前記第２パッチを印加し、前記第２ピクセルに前記第１パッチ及び前記第２パッチを印加することによって出力映像を生成する。

【0026】

前記第１パッチは第１ブロック及び第２ブロックを含み、前記第２パッチは第１ブロック及び第２ブロックを含み、前記少なくとも一つのプロセッサは、前記第１パッチの前記第１ブロック及び前記第２パッチの前記第１ブロックを前記第１ピクセルに印加し、前記第１パッチの前記第２ブロック及び前記第２パッチの前記第２ブロックを前記第２ピクセルに印加する。

【0027】

前記少なくとも一つのプロセッサは、リバイズされたテクスチャを生成するように前記出力映像のテクスチャをフィルタリングし、前記リバイズされたテクスチャを前記映像に結合させることによって前記出力映像を生成する。

【図面の簡単な説明】

【0028】

【図1】本発明の実施例に係る映像処理装置の構成ブロック図である。

【図2】本発明の実施例に係る映像処理装置が入力映像をディテール強化された出力映像に変換する過程を示すフローチャートである。

【図3】本発明の実施例に係る映像処理装置に適用されるパッチの形式を示す例示図である。

【図4】本発明の実施例に係る映像処理装置がシードパッチに基づいてデータベースを構築する原理を示す例示図である。

【図5】本発明の実施例に係る映像処理装置が入力映像の各ピクセルにパッチを適用して初期テクスチャを生成する原理を示す例示図である。

【図6】本発明の映像処理装置が初期テクスチャを入力映像に基づいて補正する原理を示す例示図である。

【図7】本発明の映像処理装置が入力映像の映像フレームのディテールを強化させる過程を示すフローチャートである。

【図8】映像処理装置が入力映像を出力映像に変換させた時に時間的に隣接した２映像フレームのプロファイル変化を示すグラフである。

【図9】本発明の実施例に係る映像処理装置がパッチのデータベースを表示するための入力映像の例示図である。

【図10】本発明の実施例に係る映像処理装置が図９の入力映像に基づいて表示する出力映像の例示図である。

【図11】本発明の映像処理装置に適用されるパッチが乱数に基づいて生成されたものか否かを判断する原理を示す例示図である。

【図12】本発明の実施例に係る映像処理装置が処理する入力映像及び出力映像のそれぞれの高周波成分を比較した例示図である。

【発明を実施するための形態】

【0029】

以下では添付の図面を参照し本発明に係る実施例に関して詳しく説明する。以下、実施例の説明では添付の図面に記載された事項を参照するが、各図で提示した同一の参照番号又は符号は実質的に同一の機能を果たす構成要素を表す。

【0030】

万一、実施例において第１構成要素、第２構成要素などのように序数を含む用語があれば、それらの用語は様々な構成要素を説明するために使われるものであり、用語は一つの構成要素を他の構成要素と区別するために使われるので、それらの構成要素は用語によってその意味が限定されない。実施例で使用する用語は当該実施例を説明するために適用されるもので、本発明の思想を限定するものではない。

【0031】

図１は、本発明の実施例に係る映像処理装置の構成ブロック図である。

【0032】

図１に示すように、本発明の実施例に係る映像処理装置１００は、様々なコンテンツソース１０からコンテンツ信号が提供される。本実施例では映像処理装置１００をＴＶなどのディスプレイ装置とする。本実施例に係る映像処理装置１００はディスプレイ部１３０を有さないセットトップボックスであってもよい。または、コンテンツ信号を処理してコンテンツ映像を表示できるタブレット（ｔａｂｌｅｔ）、ＰＣ、モバイルフォン（ｍｏｂｉｌｅ ｐｈｏｎｅ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）などを含む種々のディスプレイ装置に本発明の思想が適用されてもよい。

【0033】

映像処理装置１００は、コンテンツソース１０からコンテンツ信号を受信する信号受信部１１０と、信号受信部１１０から受信されたコンテンツ信号を処理する信号処理部１２０と、信号処理部１２０によって処理されるコンテンツ信号によるコンテンツ映像を表示するディスプレイ部１３０と、信号処理部１２０によって処理されるコンテンツ信号によるコンテンツ音響を出力するスピーカー１４０と、ユーザによる入力動作が行われるユーザ入力部１５０と、データが記憶される記憶部１６０と、信号処理部１２０の処理のための演算及び映像処理装置１００の諸般動作の制御を行う制御部１７０とを備える。これらの構成要素はシステムバスを介して相互接続される。

【0034】

信号受信部１１０はコンテンツソース１０のような外部装置からコンテンツ信号を受信するための通信モジュールを含む。信号受信部１１０は基本的に外部からの信号やデータを受信するための構成であるが、これに限定されず、両方向通信を具現してもよい。信号受信部１１０は、例えば、ＲＦ放送信号を指定された周波数にチューニングするように設けられたチューニングチップ（ｔｕｎｉｎｇ ｃｈｉｐ）、インターネットからパケットデータを有線で受信するイーサネット（登録商標）（Ｅｔｈｅｒｎｅｔ）モジュール、パケットデータをワイファイ又はブルトゥースなどのような様々な規格にしたがって無線で受信する無線通信モジュール、ＵＳＢメモリのような外部メモリが接続される接続ポートなどの構成要素のうち少なくとも一つを含む。すなわち、信号受信部１１０は種々の通信プロトコルにそれぞれ対応する通信モジュール又はポートなどが組み合わせられたデータ入力インターフェースを含む。

【0035】

信号処理部１２０は、信号受信部１１０に受信されるコンテンツ信号に対して様々なプロセスを行うことによってコンテンツを再生する。信号処理部１２０は印刷回路基板上に装着されるチップセット、バッファ、回路などによって具現されるハードウェアプロセッサを含み、設計方式によってはＳＯＣ（ｓｙｓｔｅｍ ｏｎ ｃｈｉｐ）によって具現されてもよい。基本的に、信号処理部１２０は、コンテンツ映像がディスプレイ部１３０に表示され、コンテンツオーディオがスピーカー１４０から出力されるようにコンテンツ信号を処理する。

【0036】

信号処理部１２０は、コンテンツ信号の映像信号を映像処理プロセスにしたがって処理することによってディスプレイ部１３０にコンテンツ映像が表示されるようにする映像処理部１２３と、コンテンツ信号のオーディオ信号をオーディオ信号プロセスにしたがって処理することによってスピーカー１４０からコンテンツオーディオが出力されるようにする音響処理部１２５を含む。

【0037】

映像処理部１２３はハードウェアプロセッサチップによって具現され、映像信号に対してデコーディング、映像強化、スケーリングなどの映像処理プロセスを行い、ディスプレイ部１３０に出力する。映像処理部１２３は設計方式によって複数のプロセッサチップの組合せを含んでもよい。

【0038】

音響処理部１２５はハードウェアＤＳＰによって具現され、オーディオ信号に対してチャネル別区分、増幅、ボリューム調整などのオーディオ処理プロセスを行い、スピーカー１４０に出力する。スピーカー１４０が複数個の単位スピーカーを含む場合に、音響処理部１２５はオーディオ信号をチャネル別に区分及び処理し、処理されたチャネル別信号を個別単位スピーカーにそれぞれ出力する。

【0039】

本実施例では信号処理部１２０が映像処理部１２３及び音響処理部１２５を含むとしたが、構造によっては様々な変更実施例が可能である。例えば、映像処理部１２３、記憶部１６０、制御部１７０が一つのチップによって具現されてもよい。

【0040】

ディスプレイ部１３０は映像処理部１２３によって処理される映像信号を映像として表示する。ディスプレイ部１３０の具現方式は限定されず、液晶方式のような受光構造又はＯＬＥＤ方式のような自発光構造のディスプレイパネルを含むことができる。また、ディスプレイ部１３０は具現方式によって付加的な構成をさらに含んでもよい。例えば、ディスプレイ部１３０のディスプレイパネルが液晶方式である場合に、ディスプレイ部１３０は、光を供給するバックライトユニットと、ディスプレイパネルを駆動させるパネル駆動基板などを含む。

【0041】

スピーカー１４０は信号処理部１２０によって処理されるオーディオデータを音響として出力する。スピーカー１４０は、いずれか一つのオーディオチャネルのオーディオデータに対応するように設けられた単位スピーカーを含み、複数のオーディオチャネルのオーディオデータにそれぞれ対応するように複数の単位スピーカーを含むことができる。

【0042】

ユーザ入力部１５０は、ユーザの操作又は入力に応じて予め設定された様々な制御コマンド又は情報を制御部１７０に伝達する。すなわち、ユーザ入力部１５０はユーザの意図に応じてユーザの操作によって発生する様々なイベントを信号処理部１２０に伝達することによって、制御部１７０が当該イベントに対応して動作するようにする。

【0043】

ユーザ入力部１５０は、情報の入力方式によって様々な形態とすることができ、例えばユーザ入力部１５０は、映像処理装置１００の外側に設けられたキー、ディスプレイ部１３０に設けられたタッチスクリーン、ユーザの発話が入力されるマイクロホン、ユーザのジェスチャなどを撮影又は感知するためのカメラ、センサーなどのような、映像処理装置１００に設けられたユーザインターフェース環境を含む。リモートコントローラもユーザインターフェース環境の一構成と見做してもよい。ただし、リモートコントローラは映像処理装置１００の本体と分離された構成であるので、映像処理装置１００の本体に設けられた別の制御信号受信部を介して映像処理装置１００に制御信号を伝送する。

【0044】

記憶部１６０は、信号処理部１２０及び制御部１７０の処理及び制御によって様々なデータが記憶される。記憶部１６０は信号処理部１２０及び制御部１７０によってアクセスされて、データの読取、記録、修正、削除、更新などが行われる。記憶部１６０は映像処理装置１００のシステム電源提供の有無に関係なくデータを保持できるようにフラッシュメモリ（ｆｌａｓｈ－ｍｅｍｏｒｙ）、ハードディスクドライブ（ｈａｒｄ－ｄｉｓｃ ｄｒｉｖｅ）、ＳＳＤ（ｓｏｌｉｄ－ｓｔａｔｅ ｄｒｉｖｅ）などのような不揮発性メモリと、信号処理部１２０によって処理されるデータが臨時にローディングされるためのバッファ、ＲＡＭなどのような揮発性メモリを含む。

【0045】

制御部１７０はＣＰＵ、マイクロプロセッサなどによって具現され、信号処理部１２０をはじめとする映像処理装置１００内の構成要素の動作を制御する。

【0046】

このような構造下で、映像処理装置１００はコンテンツソース１０から提供されるコンテンツ信号から映像信号を抽出し、抽出した映像信号を処理し映像として表示する。すなわち、映像処理装置１００は、映像信号の入力映像を映像処理プロセスにしたがって出力映像に変換させ、変換された出力映像をディスプレイ部１３０に表示する。入力映像が出力映像に変換される過程で、映像処理装置１００はディスプレイ部１３０が支援する解像度に合わせて入力映像の解像度を調整して出力映像を生成する。

【0047】

入力映像の解像度がディスプレイ部１３０の支援解像度に比べて高いと、映像処理装置１００は入力映像の解像度を下げるダウンスケーリングを行うことによって出力映像をディスプレイ部１３０の支援解像度に合わせて調整する。

【0048】

一方、入力映像の解像度がディスプレイ部１３０の支援解像度に比べて低いと、映像処理装置１００は入力映像の解像度を上げるアップスケーリングを行う。入力映像が出力映像に比べて低品質であるので、アップスケーリング時にはダウンスケーリング時とは違い、入力映像のディテール強化が重要な問題となる。もし入力映像のディテール強化無しで入力映像が出力映像に変換されると、最終表示される出力映像はユーザにとって画質の低下が著しく感じられることがある。

【0049】

入力映像のディテールを強化させる関連技術は、いくつかのものが提案されている。入力映像のディテールを強化させることによって出力映像の画質の鮮明度及び精細さを向上させるために、入力映像の高周波成分を強化させる方法がある。

【0050】

ここで、いずれか一映像において高周波成分の役割は次の通りである。映像中に含まれるピクセル分布の側面において、全体的に相互隣接する２ピクセル間のピクセル値の差が相対的に小さく現れると、当該映像内では低周波成分が相対的に高いといえる。一方、全体的に相互隣接する２ピクセル間のピクセル値の差が相対的に大きく現れると、当該映像内では高周波成分が相対的に高いといえる。したがって、映像内で高周波成分が相対的に多ければ映像はそれだけ精細に表現される。映像内で現れる代表的な高周波成分の例示は、映像におけるオブジェクトのエッジ（ｅｄｇｅ）である。

【0051】

一方法によれば、映像処理装置は入力映像の低周波成分に関する係数値を用いて高周波成分を生成することによって高周波成分のテクスチャ（ｔｅｘｔｕｒｅ）を生成し、生成されたテクスチャを原本の入力映像に結合させることによってディテール強化された出力映像を得ることができる。このような方式を周波数リフティング（ｆｒｅｑｕｅｎｃｙ ｌｉｆｔｉｎｇ）方式と呼ぶ。例えば、映像処理装置は２Ｄ ＤＣＴ（ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ）を用いて入力映像を周波数ドメインに変換させ、低周波成分を高周波帯域に複写することによって高周波成分を新しく生成し、２Ｄ ＩＤＣＴを用いて空間ドメインに変換させてテクスチャを得る。

【0052】

他の方法によれば、映像処理装置はホワイトノイズベースでテクスチャを生成する。例えば、映像処理装置は入力映像の高周波成分を抽出し、予め設定された方式で生成されたホワイトノイズを高周波成分に追加して、ホワイトノイズの追加された高周波成分を位相変換させてテクスチャを生成する。そして、映像処理装置は生成されたテクスチャを原本の入力映像に結合させる。

【0053】

しかし、周波数リフティングベース方式において入力映像の周波数ドメインで付加される成分は、高周波帯域と関係ない低周波帯域の係数値である。また、ホワイトノイズベース方式において既存の高周波成分に付加されるホワイトノイズも原本の入力映像とは関係ない。このため、ディテール強化のために生成されたテクスチャを原本の入力映像と結合させる際、入力映像及びテクスチャ間の相関度が大きく低下する場合があり、この場合に、実際に表示される出力映像にはノイズが現れる。

【0054】

また、入力映像及びテクスチャ間の相関度が低いと、時間的に連続する各映像フレーム間にも一貫性が低下する。これは、出力映像が表示される間にユーザにとってフリッカー現象を感じる原因となる。

【0055】

そこで、本実施例に係る映像処理装置は、入力映像の解像度がディスプレイ部の支援可能な解像度より低ければ、入力映像をディスプレイ部の解像度に合わせてアップスケーリングし、映像特性にしたがってテクスチャを生成して入力映像に結合させることによって、ディテールの強化された出力映像を生成する。ここで、映像処理装置は、入力映像のピクセルが有し得る複数のピクセル値にそれぞれ対応する複数のパッチを記憶する。１つのパッチは入力映像の複数のピクセルにそれぞれ対応する複数のパッチ値を含む。パッチは機能を考慮して適用した便宜上の用語であり、パッチという用語の他に様々な用語を本実施例に適用してもよい。例えば、各パッチは、複数のパッチ値がピクセル単位の行列形態で配列される構造を有し、このような形態を考慮してマスク（ｍａｓｋ）と呼ぶこともできる。

【0056】

すなわち、映像処理装置は入力映像の各ピクセルに対して、該当のピクセルを含むピクセル領域単位のパッチによる演算を行うことによってテクスチャを生成する。

【0057】

これによって、映像処理装置は入力映像及びテクスチャ間の相関度を上げることによって出力映像におけるノイズを最小化し、時間的に連続する各映像フレーム間の一貫性を上げることによってフリッカー現象を抑制する。以下、本発明の実施例に関して具体的に説明する。

【0058】

図２は、本発明の実施例に係る映像処理装置が入力映像をディテール強化された出力映像に変換する過程を示すフローチャートである。

【0059】

図２に示すように、映像処理装置は入力映像にテクスチャを結合させることによって入力映像をディテール強化された出力映像に変換する。具体的に、映像処理装置は、入力映像に対して事前フィルタリング（ｐｒｅ－ｆｉｌｔｅｒｉｎｇ）する事前フィルタリング段階（Ｓ１１０）、乱数に基づいてピクセル対応パッチのデータベースを構築（ｂｕｉｌｄｉｎｇ）するパッチ構築段階（Ｓ１２０）、入力映像の各ピクセルに対してデータベースのピクセル別パッチを適用することによって初期テクスチャ（ｉｎｉｔｉａｌ ｔｅｘｔｕｒｅ）を生成するパッチ適用段階（Ｓ１３０）、初期テクスチャを原本の入力映像に調和させることによって補正されたテクスチャを生成するテクスチャ調和（ｈａｒｍｏｎｉｚａｔｉｏｎ）段階（Ｓ１４０）、補正されたテクスチャを入力映像に結合させることによって出力映像を生成するテクスチャ適用段階（Ｓ１５０）、のプロセスを順に行う。

【0060】

以下、各段階に関して具体的に説明する。

【0061】

事前フィルタリング段階（Ｓ１１０）は、入力映像を出力映像に変換するプロセスの最初の段階であり、実質的なプロセスを行う前の事前作業に該当する。映像処理装置はこの段階で入力映像に基本的に含まれるか、又は目立つノイズを除去する。万一このようなノイズを除去しなければ、以降の段階において当該ノイズが予測出できない形態で現れることがあり、この段階ではこのような可能性を極力排除する。もし入力映像に目立つノイズがないなどの状況によってこの段階は行われなくてもよい。

【0062】

事前フィルタリング段階（Ｓ１１０）において、映像処理装置は例えば、入力映像にスムージングフィルタ（Ｓｍｏｏｔｈｉｎｇ Ｆｉｌｔｅｒ）を適用する。スムージングフィルタにはガウシアンスムージングフィルタなどの種々の技術を適用する。

【0063】

パッチ構築段階（Ｓ１２０）は、入力映像の有効ピクセル値にそれぞれ対応するパッチのデータベースを事前に準備する作業である。この段階は、事前フィルタリング段階（Ｓ１１０）後に行うが、一般的には、入力映像を出力映像に変換するプロセス以前に行う。すなわち、データベースは事前に構築及び格納され、映像処理装置はＳ１２０段階で既に格納されたデータベースを呼び出す。また、データベースは、映像処理装置が演算によって直接生成し格納してもよく、映像処理装置の製造過程で製造者によってデータベースが映像処理装置に格納されてもよい。

【0064】

映像処理装置は８ビット入力映像を処理する場合に、データベースから０乃至２５５番目のピクセル値のそれぞれに対応するパッチを取得する。いずれか１つのピクセル値に対応するパッチはｍｘｎ、演算の便宜のために好ましくはｎｘｎのブロックを含むマトリクス形態を有する。ここで、ｍ又はｎは予め設定された整数である。１ブロックは１ピクセルに対応するので、パッチ内の複数のブロックはそれぞれ映像のピクセルに個別的に対応する。１つのパッチ内のブロックは乱数アルゴリズムに基づく任意の値を含み、パッチに関する具体的な説明は後述する。

【0065】

パッチ適用段階（Ｓ１３０）は、事前に備えられたデータベースからパッチを取得し、入力映像の各ピクセルに対して適用する作業である。データベースのパッチはピクセル値別に備えられており、映像処理装置は入力映像の各ピクセルのピクセル値を判断し、判断したピクセル値に対応するパッチを該当のピクセルに反映する。具体的には、映像処理装置はパッチの複数のブロックのうち中央のブロックが該当のピクセルに対応するようにパッチを配置し、このような作業を入力映像の全ピクセルに対して行う。結果的に、いずれか一つのピクセルに対して最大で（ｎｘｎ）個のパッチのブロックが積層され、映像処理装置はピクセルに対して積層されるブロックの値の平均値を取得する。映像処理装置は全ピクセルに対する上記の平均値によって初期テクスチャを生成する。

【0066】

テクスチャ調和段階（Ｓ１４０）は初期テクスチャにガイデッドフィルタリング（Ｇｕｉｄｅｄ Ｆｉｌｔｅｒｉｎｇ）を適用することによって初期テクスチャを入力映像に調和させる作業である。すなわち、ガイデッドフィルタリングのガイダンス（ｇｕｉｄａｎｃｅ）映像は入力映像となる。映像処理装置はガイデッドフィルタリングによって初期テクスチャと入力映像との相関度を強化させて、初期テクスチャを補正されたテクスチャに変換させる。ガイデッドフィルタリングに関する具体的な内容に関しては後述する。

【0067】

テクスチャ適用段階（Ｓ１５０）は、補正されたテクスチャを入力映像と結合させることによって最終的に入力映像を出力映像に変換させる作業である。それ以前の段階によって導出される補正されたテクスチャは入力映像に適応的に強化された高周波成分を含み、入力映像と補正されたテクスチャとの結合の結果である出力映像は入力映像に比べて高周波成分が強化される。ここで、関連技術において単純に高周波成分が強化されたのとは異なり、本実施例による補正されたテクスチャは、入力映像に適応的に処理及び生成された結果である。したがって、出力映像では関連技術に見られる時間的な一貫性及び空間的な相関度の低下を最小化できる。

【0068】

これによって、本実施例に係る映像処理装置はアップスケーリングから生じ得る出力映像におけるフリッカー現象又はノイズ現象を最小化させ、出力映像の品質を保障する。

【0069】

以下、パッチのデータベースの構築方法に関して説明する。

【0070】

図３は、本発明の実施例に係る映像処理装置に適用されるパッチの形式を示す例示図である。

【0071】

図３に示すように、いずれか１つのピクセル値に対応するパッチ２１０はｎｘｎ個のブロックを含むマトリクス形態を有する。ｎ＝７のとき、１つのパッチ２１０はＡ０１乃至Ａ４９の総４９個のブロックを含み、各ブロックは１つのピクセルの位置に対応する。すなわち、当該パッチ２１０は入力映像の１ピクセルに適用される時、該当のピクセルの他に該当のピクセルの周囲にある４８個のピクセルにも適用される。

【0072】

ここで、パッチ２１０の大きさ、すなわちパッチ２１０が含むブロックの個数は、設計方式によって様々な数値を指定できる。パッチ２１０の大きさが相対的に大きくなると、出力映像の精細さ及び鮮明度は増加するが、フリッカー現象が増加することがあり、処理時に必要なメモリ及び負荷が増加する。パッチ２１０の大きさが相対的に小さくなると、出力映像の精細さ及び鮮明度は減少するが、フリッカー現象が減少し、処理時に必要なメモリ及び負荷が減少する。

【0073】

同図のパッチ２１０において、最左上端のブロックがＡ０１であり、その右側のブロックがＡ０２であり、ブロックは一つずつ移動しながら順次にＡ０３，Ａ０４などと呼ばれる。最右下端のブロックはＡ４９と呼ばれる。このようなブロック名はパッチ２１０内で特定位置のブロックを簡潔に示すために便宜上導入したものに過ぎない。

【0074】

パッチ２１０が入力映像のいずれかのピクセルに適用される時、パッチ２１０に含まれる複数のブロックのうちのいずれか１つのブロックが、適用対象となるピクセルに対応するように適用される基準ブロックとなり、残りのブロックは相対位置によって適用対象となるピクセル周囲のピクセルにそれぞれ対応するように適用される。パッチ２１０におけるブロックのいずれのブロックが基準ブロックになるかに関しては、設計方式によって様々な形態が可能である。例えば、基準ブロックはＡ０１位置に該当するブロックになってもよく、Ａ０７やＡ４９の位置に該当するブロックになってもよい。

【0075】

ただし、演算の便利などを考慮すれば、基準ブロックはパッチ２１０内で中央に位置するブロック、すなわちＡ２５位置に該当するブロックになることが好ましい。

【0076】

以下、パッチ２１０の各ブロックが有する値に関して説明する。ここで、パッチ２１０のデータベースは入力映像の全ピクセル値に対応するパッチ２１０を含むので、８ビット入力映像に対応して０乃至２５５番の総２５６個のパッチ２１０を含み、１０ビット入力映像に対応して０乃至１０２３の総１０２４個のパッチ２１０を含む。データベースは支援する入力映像のビット数に応じて種々のパッチ２１０を含むことができる。

【0077】

映像処理装置はデータベースの構築段階で、まず、予め設定された個数のパッチ２１０を１次に生成し、１次に生成されたパッチ２１０に基づいて残りのパッチ２１０を２次に生成する。１次に生成されるパッチ２１０をシード（ｓｅｅｄ）パッチと呼ぶ。全ピクセル値に対応するパッチ２１０を生成する方法に関しては後述する。

【0078】

映像処理装置は特定の条件下で乱数アルゴリズムによって導出された任意の値（ａｒｂｉｔｒａｒｙ ｖａｌｕｅ）をパッチ２１０における各ブロックに付与する。このような各ブロックの値をパッチ値と呼び、１つのパッチ２１０は複数のパッチ値を含む。すなわち、パッチ２１０の複数のブロックの値は任意の値であるが、Ｍｉｎ／Ｍａｘ／Ｍｅａｎ／Ｓｔａｎｄａｒｄ Ｄｅｖｉａｔｉｏｎなどの条件で作られるので、完全に無作為に決定される乱数値ではない。

【0079】

特定の条件として、１つのパッチ２１０における複数ブロックの値は平均値が予め設定された目標値となるように備えられるので、複数のパッチ２１０における各ブロックの値が同一の標準偏差を有するように備えられる。ここで、平均値の目標値は設計方式によって色々な数値を適用し得るが、好ましくは０とする。また、同一の標準偏差を有するということは、予め設定された標準偏差値をσという時、パッチ２１０のブロックの値ｋが－σ≦ｋ≦σを満たすことを意味する。また、平均値は、幾何平均、調和平均など様々な数学的意味の平均公式を適用でき、例えば本実施例では算術平均方式に基づいて平均値を導出する。

【0080】

このような方式によって、映像処理装置は各シードパッチを生成する。以下、シードパッチに基づいて全ピクセル値に対応するパッチを生成する方法に関して説明する。

【0081】

図４は、本発明の実施例に係る映像処理装置がシードパッチに基づいてデータベースを構築する原理を示す例示図である。

【0082】

図４に示すように、映像処理装置は入力映像のピクセル値の下限である０から上限であるｐ番までの範囲内でＮ個のシードパッチ２２０を生成する。例えば、８ビット入力映像の場合にｐ＝２５５である。０乃至２５５番までの範囲内でいずれのピクセル値に対してシードパッチ２２０を生成するかは設計方式によって色々な数値が可能であり、例えば、シードパッチ２２０はＱの倍数に該当するピクセル値に対して生成される。Ｑは所定の整数値であり、Ｑが決定されるとＮも決定される。

【0083】

シードパッチ２２０に対応するピクセル値以外の残りピクセル値に対応するパッチ２３０を導出するために、線形補間法（ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）が適用される。例えば、映像処理装置はピクセル値０のシードパッチ２２０及びピクセル値Ｑのシードパッチ２２０から線形補間法によって０とＱとの間のピクセル値のパッチ２３０を導出する。もちろん、既にシードパッチ２２０が存在するピクセル値に対しては、シードパッチ２２０がまさしくパッチ２３０となる。映像処理装置はこのように全シードパッチ２２０に基づいて線形補間法を適用することによって、全ピクセル値に対応するパッチ２３０のデータベースを構築する。

【0084】

以下、線形補間法の原理に関して簡単に説明する。

【0085】

線形補間法は、任意の２つの端点の値が与えられたとき、直線距離による線形的計算によってそれら２つの端点の間の値を推定する方法である。例えば、２つの端点（ｘ０，ｙ０）と（ｘ１，ｙ１）が与えられたとき、これらの間に位置している（ｘ，ｙ）は、次のような比例式によって推定できる。

【0086】

［数１］
（ｙ－ｙ０）／（ｘ－ｘ０）＝（ｙ１－ｙ０）／（ｘ１－ｘ０）
ｙ＝ｙ０＋（ｙ１－ｙ０）｛（ｘ－ｘ０）／（ｘ１－ｘ０）｝

【0087】

このような原理を一般化させると次の通りである。２地点ｐ１，ｐ２におけるデータ値がそれぞれｆ（ｐ１），ｆ（ｐ２）のとき、ｐ１，ｐ２間の任意の地点ｐにおけるデータ値ｆ（ｐ）は、次の数式によって計算できる。

【0088】

［数２］
ｆ（ｐ）＝｛ｄ２／（ｄ１＋ｄ２）｝ｆ（ｐ１）＋｛ｄ１／（ｄ１＋ｄ２）｝ｆ（ｐ２）

【0089】

ここで、ｄ１はｐからｐ１までの距離であり、ｄ２はｐからｐ２までの距離である。
もし距離の比を合計が１となるように正規化すれば、すなわちｄ１＋ｄ２＝１にすれば、この数式は、次のように単純化できる。

【0090】

［数３］
ｆ（ｐ）＝ｄ２ｆ（ｐ１）＋ｄ１ｆ（ｐ２）

【0091】

本実施例ではこのように線形補間法によってシードパッチ２２０から全ピクセル値に対するパッチ２３０を取得する方法に関して説明した。しかし、これは一例に過ぎないもので、必ずしも線形補間法が適用されるわけではなく、２地点の間の１地点を推定できる様々な補間法を本発明の思想に適用できる。

【0092】

以下、映像処理装置が入力映像にパッチ２３０を適用する方法に関して説明する。

【0093】

図５は、本発明の実施例に係る映像処理装置が入力映像の各ピクセルにパッチを適用して初期テクスチャを生成する原理を示す例示図である。

【0094】

図５に示すように、映像処理装置は入力映像３１０の各ピクセルのピクセル値を判断する。映像処理装置は所定のピクセルＰ０のピクセル値に対応するパッチ３２０をデータベースから検索し、検索されたパッチ３２０を当該ピクセルＰ０に適用する。

【0095】

パッチ３２０をピクセルＰ０に適用する方法として、映像処理装置はパッチ３２０の基準ブロックＰ１がピクセルＰ０に対応するようにパッチ３２０を入力映像３１０に適用する。すなわち、パッチ３２０の基準ブロックＰ１の位置をピクセルＰ０に合わせると、パッチ３２０の残りのブロックはピクセルＰ０周囲の各ピクセルに対応する位置に配置される。パッチ３２０が（ｎｘｎ）個のブロックを含むと、パッチ３２０の各ブロックは入力映像３１０のピクセルＰ０を中心とする（ｎｘｎ）個のピクセルにそれぞれ対応するように適用される。

【0096】

このような方式によって、映像処理装置は入力映像３１０の全ピクセルに対してパッチを適用する。この過程が終わると、入力映像３１０の各ピクセル上には複数のパッチのブロックが重なる。例えば、ピクセルＰ０上には複数のパッチのブロックであるＰ１，Ｐ２，．．．，Ｐ（ｑ－１），Ｐｑが重なる。ここで、ｑ値はパッチ３２０の全ブロック数に対応し、ピクセルの入力映像３１０内の位置によっては当該ピクセルに対応するブロックの個数が他のピクセルに比べて少ないこともある。

【0097】

映像処理装置はいずれか１つのピクセルＰ０に対して、当該ピクセルＰ０に対応するように重なった複数のパッチのブロックＰ１，Ｐ２，．．．，Ｐ（ｑ－１），Ｐｑの値の平均値を算出する。このような平均値を全ピクセルに対して算出し、映像処理装置はそれら平均値による初期テクスチャを生成する。

【0098】

以下、初期テクスチャを原本の入力映像に調和させて補正する方法に関して説明する。

【0099】

図６は、本発明の映像処理装置が初期テクスチャを入力映像に基づいて補正する原理を示す例示図である。

【0100】

図６に示すように、映像処理装置は初期テクスチャが生成されると、初期テクスチャを原本映像、すなわち入力映像に基づいてガイデッドフィルタリングを適用することによって、補正されたテクスチャを生成する。以下、ガイデッドフィルタリングの原理に関して説明する。

【0101】

ガイデッドフィルタリングはノイズ除去（Ｄｅｎｏｉｓｉｎｇ）、マルチスケールディテール抽出（Ｍｕｌｔｉ－ｓｃａｌｅ Ｄｅｔａｉｌ Ｅｘｔｒａｃｔｉｏｎ）などの分野に用いられる方法であり、基本的には、所定の入力を予め設定されたガイダンス（ｇｕｉｄａｎｃｅ）に対比させてフィルタリングすることによってガイダンスに対応する出力を得る。

【0102】

ガイダンス映像Ｉ、フィルタリング入力映像ｐ、フィルタリング出力映像ｑに関する一般的な線形変換可変（ｌｉｎｅａｒ ｔｒａｎｓｌａｔｉｏｎ－ｖａｒｉａｎｔ）フィルタリングプロセスにおいて、Ｉ及びｑは事前に与えられる値である。ピクセルｉにおけるフィルタリング出力映像ｑｉは、次のような加重平均（ｗｅｉｇｈｔｅｄ ａｖｅｒａｇｅ）で表現できる。

【0103】

［数４］
ｑｉ＝Σ｛Ｗｉｊ（Ｉ）ｐｊ｝

【0104】

式中、Σの初項はｊである。ｉ及びｊはピクセルインデックスである。フィルタカーネルＷｉｊはガイダンス映像Ｉの関数であり、ｐに対して独立的である。このフィルタはｐに対して線形的である。

【0105】

ガイデッドフィルタの主要前提は、ガイダンスＩ及びフィルタリング出力映像ｑ間のローカル線形モデルである。次の数式のように、ｑはピクセルｋを中央に置くウィンドウωｋにおいて、Ｉの線形変形と見なされる。ここで、ウィンドウはガイデッドフィルタリングにおけるパッチを意味する。

【0106】

［数５］
ｑｉ＝ａｋＩｉ＋ｂｋ，∀ｉ∈ωｋ

【0107】

（ａｋ，ｂｋ）は、ωｋにおいて一定のものと見なされる線形係数である。線形係数（ａｋ，ｂｋ）を判断するためには、フィルタリング入力映像ｐからの制限が必要である。次の数式のように、ノイズ／テクスチャのような不要な成分ｎを引いたフィルタリング入力映像ｐとしてフィルタリング出力映像ｑをモデリングできる。

【0108】

［数６］
ｑｉ＝ｐｉ－ｎｉ

【0109】

上記の数式５のような線形モデルを維持する間にｑとｐ間の差異を最小化するためのソリューションが要求される。特に、ウィンドウωｋにおいて次のようなコスト（ｃｏｓｔ）関数が最小化する。

【0110】

［数７］
Ｅ（ａｋ，ｂｋ）＝Σ｛（ａｋＩｉ＋ｂｋ－ｐｉ）２＋εａｋ２｝

【0111】

数式中、シグマ演算の初項は（ｉ∈ωｋ）である。εは正規化パラメータである。この式は線形リッジ回帰（ｌｉｎｅａｒ ｒｉｄｇｅ ｒｅｇｒｅｓｓｉｏｎ）モデルであり、そのソリューションは次の数式の通りである。

【0112】

［数８］
ａｋ＝｛（１／｜ω｜）Σ（Ｉｉｐｉ－μｋＰｋ）｝／（σｋ２＋ε）
ｂｋ＝Ｐｋ－ａｋμｋ

【0113】

式中、シグマ演算の初項は（ｉ∈ωｋ）である。μｋ及びσｋ２は、ωｋにおいてＩの平均及び分散（ｍｅａｎ ａｎｄ ｖａｒｉａｎｃｅ）を表す。｜ω｜はωｋにおいてピクセルの個数であり、Ｐｋ＝｛（１／｜ω｜）Σｐｉ｝はωｋにおいてｐの平均である。線形係数（ａｋ，ｂｋ）が取得されると、ガイデッドフィルタリングプロセスにしたがってフィルタリング出力映像ｑｉが算出され得る。

【0114】

ところが、ピクセルｉはＩをカバーする全てのオーバーラッピングウィンドウωｋに関連するので、数式５においてｑｉの値は、異なるウィンドウで算出された時には同一でない。簡単な方法は、ｑｉの全ての可能な値の平均値を求めることである。映像で全てのウィンドウωｋに対する（ａｋ，ｂｋ）を算出した後、次の式によってフィルタリング出力を算出できる。

【0115】

［数９］
ｑｉ＝（１／｜ω｜）Σ（ａｋＩｉ＋ｂｋ）

【0116】

数式中、シグマ演算の初項は（ｋ｜ｉ∈ωｋ）である。ここで、ボックスウィンドウの対称性によって、初項が（ｋ｜ｉ∈ωｋ）であるΣａｋは初項が（ｋ∈ωｉ）であるΣａｋと同一なので、この式は、次の数式として整理できる。

【0117】

［数１０］
ｑｉ＝ＡｉＩｉ＋Ｂｉ

【0118】

数式中、Ａｉ＝（１／｜ω｜）Σａｋ及びＢｉ＝（１／｜ω｜）Σｂｋは、Ｉをオーバーラッピングする全ウィンドウの平均係数である。ここで、Ａｉ及びＢｉのシグマ演算の初項はいずれも（ｋ∈ωｉ）である。以上説明したような数式８及び数式１０がガイデッドフィルタの定義となる。

【0119】

このような原理のガイデッドフィルタを用いて、映像処理装置はパッチの適用によって生成された初期テクスチャを補正されたテクスチャに変換させる。初期テクスチャは入力映像との相関度が保障された状態でないことから、初期テクスチャを入力映像に結合させて出力映像が生成されると、本出力映像は相関度の問題によってノイズが発生し得る。このため、映像処理装置は初期テクスチャを入力映像に対比させてガイデッドフィルタリングすることによって、入力映像に対応する補正されたテクスチャを得ることができる。映像処理装置はこのように補正されたテクスチャを入力映像と結合させて出力映像を生成することによって、一貫性及び相関度の向上した出力映像を得ることができる。

【0120】

以下、映像処理装置が入力映像の映像フレームをディテール強化された出力映像の映像フレームに変換する過程に関して説明する。

【0121】

図７は、本発明の映像処理装置が入力映像の映像フレームのディテールを強化させることを示すフローチャートである。

【0122】

図７に示すように、Ｓ２１０段階で、映像処理装置は入力映像を取得する。より具体的には、映像処理装置は入力映像において映像フレーム単位にディテールを強化するプロセスを行う。

【0123】

Ｓ２２０段階で映像処理装置は事前に備えられたパッチのデータベースを呼び出す。このデータベースは映像処理装置内に格納されたり、映像処理装置と別個の外部装置又はサーバーから映像処理装置に受信されたり、又は映像処理装置で新規に生成され得る。

【0124】

Ｓ２３０段階で映像処理装置は１次にノイズを除去するために入力映像をスムージングフィルタリングする。本実施例によって、この段階は、入力映像に若干のノイズが含まれる場合に行い、入力映像が閾値以下のノイズを含む場合にこの段階は省略されてもよい。

【0125】

Ｓ２４０段階で映像処理装置はデータベースから入力映像のピクセル値に対応するパッチを選択する。

【0126】

Ｓ２５０段階で映像処理装置は選択したパッチを対応のピクセルに適用する。

【0127】

全ピクセルに対してパッチが適用されると、Ｓ２６０段階で映像処理装置は、各ピクセルに適用された複数のパッチのブロックの平均値を算出する。

【0128】

Ｓ２７０段階で映像処理装置は、算出された各ピクセル別平均値に基づいて初期テクスチャを生成する。

【0129】

Ｓ２８０段階で映像処理装置は初期テクスチャを入力映像に基づいてガイデッドフィルタリングし、補正されたテクスチャを生成する。

【0130】

Ｓ２９０段階で映像処理装置は、補正されたテクスチャを入力映像に結合させる。

【0131】

これによって、映像処理装置はディテールの強化された出力映像を生成できる。

【0132】

以下、本発明の実施例に係る映像処理装置が入力映像のディテールを強化する場合と、比較例示に係る映像処理装置が入力映像のディテールを強化する場合の結果例示に関して簡単に説明する。

【0133】

図８は、映像処理装置が入力映像を出力映像に変換させた時に、時間的に隣接した２つの映像フレームのプロファイル変化を示すグラフである。

【0134】

図８に示すように、映像処理装置は、入力映像の時間的に連続する（ｔ－１）フレームとｔフレームをそれぞれ関連技術によってディテールを強化させる。同図の左グラフは入力映像を示し、右グラフはディテールが強化された出力映像を示す。各グラフで横軸はピクセルの相対位置又はピクセルのインデックス値を表し、縦軸は輝度値を表す。

【0135】

入力映像において（ｔ－１）フレームのカーブとｔフレームのカーブとの間には若干の差異があるが、この差異が大きくなるほどユーザにとってフリッカー現象が著しく感じられる。出力映像は入力映像の場合に比べてカーブが激しくなり、これは、入力映像の高周波成分が追加されるか又は増幅されることから生じる現象である。ところが、出力映像において（ｔ－１）フレームのカーブとｔフレームのカーブとの差異は、入力映像の場合に比べて大きくなったことが分かる。このため、ユーザはフリッカー現象を大きく感じることがある。

【0136】

これに比べて、本実施例に係る映像処理装置では、出力映像において（ｔ－１）フレームのカーブとｔフレームのカーブとの間にほとんど差異がない。これは、ディテール強化プロセスによって映像フレームの一貫性及び相関度が低下しなかったことを意味し、ユーザがこのような出力映像を見る際にフリッカー現象及びノイズ現象は最小限に抑制され得る。

【0137】

以下、本実施例に係る映像処理装置においてパッチのデータベースを肉眼で確認する方法に関して説明する。

【0138】

図９に示すように、パッチのデータベースを肉眼で確認するために、データベースの映像を表示するための入力映像４１０を備える。

【0139】

この入力映像４１０の構造は次の通りである。まず、入力映像４１０の背景は白色のような単色を含む。このような背景上に、１つのピクセルをそれぞれ含む複数個のドットが上下左右に予め設定された間隔で配置される。各ドットのピクセルは個別のピクセル値を有し、該当のドットのピクセル値に対応するパッチが後で出力映像に表示される。この入力映像４１０では８ｘ８の合計６４個のドットが表れているが、これは一例示に過ぎず、ユーザが確認しようとするパッチの個数に対応してドットの個数は様々に決定され得る。ただし、入力映像４１０内の各ドットは個別のピクセル値を有する。

【0140】

ここで、左右に隣接する２ピクセルＢ０１及びＢ０２間の距離ｄ１と、上下に隣接する２ピクセルＢ０１及びＢ０３間の距離ｄ２は、いずれか１つのパッチが含むブロックの行方向個数及び列方向個数によって決定される。具体的には、１つのパッチが含むブロックがｎｘｎであれば、ｄ１及びｄ２は（ｎ＋１）個のピクセルよりも大きくなる必要がある。例えば、パッチが含むブロックが７ｘ７であれば、入力映像４１０においてｄ１及びｄ２は少なくとも８ピクセル以上にならなければならない。万一ｄ１及びｄ２がｎ個のピクセルよりも小さければ、後に表示される出力映像において隣接する２パッチが重なり合って表れることになる。万一ｄ１及びｄ２がｎ個のピクセルと同じであれば、隣接する２パッチが境界線無しで接触して表れるので２パッチ間の区分が困難である。

【0141】

この実施例では入力映像４１０内の各ドットが互いに等間隔に行列を作って配置されているとしたが、必ずしもこのような形態になる必要はない。すなわち、後に表示される出力映像において隣接する２パッチが重なり合わないように、入力映像４１０内で各ドットが相互十分の距離を保って配置されるだけでいい。

【0142】

図１０は、本発明の実施例に係る映像処理装置が図９の入力映像に基づいて表示する出力映像の例示図である。

【0143】

図１０に示すように、映像処理装置は複数のパッチＣ０１，Ｃ０２，Ｃ０３を表す出力映像４２０を表示する。出力映像４２０に表れたパッチＣ０１，Ｃ０２，Ｃ０３は図９に示した入力映像４１０におけるドットに対応し、例えば、パッチＣ０１はドットＢ０１に、パッチＣ０２はドットＢ０２に、パッチＣ０３はドットＢ０３にそれぞれ対応する。各パッチＣ０１，Ｃ０２，Ｃ０３は入力映像の対応ドットを中心に出力映像４２０の背景上に配置される。同図ではパッチＣ０１，Ｃ０２，Ｃ０３を単純な正方形で表現したが、実際の出力映像４２０では複数のブロックを含む元来の形態で表れる。

【0144】

万一映像処理装置が本実施例によって入力映像のディテールを強化すれば、このような方法によって、ピクセル値に対応するパッチＣ０１，Ｃ０２，Ｃ０３が存在するか否か、及びパッチＣ０１，Ｃ０２，Ｃ０３の内容を肉眼で判断できる。

【0145】

以下、パッチがあるとき、当該パッチが乱数に基づいて生成されたものか否かを判断する方法に関して説明する。

【0146】

図１１は、本発明の映像処理装置に適用されるパッチが乱数に基づいて生成されたものか否かを判断する原理を示す例示図である。

【0147】

図１１に示すように、いずれか１つのパッチが任意の値によって生成されたものかを判断するためには、パッチ内の各ブロックの値、すなわちパッチ値が相互に相関関係を有してはならない。もちろん、１つのパッチ内の各パッチ値は前述のように特定条件下で選択されるものではあるが、各々の値は任意に選択されたものである。

【0148】

所定のパッチＸｔがあるとすれば、パッチ内のパッチ値の相関係数を導出するように自己相関（Ａｕｔｏ－ｃｏｒｒｅｌａｔｉｏｎ）によるＲ（ｎ）の演算を行うことができる。Ｒ（ｎ）の公式において、Ｅは期待値演算子（ｅｘｐｅｃｔｅｄ ｖａｌｕｅ ｏｐｅｒａｔｏｒ）、μは平均値、σは分散（ｖａｒｉａｎｃｅ）値である。Ｒ（ｎ）の公式において、Ｘ（ｔ＋ｎ）はＸｔをｎピクセルだけ移動させた場合であるから、ｔ＝０であればパッチ自身を意味する。

【0149】

万一いずれかのブロックが自分に対して相関度が１であり、自分以外のブロックに対して相関度が実質的に０であれば、当該パッチは乱数に基づいて生成されたといえる。一方、この場合、いずれかのブロックが、自分以外のブロックに対して相関度が０ではなく所定値以上の値を表すと、当該パッチは乱数に基づいて生成されていないといえる。

【0150】

図１２は、本発明の実施例に係る映像処理装置が処理する入力映像及び出力映像のそれぞれの高周波成分を比較した例示図である。

【0151】

図１２に示すように、映像処理装置が本実施例によって処理する前の入力映像から高周波成分を抽出した映像５１０は、概ね単色の背景にオブジェクトの輪郭（ｃｏｎｔｏｕｒ）が表現される。これは、高周波成分の特性上、映像のエッジで著しく表れるためである。

【0152】

映像処理装置が入力映像を本実施例によって処理すれば、入力映像の高周波成分が強化されることを意味するので、出力映像の高周波成分を抽出した映像５２０は、オブジェクトの輪郭が映像５１０の場合に比べて顕著に強化され、よりディテールが鮮明に表れる。

【0153】

本発明の例示的な実施例に係る方法は、様々なコンピュータ手段によって実行可能なプログラム命令形態で具現され、コンピュータ読取り可能媒体に記録され得る。このようなコンピュータ読取り可能媒体はプログラム命令、データファイル、データ構造などを単独で又は組合せで含む。例えば、コンピュータ読取り可能媒体は削除可能又は書き換えの可否にかかわらず、ＲＯＭなどの記憶装置のような揮発性又は不揮発性記憶装置、又は例えばＲＡＭ、メモリチップ、装置又は集積回路のようなメモリ、又は例えばＣＤ、ＤＶＤ、磁気ディスク又は磁気テープなどのような光学又は磁気的に記録可能であると同時に機械（例えば、コンピュータ）で読み込み可能な記憶媒体に記憶され得る。移動端末内に組み込み可能なメモリは、本発明の実施例を具現する指示を含むプログラム又はプログラムを記憶するのに適する機械で読み取り可能な記憶媒体の一例であることが理解できるだろう。この記憶媒体に記録されるプログラム命令は本発明のために特別に設計されて構成されたものであってもよく、コンピュータソフトウェアの技術分野で熟練した技術者にとって使用可能な公知のものであってもよい。

【0154】

以上の実施例は例示的なものに過ぎず、当該技術の分野における通常の知識を有する者であれば、様々な変形及び同等な他の実施例が可能である。したがって、本発明の真の技術的保護範囲は添付の特許請求の範囲に記載された発明の技術的思想によって定められるべきであろう。

【符号の説明】

【0155】

１０ コンテンツソース
１００ 映像処理装置
１１０ 信号受信部
１２０ 信号処理部
１２３ 映像処理部
１２５ 音響処理部
１３０ ディスプレイ部
１４０ スピーカー
１５０ ユーザ入力部
１６０ 記憶部
１７０ 制御部
２１０、２３０、３２０ パッチ
２２０ シードパッチ
３１０、４１０ 入力映像
４２０ 出力映像
５１０、５２０ 映像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】