知財求人 - 知財ポータルサイト「IP Force」
▶ サムスン エレクトロニクス カンパニー リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6918150
(24)【登録日】2021年7月26日
(45)【発行日】2021年8月11日
(54)【発明の名称】ディスプレイ装置及びその映像処理方法
(51)【国際特許分類】
H04N 5/208 20060101AFI20210729BHJP
G06T 5/00 20060101ALI20210729BHJP
G09G 5/36 20060101ALI20210729BHJP
G09G 5/00 20060101ALI20210729BHJP
【ＦＩ】
H04N5/208
G06T5/00 710
G09G5/36 520C
G09G5/00 550R
G09G5/00 550M
G09G5/36 520F
【請求項の数】13
【全頁数】24
(21)【出願番号】特願2019-567252(P2019-567252)
(86)(22)【出願日】2018年7月13日
(65)【公表番号】特表2020-522946(P2020-522946A)
(43)【公表日】2020年7月30日
(86)【国際出願番号】KR2018007970
(87)【国際公開番号】WO2019045264
(87)【国際公開日】20190307
【審査請求日】2019年12月5日
(31)【優先権主張番号】10-2017-0110249
(32)【優先日】2017年8月30日
(33)【優先権主張国】KR
(73)【特許権者】
【識別番号】503447036
【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100091214
【弁理士】
【氏名又は名称】大貫 進介
(72)【発明者】
【氏名】イム，ヒョン−ジュン
(72)【発明者】
【氏名】ユ，ソク−ボン
(72)【発明者】
【氏名】アン，テ−ギョン
(72)【発明者】
【氏名】ムン，ヨン−ス
(72)【発明者】
【氏名】チェー，ソン−フン
【審査官】
西谷 憲人
(56)【参考文献】
【文献】
特開２０１７−０７２７３３（ＪＰ，Ａ）
【文献】
米国特許出願公開第２０１４／０００９４６９（ＵＳ，Ａ１）
【文献】
特開２００３−０５８０９８（ＪＰ，Ａ）
【文献】
特開平０９−２９８６８２（ＪＰ，Ａ）
【文献】
特開２０１７−０３８３６０（ＪＰ，Ａ）
【文献】
特開２０１７−０９２８７２（ＪＰ，Ａ）
【文献】
特開２０１３−２０７６７３（ＪＰ，Ａ）
【文献】
特開２０１６−１０５２５４（ＪＰ，Ａ）
【文献】
特開２００５−３２３３６５（ＪＰ，Ａ）
【文献】
特開２００７−２２１５１６（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｎ ５／２０８
Ｇ０６Ｔ ５／００
Ｇ０９Ｇ ５／００
Ｇ０９Ｇ ５／３６
(57)【特許請求の範囲】
【請求項1】
入力映像を受信するための入力インターフェースと、 入力映像フレームの映像領域を保存する第１ストレージと、 ディスプレイと、 特定ピクセルの特定ピクセル値、前記特定ピクセルを中心に予め設定されたピクセル間隔で離隔されたピクセルのピクセル値をサンプリングすることで、ｎ×ｎメトリクス形式の第１パッチを獲得し、 前記特定ピクセルを固定し、前記特定ピクセルを中心に予め設定されたピクセル間隔で離隔された前記ピクセルの前記ピクセル値を時計回りまたは反時計回り回転して順次に配置することによって第２パッチを獲得し、 前記第２パッチに基づいて前記特定ピクセル値に対する高周波成分を獲得し、 前記高周波成分を前記入力映像に適用して前記入力映像を処理し、 前記処理された映像をディスプレイするように前記ディスプレイを制御するプロセッサと を含むディスプレイ装置。
【請求項2】
前記第２パッチをぼかし処理し、前記第１パッチに含まれた第１ピクセル値セット及び前記ぼかし処理された第２パッチに含まれた第２ピクセル値セットの差に基づいて、前記特定ピクセル値に対する高周波成分を含む第３パッチを獲得し、獲得された第３パッチを前記入力映像の前記特定ピクセル値に適用することを特徴とする請求項１に記載のディスプレイ装置。
【請求項3】
前記プロセッサは、 前記第１パッチで前記特定ピクセル値及び前記特定ピクセル値に隣接する第３ピクセル値セットのそれぞれの差に基づいて、前記第３ピクセル値セットのそれぞれに対する加重値を獲得し、前記第３パッチに含まれた高周波成分のそれぞれに前記獲得された加重値のうち、対応する加重値を適用して前記特定ピクセル値に対する高周波成分を獲得することを特徴とする請求項２に記載のディスプレイ装置。
【請求項4】
前記プロセッサは、 前記第２パッチの境界領域に位置した第４ピクセル値セットをミラーリングして前記第２パッチの外郭領域に配置し、前記第２パッチの境界領域に位置した第４ピクセル値セットに対するぼかし処理を行うことを特徴とする請求項２に記載のディスプレイ装置。
【請求項5】
前記プロセッサは、 前記第３パッチに含まれた高周波成分の平均値を予め設定された値に調整し、前記平均値の調整された第３パッチを前記入力映像の前記特定ピクセル値に適用することを特徴とする請求項２に記載のディスプレイ装置。
【請求項6】
前記プロセッサは、 前記特定ピクセル値を中心に予め設定されたピクセル間隔を半径とする円に外接する四角の各頂点に位置した第５ピクセル値セット及び前記円と前記四角の接点に位置した第６ピクセル値セットが前記特定ピクセル値を囲む３＊３形態の前記第１パッチを獲得し、 前記第１パッチで前記特定ピクセル値の位置を固定させ、相互離隔配置されたピクセルを前記特定ピクセル値を中心に順次に配置して前記第２パッチを獲得することを特徴とする請求項１に記載のディスプレイ装置。
【請求項7】
前記プロセッサは、 前記第１パッチで前記特定ピクセル値を中心に対角方向に位置した隣接ピクセル値を時計回りまたは反時計回りに獲得して順次に配置し、残りのピクセル値を同一の方向に獲得して順次に配置することで、前記第２パッチを獲得することを特徴とする請求項６に記載のディスプレイ装置。
【請求項8】
前記第１ストレージは、前記予め設定された数に対応するＮラインメモリで実現され、 前記プロセッサは、 前記第１ストレージに保存されたＮ個のラインに対応するピクセル値のうち、（Ｎ＋１）／２番目のラインに位置した前記特定ピクセル値を中心に上下左右方向にそれぞれ（Ｎ−１）／２ピクセル間隔分だけ離隔した位置の複数の第２ピクセル値、及び前記複数の第２ピクセル値を各角の中央点とする四角の各頂点に位置した複数の第１ピクセル値をサンプリングして前記第１パッチを獲得することを特徴とする請求項６に記載のディスプレイ装置。
【請求項9】
第２ストレージを更に含み、 前記プロセッサは、 前記特定ピクセル値に対する高周波成分が獲得されると、前記獲得された高周波成分を前記第２ストレージに保存し、順次に次のピクセル値に対する高周波成分を獲得して前記第２ストレージに保存し、前記入力映像に含まれた全てのピクセル値に対する高周波成分が前記第２ストレージに保存されると、前記保存された高周波成分のそれぞれに対応するピクセル値に適用して補正された映像を獲得することを特徴とする請求項１に記載のディスプレイ装置。
【請求項10】
ディスプレイ装置の映像処理方法において、 入力映像フレームの映像領域を保存するステップと、 特定ピクセルの特定ピクセル値、前記特定ピクセルを中心に予め設定されたピクセル間隔で離隔されたピクセルのピクセル値をサンプリングすることで、ｎ×ｎメトリクス形式の第１パッチを獲得するステップと、 前記特定ピクセルを固定し、前記特定ピクセルを中心に予め設定されたピクセル間隔で離隔された前記ピクセルの前記ピクセル値を時計回りまたは反時計回り回転して順次に配置することによって第２パッチを獲得するステップと、 前記第２パッチに基づいて前記特定ピクセル値に対する高周波成分を獲得するステップと、 前記高周波成分を入力映像に適用して前記入力映像を処理するステップと、 前記処理された映像をディスプレイ上にディスプレイするステップと を含む映像処理方法。
【請求項11】
前記高周波成分を獲得するステップは、 前記第２パッチをぼかし処理し、前記第１パッチに含まれたピクセル値セット及び前記ぼかし処理された第２パッチに含まれたピクセル値セットの差に基づいて、前記特定ピクセル値に対する高周波成分を含む第３パッチを獲得することを特徴とする請求項１０に記載の映像処理方法。
【請求項12】
前記高周波成分を獲得するステップは、 前記第１パッチで前記特定ピクセル値及び前記特定ピクセル値に隣接する第３ピクセル値セットのそれぞれの差に基づいて、複数のピクセル値のそれぞれに対する加重値を獲得し、前記第３パッチに含まれた高周波成分のそれぞれに前記獲得された加重値のうち、対応する加重値を適用して前記特定ピクセル値に対する高周波成分を獲得することを特徴とする請求項１１に記載の映像処理方法。
【請求項13】
前記第２パッチを獲得するステップは、 前記第２パッチの境界領域に位置した第４ピクセル値セットをミラーリングして前記第２パッチの外郭領域に配置し、前記第２パッチの境界領域に位置した第４ピクセル値セットに対するぼかし処理を行うことを特徴とする請求項１１に記載の映像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ディスプレイ装置及びその映像処理方法に関し、より詳細には、入力映像の高周波成分を復元するディスプレイ装置及びその映像処理方法に関する。
【背景技術】
【0002】
電子技術の発達により、様々な電子機器が開発及び普及されている。特に、家庭内、事務室、公共の所など、色々な場所で用いられるディスプレイ装置はここ数年間持続的な発展を遂げている。
【0003】
近来、４Ｋ ＵＨＤテレビなどの高解像度ディスプレイパネルが発売され、広く普及されている。しかし、まだ高品質の高解像度コンテンツは、不足している現状にある。そこで、低解像度コンテンツで高解像度コンテンツを生成するための様々な技術が求められている。更に、ＭＰＥＧ／Ｈ．２６４／ＨＥＶＣなどの映像圧縮により、コンテンツの高周波成分の損失が発生するおそれがあることから、損失された高周波成分を復元するための技術が求められている。
【0004】
上記内容は、本発明の理解を促すためだけに背景技術として理解されてよい。上記内容が本発明に関連する従来技術として適用可能か否かに関し、如何なる判断や主張も行われていない。
【発明の概要】
【発明が解決しようとする課題】
【0005】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、映像拡大、映像圧縮などにより、テクスチャの損失された映像に対してテクスチャ生成を通じ、映像の細密度を向上させるディスプレイ装置及びその映像処理方法を提供することにある。
【課題を解決するための手段】
【0006】
以上のような目的を達成するための本発明の一実施形態に係るディスプレイ装置は、入力部と、第１ストレージと、ディスプレイと、前記入力部を介して入力された映像で予め設定された数のラインに対応する複数のピクセル値を保存するように前記第１ストレージを制御し、前記第１ストレージに保存されたピクセル値のうち、特定ピクセル値を基準とするメトリクス（Ｍｅｔｒｉｘ）外郭に位置した複数のピクセル値をサンプリングして予め設定された大きさの第１パッチを獲得し、前記第１パッチに基づいて前記特定ピクセル値に対する高周波成分を獲得し、前記高周波成分に基づいて前記入力映像を処理し、前記処理された映像をディスプレイするように前記ディスプレイを制御するプロセッサとを含む。この場合、前記プロセッサは、前記第１パッチで前記特定ピクセル値を基準に、前記複数のピクセル値の位置を予め設定された順番に応じて変更して第２パッチを獲得してよい。
【0007】
なお、前記プロセッサは、前記第２パッチをぼかし（ｂｌｕｒｒｉｎｇ）処理し、前記第１パッチに含まれたピクセル値及び前記ぼかし処理された第２パッチに含まれたピクセル値の差に基づいて、前記特定ピクセル値に対する高周波成分を含む第３パッチを獲得し、獲得された第３パッチを前記入力映像の前記特定ピクセル値に適用してよい。
【0008】
なお、前記プロセッサは、前記第１パッチで前記特定ピクセル値及び前記特定ピクセル値に隣接する複数のピクセル値のそれぞれの差に基づいて、前記複数のピクセル値のそれぞれに対する加重値を獲得し、前記第３パッチに含まれた高周波成分のそれぞれに前記獲得された加重値のうち、対応する加重値を適用して前記特定ピクセル値に対する高周波成分を獲得してよい。
【0009】
なお、前記プロセッサは、前記第２パッチの境界領域に位置したピクセル値をミラーリングして前記第２パッチの外郭領域に配置し、前記第２パッチの境界領域に位置したピクセル値に対するぼかし処理を行ってよい。
【0010】
なお、前記プロセッサは、前記第３パッチに含まれた高周波成分の平均値を予め設定された値に調整し、前記平均値の調整された第３パッチを前記入力映像の前記特定ピクセル値に適用してよい。
【0011】
なお、前記プロセッサは、前記特定ピクセル値を基準に予め設定されたピクセル間隔を半径とする円に外接する四角の各頂点に位置したピクセル値及び前記円と前記四角の接点に位置したピクセル値が前記特定ピクセル値を囲む３＊３形態の前記第１パッチを獲得し、前記第１パッチで前記特定ピクセル値の位置を固定させ、相互離隔配置されたピクセルを前記特定ピクセル値を基準に順次に配置して前記第２パッチを獲得してよい。
【0012】
なお、前記プロセッサは、前記第１パッチで前記特定ピクセル値を基準に対角方向に位置した隣接ピクセル値を時計回りまたは反時計回りに獲得して順次に配置し、残りのピクセル値を同一の方向に獲得して順次に配置することで、前記第２パッチを獲得してよい。
【0013】
なお、前記第１ストレージは、前記予め設定された数に対応するＮラインメモリで実現され、前記プロセッサは、前記第１ストレージに保存されたＮ個のラインに対応するピクセル値のうち、（Ｎ＋１）／２番目のラインに位置した前記特定ピクセル値を基準に上下左右方向にそれぞれ（Ｎ−１）／２ピクセル間隔分だけ離隔した位置の前記複数の第２ピクセル値、及び前記複数の第２ピクセル値を各角の中央点とする四角の各頂点に位置した複数の第１ピクセル値をサンプリングして前記第１パッチを獲得してよい。
【0014】
なお、第２ストレージを更に含み、前記プロセッサは、前記特定ピクセル値に対する高周波成分が獲得されると、前記獲得された高周波成分を前記第２ストレージに保存し、順次に次のピクセル値に対する高周波成分を獲得して前記第２ストレージに保存し、前記入力映像に含まれた全てのピクセル値に対する高周波成分が前記第２ストレージに保存されると、前記保存された高周波成分のそれぞれに対応するピクセル値に適用して補正された映像を獲得してよい。
【0015】
一方、本発明の一実施形態に係るディスプレイ装置の映像処理方法は、入力映像で予め設定された数のラインに対応する複数のピクセル値を保存するステップと、前記保存された複数のピクセル値のうち、特定ピクセル値を基準とするメトリクス外郭に位置した複数のピクセル値をサンプリングして予め設定された大きさの第１パッチを獲得するステップと、前記第１パッチに基づいて前記特定ピクセル値に対する高周波成分を獲得するステップと、前記高周波成分に基づいて前記入力映像を処理するステップと、前記処理された映像をディスプレイ上にディスプレイするステップとを含む。
【0016】
この場合、前記高周波成分を獲得するステップは、前記第１パッチで前記特定ピクセル値を基準に、前記複数のピクセル値の位置を予め設定された順番に応じて変更して第２パッチを獲得してよい。
【0017】
なお、前記高周波成分を獲得するステップは、前記第２パッチをぼかし処理し、前記第１パッチに含まれたピクセル値及び前記ぼかし処理された第２パッチに含まれたピクセル値の差に基づいて、前記特定ピクセル値に対する高周波成分を含む第３パッチを獲得してよい。
【0018】
なお、前記高周波成分を獲得するステップは、前記第１パッチで前記特定ピクセル値及び前記特定ピクセル値に隣接する複数のピクセル値のそれぞれの差に基づいて、前記複数のピクセル値のそれぞれに対する加重値を獲得し、前記第３パッチに含まれた高周波成分のそれぞれに前記獲得された加重値のうち、対応する加重値を適用して前記特定ピクセル値に対する高周波成分を獲得してよい。
【0019】
なお、前記第２パッチを獲得するステップは、前記第２パッチの境界領域に位置したピクセル値をミラーリングして前記第２パッチの外郭領域に配置し、前記第２パッチの境界領域に位置したピクセル値に対するぼかし処理を行ってよい。
【0020】
なお、前記第３パッチに含まれた高周波成分の平均値を予め設定された値に調整し、前記平均値の調整された第３パッチを前記入力映像の前記特定ピクセル値に適用するステップを更に含んでよい。
【0021】
なお、前記第１パッチを獲得するステップは、前記特定ピクセル値を基準に予め設定されたピクセル間隔を半径とする円に外接する四角の各頂点に位置したピクセル値及び前記円と前記四角の接点に位置したピクセル値が前記特定ピクセル値を囲む３＊３形態の前記第１パッチを獲得してよい。
【0022】
この場合、前記第２パッチを獲得するステップは、前記第１パッチで前記特定ピクセル値の位置を固定させ、相互離隔配置されたピクセルを前記特定ピクセル値を基準に順次に配置して前記第２パッチを獲得してよい。
【0023】
なお、前記第２パッチを獲得するステップは、前記第１パッチで前記特定ピクセル値を基準に対角方向に位置した隣接ピクセル値を時計回りまたは反時計回りに獲得して順次に配置し、残りのピクセル値を同一の方向に獲得して順次に配置することで、前記第２パッチを獲得してよい。
【0024】
なお、前記ディスプレイ装置は、前記予め設定された数に対応するＮラインメモリを含み、前記第１パッチを獲得するステップは、前記メモリに保存されたＮ個のラインに対応するピクセル値のうち、（Ｎ＋１）／２番目のラインに位置した前記特定ピクセル値を基準に上下左右方向にそれぞれ（Ｎ−１）／２ピクセル間隔分だけ離隔した位置の前記複数の第２ピクセル値、及び前記複数の第２ピクセル値を各角の中央点とする四角の各頂点に位置した複数の第１ピクセル値をサンプリングして前記第１パッチを獲得してよい。
【0025】
なお、前記特定ピクセル値に対する高周波成分が獲得されると、前記獲得された高周波成分を保存し、順次に次のピクセル値に対する高周波成分を獲得して保存するステップと、前記入力映像に含まれた全てのピクセル値に対する高周波成分が保存されると、前記保存された高周波成分のそれぞれに対応するピクセル値に適用して補正された映像を獲得するステップとを更に含んでよい。
【0026】
なお、本発明の一実施形態に係るディスプレイ装置のプロセッサによって実行される場合、前記ディスプレイ装置が動作を行うようにするコンピュータ命令を保存する非一時的なコンピュータ読み取り可能な媒体において、前記動作は、入力映像で予め設定された数のラインに対応する複数のピクセル値を保存するステップと、前記保存された複数のピクセル値のうち、特定ピクセル値を基準とするメトリクス外郭に位置した複数のピクセル値をサンプリングして予め設定された大きさの第１パッチを獲得するステップと、前記第１パッチに基づいて前記特定ピクセル値に対する高周波成分を獲得するステップと、前記高周波成分に基づいて前記入力映像を処理するステップとを含む。
【発明の効果】
【0027】
以上説明したように、本発明によれば、映像拡大及び／または映像圧縮などによって、テクスチャの損失された映像に対してテクスチャ生成を通じて映像の細密度を向上させることができるようになる。
【図面の簡単な説明】
【0028】
【図1】本発明の実施形態に係るディスプレイ装置の実現例を説明するための図である。
【図2】本発明の実施形態に係るディスプレイ装置の構成を示すブロック図である。
【図3】本発明の実施形態に係る第１パッチを獲得する方法を説明するための図である。
【図4A】本発明の実施形態によって第１パッチのピクセル位置をリオーダリングして第２パッチを獲得する方法を説明するための図である。
【図4B】本発明の実施形態によって第１パッチのピクセル位置をリオーダリングして第２パッチを獲得する方法を説明するための図である。
【図5A】本発明の実施形態に係る第２パッチに対するぼかし方法を説明するための図である。
【図5B】本発明の実施形態に係る第２パッチに対するぼかし方法を説明するための図である。
【図5C】本発明の実施形態に係る第２パッチに対するぼかし方法を説明するための図である。
【図6】本発明の実施形態に係る第３パッチ獲得方法を説明するための図である。
【図7A】本発明の実施形態によって加重値が適用された第３パッチを獲得する方法を説明するための図である。
【図7B】本発明の実施形態によって加重値が適用された第３パッチを獲得する方法を説明するための図である。
【図8】本発明の実施形態によって次のピクセル値に対する高周波成分を獲得する方法を説明するための図である。
【図9A】本発明の多様な実施形態によって獲得された高周波成分を入力映像に適用する方法を説明するための図である。
【図9B】本発明の多様な実施形態によって獲得された高周波成分を入力映像に適用する方法を説明するための図である。
【図10】本発明の別の実施形態に係るディスプレイ装置の構成を示すブロック図である。
【図11】本発明の一実施形態に係るディスプレイ装置の映像処理方法を説明するためのフローチャートである。
【図12】本発明の一実施形態に係るディスプレイ装置の映像処理方法を説明するための図である。
【図13A】本発明の一実施形態に係る侵害摘発方法を説明するための図である。
【図13B】本発明の一実施形態に係る侵害摘発方法を説明するための図である。
【図13C】本発明の一実施形態に係る侵害摘発方法を説明するための図である。
【図14A】本発明の一実施形態に係る侵害摘発方法を説明するための図である。
【図14B】本発明の一実施形態に係る侵害摘発方法を説明するための図である。
【発明を実施するための形態】
【0029】
以下においては、図面を参照して本発明について詳細に説明する。本発明を説明するうえで、関連の公知機能或いは構成に対する具体的な説明が、本発明の要旨を不要に曖昧にすると判断される場合、それに対する詳細な説明は省略する。更に、下記の実施形態は、様々な形態に変形することができ、本発明の技術的な思想の範囲が下記の実施形態に限定されるわけではない。むしろ、これらの実施形態は、本発明をより充実かつ完全なものにするために、当業者に本発明の技術的な思想を完全に伝達するために提供されるものである。
【0030】
なお、如何なる構成要素を「含む」とは、特別に反対される記載がない限り、別の構成要素を除くわけではなく、別の構成要素をより含むことができることを意味する。更に、図面における多様な要素と領域は、概略に描かれたものである。よって、本発明の技術的な思想は、添付の図に示された相対的な大きさや間隔によって制限されない。
【0031】
以下において、添付の図を用いて、本発明について具体的に説明する。
【0032】
図１は、本発明の実施形態に係るディスプレイ装置の実現例を説明するための図である。
【0033】
ディスプレイ装置１００は、図１に示すように、テレビで実現されてよいが、それに限定されるわけではなく、スマートフォン、タブレットパソコン、ノートパソコン、ＨＭＤ（Ｈｅａｄ ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）、ＮＥＤ（Ｎｅａｒ Ｅｙｅ Ｄｉｓｐｌａｙ）、ＬＦＤ（Ｌａｒｇｅ ｆｏｒｍａｔ ｄｉｓｐｌａｙ）、Ｄｉｇｉｔａｌ Ｓｉｇｎａｇｅ（デジタル看板）、ＤＩＤ（Ｄｉｇｉｔａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｄｉｓｐｌａｙ）、ビデオウォール（ｖｉｄｅｏ ｗａｌｌ）、プロジェクタディスプレイなどのように、ディスプレイ機能を備えた装置なら適用可能である。
【0034】
ディスプレイ装置１００は、多様な解像度の映像または多様な圧縮映像を受信することができる。例えば、ディスプレイ装置１００は、ＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）、Ｆｕｌｌ ＨＤ、Ｕｌｔｒａ ＨＤ映像のうち、いずれか一つの映像を受信することができる。なお、ディスプレイ装置１００は、ＭＰＥＧ（例えば、ＭＰ２、ＭＰ４、ＭＰ７など）、ＡＶＣ、Ｈ．２６４、ＨＥＶＣなどで圧縮された形態２０で映像を受信することもできる。
【0035】
一実施形態によって、ディスプレイ装置１００がＵＨＤテレビで実現されるとしても、ＵＨＤコンテンツそのものが不足しているため、ＳＤ、ＨＤ、Ｆｕｌｌ ＨＤなどの映像（以下、低解像度映像１０という）が入力されることが多い。この場合、入力された低解像度映像をＵＨＤ映像（以下、高解像度映像とする）に拡大して提供する方法を利用することができる。しかし、映像の拡大過程で映像のテクスチャがブラー（Ｂｌｕｒ）されて細密度が低下する問題がある。ここで、映像のテクスチャは、映像中で同一の質感と見なされる領域の特有の柄または模様を意味する。
【0036】
別の実施形態によって、高解像度映像が入力されるとしても、映像圧縮などによってテクスチャの損失が発生し、細密度が低下する問題がある。デジタル映像は、画素数が増加するにつれて、より多くのデータを必要とするようになり、大容量データを圧縮する場合、圧縮によるテクスチャの損失は避けられないためである。
【0037】
よって、以下では、上述のように、多様な場合において、損失されたテクスチャ成分を復元して映像の細密度を向上させる多様な実施形態について説明する。
【0038】
図２は、本発明の実施形態に係るディスプレイ装置の構成を示すブロック図である。
【0039】
図２によると、ディスプレイ装置１００は、入力インターフェース１１０、第１ストレージ１２０、ディスプレイ１３０、プロセッサ１４０を含む。
【0040】
入力インターフェースは、多様なタイプのコンテンツを入力される。例えば、入力インターフェース１１０は、ＡＰ基盤のＷｉ−Ｆｉ（Ｗｉ−Ｆｉ、Ｗｉｒｅｌｅｓｓ ＬＡＮ、ネットワーク）、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））、Ｚｉｇｂｅｅ、有／無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ、イーサネット（登録商標）、ＩＥＥＥ １３９４、ＨＤＭＩ（登録商標）、ＵＳＢ、ＭＨＬ、ＡＥＳ／ＥＢＵ、オプティカル（Ｏｐｔｉｃａｌ）、コアキシャル（Ｃｏａｘｉａｌ）などのような通信方式を通じて、外部装置（例えば、ソース装置）、外部保存媒体（例えば、ＵＳＢ）、外部サーバ（例えば、ウェブハード）などからストリーミングまたはダウンロード方式で映像入力を受信することができる。ここで、映像信号は、デジタル信号であってよいが、それに限定されるわけではない。入力インターフェース１１０は、実施形態にハードウェアまたはハードウェア及びソフトウェアの組み合わせで実現されてよい。
【0041】
第１ストレージ１２０は、入力インターフェース１１０を介して入力された映像のうち少なくとも一部を保存することができる。特に、第１ストレージ１２０は、入力された映像フレーム中に少なくとも一部の領域を保存することができる。この場合、少なくとも一部の領域は、本発明の一実施形態に係る映像処理を行うのに必要な領域であってよい。一実施形態により、第１ストレージ１２０は、Ｎラインメモリで実現されてよい。例えば、Ｎラインメモリは、縦方向に１７ライン相当の容量を有するメモリであってよいが、それに限定されない。例えば、１０８０ｐ（１９２０×１０８０の解像度）のＦｕｌｌ ＨＤ映像が入力される場合、Ｆｕｌｌ ＨＤ映像で１７ラインの映像領域のみが第１ストレージ１２０に保存される。このように、第１ストレージ１２０は、Ｎラインメモリで実現され、入力された映像フレーム中に一部領域のみが映像処理のために保存される理由は、ハードウェア的な限界により、第１ストレージ１２０のメモリ容量が制限的であるためである。
【0042】
このような理由で、本発明の一実施形態によると、第１ストレージ１２０は入力された映像フレーム中に予め設定された数のラインの映像領域のみを保存して映像処理を行い、少なくとも１ライン分遅延された映像領域を保存しつつ連続的に映像処理を行うようになるが、それに対する詳細な説明は後述する。
【0043】
ディスプレイ１３０は、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、ＯＬＥＤ（ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、ＬＣｏＳ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ ｏｎ Ｓｉｌｉｃｏｎ）、ＤＬＰ（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ）、ＱＤ（ｑｕａｎｔｕｍ ｄｏｔ）ディスプレイパネルなどのような多様な形態で実現されてよい。
【0044】
プロセッサ１４０は、ディスプレイ装置１００の動作全般を制御する。
【0045】
一実施形態によって、プロセッサ１４０は、デジタル映像信号を処理するデジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ：ＤＳＰ）、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、ＴＣＯＮ（Ｔｉｍｅ ｃｏｎｔｒｏｌｌｅｒ）で実現されてよい。ただ、それに限らずに、中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ：ＣＰＵ）、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、コントローラ（ｃｏｎｔｒｏｌｌｅｒ）、アプリケーションプロセッサ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ：ＡＰ）、またはコミュニケーションプロセッサ（Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ：ＣＰ）、ＡＲＭプロセッサのうち、一つまたはそれ以上を含むか、当該用語で定義されてよい。なお、プロセッサ１２０は、プロセッシングアルゴリズムが内装されたＳｏＣ（Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）で実現されてよく、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）形態で実現されてよい。
【0046】
本発明の一実施形態によると、プロセッサ１４０は入力インターフェース１１０を介して入力された映像で予め設定された数のラインに対応するピクセル値を第１ストレージ１２０に保存する。ここで、予め設定された数のラインは、第１ストレージ１２０の最大ライン容量であってよい。一実施形態により、第１ストレージ１２０が縦方向１７ラインメモリで実現される場合、プロセッサ１４０は入力された映像フレームで１７ラインに対応するピクセル値を保存することができる。
【0047】
次いで、プロセッサ１４０は、第１ストレージ１２０に保存されたピクセル値のうち、特定ピクセル値を基準に相互異なる方向にそれぞれ離隔している位置の複数のピクセル値をサンプリングし、予め設定された大きさの第１パッチを獲得することができる。ここで、予め設定された大きさは、３＊３、５＊５など、多様な大きさであってよく、以下では、説明の便宜のため、３＊３パッチを獲得する場合を想定して説明する。
【0048】
具体的に、プロセッサ１４０は、Ｎラインメモリで実現される第１ストレージ１２０に入力映像中でＮ個のラインに該当するピクセル値が保存されると、（Ｎ＋１）／２番目のラインに位置した特定ピクセル値を中心とするＮ＊Ｎメトリクスの外郭に位置する複数のピクセル値をサンプリングして第１パッチを獲得することができる。場合によって、プロセッサ１４０は、（Ｎ＋１）／２番目のラインに位置した特定ピクセル値を中心からＮより面積の狭いメトリクスの外郭に位置する複数のピクセル値をサンプリングして第１パッチを獲得することもできる。
【0049】
一実施形態により、プロセッサ１４０は、（Ｎ＋１）／２番目のラインに位置する特定ピクセル値を基準に上下左右方向にそれぞれ（Ｎ−１）／２ピクセル間隔分だけ離隔している位置の複数の第１ピクセル値及び複数の第１ピクセル値を各角の中央点とする四角の各頂点に位置する複数の第２ピクセル値をサンプリングして第１パッチを獲得することができる。
【0050】
例えば、プロセッサ１４０は、特定ピクセル値を基準に予め設定されたピクセル間隔、即ち、（Ｎ−１）／２ピクセル間隔を半径とする円に外接する四角の各頂点に位置する第１ピクセル値及び当該円と当該四角の接点に位置する第２ピクセル値が特定ピクセル値を囲むｎ＊ｎ形態の第１パッチを獲得することができる。
【0051】
図３は、本発明の実施形態に係る第１パッチを獲得する方法を説明するための図である。
【0052】
図３は、本発明の一実施形態に係る第１ストレージ１２０が１７ラインメモリで実現される場合を想定したものである。この場合、上述のように、入力映像３０中に最大１７ラインのピクセル値のみが第１ストレージ１２０に保存されてよいが、本発明では、ハードウェア的に与えられた１７ラインメモリ内で最大の高周波を生成するために現在のピクセル（または、中心ピクセル）から予め設定されたサンプリング基準を満たすように、最大離隔しているピクセルをサンプリングして第１パッチを生成することができる。
【0053】
ここで、サンプリング基準は、一つのコンテンツ、例えば、動画で各フレーム別に同様に適用されてよい。それは、一つの動画で隣接フレーム間で一貫するようにテクスチャを生成するためである。ただ、場合によって、予め設定された区間単位（例えば、シーン単位）でサンプリング基準を変更することも可能である。例えば、各シーンの映像特性に符合するサンプリング基準があれば、各シーン別に相互異なるサンプリング基準を適用することも可能である。一方、現在のピクセル（または、中心ピクセル）とは、本発明の一実施形態によって獲得された高周波成分に適用されるピクセルになってよい。
【0054】
一実施形態によって予め設定されたサンプリング基準は、現在のピクセルを中心に最大の半径を有する円に外接する正方形に含まれた複数のピクセルをサンプリングするように設定されてよい。特に、現在のピクセルを基準に上下左右及び対角線方向を含む８つの方向で当該正方形に位置するピクセル値をサンプリングすることができる。
【0055】
例えば、プロセッサ１４０は、図３に示すように、現在のピクセル３１０を中心に８ピクセルを半径とする円に外接する四角の各頂点に位置する第１ピクセル値３１１、３１３、３１５、３１７及び当該円と当該四角の接点に位置する第２ピクセル値３１２、３１４、３１６、３１８を第１パッチのためのピクセル値にサンプリングすることができる。
【0056】
映像で周波数は、ピクセル値の変化率を示すものとして、特に、高周波数成分で映像の細密度を表現することができるようになる。通常、現在のピクセルを基準に遠く離隔しているピクセル値が現在のピクセルと差が大きくなる確率が高いため、現在のピクセルを基準に離隔しているピクセル値を用いて、現在のピクセルに対する高周波成分を獲得することができるようになる。それにより、本発明では、現在のピクセルを基準にハードウェア的なメモリ容量の限界下で最大で離隔しているピクセル値を用いて高周波成分を獲得するものである。
【0057】
一方、プロセッサ１４０は、現在のピクセル値３１０が中心に位置し、サンプリングされた複数のピクセル値３１１ないし３１８が上下左右及び対角線方向に隣接する３＊３形態のメトリクス形態の第１パッチ３００−１を獲得することができる。
【0058】
ただ、それは一実施形態に過ぎず、サンプリング基準は必ずしも上述の実施形態に限定されるものではない。例えば、図３において、四角の各頂点に位置した第１ピクセル値３１１、３１３、３１５、３１７の代わりに、第１ピクセル値３１１、３１３、３１５、３１７の対角線方向の内側隣接ピクセル値（図示せず）を第１パッチのためのピクセル値でサンプリングすることもできる。
【0059】
一実施形態によると、プロセッサ１４０は特定ピクセル値を基準に複数のピクセル値の位置を予め設定れた順番に応じて変更して第２パッチを獲得し、獲得された第２パッチに基づいて特定ピクセル値に対する高周波成分を獲得することができる。プロセッサ１４０は、第１パッチが獲得されると、第１パッチに含まれた複数のピクセル値の位置を予め設定されたリオーダリング基準に応じて変更して第２パットを獲得することができる。このように、ピクセル値をリオーダリングする理由は、制限されたメモリ容量内でランダム性を有する高周波成分を獲得するためである。このように、ピクセル値リオーダリング過程を通じてテクスチャを生成すると、水平／垂直格子雑音のない細密なテクスチャ成分を生成することができるようになる。
【0060】
例えば、プロセッサ１４０は、第１パッチで現在のピクセル値を中央に固定させ、相互離隔配置されたピクセルのピクセル値を現在のピクセル値を基準に順次に配置し、第２パッチを獲得することができる。ここで、リオーダリング基準は、一つのコンテンツ、例えば、動画で各フレーム別に同様に適用されてよい。それは、一つの動画で隣接フレーム間で一貫するようにテクスチャを生成するためのである。ただ、場合によって、予め設定された区間単位（例えば、シーン単位）でリオーダリング基準を変更することも可能である。例えば、各シーンの映像特性に符合するリオーダリング順番があれば、各シーン別に相互異なるリオーダリング基準を適用することも可能である。
【0061】
図４Ａは、本発明の実施形態によって第１パッチのピクセル位置をリオーダリングして第２パッチを獲得する方法を説明するための図である。
【0062】
図４Ａに示すように、プロセッサ１４０は第１タッチで現在のピクセル値を基準に対角方向に位置した隣接ピクセル値を時計回りまたは反時計回りに獲得して順次に配置し、残りのピクセル値を同一の方向に獲得して順次に配置するリオーダリング基準を適用して第２パッチを獲得することができる。例えば、プロセッサ１４０は、獲得されたピクセル値を配置する際、メトリクス形態の一番目のラインに沿って左から右にピクセル値を配列することができる。実施形態によって、一番目のラインに空間がないため、プロセッサ１４０は、次のラインで左から右にピクセル値を配列することができる。
【0063】
例えば、図４Ａに示すように、第１パッチ３００−１で現在のピクセル値３１０を基準に対角方向に位置したピクセル値３１１、３１３、３１５、３１６を時計回りに獲得して順次に配置し、残りのピクセル値３１２、３１４、３１６、３１８を同一の方向に獲得して順次に配置するリオーダリング基準を適用して第２パッチ４００−１を獲得することができる。
【0064】
ただ、それは一実施形態に過ぎず、リオーダリング基準は必ずしも上述の実施形態に限定されるものではない。
【0065】
一例として、プロセッサ１４０は、第１パッチで現在のピクセル値を基準に対角方向に位置したピクセル値を時計回りまたは反時計回りに獲得して順次に配置し、残りのピクセル値を反対方向に獲得して順次に配置するリオーダリング基準を適用して第２パッチを獲得することができる。
【0066】
別の例として、プロセッサ１４０は、図４Ｂに示すように、現在のピクセル値３１０を基準に対角方向に位置したピクセル値３１１、３１５、３１７、３１３を時計回りに獲得してピクセル値３１１、３１５、３１７、３１３の順で順次に配置し、残りのピクセル値３１２、３１４、３１６、３１８を反時計回りに獲得し、ピクセル値３１２、３１４、３１６、３１８の順で順次に配置するリオーダリング基準を適用して第２パッチ４００−３を獲得することもできる。このように、リオーダリング基準は、離隔している位置のピクセル値を隣接するように配置するという原則の下に多様に適用可能である。
【0067】
一方、プロセッサ１４０は、第２パッチが獲得されると、獲得された第２パッチをぼかし（または、平滑化）し、第１パッチに含まれたピクセル値及びぼかしされた第２パッチに含まれたピクセル値の差に基づいて、現在のピクセル値に対する高周波成分を含む第３パッチを獲得することができる。ただ、別の実施形態によると、プロセッサ１４０は、第１パッチに基づいて高周波成分を含む第３パッチを獲得することも可能である。即ち、プロセッサ１４０は、第１パッチに含まれたピクセル値及びぼかしされた第１パッチに含まれたピクセル値の差に基づいて、現在のピクセル値に対する高周波成分を含む第３パッチを獲得することもできる。ただ、以下では、説明の便宜のために、ピクセル値リオーダリングを通じて獲得された第２パッチに基づいて高周波成分を獲得することを想定して説明する。
【0068】
３＊３形態の第２パッチに対するぼかし処理のために、プロセッサ１４０は高周波成分をフィルタリングする低周波通過フィルタを適用することができる。例えば、プロセッサ１４０は、ガウシアンぼかし（または、ガウシアンフィルタリング）処理をすることができる。ガウシアンぼかしは、ガウシアン確率分布に基づいたガウシアンフィルタを用いてブラー処理する方法でとして、ガウシアンフィルタを第２パッチに適用すると、高周波成分は遮断されてブラー処理となる。
【0070】
例えば、ガウシアンフィルタは、図５Ａに示すように、ｘ軸の０は加重値が大きく、ｘ軸上の数値の絶対値が増加する方向に加重値が少なくなる形態になってよく、このようなガウシアンフィルタを３＊３形態のマスク５０に適用すると、マスク５０中心は加重値が大きく、マスク５０の周縁に進むにつれて加重値が少なくなる形態になってよい。ただ、図５Ａに示す数値は、例に挙げたものであって、フィルタリング数値はガウシアン関数のシグマ値に応じて異なってくる。
【0071】
プロセッサ１４０は、図５Ｂに示すように、ガウシアンマスク５０を第２パッチ４００−１に含まれた各ピクセル値に適用し、第２パッチ４００−１をガウシアンぼかし処理することができる。具体的に、プロセッサ１４０は、第２パッチ４００−１に含まれた各ピクセル値がガウシアンマスク５０の中心に位置するようにガウシアンマスク５０を移動させて各ピクセル値に対してフィルタリングを行うことができる。
【0072】
この場合、プロセッサ１４０は、第２パッチ４００−１の境界に位置するピクセル値に対しては、ミラーリングしたピクセル値に基づいてフィルタリングを行うことができる。例えば、第２パッチ４００−１の（１、１）の位置のピクセル値、即ち、Ｐ１をガウシアンマスク５０の中心に位置させてフィルタリングを行う場合には、図５Ｃに示すように、境界位置のピクセル値をミラーリングしてＰ１値を中心とする仮想の第２パッチ２０を生成した後、Ｐ１値をガウシアンマスク５０の中心に位置させてフィルタリングを行うことができる。
【0073】
このように、プロセッサ１４０は、第２パッチ４００−１に含まれた全てのピクセル値に対するガウシアンフィルタリングを行い、ぼかしされた第２パッチ５００を獲得することができる。
【0074】
図６は、本発明の実施形態に係る第３パッチ獲得方法を説明するための図である。
【0075】
図６によると、本発明の一実施形態に係る３＊３の第２パッチ４００−１に含まれた各ピクセル値において、図５Ｂで獲得されたぼかしされた第２パッチ５００に含まれた対応する位置の各ピクセル値を差し引いて、第３パッチ６００を獲得することができる。このように、第３パッチ６００に含まれた値が中心ピクセル値（Ｐ０）に関連する高周波成分になってよい。
【0076】
例えば、第３パッチ６００で、（１、１）、（１、２）、（１、３）、（２、１）、（２、２）、（２、３）、（３、１）、（３、２）、（３、３）の位置の各高周波成分は、（Ｐ１−Ｐ１’）、（Ｐ３−Ｐ３’）、（Ｐ５−Ｐ５’）、（Ｐ７−Ｐ７’）、（Ｐ０−Ｐ０’）、（Ｐ２−Ｐ２’）、（Ｐ４−Ｐ４’）、（Ｐ６−Ｐ６’）、（Ｐ８−Ｐ８’）になってよく、これらのそれぞれは、中心ピクセル値（Ｐ０）に関連する高周波成分になってよい。これは、上述のように、第２パッチ４００−１には高周波成分が含まれており、ぼかしされた第２パッチ５００には高周波成分が含まれていないためである。
【0077】
プロセッサ１４０は、高周波成分を含む第３パッチ６００が獲得されると、第３パッチ６００に含まれた高周波成分の平均値を０に調整することができる。それは、中心ピクセル値（Ｐ０）を基準に、＋、−成分の高周波成分を獲得するためである。
【0078】
具体的に、プロセッサ１４０は、図６に示すように、第３パッチ６００に含まれた高周波成分の平均値（Ｐａ）を算出した後、各高周波成分で平均値（Ｐａ）を引くと、第３パッチ６００に含まれた高周波成分の平均値を０に調整することができる。即ち、平均値が０に調整された第３パッチ（以下、修正された第３パッチという）６００−１に含まれた高周波成分は、それぞれ（Ｐ１−Ｐ１’−Ｐａ）、（Ｐ３−Ｐ３’−Ｐａ）、（Ｐ５−Ｐ５’−Ｐａ）、（Ｐ７−Ｐ７’−Ｐａ）、（Ｐ０−Ｐ０’−Ｐａ）、（Ｐ２−Ｐ２’−Ｐａ）、（Ｐ４−Ｐ４’−Ｐａ）、（Ｐ６−Ｐ６’−Ｐａ）、（Ｐ８−Ｐ８’−Ｐａ）になってよい。
【0079】
本発明の別の実施形態によると、プロセッサ１４０は、第１パッチで現在のピクセル値及び現在のピクセル値に隣接する複数のピクセル値のそれぞれの差に基づいて、複数のピクセル値のそれぞれに対する加重値を獲得することができる。この場合、プロセッサ１４０は、修正された第３パッチ６００−１に含まれた高周波成分のそれぞれに対応する加重値を適用して特定ピクセル値に対する最終高周波成分を獲得することができる。それは、第２パッチ４００−１で中心に位置した現在のピクセル値（Ｐ０）と隣接する複数のピクセル値の間の差が予め設定された臨界値を超過する場合に、当該ピクセル値に対する加重値を減らすことで、リンギング（Ｒｉｎｇｉｎｇ）などの副作用を防止するためである。
【0080】
一例として、プロセッサ１４０は、以下の数式（１）に基づいて加重値を獲得することができる。
【0081】
【数1】
【0082】
ここで、Ｐｃは中心ピクセル値、Ｐ（ｘ、ｙ）は周辺ピクセル値を示す。
【0083】
このような加重値は、加重値マップ（Ｗｅｉｇｈｔ Ｍａｐ）形態で算出されて第３パッチに適用されてよい。例えば、プロセッサ１４０は、３＊３の加重値マップを３＊３の第３パッチに掛け算して加重値の適用された第３パッチを獲得することができる。
【0085】
図７Ａは、本発明の一実施形態に係る３＊３の加重値マップを獲得する方法を説明するための図である。
【0086】
図７Ａによると、本発明の一実施形態に係る３＊３の第１パッチ３００−１に含まれた現在のピクセル値、即ち、中心ピクセル値（Ｐ０）と残りのピクセル値（Ｐ１ないしＰ８）のそれぞれの差７００に基づいて、第１パッチ３００−１に対応する３＊３の加重値マップ８００を獲得することができる。
【0087】
即ち、３＊３の加重値マップ８００で、（１、１）、（１、２）、（１、３）、（２、１）、（２、２）、（２、３）、（３、１）、（３、２）、（３、３）の位置のそれぞれの加重値は、（Ｐ１−Ｐ０）、（Ｐ２−Ｐ０）、（Ｐ３−Ｐ０）、（Ｐ４−Ｐ０）、（Ｐ０−Ｐ０）、（Ｐ５−Ｐ０）、（Ｐ６−Ｐ０）、（Ｐ７−Ｐ０）、（Ｐ８−Ｐ０）に基づいて獲得されてよい。
【0088】
例えば、プロセッサ１４０は、（２、２）の位置、即ち、中心ピクセル値に対応する位置の加重値を１とし、中心ピクセル値（Ｐ０）と残りのピクセル値（Ｐ１ないしＰ８）のそれぞれの差値７００に基づいて、残りの位置のピクセル値の加重値ｗ１ないしｗ８を獲得することができる。
【0089】
図７Ｂは、本発明の一実施形態に係る加重値マップを第２パッチに適用する方法を説明するための図である。
【0090】
図７Ｂに示すように、本発明の一実施形態に係る修正された第３パッチ６００−１の各高周波成分と、図７Ａで算出された加重値マップ８００の対応する位置の各加重値を１：１で乗算し、加重値が適用された第３パッチ１０００を獲得することができる。
【0091】
一方、プロセッサ１４０は、獲得された高周波成分、即ち、修正された第３パッチ６００−１に基づいて入力映像を処理することができる。ただ、別の実施形態によって、加重値マップを適用した場合、加重値が適用された第３パッチ１０００に基づいて、入力映像を処理することができる。ただ、以下では、説明の便宜のため、加重値が適用された第３パッチ１０００に基づいて入力映像を処理するものとして説明する。
【0092】
一実施形態により、プロセッサ１４０は、現在のピクセル値に対する第３パッチ１０００、即ち、高周波成分が獲得されると、獲得された高周波成分を第２ストレージ（図示せず）に保存することができる。ここで、第２ストレージ（図示せず）は、第１ストレージ１２０と別のメモリで実現されてよい。
【0093】
続いて、プロセッサ１４０は、特定ピクセル値に対する高周波成分が獲得されると、獲得された高周波成分、即ち、第３パッチを第２ストレージに保存し、順次に次のピクセル値に対する高周波成分を獲得して第２ストレージに保存することができる。続いて、プロセッサ１４０は、入力映像に含まれた全てのピクセル値に対する高周波成分が第２ストレージに保存されると、保存された高周波成分のそれぞれに対応するピクセル値に適用して補正された映像を獲得することができる。
【0094】
図８は、本発明の実施形態によって次のピクセル値に対する高周波成分を獲得する方法を説明するための図である。
【0095】
プロセッサ１４０は、入力映像３０中で、１で１７ラインのピクセル値に基づいて、特定ピクセル値３１０に対する高周波成分が獲得されると、２で１８ラインのピクセル値を第１ストレージ１２０に保存し、保存されたピクセル値に基づいて、次のピクセル値３２０に対応する高周波成分を獲得することができる。次のピクセル値３２０に対する高周波成分を獲得する具体的な方法は、上述の図４Ａないし図７Ｂに示す方法が同様に適用されるため、詳細な説明を省略する。プロセッサ１４０は、入力映像３０で１ラインずつ遅延したピクセル値を第１ストレージ１２０にライトして同様の方法で入力映像３０に含まれた全てのピクセル値に対する高周波成分を獲得することができる。ただ、場合によっては、ｎ（ｎ＞１）ライン単位でピクセル値を遅延させ、入力映像３０のｎ倍数ラインに該当するピクセル値に対する高周波成分を獲得することも可能である。この場合、映像の細密度が多少低下するとしても、演算量を減らすことができるという効果がある。
【0097】
図９Ａは、本発明の一実施形態によって入力映像に対応する高周波成分イメージを獲得した後、獲得された高周波成分イメージを入力映像に適用する方法を説明するための図である。
【0098】
図９Ａに示すように、プロセッサ１４０は、第１ピクセル３１に対する高周波成分を含む第３パッチ１０００が獲得されると、獲得された第３パッチ１０００を第２ストレージ（図示せず）に保存し、第２ピクセル３２に対する高周波成分を含む第３パッチ１０００−１が獲得されると、第２ピクセル３２の位置に第３パッチ１０００−１の中心が対応するように保存することができる。第３ピクセル３３に対する高周波成分を含む第３パッチ１０００−２が獲得されると、第３ピクセル３３の位置に第３パッチ１０００−２の中心が対応するように保存することができる。このように、全てのピクセルに対する高周波成分、即ち、第３パッチを獲得して保存すると、高周波成分がオーバーラップして保存され、入力映像の大きさに対応する高周波成分イメージ８００’を獲得することができるようになる。続いて、プロセッサ１４０は、獲得された高周波成分イメージ８００’を入力映像３０に適用して補正された領域を獲得することができる。
【0099】
図８Ｂは、本発明の別の実施形態によって獲得された高周波成分を含む第３パッチをリアルタイムで入力映像のうち、対応するピクセルに適用する方法を説明するための図である。
【0100】
別の実施形態によると、プロセッサ１４０は、第１ピクセル３１に対する高周波成分を含む第３パッチ１０００が獲得されると、獲得された第３パッチ１０００の中心が第１ピクセル３１に対応するように入力映像３０に第３パッチ１０００を適用し、第２ピクセル３２に対する高周波成分を含む第３パッチ１０００−１が獲得されると、獲得された第３パッチ１０００の中心が第２ピクセル３２に対応するように、入力映像３０に第３パッチ１０００−１を獲得することができる。このように、プロセッサ１４０は、入力映像３００に含まれた全てのピクセルに対する高周波成分を順次に適用して補正された映像を獲得することができる。
【0101】
一方、上述の映像処理過程は、実施形態によって、映像のスケーリング前または後に行われてよい。例えば、低解像度映像を高解像度映像に拡大するスケーリング後に上述の映像処理を行うか、圧縮映像をデコーディングする過程で上述の映像処理を行った後スケーリングを行うこともできる。
【0102】
図１０は、本発明の別の実施形態に係るディスプレイ装置の構成を示すブロック図である。図１０によると、ディスプレイ装置２００は、入力インターフェース１１０、第１ストレージ１２０、第２ストレージ１２１、第３ストレージ１２２、ディスプレイ１３０、プロセッサ１４０、出力部１５０を含む。図１０に示す説明のうち、図２に示す構成と重複する構成については、詳細な説明を省略する。
【0103】
プロセッサ１４０は、ＣＰＵ、ディスプレイ装置２００の制御のための制御プログラムが保存されたＲＯＭ（または、非揮発性メモリ）及びディスプレイ装置２００の外部から入力されるデータを保存するか、ディスプレイ装置２００で行われる多様な作業に対応する保存領域として使用されるＲＡＭ（または、揮発性メモリ）を含んでよい。
【0104】
ＣＵＰ１４１は、第１ないし第３ストレージ１２０ないし１２２のうち、少なくとも一つにアクセスし、保存された各種プログラム、コンテンツ、データなどを用いて多様な動作を行う。
【0105】
ここで、第１ないし第３ストレージ１２０ないし１２２のうち、少なくとも一つは、プロセッサ１４０に含まれたＲＯＭ、ＲＡＭなどの内部メモリで実現されたり、プロセッサ１４０と別途のメモリで実現されてよい。この場合、第１ないし第３ストレージ１２０ないし１２２のうち、少なくとも一つは、データ保存用途に応じて、ディスプレイ装置２００にエンベデッドされたメモリ形態で実現されるか、ディスプレイ装置２００に脱着可能なメモリ形態で実現されてよい。例えば、ディスプレイ装置２００の駆動のためのデータの場合、ディスプレイ装置２００にエンベデッドされたメモリに保存され、ディスプレイ装置２００の拡張機能のためのデータの場合、ディスプレイ装置２００に脱着が可能なメモリに保存されてよい。一方、ディスプレイ装置２００にエンベデッドされたメモリの場合、非揮発性メモリ、揮発性メモリ、ハードディスクドライブ（ＨＤＤ）またはソリッドステートドライブ（ＳＳＤ）などのような形態で実現され、ディスプレイ装置２００に脱着が可能なメモリの場合、メモリカード（例えば、ｍｉｃｒｏ ＳＤカード、ＵＳＢメモリなど）、ＵＳＢポートに接続可能な外部メモリ（例えば、ＵＳＢメモリ）などのような形態で実現されてよい。
【0106】
第１ストレージ１２０は、上述のように、Ｎラインメモリで実現されてよい。ここで、第１ストレージ１２０をプロセッサ１４０内部メモリで実現されてよく、この場合、プロセッサ１４０のハードウェア的なメモリ容量限界によるＮラインメモリで実現されてよい。
【0107】
第２ストレージ１２１は、獲得された高周波成分を保存するためのメモリとして、本発明の多様な実施形態によって多様なサイズのメモリで実現されてよい。例えば、本発明の一実施形態によって、入力映像の各ピクセル値に対応する高周波成分を全て獲得して保存した後、入力映像に適用するように実現される場合、第２ストレージ１２１は入力映像の大きさと同じか、大きいサイズで実現されてよい。別の実施形態によって、第１ストレージ１２０のサイズに対応する映像単位で高周波成分を適用するか、ピクセルライン単位で獲得された高周波成分をピクセルライン単位で適用するなどの場合には、当該映像処理のための適切なサイズで実現されてよい。
【0108】
第３ストレージ１２２は、獲得された高周波成分を適用して映像処理した出力映像が保存されたメモリとして、本発明の多様な実施形態によって多様なサイズのメモリで実現されてよい。例えば、本発明の一実施形態によって入力映像の各ピクセル値に対応する高周波成分を全て適用して出力映像を獲得してディスプレイするように実現される場合、第３ストレージ１２２は入力映像の大きさと同じか、大きいサイズで実現されてよい。別の実施形態により、第１ストレージ１２０のサイズに対応する映像単位で映像を出力するか、ピクセルライン単位で出力するなどの場合には、当該映像保存のための適切なサイズで実現されてよい。
【0109】
ただ、第１ストレージ１２０または第２ストレージ１２１に出力映像がオーバーライトされるか、出力映像が保存されずに直ちにディスプレイされる形態で実現される場合などに、第３ストレージ１２２は必要としなくなる。
【0110】
出力部１５０は、音響信号を出力する。
【0111】
例えば、出力部１５０は、プロセッサ１４０で処理されたデジタル音響信号をアナログ音響信号に変換して増幅して出力することができる。例えば、出力部１５０は、少なくとも一つのチャネルを出力することができる、少なくとも一つのスピーカユニット、Ｄ／Ａコンバータ、オーディオアンプ（ａｕｄｉｏ ａｍｐｌｉｆｉｅｒ）などを含んでよい。一例として、出力部１５０は、Ｌチャネル、Ｒチャネルをそれぞれ再生するＬチャネルスピーカ及びＲチャネルスピーカを含んでよい。ただ、それに限定されずに、出力部１５０は、多様な形態で実現可能である。別の例として、出力部１４０は、Ｌチャネル、Ｒチャネル、Ｃｅｎｔｅｒチャネルを再生するサウンドバー形態で実現されることも可能である。
【0112】
図１１は、本発明の一実施形態に係るディスプレイ装置の映像処理方法を説明するためのフローチャートであり、図１２は、本発明の一実施形態に係るディスプレイ装置の映像処理方法を説明するための図である。
【0113】
図１１に示す本発明の一実施形態に係るディスプレイ装置の映像処理方法によると、入力映像で予め設定された数のラインに対応するピクセル値を保存する（Ｓ１１１０）。例えば、図１２に示すように、縦方向１７ラインに該当するピクセル値を保存することができる（Ｓ１２１０）。
【0114】
続いて、保存されたピクセル値のうち、特定ピクセル値を基準に相互異なる方向にそれぞれ離隔している位置の複数のピクセル値をサンプリングし、予め設定された大きさの第１パッチを獲得する（Ｓ１２２０）。具体的に、保存されたピクセル値のうち、特定ピクセル値を基準とするメトリクス外郭に位置した複数のピクセル値をサンプリングして予め設定された大きさの第１パッチを獲得することができる。特に、特定ピクセル値を基準に予め設定されたピクセル間隔を半径とする円に外接する四角の各頂点に位置したピクセル値及び円と四角の接点に位置したピクセル値が特定ピクセル値を囲む３＊３形態の第１パッチを獲得することができる。例えば、図１２に示すように、特定ピクセル値を基準に上下左右方向に８ピクセル離隔した位置のピクセル値及び対角線方向に位置したピクセル値をマージング（Ｍｅｒｇｉｎｇ）して第１パッチ１２２１を獲得することができる。
【0115】
続いて、特定ピクセル値を基準に第１パッチに含まれた複数のピクセル値の位置を予め設定された順番に応じて変更し、第２パッチを獲得することができる（Ｓ１１３０）。具体的に、第１パッチで特定ピクセル値の位置を固定させ、相互離隔配置されたピクセルを特定ピクセル値を基準に順次に配置して第２パッチを獲得することができる。一実施形態によって、第１パッチで特定ピクセル値を基準に対角方向に位置した隣接ピクセル値を時計回りまたは反時計回りに獲得して順次に配置し、残りのピクセル値を同様の方向に獲得して順次に配置することで、第２パッチを獲得することができる。例えば、図１２に示す形態で複数のピクセル値の位置をリオーダリングして第２パッチ１２３１を獲得することができる（１２３０）。
【0116】
続いて、第２パッチに基づいて特定ピクセル値に対する高周波成分を獲得し（Ｓ１１４０）、獲得された高周波成分に基づいて入力映像を処理し、処理された映像をディスプレイする（Ｓ１１４０）。例えば、第１パッチで特定ピクセル値及び特定ピクセル値に隣接する複数のピクセル値のそれぞれの差に基づいて、複数のピクセル値のそれぞれに対する加重値を獲得し、第３パッチに含まれた高周波成分のそれぞれに獲得された加重値のうち、対応する位置の加重値を適用して特定ピクセル値に対する高周波成分を獲得することができる。
【0117】
図１２に示すように、第２パッチ及びブラー処理された第２パッチに基づいて高周波成分を獲得し（１２４０）、第１パッチから加重値を獲得した後（１２５０）、獲得された高周波成分に加重値を適用し、加重値の適用された高周波成分を獲得することができる（１２６０）。その後、３＊３形態の第３パッチの中心を現在のピクセル位置に対応するようにし、高周波成分を継続して足していく（１２７０）。このような過程を通じ、１７ラインに該当するピクセル値に対する高周波マップ（１２８０）を獲得することができる。
【0118】
その後、獲得された高周波マップを入力映像に適用し（１２９０）、映像処理された出力映像（１３００）を獲得することができる。
【0120】
図１３Ａに示すように、特定パターン映像（例えば、１ピクセルの大きさのブラックドット１３１０映像１３０１を入力し、本発明の適用可否を判断することができる。
【0121】
本発明の一実施形態によって、図３に示す第１パッチ３００−１、即ち、ピクセル値リオーダリング前のパッチに基づいて、高周波成分を獲得して映像処理した場合、出力映像１３０２は、図１３Ｂに示すような形態になる。
【0122】
それは、図１４Ａに示すように、ブラックドット１３１０が上下左右方向に離隔しているピクセル１３１２、１３１４、１３１６、１３１８及び対角線方向に離隔しているピクセル１３１１、１３１３、１３１５、１３１７の高周波成分の生成、即ち、本発明の一実施形態に係る第３パッチ１４０１（１３２１ないし１３２８）に影響を及ぼすためである。例えば、ブラックドット１３１０を基準に、左上の対角線方向に位置したピクセル１３１１に対する高周波成分、即ち、第３パッチ１３２１を獲得する際、ブラックドット１３１０は第３パッチ１３２１で当該ピクセル１３１１を基準に右下の対角線方向の高周波成分に影響を及ぼすことになる。即ち、ブラックドット１３１０を基盤に獲得された第３パッチ１３２１の中心部分が当該ピクセル値１３１１に対応するように足されるようになるため、図１４Ａに示すように、出力映像１３０２は当該ピクセル１３１１の右下の対角線方向にドットを含む形態になる。残りのピクセル１３１２ないし１３１８に対しても、同一の原理が適用されるため、出力映像１３０２は、図１３Ｂに示すような形態であってよい。
【0123】
本発明の別の実施形態によって、図４Ａに示す第２パッチ４００−１、即ち、第１パッチ３００−１に含まれたピクセル値をリオーダリングして獲得されたパッチに基づいて、高周波成分を獲得して映像処理した場合、出力映像１３０３は、図１３Ｃに示すような形態であってよい。
【0124】
それは、ブラックドット１３１０を基準に左上の対角線方向に位置したピクセル１３１１に対する高周波成分、即ち、第３パッチ１３２１を獲得する際、ブラックドット１３１０は、図１４Ａで説明したように、第３パッチ１３２１で当該ピクセル１３１１を基準に右下の対角線方向の高周波成分に影響を及ぼすことになるが、当該周波数成分の位置がピクセルリオーダリングによって左上の対角線方向に変更されたためである。即ち、ブラックドット１３１０を基盤に獲得された第３パッチ１３２１の中心部分が当該ピクセル値１３１１に対応するように足されるようになるため、図１４Ｂの第３パッチ１４０２に示すように、出力映像１３０３は、当該ピクセル１３１１の右上の対角線方向にドットを含む形態になる。残りのピクセル１３１２ないし１３１８に対しても、同じ原理が適用されるため、出力映像は図１３Ｃに示すような形態になってよい。
【0125】
上述の多様な実施形態によると、映像拡大及び／映像圧縮などによって、テクスチャが損失された映像に対してテクスチャ生成を通じて映像の細密度を向上させることができるようになる。
【0126】
ただ、本発明の多様な実施形態は、ディスプレイ装置だけでなく、セットトップボックスのような映像受信装置、映像処理装置など、映像処理が可能な全ての電子装置に適用され得る。
【0127】
一方、本発明の一実施形態によると、以上で説明された多様な実施形態は、ソフトウェア、ハードウェアまたはこれらの組み合わせを用いてコンピュータまたはそれと類似する装置で読み取れる記録媒体内で実現されてよい。一部の場合において、本明細書で説明される実施形態がプログラムそのもので実現されてよい。ソフトウェア的な実現によると、本明細書で説明される手続き及び機能のような実施形態は、別途のソフトウェアモジュールで実現されてよい。ソフトウェアモジュールのそれぞれは、本明細書で説明される一つ以上の機能及び動作を行うことができる。
【0128】
一方、上述の多様な実施形態による機器のプロセッシング動作を行うためのコンピュータ命令語（ｃｏｍｐｕｔｅｒ ｉｎｓｔｒｕｃｔｉｏｎｓ）は、非一時的なコンピュータ読み取り可能な媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ−ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）に保存されてよい。このような非一時的なコンピュータ読み取り可能な媒体に保存されたコンピュータ命令語は、特定機器のプロセッサによって実行された際、上述の多様な実施形態に係る機器における処理動作を特定機器が行うようにする。
【0129】
非一時的なコンピュータ読み取り可能な媒体とは、レジスタ、キャッシュ、メモリなどのように、短い間データを保存する媒体ではなく、半永久的にデータを保存し、機器によって読み取りが可能な媒体を意味する。非一時的なコンピュータ読み取り可能な媒体の具体的な例としては、ＣＤ、ＤＶＤＤ、ハードディスク、ブルーレイディスク、ＵＳＢ、メモリカード、ＲＯＭ等があってよい。
【0130】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。