特許第6783362号(P6783362)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 三星電子株式会社の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6783362
(24)【登録日】2020年10月23日
(45)【発行日】2020年11月11日
(54)【発明の名称】映像処理装置及びその映像処理方法
(51)【国際特許分類】
   H04N 19/86 20140101AFI20201102BHJP
【FI】
   H04N19/86
【請求項の数】15
【全頁数】25
(21)【出願番号】特願2019-153784(P2019-153784)
(22)【出願日】2019年8月26日
(65)【公開番号】特開2020-108138(P2020-108138A)
(43)【公開日】2020年7月9日
【審査請求日】2019年8月26日
(31)【優先権主張番号】10-2018-0170914
(32)【優先日】2018年12月27日
(33)【優先権主張国】KR
【早期審査対象出願】
(73)【特許権者】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Samsung Electronics Co.,Ltd.
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100091214
【弁理士】
【氏名又は名称】大貫 進介
(72)【発明者】
【氏名】林 亨俊
(72)【発明者】
【氏名】安 泰慶
(72)【発明者】
【氏名】文 永秀
【審査官】 鉢呂 健
(56)【参考文献】
【文献】 米国特許第6522766(US,B1)
【文献】 米国特許出願公開第2018/0232853(US,A1)
【文献】 米国特許第8675999(US,B1)
【文献】 米国特許出願公開第2017/0206632(US,A1)
【文献】 国際公開第2014/087652(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00−19/98
G06T 3/40
IEEE Xplore
(57)【特許請求の範囲】
【請求項1】
複数のランダムパッチに関する情報が保存されたメモリと、
入力映像に含まれたピクセルブロック及び前記複数のランダムパッチのそれぞれの間の相関値(correlation)を獲得し、
前記獲得された相関値又は前記獲得された相関値に所定の比例定数を掛け算した値を前記複数のランダムパッチのそれぞれに対する加重値として獲得し、前記複数のランダムパッチのそれぞれに対する加重値を前記複数のランダムパッチのそれぞれに適用してテクスチャパッチを獲得し、
前記ピクセルブロックに前記テクスチャパッチを適用して出力映像を獲得するプロセッサと
を含む映像処理装置。
【請求項2】
前記複数のランダムパッチのそれぞれは、
複数の擬似乱数(pseudo random number)を含み、
各ランダムパッチに含まれた前記複数の擬似乱数の平均は0であることを特徴とする請求項1に記載の映像処理装置。
【請求項3】
前記複数の擬似乱数のうち少なくとも一部は、
0及び2^n(n≧0)からなる整数の集合から選択された少なくとも一つの整数を足し算して生成されるの擬似乱数を含み、
前記複数の擬似乱数のうちの残りは、
前記の擬似乱数と同じ絶対値を有するの擬似乱数を含むことを特徴とする請求項2に記載の映像処理装置。
【請求項4】
前記メモリは、一つのランダムパッチを生成するために用いられる複数の擬似乱数を含み、
前記プロセッサは、
前記複数の擬似乱数の順番を変更して前記複数のランダムパッチを獲得することを特徴とする請求項1に記載の映像処理装置。
【請求項5】
前記プロセッサは、
前記ピクセルブロックと第1ランダムパッチとの間の相関値に基づいて第1加重値を獲得し、前記ピクセルブロックと第2ランダムパッチとの間の相関値に基づいて第2加重値を獲得し、
前記第1加重値を前記第1ランダムパッチに掛け算して第1テクスチャパッチを獲得し、前記第2加重値を前記第2ランダムパッチに掛け算して第2テクスチャパッチを獲得し、
前記第1テクスチャパッチ及び前記第2テクスチャパッチを前記ピクセルブロックに適用して前記出力映像を獲得することを特徴とする請求項1に記載の映像処理装置。
【請求項6】
前記プロセッサは、
前記ピクセルブロックに含まれた第1ピクセルに前記第1ランダムパッチに含まれた第1位置のランダム値が足し算されるように、前記ピクセルブロックに前記第1テクスチャパッチを適用し、
前記ピクセルブロックに含まれた第1ピクセルに前記第2ランダムパッチに含まれた前記第1位置と同じ位置のランダム値が足し算されるように、前記ピクセルブロックに前記第2テクスチャパッチを適用することを特徴とする請求項5に記載の映像処理装置。
【請求項7】
前記プロセッサは、
前記第1加重値が掛け算された第1ランダムパッチの第1位置に含まれた第1ランダム値及び前記第2加重値が掛け算された第2ランダムパッチの前記第1位置に含まれた第2ランダム値を足し算し、前記第1加重値が掛け算された第1ランダムパッチの第2位置に含まれた第3ランダム値及び前記第2加重値が掛け算された第2ランダムパッチの前記第2位置に含まれた第4ランダム値を足し算し、前記テクスチャパッチを獲得することを特徴とする請求項5に記載の映像処理装置。
【請求項8】
前記プロセッサは、
前記獲得されたテクスチャパッチに周波数フィルタリングを適用し、前記周波数フィルタリングの適用されたテクスチャパッチを前記ピクセルブロックに適用して前記出力映像を獲得することを特徴とする請求項7に記載の映像処理装置。
【請求項9】
前記出力映像は、
4K UHD(Ultra High Definition)映像または8K UHD映像であることを特徴とする請求項1に記載の映像処理装置。
【請求項10】
ディスプレイを更に含み、
前記プロセッサは、
前記出力映像をディスプレイするように前記ディスプレイを制御することを特徴とする請求項1に記載の映像処理装置。
【請求項11】
映像処理装置の映像処理方法において、
入力映像に含まれたピクセルブロック及び複数のランダムパッチのそれぞれの間の相関値(correlation)を獲得するステップと、
前記獲得された相関値又は前記獲得された相関値に所定の比例定数を掛け算した値を前記複数のランダムパッチのそれぞれに対する加重値として獲得し、前記複数のランダムパッチのそれぞれに対する加重値を前記複数のンダムパッチのそれぞれに適用するしてテクスチャパッチを獲得するステップと、
前記ピクセルブロックに前記テクスチャパッチを適用して出力映像を獲得するステップと
を含む映像処理方法。
【請求項12】
前記複数のランダムパッチのそれぞれは、
複数の擬似乱数(pseudo random number)を含み、
各ランダムパッチに含まれた前記複数の擬似乱数の平均は0であることを特徴とする請求項11に記載の映像処理方法。
【請求項13】
前記複数の擬似乱数のうち少なくとも一部は、
0及び2^n(n≧0)からなる整数の集合から選択された少なくとも一つの整数を足し算して生成されるの擬似乱数を含み、
前記複数の擬似乱数のうちの残りは、
前記の擬似乱数と同じ絶対値を有するの擬似乱数を含むことを特徴とする請求項12に記載の映像処理方法。
【請求項14】
一つのランダムパッチを生成するために用いられる複数の擬似乱数の順番を変更して前記複数のランダムパッチを獲得するステップを更に含むことを特徴とする請求項11に記載の映像処理方法。
【請求項15】
映像処理装置のプロセッサによって実行される場合、前記映像処理装置が動作を行うようにするコンピュータ命令を保存する非一時的なコンピュータ読み取り可能な媒体において、前記動作は、
入力映像に含まれたピクセルブロック及び複数のランダムパッチのそれぞれの間の相関値(correlation)を獲得するステップと、
前記獲得された相関値又は前記獲得された相関値に所定の比例定数を掛け算した値を前記複数のランダムパッチのそれぞれに対する加重値として獲得し、前記複数のランダムパッチのそれぞれに対する加重値を前記複数のランダムパッチのそれぞれに適用してテクスチャパッチを獲得するステップと、
前記ピクセルブロックに前記テクスチャパッチを適用して出力映像を獲得するステップと
を含む非一時的なコンピュータ読み取り可能な媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像処理装置及びその映像処理方法に関し、より詳細には、入力映像のテクスチャ成分を復元する映像処理装置及びその映像処理方法に関する。
【背景技術】
【0002】
電子技術の発達により、様々な電子機器が開発及び普及されている。特に、家庭や事務所、公共施設など、色々な場所で用いられる映像処理装置は、ここ数年間で持続的な発展を遂げている。
【0003】
近代、4K UHD TVのような高解像度ディスプレイパネルが発売され、広く普及されている。しかし、まだ高品質の高解像度コンテンツは、非常に不足している状況である。そこで、低解像度コンテンツから高解像度コンテンツを生成するための様々な技術が求められている。更に、MPEG/H.264/HEVCなどの映像圧縮によってコンテンツのテクスチャ損失が発生するおそれがあり、それにより、損失されたテクスチャ成分を復元するための技術も求められている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】米国特許第9633417号
【特許文献2】韓国特開第2018−002788号
【特許文献3】米国特開第2007−0217502号
【特許文献4】日本特許第5181821号
【発明の概要】
【発明が解決しようとする課題】
【0005】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、映像拡大、映像圧縮などによってテクスチャの損失された映像に対してテクスチャ生成を通じて映像の精細感(detail)を向上させる映像処理装置及びその映像処理方法を提供することにある。
【課題を解決するための手段】
【0006】
以上のような目的を達成するための本発明の一実施形態に係る映像処理装置は、少なくとも一つのランダムパッチに関する情報が保存されたメモリと、入力映像に含まれたピクセルブロック及び前記少なくとも一つのランダムパッチに関する情報から獲得された複数のランダムパッチのそれぞれの間の相関関係(correlation)を獲得し、前記獲得された相関関係に基づいて前記複数のランダムパッチに対する加重値をそれぞれ獲得し、前記複数のランダムパッチのそれぞれに前記加重値を適用し、前記加重値の適用されたランダムパッチを前記ピクセルブロックにそれぞれ適用して出力映像を獲得するプロセッサとを含む。
【0007】
ここで、前記複数のランダムパッチのそれぞれは、複数の擬似乱数(pseudo random number)を含み、各ランダムパッチに含まれた前記複数の擬似乱数の平均は0であってよい。
【0008】
なお、前記複数の擬似乱数のうち少なくとも一部は、0及び2^n(n≧0)からなる整数の集合から選択された少なくとも一つの整数を足し算して生成される正の擬似乱数を含み、前記複数の擬似乱数のうちの残りは、前記正の擬似乱数と同じ絶対値を有する負の擬似乱数を含んでよい。
【0009】
なお、前記少なくとも一つのランダムパッチに関する情報は、一つのランダムパッチを生成するために用いられる複数の擬似乱数を含み、前記プロセッサは、前記複数の擬似乱数の順番を変更して前記複数のランダムパッチを獲得してよい。
【0010】
なお、前記プロセッサは、前記ピクセルブロックと第1ランダムパッチとの間の相関関係に基づいて第1加重値を獲得し、前記ピクセルブロックと第2ランダムパッチとの間の相関関係に基づいて第2加重値を獲得し、前記第1加重値を前記第1ランダムパッチに掛け算し、前記第2加重値を前記第2ランダムパッチに掛け算し、前記第1加重値が掛け算された第1ランダムパッチ及び前記第2加重値が掛け算された第2ランダムパッチを前記ピクセルブロックに適用して前記出力映像を獲得してよい。
【0011】
なお、前記プロセッサは、前記ピクセルブロックに含まれた第1ピクセルに前記第1ランダムパッチに含まれた第1位置のランダム値が足し算されるように、前記ピクセルブロックに前記第1ランダムパッチを適用し、前記ピクセルブロックに含まれた第1ピクセルに前記第2ランダムパッチに含まれた第1位置と同じ位置のランダム値が足し算されるように、前記ピクセルブロックに前記第2ランダムパッチを適用してよい。
【0012】
なお、前記プロセッサは、前記第1加重値が掛け算された第1ランダムパッチの第1位置に含まれた第1ランダム値及び前記第2加重値が掛け算された第2ランダムパッチの前記第1位置に含まれた第2ランダム値を足し算し、前記第1加重値が掛け算された第1ランダムパッチの第2位置に含まれた第3ランダム値及び前記第2加重値が掛け算された第2ランダムパッチの前記第2位置に含まれた第4ランダム値を足し算し、テクスチャパッチを獲得し、前記ピクセルブロックに前記テクスチャパッチを適用して前記出力映像を獲得してよい。
【0013】
なお、前記プロセッサは、前記獲得されたテクスチャパッチに周波数フィルタリングを適用し、前記周波数フィルタリングの適用されたテクスチャパッチを前記ピクセルブロックに適用して前記出力映像を獲得してよい。
【0014】
なお、前記出力映像は、4K UHD(Ultra High Definition)映像または8K UHD映像であってよい。
【0015】
なお、ディスプレイを更に含み、前記プロセッサは、前記出力映像をディスプレイするように前記ディスプレイを制御してよい。
【0016】
一方、本発明の一実施形態に係る映像処理装置の映像処理方法は、入力映像に含まれたピクセルブロック及び少なくとも一つのランダムパッチに関する情報から獲得された複数のランダムパッチのそれぞれの間の相関関係(correlation)を獲得するステップと、前記獲得された相関関係に基づいて前記複数のランダムパッチに対する加重値をそれぞれ獲得し、前記複数のランダムパッチのそれぞれに前記加重値を適用するステップと、前記加重値の適用されたランダムパッチを前記ピクセルブロックにそれぞれ適用して出力映像を獲得するステップとを含む。
【0017】
ここで、前記複数のランダムパッチのそれぞれは、複数の擬似乱数(pseudo random number)を含み、各ランダムパッチに含まれた前記複数の擬似乱数の平均は0であってよい。
【0018】
なお、前記複数の擬似乱数のうち少なくとも一部は、0及び2^n(n≧0)からなる整数の集合から選択された少なくとも一つの整数を足し算して生成される正の擬似乱数を含み、前記複数の擬似乱数のうちの残りは、前記正の擬似乱数と同じ絶対値を有する負の擬似乱数を含んでよい。
【0019】
なお、前記少なくとも一つのランダムパッチに関する情報は、一つのランダムパッチを生成するために用いられる複数の擬似乱数を含み、前記複数の擬似乱数の順番を変更して前記複数のランダムパッチを獲得するステップを更に含んでよい。
【0020】
なお、前記加重値を適用するステップは、前記ピクセルブロックと第1ランダムパッチとの間の相関関係に基づいて第1加重値を獲得し、前記ピクセルブロックと第2ランダムパッチとの間の相関関係に基づいて第2加重値を獲得し、前記第1加重値を前記第1ランダムパッチに掛け算し、前記第2加重値を前記第2ランダムパッチに掛け算し、前記出力映像を獲得するステップは、前記第1加重値が掛け算された第1ランダムパッチ及び前記第2加重値が掛け算された第2ランダムパッチを前記ピクセルブロックに適用して前記出力映像を獲得してよい。
【0021】
なお、前記出力映像を獲得するステップは、前記ピクセルブロックに含まれた第1ピクセルに前記第1ランダムパッチに含まれた第1位置のランダム値が足し算されるように、前記ピクセルブロックに前記第1ランダムパッチを適用し、前記ピクセルブロックに含まれた第1ピクセルに前記第2ランダムパッチに含まれた第1位置と同じ位置のランダム値が足し算されるように、前記ピクセルブロックに前記第2ランダムパッチを適用してよい。
【0022】
なお、前記出力映像を獲得するステップは、前記第1加重値が掛け算された第1ランダムパッチの第1位置に含まれた第1ランダム値及び前記第2加重値が掛け算された第2ランダムパッチの前記第1位置に含まれた第2ランダム値を足し算し、前記第1加重値が掛け算された第1ランダムパッチの第2位置に含まれた第3ランダム値及び前記第2加重値が掛け算された第2ランダムパッチの前記第2位置に含まれた第4ランダム値を足し算し、テクスチャパッチを獲得し、前記ピクセルブロックに前記テクスチャパッチを適用して前記出力映像を獲得してよい。
【0023】
なお、前記出力映像を獲得するステップは、前記獲得されたテクスチャパッチに周波数フィルタリングを適用し、前記周波数フィルタリングの適用されたテクスチャパッチを前記ピクセルブロックに適用して前記出力映像を獲得してよい。
【0024】
なお、前記出力映像は、4K UHD(Ultra High Definition)映像または8K UHD映像であってよい。
【0025】
なお、本発明の一実施形態に係る映像処理装置のプロセッサによって実行される場合、前記映像処理装置が動作を行うようにするコンピュータ命令を保存する非一時的なコンピュータ読み取り可能な媒体において、前記動作は、入力映像に含まれたピクセルブロック及び少なくとも一つのランダムパッチに関する情報から獲得された複数のランダムパッチのそれぞれの間の相関関係(correlation)を獲得するステップと、前記獲得された相関関係に基づいて前記複数のランダムパッチに対する加重値をそれぞれ獲得し、前記複数のランダムパッチのそれぞれに前記加重値を適用するステップと、前記加重値の適用されたランダムパッチを前記ピクセルブロックにそれぞれ適用して出力映像を獲得するステップとを含む。
【発明の効果】
【0026】
以上説明したように、本発明によれば、映像拡大及び/または映像圧縮などによってテクスチャの損失された映像に対してテクスチャ生成を通じて映像の精細感(detail)を向上させることができるようになる。
【図面の簡単な説明】
【0027】
図1】本発明の一実施形態に係る映像処理装置の実現例を説明するための図である。
図2】本発明の一実施形態に係る映像処理装置の構成を示すブロック図である。
図3】本発明の一実施形態に係るランダムパッチの例示を示す図である。
図4A】本発明の一実施形態に係る加重値獲得方法を説明するための図である。
図4B】本発明の別の実施形態に係る加重値獲得方法を説明するための図である。
図4C】本発明の更に別の実施形態に係る加重値獲得方法を説明するための図である。
図5A】本発明の一実施形態に係る加重値獲得方法を説明するための図である。
図5B】本発明の一実施形態に係るテクスチャパッチ獲得方法を説明するための図である。
図6A】本発明の一実施形態によって出力映像を獲得する方法を説明するための図である。
図6B】本発明の別の実施形態によって出力映像を獲得する方法を説明するための図である。
図7A】本発明の更に別の実施形態によって出力映像を獲得する方法を説明するための図である。
図7B】本発明の更に別の実施形態によって出力映像を獲得する方法を説明するための図である。
図8A】本発明の一実施形態に係るガウシアンフィルタを説明するための図である。
図8B】本発明の一実施形態によってテクスチャパッチにガウシアンぼかし(blurring)処理する方法を説明するための図である。
図8C】本発明の一実施形態によってテクスチャパッチにガウシアンぼかし処理する方法を説明するための図である。
図9】本発明の別の実施形態に係る映像処理装置の構成を示すブロック図である。
図10】本発明の一実施形態に係るテクスチャ生成方法を概略に説明するための図である。
図11】本発明の一実施形態に係る映像処理方法を説明するためのフローチャートである。
【発明を実施するための形態】
【0028】
以下では、図面を参照し、本発明について詳細に説明する。本発明を説明するうえで、関連の公知機能或いは構成に対する具体的な説明が本発明の要旨を不要に曖昧にするおそれがあると判断される場合には、それに対する詳細な説明は省略する。更に、以下の実施形態は、様々な形態に変形されてよく、本発明の技術的な思想の範囲が以下の実施形態に限定されるものではない。むしろ、これらの実施形態は、本発明をより充実かつ完全なものにし、当業者に本発明の技術的な思想を完全に伝えるために提供されるものである。
【0029】
なお、ある構成要素を「含む」とは、そうでないとはっきりとした記載がない限り、別の構成要素を除外するものではなく、別の構成要素を更に含むことができることを意味する。更に、図面における多様な要素と領域は、概略に描かれたものである。よって、本発明の技術的な思想は、添付の図面に描かれた相対的な大きさや間隔によって制限されない。
【0030】
以下で、添付の図面を用いて、本発明について具体的に説明する。
【0031】
図1は、本発明の一実施形態に係る映像処理装置の実現例を説明するための図である。
【0032】
映像処理装置100は、図1に示すように、テレビで実現されてよいが、それに限定されるものではなく、スマートフォン、タブレットパソコン、ノートパソコン、HMD(Head mounted Display)、NED(Near Eye Display)、LFD(Large format display)、Digital Signage(デジタル看板)、DID(Digital Information Display)、ビデオウォール(video wall)、プロジェクタディスプレイなどのように、ディスプレイ機能を備えた装置なら限定されることなく、適用可能である。
【0033】
映像処理装置100は、多様な解像度の映像または多様な圧縮映像を受信することができる。例えば、映像処理装置100は、SD(Standard Definition)、HD(High Definition)、Full HD、Ultra HD映像のうち、いずれかの映像を受信することができる。なお、映像処理装置100は、MPEG(例えば、MP2、MP4、MP7など)、AVC、H.264、HEVCなどに圧縮された形態で映像を受信することもできる。
【0034】
一実施形態によって、映像処理装置100がUHD TVで実現されるとしても、UHDコンテンツそのものが不足するため、SD(Standard Definition)、HD(High Definition)、Full HDなどの映像(以下、低解像度映像という)が入力される場合が多い。この場合、入力された低解像度映像をUHD映像(以下、高解像度映像という)に拡大して提供する方法を用いることができる。しかし、映像の拡大過程で映像のテクスチャ(texture)がぼやけてしまい(Blur)、精細感が低下するという問題があった。ここで、映像のテクスチャは、映像の中で同じ質感と見なされる領域特有の柄または模様を意味する。
【0035】
別の実施形態によって、高解像度映像が入力されるとしても、映像圧縮などによってテクスチャの損失が発生し、精細感が低下するという問題があった。デジタル映像は、画素数が増加するほどより多くのデータを必要とし、大容量データを圧縮するようになる場合、圧縮によるテクスチャの損失は避けられないためである。
【0036】
よって、以下では、上述のように、多様な場合において損失されたテクスチャ成分を復元して映像の精細感を向上させる多様な実施形態について説明する。
【0037】
図2は、本発明の一実施形態に係る映像処理装置の構成を示すブロック図である。
【0038】
図2によると、映像処理装置100は、メモリ110及びプロセッサ120を含む。
【0039】
メモリ110は、プロセッサ120と電気的に接続され、本発明の多様な実施形態のために必要なデータを保存することができる。例えば、メモリ110は、プロセッサ120に含まれたROM(例えば、EEPROM(electrically erasable programmable
read−only memory))、RAMなどの内部メモリで実現されるか、プロセッサ120と別途のメモリで実現されてよい。この場合、メモリ110は、データ保存用途に応じて、映像処理装置100にエンベデッドされたメモリで実現されるか、映像処理装置100に着脱可能なメモリで実現されてよい。例えば、映像処理装置100の駆動のためのデータの場合、映像処理装置100にエンベデッドされたメモリに保存され、映像処理装置100の拡張機能のためのデータの場合、映像処理装置100に着脱可能なメモリに保存されてよい。一方、映像処理装置100にエンベデッドされたメモリの場合、揮発性メモリ(例えば、DRAM(dynamic RAM)、SRAM(static RAM)またはSDRAM(synchronous dynamic RAM)など)、非揮発性メモリ(non−volatile Memory)(例えば、OTPROM(one time programmable ROM)、PROM(programmable ROM)、EPROM(erasable and programmable ROM)、EEPROM(electrically erasable and programmable ROM)、mask ROM、flash ROM、フラッシュメモリ(例えば、NAND flashまたはNOR flashなど)、ハードドライブまたはソリッドステートドライブ(solid state drive(SSD))のうち少なくとも一つで実現され、映像処理装置100に着脱可能なメモリの場合、メモリカード(例えば、CF(compact flash)、SD(secure Digital)、Micro−SD(Micro secure Digital)、Mini−SD(mini secure Digital)、xD(extreme Digital)、MMC(multi−media card)など)、USBポートに接続可能な外部メモリ(例えば、USBメモリ)などのような形態で実現されてよい。
【0040】
一実施形態によって、メモリ110は、少なくとも一つのランダムパッチに関する情報を保存することができる。「パッチ」は、機能を考慮し、便宜のために適用された用語であるため、パッチという用語の他に多様な用語が本実施形態に適用されてよい。例えば、各パッチは、複数のパケット値がピクセル単位の行列状に配列される構造を有するため、このような形態を考慮してマスク(mask)と称してよい。
【0041】
ここで、少なくとも一つのランダムパッチに関する情報は、少なくとも一つのランダムパッチを生成するために用いられるランダム値を含んでよい。この場合、ランダム値は、擬似乱数(pseudo random number)であってよい。擬似乱数とは、最初に与えられた初期値を用いて、予め決定されているメカニズム(擬似乱数生成器)によって生成される数を意味する。例えば、本発明の一実施形態に係るランダムパッチに用いられる擬似乱数は、0及び2^n(n≧1)からなる整数の集合から選択された少なくとも一つの整数を含んでよい。ただ、それに限定されるものではなく、0及び3^n(n≧0)からなる整数の集合から選択された少なくとも一つの整数を含む形態で実現することも可能である。即ち、ランダムパッチに用いられる擬似乱数は、プロセッサ120の演算を簡素化できる適切な初期値及びメカニズムによって生成されてよい。その他のランダムパッチに関する詳細な説明は、後述する。
【0042】
プロセッサ120は、メモリ110と電気的に接続されて映像処理装置100の動作全般を制御する。
【0043】
一実施形態によって、プロセッサ120はデジタル映像信号を処理するデジタルシグナルプロセッサ(Digital Signal Processor:DSP)、マイクロプロセッサ(microprocessor)、T−CON(Timing controller))で実現されてよい。ただ、それに限定されるものではなく、中央処理装置(central processing unit(CPU))、MCU(Micro Controller Unit)、MPU(Micro processing unit)、コントローラ(controller)、アプリケーションプロセッサ(Application Processor(AP))、またはコミュニケーションプロセッサ(Communication Processor(CP))、ARMプロセッサのうち、一つまたはそれ以上を含むか、当該用語に定義されてよい。なお、プロセッサ140は、プロセッシングアルゴリズムの内蔵されたSoC(System on Chip)、LSI(Large Scale Integration)で実現されてよく、FPGA(Field Programmable Gate Array)で実現されてよい。
【0044】
プロセッサ120は、入力映像を映像処理して出力映像を獲得する。具体的に、プロセッサ120は、入力映像にテクスチャ向上処理を施して出力映像を獲得することができる。ここで、出力映像は、UHD(Ultra High Definition)映像、特に、4K UHD映像または8K UHD映像であってよいが、それに限定されるものではない。
【0045】
そのために、プロセッサ120は、テクスチャ向上処理に用いられる複数のランダムパッチを獲得することができる。具体的に、プロセッサ120は、少なくとも一つのランダムパッチを生成するために用いられるランダム値に基づいて、複数のランダムパッチを獲得することができる。ここで、ランダム値は、上述のように、擬似乱数であってよい。この場合、メモリ110は、少なくとも一つのランダムパッチを生成するために用いられるランダム値のみを保存すればいいため、非常に少ない保存空間のみを利用してよい。
【0046】
プロセッサ120は、ランダムパッチの大きさに基づいて必要な数の乱数を獲得し、獲得された乱数に基づいて複数のランダムパッチを生成することができる。ここで、基準ランダムパッチは、n*n形態であってよい。例えば、ランダムパッチの大きさは4*4であってよいが、それに限定されるものではなく、3*3、5*5などのような多様な大きさで実現可能である。ただ、以下では、説明の便宜のために、ランダムパッチが4*4の大きさで実現される場合を想定して説明する。例えば、基準ランダムパッチが4*4の大きさで実現される場合、16の擬似乱数が用いられてよい。
【0047】
一実施形態によって、ランダムパッチを生成するのに用いられる乱数は、0及び2^n(n≧0)からなる整数の集合から選択されてよい。例えば、乱数のうち少なくとも一部(例えば、全体の1/2)は、0及び2^n(n≧0)からなる整数の集合A={0、1、2、4、8、16、32、…}から選択された少なくとも一つの整数を足し算して生成される正の乱数を含み、乱数のうちの残りは、正の乱数と同じ絶対値を有する負の乱数を含んでよい。それにより、ランダムパッチに含まれた複数の乱数の平均は0であってよい。
【0048】
一例によって、整数の集合A={0、1、2、4、8、16、32、…}から少なくとも一つの整数を選択した後、当該整数を足し算して乱数を生成することができる。例えば、以下のような乱数が生成されてよい。
【0049】
0 = 0
1 = 2^0
2 = 2^1
3 = 2^1 + 2^0
4 = 2^2
5 = 2^2 + 2^0
6 = 2^2 + 2^1
8 = 2^3
9 = 2^3 + 2^0
10 = 2^3 + 2^1
12 = 2^3 + 2^2
16 = 2^4
17 = 2^4 + 2^0
18 = 2^4 + 2^1
20 = 2^4 + 2^2
24 = 2^4 + 2^3
32 = 2^5
プロセッサ120は、上記のような方法で乱数を生成し、生成された乱数を用いて複数のランダムパッチを生成することができる。例えば、横W、縦Hの大きさのランダムパッチNを生成する場合、まず、W*H/2の正(+)の乱数を生成し、正(+)の乱数に負の符号(−)を付けた負の乱数を追加して合わせてW*Hの数字をもつ乱数の集合を生成することができる。続いて、プロセッサ120は、乱数の集合に含まれた乱数をN番の異なる順番で混ぜることでNのランダムパッチを作る。よって、各ランダムパッチに含まれた乱数は、パッチ別に配列(順番)のみが異なるだけで、同じ値であってよい。このような方式で平均は0であり、標準偏差は同じだが、相互異なる形(模様)を有するNのランダムパッチを生成することができる。それは、ランダムパッチを映像に足してもピクセル値が変わるだけで、映像全体の輝度が変わらず保持されるようにするためである。ここで、また、平均は幾何平均、調和平均など多様な数学的意味の平均公式が適用されてよく、例えば、算術平均方式に基づいて平均値が導出されてよい。なお、標準偏差が同じとは、予め設定された標準偏差値σであるとすれば、例えば、−σ≦k≦σ(ここで、kはランダムパッチの標準偏差)を満たすことを意味することができる。
【0050】
場合によって、プロセッサ120は、生成された複数のランダムパッチをメモリ110に保存して必要な場合に利用することができる。ただ、プロセッサ120は、ランダムパッチ生成に利用される乱数のみを保存し、必要時に複数のランダムパッチを生成することもできる。
【0051】
場合によって、メモリ110は、複数のランダム値から複数のランダムパッチを生成するためのオーダリング情報を保存することができ、この場合、プロセッサ120はオーダリング情報に基づいて複数のランダムパッチを生成することも可能である。ただ、本発明の主な実施形態のように、複数のランダムパッチを複数のランダム値の順番をランダムに変更して生成できることは言うまでもない。
【0052】
図3は、本発明の一実施形態に係るランダムパッチの例示を示す図である。
【0053】
一実施形態によって、図3に示すように、4*4の大きさのランダムパッチを生成する場合、8の乱数を生成することができる。例えば、{2、6、10、12、16、18、20、24}の乱数が生成された場合を仮定する。このような正の乱数に対応する負の乱数を追加すると、{2、6、10、12、16、18、20、24、−2、−6、−10、−12、−16、−18、−20、−24}の乱数の集合が作られる。当該乱数の配列を異なるように変形し、図示のR[0]、R[1]、R[2]のような多様なランダムパッチを生成することができる。ここで、相互異なるランダムパッチを生成するための乱数の配列変更はランダムに行われてよい。ただ、場合によっては、一部予め設定されたオーダリング順を適用して乱数の配列を変更することも可能である。
【0054】
図2に戻り、プロセッサ120は、複数のランダムパッチが獲得されると、獲得された複数のランダムパッチのそれぞれと入力映像に含まれたピクセルブロック(以下、対象ピクセルブロック)との間の類似度情報を獲得することができる。ここで、類似度情報は、複数のランダムパッチのそれぞれと入力映像に含まれたピクセルブロックとの間の相関関係(correlation)(または、相関度または関連度)であってよい。ここで、相関関係は、一定の数値で計算され、両変量x、yが相互関連性があると推測される関係を意味し、関係性の程度は相関係数(correlation coefficient)と呼ばれる数値で示されてよい。例えば、相関係数は、−1.0から+1.0までの間の数値で表現されてよく、符号によらず、数字の絶対値が大きいほど関連性がより高いと見なすことができる。例えば、負(−)の値は負的相関を示し、正(+)の値は正的相関を示してよい。
【0055】
例えば、入力映像において対象ピクセルブロックに含まれたピクセル値I=[i、i、…、in−1]、ランダムパッチR[n]に含まれた乱数値R[n]=[r、r1、…、rn−1]とすれば、相関値C[n]はE[i*r[n]]=Σi*rに獲得されてよい。
【0056】
または、対象ピクセルブロックに含まれたピクセル値の平均をm(I)、ランダムパッチR[n]に含まれた乱数の平均をm(R[n])とすれば、相関値は以下のような数式(1)に基づいて獲得されてよい。
【0057】
【数1】
この場合、各ランダムパッチの平均は0であるため、数式(1)は以下の数式(2)のように誘導されてよい。
【0058】
【数2】
本発明の一実施形態によって擬似乱数を用いる場合、対象ピクセルブロック及びランダムパッチの間の相関関係算出において、掛け算演算をbit−shift及び足し算演算に置き換えることができるようになる。例えば、乱数12を使う場合、対象ピクセルブロックに含まれたピクセル値aと乱数12を掛け算する計算は、「a×12」の代わりに、「(a<<3)+(a<<2)」に替えることができる。bit−shift演算及びadd演算が掛け算演算よりハードウェア実現の際に所要する複雑度が非常に低いため、演算の複雑度を顕著に軽減させることができるようになる。なお、後述のように、複数のランダムパッチのそれぞれに対応する加重値を掛け算する過程でも、当該計算方法が用いられ得るため、演算の複雑度を顕著に軽減させることができるようになる。
【0059】
一方、プロセッサ120は、獲得された相関関係に基づいて、複数のランダムパッチのそれぞれに対応する加重値を獲得することができる。
【0060】
一例として、プロセッサ120は、複数のランダムパッチのそれぞれに対して獲得された相関値を各ランダムパッチに対応する加重値として獲得することができる。別の例として、プロセッサ120は、複数のランダムパッチのそれぞれに対して獲得された相関値に予め設定された比例定数を掛け算して獲得された値を各ランダムパッチに対応する加重値として獲得することができる。例えば、プロセッサ120は、複数のランダムパッチのそれぞれに対して獲得された相関値に基づいて、0ないし1の範囲の加重値を獲得することができる。一例によって、相関関係がランダムパッチに加重値0を適用する場合、当該ランダムパッチは対象ピクセル領域に足されないようになる。この場合、平坦な領域や強いエッジ(edge)の含まれた領域では、全てのランダムパッチに対する相関関係が非常に低くなる可能性が高いため、何のテクスチャも生じなくなる。この場合、エッジ領域で発生し得るリンギング現象を防止することができ、平坦な領域に不要なテクスチャが足されることを防止することができるようになる。
【0061】
ただ、本発明の別の実施形態によると、複数のランダムパッチのそれぞれと対象ピクセルブロックとの間の類似度情報は、上述の相関関係の他に、多様な費用関数によって獲得されてよい。例えば、類似性を判断する費用関数(cost function)としては、MSE(Mean Square Error)、SAD(Sum of absolute difference)、MAD(Median Absolute Deviation)、correlationなどを使用することができる。例えば、MSEを適用する場合、対象ピクセルブロックのMSEを算出し、MSE観点から対象ピクセルブロックと各ランダムパッチとの間の類似度を獲得することができる。例えば、MSE差に基づいて類似度加重値が決定されてよい。
【0062】
プロセッサ120は、獲得された加重値を複数のランダムパッチのそれぞれに適用し、加重値の適用されたランダムパッチを対象ピクセルブロックに適用して出力映像を獲得することができる。例えば、プロセッサ120は、対象ピクセルブロックと第1ランダムパッチとの間の相関関係に基づいて第1加重値を獲得し、ピクセルブロックと第2ランダムパッチとの間の相関関係に基づいて第2加重値を獲得し、第1加重値を第1ランダムパッチに掛け算し、第2加重値を第2ランダムパッチに掛け算し、第1加重値が掛け算された第1ランダムパッチ及び第2加重値が掛け算された第2ランダムパッチを対象ピクセルブロックに適用して出力映像を獲得することができる。
【0063】
一実施形態によって、プロセッサ120は、加重値の適用された複数のランダムパッチを全て足し算してテクスチャを生成し、生成されたテクスチャを対象ピクセルブロックに適用して出力映像を獲得することができる。例えば、プロセッサ120は、第1加重値が掛け算された第1ランダムパッチに含まれた第1ランダム値(即ち、乱数値)及び第2加重値が掛け算された第2ランダムパッチに含まれた第1ランダム値と同じ位置の第2ランダム値を足し算し、第1加重値が掛け算された第1ランダムパッチに含まれた第3ランダム値及び第2加重値が掛け算された第2ランダムパッチに含まれた第3ランダム値と同じ位置の第4ランダム値を足し算し、テクスチャパッチを獲得することができる。続いて、プロセッサ120は、対象ピクセルブロックにテクスチャパッチを適用(例えば、足し算)して出力映像を獲得することができる。
【0064】
別の実施形態によって、プロセッサ120は、加重値の適用された複数のランダムパッチのそれぞれを順次に対象ピクセルブロックに適用してテクスチャを含む出力映像を獲得することができる。例えば、プロセッサ120は、対象ピクセルブロックに含まれた第1ピクセルに第1ランダムパッチに含まれた第1位置のランダム値が足し算されるように、対象ピクセルブロックに第1ランダムパッチを適用し、対象ピクセルブロックに含まれた第1ピクセルに第2ランダムパッチに含まれた第1位置と同じ位置のランダム値が足し算されるように、ピクセルブロックに第2ランダムパッチを適用することができる。
【0065】
図4Aないし図4Cは、本発明の多様な実施形態に係る加重値獲得方法を説明するための図である。
【0066】
本発明の一実施形態によると、図4Aに示すように、相関値E[IR]に応じて加重値は予め設定された範囲、例えば、0ないし1の間の範囲で線形的に増加する形で決定されてよい。例えば、図示のように、複数の相関値のうち、相関値E[IR]が最小である場合に加重値0に決定し、相関値E[IR]が最大である場合に加重値1に決定し、相関値E[IR]が最小ないし最大の間では線形的に増加するように加重値を決定することができる。この場合、最小値及び最大値は、一例によって、特定対象ピクセルブロックによって算出された複数の相関値のうち最小値及び最大値になってよい。この場合、ピクセルブロック別に同じ相関値に対して異なる加重値が適用されてよい。しかし、別の例によって、入力映像の全てのピクセルブロックに対して最小値(例えば、0)及び最大値(例えば、100)が決定されていてよい。この場合、全てのピクセルブロックで相関値が同じである場合には、同じ加重値が適用されてよい。
【0067】
本発明の別の実施形態によると、図4Bに示すように、相関値E[IR]が第1臨界値(Th1)未満である場合に加重値0に決定し、相関値が第2臨界値(Th2)以上である場合に加重値1に決定し、相関値E[IR]が第1臨界値(Th1)以上第2臨界値(Th2)未満の範囲内で加重値が線形的に増加するように加重値を決定することができる。この場合、第1臨界値(Th1)及び第2臨界値(Th2)は、全てのピクセルブロックに対して同じ値に設定されてよい。ただ、第1臨界値(Th1)及び第2臨界値(Th2)は、各ピクセルブロック別に異なる値に設定されることも可能である。
【0068】
本発明の更に別の実施形態によると、図4Cに示すように、相関値E[IR]が第3臨界値(Th3)未満である場合に加重値0に決定し、相関値が第3臨界値(Th3)以上である場合に加重値1に決定することができる。この場合、相関値が第3臨界値(Th3)以上である場合のランダムパッチのみがテクスチャとして用いられるようになる。ここで、第3臨界値(Th3)は、全てのピクセルブロックに対して同じ値に設定されてよい。ただ、第3臨界値(Th3)は、各ピクセルブロック別に異なる値に設定されることも可能である。
【0069】
図5A及び図5Bは、本発明の一実施形態に係るテクスチャパッチ獲得方法を説明するための図である。
【0070】
図5Aに示すように、プロセッサ120は、入力映像500に含まれた対象ピクセルブロック510と第1ランダムパッチ(R[0])との間の相関関係に基づいて第1ランダムパッチ(R[0])に対応する加重値w0を獲得することができる。なお、プロセッサ120は、対象ピクセルブロック510と第2ランダムパッチ(R[1])との間の相関関係に基づいて第2ランダムパッチ(R[1])に対応する加重値w1を獲得することができる。なお、プロセッサ120は、対象ピクセルブロック510と第3ランダムパッチ(R[2])との間の相関関係に基づいて第3ランダムパッチ(R[2])に対応する加重値w2を獲得することができる。
【0071】
続いて、図5Bに示すように、プロセッサ120は、第1ランダムパッチ(R[0])に対応する加重値w0を掛け算し、第2ランダムパッチ(R[1])に対応する加重値w1を掛け算し、第3ランダムパッチ(R[2])に対応する加重値w2を掛け算した後、加重値の掛け算された第1ないし第3ランダムパッチを足して、テクスチャパッチを生成することができる。具体的に、プロセッサ120は、加重値の掛け算された第1ランダムパッチ(R[0])の(1、1)の位置の値w0*6、加重値の掛け算された第2ランダムパッチ(R[1])の(1、1)の位置の値w1*(−18)及び加重値の掛け算された第3ランダムパッチ(R[2])の(1、1)の位置の値w2*(−20)を足して、テクスチャパッチ520の(1、1)の位置の値t1を獲得することができる。テクスチャパッチ520の残りの位置の値も加重値の掛け算された各ランダムパッチの対応する位置の値を足すことで獲得することができる。例えば、プロセッサ120は、加重値の掛け算された第1ランダムパッチ(R[0])をメモリ110に保存し、加重値の掛け算された第2ランダムパッチ(R[1])をメモリ110に保存されたパッチにオーバーラップして保存し、加重値の掛け算された第3ランダムパッチ(R[2])をメモリ110に保存されたパッチにオーバーラップして保存してテクスチャパッチを獲得することができる。ここで、オーバーラップして保存するとは、各ランダムパッチの対応する位置の値を足す方式であってよい。
【0072】
図6A及び図6Bは、本発明の一実施形態によって出力映像を獲得する方法を説明するための図である。
【0073】
図6Aは、本発明の一実施形態によって、入力映像に対応するテクスチャを獲得した後、獲得されたテクスチャを入力映像に適用する方法を説明するための図である。
【0074】
一実施形態によって、プロセッサ120は、図6Aに示すように、対象ピクセルブロックに対応するテクスチャパッチ520を、図5Bに示す方法で生成した後、生成されたテクスチャパッチ520を対象ピクセル領域に適用することができる。ここで、適用とは、対象ピクセル領域に含まれた各ピクセル値にテクスチャパッチ520の対応する領域に含まれた値を足し算する方式であってよい。ただ、それに限定されるものではなく、単純な足し算の他の更なる処理が施されてよい。
【0075】
このように、プロセッサ120は、入力映像に含まれた全てのピクセルを基準に対象ピクセルブロックを設定した後、対応するテクスチャを順次に適用して補正された映像を獲得することができる。
【0076】
図6Bは、本発明の別の実施形態によって加重値の適用されたランダムパッチをリアルタイムで入力映像に適用する方法を説明するための図である。
【0077】
別の実施形態によって、プロセッサ120は、図6Bに示すように、加重値の適用された複数のランダムパッチ610、620のそれぞれを順次に対象ピクセルブロックに適用してテクスチャを含む出力映像を獲得することができる。例えば、プロセッサ120は、図示のように、加重値の適用された第1ランダムパッチ610を対象ピクセル領域に適用した後、加重値の適用された第2ランダムパッチ620を、加重値の適用された第1ランダムパッチ610の適用された対象ピクセル領域に適用することができる。ここで、適用とは、対象ピクセル領域に含まれた各ピクセル値に加重値の適用された複数のランダムパッチ610、620の対応する領域に含まれた値を足し算する方式であってよい。ただ、それに限定されるものではなく、単純な足し算の他の更なる処理が施されてよい。
【0078】
このように、プロセッサ120は、入力映像に含まれた全てのピクセルを基準に対象ピクセルブロックを設定した後、対応するランダムパッチを順次に適用して補正された映像を獲得することができる。
【0079】
図7A及び図7Bは、本発明の別の実施形態によって出力映像を獲得する方法を説明するための図である。
【0080】
図7A及び図7Bは、説明の便宜上、図6Aに示すように、対象ピクセル領域に対応するテクスチャパッチを生成した後、入力映像に適用する方法を説明する。
【0081】
図7Aに示すように、第1対象ピクセルブロック510に対応する第1テクスチャパッチ710を当該ピクセルブロックに適用した後、図7Bに示すように、第2対象ピクセルブロック520に対応する第2テクスチャパッチ720を当該ピクセルブロックに適用することができる。この場合、第1及び第2対象ピクセルブロックは、少なくとも一つのピクセル単位として識別されてよい。例えば、入力映像で(1、1)の位置のピクセル510が対象ピクセルブロックの(1、1)の位置に含まれるように第1対象ピクセルブロック(例えば、4*4の大きさ)510を識別し、入力映像で(1、2)の位置のピクセル520が対象ピクセルブロックの(1、1)の位置に含まれるように第2対象ピクセルブロック520を識別することができる。ただ、それに限定されるものではなく、入力映像で(1、1)の位置のピクセルが対象ピクセルブロックの(1、1)の位置に含まれるように第1対象ピクセルブロック(例えば、4*4の大きさ)を識別し、入力映像で(1、3)の位置のピクセルが対象ピクセルブロックの(1、1)の位置に含まれるように第2対象ピクセルブロックを識別することができる。
【0082】
図2に戻り、本発明の別の実施形態によると、プロセッサ120はテクスチャパッチが獲得されると、テクスチャパッチに周波数フィルタリングを適用し、周波数フィルタリングの適用されたテクスチャパッチを対象ピクセルブロックに適用することもできる。即ち、プロセッサ120は、テクスチャパッチを入力映像に足す前に周波数フィルタリングを適用し、テクスチャパッチの周波数範囲を変形させることができる。例えば、プロセッサ120は、high−pass filterを使って高周波テクスチャを生成することもでき、low−pass filterを使って低周波テクスチャを生成することができる。以下の数式(3)は、フィルタリングされたテクスチャ(Filter(T))を入力映像(I)と足して出力映像(O)を獲得する過程を示す。
【0083】
【数3】
例えば、プロセッサ120は、テクスチャパッチにガウシアンぼかし(または、ガウシアンフィルタリング)のようなlow−pass filterを適用することができる。ガウシアンぼかしは、ガウシアン確率分布に基づいたガウシアンフィルタを用いてぼかし処理する方法として、ガウシアンフィルタをテクスチャパッチに適用すれば、高周波成分は遮断されてぼかし処理になる。
【0084】
図8Aないし図8Cは、本発明の一実施形態に係るテクスチャパッチに対するぼかし(blurring)方法を説明するための図である。説明の便宜のために、テクスチャパッチが3*3形態の場合に想定している。
【0085】
例えば、ガウシアンフィルタは、図8Aに示すように、x軸の0は加重値が大きく、+/−部分に進むにつれて加重値が少なくなる形態であってよく、このようなガウシアンフィルタは3*3形態のマスク50に適用すれば、マスク50の中心は加重値が大きく、マスク50の周縁に進むにつれて加重値が少なくなる形態であってよい。ただ、図8Aに示す数値は例として挙げたものであり、フィルタリング数値はガウシアン関数のシグマ値に応じて異なってくる。
【0086】
プロセッサ120は、図8Bに示すように、ガウシアンマスク50をテクスチャパッチ520に含まれた各ピクセル値に適用してテクスチャパッチ520をガウシアンぼかし処理することができる。具体的に、プロセッサ120は、テクスチャパッチ520に含まれた各ピクセル値がガウシアンマスク50の中心に位置するようにガウシアンマスク50を移動させて各ピクセル値に対してフィルタリングを行うことができる。
【0087】
この場合、プロセッサ120は、テクスチャパッチ520の境界に位置するピクセル値に対してはミラーリングしたピクセル値に基づいてフィルタリングを行うことができる。例えば、テクスチャパッチ520の(1、1)の位置のピクセル値、即ち、P1をガウシアンマスク50の中心に位置させてフィルタリングを行う場合には、図8Cに示すように、境界位置のピクセル値をミラーリングしてP1値を中心にする仮想の第2パッチ60を生成した後、P1値をガウシアンマスク50の中心に位置させてフィルタリングを行うことができる。
【0088】
このように、プロセッサ120は、テクスチャパッチ520に含まれた全てのピクセル値に対するガウシアンフィルタリングを行い、ぼかし処理されたテクスチャパッチ800を獲得することができる。
【0089】
一方、上述の映像処理過程、即ち、テクスチャ向上処理は、実施形態によって映像のスケーリング前または後に行われてよい。例えば、低解像度映像を高解像度映像に拡大するスケーリング後に上述の映像処理を行うか、圧縮映像をデコードする過程で上述の映像処理を行ってからスケーリングを行うこともできる。
【0090】
図9は、本発明の別の実施形態に係る映像処理装置の構成を示すブロック図である。図9によると、映像処理装置100’は、メモリ110、プロセッサ120、入力部130、ディスプレイ140、出力部150及びユーザインターフェース160を含む。図9に示された説明のうち、図2に示す構成と重複する構成については、詳細な説明を省略する。
【0091】
本発明の一実施形態によると、メモリ110は、本発明に係る多様な動作で生成されるデータを保存する単一メモリで実現されてよい。
【0092】
ただ、本発明の別の実施形態によると、メモリ110は第1ないし第3メモリを含むように実現されてよい。
【0093】
第1メモリは、入力部130を介して入力された映像のうち少なくとも一部を保存することができる。特に、第1メモリは入力された映像フレームのうち少なくとも一部の領域を保存することができる。この場合、少なくとも一部の領域は、本発明の一実施形態に係る映像処理を行うのに必要な領域であってよい。一実施形態によって、第1メモリはNラインメモリで実現されてよい。例えば、Nラインメモリは、縦方向に17ライン相当の容量を有するメモリであってよいが、それに限定されるものではない。例えば、1080p(1、920×1、080の解像度)のFull HD映像が入力される場合、Full HD映像で17ラインの映像領域のみが第1メモリに保存される。このように、第1メモリは、Nラインメモリで実現され、入力された映像フレームのうち一部の領域のみが映像処理のために保存される理由は、ハードウェア的な限界によって第1メモリのメモリ容量が制限的であるためである。このような理由で、本発明の一実施形態によれば、第1保存部120は入力された映像フレームのうち予め設定された数のラインの映像領域のみを保存して映像処理を行い、少なくとも1ラインの分遅延した映像領域を保存しながら連続的に映像処理を行うこともできる。
【0094】
第2メモリは、獲得されたランダムパッチ、テクスチャパッチなどを保存するためのメモリとして、本発明の多様な実施形態によって多様なサイズのメモリで実現されてよい。例えば、本発明の一実施形態によって入力映像の各ピクセル値に対応するテクスチャ成分を全て獲得して保存した後で入力映像に適用するように実現される場合、第2メモリは入力映像の大きさと同じか大きいサイズで実現されてよい。別の実施形態によって、第1メモリのサイズに対応する映像単位でテクスチャ成分を適用するか、ピクセルライン単位で獲得されたテクスチャ成分をピクセルライン単位で適用するなどの場合には、当該映像処理のための適切なサイズで実現されてよい。
【0095】
第3メモリは、獲得されたテクスチャ成分を適用して映像処理した出力映像が保存されるメモリとして、本発明の多様な実施形態によって、多様なサイズのメモリで実現されてよい。例えば、本発明の一実施形態によって入力映像の各ピクセル値に対応するテクスチャ成分を全て適用して出力映像を獲得してディスプレイするように実現される場合、第3メモリは入力映像のサイズと同じか大きいサイズで実現されてよい。別の実施形態によって、第1メモリのサイズに対応する映像単位で映像を出力するか、ピクセルライン単位で出力するなどの場合には、当該映像保存のための適切なサイズで実現されてよい。
【0096】
ただ、第1メモリまたは第2メモリに出力映像がオーバーライトされたり、出力映像が保存されずに直ちにディスプレイされる形態で実現される場合などに、第3メモリは必要としなくてよい。
【0097】
入力部130は、多様なタイプのコンテンツ、例えば、映像信号を受信する。例えば、入力部130は、AP基盤のWi−Fi(Wireless LANネットワーク)、ブルートゥース(登録商標(Bluetooth))、Zigbee、有/無線LAN(Local Area Network)、WAN、イーサネット(登録商標)、IEEE 1394、HDMI(登録商標(High Definition Multimedia Interface))、MHL(Mobile High−Definition Link)、USB(Universal Serial Bus)、DP(Display Port)、サンダーボルト(Thunderbolt)、VGA(Video Graphics Array)ポート、RGBポート、D−SUB(D−subminiature)、DVI(Digital Visual Interface)などのような通信方式を通じて外部装置(例えば、ソース装置)、外部保存媒体(例えば、USB)、外部サーバ(例えば、ウェブハード)などからストリーミングまたはダウンロード方式で映像信号を入力されてよい。ここで、映像信号は、デジタル信号であってよいが、それに限定されない。
【0098】
ディスプレイ140は、LCD(liquid crystal display)、OLED(organic light−emitting Diode)、ED(Light−Emitting Diode)、Micro LED、LCoS(Liquid Crystal on Silicon)、DLP(Digital Light Processing)、QD(quantum dot)ディスプレイパネルなどのような多様な形態で実現されてよい。
【0099】
出力部150は、音響信号を出力する。
【0100】
例えば、出職部150は、プロセッサ140で処理されたデジタル音響信号をアナログ音響信号に変換して増幅して出力することができる。例えば、出力部150は、少なくとも一つのチャネルを出力できる、少なくとも一つのスピーカユニット、D/Aコンバータ、オーディオアンプ(audio amplifier)などを含んでよい。一例として、出力部150は、Lチャネル、Rチャネルをそれぞれ再生するLチャネルスピーカ及びRチャネルスピーカを含んでよい。ただ、それに限定されるものではなく、出力部150は多様な形態で実現可能である。別の例として、出力部150は、Lチャネル、Rチャネル、センターチャネルを再生するサウンドバー形態で実現されることも可能である。
【0101】
ユーザインターフェース160は、ボタン、タッチパッド、マウス及びキーボードのような装置で実現されるか、上述のディスプレイ機能及び操作入力機能も併せて行えるタッチスクリーン、リモコン受信部などで実現されてよい。ここで、ボタンは映像処理装置100の本体外観の全面部や側面部、背面部などの任意の領域に形成された機械的ボタン、タッチパッド、ホイールなどのような多様なボタンであってよい。
【0102】
図10は、本発明の一実施形態に係るテクスチャ生成方法を概略に説明するための図である。
【0103】
図10によると、まず、複数のランダムパッチを獲得する(1010)。ここで、複数のランダムパッチのそれぞれは、複数の擬似乱数(pseudo random number)を含み、各ランダムパッチに含まれた複数の擬似乱数の平均は0であってよい。
【0104】
続いて、入力映像に含まれた入力パッチ(対象ピクセルブロック)と複数のランダムパッチのそれぞれの相関関係に基づいて、各ランダムパッチに対応する加重値を算出する(1020)。
【0105】
続いて、複数のランダムパッチのそれぞれに対応する加重値を適用し、加重値の適用されたランダムパッチを合算し(1030)、入力パッチに対応するテクスチャ成分を生成することができる。
【0106】
一方、図10に示されていないが、本発明の実施形態に係る映像処理前に入力映像のノイズを除去するフリーフィルタリングを更に適用することも可能である。例えば、ガウシアンフィルタのようなスムージングフィルタ(Smoothing Filter)、入力映像を予め設定されたガイダンス(guidance)に対比させてフィルタリングするガイデッド(guided)フィルタなどを適用して目立つノイズを除去することができる。
【0107】
図11は、本発明の一実施形態に係る映像処理方法を説明するためのフローチャートである。
【0108】
図11に示す映像処理方法によると、少なくとも一つのランダムパッチに関する情報から獲得された複数のランダムパッチのそれぞれと入力映像に含まれたピクセルブロックとの間の相関関係(correlation)を獲得する(S1110)。
【0109】
続いて、獲得された相関関係に基づいて複数のランダムパッチのそれぞれに対する加重値を獲得し、複数のランダムパッチのそれぞれに対応する加重値を適用する(S1120)。
【0110】
次に、加重値の適用されたランダムパッチをピクセルブロックに適用して出力映像を獲得することができる(S1130)。
【0111】
次に、複数のランダムパッチのそれぞれは、複数の擬似乱数を含み、各ランダムパッチに含まれた複数の擬似乱数の平均は0であってよい。
【0112】
なお、複数の擬似乱数のうち少なくとも一部は、0及び2^n(n≧0)からなる整数の集合から選択された少なくとも一つの整数を足し算して生成される正の擬似乱数を含み、複数の擬似乱数のうちの残りは、正の擬似乱数と同じ絶対値を有する負の擬似乱数を含んでよい。
【0113】
なお、少なくとも一つのランダムパッチに関する情報は、一つのランダムパッチを生成するために用いられる複数の擬似乱数を含んでよい。この場合、映像処理方法は、複数の擬似乱数の順番を変更して複数のランダムパッチを獲得するステップを更に含んでよい。
【0114】
なお、加重値を適用するステップS1120では、ピクセルブロックと第1ランダムパッチとの間の相関関係に基づいて第1加重値を獲得し、ピクセルブロックと第2ランダムパッチとの間の相関関係に基づいて第2加重値を獲得し、第1加重値を第1ランダムパッチに掛け算し、第2加重値を第2ランダムパッチに掛け算してよい。この場合、出力映像を獲得するステップS1130は、第1加重値が掛け算された第1ランダムパッチ及び第2加重値が掛け算された第2ランダムパッチをピクセルブロックに適用して前記出力映像を獲得することができる。
【0115】
なお、出力映像を獲得するステップS1130では、ピクセルブロックに含まれた第1ピクセルに第1ランダムパッチに含まれた第1位置のランダム値が足し算されるように、ピクセルブロックに第1ランダムパッチを適用し、ピクセルブロックに含まれた第1ピクセルに第2ランダムパッチに含まれた第1位置と同じ位置のランダム値が足し算されるように、ピクセルブロックに第2ランダムパッチを適用することができる。
【0116】
なお、出力映像を獲得するステップS1130では、第1加重値が掛け算された第1ランダムパッチに含まれた第1ランダム値及び第2加重値が掛け算された第2ランダムパッチに含まれた第1ランダム値と同じ位置の第2ランダム値を足し算し、第1加重値が掛け算された第1ランダムパッチに含まれた第3ランダム値及び第2加重値が掛け算された第2ランダムパッチに含まれた第3ランダム値と同じ位置の第4ランダム値を足し算し、テクスチャパッチを獲得し、ピクセルブロックにテクスチャパッチを適用して出力映像を獲得することができる。
【0117】
なお、出力映像を獲得するステップS1130では、獲得されたテクスチャパッチに周波数フィルタリングを適用し、周波数フィルタリングの適用されたテクスチャパッチをピクセルブロックに適用して出力映像を獲得することができる。
【0118】
上述の多様な実施形態によれば、映像拡大及び/または映像圧縮などによってテクスチャの損失された映像に対してテクスチャ生成を通じて映像の精細感を向上させることができるようになる。なお、相関関係を考慮せずにランダムパッチを用いる場合、発生し得るリンギング(Ringing)などの副作用を防止することができるようになる。なお、映像のビット数に基づいた数(例えば、8ビット映像の場合、256)のランダムパッチを保存する場合に比べて、メモリ空間を少なくて用いて済む。なお、一つの対象ピクセルブロック基準で一つのランダムパッチのみが足される場合に比べて豊富なテクスチャを生成することができるようになる。
【0119】
ただ、本発明の多様な実施形態は、映像処理装置だけでなく、セットトップボックスのような映像受信装置、映像処理装置などの映像処理が可能な全ての電子装置に適用することができる。
【0120】
一方、以上で説明された多様な実施形態は、ソフトウェア(software)、ハードウェア(hardware)またはこれらの組み合わせを用いてコンピュータまたはそれに類似する装置で読み取れる記録媒体内で実現されてよい。一部の場合において、本明細書で説明される実施形態がプロセッサ120そのもので実現されてよい。ソフトウェア的な実現によると、本明細書で説明される手続き及び機能のような実施形態は別途のソフトウェアモジュールで実現されてよい。ソフトウェアモジュールのそれぞれは、本明細書で説明される一つ以上の機能及び動作を行うことができる。
【0121】
一方、上述の本発明の多様な実施形態によると映像処理装置100のプロセシング動作を行うためのコンピュータ命令語(instructions)は、非一時的な読み取り可能な媒体(non−transitory computer readable medium)に保存されてよい。このような非一時的な読み取り可能な媒体に保存されたコンピュータ命令語は、特定機器のプロセッサによって実行された際、上述の多様な実施形態に係る映像処理装置100における処理動作を特定機器が行うようにする。
【0122】
非一時的な読み取り可能な媒体とは、レジスタやキャッシュ、メモリ等のような短い間データを保存する媒体ではなく、半永久的にデータを保存し、機器によって読み取り(Reading)が可能な媒体を意味する。具体的には、上述の多様なアプリケーションまたはプログラムは、CDやDVD、ハードディスク、ブルーレイディスク、USB、メモリカード、ROM等のような非一時的な読み取り可能な媒体に保存されて提供されてよい。
【0123】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
図1
図2
図3
図4A
図4B
図4C
図5A
図5B
図6A
図6B
図7A
図7B
図8A
図8B
図8C
図9
図10
図11