特許 5715533 動画像画質復元装置、動画像画質復元方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5715533

(24)【登録日】2015年3月20日

(45)【発行日】2015年5月7日

(54)【発明の名称】動画像画質復元装置、動画像画質復元方法、およびプログラム

(51)【国際特許分類】

   H04N 19/117 20140101AFI20150416BHJP

   H04N 19/136 20140101ALI20150416BHJP

   H04N 19/182 20140101ALI20150416BHJP

   H04N 19/86 20140101ALI20150416BHJP

【ＦＩ】

   H04N19/117

   H04N19/136

   H04N19/182

   H04N19/86

【請求項の数】7

【全頁数】15

(21)【出願番号】特願2011-199464(P2011-199464)

(22)【出願日】2011年9月13日

(65)【公開番号】特開2013-62660(P2013-62660A)

(43)【公開日】2013年4月4日

【審査請求日】2014年2月28日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100122426

【弁理士】

【氏名又は名称】加藤 清志

(72)【発明者】

【氏名】吉野 知伸

(72)【発明者】

【氏名】内藤 整

【審査官】 岩井 健二

(56)【参考文献】

【文献】 特開２０１０−２４５９７７（ＪＰ，Ａ）

【文献】 特開２０１０−１７８３０１（ＪＰ，Ａ）

【文献】 特開２００９−０２７４４３（ＪＰ，Ａ）

【文献】 特開２００６−２６２２７８（ＪＰ，Ａ）

【文献】 特開２００５−１５１３８５（ＪＰ，Ａ）

【文献】 特開平０７−２８８７１９（ＪＰ，Ａ）

【文献】 国際公開第２０１０／０７９７９７（ＷＯ，Ａ１）

【文献】 国際公開第２０１０／０６４３１６（ＷＯ，Ａ１）

【文献】 A. Buades et al.，Denoising image sequences does not require motion estimation，IEEE Conference on Advanced Video and Signal Based Surveillance (AVSS 2005)，IEEE，２００５年 ９月，pp.70 - 74

【文献】 J. Seiler et al.，Spatio-temporal prediction in video coding by non-local means refined motion compensation，Picture Coding Symposium (PCS)，IEEE，２０１０年１２月，pp.318 - 321

【文献】 A. Buades et al.，A non-local algorithm for image denoising，IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2005) ，IEEE，２００５年 ６月，Vol.2，pp.60 - 65

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

Ｈ０４Ｎ ５／２１

(57)【特許請求の範囲】

【請求項1】

局所的な絵柄の類似性に基づくフィルタ処理により動画像を高画質化する動画像画質復元装置であって、
処理フレームを基準として、当該処理フレームの特定フレーム前までの各フレームと、当該処理フレームの所定フレーム後までの各フレームと、を近傍フレームとすると、
前記近傍フレームごとに、処理フレームにおけるフィルタ処理対象画素の近傍の領域に類似する領域を、参照領域として求める参照領域決定手段と、
前記フィルタ処理対象画素の近傍の領域と、前記参照領域決定手段により求められた参照領域と、に基づいて、局所的な絵柄の類似性に基づくフィルタ係数を算出するフィルタ係数算出手段と、
前記フィルタ処理対象画素の近傍の領域に対して、前記フィルタ係数算出手段により算出されたフィルタ係数を用いてフィルタ処理を行うフィルタ処理適用手段と、を備え、
前記フィルタ係数算出手段は、前記フィルタ係数について、前記処理フレームにおける量子化ステップ幅と、前記近傍フレームにおける量子化ステップ幅と、の比に応じた重み付けを行うことを特徴とする動画像画質復元装置。

【請求項2】

前記処理フレームの特定フレーム前までの各フレームとは、当該処理フレームのｍフレーム前（ｍは、０≦ｍ≦１５を満たす任意の整数）までの各フレームのことであり、
前記処理フレームの所定フレーム後までの各フレームとは、当該処理フレームのｎフレーム後（ｎは、ｍ＝０の場合には１≦ｎ≦１５を満たす任意の整数であり、０＜ｍ≦１５を満たす場合には０≦ｎ≦１５を満たす任意の整数）までの各フレームのことであることを特徴とする請求項１に記載の動画像画質復元装置。

【請求項3】

前記参照領域決定手段は、映像圧縮符号化ストリームから得られる参照リストおよび動きベクトルに基づいて、前記フィルタ処理対象画素の近傍の領域に対して当該動きベクトルが指し示す領域を前記参照領域として求めることを特徴とする請求項１または２に記載の動画像画質復元装置。

【請求項4】

前記参照領域決定手段は、前記処理フレームと前記近傍フレームとの間でのブロックマッチングに基づく動き推定により動きベクトルを求め、前記フィルタ処理対象画素の近傍の領域に対して当該動きベクトルが指し示す領域を前記参照領域として求めることを特徴とする請求項１または２に記載の動画像画質復元装置。

【請求項5】

前記フィルタ係数算出手段は、
前記フィルタ処理対象画素の近傍の領域と、前記参照領域決定手段により求められた参照領域と、に基づいて、前記フィルタ係数を算出するとともに、
前記処理フレームにおけるフィルタ処理対象画素の近傍の領域に基づいて、前記局所的な絵柄の類似性に基づくフィルタ係数を算出することを特徴とする請求項１から４のいずれかに記載の動画像画質復元装置。

【請求項6】

局所的な絵柄の類似性に基づくフィルタ処理により動画像を高画質化する動画像画質復元方法であって、
処理フレームを基準として、当該処理フレームの特定フレーム前までの各フレームと、当該処理フレームの所定フレーム後までの各フレームと、を近傍フレームとすると、
前記近傍フレームごとに、処理フレームにおけるフィルタ処理対象画素の近傍の領域に類似する領域を、参照領域として求める第１のステップと、
前記フィルタ処理対象画素の近傍の領域と、前記第１のステップにおいて求めた参照領域と、に基づいて、局所的な絵柄の類似性に基づくフィルタ係数を算出する第２のステップと、
前記フィルタ処理対象画素の近傍の領域に対して、前記第２のステップにおいて算出したフィルタ係数を用いてフィルタ処理を行う第３のステップと、を備え、
前記第２のステップでは、前記フィルタ係数について、前記処理フレームにおける量子化ステップ幅と、前記近傍フレームにおける量子化ステップ幅と、の比に応じた重み付けを行うことを特徴とする動画像画質復元方法。

【請求項7】

局所的な絵柄の類似性に基づくフィルタ処理により動画像を高画質化する動画像画質復元方法を、コンピュータに実行させるためのプログラムであって、
処理フレームを基準として、当該処理フレームの特定フレーム前までの各フレームと、当該処理フレームの所定フレーム後までの各フレームと、を近傍フレームとすると、
前記近傍フレームごとに、処理フレームにおけるフィルタ処理対象画素の近傍の領域に類似する領域を、参照領域として求める第１のステップと、
前記フィルタ処理対象画素の近傍の領域と、前記第１のステップにおいて求めた参照領域と、に基づいて、局所的な絵柄の類似性に基づくフィルタ係数を算出する第２のステップと、
前記フィルタ処理対象画素の近傍の領域に対して、前記第２のステップにおいて算出したフィルタ係数を用いてフィルタ処理を行う第３のステップと、をコンピュータに実行させ、
前記第２のステップでは、前記フィルタ係数について、前記処理フレームにおける量子化ステップ幅と、前記近傍フレームにおける量子化ステップ幅と、の比に応じた重み付けを行わせるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画像画質復元装置、動画像画質復元方法、およびプログラムに関する。

【背景技術】

【0002】

従来、Ｈ．２６４（例えば、非特許文献１参照）に代表される映像圧縮符号化技術では、少ない符号量で原画像からの誤差を小さくするという、高い圧縮性能を実現している。しかしながら、この技術によって高圧縮された映像では、圧縮符号化過程における量子化などの処理により、特に高周波成分を伴うテクスチャにおいて大きな画質劣化が生じてしまう。

【0003】

そこで、Ｎｏｎ−Ｌｏｃａｌ Ｍｅａｎｓ（ＮＬＭ）フィルタ方式（例えば、非特許文献２参照）が提案されている。このＮＬＭフィルタ方式では、画面内の近傍領域で類似するテクスチャの画素（値）に大きな重みを付与して、画質劣化の生じたテクスチャの画質を復元することができる。

【0004】

以下に、図８を用いて、ＮＬＭフィルタ方式におけるＮＬＭフィルタ処理について説明する。

【0005】

ＮＬＭフィルタ処理では、ＮＬＭフィルタを用いて、フィルタ処理対象画素ｉの近傍のＬ×Ｌ個（Ｌは、Ｌ≧２を満たす任意の整数）の画素を対象としたフィルタ処理が行われる。ＮＬＭフィルタには、フィルタ処理対象画素ｉと、フィルタ係数算出画素ｊと、のそれぞれについて、近傍のＭ×Ｍ個（Ｍは、１≦Ｍ≦Ｌを満たす任意の整数）の画素の領域との類似性を評価し、類似性が高いほど、大きなフィルタ係数を設定する。具体的には、入力される画像を以下の式（１）のように表すものとすると、フィルタ処理対象画素ｉに対するフィルタ係数算出画素ｊにおけるフィルタ係数ｗ（ｉ、ｊ）は、以下の式（２）により求めることができる。

【0006】

【数1】

【0007】

【数2】

【0008】

なお、式（２）において、Ｎ_ｉは、フィルタ処理対象画素ｉの近傍のＭ×Ｍ個の画素の領域を示し、Ｎ_ｊは、フィルタ係数算出画素ｊの近傍のＭ×Ｍ個の画素の領域を示すものとする。また、ｖ（Ｎ_ｉ）は、Ｎ_ｉに対するグレーレベルでの明度を示し、ｖ（Ｎ_ｊ）は、Ｎ_ｊに対するグレーレベルでの明度を示すものとする。また、ｈは、フィルタの強度を示すものとする。また、ｚ（ｉ）は、以下の式（３）により求めることができるものとする。

【0009】

【数3】

【0010】

ＮＬＭフィルタ処理では、以上により求められたフィルタ係数ｗ（ｉ，ｊ）を、劣化画像に対して適用する。このＮＬＭフィルタ処理により得られる画素値ＮＬ［ｖ］（ｉ）は、以下の式（４）のように表すことができる。

【0011】

【数4】

【先行技術文献】

【非特許文献】

【0012】

【非特許文献1】Joint Video Team(JVT) of ISO/IEC MPEG and ITU-T VCEG, "Text of ISO/IEC 14496-10 Advanced Video Coding," July 2004.

【非特許文献2】A. Buades, B. Coll, and J. M. Morel, "A Non Local Algorithm for Image Denoising," Proc. IEEE Int. Conf. on Computer Vision and Pattern Recognition, vol. 2, pp. 60-65, June 2005.

【非特許文献3】ISO/IEC MPEG and ITU-T VCEG, "Text of ISO/IEC 13818-2 Generic coding of moving pictures and associated audio information: Video," 2000.

【非特許文献4】C. Tomasi and R. Manduchi, "Bilateral filtering for gray and color images," In Proceedings of the Sixth International Conference on Computer Vision, page 839-846, 1998.

【非特許文献5】S. Smith and J. Brady, "Susan - a new approach to low level image processing," International Journal of Computer Vision, 23(1):45-78, 1997.

【発明の概要】

【発明が解決しようとする課題】

【0013】

非特許文献２に示されているＮＬＭフィルタ方式では、処理フレーム内の近傍領域のテクスチャのみを用いてフィルタ処理を行って、画質を復元する。このため、復元した画質は、処理フレームの画質の劣化の度合いに強く依存してしまう。したがって、非特許文献２に示されているＮＬＭフィルタ方式を、ピクチャタイプごとに異なる量子化パラメータの与えられる圧縮映像に対して単純適用すると、フレームごとの画質の差異が大きくなってしまい、不自然な映像となってしまっていた。

【0014】

そこで、本発明は、上述の課題を鑑みてなされたものであり、フレームごとの画質の差異を小さくして、テクスチャを高精度に復元できる動画像画質復元装置、動画像画質復元方法、およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0015】

本発明は、上記の課題を解決するために、以下の事項を提案している。

【0016】

（１） 本発明は、局所的な絵柄の類似性に基づくフィルタ処理により動画像を高画質化する動画像画質復元装置（例えば、図１の動画像画質復元装置１に相当）であって、処理フレームを基準として、当該処理フレームの特定フレーム前までの各フレームと、当該処理フレームの所定フレーム後までの各フレームと、を近傍フレームとすると、前記近傍フレームごとに、処理フレームにおけるフィルタ処理対象画素の近傍の領域（例えば、図３のフィルタ処理対象画素ｉの近傍のＬ×Ｌ個の画素の領域に相当）に類似する領域を、参照領域（例えば、図３の参照領域に相当）として求める参照領域決定手段（例えば、図１の参照領域決定部１０に相当）と、前記フィルタ処理対象画素の近傍の領域と、前記参照領域決定手段により求められた参照領域と、に基づいて、局所的な絵柄の類似性に基づくフィルタ係数（例えば、後述のＮＬＭフィルタ係数に相当）を算出するフィルタ係数算出手段（例えば、図１のフィルタ係数算出部２０に相当）と、前記フィルタ処理対象画素の近傍の領域に対して、前記フィルタ係数算出手段により算出されたフィルタ係数を用いてフィルタ処理を行うフィルタ処理適用手段（例えば、図１のフィルタ処理適用部３０に相当）と、を備えることを特徴とする動画像画質復元装置を提案している。

【0017】

この発明によれば、処理フレームの特定フレーム前までの各フレームと、処理フレームの所定フレーム後までの各フレームと、を近傍フレームとすると、局所的な絵柄の類似性に基づくフィルタ処理により動画像を高画質化する動画像画質復元装置に、参照領域決定手段、フィルタ係数算出手段、およびフィルタ処理適用手段を設けた。そして、参照領域決定手段により、近傍フレームごとに、処理フレームにおけるフィルタ処理対象画素の近傍の領域に類似する領域を、参照領域として求めることとした。また、フィルタ係数算出手段により、フィルタ処理対象画素の近傍の領域と、参照領域決定手段により求められた参照領域と、に基づいて、局所的な絵柄の類似性に基づくフィルタ係数を算出することとした。また、フィルタ処理適用手段により、フィルタ処理対象画素の近傍の領域に対して、フィルタ係数算出手段により算出されたフィルタ係数を用いてフィルタ処理を行うこととした。

【0018】

このため、（１）の動画像画質復元装置は、近傍フレームのテクスチャを用いてフィルタ処理を行って、画質を復元することができる。したがって、フィルタ処理に、処理フレームよりも画質の劣化の度合いが低い近傍フレームのテクスチャを用いることで、フレームごとの画質の差異を小さくして、テクスチャを高精度に復元できる。

【0019】

（２） 本発明は、（１）の動画像画質復元装置について、前記処理フレームの特定フレーム前までの各フレームとは、当該処理フレームのｍフレーム前（ｍは、０≦ｍ≦１５を満たす任意の整数）までの各フレームのことであり、前記処理フレームの所定フレーム後までの各フレームとは、当該処理フレームのｎフレーム後（ｎは、ｍ＝０の場合には１≦ｎ≦１５を満たす任意の整数であり、０＜ｍ≦１５を満たす場合には０≦ｎ≦１５を満たす任意の整数）までの各フレームのことであることを特徴とする動画像画質復元装置を提案している。

【0020】

この発明によれば、（１）の動画像画質復元装置において、近傍フレームとして、処理フレームのｍフレーム前までの各フレームと、処理フレームのｎフレーム後までの各フレームと、を用いることができ、上述した効果と同様の効果を奏することができる。

【0021】

（３） 本発明は、（１）または（２）の動画像画質復元装置について、前記参照領域決定手段は、映像圧縮符号化ストリームから得られる参照リスト（例えば、後述の参照リストａに相当）および動きベクトル（例えば、後述の動きベクトルｂに相当）に基づいて、前記フィルタ処理対象画素の近傍の領域に対して当該動きベクトルが指し示す領域を前記参照領域として求めることを特徴とする動画像画質復元装置を提案している。

【0022】

この発明によれば、（１）または（２）の動画像画質復元装置において、参照領域決定手段により、映像圧縮符号化ストリームから得られる参照リストおよび動きベクトルに基づいて、参照領域として、フィルタ処理対象画素の近傍の領域に対して動きベクトルが指し示す領域を求めることとした。

【0023】

このため、（３）の動画像画質復元装置は、参照領域を、映像圧縮符号化ストリームから得られる参照リストおよび動きベクトルを用いて求める。したがって、参照領域として、処理フレームにおけるフィルタ処理対象画素の近傍の領域に類似する領域を、近傍フレームごとに適切に求めることができ、上述した効果と同様の効果を奏することができる。

【0024】

（４） 本発明は、（１）または（２）の動画像画質復元装置について、前記参照領域決定手段は、前記処理フレームと前記近傍フレームとの間でのブロックマッチングに基づく動き推定により動きベクトルを求め、前記フィルタ処理対象画素の近傍の領域に対して当該動きベクトルが指し示す領域を前記参照領域として求めることを特徴とする動画像画質復元装置を提案している。

【0025】

この発明によれば、（１）または（２）の動画像画質復元装置において、参照領域決定手段により、処理フレームと近傍フレームとの間でのブロックマッチングに基づく動き推定により動きベクトルを求め、参照領域として、フィルタ処理対象画素の近傍の領域に対して動きベクトルが指し示す領域を求めることとした。

【0026】

このため、（４）の動画像画質復元装置は、参照領域を、処理フレームと近傍フレームとの間でのブロックマッチングに基づく動き推定により求めた動きベクトルを用いて求める。したがって、参照領域として、処理フレームにおけるフィルタ処理対象画素の近傍の領域に類似する領域を、近傍フレームごとに適切に求めることができ、上述した効果と同様の効果を奏することができる。

【0027】

（５） 本発明は、（１）〜（４）のいずれかの動画像画質復元装置について、前記フィルタ係数算出手段は、前記フィルタ係数について、前記処理フレームにおける量子化ステップ幅（例えば、後述の処理フレームにおける量子化ステップ幅ｗ_ｃに相当）と、前記近傍フレームにおける量子化ステップ幅（例えば、後述の近傍フレームにおける量子化ステップ幅ｗ_ｎに相当）と、の比に応じた重み付けを行うことを特徴とする動画像画質復元装置を提案している。

【0028】

この発明によれば、（１）〜（４）のいずれかの動画像画質復元装置において、フィルタ係数算出手段により、フィルタ係数について、処理フレームにおける量子化ステップ幅と、近傍フレームにおける量子化ステップ幅と、の比に応じた重み付けを行うこととした。

【0029】

このため、（５）の動画像画質復元装置は、フィルタ係数に対して、処理フレームにおける量子化ステップ幅と、近傍フレームにおける量子化ステップ幅と、の比に応じた重み付けを行う。したがって、処理フレームと近傍フレームとの類似度が高くなるに従って、この近傍フレームにおけるフィルタ係数の、フィルタ処理に用いるフィルタ係数に対する影響を大きくすることができる。よって、フレームごとの画質の差異をさらに小さくして、テクスチャをより高精度に復元できる。

【0030】

（６） 本発明は、（１）〜（５）のいずれかの動画像画質復元装置において、前記フィルタ係数算出手段は、前記フィルタ処理対象画素の近傍の領域と、前記参照領域決定手段により求められた参照領域と、に基づいて、前記フィルタ係数を算出するとともに、前記処理フレームにおけるフィルタ処理対象画素の近傍の領域に基づいて、前記局所的な絵柄の類似性に基づくフィルタ係数を算出することを特徴とする動画像画質復元装置を提案している。

【0031】

この発明によれば、（１）〜（５）のいずれかの動画像画質復元装置において、フィルタ係数算出手段によるフィルタ係数の算出を、フィルタ処理対象画素の近傍の領域と、参照領域決定手段により求められた参照領域と、に基づいて行うだけでなく、処理フレームにおけるフィルタ処理対象画素の近傍の領域に基づいても行うこととした。

【0032】

このため、（６）の動画像画質復元装置は、処理フレームにおけるフィルタ処理対象画素の近傍の領域に基づいて算出したフィルタ係数も、フィルタ処理に用いるフィルタ係数に用いる。このため、フィルタ処理対象画素の近傍の領域と、参照領域決定手段により求められた参照領域と、に基づいて算出したフィルタ係数のみを、フィルタ処理に用いるフィルタ係数に用いる場合と比べて、フレームごとの画質の差異をさらに小さくして、テクスチャをより高精度に復元できる。

【0033】

（７） 本発明は、局所的な絵柄の類似性に基づくフィルタ処理により動画像を高画質化する動画像画質復元方法であって、処理フレームを基準として、当該処理フレームの特定フレーム前までの各フレームと、当該処理フレームの所定フレーム後までの各フレームと、を近傍フレームとすると、前記近傍フレームごとに、処理フレームにおけるフィルタ処理対象画素の近傍の領域（例えば、図３のフィルタ処理対象画素ｉの近傍のＬ×Ｌ個の画素の領域に相当）に類似する領域を、参照領域（例えば、図３の参照領域に相当）として求める第１のステップ（例えば、図１の参照領域決定部１０による処理相当）と、前記フィルタ処理対象画素の近傍の領域と、前記第１のステップにおいて求めた参照領域と、に基づいて、局所的な絵柄の類似性に基づくフィルタ係数（例えば、後述のＮＬＭフィルタ係数に相当）を算出する第２のステップ（例えば、図１のフィルタ係数算出部２０による処理に相当）と、前記フィルタ処理対象画素の近傍の領域に対して、前記第２のステップにおいて算出したフィルタ係数を用いてフィルタ処理を行う第３のステップ（例えば、図１のフィルタ処理適用部３０による処理に相当）と、を備えることを特徴とする動画像画質復元方法を提案している。

【0034】

この発明によれば、処理フレームの特定フレーム前までの各フレームと、処理フレームの所定フレーム後までの各フレームと、を近傍フレームとすると、まず、近傍フレームごとに、処理フレームにおけるフィルタ処理対象画素の近傍の領域に類似する領域を、参照領域として求めることとした。次に、フィルタ処理対象画素の近傍の領域と、参照領域と、に基づいて、局所的な絵柄の類似性に基づくフィルタ係数を算出することとした。次に、フィルタ処理対象画素の近傍の領域に対して、算出したフィルタ係数を用いてフィルタ処理を行うこととした。以上によれば、上述した効果と同様の効果を奏することができる。

【0035】

（８） 本発明は、局所的な絵柄の類似性に基づくフィルタ処理により動画像を高画質化する動画像画質復元方法を、コンピュータに実行させるためのプログラムであって、処理フレームを基準として、当該処理フレームの特定フレーム前までの各フレームと、当該処理フレームの所定フレーム後までの各フレームと、を近傍フレームとすると、前記近傍フレームごとに、処理フレームにおけるフィルタ処理対象画素の近傍の領域（例えば、図３のフィルタ処理対象画素ｉの近傍のＬ×Ｌ個の画素の領域に相当）に類似する領域を、参照領域（例えば、図３の参照領域に相当）として求める第１のステップ（例えば、図１の参照領域決定部１０による処理相当）と、前記フィルタ処理対象画素の近傍の領域と、前記第１のステップにおいて求めた参照領域と、に基づいて、局所的な絵柄の類似性に基づくフィルタ係数（例えば、後述のＮＬＭフィルタ係数に相当）を算出する第２のステップ（例えば、図１のフィルタ係数算出部２０による処理に相当）と、前記フィルタ処理対象画素の近傍の領域に対して、前記第２のステップにおいて算出したフィルタ係数を用いてフィルタ処理を行う第３のステップ（例えば、図１のフィルタ処理適用部３０による処理に相当）と、をコンピュータに実行させるためのプログラムを提案している。

【0036】

この発明によれば、処理フレームの特定フレーム前までの各フレームと、処理フレームの所定フレーム後までの各フレームと、を近傍フレームとすると、プログラムをコンピュータに実行させることで、まず、近傍フレームごとに、処理フレームにおけるフィルタ処理対象画素の近傍の領域に類似する領域を、参照領域として求めることとした。次に、フィルタ処理対象画素の近傍の領域と、参照領域と、に基づいて、局所的な絵柄の類似性に基づくフィルタ係数を算出することとした。次に、フィルタ処理対象画素の近傍の領域に対して、算出したフィルタ係数を用いてフィルタ処理を行うこととした。以上によれば、上述した効果と同様の効果を奏することができる。

【発明の効果】

【0037】

本発明によれば、フレームごとの画質の差異を小さくして、テクスチャを高精度に復元できる。

【図面の簡単な説明】

【0038】

【図1】本発明の第１実施形態に係る動画像画質復元装置の構成を示すブロック図である。

【図2】前記動画像画質復元装置の動作を説明するための図である。

【図3】前記動画像画質復元装置で求められる参照領域について説明するための図である。

【図4】本発明の第２実施形態に係る動画像画質復元装置の構成を示すブロック図である。

【図5】前記動画像画質復元装置の動作を説明するための図である。

【図6】本発明の第３実施形態に係る動画像画質復元装置の構成を示すブロック図である。

【図7】前記動画像画質復元装置の動作を説明するための図である。

【図8】ＮＬＭフィルタ方式におけるＮＬＭフィルタ処理を説明するための図である。

【発明を実施するための形態】

【0039】

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

【0040】

＜第１実施形態＞
［動画像画質復元装置１の構成］
図１は、本発明の第１実施形態に係る動画像画質復元装置１の構成を示すブロック図である。動画像画質復元装置１は、Ｈ．２６４規格により圧縮符号化されたビットストリームの復号により動画像復号装置（図示省略）において得られた劣化画像に対して、復元処理を行う。この動画像画質復元装置１は、参照領域決定部１０、フィルタ係数算出部２０、およびフィルタ処理適用部３０を備える。

【0041】

［動画像画質復元装置１の動作］
参照領域決定部１０は、Ｈ．２６４規格により圧縮符号化されたビットストリームから得られる参照リストａおよび動きベクトル（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ；ＭＶ）ｂを入力とする。この参照領域決定部１０は、処理フレームを構成する全ての画素に対して、図２に示す第１の参照領域決定処理をそれぞれ行う。

【0042】

第１の参照領域決定処理では、参照リストａおよび動きベクトルｂに基づいて、フィルタ処理対象画素ｉの近傍のＬ×Ｌ個の画素の領域に対して動きベクトルｂが指し示す領域を、図３に示すように、近傍フレームごとに参照領域として取得する。具体的には、フィルタ処理対象画素ｉの近傍のＬ×Ｌ個の画素の領域について、この領域の少なくとも一部を含む予測ブロックにおける参照リストａおよび動きベクトルｂを用いて、各近傍フレームにおける上述の領域の少なくとも一部の参照領域を取得する。これによれば、参照領域として、フィルタ処理対象画素ｉの近傍のＬ×Ｌ個の画素の領域に類似する領域が近傍フレームごとに取得されることとなる。そして、取得した各近傍フレームにおける参照領域を、参照領域ｃとして出力する。

【0043】

なお、近傍フレームとは、フィルタ処理対象画素ｉを含む処理フレームを基準として、この処理フレームのｍフレーム前（ｍは、０≦ｍ≦１５を満たす任意の整数）までの各フレームと、この処理フレームのｎフレーム後（ｎは、ｍ＝０の場合には１≦ｎ≦１５を満たす任意の整数であり、０＜ｍ≦１５を満たす場合には０≦ｎ≦１５を満たす任意の整数）までの各フレームと、のことである。これらｍの値とｎの値とは、予め定められる固定値であってもよいし、可変値であってもよい。

【0044】

また、上述のように参照リストａおよび動きベクトルｂを用いて参照領域を取得すると、処理フレームにおけるフィルタ処理対象画素ｉの近傍のＬ×Ｌ個の画素の領域と、取得した各近傍フレームにおける参照領域とは、類似することとなる。ここで、類似するとは、画素値の分布に関する評価値が類似するということであり、画素値の分布に関する評価値については、上述の式（２）の右辺で求めることができる。この画素値の分布に関する評価値が大きくなるに従って、フィルタ処理対象画素ｉの近傍のＬ×Ｌ個の画素の領域と参照領域との類似の度合いが、高くなる。

【0045】

図１に戻って、フィルタ係数算出部２０は、参照領域ｃと、上述の動画像復号装置において得られた劣化画像の画素値ｄと、を入力とする。このフィルタ係数算出部２０は、処理フレームを構成する全ての画素に対して、図２に示す第１のフィルタ係数算出処理をそれぞれ行う。

【0046】

第１のフィルタ係数算出処理では、ＮＬＭフィルタ係数ｅの算出を、図８を用いて上述したように処理フレームの画素のみを用いて行うだけでなく、近傍フレームの画素も用いて行う。具体的には、まず、図８を用いて上述したように、処理フレームにおけるフィルタ処理対象画素ｉの近傍のＬ×Ｌ個の画素の領域に基づいて、ＮＬＭフィルタ係数を求める。これによれば、処理フレームの画素のみを用いてＮＬＭフィルタ係数が求められることとなる。次に、上述の式（２）により、参照領域ｃに含まれる各近傍フレームにおける参照領域ごとに、この参照領域と、フィルタ処理対象画素ｉの近傍のＬ×Ｌ個の画素の領域と、に基づいて、ＮＬＭフィルタ係数を求める。これによれば、処理フレームの画素と近傍フレームの画素とを用いて、近傍フレームごとにＮＬＭフィルタ係数が求められることとなる。次に、処理フレームのみを用いて求めたＮＬＭフィルタ係数と、近傍フレームごとに求めたＮＬＭフィルタ係数と、に対して正規化を行って、ＮＬＭフィルタ係数ｅとして出力する。なお、ＮＬＭフィルタ係数は、局所的な絵柄の類似性に基づくフィルタ係数の一種である。

【0047】

図１に戻って、フィルタ処理適用部３０は、参照領域ｃと、劣化画像の画素値ｄと、ＮＬＭフィルタ係数ｅと、を入力とする。このフィルタ処理適用部３０は、処理フレームを構成する全ての画素に対して、図２に示すフィルタ処理適用処理をそれぞれ行う。

【0048】

フィルタ処理適用処理では、劣化画像の画素値ｄの参照領域ｃにおける画素のＮＬＭフィルタ係数ｅを用いて、フィルタ処理対象画素ｉの近傍のＬ×Ｌ個の画素の領域に対してフィルタ処理を行って、フィルタ処理対象画素ｉのフィルタ処理された画素値ｆとして出力する。

【0049】

処理フレームを構成する全ての画素に対して上述のフィルタ処理適用処理を行うと、この処理フレームを構成する画素ごとに、画素値ｆが出力される。これら出力された画素値ｆが集まることで、復元画像として出力されることとなる。

【0050】

以上の動画像画質復元装置１によれば、以下の効果を奏することができる。

【0051】

動画像画質復元装置１は、ＮＬＭフィルタ係数ｅの算出を、処理フレームの画素を用いて行うだけでなく、近傍フレームの画素も用いて行う。このため、処理フレームにおけるフィルタ処理対象画素ｉの近傍のＬ×Ｌ個の画素の領域のテクスチャだけでなく、近傍フレームにおけるテクスチャも用いてフィルタ処理を行って、画質を復元することができる。したがって、フレームごとの画質の差異を小さくして、テクスチャを高精度に復元できる。

【0052】

また、動画像画質復元装置１は、圧縮符号化されたビットストリームから得られる参照リストａおよび動きベクトルｂを用いるが、これら参照リストａおよび動きベクトルｂは、Ｈ．２６４規格により圧縮符号化されたビットストリームに含まれるものである。このため、既存のビットストリームに情報を追加することなく、テクスチャを高精度に復元でき、動画像復号装置において得られた劣化画像を高画質化できる。

【0053】

なお、テクスチャの高精度な復元は、縞模様といった周期的なテクスチャにおいて、顕著に実現できる。

【0054】

また、本実施形態では、動画像画質復元装置１は、Ｈ．２６４規格を想定しているが、これに限らず、上述の非特許文献３に示されているＭＰＥＧ−２といった、Ｈ．２６４規格と同様の動き補償予測を用いた圧縮技術についても、適用できる。

【0055】

＜第２実施形態＞
［動画像画質復元装置１Ａの構成］
図４は、本発明の第２実施形態に係る動画像画質復元装置１Ａの構成を示すブロック図である。動画像画質復元装置１Ａは、図１に示した本発明の第１実施形態に係る動画像画質復元装置１とは、参照領域決定部１０の代わりに参照領域決定部１０Ａを備える点が異なる。なお、動画像画質復元装置１Ａにおいて、動画像画質復元装置１と同一構成要件については、同一符号を付し、その説明を省略する。

【0056】

［動画像画質復元装置１Ａの動作］
参照領域決定部１０Ａは、劣化画像ｇを入力とする。この参照領域決定部１０Ａは、処理フレームを構成する全ての画素に対して、図５に示す第２の参照領域決定処理を行う。

【0057】

第２の参照領域決定処理では、まず、劣化画像ｇにおけるフィルタ処理対象画素ｉの近傍のＬ×Ｌ個の画素の領域について、処理フレームと近傍フレームとの間でのブロックマッチングに基づく動き推定を行って、動きベクトルを求める。次に、求めた動きベクトルがフィルタ処理対象画素ｉの近傍のＬ×Ｌ個の画素の領域に対して指し示す領域を、近傍フレームごとに参照領域として取得する。そして、取得した各近傍フレームにおける参照領域を、参照領域ｃとして出力する。

【0058】

以上の動画像画質復元装置１Ａによれば、動画像画質復元装置１が奏することのできる上述の効果と同様の効果を奏することができる。

【0059】

＜第３実施形態＞
［動画像画質復元装置１Ｂの構成］
図６は、本発明の第３実施形態に係る動画像画質復元装置１Ｂの構成を示すブロック図である。動画像画質復元装置１Ｂは、図１に示した本発明の第１実施形態に係る動画像画質復元装置１とは、フィルタ係数算出部２０の代わりにフィルタ係数算出部２０Ａを備える点が異なる。なお、動画像画質復元装置１Ｂにおいて、動画像画質復元装置１と同一構成要件については、同一符号を付し、その説明を省略する。

【0060】

［動画像画質復元装置１Ｂの動作］

【0061】

フィルタ係数算出部２０Ａは、参照領域ｃと、劣化画像の画素値ｄと、各フレームにおける量子化パラメータ情報（ＱＰ）ｈと、を入力とする。このフィルタ係数算出部２０Ａは、処理フレームを構成する全ての画素に対して、図７に示す第２のフィルタ係数算出処理をそれぞれ行う。

【0062】

第２のフィルタ係数算出処理では、図２に示した第１のフィルタ係数算出処理と同様に、ＮＬＭフィルタ係数ｅの算出を、処理フレームの画素のみを用いて行うだけでなく、近傍フレームの画素も用いて行う。具体的には、まず、図８を用いて上述したように、処理フレームにおけるフィルタ処理対象画素ｉの近傍のＬ×Ｌ個の画素の領域に基づいて、ＮＬＭフィルタ係数を求める。これによれば、処理フレームの画素のみを用いてＮＬＭフィルタ係数が求められることとなる。次に、上述の式（２）により、参照領域ｃに含まれる各近傍フレームにおける参照領域ごとに、この参照領域と、フィルタ処理対象画素ｉの近傍のＬ×Ｌ個の画素の領域と、に基づいて、ＮＬＭフィルタ係数を求める。これによれば、処理フレームの画素と近傍フレームの画素とを用いて、近傍フレームごとにＮＬＭフィルタ係数が求められることとなる。次に、近傍フレームごとに求めたＮＬＭフィルタ係数に対して、各近傍フレームにおける量子化パラメータ情報ｈを用いて重みを制御する。次に、処理フレームのみを用いて求めたＮＬＭフィルタ係数と、重み制御を行った近傍フレームごとのＮＬＭフィルタ係数と、に対して正規化を行って、ＮＬＭフィルタ係数ｅとして出力する。

【0063】

上述の量子化パラメータ情報ｈを用いた重みの制御では、例えば、量子化パラメータ情報ｈから得られる量子化ステップ幅を用いることができる。この量子化ステップ幅を用いる場合には、処理フレームにおける量子化ステップ幅をｗ_ｃ、近傍フレームにおける量子化ステップ幅をｗ_ｎとすると、この近傍フレームにおけるＮＬＭフィルタ係数に対してＷ_ｃ／ｗ_ｎ倍の重みを付ける。

【0064】

以上の動画像画質復元装置１Ｂによれば、動画像画質復元装置１が奏することのできる上述の効果に加えて、以下の効果を奏することができる。

【0065】

動画像画質復元装置１Ｂは、各近傍フレームにおけるＮＬＭフィルタ係数に対して、Ｗ_ｃ／ｗ_ｎ倍の重みを付ける。このため、処理フレームと近傍フレームとの類似度が高くなるに従って、この近傍フレームにおけるＮＬＭフィルタ係数の、ＮＬＭフィルタ係数ｅに対する影響を大きくすることができる。したがって、フレームごとの画質の差異をさらに小さくして、テクスチャをより高精度に復元できる。

【0066】

なお、本発明の動画像画質復元装置１、１Ａ、１Ｂの処理を、コンピュータ読み取り可能な記録媒体に記憶し、記録媒体に記録されたプログラムを動画像画質復元装置１、１Ａ、１Ｂに読み込ませ、実行することによって、本発明を実現できる。

【0067】

また、上述のプログラムは、このプログラムを記憶装置などに格納した動画像画質復元装置１、１Ａ、１Ｂから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

【0068】

また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を動画像画質復元装置１、１Ａ、１Ｂにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0069】

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

【0070】

例えば、上述の実施形態では、局所的な絵柄の類似性に基づくフィルタとして、ＮＬＭフィルタを用いたが、これに限らず、ＮＬＭフィルタと同様の性質を持つフィルタ、例えばＴｏｔａｌ Ｖａｒｉａｔｉｏｎや、上述の非特許文献４に示されているＢｉｌａｔｅｒａｌ Ｆｉｌｔｅｒや、上述の非特許文献５に示されているＳＵＳＡＮ Ｆｉｌｔｅｒなどを用いてもよい。

【0071】

また、上述の実施形態では、第２のフィルタ係数算出処理を、図７に示した第１の参照領域決定処理に組み合わせた例を示したが、これに限らず、例えば図５に示した第２の参照領域決定処理に組み合わせてもよい。

【0072】

また、上述の実施形態では、近傍フレームを規定するｍは、０≦ｍ≦１５を満たす任意の整数であることとし、近傍フレームを規定するｎは、ｍ＝０の場合には１≦ｎ≦１５を満たす任意の整数であり、０＜ｍ≦１５を満たす場合には０≦ｎ≦１５を満たす任意の整数であるとしたが、これに限らず、ｍおよびｎはそれぞれ任意の整数であってもよい。

【符号の説明】

【0073】

１、１Ａ、１Ｂ・・・動画像画質復元装置
１０、１０Ａ・・・参照領域決定部
２０、２０Ａ・・・フィルタ係数算出部
３０・・・フィルタ処理適用部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】