特許 5794169 映像ノイズ低減装置及び映像ノイズ低減方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5794169

(24)【登録日】2015年8月21日

(45)【発行日】2015年10月14日

(54)【発明の名称】映像ノイズ低減装置及び映像ノイズ低減方法

(51)【国際特許分類】

   H04N 5/21 20060101AFI20150928BHJP

   G06T 5/00 20060101ALI20150928BHJP

   H04N 1/409 20060101ALI20150928BHJP

【ＦＩ】

   H04N5/21 B

   G06T5/00 705

   H04N1/40 101C

【請求項の数】8

【全頁数】26

(21)【出願番号】特願2012-31560(P2012-31560)

(22)【出願日】2012年2月16日

(65)【公開番号】特開2013-168837(P2013-168837A)

(43)【公開日】2013年8月29日

【審査請求日】2014年7月31日

(31)【優先権主張番号】特願2012-9051(P2012-9051)

(32)【優先日】2012年1月19日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100085235

【弁理士】

【氏名又は名称】松浦 兼行

(72)【発明者】

【氏名】朝原 周一

【審査官】 大室 秀明

(56)【参考文献】

【文献】 特開平０８−１６８０２１（ＪＰ，Ａ）

【文献】 特開２００１−１８９９４４（ＪＰ，Ａ）

【文献】 特開２０１１−２５４２２３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００３／００６８０９２（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００−１／４０

Ｇ０６Ｔ ３／００−５／５０

Ｇ０６Ｔ ９／００−９／４０

Ｈ０４Ｎ １／４０−１／４０９

Ｈ０４Ｎ １／４６

Ｈ０４Ｎ １／６０

Ｈ０４Ｎ ５／１４−５／２１７

(57)【特許請求の範囲】

【請求項1】

入力映像信号中の低域成分を抽出して映像ノイズが抑制された映像信号を出力する低域成分抽出手段と、
前記入力映像信号中の注目画素及びその近傍の一定領域の画像が、ノイズレベルと同等の小レベルの予め設定した所定パターンの映像内容をどの程度の強さで含むかの相関検出結果をフィルタ演算により数値化して求める検出手段と、
前記検出手段の検出結果が前記所定パターンの映像内容との相関が強いことを示す第１の絶対値以上のときには第１の混合比を出力し、前記検出結果が前記所定パターンの映像内容との相関が弱いことを示す第２の絶対値以下のときには第２の混合比を出力し、前記検出結果が前記第１の絶対値から前記第２の絶対値までの範囲内の値のときには前記検出結果の値に応じて前記第１の混合比と前記第２の混合比との範囲内の値の第３の混合比を演算して出力する混合比算出手段と、
前記混合比算出手段から供給される混合比が前記第１の混合比のときには前記入力映像信号を出力し、前記混合比が前記第２の混合比のときには前記低域成分抽出手段から出力される映像信号を出力し、前記混合比が前記第３の混合比のときにはその第３の混合比の値に応じた混合比で前記入力映像信号と前記低域成分抽出手段から出力される映像信号とを加算合成して出力する加算合成手段と
を有することを特徴とする映像ノイズ低減装置。

【請求項2】

前記検出手段は、
前記一定領域が２次元マトリクス配置された複数の画素からなる領域であるとき、前記一定領域の縦横斜めの各方向に相関係数が高く、かつ、簡単な整数で構成され、総和がゼロである、マトリクス配置された複数のフィルタ係数に基づいてフィルタ演算を行う２次元ハイパスフィルタであることを特徴とする請求項１記載の映像ノイズ低減装置。

【請求項3】

前記検出手段は、
前記一定領域が、現在フレーム及びその前後１以上のフレームからなる複数フレームの各フレームにおいて画素が２次元マトリクス配置された平面領域が３次元配置された領域であるとき、現在フレームの前記平面領域の複数のフィルタ係数の絶対値の総和が、他のフレームの前記平面領域の複数のフィルタ係数の絶対値の総和よりも大で、かつ、すべてのフィルタ係数の総和がゼロである前記３次元配置された領域のフィルタ係数に基づいて、フィルタ演算を行う３次元ハイパスフィルタであることを特徴とする請求項１記載の映像ノイズ低減装置。

【請求項4】

前記検出手段は、
前記一定領域が、現在フレーム及び過去の１以上のフレームからなる複数フレームの各フレームにおいて画素が２次元マトリクス配置された平面領域が３次元配置された領域であるとき、現在フレームの前記平面領域の複数のフィルタ係数の絶対値の総和が、他のフレームの前記平面領域の複数のフィルタ係数の絶対値の総和よりも大で、かつ、すべてのフィルタ係数の総和がゼロである前記３次元配置された領域のフィルタ係数に基づいて、フィルタ演算を行う３次元ハイパスフィルタであることを特徴とする請求項１記載の映像ノイズ低減装置。

【請求項5】

入力映像信号中の低域成分を抽出して映像ノイズが抑制された映像信号を出力する低域成分抽出手段と、
前記入力映像信号中の注目画素及びその近傍の一定領域の画像が、ノイズレベルと同等の小レベルの予め設定した所定パターンの映像内容をどの程度の強さで含むかの複数の相関検出結果を、感度の高い相関検出方向が互いに異なるフィルタ演算により数値化してそれぞれ求める検出手段と、
前記検出手段の複数の相関検出結果の絶対値を加算する加算手段と、
前記加算手段から出力される加算値が前記所定パターンの映像内容との相関が強いことを示す第１の絶対値以上のときには第１の混合比を出力し、前記加算値が前記所定パターンの映像内容との相関が弱いことを示す第２の絶対値以下のときには第２の混合比を出力し、前記加算値が前記第１の絶対値から前記第２の絶対値までの範囲内の値のときには前記加算値に応じて前記第１の混合比と前記第２の混合比との範囲内の値の第３の混合比を演算して出力する混合比算出手段と、
前記混合比算出手段から供給される混合比が前記第１の混合比のときには前記入力映像信号を出力し、前記混合比が前記第２の混合比のときには前記低域成分抽出手段から出力される映像信号を出力し、前記混合比が前記第３の混合比のときにはその第３の混合比の値に応じた混合比で前記入力映像信号と前記低域成分抽出手段から出力される映像信号とを加算合成して出力する加算合成手段と
を有することを特徴とする映像ノイズ低減装置。

【請求項6】

前記検出手段は、
前記一定領域が２次元マトリクス配置された複数の画素からなる領域であるとき、前記一定領域の縦横斜めの各方向のうち互いに異なる方向に対して相関係数が高く、かつ、簡単な整数で構成され、総和がゼロである、マトリクス配置された複数のフィルタ係数に基づいてフィルタ演算を行う複数の２次元ハイパスフィルタであることを特徴とする請求項５記載の映像ノイズ低減装置。

【請求項7】

入力映像信号中の低域成分を抽出して映像ノイズが抑制された映像信号を出力する低域成分抽出ステップと、
前記入力映像信号中の注目画素及びその近傍の一定領域の画像が、ノイズレベルと同等の小レベルの予め設定した所定パターンの映像内容をどの程度の強さで含むかの相関検出結果をフィルタ演算により数値化して求める検出ステップと、
前記検出ステップの検出結果が前記所定パターンの映像内容との相関が強いことを示す第１の絶対値以上のときには第１の混合比を出力し、前記検出結果が前記所定パターンの映像内容との相関が弱いことを示す第２の絶対値以下のときには第２の混合比を出力し、前記検出結果が前記第１の絶対値から前記第２の絶対値までの範囲内の値のときには前記検出結果の値に応じて前記第１の混合比と前記第２の混合比との範囲内の値の第３の混合比を演算して出力する混合比算出ステップと、
前記混合比算出ステップにより算出された混合比が前記第１の混合比のときには前記入力映像信号を出力し、前記混合比が前記第２の混合比のときには前記低域成分抽出ステップで出力される映像信号を出力し、前記混合比が前記第３の混合比のときにはその第３の混合比の値に応じた混合比で前記入力映像信号と前記低域成分抽出ステップで出力される映像信号とを加算合成して出力する加算合成ステップと
を含むことを特徴とする映像ノイズ低減方法。

【請求項8】

入力映像信号中の低域成分を抽出して映像ノイズが抑制された映像信号を出力する低域成分抽出ステップと、
前記入力映像信号中の注目画素及びその近傍の一定領域の画像が、ノイズレベルと同等の小レベルの予め設定した所定パターンの映像内容をどの程度の強さで含むかの複数の相関検出結果を互いに異なる特性のフィルタ演算により数値化してそれぞれ求める検出ステップと、
前記検出ステップの複数の相関検出結果の絶対値を加算する加算ステップと、
前記加算ステップで得た加算値が前記所定パターンの映像内容との相関が強いことを示す第１の絶対値以上のときには第１の混合比を出力し、前記加算値が前記所定パターンの映像内容との相関が弱いことを示す第２の絶対値以下のときには第２の混合比を出力し、前記加算値が前記第１の絶対値から前記第２の絶対値までの範囲内の値のときには前記加算値に応じて前記第１の混合比と前記第２の混合比との範囲内の値の第３の混合比を演算して出力する混合比算出ステップと、
前記混合比算出ステップにより算出された混合比が前記第１の混合比のときには前記入力映像信号を出力し、前記混合比が前記第２の混合比のときには前記低域成分抽出ステップで出力される映像信号を出力し、前記混合比が前記第３の混合比のときにはその第３の混合比の値に応じた混合比で前記入力映像信号と前記低域成分抽出ステップで出力される映像信号とを加算合成して出力する加算合成ステップと
を含むことを特徴とする映像ノイズ低減方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は映像ノイズ低減装置及び映像ノイズ低減方法に係り、特に映像のランダムノイズを低減する映像ノイズ低減装置及び映像ノイズ低減方法に関する。

【背景技術】

【0002】

従来より、映像信号に含まれるランダムノイズ（以下、単にノイズ、または映像ノイズと呼ぶことがある）を低減する方法としてノイズコアリングと呼ばれる手法が多く使用されている。この手法を用いた従来の映像ノイズ低減装置では、ローパスフィルタ（ＬＰＦ）により入力映像信号の所定カットオフ周波数以下の低域信号を取り出し、更に入力映像信号からその低域信号を減算することで入力映像信号の高域信号を取り出す。そして、映像ノイズ低減装置は、その高域信号のうちのレベル（振幅）の小さい信号成分をノイズとみなし、小振幅信号除去手段（以下、これを本明細書では「スライサ」というものとする）で取り除いた後、スライサから出力される小振幅除去後の高域信号とＬＰＦからの低域信号とを加算することで、ノイズの軽減された映像信号を得る。

【0003】

図２２は、上記のスライサの一例の入出力特性を示す。同図に示す入出力特性のスライサは、スライスレベル｜Ｓ１｜以下の小振幅の入力高域信号を除去し、｜Ｓ１｜より大なる振幅の入力高域信号に対しては入力高域信号からスライスレベル｜Ｓ１｜を減算した信号を出力する。

【0004】

図２３は、上記のスライサの他の例の入出力特性を示す。同図に示す入出力特性のスライサは、スライスレベル｜Ｓ２｜以下の小振幅の入力高域信号を除去し、｜Ｓ２｜より大なる振幅の入力高域信号に対しては入力高域信号の振幅を保って出力する。ただし、スライスレベル｜Ｓ２｜付近では入力高域信号の入力レベルよりも若干小レベルとして出力する。この図２３に示す入出力特性のスライサは、図２２に示した入出力特性のスライサのような入力高域信号の振幅の大きい信号成分も一律に取り除かれることによる解像度劣化を防ぐことができる。

【0005】

このノイズコアリング方式の映像ノイズ低減装置では、輝度差がノイズレベルと同等の小レベルの模様のような映像部分（以下、テクスチャ部分と呼ぶ）が入力映像信号に含まれる場合にも、振幅の大きさが同程度のノイズとの区別がつかず、テクスチャ部分の高域信号成分を比較的多く取り除いてしまってテクスチャ部分の再現性が悪くなる。これを避けるためにスライサのスライスレベルを小さくすると、テクスチャ部分の再現性は良くなるが、ノイズの低減効果が小さくなるという課題がある。

【0006】

そこで、従来の映像ノイズ低減装置では、この課題を解決するために、輝度レベルに応じてスライスレベルを適応的に可変する装置が知られている（例えば、特許文献１参照）。また、ＭＰＥＧ(Moving Picture Experts Group)による圧縮映像信号をデコードする際に、エンコード時の量子化レベルに応じてスライスレベルを適応的に可変する映像ノイズ低減装置も知られている（例えば、特許文献２参照）。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開平５−３４７７２３号公報

【特許文献2】特開平８−２０５１５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、特許文献１記載の従来の映像ノイズ低減装置では、テクスチャ部分を特定できないため、テクスチャ部分の再現性を確保しようとすると所期のノイズ低減効果が期待できない。また、特許文献２記載の従来の映像ノイズ低減装置では、エンコード情報が得られないカメラの撮像映像信号等に対しては、エンコード時の量子化レベルが得られないためスライスレベルの適応的な可変ができず、所期のノイズ低減効果が期待できない。また、民生用の映像ノイズ低減装置では、装置の小型化のため、ハードウェアの規模を大きくしないことが望まれる。

【0009】

本発明は以上の点に鑑みなされたもので、ハードウェア規模を大きくすることなく、映像信号の平坦部分に含まれる映像ノイズを低減しつつ、映像信号のテクスチャ部分の画質劣化を小さくすることができ、また、エンコード情報が得られない映像信号に対しても適切なノイズ低減効果を得ることができる映像ノイズ低減装置及び映像ノイズ低減方法を提供することを目的とする。

【課題を解決するための手段】

【0010】

上記目的を達成するため、第１の発明の映像ノイズ低減装置は、入力映像信号中の低域成分を抽出して映像ノイズが抑制された映像信号を出力する低域成分抽出手段と、入力映像信号中の注目画素及びその近傍の一定領域の画像が、ノイズレベルと同等の小レベルの予め設定した所定パターンの映像内容をどの程度の強さで含むかの相関検出結果をフィルタ演算により数値化して求める検出手段と、検出手段の検出結果が所定パターンの映像内容との相関が強いことを示す第１の絶対値以上のときには第１の混合比を出力し、検出結果が所定パターンの映像内容との相関が弱いことを示す第２の絶対値以下のときには第２の混合比を出力し、検出結果が第１の絶対値から第２の絶対値までの範囲内の値のときには検出結果の値に応じて第１の混合比と第２の混合比との範囲内の値の第３の混合比を演算して出力する混合比算出手段と、混合比算出手段から供給される混合比が第１の混合比のときには入力映像信号を出力し、混合比が第２の混合比のときには低域成分抽出手段から出力される映像信号を出力し、混合比が第３の混合比のときにはその第３の混合比の値に応じた混合比で入力映像信号と低域成分抽出手段から出力される映像信号とを加算合成して出力する加算合成手段とを有することを特徴とする。

【0011】

また、上記の目的を達成するため、第２の発明の映像ノイズ低減装置は、検出手段を、一定領域が２次元マトリクス配置された複数の画素からなる領域であるとき、一定領域の縦横斜めの各方向に相関係数が高く、かつ、簡単な整数で構成され、総和がゼロである、マトリクス配置された複数のフィルタ係数に基づいてフィルタ演算を行う２次元ハイパスフィルタとしたことを特徴とする。

【0012】

また、上記の目的を達成するため、第３の発明の映像ノイズ低減装置は、検出手段を、一定領域が、現在フレーム及びその前後１以上のフレームからなる複数フレームの各フレームにおいて画素が２次元マトリクス配置された平面領域が３次元配置された領域であるとき、現在フレームの平面領域の複数のフィルタ係数の絶対値の総和が、他のフレームの平面領域の複数のフィルタ係数の絶対値の総和よりも大で、かつ、すべてのフィルタ係数の総和がゼロである３次元配置された領域のフィルタ係数に基づいて、フィルタ演算を行う３次元ハイパスフィルタとしたことを特徴とする。

【0013】

また、上記の目的を達成するため、第４の発明の映像ノイズ低減装置は、検出手段を、一定領域が、現在フレーム及び過去の１以上のフレームからなる複数フレームの各フレームにおいて画素が２次元マトリクス配置された平面領域が３次元配置された領域であるとき、現在フレームの平面領域の複数のフィルタ係数の絶対値の総和が、他のフレームの平面領域の複数のフィルタ係数の絶対値の総和よりも大で、かつ、すべてのフィルタ係数の総和がゼロである３次元配置された領域のフィルタ係数に基づいて、フィルタ演算を行う３次元ハイパスフィルタとしたことを特徴とする。

【0014】

また、上記の目的を達成するため、第５の発明の映像ノイズ低減装置は、入力映像信号中の低域成分を抽出して映像ノイズが抑制された映像信号を出力する低域成分抽出手段と、入力映像信号中の注目画素及びその近傍の一定領域の画像が、ノイズレベルと同等の小レベルの予め設定した所定パターンの映像内容をどの程度の強さで含むかの複数の相関検出結果を、感度の高い相関検出方向が互いに異なるフィルタ演算により数値化してそれぞれ求める検出手段と、検出手段の複数の相関検出結果の絶対値を加算する加算手段と、加算手段から出力される加算値が所定パターンの映像内容との相関が強いことを示す第１の絶対値以上のときには第１の混合比を出力し、加算値が所定パターンの映像内容との相関が弱いことを示す第２の絶対値以下のときには第２の混合比を出力し、加算値が第１の絶対値から第２の絶対値までの範囲内の値のときには加算値に応じて第１の混合比と第２の混合比との範囲内の値の第３の混合比を演算して出力する混合比算出手段と、混合比算出手段から供給される混合比が第１の混合比のときには入力映像信号を出力し、混合比が第２の混合比のときには低域成分抽出手段から出力される映像信号を出力し、混合比が第３の混合比のときにはその第３の混合比の値に応じた混合比で入力映像信号と低域成分抽出手段から出力される映像信号とを加算合成して出力する加算合成手段とを有することを特徴とする。

【0015】

また、上記の目的を達成するため、第６の発明の映像ノイズ低減装置は、第５の発明の検出手段を、一定領域が２次元マトリクス配置された複数の画素からなる領域であるとき、一定領域の縦横斜めの各方向のうち互いに異なる方向に対して相関係数が高く、かつ、簡単な整数で構成され、総和がゼロである、マトリクス配置された複数のフィルタ係数に基づいてフィルタ演算を行う複数の２次元ハイパスフィルタとしたことを特徴とする。

【0016】

また、上記の目的を達成するため、第７の発明の映像ノイズ低減方法は、入力映像信号中の低域成分を抽出して映像ノイズが抑制された映像信号を出力する低域成分抽出ステップと、入力映像信号中の注目画素及びその近傍の一定領域の画像が、ノイズレベルと同等の小レベルの予め設定した所定パターンの映像内容をどの程度の強さで含むかの相関検出結果をフィルタ演算により数値化して求める検出ステップと、検出ステップの検出結果が所定パターンの映像内容との相関が強いことを示す第１の絶対値以上のときには第１の混合比を出力し、検出結果が所定パターンの映像内容との相関が弱いことを示す第２の絶対値以下のときには第２の混合比を出力し、検出結果が第１の絶対値から第２の絶対値までの範囲内の値のときには検出結果の値に応じて第１の混合比と第２の混合比との範囲内の値の第３の混合比を演算して出力する混合比算出ステップと、混合比算出ステップにより算出された混合比が第１の混合比のときには入力映像信号を出力し、混合比が第２の混合比のときには低域成分抽出ステップで出力される映像信号を出力し、混合比が第３の混合比のときにはその第３の混合比の値に応じた混合比で入力映像信号と低域成分抽出ステップで出力される映像信号とを加算合成して出力する加算合成ステップとを含むことを特徴とする。

【0017】

また、上記の目的を達成するため、第８の発明の映像ノイズ低減方法は、入力映像信号中の低域成分を抽出して映像ノイズが抑制された映像信号を出力する低域成分抽出ステップと、入力映像信号中の注目画素及びその近傍の一定領域の画像が、ノイズレベルと同等の小レベルの予め設定した所定パターンの映像内容をどの程度の強さで含むかの複数の相関検出結果を互いに異なる特性のフィルタ演算により数値化してそれぞれ求める検出ステップと、検出ステップの複数の相関検出結果の絶対値を加算する加算ステップと、加算ステップで得た加算値が所定パターンの映像内容との相関が強いことを示す第１の絶対値以上のときには第１の混合比を出力し、加算値が所定パターンの映像内容との相関が弱いことを示す第２の絶対値以下のときには第２の混合比を出力し、加算値が第１の絶対値から第２の絶対値までの範囲内の値のときには加算値に応じて第１の混合比と第２の混合比との範囲内の値の第３の混合比を演算して出力する混合比算出ステップと、混合比算出ステップにより算出された混合比が第１の混合比のときには入力映像信号を出力し、混合比が第２の混合比のときには低域成分抽出ステップで出力される映像信号を出力し、混合比が第３の混合比のときにはその第３の混合比の値に応じた混合比で入力映像信号と低域成分抽出ステップで出力される映像信号とを加算合成して出力する加算合成ステップとを含むことを特徴とする。

【発明の効果】

【0018】

本発明によれば、ハードウェア規模を大きくすることなく、映像信号の平坦部分に含まれる映像ノイズを低減しつつ、映像信号のテクスチャ部分の画質劣化を小さくすることができる。また、本発明によれば、エンコード情報が得られない映像信号に対しても適切なノイズ低減効果を得ることができる。

【図面の簡単な説明】

【0019】

【図1】本発明の映像ノイズ低減装置の第１の実施の形態のブロック図である。

【図2】図１中の２次元ＨＰＦのフィルタ係数の一例を示す図である。

【図3】図１中の２次元ＨＰＦのフィルタ係数の別の例を示す図である。

【図4】図１中の２次元ＨＰＦのフィルタ係数のさらに別の例を示す図である。

【図5】図１中の混合比計算部の入出力特性の一例を示す図である。

【図6】図１の映像ノイズ低減装置の第１の実施の形態の入力画像の一例を示す図である。

【図7】図６の画像が入力されたときの図１中の混合比計算部の出力画像を示す図である。

【図8】本発明の映像ノイズ低減装置の第２の実施の形態のブロック図である。

【図9】図８中の３次元ＨＰＦのフィルタ係数の一例を示す図である。

【図10】本発明の映像ノイズ低減装置の第３の実施の形態のブロック図である。

【図11】図１０中の３次元ＨＰＦのフィルタ係数の一例を示す図である。

【図12】本発明の映像ノイズ低減装置の第４の実施の形態のブロック図である。

【図13】特定方向のテクスチャ部分を含む原画像と本発明の映像ノイズ低減装置の第１の実施の形態の出力画像の一例を示す図である。

【図14】図１２中の第１の２次元ＨＰＦのフィルタ係数の一例を示す図である。

【図15】図１２中の第２の２次元ＨＰＦのフィルタ係数の一例を示す図である。

【図16】図１２中の混合比計算部の入出力特性の一例を示す図である。

【図17】従来の映像ノイズ低減装置が備えるスライサの入出力特性の一例を示す図である。

【図18】従来の映像ノイズ低減装置（比較装置）の構成図である。

【図19】（Ａ）は本発明の映像ノイズ低減装置の実施例１と図１７に示す入出力特性のスライサを備える従来の映像ノイズ低減装置の入力画像の一例、（Ｂ）は本発明の映像ノイズ低減装置の実施例１の出力画像、（Ｃ）は図１７に示す入出力特性のスライサを備える従来の映像ノイズ低減装置の出力画像を示す図である。

【図20】（Ａ）は本発明の映像ノイズ低減装置の実施例２と図１に示す本発明の映像ノイズ低減装置の第１の実施の形態の入力画像の一例、（Ｂ）は図１に示す本発明の映像ノイズ低減装置の第１の実施の形態の出力画像、（Ｃ）は本発明の映像ノイズ低減装置の実施例２の出力画像を示す図である。

【図21】特定方向のテクスチャ部分を含む原画像と本発明の映像ノイズ低減装置の実施例２の出力画像の一例を示す図である。

【図22】従来の映像ノイズ低減装置におけるスライサの入出力特性の一例を示す図である。

【図23】従来の映像ノイズ低減装置におけるスライサの入出力特性の他の例を示す図である。

【発明を実施するための形態】

【0020】

次に、本発明の実施の形態について図面と共に詳細に説明する。

【0021】

本発明の映像ノイズ低減装置は、注目画素及びその近傍領域の画像内容と一般的な模様を代表するパターンとの相関検出をフィルタ演算によって行い、この演算結果の絶対値の大きさに応じた混合比で、入力映像信号をローパスフィルタ（ＬＰＦ）に通すなどしてノイズ成分を低減した映像信号と元々の入力映像信号とを混合することで、適切なノイズ低減効果を得ることを骨子としており、映像ノイズを低減した映像信号をどのように得るかについては既存の技術のどのようなものを使用してもよい。

【0022】

なお、以下に記述する実施の形態では、ハードウェア規模及び演算量をできるだけ小さくすることを主眼に、注目画素及びその近傍の一定領域のすべての画素の加算平均で映像ノイズ成分を少なくした映像信号を得る方法を代表的に取り上げるが、例えばガウスフィルタやεフィルタ等を用いても、同様な実施が可能である。

【0023】

（第１の実施の形態）
図１は、本発明になる映像ノイズ低減装置の第１の実施の形態のブロック図を示す。

【0024】

同図に示すように、本実施の形態の映像ノイズ低減装置１０は、ローパスフィルタ（ＬＰＦ）１１、遅延回路部（ＤＬ）１２、２次元ハイパスフィルタ（ＨＰＦ）１３、混合比計算部１４、乗算器１５、乗算器１６、及び加算器１７より構成される。ＬＰＦ１１、ＤＬ１２及び２次元ＨＰＦ１３は、入力端子を介して映像ノイズを含む入力映像信号がそれぞれ供給される。上記の入力映像信号は、ＭＰＥＧなどの符号化方式で圧縮された符号化信号をデコードした信号でもよいし、撮像信号などのエンコード時の量子化レベルが得られない映像信号であってもよい。

【0025】

ＬＰＦ１１は、入力端子を介して供給される映像信号から注目画素及びその近傍の一定領域の複数の画素の信号を加算平均して、予め設定したカットオフ周波数以下の映像ノイズ成分が抑制された低域信号を周波数選択して出力する。ＤＬ１２は、入力端子を介して供給される映像信号に対して、ＬＰＦ１１で発生する遅延時間と同じ時間遅延して、ＬＰＦ１１から出力される低域信号と時間合わせされた遅延映像信号を出力する。

【0026】

２次元ＨＰＦ１３は、入力映像信号中の上記の注目画素及びその近傍の一定領域の画像が、一般的な模様を代表するパターンの映像内容をどの程度の強さで含むかの相関検出結果をフィルタ演算により数値化して求める本発明の検出手段の一例を構成している。ここでは、２次元ＨＰＦ１３は、注目画素及びその近傍の一定領域の複数の画素を、例えば平面領域上の縦方向５画素、横方向５画素の計２５画素（所謂５×５画素）とし、その各画素の信号のそれぞれに対して、図２に示す画素対応の２５個のフィルタ係数を別々に乗算し、それにより得られる２５個の乗算結果を加算して出力するフィルタ構成である。ここで、図２に示す２５個の５×５画素対応のフィルタ係数のうち中心位置のフィルタ係数「０」に対応する画素が注目画素である。

【0027】

２次元ＨＰＦ１３は、入力映像信号の５×５画素の画像内容と一般的な模様を代表するパターンとを相関検出した数値化された検出結果を出力する。ここでは、２次元ＨＰＦ１３は、入力映像信号の５×５画素の画像内容が、画像の輝度差がノイズレベルと同等の小レベルの模様のようなパターンの映像部分（すなわち、テクスチャ部分）と一致又はほぼ一致した場合に、相関が最も強いことを示す値（後述の｜ＴＨ２|以上の値）の相関検出結果を出力する。

【0028】

図２に示すフィルタ係数は、できるだけ演算量が小さくなるように簡単な整数で構成されている。フィルタ係数の他の例としては、図３や図４に示すような「１」、「０」、「−１」の３種類の整数のみで構成することも可能である。しかし、図３のフィルタ係数の場合は、斜めの模様に対して相関係数が低く、一方、図４のフィルタ係数の場合は、縦、横方向の模様に対して相関係数が低くなるので、一般的な模様の検出能力が低い。そこで、本実施の形態では、縦横斜めの各方向に相関係数が高く、かつ、簡単な整数で構成され、係数の総和をゼロにするという観点から、図２に示したフィルタ係数を用いる。なお、フィルタ係数の総和がゼロであるので、入力映像信号の５×５画素の画像内容が輝度値が一様な平坦部分で映像ノイズのみ重畳されているときには、２次元ＨＰＦ１３の検出結果の値は「０」又はほぼ「０」となる。

【0029】

図１に戻り、混合比計算部１４は、２次元ＨＰＦ１３により検出された検出結果に応じた混合比αを出力する。図５は、混合比計算部１４の入出力特性の一例で、横軸は入力信号の値、縦軸は出力信号の値を示す。図５に示すように、混合比計算部１４は、２次元ＨＰＦ１３により検出された検出結果である入力信号の値が−ＴＨ１から＋ＴＨ１の範囲のときには出力値である混合比αとして「０」を出力し、入力信号の値が−ＴＨ２（＜−ＴＨ１）より小、及び＋ＴＨ２（＞＋ＴＨ１）より大の範囲のときには混合比αとして「１」を出力し、−ＴＨ２以上−ＴＨ１以下、及び＋ＴＨ１以上＋ＴＨ２以下の範囲のときには混合比αとして０から１の範囲を直線状に推移する特性の値を出力する。上記の閾値±ＴＨ１及び±ＴＨ２は所望のノイズ低減効果が得られるように実験などにより適切に設定される。

【0030】

乗算器１５は、ＬＰＦ１１から供給される映像ノイズが低減された低域信号と係数（１−α）とを乗算する。乗算器１６は、ＤＬ１２から供給される遅延映像信号と係数αとを乗算する。上記のαは混合比計算部１４から供給される混合比αであり、乗算器１５及び１６は、混合比αに応じた乗算係数で乗算を行う。加算器１７は、乗算器１５及び１６からそれぞれ出力される乗算結果を加算し、映像ノイズ低減装置の最終的な出力信号を出力する。

【0031】

このように、本実施の形態の映像ノイズ低減装置１０では、２次元ＨＰＦ１３により検出された検出結果である入力信号の値が相関が最も強いことを示す｜ＴＨ２｜以上のときには、入力映像信号の注目画素近傍の５×５画素領域の画像が映像ノイズではなくテクスチャ部分であるとみなし、混合比計算部１４から混合比αとして「１」を出力し、ＤＬ１２から出力される入力映像信号を遅延させた映像信号をそのまま乗算器１６及び加算器１７を通して出力する。この時乗算器１５から乗算信号は出力されない。

【0032】

一方、２次元ＨＰＦ１３により検出された検出結果である入力信号の値が相関が最も弱いことを示す｜ＴＨ１｜未満であるときには、入力映像信号の注目画素近傍の５×５画素領域が平坦部分に映像ノイズが乗っている映像部分とみなし、混合比計算部１４から混合比αとして「０」を出力し、ＬＰＦ１１から出力される映像ノイズ成分が低減された低域信号をそのまま乗算器１５及び加算器１７を通して出力する。この時乗算器１６から乗算信号は出力されない。

【0033】

また、２次元ＨＰＦ１３により検出された検出結果である入力信号の値が｜ＴＨ１｜以上｜ＴＨ２｜以下であるときには、検出エラーの場合にも遷移を滑らかにすることで目立ちにくくするために、図５に示したように検出結果に応じて直線で推移する混合比αとし、乗算器１５及び乗算器１６の各乗算結果を加算器１７で加算した信号を映像ノイズ低減処理された映像信号として出力する。

【0034】

すなわち、本実施の形態の映像ノイズ低減装置１０では、入力映像信号の注目画素近傍の５×５画素領域が平坦部分に映像ノイズが乗っている映像部分とみなせるときには解像度よりも映像ノイズ低減効果を優先してＬＰＦ１１から出力される映像ノイズが低減された低域信号を出力するが、入力映像信号の注目画素近傍の５×５画素領域が映像ノイズではなくテクスチャ部分とみなせるときには解像度を優先して入力映像信号を出力する。

【0035】

これにより、本実施の形態の映像ノイズ低減装置１０によれば、ハードウェア規模を大きくすることなく、映像信号の平坦部分に含まれる映像ノイズを低減しつつ、映像信号のテクスチャ部分の画質劣化を小さくすることができ、また、エンコード情報が得られない映像信号に対しても適切なノイズ低減効果を得ることができる。

【0036】

本実施の形態によれば、ＬＰＦ１１、ＤＬ１２及び２次元ＨＰＦ１３にそれぞれ供給される入力映像信号の原画像が、例えば映像のフルスケール値が２５５（０〜２５５）である図６に示すような画像であり、また図５に示した閾値ＴＨ１＝３６、ＴＨ２＝４４とした条件でシミュレーションした結果、混合比計算部１４により計算された混合比αは図７に示すようになった。図６に示す原画像の緑茶の缶の表面の平坦部分の画像４１においては、混合比αは図７に４３で示す黒色（α＝０）に近い部分となる。一方、原画像の緑茶の間の下の敷物（テクスチャ部分）の画像４２においては、２次元ＨＰＦ１３から相関が最も強いことを示す｜ＴＨ２｜以上の相関検出結果が出力されるため、混合比αは図７に４４で示す白色（α＝１）に近い部分となる。

【0037】

（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。図８は、本発明になる映像ノイズ低減装置の第２の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。

【0038】

図８に示すように、本実施の形態の映像ノイズ低減装置２０は、第１の実施の形態の映像ノイズ低減装置１０におけるＬＰＦ１１、ＤＬ１２、２次元ＨＰＦ１３及び混合比計算部１４に代えて、ＬＰＦ２１、ＤＬ２２、３次元ＨＰＦ２３及び混合比計算部２４を設け、時間軸方向の近傍領域も対象とした３次元の映像ノイズ低減処理を行う構成である。

【0039】

図８において、ＬＰＦ２１は注目画素及びその近傍の一定領域の画像として、例えば縦方向５画素、横方向５画素の平面領域の計２５画素を現在フレーム及びその前後各２フレームも含めた計５フレームの１２５画素（すなわち、５×５×５画素）を加算平均した低域信号を出力する。ＤＬ２２は入力端子を介して供給される映像信号に対して、ＬＰＦ２１で発生する遅延時間と同じ時間遅延して、ＬＰＦ２１から出力される低域信号と時間合わせされた遅延映像信号を出力する。

【0040】

３次元ＨＰＦ２３は、入力映像信号中の注目画素及びその近傍の一定領域の画像が、一般的な模様を代表するパターンの映像内容をどの程度の強さで含むかの相関検出結果をフィルタ演算により数値化して求める本発明の検出手段の一例を構成している。ここでは、３次元ＨＰＦ２３は、５フレーム分の映像信号を蓄積するメモリを有しており、注目画素及びその近傍の一定領域の画像として、上記５×５×５画素のそれぞれに対して、図９（Ａ）〜（Ｅ）に示す画素対応の１２５個のフィルタ係数を別々に乗算し、それにより得られる１２５個の乗算結果を加算して出力するフィルタ構成である。これにより、３次元ＨＰＦ２３は、入力映像信号の５×５×５画素の画像内容と一般的な模様を代表するパターンとを相関検出した数値化された検出結果を出力する。

【0041】

図９に示すフィルタ係数は、できるだけ演算量が小さくなるように簡単な整数で構成されている。図９（Ｃ）は現在フレームの５×５画素の平面領域の画像に対するフィルタ係数である。また、図９（Ｂ）は現在フレームより１フレーム未来の５×５画素の平面領域の画像に対するフィルタ係数、同図（Ｄ）は現在フレームより１フレーム過去の５×５画素の平面領域の画像に対するフィルタ係数であり、これら１フレーム未来と１フレーム過去のフィルタ係数は同じ構成とされている。更に、図９（Ａ）は現在フレームより２フレーム未来の５×５画素の平面領域の画像に対するフィルタ係数、同図（Ｅ）は現在フレームより２フレーム過去の５×５画素の平面領域の画像に対するフィルタ係数であり、これら２フレーム未来と２フレーム過去のフィルタ係数は同じ構成とされている。

【0042】

また、５×５画素の平面領域のうち同じ画素におけるフィルタ係数は現在フレームのフィルタ係数と１フレーム過去及び１フレーム未来のフィルタ係数とで値を異ならせ、また、１フレーム過去及び１フレーム未来のフィルタ係数と２フレーム過去及び２フレーム未来のフィルタ係数とで値を異ならせているので、時間軸方向の画像変化を検出できる。

【0043】

ここで、例えば信号レベルが「４」と「５」の２値でできているような場合を想定すると、その分布がフィルタ係数の符号と逆位相となった時に、３次元ＨＰＦ２３が最大の値を出力する。この場合の出力値は、フィルタ係数の絶対値の総和となる。従って、フィルタ係数の絶対値の総和が３次元ＨＰＦ２３の感度を示す。因みに、図９（Ａ）に示す２フレーム未来のフィルタ係数の絶対値の総和は「６４」、同図（Ｂ）に示す１フレーム未来のフィルタ係数の絶対値の総和は「８０」、同図（Ｃ）に示す現在フレームのフィルタ係数の絶対値の総和は「９６」、同図（Ｄ）に示す１フレーム過去のフィルタ係数の絶対値の総和は「８０」、同図（Ｅ）に示す２フレーム過去のフィルタ係数の絶対値の総和は「６４」である。従って、３次元ＨＰＦ２３は、現在フレームにおいて最も感度が高く、フレームが現在フレームより遠くなるほど感度が低く設定されている。また、フレーム間のフィルタ係数の絶対値の総和の差は同じ値に設定されている。

【0044】

このようにして、入力映像信号が画面上移動する物体のような画像の場合は、テクスチャ部分と検出することができる。また、図９（Ａ）〜（Ｅ）に示すように１２５画素分の全フィルタ係数の合計値は「０」であるので、５フレームの間、入力映像信号の注目画素及びその近傍の一定領域の画像が平坦で映像ノイズのみ重畳されている場合や動きの速い画像の場合には、３次元ＨＰＦ２３により検出された検出結果の値は「０」又はほぼ「０」となる。なお、３次元ＨＰＦ２３のフィルタ係数は、実験などにより適切に設定することができ、図９は一例である。

【0045】

図８の混合比計算部２４は、図５と同様の入出力特性に基づき、３次元ＨＰＦ２３により検出された検出結果に応じた混合比αを出力する。ただし、３次元ＨＰＦ２３の全フィルタ係数の絶対値の総和「３８４」は、２次元ＨＰＦ１３の全フィルタ係数の絶対値の総和である「４８」の８倍であるので、混合比計算部２４は、閾値｜ＴＨ１｜及び｜ＴＨ２｜の値が混合比計算部１４のそれの８倍程度に設定される。

【0046】

このように、本実施の形態の映像ノイズ低減装置２０によれば、入力映像信号の注目画素近傍の５×５×５画素領域が平坦部分に映像ノイズが乗っている映像部分とみなせるときには解像度よりも映像ノイズ低減効果を優先してＬＰＦ２１から出力される映像ノイズが低減された低域信号を出力するが、入力映像信号の注目画素近傍の５×５×５画素領域が映像ノイズではなくテクスチャ部分とみなせるときには解像度を優先してＤＬ２２から出力される映像信号を出力する。

【0047】

これにより、本実施の形態の映像ノイズ低減装置２０によれば、ハードウェア規模を大きくすることなく、映像信号の平坦部分に含まれる映像ノイズを低減しつつ、映像信号のテクスチャ部分の画質劣化を小さくすることができ、また、エンコード情報が得られない映像信号に対しても適切なノイズ低減効果を得ることができる。

【0048】

（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。図１０は、本発明になる映像ノイズ低減装置の第３の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。

【0049】

図１０に示すように、本実施の形態の映像ノイズ低減装置３０は、第１の実施の形態の映像ノイズ低減装置１０におけるＬＰＦ１１、ＤＬ１２、２次元ＨＰＦ１３及び混合比計算部１４に代えて、ＬＰＦ３１、ＤＬ３２、３次元ＨＰＦ３３及び混合比計算部３４を設け、時間軸方向の近傍領域も対象とした３次元の映像ノイズ低減処理を行う構成である。

【0050】

ここで、第２の実施の形態の映像ノイズ低減装置２０は、３次元ＨＰＦ２３のフィルタ係数が、図９に示したように、現在フレーム及びその前後各２フレームの計１２５個のフィルタ係数に設定されており、３次元ＨＰＦ２３において２フレーム未来のフィルタ係数との乗算結果が得られるまで加算器１７から出力が得られないため、出力されるノイズ低減処理後の映像信号は現在フレームよりも２フレーム遅延し、用途によってはこの遅延が許容されない場合がある。そこで、本実施の形態の映像ノイズ低減装置３０は上記の出力の遅延を回避する構成としたものである。

【0051】

図１０において、ＬＰＦ３１は注目画素及びその近傍の一定領域の画像として、例えば縦方向５画素、横方向５画素の平面領域の計２５画素を現在フレーム及び１フレーム〜４フレーム過去の計５フレーム分の計１２５画素（すなわち、５×５×５画素）を加算平均した低域信号を出力する。ＤＬ３２は入力端子を介して供給される映像信号に対して、ＬＰＦ３１で発生する遅延時間と同じ時間遅延して、ＬＰＦ３１から出力される低域信号と時間合わせされた遅延映像信号を出力する。

【0052】

３次元ＨＰＦ３３は、入力映像信号中の注目画素及びその近傍の一定領域の画像が、一般的な模様を代表するパターンの映像内容をどの程度の強さで含むかの相関検出結果をフィルタ演算により数値化して求める本発明の検出手段の一例を構成している。ここでは、３次元ＨＰＦ３３は、５フレーム分の映像信号を蓄積するメモリを有しており、注目画素及びその近傍の一定領域の画像として、上記５×５×５画素のそれぞれに対して、図１１（Ａ）〜（Ｅ）に示す画素対応の現在フレーム及び過去４フレーム分の計１２５個のフィルタ係数を別々に乗算し、それにより得られる１２５個の乗算結果を加算して出力するフィルタ構成である。これにより、３次元ＨＰＦ３３は、入力映像信号の５×５×５画素の画像内容と一般的な模様を代表するパターンとを相関検出した数値化された検出結果を出力する。

【0053】

図１１に示すフィルタ係数は、できるだけ演算量が小さくなるように簡単な整数で構成されている。図１１（Ａ）は現在フレームの５×５画素の平面領域の画像に対するフィルタ係数である。また、図１１（Ｂ）は現在フレームより１フレーム過去の５×５画素の平面領域の画像に対するフィルタ係数、同図（Ｃ）は現在フレームより２フレーム過去の５×５画素の平面領域の画像に対するフィルタ係数、同図（Ｄ）は現在フレームより３フレーム過去の５×５画素の平面領域の画像に対するフィルタ係数、同図（Ｅ）は現在フレームより４フレーム過去の５×５画素の平面領域の画像に対するフィルタ係数である。また、図１１（Ａ）〜（Ｅ）に示すように５フレームの各フィルタ係数は異ならせているので、時間軸方向の画像変化を検出できる。

【0054】

また、前述したようにフィルタ係数の絶対値の総和が３次元ＨＰＦ３３の感度を示す。因みに、図１１（Ａ）に示す現在フレームのフィルタ係数の絶対値の総和は「９６」、同図（Ｂ）に示す１フレーム過去のフィルタ係数の絶対値の総和は「８０」、同図（Ｃ）に示す２フレーム過去のフィルタ係数の絶対値の総和は「６４」、同図（Ｄ）に示す３フレーム過去のフィルタ係数の絶対値の総和は「３２」、同図（Ｅ）に示す４フレーム過去のフィルタ係数の絶対値の総和は「１６」である。従って、３次元ＨＰＦ３３は、現在フレームにおいて最も感度が高く、フレームが現在フレームより遠くなるほど感度が減衰していくように設定されている。

【0055】

なお、フレーム間のフィルタ係数の絶対値の総和の差は、小さいほど静止画に対する感度が高く、大きいほど動画に対する感度が高くなる。例えば、入力映像信号が現在フレームと１フレーム過去とで逆相のパターンの画像の信号であり、現在フレームで正の値が出力されるものとすると、１フレーム過去では負の値が出力され、それらが合計されると両者はキャンセル方向に合計される。このとき、フレーム間のフィルタ係数の絶対値の総和の差が小さいと、現在フレームと１フレーム過去の出力の絶対値は近くなり、入力パターンが同相（すなわち静止画）であると合計値はより大きくなり、逆相（すなわち、動画の特別な例）であると合計値はより小さくなる。逆に、フレーム間のフィルタ係数の絶対値の総和の差が大きいと上記の特徴が弱まることになる。図１１のフィルタ係数の例では、フレーム間のフィルタ係数の絶対値の総和の差はほぼ均等に設定されている。

【0056】

このようにして、３次元ＨＰＦ３３は入力映像信号が画面上移動する物体のような画像の場合は、テクスチャ部分と検出することができる。また、図１１（Ａ）〜（Ｅ）に示すように１２５画素分の全フィルタ係数の合計値は「０」であるので、５フレームの間、入力映像信号の注目画素及びその近傍の一定領域の画像が平坦で映像ノイズのみ重畳されている場合や動きの速い画像の場合には、３次元ＨＰＦ３３により検出された検出結果の値は「０」又はほぼ「０」となる。なお、３次元ＨＰＦ３３のフィルタ係数は、実験などにより適切に設定することができ、図１１は一例である。

【0057】

図１０の混合比計算部３４は、図５と同様の入出力特性に基づき、３次元ＨＰＦ３３により検出された検出結果に応じた混合比αを出力する。ただし、３次元ＨＰＦ３３の全フィルタ係数の絶対値の総和「２８８」は、２次元ＨＰＦ１３の全フィルタ係数の絶対値の総和である「４８」の６倍であるので、混合比計算部３４は、閾値｜ＴＨ１｜及び｜ＴＨ２｜の値が混合比計算部１４のそれの６倍程度に設定される。

【0058】

このように、本実施の形態の映像ノイズ低減装置３０によれば、入力映像信号の注目画素近傍の５×５×５画素領域が平坦部分に映像ノイズが乗っている映像部分とみなせるときには解像度よりも映像ノイズ低減効果を優先してＬＰＦ３１から出力される映像ノイズが低減された低域信号を出力するが、入力映像信号の注目画素近傍の５×５×５画素領域が映像ノイズではなくテクスチャ部分とみなせるときには解像度を優先してＤＬ３２から出力される映像信号を出力する。

【0059】

これにより、本実施の形態の映像ノイズ低減装置３０によれば、ハードウェア規模を大きくすることなく、映像信号の平坦部分に含まれる映像ノイズを低減しつつ、映像信号のテクスチャ部分の画質劣化を小さくすることができ、また、エンコード情報が得られない映像信号に対しても適切なノイズ低減効果を得ることができる。更に、本実施の形態の映像ノイズ低減装置３０によれば、注目画素のフレームとその直前の４フレームを近傍領域とすることで、ほぼ性能を維持しつつ遅延を回避することが可能である。

【0060】

（第４の実施の形態）
次に、本発明の第４の実施の形態について説明する。図１２は、本発明になる映像ノイズ低減装置の第４の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。

【0061】

図１２に示すように、本実施の形態の映像ノイズ低減装置６０は、第１の実施の形態の映像ノイズ低減装置１０における２次元ＨＰＦ１３及び混合比計算部１４に代えて、２次元ＨＰＦ６１及び６２と、絶対値回路６３及び６４と、加算器６５と、混合比計算部６６とを設けた構成である。

【0062】

ところで、第１の実施の形態の映像ノイズ低減装置１０では、注目画素の近傍領域を、注目画素を中心とした５×５画素とした場合、ＬＰＦ１１はノイズ成分を低減した映像信号として、例えば演算量を最小にするため近傍領域の２５画素の加算平均値を出力している。また、入力映像信号からテクスチャの強さを算出する２次元ＨＰＦ１３は、その画素対応の２５個のフィルタ係数の絶対値の総和が、入力映像信号の５×５画素の画像内容が輝度値が一様な平坦部分で映像ノイズのみ重畳されているときにはゼロに近い値が出力されるようにゼロにした。

【0063】

上記の２次元ＨＰＦ１３のフィルタ係数は、一般的なテクスチャ成分に対応するため、縦横方向のテクスチャと斜め方向のテクスチャにほぼ均等に感度を持つように、図２に示すように設定されている。このため、第１の実施の形態の映像ノイズ低減装置１０では、例えば縦方向だけのテクスチャ部分について検出感度が不足する場合があり、図１３（Ａ）に示す原画像に対して処理した画像は図１３（Ｂ）に示すように擬似ノイズが発生する場合がある。

【0064】

そこで、本実施の形態の映像ノイズ低減装置６０では、上記の擬似ノイズをも低減するため、テクスチャ部分を検出する２次元ＨＰＦとして、特性が異なる２つの２次元ＨＰＦ６１及び６２を用い、それらの出力信号を絶対値回路６３及び６４により別々に絶対値化してから加算器６５で加算した信号値を、テクスチャの強さを表す値とする。

【0065】

図１２において、第１及び第２の２次元ＨＰＦ６１及び６２とＬＰＦ１１及びＤＬ１２とは、入力端子を介して映像ノイズを含む入力映像信号がそれぞれ供給される。上記の入力映像信号は、ＭＰＥＧなどの符号化方式で圧縮された符号化信号をデコードした信号でもよいし、撮像信号などのエンコード時の量子化レベルが得られない映像信号であってもよい。

【0066】

図１４は、第１の２次元ＨＰＦ６１のフィルタ係数の一例を示す。この図１４に示すフィルタ係数は、平面領域上の注目画素を中心とする５×５画素に対応する計２５個のフィルタ係数を示し、縦横のテクスチャに対して感度が高く、斜めのテクスチャに対して感度が低い配置とされている。

【0067】

図１５は、第２の２次元ＨＰＦ６２のフィルタ係数の一例を示す。この図１５に示すフィルタ係数は、平面領域上の注目画素を中心とする５×５画素に対応する計２５個のフィルタ係数を示し、斜めのテクスチャに対して感度が高く、縦横のテクスチャに対して感度が低い配置とされている。

【0068】

図１４及び図１５に示すフィルタ係数は、それぞれできるだけ演算量が小さくなるように「１」、「０」、「−１」の３種類の整数のみで構成されており、また、総和がゼロである。図１４及び図１５に示すフィルタ係数の総和がゼロであるので、入力映像信号の５×５画素の画像内容が輝度値が一様な平坦部分で映像ノイズのみ重畳されているときには、２次元ＨＰＦ６１及び６２の検出結果の値は「０」又はほぼ「０」となる。

【0069】

次に、本実施の形態の動作について説明する。図１２において、２次元ＨＰＦ６１及び６２は、それぞれ供給される映像信号の５×５画素の画像内容と一般的な模様を代表するパターンとを、感度の高い相関検出方向が互いに異なるフィルタ演算により相関検出した数値化された検出結果を出力する。

【0070】

ここでは、２次元ＨＰＦ６１は、供給される映像信号の５×５画素の画像内容のうち、図１４に示したフィルタ係数を用いたフィルタ演算により、特に縦横方向の画像の輝度差がノイズレベルと同等の小レベルの模様のようなパターンの映像部分（すなわち、テクスチャ部分）と一致又はほぼ一致した場合に、相関が最も強いことを示す値（後述のＴＨ１２以上の値）の相関検出結果を出力する。

【0071】

一方、２次元ＨＰＦ６２は、供給される映像信号の５×５画素の画像内容のうち、図１５に示したフィルタ係数を用いたフィルタ演算により、特に斜め方向の画像の輝度差がテクスチャ部分と一致又はほぼ一致した場合に、相関が最も強いことを示す値（後述のＴＨ１２以上の値）の相関検出結果を出力する。

【0072】

絶対値回路６３は、２次元ＨＰＦ６１から出力された相関検出結果を示す信号の絶対値をとり、その絶対値信号を加算器６５へ出力する。絶対値回路６４は、２次元ＨＰＦ６２から出力された相関検出結果を示す信号の絶対値をとり、その絶対値信号を加算器６５へ出力する。加算器６５は、絶対値回路６３から出力された第１の絶対値信号と、絶対値回路６４から出力された第２の絶対値信号とを加算し、その加算信号を混合比計算部６６へ出力する。

【0073】

混合比計算部６６は、２次元ＨＰＦ６１及び６２によりそれぞれ検出された２つの検出結果の加算値に応じた混合比αを出力する。図１６は、混合比計算部６６の入出力特性の一例で、横軸は入力信号の値、縦軸は出力信号（すなわち混合比α）の値を示す。図１６に示すように、混合比計算部６６は、２次元ＨＰＦ６１及び６２によりそれぞれ検出された２つの検出結果の加算値である加算器６５から供給される入力信号の値が「０」からＴＨ１１までの範囲では値が「０」の混合比αを出力し、入力信号の値がＴＨ１２以上の範囲では値が「１」の混合比αを出力する。また、混合比計算部６６は、入力信号の値がＴＨ１１以上ＴＨ１２以下の範囲では、入力信号の値に応じて値が「０」から「１」の範囲を直線状に増加する特性の混合比αを出力する。上記の閾値ＴＨ１１及びＴＨ１２は所望のノイズ低減効果が得られるように実験などにより適切に設定される。混合比計算部６６は、図１６に示した入出力特性に従って計算した混合比αを乗算器１５及び１６にそれぞれ供給する。

【0074】

これにより、本実施の形態の映像ノイズ低減装置６０によれば、混合比αが「１」であるときは、入力映像信号の注目画素近傍の５×５画素領域の画像内容がテクスチャ成分主体であるとみなし、解像度を優先してＤＬ１２から出力される遅延入力映像信号をそのまま出力する。また、映像ノイズ低減装置６０は、混合比αが「０」であるときは、入力映像信号の注目画素近傍の５×５画素領域の画像内容が平坦部分に映像ノイズが乗っている映像部分とみなし、解像度よりも映像ノイズ低減効果を優先してＬＰＦ１１から出力される映像ノイズが低減された低域信号を出力する。また、映像ノイズ低減装置６０は、混合比αが「０」から「１」までの範囲内の値の時は、検出エラーの場合にも遷移を滑らかにすることで目立ちにくくするため、混合比αの値に応じて混合されたＬＰＦ１１からの低域映像信号とＤＬ１２からの遅延映像信号との混合信号を出力する。

【0075】

このように、本実施の形態の映像ノイズ低減装置６０によれば、ハードウェア規模を大きくすることなく、映像信号の平坦部分に含まれる映像ノイズを低減しつつ、映像信号のテクスチャ部分の画質劣化を小さくすることができ、また、エンコード情報が得られない映像信号に対しても適切なノイズ低減効果を得ることができる。更に、本実施の形態の映像ノイズ低減装置６０によれば、特定方向だけのテクスチャ部分を含む映像信号に対しても、擬似ノイズを大幅に抑圧した映像ノイズ低減映像信号を出力することができる。

【実施例1】

【0076】

次に、映像ノイズ低減装置１０の効果について、図１７に示した入出力特性をもつスライサを備える従来の映像ノイズ低減装置（以下、比較装置という）と比較して具体的に説明する。比較装置の一般的な構成図を図１８に示す。この比較装置７０は、ＬＰＦ７１、乗算器７２、加算器７３、スライサ７４及び加算器７５から構成される。比較装置７０の各部の説明は省略するが、ＬＰＦ７１としては、映像ノイズ低減装置１０のＬＰＦ１１に、表１に示す５×５画素のフィルタ係数を有するフィルタを用いた映像ノイズ低減装置（以下、実施例１という）とハードウェア規模を同等とするため、表１に示す５×５画素のフィルタ係数を有するガウスフィルタを用いた。

【0077】

【表1】

次に、Ｓ／Ｎ測定用のチャート（S/N＝40.0dB）を用意し、実施例１の出力映像信号のＳ／Ｎと、比較装置７０の出力映像信号のＳ／Ｎとがほぼ同等になるように、図１８のスライサ７４のスライスレベルを設定した。因みに、スライスレベルを「６」にすると、両出力映像信号のＳ／Ｎがほぼ同等になった。

【0078】

Ｓ／Ｎ測定用に用いたツールについては、「評価対象の画像の各点の値と、その近傍の５×５画素の平均値との差分のＲＭＳ（二乗平均平方根）をとり、これをフルレンジ値（２５５）で割った値を、デシベル表示する」というものを作成して使用した。なお、このＳ／Ｎ測定ツールを用いて測定した値は、Ｓ／Ｎが４０ｄＢであるＳ／Ｎ測定用チャートの原画像を実施例１に入力して得られた出力映像信号のＳ／Ｎが４７.３ｄＢ、上記原画像を比較装置７０に入力して得られた出力映像信号のＳ／Ｎが４７.５ｄＢであった。

【0079】

この状態で、図１９（Ａ）に示す画像の映像信号を実施例１及び比較装置７０にそれぞれ入力して出力映像信号の画像を比較した。比較する画像部分は図１９（Ａ）に示す入力画像の左上部の緑茶の缶の平坦な画像部分５１と、下部の敷物の画像部分５２とした。平坦な画像部分５１は、できるだけノイズが抑制されていることが望ましい画像部分であり、敷物の画像部分５２は、細かな編み目のような模様ができるだけ劣化しないことが望ましい画像部分である。

【0080】

図１９（Ｂ）は実施例１の出力映像信号の画像を示し、同図（Ｃ）は比較装置７０の出力映像信号の画像を示す。図１９（Ｂ）に示す実施例１の出力映像信号の画像の左上部の緑茶の缶の平坦な画像部分５３は、同図（Ｃ）に示す比較装置７０の出力映像信号の画像の左上部の緑茶の缶の平坦な画像部分５５に比べてノイズが少ないことが目視にて分かる。また、図１９（Ｂ）に示す実施例１の出力映像信号の画像の下部の敷物の画像部分５４は、同図（Ｃ）に示す比較装置７０の出力映像信号の画像の下部の敷物の画像部分５６に比べてディテイルが保存されていることが目視にて分かる。

【0081】

更に、実施例１及び比較装置７０の出力映像信号の上記の各画像部分について前述のＳ／Ｎ測定ツールを用いて数値化したところ、下記の表２に示す測定結果が得られた。なお、Ｓ／Ｎ測定ツールは、画像の複雑さを数値化しているので、Ｓ／Ｎ値が大きいほど、Ｓ／Ｎは良い代わりにディテイルの劣化は大きい、ということになる。

【0082】

【表2】

表２に示すように、実施例１の出力映像信号の画像の左上部の緑茶の缶の平坦な画像部分５３のＳ／Ｎは４７.４ｄＢであり、入力画像の左上部の緑茶の缶の平坦な画像部分５１のＳ／Ｎ（＝４０.４ｄＢ）よりも＋７.０ｄＢ改善した。一方、比較装置７０の出力映像信号の画像の左上部の緑茶の缶の平坦な画像部分５５のＳ／Ｎは４５.７ｄＢであり、入力画像の左上部の緑茶の缶の平坦な画像部分５１のＳ／Ｎ（＝４０.４ｄＢ）よりも＋５.３ｄＢ改善した。従って、実施例１と比較装置７０とでは、ノイズ抑制が望まれる緑茶の缶の平坦な画像部分については、実施例１の方が比較装置７０に比べて１.７ｄＢ改善したことが分かる。

【0083】

また、実施例１の出力映像信号の画像の下部の敷物の画像部分５４のＳ／Ｎは３６.８ｄＢであり、入力画像の下部の敷物の画像部分５２のＳ／Ｎ（＝３４.６ｄＢ）よりも＋２.２ｄＢディテイルが悪化した。一方、比較装置７０の出力映像信号の画像の下部の敷物の画像部分５６のＳ／Ｎは３７.９ｄＢであり、入力画像の下部の敷物の画像部分５２のＳ／Ｎ（＝３４.６ｄＢ）よりも＋３.３ｄＢディテイルが悪化した。従って、実施例１と比較装置７０とでは、模様が劣化しないことが望まれる敷物の画像部分については、実施例１の方が比較装置７０に比べてディテイルが１.１ｄＢ劣化が少なく性能が良いことが分かる。

【実施例2】

【0084】

次に、図１２に示した本発明の映像ノイズ低減装置６０の実施例（以下、実施例２という）の映像ノイズ低減効果及びテクスチャ部分の保存効果について、図１に示した本発明の映像ノイズ低減装置１０の出力画像と比較して説明する。

【0085】

比較する画像部分は図２０（Ａ）に示す入力画像の左上部の緑茶の缶の平坦な画像部分８１と、下部の敷物の画像部分８２とした。平坦な画像部分８１は、できるだけノイズが抑制されていることが望ましい画像部分であり、敷物の画像部分８２は、細かな編み目のような模様ができるだけ劣化しないことが望ましい画像部分である。

【0086】

図２０（Ｂ）は映像ノイズ低減装置１０の出力映像信号の画像を示し、同図（Ｃ）は実施例２の出力映像信号の画像を示す。図２０（Ｃ）に示す実施例２の出力映像信号の画像の左上部の緑茶の缶の平坦な画像部分８５のＳ／Ｎは４７.７ｄＢであり、入力画像の左上部の緑茶の缶の平坦な画像部分８１のＳ／Ｎ（＝４０.４ｄＢ）よりも＋７.７ｄＢ改善し、また、同図（Ｂ）に示す映像ノイズ低減装置１０の出力映像信号の画像の左上部の緑茶の缶の平坦な画像部分８３のＳ／Ｎ（＝４７.４ｄＢ）よりもわずかに良かった。

【0087】

また、図２０（Ｃ）に示す実施例２の出力映像信号の画像の下部の敷物の画像部分８６のＳ／Ｎは３６.８ｄＢであり、同図（Ｂ）に示す映像ノイズ低減装置１０の出力映像信号の画像の下部の敷物の画像部分８４のＳ／Ｎ（＝３６.８ｄＢ）と同一である。この敷物の画像部分８４及び８６のＳ／Ｎは値が小さいほどテクスチャ部分をよく保存していることを示すから、実施例２及び映像ノイズ低減装置１０はいずれもテクスチャ部分をよく保存していることが分かった。

【0088】

更に、実施例２では、特定方向だけのテクスチャ部分を含む映像信号として、例えば図２１（Ａ）に示す縦方向だけのテクスチャ部分を含む原画像に対して、出力される映像信号の画像は図２１（Ｂ）に示すようになり、図１３（Ｂ）に示した映像ノイズ低減装置１０の出力画像に比べて擬似ノイズが大幅に改善されていることが分かる。

【0089】

なお、本発明は以上の実施の形態及び実施例に限定されるものではなく、例えば図５に示した混合比計算部１４、２４、３４の入出力特性において、閾値｜ＴＨ２｜と｜ＴＨ１｜との間の入力範囲に対して出力混合比が図５のような直線状でなく、曲線のような所定の非線形特性を有するようにしてもよい。また、±ＴＨ１及び±ＴＨ２の近傍付近から徐々に出力が変化するような特性であってもよい。

【0090】

また、図１２に示した映像ノイズ低減装置６０では、２次元ＨＰＦは６１及び６２の２つとしたが、感度の高い相関検出方向が互いに異なる３以上の２次元ＨＰＦを用いることもできる。更に、図１６に示した混合比計算部６６の入出力特性の閾値ＴＨ１１とＴＨ１２との間の特性部分は直線状でなく、曲線のような所定の非線形特性を有するようにしてもよい。

【0091】

また、本発明は図１、図８、図１０、図１２の映像ノイズ低減装置の各構成の機能を、コンピュータにより実現させるコンピュータプログラムも包含するものである。このコンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワークを介して配信されてコンピュータにダウンロードするようにしてもよい。

【符号の説明】

【0092】

１０、２０、３０、６０ 映像ノイズ低減装置
１１、２１、３１ ローパスフィルタ（ＬＰＦ）
１２、２２、３２ 遅延回路部（ＤＬ）
１３、６１、６２ ２次元ハイパスフィルタ（ＨＰＦ）
１４、２４、３４、６６ 混合比計算部
１５、１６ 乗算器
１７、６５ 加算器
２３、３３ ３次元ハイパスフィルタ（ＨＰＦ）
６３、６４ 絶対値回路

【図1】

【図2】

【図3】

【図4】

【図5】

【図8】

【図9】

【図10】

【図11】

【図12】

【図14】

【図15】

【図16】

【図17】

【図18】

【図22】

【図23】

【図6】

【図7】

【図13】

【図19】

【図20】

【図21】