特開 2023-14938 雑音除去・帯域制限装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023014938

(43)【公開日】2023-01-31

(54)【発明の名称】雑音除去・帯域制限装置及びプログラム

(51)【国際特許分類】

   G06T 5/00 20060101AFI20230124BHJP

   H04N 5/14 20060101ALI20230124BHJP

   H04N 5/205 20060101ALI20230124BHJP

【ＦＩ】

G06T5/00 705

H04N5/14 040

H04N5/205

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021119175

(22)【出願日】2021-07-19

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(71)【出願人】

【識別番号】591053926

【氏名又は名称】一般財団法人ＮＨＫエンジニアリングシステム

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(72)【発明者】

【氏名】松尾 康孝

【テーマコード（参考）】

5B057

5C021

【Ｆターム（参考）】

5B057AA20

5B057BA02

5B057CA01

5B057CA08

5B057CA12

5B057CB01

5B057CB08

5B057CB12

5B057CC01

5B057CE02

5B057CE06

5B057DB02

5B057DB06

5B057DB09

5C021XA06

5C021YA01

(57)【要約】

【課題】画質の劣化を抑制しつつ雑音除去及び帯域制限を行う。
【解決手段】雑音除去・帯域制限装置１は、動画像に対して時空間方向に周波数分解を行い、時空間周波数分解成分を生成する時空間周波数分解部１１と、時空間周波数分解成分を閾値と比較することにより空間位相位置ごとに静止領域であるか動領域であるかを判別する静動領域判別部１２と、静動領域判別部１２により静止領域と判別された空間位相位置において、時間高周波帯域の成分値を略０に縮退させて縮退済み時空間周波数分解成分を生成する縮退処理部１４と、縮退済み時空間周波数分解成分に対して時空間方向に周波数再構成を行う時空間周波数再構成部１５と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

入力した動画像の雑音除去及び帯域制限を行う雑音除去・帯域制限装置であって、
動画像に対して時空間方向に周波数分解を行い、時空間周波数分解成分を生成する時空間周波数分解部と、
前記時空間周波数分解成分を閾値と比較することにより空間位相位置ごとに静止領域であるか動領域であるかを判別する静動領域判別部と、
前記静動領域判別部により静止領域と判別された空間位相位置において、時間高周波帯域の成分値を略０に縮退させて縮退済み時空間周波数分解成分を生成する縮退処理部と、
前記縮退済み時空間周波数分解成分に対して時空間方向に周波数再構成を行う時空間周波数再構成部と、
を備える、雑音除去・帯域制限装置。

【請求項2】

前記静動領域判別部は、任意の空間位相位置において、時間高周波帯域成分が第１の閾値以下で且つ時間低周波・空間高周波帯域成分が第２の閾値以上である場合に、該空間位相位置を静止領域と判別し、該静止領域以外の空間位相位置を動領域と判別する、請求項１に記載の雑音除去・帯域制限装置。

【請求項3】

前記時空間周波数分解成分のうち、時空間最高周波帯域内のパワーの平均値を平均雑音パワーとして求める雑音パワー算出部を備え、
前記縮退処理部は、前記静動領域判別部により動領域と判別された空間位相位置において、時間高周波帯域のパワーが前記平均雑音パワー未満の場合に該時間高周波帯域の成分値を略０に縮退させる、請求項１又は２に記載の雑音除去・帯域制限装置。

【請求項4】

前記縮退処理部は、前記静動領域判別部により動領域と判別された空間位相位置において、時間低周波・空間高周波帯域のパワーが前記平均雑音パワー未満の場合に該時間低周波・空間高周波帯域の成分値を略０に縮退させ、前記平均雑音パワー以上の場合に該時間低周波・空間高周波帯域の成分値を所定の割合で縮退させる、請求項３に記載の雑音除去・帯域制限装置。

【請求項5】

前記縮退処理部は、前記静動領域判別部により静止領域と判別された空間位相位置において、時間低周波・空間高周波帯域のパワーが前記平均雑音パワー未満の場合に該時間低周波・空間高周波帯域の成分値を略０に縮退させ、前記平均雑音パワー以上の場合に該時間低周波・空間高周波帯域の成分値を所定の割合で縮退させる、請求項３又は４に記載の雑音除去・帯域制限装置。

【請求項6】

前記雑音パワー算出部は、前記時空間最高周波帯域内のパワーの最大値を最大雑音パワーとして求め、
前記縮退処理部は、前記静動領域判別部により動領域と判別された空間位相位置において、前記時間高周波帯域のパワーが前記平均雑音パワー以上で且つ前記最大雑音パワー未満の場合に該時間高周波帯域の成分値が大きいほど弱く縮退させる、請求項３から５のいずれか一項に記載の雑音除去・帯域制限装置。

【請求項7】

前記縮退処理部は、前記静動領域判別部により動領域と判別された空間位相位置において、前記時間低周波・空間高周波帯域のパワーが前記平均雑音パワー以上で且つ前記最大雑音パワー未満の場合に該時間低周波・空間高周波帯域の成分値が大きいほど弱く縮退させる、請求項６に記載の雑音除去・帯域制限装置。

【請求項8】

前記縮退処理部は、前記静動領域判別部により静止領域と判別された空間位相位置において、前記時間低周波・空間高周波帯域のパワーが前記平均雑音パワー以上で且つ前記最大雑音パワー未満の場合に該時間低周波・空間高周波帯域の成分値が大きいほど弱く縮退させる、請求項６又は７に記載の雑音除去・帯域制限装置。

【請求項9】

前記時空間周波数分解部は、前記動画像に対して時空間方向にウェーブレットパケット分解を行う、請求項１から８のいずれか一項に記載の雑音除去・帯域制限装置。

【請求項10】

コンピュータを、請求項１から９のいずれか一項に記載の雑音除去・帯域制限装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、雑音除去・帯域制限装置及びプログラムに関する。

【背景技術】

【0002】

雑音除去の手法として、動画像の連続したフレーム画像間において、類似画像信号を３Ｄ形状のブロックマッチング（ＢＭ）で加重平均することを特徴とするＢＭ３Ｄ雑音除去が知られている（例えば、非特許文献１参照）。また、空間方向のウェーブレット縮退処理により雑音を除去する手法が知られている（例えば、非特許文献２参照）。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】K. Dabov, A. Foi, and V. Katkovnik, “Image denoising by sparse 3-D transform-domain collaborative filtering,” IEEE Transactions on Image Processing, vol. 16, no. 8, pp. 2080-2095, 2007.

【非特許文献2】D. L. Donoho, I. M. Johnstone, G. Kerkyacharian, and D. Picard, “Wavelet shrinkage: asymptopia?,” Journal of the Royal Statistical Society, vol. 57, no. 2, pp. 301-471, 1995.

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、従来の技術では、雑音除去及び帯域制限を同時に処理する際に、時空間周波数情報と静動情報の両方を考慮していないため、画質が低下しやすいという問題があった。例えば、動画像における動領域の信号成分では動き速度に応じて時間高周波帯域のパワーが低下する。そのため、このような動画像の帯域をさらに抑制した場合には、多くの既存の動画像フォーマットは時間方向の標本化周波数が人間の知覚限界に比べて大幅に低いため、主観画質の大幅な劣化を招くおそれがある。

【0005】

かかる事情に鑑みてなされた本発明の目的は、画質の劣化を抑制しつつ雑音除去及び帯域制限を行うことが可能な雑音除去・帯域制限装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するため、一実施形態に係る雑音除去・帯域制限装置は、入力した動画像の雑音除去及び帯域制限を行う雑音除去・帯域制限装置であって、動画像に対して時空間方向に周波数分解を行い、時空間周波数分解成分を生成する時空間周波数分解部と、前記時空間周波数分解成分を閾値と比較することにより空間位相位置ごとに静止領域であるか動領域であるかを判別する静動領域判別部と、前記静動領域判別部により静止領域と判別された空間位相位置において、時間高周波帯域の成分値を略０に縮退させて縮退済み時空間周波数分解成分を生成する縮退処理部と、前記縮退済み時空間周波数分解成分に対して時空間方向に周波数再構成を行う時空間周波数再構成部と、を備える。

【0007】

さらに、一実施形態において、前記静動領域判別部は、任意の空間位相位置において、時間高周波帯域成分が第１の閾値以下で且つ時間低周波・空間高周波帯域成分が第２の閾値以上である場合に、該空間位相位置を静止領域と判別し、該静止領域以外の空間位相位置を動領域と判別してもよい。

【0008】

さらに、一実施形態において、前記時空間周波数分解成分のうち、時空間最高周波帯域内のパワーの平均値を平均雑音パワーとして求める雑音パワー算出部を備え、前記縮退処理部は、前記静動領域判別部により動領域と判別された空間位相位置において、時間高周波帯域のパワーが前記平均雑音パワー未満の場合に該時間高周波帯域の成分値を略０に縮退させてもよい。

【0009】

さらに、一実施形態において、前記縮退処理部は、前記静動領域判別部により動領域と判別された空間位相位置において、時間低周波・空間高周波帯域のパワーが前記平均雑音パワー未満の場合に該時間低周波・空間高周波帯域の成分値を略０に縮退させ、前記平均雑音パワー以上の場合に該時間低周波・空間高周波帯域の成分値を所定の割合で縮退させてもよい。

【0010】

さらに、一実施形態において、前記縮退処理部は、前記静動領域判別部により静止領域と判別された空間位相位置において、時間低周波・空間高周波帯域のパワーが前記平均雑音パワー未満の場合に該時間低周波・空間高周波帯域の成分値を略０に縮退させ、前記平均雑音パワー以上の場合に該時間低周波・空間高周波帯域の成分値を所定の割合で縮退させてもよい。

【0011】

さらに、一実施形態において、前記雑音パワー算出部は、前記時空間最高周波帯域内のパワーの最大値を最大雑音パワーとして求め、前記縮退処理部は、前記静動領域判別部により動領域と判別された空間位相位置において、前記時間高周波帯域のパワーが前記平均雑音パワー以上で且つ前記最大雑音パワー未満の場合に該時間高周波帯域の成分値が大きいほど弱く縮退させてもよい。

【0012】

さらに、一実施形態において、前記縮退処理部は、前記静動領域判別部により動領域と判別された空間位相位置において、前記時間低周波・空間高周波帯域のパワーが前記平均雑音パワー以上で且つ前記最大雑音パワー未満の場合に該時間低周波・空間高周波帯域の成分値が大きいほど弱く縮退させてもよい。

【0013】

さらに、一実施形態において、前記縮退処理部は、前記静動領域判別部により静止領域と判別された空間位相位置において、前記時間低周波・空間高周波帯域のパワーが前記平均雑音パワー以上で且つ前記最大雑音パワー未満の場合に該時間低周波・空間高周波帯域の成分値が大きいほど弱く縮退させてもよい。

【0014】

さらに、一実施形態において、前記時空間周波数分解部は、前記動画像に対して時空間方向にウェーブレットパケット分解を行ってもよい。

【0015】

また、上記課題を解決するため、一実施形態係るプログラムは、コンピュータを、上記雑音除去・帯域制限装置として機能させる。

【発明の効果】

【0016】

本発明によれば、画質の劣化を抑制しつつ雑音除去及び帯域制限を行うことが可能となる。

【図面の簡単な説明】

【0017】

【図1】第１の実施形態に係る雑音除去・帯域制限装置の構成例を示すブロック図である。

【図2】画像フレームに対して時空間方向の１階ウェーブレットパケット分解を適用した様子を示す図である。

【図3】時空間方向の１階ウェーブレットパケット分解により分割された各周波帯域を示す図である。

【図4】第１の実施形態に係る雑音除去・帯域制限装置における雑音パワー算出部の処理を説明する図である。

【図5】第１の実施形態に係る雑音除去・帯域制限装置の動作例を示すフローチャートである。

【図6】第２の実施形態に係る雑音除去・帯域制限装置の構成例を示すブロック図である。

【発明を実施するための形態】

【0018】

以下、実施形態について、図面を参照して詳細に説明する。

【0019】

＜第１の実施形態＞
図１は、第１の実施形態に係る雑音除去・帯域制限装置の構成例を示すブロック図である。図１に示す雑音除去・帯域制限装置１は、時空間周波数分解部１１と、静動領域判別部１２と、雑音パワー算出部１３と、縮退処理部１４と、時空間周波数再構成部１５と、を備える。雑音除去・帯域制限装置１は、動画像信号の雑音除去と帯域制限を同時に行う装置である。

【0020】

図１に示す各機能部は制御演算回路（コントローラ）を構成する。該制御演算回路は、ＡＳＩＣ(Application Specific Integrated Circuit)、ＦＰＧＡ(Field-Programmable Gate Array)などの専用のハードウェアによって構成されてもよいし、プロセッサによって構成されてもよいし、双方を含んで構成されてもよい。

【0021】

時空間周波数分解部１１は、入力した動画像Ｉ（ｔ）に対して時空間方向に周波数分解を行い、時空間方向に周波数帯域が分解された時空間周波数分解成分を生成する。そして、時空間周波数分解部１１は、生成した時空間周波数分解成分を静動領域判別部１２及び縮退処理部１４に出力する。また、時空間周波数分解部１１は、時空間周波数分解成分のうち少なくとも時空間最高周波帯域成分を雑音パワー算出部１３に出力する。

【0022】

例えば、時空間周波数分解部１１は、処理対象となる時間位置ｔ_０における画像フレームＩ（ｔ_０）から分解階数とウェーブレットフィルタタップ長（例えば、ハールウェーブレットの場合であれば２）を考慮した長さの動画像フレームに対して、時空間方向にウェーブレットパケット分解処理を行う。ウェーブレットパケット分解は、入力画像に対して低周波帯域側及び高周波帯域側にオクターブ分解する。この場合、空間方向及び時間方向の全体のサイズは、入力動画像の画像フレームと同じサイズとなる。

【0023】

図２に、入力動画像の時間位置ｔ_０における画像フレームＩ（ｔ_０）に対して時空間方向にそれぞれ１階のウェーブレットパケット分解を適用した様子を示す。この場合、入力画像の周波帯域は、時間方向（時間周波数ｆ_ｔ方向）に時間低周波帯域Ｌ及び時間高周波帯域Ｈに分割され、それぞれがさらに空間方向（水平周波数ｆ_ｈ方向及び垂直周波数ｆ_ｖ方向）に分解される。

【0024】

図３に、時空間方向の１階ウェーブレットパケット分解により分割された各周波帯域を示す。時間低周波帯域Ｌは、時空間最低周波帯域ＬＬ（Ｌ）、時間低周波・水平低周波垂直高周波帯域ＬＨ（Ｌ）、時間低周波・水平高周波垂直低周波帯域ＨＬ（Ｌ）、及び時間低周波・水平高周波垂直高周波帯域ＨＨ（Ｌ）に４分割される。ここで、時間低周波帯域Ｌのうち、時空間最低周波帯域ＬＬ（Ｌ）を除く帯域ＬＨ（Ｌ）、ＨＬ（Ｌ）、及びＨＨ（Ｌ）を時間低周波・空間高周波帯域Ｈ（Ｌ）と称する。ここで、（Ｌ）は時間低周波帯域であることを意味し、（Ｈ）は時間高周波帯域であることを意味する。同様に、時間高周波帯域Ｈは、時間高周波・水平低周波垂直低周波帯域ＬＬ（Ｈ）、時間高周波・水平低周波垂直高周波帯域ＬＨ（Ｈ）、時間高周波・水平高周波垂直低周波帯域ＨＬ（Ｈ）、及び時空間最高周波帯域ＨＨ（Ｈ）に４分割される。なお、分解階数は１階に限られるものではない。時空間周波数分解部１１が入力画像を時空間方向にｎ階ウェーブレットパケット分解した場合には、入力画像の周波帯域は時間方向に２^ｎ分割され、空間方向に４^ｎ分割される。

【0025】

静動領域判別部１２は、時空間周波数分解部１１から入力した時空間周波数分解成分を閾値と比較することにより、処理対象となる画像フレームＩ（ｔ_０）の空間位相位置ごとに静止領域であるか動領域であるかを判別して、判別結果を示す静動領域情報を生成する。そして、静動領域判別部１２は、生成した静動領域情報を縮退処理部１４に出力する。

【0026】

一般に、静止領域では時間高周波帯域Ｈのパワーが略０となる。一方、動領域では動きぼやけにより、時空間最低周波帯域ＬＬ（Ｌ）以外では、パワーが低下する傾向にあるため、時間低周波・空間高周波帯域Ｈ（Ｌ）のパワーは静止領域よりも小さくなる可能性が高い。このような特性を利用して、静動領域判別部１２は、任意の空間位相位置における時間高周波帯域Ｈのパワーが第１の閾値ｔ_Ｈ以下（略０）であり、且つ時間低周波・空間高周波帯域Ｈ（Ｌ）のパワーが第２の閾値ｔ_Ｈ（Ｌ）以上である場合に、該空間位相位置を静止領域と判定し、該静止領域以外の空間位相位置を動領域と判別する。そして、静動領域判別部１２は、全ての空間位相位置において判別処理を行った結果を静動領域情報として出力する。

【0027】

第１の閾値ｔ_Ｈ及び第２の閾値ｔ_Ｈ（Ｌ）は、所定の値としてもよいし、任意の手法で動的に決定されてもよい。静動領域判別部１２は、第１の閾値ｔ_Ｈ及び第２の閾値ｔ_Ｈ（Ｌ）を、時空間最低周波帯域ＬＬ（Ｌ）内のパワーに基づいて動的に決定してもよい。例えば、静動領域判別部１２は、第１の閾値ｔ_Ｈを時空間最低周波帯域ＬＬ（Ｌ）内の各要素位置におけるパワーの最大値の１％とし、第２の閾値ｔ_Ｈ（Ｌ）を時空間最低周波帯域ＬＬ（Ｌ）内の各要素位置におけるパワーの最大値の１５％としてもよい。

【0028】

雑音除去・帯域制限装置１は雑音パワー算出部１３を備えなくてもよい。この場合には、縮退処理部１４は、静動領域判別部１２により静止領域と判別された空間位相位置において、時間高周波帯域Ｈの成分値を略０（所定の閾値以下）に縮退させて縮退済み時空間周波数分解成分を生成する。縮退処理部１４は、その他の空間位相位置では縮退を行わないか、縮退量を制限する。そして、縮退処理部１４は、縮退済み時空間周波数分解成分を時空間周波数再構成部１５に出力する。このような処理を行った場合、動領域では縮退を行わないか制限することにより画質の劣化を抑制することができ、静止領域の時間高周波帯域成分については雑音除去及び帯域制限を行うことができる。

【0029】

以下では、雑音除去・帯域制限装置１が雑音パワー算出部１３を備える場合について説明する。

【0030】

図４は、雑音パワー算出部１３の処理を説明する図である。雑音パワー算出部１３は、時空間周波数分解部１１から、時空間周波数分解成分のうち時空間最高周波帯域ＨＨ（Ｈ）を入力する。雑音パワー算出部１３は、図４に示すように、時空間最高周波帯域ＨＨ（Ｈ）内の成分を用いて雑音パワーを算出し、本実施形態では時空間最高周波帯域ＨＨ（Ｈ）内の全成分のパワーの平均値を平均雑音パワーｎ_１として求める。そして、雑音パワー算出部１３は、求めた平均雑音パワーｎ_１を縮退処理部１４に出力する。なお、本実施形態では成分値の絶対値をパワーとする。

【0031】

縮退処理部１４は、時空間周波数分解部１１から入力した時空間周波数分解成分に対して、静動領域判別部１２から入力した静動領域情報及び、雑音パワー算出部１３から入力した平均雑音パワーｎ_１に基づいて縮退処理を行い、縮退済み時空間周波数分解成分を生成する。そして、縮退処理部１４は、縮退済み時空間周波数分解成分を時空間周波数再構成部１５に出力する。縮退処理部１４は、例えば水平方向の帯域制限周波数ｆ_ｈｓを水平方向の標本化周波数の１／２とし、垂直方向の帯域制限周波数ｆ_ｖｓを垂直方向の標本化周波数の１／２とし、時間方向の帯域制限周波数ｆ_ｔｓを時間方向の標本化周波数の１／２とし、帯域制限量ｖ_ｓを０．１（２０ｄＢの減衰量に相当）とする。縮退処理部１４は、これらの値を予め保持していてもよいし、外部から取得してもよい。

【0032】

一般に、熱雑音などのランダム雑音成分は全ての時空間周波帯域においてほぼ一定のパワーを持つ。また、動画像における静止領域の信号成分では、時間高周波帯域のパワーが略０となる。そのため、静止領域の時間高周波帯域では雑音成分が支配的となる。そこで、縮退処理部１４は、静動領域判別部１２により静止領域と判別された空間位相位置において、時間周波数ｆ_ｔが帯域制限周波数ｆ_ｔｓ以上である時間高周波帯域Ｈの成分値を略０に縮退させる。

【0033】

また、縮退処理部１４は、静動領域判別部１２により静止領域と判別された空間位相位置について、時間周波数ｆ_ｔが帯域制限周波数ｆ_ｔｓ未満、水平周波数ｆ_ｈが帯域制限周波数ｆ_ｈｓ以上、及び垂直周波数ｆ_ｖが帯域制限周波数ｆ_ｖｓ以上である時間低周波・空間高周波帯域Ｈ（Ｌ）の成分値ｘを、式（１）に応じてｙに縮退させる。すなわち、縮退処理部１４は、静止領域と判別された空間位相位置について、時間低周波・空間高周波帯域Ｈ（Ｌ）のパワーが平均雑音パワーｎ_１未満の場合に該時間低周波・空間高周波帯域Ｈ（Ｌ）の成分値ｘを略０に縮退させ、時間低周波・空間高周波帯域Ｈ（Ｌ）のパワーが平均雑音パワーｎ_１以上の場合に該時間低周波・空間高周波帯域Ｈ（Ｌ）の成分値ｘを所定の割合で縮退させる。

【0034】

【数1】

【0035】

一方、動画像における動領域の信号成分では、動き速度に応じて時間高周波帯域のパワーが低下する。そのため、動画像の時間高周波帯域をさらに抑制した場合には、多くの既存の動画像フォーマットは時間方向の標本化周波数が人間の知覚限界に比べて大幅に低いため、主観画質の大幅な劣化を招くおそれがある。そこで、縮退処理部１４は、静動領域判別部１２により動領域と判別された空間位相位置において、時間周波数ｆ_ｔが帯域制限周波数ｆ_ｔｓ以上である時間高周波帯域Ｈの成分値ｘを、式（２）に応じて縮退させる。すなわち、縮退処理部１４は、動領域と判別された空間位相位置において、時間高周波帯域Ｈのパワーが平均雑音パワーｎ_１未満の場合に該時間高周波帯域Ｈの成分値ｘを略０に縮退させ、時間高周波帯域Ｈのパワーが平均雑音パワーｎ_１以上の場合には該時間高周波帯域Ｈの成分値ｘを縮退させない。

【0036】

【数2】

【0037】

また、縮退処理部１４は、静動領域判別部１２により動領域と判別された空間位相位置において、時間周波数ｆ_ｔが帯域制限周波数ｆ_ｔｓ未満、水平周波数ｆ_ｈが帯域制限周波数ｆ_ｈｓ以上、及び垂直周波数ｆ_ｖが帯域制限周波数ｆ_ｖｓ以上である時間低周波・空間高周波帯域Ｈ（Ｌ）の成分値ｘを、式（１）に応じて縮退させる。すなわち、縮退処理部１４は、動領域と判別された空間位相位置において、時間低周波・空間高周波帯域Ｈ（Ｌ）のパワーが平均雑音パワーｎ_１未満の場合に該時間低周波・空間高周波帯域Ｈ（Ｌ）の成分値ｘを略０に縮退させ、時間低周波・空間高周波帯域Ｈ（Ｌ）のパワーが平均雑音パワーｎ_１以上の場合に該時間低周波・空間高周波帯域Ｈ（Ｌ）の成分値ｘを所定の割合で縮退させる。

【0038】

なお、静止領域及び動領域のいずれにおいても、時空間最低周波帯域ＬＬ（Ｌ）は縮退させない。式（１）（２）においてｘが負値の場合は、ｙを負値とする。上記の例における縮退結果ｙをまとめると、表１に示すようになる。

【0039】

【表1】

【0040】

時空間周波数再構成部１５は、縮退処理部１４から入力した縮退済み時空間周波数分解成分に対して時空間方向に周波数再構成（ウェーブレットパケット再構成）を行い、雑音除去及び帯域制限が施された動画像を生成し、雑音除去・帯域制限装置１の外部に出力する。

【0041】

次に、図５を参照して、雑音除去・帯域制限装置１の動作について説明する。図５は、雑音除去・帯域制限装置１の動作例を示すフローチャートである。

【0042】

ステップＳ１０１では、時空間周波数分解部１１により、動画像に対して時空間方向に周波数分解を行い、時空間周波数分解成分を生成する。

【0043】

ステップＳ１０２では、静動領域判別部１２により、時空間周波数分解成分を閾値と比較することにより空間位相位置ごとに静止領域であるか動領域であるかを判別する。

【0044】

ステップＳ１０３では、雑音パワー算出部１３により、時空間周波数分解成分のうち、時空間最高周波帯域内のパワーの平均値を平均雑音パワーとして求める。

【0045】

ステップＳ１０４では、縮退処理部１４により、上記表１に従い、時空間最低周波帯域ＬＬ（Ｌ）を除く時空間周波数分解成分の縮退を行う。

【0046】

ステップＳ１０５では、時空間周波数再構成部１５により、縮退済み時空間周波数分解成分に対して時空間方向に周波数再構成を行い、雑音除去及び帯域制限が施された動画像を生成する。

【0047】

上述したように、本実施形態に係る雑音除去・帯域制限装置１は、動画像に対して時空間方向に周波数分解を行い、静動領域判別を行う。そして、静止領域と判別された空間位相位置では時間高周波帯域成分を略０に縮退させる。すなわち、雑音除去・帯域制限装置１は、時空間周波数情報と静動領域情報の両方を考慮して縮退処理を行うため、動画像の雑音除去と帯域制限を総合的に高画質に行うことが可能となる。また、雑音除去・帯域制限装置１を動画像符号化の前段に用いることで符号化難易度を低減させて符号化画質を向上させることも可能となる。

【0048】

また、雑音除去・帯域制限装置１は、任意の空間位相位置において、時間高周波帯域成分が第１の閾値以下で且つ時間低周波・空間高周波帯域成分が第２の閾値以上である場合に、該空間位相位置を静止領域と判別し、該静止領域以外の空間位相位置を動領域と判別してもよい。これにより、高精度に静止領域であるか動領域であるかを判別することが可能となる。

【0049】

また、雑音除去・帯域制限装置１は、時空間最高周波帯域内のパワーの平均値を平均雑音パワーｎ_１として求め、時空間周波数分解成分と平均雑音パワーｎ_１との比較に基づいて縮退処理を行ってもよい。これにより、時空間周波数分解成分が雑音成分であるか否かを判別でき、適切に雑音を除去することが可能となる。

【0050】

＜第２の実施形態＞
次に、第２の実施形態に係る雑音除去・帯域制限装置について説明する。図６は、第２の実施形態に係る雑音除去・帯域制限装置の構成例を示すブロック図である。図６に示す雑音除去・帯域制限装置２は、時空間周波数分解部１１と、静動領域判別部１２と、雑音パワー算出部１３’と、縮退処理部１４’と、時空間周波数再構成部１５と、を備える。第２の実施形態に係る雑音除去・帯域制限装置２は、第１の実施形態に係る雑音除去・帯域制限装置１と比較して、雑音パワー算出部１３’及び縮退処理部１４’の処理が相違する。その他の処理は同様であるため、説明を省略する。

【0051】

雑音パワー算出部１３’は、時空間周波数分解部１１から、時空間周波数分解成分のうち時空間最高周波帯域ＨＨ（Ｈ）を入力し、時空間最高周波帯域ＨＨ（Ｈ）内の全成分のパワーの平均値を平均雑音パワーｎ_１として求めるとともに、時空間最高周波帯域ＨＨ（Ｈ）内のパワーの最大値を最大雑音パワーｎ_２として求める。そして、雑音パワー算出部１３’は、求めた平均雑音パワーｎ_１及び最大雑音パワーｎ_２を縮退処理部１４’に出力する。

【0052】

縮退処理部１４’は、時空間周波数分解部１１から入力した時空間周波数分解成分に対して、静動領域判別部１２から入力した静動領域情報、並びに雑音パワー算出部１３’から入力した平均雑音パワーｎ_１及び最大雑音パワーｎ_２に基づいて縮退処理を行い、縮退済み時空間周波数分解成分を生成する。そして、縮退処理部１４’は、縮退済み時空間周波数分解成分を時空間周波数再構成部１５に出力する。

【0053】

縮退処理部１４’の処理の考え方は、第１の実施形態の縮退処理部１４と同じである。すなわち、縮退処理部１４’は、静動領域判別部１２により静止領域と判別された空間位相位置において、時間周波数ｆ_ｔが帯域制限周波数ｆ_ｔｓ以上である時間高周波帯域Ｈの成分値を略０に縮退させる。また、平均雑音パワーｎ_１及び最大雑音パワーｎ_２に基づいて縮退処理を行うため、式（１）に代えて式（３）を用い、式（２）に代えて式（４）を用いる。

【0054】

【数3】

【0055】

すなわち、縮退処理部１４’は、静動領域判別部１２により静止領域と判別された空間位相位置において、式（３）に例示するように、時間低周波・空間高周波帯域Ｈ（Ｌ）のパワーが平均雑音パワーｎ_１未満の場合に該時間低周波・空間高周波帯域Ｈ（Ｌ）の成分値ｘを略０に縮退させ、時間低周波・空間高周波帯域Ｈ（Ｌ）のパワーが平均雑音パワーｎ_１以上で且つ最大雑音パワーｎ_２未満の場合に該時間低周波・空間高周波帯域Ｈ（Ｌ）の成分値ｘが大きいほど弱く縮退させ、時間低周波・空間高周波帯域Ｈ（Ｌ）のパワーが最大雑音パワーｎ_２以上の場合に該時間低周波・空間高周波帯域Ｈ（Ｌ）の成分値ｘを所定の割合で縮退させる。

【0056】

また、縮退処理部１４’は、静動領域判別部１２により動領域と判別された空間位相位置において、式（４）に例示するように、時間高周波帯域Ｈのパワーが平均雑音パワーｎ_１未満の場合に該時間高周波帯域Ｈの成分値ｘを略０に縮退させ、時間高周波帯域Ｈのパワーが平均雑音パワーｎ_１以上で且つ最大雑音パワーｎ_２未満の場合に該時間高周波帯域Ｈの成分値ｘが大きいほど弱く縮退させ、時間高周波帯域Ｈのパワーが最大雑音パワーｎ_２以上の場合には該時間高周波帯域Ｈの成分値ｘを縮退させない。

【0057】

また、縮退処理部１４’は、静動領域判別部１２により動領域と判別された空間位相位置において、式（３）に例示するように、時間低周波・空間高周波帯域Ｈ（Ｌ）のパワーが平均雑音パワーｎ_１未満の場合に該時間低周波・空間高周波帯域Ｈ（Ｌ）の成分値ｘを略０に縮退させ、時間低周波・空間高周波帯域Ｈ（Ｌ）のパワーが平均雑音パワーｎ_１以上で且つ最大雑音パワーｎ_２未満の場合に該時間低周波・空間高周波帯域Ｈ（Ｌ）の成分値ｘが大きいほど弱く縮退させ、時間低周波・空間高周波帯域Ｈ（Ｌ）のパワーが最大雑音パワーｎ_２以上の場合に該時間低周波・空間高周波帯域Ｈ（Ｌ）の成分値ｘを所定の割合で縮退させる。

【0058】

上記の例における縮退結果ｙをまとめると、表２に示すようになる。

【0059】

【表2】

【0060】

上述したように、本実施形態に係る雑音除去・帯域制限装置２は、時空間最高周波帯域内のパワーの平均値及び最大値をそれぞれ平均雑音パワーｎ_１及び最大雑音パワーｎ_２として求め、時空間周波数分解成分と平均雑音パワーｎ_１及び最大雑音パワーｎ_２との比較に基づいて縮退処理を行う。これにより、雑音除去・帯域制限装置１における効果に加え、段階的に縮退量を制御することができ、さらに画質の劣化を抑制することが可能となる。

【0061】

＜プログラム＞
上述した雑音除去・帯域制限装置１，２として機能させるために、それぞれプログラム命令を実行可能なコンピュータを用いることも可能である。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。

【0062】

コンピュータは、プロセッサと、記憶部と、入力部と、出力部と、通信インターフェースとを備える。プロセッサは、ＣＰＵ(Central Processing Unit)、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種又は異種の複数のプロセッサにより構成されてもよい。プロセッサは、記憶部からプログラムを読み出して実行することで、上記各構成の制御及び各種の演算処理を行う。なお、これらの処理内容の少なくとも一部をハードウェアで実現することとしてもよい。入力部は、ユーザの入力操作を受け付けてユーザの操作に基づく情報を取得する入力インターフェースであり、ポインティングデバイス、キーボード、マウスなどである。出力部は、情報を出力する出力インターフェースであり、ディスプレイ、スピーカなどである。通信インターフェースは、外部の装置と通信するためのインターフェースである。

【0063】

プログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性（non-transitory）の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0064】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを統合したり、１つの構成ブロックを分割したりすることが可能である。

【符号の説明】

【0065】

１，２ 雑音除去・帯域制限装置
１１ 時空間周波数分解部
１２ 静動領域判別部
１３，１３’ 雑音パワー算出部
１４，１４’ 縮退処理部
１５ 時空間周波数再構成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】