特許 7549488 帯域制限装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-03

(45)【発行日】2024-09-11

(54)【発明の名称】帯域制限装置及びプログラム

(51)【国際特許分類】

   H04N 19/132 20140101AFI20240904BHJP

   H04N 19/136 20140101ALI20240904BHJP

   H04N 19/176 20140101ALI20240904BHJP

   H04N 19/63 20140101ALI20240904BHJP

【ＦＩ】

H04N19/132

H04N19/136

H04N19/176

H04N19/63

【請求項の数】 6

(21)【出願番号】P 2020146232

(22)【出願日】2020-08-31

(65)【公開番号】P2022041172

(43)【公開日】2022-03-11

【審査請求日】2023-07-31

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(74)【代理人】

【識別番号】100185225

【弁理士】

【氏名又は名称】齋藤 恭一

(72)【発明者】

【氏名】松尾 康孝

【審査官】田中 崇大

(56)【参考文献】

【文献】特開２０１９－１６５３８３（ＪＰ，Ａ）

【文献】特開平７－４６５９８（ＪＰ，Ａ）

【文献】石野 智晴、張 熙，隣接情報を利用したＭｏｔｉｏｎ－ＪＰＥＧ２０００のフリッカー低減，電子情報通信学会２０１１年総合大会 基礎・境界講演論文集，一般社団法人電子情報通信学会，2011年，P94

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／１３２

Ｈ０４Ｎ １９／１３６

Ｈ０４Ｎ １９／１７６

Ｈ０４Ｎ １９／６３

(57)【特許請求の範囲】

【請求項1】

動画像の被処理フレーム画像と当該動画像の参照フレーム画像とを空間周波数分解する周波数分解部と、
空間周波数分解された前記被処理フレーム画像の対角最高周波成分と空間周波数分解された前記参照フレーム画像の対角最高周波成分の類似度を算出する類似度算出部と、
前記類似度に基づいて、前記被処理フレーム画像の空間周波数成分の縮退処理を行うことにより帯域制限する縮退処理部と、
帯域制限された前記被処理フレーム画像の空間周波数成分を再構成する周波数再構成部と
を備える帯域制限装置において、
前記類似度算出部は、前記被処理フレーム画像における対角最高周波成分の各要素について、前記要素を中心とした所定数の要素からなるブロック領域と前記参照フレーム画像の対角最高周波成分の同一要素位置の要素を中心とした所定数の要素からなるブロック領域との類似度を算出し、
前記縮退処理部は、前記類似度が小さいほど帯域制限量を大きくすることを特徴とする、
帯域制限装置。

【請求項2】

請求項１に記載の帯域制限装置において、
前記類似度算出部は、探索範囲が入力され、前記被処理フレーム画像における対角最高周波成分の各要素について、前記要素を中心とした所定数の要素からなるブロック領域と前記参照フレーム画像の対角最高周波成分の同一要素位置の要素を中心とした所定数の要素からなるブロック領域との類似の評価値を算出し、前記参照フレーム画像の前記探索範囲内でブロック領域をずらしながら算出した評価値の最大値を前記類似度とすることを特徴とする、帯域制限装置。

【請求項3】

請求項２に記載の帯域制限装置において、
前記探索範囲は、前記被処理フレーム画像の動き補償予測符号化で用いる探索範囲に対応することを特徴とする、帯域制限装置。

【請求項4】

請求項１乃至３のいずれか一項に記載の帯域制限装置において、
前記縮退処理部は、帯域制限周波数が入力され、前記被処理フレーム画像の前記帯域制限周波数以上の空間周波数成分の各要素について、要素位置毎の前記類似度に応じて縮退処理を行うことを特徴とする、帯域制限装置。

【請求項5】

請求項１乃至４のいずれか一項に記載の帯域制限装置において、
前記周波数分解部は、前記被処理フレーム画像と前記参照フレーム画像をウェーブレット分解又はウェーブレットパケット分解することを特徴とする、帯域制限装置。

【請求項6】

コンピュータを請求項１乃至５のいずれか一項に記載の帯域制限装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、帯域制限装置及びプログラムに関し、特に、画像処理において帯域制限を行う装置及びそのためのプログラムに関する。

【背景技術】

【0002】

近年、４Ｋ・８Ｋ（スーパーハイビジョン）放送に代表される超高精細動画像の帯域圧縮技術が実用化されている。この超高精細動画像を記録し、伝送するためには圧縮符号化処理技術が必要となる。しかし、かかる圧縮符号化処理による画像の劣化が問題となる。例えば、超高精細動画像を圧縮符号化する際に、例えば、符号化難易度が高い（クリティカルな）動画像が入力された場合には、ぼやけに起因するイントラフレームのフリッカやブロック歪に起因するインターフレームのフリッカなどのアーティファクト（元の画像にないノイズ要素）が発生する。

【0003】

これは次のような理由による。ＨＥＶＣ（High Efficiency Video Coding）／Ｈ．２６５などの符号化技術は、主に直交変換処置と量子化処理と動き補償予測処理とから構成される。この直交変換処理と量子化処理では、視覚的に劣化が目立ちにくい空間高周波成分の情報量を、量子化によって削減することができる。しかしながら、圧縮符号化時に入力動画像の空間高周波成分のパワーが高い場合は、ぼやけに起因するイントラフレームのフリッカが発生しやすい。また、動き補償予測では、動オブジェクトのフレーム間動き補償を行い、動ベクトルと残差信号のみを送信することで情報量を削減する。このため、圧縮符号化時にフレーム間の動き推定が難しく、さらに残差信号量が多い場合は、ブロック歪に起因するインターフレームのフリッカが発生しやすい。

【0004】

このため、圧縮符号化処理の前に、画像の帯域制限を行って、アーティファクトの発生を抑制することが試みられている。一般的な帯域制限方法としては、例えば、低域通過型（ＬＰＦ：Low-Pass Filter）等の線形フィルタ処理があげられる。また、ウェーブレット変換（ウェーブレット分解）を用いたウェーブレット縮退により、帯域制限やノイズ除去等の画像処理を行うことも従来行われている（非特許文献１）。

【0005】

ウェーブレット縮退を用いた帯域制限方法としては、ＪＰＥＧ２０００やＭＰＥＧ－４などで利用されるウェーブレット多重解像度分解を利用した画像圧縮手法がある。ここで用いられる帯域制限の手法は、画像圧縮の一種である。一例として、入力画像をウェーブレット分解して、その空間高周波帯域におけるウェーブレット変換係数のパワーの上位σ％（σは主に圧縮率によって決定）以外の係数を０として再構成する方法が知られている。空間高周波帯域におけるウェーブレット変換係数のパワーの低い成分は目立ちにくいため、この成分係数を０とすることで、画質劣化を抑制しつつ画像圧縮を行うことができる。

【0006】

しかしながら、従来知られているウェーブレット縮退を用いた帯域制限方法は、圧縮符号化の前処理として、入力画像に対してどの周波数帯域を帯域制限するのが効果的であるか考慮されていなかった。そこで、本発明者らはこれまで、入力動画像に対応して帯域制限を制御することができ、その後の符号化によるアーティファクトを抑制することが可能な帯域制限装置を提案している。

【0007】

従来の第１の提案は、入力画像に対して周波数分解処理を行って周波数分解係数を生成し、周波数分解係数の分類分けを行い、縮退関数の設定を行い、縮退関数に基づいて縮退係数を生成し、周波数再構成処理を行って帯域制限画像を生成する帯域制限装置において、少なくとも一つの縮退関数を、視覚特性、特に、空間周波数に対する輝度毎のコントラスト感度特性に基づいて設定することである（特許文献１）。

【0008】

また、従来の第２の提案は、入力画像に対して周波数分解処理を行って周波数分解係数と区分された周波数帯域を生成し、帯域制限を行う制限周波数帯域を設定し、また、縮退関数の設定を行い、制限周波数帯域の周波数分解係数に対して縮退関数を適用し、周波数分解係数を縮退させた縮退係数を生成し、周波数再構成処理を行って帯域制限画像を生成する帯域制限装置において、各周波数帯域内の全要素の絶対値の大きさ指標値及び全要素の絶対値の分散値に基づいて、制限周波数帯域を設定することである（特許文献２）。

【先行技術文献】

【特許文献】

【0009】

【文献】特開２０１９－１６５３８３号公報

【文献】特開２０１９－２０５１３７号公報

【非特許文献】

【0010】

【文献】D. L. Donoho, I. M. Johnstone, G. Kerkyacharian and D. Picard, "Wavelet shrinkage: asymptopia?," Journal of the Royal Statistical Society, vol. 57, no. 2, pp. 301－471, (1995).

【発明の概要】

【発明が解決しようとする課題】

【0011】

これまでの、第１及び第２の提案は、イントラフレームにおける帯域制限処理であり、その後のクリティカルな動画像の圧縮符号化において、ぼやけに起因するイントラフレームのフリッカやブロック歪を効果的に抑制することができる。しかしながら、インターフレームのアーティファクトの抑制には、まだ改善の余地があった。

【0012】

例えば、画面間予測（フレーム間予測）符号化の難易度が非常に高い要素位置では、符号化・復号処理の際に、顕著なブロック歪などの大幅な画質劣化が発生するという課題がある。この画質劣化は、当該要素位置が複雑なテクスチャを持ち被処理フレーム画像の空間高周波成分と参照フレーム画像の空間高周波成分間の類似度が低い場合に発生しやすい。

【0013】

従って、上記のような問題点に鑑みてなされた本発明の目的は、要素位置毎に帯域制限量を制御することで、大幅な画質劣化が発生しやすい要素位置の符号化難易度を低減し、その後の画面間予測符号化及び復号において、顕著なブロック歪などの大幅な画質劣化を抑制することができる、帯域制限装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0014】

上記課題を解決するために本発明に係る帯域制限装置は、動画像の被処理フレーム画像と当該動画像の参照フレーム画像とを空間周波数分解する周波数分解部と、空間周波数分解された前記被処理フレーム画像の対角最高周波成分と空間周波数分解された前記参照フレーム画像の対角最高周波成分の類似度を算出する類似度算出部と、前記類似度に基づいて、前記被処理フレーム画像の空間周波数成分の縮退処理を行うことにより帯域制限する縮退処理部と、帯域制限された前記被処理フレーム画像の空間周波数成分を再構成する周波数再構成部とを備える帯域制限装置において、前記類似度算出部は、前記被処理フレーム画像における対角最高周波成分の各要素について、前記要素を中心とした所定数の要素からなるブロック領域と前記参照フレーム画像の対角最高周波成分の同一要素位置の要素を中心とした所定数の要素からなるブロック領域との類似度を算出し、前記縮退処理部は、前記類似度が小さいほど帯域制限量を大きくすることを特徴とする。

【0015】

また、前記帯域制限装置において、前記類似度算出部は、探索範囲が入力され、前記被処理フレーム画像における対角最高周波成分の各要素について、前記要素を中心とした所定数の要素からなるブロック領域と前記参照フレーム画像の対角最高周波成分の同一要素位置の要素を中心とした所定数の要素からなるブロック領域との類似の評価値を算出し、前記参照フレーム画像の前記探索範囲内でブロック領域をずらしながら算出した評価値の最大値を前記類似度とすることが望ましい。

【0016】

また、前記帯域制限装置は、前記探索範囲が、前記被処理フレーム画像の動き補償予測符号化で用いる探索範囲に対応することが望ましい。

【0017】

また、前記帯域制限装置において、前記縮退処理部は、帯域制限周波数が入力され、前記被処理フレーム画像の前記帯域制限周波数以上の空間周波数成分の各要素について、要素位置毎の前記類似度に応じて縮退処理を行うことが望ましい。

【0018】

また、前記帯域制限装置は、前記周波数分解部が、前記被処理フレーム画像と前記参照フレーム画像をウェーブレット分解又はウェーブレットパケット分解することが望ましい。

【0019】

上記課題を解決するために本発明に係るプログラムは、コンピュータを前記の帯域制限装置として機能させることを特徴とする。

【発明の効果】

【0020】

本発明における帯域制限装置及びプログラムによれば、大幅な画質劣化が発生しやすい要素位置の符号化難易度を低減し、その後の画面間予測符号化及び復号において、顕著なブロック歪などの大幅な画質劣化を抑制することができる。

【図面の簡単な説明】

【0021】

【図1】本発明の実施形態に係る帯域制限装置の構成例を示すブロック図である。

【図2】被処理フレーム画像及び参照フレーム画像の空間周波数分解の例を示す図である。

【図3】本発明の類似度算出の処理手順を示す図である。

【図4】本発明の帯域制限処理の例を示す図である。

【図5】本発明の帯域制限画像の生成方法を示すフローチャートである。

【発明を実施するための形態】

【0022】

本発明の帯域制限装置は、画面（フレーム）間予測符号化の難易度が非常に高い要素位置で発生しやすい大幅な画質劣化を抑制するために、当該要素位置の帯域制限量を大きな値に制御して符号化難易度を低減するものであり、符号化の前処理として用いることができる。以下、本発明の実施の形態について説明する。

【0023】

図１は、本発明の実施形態に係る帯域制限装置１の構成例を示すブロック図である。帯域制限装置１は、動画像（被処理フレーム画像）の入力に対し、被処理フレーム画像の帯域を制限した帯域制限画像を外部に出力する装置である。図１に示す帯域制限装置１は、周波数分解部１１、類似度算出部１２、縮退処理部１３、及び周波数再構成部１４を備える。

【0024】

帯域制限装置１には、被処理フレーム画像Ｃと参照フレーム画像Ｒが入力され、必要に応じて更にパラメータとして、探索範囲と帯域制限周波数とが入力される。この被処理フレーム画像Ｃと参照フレーム画像Ｒは、フレーム間予測符号化処理における符号化対象フレーム画像（被予測フレーム画像）とその参照フレーム画像の関係にある画像である。

【0025】

周波数分解部１１は、入力画像（被処理フレーム画像Ｃ及び参照フレーム画像Ｒ）に対して周波数分解処理を行って空間周波数成分を生成し、類似度算出部１２及び縮退処理部１３に出力する。

【0026】

周波数分解部１１は、周波数分解処理として、入力画像を低周波帯域側にオクターブ分解するウェーブレット分解処理、又は入力画像を低周波帯域側及び高周波帯域側にオクターブ分解するウェーブレットパケット分解処理を行うのが好適である。また、これらの処理に用いるウェーブレット（ウェーブレット関数）Ｗは、適宜選択することができ、例えば、Ｈａａｒウェーブレットを用いることができる。また、タップ長が３以上で、かつ線形位相性を有するウェーブレットとして、ＣＤＦ（Cohen-Daubechies-Feauveau）５／３や、ＣＤＦ９／７を用いることもできる。また、分解階数ｎも適宜設定することができる。帯域制限装置１において、ウェーブレット分解情報（Ｗ，ｎ）は予め設定されて装置内に記憶されていてもよいし、外部から入力されてもよい。

【0027】

なお、周波数帯域ごと及び位相位置ごとの制御を行うことが可能な帯域制限方法として、窓関数とフーリエ変換を用いた縮退処理がある。ただし、該処理では、窓関数の特性にもよるが、不連続関数を正弦波関数及び余弦波関数で級数近似することにより、ギブス現象が発生することがある。さらには、画素数をＮとするとＮ log Ｎオーダーで計算量が増えるという問題がある。その点、ウェーブレットを用いた周波数分解処理によれば、これらの問題が発生しなくなる。

【0028】

本実施形態では、周波数分解部１１の処理は、被処理フレーム画像Ｃを、ウェーブレットＷを用いてｎ階離散ウェーブレット分解又はｎ階離散ウェーブレットパケット分解して、その結果としての空間周波数成分（空間低周波成分Ｃ_L ⁿ、水平高周波成分Ｃ_H ⁿ、垂直高周波成分Ｃ_V ⁿ、対角高周波成分Ｃ_D ⁿ）を、類似度算出部１２及び縮退処理部１３に出力する。また、参照フレーム画像Ｒを、ウェーブレットＷを用いてｎ階離散ウェーブレット分解又はｎ階離散ウェーブレットパケット分解して、その結果としての空間周波数成分（空間低周波成分Ｒ_L ⁿ、水平高周波成分Ｒ_H ⁿ、垂直高周波成分Ｒ_V ⁿ、対角高周波成分Ｒ_D ⁿ）を、類似度算出部１２に出力する。

【0029】

図２は、被処理フレーム画像Ｃ及び参照フレーム画像Ｒの空間周波数分解の例を示す図である。図において横軸は水平周波数、縦軸は垂直周波数を示す。図２（ａ）は、被処理フレーム画像Ｃの１階離散ウェーブレット分解の結果（Ｃ_L ¹，Ｃ_H ¹，Ｃ_V ¹，Ｃ_D ¹）であり、図２（ｂ）は、参照フレーム画像Ｒの１階離散ウェーブレット分解の結果（Ｒ_L ¹，Ｒ_H ¹，Ｒ_V ¹，Ｒ_D ¹）である。ウェーブレット分解により、区分された周波数帯域が得られ、各周波数帯域は要素（周波数分解係数）を含む。ここでは、説明を簡略化するため１階離散ウェーブレット分解を行っているが、２階以上の高次の分解を行ってもよい。例えば、２階離散ウェーブレットパケット分解では、各フレーム画像が１６分割され、図で右上の帯域が対角最高周波成分となる。周波数分解部１１は、このように分解処理された空間周波数成分を、類似度算出部１２及び縮退処理部１３に出力する。

【0030】

類似度算出部１２は、被処理フレーム画像Ｃと参照フレーム画像Ｒの類似度を算出する。具体的には、類似度算出部１２は、被処理フレーム画像Ｃの対角最高周波成分Ｃ_D ^nmax、参照フレーム画像Ｒの対角最高周波成分Ｒ_D ^nmax、及び探索範囲の情報を入力データとし、被処理フレーム画像Ｃの対角最高周波成分Ｃ_D ^nmaxにおける全要素位置All(i)［All(i)は全要素を意味する記号とする］について、対角最高周波成分Ｒ_D ^nmaxに対する類似度Ｓを算出し、縮退処理部１３へ出力とする。

【0031】

ここで、類似度Ｓとは、対角最高周波成分のＣ_D ^nmax（Ｃ_D ¹）における要素iを中心とした所定数の要素からなるブロック領域の、対角最高周波成分Ｒ_D ^nmax（Ｒ_D ¹）における同一要素位置（及び探索範囲内位置）jを中心とした所定数の要素からなるブロック領域に対する一致の度合いを示す指標であって、両ブロック領域の類似の評価値ｓ(i,j)を所定の関数を用いて求め、要素位置jを中心とした所定数の要素からなるブロック領域を対角最高周波成分Ｒ_D ^nmax（Ｒ_D ¹）の探索範囲内で移動させて求めた評価値ｓの最大値を、当該要素iの類似度Ｓとする。

【0032】

図３は、本発明の類似度算出の処理手順を示す図である。本実施形態では、例として１階離散ウェーブレット分解の結果を用いることとし、Ｃ_D ¹、Ｒ_D ¹の周波数成分に基づいて類似度を算出する。被処理フレーム画像Ｃの対角最高周波成分Ｃ_D ^nmax（Ｃ_D ¹）における要素iを中心とした所定数の要素からなるブロック領域と、参照フレーム画像ＲのＲ_D ^nmax（Ｒ_D ¹）における同一要素位置jを中心とした所定数の要素からなるブロック領域間の類似の程度を示す評価値ｓ(i,j)を、所定の関数（例えば、後述の式（１））を用いて求める。このブロック領域の範囲（所定数の要素の範囲）は、画像やＣ_D ^nmaxのサイズ等に応じて適宜設定することができるが、局所領域の特徴が表れる範囲として、例えば、要素ｉ（又はｊ）を中心とした水平方向±４要素、垂直方向±４要素（即ち、９×９要素）、或いは、水平方向±８要素、垂直方向±８要素（即ち、１７×１７要素）をブロック領域とする。なお、後述する探索範囲を０として、Ｃ_D ^nmax（Ｃ_D ¹）の要素iを中心としたブロック領域の、Ｒ_D ^nmax（Ｒ_D ¹）の同一要素位置ｊを中心としたブロック領域に対する類似の評価値ｓを、要素ｉの類似度Ｓとすることができる。

【0033】

また更に、要素位置jを中心としたブロック領域を、参照フレーム画像の対角最高周波成分Ｒ_D ^nmax（Ｒ_D ¹）における探索範囲内でずらしながら、最大となる評価値max ｓ(i,j)を探索して、この評価値ｓの最大値を要素iの類似度Ｓ(i)とすることが、望ましい。ここで、探索範囲は、動き補償予測符号化で用いる探索範囲に対応させることがより望ましい。例えば、ＨＥＶＣの動き補償予測の探索範囲に対応させて、１２８×１２８要素又は６４×６４要素を探索範囲とすることができる。即ち、図１の帯域制限装置１では、探索範囲を外部から入力しているが、この入力を動き補償予測の処理ブロック（図示せず）の探索範囲から得ることができる。なお、探索範囲を予め設定して、帯域制限装置１内に記憶しておいてもよい。

【0034】

そして、この類似度算出を対角最高周波成分Ｃ_D ^nmax（Ｃ_D ¹）の全ての要素位置All(i)において行い、被処理フレーム画像Ｃの対角最高周波成分Ｃ_D ^nmax（Ｃ_D ¹）における全要素位置All(i)の類似度Ｓ(All(i))として出力する。

【0035】

要素iを中心としたブロック領域と要素jを中心としたブロック領域とのブロック領域間の類似の程度を示す評価値ｓ(i,j)は、例えば、式（１）で算出される。

【0036】

【数1】

【0037】

式（１）において、指数の分母のαは類似度の重みを制御する正の係数、指数の分子はｉとｊを中心としたブロック領域内の全要素値（ベクトルとして扱うことができる）の二乗誤差和を意味する。式（１）では、二乗誤差和が０の時にｓ(i,j)は１となり、二乗誤差和が大きくなるほどｓ(i,j)は０に近づく。なお、式（１）は類似の程度の評価式の一例であって、２つのブロック領域のデータが類似しているほど大きな数値となり、異なっているほど小さい数値となる（０に近づく）関数であれば、類似の評価を任意の関数で算出することができる。

【0038】

縮退処理部１３は、制限周波数帯域の各要素（周波数分解係数）に対して、縮退処理を行う。縮退処理部１３には、被処理フレーム画像Ｃの空間周波数成分（Ｃ_L ⁿ，Ｃ_H ⁿ，Ｃ_V ⁿ，Ｃ_D ⁿ）と、被処理フレーム画像Ｃの対角最高周波成分Ｃ_D ^nmaxにおける全要素位置All(i)の類似度Ｓ(All(i))と、帯域制限周波数が入力され、縮退関数Ｆを設定して縮退処理を行うことで、帯域制限された被処理フレーム画像Ｃの空間周波数成分（Ｂ_L ⁿ，Ｂ_H ⁿ，Ｂ_V ⁿ，Ｂ_D ⁿ）を出力する。

【0039】

縮退処理部１３の処理について説明する。被処理フレーム画像の空間周波数成分に対し、被処理フレーム画像Ｃの対角最高周波成分Ｃ_D ^nmaxにおける全要素位置All(i)の類似度Ｓ(All(i))に基づいて、縮退関数Ｆを設定する。縮退関数Ｆは、要素ｉの値をｘ(i)、出力値をＦ(i)として、例えば次式（２）で設定される。

【0040】

【数2】

【0041】

式（２）において、βは基本的な帯域制限量であり、基本は１とし、任意に設定が可能である。例えば、β＝０．１とすると、基本的な帯域制限量が２０ｄＢとなる。

【0042】

式（２）の縮退関数Ｆによれば、類似度Ｓが小さい（０に近い）ほど、要素ｉに強い縮退処理が行われ、帯域制限される。したがって、被処理フレーム画像の空間高周波成分と参照フレーム画像の空間高周波成分間の類似度が低い（小さい）ほど、当該要素位置の帯域制限量を大きな値に制御することができる。なお、式（２）は縮退関数の一例であって、類似度Ｓが小さいほど、要素ｉに強い縮退処理が行われる（帯域制限量が大きくなる）関数であれば、任意の関数を縮退関数とすることができる。

【0043】

そして、入力された帯域制限周波数以上の周波数帯域（制限周波数帯域）の各要素に対して、縮退関数Ｆを用いて帯域制限を行う。

【0044】

図４は、縮退制限処理の例である。本処理では、帯域制限周波数を水平方向・垂直方向とも最大周波数の１／２とした。このとき、Ｃ_H ¹，Ｃ_V ¹，Ｃ_D ¹の各要素（各周波数帯域においてｉに対応する要素位置の周波数分解係数）にＦ(i)＝βＳ(i)ｘ(i)を適用する。帯域制限周波数よりも低い空間周波数成分Ｃ_L ¹には適用しない。例えば、β＝０．１とすることで、水平方向の最大周波数と垂直方向の最大周波数の各々１／２以上の周波数帯域に基本的に２０ｄＢの帯域制限を施すとともに、要素ｉ毎に類似度Ｓに基づいて帯域制限量を変化させることができる。

【0045】

こうして、縮退処理部１３は、帯域制限された被処理フレーム画像Ｃの空間周波数成分Ｂ_L ¹，Ｂ_H ¹，Ｂ_V ¹，Ｂ_D ¹（ただし、Ｂ_L ¹＝Ｃ_L ¹）を生成し、周波数再構成部１４へ出力する。

【0046】

周波数再構成部１４は、帯域制限された被処理フレーム画像の空間周波数成分Ｂとウェーブレット分解情報（Ｗ，ｎ）に基づいて周波数再構成処理を行い、帯域制限画像を生成し出力する。即ち、帯域制限された被処理フレーム画像の空間周波数成分（Ｂ_L ⁿ，Ｂ_H ⁿ，Ｂ_V ⁿ，Ｂ_D ⁿ）に対してウェーブレットＷを用いたｎ階離散ウェーブレット再構成を行い、帯域制限された被処理フレーム画像（帯域制限画像）を出力する。

【0047】

本発明の帯域制限装置１は、画面間予測符号化における被処理フレーム画像の空間高周波成分と参照フレーム画像の空間高周波成分間の類似度に応じて要素位置毎に帯域制限量を制御することで、大幅な画質劣化が発生しやすい要素位置の符号化難易度を低減する。

【0048】

なお、上述した帯域制限装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、帯域制限装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで、帯域制限装置１を実現することができる。

【0049】

上記の実施形態では、帯域制限装置の構成と動作について説明したが、本発明はこれに限らず、帯域制限画像の生成を行う方法として構成されてもよい。図５のフローチャートは、本発明に関連する帯域制限画像の生成方法を示している。各ステップについて説明する。

【0050】

ステップＳ１：被処理フレーム画像Ｃと参照フレーム画像Ｒを入力（取得）する。

【0051】

ステップＳ２：入力画像（被処理フレーム画像Ｃ及び参照フレーム画像Ｒ）に対して、空間周波数分解処理を実行し、空間周波数成分を生成する。

【0052】

ステップＳ３：被処理フレーム画像Ｃの対角最高周波成分Ｃ_D ^nmax、参照フレーム画像Ｒの対角最高周波成分Ｒ_D ^nmax、及び探索範囲の情報を入力データとし、被処理フレーム画像Ｃの対角最高周波成分Ｃ_D ^nmaxにおける全要素位置について、参照フレーム画像Ｒの対角最高周波成分Ｒ_D ^nmaxに対する類似度Ｓを算出する。

【0053】

ステップＳ４：被処理フレーム画像の制限周波数帯域の空間周波数成分に対し、対角最高周波成分Ｃ_D ^nmaxにおける全要素位置の類似度Ｓに基づいて、縮退関数Ｆにより縮退処理を実行する。

【0054】

ステップＳ５：帯域制限された被処理フレーム画像の空間周波数成分とウェーブレット分解情報（Ｗ，ｎ）に基づいて周波数再構成処理を実行し、帯域制限画像を生成する。

【0055】

以上のように、帯域制限画像の生成を行うことができる。

【0056】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

【符号の説明】

【0057】

１ 帯域制限装置
１１ 周波数分解部
１２ 類似度算出部
１３ 縮退処理部
１４ 周波数再構成部

【図1】

【図2】

【図3】

【図4】

【図5】