特許 7071216 帯域制限装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-10

(45)【発行日】2022-05-18

(54)【発明の名称】帯域制限装置及びプログラム

(51)【国際特許分類】

   H04N 19/117 20140101AFI20220511BHJP

   H04N 19/14 20140101ALI20220511BHJP

   H04N 19/169 20140101ALI20220511BHJP

   H04N 19/80 20140101ALI20220511BHJP

   H04N 19/85 20140101ALI20220511BHJP

【ＦＩ】

H04N19/117

H04N19/14

H04N19/169 300

H04N19/80

H04N19/85

【請求項の数】 8

(21)【出願番号】P 2018100854

(22)【出願日】2018-05-25

(65)【公開番号】P2019205137

(43)【公開日】2019-11-28

【審査請求日】2021-04-23

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成３０年度、総務省、「地上テレビジョン放送の高度化技術の研究開発」に係わる委託研究、産業技術力強化法第１９条の適用を受ける特許出願

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(74)【代理人】

【識別番号】100185225

【弁理士】

【氏名又は名称】齋藤 恭一

(72)【発明者】

【氏名】松尾 康孝

(72)【発明者】

【氏名】井口 和久

(72)【発明者】

【氏名】神田 菊文

【審査官】坂東 大五郎

(56)【参考文献】

【文献】特開２００２－２１６１２６（ＪＰ，Ａ）

【文献】特開２００４－２４０９５５（ＪＰ，Ａ）

【文献】特開平０５－３４４３８９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

Ｈ０４Ｎ ５／１４－５／２１７

Ｇ０６Ｔ ５／００－５／５０

(57)【特許請求の範囲】

【請求項1】

入力画像の帯域を制限する帯域制限装置であって、
前記入力画像に対して周波数分解処理を行って周波数分解係数と区分された周波数帯域を生成する周波数分解部と、
前記周波数帯域について、帯域制限を行う制限周波数帯域とそれ以外の非制限周波数帯域の設定を行う制限周波数帯域設定部と、
縮退関数の設定を行う縮退関数設定部と、
少なくとも前記制限周波数帯域の前記周波数分解係数に対して前記縮退関数を適用し、前記周波数分解係数を縮退させた縮退係数を生成する縮退処理部と、
前記縮退係数に対して周波数再構成処理を行って帯域制限画像を生成する周波数再構成部と、を備え、
前記制限周波数帯域設定部は、各周波数帯域内の全要素の絶対値の大きさ指標値及び全要素の絶対値の分散値に基づいて、前記制限周波数帯域を設定することを特徴とする、帯域制限装置。

【請求項2】

請求項１に記載の帯域制限装置において、
前記制限周波数帯域設定部は、空間最低周波数帯域内の全要素の絶対値の大きさ指標値及び全要素の絶対値の分散値に対して、各周波数帯域内の全要素の絶対値の大きさ指標値及び全要素の絶対値の分散値の割合が各々所定の閾値以上であるとき、当該周波数帯域を前記制限周波数帯域として設定することを特徴とする、帯域制限装置。

【請求項3】

請求項１又は２に記載の帯域制限装置において、
全要素の絶対値の前記大きさ指標値は、全要素の絶対値の平均値、中央値、最頻値、及び最大値のいずれかであることを特徴とする、帯域制限装置。

【請求項4】

請求項１乃至３のいずれか一項に記載の帯域制限装置において、
前記縮退関数設定部は、各制限周波数帯域においてその全要素の絶対値の大きさ指標値の、空間最低周波数帯域内の全要素の絶対値の大きさ指標値に閾値を乗算した値に対する大きさに応じて、縮退関数を設定することを特徴とする、帯域制限装置。

【請求項5】

請求項１乃至４のいずれか一項に記載の帯域制限装置において、
前記周波数分解係数を、前記非制限周波数帯域で絶対値がパワー閾値以上の周波数分解係数と、前記制限周波数帯域で絶対値がパワー閾値以上の周波数分解係数と、絶対値がパワー閾値未満の周波数分解係数とに分類する係数分類部を、さらに備え、
前記縮退処理部は、少なくとも前記制限周波数帯域で絶対値がパワー閾値以上の周波数分解係数と、絶対値がパワー閾値未満の周波数分解係数に対して前記縮退関数を適用し、前記周波数分解係数を縮退させた縮退係数を生成することを特徴とする、帯域制限装置。

【請求項6】

請求項５に記載の帯域制限装置において、
前記縮退処理部は、絶対値がパワー閾値未満の前記周波数分解係数について、前記制限周波数帯域で絶対値がパワー閾値以上の前記周波数分解係数よりも強く縮退させることを特徴とする、帯域制限装置。

【請求項7】

請求項１乃至６のいずれか一項に記載の帯域制限装置において、
前記周波数分解部は、前記入力画像をウェーブレット分解又はウェーブレットパケット分解することを特徴とする、帯域制限装置。

【請求項8】

コンピュータを、請求項１乃至７のいずれか一項に記載の帯域制限装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理において帯域制限を行う装置、及びそのためのプログラムに関する。

【背景技術】

【0002】

近年、４Ｋ・８Ｋ（スーパーハイビジョン）と呼ばれる超高精細動画像の実用化が進められている。超高精細動画像の記録や伝送のために圧縮符号化処理が必要であるが、符号化処理により画像が劣化することが指摘されている。例えば、超高精細動画像を超高圧縮符号化する際、クリティカルな（符号化難易度が高い）動画像が入力された場合は、ぼやけに起因するイントラフレームのフリッカやブロック歪に起因するインターフレームのフリッカなどのアーティファクト（元の画像にないノイズ要素）が発生する。

【0003】

これは次のような理由による。ＨＥＶＣ（High Efficiency Video Coding）／Ｈ．２６５などの符号化技術は、主に直交変換・量子化と動き補償予測から構成される。直交変換・量子化では、視覚的に劣化が目立ちにくい空間高周波成分の情報量を、量子化によって削減する。しかし超高圧縮符号化時に入力動画像の空間高周波成分のパワーが高い場合は、ぼやけに起因するイントラフレームのフリッカが発生しやすい。また動き補償予測では、動オブジェクトのフレーム間動き補償を行い、動ベクトルと残差信号のみを送信することで情報量を削減する。このため超高圧縮符号化時にフレーム間の動き推定が難しく残差信号量が多い場合は、ブロック歪に起因するインターフレームのフリッカが発生しやすい。

【0004】

このため、圧縮符号化処理の前に、画像の帯域制限を行って、アーティファクトの発生を抑制することが試みられている。

【0005】

一般的な帯域制限方法としては、低域通過型（ＬＰＦ：Low-Pass Filter）、帯域通過型（ＢＰＦ：Band-Pass Filter）、高域通過型（ＨＰＦ：High-Pass Filter）の線形フィルタ処理があげられる。

【0006】

また、ウェーブレット変換（ウェーブレット分解）を用いたウェーブレット縮退により、帯域制限やノイズ除去等の画像処理を行うことも従来行われている（例えば、特許文献１、非特許文献１）。

【0007】

特許文献１は、ウェーブレット変換を用いたノイズ除去に関する特許であり、画像をウェーブレット変換して高周波ノイズ画像と低周波ノイズ画像を抽出し、これらを逐次的に統合することでノイズレベルの低減を行っている。

【0008】

非特許文献１では、ウェーブレット縮退を用いたノイズ処理が提案されており、ウェーブレット変換した周波数分解係数のうち、雑音レベル以下の成分をコアリングするなどしてノイズ除去を行っている。

【0009】

ウェーブレット縮退を用いた帯域制限方法としては、ＪＰＥＧ２０００やＭＰＥＧ－４などで利用されるウェーブレット多重解像度分解を利用した画像圧縮手法がある。ここで帯域制限は、画像圧縮の一種である。一例として、入力画像をウェーブレット分解して、その空間高周波帯域におけるウェーブレット変換係数のパワーの上位σ％（σは主に圧縮率によって決定）以外の係数を０として再構成する方法が知られている。空間高周波帯域におけるウェーブレット変換係数のパワーの低い成分は目立ちにくいため、この成分係数を０とすることで、画質劣化を抑制しつつ画像圧縮を行うことができる。

【先行技術文献】

【特許文献】

【0010】

【文献】特許第５３５２９４２号公報

【非特許文献】

【0011】

【文献】David L. Donoho, Iain M. Johnstone, Gerard Kerkyacharian and Dominique Picard : "Wavelet Shrinkage: Asymptopia?", Journal of the Royal Statistical Society. Series B (Methodological), (1995年), vol. 57, no. 2, pp. 301-369

【発明の概要】

【発明が解決しようとする課題】

【0012】

しかしながら、上記のＬＰＦなどの線形フィルタ処理は容易に装置化することができるが、周波数帯域ごとの制御を詳細に行うことが困難である。また、特許文献１及び非特許文献１に開示された手法は、主としてノイズ除去を行うものであって、帯域制限としての効果は限定的であった。

【0013】

従来知られているウェーブレット縮退を用いた帯域制限方法は、圧縮符号化の前処理として、入力動画像に対してどの周波数帯域を帯域制限するのが効果的であるか考慮されておらず、入力動画像に対応して帯域制限が制御されていなかった。

【0014】

クリティカルな動画像では、例えば多くの空間高周波成分を持つオブジェクトが複雑な動きを行うため、所要ビットレートが大きくなる。そこで、クリティカルな動画像が入力された場合は、入力動画像の符号化劣化度を推定して帯域制限量を制御することで、これらのアーティファクトを抑制する。この帯域制限量制御を高精度に行うには、符号化側において入力動画像を帯域制限・符号化後に局部復号して入力動画像との劣化度を測定し、帯域制限量をフィードバック制御する方法が考えられる。しかし膨大な規模の処理装置が必要となるうえ、大幅な遅延などの問題が避けられない。また、処理の簡略化と遅延量削減のために単一フレーム処理かつフィードフォワード処理を行う場合は、フレーム間相関を容易に測定できない。

【0015】

従って、上記のような問題点に鑑みてなされた本発明の目的は、入力動画像に対応して帯域制限を制御することができ、その後の符号化によるアーティファクトを抑制することが可能な帯域制限装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0016】

上記課題を解決するために本発明に係る帯域制限装置は、入力画像の帯域を制限する帯域制限装置であって、前記入力画像に対して周波数分解処理を行って周波数分解係数と区分された周波数帯域を生成する周波数分解部と、前記周波数帯域について、帯域制限を行う制限周波数帯域とそれ以外の非制限周波数帯域の設定を行う制限周波数帯域設定部と、縮退関数の設定を行う縮退関数設定部と、少なくとも前記制限周波数帯域の前記周波数分解係数に対して前記縮退関数を適用し、前記周波数分解係数を縮退させた縮退係数を生成する縮退処理部と、前記縮退係数に対して周波数再構成処理を行って帯域制限画像を生成する周波数再構成部と、を備え、前記制限周波数帯域設定部は、各周波数帯域内の全要素の絶対値の大きさ指標値及び全要素の絶対値の分散値に基づいて、前記制限周波数帯域を設定することを特徴とする。

【0017】

また、前記帯域制限装置は、前記制限周波数帯域設定部が、空間最低周波数帯域内の全要素の絶対値の大きさ指標値及び全要素の絶対値の分散値に対して、各周波数帯域内の全要素の絶対値の大きさ指標値及び全要素の絶対値の分散値の割合が各々所定の閾値以上であるとき、当該周波数帯域を前記制限周波数帯域として設定することが望ましい。

【0018】

また、前記帯域制限装置は、全要素の絶対値の前記大きさ指標値が、全要素の絶対値の平均値、中央値、最頻値、及び最大値のいずれかであることが望ましい。

【0019】

また、前記帯域制限装置は、前記縮退関数設定部が、各制限周波数帯域においてその全要素の絶対値の大きさ指標値の、空間最低周波数帯域内の全要素の絶対値の大きさ指標値に閾値を乗算した値に対する大きさに応じて、縮退関数を設定することが望ましい。

【0020】

また、前記帯域制限装置は、前記周波数分解係数を、前記非制限周波数帯域で絶対値がパワー閾値以上の周波数分解係数と、前記制限周波数帯域で絶対値がパワー閾値以上の周波数分解係数と、絶対値がパワー閾値未満の周波数分解係数とに分類する係数分類部を、さらに備え、前記縮退処理部は、少なくとも前記制限周波数帯域で絶対値がパワー閾値以上の周波数分解係数と、絶対値がパワー閾値未満の周波数分解係数に対して前記縮退関数を適用し、前記周波数分解係数を縮退させた縮退係数を生成することが望ましい。

【0021】

また、前記帯域制限装置は、前記縮退処理部が、絶対値がパワー閾値未満の前記周波数分解係数について、前記制限周波数帯域で絶対値がパワー閾値以上の前記周波数分解係数よりも強く縮退させることが望ましい。

【0022】

また、前記帯域制限装置は、前記周波数分解部が、前記入力画像をウェーブレット分解又はウェーブレットパケット分解することが望ましい。

【0023】

上記課題を解決するために本発明に係るプログラムは、コンピュータを、上記の帯域制限装置として機能させることを特徴とする。

【発明の効果】

【0024】

本発明における帯域制限装置及びプログラムによれば、符号化による画像劣化の抑制に適した制限周波数帯域を、高速かつ高精度にフィードフォワードで推定して、入力動画像の帯域制限を行うことができる。

【0025】

本発明を用いることで、その後のクリティカルな動画像の超高圧縮符号化において、ぼやけに起因するイントラフレームのフリッカやブロック歪に起因するインターフレームのフリッカなどのアーティファクトを抑制することができる。

【図面の簡単な説明】

【0026】

【図1】本発明の第１の実施形態に係る帯域制限装置の構成例を示すブロック図である。

【図2】入力画像を２階ウェーブレットパケット分解した周波数分解の様子を示す図である。

【図3】制限周波数帯域と非制限周波数帯域の例を示す図である。

【図4】本発明の第２の実施形態に係る帯域制限装置の構成例を示すブロック図である。

【図5】本発明で用いられる縮退関数の例を示す図である。

【図6】本発明と従来技術の画像処理結果の比較を示す図である。

【発明を実施するための形態】

【0027】

以下、本発明の実施の形態について説明する。

【0028】

（第１の実施形態）
本発明の第１の実施形態に係る帯域制限装置について説明する。図１は、本発明の第１の実施形態に係る帯域制限装置の構成例を示すブロック図である。帯域制限装置１は、動画像を入力し、入力画像の帯域を制限した帯域制限画像を外部に出力する装置である。図１に示す帯域制限装置１は、周波数分解部１１、制限周波数帯域設定部１２、縮退関数設定部１３、縮退処理部１４、及び周波数再構成部１５を備える。

【0029】

周波数分解部１１は、入力画像に対して周波数分解処理を行って周波数分解係数（周波数分解成分）及び区分された周波数帯域を生成し、制限周波数帯域設定部１２及び縮退関数設定部１３に出力する。なお、周波数分解における各階の周波数分解係数間には、パーセバルの等式が成り立つものとする。

【0030】

周波数分解部１１は、周波数分解処理として、入力画像を低周波帯域側にオクターブ分解するウェーブレット分解処理、又は入力画像を低周波帯域側及び高周波帯域側にオクターブ分解するウェーブレットパケット分解処理を行うのが好適である。また、これらの処理に用いるウェーブレットフィルタは、適宜選択することができ、例えば、Haarウェーブレットを用いることができる。また、タップ長が３以上で、かつ線形位相性を有するウェーブレットフィルタとして、ＣＤＦ（Cohen-Daubechies-Feauveau）５／３や、ＣＤＦ９／７を用いることもできる。

【0031】

なお、周波数帯域ごと及び位相位置ごとの制御を行うことが可能な帯域制限方法として、窓関数を用いたフーリエ変換を用いた縮退処理も可能であるが、該処理では、窓関数の特性にもよるが、不連続関数を正弦波関数及び余弦波関数で級数近似することにより、ギブス現象が発生することがある。さらには、画素数をＮとするとＮ log Ｎオーダーで計算量が増えるという問題がある。その点、ウェーブレットフィルタを用いた周波数分解処理によれば、これらの問題が発生しなくなる。

【0032】

したがって、周波数分解部１１の処理は、入力画像Ｉをウェーブレットフィルタφを用いてｎ階ウェーブレット分解又はｎ階ウェーブレットパケット分解して、その結果を後述するように、周波数帯域（以下、単に「帯域」ということもある。）Ｃ、及び周波数分解係数ｃとして、制限周波数帯域設定部１２及び縮退関数設定部１３に出力することが望ましい。

【0033】

制限周波数帯域設定部１２は、周波数分解部１１から入力された帯域Ｃ及び周波数分解係数ｃと、与えられた帯域設定情報（例えば、大きさ指標値の閾値τ_A及び分散値の閾値τ_D）に基づいて、周波数帯域Ｃを、帯域制限を行う制限周波数帯域Ｌと、それ以外の（帯域制限を行わない）非制限周波数帯域とに分けて設定し、その結果を縮退処理部１４に出力する。詳細は後述する。なお、帯域設定情報は、外部から入力される可変情報とすることが望ましいが、装置内に保持していてもよい。

【0034】

縮退関数設定部１３は、周波数分解部１１から入力された帯域Ｃ及び周波数分解係数ｃと、与えられた関数設定情報（例えば、基本減衰量γ₀）に基づいて、制限周波数帯域の周波数分解係数ｃに対して適用する縮退関数ｆを設定し、縮退処理部１４に出力する。この縮退関数は、制限周波数帯域毎に設定することができる。詳細は後述する。関数設定情報は、外部から入力される可変情報とすることが望ましいが、装置内に保持していてもよい。

【0035】

縮退処理部１４は、制限周波数帯域設定部１２で設定された帯域及び周波数分解係数ｃと、縮退関数設定部１３で設定された縮退関数ｆとに基づいて、周波数分解係数を縮退させた縮退係数を生成し、周波数再構成部１５に出力する。具体的には、制限周波数帯域Ｌの周波数分解係数ｃに対して縮退関数ｆを適用し、縮退係数とする。

【0036】

周波数再構成部１５は、縮退処理部１４により生成された縮退係数（縮退処理済みの周波数分解係数）に対して周波数再構成処理を行って帯域制限画像を生成し、外部に出力する。周波数分解部１１においてｎ階ウェーブレットパケット分解処理が行われていた場合には、周波数再構成部１５は、ｎ階ウェーブレットパケット再構成処理を行う。

【0037】

なお、上述した帯域制限装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、帯域制限装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで、帯域制限装置１を実現することができる。

【0038】

以下、各ブロックの処理について詳述する。まず、周波数分解部１１によるウェーブレットパケット分解について説明する。図２は、入力画像（入力動画像）をウェーブレットパケット分解した周波数分解の様子を示す図である。ここでは、入力画像Ｉの解像度を８Ｋ×４Ｋ（水平7,680画素、垂直4,320ライン）とし、ウェーブレットフィルタφをHaarウェーブレット、ウェーブレットパケット分解階数ｎ＝２とした例を示す。入力画像の周波数帯域は１６分割され、周波数分解部１１は、各周波数帯域Ｃと帯域内の周波数分解係数ｃを出力する。図２において、横軸は水平周波数、縦軸は垂直周波数であり、同図中のＣ^m,nは、画像Ｉを２階ウェーブレットパケット分解した各帯域を示す。ここでｍ，ｎ（上付き文字）は、Ｃ^m,nの水平，垂直方向の帯域番号である。そして帯域Ｃ^m,n内には周波数分解係数ｃ^m,n _k,lが存在する。ここでｋ，ｌ（下付き文字）は、帯域Ｃ^m,n内での水平，垂直方向の位相位置である。

【0039】

なお、周波数分解には２階のウェーブレット分解を利用してもよく、その場合は帯域が高周波側では１／４に分割した帯域となり、低周波側では１／１６に分割した帯域となるが、以下の処理は同様にできる。ただ、高周波数領域を細分化して帯域制限を行うには、ウェーブレットパケット分解が適している。

【0040】

次に、制限周波数帯域設定部１２の処理について説明する。まず、周波数分解部１１から入力された各帯域Ｃについて、全要素（周波数分解係数ｃ）の絶対値の大きさ指標値と分散値を求める。ここで、「大きさ指標値」は、各帯域内の全要素の絶対値の平均値、中央値、最頻値、及び最大値のいずれかである。以下の例では、大きさ指標値として「平均値」を用いる。求めた各周波数帯域Ｃ^m,n内の全要素（係数ｃ^m,n _k,l）の平均値Ａ^m,nと分散値Ｄ^m,nと、帯域設定情報（大きさ指標値の閾値τ_A及び分散値の閾値τ_D）に基づいて、帯域制限を行う制限周波数帯域を次のように設定する。

【0041】

空間最低周波数帯域Ｃ^1,1内の「全要素の絶対値の平均値Ａ^1,1」及び「全要素の絶対値の分散値Ｄ^1,1」に対して、各周波数帯域Ｃ^m,n内の「全要素の絶対値の平均値Ａ^m,n」及び「全要素の絶対値の分散値Ｄ^m,n」の割合が各々所定の閾値τ_A及びτ_D以上であれば、当該周波数帯域Ｃ^m,nは符号化劣化度が大きい多くの空間高周波成分を持つオブジェクトがランダムな動きをしている可能性が高いとして、制限周波数帯域Ｌ^m,nとする。絶対値の平均値Ａ^m,nが大きいことは輝度の高いオブジェクトの存在が予測され、絶対値の分散値Ｄ^m,nが大きいことは、動きベクトルが推定できない不規則な動きの存在が予測されるから、両者を判定に利用することにより、例えば、水面のキラキラした反射光やスパーク（火花）等のクリティカルな映像の特徴が現れた周波数帯域を抽出することができる。

【0042】

ここで、大きさ指標値の閾値τ_Aは０．０８～０．１５、分散値の閾値τ_Dは０．０７～０．１３程度に設定するのが望ましい。例えば、符号化方式がＨＥＶＣ／Ｈ．２６５で、１画素あたりの平均符号量が０．９０４［bit/pixel]（これは、８Ｋ解像度の入力動画像を３０Ｍｂｐｓで符号化したときの平均符号化量である。）の場合は、クリティカルな動画像を含む複数動画像の符号化結果（実験結果）からτ_A＝０．１２、τ_D＝０．１０と設定する。

【0043】

図３に、制限周波数帯域Ｌ^m,nと非制限周波数帯域（斜線のある帯域）の例を示す。この例では、帯域Ｃ^m,nのうち制限周波数帯域Ｌは、｛Ｌ^2,4，Ｌ^3,4，Ｌ^4,4，Ｌ^4,1，Ｌ^4,2，Ｌ^4,3｝である。

【0044】

次に、縮退関数設定部１３の処理について説明する。縮退関数設定部１３は、与えられた関数設定情報（基本関数、基本減衰量γ₀）に基づいて、制限周波数帯域の周波数分解係数ｃに対して適用する縮退関数ｆを設定する。一つの単純な例は、縮退関数の基本関数（式）を一次関数とし、与えられた基本減衰量γ₀又はγ₀に定数を乗じたものを減衰係数（傾き）とする比例関数を、縮退関数とすることである。この場合は、全ての制限周波数帯域Ｌ^m,nの周波数分解係数ｃ^m,n _k,lに対し、共通の縮退関数を設定する。

【0045】

しかし、圧縮符号化においては、要素の絶対値の平均値が大きいほど、量子化ステップ数を大きくとる必要があり、所要ビットレートが大きくなる。このため、所要ビットレートを小さくするために、減衰量を大きくすることが望ましい。以上を踏まえて、更に改善された縮退関数設定部１３では、各制限周波数帯域Ｌ^m,nにおいてその平均値Ａ^m,n（全要素の絶対値の大きさ指標値）のτ_A・Ａ^1,1（空間最低周波数帯域内の全要素の絶対値の大きさ指標値に閾値を乗算した値）に対する大きさに応じて減衰係数γ^m,nを設定する。なお、この平均値Ａ^m,nについては、制限周波数帯域設定部１２での処理結果を利用することができる。いま基本減衰量γ₀を０．１（２０[dB]減衰に相当）とし、例えば次式（１）のように、平均値Ａ^m,nのτ_A・Ａ^1,1に対する大きさの割合に応じて減衰係数γ^m,nを設定する。

【0046】

【数1】

【0047】

また、平均値Ａ^m,nがτ_A・Ａ^1,1を超えた量に応じて、次式（２）のように減衰係数γ^m,nを設定しても良い。

【0048】

【数2】

【0049】

そして、ｘを縮退関数の入力値、ｙを縮退関数の出力値として、縮退関数を一次関数ｙ＝ｍｘと設定し、この傾きｍを減衰係数γ^m,nとした縮退関数ｆを、次式（３）のように設定する。

【0050】

【数3】

【0051】

この縮退関数ｆを、縮退処理部１４に出力する。この場合は、各制限周波数帯域Ｌ^m,nごとに係数γ^m,nが異なる縮退関数が設定される。

【0052】

なお、式（３）では、基本関数を一次関数としたが、縮退関数を指数関数ｙ＝αｘβと設定し、この係数αを減衰係数γ^m,nとし、指数βを実験的に求めた所定の値（例えば、β＝０．８５）としても良い。このとき、縮退関数ｆは、次式（４）のように設定される。

【0053】

【数4】

【0054】

なお、縮退関数設定部１３は、各制限周波数帯域Ｌ^m,nにおける減衰係数γ^m,nのみを出力し、後段の縮退処理部１４において縮退関数ｆを構成してもよい。

【0055】

次に、縮退処理部１４の処理について説明する。縮退処理部１４は、制限周波数帯域Ｌ^m,n内の各要素（周波数分解係数）ｃ^m,n _k,lに、縮退関数設定部１３で設定された縮退関数ｆを適用して縮退処理を行い、縮退係数（縮退処理済みの周波数分解係数）を生成する。非制限周波数帯域の周波数分解係数ｃはそのまま出力するか、或いは、実質的に縮退を行わない関数（関数ｙ＝ｘ）による形式的な縮退処理を行う。こうして、周波数分解部１１により生成された各周波数分解係数ｃを縮退係数に変換する。この後は、この縮退係数に基づいて、周波数再構成部１５にて周波数再構成処理を行う。

【0056】

（第２の実施形態）
次に、本発明の第２の実施形態に係る帯域制限装置について説明する。一般に画像には、全周波数帯域においてほぼ一定の割合で白色ガウス性の熱雑音が含まれることが知られており、絶対値の小さい周波数分解係数は熱雑音の可能性が高い。そこで、第２の実施形態に係る帯域制限装置２は、絶対値が小さい周波数分解係数を熱雑音と見なして、強く縮退させる処理を加えるものである。

【0057】

図４は、本発明の第２の実施形態に係る帯域制限装置の構成例を示すブロック図である。帯域制限装置２は、動画像を入力し、入力画像の帯域を制限した帯域制限画像を外部に出力する。図４に示す帯域制限装置２は、周波数分解部１１、制限周波数帯域設定部１２、係数分類部１６、縮退関数設定部１３、縮退処理部１４、及び周波数再構成部１５を備える。第１の実施形態と同一の構成については、適宜説明を簡略化する。

【0058】

周波数分解部１１は、入力画像に対して周波数分解処理を行って周波数分解係数（周波数分解成分）を生成し、制限周波数帯域設定部１２及び縮退関数設定部１３に出力する。周波数分解部１１は、周波数分解処理として、ウェーブレット分解処理又はウェーブレットパケット分解処理を行うのが好適であり、第１の実施態様と同じ処理を行って、図２に示す周波数帯域Ｃ^m,n、及び周波数分解係数ｃ^m,n _k,lを出力する。

【0059】

制限周波数帯域設定部１２は、周波数分解部１１から入力された帯域Ｃ及び周波数分解係数ｃと、与えられた帯域設定情報（例えば、大きさ指標値の閾値τ_A及び分散値の閾値τ_D）に基づいて、周波数帯域Ｃを、帯域制限を行う制限周波数帯域Ｌと、帯域制限を行わない非制限周波数帯域とに分けて設定し、その結果を係数分類部１６に出力する。その処理は第１の実施形態と同じであり、例えば、各周波数帯域Ｃ^m,n内の「全要素の絶対値の平均値Ａ^m,n」及び「全要素の絶対値の分散値Ｄ^m,n」を、空間最低周波数帯域Ｃ^1,1内の平均値Ａ^1,1及び分散値Ｄ^1,1と対比して、制限周波数帯域Ｌを設定する。

【0060】

係数分類部１６は、制限周波数帯域設定部１２から入力された帯域Ｌ及び周波数分解係数ｃと、レベル判定に用いるパワー閾値τ_p（図示せず）に基づいて、周波数分解係数ｃを、（１）非制限周波数帯域でスペクトルパワー（周波数分解係数の絶対値）が大きい（パワー閾値τ_p以上の）周波数分解係数ｃ_a、（２）制限周波数帯域Ｌでスペクトルパワーが大きい（パワー閾値τ_p以上の）周波数分解係数ｃ_b、（３）それ以外、すなわち、全周波数帯域でスペクトルパワーが小さい（パワー閾値τ_p未満の）周波数分解係数ｃ_cに分類し、その結果を縮退処理部１４に出力する。なお、パワー閾値は、画質向上に適切な所定値を閾値としても良いし、各帯域の要素が取り得る最大値の絶対値の例えば５０％といったように、帯域毎に設定しても良い。パワー閾値は、外部から入力される可変情報としても、装置内に保持していてもよい。

【0061】

縮退関数設定部１３は、周波数分解部１１から入力された帯域Ｃ及び周波数分解係数ｃと、与えられた関数設定情報（例えば、基本関数が一次関数、基本減衰量γ₀）に基づいて、周波数分解係数ｃ_a、ｃ_b、ｃ_cのそれぞれに対して適用する縮退関数ｆ_a，ｆ_b，ｆ_cを設定し、縮退処理部１４に出力する。関数設定情報は、外部から入力される可変情報とすることが望ましいが、装置内に保持していてもよい。

【0062】

非制限周波数帯域でスペクトルパワー（絶対値）の大きい係数ｃ_aに適用する第１の縮退関数ｆ_aは、基本的に縮退関数の入力値ｘをそのまま出力する。すなわち、実質的な縮退を行わない関数とする。例えば、傾きｍ＝１の一次関数であり、次式（５）で表される。

【0063】

【数5】

【0064】

制限周波数帯域Ｌ^m,nでスペクトルパワーの大きい係数ｃ_bに適用する第２の縮退関数ｆ_bは、第１の実施形態における縮退関数設定部１３での処理と同様に、各帯域ごとに全要素の絶対値の大きさ指標値（例えば、平均値Ａ^m,n）に基づいて減衰係数γ^m,nを設定する。第２の縮退関数ｆ_bとして、前述の式（３）又は式（４）を利用することができる。

【0065】

スペクトルパワーの小さい係数ｃ_cに適用する第３の縮退関数ｆ_cは、第２の縮退関数ｆ_bよりも周波数分解係数を強く縮退させる関数とする。例えば、縮退関数を一次関数とし、その傾きをｍ＝０．０１とすることにより、ｆ_cは次式（６）で表される。これは、帯域制限量を４０［ｄＢ］に設定することになる。

【0066】

【数6】

【0067】

図５に、縮退関数ｆ_a，ｆ_b，ｆ_cの入出力特性を示す。なお、図５に示す縮退関数は一例であり、それぞれの画像処理に適した関数を設定することができる。

【0068】

縮退処理部１４は、係数分類部１６で分類された周波数分解係数ｃと、縮退関数設定部１３で設定された縮退関数ｆとに基づいて、周波数分解係数を縮退させた縮退係数を生成し、周波数再構成部１５に出力する。具体的には、周波数分解係数ｃ_aに対して縮退関数ｆ_aを適用し、周波数分解係数ｃ_bに対して縮退関数ｆ_bを適用し、周波数分解係数ｃ_cに対して縮退関数ｆ_cを適用し、縮退係数を生成する。

【0069】

周波数再構成部１５は、縮退処理部１４により生成された縮退係数（縮退処理済みの周波数分解係数）に対して周波数再構成処理を行って帯域制限画像を生成し、外部に出力する。周波数分解部１１においてｎ階ウェーブレットパケット分解処理が行われていた場合には、周波数再構成部１５は、ｎ階ウェーブレットパケット再構成処理を行う。

【0070】

なお、上述した帯域制限装置２として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、帯域制限装置２の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで、帯域制限装置２を実現することができる。

【0071】

（効果の検証）
本発明の効果を検証するために、図６に、本発明の効果として、実際に縮退関数を適用したウェーブレット縮退処理画像を示す。

【0072】

図６（Ａ）は、帯域制限処理を行わずに、超高圧縮符号化（８Ｋ動画像を３０Ｍｂｐｓで符号化）及び復号を経た画像である。一方、図６（Ｂ）は、本発明の帯域制限装置により帯域制限処理をした後に、超高圧縮符号化及び復号を経た画像である。両画像の比較により、本発明の帯域制限装置の帯域制限処理をした（Ｂ）の方が、画像の水面の破綻が抑制され、高画質な帯域制限画像が得られていることが分かる。すなわち、本発明により、超高精細動画像の超高圧縮符号化時に、クリティカルな動画像において符号化によるアーティファクトが抑制されることが分かる。

【0073】

上記の実施形態では、帯域制限装置の構成と動作について説明したが、本発明はこれに限らず、帯域制限画像の生成を行う方法として構成されてもよい。すなわち、図１のデータの流れに従って、入力画像の周波数分解を行う周波数分解ステップと、制限周波数帯域の設定を行う帯域設定ステップと、縮退関数の設定を行う関数設定ステップと、縮退関数に基づいて縮退処理を行う縮退処理ステップと、周波数再構成を行う再構成ステップとを備えた、帯域制限画像の生成方法として構成されても良い。

【0074】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

【符号の説明】

【0075】

１，２ 帯域制限装置
１１ 周波数分解部
１２ 制限周波数帯域設定部
１３ 縮退関数設定部
１４ 縮退処理部
１５ 周波数再構成部
１６ 係数分類部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】