知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-06
(45)【発行日】2023-06-14
(54)【発明の名称】画像処理装置及びプログラム
(51)【国際特許分類】
H04N 5/21 20060101AFI20230607BHJP
H04N 19/63 20140101ALI20230607BHJP
H04N 19/85 20140101ALI20230607BHJP
H04N 19/86 20140101ALI20230607BHJP
【ＦＩ】
H04N5/21
H04N19/63
H04N19/85
H04N19/86
【請求項の数】
4
(21)【出願番号】P 2019059522
(22)【出願日】2019-03-26
(65)【公開番号】P2020161985
(43)【公開日】2020-10-01
【審査請求日】2022-02-25
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100143568
【弁理士】
【氏名又は名称】英 貢
(72)【発明者】
【氏名】松尾 康孝
【審査官】松永 隆志
(56)【参考文献】
【文献】特開２０１８－１７４４７０（ＪＰ，Ａ）
【文献】特開２０１８－１７３８５７（ＪＰ，Ａ）
【文献】特開２０１３－１１４５１０（ＪＰ，Ａ）
【文献】中国特許出願公開第１０５０９６２８０（ＣＮ，Ａ）
【文献】Yasutaka Matsuo ほか２名，Pre-processing equipment of 8K video codec with low-pass filtering and noise reduction functions，2018 IEEE International Symposium on Signal Processing and Information Technology (ISSPIT)20，2018年12月08日
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／２１
Ｈ０４Ｎ １９／６３
Ｈ０４Ｎ １９／８５
Ｈ０４Ｎ １９／８６
(57)【特許請求の範囲】
【請求項1】
動画像をフレーム画像毎に入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて画像処理を行う画像処理装置であって、前記フレーム画像に対しｎ（ｎ≧２）階ウェーブレットパケット分解処理を施し、各周波数帯域の周波数分解係数を抽出するウェーブレットパケット分解部と、
当該各周波数帯域のうち所定の空間高周波数帯域群を制限帯域として抽出し、前記制限帯域内の水平高周波数帯域、垂直高周波数帯域、及び対角高周波数帯域の所定の閾値以上の周波数分解係数を連続信号成分とみなし、当該所定の閾値以上の周波数分解係数の平均値又は標準偏差、或いは中央値を前記制限帯域における各周波数帯域群の連続信号パワーとして検出する連続信号パワー検出部と、
少なくとも前記連続信号パワーと帯域制限量を指定する制限量パラメータとを基に、前記制限帯域における各周波数帯域群の縮退関数を設定する制限帯域用縮退関数設定部と、
前記ｎ階ウェーブレットパケット分解処理を施して得られる各周波数帯域の周波数分解係数に対し前記縮退関数を適用してウェーブレット縮退処理を実行することにより前記制限帯域内の周波数分解係数の帯域制限を行うウェーブレット縮退部と、
前記ウェーブレット縮退処理後の周波数分解係数を用いてウェーブレット再構成処理を施すことにより出力画像を生成する再構成部と、
前記ｎ階ウェーブレットパケット分解処理を施して得られる各周波数帯域の周波数分解係数のうち空間対角最高周波数帯域内の全ての周波数分解係数のパワーにおける予め定めた割合以上となるパワーを雑音成分とみなし、雑音パワーとして検出する雑音パワー検出部と、を備え、
前記制限帯域用縮退関数設定部は、前記連続信号パワーと、前記雑音パワーと、前記制限量パラメータとを基に、前記制限帯域における各周波数帯域群の縮退関数を設定することを特徴とする画像処理装置。
【請求項2】
前記制限帯域以外となる周波数帯域群を通過帯域とし、前記雑音パワーを基に前記通過帯域における周波数帯域群の縮退関数を設定する通過帯域用縮退関数設定部を更に備え、前記ウェーブレット縮退部は、前記制限帯域用縮退関数設定部、及び前記通過帯域用縮退関数設定部により設定された各縮退関数を適用してウェーブレット縮退処理を実行することにより前記制限帯域内の周波数分解係数の帯域制限と雑音除去、及び前記通過帯域内の周波数分解係数の雑音除去を行うことを特徴とする、請求項１に記載の画像処理装置。
【請求項3】
前記制限量パラメータは、前記制限帯域内で全体的に帯域制限するための第１の帯域制限量と、前記連続信号パワーを基準とした第２の帯域制限量とを含むことを特徴とする、請求項１又は２に記載の画像処理装置。
【請求項4】
コンピューターを、請求項１から３のいずれか一項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画をフレーム画像毎に入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて画像処理を行う画像処理装置及びプログラムに関する。
【背景技術】
【0002】
従来、動画をフレーム画像毎に入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて雑音除去を行う技法として、入力画像をウェーブレット変換した周波数分解係数のうち、所定の雑音レベル以下の成分をコアリングすることによりノイズ除去を行うことが知られている（例えば、非特許文献１参照）。
【0003】
また、ウェーブレット縮退を用いた画像処理装置として、高周波ノイズ画像と低周波ノイズ画像を抽出し、これらの画像が輝度成分の画像であるか色差成分の画像であるかに応じて分けて統合することで雑音レベルの低減を行う技法が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0004】
【文献】特許第５３５２９４２号明細書
【非特許文献】
【0005】
【文献】David L. Donoho, Iain M. Johnstone, Gerard Kerkyacharian and Dominique Picard: “Wavelet Shrinkage: Asymptopia?”, Journal of the Royal Statistical Society. Series B (Methodological), Vol. 57, No. 2, pp. 301-369, 1995.
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述したように、従来から、非特許文献１や特許文献１などのように、画像に対しウェーブレット縮退を用いて雑音除去する技法が知られている。
【0007】
一方で、近年、例えば次世代地上波放送として、ハイビジョンを超える超高精細動画像として４Ｋや８ＫのＳＨＶ（Super Hi-Vision）などの大容量コンテンツサービスを伝送することが検討されている。このような超高精細動画像の伝送にあたって高圧縮符号化を行う際に、空間高周波数帯域成分のパワーが大きいなどの理由で高圧縮符号化が困難な動画像が入力されうることが想定される。この場合、伝送容量としてその入力動画像が持つ膨大な情報量に対する符号化ビットレートが十分ではない事態が生じうるため、圧縮又は伝送に係る符号化に起因する画像破綻が発生する場合がある。
【0008】
そこで、超高精細動画像に対する高圧縮符号化処理の前段で、非特許文献１や特許文献１などの従来の雑音除去処理を行うことで、入力動画像が持つ情報量を削減することができる。
【0009】
しかし、従来の雑音除去処理を用いて超高精細動画像に対する雑音除去を行うと、画像破綻は抑制されるがエッジ成分などがぼやけやすいという問題がある。
【0010】
このため、超高精細動画像等の動画像に対し圧縮符号化処理の前段でウェーブレット縮退を用いて情報量を削減するにあたり、エッジ成分などのぼやけを抑制しながら圧縮符号化が困難な動画像で発生する画像破綻を抑制し、動画像の符号化品質を向上させる技法が望まれる。
【0011】
従って、本発明の目的は、圧縮符号化処理の前段で動画をフレーム画像毎に入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて画像処理を行い、エッジ成分などのぼやけを抑制しながら圧縮符号化処理に係る画質を向上させる画像処理装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0012】
本発明による一態様の画像処理装置は、圧縮符号化処理の前段で動画をフレーム画像毎に入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて画像処理を行う際に、ウェーブレットパケット分解に基づく各周波数帯域群の連続信号パワーに基づいて、エッジ成分などのぼやけを抑制しながら少なくとも帯域制限を行う縮退関数の設定を適応的に行うように構成する。更に、本発明による別態様の画像処理装置は、エッジ成分などのぼやけを抑制しながら帯域制限及び雑音除去の双方を可能とするために、処理対象の動画像の各フレーム画像に対しウェーブレットパケット分解に基づく各周波数帯域群の連続信号パワー及び雑音パワーの双方に基づいて効率的に縮退関数を設定する。
【0013】
即ち、本発明の画像処理装置は、動画像をフレーム画像毎に入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて画像処理を行う画像処理装置であって、前記フレーム画像に対しｎ（ｎ≧２）階ウェーブレットパケット分解処理を施し、各周波数帯域の周波数分解係数を抽出するウェーブレットパケット分解部と、当該各周波数帯域のうち所定の空間高周波数帯域群を制限帯域として抽出し、前記制限帯域内の水平高周波数帯域、垂直高周波数帯域、及び対角高周波数帯域の所定の閾値以上の周波数分解係数を連続信号成分とみなし、当該所定の閾値以上の周波数分解係数の平均値又は標準偏差、或いは中央値を前記制限帯域における各周波数帯域群の連続信号パワーとして検出する連続信号パワー検出部と、少なくとも前記連続信号パワーと帯域制限量を指定する制限量パラメータとを基に、前記制限帯域における各周波数帯域群の縮退関数を設定する制限帯域用縮退関数設定部と、前記ｎ階ウェーブレットパケット分解処理を施して得られる各周波数帯域の周波数分解係数に対し前記縮退関数を適用してウェーブレット縮退処理を実行することにより前記制限帯域内の周波数分解係数の帯域制限を行うウェーブレット縮退部と、前記ウェーブレット縮退処理後の周波数分解係数を用いてウェーブレット再構成処理を施すことにより出力画像を生成する再構成部と、前記ｎ階ウェーブレットパケット分解処理を施して得られる各周波数帯域の周波数分解係数のうち空間対角最高周波数帯域内の全ての周波数分解係数のパワーにおける予め定めた割合以上となるパワーを雑音成分とみなし、雑音パワーとして検出する雑音パワー検出部と、を備え、前記制限帯域用縮退関数設定部は、前記連続信号パワーと、前記雑音パワーと、前記制限量パラメータとを基に、前記制限帯域における各周波数帯域群の縮退関数を設定することを特徴とする。
【0015】
また、本発明の画像処理装置において、前記制限帯域以外となる周波数帯域群を通過帯域とし、前記雑音パワーを基に前記通過帯域における周波数帯域群の縮退関数を設定する通過帯域用縮退関数設定部を更に備え、前記ウェーブレット縮退部は、前記制限帯域用縮退関数設定部、及び前記通過帯域用縮退関数設定部により設定された各縮退関数を適用してウェーブレット縮退処理を実行することにより前記制限帯域内の周波数分解係数の帯域制限と雑音除去、及び前記通過帯域内の周波数分解係数の雑音除去を行うことを特徴とする。
【0016】
また、本発明の画像処理装置において、前記制限量パラメータは、前記制限帯域内で全体的に帯域制限するための第１の帯域制限量と、前記連続信号パワーを基準とした第２の帯域制限量とを含むことを特徴とする。
【0017】
更に、本発明のプログラムは、コンピューターを、本発明の画像処理装置として機能させるためのプログラムとして構成する。
【発明の効果】
【0018】
本発明によれば、エッジ成分などのぼやけを抑制しながら符号化が困難な動画像で発生する画像破綻を抑制することができ、動画像符号化品質を向上させることが可能となる。
【図面の簡単な説明】
【0019】
【図1】本発明による一実施形態の画像処理装置の概略構成を示すブロック図である。
【図2】本発明による一実施形態の画像処理装置における一実施例の画像処理に係る２階ウェーブレットパケット分解によって得られる周波数帯域を示す図である。
【図3】本発明による一実施形態の画像処理装置における一実施例の画像処理を示すフローチャートである。
【図4】（ａ），（ｂ）は、それぞれ本発明による一実施形態の画像処理装置における一実施例の画像処理に係る通過帯域用、及び各制限帯域用の縮退関数の説明図である。
【図5】（ａ），（ｂ）は、それぞれ本発明による一実施形態の画像処理装置における変形例の画像処理に係る通過帯域用、及び各制限帯域用の縮退関数の説明図である。
【図6】本発明による一実施形態の画像処理装置における一実施例の画像処理に係る３階ウェーブレットパケット分解によって得られる周波数帯域を示す図である。
【発明を実施するための形態】
【0020】
以下、本発明による一実施形態の画像処理装置１について、図面を参照して詳細に説明する。
【0021】
〔装置構成〕
図１は本発明による一実施形態の画像処理装置１の概略構成を示すブロック図である。本実施形態の画像処理装置１は、圧縮符号化処理の前段で動画をフレーム画像毎に入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて画像処理を行う装置として構成され、ウェーブレットパケット分解部１１、連続信号パワー検出部１２、雑音パワー検出部１３、制限帯域用縮退関数設定部１４、通過帯域用縮退関数設定部１５、ウェーブレット縮退部１６、及び再構成部１７を備える。尚、図１に示す例において、画像処理装置１に対しウェーブレットパケット分解階数（ｎ階）を外部指定可能とし、画像処理装置１内の必要とされる各構成要素に対し個別に外部指定するように図示しているが、パラメータとして伝送しながら処理する構成とすることも可能である。
図１は本発明による一実施形態の画像処理装置１の概略構成を示すブロック図である。本実施形態の画像処理装置１は、圧縮符号化処理の前段で動画をフレーム画像毎に入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて画像処理を行う装置として構成され、ウェーブレットパケット分解部１１、連続信号パワー検出部１２、雑音パワー検出部１３、制限帯域用縮退関数設定部１４、通過帯域用縮退関数設定部１５、ウェーブレット縮退部１６、及び再構成部１７を備える。尚、図１に示す例において、画像処理装置１に対しウェーブレットパケット分解階数（ｎ階）を外部指定可能とし、画像処理装置１内の必要とされる各構成要素に対し個別に外部指定するように図示しているが、パラメータとして伝送しながら処理する構成とすることも可能である。
【0022】
ウェーブレットパケット分解部１１は、動画のフレーム画像を入力画像として入力し、設定されたウェーブレットパケット分解階数（ｎ階）に従って（ｎ≧２）、入力画像に対しｎ階ウェーブレットパケット分解処理を施し、これにより得られる各周波数帯域の周波数分解係数をウェーブレット縮退部１６に出力する。尚、当該ｎ階ウェーブレットパケット分解によって得られる各周波数帯域の周波数分解係数のうち所定の空間高周波数帯域群の周波数分解係数は制限帯域として連続信号パワー検出部１２にて抽出され、当該ｎ階ウェーブレットパケット分解によって得られる各周波数帯域の周波数分解係数のうち空間対角高周波数帯域内の周波数分解係数は雑音パワー検出部１３にて抽出される。
【0023】
図２を参照して、より具体的に空間高周波数帯域群及び空間低周波数帯域群について説明する。図２は、本発明による一実施形態の画像処理装置１における一実施例の画像処理に係る２階ウェーブレットパケット分解によって得られる周波数帯域を示す図である。図２は放送カメラで撮像された所謂８Ｋの映像の画像サイズ（水平解像度８Ｋ（７６８０画素）×垂直解像度４Ｋ（４３２０画素））のフレーム画像を入力画像とした例であり、この入力画像に対しそれぞれ水平・垂直方向に２階ウェーブレットパケット分解を行うことで、水平周波数×垂直周波数で表される図示するような、２階の空間低周波数帯域ＬＬｍ、水平高周波数帯域ＬＨｍ、垂直高周波数帯域ＨＬｍ、及び対角（水平・垂直）高周波数帯域ＨＨｍ（ｍは各周波数帯域群Ｃｍの群番号）に分解される。そして、空間低周波数帯域群に属する周波数帯域群Ｃ１は雑音成分のみの除去を対象とする通過帯域とし、空間高周波数帯域群に属する周波数帯域群Ｃ２，Ｃ３，Ｃ４は、エッジ成分などのぼやけを抑制しながら帯域制限を行うことを対象とする制限帯域として予め定めている。
【0024】
即ち、図２に示す例において、例えば８Ｋのフレーム画像を４Ｋのフレーム画像に縮退することを想定し、周波数帯域群Ｃ１を通過帯域、周波数帯域群Ｃ２，Ｃ３，Ｃ４は制限帯域とするように定めている。ｎ階ウェーブレットパケット分解して得られる周波数帯域群Ｃｍについて、どの周波数帯域群を通過帯域又は制限帯域とするかは、ｎ階ウェーブレットパケット分解におけるｎの値で一意に定まるように予め定めておくものとする。尚、ｎ階ウェーブレットハケット分解における各階間には、パーセバルの法則が成り立つものとなっている。
【0025】
図１に示すように、連続信号パワー検出部１２は、ウェーブレットパケット分解階数（ｎ階）に従って、ウェーブレットパケット分解部１１からの出力値のうち制限帯域である各空間高周波数帯域群Ｃｍ（＝Ｃ２，Ｃ３，Ｃ４）内の水平高周波数帯域ＬＨｍ、垂直高周波数帯域ＨＬｍ、及び対角高周波数帯域ＨＨｍの周波数分解係数を抽出し所定の閾値Ｔｈ以上の周波数分解係数を連続信号成分とみなす。そして、連続信号パワー検出部１２は、当該所定の閾値Ｔｈ以上の周波数分解係数の平均値又は標準偏差、或いは中央値を制限帯域における各周波数帯域群の連続信号パワーＰｃ
ｍとして検出し制限帯域用縮退関数設定部１４に出力する。
【0026】
雑音パワー検出部１３は、ウェーブレットパケット分解階数（ｎ階）に従って、ウェーブレットパケット分解部１１からの出力値である各周波数帯域群Ｃｍ（＝Ｃ１，Ｃ２，Ｃ３，Ｃ４）のうち空間対角高周波数帯域（本例ではｎ＝２としており、ＨＨ４）を抽出する。そして、雑音パワー検出部１３は、ｎ階ウェーブレットパケット分解して得られる空間対角最高周波数帯域（本例ではｎ＝２としており、ＨＨ４）内の全成分（全周波数分解係数）のパワーにおける予め定めた割合以上となるパワー（上位α％番目のパワー）を雑音成分とみなし、雑音パワーＰＮとして検出し制限帯域用縮退関数設定部１４、及び通過帯域用縮退関数設定部１５に出力する。
【0027】
制限帯域用縮退関数設定部１４は、連続信号パワー検出部１２から得られる制限帯域における各周波数帯域群Ｃｍ（＝Ｃ２，Ｃ３，Ｃ４）の連続信号パワーＰｃ
ｍと、雑音パワー検出部１３から得られる雑音パワーＰＮと、帯域制限量を指定する制限量パラメータとを基に、ウェーブレット縮退部１６で用いる制限帯域における各周波数帯域群の縮退関数Ｓｍ（＝Ｓ２，Ｓ３，Ｓ４）を設定する。制限量パラメータには、制限帯域内で全体的に帯域制限するための第１の帯域制限量（例えば６［ｄＢ］）と、連続信号（エッジなど）に対するぼやけを抑制しつつ帯域を制限するため連続信号パワーＰｃ
ｍを基準とした第２の帯域制限量（例えば２０［ｄＢ］）とが含まれる。
【0028】
一方、通過帯域用縮退関数設定部１５は、雑音パワー検出部１３から得られる雑音パワーＰＮを基に、ウェーブレット縮退部１６で用いる通過帯域における周波数帯域群Ｃｍ（＝Ｃ１）の縮退関数Ｓｍ（＝Ｓ１）を設定する。
【0029】
ウェーブレット縮退部１６は、ウェーブレットパケット分解部１１から入力された各周波数帯域の周波数分解係数に対し、制限帯域用縮退関数設定部１４、及び通過帯域用縮退関数設定部１５により設定された縮退関数を適用してウェーブレット縮退処理を実行する。これにより、ウェーブレット縮退部１６は、制限帯域内の周波数分解係数の帯域制限と雑音除去、及び通過帯域内の周波数分解係数の雑音除去を行い、帯域制限及び雑音除去後の各周波数帯域内の周波数分解係数を再構成部１７に出力する。
【0030】
再構成部１７は、ウェーブレット縮退処理によって帯域制限及び雑音除去された各周波数帯域の周波数分解係数を用いてウェーブレット再構成処理を施すことにより出力画像を生成し外部に出力する。
【0031】
【0032】
図３は、本発明による一実施形態の画像処理装置１における一実施例の画像処理を示すフローチャートである。
【0033】
まず、画像処理装置１は、ウェーブレットパケット分解部１１により、動画のフレーム画像を入力画像として入力し、設定されたウェーブレットパケット分解階数（ｎ階）に従って（ｎ≧２）、入力画像に対しｎ階ウェーブレットパケット分解処理を施し、これにより得られる各周波数帯域の周波数分解係数を得る（ステップＳ１）。
【0034】
続いて、画像処理装置１は、連続信号パワー検出部１２により、ウェーブレットパケット分解階数（ｎ階）に従って、ウェーブレットパケット分解部１１からの出力値のうち制限帯域である各空間高周波数帯域群Ｃｍ（＝Ｃ２，Ｃ３，Ｃ４）内の水平高周波数帯域ＬＨｍ、垂直高周波数帯域ＨＬｍ、及び対角高周波数帯域ＨＨｍの周波数分解係数を抽出し所定の閾値Ｔｈ以上の周波数分解係数を連続信号成分とみなす。そして、連続信号パワー検出部１２は、当該所定の閾値Ｔｈ以上の周波数分解係数の平均値又は標準偏差、或いは中央値を制限帯域における各周波数帯域群の連続信号パワーＰｃ
ｍとして検出する（ステップＳ２）。
【0035】
ここで、制限帯域における各周波数帯域群の連続信号パワーＰｃ
ｍは、各空間高周波数帯域群Ｃｍ（＝Ｃ２，Ｃ３，Ｃ４）内の各周波数帯域ＬＨｍ，ＨＬｍ，ＨＨｍの周波数分解係数（信号成分）のうち閾値Ｔｈ以上の成分が水平、垂直、対角方向に連続なエッジ成分である可能性が高いことを利用して求めるものとする。例えば、図２に示す例を参照して説明するに、連続信号パワー検出部１２は、２階の周波数帯域群Ｃ４における各周波数帯域ＬＨ４，ＨＬ４，ＨＨ４の周波数分解係数（信号成分）のうち閾値Ｔｈ以上の成分のパワーの平均値（或いは標準偏差又は中央値でもよい。）を連続信号パワーＰｃ
４として求め、２階の周波数帯域群Ｃ２，Ｃ３における各連続信号パワーＰｃ
２，Ｐｃ
３もそれぞれ同様に定めたち閾値Ｔｈ（ただし、各空間高周波数帯域群Ｃ２，Ｃ３，Ｃ４で異なる閾値としてもよい。）に基づき求める。
【0036】
続いて、画像処理装置１は、雑音パワー検出部１３は、ウェーブレットパケット分解階数（ｎ階）に従って、ウェーブレットパケット分解部１１からの出力値である空間対角最高周波数帯域（本例ではｎ＝２としており、ＨＨ４）を抽出し、その空間対角最高周波数帯域ＨＨ４内の全成分（全周波数分解係数）のパワーにおける予め定めた上位α％番目のパワーを雑音成分とみなし、雑音パワーＰＮとして検出する（ステップＳ３）。
【0037】
一般に、信号成分のパワーは低周波数帯域に偏在する。一方、熱雑音などの雑音成分のパワーは全周波数帯域群でほぼ一定である。このため、ｎ階ウェーブレットパケット分解による空間対角最高周波数帯域内の成分は雑音成分が支配的となる。そこで、雑音パワー検出部１３は、本例では２階ウェーブレットパケット分解による空間対角最高周波数帯域（本例ではｎ＝２としており、ＨＨ４）内の全成分のパワーにおける上位α％番目のパワーを雑音パワーＰＮとして検出する。例えばα＝９５とすると、空間対角最高周波数帯域ＨＨ４内の全成分のパワーをソートしてその上位９５％番目の値を雑音パワーＰＮとする。
【0038】
続いて、画像処理装置１は、制限帯域用縮退関数設定部１４及び通過帯域用縮退関数設定部１５により、連続信号パワーＰｃ
ｍ及び雑音パワーＰＮを基に、制限帯域及び通過帯域毎に縮退関数を設定する（ステップＳ４）。
【0039】
より具体的には、制限帯域用縮退関数設定部１４は、連続信号パワー検出部１２から得られる制限帯域における各周波数帯域群Ｃｍ（＝Ｃ２，Ｃ３，Ｃ４）の連続信号パワーＰｃ
ｍと、雑音パワー検出部１３から得られる雑音パワーＰＮと、連続信号パワーＰｃ
ｍを考慮して定められる帯域制限量を指定する制限量パラメータとを基に、ウェーブレット縮退部１６で用いる制限帯域における各周波数帯域群の縮退関数Ｓｍ（＝Ｓ２，Ｓ３，Ｓ４）を設定する。
【0040】
例えば、図４（ｂ）に示すように、制限帯域用縮退関数設定部１４は、制限量パラメータとして、制限帯域内で全体的に帯域制限するための第１の帯域制限量は６［ｄＢ］とし、連続信号（エッジなど）に対するぼやけを抑制しつつ帯域を制限するため連続信号パワーＰｃ
ｍを基準とした第２の帯域制限量は２０［ｄＢ］とする。この場合、制限帯域用縮退関数設定部１４は、入力ｘに対する出力ｙで示される縮退関数Ｓ２，Ｓ３，Ｓ４について、第１の帯域制限量６［ｄＢ］に対応するｙ＝０．５ｘと、第２の帯域制限量２０［ｄＢ］に対応するｙ＝０．１ｘと、制限帯域における各周波数帯域群Ｃｍ（＝Ｃ２，Ｃ３，Ｃ４）の連続信号パワーＰｃ
ｍと、雑音パワーＰＮとを基に定めることができ、ウェーブレット縮退部１６に対して当該縮退関数Ｓ２，Ｓ３，Ｓ４を設定する。尚、図４（ｂ）に示す傾き係数ｍ０は、２０ｄＢとする第２の帯域制限量で自ずと定まる。そしてｍ０をゼロとしないことからぼやけを抑制することができる。
【0041】
また、通過帯域用縮退関数設定部１５は、雑音パワー検出部１３から得られる雑音パワーＰＮを基に、ウェーブレット縮退部１６で用いる通過帯域における周波数帯域群Ｃｍ（＝Ｃ１）の縮退関数Ｓｍ（＝Ｓ１）を設定する。
【0042】
例えば、図４（ａ）に示すように、入力ｘに対する出力ｙで示される縮退関数Ｓ１について、帯域制限は行わないｙ＝ｘ上で、雑音成分を抑圧する雑音パワーＰＮを基に定めることができ、ウェーブレット縮退部１６に対して当該縮退関数Ｓ１を設定する。
【0043】
続いて、画像処理装置１は、ウェーブレット縮退部１６は、ウェーブレットパケット分解部１１から入力された各周波数帯域の周波数分解係数に対し、制限帯域用縮退関数設定部１４、及び通過帯域用縮退関数設定部１５により設定された縮退関数を適用してウェーブレット縮退処理を実行することにより制限帯域内の周波数分解係数の帯域制限と雑音除去、及び通過帯域内の周波数分解係数の雑音除去を行う（ステップＳ５）。
【0044】
最終的に、画像処理装置１は、再構成部１７により、ウェーブレット縮退処理によって帯域制限及び雑音除去された各周波数帯域の周波数分解係数を用いてウェーブレット再構成処理を施すことにより出力画像を生成し外部に出力する（ステップＳ６）。
【0045】
以上のように、本実施形態の画像処理装置１は、圧縮符号化処理の前段で入力される動画のフレーム画像毎に上記の処理を行うことで、適応的、且つ効率的にエッジ成分などのぼやけを抑制しながら帯域制限と雑音除去の双方を行うことが実現される。
【0046】
（変形例）
尚、上述した実施形態の例では、画像処理装置１に雑音パワー検出部１３及び通過帯域用縮退関数設定部１５を設け、図４に例示する縮退関数をウェーブレット縮退部１６に設定する例を説明したが、上記の雑音パワー検出部１３及び通過帯域用縮退関数設定部１５を省略してもよい。この変形例の縮退関数を図５に例示している。
尚、上述した実施形態の例では、画像処理装置１に雑音パワー検出部１３及び通過帯域用縮退関数設定部１５を設け、図４に例示する縮退関数をウェーブレット縮退部１６に設定する例を説明したが、上記の雑音パワー検出部１３及び通過帯域用縮退関数設定部１５を省略してもよい。この変形例の縮退関数を図５に例示している。
【0047】
図５（ａ）に示すように、入力ｘに対する出力ｙで示される縮退関数Ｓ１については、帯域制限は行わないｙ＝ｘとするため、通過帯域用縮退関数設定部１５の設置を省略でき、処理負担をより軽減させることができる。
【0048】
また、図５（ｂ）に示すように、雑音パワー検出部１３の設置を省略したとき、制限帯域用縮退関数設定部１４は、入力ｘに対する出力ｙで示される縮退関数Ｓ２，Ｓ３，Ｓ４について、第１の帯域制限量６［ｄＢ］に対応するｙ＝０．５ｘと、第２の帯域制限量２０［ｄＢ］に対応するｙ＝０．１ｘと、制限帯域における各周波数帯域群Ｃｍ（＝Ｃ２，Ｃ３，Ｃ４）の連続信号パワーＰｃ
ｍとを基に定めることができ、ウェーブレット縮退部１６に対して当該縮退関数Ｓ２，Ｓ３，Ｓ４を設定する。図５（ｂ）に示す例においても、傾き係数ｍ０は、２０ｄＢとする第２の帯域制限量で自ずと定まり、ｍ０をゼロとしないことからぼやけを抑制することができる。
【0049】
（応用例）
上述した一実施例及び変形例では、ｎ＝２とした２階ウェーブレットパケット分解で動作するときの例を主として説明したが、ｎ≧３以上とすることもできる。例えば、図６に示すように、ｎ＝３とした３階ウェーブレットパケット分解で動作させることもできる。図６では放送カメラで撮像された所謂８Ｋの映像の画像サイズ（水平解像度８Ｋ（７６８０画素）×垂直解像度４Ｋ（４３２０画素））のフレーム画像を入力画像とした例であり、この入力画像に対しそれぞれ水平・垂直方向に３階ウェーブレットパケット分解を行うことで、水平周波数×垂直周波数で表される図示するような、３階の空間低周波数帯域ＬＬｍ、水平高周波数帯域ＬＨｍ、垂直高周波数帯域ＨＬｍ、及び対角（水平・垂直）高周波数帯域ＨＨｍ（ｍは各周波数帯域群Ｃｍの群番号）に分解される。そして、図６に示す空間低周波数帯域群に属する周波数帯域群Ｃ１～Ｃ９は雑音成分のみの除去を対象とする通過帯域とし、空間高周波数帯域群に属する周波数帯域群Ｃ１０～Ｃ１６は、エッジ成分などのぼやけを抑制しながら雑音除去を対象とする制限帯域として予め定めておけばよい。
上述した一実施例及び変形例では、ｎ＝２とした２階ウェーブレットパケット分解で動作するときの例を主として説明したが、ｎ≧３以上とすることもできる。例えば、図６に示すように、ｎ＝３とした３階ウェーブレットパケット分解で動作させることもできる。図６では放送カメラで撮像された所謂８Ｋの映像の画像サイズ（水平解像度８Ｋ（７６８０画素）×垂直解像度４Ｋ（４３２０画素））のフレーム画像を入力画像とした例であり、この入力画像に対しそれぞれ水平・垂直方向に３階ウェーブレットパケット分解を行うことで、水平周波数×垂直周波数で表される図示するような、３階の空間低周波数帯域ＬＬｍ、水平高周波数帯域ＬＨｍ、垂直高周波数帯域ＨＬｍ、及び対角（水平・垂直）高周波数帯域ＨＨｍ（ｍは各周波数帯域群Ｃｍの群番号）に分解される。そして、図６に示す空間低周波数帯域群に属する周波数帯域群Ｃ１～Ｃ９は雑音成分のみの除去を対象とする通過帯域とし、空間高周波数帯域群に属する周波数帯域群Ｃ１０～Ｃ１６は、エッジ成分などのぼやけを抑制しながら雑音除去を対象とする制限帯域として予め定めておけばよい。
【0050】
図６に示すように３階ウェーブレットパケット分解を行う場合も、図２に示した例と同様に、連続信号パワー検出部１２によって制限帯域における各周波数帯域群Ｃｍ（＝Ｃ１０～Ｃ１６）の各連続信号パワーＰｃ
ｍを求めることができ、及び雑音パワー検出部１３によって３階ウェーブレットパケット分解による空間対角最高周波数帯域（本例ではｎ＝３としており、ＨＨ１６）から雑音パワーＰＮを求めることができる。このため、制限帯域用縮退関数設定部１４、及び通過帯域用縮退関数設定部１５は、図２に示した例と同様に、ウェーブレット縮退部１６に対し、制限帯域及び通過帯域における各縮退関数を設定することができる。
【0051】
以上の実施形態における画像処理装置１は、コンピューターにより構成することができ、画像処理装置１の各処理部を機能させるためのプログラムを好適に用いることができる。具体的には、画像処理装置１の各処理部を制御するための制御部をコンピューター内の中央演算処理装置（ＣＰＵ）で構成でき、且つ、各処理部を動作させるのに必要となるプログラムを適宜記憶する記憶部を少なくとも１つのメモリで構成させることができる。即ち、そのようなコンピューターに、ＣＰＵによって該プログラムを実行させることにより、画像処理装置１の各処理部の有する機能を実現させることができる。更に、画像処理装置１の各処理部の有する機能を実現させるためのプログラムを、前述の記憶部（メモリ）の所定の領域に格納させることができる。そのような記憶部は、装置内部のＲＡＭ又はＲＯＭなどで構成させることができ、或いは又、外部記憶装置（例えば、ハードディスク）で構成させることもできる。また、そのようなプログラムは、コンピューターで利用されるＯＳ上のソフトウェア（ＲＯＭ又は外部記憶装置に格納される）の一部で構成させることができる。更に、そのようなコンピューターに、画像処理装置１の各処理部として機能させるためのプログラムは、コンピューター読取り可能な記録媒体に記録することができる。また、画像処理装置１の各処理部をハードウェア又はソフトウェアの一部として構成させ、各々を組み合わせて実現させることもできる。
【0052】
以上、特定の実施形態の例を挙げて本発明を説明したが、本発明は前述の実施形態の例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、上述した実施形態の例では、主として、２階又は３階ウェーブレットパケット分解に基づくウェーブレット縮退を用いて雑音除去を行う例を説明したが、４階以上のウェーブレットパケット分解に基づいたウェーブレット縮退を用いて雑音除去を行う処理とすることもできる。従って、本発明に係る画像処理装置１は、上述した実施形態の例に限定されるものではなく、特許請求の範囲の記載によってのみ制限される。
【産業上の利用可能性】
【0053】
本発明によれば、エッジ成分などのぼやけを抑制しながら符号化が困難な動画像で発生する画像破綻を抑制することができるので、特に、動画像符号化を要する用途に有用である。
【符号の説明】
【0054】
１ 画像処理装置
１１ ウェーブレットパケット分解部
１２ 連続信号パワー検出部
１３ 雑音パワー検出部
１４ 制限帯域用縮退関数設定部
１５ 通過帯域用縮退関数設定部
１６ ウェーブレット縮退部
１７ 再構成部
１１ ウェーブレットパケット分解部
１２ 連続信号パワー検出部
１３ 雑音パワー検出部
１４ 制限帯域用縮退関数設定部
１５ 通過帯域用縮退関数設定部
１６ ウェーブレット縮退部
１７ 再構成部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
