特開 2015-176162 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2015-176162(P2015-176162A)

(43)【公開日】2015年10月5日

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   G06T 5/00 20060101AFI20150908BHJP

   H04N 1/409 20060101ALI20150908BHJP

【ＦＩ】

   G06T5/00 300

   H04N1/40 101C

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

【全頁数】28

(21)【出願番号】特願2014-49507(P2014-49507)

(22)【出願日】2014年3月12日

(71)【出願人】

【識別番号】591128453

【氏名又は名称】株式会社メガチップス

(74)【代理人】

【識別番号】100136353

【弁理士】

【氏名又は名称】高尾 建吾

(72)【発明者】

【氏名】澤田 卓也

(72)【発明者】

【氏名】大安 英輝

【テーマコード（参考）】

5B057

5C077

【Ｆターム（参考）】

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CE02

5B057CE06

5B057CH07

5B057CH18

5B057DC22

5C077LL02

5C077LL19

5C077MP07

5C077PP02

5C077PP09

5C077PP28

5C077PP46

5C077PP57

(57)【要約】

【課題】画質の劣化を回避しつつ高いノイズ除去効果を実現することが可能であり、しかも、処理時間の短縮及び回路規模の削減を図ることが可能な画像処理装置を得る。
【解決手段】設定部２３は、入力画像全体の画像データＤ２に基づいて入力画像毎の第１の補正値を設定し、補正部１３は、画像データＤ３に対して周波数成分毎に補正処理を実行することにより画像データＤ４を生成する。また、設定部２３は、入力画像における周波数成分値間の比率が、ノイズを含まない理想画像における周波数成分値間の比率に等しくなるように、入力画像における各周波数成分値を変換するための変換値を、第１の補正値として設定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

入力画像に対してノイズ除去処理を実行することにより、出力画像を出力する画像処理装置であって、
入力画像から所定のブロック単位で抽出した空間領域の第１画像データを、複数の周波数成分を含む周波数領域の第２画像データに変換する変換部と、
第２画像データに対して量子化処理を実行することにより、第３画像データを生成する量子化部と、
第３画像データに対して周波数成分毎に補正処理を実行することにより、第４画像データを生成する補正部と、
入力画像全体の第２画像データに基づいて、補正処理に用いる入力画像毎の第１の補正値を設定する第１の補正値設定部と、
を備え、
前記第１の補正値設定部は、入力画像における周波数成分値間の比率が、ノイズを含まない理想画像における周波数成分値間の比率に等しくなるように、入力画像における各周波数成分値を変換するための変換値を、第１の補正値として設定する、画像処理装置。

【請求項2】

第１画像データに基づいて、ブロック毎の活発性評価値を算出する演算部と、
第１の補正値と、ブロック毎の活発性評価値とに基づいて、補正処理に用いるブロック毎の第２の補正値を設定する第２の補正値設定部と、
をさらに備える、請求項１に記載の画像処理装置。

【請求項3】

前記第２の補正値設定部は、
周波数成分別に任意の乗数が設定されたマスクを、活発性評価値に応じて複数種類保持しており、
前記演算部によって算出された活発性評価値に対応するマスクを用いて第１の補正値のマスキングを行うことによって、第２の補正値を設定する、請求項２に記載の画像処理装置。

【請求項4】

前記第２の補正値設定部は、
活発性評価値が低レベルのブロックに関しては、低周波成分においては第１の補正値を第２の補正値として設定し、中周波成分及び高周波成分においては略ゼロ値を第２の補正値として設定し、
活発性評価値が中レベルのブロックに関しては、低周波成分及び中周波成分においては第１の補正値を第２の補正値として設定し、高周波成分においては略ゼロ値を第２の補正値として設定し、
活発性評価値が高レベルのブロックに関しては、低周波成分、中周波成分、及び高周波成分において第１の補正値を第２の補正値として設定する、請求項３に記載の画像処理装置。

【請求項5】

各画素の画素値と、当該画素に隣接する複数の周辺画素の画素値とに基づいて、各画素の平滑値を算出する平滑化処理部をさらに備え、
前記演算部は、各画素の平滑値と、平滑値のブロック内平均値との差分絶対値和を算出し、当該差分絶対値和のブロック内平均値として、ブロック毎の活発性評価値を算出する、請求項２〜４のいずれか一つに記載の画像処理装置。

【請求項6】

入力画像に対してノイズ除去処理を実行することにより、出力画像を生成する画像処理装置であって、
入力画像から所定のブロック単位で抽出した空間領域の第１画像データを、複数の周波数成分を含む周波数領域の第２画像データに変換する変換部と、
第２画像データに対して量子化処理を実行することにより、第３画像データを生成する量子化部と、
第３画像データに対して周波数成分毎に補正処理を実行することにより、第４画像データを生成する補正部と、
第１画像データに基づいて、ブロック毎の活発性評価値を算出する演算部と、
ブロック毎の活発性評価値に基づいて、補正処理に用いるブロック毎の補正値を設定する補正値設定部と、
を備え、
前記補正値設定部は、
周波数成分別に任意の乗数が設定されたマスクを、活発性評価値に応じて複数種類保持しており、
前記演算部によって算出された活発性評価値に対応するマスクに設定されている乗数を、補正値として設定する、画像処理装置。

【請求項7】

前記補正値設定部は、
活発性評価値が低レベルのブロックに関しては、低周波成分においては１倍を補正値として設定し、中周波成分及び高周波成分においては略ゼロ倍を補正値として設定し、
活発性評価値が中レベルのブロックに関しては、低周波成分及び中周波成分においては１倍を補正値として設定し、高周波成分においては略ゼロ倍を補正値として設定し、
活発性評価値が高レベルのブロックに関しては、低周波成分、中周波成分、及び高周波成分において１倍を補正値として設定する、請求項６に記載の画像処理装置。

【請求項8】

各画素の画素値と、当該画素に隣接する複数の周辺画素の画素値とに基づいて、各画素の平滑値を算出する平滑化処理部をさらに備え、
前記演算部は、各画素の平滑値と、平滑値のブロック内平均値との差分絶対値和を算出し、当該差分絶対値和のブロック内平均値として、ブロック毎の活発性評価値を算出する、請求項６又は７に記載の画像処理装置。

【請求項9】

入力画像全体のノイズ値と、入力画像全体の活発性評価値とに基づいて、ノイズ除去処理の実行の要否を判定する判定部をさらに備える、請求項１〜８のいずれか一つに記載の画像処理装置。

【請求項10】

前記判定部は、入力画像全体のノイズ値を、入力画像全体の活発性評価値で除算することによってノイズ強度を算出し、当該ノイズ強度が所定のしきい値未満である場合にはノイズ除去処理の実行を不要と判定し、当該ノイズ強度が当該しきい値以上である場合にはノイズ除去処理の実行を必要と判定する、請求項９に記載の画像処理装置。

【請求項11】

前記変換部、前記量子化部、及び前記補正部は、入力画像から部分的に重複するように抽出された複数のブロックに関して順次に処理を行い、
出力画像のうち複数のブロックが重複する画像部分については、重複する複数のブロックから求めた最適値が当該画像部分の画像データとして出力される、請求項１〜１０のいずれか一つに記載の画像処理装置。

【請求項12】

前記変換部、前記量子化部、及び前記補正部は、入力画像から部分的に重複するように抽出された複数のブロックに関して順次に処理を行い、
出力画像のうち複数のブロックが重複する画像部分については、今回のブロックに関する処理における当該画像部分の出力データが、次回のマクロブロックに関する処理における当該画像部分の入力データとして使用される、請求項１〜１０のいずれか一つに記載の画像処理装置。

【請求項13】

入力画像は複数の色成分を有し、
前記画像処理装置は、各色成分に対して独立にノイズ除去処理を実行する、請求項１〜１２のいずれか一つに記載の画像処理装置。

【請求項14】

入力画像は複数の色成分を有し、
前記画像処理装置は、複数の色成分に対して統合的にノイズ除去処理を実行する、請求項１〜１２のいずれか一つに記載の画像処理装置。

【請求項15】

入力画像に対してノイズ除去処理を実行することにより、出力画像を出力する画像処理方法であって、
（Ａ）入力画像から所定のブロック単位で抽出した空間領域の第１画像データを、複数の周波数成分を含む周波数領域の第２画像データに変換するステップと、
（Ｂ）第２画像データに対して量子化処理を実行することにより、第３画像データを生成するステップと、
（Ｃ）第３画像データに対して周波数成分毎に補正処理を実行することにより、第４画像データを生成するステップと、
（Ｄ）入力画像全体の第２画像データに基づいて、補正処理に用いる入力画像毎の第１の補正値を設定するステップと、
を備え、
前記ステップ（Ｄ）では、入力画像における周波数成分値間の比率が、ノイズを含まない理想画像における周波数成分値間の比率に等しくなるように、入力画像における各周波数成分値を変換するための変換値が、第１の補正値として設定される、画像処理方法。

【請求項16】

入力画像に対してノイズ除去処理を実行することにより、出力画像を生成する画像処理方法であって、
（Ａ）入力画像から所定のブロック単位で抽出した空間領域の第１画像データを、複数の周波数成分を含む周波数領域の第２画像データに変換するステップと、
（Ｂ）第２画像データに対して量子化処理を実行することにより、第３画像データを生成するステップと、
（Ｃ）第３画像データに対して周波数成分毎に補正処理を実行することにより、第４画像データを生成するステップと、
（Ｄ）第１画像データに基づいて、ブロック毎の活発性評価値を算出するステップと、
（Ｅ）ブロック毎の活発性評価値に基づいて、補正処理に用いるブロック毎の補正値を設定するステップと、
を備え、
前記ステップ（Ｅ）は、
（Ｅ−１）周波数成分別に任意の乗数が設定されたマスクを、活発性評価値に応じて複数種類保持するステップと、
（Ｅ−２）前記ステップ（Ｄ）で算出された活発性評価値に対応するマスクに設定されている乗数を、補正値として設定するステップと、
を有する、画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及び画像処理方法に関し、特に、入力画像に対してノイズ除去処理を実行することにより出力画像を生成するノイズ除去装置及びノイズ除去方法に関する。

【背景技術】

【0002】

一般的なノイズ除去装置は、空間領域の入力画像の画像データに対して、高周波成分を除去するローパスフィルタ等の空間フィルタを画像全体に関して一様に適用することにより、画像に含まれているノイズを除去する。

【0003】

なお、下記特許文献１には、入力画像の輪郭部分に関してはメディアンフィルタを適用し、輪郭以外の部分に関しては平均化フィルタを適用するノイズ除去装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平９−２３３３６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述した一般的なノイズ除去装置によると、入力画像に対して空間フィルタを一回適用しただけでは、ノイズ除去効果が低い。空間フィルタを複数回適用することによってノイズ除去効果を上げることはできるが、この場合には解像度が低下して輪郭部分が不鮮明となり、画像全体としては却って画質が劣化しているように見えることがある。また、空間フィルタを複数回適用する必要上、処理時間が増大するとともに、中間値を格納するテンポラルメモリが必要となって回路規模が増大する。

【0006】

本発明はかかる事情に鑑みて成されたものであり、画質の劣化を回避しつつ高いノイズ除去効果を実現することが可能であり、しかも、処理時間の短縮及び回路規模の削減を図ることが可能な画像処理装置及び画像処理方法を得ることを目的とする。

【課題を解決するための手段】

【0007】

本発明の第１の態様に係る画像処理装置は、入力画像に対してノイズ除去処理を実行することにより、出力画像を出力する画像処理装置であって、入力画像から所定のブロック単位で抽出した空間領域の第１画像データを、複数の周波数成分を含む周波数領域の第２画像データに変換する変換部と、第２画像データに対して量子化処理を実行することにより、第３画像データを生成する量子化部と、第３画像データに対して周波数成分毎に補正処理を実行することにより、第４画像データを生成する補正部と、入力画像全体の第２画像データに基づいて、補正処理に用いる入力画像毎の第１の補正値を設定する第１の補正値設定部と、を備え、前記第１の補正値設定部は、入力画像における周波数成分値間の比率が、ノイズを含まない理想画像における周波数成分値間の比率に等しくなるように、入力画像における各周波数成分値を変換するための変換値を、第１の補正値として設定することを特徴とするものである。

【0008】

第１の態様に係る画像処理装置によれば、第１の補正値設定部は、入力画像全体の第２画像データに基づいて入力画像毎の第１の補正値を設定し、補正部は、第３画像データに対して周波数成分毎に補正処理を実行することにより第４画像データを生成する。このように、入力画像全体の第２画像データに基づいて設定した第１の補正値を用いて周波数成分毎に補正処理を実行することにより、周波数成分毎のノイズレベルに応じて適切なノイズ除去処理を実行することができる。その結果、画質の劣化を回避しつつ高いノイズ除去効果を実現することが可能となる。また、ノイズ除去効果の向上を企図して空間フィルタを複数回適用する場合と比較すると、処理時間を短縮できるとともに、中間値を格納するテンポラルメモリが不要となるため回路規模を削減することが可能となる。また、第１の補正値設定部は、入力画像における周波数成分値間の比率が、ノイズを含まない理想画像における周波数成分値間の比率に等しくなるように、入力画像における各周波数成分値を変換するための変換値を、第１の補正値として設定する。第１の補正値をこのように設定することにより、出力画像を理想画像に近付ける補正処理を実現できるため、画質を向上することが可能となる。

【0009】

本発明の第２の態様に係る画像処理装置は、第１の態様に係る画像処理装置において特に、第１画像データに基づいて、ブロック毎の活発性評価値を算出する演算部と、第１の補正値と、ブロック毎の活発性評価値とに基づいて、補正処理に用いるブロック毎の第２の補正値を設定する第２の補正値設定部と、をさらに備えることを特徴とするものである。

【0010】

第２の態様に係る画像処理装置によれば、第２の補正値設定部は、第１の補正値と、ブロック毎の活発性評価値とに基づいて、補正処理に用いるブロック毎の第２の補正値を設定する。このように、入力画像全体の第２画像データに基づいて設定される第１の補正値と、ブロック毎の活発性評価値とに基づいて、ブロック毎の第２の補正値を設定することにより、入力画像全体の周波数成分値とブロックの属性とに応じて、ブロック毎に適切な補正処理を実行することができる。その結果、ブロック毎のノイズ除去効果を向上できるため、画像全体として画質を向上することが可能となる。

【0011】

本発明の第３の態様に係る画像処理装置は、第２の態様に係る画像処理装置において特に、前記第２の補正値設定部は、周波数成分別に任意の乗数が設定されたマスクを、活発性評価値に応じて複数種類保持しており、前記演算部によって算出された活発性評価値に対応するマスクを用いて第１の補正値のマスキングを行うことによって、第２の補正値を設定することを特徴とするものである。

【0012】

第３の態様に係る画像処理装置によれば、第２の補正値設定部は、周波数成分別に任意の乗数が設定されたマスクを、活発性評価値に応じて複数種類保持しており、演算部によって算出された活発性評価値に対応するマスクを用いて第１の補正値のマスキングを行うことによって、第２の補正値を設定する。その結果、ブロック毎の活発性評価値に応じた第２の補正値を、第１の補正値から簡易かつ適切に設定することが可能となる。

【0013】

本発明の第４の態様に係る画像処理装置は、第３の態様に係る画像処理装置において特に、前記第２の補正値設定部は、活発性評価値が低レベルのブロックに関しては、低周波成分においては第１の補正値を第２の補正値として設定し、中周波成分及び高周波成分においては略ゼロ値を第２の補正値として設定し、活発性評価値が中レベルのブロックに関しては、低周波成分及び中周波成分においては第１の補正値を第２の補正値として設定し、高周波成分においては略ゼロ値を第２の補正値として設定し、活発性評価値が高レベルのブロックに関しては、低周波成分、中周波成分、及び高周波成分において第１の補正値を第２の補正値として設定することを特徴とするものである。

【0014】

第４の態様に係る画像処理装置によれば、第２の補正値設定部は、活発性評価値が低レベルのブロックに関しては、低周波成分においては第１の補正値を第２の補正値として設定し、中周波成分及び高周波成分においては略ゼロ値を第２の補正値として設定する。活発性評価値が低くノイズが目立ちやすい平坦部に関しては、中周波成分及び高周波成分をカットするマスキングを行うことにより、補正処理による高いノイズ除去効果を得ることが可能となる。また、第２の補正値設定部は、活発性評価値が高レベルのブロックに関しては、低周波成分、中周波成分、及び高周波成分において第１の補正値を第２の補正値として設定する。活発性評価値が高いエッジ部やテクスチャ部に関しては、全周波数成分をカットしないマスキングを行うことにより、エッジ部やテクスチャ部を鮮明化する補正処理を実現でき、画質を向上することが可能となる。また、第２の補正値設定部は、活発性評価値が中レベルのブロックに関しては、低周波成分及び中周波成分においては第１の補正値を第２の補正値として設定し、高周波成分においては略ゼロ値を第２の補正値として設定する。平坦部、エッジ部、及びテクスチャ部以外の画像部分に関しては、高周波成分のみをカットするマスキングを行うことにより、補正処理による中程度のノイズ除去効果を得ることが可能となる。

【0015】

本発明の第５の態様に係る画像処理装置は、第２〜第４のいずれか一つの態様に係る画像処理装置において特に、各画素の画素値と、当該画素に隣接する複数の周辺画素の画素値とに基づいて、各画素の平滑値を算出する平滑化処理部をさらに備え、前記演算部は、各画素の平滑値と、平滑値のブロック内平均値との差分絶対値和を算出し、当該差分絶対値和のブロック内平均値として、ブロック毎の活発性評価値を算出することを特徴とするものである。

【0016】

第５の態様に係る画像処理装置によれば、演算部は、各画素の平滑値と、平滑値のブロック内平均値との差分絶対値和を算出し、当該差分絶対値和のブロック内平均値として、ブロック毎の活発性評価値を算出する。これにより、ブロック毎の活発性評価値を演算部によって適切に求めることが可能となる。

【0017】

本発明の第６の態様に係る画像処理装置は、入力画像に対してノイズ除去処理を実行することにより、出力画像を生成する画像処理装置であって、入力画像から所定のブロック単位で抽出した空間領域の第１画像データを、複数の周波数成分を含む周波数領域の第２画像データに変換する変換部と、第２画像データに対して量子化処理を実行することにより、第３画像データを生成する量子化部と、第３画像データに対して周波数成分毎に補正処理を実行することにより、第４画像データを生成する補正部と、第１画像データに基づいて、ブロック毎の活発性評価値を算出する演算部と、ブロック毎の活発性評価値に基づいて、補正処理に用いるブロック毎の補正値を設定する補正値設定部と、を備え、前記補正値設定部は、周波数成分別に任意の乗数が設定されたマスクを、活発性評価値に応じて複数種類保持しており、前記演算部によって算出された活発性評価値に対応するマスクに設定されている乗数を、補正値として設定することを特徴とするものである。

【0018】

第６の態様に係る画像処理装置によれば、補正値設定部は、ブロック毎の活発性評価値に基づいて、補正処理に用いるブロック毎の補正値を設定する。このように、ブロック毎の活発性評価値に基づいてブロック毎の補正値を設定することにより、ブロックの属性に応じて、ブロック毎に適切な補正処理を実行することができる。その結果、ブロック毎のノイズ除去効果を向上できるため、画像全体として画質を向上することが可能となる。また、ノイズ除去効果の向上を企図して空間フィルタを複数回適用する場合と比較すると、処理時間を短縮できるとともに、中間値を格納するテンポラルメモリが不要となるため回路規模を削減することが可能となる。また、補正値設定部は、周波数成分別に任意の乗数が設定されたマスクを、活発性評価値に応じて複数種類保持しており、演算部によって算出された活発性評価値に対応するマスクに設定されている乗数を、補正値として設定する。その結果、ブロック毎の活発性評価値に応じた補正値を、簡易かつ適切に設定することが可能となる。

【0019】

本発明の第７の態様に係る画像処理装置は、第６の態様に係る画像処理装置において特に、前記補正値設定部は、活発性評価値が低レベルのブロックに関しては、低周波成分においては１倍を補正値として設定し、中周波成分及び高周波成分においては略ゼロ倍を補正値として設定し、活発性評価値が中レベルのブロックに関しては、低周波成分及び中周波成分においては１倍を補正値として設定し、高周波成分においては略ゼロ倍を補正値として設定し、活発性評価値が高レベルのブロックに関しては、低周波成分、中周波成分、及び高周波成分において１倍を補正値として設定することを特徴とするものである。

【0020】

第７の態様に係る画像処理装置によれば、補正値設定部は、活発性評価値が低レベルのブロックに関しては、低周波成分においては１倍を補正値として設定し、中周波成分及び高周波成分においては略ゼロ倍を補正値として設定する。活発性評価値が低くノイズが目立ちやすい平坦部に関しては、中周波成分及び高周波成分をカットするマスキングを行うことにより、補正処理による高いノイズ除去効果を得ることが可能となる。また、補正値設定部は、活発性評価値が高レベルのブロックに関しては、低周波成分、中周波成分、及び高周波成分において１倍を補正値として設定する。活発性評価値が高いエッジ部やテクスチャ部に関しては、全周波数成分をカットしないマスキングを行うことにより、エッジ部やテクスチャ部を鮮明化する補正処理を実現でき、画質を向上することが可能となる。また、補正値設定部は、活発性評価値が中レベルのブロックに関しては、低周波成分及び中周波成分においては１倍を補正値として設定し、高周波成分においては略ゼロ倍を補正値として設定する。平坦部、エッジ部、及びテクスチャ部以外の画像部分に関しては、高周波成分のみをカットするマスキングを行うことにより、補正処理による中程度のノイズ除去効果を得ることが可能となる。

【0021】

本発明の第８の態様に係る画像処理装置は、第６又は第７の態様に係る画像処理装置において特に、各画素の画素値と、当該画素に隣接する複数の周辺画素の画素値とに基づいて、各画素の平滑値を算出する平滑化処理部をさらに備え、前記演算部は、各画素の平滑値と、平滑値のブロック内平均値との差分絶対値和を算出し、当該差分絶対値和のブロック内平均値として、ブロック毎の活発性評価値を算出することを特徴とするものである。

【0022】

第８の態様に係る画像処理装置によれば、演算部は、各画素の平滑値と、平滑値のブロック内平均値との差分絶対値和を算出し、当該差分絶対値和のブロック内平均値として、ブロック毎の活発性評価値を算出する。これにより、ブロック毎の活発性評価値を演算部によって適切に求めることが可能となる。

【0023】

本発明の第９の態様に係る画像処理装置は、第１〜第８のいずれか一つの態様に係る画像処理装置において特に、入力画像全体のノイズ値と、入力画像全体の活発性評価値とに基づいて、ノイズ除去処理の実行の要否を判定する判定部をさらに備えることを特徴とするものである。

【0024】

第９の態様に係る画像処理装置によれば、判定部は、入力画像全体のノイズ値と、入力画像全体の活発性評価値とに基づいて、ノイズ除去処理の実行の要否を判定する。これにより、ノイズ除去処理が真に必要な入力画像を対象としてノイズ除去処理を実行でき、不要な入力画像に対するノイズ除去処理の実行を回避できるため、消費電力を削減することが可能となる。

【0025】

本発明の第１０の態様に係る画像処理装置は、第９の態様に係る画像処理装置において特に、前記判定部は、入力画像全体のノイズ値を、入力画像全体の活発性評価値で除算することによってノイズ強度を算出し、当該ノイズ強度が所定のしきい値未満である場合にはノイズ除去処理の実行を不要と判定し、当該ノイズ強度が当該しきい値以上である場合にはノイズ除去処理の実行を必要と判定することを特徴とするものである。

【0026】

第１０の態様に係る画像処理装置によれば、判定部は、入力画像全体のノイズ値を、入力画像全体の活発性評価値で除算することによって、ノイズ強度を算出する。そして、当該ノイズ強度が所定のしきい値未満である場合にはノイズ除去処理の実行を不要と判定し、当該ノイズ強度が当該しきい値以上である場合にはノイズ除去処理の実行を必要と判定する。判定部がこのような判定処理を行うことにより、ノイズ除去処理が真に必要な入力画像を高精度に特定することが可能となる。

【0027】

本発明の第１１の態様に係る画像処理装置は、第１〜第１０のいずれか一つの態様に係る画像処理装置において特に、前記変換部、前記量子化部、及び前記補正部は、入力画像から部分的に重複するように抽出された複数のブロックに関して順次に処理を行い、出力画像のうち複数のブロックが重複する画像部分については、重複する複数のブロックから求めた最適値が当該画像部分の画像データとして出力されることを特徴とするものである。

【0028】

第１１の態様に係る画像処理装置によれば、変換部、量子化部、及び補正部は、入力画像から部分的に重複するように抽出された複数のブロックに関して順次に処理を行う。このように、ブロックの一部を互いにオーバーラップさせることにより、ブロックノイズの発生を抑制することが可能となる。また、出力画像のうち複数のブロックが重複する画像部分については、重複する複数のブロックから求めた最適値が当該画像部分の画像データとして出力される。このように、重複部分については複数ブロックから求めた最適値（例えば平均値）を出力することにより、画質の劣化を回避しつつ高いノイズ除去効果を実現することが可能となる。

【0029】

本発明の第１２の態様に係る画像処理装置は、第１〜第１０のいずれか一つの態様に係る画像処理装置において特に、前記変換部、前記量子化部、及び前記補正部は、入力画像から部分的に重複するように抽出された複数のブロックに関して順次に処理を行い、出力画像のうち複数のブロックが重複する画像部分については、今回のブロックに関する処理における当該画像部分の出力データが、次回のマクロブロックに関する処理における当該画像部分の入力データとして使用されることを特徴とするものである。

【0030】

第１２の態様に係る画像処理装置によれば、変換部、量子化部、及び補正部は、入力画像から部分的に重複するように抽出された複数のブロックに関して順次に処理を行う。このように、ブロックの一部を互いにオーバーラップさせることにより、ブロックノイズの発生を抑制することが可能となる。また、出力画像のうち複数のブロックが重複する画像部分については、今回のブロックに関する処理における当該画像部分の出力データが、次回のマクロブロックに関する処理における当該画像部分の入力データとして使用される。従って、複数のブロックを順次に処理する一連の流れの中で同一画像部分について実質的に複数回のノイズ除去処理が行われるため、重複する複数のブロックの出力値から最適値を求める場合と比較して、処理時間を短縮することが可能となる。

【0031】

本発明の第１３の態様に係る画像処理装置は、第１〜第１２のいずれか一つの態様に係る画像処理装置において特に、入力画像は複数の色成分を有し、前記画像処理装置は、各色成分に対して独立にノイズ除去処理を実行することを特徴とするものである。

【0032】

第１３の態様に係る画像処理装置によれば、各色成分に対して独立にノイズ除去処理が実行される。このように、入力画像の各色成分に対して独立にノイズ除去処理を実行することにより、色成分毎に最適なノイズ除去効果を得ることができる。

【0033】

本発明の第１４の態様に係る画像処理装置は、第１〜第１２のいずれか一つの態様に係る画像処理装置において特に、入力画像は複数の色成分を有し、前記画像処理装置は、複数の色成分に対して統合的にノイズ除去処理を実行することを特徴とするものである。

【0034】

第１４の態様に係る画像処理装置によれば、複数の色成分に対して統合的にノイズ除去処理が実行される。このように、複数の色成分に対して統合的なノイズ除去処理を行うことにより、ノイズ検出精度を向上することができる。また、色成分間のノイズ除去効果のばらつきが抑制されるため、画質を向上することができる。

【0035】

本発明の第１５の態様に係る画像処理方法は、入力画像に対してノイズ除去処理を実行することにより、出力画像を出力する画像処理方法であって、（Ａ）入力画像から所定のブロック単位で抽出した空間領域の第１画像データを、複数の周波数成分を含む周波数領域の第２画像データに変換するステップと、（Ｂ）第２画像データに対して量子化処理を実行することにより、第３画像データを生成するステップと、（Ｃ）第３画像データに対して周波数成分毎に補正処理を実行することにより、第４画像データを生成するステップと、（Ｄ）入力画像全体の第２画像データに基づいて、補正処理に用いる入力画像毎の第１の補正値を設定するステップと、を備え、前記ステップ（Ｄ）では、入力画像における周波数成分値間の比率が、ノイズを含まない理想画像における周波数成分値間の比率に等しくなるように、入力画像における各周波数成分値を変換するための変換値が、第１の補正値として設定されることを特徴とするものである。

【0036】

第１５の態様に係る画像処理方法によれば、ステップ（Ｄ）では、入力画像全体の第２画像データに基づいて入力画像毎の第１の補正値が設定され、ステップ（Ｃ）では、第３画像データに対して周波数成分毎に補正処理を実行することにより第４画像データを生成する。このように、入力画像全体の第２画像データに基づいて設定した第１の補正値を用いて周波数成分毎に補正処理を実行することにより、周波数成分毎のノイズレベルに応じて適切なノイズ除去処理を実行することができる。その結果、画質の劣化を回避しつつ高いノイズ除去効果を実現することが可能となる。また、ノイズ除去効果の向上を企図して空間フィルタを複数回適用する場合と比較すると、処理時間を短縮できるとともに、中間値を格納するテンポラルメモリが不要となるため回路規模を削減することが可能となる。また、ステップ（Ｄ）では、入力画像における周波数成分値間の比率が、ノイズを含まない理想画像における周波数成分値間の比率に等しくなるように、入力画像における各周波数成分値を変換するための変換値が、第１の補正値として設定される。第１の補正値をこのように設定することにより、出力画像を理想画像に近付ける補正処理を実現できるため、画質を向上することが可能となる。

【0037】

本発明の第１６の態様に係る画像処理方法は、入力画像に対してノイズ除去処理を実行することにより、出力画像を生成する画像処理方法であって、（Ａ）入力画像から所定のブロック単位で抽出した空間領域の第１画像データを、複数の周波数成分を含む周波数領域の第２画像データに変換するステップと、（Ｂ）第２画像データに対して量子化処理を実行することにより、第３画像データを生成するステップと、（Ｃ）第３画像データに対して周波数成分毎に補正処理を実行することにより、第４画像データを生成するステップと、（Ｄ）第１画像データに基づいて、ブロック毎の活発性評価値を算出するステップと、（Ｅ）ブロック毎の活発性評価値に基づいて、補正処理に用いるブロック毎の補正値を設定するステップと、を備え、前記ステップ（Ｅ）は、（Ｅ−１）周波数成分別に任意の乗数が設定されたマスクを、活発性評価値に応じて複数種類保持するステップと、（Ｅ−２）前記ステップ（Ｄ）で算出された活発性評価値に対応するマスクに設定されている乗数を、補正値として設定するステップと、を有することを特徴とするものである。

【0038】

第１６の態様に係る画像処理方法によれば、ステップ（Ｅ）では、ブロック毎の活発性評価値に基づいて、補正処理に用いるブロック毎の補正値が設定される。このように、ブロック毎の活発性評価値に基づいてブロック毎の補正値を設定することにより、ブロックの属性に応じて、ブロック毎に適切な補正処理を実行することができる。その結果、ブロック毎のノイズ除去効果を向上できるため、画像全体として画質を向上することが可能となる。また、ノイズ除去効果の向上を企図して空間フィルタを複数回適用する場合と比較すると、処理時間を短縮できるとともに、中間値を格納するテンポラルメモリが不要となるため回路規模を削減することが可能となる。また、周波数成分別に任意の乗数が設定されたマスクが、活発性評価値に応じて複数種類保持されており、ステップ（Ｅ−２）では、ステップ（Ｄ）で算出された活発性評価値に対応するマスクに設定されている乗数が、補正値として設定される。その結果、ブロック毎の活発性評価値に応じた補正値を、簡易かつ適切に設定することが可能となる。

【発明の効果】

【0039】

本発明によれば、画質の劣化を回避しつつ高いノイズ除去効果を実現することが可能であり、しかも、処理時間の短縮及び回路規模の削減を図ることが可能な画像処理装置及び画像処理方法を得ることができる。

【図面の簡単な説明】

【0040】

【図1】本発明の実施の形態に係る画像処理装置の構成を示す図である。

【図2】画像処理装置が実行するノイズ除去処理の流れを示すフローチャートである。

【図3】設定部による量子化値の設定処理を説明するための図である。

【図4】設定部によるスケーリングマトリクスの設定処理を説明するための図である。

【図5】設定部によるスケーリングマトリクスの設定処理を説明するための図である。

【図6】設定部によるスケーリングマトリクスの設定処理を説明するための図である。

【図7】設定部によるスケーリングマトリクスの設定処理を説明するための図である。

【図8】設定部によるスケーリングマトリクスの設定処理を説明するための図である。

【図9】オーバーラップ処理を示す図である。

【図10】設定部による量子化値の第１の設定処理を説明するための図である。

【図11】設定部による量子化値の第２の設定処理を説明するための図である。

【図12】量子化値の第２の設定処理を実現するための画像処理装置の構成を示す図である。

【図13】設定部によるスケーリングマトリクスの設定処理を説明するための図である。

【図14】設定部によるスケーリングマトリクスの設定処理を説明するための図である。

【図15】設定部によるスケーリングマトリクスの設定処理を説明するための図である。

【図16】第１の変形例に係る画像処理装置の構成を示す図である。

【図17】第１の変形例に係る画像処理装置が実行するノイズ除去処理の流れを示すフローチャートである。

【図18】第２の変形例に係る画像処理装置の構成を示す図である。

【図19】第２の変形例に係る画像処理装置が実行するノイズ除去処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0041】

以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。

【0042】

図１は、本発明の実施の形態に係る画像処理装置１の構成を示す図である。画像処理装置１には、Ｒ，Ｇｒ，Ｇｂ，Ｂの色成分を有するベイヤー配列の入力画像が、色成分毎に分類されて入力される。画像処理装置１は、各色成分の入力画像に対して独立にノイズ除去処理を実行することにより、出力画像を生成して出力する。なお、入力画像の色成分はＲ，Ｇｒ，Ｇｂ，Ｂに限らず、Ｒ，Ｇ，Ｂ又はＹ，Ｕ，Ｖ等であっても良い。

【0043】

図１の接続関係で示すように、画像処理装置１は、変換部１１、量子化部１２、補正部１３、逆量子化部１４、逆変換部１５、セレクタ１６、設定部１７、フィルタ１８、演算部１９，２０、及び設定部２１〜２４を備えて構成されている。

【0044】

変換部１１は、入力画像から所定のブロック単位（本実施の形態の例では８行×８列のマクロブロック単位とする）で抽出した空間領域の画像データＤ１を、ＤＣＴ変換によって複数の周波数成分を含む周波数領域の画像データＤ２に変換する。なお、ブロックサイズは８行×８列に限らず、１６行×１６列等であっても良い。ブロックサイズが大きくなるほど、回路規模は増大するが、周波数成分を細かく制御できるため画質は向上する。

【0045】

量子化部１２は、画像データＤ２に対して量子化処理を実行することにより、画像データＤ３を生成する。

【0046】

補正部１３は、画像データＤ３に対して周波数成分毎に補正処理を実行することにより、画像データＤ４を生成する。

【0047】

逆量子化部１４は、画像データＤ４に対して逆量子化処理を実行することにより、画像データＤ５を生成する。

【0048】

逆変換部１５は、周波数領域の画像データＤ５を、逆ＤＣＴ変換によって空間領域の画像データＤ６に変換する。

【0049】

セレクタ１６は、画像データＤ１又は画像データＤ６を選択して出力する。

【0050】

ＣＰＵ２は、入力画像全体のノイズ値ＮＯＩＳＥ（ＰＩＣ）と、入力画像全体の活発性評価値ＡＣＴ（ＰＩＣ）とに基づいて、ノイズ除去処理の実行の要否を判定する。そして、その判定結果を設定部１７に設定する。設定部１７は、実行が必要である場合はセレクタ１６に画像データＤ６を選択させ、実行が不要である場合はセレクタ１６に画像データＤ１を選択させる。

【0051】

フィルタ１８は、任意の平滑化フィルタ（本実施の形態の例では３行×３列のガウシアンフィルタ）であり、各画素の画素値と、当該画素に隣接する複数個（３行×３列の場合は８個）の周辺画素の画素値とに基づいて、各画素の重み付き平均値ＧＡＵＳ（ｉ，ｊ）を算出する。

【0052】

演算部１９は、画像データＤ１と、フィルタ１８による重み付き平均化後の画像データＤ１とに基づいて、マクロブロック毎のノイズ値ＮＯＩＳＥ（ＭＢ）を算出する。また、演算部１９は、入力画像内の全てのマクロブロックに関するノイズ値ＮＯＩＳＥ（ＭＢ）の平均値として、ノイズ値ＮＯＩＳＥ（ＰＩＣ）を算出する。なお、入力画像内の全てのマクロブロックに関するノイズ値ＮＯＩＳＥ（ＭＢ）の合計値を演算部１９からＣＰＵ２に入力し、ＣＰＵ２が当該合計値をマクロブロック数で除算することによってノイズ値ＮＯＩＳＥ（ＰＩＣ）を算出しても良い。

【0053】

演算部２０は、フィルタ１８による重み付き平均化後の画像データＤ１に基づいて、マクロブロック毎の活発性評価値ＡＣＴ（ＭＢ）を算出する。また、演算部２０は、入力画像内の全てのマクロブロックに関する活発性評価値ＡＣＴ（ＭＢ）の平均値として、活発性評価値ＡＣＴ（ＰＩＣ）を算出する。なお、入力画像内の全てのマクロブロックに関する活発性評価値ＡＣＴ（ＭＢ）の合計値を演算部２０からＣＰＵ２に入力し、ＣＰＵ２が当該合計値をマクロブロック数で除算することによって活発性評価値ＡＣＴ（ＰＩＣ）を算出しても良い。

【0054】

設定部２１は、ノイズ値ＮＯＩＳＥ（ＰＩＣ）に基づいて、量子化部１２による量子化処理に用いる入力画像毎の量子化値ＱＰ（ＰＩＣ）を設定する。

【0055】

設定部２２は、画像処理装置１の内部パラメータ（例えば、量子化値ＱＰ（ＰＩＣ）、活発性評価値ＡＣＴ（ＭＢ）、及びノイズ値ＮＯＩＳＥ（ＭＢ）等）に基づいて、量子化部１２による量子化処理に用いるマクロブロック毎の量子化値ＱＰ（ＭＢ）を設定する。

【0056】

設定部２３は、入力画像全体の画像データＤ２に基づいて、補正部１３による補正処理に用いる入力画像毎の補正値を記述したスケーリングマトリクスＳＭ（ＰＩＣ）を設定する。

【0057】

設定部２４は、画像処理装置１の内部パラメータ（例えば、スケーリングマトリクスＳＭ（ＰＩＣ）、活発性評価値ＡＣＴ（ＭＢ）、ノイズ値ＮＯＩＳＥ（ＰＩＣ）、及び活発性評価値ＡＣＴ（ＰＩＣ）等）に基づいて、補正部１３による補正処理に用いるマクロブロック毎の補正値を記述したスケーリングマトリクスＳＭ（ＭＢ）を設定する。

【0058】

図２は、画像処理装置１が実行するノイズ除去処理の流れを示すフローチャートである。まずステップＰ１０１において設定部１７は、ＣＰＵ２によるノイズ除去処理の実行要否の判定結果に基づいて、セレクタ１６を設定する。実行が不要である場合は処理を終了する。

【0059】

実行が必要である場合は、次にステップＰ１０２において設定部２１は、量子化値ＱＰ（ＰＩＣ）を設定する。

【0060】

次にステップＰ１０３において設定部２３は、スケーリングマトリクスＳＭ（ＰＩＣ）を設定する。

【0061】

次にステップＰ１０４〜Ｐ１１０において、マクロブロック毎のノイズ除去処理が、入力画像内に含まれる全てのマクロブロックに関して繰り返し実行される。

【0062】

ステップＰ１０４において演算部２０は、活発性評価値ＡＣＴ（ＭＢ）を算出する。

【0063】

次にステップＰ１０５において設定部２２は、量子化値ＱＰ（ＭＢ）を設定する。また、設定部２４は、スケーリングマトリクスＳＭ（ＭＢ）を設定する。

【0064】

次にステップＰ１０６において変換部１１は、画像データＤ１を画像データＤ２に変換する。

【0065】

次にステップＰ１０７において量子化部１２は、量子化値ＱＰ（ＭＢ）を用いた量子化処理によって画像データＤ２から画像データＤ３を生成する。

【0066】

次にステップＰ１０８において補正部１３は、スケーリングマトリクスＳＭ（ＭＢ）を用いた補正処理によって画像データＤ３から画像データＤ４を生成する。

【0067】

次にステップＰ１０９において逆量子化部１４は、逆量子化処理によって画像データＤ４から画像データＤ５を生成する。

【0068】

次にステップＰ１１０において逆変換部１５は、逆ＤＣＴ変換によって画像データＤ５を画像データＤ６に変換する。入力画像内に含まれる全てのマクロブロックに関してマクロブロック毎のノイズ除去処理が完了することにより、処理が終了する。

【0069】

以下、図１に示した各処理部が実行する処理内容の詳細について、順に説明する。

【0070】

＜ＧＡＵＳ（ｉ，ｊ）の算出処理＞
フィルタ１８は、マクロブロック内の各画素の画素値をＣＵＲＲ（ｉ，ｊ）として、下記式（１）で示される演算を行うことにより、各画素の重み付き平均値ＧＡＵＳ（ｉ，ｊ）を算出する。

【0071】

【数1】

【0072】

＜ＮＯＩＳＥ（ＭＢ）の算出処理＞
演算部１９は、下記式（２）で示される演算を行うことにより、各画素の画素値ＣＵＲＲ（ｉ，ｊ）と、各画素の重み付き平均値ＧＡＵＳ（ｉ，ｊ）との差分絶対値和を算出する。そして、下記式（３）で示される演算を行うことにより、当該差分絶対値和のマクロブロック内平均値として、マクロブロック毎のノイズ値ＮＯＩＳＥ（ＭＢ）を算出する。

【0073】

【数2】

【0074】

【数3】

【0075】

＜ＱＰ（ＰＩＣ）の設定処理＞
図３は、設定部２１による量子化値ＱＰ（ＰＩＣ）の設定処理を説明するための図である。演算部１９は、入力画像内の全てのマクロブロックに関するノイズ値ＮＯＩＳＥ（ＭＢ）の平均値として、ノイズ値ＮＯＩＳＥ（ＰＩＣ）を算出する。設定部２１は、ノイズ値ＮＯＩＳＥ（ＰＩＣ）毎の最適な量子化値ＱＰ（ＰＩＣ）を記述したルックアップテーブルを保持している。設定部２１は、重み付き平均値ＧＡＵＳ（ｉ，ｊ）と画素数とのヒストグラム内における、重み付き平均値ＧＡＵＳ（ｉ，ｊ）の分布範囲で、当該ルックアップテーブルを正規化する。そして、正規化後のルックアップテーブルを用いることにより、ノイズ値ＮＯＩＳＥ（ＰＩＣ）に対応する量子化値を、入力画像に関する量子化値ＱＰ（ＰＩＣ）として設定する。図３に示すように、設定部２１は、ノイズ値ＮＯＩＳＥ（ＰＩＣ）が高いほど高い量子化値ＱＰ（ＰＩＣ）を設定する。

【0076】

＜ＳＭ（ＰＩＣ）の設定処理＞
図４〜８は、設定部２３によるスケーリングマトリクスＳＭ（ＰＩＣ）の設定処理を説明するための図である。まず設定部２３は、設定部２１と同様の手法によって量子化値ＱＰ（ＰＩＣ）を求める。

【0077】

次に設定部２３は、入力画像内の全てのマクロブロックに関して、ＤＣＴ変換処理と、量子化値ＱＰ（ＰＩＣ）を用いた量子化処理とが完了した後の画像データＤ３を取得する。そして、画像データＤ３内の周波数成分毎に、周波数成分値の絶対値を全てのマクロブロックに関して累積することにより、入力画像に関する各周波数成分値の絶対値和Ｋ１を求める。絶対値和Ｋ１の一例を図４に示す。左上角がＤＣ成分に相当する周波数成分値であり、右下角が最高周波成分に相当する周波数成分値である。

【0078】

また設定部２３は、予め準備した理想画像内の全てのマクロブロックに関して、ＤＣＴ変換処理が完了した後の画像データＤ２を取得する。理想画像は、入力画像と同じ構図で同じ被写体を撮影した、ノイズを含まない画像である。例えば画像処理装置１が監視カメラの用途に利用される場合には、夜間等の低照度環境で撮影された、ノイズを多く含む画像が入力画像となり、昼間等の高照度環境で撮影された、ノイズをほとんど含まない画像が理想画像となる。設定部２３は、画像データＤ２内の周波数成分毎に、周波数成分値の絶対値を全てのマクロブロックに関して累積することにより、理想画像に関する各周波数成分値の絶対値和Ｋ２を求める。絶対値和Ｋ２の一例を図５に示す。

【0079】

次に設定部２３は、絶対値和Ｋ２におけるＤＣ成分の周波数成分値が、絶対値和Ｋ１におけるＤＣ成分の周波数成分値に等しくなるように、絶対値和Ｋ２における各周波数成分値を正規化することにより、正規化後の絶対値和Ｋ３を作成する。絶対値和Ｋ３の一例を図６に示す。

【0080】

次に設定部２３は、絶対値和Ｋ１における各周波数成分値が、絶対値和Ｋ３における各周波数成分値に等しくなるように（近付く場合も含む）、絶対値和Ｋ１の各周波数成分値を変換するための変換値（乗数）を算出する。つまり設定部２３は、入力画像におけるＤＣ成分に対する各周波数成分値の比率が、理想画像における当該比率に等しくなるように、入力画像における各周波数成分値を変換するための変換値を、補正値として設定する。

【0081】

次に設定部２３は、各周波数成分の乗数を、各乗数を代用する所定の係数を用いて記述することにより、スケーリングマトリクスＳＭ（ＰＩＣ）を作成する。スケーリングマトリクスＳＭ（ＰＩＣ）の一例を図７に示す。また、係数と乗数との対応関係の一例を図８に示す。スケーリングマトリクスＳＭ（ＰＩＣ）においては、係数「１６」が乗数「１」（即ちスルー）に対応し、係数「２５５」が略ゼロ値の最小乗数（即ちカット）に対応する。

【0082】

なお、理想画像が準備できない場合には、全ての周波数成分に関して係数「１６」を記述することにより、補正部１３を実質的にスルーフィルタとして機能させるスケーリングマトリクスＳＭ（ＰＩＣ）を作成する。あるいは、汎用的に使用可能なスケーリングマトリクスＳＭ（ＰＩＣ）を予め準備しておき、理想画像が準備できない場合には当該スケーリングマトリクスＳＭ（ＰＩＣ）を設定してもよい。

【0083】

＜オーバーラップ処理＞
画像処理装置１においては、８行×８列のマクロブロックに対して、４画素ずらした位置から次のマクロブロックを抽出して画像データＤ１とすることにより、マクロブロックのオーバーラップ処理が行われる。なお、画素のずらし幅は４画素に限らず、任意のずらし幅を設定することができる。ずらし幅が小さくなるほど、処理時間は長くなるが、画質は向上する。

【0084】

図９は、オーバーラップ処理を示す図である。図９では、説明の簡単化のため、１６行×１６列の入力画像を想定している。まず、入力画像の左上角を起点として、マクロブロックＭＢ１が抽出される。次に、マクロブロックＭＢ１に対して行方向に４画素ずらした位置からマクロブロックＭＢ２が抽出される。次に、マクロブロックＭＢ２に対して行方向に４画素ずらした位置からマクロブロックＭＢ３が抽出される。次に、マクロブロックＭＢ１に対して列方向に４画素ずらした位置からマクロブロックＭＢ４が抽出される。以降は同様に、マクロブロックＭＢ５〜ＭＢ９が順に抽出される。これにより、変換部１１、量子化部１２、補正部１３、逆量子化部１４、及び逆変換部１５は、入力画像から部分的に重複するように抽出された複数のマクロブロックＭＢ１〜ＭＢ９に関して、順次に処理を行う。

【0085】

また、出力画像のうち複数のマクロブロックが重複する画像部分については、重複する複数のマクロブロックから求めた最適値（この例では平均値とする）が、当該画像部分の画像データとして出力される。例えば、図９中で砂地ハッチングを付した４行×４列の画像部分については、４個のマクロブロックＭＢ１，ＭＢ２，ＭＢ４，ＭＢ５が重複しており、これら４個のマクロブロックの各々について画像データＤ６が得られる。そこで、これら４個のマクロブロック内の該当部分の画像データＤ６を加算し、その加算値を重複数の「４」で除算することにより、重複する複数のマクロブロックに関する画像データＤ６の平均値が算出される。そして、その平均値が、当該画像部分の画像データＤ６として画像処理装置１から出力される。

【0086】

オーバーラップ処理の第１の変形例として、上記の平均値に代えて、重複する複数のマクロブロックのうちノイズ値ＮＯＩＳＥ（ＭＢ）が最小であるマクロブロックに関する出力値（画像データＤ６）を、上記の最適値として用いても良い。

【0087】

オーバーラップ処理の第２の変形例として、複数のマクロブロックが重複する画像部分については、今回のマクロブロックに関する処理での当該画像部分の出力値を、次回のマクロブロックに関する処理での当該画像部分の入力値として使用しても良い。例えば、図９中で砂地ハッチングを付した４行×４列の画像部分について、マクロブロックＭＢ１に関する処理での出力値（画像データＤ６）を、マクロブロックＭＢ２に関する処理での入力値（画像データＤ１）として使用し、マクロブロックＭＢ２に関する処理での出力値を、マクロブロックＭＢ４に関する処理での入力値として使用し、マクロブロックＭＢ４に関する処理での出力値を、マクロブロックＭＢ５に関する処理での入力値として使用する。この手法によると、複数のマクロブロックを順次に処理する一連の流れの中で同一画像部分について実質的に複数回のノイズ除去処理が行われるため、複数の出力値の平均値を求める場合と比較して、処理時間を短縮することが可能となる。

【0088】

＜ＡＣＴ（ＭＢ）の算出処理＞
演算部２０は、下記式（４）で示される演算を行うことにより、重み付き平均値のマクロブロック内平均値ＡＶＥ＿ＢＬＫを算出する。次に、下記式（５）で示される演算を行うことにより、各画素の重み付き平均値ＧＡＵＳ（ｉ，ｊ）と、ブロック内平均値ＡＶＥ＿ＢＬＫとの差分絶対値和を算出する。そして、下記式（６）で示される演算を行うことにより、当該差分絶対値和のマクロブロック内平均値として、マクロブロック毎の活発性評価値ＡＣＴ（ＭＢ）を算出する。

【0089】

【数4】

【0090】

【数5】

【0091】

【数6】

【0092】

＜ＱＰ（ＭＢ）の第１の設定処理＞
図１０は、設定部２２による量子化値ＱＰ（ＭＢ）の第１の設定処理を説明するための図である。設定部２２は、量子化値ＱＰ（ＰＩＣ）と活発性評価値ＡＣＴ（ＭＢ）とに基づいて、量子化値ＱＰ（ＭＢ）を設定する。設定部２２は、活発性評価値ＡＣＴ（ＭＢ）毎の最適な量子化値ＱＰ（ＭＢ）を記述したルックアップテーブルを保持している。図１０の（Ａ）及び（Ｂ）に示すように、設定部２２は、活発性評価値ＡＣＴ（ＭＢ）とマクロブロック数とのヒストグラム内における、活発性評価値ＡＣＴ（ＭＢ）の分布範囲で、当該ルックアップテーブルを正規化する。図１０の（Ｂ）に示すように、当該ルックアップテーブルによると、活発性評価値ＡＣＴ（ＭＢ）が高いほど低い量子化値ＱＰ（ＭＢ）が設定される。また、図１０の（Ｃ）に示すように、設定部２２は、量子化値ＱＰ（ＰＩＣ）を中心として、量子化値ＱＰ（ＰＩＣ）よりも値ΔＨだけ大きい上限量子化値ＱＰＨと、量子化値ＱＰ（ＰＩＣ）よりも値ΔＬだけ小さい下限量子化値ＱＰＬとを設定する。そして、設定部２２は、図１０の（Ｂ）の量子化値ＱＰ（ＭＢ）が上限量子化値ＱＰＨを超えるマクロブロック、つまり活発性評価値ＡＣＴ（ＭＢ）が低レベル（値Ａ１未満）のマクロブロックに関しては、上限量子化値ＱＰＨを量子化値ＱＰ（ＭＢ）として設定する。また、図１０の（Ｂ）の量子化値ＱＰ（ＭＢ）が上限量子化値ＱＰＨ以下かつ下限量子化値ＱＰＬ以上のマクロブロック、つまり活発性評価値ＡＣＴ（ＭＢ）が中レベル（値Ａ１以上かつ値Ａ２以下）のマクロブロックに関しては、図１０の（Ｂ）の量子化値ＱＰ（ＭＢ）をそのまま量子化値ＱＰ（ＭＢ）として設定する。また、図１０の（Ｂ）の量子化値ＱＰ（ＭＢ）が下限量子化値ＱＰＬ未満のマクロブロック、つまり活発性評価値ＡＣＴ（ＭＢ）が高レベル（値Ａ２超）のマクロブロックに関しては、下限量子化値ＱＰＬを量子化値ＱＰ（ＭＢ）として設定する。

【0093】

＜ＱＰ（ＭＢ）の第２の設定処理＞
図１１は、設定部２２による量子化値ＱＰ（ＭＢ）の第２の設定処理を説明するための図である。設定部２２は、量子化値ＱＰ（ＰＩＣ）とノイズ値ＮＯＩＳＥ（ＭＢ）とに基づいて、量子化値ＱＰ（ＭＢ）を設定する。設定部２２は、下記式（７）で示される演算を行うことにより、ノイズ値ＮＯＩＳＥ（ＭＢ）に基づいて量子化値ＱＰ（ＭＢ）を算出する。図１１に示すように、設定部２２は、ノイズ値ＮＯＩＳＥ（ＭＢ）が高いほど高い量子化値ＱＰ（ＭＢ）を設定する。

【0094】

【数7】

【0095】

また、設定部２２は、量子化値ＱＰ（ＰＩＣ）を量子化値ＱＰ（ＭＢ）の上限値として用いることにより、式（７）の演算によって算出した量子化値ＱＰ（ＭＢ）が量子化値ＱＰ（ＰＩＣ）を超える場合には、量子化値ＱＰ（ＰＩＣ）を量子化値ＱＰ（ＭＢ）として設定する。

【0096】

図１２は、量子化値ＱＰ（ＭＢ）の第２の設定処理を実現するための画像処理装置１の構成を示す図である。演算部１９から設定部２２にノイズ値ＮＯＩＳＥ（ＭＢ）が入力される。

【0097】

なお、式（７）において、ノイズ値ＮＯＩＳＥ（ＭＢ）の代わりにノイズ値ＮＯＩＳＥ（ＰＩＣ）を代入することによって、量子化値ＱＰ（ＰＩＣ）を算出することができる。従って、設定部２１は、図３に示したルックアップテーブルに代えて、式（７）を用いた演算によって量子化値ＱＰ（ＰＩＣ）を設定しても良い。

【0098】

＜ＳＭ（ＭＢ）の設定処理＞
図１３〜１５は、設定部２４によるスケーリングマトリクスＳＭ（ＭＢ）の設定処理を説明するための図である。設定部２４は、スケーリングマトリクスＳＭ（ＰＩＣ）と活発性評価値ＡＣＴ（ＭＢ）とに基づいて、スケーリングマトリクスＳＭ（ＭＢ）を設定する。

【0099】

図１３を参照して、設定部２４は、活発性評価値ＡＣＴ（ＭＢ）が低レベル（値Ａ１未満）のマクロブロックに関しては、低レベル用のマスクＭＬを用いてスケーリングマトリクスＳＭ（ＰＩＣ）をマスキングする。マスクＭＬにおいては、「１」の乗数によって低周波成分をスルーし、略ゼロ値の乗数によって中周波成分及び高周波成分をカットするマスク値が設定されている。これにより、低周波成分においてはスケーリングマトリクスＳＭ（ＰＩＣ）の補正値がスケーリングマトリクスＳＭ（ＭＢ）の補正値として設定され、中周波成分及び高周波成分においては略ゼロ値がスケーリングマトリクスＳＭ（ＭＢ）の補正値として設定される。

【0100】

図１４を参照して、設定部２４は、活発性評価値ＡＣＴ（ＭＢ）が中レベル（値Ａ１以上かつ値Ａ２以下）のマクロブロックに関しては、中レベル用のマスクＭＭを用いてスケーリングマトリクスＳＭ（ＰＩＣ）をマスキングする。マスクＭＭにおいては、「１」の乗数によって低周波成分及び中周波成分をスルーし、略ゼロ値の乗数によって高周波成分をカットするマスク値が設定されている。これにより、低周波成分及び中周波成分においてはスケーリングマトリクスＳＭ（ＰＩＣ）の補正値がスケーリングマトリクスＳＭ（ＭＢ）の補正値として設定され、高周波成分においては略ゼロ値がスケーリングマトリクスＳＭ（ＭＢ）の補正値として設定される。

【0101】

図１５を参照して、設定部２４は、活発性評価値ＡＣＴ（ＭＢ）が高レベル（値Ａ２超）のマクロブロックに関しては、高レベル用のマスクＭＨを用いてスケーリングマトリクスＳＭ（ＰＩＣ）をマスキングする。マスクＭＨにおいては、「１」の乗数によって低周波成分、中周波成分、及び高周波成分をスルーするマスク値が設定されている。これにより、低周波成分、中周波成分、及び高周波成分の全てにおいて、スケーリングマトリクスＳＭ（ＰＩＣ）の補正値がスケーリングマトリクスＳＭ（ＭＢ）の補正値として設定される。

【0102】

なお、上記では３種類のマスクＭＬ，ＭＭ，ＭＨを用いて３段階のマスキング処理を行う例について説明したが、活発性評価値ＡＣＴ（ＭＢ）等の変数に応じて４種類以上のマスクを用意することにより、４段階以上（例えば８段階）のマスキング処理を行ってもよい。また、図１３〜１５に示した各マスクＭＬ，ＭＭ，ＭＨの乗数は一例であり、この例には限定されない。各マスクＭＬ，ＭＭ，ＭＨに設定する乗数は、ノイズ量等に応じて任意に決定することができる。

【0103】

＜ノイズ除去処理の実行要否の判定処理＞
演算部１９は、入力画像内の全てのマクロブロックに関するノイズ値ＮＯＩＳＥ（ＭＢ）の平均値として、ノイズ値ＮＯＩＳＥ（ＰＩＣ）を算出し、当該ノイズ値ＮＯＩＳＥ（ＰＩＣ）をＣＰＵ２に入力する。また、演算部２０は、入力画像内の全てのマクロブロックに関する活発性評価値ＡＣＴ（ＭＢ）の平均値として、活発性評価値ＡＣＴ（ＰＩＣ）を算出し、当該活発性評価値ＡＣＴ（ＰＩＣ）をＣＰＵ２に入力する。

【0104】

ＣＰＵ２は、入力画像全体のノイズ値ＮＯＩＳＥ（ＰＩＣ）と、入力画像全体の活発性評価値ＡＣＴ（ＰＩＣ）とに基づいて、入力画像毎にノイズ除去処理の実行の要否を判定する。

【0105】

ＣＰＵ２は、ノイズ値ＮＯＩＳＥ（ＰＩＣ）を活発性評価値ＡＣＴ（ＰＩＣ）で除算する演算（ＮＯＩＳＥ（ＰＩＣ）／ＡＣＴ（ＰＩＣ））を行うことによってノイズ強度を算出する。そして、当該ノイズ強度が所定のしきい値（例えば「１」）未満である場合にはノイズ除去処理の実行を不要と判定し、当該ノイズ強度が当該しきい値以上である場合にはノイズ除去処理の実行を必要と判定する。このように、ノイズ除去処理の実行のＯＮ／ＯＦＦをピクチャ単位で制御することにより、消費電力を削減することができる。

【0106】

なお、処理の遅延時間が問題とならない場合、例えば入力画像が静止画である場合には、ＣＰＵ２は、入力画像自身のノイズ値ＮＯＩＳＥ（ＰＩＣ）及び活発性評価値ＡＣＴ（ＰＩＣ）を算出し、それらに基づいてノイズ除去処理の実行の要否を判定すればよい。

【0107】

一方、処理の遅延時間が問題となる場合、例えば入力画像が動画である場合には、ＣＰＵ２は、直前（１フレーム前）の入力画像のノイズ値ＮＯＩＳＥ（ＰＩＣ）及び活発性評価値ＡＣＴ（ＰＩＣ）に基づいて、現入力画像に関するノイズ除去処理の実行の要否を判定すればよい。

【0108】

＜第１の変形例＞
上記実施の形態では、量子化値ＱＰ（ＰＩＣ）及び量子化値ＱＰ（ＭＢ）の双方に基づいて量子化値を設定し、スケーリングマトリクスＳＭ（ＰＩＣ）及びスケーリングマトリクスＳＭ（ＭＢ）の双方に基づいて補正値を設定したが、量子化値ＱＰ（ＰＩＣ）のみに基づいて量子化値を設定し、スケーリングマトリクスＳＭ（ＰＩＣ）のみに基づいて補正値を設定することもできる。

【0109】

図１６は、本変形例に係る画像処理装置１の構成を示す図である。図１に示した構成から設定部２２，２４が省略されている。

【0110】

図１７は、本変形例に係る画像処理装置１が実行するノイズ除去処理の流れを示すフローチャートである。まずステップＰ２０１において設定部１７は、ＣＰＵ２によるノイズ除去処理の実行要否の判定結果に基づいて、セレクタ１６を設定する。実行が不要である場合は処理を終了する。

【0111】

実行が必要である場合は、次にステップＰ２０２において設定部２１は、量子化値ＱＰ（ＰＩＣ）を設定する。

【0112】

次にステップＰ２０３において設定部２３は、スケーリングマトリクスＳＭ（ＰＩＣ）を設定する。

【0113】

次にステップＰ２０４〜Ｐ２０８において、マクロブロック毎のノイズ除去処理が、入力画像内に含まれる全てのマクロブロックに関して繰り返し実行される。

【0114】

ステップＰ２０４において変換部１１は、画像データＤ１を画像データＤ２に変換する。

【0115】

次にステップＰ２０５において量子化部１２は、量子化値ＱＰ（ＰＩＣ）を用いた量子化処理によって画像データＤ２から画像データＤ３を生成する。

【0116】

次にステップＰ２０６において補正部１３は、スケーリングマトリクスＳＭ（ＰＩＣ）を用いた補正処理によって画像データＤ３から画像データＤ４を生成する。

【0117】

次にステップＰ２０７において逆量子化部１４は、逆量子化処理によって画像データＤ４から画像データＤ５を生成する。

【0118】

次にステップＰ２０８において逆変換部１５は、逆ＤＣＴ変換によって画像データＤ５を画像データＤ６に変換する。入力画像内に含まれる全てのマクロブロックに関してマクロブロック毎のノイズ除去処理が完了することにより、処理が終了する。

【0119】

＜第２の変形例＞
上記実施の形態では、量子化値ＱＰ（ＰＩＣ）及び量子化値ＱＰ（ＭＢ）の双方に基づいて量子化値を設定し、スケーリングマトリクスＳＭ（ＰＩＣ）及びスケーリングマトリクスＳＭ（ＭＢ）の双方に基づいて補正値を設定したが、量子化値ＱＰ（ＭＢ）のみに基づいて量子化値を設定し、スケーリングマトリクスＳＭ（ＭＢ）のみに基づいて補正値を設定することもできる。

【0120】

図１８は、本変形例に係る画像処理装置１の構成を示す図である。図１に示した構成から設定部２１，２３が省略されている。

【0121】

図１９は、本変形例に係る画像処理装置１が実行するノイズ除去処理の流れを示すフローチャートである。まずステップＰ３０１において設定部１７は、ＣＰＵ２によるノイズ除去処理の実行要否の判定結果に基づいて、セレクタ１６を設定する。実行が不要である場合は処理を終了する。

【0122】

次にステップＰ３０２〜Ｐ３０８において、マクロブロック毎のノイズ除去処理が、入力画像内に含まれる全てのマクロブロックに関して繰り返し実行される。

【0123】

ステップＰ３０２において演算部２０は、活発性評価値ＡＣＴ（ＭＢ）を算出する。

【0124】

次にステップＰ３０３において設定部２２は、量子化値ＱＰ（ＭＢ）を設定する。また、設定部２４は、スケーリングマトリクスＳＭ（ＭＢ）を設定する。本変形例では、設定部２４は、活発性評価値ＡＣＴ（ＭＢ）が低レベル（値Ａ１未満）のマクロブロックに関しては、低レベル用のマスクＭＬ（図１３）をスケーリングマトリクスＳＭ（ＭＢ）として用いる。また、設定部２４は、活発性評価値ＡＣＴ（ＭＢ）が中レベル（値Ａ１以上かつ値Ａ２以下）のマクロブロックに関しては、中レベル用のマスクＭＭ（図１４）をスケーリングマトリクスＳＭ（ＭＢ）として用いる。また、設定部２４は、活発性評価値ＡＣＴ（ＭＢ）が高レベル（値Ａ２超）のマクロブロックに関しては、高レベル用のマスクＭＨ（図１５）をスケーリングマトリクスＳＭ（ＭＢ）として用いる。

【0125】

次にステップＰ３０４において変換部１１は、画像データＤ１を画像データＤ２に変換する。

【0126】

次にステップＰ３０５において量子化部１２は、量子化値ＱＰ（ＭＢ）を用いた量子化処理によって画像データＤ２から画像データＤ３を生成する。

【0127】

次にステップＰ３０６において補正部１３は、スケーリングマトリクスＳＭ（ＭＢ）を用いた補正処理によって画像データＤ３から画像データＤ４を生成する。

【0128】

次にステップＰ３０７において逆量子化部１４は、逆量子化処理によって画像データＤ４から画像データＤ５を生成する。

【0129】

次にステップＰ３０８において逆変換部１５は、逆ＤＣＴ変換によって画像データＤ５を画像データＤ６に変換する。入力画像内に含まれる全てのマクロブロックに関してマクロブロック毎のノイズ除去処理が完了することにより、処理が終了する。

【0130】

＜第３の変形例＞
上記実施の形態では、入力画像の各色成分に対して独立にノイズ除去処理を実行したが、全て（又は一部の複数）の色成分に対して統合的なノイズ除去処理を行うこともできる。

【0131】

演算部１９は、各色成分のノイズ値ＮＯＩＳＥ（ＰＩＣ）を平均化することによって、全ての色成分に関する平均ノイズ値ＮＯＩＳＥ（ＰＩＣ）を算出する。演算部２０は、各色成分の活発性評価値ＡＣＴ（ＰＩＣ）を平均化することによって、全ての色成分に関する平均活発性評価値ＡＣＴ（ＰＩＣ）を算出する。

【0132】

演算部１９は、各色成分のノイズ値ＮＯＩＳＥ（ＭＢ）を平均化することによって、全ての色成分に関する平均ノイズ値ＮＯＩＳＥ（ＭＢ）を算出する。演算部２０は、各色成分の活発性評価値ＡＣＴ（ＭＢ）を平均化することによって、全ての色成分に関する平均活発性評価値ＡＣＴ（ＭＢ）を算出する。

【0133】

そして、これらの平均ノイズ値ＮＯＩＳＥ（ＰＩＣ），ＮＯＩＳＥ（ＭＢ）及び平均活発性評価値ＡＣＴ（ＰＩＣ），ＡＣＴ（ＭＢ）を用いて設定された、全ての色成分に共通する共通量子化値ＱＰ（ＰＩＣ），ＱＰ（ＭＢ）及び共通スケーリングマトリクスＳＭ（ＰＩＣ），ＳＭ（ＭＢ）を用いて、統合的なノイズ除去処理が実行される。

【0134】

このように、全て（又は一部の複数）の色成分に対して統合的なノイズ除去処理を行うことにより、ノイズ検出精度を向上することができる。また、色成分間のノイズ除去効果のばらつきが抑制されるため、画質を向上することができる。

【0135】

一方、上記実施の形態のように入力画像の各色成分に対して独立にノイズ除去処理を実行することにより、色成分毎に最適なノイズ除去効果を得ることができる。一部の色成分のみのノイズ量が突出している場合等、色成分間でノイズ量が大きく異なる場合には、上記実施の形態の手法が有効である。

【0136】

＜第４の変形例＞
上記実施の形態では、専用ＬＳＩ等のハードウェアによって画像処理装置１を構成する例について説明したが、ＲＯＭ等の記録媒体に記録されたプログラムをＣＰＵ２が読み出して実行することにより、画像処理装置１と同様の機能をＣＰＵ２がソフトウェア処理によって実現する構成としても良い。

【0137】

＜まとめ＞
上記実施の形態に係る画像処理装置１によれば、設定部２３（第１の補正値設定部）は、入力画像全体の画像データＤ２（第２画像データ）に基づいて入力画像毎のスケーリングマトリクスＳＭ（ＰＩＣ）（第１の補正値）を設定し、補正部１３は、画像データＤ３（第３画像データ）に対して周波数成分毎に補正処理を実行することにより画像データＤ４（第４画像データ）を生成する。このように、入力画像全体の画像データＤ２に基づいて設定した第１の補正値を用いて周波数成分毎に補正処理を実行することにより、周波数成分毎のノイズレベルに応じて適切なノイズ除去処理を実行することができる。その結果、画質の劣化を回避しつつ高いノイズ除去効果を実現することが可能となる。また、ノイズ除去効果の向上を企図して空間フィルタを複数回適用する場合と比較すると、処理時間を短縮できるとともに、中間値を格納するテンポラルメモリが不要となるため回路規模を削減することが可能となる。また、設定部２３は、入力画像における周波数成分値間の比率が、ノイズを含まない理想画像における周波数成分値間の比率に等しくなるように、入力画像における各周波数成分値を変換するための変換値を、第１の補正値として設定する。第１の補正値をこのように設定することにより、出力画像を理想画像に近付ける補正処理を実現できるため、画質を向上することが可能となる。

【0138】

また、上記実施の形態に係る画像処理装置１によれば、設定部２４（第２の補正値設定部）は、第１の補正値と、マクロブロック毎の活発性評価値ＡＣＴ（ＭＢ）とに基づいて、補正処理に用いるマクロブロック毎のスケーリングマトリクスＳＭ（ＭＢ）（第２の補正値）を設定する。このように、入力画像全体の画像データＤ２に基づいて設定される第１の補正値と、マクロブロック毎の活発性評価値ＡＣＴ（ＭＢ）とに基づいて、マクロブロック毎の第２の補正値を設定することにより、入力画像全体の周波数成分値とマクロブロックの属性とに応じて、マクロブロック毎に適切な補正処理を実行することができる。その結果、ブロック毎のノイズ除去効果を向上できるため、画像全体として画質を向上することが可能となる。

【0139】

また、上記実施の形態に係る画像処理装置１によれば、設定部２４は、周波数成分別に任意の乗数が設定されたマスクを、活発性評価値ＡＣＴ（ＭＢ）に応じて複数種類保持しており、演算部２０によって算出された活発性評価値ＡＣＴ（ＭＢ）に対応するマスクを用いて第１の補正値のマスキングを行うことによって、第２の補正値を設定する。その結果、マクロブロック毎の活発性評価値ＡＣＴ（ＭＢ）に応じた第２の補正値を、第１の補正値から簡易かつ適切に設定することが可能となる。

【0140】

また、上記実施の形態に係る画像処理装置１によれば、設定部２４は、活発性評価値ＡＣＴ（ＭＢ）が低レベルのマクロブロックに関しては、低周波成分においては第１の補正値を第２の補正値として設定し、中周波成分及び高周波成分においては略ゼロ値を第２の補正値として設定する。活発性評価値ＡＣＴ（ＭＢ）が低くノイズが目立ちやすい平坦部に関しては、中周波成分及び高周波成分をカットするマスキングを行うことにより、補正処理による高いノイズ除去効果を得ることが可能となる。また、設定部２４は、活発性評価値ＡＣＴ（ＭＢ）が高レベルのマクロブロックに関しては、低周波成分、中周波成分、及び高周波成分において第１の補正値を第２の補正値として設定する。活発性評価値ＡＣＴ（ＭＢ）が高いエッジ部やテクスチャ部に関しては、全周波数成分をカットしないマスキングを行うことにより、エッジ部やテクスチャ部を鮮明化する補正処理を実現でき、画質を向上することが可能となる。また、設定部２４は、活発性評価値ＡＣＴ（ＭＢ）が中レベルのマクロブロックに関しては、低周波成分及び中周波成分においては第１の補正値を第２の補正値として設定し、高周波成分においては略ゼロ値を第２の補正値として設定する。平坦部、エッジ部、及びテクスチャ部以外の画像部分に関しては、高周波成分のみをカットするマスキングを行うことにより、補正処理による中程度のノイズ除去効果を得ることが可能となる。

【0141】

また、上記実施の形態に係る画像処理装置１によれば、演算部２０は、各画素の平滑値（上記の例では重み付き平均値）と、平滑値のマクロブロック内平均値との差分絶対値和を算出し、当該差分絶対値和のマクロブロック内平均値として、マクロブロック毎の活発性評価値ＡＣＴ（ＭＢ）を算出する。これにより、マクロブロック毎の活発性評価値ＡＣＴ（ＭＢ）を演算部２０によって適切に求めることが可能となる。

【0142】

また、上記実施の形態に係る画像処理装置１によれば、設定部２４（補正値設定部）は、マクロブロック毎の活発性評価値ＡＣＴ（ＭＢ）に基づいて、補正処理に用いるマクロブロック毎のスケーリングマトリクスＳＭ（ＭＢ）（補正値）を設定する。このように、マクロブロック毎の活発性評価値ＡＣＴ（ＭＢ）に基づいてマクロブロック毎の補正値を設定することにより、マクロブロックの属性に応じて、マクロブロック毎に適切な補正処理を実行することができる。その結果、ブロック毎のノイズ除去効果を向上できるため、画像全体として画質を向上することが可能となる。また、ノイズ除去効果の向上を企図して空間フィルタを複数回適用する場合と比較すると、処理時間を短縮できるとともに、中間値を格納するテンポラルメモリが不要となるため回路規模を削減することが可能となる。また、設定部２４は、周波数成分別に任意の乗数が設定されたマスクを、活発性評価値ＡＣＴ（ＭＢ）に応じて複数種類保持しており、演算部２０によって算出された活発性評価値ＡＣＴ（ＭＢ）に対応するマスクに設定されている乗数を、補正値として設定する。その結果、マクロブロック毎の活発性評価値ＡＣＴ（ＭＢ）に応じた補正値を、簡易かつ適切に設定することが可能となる。

【0143】

また、上記実施の形態に係る画像処理装置１によれば、設定部２４は、活発性評価値ＡＣＴ（ＭＢ）が低レベルのマクロブロックに関しては、低周波成分においては１倍を補正値として設定し、中周波成分及び高周波成分においては略ゼロ倍を補正値として設定する。活発性評価値ＡＣＴ（ＭＢ）が低くノイズが目立ちやすい平坦部に関しては、中周波成分及び高周波成分をカットするマスキングを行うことにより、補正処理による高いノイズ除去効果を得ることが可能となる。また、設定部２４は、活発性評価値ＡＣＴ（ＭＢ）が高レベルのマクロブロックに関しては、低周波成分、中周波成分、及び高周波成分において１倍を補正値として設定する。活発性評価値ＡＣＴ（ＭＢ）が高いエッジ部やテクスチャ部に関しては、全周波数成分をカットしないマスキングを行うことにより、エッジ部やテクスチャ部を鮮明化する補正処理を実現でき、画質を向上することが可能となる。また、設定部２４は、活発性評価値ＡＣＴ（ＭＢ）が中レベルのマクロブロックに関しては、低周波成分及び中周波成分においては１倍を補正値として設定し、高周波成分においては略ゼロ倍を補正値として設定する。平坦部、エッジ部、及びテクスチャ部以外の画像部分に関しては、高周波成分のみをカットするマスキングを行うことにより、補正処理による中程度のノイズ除去効果を得ることが可能となる。

【0144】

また、上記実施の形態に係る画像処理装置１によれば、演算部２０は、各画素の平滑値（上記の例では重み付き平均値）と、平滑値のマクロブロック内平均値との差分絶対値和を算出し、当該差分絶対値和のマクロブロック内平均値として、マクロブロック毎の活発性評価値ＡＣＴ（ＭＢ）を算出する。これにより、マクロブロック毎の活発性評価値ＡＣＴ（ＭＢ）を演算部２０によって適切に求めることが可能となる。

【0145】

また、上記実施の形態に係る画像処理装置１によれば、ＣＰＵ２は、入力画像全体のノイズ値ＮＯＩＳＥ（ＰＩＣ）と、入力画像全体の活発性評価値ＡＣＴ（ＰＩＣ）とに基づいて、ノイズ除去処理の実行の要否を判定する。これにより、ノイズ除去処理が真に必要な入力画像を対象としてノイズ除去処理を実行でき、不要な入力画像に対するノイズ除去処理の実行を回避できるため、消費電力を削減することが可能となる。

【0146】

また、上記実施の形態に係る画像処理装置１によれば、ＣＰＵ２は、入力画像全体のノイズ値ＮＯＩＳＥ（ＰＩＣ）を、入力画像全体の活発性評価値ＡＣＴ（ＰＩＣ）で除算することによって、ノイズ強度を算出する。そして、当該ノイズ強度が所定のしきい値未満である場合にはノイズ除去処理の実行を不要と判定し、当該ノイズ強度が当該しきい値以上である場合にはノイズ除去処理の実行を必要と判定する。ＣＰＵ２がこのような判定処理を行うことにより、ノイズ除去処理が真に必要な入力画像を高精度に特定することが可能となる。

【0147】

また、上記実施の形態に係る画像処理装置１によれば、変換部１１、量子化部１２、及び補正部１３は、入力画像から部分的に重複するように抽出された複数のマクロブロックに関して順次に処理を行う。このように、マクロブロックの一部を互いにオーバーラップさせることにより、ブロックノイズの発生を抑制することが可能となる。また、出力画像のうち複数のマクロブロックが重複する画像部分については、重複する複数のマクロブロックから求めた最適値（上記の例では平均値）が当該画像部分の画像データとして出力される。このように、重複部分については複数のマクロブロックから求めた最適値を出力することにより、画質の劣化を回避しつつ高いノイズ除去効果を実現することが可能となる。

【符号の説明】

【0148】

１ 画像処理装置
１１ 変換部
１２ 量子化部
１３ 補正部
１７ 設定部
１８ フィルタ
１９，２０ 演算部
２１〜２４ 設定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】