特開 2017-117066 画像処理方法、画像処理装置および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2017-117066(P2017-117066A)

(43)【公開日】2017年6月29日

(54)【発明の名称】画像処理方法、画像処理装置および画像処理プログラム

(51)【国際特許分類】

   G06T 5/00 20060101AFI20170602BHJP

   H04N 1/409 20060101ALI20170602BHJP

【ＦＩ】

   G06T5/00 705

   H04N1/40 101C

【審査請求】未請求

【請求項の数】18

【出願形態】ＯＬ

【全頁数】18

(21)【出願番号】特願2015-249662(P2015-249662)

(22)【出願日】2015年12月22日

(71)【出願人】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】数井 誠人

【テーマコード（参考）】

5B057

5C077

【Ｆターム（参考）】

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CE02

5B057DB02

5B057DB09

5B057DC16

5B057DC19

5B057DC36

5C077LL02

5C077LL19

5C077MP06

5C077PP47

5C077PP49

5C077PQ18

5C077PQ19

5C077PQ20

(57)【要約】

【課題】圧縮画像の視覚的要素を考慮してノイズ除去処理を行う。
【解決手段】本発明は、入力画像においてエッジを判別してエッジ画素を検出するステップと、エッジ画素をマスキングしてマスキング画像を生成するステップと、マスキング画像の各画素のベクトルの高周波数成分の微分値の平均値を算出し、各画素の平均値からの距離を表す微分特徴量モデルによって、入力画像に含まれるノイズの候補を抽出するためのノイズセイリエンシを計算するステップと、入力画像の所定の単位からなる単位画像の輝度を２値化して、入力画像における２値の分布に基づいて、入力画像のコントラストを表す分離度を計算するステップと、分離度に基づいて重み値を計算するステップと、ノイズセイリエンシと重み値とを用いてノイズを視認性に基づいて評価するためのノイズ視認性値を計算するステップと、を有する処理をコンピュータに実行させる画像処理方法である。
【選択図】図１

【特許請求の範囲】

【請求項1】

入力画像においてエッジを判別してエッジ画素を検出するステップと、
前記エッジ画素をマスキングしてマスキング画像を生成するステップと、
前記マスキング画像の各画素のベクトルの高周波数成分の微分値の平均値を算出し、前記各画素の前記平均値からの距離を表す微分特徴量モデルによって、前記入力画像に含まれるノイズの候補を抽出するためのノイズセイリエンシを計算するステップと、
前記入力画像の所定の単位からなる単位画像の輝度を２値化して、前記入力画像における前記２値の分布に基づいて、前記入力画像のコントラストを表す分離度を計算するステップと、
前記分離度に基づいて重み値を計算するステップと、
前記ノイズセイリエンシと前記重み値とを用いて前記ノイズを視認性に基づいて評価するためのノイズ視認性値を計算するステップと、
を有する処理をコンピュータに実行させる画像処理方法。

【請求項2】

前記微分特徴量モデルは、前記入力画像における水平方向および垂直方向の高周波数成分の１次微分および２次微分のベクトル成分からなる微分特徴量モデルである、
請求項１に記載の画像処理方法。

【請求項3】

前記重み値は、前記分離度が大きい場合に大きくなるよう設定され、前記分離度が小さい場合に小さくなるよう設定される、
請求項２に記載の画像処理方法。

【請求項4】

前記ノイズセイリエンシを求めるステップは、前記画素毎に計算された前記ノイズセイリエンシのヒストグラムを計算し、前記ヒストグラムと正規分布とを比較し、前記ヒストグラムの前記正規分布からの残差に基づいて前記ノイズの数の指標となるノイズセイリエンシスコアを計算するステップを更に有する、
請求項３に記載の画像処理方法。

【請求項5】

前記ノイズセイリエンシを計算するステップは、前記入力画像中の注目点と前記入力画像中のそれぞれの前記画素との距離を計算し、各前記距離の総和に基づいて前記ノイズセイリエンシを計算する、
請求項３に記載の画像処理方法。

【請求項6】

前記分離度を計算するステップは、前記ノイズの振幅に基づいて前記ノイズであるノイズ画素の候補を抽出するステップを更に有し、
前記ノイズセイリエンシは、前記ノイズ画素の候補に対して計算される、
請求項５に記載の画像処理方法。

【請求項7】

入力画像においてエッジを判別してエッジ画素を検出するエッジ検出手段と、
前記エッジ画素をマスキングしてマスキング画像を生成するマスキング処理手段と、
前記マスキング画像の各画素のベクトルの高周波数成分の微分値の平均値を算出し、前記各画素の前記平均値からの距離を表す微分特徴量モデルによって、前記入力画像に含まれるノイズの候補を抽出するためのノイズセイリエンシを計算するノイズセイリエンシ計算手段と、
前記入力画像の所定の単位からなる単位画像の輝度を２値化して、前記入力画像における前記２値の分布に基づいて、前記入力画像のコントラストを表す分離度を計算する分離度計算手段と、
前記分離度に基づいて重み値を計算する重み値計算手段と、
前記ノイズセイリエンシと前記重み値とを用いて前記ノイズを視認性に基づいて評価するためのノイズ視認性値を計算するノイズ視認性値計算手段と、
を有する画像処理装置。

【請求項8】

前記微分特徴量モデルは、前記入力画像における水平方向および垂直方向の高周波数成分の１次微分および２次微分のベクトル成分からなる微分特徴量モデルである、
請求項７に記載の画像処理装置。

【請求項9】

前記重み値は、前記分離度が大きい場合に大きくなるよう設定され、前記分離度が小さい場合に小さくなるよう設定される、
請求項８に記載の画像処理装置。

【請求項10】

前記ノイズセイリエンシ計算手段は、前記画素毎に計算された前記ノイズセイリエンシのヒストグラムを計算するヒストグラム計算手段と、
前記ヒストグラムと正規分布とを比較し、前記ヒストグラムの前記正規分布からの残差に基づいて前記ノイズの数の指標となるノイズセイリエンシスコアを計算する正規分布整合計算手段を更に有する、
請求項９に記載の画像処理装置。

【請求項11】

前記ノイズセイリエンシを計算手段は、前記入力画像中の注目点と前記入力画像中のそれぞれの前記画素との距離を計算し、各前記距離の総和に基づいて前記ノイズセイリエンシを計算する、
請求項９に記載の画像処理装置。

【請求項12】

前記分離度計算手段は、前記ノイズの振幅に基づいて前記ノイズであるノイズ画素の候補を抽出するノイズ候補計算手段を更に有し、
前記ノイズセイリエンシは、前記ノイズ画素の候補に対して計算される、
請求項１１に記載の画像処理装置。

【請求項13】

入力画像においてエッジを判別してエッジ画素を検出するステップと、
前記エッジ画素をマスキングしてマスキング画像を生成するステップと、
前記マスキング画像の各画素のベクトルの高周波数成分の微分値の平均値を算出し、前記各画素の前記平均値からの距離を表す微分特徴量モデルによって、前記入力画像に含まれるノイズの候補を抽出するためのノイズセイリエンシを計算するステップと、
前記入力画像の所定の単位からなる単位画像の輝度を２値化して、前記入力画像における前記２値の分布に基づいて、前記入力画像のコントラストを表す分離度を計算するステップと、
前記分離度に基づいて重み値を計算するステップと、
前記ノイズセイリエンシと前記重み値とを用いて前記ノイズを視認性に基づいて評価するためのノイズ視認性値を計算するステップと、
を有する画像処理方法の処理をコンピュータに実行させるプログラム。

【請求項14】

前記微分特徴量モデルは、前記入力画像における水平方向および垂直方向の高周波数成分の１次微分および２次微分のベクトル成分からなる微分特徴量モデルである、
請求項１３に記載のプログラム。

【請求項15】

前記重み値は、前記分離度が大きい場合に大きくなるよう設定され、前記分離度が小さい場合に小さくなるよう設定される、
請求項１４に記載のプログラム。

【請求項16】

前記ノイズセイリエンシを求めるステップは、前記画素毎に計算された前記ノイズセイリエンシのヒストグラムを計算し、前記ヒストグラムと正規分布とを比較し、前記ヒストグラムの前記正規分布からの残差に基づいて前記ノイズの数の指標となるノイズセイリエンシスコアを計算するステップを更に有する、
請求項１５に記載のプログラム。

【請求項17】

前記ノイズセイリエンシを計算するステップは、前記入力画像中の注目点と前記入力画像中のそれぞれの前記画素との距離を計算し、各前記距離の総和に基づいて前記ノイズセイリエンシを計算する、
請求項１５に記載のプログラム。

【請求項18】

前記分離度を計算するステップは、前記ノイズの振幅に基づいて前記ノイズであるノイズ画素の候補を抽出するステップを更に有し、
前記ノイズセイリエンシは、前記ノイズ画素の候補に対して計算される、
請求項１７に記載のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、圧縮された画像を鮮明にするための画像処理方法、画像処理装置および画像処理プログラムに関する。

【背景技術】

【0002】

近年、ＴＶ放送がＤｉｇｉｔａｌ放送に移行すると共に、ＶＯＤ（Ｖｉｄｅｏ Ｏｎ Ｄｅｍａｎｄ）などのインターネットを介した映像配信サービスも普及している。また、Ｓｍａｒｔ ＴＶの出現により、ＹｏｕＴｕｂｅ（登録商標）などのＵＧＣ（Ｕｓｅｒ Ｇｅｎｅｒａｔｅｄ Ｃｏｎｔｅｎｔｓ）を手軽にＴＶで視聴できる環境も整いつつある。放送波やＩｎｔｅｒｎｅｔを介した映像配信では、ＭＰＥＧ−２やＨ．２６４／ＭＰＥＧ−４ＡＶＣといったビデオコーデックで圧縮された映像が用いられている。圧縮された映像では、ブロックノイズなどの符号化ノイズによって画質劣化が生じることが問題となっている。

【0003】

符号化ノイズの検出・除去に関しては１９９０年代に入ってから現在まで数多くの方法が提案されている。従来の符号化ノイズ検出では、画質劣化の無い参照画像（正解画像）と圧縮画像との比較によりノイズ量を推定する手法、圧縮情報（ビットストリームに含まれている量子化マトリクス、量子化スケールなど）を用いてノイズ量を推定する手法（Ｆｕｌｌ−ｒｅｆｅｒｅｎｃｅ型手法）などが提案されている。

【0004】

しかし、Ｎｏ−ｒｅｆｅｒｅｎｃｅ且つＣｏｍｐｒｅｓｓｉｏｎ−ｂｌｉｎｄという条件下において、非可逆圧縮された映像信号から原信号とＮｏｉｓｅを完璧に分離することは如何なる方法でも不可能である。非可逆圧縮された画像において検出対象となっている符号化ノイズには、ブロックノイズ、モスキートノイズ、リンギングノイズがある。モスキートノイズは画像中のエッジ部分に顕著に発生する。

【0005】

近年、ＴＶ画面の更なる高解像度化が進んでおり、Ｆｕｌｌ Ｈｉｇｈ Ｖｉｓｉｏｎ（２Ｋ ＴＶ， １９２０×１０８０画素）から４Ｋ ＵＨＤ ＴＶ（３８４０×２１６０画素）へ移行しつつある。しかし、ＴＶ画面が高精細化してもそれに表示できるコンテンツが少ないため、４Ｋ ＴＶで２Ｋ以下の解像度のコンテンツを表示する場合が生じる。このとき、表示される２Ｋ以下の画像を超解像によって４Ｋサイズに拡大して表示する必要がある。元の２Ｋ解像度以下のコンテンツ画像にノイズが含まれていない場合は、画像拡大した際のアーチファクトは画像のボケだけで済む。しかし、元の画像にノイズが含まれている場合はノイズも同時に超解像してしまうという問題がある。

【0006】

ノイズは本来画像に含まれていないテクスチャであるため、ノイズが超解像されると非常に不自然なアーチファクトとして目立つという問題がある。その場合、前処理としてノイズ低減処理を行うが、エッジをぼかしてしまったり、テクスチャまで低減したりしてしまう。この場合、超解像する際にぼけたエッジやロストしたテクスチャを綺麗に拡大できなくなる。

【0007】

圧縮された画像に重畳されたモスキートノイズを低減する技術として、特許文献１に記載されたノイズ除去装置がある。このノイズ除去装置は、複数のブロックに分割された画像データにおいて、ブロック毎にエッジが含まれるか否かを判別し、判別結果からノイズ除去の対称となるブロックを選択する。そして、このノイズ除去装置は、エッジが含まれるブロックを選択した後、エッジを保存しつつノイズ除去する平滑化フィルタによって該ブロックからモスキートノイズを除去する。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開平７−２３２２７号公報

【非特許文献】

【0009】

【非特許文献1】R. Achanta, S. Hemami, F. Estrada and S. Susstrunk, Frequency-tuned Salient Region Detection, IEEE International Conference on Computer Vision and Pattern Recognition (CVPR 2009), pp. 1597 - 1604, 2009.

【発明の概要】

【発明が解決しようとする課題】

【0010】

特許文献１に記載されたノイズ除去装置によると、画像のモスキートノイズの除去に際して、ノイズ除去の対称となるブロックは、エッジが含まれる否かによって選択される。このノイズ除去装置によると、エッジが含まれている対象画像の全てに対してノイズ除去の処理を行う。そのため、このノイズ除去装置では、エッジ近傍にノイズでないテクスチャ等の画像が存在する場合にもノイズ除去処理を行ってしまう。

【0011】

従って、このノイズ除去装置では、平滑化時に本来の画像テクスチャも平滑化してしまい、ノイズ除去処理後の画像が視覚的に不自然となる虞がある。特に、ノイズ除去後の画像を超解像処理する場合にこれが顕著となる虞がある。
本発明は、圧縮画像からノイズ除去する画像処置において、対象画像の視覚的要素を考慮してノイズ除去処理を行う画像処理方法、画像処置装置および画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0012】

本発明にかかる画像処理方法は、入力画像においてエッジを判別してエッジ画素を検出するステップと、
前記エッジ画素をマスキングしてマスキング画像を生成するステップと、
前記マスキング画像の各画素のベクトルの高周波数成分の微分値の平均値を算出し、前記各画素の前記平均値からの距離を表す微分特徴量モデルによって、前記入力画像に含まれるノイズの候補を抽出するためのノイズセイリエンシを計算するステップと、
前記入力画像の所定の単位からなる単位画像の輝度を２値化して、前記入力画像における前記２値の分布に基づいて、前記入力画像のコントラストを表す分離度を計算するステップと、
前記分離度に基づいて重み値を計算するステップと、
前記ノイズセイリエンシと前記重み値とを用いて前記ノイズを視認性に基づいて評価するためのノイズ視認性値を計算するステップと、
を有する処理をコンピュータに実行させる。

【0013】

本発明にかかる画像処理装置は、入力画像においてエッジを判別してエッジ画素を検出するエッジ検出手段と、
前記エッジ画素をマスキングしてマスキング画像を生成するマスキング処理手段と、
前記マスキング画像の各画素のベクトルの高周波数成分の微分値の平均値を算出し、前記各画素の前記平均値からの距離を表す微分特徴量モデルによって、前記入力画像に含まれるノイズの候補を抽出するためのノイズセイリエンシを計算するノイズセイリエンシ計算手段と、
前記入力画像の所定の単位からなる単位画像の輝度を２値化して、前記入力画像における前記２値の分布に基づいて、前記入力画像のコントラストを表す分離度を計算する分離度計算手段と、
前記分離度に基づいて重み値を計算する重み値計算手段と、
前記ノイズセイリエンシと前記重み値とを用いて前記ノイズを視認性に基づいて評価するためのノイズ視認性値を計算するノイズ視認性値計算手段と、
を有する。

【0014】

本発明にかかるプログラムは、入力画像においてエッジを判別してエッジ画素を検出するステップと、
前記エッジ画素をマスキングしてマスキング画像を生成するステップと、
前記マスキング画像の各画素のベクトルの高周波数成分の微分値の平均値を算出し、前記各画素の前記平均値からの距離を表す微分特徴量モデルによって、前記入力画像に含まれるノイズの候補を抽出するためのノイズセイリエンシを計算するステップと、
前記入力画像の所定の単位からなる単位画像の輝度を２値化して、前記入力画像における前記２値の分布に基づいて、前記入力画像のコントラストを表す分離度を計算するステップと、
前記分離度に基づいて重み値を計算するステップと、
前記ノイズセイリエンシと前記重み値とを用いて前記ノイズを視認性に基づいて評価するためのノイズ視認性値を計算するステップと、
を有する画像処理方法の処理をコンピュータに実行させる。

【発明の効果】

【0015】

本発明に係る画像処理方法、画像処置装置および画像処理プログラムによると、圧縮画像からノイズ除去する際に、対象画像の視覚的要素を考慮してノイズ除去の画像処置をすることができる。

【図面の簡単な説明】

【0016】

【図1】第１実施形態にかかる画像処理装置の構成を示したブロック図である。

【図2】入力画像のエッジを検出してエッジ画素にマスキング処理を行う処理を示した図である。

【図3】入力画像のノイズセイリエンシを算出する微分特徴量モデルを示した図である。

【図4】入力画像のヒストグラムを例示した図である。

【図5】入力画像のヒストグラムを例示した図である。

【図6】入力画像のヒストグラムを例示した図である。

【図7】ノイズセイリエンシスコアを計算する処理を示したフローチャートである。

【図8】入力画像を２値化した場合の輝度の出現頻度を示した図である。

【図9】第２実施形態にかかる画像処理装置の構成を示したブロック図である。

【図10】入力画像のノイズセイリエンシを算出する微分特徴量モデルを示した図である。

【発明を実施するための形態】

【0017】

［第１実施形態］
以下、図面を参照しつつ、本発明に係る画像処理方法の実施形態について説明する。

【0018】

図１に示されるように、画像処置装置１は、所定の単位の入力画像からノイズを抽出する処理を行うノイズ抽出部２と、ノイズ除去処理において、所定の単位の入力画像を視覚的に評価する処理を行う視覚評価部１０と、からなる。本実施形態では、所定の単位の入力画像とは、所定の画素の単位で切り出された局所画像パッチである。

【0019】

画像処置装置１は、ノイズ抽出部２で入力画像のノイズの候補を数値的に抽出し、抽出されたノイズの候補に対し、視覚評価部１０において入力画像の視覚的な評価を反映させてノイズを出力する。

【0020】

ノイズ抽出部２は、局所画像パッチにおいて、エッジ部分を判別してエッジ画素を検出するエッジ検出手段３と、検出されたエッジ画素に対してマスキング処理を行ってマスキング画像を生成するマスキング処理手段４と、マスキング画像から入力画像に含まれるノイズの候補を抽出するためのノイズセイリエンシを計算するノイズセイリエンシ計算手段５と、ノイズセイリエンシを後述するノイズを視認性に基づいて評価するノイズ視認性値計算手段８と、を有する。

【0021】

ノイズセイリエンシ計算手段５は、画素毎に計算されたノイズセイリエンシのヒストグラムを計算するヒストグラム計算手段６と、ヒストグラムと正規分布とを比較し、正規分布からの残差に基づいてノイズの数の指標を計算する正規分布整合計算手段７と、を更に有する。

【0022】

視覚評価部１０は、入力画像のコントラストを表す分離度を計算する分離度計算手段１１と、算出された分離度に基づいて重み値を計算する重み値算出手段１２とを有する。

【0023】

次に、画像処置装置１の画像処理方法について説明する。先ずノイズ抽出部２におけるノイズ抽出処理について説明する。

【0024】

図２に示されるように、圧縮処理されている入力画像Ｍは、文字等のコントラストが明確な画像を含んでいる（図２（Ａ）参照）。文字のエッジ近傍にはモスキートノイズＮが発生している。エッジ検出手段３は、入力画像Ｍのエッジ部分を判別してエッジ画素Ｍ１を検出する（図２（Ｂ）参照）。マスキング処理手段４は、検出されたエッジ画素Ｍ１を覆うようにマスキング処理を行い、マスキング画像Ｍ２を生成する（図２（Ｃ）参照）。エッジ画素Ｍ１をマスキングするのは、以後の処理においてエッジ画素Ｍ１のJaggyがノイズと認識されるのを防止するためである。

【0025】

ノイズセイリエンシ計算手段５は、生成されたマスキング画像Ｍ２から入力画像に含まれるノイズの顕著性（Ｓａｌｉｅｎｃｙ:セイリエンシ）を表すノイズセイリエンシを計算する。

【0026】

図３に示されるように、非特許文献１に記載された関連する方法によると、ＲＧＢ色空間

【数1】

からＬａｂ色空間

【数2】

へ変換し、画像全体の平均色

【数3】

と、画像の各画素の色

【数4】

との距離Ｓ（ｘ，ｙ）（ユークリッドノルム）を画像の各点において計算し、その距離を各画素のＳａｌｉｅｎｃｙ（顕著性）としている。ユークリッドノルムＳ（ｘ，ｙ）の計算式は、以下のように表される。

【数5】

ここで、出力された白黒画像Ｘの明るさがＳａｌｉｅｎｃｙを示している。ここで定義されているＳａｌｉｅｎｃｙは、画像の各画素の平均色からのずれを表しており、画像の平均的な色から外れた色の顕著性を表している。

【0027】

画像処置装置１では、Ｓ（ｘ，ｙ）の計算において、色空間ベクトル（Ｌａｂ）を水平垂直の１次２次微分（計４次元）ベクトルに変更して計算する。

【数6】

ここで、

【数7】

である。ここで、Ｉは輝度を表す。Ｌａｂ空間では、Ｌが明度を表すので、ここでは、Ｉ＝Ｌとする。そして、微分値の絶対値の平均値を計算すると、

【数8】

である。即ち、ノイズセイリエンシ計算手段５は、マスキング画像Ｍ２の各画素の高周波成分のベクトルｄの微分値の高周波成分の絶対値の平均値ｄμを算出し、各画素ｄの平均値ｄμからの距離を表す微分特徴量モデルＳ（ｘ，ｙ）（微分特徴コントラスト）によって、マスキング画像Ｍ２（入力画像）に含まれるノイズの顕著性を表すノイズセイリエンシを計算する。

【0028】

ここで、Ｓ（ｘ，ｙ）において、マスキング画像Ｍ２中のノイズ成分（高周波成分）のベクトルｄがマスキング画像Ｍ２の高周波成分の平均値ｄμより大きいと、ノイズのＳａｌｉｅｎｃｙ（顕著性）が大きくなる。即ち、ノイズセイリエンシが大きい場合、マスキング画像Ｍ２に含まれるノイズ画素である可能性が高くなる。

【0029】

次に、ノイズセイリエンシの微分特徴量モデルＳ（ｘ，ｙ）からノイズ画素の候補を抽出するための処理を行う。ヒストグラム計算手段６は、画素毎に計算されたノイズセイリエンシのヒストグラムを計算する。

【0030】

図４から図６に示されるように、ノイズセイリエンシのヒストグラムは、入力画像Ｍの種類によって異なる。入力画像Ｍがテクスチャの場合、ヒストグラムは、正規分布に近い分布を示している（図４参照）。そして、入力画像Ｍがモスキートノイズを含む文字等の場合、ヒストグラムの形状は左右非対称となり、かつ、左側のすそ野（ノイズに相当）の形状が不規則になっており、テクスチャの場合と異なる傾向を示す（図５参照）。また、入力画像Ｍがノイズもテクスチャもないフラット（またはグラデーション）領域の場合、ヒストグラムの分布は正規分布の形をとりながら、原点に近い方向へ寄っている（図６参照）。このことから、入力画像Ｍにノイズが無く、かつフラットな場合もノイズとの区別ができることが分かる。

【0031】

次に、正規分布整合計算手段７は、算出されたヒストグラムと正規分布とを比較し、ヒストグラムと正規分布からの残差に基づいてノイズの数の指標となるノイズセイリエンシスコアを計算する。

【0032】

図７に示されるように、正規分布整合計算手段７は、最小中間値（ＬＭｅｄＳ）推定によってノイズセイリエンシスコア（Ｎｏｉｓｅ Ｓａｌｉｅｎｃｙ Ｓｃｏｒｅ）を計算する。正規分布整合計算手段７は、算出されたヒストグラムを入力する（Ｓ１００）。正規分布整合計算手段７は、入力画像Ｍからデータ点をランダムサンプリングする（Ｓ１０１）正規分布整合計算手段７は、サンプリングされたデータを用いて、データのヒストグラムと正規分布Ｎ（ｘ｜μ，σ）とをフィッティングする（Ｓ１０２）。正規分布Ｎ（ｘ｜μ，σ）は以下のように定義される。

【数9】

ここで、μは分布の平均値、σは分布の標準偏差を表す。

【0033】

正規分布整合計算手段７は、推定した正規分布パラメータを用いて対象となるデータの残差εｉを計算する（Ｓ１０３）。

【数10】

ここで、εｉは、分布の各点ｉのヒストグラム値ｈ（ｉ）と、推定された正規分布との差Ｎ（ｉ｜μ，σ）を表す。正規分布整合計算手段７は、残差の中間値ｍｅｄを求める（Ｓ１０４）。

【数11】

【0034】

正規分布整合計算手段７は、以上の処理を指定回数になるまで反復する（Ｓ１０５）。
正規分布整合計算手段７は、指定回数を反復後、最も小さい中間値ｍｉｎ ｍｅｄの正規分布パラメータを採用する（Ｓ１０６）。

【数12】

ここで、最も小さい中間値ｍｉｎ ｍｅｄにおける正規分布パラメータをμｍ，σｍとする。

【0035】

正規分布整合計算手段７は、中間値から標準偏差σ＾を算出し、残差が２．５σ以上のデータ点の残差の総和Ｅを計算する（Ｓ１０７）。

【数13】

【数14】

ここで、Ｃ＝１．４８２６、Ｆ：ランダムサンプリング数、ｎ：データ点の総数である。

【0036】

正規分布整合計算手段７は、ノイズの数の指標となるノイズセイリエンシスコアＥ（Ｎｏｉｓｅ Ｓａｌｉｅｎｃｙ Ｓｃｏｒｅ）を出力する（Ｓ１０８）。

【数15】

ここで、残差の総和Ｅが大きい場合、入力画像Ｍに含まれるノイズの量が大きいと判断され、対象となる画素はノイズの候補として抽出される。

【0037】

次に、画像処理装置１の視覚評価部１０における、所定の単位の入力画像を視覚的に評価する処理について説明する。

【0038】

分離度計算手段１１は、入力画像のコントラストを表す分離度を計算し、入力画像Ｍの線形性判別分析を行う。分離度は、入力画像Ｍの単位画像（局所画像パッチ）の輝度を２値化して、２値化による閾値を求める。単位画像のクラス内分散をσｗとすると、以下の関係が成り立つ。

【数16】

ここで、ω１：単位画像内の２値で分割された領域１の画素数、σ１：領域１の分散、ω２：単位画像内の２値で分割された領域２の画素数、σ２：領域２の分散である。

【0039】

単位画像のクラス間分散をσｂとすると、以下の関係が成り立つ。

【数17】

ここで、ｍ１：領域１の輝度平均値、ｍ２：領域２の輝度平均値である。

【0040】

よって、分離度（Ｓｅｐａｒａｂｉｌｉｔｙ）は、以下の式で求められる。

【数18】

ここで、σｔは、全分散であり、以下の関係がある。

【数19】

即ち、分離度（Ｓｅｐａｒａｂｉｌｉｔｙ）は、クラス内分散およびクラス間分散の比である。

【0041】

次に、単位画像の輝度を２値化する閾値Ｔｈを求める。

【数20】

これは、分離度を最大にする２値化閾値Ｔｈである。

【0042】

図８に示されるように、入力画像Ｍにおいて、文字のようにコントラストがはっきりした画像の場合、輝度分布が明確な二峰性分布を示す。この場合では、分離度（Ｓｅｐａｒａｂｉｌｉｔｙ）が大きくなる。一方、入力画像Ｍがテクスチャの場合には、明確な二峰性分布とはならない。この場合では、分離度（Ｓｅｐａｒａｂｉｌｉｔｙ）は小さくなる。分離度が大きい場合には、入力画像Ｍにおけるエッジ近傍に存在するモスキートノイズＮが目立ちやすくなる。そこで、分離度が大きい場合には、上記で計算されたノイズセイリエンシスコアＥに対して重み値（１−Ｗ）を大きくし、ノイズを視認性に基づいて評価するノイズ視認性値（Ｎｏｉｓｅ Ｖｉｓｉｂｉｌｉｔｙ Ｓｃｏｒｅ）を大きくする。

【0043】

重み値算出手段１２は、重みＷを算出し（Ｓｔｒｕｃｔｕｒａｌ Ｍａｓｋｉｎｇ Ｓｃｏｒｅ計算）ノイズセイリエンシスコアＥに重み値（１−Ｗ）を与える。重みＷは、以下のように表される。

【数21】

ここで、αは、全体画像（局所画像パッチの集合）内で重みＷの値の範囲を正規化する項である。数２１は、分離度が大きいほど重みＷが小さくなる計算式である。即ち分離度が大きいほどノイズ視認性値（Ｎｏｉｓｅ Ｖｉｓｉｂｉｌｉｔｙ Ｓｃｏｒｅ）は大きくなる。

【0044】

ノイズ視認性値計算手段８は、ノイズセイリエンシスコアＥに重み値（１−Ｗ）を掛けてノイズ視認性値（Ｎｏｉｓｅ Ｖｉｓｉｂｉｌｉｔｙ Ｓｃｏｒｅ）を出力する。

【数22】

ノイズ視認性値（Ｎｏｉｓｅ Ｖｉｓｉｂｉｌｉｔｙ Ｓｃｏｒｅ）は、入力画像Ｍが文字などのように分離度が大きい場合は、モスキートノイズが目立つため、重み値（１−Ｗ）を大きくし、大きくなる様に出力される。一方、ノイズ視認性値（Ｎｏｉｓｅ Ｖｉｓｉｂｉｌｉｔｙ Ｓｃｏｒｅ）は、テクスチャのように分離度が小さい場合には、その領域にノイズが存在しても目立たないことが多いため、重み値（１−Ｗ）を小さくし、小さくなる様に出力される。

【0045】

上述したように、画像処理装置１によると、圧縮画像からノイズ除去する際に、対象画像の視覚的要素を考慮してノイズ除去の画像処置をすることができる。即ち、画像処理装置１によると、入力画像のコントラストに基づいてノイズ除去の程度を調整することができる。そして、画像処理装置１は、入力画像に対して文字などのコントラストが強い画像とテクスチャなどのコントラストが弱い画像を識別して、入力画像に対するノイズ除去処理を調整することができる。

【0046】

［第２実施形態］
以下の説明では、上記の画像処理装置１と同様の構成については同一の名称を用い、重複する説明については適宜省略する。

【0047】

第１実施形態にかかる画像処理装置１では、入力画像Ｍ全体によりノイズセイリエンシスコアを計算している。画像全体でノイズセイリエンシスコア（Ｎｏｉｓｅ Ｓａｌｉｅｎｃｙ Ｓｃｏｒｅ）を計算する方法では、画素毎のノイズセイリエンシスコアを計算できない。画素毎にノイズ低減を行う場合には画素毎のノイズセイリエンシスコアが必要となる。

【0048】

図９に示されるように、画像処理装置２０は、画素毎にノイズ低減を行う場合における、画素毎のノイズセイリエンシスコアの計算を行うためのものである。第１実施形態と同様に、画像処理装置２０は、ＲＧＢ色空間からＬａｂ色空間へ変換し、ノイズセイリエンシ（Ｓａｌｉｅｎｃｙ：顕著性）Ｓ（Ｉｋ）を計算している。数７と同様にＩは輝度を表す。そして、Ｌａｂ空間では、Ｌが明度を表すので、ここでも、Ｉ＝Ｌとする。画像処理装置２０は、各画素の平均値からの距離ではなく、注目点（Ａｎｃｈｏｒ Ｐｏｉｎｔ）ｋと画像中の他の全ての点との間で微分特徴間距離Ｄ（ユークリッドノルム）を計算して、その総和を注目点（Ａｎｃｈｏｒ Ｐｏｉｎｔ）のＳａｌｉｅｎｃｙと定義する。

【数23】

【0049】

図１０に示されるように、画像処理装置２０は、上述した色空間ベクトル（Ｌａｂ）を（１）、（２）の微分特徴、および（３）の直交変換係数に置き換えて高周波成分特徴を計算する。（１）は、隣接画素の微分特徴である。（２）は、８近傍の画素の微分を表している。（３）の直交変換基底のサイズは４ｘ４であるが、他のサイズ（例えば８ｘ８）でも構わない。このサイズは、ノイズの顕著性を調べる画像のサイズによって変更する。第１実施形態の微分特徴と異なるのは、絶対値でないことである。注目点（Ａｎｃｈｏｒ Ｐｏｉｎｔ）ｋのノイズ成分（高周波成分）ｄが画像の各画素の高周波成分より大きいと、ノイズのＳａｌｉｅｎｃｙ（顕著性）が大きくなる。

【0050】

画像処理装置２０は、ノイズ候補計算手段３３（図９参照）でノイズの候補を明示的に定義する点で第１実施形態と異なっている。ＪＰＥＧ／ＭＰＥＧ／ＨＥＶＣで画像を圧縮する際、エッジの近傍に発生するモスキートノイズの振幅は、そのエッジの振幅より大きくなることは原理的にありえない。

【0051】

そこで、画像処理装置２０は、ノイズ候補計算手段３３でモスキートノイズの振幅に対する制限を設けて、ノイズ以外の振幅を無視することで、ノイズセイリエンシスコアの計算精度を上げる。モスキートノイズの振幅がエッジコントラストの所定の割合より必ず小さくなるという条件式は、以下のように表される。

【数24】

ここで、βは所定の割合を決める調整係数である。従って、ノイズ画素の候補は、ノイズセイリエンシＳ（Ｉｋ）×ｔ（ｘ，ｙ）によって表される。

【0052】

ノイズセイリエンシ計算手段２５は、ノイズセイリエンシＳ（Ｉｋ）を算出した後、ノイズ画素の候補をＳ（Ｉｋ）×ｔ（ｘ，ｙ）によって計算する。
重み値計算手段３２は、重みＷを算出する。

【数25】

ノイズ視認性計算手段２８は、ノイズ画素の候補をＳ（Ｉｋ）×ｔ（ｘ，ｙ）に重み値（１−Ｗ）を掛けてノイズ視認性値（Ｎｏｉｓｅ Ｖｉｓｉｂｉｌｉｔｙ Ｓｃｏｒｅ）を出力する。

【数26】

上記の式により、ノイズ視認性値が画素単位で出力される。

【0053】

上述したように、画像処理装置２０によると、注目点ｋと他の点との間で微分特徴距離Ｄを計算することにより、画素毎にノイズの顕著性を計算することができる。さらに、画像処理装置２０によると、画素がエッジ近傍のものであるかどうか視覚的な判断要素を加えることにより、画素がノイズであるかどうかという評価の計算精度を向上させることができる。

【0054】

上記で説明した画像処理装置１，２０による画像処理方法は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を含む半導体処理装置を用いて実現されてもよい。また、これらの処理は、少なくとも１つのプロセッサ（例えば、マイクロプロセッサ、ＭＰＵ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ））を含むコンピュータシステムにプログラムを実行させることによって実現されてもよい。具体的には、これらの送信信号処理又は受信信号処理に関するアルゴリズムをコンピュータシステムに行わせるための命令群を含む１又は複数のプログラムを作成し、当該プログラムをコンピュータに供給すればよい。

【0055】

これらのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。

【0056】

非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ））を含む。

【0057】

また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0058】

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

【符号の説明】

【0059】

１ 画像処置装置
２ ノイズ抽出部
３ エッジ検出手段
４ マスキング処理手段
５ ノイズセイリエンシ計算手段
６ ヒストグラム計算手段
７ 正規分布整合計算手段
８ ノイズ視認性値計算手段
１０ 視覚評価部
１１ 分離度計算手段
１２ 重み値算出手段
２０ 画像処理装置
２５ ノイズセイリエンシ計算手段
２８ ノイズ視認性計算手段
３２ 重み値計算手段
３３ ノイズ候補計算手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】