特許 6048911 画像処理装置、画像処理方法および撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6048911

(24)【登録日】2016年12月2日

(45)【発行日】2016年12月21日

(54)【発明の名称】画像処理装置、画像処理方法および撮像装置

(51)【国際特許分類】

   G06T 5/00 20060101AFI20161212BHJP

   H04N 1/409 20060101ALI20161212BHJP

   H04N 5/232 20060101ALI20161212BHJP

【ＦＩ】

   G06T5/00 705

   H04N1/40 101C

   H04N5/232 Z

【請求項の数】8

【全頁数】15

(21)【出願番号】特願2012-274223(P2012-274223)

(22)【出願日】2012年12月17日

(65)【公開番号】特開2014-119941(P2014-119941A)

(43)【公開日】2014年6月30日

【審査請求日】2015年11月12日

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100088856

【弁理士】

【氏名又は名称】石橋 佳之夫

(72)【発明者】

【氏名】西村 武剛

【審査官】 佐藤 実

(56)【参考文献】

【文献】 米国特許出願公開第２００９／０１６０９９２（ＵＳ，Ａ１）

【文献】 特開２００７−９６５０９（ＪＰ，Ａ）

【文献】 特開２００４−１７２７２６（ＪＰ，Ａ）

【文献】 特開２０１０−１８７３９４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ５／００

Ｈ０４Ｎ １／４０９

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

処理対象の画像を構成する複数の画素のそれぞれを注目画素として特定し、上記特定された注目画素との位置の乖離度が所定の範囲内の画素を抽出し、上記抽出された画素の中から、上記特定された注目画素との画素値の乖離度が所定の範囲内の画素を画像処理対象候補画素群として決定する画像処理対象候補画素群決定部と、
上記画像処理対象候補画素群に含まれる画素を上記特定された注目画素と関連付ける関連付け部と、
上記特定された注目画素に関連付けられた上記画像処理対象候補画素群に含まれる画素に対して画像処理を実行する画像処理部と、
を有し、
上記画像処理部は、上記画像処理対象候補画素群を構成する画素の中から、上記特定された注目画素の画素値との乖離度が所定の範囲内の画素を画像処理対象画素群として選択し、上記選択された画像処理対象画素群に含まれる各画素の画素値に基づいて、上記特定された注目画素の画素値を平滑化し、
上記画像処理対象候補画素群決定部は、上記特定された注目画素ごとに１回実行され、
上記画像処理部は、上記特定された注目画素ごとに複数回実行される、
ことを特徴とする画像処理装置。

【請求項2】

上記画像処理部が上記画像処理対象画素群を選択する際に用いる上記画素値の乖離度は、上記画像処理部による上記画像処理の実行回数ごとに異なる、
請求項１記載の画像処理装置。

【請求項3】

上記画素値の乖離度は、上記画像処理部による上記画像処理の実行回数の増加に伴い、小さくなるように設定されている、
請求項２記載の画像処理装置。

【請求項4】

撮像画像を取得する撮像手段と、
上記撮像画像に対する画像処理を実行する画像処理装置と、
を有してなる撮像装置であって、
上記画像処理装置は、請求項１乃至３のいずれかに記載の画像処理装置であることを特徴とする撮像装置。

【請求項5】

上記撮像画像のＩＳＯ感度が大きくなると、上記画像処理装置の上記画像処理の実行回数が多くなるように設定されている、
請求項４記載の撮像装置。

【請求項6】

処理対象の画像を構成する複数の画素のそれぞれを注目画素として特定し、上記特定された注目画素との位置の乖離度が所定の範囲内の画素を抽出し、上記抽出された画素の中から、上記特定された注目画素との画素値の乖離度が所定の範囲内の画素を画像処理対象候補画素群として決定する画像処理対象候補画素群決定部と、
上記画像処理対象候補画素群に含まれる画素を、上記特定された注目画素と関連付ける関連付け部と、
上記特定された注目画素に関連付けられた上記画像処理対象候補画素群に含まれる画素に対して画像処理を実行する画像処理部と、
を有し、
上記画像処理部は、上記画像処理対象候補画素群を構成する画素の中から、上記特定された注目画素の画素値との乖離度が所定の範囲内の画素を画像処理対象画素群として選択し、上記選択された画像処理対象画素群に含まれる各画素の画素値に基づいて、上記特定された注目画素の画素値を平滑化し、
上記画像処理対象候補画素群決定部は、上記特定された注目画素ごと実行され、
上記画像処理部は、上記特定された注目画素ごとに、上記処理対象の画像に含まれるエッジの広がりに応じて画像処理の繰り返し回数を決定し、決定された繰り返し回数に関連付けられている上記画像処理対象候補画素群を特定し、
上記特定された画像処理候補画素群に基づいて上記画像処理対象画素群を選択し、
上記特定された注目画素ごとに、複数回実行される、
ことを特徴とする画像処理装置。

【請求項7】

処理対象の画像を構成する複数の画素のそれぞれを注目画素として特定し、上記特定された注目画素との位置の乖離度が所定の範囲内の画素を抽出し、上記抽出された画素の中から、上記特定された注目画素との画素値の乖離度が所定の範囲内の画素を画像処理対象候補画素群として決定する画像処理対象候補画素群決定部と、
上記画像処理対象候補画素群に含まれる画素を上記特定された注目画素と関連付ける関連付け部と、
上記特定された注目画素に関連付けられた上記画像処理対象候補画素群に含まれる画素に対して画像処理を実行する画像処理部と、
を有してなる画像処理装置により実行される画像処理方法であって、
上記画像処理部は、上記画像処理対象候補画素群を構成する画素の中から、上記特定された注目画素の画素値との乖離度が所定の範囲内の画素を画像処理対象画素群として選択するステップと、
上記選択された画像処理対象画素群に含まれる各画素の画素値に基づいて、上記特定された注目画素の画素値を平滑化するステップと、
を実行し、
上記画像処理対象候補画素群決定部は、上記注目画素ごとに１回実行され、
上記画像処理部は、上記注目画素ごとに複数回実行される、
ことを特徴とする画像処理方法。

【請求項8】

処理対象の画像を構成する複数の画素のそれぞれを注目画素として特定し、上記特定された注目画素との位置の乖離度が所定の範囲内の画素を抽出し、上記抽出された画素の中から、上記特定された注目画素との画素値の乖離度が所定の範囲内の画素を画像処理対象候補画素群として決定する画像処理対象候補画素群決定部と、
上記画像処理対象候補画素群に含まれる画素を、上記特定された注目画素と関連付ける関連付け部と、
上記特定された注目画素に関連付けられた上記画像処理対象候補画素群に含まれる画素に対して画像処理を実行する画像処理部と、
を有してなる画像処理装置により実行される画像処理方法であって、
上記画像処理部は、上記特定された注目画素ごとに、
上記処理対象の画像に含まれるエッジの広がりに応じて画像処理の繰り返し回数を決定するステップと、
決定された繰り返し回数に関連付けられている上記画像処理対象候補画素群を特定するステップと、
上記特定された画像処理候補画素群に基づいて上記画像処理対象画素群を選択するステップと、
上記選択された画像処理対象画素群に含まれる各画素の画素値に基づいて、上記特定された注目画素の画素値を平滑化するステップと、
を実行し、
上記画像処理対象候補画素群決定部は、上記特定された注目画素ごとに、かつ、上記画像処理部が実行された回数ごとに実行され、
上記画像処理部は、上記注目画素ごとに複数回実行される、
ことを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法および撮像装置に関するものである。

【背景技術】

【0002】

デジタルカメラに用いられる撮像素子やスキャナ等の撮像装置に用いられる撮像回路には、その特性に起因するショットノイズや暗電流ノイズが生じる。ショットノイズや暗電流ノイズは、画質の劣化原因になる。そこで、撮影される画像の画質を高めるため、ノイズ成分を画像から除去若しくは低減する画像処理が必要となる。

【0003】

画像処理を行う画像処理装置は、例えば、デジタルフィルタを用いたフィルタ処理を実行する回路から構成される。当該フィルタ処理によれば、所定の周波数成分を低減させて、ノイズ成分を除去することができる。しかし、フィルタ処理を単に行なった場合は、画像に含まれるエッジなどの人間が画像を知覚する上で重要な要素に関わる部分も失われる可能性がある。つまり、単純なフィルタ処理は、画質を劣化させる要因になることがある。

【0004】

このような単純なフィルタ処理とは異なり、画質を劣化させずにフィルタ処理を行なうことができるεフィルタを用いたフィルタ処理が知られている。εフィルタは、任意のフィルタサイズ内を乖離度が閾値以内の画素を類似画素と判定するフィルタである。εフィルタを用いたフィルタ処理では、ウインドウサイズを小さくできるので、複数回繰り返して用いることができる。よって、画像全体あるいは任意のブロックに区切られた画像領域に対して、被写体輝度などの所定条件に応じてフィルタ処理回数を変更しながら、フィルタ処理を繰り返して行うことができる（例えば、特許文献１を参照）。

【発明の概要】

【発明が解決しようとする課題】

【0005】

εフィルタのようにフィルタ処理を繰り返し行うと、フィルタ処理を行うたびに画像に含まれるエッジ部の周辺画素とエッジ部の画素が類似していく。その結果、画像中のエッジ部が広がり、エッジ部がぼやけた画像になってしまう。

【0006】

本発明は、上記の課題に鑑みてなされたものであって、複数回のフィルタ処理を行なっても、画像に含まれるエッジ部分は保持したままで、ノイズを低減させることができる画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明は、画像処理装置に関するものであって、処理対象の画像を構成する複数の画素のそれぞれを注目画素として特定し、上記特定された注目画素との位置の乖離度が所定の範囲内の画素を抽出し、上記抽出された画素の中から、上記特定された注目画素との画素値の乖離度が所定の範囲内の画素を画像処理対象候補画素群として決定する画像処理対象候補画素群決定部と、上記画像処理対象候補画素群に含まれる画素を上記特定された注目画素と関連付ける関連付け部と、上記特定された注目画素に関連付けられた上記画像処理対象候補画素群に含まれる画素に対して画像処理を実行する画像処理部と、を有し、上記画像処理部は、上記画像処理対象候補画素群を構成する画素の中から、上記特定された注目画素の画素値との乖離度が所定の範囲内の画素を画像処理対象画素群として選択し、上記選択された画像処理対象画素群に含まれる各画素の画素値に基づいて、上記特定された注目画素の画素値を平滑化し、上記画像処理対象候補画素群決定部は、上記特定された注目画素ごとに１回実行され、上記画像処理部は、上記特定された注目画素ごとに複数回実行される、ことを主な特徴とする。

【発明の効果】

【0008】

本発明によれば、複数回のフィルタ処理を行なっても、画像に含まれるエッジ部分は保持したままで、ノイズを低減させることができる。

【図面の簡単な説明】

【0009】

【図1】本発明に係る画像処理装置を備える撮像装置の実施形態の例を示すブロック図である。

【図2】上記画像処理装置が備える画像処理プログラムの機能構成の例を示す機能ブロック図である。

【図3】本発明に係る画像処理方法の実施形態の例を示すフローチャートである。

【図4】上記画像処理方法の詳細な実施形態の例を示すフローチャートである。

【図5】上記画像処理方法において画像処理対象候補画素群決定処理を実行したときの例を示す図である。

【図6】上記画像処理方法に用いられる画像処理対象候補画素群と画像処理対象画素群の関係を示す図である。

【図7】上記画像処理方法における効果の例を示す図である。

【図8】本発明に係る画像処理方法の詳細な実施形態の別の例を示すフローチャートである。

【図9】上記画像処理方法の効果の例について説明する図である。

【発明を実施するための形態】

【0010】

以下、本発明に係る画像処理装置の実施形態について、図面を用いながら説明する。まず、本発明に係る画像処理装置を備える撮像装置の実施形態について説明する。図１は、本実施形態に係る撮像装置の例であるデジタルカメラの構成を示すブロック図である。図１において、デジタルカメラ１００は、画像処理装置１０と、撮像手段１１と、インターフェース２０と、表示手段２１と、外部メモリ２２と、を有してなる。デジタルカメラ１００は、撮像手段１１により撮像された画像に対して、画像処理装置１０による画像処理を実行し、インターフェース２０を介して表示手段２１に表示し、また、外部メモリ２２に記録するよう構成されている。

【0011】

撮像手段１１は、撮像レンズ１２と、絞り機構１３と、メカニカルシャッター１４と、撮像素子１５と、前処理手段１６と、を有してなる。撮像素子１５は、光電変換素子であって、例えばＣＭＯＳセンサやＣＣＤセンサなどが用いられる。撮像レンズ１２と、絞り機構１３と、メカニカルシャッター１４とを介して撮像素子１５の受光面に結像した被写体像は、光電変換されて画像信号として、撮像素子１５から出力される。前処理手段１６は、撮像素子１５から出力された画像信号に対して、Ａ／Ｄ変換処理や利得制御処理を行う。

【0012】

画像処理装置１０は、制御手段１７と、画像処理手段１８と、内部メモリ１９と、を有してなる。制御手段１７は、撮像手段１１から入力された画像信号や、内部メモリ１９または外部メモリ２２に記録されている画像データに対して、画像処理手段１８において実行される画像処理に用いられる各種データの入出力制御を行う。また、制御手段１７は、撮像手段１１の撮像レンズ１２やメカニカルシャッター１４の動作制御、および、内部メモリ１９への各種データの入出力制御などを行う。

【0013】

画像処理手段１８は、撮像手段１１から入力された画像信号から、例えば色や輝度を人の目で見た場合と同等となるような画像データを生成する処理を実行する。内部メモリ１９は、半導体メモリにより構成されていて、画像処理に用いられるパラメータと、画像処理の実行に用いられる画像処理プログラム２４が格納されている。

【0014】

画像処理装置１０によって画像処理を実行された画像データは、インターフェース２０を介して表示手段２１や外部メモリ２２に出力される。表示手段２１は、液晶ディスプレイや有機ＥＬディスプレイなどで構成されていて、撮像された画像の表示などに用いられる。外部メモリ２２は、フラッシュメモリなどの不揮発性メモリによって構成される。外部メモリ２２に格納された画像データは、他の撮像装置やコンピュータに移動することができる。

【0015】

画像処理装置１０は、内部メモリ１９に格納されている画像処理プログラム２４と画像処理手段１８によって、本発明に係る画像処理方法を実行する。

【0016】

図２は、画像処理プログラム２４の機能構成の例を示す機能ブロック図である。図２において、画像処理プログラム２４は、画像処理対象候補画素群決定部２４１と、関連付け部２４２と、画像処理部２４３と、を有してなる。

【0017】

画像処理対象候補画素群決定部２４１は、以下の複数の処理を実行するプログラムにより構成される。画像処理の対象となる画像（以下「処理対象画像」という。）は、複数の画素から構成されている。画像処理対象候補画素群決定部２４１は、この処理対象画像を構成する複数の画素の中から、注目画素を特定する処理を実行するプログラムを有する。画像処理を実行する範囲が処理対象画像全体であれば、処理対象画像を構成する画素の一つ一つを注目画素として特定する。画像処理を実行する範囲が設定されたときは、設定された範囲に含まれる画素の一つ一つを注目画素として特定する。

【0018】

また、画像処理対象候補画素群決定部２４１は、特定された注目画素との位置の乖離度が、所定の範囲内にある画素を抽出する処理を実行するプログラムを有する。

【0019】

また、画像処理対象候補画素群決定部２４１は、抽出された画素の中から、特定された注目画素との画素値の乖離度が、所定の範囲内にある画素を決定する処理を実行するプログラムを有する。

【0020】

画像処理対象候補画素群決定部２４１の処理により決定された画素からなる画素群を「画像処理対象候補画素群」という。

【0021】

関連付け部２４２は、画像処理対象候補画素群を構成する画素と注目画素とを関連付ける処理を実行するプログラムである。具体的には、画像処理対象候補画素群を構成する各画素を識別可能な情報と、これに関連付けられる注目画素を識別可能な情報とを、関連付けて記憶する処理を実行する。なお、画素を識別可能な情報とは、例えば、処理対象画像における各画素の位置に関する情報である。

【0022】

画像処理対象候補画素群決定部２４１と関連付け部２４２は、処理対象となる各画素をそれぞれ注目画素として特定し、特定された注目画素ごとに１回実行される。

【0023】

画像処理部２４３は、特定された注目画素ごとに、所定の画像処理を実行する。ここで、所定の画像処理とは、例えば、フィルタ処理である。画像処理部２４３は、例えば、以下の複数の処理を実行するプログラムにより構成される。

【0024】

画像処理部２４３は、特定されている注目画素に関連付けられている画像処理対象候補画素群を読みだす処理を実行するプログラムを有する。

【0025】

また、画像処理部２４３は、読み出された画像処理対象候補画素群によって特定された画素を、画像処理対象画素群として選択する処理を実行するプログラムを有する。

【0026】

また、画像処理部２４３は、選択された画像処理対象画素群を構成する画素の画素値を用いて、注目画素の画素値を平滑化する処理を実行するプログラムを有する。

【0027】

また、画像処理部２４３は、平滑化された画素値を用いて、注目画素の画素値を置換する処理を実行するプログラムを有する。

【0028】

また、画像処理部２４３は、画像処理部を実行する回数を制御するプログラムを有する。このプログラムにより、一連の画像処理部２４３の各処理は、注目画素ごとに複数回実行される。

【0029】

次に、本発明に係る画像処理方法の実施形態について説明する。図３は、本実施形態に係る画像処理方法の例を示すフローチャートである。図３において、まず、画像情報取得処理（Ｓ１０）が実行される。画像情報取得処理（Ｓ１０）は、処理対象画像を内部メモリ１９に読み込んで、画像処理の対象範囲を決定する処理である。処理対象とする画像は、デジタルカメラ１００が直接撮像した画像でもよいし、外部メモリ２２に既に格納されている画像でもよい。

【0030】

続いて、処理対象画像に対して画像処理が実行される（Ｓ２０）。画像処理の詳細は後述する。画像処理によって処理対象画像を構成する各画素に対する「平滑化された画素値」が生成される。画像処理が終了した後に、この「平滑化された画素値」の出力処理が実行される（Ｓ３０）。続いて、出力された「平滑化された画素値」に基づいて、処理対象画像を構成する各画素の画素値を補正する補正処理が行われる（Ｓ４０）。続いて、補正処理（Ｓ４０）によって、処理対象画像からノイズが低減された画像が出力される（Ｓ５０）。

【0031】

次に、本発明に係る画像処理方法の詳細な実施形態について説明する。図４は、上記の画像処理（Ｓ２０）の詳細な処理の流れの例を示すフローチャートである。図４において、まず、処理対象画像を構成する複数の画素の中から注目画素を特定する処理が実行される（Ｓ２０１）。

【0032】

続いて、画像処理対象候補画素群決定処理が実行される（Ｓ２０２）。画像処理対象候補画素群決定処理（Ｓ２０２）では、まず、特定された注目画素を中心として、所定の位置範囲内にある画素を抽出する処理が実行される。すなわち、特定された注目画素との位置の乖離度が所定の範囲内の画素が抽出される。続いて、この抽出された画素のうち、画素値が、特定された注目画素の画素値から所定の範囲内にある画素を抽出する処理が実行される。すなわち、特定された注目画素との画素値の乖離度が所定の範囲内の画素が抽出される。この抽出された画素群が、画像処理対象候補画素群である。

【0033】

ここで、画像処理対象候補画素群決定処理（Ｓ２０２）の内容について、図５を用いて説明する。図５は、処理対象画像に対して画像処理対象候補画素群決定処理（Ｓ２０２）を実行した例を示す図である。図５（ａ）は、処理対象画像に含まれる画素のうち、特定された注目画素１１１との位置の乖離度が所定の範囲内にある画素群１１０を示している。図５（ａ）は、各画素を矩形で表している。図５（ａ）において画素群１１０は、２５画素（５×５）で構成されている。

【0034】

各画素を表す矩形内の数字は、各画素の画素値の例を示している。画素値は、各画素に係る情報を数値化したものである。例えば、モノクロ画像であれば、画素値は輝度値で表される。

【0035】

図５（ａ）において、注目画素１１１の画素値は「１１２」である。この注目画素１１１の画素値との乖離度（差分の絶対値）を算出すると、画素群１１０に含まれる各画素における画素値の乖離度は、それぞれ図５（ｂ）に示すようになる。ここで、乖離度の所定の範囲を「３０以下」とする。この範囲内にある画素を抽出すると、図５（ｃ）のようになる。この抽出された第１画素群１１２が「画像処理対象候補画素群」として決定される。

【0036】

図４に戻る。続いて、決定された第１画素群１１２を、注目画素１１１と関連付ける処理が実行される（Ｓ２０３）。第１画素群１１２と注目画素１１１との関連付け処理（Ｓ２０３）は、例えば、第１画素群１１２を構成する各画素の位置を識別する情報と、注目画素１１１の位置を識別する情報とを、関連付けて内部メモリ１９に記憶する処理である。

【0037】

画像処理対象候補画素群決定処理（Ｓ２０２）と関連付け処理（Ｓ２０３）は、処理対象画素を構成する各画素を注目画素１１１としたときに、１回だけ実行される処理である。すなわち、本実施形態に係る画像処理方法においては、各注目画素１１１と第１画素群１１２との関連付けは、後の処理によって変動しない。

【0038】

続いて、処理対象として特定されている注目画素１１１に関連付けられて、内部メモリ１９に記憶されている第１画素群１１２を読み出す処理が実行される（Ｓ２０４）。

【0039】

続いて、画像処理対象画素群選択処理が実行される（Ｓ２０５）。この処理は、第１画素群１１２に含まれる各画素のうち、画素値の乖離度が、注目画素１１１の画素値と所定の範囲内にある画素からなる第２画素群１１３を、「画像処理対象画素群」として選択する処理である。ある注目画素１１１に対して、最初に画像処理対象画素群選択処理（Ｓ２０５）が実行されるときは、第１画素群１１２に含まれる画素と、第２画素群１１３に含まれる画素は一致している。

【0040】

続いて、第２画素群１１３を構成する各画素の画素値の平均値を算出する処理が実行される（Ｓ２０６）。

【0041】

続いて、算出された平均値を用いて注目画素１１１の画素値を置換する処理が実行される（Ｓ２０７）。

【0042】

続いて、画像処理の繰り返し回数の判定処理が実行される（Ｓ２０８）。繰り返し回数の閾値は予め規定されていて、図示しない記憶手段に記憶されている。画像処理の繰り返し回数が所定の閾値を超えているとき（Ｓ２０８のＹｅｓ）、画像処理は終了する。画像処理の繰り返し回数が所定の閾値を超えていなければ（Ｓ２０８のＮＯ）、画像処理は画像処理対象候補画素群読み出し処理（Ｓ２０４）に戻る。

【0043】

以上説明をした画像処理の効果について、具体例を示しながら説明する。図６は、第１画素群１１２と、第２画素群１１３との関係を示す図である。図６は、説明を簡素化するために注目画素１１１を中心として右方向と左方向にそれぞれ３つの画素を含む範囲を画素群１１０としている。

【0044】

図６（ａ）における注目画素１１１の画素値は「１２０」である。したがって、画素群１１０に含まれる各画素の画素値と注目画素１１１の画素値の絶対差分値は、それぞれ、図６（ｂ）に示すようになる。ここで、画素値の乖離度の閾値を「３０」とし、この閾値以下の画素を抽出する。そうすると、絶対差分値が３０以下の画素は、図６（ｃ）に示すようになる。この抽出された画素から構成されるものが、第１画素群１１２である。

【0045】

この第１画素群１１２が注目画素１１１に関連付けられて記憶される。続く処理において、注目画素１１１に関連付けられている第１画素群１１２が読み出される。

【0046】

当該注目画素１１１に対する画像処理が最初の画像処理であれば、注目画素１１１に関連付けられている第１画素群１１２は、図６（ｃ）と同様である。続いて、注目画素１１１の画素値との乖離度の閾値「３０」以下である画素値を有する第１画素群１１２に含まれる各画素を第２画素群１１３として決定する。この決定された第２画素群１１３は、第１画素群１１２と同じである。したがって、平均値算出処理（Ｓ２０６）および注目画素置換処理（Ｓ２０７）は、図６（ｃ）に示す第２画素群１１３に含まれる画素の画素値に基づいて実行される。

【0047】

平均値算出処理（Ｓ２０６）および注目画素置換処理（Ｓ２０７）が実行されると、注目画素１１１の画素値は「１１６」になる。次に、画像処理対象画素群選択処理（Ｓ２０５）が実行される前に、まず、画像処理対象候補画素群読み出し処理（Ｓ２０４）が実行されると、読み出された第１画素群１１２は、図６（ｄ）のようになる。

【0048】

この第１画素群１１２に対して、画像処理対象画素群選択処理（Ｓ２０５）が実行される。各画素の絶対差分値は、図６（ｅ）に示すようになり、所定の乖離度（３０以下）に相当する画素である第２画素群１１３は、図６（ｆ）のようになる。これを繰り返し回数に至るまで繰り返す。

【0049】

仮に、第１画素群１１２を決定せずに、上記の処理を繰り返した場合について説明する。図６（ａ）の画素群１１０において、注目画素１１１から右に２つ目の画素の画素値は「８９」である。一度目の注目画素置換処理（Ｓ２０７）により、注目画素の画素値が「１１６」になると、２回目の画像処理では第２画素群１１３に、この画素値「８９」の画素も含まれるようになる（｜１１６−８９｜＝２７）。したがって、画像処理を複数回繰り返して実行すると、第２画素群１１３に含まれる画素の範囲が広がっていくことになる。すなわち、処理対象画像のエッジ部分が広がってぼやけた状態になり、画質が低下することとなる。

【0050】

ここで、本実施形態に係る画像処理方法において、複数回の画像処理（フィルタ処理）を実行してもエッジ部分が保持される原理について、さらに説明する。図７は、本実施形態に係る画像処理方法の効果の例を示す図である。図７は、処理対象画像を構成する各画素を横方向に、各画素の画素値の大きさを縦方向にとって並べたイメージ図である。すなわち、各画素の縦方向の位置の変化が急峻であれば、エッジがハッキリした画像となる。

【0051】

図７（ａ）は、従来の画像処理および本発明に係る画像処理における繰り返し回数が１回目のときの画素群１１０の状態を示している。図７（ｂ）は、従来の画像処理における繰り返し回数が２回目のときの画素群１１０の状態を示している。図７（ｃ）は、本発明に係る画像処理における繰り返し回数が２回目のときの画素群１１０の状態を示している。

【0052】

図７（ａ）に示すように、繰り返し回数が１回目のときは、注目画素１１１の画素値は「１２０」であるから、所定の画素値の乖離度を「３０以下」とすれば、第２画素群１１３には、注目画素１１１を含めて５個の画素が含まれる。

【0053】

従来例における繰り返し回数が２回目のときは、図７（ｂ）に示すように、第２画素群１１３に含まれる画素が増える。すなわち、エッジ部分が広がることになる。このように、従来例では、処理を繰り返して実行ことでエッジ部分が広がりぼやけることとなる。

【0054】

これに対して本発明によれば、繰り返し回数が２回目のときは、図７（ｃ）に示すように、第２画素群１１３に含まれる画素は増えずに、当初に決定された第１画素群１１２と同じ位置的乖離度の範囲内にある画素によって、第２画素群１１３が決定される。したがって、繰り返し回数を更に重ねてもエッジ部の画素に周辺の画素近づくことも、エッジ部の画素に周辺の画素が含まれるようになることもなく、変化を急峻に保ったままエッジ部を保持することができる。

【0055】

以上説明をした本実施形態によれば、画像処理対象候補画素群は、最初の画像処理によって決定された後は、変更されない。したがって、各注目画素１１１に対して注目画素値置換処理（Ｓ２０７）を複数回実行しても、画像処理の対象となる画素の範囲は広がらない。これによって、複数回の画像処理を行なっても、画像に含まれるエッジ部分は保持したままで、ノイズを低減させることができる。

【0056】

なお、画像処理対象画素群である第２画素群を選択するときに用いる画素値の乖離度は、処理の繰り返し回数に応じて異なってもよい。この場合、例えば、繰り返し回数の増加に応じて、画素値の乖離度を小さくしてもよい。これによって、複数回の画像処理を行なっても、画像に含まれるエッジ部分は保持したままで、効率的にノイズを低減させることができる。

【0057】

また、本実施形態に係る画像処理方法を実行可能な画像処理装置を、撮像装置に搭載した場合は、撮像画像のＩＳＯ感度に応じて、画像処理の繰り返し実行回数を変化させてもよい。この場合、ＩＳＯ感度が大きくなるにつれて、画像処理の繰り返し実行回数を多くすればよい。これによって、高感度撮影をした画像に対して、より効果的な画像処理を実行することができる。

【0058】

次に、本発明に係る画像処理方法の別の実施形態について、先に説明した実施形態と異なる部分を中心に説明する。図８は、本実施形態に係る画像処理（Ｓ２０）の詳細な処理の別の例を示すフローチャートである。

【0059】

まず、処理対象画像を構成する複数の画素の中から注目画素１１１を特定する処理が実行される（Ｓ２１１）。

【0060】

続いて、画像処理対象候補画素群決定処理が実行される（Ｓ２１２）。画像処理対象候補画素群決定処理（Ｓ２１２）では、特定された注目画素との位置の乖離度が、所定の範囲内である画素を抽出する処理が実行される。続いて、この抽出された画素のうち、画素値の乖離度が、特定された注目画素の画素値から所定の範囲内にある画素を抽出し、第１画素群１１２である画像処理対象候補画素群を決定する処理が実行される。

【0061】

続いて、決定された第１画素群１１２を注目画素１１１と関連付けて、さらに画像処理の繰り返し回数（以下「繰り返し処理回数」という。）とも関連付ける処理が実行される（Ｓ２１３）。第１画素群１１２と注目画素１１１および処理回数との関連付け処理は、例えば、第１画素群１１２を構成する各画素を識別する情報及び注目画素１１１を識別する情報と、繰り返し処理回数とを関連付けて、内部メモリ１９に記憶する処理が実行される。

【0062】

これによって、注目画素１１１ごとに関連付けられて記憶される第１画素群１１２に係る情報は、繰り返し処理回数ごとに複数の当該情報が記憶されることとなる。

【0063】

続いて、特定された注目画素１１１に関連付けられて内部メモリ１９に記憶されている第１画素群１１２のうち、いずれの繰り返し処理回数に係る第１画素群１１２を読み出すのかを決定する処理が実行される（Ｓ２１４）。

【0064】

当該決定処理において、繰り返し処理回数を決定するには、予め規定した「エッジの広がりの閾値」を用いて判定すればよい。例えば、処理対象画像からエッジ情報を取得して、エッジの広がりに当たる画素の数がａ個以上であるか否かを判定すればよい。この判定に基づき、さらに、エッジの広がりに当たる画素の数がａ個以内であるときは、ｍ回目の繰り返し処理回数に関連付けられている第１画素群１１２を読み出す、と決定すればよい。また、エッジの広がりに当たる画素の数がａ個以上かつｂ個より少なければ、ｍ−２回目の繰り返し処理回数に関連付けられている第１画素群１１２を読み出す、と決定すればよい。

【0065】

また、当該決定処理において、繰り返し処理回数を決定するには、繰り返し処理回数の閾値を用いて決定してもよい。例えば、繰り返し処理回数がＮ回目までは、１回目の第１画素群１１２を読み出すように決定し、繰り返し処理回数がＮ＋１回目以降はＮ回目の第１画素群１１２を読み出すように決定してもよい。

【0066】

続いて、決定された繰り返し処理回数に関連付けられて記憶されている第１画素群１１２を読み出す処理が実行される（Ｓ２１５）。

【0067】

続いて、画像処理対象画素群選択処理が実行される（Ｓ２１６）。この処理は、第１画素群１１２に含まれる各画素のうち、画素値の乖離度が、注目画素１１１の画素値と所定の範囲内にある画素を、第２画素群１１３である画像処理対象画素群として特定する処理である。

【0068】

続いて、第２画素群１１３を構成する各画素の画素値の平均値を算出する処理が実行される（Ｓ２１７）。続いて、算出された平均値を用いて注目画素１１１の画素値を置換する処理が実行される（Ｓ２１８）。

【0069】

続いて、繰り返し処理回数の判定処理が実行される（Ｓ２１９）。繰り返し処理回数の閾値は予め規定されている。繰り返し処理回数が所定の閾値を超えているときは（Ｓ２１９のＹｅｓ）、画像処理を終了する。繰り返し処理回数が所定の閾値を超えていなければ（Ｓ２１９のＮＯ）、処理は画像処理対象候補画素群決定処理（Ｓ２１２）に戻る。

【0070】

以上説明をした本実施形態に係る画像処理方法によれば、通常はノイズ除去を優先しつつ、エッジが一定以上広がった場合には、エッジの広がりを抑制することができる。すなわち、エッジの広がりを抑制しながらノイズ除去を行う処理に切り替えることができる。

【0071】

また、本実施形態に係る画像処理方法によれば、通常はエッジ保持を優先しつつノイズの除去を行い、ある一定以上繰り返し処理が行われた後は、孤立点が発生している可能性を考慮して、Ｎ回目の第１画素群１１２を用いて孤立点の除去を行うことができる。

【0072】

次に、本実施形態に係る画像処理方法の効果について、具体例を示しながら説明する。図９は、本実施形態に係る画像処理方法の効果の例について示す図である。図９（ａ）は、繰り返し回数が１回目の画素群１１０の状態を示す図である。図９（ｂ）は、繰り返し回数がＮ回目の画素群１１０の状態を示す図である。図９（ｃ）は、繰り返し回数がＮ＋１回目の画素群１１０の状態を示す図である。

【0073】

図９は、繰り返し回数がＮ回目までは、１回目の第１画素群１１２により画像処理を行い、繰り返し回数がＮ＋１回目以降は、Ｎ回目の第１画素群１１２により画像処理を行う例である。

【0074】

図９（ａ）の点線で示した範囲が第１画素群１１２である。注目画素１１１には大きなノイズが加算されている場合、図９（ａ）に示すように注目画素１１１の画素値が、第１画素群１１２に含まれる他の画素の画素値に比べて非常に大きくなる場合がある。この場合、注目画素１１１の画素値「１５２」から絶対差分値が３０以内になる画素は存在しないことになる。そうすると、第２画素群１１３は、注目画素１１１と同じ画素のみで構成される。

【0075】

この場合、平均値を算出して注目画素１１１を平滑化しても、注目画素１１１の画素値は変化しない。一方、注目画素１１１の周囲の画素は、それぞれに対する画像処理によって、平滑化される。繰り返し回数がＮ回目の画素群１１０の例を図９（ｂ）に示す。このように、注目画素１１１の画素値が周囲の画素の画素値に比べて大きく、その差が広がって孤立する状態になる。

【0076】

そこで、本実施形態に係る画像処理方法では、Ｎ＋１回目以降はＮ回目の第１画素群１１２を用いて、画像処理を行う。これによって、図９（ｃ）に示すように、注目画素１１１も平滑化されて、画素値が周辺画素の画素値に近い値となる。従って、注目画素１１１の孤立を解消することができる。

【0077】

本実施形態に係る画像処理方法は、エッジ部では、繰り返し処理１回目の第１画素群１１２を用いることにより、エッジが保持されている。しかし、Ｎ＋１回目以降の画像処理において、保持していたエッジが崩れることがある。そこで、さらにエッジが崩れることを防ぐためにＮ＋１以降の画像処理においては、常にＮ回目の第１画素群１１２を使用する。これによって、エッジを保持することができる。

【0078】

以上説明した画像処理装置及び画像処理方法によれば、本発明は、複数回のフィルタ処理を行なっても、画像に含まれるエッジ部分は保持したままで、ノイズを低減させることができる。

【符号の説明】

【0079】

１０ 画像処理装置２４ 画像処理プログラム１１１ 注目画素１１２ 第１画素群１１３ 第２画素群

【先行技術文献】

【特許文献】

【0080】

【特許文献1】特開２００８−２０５７３７号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】