特許 6467178 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6467178

(24)【登録日】2019年1月18日

(45)【発行日】2019年2月6日

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   G06T 5/00 20060101AFI20190128BHJP

   H04N 5/21 20060101ALI20190128BHJP

   H04N 1/409 20060101ALI20190128BHJP

【ＦＩ】

   G06T5/00 710

   G06T5/00 705

   H04N5/21

   H04N1/409

【請求項の数】17

【全頁数】26

(21)【出願番号】特願2014-202326(P2014-202326)

(22)【出願日】2014年9月30日

(65)【公開番号】特開2016-71748(P2016-71748A)

(43)【公開日】2016年5月9日

【審査請求日】2017年8月30日

(73)【特許権者】

【識別番号】591128453

【氏名又は名称】株式会社メガチップス

(74)【代理人】

【識別番号】100136353

【弁理士】

【氏名又は名称】高尾 建吾

(72)【発明者】

【氏名】岡本 彰

(72)【発明者】

【氏名】澤田 卓也

(72)【発明者】

【氏名】大安 英輝

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２０１３−０４１５６５（ＪＰ，Ａ）

【文献】 特開２０１０−２５２２６５（ＪＰ，Ａ）

【文献】 国際公開第２００６／０４０９６０（ＷＯ，Ａ１）

【文献】 井上 光平、外３名，“エッジ強調性を抑制する適応的バイラテラルフィルタ”，画像ラボ，日本，日本工業出版株式会社，２０１０年 ９月１０日，Vol.21, No.9，pp.23-27

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００，５／００，５／２０

Ｈ０４Ｎ １／４０９，５／２０−５／２３２

(57)【特許請求の範囲】

【請求項1】

画像内のノイズを除去するノイズ除去処理部と、
前記ノイズ除去処理部よりも後段に接続され、画像内のエッジを強調するエッジ強調処理部と、
を備え、
前記ノイズ除去処理部は、
画像内のノイズを除去するローパスフィルタと、
画像内のエッジを検出する第１のエッジ検出部と、
前記第１のエッジ検出部による検出結果に基づいて、画像内の各画素のエッジ強度を算出する第１のエッジ強度算出部と、
前記第１のエッジ強度算出部によって算出されたエッジ強度に基づいて、前記ローパスフィルタのフィルタ強度を画素毎に設定する第１のフィルタ強度設定部と、
を有し、
前記エッジ強調処理部は、
画像内のエッジを強調するエッジ強調フィルタと、
画像内のエッジを検出する第２のエッジ検出部と、
前記第２のエッジ検出部による検出結果に基づいて、画像内の各画素のエッジ強度を算出する第２のエッジ強度算出部と、
前記第２のエッジ強度算出部によって算出されたエッジ強度に基づいて、前記エッジ強調フィルタのエッジ強調強度を画素毎に設定する強調強度設定部と、
を有し、
前記第１のフィルタ強度設定部は、
エッジ強度が第１のしきい値未満であり画像の平坦部分に属する画素に関しては、第１のフィルタ強度を設定し、
エッジ強度が第１のしきい値以上であり画像のエッジ部分に属する画素に関しては、第１のフィルタ強度よりも低い第２のフィルタ強度を設定する、画像処理装置。

【請求項2】

前記第１のフィルタ強度設定部は、
エッジ強度が第２のしきい値以上であり画像の特異部分に属する画素に関しては、第２のフィルタ強度よりも低い第３のフィルタ強度を設定する、請求項１に記載の画像処理装置。

【請求項3】

前記第１のフィルタ強度設定部は、エッジ部分に属する画素に関しては、エッジ強度が高いほどフィルタ強度が低くなるように、エッジ強度に応じて第２のフィルタ強度を設定する、請求項１又は２に記載の画像処理装置。

【請求項4】

画像内のノイズを除去するノイズ除去処理部と、
前記ノイズ除去処理部よりも後段に接続され、画像内のエッジを強調するエッジ強調処理部と、
を備え、
前記ノイズ除去処理部は、
画像内のノイズを除去するローパスフィルタと、
画像内のエッジを検出する第１のエッジ検出部と、
前記第１のエッジ検出部による検出結果に基づいて、画像内の各画素のエッジ強度を算出する第１のエッジ強度算出部と、
前記第１のエッジ強度算出部によって算出されたエッジ強度に基づいて、前記ローパスフィルタのフィルタ強度を画素毎に設定する第１のフィルタ強度設定部と、
を有し、
前記エッジ強調処理部は、
画像内のエッジを強調するエッジ強調フィルタと、
画像内のエッジを検出する第２のエッジ検出部と、
前記第２のエッジ検出部による検出結果に基づいて、画像内の各画素のエッジ強度を算出する第２のエッジ強度算出部と、
前記第２のエッジ強度算出部によって算出されたエッジ強度に基づいて、前記エッジ強調フィルタのエッジ強調強度を画素毎に設定する強調強度設定部と、
を有し、
前記ノイズ除去処理部は、
前記第１のエッジ検出部による検出結果に基づいて、エッジの画面周波数を解析する周波数解析部と、
前記周波数解析部による解析結果に基づいて、前記ローパスフィルタのフィルタ強度の許容設定範囲を画像毎に設定する範囲設定部と、
をさらに有し、
前記第１のフィルタ強度設定部は、前記第１のエッジ強度算出部によって算出されたエッジ強度に基づいて、前記ローパスフィルタのフィルタ強度を、前記範囲設定部によって設定された許容設定範囲内で画素毎に設定する、画像処理装置。

【請求項5】

前記範囲設定部は、
エッジの画面周波数が比較的低い周波数領域に集中する画像に関しては、フィルタ強度が比較的高い範囲内で分布するように許容設定範囲を設定し、
エッジの画面周波数が比較的高い周波数領域に集中する画像に関しては、フィルタ強度が比較的低い範囲内で分布するように許容設定範囲を設定する、請求項４に記載の画像処理装置。

【請求項6】

画像内のノイズを除去するノイズ除去処理部と、
前記ノイズ除去処理部よりも後段に接続され、画像内のエッジを強調するエッジ強調処理部と、
を備え、
前記ノイズ除去処理部は、
画像内のノイズを除去するローパスフィルタと、
画像内のエッジを検出する第１のエッジ検出部と、
前記第１のエッジ検出部による検出結果に基づいて、画像内の各画素のエッジ強度を算出する第１のエッジ強度算出部と、
前記第１のエッジ強度算出部によって算出されたエッジ強度に基づいて、前記ローパスフィルタのフィルタ強度を画素毎に設定する第１のフィルタ強度設定部と、
を有し、
前記エッジ強調処理部は、
画像内のエッジを強調するエッジ強調フィルタと、
画像内のエッジを検出する第２のエッジ検出部と、
前記第２のエッジ検出部による検出結果に基づいて、画像内の各画素のエッジ強度を算出する第２のエッジ強度算出部と、
前記第２のエッジ強度算出部によって算出されたエッジ強度に基づいて、前記エッジ強調フィルタのエッジ強調強度を画素毎に設定する強調強度設定部と、
を有し、
前記エッジ強調処理部は、時系列で連続する複数の画像に基づいて、画像の変動量を算出する変動量算出部をさらに有し、
前記強調強度設定部は、前記第２のエッジ強度算出部によって算出されたエッジ強度と、前記変動量算出部によって算出された変動量とに基づいて、前記エッジ強調フィルタのエッジ強調強度を画素毎に設定する、画像処理装置。

【請求項7】

前記強調強度設定部は、
エッジ強度が第１のしきい値未満であり画像の平坦部分に属する画素に関しては、第１の強調強度を設定し、
エッジ強度が第１のしきい値以上であり画像のエッジ部分に属する画素に関しては、第１の強調強度よりも高い第２の強調強度を設定する、請求項６に記載の画像処理装置。

【請求項8】

前記強調強度設定部は、エッジ部分に近接する平坦部分に属する画素に関しては、エッジ強度が高いほど強調強度が高くなるように、エッジ強度に応じて第１の強調強度を設定する、請求項７に記載の画像処理装置。

【請求項9】

前記強調強度設定部は、
画像の変動量が所定値未満である画像に関しては、エッジ部分に属する画素に関して第２の強調強度を設定し、
画像の変動量が所定値以上である画像に関しては、エッジ部分に属する画素に関して、第２の強調強度よりも高い第３の強調強度を設定する、請求項７又は８に記載の画像処理装置。

【請求項10】

前記強調強度設定部は、
エッジ強度が第２のしきい値以上であり画像の特異部分に属する画素に関しては、第２の強調強度よりも高い第４の強調強度を設定する、請求項７〜９のいずれか一つに記載の画像処理装置。

【請求項11】

前記強調強度設定部は、
画像の変動量が所定値未満である画像に関しては、特異部分に属する画素に関して第４の強調強度を設定し、
画像の変動量が所定値以上である画像に関しては、特異部分に属する画素に関して、第４の強調強度よりも高い第５の強調強度を設定する、請求項１０に記載の画像処理装置。

【請求項12】

前記ノイズ除去処理部は、前記第１のエッジ検出部による検出結果に基づいて、エッジの画面周波数を解析する周波数解析部をさらに有し、
前記エッジ強調処理部は、
前記エッジ強調フィルタの前段に接続されたハイパスフィルタと、
前記周波数解析部による解析結果に基づいて、前記ハイパスフィルタのフィルタ強度を画像毎に設定する第２のフィルタ強度設定部と、
をさらに有する、請求項６〜１１のいずれか一つに記載の画像処理装置。

【請求項13】

前記第２のフィルタ強度設定部は、
エッジの画面周波数が比較的低い周波数領域に集中する画像に関しては、カットオフ周波数が比較的低くなるようにフィルタ強度を設定し、
エッジの画面周波数が比較的高い周波数領域に集中する画像に関しては、カットオフ周波数が比較的高くなるようにフィルタ強度を設定する、請求項１２に記載の画像処理装置。

【請求項14】

前記ノイズ除去処理部は、色データで構成される画像を処理し、
前記エッジ強調処理部は、輝度データ及び色差データで構成される画像を処理する、請求項１〜１３のいずれか一つに記載の画像処理装置。

【請求項15】

（Ａ）画像内のノイズを除去するステップと、
（Ｂ）前記ステップ（Ａ）よりも後に実行され、画像内のエッジを強調するステップと、
を備え、
前記ステップ（Ａ）は、
（Ａ−１）ローパスフィルタによって画像内のノイズを除去するステップと、
（Ａ−２）画像内のエッジを検出するステップと、
（Ａ−３）前記ステップ（Ａ−２）による検出結果に基づいて、画像内の各画素のエッジ強度を算出するステップと、
（Ａ−４）前記ステップ（Ａ−３）によって算出されたエッジ強度に基づいて、前記ローパスフィルタのフィルタ強度を画素毎に設定するステップと、
を有し、
前記ステップ（Ｂ）は、
（Ｂ−１）エッジ強調フィルタによって画像内のエッジを強調するステップと、
（Ｂ−２）画像内のエッジを検出するステップと、
（Ｂ−３）前記ステップ（Ｂ−２）による検出結果に基づいて、画像内の各画素のエッジ強度を算出するステップと、
（Ｂ−４）前記ステップ（Ｂ−３）によって算出されたエッジ強度に基づいて、前記エッジ強調フィルタのエッジ強調強度を画素毎に設定するステップと、
を有し、
前記ステップ（Ａ−４）においては、
エッジ強度が第１のしきい値未満であり画像の平坦部分に属する画素に関しては、第１のフィルタ強度を設定し、
エッジ強度が第１のしきい値以上であり画像のエッジ部分に属する画素に関しては、第１のフィルタ強度よりも低い第２のフィルタ強度を設定する、画像処理方法。

【請求項16】

（Ａ）画像内のノイズを除去するステップと、
（Ｂ）前記ステップ（Ａ）よりも後に実行され、画像内のエッジを強調するステップと、
を備え、
前記ステップ（Ａ）は、
（Ａ−１）ローパスフィルタによって画像内のノイズを除去するステップと、
（Ａ−２）画像内のエッジを検出するステップと、
（Ａ−３）前記ステップ（Ａ−２）による検出結果に基づいて、画像内の各画素のエッジ強度を算出するステップと、
（Ａ−４）前記ステップ（Ａ−３）によって算出されたエッジ強度に基づいて、前記ローパスフィルタのフィルタ強度を画素毎に設定するステップと、
を有し、
前記ステップ（Ｂ）は、
（Ｂ−１）エッジ強調フィルタによって画像内のエッジを強調するステップと、
（Ｂ−２）画像内のエッジを検出するステップと、
（Ｂ−３）前記ステップ（Ｂ−２）による検出結果に基づいて、画像内の各画素のエッジ強度を算出するステップと、
（Ｂ−４）前記ステップ（Ｂ−３）によって算出されたエッジ強度に基づいて、前記エッジ強調フィルタのエッジ強調強度を画素毎に設定するステップと、
を有し、
前記ステップ（Ａ）は、
（Ａ−５）前記ステップ（Ａ−２）による検出結果に基づいて、エッジの画面周波数を解析するステップと、
（Ａ−６）前記ステップ（Ａ−５）による解析結果に基づいて、前記ローパスフィルタのフィルタ強度の許容設定範囲を画像毎に設定するステップと、
をさらに有し、
前記ステップ（Ａ−４）においては、前記ステップ（Ａ−３）によって算出されたエッジ強度に基づいて、前記ローパスフィルタのフィルタ強度を、前記ステップ（Ａ−６）によって設定された許容設定範囲内で画素毎に設定する、画像処理方法。

【請求項17】

（Ａ）画像内のノイズを除去するステップと、
（Ｂ）前記ステップ（Ａ）よりも後に実行され、画像内のエッジを強調するステップと、
を備え、
前記ステップ（Ａ）は、
（Ａ−１）ローパスフィルタによって画像内のノイズを除去するステップと、
（Ａ−２）画像内のエッジを検出するステップと、
（Ａ−３）前記ステップ（Ａ−２）による検出結果に基づいて、画像内の各画素のエッジ強度を算出するステップと、
（Ａ−４）前記ステップ（Ａ−３）によって算出されたエッジ強度に基づいて、前記ローパスフィルタのフィルタ強度を画素毎に設定するステップと、
を有し、
前記ステップ（Ｂ）は、
（Ｂ−１）エッジ強調フィルタによって画像内のエッジを強調するステップと、
（Ｂ−２）画像内のエッジを検出するステップと、
（Ｂ−３）前記ステップ（Ｂ−２）による検出結果に基づいて、画像内の各画素のエッジ強度を算出するステップと、
（Ｂ−４）前記ステップ（Ｂ−３）によって算出されたエッジ強度に基づいて、前記エッジ強調フィルタのエッジ強調強度を画素毎に設定するステップと、
を有し、
前記ステップ（Ｂ）は、
（Ｂ−５）時系列で連続する複数の画像に基づいて、画像の変動量を算出するステップ
をさらに有し、
前記ステップ（Ｂ−４）においては、前記ステップ（Ｂ−３）によって算出されたエッジ強度と、前記ステップ（Ｂ−５）によって算出された変動量とに基づいて、前記エッジ強調フィルタのエッジ強調強度を画素毎に設定する、画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及び画像処理方法に関する。

【背景技術】

【0002】

下記特許文献１には、入力画像の画素毎にエッジ量を検出し、当該エッジ量に応じて複数の強調フィルタを切り替えて適用する画像処理装置が開示されている。また当該特許文献１には、画像を予め平滑化してからエッジ量の検出を行うことにより、ノイズの影響が少ない安定したエッジ量の検出が可能となることが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９−２５８６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記特許文献１に開示された画像処理装置によると、エッジの強調処理に先立つ平滑化処理の効果が過剰な場合には、エッジも平滑化されるため、強調処理後の画像においてエッジが曖昧となる。一方、エッジの強調処理に先立つ平滑化処理の効果が不十分な場合には、ノイズが完全には除去されないため、強調処理によってノイズも強調されてしまう。このように上記特許文献１に開示された画像処理装置によると、画像を予め平滑化してからエッジ量の検出を行ったとしても、ノイズの抑制とエッジの強調とを効果的に両立することが困難であるという問題がある。

【0005】

本発明はかかる問題を解決するために成されたものであり、ノイズの抑制とエッジの強調とを効果的に両立することが可能な画像処理装置及び画像処理方法を得ることを目的とするものである。

【課題を解決するための手段】

【0006】

本発明の第１の態様に係る画像処理装置は、画像内のノイズを除去するノイズ除去処理部と、前記ノイズ除去処理部よりも後段に接続され、画像内のエッジを強調するエッジ強調処理部と、を備え、前記ノイズ除去処理部は、画像内のノイズを除去するローパスフィルタと、画像内のエッジを検出する第１のエッジ検出部と、前記第１のエッジ検出部による検出結果に基づいて、画像内の各画素のエッジ強度を算出する第１のエッジ強度算出部と、前記第１のエッジ強度算出部によって算出されたエッジ強度に基づいて、前記ローパスフィルタのフィルタ強度を画素毎に設定する第１のフィルタ強度設定部と、を有し、前記エッジ強調処理部は、画像内のエッジを強調するエッジ強調フィルタと、画像内のエッジを検出する第２のエッジ検出部と、前記第２のエッジ検出部による検出結果に基づいて、画像内の各画素のエッジ強度を算出する第２のエッジ強度算出部と、前記第２のエッジ強度算出部によって算出されたエッジ強度に基づいて、前記エッジ強調フィルタのエッジ強調強度を画素毎に設定する強調強度設定部と、を有し、前記第１のフィルタ強度設定部は、エッジ強度が第１のしきい値未満であり画像の平坦部分に属する画素に関しては、第１のフィルタ強度を設定し、エッジ強度が第１のしきい値以上であり画像のエッジ部分に属する画素に関しては、第１のフィルタ強度よりも低い第２のフィルタ強度を設定することを特徴とするものである。

【0007】

第１の態様に係る画像処理装置によれば、第１のエッジ検出部は、画像内のエッジを検出し、第１のエッジ強度算出部は、第１のエッジ検出部による検出結果に基づいて、画像内の各画素のエッジ強度を算出する。そして、第１のフィルタ強度設定部は、第１のエッジ強度算出部によって算出されたエッジ強度に基づいて、ローパスフィルタのフィルタ強度を画素毎に設定する。これにより、ローパスフィルタのフィルタ強度を、各画素のエッジ強度に応じて画素毎に適応的に切り替えることができる。例えば、画像の平坦部分に属する画素に関しては比較的高いフィルタ強度を設定することにより、ノイズを効果的に除去することができ、また、画像のエッジ部分に属する画素に関しては比較的低いフィルタ強度を設定することにより、エッジが平滑化されることを回避できる。従って、ノイズ除去処理部によってノイズが効果的に除去された画像に対して、エッジ強調処理部によってエッジ強調処理を行うことにより、エッジ強調処理の際にノイズが強調されることを回避できる。その結果、ノイズの抑制とエッジの強調とを効果的に両立することが可能となる。

【0008】

また、第１の態様に係る画像処理装置によれば、第２のエッジ検出部は、画像内のエッジを検出し、第２のエッジ強度算出部は、第２のエッジ検出部による検出結果に基づいて、画像内の各画素のエッジ強度を算出する。そして、強調強度設定部は、第２のエッジ強度算出部によって算出されたエッジ強度に基づいて、エッジ強調フィルタのエッジ強調強度を画素毎に設定する。これにより、エッジ強調フィルタの強調強度を、各画素のエッジ強度に応じて画素毎に適応的に切り替えることができる。例えば、画像の平坦部分に属する画素に関しては比較的低い強調強度を設定することにより、残存ノイズが強調されることを回避でき、また、画像のエッジ部分に属する画素に関しては比較的高い強調強度を設定することにより、エッジを強調することができる。その結果、ノイズが強調されることを回避しつつエッジを強調できるため、ノイズの抑制とエッジの強調とを効果的に両立することが可能となる。
また、第１の態様に係る画像処理装置によれば、画像の平坦部分に属する画素に関しては、比較的高い第１のフィルタ強度を設定することにより、平坦部分のノイズを効果的に除去することができる。また、画像のエッジ部分に属する画素に関しては、比較的低い第２のフィルタ強度を設定することにより、エッジが平滑化されることを回避できる。その結果、ノイズ除去処理において、エッジが平滑化されることを回避しつつ、平坦部分のノイズを効果的に除去することが可能となる。

【0011】

本発明の第２の態様に係る画像処理装置は、第１の態様に係る画像処理装置において特に、前記第１のフィルタ強度設定部は、エッジ強度が第２のしきい値以上であり画像の特異部分に属する画素に関しては、第２のフィルタ強度よりも低い第３のフィルタ強度を設定することを特徴とするものである。

【0012】

第２の態様に係る画像処理装置によれば、光源の反射部分等の画像の特異部分に属する画素に関しては、第２のフィルタ強度よりも低い第３のフィルタ強度を設定することにより、特異部分が平滑化されることを回避できる。その結果、特異部分が不鮮明な不自然な画像となることを、予め回避することが可能となる。

【0013】

本発明の第３の態様に係る画像処理装置は、第１又は第２の態様に係る画像処理装置において特に、前記第１のフィルタ強度設定部は、エッジ部分に属する画素に関しては、エッジ強度が高いほどフィルタ強度が低くなるように、エッジ強度に応じて第２のフィルタ強度を設定することを特徴とするものである。

【0014】

第３の態様に係る画像処理装置によれば、第１のフィルタ強度設定部は、エッジ部分に属する画素に関しては、エッジ強度が高いほどフィルタ強度が低くなるように、エッジ強度に応じて第２のフィルタ強度を設定する。このように、エッジ強度に応じて第２のフィルタ強度を細かく制御することにより、エッジ部分全体に均一なフィルタ強度を設定する場合と比較して、ローパスフィルタのフィルタ強度を滑らかに切り替えることができる。その結果、画像が不自然になることを回避することが可能となる。

【0015】

本発明の第４の態様に係る画像処理装置は、画像内のノイズを除去するノイズ除去処理部と、前記ノイズ除去処理部よりも後段に接続され、画像内のエッジを強調するエッジ強調処理部と、を備え、前記ノイズ除去処理部は、画像内のノイズを除去するローパスフィルタと、画像内のエッジを検出する第１のエッジ検出部と、前記第１のエッジ検出部による検出結果に基づいて、画像内の各画素のエッジ強度を算出する第１のエッジ強度算出部と、前記第１のエッジ強度算出部によって算出されたエッジ強度に基づいて、前記ローパスフィルタのフィルタ強度を画素毎に設定する第１のフィルタ強度設定部と、を有し、前記エッジ強調処理部は、画像内のエッジを強調するエッジ強調フィルタと、画像内のエッジを検出する第２のエッジ検出部と、前記第２のエッジ検出部による検出結果に基づいて、画像内の各画素のエッジ強度を算出する第２のエッジ強度算出部と、前記第２のエッジ強度算出部によって算出されたエッジ強度に基づいて、前記エッジ強調フィルタのエッジ強調強度を画素毎に設定する強調強度設定部と、を有し、前記ノイズ除去処理部は、前記第１のエッジ検出部による検出結果に基づいて、エッジの画面周波数を解析する周波数解析部と、前記周波数解析部による解析結果に基づいて、前記ローパスフィルタのフィルタ強度の許容設定範囲を画像毎に設定する範囲設定部と、をさらに有し、前記第１のフィルタ強度設定部は、前記第１のエッジ強度算出部によって算出されたエッジ強度に基づいて、前記ローパスフィルタのフィルタ強度を、前記範囲設定部によって設定された許容設定範囲内で画素毎に設定することを特徴とするものである。

【0016】

第４の態様に係る画像処理装置によれば、第１のエッジ検出部は、画像内のエッジを検出し、第１のエッジ強度算出部は、第１のエッジ検出部による検出結果に基づいて、画像内の各画素のエッジ強度を算出する。そして、第１のフィルタ強度設定部は、第１のエッジ強度算出部によって算出されたエッジ強度に基づいて、ローパスフィルタのフィルタ強度を画素毎に設定する。これにより、ローパスフィルタのフィルタ強度を、各画素のエッジ強度に応じて画素毎に適応的に切り替えることができる。例えば、画像の平坦部分に属する画素に関しては比較的高いフィルタ強度を設定することにより、ノイズを効果的に除去することができ、また、画像のエッジ部分に属する画素に関しては比較的低いフィルタ強度を設定することにより、エッジが平滑化されることを回避できる。従って、ノイズ除去処理部によってノイズが効果的に除去された画像に対して、エッジ強調処理部によってエッジ強調処理を行うことにより、エッジ強調処理の際にノイズが強調されることを回避できる。その結果、ノイズの抑制とエッジの強調とを効果的に両立することが可能となる。
また、第４の態様に係る画像処理装置によれば、第２のエッジ検出部は、画像内のエッジを検出し、第２のエッジ強度算出部は、第２のエッジ検出部による検出結果に基づいて、画像内の各画素のエッジ強度を算出する。そして、強調強度設定部は、第２のエッジ強度算出部によって算出されたエッジ強度に基づいて、エッジ強調フィルタのエッジ強調強度を画素毎に設定する。これにより、エッジ強調フィルタの強調強度を、各画素のエッジ強度に応じて画素毎に適応的に切り替えることができる。例えば、画像の平坦部分に属する画素に関しては比較的低い強調強度を設定することにより、残存ノイズが強調されることを回避でき、また、画像のエッジ部分に属する画素に関しては比較的高い強調強度を設定することにより、エッジを強調することができる。その結果、ノイズが強調されることを回避しつつエッジを強調できるため、ノイズの抑制とエッジの強調とを効果的に両立することが可能となる。
また、第４の態様に係る画像処理装置によれば、周波数解析部は、第１のエッジ検出部による検出結果に基づいて、エッジの画面周波数を解析し、範囲設定部は、周波数解析部による解析結果に基づいて、ローパスフィルタのフィルタ強度の許容設定範囲を画像毎に設定する。そして、第１のフィルタ強度設定部は、第１のエッジ強度算出部によって算出されたエッジ強度に基づいて、ローパスフィルタのフィルタ強度を、範囲設定部によって設定された許容設定範囲内で画素毎に設定する。これにより、ローパスフィルタのフィルタ強度の許容設定範囲を、エッジの画面周波数に応じて画像毎に適応的に切り替えることが可能となる。

【0017】

本発明の第５の態様に係る画像処理装置は、第４の態様に係る画像処理装置において特に、前記範囲設定部は、エッジの画面周波数が比較的低い周波数領域に集中する画像に関しては、フィルタ強度が比較的高い範囲内で分布するように許容設定範囲を設定し、エッジの画面周波数が比較的高い周波数領域に集中する画像に関しては、フィルタ強度が比較的低い範囲内で分布するように許容設定範囲を設定することを特徴とするものである。

【0018】

第５の態様に係る画像処理装置によれば、エッジの画面周波数が比較的低い周波数領域に集中する画像（平坦部分を多く含む画像）に関しては、フィルタ強度が比較的高い範囲内で分布するように許容設定範囲を設定することにより、平坦部分のノイズを効果的に除去することができる。また、エッジの画面周波数が比較的高い周波数領域に集中する画像（中〜高周波のエッジを多く含む画像）に関しては、フィルタ強度が比較的低い範囲内で分布するように許容設定範囲を設定することにより、エッジが平滑化されることを回避できる。その結果、ノイズ除去処理において、エッジが平滑化されることを回避しつつ、平坦部分のノイズを効果的に除去することが可能となる。

【0019】

本発明の第６の態様に係る画像処理装置は、画像内のノイズを除去するノイズ除去処理部と、前記ノイズ除去処理部よりも後段に接続され、画像内のエッジを強調するエッジ強調処理部と、を備え、前記ノイズ除去処理部は、画像内のノイズを除去するローパスフィルタと、画像内のエッジを検出する第１のエッジ検出部と、前記第１のエッジ検出部による検出結果に基づいて、画像内の各画素のエッジ強度を算出する第１のエッジ強度算出部と、前記第１のエッジ強度算出部によって算出されたエッジ強度に基づいて、前記ローパスフィルタのフィルタ強度を画素毎に設定する第１のフィルタ強度設定部と、を有し、前記エッジ強調処理部は、画像内のエッジを強調するエッジ強調フィルタと、画像内のエッジを検出する第２のエッジ検出部と、前記第２のエッジ検出部による検出結果に基づいて、画像内の各画素のエッジ強度を算出する第２のエッジ強度算出部と、前記第２のエッジ強度算出部によって算出されたエッジ強度に基づいて、前記エッジ強調フィルタのエッジ強調強度を画素毎に設定する強調強度設定部と、を有し、前記エッジ強調処理部は、時系列で連続する複数の画像に基づいて、画像の変動量を算出する変動量算出部をさらに有し、前記強調強度設定部は、前記第２のエッジ強度算出部によって算出されたエッジ強度と、前記変動量算出部によって算出された変動量とに基づいて、前記エッジ強調フィルタのエッジ強調強度を画素毎に設定することを特徴とするものである。

【0020】

第６の態様に係る画像処理装置によれば、第１のエッジ検出部は、画像内のエッジを検出し、第１のエッジ強度算出部は、第１のエッジ検出部による検出結果に基づいて、画像内の各画素のエッジ強度を算出する。そして、第１のフィルタ強度設定部は、第１のエッジ強度算出部によって算出されたエッジ強度に基づいて、ローパスフィルタのフィルタ強度を画素毎に設定する。これにより、ローパスフィルタのフィルタ強度を、各画素のエッジ強度に応じて画素毎に適応的に切り替えることができる。例えば、画像の平坦部分に属する画素に関しては比較的高いフィルタ強度を設定することにより、ノイズを効果的に除去することができ、また、画像のエッジ部分に属する画素に関しては比較的低いフィルタ強度を設定することにより、エッジが平滑化されることを回避できる。従って、ノイズ除去処理部によってノイズが効果的に除去された画像に対して、エッジ強調処理部によってエッジ強調処理を行うことにより、エッジ強調処理の際にノイズが強調されることを回避できる。その結果、ノイズの抑制とエッジの強調とを効果的に両立することが可能となる。
また、第６の態様に係る画像処理装置によれば、第２のエッジ検出部は、画像内のエッジを検出し、第２のエッジ強度算出部は、第２のエッジ検出部による検出結果に基づいて、画像内の各画素のエッジ強度を算出する。そして、強調強度設定部は、第２のエッジ強度算出部によって算出されたエッジ強度に基づいて、エッジ強調フィルタのエッジ強調強度を画素毎に設定する。これにより、エッジ強調フィルタの強調強度を、各画素のエッジ強度に応じて画素毎に適応的に切り替えることができる。例えば、画像の平坦部分に属する画素に関しては比較的低い強調強度を設定することにより、残存ノイズが強調されることを回避でき、また、画像のエッジ部分に属する画素に関しては比較的高い強調強度を設定することにより、エッジを強調することができる。その結果、ノイズが強調されることを回避しつつエッジを強調できるため、ノイズの抑制とエッジの強調とを効果的に両立することが可能となる。
また、第６の態様に係る画像処理装置によれば、変動量算出部は、時系列で連続する複数の画像に基づいて、画像の変動量を算出する。また、強調強度設定部は、第２のエッジ強度算出部によって算出されたエッジ強度と、変動量算出部によって算出された変動量とに基づいて、エッジ強調フィルタのエッジ強調強度を画素毎に設定する。これにより、エッジ強調フィルタの強調強度を、各画素のエッジ強度と画像の変動量とに応じて画素毎に適応的に切り替えることが可能となる。

【0021】

本発明の第７の態様に係る画像処理装置は、第６の態様に係る画像処理装置において特に、前記強調強度設定部は、エッジ強度が第１のしきい値未満であり画像の平坦部分に属する画素に関しては、第１の強調強度を設定し、エッジ強度が第１のしきい値以上であり画像のエッジ部分に属する画素に関しては、第１の強調強度よりも高い第２の強調強度を設定することを特徴とするものである。

【0022】

第７の態様に係る画像処理装置によれば、画像の平坦部分に属する画素に関しては、比較的低い第１の強調強度を設定することにより、平坦部分のノイズが強調されることを回避できる。また、画像のエッジ部分に属する画素に関しては、比較的高い第２の強調強度を設定することにより、エッジを強調することができる。その結果、エッジ強調処理において、ノイズが強調されることを回避しつつ、エッジを強調することが可能となる。

【0023】

本発明の第８の態様に係る画像処理装置は、第７の態様に係る画像処理装置において特に、前記強調強度設定部は、エッジ部分に近接する平坦部分に属する画素に関しては、エッジ強度が高いほど強調強度が高くなるように、エッジ強度に応じて第１の強調強度を設定することを特徴とするものである。

【0024】

第８の態様に係る画像処理装置によれば、強調強度設定部は、エッジ部分に近接する平坦部分に属する画素に関しては、エッジ強度が高いほど強調強度が高くなるように、エッジ強度に応じて第１の強調強度を設定する。このように、エッジ部分と平坦部分との境界部分に関してはエッジ強度に応じて第１の強調強度を細かく制御することにより、平坦部分全体に均一な強調強度を設定する場合と比較して、エッジ強調フィルタの強調強度を滑らかに切り替えることができる。その結果、エッジ部分と平坦部分との境界部分において画像が不自然になることを回避することが可能となる。

【0025】

本発明の第９の態様に係る画像処理装置は、第７又は第８の態様に係る画像処理装置において特に、前記強調強度設定部は、画像の変動量が所定値未満である画像に関しては、エッジ部分に属する画素に関して第２の強調強度を設定し、画像の変動量が所定値以上である画像に関しては、エッジ部分に属する画素に関して、第２の強調強度よりも高い第３の強調強度を設定することを特徴とするものである。

【0026】

第９の態様に係る画像処理装置によれば、エッジ部分に属する画素に強調強度を設定するにあたり、画像の変動量が所定値以上である画像（動きの大きい画像）に関しては、画像の変動量が所定値未満である画像（動きの小さい画像）よりも高い強調強度を設定することにより、動きに伴うエッジの不鮮明化を回避することが可能となる。

【0027】

本発明の第１０の態様に係る画像処理装置は、第７〜第９のいずれか一つの態様に係る画像処理装置において特に、前記強調強度設定部は、エッジ強度が第２のしきい値以上であり画像の特異部分に属する画素に関しては、第２の強調強度よりも高い第４の強調強度を設定することを特徴とするものである。

【0028】

第１０の態様に係る画像処理装置によれば、光源の反射部分等の画像の特異部分に属する画素に関しては、第２の強調強度よりも高い第４の強調強度を設定することにより、特異部分を強調することができる。その結果、特異部分を鮮明化することが可能となる。

【0029】

本発明の第１１の態様に係る画像処理装置は、第１０の態様に係る画像処理装置において特に、前記強調強度設定部は、画像の変動量が所定値未満である画像に関しては、特異部分に属する画素に関して第４の強調強度を設定し、画像の変動量が所定値以上である画像に関しては、特異部分に属する画素に関して、第４の強調強度よりも高い第５の強調強度を設定することを特徴とするものである。

【0030】

第１１の態様に係る画像処理装置によれば、特異部分に属する画素に強調強度を設定するにあたり、画像の変動量が所定値以上である画像（動きの大きい画像）に関しては、画像の変動量が所定値未満である画像（動きの小さい画像）よりも高い強調強度を設定することにより、動きに伴う特異部分の不鮮明化を回避することが可能となる。

【0031】

本発明の第１２の態様に係る画像処理装置は、第６〜第１１のいずれか一つの態様に係る画像処理装置において特に、前記ノイズ除去処理部は、前記第１のエッジ検出部による検出結果に基づいて、エッジの画面周波数を解析する周波数解析部をさらに有し、前記エッジ強調処理部は、前記エッジ強調フィルタの前段に接続されたハイパスフィルタと、前記周波数解析部による解析結果に基づいて、前記ハイパスフィルタのフィルタ強度を画像毎に設定する第２のフィルタ強度設定部と、をさらに有することを特徴とするものである。

【0032】

第１２の態様に係る画像処理装置によれば、エッジ強調フィルタの前段にハイパスフィルタを接続することにより、低周波のノイズがエッジ強調フィルタによって強調されることを回避できる。また、第２のフィルタ強度設定部は、エッジの画面周波数に基づいて、ハイパスフィルタのフィルタ強度を画像毎に設定する。これにより、ハイパスフィルタのフィルタ強度を、エッジの画面周波数に応じて画像毎に適応的に切り替えることが可能となる。

【0033】

本発明の第１３の態様に係る画像処理装置は、第１２の態様に係る画像処理装置において特に、前記第２のフィルタ強度設定部は、エッジの画面周波数が比較的低い周波数領域に集中する画像に関しては、カットオフ周波数が比較的低くなるようにフィルタ強度を設定し、エッジの画面周波数が比較的高い周波数領域に集中する画像に関しては、カットオフ周波数が比較的高くなるようにフィルタ強度を設定することを特徴とするものである。

【0034】

第１３の態様に係る画像処理装置によれば、エッジの画面周波数が比較的低い周波数領域に集中する画像（低周波のエッジを多く含む画像）に関しては、カットオフ周波数が比較的低くなるようにフィルタ強度を設定することにより、低周波のエッジはハイパスフィルタを通過するため、低周波のエッジをエッジ強調フィルタによって強調することができる。また、エッジの画面周波数が比較的高い周波数領域に集中する画像（中〜高周波のエッジを多く含む画像）に関しては、カットオフ周波数が比較的高くなるようにフィルタ強度を設定することにより、低周波のノイズはハイパスフィルタによって遮断されるため、低周波のノイズがエッジ強調フィルタによって強調されることを回避できる。また、中〜高周波のエッジはハイパスフィルタを通過するため、中〜高周波のエッジをエッジ強調フィルタによって強調することができる。

【0035】

本発明の第１４の態様に係る画像処理装置は、第１〜第１３のいずれか一つの態様に係る画像処理装置において特に、前記ノイズ除去処理部は、色データで構成される画像を処理し、前記エッジ強調処理部は、輝度データ及び色差データで構成される画像を処理することを特徴とするものである。

【0036】

第１４の態様に係る画像処理装置によれば、ノイズ除去処理部は、色データで構成される画像（例えばＢａｙｅｒ領域の画像）を処理し、エッジ強調処理部は、輝度データ及び色差データで構成される画像（例えばＹＵＶ領域の画像）を処理する。このように、ノイズ除去処理を、色空間変換前のＢａｙｅｒ領域の画像に対して実行することにより、早期の段階で効果的にノイズを除去でき、その結果、色空間変換時にノイズが拡散することを防止することが可能となる。

【0037】

本発明の第１５の態様に係る画像処理方法は、（Ａ）画像内のノイズを除去するステップと、（Ｂ）前記ステップ（Ａ）よりも後に実行され、画像内のエッジを強調するステップと、を備え、前記ステップ（Ａ）は、（Ａ−１）ローパスフィルタによって画像内のノイズを除去するステップと、（Ａ−２）画像内のエッジを検出するステップと、（Ａ−３）前記ステップ（Ａ−２）による検出結果に基づいて、画像内の各画素のエッジ強度を算出するステップと、（Ａ−４）前記ステップ（Ａ−３）によって算出されたエッジ強度に基づいて、前記ローパスフィルタのフィルタ強度を画素毎に設定するステップと、を有し、前記ステップ（Ｂ）は、（Ｂ−１）エッジ強調フィルタによって画像内のエッジを強調するステップと、（Ｂ−２）画像内のエッジを検出するステップと、（Ｂ−３）前記ステップ（Ｂ−２）による検出結果に基づいて、画像内の各画素のエッジ強度を算出するステップと、（Ｂ−４）前記ステップ（Ｂ−３）によって算出されたエッジ強度に基づいて、前記エッジ強調フィルタのエッジ強調強度を画素毎に設定するステップと、を有し、前記ステップ（Ａ−４）においては、エッジ強度が第１のしきい値未満であり画像の平坦部分に属する画素に関しては、第１のフィルタ強度を設定し、エッジ強度が第１のしきい値以上であり画像のエッジ部分に属する画素に関しては、第１のフィルタ強度よりも低い第２のフィルタ強度を設定することを特徴とするものである。

【0038】

第１５の態様に係る画像処理方法によれば、ステップ（Ａ−２）では、画像内のエッジが検出され、ステップ（Ａ−３）では、ステップ（Ａ−２）による検出結果に基づいて、画像内の各画素のエッジ強度が算出される。そして、ステップ（Ａ−４）では、ステップ（Ａ−３）によって算出されたエッジ強度に基づいて、ローパスフィルタのフィルタ強度が画素毎に設定される。これにより、ローパスフィルタのフィルタ強度を、各画素のエッジ強度に応じて画素毎に適応的に切り替えることができる。例えば、画像の平坦部分に属する画素に関しては比較的高いフィルタ強度を設定することにより、ノイズを効果的に除去することができ、また、画像のエッジ部分に属する画素に関しては比較的低いフィルタ強度を設定することにより、エッジが平滑化されることを回避できる。従って、ステップ（Ａ）によってノイズが効果的に除去された画像に対して、ステップ（Ｂ）によってエッジ強調処理を行うことにより、エッジ強調処理の際にノイズが強調されることを回避できる。その結果、ノイズの抑制とエッジの強調とを効果的に両立することが可能となる。

【0039】

また、第１５の態様に係る画像処理方法によれば、ステップ（Ｂ−２）では、画像内のエッジが検出され、ステップ（Ｂ−３）では、ステップ（Ｂ−２）による検出結果に基づいて、画像内の各画素のエッジ強度が算出される。そして、ステップ（Ｂ−４）では、ステップ（Ｂ−３）によって算出されたエッジ強度に基づいて、エッジ強調フィルタのエッジ強調強度が画素毎に設定される。これにより、エッジ強調フィルタの強調強度を、各画素のエッジ強度に応じて画素毎に適応的に切り替えることができる。例えば、画像の平坦部分に属する画素に関しては比較的低い強調強度を設定することにより、残存ノイズが強調されることを回避でき、また、画像のエッジ部分に属する画素に関しては比較的高い強調強度を設定することにより、エッジを強調することができる。その結果、ノイズが強調されることを回避しつつエッジを強調できるため、ノイズの抑制とエッジの強調とを効果的に両立することが可能となる。
また、第１５の態様に係る画像処理方法によれば、画像の平坦部分に属する画素に関しては、比較的高い第１のフィルタ強度を設定することにより、平坦部分のノイズを効果的に除去することができる。また、画像のエッジ部分に属する画素に関しては、比較的低い第２のフィルタ強度を設定することにより、エッジが平滑化されることを回避できる。その結果、ノイズ除去処理において、エッジが平滑化されることを回避しつつ、平坦部分のノイズを効果的に除去することが可能となる。
本発明の第１６の態様に係る画像処理方法は、（Ａ）画像内のノイズを除去するステップと、（Ｂ）前記ステップ（Ａ）よりも後に実行され、画像内のエッジを強調するステップと、を備え、前記ステップ（Ａ）は、（Ａ−１）ローパスフィルタによって画像内のノイズを除去するステップと、（Ａ−２）画像内のエッジを検出するステップと、（Ａ−３）前記ステップ（Ａ−２）による検出結果に基づいて、画像内の各画素のエッジ強度を算出するステップと、（Ａ−４）前記ステップ（Ａ−３）によって算出されたエッジ強度に基づいて、前記ローパスフィルタのフィルタ強度を画素毎に設定するステップと、を有し、前記ステップ（Ｂ）は、（Ｂ−１）エッジ強調フィルタによって画像内のエッジを強調するステップと、（Ｂ−２）画像内のエッジを検出するステップと、（Ｂ−３）前記ステップ（Ｂ−２）による検出結果に基づいて、画像内の各画素のエッジ強度を算出するステップと、（Ｂ−４）前記ステップ（Ｂ−３）によって算出されたエッジ強度に基づいて、前記エッジ強調フィルタのエッジ強調強度を画素毎に設定するステップと、を有し、前記ステップ（Ａ）は、（Ａ−５）前記ステップ（Ａ−２）による検出結果に基づいて、エッジの画面周波数を解析するステップと、（Ａ−６）前記ステップ（Ａ−５）による解析結果に基づいて、前記ローパスフィルタのフィルタ強度の許容設定範囲を画像毎に設定するステップと、をさらに有し、前記ステップ（Ａ−４）においては、前記ステップ（Ａ−３）によって算出されたエッジ強度に基づいて、前記ローパスフィルタのフィルタ強度を、前記ステップ（Ａ−６）によって設定された許容設定範囲内で画素毎に設定することを特徴とするものである。
第１６の態様に係る画像処理方法によれば、ステップ（Ａ−２）では、画像内のエッジが検出され、ステップ（Ａ−３）では、ステップ（Ａ−２）による検出結果に基づいて、画像内の各画素のエッジ強度が算出される。そして、ステップ（Ａ−４）では、ステップ（Ａ−３）によって算出されたエッジ強度に基づいて、ローパスフィルタのフィルタ強度が画素毎に設定される。これにより、ローパスフィルタのフィルタ強度を、各画素のエッジ強度に応じて画素毎に適応的に切り替えることができる。例えば、画像の平坦部分に属する画素に関しては比較的高いフィルタ強度を設定することにより、ノイズを効果的に除去することができ、また、画像のエッジ部分に属する画素に関しては比較的低いフィルタ強度を設定することにより、エッジが平滑化されることを回避できる。従って、ステップ（Ａ）によってノイズが効果的に除去された画像に対して、ステップ（Ｂ）によってエッジ強調処理を行うことにより、エッジ強調処理の際にノイズが強調されることを回避できる。その結果、ノイズの抑制とエッジの強調とを効果的に両立することが可能となる。
また、第１６の態様に係る画像処理方法によれば、ステップ（Ｂ−２）では、画像内のエッジが検出され、ステップ（Ｂ−３）では、ステップ（Ｂ−２）による検出結果に基づいて、画像内の各画素のエッジ強度が算出される。そして、ステップ（Ｂ−４）では、ステップ（Ｂ−３）によって算出されたエッジ強度に基づいて、エッジ強調フィルタのエッジ強調強度が画素毎に設定される。これにより、エッジ強調フィルタの強調強度を、各画素のエッジ強度に応じて画素毎に適応的に切り替えることができる。例えば、画像の平坦部分に属する画素に関しては比較的低い強調強度を設定することにより、残存ノイズが強調されることを回避でき、また、画像のエッジ部分に属する画素に関しては比較的高い強調強度を設定することにより、エッジを強調することができる。その結果、ノイズが強調されることを回避しつつエッジを強調できるため、ノイズの抑制とエッジの強調とを効果的に両立することが可能となる。
また、第１６の態様に係る画像処理方法によれば、ステップ（Ａ−５）では、ステップ（Ａ−２）による検出結果に基づいて、エッジの画面周波数が解析され、ステップ（Ａ−６）では、ステップ（Ａ−５）による解析結果に基づいて、ローパスフィルタのフィルタ強度の許容設定範囲が画像毎に設定される。そして、ステップ（Ａ−４）においては、ステップ（Ａ−３）によって算出されたエッジ強度に基づいて、ローパスフィルタのフィルタ強度が、ステップ（Ａ−６）によって設定された許容設定範囲内で画素毎に設定される。これにより、ローパスフィルタのフィルタ強度の許容設定範囲を、エッジの画面周波数に応じて画像毎に適応的に切り替えることが可能となる。
本発明の第１７の態様に係る画像処理方法は、（Ａ）画像内のノイズを除去するステップと、（Ｂ）前記ステップ（Ａ）よりも後に実行され、画像内のエッジを強調するステップと、を備え、前記ステップ（Ａ）は、（Ａ−１）ローパスフィルタによって画像内のノイズを除去するステップと、（Ａ−２）画像内のエッジを検出するステップと、（Ａ−３）前記ステップ（Ａ−２）による検出結果に基づいて、画像内の各画素のエッジ強度を算出するステップと、（Ａ−４）前記ステップ（Ａ−３）によって算出されたエッジ強度に基づいて、前記ローパスフィルタのフィルタ強度を画素毎に設定するステップと、を有し、前記ステップ（Ｂ）は、（Ｂ−１）エッジ強調フィルタによって画像内のエッジを強調するステップと、（Ｂ−２）画像内のエッジを検出するステップと、（Ｂ−３）前記ステップ（Ｂ−２）による検出結果に基づいて、画像内の各画素のエッジ強度を算出するステップと、（Ｂ−４）前記ステップ（Ｂ−３）によって算出されたエッジ強度に基づいて、前記エッジ強調フィルタのエッジ強調強度を画素毎に設定するステップと、を有し、前記ステップ（Ｂ）は、（Ｂ−５）時系列で連続する複数の画像に基づいて、画像の変動量を算出するステップをさらに有し、前記ステップ（Ｂ−４）においては、前記ステップ（Ｂ−３）によって算出されたエッジ強度と、前記ステップ（Ｂ−５）によって算出された変動量とに基づいて、前記エッジ強調フィルタのエッジ強調強度を画素毎に設定することを特徴とするものである。
第１７の態様に係る画像処理方法によれば、ステップ（Ａ−２）では、画像内のエッジが検出され、ステップ（Ａ−３）では、ステップ（Ａ−２）による検出結果に基づいて、画像内の各画素のエッジ強度が算出される。そして、ステップ（Ａ−４）では、ステップ（Ａ−３）によって算出されたエッジ強度に基づいて、ローパスフィルタのフィルタ強度が画素毎に設定される。これにより、ローパスフィルタのフィルタ強度を、各画素のエッジ強度に応じて画素毎に適応的に切り替えることができる。例えば、画像の平坦部分に属する画素に関しては比較的高いフィルタ強度を設定することにより、ノイズを効果的に除去することができ、また、画像のエッジ部分に属する画素に関しては比較的低いフィルタ強度を設定することにより、エッジが平滑化されることを回避できる。従って、ステップ（Ａ）によってノイズが効果的に除去された画像に対して、ステップ（Ｂ）によってエッジ強調処理を行うことにより、エッジ強調処理の際にノイズが強調されることを回避できる。その結果、ノイズの抑制とエッジの強調とを効果的に両立することが可能となる。
また、第１７の態様に係る画像処理方法によれば、ステップ（Ｂ−２）では、画像内のエッジが検出され、ステップ（Ｂ−３）では、ステップ（Ｂ−２）による検出結果に基づいて、画像内の各画素のエッジ強度が算出される。そして、ステップ（Ｂ−４）では、ステップ（Ｂ−３）によって算出されたエッジ強度に基づいて、エッジ強調フィルタのエッジ強調強度が画素毎に設定される。これにより、エッジ強調フィルタの強調強度を、各画素のエッジ強度に応じて画素毎に適応的に切り替えることができる。例えば、画像の平坦部分に属する画素に関しては比較的低い強調強度を設定することにより、残存ノイズが強調されることを回避でき、また、画像のエッジ部分に属する画素に関しては比較的高い強調強度を設定することにより、エッジを強調することができる。その結果、ノイズが強調されることを回避しつつエッジを強調できるため、ノイズの抑制とエッジの強調とを効果的に両立することが可能となる。
また、第１７の態様に係る画像処理方法によれば、ステップ（Ｂ−５）では、時系列で連続する複数の画像に基づいて、画像の変動量が算出される。また、ステップ（Ｂ−４）においては、ステップ（Ｂ−３）によって算出されたエッジ強度と、ステップ（Ｂ−５）によって算出された変動量とに基づいて、エッジ強調フィルタのエッジ強調強度が画素毎に設定される。これにより、エッジ強調フィルタの強調強度を、各画素のエッジ強度と画像の変動量とに応じて画素毎に適応的に切り替えることが可能となる。

【発明の効果】

【0040】

本発明によれば、ノイズの抑制とエッジの強調とを効果的に両立することが可能となる。

【図面の簡単な説明】

【0041】

【図1】本発明の実施の形態に係る画像処理装置の構成を示す図である。

【図2】ノイズ除去処理部の構成を示す図である。

【図3】エッジ強調処理部の構成を示す図である。

【図4】フィルタ強度設定部によるフィルタ強度の設定例を示す図である。

【図5】強調強度設定部による強調強度の設定例を示す図である。

【図6】強調強度設定部による強調強度の他の設定例を示す図である。

【図7】第１の変形例に係るエッジ強調処理部の構成を示す図である。

【図8】第２の変形例に係るエッジ強調処理部の構成を示す図である。

【発明を実施するための形態】

【0042】

以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。

【0043】

図１は、本発明の実施の形態に係る画像処理装置１の構成を示す図である。図１に示すように画像処理装置１は、ノイズ除去処理部２と、ノイズ除去処理部２の後段に接続された色空間変換部３と、色空間変換部３の後段に接続されたエッジ強調処理部４とを備えて構成されている。画像処理装置１は、外部のビデオカメラ等から入力される動画像の画像データに対して、ノイズ除去処理、色空間変換処理、及びエッジ強調処理をこの順に行う。

【0044】

ノイズ除去処理部２には、色データで構成される画像データ（本実施の形態の例ではＢａｙｅｒ配列のＲＧｒＧｂＢ色空間の画像データ）が入力される。ノイズ除去処理部２は、入力された画像に対してノイズ除去処理を行う。

【0045】

色空間変換部３は、ノイズ除去処理部２から入力されたＲＧｒＧｂＢ空間の画像データを、輝度データ及び色差データで構成される画像データ（本実施の形態の例ではＹＵＶ色空間の画像データ）に変換する。

【0046】

エッジ強調処理部４は、色空間変換部３から入力されたＹＵＶ色空間の画像データに対してエッジ強調処理を行う。

【0047】

図２は、ノイズ除去処理部２の構成を示す図である。図２の接続関係で示すようにノイズ除去処理部２は、いずれもハードウェアとして構成された、二次元ローパスフィルタ１１、フィルタ強度設定部１２、エッジ強度算出部１３、エッジ検出部１４、及びバッファ１５，１６を備えている。また、ノイズ除去処理部２はＣＰＵ１７を備えており、ＣＰＵ１７は範囲設定部１８及び周波数解析部１９として機能する。なお、範囲設定部１８及び周波数解析部１９をハードウェアとして構成しても良い。

【0048】

二次元ローパスフィルタ１１としては、例えば、１３ｔａｐのプログラマブルフィルタ（ＦＩＲフィルタ）が使用される。エッジ検出部１４としては、例えば、５ｔａｐのＳｏｂｅｌフィルタが使用される。

【0049】

図３は、エッジ強調処理部４の構成を示す図である。図３の接続関係で示すようにエッジ強調処理部４は、いずれもハードウェアとして構成された、エッジ強調フィルタ２０、強調強度設定部２１、エッジ強度算出部２２、エッジ検出部２３、変動量算出部２４、加算部２５、及び三次元ノイズリダクションフィルタ２６を備えている。

【0050】

エッジ強調フィルタ２０としては、例えば、１３ｔａｐのプログラマブルフィルタが使用される。エッジ検出部２３としては、例えば、５ｔａｐのＳｏｂｅｌフィルタが使用される。三次元ノイズリダクションフィルタ２６としては、例えば、動き補償型よりも回路規模が小さい動き適応型のフィルタが使用される。

【0051】

以下、図１〜３を参照して、本実施の形態に係る画像処理装置１の動作について説明する。

【0052】

図２を参照して、ノイズ除去処理部２の処理対象である画像データは、二次元ローパスフィルタ１１及びエッジ検出部１４に入力される。

【0053】

エッジ検出部１４は、画像の１フレームに含まれる各画素に関して、８方向（上下左右の４方向及び斜め４方向）のエッジを検出する。なお、エッジ検出部１４によるエッジ検出処理は、ＲＧｒＧｂＢ色空間の１成分（例えばＧｒ成分）のみを対象として行われる。但し、２成分以上（例えばＧｒ成分及びＧｂ成分）を対象とすることにより、より高精度なエッジ検出が可能となる。

【0054】

エッジ強度算出部１３は、エッジ検出部１４によるエッジの検出結果に基づいて、各画素のエッジ強度を算出する。例えば、各画素に関して８方向のエッジ強度を加算し、その加算値の平方根として、各画素のエッジ強度を算出する。

【0055】

周波数解析部１９は、エッジ検出部１４によるエッジの検出結果に基づいて、画像内におけるエッジの画面周波数を解析する。周波数解析には、二次元フーリエ変換等の一般的な解析手法を使用することができる。周波数解析部１９によって解析された各画像のエッジの画面周波数に関する情報は、範囲設定部１８及びバッファ１６に入力される。なお、１フレーム全体の画面周波数を解析する必要があるため、現フレームに関する周波数解析部１９の解析結果は、次フレームに関する設定処理に利用され、現フレームに関する設定処理には、前フレームに関する解析結果が利用される。また、周波数解析部１９による解析対象の画像は、エッジ検出後の画像に限らず、エッジ検出前の入力画像であっても良い。なお、１フレーム全体の画面周波数を解析するのではなく、画像の特徴部分を含む一部領域（例えばフレームを９分割した中の一つの領域）を対象として画面周波数の解析を行っても良く、これによって回路規模を削減することができる。

【0056】

範囲設定部１８は、周波数解析部１９による解析結果に基づいて、後述する画像の平坦部分及びエッジ部分に関する二次元ローパスフィルタ１１のフィルタ強度の許容設定範囲（許容上限値及び許容下限値）を、画像毎に設定する。例えば、カットオフ周波数（Ｆｃ）によって二次元ローパスフィルタ１１のフィルタ強度を設定する場合には、エッジの画面周波数が集中している周波数領域に応じて、カットオフ周波数の許容上限値及び許容下限値を画像毎に設定する。

【0057】

本実施の形態の例において、範囲設定部１８は、エッジの画面周波数が低〜中周波数の領域に集中している場合には、カットオフ周波数をサンプリング周波数（Ｆｓ）の０．２倍〜０．３倍の範囲に設定する。また、エッジの画面周波数が中〜高周波数の領域に集中している場合には、カットオフ周波数をサンプリング周波数の０．３倍〜０．４倍の範囲に設定する。また、エッジの画面周波数が低周波数の領域に集中している場合には、カットオフ周波数をサンプリング周波数の０．１倍〜０．２倍の範囲に設定する。つまり、範囲設定部１８は、エッジの画面周波数が比較的低い周波数領域に集中する画像に関しては、フィルタ強度が比較的高い範囲内で分布するように許容設定範囲を設定し、エッジの画面周波数が比較的高い周波数領域に集中する画像に関しては、フィルタ強度が比較的低い範囲内で分布するように許容設定範囲を設定する。また、範囲設定部１８は、エッジの画面周波数が低〜高周波数の広い領域に分散している場合には、カットオフ周波数をサンプリング周波数の０．１倍〜０．４倍の範囲に設定する。つまり、範囲設定部１８は、エッジの画面周波数が広い周波数領域に分散する画像に関しては、フィルタ強度が広い範囲内で分布するように許容設定範囲を設定する。

【0058】

フィルタ強度設定部１２は、エッジ強度算出部１３によって算出された各画素のエッジ強度に基づいて、二次元ローパスフィルタ１１のフィルタ強度を、範囲設定部１８によって設定された許容設定範囲内で画素毎に設定する。

【0059】

図４は、フィルタ強度設定部１２によるフィルタ強度の設定例を示す図である。フィルタ強度設定部１２は、エッジ強度が第１のしきい値Ａ１未満である画素（画像の平坦部分に属する画素）に関しては、許容上限値に相当するフィルタ強度Ｂ１を設定する。また、フィルタ強度設定部１２は、エッジ強度がしきい値Ａ１以上かつ第２のしきい値Ａ２未満である画素（画像のエッジ部分に属する画素）に関しては、フィルタ強度Ｂ１より低くかつ許容下限値以上であるフィルタ強度Ｂ２を設定する。また、フィルタ強度設定部１２は、エッジ強度がしきい値Ａ２以上である画素（光源の反射部分等の画像の特異部分に属する画素）に関しては、許容下限値よりも低いフィルタ強度Ｂ３（図４の例ではゼロ）を設定する。また、図４に示すように、フィルタ強度設定部１２は、エッジ部分に属する画素に関しては、エッジ強度が高いほどフィルタ強度が低くなるように、エッジ強度に応じてフィルタ強度Ｂ２を段階的（図４の例では６段階）に設定する。

【0060】

二次元ローパスフィルタ１１は、フィルタ強度設定部１２によって画素毎に設定されたフィルタ強度で、入力画像の各画素をＲ，Ｇｒ，Ｇｂ，Ｂの成分毎に処理する。複数のフィルタ強度に応じた複数のフィルタ係数テーブルを予め用意しておき、フィルタ強度設定部１２によって設定されたフィルタ強度に対応するフィルタ係数を選択して二次元ローパスフィルタ１１に適用することにより、所望の強度のローパスフィルタ処理を実現することができる。

【0061】

二次元ローパスフィルタ１１によってノイズ除去処理が行われた画像データは、バッファ１５に入力される。

【0062】

図１を参照して、色空間変換部３は、バッファ１５から入力されたＢａｙｅｒ空間の画像データを、ＹＵＶ色空間の画像データに変換する。

【0063】

図３を参照して、エッジ強調処理部４の処理対象である画像データは、エッジ強調フィルタ２０、エッジ検出部２３、変動量算出部２４、及び加算部２５に入力される。

【0064】

エッジ検出部２３は、画像の１フレームに含まれる各画素に関して、８方向（上下左右の４方向及び斜め４方向）のエッジを検出する。なお、エッジ検出部２３によるエッジ検出処理は、ＹＵＶ色空間のＹ成分のみを対象として行われる。

【0065】

エッジ強度算出部２２は、エッジ検出部２３によるエッジの検出結果に基づいて、各画素のエッジ強度を算出する。例えば、各画素に関して８方向のエッジ強度を加算し、その加算値の平方根として、各画素のエッジ強度を算出する。

【0066】

変動量算出部２４は、時系列で連続する複数の画像に基づいて、画像の変動量を算出する。例えば、現フレームと前フレームとを対象として全画素の画素値の差分絶対値和を求めることで、現フレームに関して前フレームからの変動量を算出する。なお、変動量算出部２４による変動量算出処理は、ＹＵＶ色空間のＹ成分のみを対象として行われる。また、所定画素数（例えば８×８画素）のブロック毎に画素値の差分絶対値和を求め、１フレーム内の全てのブロックに関して差分絶対値和の総和を求めることによって、画像の変動量を算出しても良い。さらに、１フレーム全体の画素値を使用する必要があるため、現フレームに関する変動量の算出結果は、次フレームに関する設定処理に利用され、現フレームに関する設定処理には、前フレームに関する変動量の算出結果が利用される。なお、１フレーム全体の画素値から画像の変動量を算出するのではなく、画像の特徴部分を含む一部領域（例えばフレームを９分割した中の一つの領域）の画素値に基づいて画像の変動量を算出しても良く、これによって回路規模を削減することができる。

【0067】

強調強度設定部２１は、エッジ強度算出部２２によって算出されたエッジ強度と、変動量算出部２４によって算出された変動量とに基づいて、エッジ強調フィルタ２０のエッジ強調強度を画素毎に設定する。

【0068】

図５は、強調強度設定部２１による強調強度の設定例を示す図である。強調強度設定部２１は、エッジ強度が第１のしきい値Ｃ１未満である画素（画像の平坦部分に属する画素）に関しては、強調強度Ｄ１（例えば０．５倍）を設定する。

【0069】

また、強調強度設定部２１は、エッジ強度がしきい値Ｃ１以上かつ第２のしきい値Ｃ２未満である画素（画像のエッジ部分に属する画素）に関しては、画像の変動量が所定値未満である場合には、強調強度Ｄ１よりも高い強調強度Ｄ２（例えば１．０倍）を設定し、画像の変動量が所定値以上である場合には、強調強度Ｄ２よりも高い強調強度Ｄ３（例えば１．２倍）を設定する。

【0070】

また、強調強度設定部２１は、エッジ強度がしきい値Ｃ２以上である画素（画像の特異部分に属する画素）に関しては、画像の変動量が所定値未満である場合には、強調強度Ｄ２よりも高い強調強度Ｄ４（例えば１．２倍）を設定し、画像の変動量が所定値以上である場合には、強調強度Ｄ４よりも高い強調強度Ｄ５（例えば１．４４倍）を設定する。

【0071】

なお、エッジ部分及び特異部分に関しては、画像の変動量が所定値以上であるか否かによって強調強度を異ならせたが、平坦部分に関しては、動きに伴う不鮮明化の影響が小さいため、画像の変動量に応じて強調強度を異ならせる必要はない。

【0072】

図６は、強調強度設定部２１による強調強度の他の設定例を示す図である。強調強度設定部２１は、エッジ部分に近接する平坦部分に属する画素に関しては、エッジ強度が高いほど強調強度が線形的に高くなるように、エッジ強度に応じて強調強度を設定する。平坦部分とエッジ部分とが入り組むような複雑な画像では、両者の強調強度の差が大きいと、その境界部分において画像が不自然になる場合がある。そのような複雑な画像を処理する場合には図６に示した設定手法を採用することにより、平坦部分とエッジ部分との境界部分を滑らかに描写することができる。なお、エッジ部分と特異部分との境界部分に関しては、エッジ強度の変化が本来的に大きく、平坦部分とエッジ部分との境界部分ほど細かな変化を伴わないため、このような処理は不要である。

【0073】

エッジ強調フィルタ２０は、強調強度設定部２１によって画素毎に設定された強調強度で、入力画像の各画素のＹ成分に対して強調処理を行う。

【0074】

加算部２５は、ＹＵＶ色空間の入力画像と、エッジ強調フィルタ２０から入力されたＹ成分のエッジ強調画像とを加算することにより、エッジが強調されたＹＵＶ色空間の画像データを出力する。

【0075】

三次元ノイズリダクションフィルタ２６は、加算器２５から入力された画像データに対して、動き適応型のノイズリダクション処理を行う。これにより、ノイズ除去処理部２で除去できなかった残存ノイズがエッジ強調処理部４の処理で不要に強調された場合であっても、三次元ノイズリダクションフィルタ２６によって当該ノイズを除去することができる。

【0076】

＜第１の変形例＞
図７は、第１の変形例に係るエッジ強調処理部４の構成を示す図である。図３に示した構成に対して、二次元ハイパスフィルタ２７及びフィルタ強度設定部２８が追加されている。二次元ハイパスフィルタ２７としては、例えば、１７ｔａｐのプログラマブルフィルタが使用される。二次元ハイパスフィルタ２７の出力は、エッジ強調フィルタ２０の入力及びエッジ検出部２３の入力に接続されている。但し、エッジ検出部２３の入力には、二次元ハイパスフィルタ２７の入力を接続しても良い。

【0077】

フィルタ強度設定部２８には、周波数解析部１９によって解析されたエッジの画面周波数に関する情報が、バッファ１６を介して入力される。フィルタ強度設定部２８は、一例として、二次元ローパスフィルタ１１に設定されている強度の許容上限値に相当するカットオフ周波数の１／２の周波数を、二次元ハイパスフィルタ２７のカットオフ周波数として設定する。本変形例において、フィルタ強度設定部２８は、エッジの画面周波数が低〜中周波数の領域に集中している場合には、カットオフ周波数をサンプリング周波数の０．１倍に設定する。また、エッジの画面周波数が中〜高周波数の領域に集中している場合には、カットオフ周波数をサンプリング周波数の０．１５倍に設定する。また、エッジの画面周波数が低周波数の領域に集中している場合には、カットオフ周波数をサンプリング周波数の０．０５倍に設定する。つまり、フィルタ強度設定部２８は、エッジの画面周波数が比較的低い周波数領域に集中する画像に関しては、カットオフ周波数が比較的低くなるようにフィルタ強度を設定し、エッジの画面周波数が比較的高い周波数領域に集中する画像に関しては、カットオフ周波数が比較的高くなるようにフィルタ強度を設定する。

【0078】

なお、二次元ハイパスフィルタ２７にはプログラマブルフィルタが使用されているため、ノイズ成分が存在している周波数領域を遮断するように、ローパスフィルタ又はバンドパスフィルタとして機能させることも可能である。例えば、ノイズ成分が高周波領域に存在している場合には、プログラマブルフィルタをローパスフィルタとして機能させることにより、高周波領域のノイズを遮断することができる。

【0079】

＜第２の変形例＞
図８は、第２の変形例に係るエッジ強調処理部４の構成を示す図である。図３に示した構成に対して、乗算部２９及び強調強度設定部３０が追加されている。

【0080】

強調強度設定部２１は、エッジ強度算出部２２によって算出されたエッジ強度に基づいて、エッジ強調フィルタ２０のエッジ強調強度を画素毎に設定する。

【0081】

強調強度設定部３０は、変動量算出部２４によって算出された画像の変動量に基づいて、乗算部２９の乗算係数を画像毎に設定する。例えば、画像の変動量がゼロである場合に１．０倍の乗算係数を設定し、画像の変動量が大きくなるほど大きい乗算係数を設定する。

【0082】

エッジ強調フィルタ２０は、強調強度設定部２１によってエッジ強度に基づいて画素毎に設定された強調強度で、入力画像の各画素のＹ成分に対して強調処理を行う。

【0083】

乗算部２９は、エッジ強調フィルタ２０から入力されたＹ成分のエッジ強調画像と、強調強度設定部３０によって変動量に基づいて画像毎に設定された乗算係数とを乗算することにより、エッジをさらに強調する。

【0084】

加算部２５は、ＹＵＶ色空間の入力画像と、乗算部２９から入力されたＹ成分のエッジ強調画像とを加算することにより、エッジが強調されたＹＵＶ色空間の画像データを出力する。

【0085】

＜まとめ＞
上記実施の形態に係る画像処理装置１によれば、エッジ検出部１４（第１のエッジ検出部）は、画像内のエッジを検出し、エッジ強度算出部１３（第１のエッジ強度算出部）は、エッジ検出部１４による検出結果に基づいて、画像内の各画素のエッジ強度を算出する。そして、フィルタ強度設定部１２（第１のフィルタ強度設定部）は、エッジ強度算出部１３によって算出されたエッジ強度に基づいて、二次元ローパスフィルタ１１のフィルタ強度を画素毎に設定する。これにより、二次元ローパスフィルタ１１のフィルタ強度を、各画素のエッジ強度に応じて画素毎に適応的に切り替えることができる。例えば、画像の平坦部分に属する画素に関しては比較的高いフィルタ強度を設定することにより、ノイズを効果的に除去することができ、また、画像のエッジ部分に属する画素に関しては比較的低いフィルタ強度を設定することにより、エッジが平滑化されることを回避できる。従って、ノイズ除去処理部２によってノイズが効果的に除去された画像に対して、エッジ強調処理部４によってエッジ強調処理を行うことにより、エッジ強調処理の際にノイズが強調されることを回避できる。その結果、ノイズの抑制とエッジの強調とを効果的に両立することが可能となる。

【0086】

また、上記実施の形態に係る画像処理装置１によれば、エッジ検出部２３（第２のエッジ検出部）は、画像内のエッジを検出し、エッジ強度算出部２２（第２のエッジ強度算出部）は、エッジ検出部２３による検出結果に基づいて、画像内の各画素のエッジ強度を算出する。そして、強調強度設定部２１は、エッジ強度算出部２２によって算出されたエッジ強度に基づいて、エッジ強調フィルタ２０のエッジ強調強度を画素毎に設定する。これにより、エッジ強調フィルタ２０の強調強度を、各画素のエッジ強度に応じて画素毎に適応的に切り替えることができる。例えば、画像の平坦部分に属する画素に関しては比較的低い強調強度を設定することにより、残存ノイズが強調されることを回避でき、また、画像のエッジ部分に属する画素に関しては比較的高い強調強度を設定することにより、エッジを強調することができる。その結果、ノイズが強調されることを回避しつつエッジを強調できるため、ノイズの抑制とエッジの強調とを効果的に両立することが可能となる。

【0087】

また、上記実施の形態に係る画像処理装置１によれば、図４に示したように、画像の平坦部分に属する画素に関しては、比較的高い第１のフィルタ強度Ｂ１を設定することにより、平坦部分のノイズを効果的に除去することができる。また、画像のエッジ部分に属する画素に関しては、比較的低い第２のフィルタ強度Ｂ２を設定することにより、エッジが平滑化されることを回避できる。その結果、ノイズ除去処理において、エッジが平滑化されることを回避しつつ、平坦部分のノイズを効果的に除去することが可能となる。

【0088】

また、上記実施の形態に係る画像処理装置１によれば、図４に示したように、光源の反射部分等の画像の特異部分に属する画素に関しては、第２のフィルタ強度Ｂ２よりも低い第３のフィルタ強度Ｂ３を設定することにより、特異部分が平滑化されることを回避できる。その結果、特異部分が不鮮明な不自然な画像となることを、予め回避することが可能となる。

【0089】

また、上記実施の形態に係る画像処理装置１によれば、図４に示したように、フィルタ強度設定部１２は、エッジ部分に属する画素に関しては、エッジ強度が高いほどフィルタ強度が低くなるように、エッジ強度に応じて第２のフィルタ強度Ｂ２を設定する。このように、エッジ強度に応じて第２のフィルタ強度Ｂ２を細かく制御することにより、エッジ部分全体に均一なフィルタ強度を設定する場合と比較して、二次元ローパスフィルタ１１のフィルタ強度を滑らかに切り替えることができる。その結果、画像が不自然になることを回避することが可能となる。

【0090】

また、上記実施の形態に係る画像処理装置１によれば、周波数解析部１９は、エッジ検出部１４による検出結果に基づいて、エッジの画面周波数を解析し、範囲設定部１８は、周波数解析部１９による解析結果に基づいて、二次元ローパスフィルタ１１のフィルタ強度の許容設定範囲を画像毎に設定する。そして、フィルタ強度設定部１２は、エッジ強度算出部１３によって算出されたエッジ強度に基づいて、二次元ローパスフィルタ１１のフィルタ強度を、範囲設定部１８によって設定された許容設定範囲内で画素毎に設定する。これにより、二次元ローパスフィルタ１１のフィルタ強度の許容設定範囲を、エッジの画面周波数に応じて画像毎に適応的に切り替えることが可能となる。

【0091】

また、上記実施の形態に係る画像処理装置１によれば、エッジの画面周波数が比較的低い周波数領域に集中する画像（平坦部分を多く含む画像）に関しては、フィルタ強度が比較的高い範囲内で分布するように許容設定範囲を設定することにより、平坦部分のノイズを効果的に除去することができる。また、エッジの画面周波数が比較的高い周波数領域に集中する画像（中〜高周波のエッジを多く含む画像）に関しては、フィルタ強度が比較的低い範囲内で分布するように許容設定範囲を設定することにより、エッジが平滑化されることを回避できる。その結果、ノイズ除去処理において、エッジが平滑化されることを回避しつつ、平坦部分のノイズを効果的に除去することが可能となる。

【0092】

また、上記実施の形態に係る画像処理装置１によれば、変動量算出部２４は、時系列で連続する複数の画像に基づいて、画像の変動量を算出する。また、強調強度設定部２１は、エッジ強度算出部２２によって算出されたエッジ強度と、変動量算出部２４によって算出された変動量とに基づいて、エッジ強調フィルタ２０のエッジ強調強度を画素毎に設定する。これにより、エッジ強調フィルタ２０の強調強度を、各画素のエッジ強度と画像の変動量とに応じて画素毎に適応的に切り替えることが可能となる。

【0093】

また、上記実施の形態に係る画像処理装置１によれば、図５に示したように、画像の平坦部分に属する画素に関しては、比較的低い第１の強調強度Ｄ１を設定することにより、平坦部分のノイズが強調されることを回避できる。また、画像のエッジ部分に属する画素に関しては、比較的高い第２の強調強度Ｄ２を設定することにより、エッジを強調することができる。その結果、エッジ強調処理において、ノイズが強調されることを回避しつつ、エッジを強調することが可能となる。

【0094】

また、上記実施の形態に係る画像処理装置１によれば、図６に示したように、強調強度設定部２１は、エッジ部分に近接する平坦部分に属する画素に関しては、エッジ強度が高いほど強調強度が高くなるように、エッジ強度に応じて第１の強調強度Ｄ１を設定する。このように、エッジ部分と平坦部分との境界部分に関してはエッジ強度に応じて第１の強調強度Ｄ１を細かく制御することにより、平坦部分全体に均一な強調強度を設定する場合と比較して、エッジ強調フィルタ２０の強調強度を滑らかに切り替えることができる。その結果、エッジ部分と平坦部分との境界部分において画像が不自然になることを回避することが可能となる。

【0095】

また、上記実施の形態に係る画像処理装置１によれば、図５に示したように、エッジ部分に属する画素に強調強度を設定するにあたり、画像の変動量が所定値以上である画像（動きの大きい画像）に関しては、画像の変動量が所定値未満である画像（動きの小さい画像）よりも高い第３の強調強度Ｄ３を設定することにより、動きに伴うエッジの不鮮明化を回避することが可能となる。

【0096】

また、上記実施の形態に係る画像処理装置１によれば、図５に示したように、光源の反射部分等の画像の特異部分に属する画素に関しては、第２の強調強度Ｄ２よりも高い第４の強調強度Ｄ４を設定することにより、特異部分を強調することができる。その結果、特異部分を鮮明化することが可能となる。

【0097】

また、上記実施の形態に係る画像処理装置１によれば、図５に示したように、特異部分に属する画素に強調強度を設定するにあたり、画像の変動量が所定値以上である画像（動きの大きい画像）に関しては、画像の変動量が所定値未満である画像（動きの小さい画像）よりも高い第５の強調強度Ｄ５を設定することにより、動きに伴う特異部分の不鮮明化を回避することが可能となる。

【0098】

また、上記第１の変形例に係る画像処理装置によれば、エッジ強調フィルタ２０の前段に二次元ハイパスフィルタ２７を接続することにより、低周波のノイズがエッジ強調フィルタ２０によって強調されることを回避できる。また、フィルタ強度設定部２８（第２のフィルタ強度設定部）は、エッジの画面周波数に基づいて、二次元ハイパスフィルタ２７のフィルタ強度を画像毎に設定する。これにより、二次元ハイパスフィルタ２７のフィルタ強度を、エッジの画面周波数に応じて画像毎に適応的に切り替えることが可能となる。

【0099】

また、上記第１の変形例に係る画像処理装置１によれば、エッジの画面周波数が比較的低い周波数領域に集中する画像（低周波のエッジを多く含む画像）に関しては、カットオフ周波数が比較的低くなるようにフィルタ強度を設定することにより、低周波のエッジは二次元ハイパスフィルタ２７を通過するため、低周波のエッジをエッジ強調フィルタ２０によって強調することができる。また、エッジの画面周波数が比較的高い周波数領域に集中する画像（中〜高周波のエッジを多く含む画像）に関しては、カットオフ周波数が比較的高くなるようにフィルタ強度を設定することにより、低周波のノイズは二次元ハイパスフィルタ２７によって遮断されるため、低周波のノイズがエッジ強調フィルタ２０によって強調されることを回避できる。また、中〜高周波のエッジは二次元ハイパスフィルタ２７を通過するため、中〜高周波のエッジをエッジ強調フィルタ２０によって強調することができる。

【0100】

また、上記実施の形態に係る画像処理装置１によれば、ノイズ除去処理部２は、色データで構成される画像（例えばＢａｙｅｒ領域の画像）を処理し、エッジ強調処理部４は、輝度データ及び色差データで構成される画像（例えばＹＵＶ領域の画像）を処理する。このように、ノイズ除去処理を、色空間変換前のＢａｙｅｒ領域の画像に対して実行することにより、早期の段階で効果的にノイズを除去でき、その結果、色空間変換時にノイズが拡散することを防止することが可能となる。

【符号の説明】

【0101】

１ 画像処理装置
２ ノイズ除去処理部
３ 色空間変換部
４ エッジ強調処理部
１１ 二次元ローパスフィルタ
１２ フィルタ強度設定部
１３ エッジ強度算出部
１４ エッジ検出部
１８ 範囲設定部
１９ 周波数解析部
２０ エッジ強調フィルタ
２１ 強調強度設定部
２２ エッジ強度算出部
２３ エッジ検出部
２４ 変動量算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】