特許 6645099 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6645099

(24)【登録日】2020年1月14日

(45)【発行日】2020年2月12日

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   H04N 9/04 20060101AFI20200130BHJP

   H04N 9/78 20060101ALI20200130BHJP

   G06T 1/00 20060101ALI20200130BHJP

   H04N 1/46 20060101ALI20200130BHJP

   H04N 1/48 20060101ALI20200130BHJP

【ＦＩ】

   H04N9/04 B

   H04N9/78 Z

   G06T1/00 510

   H04N1/46

   H04N1/48

【請求項の数】14

【全頁数】13

(21)【出願番号】特願2015-193340(P2015-193340)

(22)【出願日】2015年9月30日

(65)【公開番号】特開2017-69768(P2017-69768A)

(43)【公開日】2017年4月6日

【審査請求日】2018年9月4日

(73)【特許権者】

【識別番号】311015207

【氏名又は名称】リコーイメージング株式会社

(74)【代理人】

【識別番号】100090169

【弁理士】

【氏名又は名称】松浦 孝

(74)【代理人】

【識別番号】100124497

【弁理士】

【氏名又は名称】小倉 洋樹

(72)【発明者】

【氏名】板垣 秀星

【審査官】 大室 秀明

(56)【参考文献】

【文献】 特開２００９−１２４５９８（ＪＰ，Ａ）

【文献】 特開２００１−２４５３０７（ＪＰ，Ａ）

【文献】 特開２０１２−００５０１１（ＪＰ，Ａ）

【文献】 特開２００６−１２１１３８（ＪＰ，Ａ）

【文献】 特開２００５−１０９６２１（ＪＰ，Ａ）

【文献】 特開２０１１−０４１０９４（ＪＰ，Ａ）

【文献】 特開２０１０−００４４６４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００−１／４０

Ｇ０６Ｔ ３／００−５／５０

Ｇ０６Ｔ ９／００−９／４０

Ｈ０４Ｎ １／４０−１／４０９

Ｈ０４Ｎ １／４６−１／６２

Ｈ０４Ｎ ９／０４−９／１１

Ｈ０４Ｎ ９／４４−９／７８

(57)【特許請求の範囲】

【請求項1】

撮影画像もしくはそれに応じた画像から、フリンジ色に応じた画素の色情報を含むフリンジ情報を取得するフリンジ情報取得部と、
前記フリンジ色に応じた画素の色情報に基づいて、フリンジ補正の強度を調整する、もしくはフリンジ補正の実行／非実行を判断するフリンジ解析部とを備え、
前記フリンジ情報取得部が、撮影画像もしくはそれに応じた画像の中でフリンジ色に応じた画素の割合を、前記フリンジ色に応じた画素の色情報として取得することを特徴とする画像処理装置。

【請求項2】

前記フリンジ情報取得部が、撮影画像もしくはそれに応じた画像から、輝度情報を取得し、
前記フリンジ解析部が、輝度情報に基づいてフリンジ補正の強度を調整する、もしくはフリンジ補正の実行／非実行を判断することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記フリンジ情報取得部が、撮影画像記録時の被写体距離、撮影倍率、レンズ繰り出し量の少なくともいずれか１つを含む撮影情報を取得し、
前記フリンジ解析部が、撮影情報に基づいて、フリンジ補正の強度を調整する、もしくはフリンジ補正の実行／非実行を判断することを特徴とする請求項１乃至２のいずれかに記載の画像処理装置。

【請求項4】

前記フリンジ情報取得部が、色ヒストグラムを抽出し、色ヒストグラムから求められるフリンジ色の画素の割合に応じて、フリンジ補正の強度を調整する、もしくはフリンジ補正の実行／非実行を判断することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。

【請求項5】

前記フリンジ情報取得部が、色ヒストグラムに対し、フリンジ色域に応じて重み付けを行ない、重み付け後にフリンジ相応の画素の割合を算出することを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記フリンジ情報取得部が、フリンジ色域が色座標の軸と重なるように、色ヒストグラムの色相を所定角度だけ回転させることを特徴とする請求項４乃至５のいずれかに記載の画像処理装置。

【請求項7】

前記フリンジ情報取得部が、撮影画像を解像度変換した縮小画像から、フリンジ情報を取得することを特徴とする請求項１乃至６のいずれかに記載の画像処理装置。

【請求項8】

前記フリンジ解析部が、フリンジ補正の強度もしくはフリンジ補正の実行／非実行に関するデータを、撮影画像と関連付けてメモリに保存することを特徴とする請求項１乃至７のいずれかに記載の画像処理装置。

【請求項9】

設定されたフリンジ補正の強度に基づいて、フリンジ補正を実行するフリンジ補正部をさらに備え、
前記フリンジ補正部は、フリンジ補正非実行の判断に応じて、フリンジ補正を実行しないことを特徴とする請求項１乃至８のいずれかに記載の画像処理装置。

【請求項10】

請求項１乃至９のいずれかに記載された画像処理装置を備えた撮像装置であって、
前記フリンジ解析部が、撮影動作開始から撮影画像記録終了までの間に、フリンジ補正の強度を調整する、もしくはフリンジ補正の実行／非実行を判断することを特徴とする撮像装置。

【請求項11】

前記フリンジ情報取得部が、撮影レンズの色収差情報に基づいて、色情報を検出することを特徴とする請求項１０に記載の撮像装置。

【請求項12】

前記撮像装置に接続される外部機器に対し、撮影画像とフリンジ補正の強度もしくはフリンジ補正の実行／非実行に関するデータを送信することを特徴とする請求項１０乃至１１のいずれかに記載の撮像装置。

【請求項13】

撮影画像もしくはそれに応じた画像の画素情報から、フリンジ色に応じた画素の色情報を含むフリンジ情報を取得し、
前記フリンジ色に応じた画素の色情報に基づいて、フリンジ補正の強度を調整する、もしくはフリンジ補正の実行／非実行を判断する方法であって、
撮影画像もしくはそれに応じた画像の中でフリンジ色に応じた画素の割合を、前記フリンジ色に応じた画素の色情報として取得することを特徴とする画像処理方法。

【請求項14】

撮像装置を、
撮影画像もしくはそれに応じた画像の画素情報から、フリンジ色に応じた画素の色情報を含むフリンジ情報を取得するフリンジ情報取得手段と、
前記フリンジ色に応じた画素の色情報に基づいて、フリンジ補正の強度を調整する、もしくはフリンジ補正の実行／非実行を判断するフリンジ解析手段として機能させるプログラムであって、
撮影画像もしくはそれに応じた画像の中でフリンジ色に応じた画素の割合を、前記フリンジ色に応じた画素の色情報として取得するように、前記フリンジ解析手段として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影画像に対する画像処理に関し、特に、レンズの色収差に起因する色にじみ（フリンジ）の検出に関する。

【背景技術】

【0002】

デジタルカメラなどでは、レンズの色収差によって撮影画像の高輝度部分周囲にフリンジと呼ばれる色にじみ、偽色が生じる。この色にじみを除去するため、色情報および輝度情報に基づいてフリンジ部分を検出／抽出し、補正する。

【0003】

例えば、注目画素について、偽色の可能性を示す偽色度合を高輝度画素（白とび）までの距離、彩度の大きさ、特定色相への近さなどを考慮しながら算出し、注目画素近傍領域の画素値から補間値を求め、偽色度合の値に応じて元の画素値と補間値との寄与率を偏光して、フリンジ補正値を算出する（特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００６−１１５０３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

注目画素に隣接する周辺画素だけを参照しても、フリンジと同色部分を誤ってフリンジ部分として特定してしまうこともあり、また、フリンジ補正することでその補正部分がかえって目立ち、画質向上につながらない場合もある。

【0006】

したがって、フリンジ補正前に画像を解析し、適正な処理対応することが求められる。

【課題を解決するための手段】

【0007】

本発明の画像処理装置は、撮像装置などに適用可能であり、撮影画像もしくはそれに応じた画像の画素情報から、フリンジ色に応じた画素の色情報を含むフリンジ情報を取得するフリンジ情報取得部と、色情報に基づいて、フリンジ補正の強度（度合）を調整する、もしくはフリンジ補正の実行または非実行（以下、実行／非実行と記す）を判断するフリンジ解析部とを備える。求められたフリンジ補正の強度に基づいてフリンジ補正を実行し、あるいは、フリンジ補正非実行の判断に応じて、フリンジ補正を実行しないフリンジ補正部をさらに備えてもよい。

【0008】

ここで、「撮影画像もしくはそれに応じた画像」とは、撮影画像もしくはフリンジ解析に影響しない同様な構図の画像を示す。例えば、フリンジ情報取得部は、サムネイル画像など撮影画像を解像度変換した縮小画像から、フリンジ情報を取得することが可能である。

【0009】

本発明では、フリンジ補正処理の実行前にフリンジ解析が実行されることで、フリンジ補正時の誤検出を防ぎ、また、適切でないフリンジ補正が画質に影響を与えることを抑えることができる。

【0010】

フリンジ情報取得部は、撮影画像もしくはそれに応じた画像から、輝度情報を取得することが可能である。フリンジ解析部は、輝度情報に基づいてフリンジ補正の強度を調整する、もしくはフリンジ補正の実行／非実行を判断すればよい。

【0011】

また、フリンジ情報取得部は、撮影画像記録時の被写体距離、撮影倍率、レンズ繰り出し量の少なくともいずれか１つを含む撮影情報を取得することが可能である。フリンジ解析部は、撮影情報に基づいて、フリンジ補正の強度を調整する、もしくはフリンジ補正の実行／非実行を判断すればよい。

【0012】

フリンジ情報取得部が、例えば、色ヒストグラムを抽出し、色ヒストグラムから求められるフリンジ色の画素の割合に応じて、フリンジ補正の強度を調整する、もしくはフリンジ補正の実行／非実行を判断することができる。

【0013】

このとき、フリンジ情報取得部は、色ヒストグラムに対し、フリンジ色域に応じて重み付けを行ない、重みづけ後にフリンジ相応の画素の割合を算出することも可能である。また、フリンジ情報取得部は、フリンジ色域が色座標の軸と重なるように、色ヒストグラムの色相を所定角度だけ回転させてもよい。

【0014】

フリンジ解析部は、フリンジ補正の強度もしくはフリンジ補正の実行／非実行に関するデータを、撮影画像と関連付けてメモリに保存することが可能である。

【0015】

上記画像処理装置を備えた撮像装置においては、フリンジ解析部が、撮影動作開始から撮影画像記録終了までの間に、フリンジ補正の強度を調整する、もしくはフリンジ補正の実行／非実行を判断することができる。また、フリンジ情報取得部は、撮影レンズの色収差情報に基づいて、色差変更などによって色情報を検出してもよい。さらに、撮像装置に接続される外部機器に対し、撮影画像とフリンジ補正の強度もしくはフリンジ補正の実行／非実行に関するデータを送信することも可能である。

【0016】

本発明の画像処理方法は、撮影画像もしくはそれに応じた画像の画素情報から、フリンジ色に応じた画素の色情報を含むフリンジ情報を取得し、色情報に基づいて、フリンジ補正の強度を調整する、もしくはフリンジ補正の実行／非実行を判断する。

【0017】

本発明のプログラムは、撮像装置を、撮影画像もしくはそれに応じた画像の画素情報から、フリンジ色に応じた画素の色情報を含むフリンジ情報を取得するフリンジ情報取得手段と、色情報に基づいて、フリンジ補正の強度を調整する、もしくはフリンジ補正の実行／非実行を判断するフリンジ解析手段として機能させる。

【発明の効果】

【0018】

本発明によれば、撮影画像に対し、適切なフリンジ補正を施すことができる。

【図面の簡単な説明】

【0019】

【図1】本実施形態であるデジタルカメラのブロック図である。

【図2】画像信号処理回路において実行されるフリンジ補正係数の設定、およびフリンジ補正の実行／非実行を決定するフローチャートを示した図である。

【図3】入力画像（サムネイル画像）の色相を色差座標に対し画素ごとにプロットした図である。

【図4】色差座標空間の各色相のエリアを示した図である。

【図5】色相を回転させた図である。

【図6】色相回転後のサムネイル画像の色相画素分布を示した図である。

【図7】図６の画素分布に基づいて得られる色差ヒストグラム（色ヒストグラム）を示した図である。

【図8】フリンジ色域を強調する為にルックアップテーブル（ＬＵＴ）を示した図である。

【図9】フリンジ色域のエリアが大きい撮影画像の一例を示した図である。

【図10】近距離撮影を行った時の撮影画像の一例を示した図である。

【発明を実施するための形態】

【0020】

以下では、図面を参照して本実施形態であるデジタルカメラについて説明する。

【0021】

図１は、本実施形態であるデジタルカメラのブロック図である。

【0022】

デジタルカメラ１０は、ここではミラーレス型カメラとして構成されており、撮影光学系１２を収納する鏡筒１１がデジタルカメラ１０の本体に着脱自在に装着されている。レリーズボタン、十字ボタン、モードダイヤル（いずれも図示せず）などに対する操作に従い、撮影動作、記録画像の再生、ユーザによるモード設定などが行われる。カメラ１０には、パーソナルコンピュータ（ＰＣ）７０が接続可能である。

【0023】

ＣＰＵを含むコントローラ３０は、露出制御部３２、画像信号処理回路４０などに制御信号を出力し、レリーズスイッチ３７によって検出されるレリーズ操作に従って露出制御、撮影／記録動作を行うなど、カメラ全体の動作制御を行う。カメラ動作制御のプログラムは、不揮発性メモリ１８に記憶されている。

【0024】

被写体からの光が撮影光学系１２を通ることにより、被写体像がイメージセンサ１４に形成される。イメージセンサ１４は、ＣＣＤ、ＣＭＯＳなどによって構成されており、カラーフィルタアレイ１４Ａがイメージセンサ１４の受光面上に対向配置されている。カラーフィルタアレイ１４Ａでは、Ｒ，Ｇ，Ｂのカラーエレメントを市松状にあるいはベイヤー配列させている。

【0025】

撮影モードでは、スルー画像をＬＣＤモニタ６０に表示するため、画素信号が所定のフレームレートでイメージセンサ１４から読み出される。読み出されたＲ，Ｇ，Ｂの画素信号は、ＡＦＥ回路１６を経由して画像信号処理回路４０に送られる。

【0026】

ＤＳＰ、ＦＰＧＡなどプログラマブルな回路で構成される画像信号処理回路４０では、ゲイン処理、色変換処理、ホワイトバランス調整などが、Ｒ，Ｇ，Ｂ画素信号に対して施される。これにより、Ｒ，Ｇ，Ｂカラー画像信号が生成される。これらの画像処理は、ＲＯＭ４１にあらかじめ格納されたプログラムに基づいて構成された処理回路によって行われる。ＬＣＤドライバ（図示せず）がカラー画像信号に基づいてＬＣＤモニタ６０を駆動することにより、スルー画像がＬＣＤモニタ６０に表示される。

【0027】

レリーズボタンが半押しされると、イメージセンサ１４から読み出される画素信号に基づいて、コントラスト式ＡＦ処理が実行される。コントラスト式ＡＦ処理による合焦動作とともに、イメージセンサ１４から読み出される画素信号に基づいて被写体像の明るさが検出され、露出値が演算される。

【0028】

さらにレリーズボタンが全押しされると、露出制御部３２は、図示しないシャッタ、絞り等を駆動することによって露出制御する。これにより、１フレーム分の画素信号がイメージセンサ１４から読み出される。画像信号処理回路４０は、読み出された１フレーム分の画素信号に基づいて静止画像データを生成し、圧縮／非圧縮した状態で画像データをメモリカード４６に記録する。

【0029】

また、静止画像データを記録する際、解像度変換した表示用のサムネイル画像（縮小画像）が生成され、静止画像データと関連付けてメモリカード４６に記録される。再生モードが設定されると、メモリカード４６に記録された画像がＬＣＤモニタ６０に表示される。

【0030】

機能などをユーザが変更するための機能設定モードでは、色収差補正機能をＯＮ／ＯＦＦ設定することが可能である。色収差補正モードＯＮ状態の場合、画像信号処理回路４０において、撮影画像に生じる色にじみ、偽色（以下、フリンジという）を抑制する画像処理が実行される。

【0031】

具体的には、メモリカード４６に記録されたサムネイル画像に対し、Ｒ，Ｇ，Ｂの画像信号が輝度、色差信号Ｙ、Ｃｂ、Ｃｒに変換され、フリンジ補正前のデータ解析が撮影画像全体の画像情報に基づいて実行される。解析に基づき、フリンジ補正強度（程度）を定める補正係数が設定される。サムネイル画像は、再生表示するときに一覧表示するため、撮影画像を解像度変換（ダウンサンプリング）して作成される縮小画像であり、撮影画像とともにメモリカード４６に記録されている。また、データ解析のとき、撮影画像とともに付随して記録される撮影記録時の被写体距離（焦点距離）情報が利用される。

【0032】

データ解析後、メモリカード４６に記録された撮影画像に対し、フリンジ補正処理が実行される。具体的には、Ｒ，Ｇ，Ｂの画像信号から、色差信号Ｃｂ、Ｃｒから構成される画像（以下、ＣｂＣｒ画像とする）と、輝度信号から構成される画像（以下、Ｙ画像とする）とが生成され、それらの画像から撮影画像中におけるフリンジ領域が検出される。そして、フリンジ領域の色にじみを抑制する補正処理を施す。このとき、定められたフリンジ補正係数によってフリンジ補正の程度が調整される。また、フリンジ補正前のデータ解析によってフリンジ補正を実行しないと決定された場合、フリンジ補正を行わない。

【0033】

鏡筒１１内に設けられた不揮発性のレンズメモリ１５には、撮影光学系１２のレンズ特性に関するデータが格納されており、レンズ色収差に関するデータも含まれている。コントローラ３０は、レンズデータをレンズメモリ１５から読み出して不揮発性メモリ１８に格納する。画像信号処理回路４０は、レンズ色収差データを利用してフリンジ領域を検出する。なお、不揮発性メモリ１８にレンズ色収差データをあらかじめ記憶させるようにしてもよく、また、デジタルカメラ１０とは別に用意されたソフトウェアなどを用いて、レンズ色収差データを不揮発性メモリ１８に記憶させるようにしてもよい。さらに、レンズデータを画像とともに記憶してもよい。

【0034】

ユーザはフリンジ解析モードを設定することが可能であり、このモードが設定された状態で撮影動作が行われると、撮影画像およびサムネイル画像の記録とともに上述した画像解析処理、すなわちサムネイル画像に基づいた補正係数の設定あるいはフリンジ補正の実行／非実行の判断が実行される。

【0035】

解析結果のデータ（以下、フリンジ解析データという）は、撮影画像データと関連付けてメモリカード４６に記録される。ユーザによってデータ送信の操作が行われると、一連の撮影画像データが、フリンジ解析データとともに接続されたＰＣ７０に送信される。

【0036】

ＰＣ７０では、カメラ１０から送られてくる撮影画像データに基づいて印刷処理が可能であり、送られる一連の撮影画像のデータを、図示しないプリンタを用いて一括印刷することができる。このとき、ＰＣ７０においてフリンジ補正機能を実行させることにより、撮影画像データに付随して送信された各撮影画像のフリンジ解析データに基づいてフリンジ補正処理を行う。

【0037】

以下、図２〜図１０を用いて、フリンジ補正を行う前のフリンジ解析について説明する。

【0038】

図２は、画像信号処理回路において実行されるフリンジ補正係数の設定、およびフリンジ補正の実行／非実行を決定するフローチャートを示した図である。図３は、入力画像（サムネイル画像）の色相を色差座標に対し画素ごとにプロットした図である。図４は、色差座標空間の各色相のエリアを示した図である。図５は、色相を回転させた図である。図６は、色相回転後のサムネイル画像の色相画素分布を示した図である。

【0039】

サムネイル画像が入力されると、サムネイル画像のＹ画像およびＣｂＣｒ画像（以下、サムネイルＹ画像、サムネイルＣｂＣｒ画像という）が生成される（Ｓ１）。そして、ＣｖＣｒ画像全体の中でフリンジ色域に属する画素を抽出、特定するための処理が実行される。サムネイル画像は撮影画像に対して解像度変換した画像であるため、フリンジ解析には撮影画像を利用するのと変わりなく、撮影画像を使用するのに比べて処理時間が短くなる。

【0040】

図３では、サムネイルＣｂＣｒ画像の色相が、ａ軸、ｂ軸座標において画素ごとにプロットされている。原点が彩度０であり、原点から離れるほど彩度が高い。色の色相関係は、図４に示すような関係にある。図３に示す画素分布状態からわかるように、サムネイルＣｂＣｒ画像において、桃色エリアと水色エリアに分布する画素がここでは比較的多い。また、楕円で示したエリアＥは、フリンジが発生しやすい色域となる。

【0041】

このような色相空間に対し、色相を所定角度回転させることによって、フリンジの色域と座標軸ａ軸、ｂ軸の一方の軸とを重ね合わせる（Ｓ２）。ここでは、図５に示すように色相を−４５°回転させることで、楕円エリアの色域ＥがＥ’に移ってａ軸上に重なる。色相を回転させたことにより、サムネイルＣｂＣｒ画像における画素分布は、図６に示すような画素分布状態になる。

【0042】

図７は、図６の画素分布に基づいて得られる色差ヒストグラム（色ヒストグラム）を示した図である。

【0043】

色相回転後、ａ軸に沿った色差ヒストグラム処理が実行される（Ｓ３）。これにより、図７に示すような色差ヒストグラムのデータが色情報として取得される。色差ヒストグラムデータは、ａ軸に沿って段階的に色合いを変化させたときに対応する色域の画素の頻度分布を示す。このような色差ヒストグラムにより、フリンジ色域の画素がどの程度存在するか否かが判断することができる。なお、レンズデータに含まれる色収差に基づき、色差変更を行ってもよい。

【0044】

色差ヒストグラムが取得されると、サムネイルＹ画像から輝度情報が取得される（Ｓ４）。具体的には、サムネイルＹ画像における飽和画素（高輝度部分の画素）が輝度情報として検出される。さらに、撮影時の被写体距離情報が取得される（Ｓ５）。被写体距離情報は、撮影時にＥｘｉｆなどのメタ情報として撮影画像と関連付けてメモリカード４６に記憶されている。なお、被写体距離の代わりに、ＡＦ処理時のレンズ繰り出し量、レンズ倍率を取得してもよい。

【0045】

色差ヒストグラムデータ（色情報）、飽和画素（輝度情報）、被写体距離情報が取得されると、フリンジ補正係数が設定される（Ｓ６）。ここでは、色情報、輝度情報、被写体距離情報を総合的に勘案してフリンジ補正係数が設定される。

【0046】

図８は、フリンジ色域を強調する為にルックアップテーブル（ＬＵＴ）を示した図である。ＬＵＴは、色相の変化を段階（ここでは２５６段階）ごとに分けてフリンジ領域を強調する重み付け係数の分布を表す。図８に示すように、中間付近の色相エリアに属する画素に対して大きなゲインを乗じ、フリンジ領域以外の部分についてはゼロの値になっている。このようなＬＵＴによって、フリンジ領域もしくはその付近にある画素のみを強調する。

【0047】

ステップＳ６では、ステップＳ３で求められた色差ヒストグラムに対してＬＵＴを乗じ、ＬＵＴを乗じた後のヒストグラムの総和を算出する（以下では、算出された値をフリンジ総和量という）。撮影画像の中でフリンジと判断される色域の画素の割合が多いほど、フリンジ総和量が大きくなる。

【0048】

図９は、フリンジ色域のエリアが大きい撮影画像の一例を示した図である。

【0049】

風景写真である撮影画像ＩＭでは、空色の領域ＳＡが画像の半分以上を占めている。ここでは、太陽のエッジ付近ＴＭにおいて輝度が飽和することになり、フリンジが発生しやすい。一方、空色領域ＳＡは、フリンジと同色の領域になっている。

【0050】

このような撮影画像ＩＭに基づいて算出されるフリンジ総和量は、空色領域ＳＡの存在によって大きな値となる。特に、ＬＵＴによって図５に示す色域Ｆに対し重み付けがされるため、フリンジ総和量はＬＵＴを乗じない場合に比べて大きくなる。通常、フリンジが発生する領域は撮影画像全体からすればごく僅かなエリアであることを鑑みれば、フリンジ総和量が大きい場合、誤ってフリンジ誤判定するエリアが撮影画像の中で大きな割合になることを示す。なお、ヒストグラムに対して所定の関数で畳み込み積分してフリンジ総和量を求めてもよい。

【0051】

フリンジ総和量が大きい場合、フリンジ補正の強度を弱めてフリンジの誤判定があっても目立たなくするのが好ましい。したがって、補正総和量が所定の閾値を超える場合、補正係数の値（強度）を抑える。ここでは、補正係数の値は２つの大小レベルで用意されており、フリンジ色域に属する画素に対し、フリンジ補正を抑える場合には小さい補正係数の値（＜１）が設定される。一方、フリンジ補正が必要な色情報のである場合、フリンジ補正を抑制しない通常の補正係数値（＝１）が設定される。なお、ＬＵＴを乗じることなく、色ヒストグラムからフリンジ相応の画素の割合を算出することも可能である。また、補正係数の値を３つ以上の段階に分けて設定してもよい。

【0052】

一方、ステップＳ６では、色情報だけでなく、輝度情報および被写体距離情報に基づき、フリンジ補正を実行するか、実行しないかを判断する。一般的に、フリンジは輝度差が激しい部分、特に飽和画素部分に発生する。撮影画像内に飽和画素がない場合、フリンジが発生していない可能性が高い。そこで、ステップＳ４で検出されたサムネイルＹ画像における飽和画素の割合が所定割合に達していない場合、フリンジが発生していないとみなしてフリンジ補正を行わないことを決定する。

【0053】

また、ステップＳ５で検出された被写体距離情報に基づいて、フリンジ補正を実行するか否かを判断する。フリンジ発生量は、被写体距離に関係しない。したがって、図１０に示すように、マクロ撮影によって撮影画像の中でターゲットとなる被写体が大部分を占める場合、被写体に対してフリンジ発生部分ＳＡが相対的に小さくなるため、フリンジが発生しても目立たない。そのため、被写体距離が所定距離よりも短い場合、フリンジ補正を実行しないことを決定する。

【0054】

したがって、ステップＳ６では、色情報に基づいてフリンジ補正係数を２段階で設定した後、輝度情報、被写体距離情報によってフリンジ補正しないと決定されなかった場合、設定したフリンジ補正係数によってフリンジ補正を実行することが決定される。そして、ステップＳ７では、撮影画像に対してフリンジ補正が実行される。フリンジ領域の検出およびフリンジ補正は、注目画素周辺画素との輝度差を利用した方法など従来知られた方法によって実行することが可能である。

【0055】

このとき、ステップＳ６で設定された補正係数を補正対象画像に乗じることによって、フリンジ補正の強度を調整する。また、ステップＳ６においてフリンジ補正を実行しないことが決定された場合、対象となる撮影画像に対してフリンジ補正が実行されない。

【0056】

なお、図２に示すフリンジ補正処理は、フリンジ補正機能がＯＮ状態に設定されたときの処理であるが、上述したフリンジ解析モードが設定されて撮影が行われた場合、撮影動作が開始されてから撮影画像が記録されるまでの間に、ステップＳ１〜６が実行されるとともに、フリンジ補正係数あるいはフリンジ補正／非実行に関するデータが、フリンジ補正されていない撮影画像と関連付けてメモリカード４６に記録、保存される。そして、カメラ１０と接続されるＰＣ７０に対し、撮影画像および上記データが送信される。これらの処理は、コントローラ３０によって実行される。

【0057】

このように本実施形態によれば、フリンジ補正を実行する前にフリンジ解析を行い、色情報として色差ヒストグラムを取得し、輝度情報として飽和画素を検出し、被写体距離を取得する色差ヒストグラムからフリンジ色域の画素の割合に応じて、フリンジ補正時の補正係数を設定し、フリンジ補正時の補正強度を調整する。また、輝度情報と被写体距離情報に基づいて、フリンジ補正の実行／非実行を判断する。

【0058】

フリンジ補正を実行する前に撮影画像の情報、すなわち撮影画像の各画素情報を検出し、それに基づいた解析によってフリンジ補正を行うため、フリンジ補正が必要な画像に対して適正なフリンジ補正が実行されるとともに、誤ったフリンジ判断がされた画素部分が生じても画質への影響を抑えることができる。特に、フリンジ補正時のように隣接画素周辺だけでなく撮影画像全体の色情報、輝度情報などから解析するため、撮影画像の特徴を適切に把握することができる。

【0059】

また、フリンジ解析モードでは、フリンジ補正されない撮影画像と解析結果に基づく情報がメモリカード４６に関連付けて保存されることにより、ＰＣ７０において一括印刷や画像処理ソフトを用いた自動補正処理などをするとき、その情報に基づいてフリンジ補正処理を自動的に行うことが可能となり、撮影後の印刷時にフリンジ補正の適否について画像毎に検討する必要がない。また、サムネイル画像のような撮影画像と異なる画像を用いてフリンジ解析するため、ＲＡＷデータの撮影画像をそのまま一括して送信し、フリンジ補正させて印刷することも可能である。

【0060】

例えば、フリンジ解析モードでメモリカードに記録された画像は、解析結果データを読み出すことで、フリンジ補正の要否などをＰＣで判断することができるため、多数の画像を扱う場合においても画像処理の高速化が可能となる。また、解析モードで記録されていない画像に対しても、ＰＣにおいて同様の機能を備えていれば、ＰＣで再保存するときにフリンジ解析とそのデータ保存を行うことができる。

【0061】

図２のステップＳ６では、色情報に対してのみ補正係数の調整を行い、輝度情報、被写体距離情報についてはフリンジ補正の実行／非実行の判断材料としているが、輝度情報、被写体距離情報についても、補正係数の調整を行うことが可能である。例えば、飽和画素の割合が所定割合以上、または被写体距離が所定距離より短い場合には、色情報に基づいて設定された補正係数に対して所定の値を乗じたりしてもよい。あるいは、所定の値を加算してもよい。また、色情報に基づいてフリンジ補正の実行／非実行を判断してもよい。さらに、色情報、輝度情報、被写体距離情報のいずれか１つのみに対してフリンジ補正の実行／非実行、あるいはフリンジ補正係数の調整を行ってもよい。

【0062】

本実施形態に示された構成は、デジタルカメラ以外の撮像装置にも適用可能であり、また、ＰＣなどの画像処理装置に対しても適用可能である。

【符号の説明】

【0063】

１０ デジタルカメラ
１４ イメージセンサ
３０ コントローラ（フリンジ解析部）
４０ 画像信号処理回路（画像処理装置、フリンジ情報取得部、フリンジ解析部、フリンジ補正部）
７０ ＰＣ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】