特許 6019587 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6019587

(24)【登録日】2016年10月14日

(45)【発行日】2016年11月2日

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   H04N 9/07 20060101AFI20161020BHJP

   H04N 5/21 20060101ALI20161020BHJP

   H04N 9/04 20060101ALI20161020BHJP

【ＦＩ】

   H04N9/07 C

   H04N5/21 Z

   H04N9/04 B

【請求項の数】5

【全頁数】12

(21)【出願番号】特願2012-3957(P2012-3957)

(22)【出願日】2012年1月12日

(65)【公開番号】特開2013-143727(P2013-143727A)

(43)【公開日】2013年7月22日

【審査請求日】2014年12月24日

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100072718

【弁理士】

【氏名又は名称】古谷 史旺

(74)【代理人】

【識別番号】100116001

【弁理士】

【氏名又は名称】森 俊秀

(72)【発明者】

【氏名】宇津木 暁彦

【審査官】 松永 隆志

(56)【参考文献】

【文献】 特開２００２−２３８０５７（ＪＰ，Ａ）

【文献】 特開２０１０−２８３８８８（ＪＰ，Ａ）

【文献】 特開２０１１−２５４３２１（ＪＰ，Ａ）

【文献】 特開２００４−１５３３７７（ＪＰ，Ａ）

【文献】 特開２０１０−２５８６２０（ＪＰ，Ａ）

【文献】 特開２００８−２５２３９７（ＪＰ，Ａ）

【文献】 特開２００５−３１１９６２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ９／０７

Ｈ０４Ｎ ５／２１

Ｈ０４Ｎ ９／０４

(57)【特許請求の範囲】

【請求項1】

第１画素の画素値と、隣接する画素の色成分の配置が前記第１画素と異なる第２画素の画素値との差分である第１差分値を演算する第１演算部と、
前記第１画素の画素値と、隣接する画素の色成分の配置が前記第１画素と同じである第３画素の画素値との差分である第２差分値を演算する第２演算部と、
前記第１差分値と前記第２差分値との差分である第３差分値を演算する第３演算部と、
前記第１画素の画素値から前記第３差分値を減算する第４演算部と
を備える画像処理装置。

【請求項2】

請求項１に記載の画像処理装置において、
前記第１画素の色成分と前記第２画素の色成分とは同じである画像処理装置。

【請求項3】

請求項２に記載の画像処理装置において、
前記第１画素の色成分と前記第２画素の色成分と前記第１画素に隣接する画素の色成分と前記第２画素に隣接する画素の色成分の配列はベイヤ配列である画像処理装置。

【請求項4】

請求項３に記載の画像処理装置において、
前記第１画素の色成分と前記第２画素の色成分は緑色であり、
前記第１画素と、前記第１画素に隣接する画素のうちの色成分が赤色である画素とは前記ベイヤ配列の同じ行に配列し、
前記第２画素と、前記第２画素に隣接する画素のうちの色成分が青色である画素とは前記ベイヤ配列の同じ行に配列している画像処理装置。

【請求項5】

請求項３に記載の画像処理装置において、
前記第１画素の色成分と前記第２画素の色成分は緑色であり、
前記第１画素と、前記第１画素に隣接する画素のうちの色成分が青色である画素とは前記ベイヤ配列の同じ行に配列し、
前記第２画素と、前記第２画素に隣接する画素のうちの色成分が赤色である画素とは前記ベイヤ配列の同じ行に配列している画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置に関する。

【背景技術】

【0002】

従来、デジタルカメラなどに組み込まれるＣＣＤ（Charge Coupled Device Image Sensor）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子は、受光面に配置される複数の受光素子の前面に、複数色のカラーフィルタがベイヤ配列されたカラーフィルタアレイが設けられている。ところが、ある受光素子に対応するカラーフィルタを透過した入射光が隣接する受光素子に漏れ込む場合があり、撮像された画像にラインクロールが重畳する。

【0003】

そこで、例えば、画像から高周波成分を抽出して、その高周波成分の絶対値と設定された閾値との比較に応じて、画像の輝度信号に含まれる高周波成分を減算することによりラインクロールを除去する技術が開示されている（特許文献１など参照）

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第３６６４６３６号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来技術では、被写体の画像信号が、設定された閾値より小さい場合、ラインクロール信号と判定されて除去されることから、被写体の微細な画像構造が消失してしまう。

【0006】

上記従来技術が有する問題に鑑み、本発明の目的は、被写体の微細な画像構造を消失させることなく、確度高くラインクロールを除去することができる技術を提供することにある。

【課題を解決するための手段】

【0007】

本発明を例示する画像処理装置の一態様は、第１画素の画素値と、隣接する画素の色成分の配置が第１画素と異なる第２画素の画素値との差分である第１差分値を演算する第１演算部と、第１画素の画素値と、隣接する画素の色成分の配置が第１画素と同じである第３画素の画素値との差分である第２差分値を演算する第２演算部と、第１差分値と第２差分値との差分である第３差分値を演算する第３演算部と、第１画素の画素値から第３差分値を減算する第４演算部とを備える。

【0008】

また、第１画素の色成分と第２画素の色成分とは同じであってもよい。

【0009】

また、第１画素の色成分と第２画素の色成分と第１画素に隣接する画素の色成分と第２画素に隣接する画素の色成分の配列はベイヤ配列であってもよい。

【0010】

また、第１画素の色成分と第２画素の色成分は緑色であり、第１画素と、第１画素に隣接する画素のうちの色成分が赤色である画素とはベイヤ配列の同じ行に配列し、第２画素と、第２画素に隣接する画素のうちの色成分が青色である画素とはベイヤ配列の同じ行に配列してもよい。

【0011】

また、第１画素の色成分と第２画素の色成分は緑色であり、第１画素と、第１画素に隣接する画素のうちの色成分が青色である画素とはベイヤ配列の同じ行に配列し、第２画素と、第２画素に隣接する画素のうちの色成分が赤色である画素とはベイヤ配列の同じ行に配列してもよい。

【発明の効果】

【0014】

本発明によれば、被写体の微細な画像構造を消失させることなく、確度高くラインクロールを除去することができる。

【図面の簡単な説明】

【0015】

【図1】本発明の一の実施形態に係るデジタルカメラの構成を示す図

【図2】撮像素子におけるベイヤ配列の一例を示す図

【図3】一の実施形態に係るデジタルカメラの処理動作を示すフローチャート

【図4】図３のステップに応じた処理結果の一例を示す図

【図5】ラインクロール成分が除去された結果の一例を示す図

【図6】本発明の他の実施形態に係るコンピュータの構成を示す図

【図7】他の実施形態に係るコンピュータの処理動作を示すフローチャート

【発明を実施するための形態】

【0016】

《一の実施形態》
図１は、本発明の一の実施形態に係るデジタルカメラの構成を示すブロック図である。

【0017】

本実施形態のデジタルカメラは、撮像光学系１１、撮像素子１２、ＡＦＥ１３、バッファメモリ１４、画像処理部１５、モニタ１６、記憶部１７、ＣＰＵ１８、操作部材２３、記録Ｉ／Ｆ２４、バスから構成される。バッファメモリ１４、画像処理部１５、モニタ１６、記憶部１７、ＣＰＵ１８、記録Ｉ／Ｆ２４は、バスを介して情報伝達可能にそれぞれ接続される。また、操作部材２３はＣＰＵ１８に接続される。

【0018】

撮像光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成されている。撮像光学系１１のレンズ位置は、レンズ駆動部（不図示）によって光軸方向に調整される。なお、簡単のため、図１では撮像光学系１１を１枚のレンズとして図示する。

【0019】

撮像素子１２は、撮像光学系１１を通過した光束によって結像される被写体を撮像するデバイスである。この撮像素子１２の出力はＡＦＥ１３に入力される。なお、本実施形態の撮像素子１２は、順次走査方式の固体撮像素子（ＣＣＤ等）であっても、ＸＹアドレス方式の固体撮像素子（ＣＭＯＳ等）であってもよい。

【0020】

撮像素子１２は、デジタルカメラの撮影モードにおいて、操作部材２３を構成するレリーズ釦の全押し操作に応答して記録画像（本画像）を撮像する。また、撮影モードでの撮像素子１２は、撮影待機時にも所定の時間間隔で構図確認用画像（スルー画像）を撮像する。このスルー画像のデータは、撮像素子１２から間引き読み出しで出力される。なお、スルー画像のデータは、モニタ１６での画像表示や、ＣＰＵ１８による各種演算処理などに使用される。

【0021】

また、撮像素子１２の受光面には、図２に示すように、複数の受光素子がマトリックス状に配列されている。撮像素子１２の各受光素子には、赤色（Ｒ）、緑色（Ｇｒ、Ｇｂ）、青色（Ｂ）のカラーフィルタが公知のベイヤ配列にしたがって配置されている。そのため、撮像素子１２の各受光素子は、カラーフィルタでの色分解によってそれぞれの色に対応する画像信号を出力する。これにより、撮像素子１２は、カラーの画像を取得できる。なお、図２は、撮像素子１２の一部の受光素子およびカラーフィルタの配列を示す。

【0022】

ここで、ラインクロールについて簡単に説明する。例えば、被写体から赤色の光が撮像素子１２の受光面に対して斜めに入射する場合、通常、赤色の光は赤色を透過するＲフィルタが配置された受光素子（以下、Ｒ画素と称す）のみで受光される。しかしながら、Ｒフィルタを透過した光の一部が入射方向に応じて隣接するＧｒまたはＧｂフィルタが配置された受光素子（以下、Ｇｒ画素またはＧｂ画素と称す）に漏れ込んでしまう。その結果、漏れ込みの影響を受けたＧｒ画素またはＧｂ画素は、漏れ込みのないＧｂ画素またはＧｒ画素と異なる画素値を有し、いわゆる水平または垂直走査方向の行や列ごとに特性が異なるラインクロールが重畳する。なお、青色の光が斜めに入射する場合についても同様である。なお、以下において、漏れ込みの影響を受けたＧ画素を第１画素群と称し、漏れ込みのないＧ画素を第２画素群と称すが、その逆であってもよい。

【0023】

ＡＦＥ１３は、撮像素子１２の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１３は、相関二重サンプリング、画像信号のゲインの調整、画像信号のＡ／Ｄ変換を行う。ＡＦＥ１３の出力は、バッファメモリ１４に一時的に記録される。なお、本実施形態では、撮像素子１２とＡＦＥ１３とで撮像部を構成する。また、バッファメモリ１４は、一般的な揮発性の半導体メモリ等を適宜選択して用いることができ、画像処理部１５による画像処理の前工程や後工程での画像データをも一時的に記憶する。

【0024】

画像処理部１５は、バッファメモリ１４に記憶された１フレーム分のデジタル画像信号に対して、各種画像処理（例えば、色補間処理、階調変換処理、ホワイトバランス処理、輪郭強調処理など）を施す。

【0025】

モニタ１６は、液晶モニタなどの表示部であり、ＣＰＵ１８の指示に応じて各種画像を表示する。

【0026】

記憶部１７は、デジタルカメラによって撮像された本画像のデータ、ＣＰＵ１８によって実行される制御プログラムや画像処理プログラムなどを記憶する。なお、記憶部１７には、不揮発性の半導体メモリなどを用いることができる。

【0027】

ＣＰＵ１８は、デジタルカメラの各部を統括的に制御するプロセッサである。ＣＰＵ１８は、制御プログラムおよび画像処理プログラムを実行することにより、スルー画像のデータに基づいて、位相差検出方式やコントラスト検出方式による公知の自動焦点（ＡＦ）制御や、自動露出（ＡＥ）演算などを行う。また、ＣＰＵ１８は、撮像した画像のファイル生成処理やモニタ１６に対する表示処理などを行う。さらに、本実施形態のＣＰＵ１８は、画像処理プログラムの実行により、第１算出部１９、第２算出部２０、補正値取得部２１、除去部２２として動作する。

【0028】

第１算出部１９は、漏れ込みの影響を受けた第１画素群の画素値を補正するために、ラインクロールの除去処理の対象画素の画素値に対し、次式（１）を用いて、対象画素および隣接する第２画素群の画素の画素値から、対象画素の画素値に含まれる第１高周波成分Ｅ１（ｉ，ｊ）を算出する。なお、以下の説明において、第１画素群の画素をＧ１、第２画素群の画素をＧ２と表し、除去対象の対象画素がＧｒの場合にはＧ１＝Ｇｒ、Ｇ２＝Ｇｂとなり、対象画素がＧｂの場合にはＧ１＝Ｇｂ、Ｇ２＝Ｇｒとなる。
Ｅ１（ｉ，ｊ）＝［Ｇ１（ｉ，ｊ）−（Ｇ２（ｉ−１，ｊ−１）＋Ｇ２（ｉ−１，ｊ＋１）＋Ｇ２（ｉ＋１，ｊ−１）＋Ｇ２（ｉ＋１，ｊ＋１））／４］／２ ・・・（１）
第２算出部２０は、次式（２）を用いて、対象画素および近接する第１画素群の画素値から、対象画素の画素値に含まれる第２高周波成分Ｅ２（ｉ，ｊ）を算出する。
Ｅ２（ｉ，ｊ）＝［Ｇ１（ｉ，ｊ）−（Ｇ１（ｉ−２，ｊ−２）＋Ｇ１（ｉ−２，ｊ）＋Ｇ１（ｉ−２，ｊ＋２）＋Ｇ１（ｉ，ｊ−２）＋Ｇ１（ｉ，ｊ＋２）＋Ｇ１（ｉ＋２，ｊ−２）＋Ｇ１（ｉ＋２，ｊ）＋Ｇ１（ｉ＋２，ｊ＋２））／８］／２ ・・・（２）
なお、第２算出部２０により算出される第２高周波成分Ｅ２は、第１画素群のみから求められることから、対象画素の画素位置（ｉ，ｊ）における局所的な画像構造の高周波成分を示す。一方、第１算出部１９により算出される第１高周波成分Ｅ１は、第１画素群および第２画素群から求められることから、対象画素の画素位置（ｉ．ｊ）における局所的な画像構造とともにラインクロール成分を含む高周波成分を示す。

【0029】

補正値取得部２１は、次式（３）を用いて、対象画素における第１高周波成分Ｅ１から第２高周波成分Ｅ２を減算して、０とＥ１（ｉ，ｊ）との間で値をクリップする。これにより、補正値取得部２１は、上述したように被写体の構造成分が除去され、ラインクロール成分Ｌ（ｉ，ｊ）のみを抽出することができる。
Ｌ（ｉ，ｊ）＝ｃｌｉｐ［０，Ｅ１（ｉ，ｊ）］（Ｅ１（ｉ，ｊ）−Ｅ２（ｉ，ｊ）） ・・・（３）
本実施形態では、ラインクロール成分Ｌ（ｉ，ｊ）を対象画素Ｇ１（ｉ，ｊ）におけるラインクロールの補正値とする。

【0030】

除去部２２は、対象画素Ｇ１（ｉ，ｊ）の画素値からラインクロール成分Ｌ（ｉ，ｊ）を減算することにより、ラインクロールを除去する。

【0031】

操作部材２３は、例えば、レリーズ釦、コマンドダイヤル、十字状のカーソルキー、決定釦などで構成される。そして、操作部材２３はデジタルカメラの各種入力をユーザから受け付ける。例えば、操作部材２３は、撮像操作、デジタルカメラの動作モードの切替操作や、設定画面での入力操作などに用いられる。

【0032】

記録Ｉ／Ｆ２４には、記憶媒体２５を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ２４は、コネクタに接続された記憶媒体２５に対してデータの書き込み／読み込みを実行する。上記記憶媒体２５は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体２５の一例としてメモリカードを示す。

【0033】

次に、図３のフローチャートおよび各ステップの処理結果を示す図４を参照しつつ、本実施形態のデジタルカメラによる処理動作について説明する。図４（ａ）〜（ｄ）は、画像のうち隣接する２つの水平走査線上にあるＧｒ画素とＧｂ画素との画素値の一部を、水平走査方向の横軸に並べたものであり、処理前のＧ画素の画素値の分布、第１高周波成分Ｅ１の分布、第２高周波成分Ｅ２の分布、ラインクロール成分Ｌの分布をそれぞれ示す。例えば、図４（ａ）において、画素値の波状分布はラインクロールの影響を示し、大きな画素値の段差は被写体のエッジ構造を示す。

【0034】

なお、以下において、本実施形態のデジタルカメラは、撮像モードとして、被写体を単写して静止画像のＲＡＷ画像を取得する場合ついて説明するが、連写および動画などの撮像モードの場合についても同様に動作し詳細な説明は省略する。

【0035】

ＣＰＵ１８は、ユーザによる操作部材２３の電源釦操作により、電源投入指示を受け付け、デジタルカメラの電源を投入する。ＣＰＵ１８は、記憶部１７より制御プログラムおよび画像処理プログラムを読み込んで実行し、デジタルカメラを初期化する。ＣＰＵ１８は、ユーザからの被写体の撮像指示が出されるまで待機する。

【0036】

ステップＳ１０１：ＣＰＵ１８は、ユーザによる操作部材２３のレリーズ釦の全押し操作を受け付けたか否かを判定する。ＣＰＵ１８は、操作部材２３のレリーズ釦の全押し操作を受け付けた場合、撮像指示が出されたと判断して、タイミングジェネレータ（不図示）に対して撮像指令を出す。タイミングジェネレータ（不図示）は、タイミングパルスを撮像素子１２に出力し、撮像素子１２は撮像光学系１１によって結像された被写体を撮像する。ＣＰＵ１８は、撮像されたＲＡＷ画像データを、ＡＦＥ１３によってデジタルのデータに変換し、バッファメモリ１４に一時的に記録する。ＣＰＵ１８は、ステップＳ１０２へ移行する。

【0037】

一方、ＣＰＵ１８は、全押し操作を受け付けていない場合、全押し操作を受け付けるまで待機する。

【0038】

ステップＳ１０２：ＣＰＵ１８の第１算出部１９は、バッファメモリ１４からＲＡＷ画像データを読み込み、式（１）に基づいて、対象画素における画素値の第１高周波成分Ｅ１（ｉ，ｊ）を算出する（図４（ｂ））。

【0039】

ステップＳ１０３：ＣＰＵ１８の第２算出部２０は、式（２）に基づいて、ＲＡＷ画像データの対象画素における画素値の第２高周波成分Ｅ２（ｉ，ｊ）を算出する。図４（ｃ）に示すように、図４（ｂ）と比較して、被写体の画像構造に対応する画素以外の画素の第２高周波成分Ｅ２は０となることから、第２高周波成分Ｅ２は画像構造を反映した成分であることが分かる。

【0040】

ステップＳ１０４：ＣＰＵ１８の補正値取得部２１は、式（３）に基づいて、第１高周波成分Ｅ１から第２高周波成分Ｅ２を減算することにより、ラインクロール成分Ｌ（ｉ，ｊ）を算出しラインクロールの補正値とする。図４（ｄ）に示すように、上記減算により、被写体の画像構造が除去され、ラインクロール成分Ｌ（ｉ，ｊ）のみが抽出される。

【0041】

ステップＳ１０５：ＣＰＵ１８は、全てのＧｒおよびＧｂ画素について、ラインクロール成分Ｌ（ｉ，ｊ）を取得したか否かを判定する。ＣＰＵ１８は、全てのＧｒおよびＧｂ画素について取得した場合、ステップＳ１０６（ＹＥＳ側）へ移行する。一方、ＣＰＵ１８は、全てのＧｒおよびＧｂ画素についてラインクロール成分Ｌ（ｉ，ｊ）を取得していない場合、ステップＳ１０２（ＮＯ側）へ移行する。ＣＰＵ１８は、全てのＧｒおよびＧｂ画素のラインクロール成分Ｌを取得するまで、ステップＳ１０２〜ステップＳ１０４の処理を行う。

【0042】

ステップＳ１０６：ＣＰＵ１８の除去部２２は、対象画素（ｉ，ｊ）の画素値からラインクロール成分Ｌ（ｉ，ｊ）を減算しラインクロールを除去する。図５（ａ）は、図４（ａ）から図４（ｄ）のラインクロール成分Ｌ（ｉ，ｊ）を減算した結果を示す。また、図５（ｂ）は、参考として、従来行われてきた図４（ａ）から図４（ｂ）の第１高周波成分Ｅ１を減算した結果を併せて示す。明らかに、図５（ａ）の方は、被写体の画像構造が保持され、図５（ｂ）の方は画像構造が鈍ってしまっていることが分かる。

【0043】

ステップＳ１０７：ＣＰＵ１８は、ラインクロールが除去されたＲＡＷ画像を画像処理部１５へ出力する。画像処理部１５は、そのＲＡＷ画像に対して、例えば、色補間処理、階調変換処理、ホワイトバランス処理、輪郭強調処理などの各種画像処理を施し、静止画像を出力する。

【0044】

ステップＳ１０８：ＣＰＵ１８は、ステップＳ１０７において画像処理された静止画像の画像ファイルを生成して、記憶部１７や記憶媒体２５に記録する。

【0045】

なお、本実施形態のＣＰＵ１８は、静止画像の画像ファイルとともに、その静止画像に対応付けてＲＡＷ画像のデータも記憶部１７や記憶媒体２５に記録してもよい。また、ＣＰＵ１８は静止画像の画像ファイルの生成にあたり、露光条件などの情報を、Ｅｘｉｆ（Exchangeable image file format for digital still cameras）規格に準拠したメタデータを画像ファイルのヘッダ領域に付加することが好ましい。これらにより、後述するコンピュータによる画像処理においても、ＲＡＷ画像に重畳するラインクロールを除去することができる。

【0046】

このように、本実施形態では、２つの第１高周波成分Ｅ１と第２高周波成分Ｅ２とを算出し、それらに基づいてラインクロールの補正量を取得することにより、被写体の微細な画像構造を消失させることなく、確度高くラインクロールを除去することができる。
《他の実施形態》
図６は、本発明の他の実施形態に係る画像処理プログラムを実行することにより、画像処理装置として動作させるコンピュータ１００のブロック図である。

【0047】

図６（ａ）に示すコンピュータ１００は、ＣＰＵ５０、記憶部５１、入出力インタフェース（入出力Ｉ／Ｆ）５２、バス５３から構成され、ＣＰＵ５０、記憶部５１、入出力Ｉ／Ｆ５２は、バス５３を介して情報伝達可能に接続される。また、コンピュータ１００には、入出力Ｉ／Ｆ５２を介して、画像処理の途中経過や処理結果を表示する出力装置６０、ユーザからの入力を受け付ける入力装置７０がそれぞれ接続される。出力装置６０には、一般的な液晶モニタやプリンタ等を、入力装置７０には、キーボードやマウス等をそれぞれ適宜選択して使用できる。

【0048】

ＣＰＵ５０は、コンピュータ１００の各部を統括的に制御するマイクロプロセッサである。例えば、ＣＰＵ５０は、入力装置７０で受け付けるユーザからの指示に基づいて、記憶部５１に記憶されている画像処理プログラムを読み込み、記憶部５１に記憶されている画像データに対して画像処理を施す。ＣＰＵ５０は、その画像処理の結果を出力装置６０に表示する。なお、本実施形態のＣＰＵ５０は、画像処理プログラムの実行により、一の実施形態のデジタルカメラのＣＰＵ１８と同様に、図１（ｂ）に示すように、第１算出部１９、第２算出部２０、補正値取得部２１、除去部２２として動作する。なお、本実施形態の第１算出部１９、第２算出部２０、補正値取得部２１、除去部２２は、一の実施形態のものと同様に動作することから、一の実施形態のものと同一の符号付し詳細な説明は省略する。

【0049】

記憶部５１は、一の実施形態のデジタルカメラにより撮像された被写体の画像ファイルおよびそのＲＡＷ画像データを記憶する。なお、これらの画像ファイルおよびＲＡＷ画像データは、有線または無線により直接またはネットワークを介して、一の実施形態のデジタルカメラから取得されたり、記憶媒体２５を介して取得されたりして記憶されているものとする。

【0050】

また、記憶部５１は、その画像に対するラインクロールを除去したりする画像処理プログラムを記録する。記憶部５１には、一般的なハードディスク装置、光磁気ディスク装置等の記憶装置を選択して用いることができる。なお、図６の記憶部５１は、コンピュータ１００に組み込まれているが、外付けの記憶装置でもよい。この場合、記憶部５１は、入出力Ｉ／Ｆ５２を介してコンピュータ１００に接続される。

【0051】

次に、図７のフローチャートを参照しつつ、本実施形態のコンピュータ１００による処理動作について説明する。なお、本実施形態では、記憶部５１に予め上記手段で取得されたＲＡＷ画像データが記憶されているものとする。

【0052】

ユーザが、入力装置７０を用いて、画像処理プログラムのコマンドを入力、または、そのプログラムのアイコンをダブルクリックすることにより、プログラムの起動命令を出す。ＣＰＵ５０は、その命令を入出力Ｉ／Ｆ５２を介して受け付け、記憶部５１に記憶されている画像処理プログラムを実行する。その結果、図７のステップＳ２０１からの処理が行われる。

【0053】

ステップＳ２０１では、ＣＰＵ５０が、ユーザにより指定されたＲＡＷ画像データのファイル名を、入力装置７０を介して取得し読み込む。そして、ＣＰＵ５０は、ステップＳ２０２〜ステップＳ２０８の処理を行う。なお、ステップＳ２０２〜ステップＳ２０８は、一の実施形態のステップＳ１０２〜ステップＳ１０８と同じであることから、詳細な説明は省略する。

【0054】

このように、本実施形態では、２つの第１高周波成分Ｅ１と第２高周波成分Ｅ２とを算出し、それらに基づいてラインクロールの補正量を取得することにより、被写体の微細な画像構造を消失させることなく、確度高くラインクロールを除去することができる。
《実施形態の補足事項》
（１）上記実施形態では、全てのＲＡＷ画像データに対してラインクロールを除去したが、本発明はこれに限定されない。例えば、撮像環境（例えば、Ｆ値などの撮像条件）によってはラインクロールが目立たない場合があることから、ＣＰＵ１８およびＣＰＵ５０は、ＲＡＷ画像が撮像された撮像環境に応じてラインクロールの除去処理を行うか否かを判定し、その判定結果に応じてラインクロールを除去してもよい。また、ＲＡＷ画像の端の画像領域は、被写体からの光が斜めから入射し易いことから、ＣＰＵ１８およびＣＰＵ５０は、端の画像領域の画素に対してのみラインクロールの除去処理を行うようにしてもよい。あるいは、ＣＰＵ１８およびＣＰＵ５０は、ＲＡＷ画像データにおける色分布や被写体のシーン認識を行い、赤色や青色が多い被写体の場合、ラインクロールの除去処理を行うようにしてもよい。

【0055】

（２）上記実施形態では、補正値取得部２１が式（３）を用いてラインクロール成分Ｌを抽出したが、本発明はこれに限定されない。例えば、補正値取得部２１は、所定の定数ｋを有する次式（４）を用いて、ラインクロール成分Ｌを抽出してもよい。
Ｌ（ｉ，ｊ）＝ｃｌｉｐ［０，Ｅ１（ｉ，ｊ）］（Ｅ１（ｉ，ｊ）−ｋ×Ｅ２（ｉ，ｊ）） ・・・（４）
ここで、所定の定数ｋを用いる理由は、第１高周波成分Ｅ１は対象画素Ｇ１および隣接する画素Ｇ２の画素値から求められることから、被写体の画像構造よりもラインクロールの成分の方が検出され易い。一方、第２高周波成分Ｅ２は、対象画素Ｇ１および近接する画素Ｇ１の画素値から求められることから、被写体の画像構造が検出される。そこで、ｋの値を上記撮像環境などに応じて調節することにより、例えば、ｋを１より大きくすると、被写体の画像構造の消失を抑制でき、ｋを１より小さくすると、ラインクロールを強く抑制できる。

【0056】

また、補正値取得部２１は、次式（５）を用いて、ラインクロール成分Ｌを抽出してもよい。
Ｕ＝ｋ’×｜Ｅ２（ｉ，ｊ）｜−｜Ｅ１（ｉ，ｊ）｜
Ｓ＝Ｅ１（ｉ，ｊ）／｜Ｅ１（ｉ，ｊ）｜
Ｌ（ｉ，ｊ）＝ｃｌｉｐ［０，Ｅ１（ｉ，ｊ）］（Ｅ１（ｉ，ｊ）−Ｓ×Ｕ） ・・・（５）
ここで、ｋ’は所定の定数であり、１くらいに設定され、Ｕは０以上の値にクリップされる。Ｓは第１高周波成分Ｅ１の符号を示す。この式（５）を用いることにより、ＲＡＷ画像データの第２高周波成分Ｅ２が、ラインクロール成分を含む第１高周波成分Ｅ１よりも大きい場合のみ、ラインクロール補正が抑制され、式（３）と比較して、被写体の画像構造が平坦な領域でラインクロールが強く抑制される。

【0057】

（３）上記一の実施形態では、第１算出部１９、第２算出部２０、補正値取得部２１、除去部２２の各処理を、ＣＰＵ１８がソフトウエア的に実現する例を説明したが、ＡＳＩＣを用いてこれらの各処理をハードウエア的に実現してもよい。また、一の実施形態ではベイヤ補間の前にラインクロール除去処理を行ったが、ＡＳＩＣを用いる場合、ベイヤ補間の輝度を生成する処理において、このラインクロールの除去処理を組み込むことが好ましい。すなわち、パイプライン処理で回路を設計する場合、ベイヤ補間で参照する周辺画素とラインクロール除去で参照する周辺画素とを共通のラインメモリから読み出すように設定できるので、ラインメモリを節約してコストを削減できる。

【0058】

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

【符号の説明】

【0059】

１１…撮像光学系、１２…撮像素子、１３…ＡＦＥ、１４…バッファメモリ、１５…画像処理部、１６…モニタ、１７、５１…記憶部、１８、５０…ＣＰＵ、１９…第１算出部、２０…第２算出部、２１…補正値取得部、２２…除去部、２３…操作部材、２４…記録Ｉ／Ｆ、２５…記憶媒体、５３…入出力Ｉ／Ｆ、５４…バス、６０…出力装置、７０…入力装置、１００…コンピュータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】