特許第6561479号(P6561479)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社シグマの特許一覧

<>
  • 特許6561479-色シェーディング補正が可能な撮像装置 図000010
  • 特許6561479-色シェーディング補正が可能な撮像装置 図000011
  • 特許6561479-色シェーディング補正が可能な撮像装置 図000012
  • 特許6561479-色シェーディング補正が可能な撮像装置 図000013
  • 特許6561479-色シェーディング補正が可能な撮像装置 図000014
  • 特許6561479-色シェーディング補正が可能な撮像装置 図000015
  • 特許6561479-色シェーディング補正が可能な撮像装置 図000016
  • 特許6561479-色シェーディング補正が可能な撮像装置 図000017
  • 特許6561479-色シェーディング補正が可能な撮像装置 図000018
  • 特許6561479-色シェーディング補正が可能な撮像装置 図000019
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6561479
(24)【登録日】2019年8月2日
(45)【発行日】2019年8月21日
(54)【発明の名称】色シェーディング補正が可能な撮像装置
(51)【国際特許分類】
   H04N 9/04 20060101AFI20190808BHJP
   H04N 1/46 20060101ALI20190808BHJP
   H04N 1/401 20060101ALI20190808BHJP
   H04N 1/48 20060101ALI20190808BHJP
【FI】
   H04N9/04 B
   H04N1/46
   H04N1/401
   H04N1/48
【請求項の数】2
【全頁数】19
(21)【出願番号】特願2015-14104(P2015-14104)
(22)【出願日】2015年1月28日
(65)【公開番号】特開2016-139955(P2016-139955A)
(43)【公開日】2016年8月4日
【審査請求日】2017年12月5日
(73)【特許権者】
【識別番号】000131326
【氏名又は名称】株式会社シグマ
(72)【発明者】
【氏名】谷本 裕子
【審査官】 大室 秀明
(56)【参考文献】
【文献】 特開2008−277926(JP,A)
【文献】 特開2004−229154(JP,A)
【文献】 特開2008−035282(JP,A)
【文献】 特許第5646705(JP,B1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00−1/40
G06T 3/00−5/50
G06T 9/00−9/40
H04N 1/40−1/409
H04N 1/46−1/62
H04N 5/222−5/257
H04N 9/04−9/11
(57)【特許請求の範囲】
【請求項1】
取得された撮影画像データを構成する画素値にゲインをかけることにより色シェーディング補正を行う撮像装置において、
取得された撮影画像データの光源環境を判別する光源環境判別手段と、
判別された前記光源環境に基づいて色シェーディング補正ゲインを算出する色シェーディング補正ゲイン算出手段と、
算出された前記色シェーディング補正ゲインを撮影画像データの露出情報に基づいて修正することにより修正色シェーディング補正ゲインを算出する色シェーディング補正ゲイン修正手段とを有し、
前記修正色シェーディング補正ゲインを用いて前記撮影画像データの色シェーディング補正を行い、
前記修正色シェーディング補正ゲインの算出は、撮影画像データの露出情報に対応して予め撮像装置に記憶されたブレンド比を用いて、屋外の色シェーディング補正ゲインと判別された光源環境に基づいて算出された色シェーディング補正ゲインとの重み付け加算を行うことによるものであることを特徴とする撮像装置。
【請求項2】
取得された撮影画像データの光源環境の判別は撮影画像データを構成する画素値を用いて算出される色成分情報に基づいて行われることを特徴とする請求項1に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、CCDやCMOS等の撮像素子を用いて撮影画像データを取得し、取得された撮影画像データを画像処理により色シェーディング補正をすることが可能な撮像装置に関し、より具体的には、デジタルカメラ、ビデオカメラ、監視カメラ等に関する。
【背景技術】
【0002】
従来、撮像素子を用いて撮影画像データを取得する撮像装置においては、撮影画像データの周辺部に色ムラが生じる問題が発生していた。この撮影画像データの周辺部の色ムラは、周辺部の画像信号の感度が中心部と異なることにより生じる。
【0003】
一般的に撮影画像データを構成する各画素の画像信号(画素値)は、R値(赤)、G値(緑)及びB値(青)から構成されている(RGB値)。撮影画像データの色ムラは、撮影画像データの特定の部分においてRGB値が本来得られるべきRGB値と比べてバランスが崩れることにより生ずる現象である。
【0004】
特に、撮影画像データの周辺部では、撮像装置を構成するIRカットフィルタや撮像素子を構成するマイクロレンズの光学特性により、中心部と比べて画像信号の感度が異なるためRGB値のバランスが崩れやすく色ムラが生じやすい。以下、このような撮影画像データに色ムラが生じる現象を、撮影画像データの色シェーディングということがある。
【0005】
撮影画像データの色ムラは、主に撮像装置の撮像素子や撮像素子の物体側にこれと平行に配置されたIRカットフィルタの平面に対する撮影レンズからの光束の入射角の大きさに依存して生じる。そのため、撮影画像データにおいて、撮影レンズからの光束の入射角が比較的大きくなりやすい周辺部において色ムラがより生じやすい。
【0006】
撮影レンズからの光束は、撮影画像データの周辺部においてテレセントリック性を確保することが難しく、撮影レンズからの光束のIRカットフィルタや撮像素子の平面に対する入射角は特に撮像装置の小型化に際して大きくなる傾向がある。また、撮影レンズからの光束の入射角の大きさは、撮像装置の焦点距離、絞り、合焦する物体へまでの撮影距離等の撮影条件により変化するため、常に一定とはならない。
【0007】
撮影レンズからの光束の入射角の大きさが撮影画像データの色ムラを生じさせる主な原因としてより具体的には、IRカットフィルタへの入射角依存性によるものと撮像素子への入射角依存性によるものがある。
【0008】
IRカットフィルタへの入射角依存性は、IRカットフィルタに入射する光束の入射角が大きいほど、その光束についてカットされる長波長側の波長が短波長側にシフトするという性質である。
【0009】
すなわち、IRカットフィルタの入射角依存性により、IRカットフィルタの平面に対して大きな入射角で入射した光束は本来のIRカットフィルタの目的以上に長波長側の波長の光束がカットされてしまう。この結果としてIRカットフィルタの平面に対して大きな入射角で入射した光束により撮像素子で取得できる画像信号は本来取得されるべき画像信号に比べてR値(光束の長波長側の波長成分により取得される画素値)に対応する感度が低くなってしまう。
【0010】
このような現象は撮影レンズからの光束の入射角の大きさが大きくなる撮影画像データの周辺部で顕著となる。したがって、撮影画像データの周辺部においてR値に対応する感度が低くなることによりRGB値のバランスが崩れて色ムラが生じ、撮影画像データの色シェーディングが生じてしまう。
【0011】
また、撮像素子への入射角依存性は、撮像素子に入射する光束について長波長側の波長成分であるほど撮像素子の受光面に配置されたマイクロレンズによる屈折がされにくくなるという性質である。
【0012】
撮像素子の受光面に対して比較的小さい入射角で入射する光束については撮像素子への入射角依存性による影響は少ないが、大きな入射角で入射する光束についてはその影響は大きくなる。
【0013】
撮像素子の受光面に対して大きな入射角で入射する光束について、長波長側の波長成分はマイクロレンズによる屈折がされにくくなるため集光が不十分となり、マイクロレンズの下に配置されたフォトダイオードまで十分な光量が届かなくなってしまう。したがって、撮影レンズからの光束の入射角が大きくなる撮影画像データの周辺部ではR値が不足してRGB値のバランスが崩れて色ムラが発生し、撮影画像データの色シェーディングが生じてしまう。
【0014】
以上の説明のとおり、撮影レンズからの光束の入射角の大きさに依存して生じる撮影画像データの色ムラは光束の長波長側の波長成分に対する感度が不足することを原因として生じるため、特に低色温度の光源環境で取得された撮影画像データでは色シェーディングによる影響が大きい。
【0015】
従来、色シェーディングを適切に補正して色ムラのない撮影画像データを得ることを目的とした発明が開示されている。次に挙げる特許文献には、撮影画像データの光源環境を正確に判別することにより、判別された光源環境に基づいて色シェーディングを適切に補正することができる発明が記載されている。
【0016】
特許文献1には、撮影画像データのRGB値から得られた色成分情報により撮影条件における光源環境を推定し、その光源環境に対応した適切な色シェーディング補正を行う発明が記載されている。さらに、複数の光源環境が混合した撮影条件である場合には、各光源環境の基準となる色成分情報と撮影画像データの色成分情報との距離に応じて各光源環境の基準となる色シェーディング補正ゲインに重み付けを行い、複数の光源環境が混合した撮影条件であっても適切な色シェーディング補正を行うことが記載されている。
【0017】
特許文献2には、フリッカ検出手段を別に設け、フリッカが検出される場合には蛍光灯光源であると判別し、フリッカが検出されない場合であっても輝度情報と色温度情報から蛍光灯光源であるか否かをさらに判別し、蛍光灯光源の撮影画像データに対しては正確な色シェーディング補正を行うことが記載されている。さらに、特許文献2には、フリッカが検出されない場合に輝度情報を取得して、これがしきい値となる所定輝度より低い場合には依然として蛍光灯光源である可能性があると判別することが記載されている。
【特許文献1】特開2008−277926号公報
【特許文献2】特開2008−153848号公報
【発明の開示】
【発明が解決しようとする課題】
【0018】
しかしながら、従来技術では、適切な色シェーディング補正を行うために撮影画像データの光源環境を正確に判別することが要求されているが、実際には撮影画像データから光源環境を常に正確に判別して色シェーディング補正することは困難である。
【0019】
従来技術では、撮影画像データの光源環境の判別を誤ることにより、光源環境に基づいて算出される色シェーディング補正のためのゲインの算出も誤ることとなり、その結果、撮影画像データに対して適切な色シェーディング補正を行うことができず、色ムラが残ったままとなったりもしくはさらに色ムラを悪化させてしまったりするおそれがあった。
【0020】
特許文献1,2等に記載された色シェーディング補正の方法は、色成分情報による光源環境の判別自体をより正確に行い、これにより適切な色シェーディング補正を行う方法であるが、様々な撮影条件で取得された撮影画像データに対してこれを適用させようとすると、撮影画像データに分布する色の特徴によっては光源環境の判別自体を誤ることがあり適切な色シェーディング補正を行えないおそれが残っていた。さらに、特許文献2では、蛍光灯光源の判別に輝度情報を用いているが、所定輝度をしきい値としてこれより低いか高いかで蛍光灯光源であるか否かが極端に判別されてしまうため、光源環境の判別自体を誤るおそれが残っている。
【0021】
本発明は、撮影画像データの色シェーディング補正に際して、撮影画像データの色成分情報による光源環境の判別に基づいて算出された色シェーディング補正ゲインをさらに修正することにより、適切な色シェーディング補正を行うことができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0022】
上記課題を解決するため、請求項1に係る発明は、取得された撮影画像データを構成する画素値にゲインをかけることにより色シェーディング補正を行う撮像装置において、取得された撮影画像データの光源環境を判別し、判別された前記光源環境に基づいて色シェーディング補正ゲインを算出し、算出された前記色シェーディング補正ゲインを撮影画像データの露出情報に基づいて修正することにより修正色シェーディング補正ゲインを算出し、前記修正色シェーディング補正ゲインを用いて前記撮影画像データの色シェーディング補正を行い、前記修正色シェーディング補正ゲインの算出は、撮影画像データの露出情報に対応して予め撮像装置に記憶されたブレンド比を用いて、屋外の色シェーディング補正ゲインと判別された光源環境に基づいて算出された色シェーディング補正ゲインとの重み付け加算を行うことによるものであることを特徴とする撮像装置とした。
【0023】
請求項2に係る発明は、取得された撮影画像データの光源環境の判別は撮影画像データを構成する画素値を用いて算出される色成分情報に基づいて行われることを特徴とする請求項1に記載の撮像装置とした。
【発明の効果】
【0025】
本発明によれば、撮影画像データの色シェーディング補正に際して、撮影画像データの色成分情報による光源環境の判別に基づいて算出された色シェーディング補正ゲインをさらに修正することにより、適切な色シェーディング補正を行うことができる撮像装置を提供することができる。
【発明を実施するための最良の形態】
【0026】
以下、本発明の撮像装置の実施例であるデジタルカメラについて、図面を用いて詳細に説明する。
【0027】
図1は、本実施例のデジタルカメラの主な構成要素を示すブロック図である。
【0028】
図1において、101は撮影レンズ、102はIRカットフィルタ、103は撮像素子、104はアナログ回路、105はA/D変換回路を示している。また、106はRAM、107は画像処理部、108は制御部を示している。
【0029】
本実施例のデジタルカメラにおいて、被写体から撮影レンズ101へ入射した光束は撮影レンズ101により撮像素子103の受光面に結像される。撮影レンズ101と撮像素子103の間にはIRカットフィルタ102が配置されており、これにより撮影レンズ101からの光束は撮像素子103の受光面に結像する前に赤外光の波長成分が除去される。
【0030】
撮像素子103により受光された光は、光電変換により撮像素子103の各画素においてアナログ信号に変換され、アナログ回路104において増幅処理やフィルタ処理等がされた後、A/D変換回路105において画像信号(デジタル信号)に変換される。
【0031】
各画素の画像信号(画素値)の行列は全体として撮影画像データを構成し、RAM106に一時保存され、画像処理部107により様々な画像処理が行われる。画像処理が完了した最終的な撮影画像データは不図示の外部メモリに保存されたり、不図示の表示装置に表示されたりする。
【0032】
また、制御部108は、撮影画像データの取得の制御のみならず、絞り制御、オートフォーカス制御、シャッタ制御等を制御する。したがって、制御部108はシャッタ速度と絞り値から露出情報を取得することが可能である。
【0033】
さらに、図1において、109は色シェーディング補正部、110は記憶部を示し、109aは色成分情報算出部、109bは光源環境判別部、109cは色シェーディング補正ゲイン算出部、109dは色シェーディング補正ゲイン修正部を示し、110aは光源環境判別基準、110bは色シェーディング補正ゲイン、110cはブレンド比αを示している。
【0034】
色シェーディング補正部109は予め記憶部110に記憶された値に基づいて撮影画像データの色シェーディング補正を行う。色成分情報算出部109aは取得された撮影画像データの画像信号から光源環境の判別のための色成分情報を算出する。光源環境判別部109bは算出された色成分情報に基づいて光源環境判別基準110aを参照して撮影画像データの光源環境を判別する。色シェーディング補正ゲイン算出部109cは判別された光源環境に基づいて色シェーディング補正ゲイン110bを参照して光源環境に対応する色シェーディング補正ゲインを算出する。色シェーディング補正ゲイン算出部109dは算出された色シェーディング補正ゲインをさらに露出情報に基づいてブレンド比α110cを参照して修正する。本実施例の撮影画像データの色シェーディング補正については以下で詳しく説明する。
【0035】
特に撮像素子を用いて撮影画像データを取得する撮像装置においては、一般的に被写体からの光束が撮影レンズ101により撮像素子103の受光面へ結像される途中において、IRカットフィルタ102が配置されている。IRカットフィルタ102は、撮像素子103に到達する光から赤外光に当たる波長成分を除去する役割を有している。
【0036】
撮像素子は可視光線のみならず不可視光線である赤外光にも受光感度を有しているが、撮像素子が赤外光をも受光するような撮像装置のままでは不自然な撮影画像データが取得されてしまうことになる。そのため、撮像素子を用いて撮影画像データを取得する撮像装置では、撮像素子の受光面側に赤外光の波長成分を除去するためのIRカットフィルタが配置されているのが一般的である。
【0037】
本実施例のような撮像素子の受光面側にIRカットフィルタが配置されている撮像装置では、撮影レンズからの光束の入射角に依存してIRカットフィルタや撮像素子により撮影画像データの色シェーディングが生じやすい。
【0038】
IRカットフィルタの平面に対して大きな入射角で入射する光束については、IRカットフィルタの光の波長に対する透過率特性が変化してカットされる長波長側の波長が短波長側へシフトすることにより、IRカットフィルタの本来の目的以上に長波長側の波長の光がカットされてしまうという問題がある。
【0039】
そのため、撮影レンズからの光束がIRカットフィルタの平面に対して大きな入射角で入射する傾向のある撮影画像データの周辺部においては、長波長側の波長の光から得られる画像信号が不足することにより、撮影画像データの色シェーディングが生じてしまう。
【0040】
また、撮像素子の受光面に対して大きな入射角で入射する光束についても、撮像素子を構成するマイクロレンズの光の波長に対する屈折の変化により、長波長側の波長の光がマイクロレンズによりフォトダイオードに集光されにくくなってしまうという問題がある。これはマイクロレンズに入射する光の波長成分のうち、長波長側の波長成分ほど屈折されにくくフォトダイオードへ到達しにくくなるためである。
【0041】
そのため、撮影レンズからの光束が撮像素子の受光面に対して大きな入射角で入射するような撮影画像データの周辺部においては長波長側の波長成分から得られる画像信号が不足するため、撮影画像データの色シェーディングが生じてしまう。
【0042】
本発明は、これらの撮像装置の特性により生じる撮影画像データの色シェーディングを適切に補正して色ムラのない撮影画像データを得ることを目的とする。
【0043】
次に、図2を用いて本実施例における撮影画像データの色シェーディング補正の処理フローについて説明する。
【0044】
図2に示すように、本実施例における色シェーディング補正の処理フローの大まかな手順は以下のとおりである。
(手順#1)撮像装置により撮影画像データを取得する。
(手順#2)取得した撮影画像データの画像信号から色成分情報を算出する。また、撮像装置の撮影条件から露出情報を取得する。
(手順#3)色成分情報に基づいて光源環境を判別することにより色シェーディング補正ゲインを算出する。
(手順#4)算出した色シェーディング補正ゲインを露出情報に基づいて修正する。
(手順#5)最終的に修正された色シェーディング補正ゲインを用いて撮影画像データの色シェーディング補正を行う。
【0045】
本実施例の色シェーディング補正の処理フローにより、様々な光源環境で取得された撮影画像データに対して適切な色シェーディング補正を行うことができる。図2のそれぞれの手順について以下に詳しく説明する。
【0046】
まず、撮像装置により撮影画像データを取得する(手順#1)。
【0047】
撮影画像データの取得については一般的な撮像装置の従来技術と同様である。本実施例の撮像装置において、撮影レンズ101からの光束を撮像素子103の受光面へ結像させ、撮像素子103において撮影レンズ101からの光を光電効果により各画素においてアナログ信号へ変換し、アナログ回路104においてアナログ信号を信号処理した後、A/D変換回路105においてA/D変換によりデジタル信号(画像信号)に変換し、各画素に対応する画像信号(画素値)の行列の全体を撮影画像データとして取得する。取得された撮影画像データはさらに画像処理等されるためRAM106に一時記憶される。
【0048】
次に、手順#1で取得された撮影画像データから色成分情報を算出する。また、撮像装置から撮影画像データの露出情報を取得する(手順#2)。色成分情報は色シェーディング補正部109の色成分情報算出部109aで算出される。
【0049】
ここで色成分情報について説明する。色成分情報は、撮影画像データを構成する画像信号から算出され、撮影画像データ全体の色の分布にどのような特徴があるのかを表す情報である。
【0050】
色成分情報は撮影画像データを構成する画像信号から算出されるものであり、画像信号は撮影画像データの取得の際の光源環境により影響されるものであるから、色成分情報を分析することにより撮影画像データがどのような光源環境で取得されたものであるかを推測することができる。
【0051】
特に、本実施例の色成分情報は、撮影画像データにおける白色の被写体に対応する画像信号に限定したものに基づいて算出されるものとし、撮影画像データのうち白色の被写体に影響する光源環境を推測するための情報であることとした。
【0052】
また、露出情報は、色成分情報の算出とともに撮像装置から取得され、撮影画像データの取得の際の明るさを示す基準となる情報である。本実施例の露出情報は、撮影画像データの取得の際の撮影条件におけるシャッタ速度と絞り値から算出されるEV値とする。本発明の露出情報は撮影条件における明るさを示す基準となるものであればこれに限られない。
【0053】
次に、本実施例における色成分情報の算出方法について詳しく説明する。
【0054】
撮影画像データを構成する画像信号に基づいて色成分情報を算出するには、まず図3に示すように撮影画像データを分割数Nのエリアごとに分割する。
【0055】
撮影画像データ全体を分割数Nのエリアごとに分割すると、撮影画像データの全画素数がMである場合、それぞれのエリアの画素数はm(m=M/N)で構成されることとなる。
【0056】
次に、画素数mからなるN分割されたそれぞれのエリアにおいて、R値・G値・B値のそれぞれについて平均値Rave・Gave・Baveを算出する。撮影画像データの画素値は一組のR値・G値・B値からなるRGB値で構成されている。
【0057】
n番目のエリアにおけるR値・G値・B値の各画素値の平均値をRave(n)・Gave(n)・Bave(n)と表し、n番目のエリアにおけるi番目の画素の画素値をそれぞれR(n,i)・G(n,i)・B(n,i)と表すと、Rave(n)・Gave(n)・Bave(n)はそれぞれ次のように計算される。
【数1】
【0058】
さらに、分割されたそれぞれのエリアにおいて、算出したRave(n)・Gave(n)・Bave(n)(n=1〜N)を用いてR/Gの値とB/Gの値をそれぞれ算出する。
【0059】
本実施例において、n番目のエリアにおけるR/Gの値とB/Gの値をR/G(n)とB/G(n)で表すと、それぞれ次のように計算される。
【数2】
【0060】
本実施例において撮影画像データの分割されたエリアはNあるから、それぞれのエリアについてR/Gの値とB/Gの値を算出すると(R/G(n),B/G(n))がNだけ算出される。これらの撮影画像データのすべてのエリアでそれぞれ算出された(R/G(n),B/G(n))について、横軸をR/Gの値、縦軸をB/Gの値としてプロットすると図5のようになる。以下、図5のように(R/G(n),B/G(n))をプロットした分布図をR/G_B/G分布図と呼ぶ。
【0061】
最終的に、R/G_B/G分布図にプロットされた(R/G(n),B/G(n))を用いて本実施例における撮影画像データの色成分情報を算出する。ただし、本実施例の色成分情報を算出する際には、撮影画像データについてR/G_B/G分布図にプロットされた(R/G(n),B/G(n))のすべてを常に用いることはしない。
【0062】
上述のとおり、本実施例の色成分情報は、撮影画像データのうち白色の被写体に影響する光源環境を推測するため情報である。そのため、色成分情報は撮影画像データの白色の被写体に対応する画像信号に限定したものに基づいて算出されることとしているので、分割されたエリアの(R/G(n),B/G(n))のうち白色の被写体に対応するエリアの(R/G(n),B/G(n))のみを図5のR/G_B/G分布図から抽出する。
【0063】
白色の被写体に対応するエリアの(R/G(n),B/G(n))を抽出する方法は、図5のR/G_B/G分布図において予め白色の画像信号に基づいて算出されたと推定される(R/G(n),B/G(n))の分布範囲を撮影装置ごとに設定しておき、この分布範囲に属する(R/G(n),B/G(n))のみを抽出することにより行われる。以下、本実施例において特にこの分布範囲をホワイトマップと呼ぶ。
【0064】
本実施例のR/G_B/G分布図におけるホワイトマップは図6のように示される。R/G_B/G分布図にプロットされた(R/G(n),B/G(n))のうちホワイトマップの範囲にプロットされたものを(R/GW(l),B/GW(l))として抽出し、これらのみを用いて本実施例の色成分情報を算出する。ホワイトマップにより抽出される(R/GW(l),B/GW(l))の数をLとするとL≦Nとなる。
【0065】
本実施例の色成分情報は、R/G_B/G分布図からホワイトマップにより抽出された(R/GW(l),B/GW(l))のみにより算出されることにより、撮影画像データにおける白色の被写体に対応する画像信号に撮影条件における光源環境がどのように影響しているかについて分析することができ、撮影条件における光源環境を推測するための情報とすることができる。
【0066】
R/G_B/G分布図において予め設定されるホワイトマップは、撮像装置によりそれぞれ設定されるものであって、特に撮像装置に備えられた撮像素子の感度特性や撮像装置の画像処理等により異なり、撮像装置によるテスト撮影により予め設定されるものである。
【0067】
本実施例の色成分情報は最終的に(R/G,B/G)として算出され、R/Gの値とB/Gの値はそれぞれ(R/GW(l),B/GW(l))の平均値として次のように計算される。
【数3】
【0068】
本実施例では、色成分情報を、RGG分布図のホワイトマップにより抽出された(R/GW(l),B/GW(l))の平均値として算出したが、さらに(R/GW(l),B/GW(l))に対してホワイトマップ内におけるプロット位置によりそれぞれ重み付けをして加重平均を行うことにより色成分情報を算出してもかまわない。
【0069】
以上により撮影画像データの画像信号から算出された色成分情報(R/G,B/G)は、前述の分割されたエリアごとに算出された(R/G(n),B/G(n))と同様にR/G_B/G分布図にプロットされ、後述する撮影画像データの光源環境の判別に用いられる。
【0070】
次に、撮影画像データから算出された色成分情報(R/G,B/G)を用いて撮影画像データの撮影条件における光源環境を判別し、判別された光源環境に基づいて色シェーディング補正ゲインを算出する(手順#3)。光源環境は算出された色成分情報に基づいて光源環境判別基準110aを参照して光源環境判別部109bで判別され、色シェーディング補正ゲインは判別された光源環境に基づいて色シェーディング補正ゲイン110bを参照して色シェーディング補正ゲイン算出部109cで算出される。色シェーディング補正ゲインについては後述する。
【0071】
本実施例では、色シェーディング補正ゲインを算出するために、まず撮影画像データから算出された色成分情報(R/G,B/G)に基づいて光源環境判別基準を参照し、撮影画像データの撮影条件における光源環境の判別を行う。
【0072】
本実施例の光源環境判別基準は、サンプル画像データ群についてR/G_B/G分布図における光源環境ごとの色成分情報(R/G,B/G)の分布の傾向を分析しておくことにより予め設定される。
【0073】
ここで、サンプル画像データ群は、本実施例の撮像装置によるテスト撮影により取得される複数のサンプル画像データから構成される群を指す。本発明では、予めサンプル画像データ群について、サンプル画像データそれぞれの色成分情報を算出し、R/G_B/G分布図上で光源環境によってサンプル画像データの色成分情報がどのように分布する傾向があるのかを分析することにより、光源環境判別基準を設定する。光源環境判別基準を予め設定する際には、様々な光源環境においてできるだけ多くのサンプル画像データについて分析しておくことが好ましい。
【0074】
本実施例の撮像装置によるテスト撮影により取得されたサンプル画像データ群について、サンプル画像データそれぞれの色成分情報(R/G,B/G)を算出し、これらを屋外・蛍光灯・白熱灯の光源環境ごとにR/G_B/G分布図へプロットすると図7のような分布が得られる。
【0075】
本実施例の光源環境判別基準は、サンプル画像データそれぞれの色成分情報(R/G,B/G)を算出し、これらを屋外・蛍光灯・白熱灯の光源環境ごとにR/G_B/G分布図へプロットした図7のR/G_B/G分布図を分析することにより予め設定される。
【0076】
図7のR/G_B/G分布図では、サンプル画像データそれぞれの色成分情報(R/G,B/G)と光源環境の情報が一体となってプロットされているので、サンプル画像データから算出された色成分情報(R/G,B/G)が光源環境ごとにR/G_B/G分布図上でどのような範囲に分布する傾向があるのかを予め分析しておくことができる。そして、光源環境判別基準はサンプル画像データ群のR/G_B/G分布図を分析することにより撮像装置ごとに予め設定される。
【0077】
そして、本実施例では、撮像装置で取得された撮影画像データから算出される色成分情報に基づいて光源環境判別基準を参照することで、撮影画像データの光源環境の判別を行うことができる。
【0078】
本実施例では図7のサンプル画像データ群のR/G_B/G分布図を分析することにより、光源環境の判別を行うための光源環境判別基準を次の(1)〜(4)のように予め設定することとした。
【0079】
(1)色成分情報のR/Gの値がX1以下の場合
本実施例の撮像装置により実際に取得された撮影画像データについて、色成分情報(R/G,B/G)を算出してR/Gの値がX1以下の場合は、屋外の光源環境で取得されたものであると判別することとした。
【0080】
(2)色成分情報のR/Gの値がX3より大きい場合
本実施例の撮像装置により実際に取得された撮影画像データについて、色成分情報(R/G,B/G)を算出してR/Gの値がX3より大きい場合は、白熱灯の光源環境で取得されたものであると判別することとした。
【0081】
(3)色成分情報のR/Gの値がX1より大きくX2以下の場合
本実施例の撮像装置により実際に取得された撮影画像データについて、色成分情報(R/G,B/G)を算出してR/Gの値がX1より大きくX2以下の場合は、屋外と蛍光灯が混合した光源環境で取得されたものであると判別することとした。
【0082】
(4)色成分情報のR/Gの値がX2より大きくX3以下の場合
本実施例の撮像装置により実際に取得された撮影画像データについて、色成分情報(R/G,B/G)を算出してR/Gの値がX2より大きくX3以下の場合は、蛍光灯と白熱灯が混合した光源環境で取得されたものであると判別することとした。
【0083】
次に、本実施例では上記のように判別された光源環境に基づいて色シェーディング補正ゲインを算出する。
【0084】
ここで、本実施例の色シェーディング補正ゲインとは、撮影画像データの色シェーディングを補正するためのゲインを指す。本実施例の色シェーディング補正ゲインは撮像装置の特性に対応して予め設定されている。
【0085】
例えば、本実施例のR値に対する色シェーディング補正ゲインは、図8に示すように屋外・蛍光灯・白熱灯の光源環境ごとに撮影画像データにおける像高rに対応して設定される。以下、本実施例の説明では特に撮影画像データの画像信号のR値に対する色シェーディング補正処理及び色シェーディング補正ゲインについてのみ説明するが、他の色の画像信号に対しても処理の方法やゲインの役割はR値に対するものと同様であり、撮像装置の特性によっては、例えばR値・G値・B値の一部又は全部に対して色シェーディング補正処理及び色シェーディング補正ゲインを考慮することも想定される。また、本実施例において、撮影画像データの像高rにおけるR値に対する色シェーディング補正ゲインをCR(r)と示す。
【0086】
図8に示すように、色シェーディング補正ゲインは、撮影画像データの中心(r=0)から周辺部(r>0)にかけて大きさが変化する傾向があり、さらに光源環境ごとにその特性は異なる。これは撮影画像データの像高rにより、撮影レンズからの光束のIRカットフィルタの平面や撮像素子の受光面への入射角が変化し、IRカットフィルタへの入射角依存性や撮像素子への入射角依存性の影響を受けるためである。
【0087】
また、図8に示すように、本実施例の撮像装置では、R値に対する色シェーディング補正ゲインCR(r)は、撮影画像データの像高rにおいて光源環境が蛍光灯、屋外、白熱灯と変化するに従い大きくなるという特徴がある。これは光源環境により被写体からの光束を構成する波長成分が変化することによるものであり、それぞれの光源環境に対応する色シェーディング補正ゲインは、それぞれの光源環境においてサンプル画像データをテスト撮影し、サンプル画像データの色シェーディングを分析することで予め設定しておくことができる。
【0088】
また、図8に示すような色シェーディング補正ゲインは撮像装置ごとによっても異なる。色シェーディング補正ゲインが補正の対象としている撮影画像データの色シェーディングの性質が、撮像装置のIRカットフィルタへの入射角依存性と撮像素子への入射角依存性によるものであるからである。したがって、撮像装置の特性に従って色シェーディング補正ゲインを予め設定しておくことで、撮像装置に適切な色シェーディング補正を行うことができる。
【0089】
本実施例において、色シェーディング補正ゲインは判別された光源環境に基づいて次の(1)〜(4)のように算出されることとした。
【0090】
(1)判別された光源環境が屋外である場合
判別された光源環境が屋外である場合は、色シェーディング補正ゲインを、図8のR値に対する色シェーディング補正ゲインCR(r)を参照して屋外の色シェーディング補正ゲインとして算出する。
【0091】
(2)判別された光源環境が白熱灯である場合
判別された光源環境が白熱灯である場合は、色シェーディング補正ゲインを、図8のR値に対する色シェーディング補正ゲインCR(r)を参照して白熱灯の色シェーディング補正ゲインとして算出する。
【0092】
(3)判別された光源環境が屋外と蛍光灯との混合である場合
判別された光源環境が屋外と蛍光灯との混合である場合は、色シェーディング補正ゲインを、図8のR値に対する色シェーディング補正ゲインCR(r)を参照して屋外と蛍光灯それぞれの色シェーディング補正ゲインの重み付けにより算出する。
【0093】
屋外と蛍光灯それぞれの色シェーディング補正ゲインの重み付けは、より具体的には取得された撮影画像データの色成分情報のR/Gの値と、光源環境が屋外と蛍光灯との混合であると判別されるしきい値であるR/Gの値の上限と下限それぞれとの差分に応じて行う。
【0094】
すなわち本実施例では、取得された撮影画像データの色成分情報のR/Gの値と上限との差分が小さいほど蛍光灯の色シェーディング補正ゲインに重み付けを行い、下限との差分が小さいほど屋外の色シェーディング補正ゲインに重み付けを行って、本実施例の色シェーディング補正ゲインを算出する。
【0095】
ここで、特に、CR屋外(r)・CR蛍光灯(r)は、それぞれ撮影画像データの像高rにおけるR値に対する屋外・蛍光灯の色シェーディング補正ゲインを示し、本実施例において、光源環境が屋外と蛍光灯との混合であると判別されるしきい値である色成分情報のR/Gの値の上限はX2、下限はX1であることとする。そうすると色成分情報に基づいて判別された光源環境が屋外と蛍光灯の混合である場合の色シェーディング補正ゲインCR(r)は次のように計算される。なお、しきい値である色成分情報のR/Gの値の上限と下限は図7のサンプル画像データ群のR/G_B/G分布図を分析することにより予め撮像装置ごとに設定されている。
【0096】
例えば、取得された撮影画像データの色成分情報のR/Gの値がXSであり、光源環境が屋外と蛍光灯の混合であると判別される場合、R値に対する色シェーディング補正ゲインCR(r)は次の式のように算出される。
【数4】
【0097】
(4)判別された光源環境が白熱灯と蛍光灯との混合である場合
判別された光源環境が白熱灯と蛍光灯との混合である場合は、色シェーディング補正ゲインを、図8のR値に対する色シェーディング補正ゲインCR(r)を参照して白熱灯と蛍光灯それぞれの色シェーディング補正ゲインの重み付けにより算出する。
【0098】
白熱灯と蛍光灯それぞれの色シェーディング補正ゲインの重み付けは、より具体的には取得された撮影画像データの色成分情報のR/Gの値と、光源環境が白熱灯と蛍光灯との混合であると判別されるしきい値であるR/Gの値の上限と下限それぞれとの差分に応じて行う。
【0099】
すなわち本実施例では、取得された撮影画像データの色成分情報のR/Gの値と下限との差分が小さいほど蛍光灯の色シェーディング補正ゲインに重み付けを行い、上限との差分が小さいほど白熱灯の色シェーディング補正ゲインに重み付けを行って、本実施例の色シェーディング補正ゲインを算出する。
【0100】
ここで、特に、CR白熱灯(r)・CR蛍光灯(r)は、それぞれ撮影画像データの像高rにおけるR値に対する白熱灯・蛍光灯の色シェーディング補正ゲインを示し、本実施例において、光源環境が白熱灯と蛍光灯との混合であると判別されるしきい値である色成分情報のR/Gの値の上限はX3、下限はX2であることとする。そうすると色成分情報に基づいて判別された光源環境が白熱灯と蛍光灯の混合である場合の色シェーディング補正ゲインCR(r)は次のように計算される。なお、しきい値である色成分情報のR/Gの値の上限と下限は図7のサンプル画像データ群のR/G_B/G分布図を分析することにより予め撮像装置ごとに設定されている。
【0101】
例えば、取得された撮影画像データの色成分情報のR/Gの値がXTであり、光源環境が白熱灯と蛍光灯の混合であると判別される場合、R値に対する色シェーディング補正ゲインCR(r)は次の式のように算出される。
【数5】
【0102】
本実施例では以上により、撮影画像データから算出された色成分情報に基づいて光源環境を判別し、判別された光源環境に基づいて色シェーディング補正ゲインを算出する。
【0103】
次に、判別された光源環境に基づいて算出された色シェーディング補正ゲインを露出情報に基づいて修正する(手順#4)。色シェーディング補正ゲインは撮影装置で取得された露出情報に基づいてブレンド比α110cを参照して色シェーディング補正ゲイン修正部109dで修正される。
【0104】
色シェーディング補正ゲインは、正確に判別された光源環境に基づいて算出されていなければ撮影画像データの色シェーディング補正を適切に行うことができない。ところが、実際に光源環境を色成分情報から常に正確に判別することは困難であり、撮影画像データの被写体の色の分布により光源環境の判別を誤った場合には色シェーディング補正ゲインを適切に算出することができず色シェーディング補正に失敗するおそれがある。
【0105】
例えば、実際には屋外で取得された撮影画像データであっても蛍光灯や白熱灯の色に近づくような被写体が多く含まれている場合には、この撮影画像データから算出される色成分情報に基づいて光源環境の判別を行うと、光源環境が蛍光灯や白熱灯であると誤って判別されてしまうおそれがある。さらに、撮影画像データの光源環境が実際には屋外であるにもかかわらず、蛍光灯や白熱灯の光源環境に基づいて算出された色シェーディング補正ゲインにより撮影画像データの色シェーディング補正が行われると、撮影画像データの色シェーディング補正が不足したり過剰となったりして適切にこれを行うことができなくなってしまう。
【0106】
撮影画像データの光源環境の判別を誤るおそれのある場合の具体例として、例えば、撮影画像データにおいて植物の葉の緑色が大きな割合を占めている場合が想定される。この場合に撮影画像データから色成分情報を算出して光源環境を判別すると、撮影画像データを構成する画像信号においてG値(緑)の割合が大きいがために蛍光灯の光源環境であると判別されてしまうおそれがある。しかしながら、G値(緑)の画像信号の割合が大きい撮影画像データであっても、実際には蛍光灯の光源環境の下で撮影されたものとは限らず屋外の光源環境で撮影されたものである場合もある。従来技術では光源環境の判別を誤った場合に、色シェーディング補正ゲインの算出も誤ることとなり、適切な色シェーディング補正が行われない問題があった。
【0107】
そこで、本発明では、判別された光源環境に基づいて算出された色シェーディング補正ゲインに対して、さらに撮像装置から取得された露出情報に基づいて修正を行うことでより適切な色シェーディング補正ゲインを算出することとした。この色シェーディング補正ゲインを用いることにより撮影画像データの適切な色シェーディング補正を行うことができる。以下、露出情報に基づいて修正された色シェーディング補正ゲインを修正色シェーディング補正ゲインと呼ぶことがある。
【0108】
本実施例では、判別された光源環境に基づいて算出された色シェーディング補正ゲインと屋外の光源環境に対応する色シェーディング補正ゲインとを、露出情報に対応して予め設定されているブレンド比によりブレンドすることで修正色シェーディング補正ゲインを算出し、この修正色シェーディング補正ゲインを撮影画像データの色シェーディング補正に用いることとした。
【0109】
本実施例の修正色シェーディング補正ゲインを算出するためのブレンド比は、予め撮像装置に設定されている。本実施例のブレンド比は、撮像装置により取得されたサンプル画像データ群について、露出情報に対応する屋外の光源環境で取得されたサンプル画像データの占める割合の分析により設定される。
【0110】
本実施例のブレンド比を予め設定する方法について以下に詳しく説明する。
【0111】
まず、撮像装置により様々な撮影環境においてサンプル画像データ群を取得する。そして、サンプル画像データそれぞれを撮像装置から取得された露出情報に基づいてグループ分けする。本実施例では露出情報に基づいてグループ分けされたサンプル画像データにおいて屋外の光源環境において取得されたサンプル画像データの占める割合を分析し、これを修正色シェーディング補正ゲインを算出するためのブレンド比αとして設定した。
【0112】
本実施例のブレンド比αについて、露出情報を横軸、ブレンド比αを縦軸とするとしてグラフに表すと図9のように表される。ブレンド比αは、本実施例の撮像装置で取得されるサンプル画像データ群について、露出情報ごとに屋外のサンプル画像データが現れる確率を実験的に求めたものである。
【0113】
従来技術では所定の露出情報の値をしきい値として光源環境を判別し、その光源環境に基づき色シェーディング補正ゲインを決定して色シェーディング補正を行っていたが、取得された撮影画像データの露出情報の値が光源環境の判別のためのしきい値の近傍である場合には、露出情報の微小な変化によって急激に色シェーディング補正ゲインが変化してしまうことにより撮影画像データの色シェーディング補正を誤るおそれがあった。これに対し、本実施例では、露出情報に対応してブレンド比αを適切かつ連続的に設定することにより、露出情報により色シェーディング補正ゲインが急激に変化してしまうことを防止し、適切に撮影画像データの色シェーディング補正を行うことができるようにした。
【0114】
図9に示すように、本実施例のブレンド比αは、露出情報の値が大きくなるに従って大きくなる傾向がある。すなわち、撮像装置により取得された撮影画像データは、その露出情報の値が大きいほど、屋外の光源環境で取得されたものである可能性が高い。
【0115】
したがって、色成分情報により光源環境が蛍光灯や白熱灯であると判別された撮影画像データであっても、露出情報が比較的大きい場合には実際には屋外の光源環境の下で撮影されたものである可能性も十分に考えられるため、この場合には判別された光源環境に基づいて算出された色シェーディング補正ゲインを修正する必要がある。
【0116】
そこで、本実施例では、撮像装置から取得された露出情報に基づいてブレンド比αを参照し、このブレンド比αを用いて判別された光源環境に基づいて算出された色シェーディング補正ゲインを修正することにより撮影画像データの色シェーディング補正の適切さを補完することができるようにした。
【0117】
本実施例のブレンド比αを用いた色シェーディング補正ゲインの修正は、屋外の色シェーディング補正ゲインCR屋外(r)に対してαの重み付けをしたものと、判別された光源環境に基づいて算出された色シェーディング補正ゲインCR(r)に対して(1−α)の重み付けをしたものとを足し合わせることにより算出される。
【0118】
修正色シェーディング補正ゲインは次の式のように算出される。ここで撮影画像データの像高rにおけるR値に対する修正色シェーディング補正ゲインをCR修正(r)と示す。
【数6】
【0119】
次に、修正色シェーディング補正ゲインCR修正(r)を用いて撮影画像データのR値について色シェーディング補正を行う(手順#5)。より具体的には、撮影画像データの像高rにおける各画素のR値に対して修正色シェーディング補正ゲインCR修正(r)をそれぞれかけることにより、色シェーディングにより不足した画像信号(R値)を補完する。
【0120】
撮影画像データの色ムラは、撮像装置を構成するIRカットフィルタや撮像素子の特性により特に撮影レンズからの光束の入射角が大きくなる撮影画像データの周辺部で生じやすい。色シェーディングが生じた撮影画像データの周辺部ではRGB値のバランスが崩れ、特定の色の画素値が本来取得される画素値よりも不足する。そのため、色シェーディング補正を行うには各画素の画素値に対して不足している特定の色の画素値に適切なゲインをかけて画像信号を補完し本来取得される画素値に補正する必要がある。
【0121】
本実施例において、撮影画像データの色シェーディング補正に際し、撮影画像データ全体のR値に対して修正色シェーディング補正ゲインCR(r)かける計算は以下のように行われる。
【0122】
まず、ゲインをかける各画素の撮影画像データにおける像高rを算出する。図10は撮影画像データにおける各画素の像高rの算出方法を示した図である。図10に示すように、撮影画像データの中心にある画素の位置を原点(0,0)とする平面座標において、中心にある画素から横方向にx番目、縦方向にy番目に当たる画素の座標位置を(x,y)とする。また、(x,y)にある画素のR値をR(x,y)とする。また、撮影画像データの中心から(x,y)にある画素までの横方向・縦方向の距離をそれぞれrx・ryとする。
【0123】
図10から(x,y)にある画素の像高rをr(x,y)とすると、像高rは次のように算出される。
【数7】
【0124】
そして、像高rに対応する修正色シェーディング補正ゲインCR(r)を撮影画像データ全体の各画素のR値にかけることで撮影画像データの色シェーディング補正を行う。撮影画像データにおいて(x,y)にある画素の補正後のR値をR'(x,y)とすると、撮影画像データ全体のR値の補正は次のように算出される。
【数8】
ただし、
R(x,y):(x,y)にある画素で取得されるR値
R'(x,y):本実施例における色シェーディング補正後のR値
CR修正(r):像高rに対応するR値の修正色シェーディング補正ゲイン
r:撮影画像データにおいて(x,y)にある画素の像高
【0125】
以上の本実施例における色シェーディング補正の処理フローにより、修正色シェーディング補正ゲインを用いた撮影画像データの適切な色シェーディング補正を行うことができる。
【0126】
なお、本実施例では撮影画像データの各画素のR値に対する色シェーディング補正について説明したが、その他のG値やB値等が撮影画像データに生じる色シェーディングの原因となる場合には、これらに対してもR値に対して行った本実施例と同様の色シェーディング補正を行うことも容易に想到できる。
【0127】
なお、本実施例では本発明の光源環境の判別にについて、撮影画像データを構成するRGB値から算出された色成分情報を用いた方法を説明したが、本発明の光源環境の判別はこの方法に限定されず、例えば撮像装置に別途設けられた光源環境を判別するためのセンサーを用いた方法等も当てはまる。
【0128】
本発明によれば、撮影画像データに生じた色シェーディング補正を行うに際し、単に撮影画像データの光源環境の判別に基づく色シェーディング補正ゲインを用いるだけでなく、これを撮像装置から取得される露出情報に基づいてさらに修正した修正色シェーディング補正ゲインを用いることにより、様々な撮影条件において適切な色シェーディング補正を行うことができる。
【図面の簡単な説明】
【0129】
図1】デジタルカメラの主な構成要素を示すブロック図である。
図2】色シェーディング補正の処理フローを示す図である。
図3】撮影画像データをN分割した様子を示す図である。
図4】撮影画像データをN分割して分割したエリアごとにR/Gの値とB/Gの値を算出する様子を示す図である。
図5】撮影画像データをN分割して分割したエリアごとに算出したR/Gの値とB/Gの値をR/G_B/G分布図にプロットした様子を示す図である。
図6】R/G_B/G分布図におけるホワイトマップを示す図である。
図7】サンプル画像データ群について光源環境ごとに色成分情報をプロットしたR/G_B/G分布図を示す図である。
図8】撮影画像データの像高rに位置する各画素のR値に対する光源環境ごとの色シェーディング補正ゲインを示す図である。
図9】露出情報に対応するブレンド比を示す図である。
図10】撮影画像データの像高rの算出方法を示す図である。
【符号の説明】
【0130】
101 撮影レンズ
102 IRカットフィルタ
103 撮像素子
104 アナログ回路
105 A/D変換回路
106 RAM
107 画像処理部
108 制御部
109 色シェーディング補正部
110 記憶部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10