特許 6651741 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6651741

(24)【登録日】2020年1月27日

(45)【発行日】2020年2月19日

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   H04N 5/243 20060101AFI20200210BHJP

   G03B 7/091 20060101ALI20200210BHJP

【ＦＩ】

   H04N5/243

   G03B7/091

【請求項の数】10

【全頁数】17

(21)【出願番号】特願2015-169640(P2015-169640)

(22)【出願日】2015年8月28日

(65)【公開番号】特開2017-46316(P2017-46316A)

(43)【公開日】2017年3月2日

【審査請求日】2018年7月10日

(73)【特許権者】

【識別番号】311015207

【氏名又は名称】リコーイメージング株式会社

(74)【代理人】

【識別番号】100090169

【弁理士】

【氏名又は名称】松浦 孝

(74)【代理人】

【識別番号】100124497

【弁理士】

【氏名又は名称】小倉 洋樹

(72)【発明者】

【氏名】大木 健太

【審査官】 佐藤 直樹

(56)【参考文献】

【文献】 特開２００４−０９４１２４（ＪＰ，Ａ）

【文献】 特開２０１０−１３５９４６（ＪＰ，Ａ）

【文献】 特開２０１０−２１６４９（ＪＰ，Ａ）

【文献】 特開２００６−５００４０（ＪＰ，Ａ）

【文献】 特開２０１５−１４４３２７（ＪＰ，Ａ）

【文献】 特開２００４−３４３３５８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−２５７

Ｇ０３Ｂ ７／０９１

(57)【特許請求の範囲】

【請求項1】

撮影画像の中で複数の画像領域に対し、画像中心側から周縁方向への輝度差および輝度のバラツキを検出する検出部と、
撮影光学系の特性に従って定められる補正係数に基づき、撮影画像の周辺光量低下補正を行う補正部とを備え、
前記補正部が、輝度のバラツキ程度が第１の閾値より小さく、輝度差が第２の閾値より大きい場合、補正係数を一律調整することを特徴とする撮像装置。

【請求項2】

前記補正部が、輝度のバラツキ程度を示す値として標準偏差を検出することを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記検出部が、複数の画像領域に対し、輝度差および輝度のバラツキを検出し、
前記補正部が、輝度のバラツキ程度が第１の閾値より小さく、輝度差が第２の閾値より大きい画像領域の数に応じて、補正係数を調整することを特徴とする請求項１に記載の撮像装置。

【請求項4】

前記補正部が、輝度のバラツキ程度が第１の閾値より小さく、輝度差が第２の閾値より大きい画像領域が複数ある場合、補正係数を調整することを特徴とする請求項３に記載の撮像装置。

【請求項5】

前記補正部が、輝度のバラツキ程度が第１の閾値より小さく、輝度差が第２の閾値より大きい画像領域の数が複数であって、それらが互いに隣り合う画像領域である場合、補正係数を調整することを特徴とする請求項３に記載の撮像装置。

【請求項6】

前記検出部が、互いに隣り合う画像領域を合わせた統合領域に対して輝度のバラツキを検出し、
前記補正部が、統合領域の輝度のバラツキ程度に応じて、補正係数を調整することを特徴とする請求項３乃至５のいずれかに記載の撮像装置。

【請求項7】

前記補正部が、輝度のバラツキ程度が第１の閾値より小さく、輝度差が第２の閾値より大きい画像領域の数が所定数以下である場合、あるいは、輝度のバラツキ程度が第１の閾値より小さく、輝度差が第２の閾値より大きい画像領域の数が複数であっても互いに隣り合う画像領域ではない場合、周辺光量低下補正を行わないことを特徴とする請求項３乃至６のいずれかに記載の撮像装置。

【請求項8】

前記検出部が、撮影画像の中で周辺部をそれぞれ含む複数の画像領域に対し、輝度のバラツキおよび輝度差を検出することを特徴とする請求項１乃至７のいずれかに記載の撮像装置。

【請求項9】

撮像装置を、
撮影画像の複数の画像領域に対し、画像中心側から周縁方向への輝度差および輝度のバラツキを検出する検出手段と、
撮影光学系の特性に従って定められる補正係数に基づき、撮影画像の周辺光量低下補正を行う補正手段として機能させ、
輝度のバラツキ程度が第１の閾値より小さく、輝度差が第２の閾値より大きい場合、補正係数を一律調整するように、前記補正手段として機能させることを特徴とするプログラム。

【請求項10】

撮影画像の複数の画像領域に対し、画像中心側から周縁方向への輝度差および輝度のバラツキを検出し、
撮影光学系の特性に従って定められる補正係数に基づき、撮影画像の周辺光量低下補正を行う方法であって、
輝度のバラツキ程度が第１の閾値より小さく、輝度差が第２の閾値より大きい場合、補正係数を一律調整することを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラなどの撮像装置に関し、特に、レンズ特性によって生じる画像周辺の光量低下を補正する処理に関する。

【背景技術】

【0002】

デジタルカメラなどでは、撮影レンズの特性によって撮影画像の周辺部で光量が低下する。そのため、得られる画像信号に対してシェーディング補正（以下では、周辺光量低下補正ともいう）を施し、光量低下部分の画素に対してゲイン補正する。

【0003】

周辺光量の低下具合は、使用する撮影レンズの光学特性だけでなく、撮影条件によっても相違する。そこで、画像を複数のブロックに分割し、絞り値、ズーム倍率によって異なる一連の補正係数をブロック毎にメモリに格納する。そして、撮影時の絞り値、ズーム倍率等に応じた補正係数を選択し、シェーディング補正を行う（特許文献１参照）。

【0004】

また、撮影シーンによっては、シェーディング補正を行うことで輝度レベルが必要以上に上がってノイズが増加する場合がある。これを防ぐため、周辺光量の低下が目立たない撮影シーンであるか否かを判断し、その場合にはゲインを抑える。例えば、撮影画像を複数のブロックに分割して輝度値、色情報をブロック毎に検出し、青色の領域を周辺光量低下が目立つ空に応じて青色の領域については、空が被写体となっていると判断してシェーディング補正を行う。周辺光量低下が目立たない木々など緑色の領域を検出すると、シェーディング補正を行わない（特許文献２、３参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００３−１１０９３６号公報

【特許文献2】特開２００６−１４８７９１号公報

【特許文献3】特開２００７−２７９４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

撮影時の被写体構図は様々であり、露出条件や色情報だけでは、撮影シーンを適切に判断できない場合がある。撮影シーンに不適切な周辺光量低下補正を行うと、撮影画像周辺部の画質低下が生じてしまう。

【0007】

したがって、様々な撮影シーンに対して適切な周辺光量低下補正を行うことが求められる。

【課題を解決するための手段】

【0008】

本発明の撮像装置は、撮影画像の複数の画像領域に対し、画像中心側から周縁方向への輝度差および輝度のバラツキを検出する検出部と、撮影光学系の特性に従って定められる補正係数に基づき、撮影画像の周辺光量低下補正を行う補正部とを備える。複数の画像領域については、周辺光量低下の情報が得られやすいように、それぞれ撮影画像の周辺部を含む複数の画像領域を設定すればよい。例えば、撮影画像の対角方向に沿って複数の画像領域を定めることが可能である。また、撮影画像の中で複数の画像領域を設定する領域設定部を備えてもよい。

【0009】

そして、補正部が、検出された輝度のバラツキおよび輝度差の少なくともいずれか一方に応じて、補正を実行するか実行しないかということ（以下、実行／非実行とする）を決定し、補正係数の一律調整を行う。あるいは、補正の実行／非実行の決定のみ行い、もしくは、補正係数の調整のみを行うようにしてもよい。例えば、補正部が、輝度のバラツキ程度が第１の閾値より小さく、輝度差が第２の閾値より大きい場合、補正係数を調整する。

【0010】

輝度特性検出部は、複数の画像領域に対し、輝度差および輝度のバラツキを検出することが可能である。例えば、画像四隅に応じて規定される４つの画像領域、４隅以外の撮影画像周辺領域、あるいは周辺部よりも中心側の領域に対して検出することができる。補正部は、輝度のバラツキ程度が第１の閾値より小さく、輝度差が第２の閾値より大きい画像領域の数に応じて、補正係数を調整すればよい。

【0011】

例えば、補正部が、輝度のバラツキ程度が第１の閾値より小さく、輝度差が第２の閾値より大きい画像領域の数が複数ある場合、補正係数を調整することが可能である。また、補正部は、輝度のバラツキ程度が第１の閾値より小さく、輝度差が第２の閾値より大きい画像領域の数が複数あって、それらが互いに隣り合う画像領域である場合、補正係数を調整してもよい。この場合、検出部は、互いに隣り合う画像領域を合わせた統合領域に対して輝度のバラツキを検出することが可能である。補正部は、統合領域の輝度のバラツキ程度に応じて、補正係数を調整すればよい。

【0012】

一方、補正部は、輝度のバラツキ程度が第１の閾値より小さく、輝度差が第２の閾値より大きい画像領域の数が所定数（例えば１）以下である場合、あるいは、輝度のバラツキ程度が第１の閾値より小さく、輝度差が第２の閾値より大きい画像領域の数が複数であっても互いに隣り合う画像領域ではない場合、周辺光量低下補正を行わないようにすることも可能である。

【0013】

本発明の他の態様であるプログラムは、撮像装置を、撮影画像の画像領域に対し、画像中心側から周縁方向への輝度差および輝度のバラツキを検出する検出手段と、撮影光学系の特性に従って定められる補正係数に基づき、撮影画像の周辺光量低下補正を行う補正手段として機能させ、検出された輝度のバラツキおよび輝度差の少なくともいずれか一方に応じて、補正の実行／非実行の決定および／または補正係数の一律調整を行うように、補正手段として機能させる。

【0014】

また、本発明の他の態様である画像処理方法は、撮影画像の複数の画像領域に対し、画像中心側から周縁方向への輝度差および輝度のバラツキを検出し、撮影光学系の特性に従って定められる補正係数に基づき、撮影画像の周辺光量低下補正を行う方法であって、検出された輝度のバラツキおよび輝度差の少なくともいずれか一方に応じて、補正の実行／非実行の決定および／または補正係数の一律調整を行う。

【発明の効果】

【0015】

本発明によれば、撮影シーンに適した周辺光量低下補正を行うことができる。

【図面の簡単な説明】

【0016】

【図1】本実施形態であるデジタルカメラのブロック図である。

【図2】撮影画像に対し、輝度特性解析のため規定される画像領域を示した図である。

【図3】撮影画像の対角方向に沿った画像領域を示した図である。

【図4】シェーディング補正処理のフローチャートである。

【図5】補正係数を調整する処理１のフローチャートである。

【図6】補正係数を調整する処理２のフローチャートである。

【図7】第２の実施形態における撮影画像の輝度解析対象領域を示した図である。

【図8】第２の実施形態における補正処理を示したフローチャートである。

【図9】第２の実施形態における補正係数調整処理のフローチャートである。

【図10】周辺領域以外の画素の補正係数を調整するときの処理を示した図である。

【発明を実施するための形態】

【0017】

以下では、図面を参照して本実施形態であるデジタルカメラについて説明する。

【0018】

図１は、本実施形態であるデジタルカメラのブロック図である。

【0019】

デジタルカメラ１００は、ここではミラーレス型のデジタルカメラとして構成されており、モードダイヤル、レリーズボタン、十字ボタン、実行ボタンなどからなる操作部材１０４に対するユーザの入力操作に従い、撮影、記録画像の再生、モード設定などが行われる。カメラ正面側には撮影レンズ１０７を収納する鏡筒１０２が着脱自在に取り付けられており、カメラ背面には、ＬＣＤ１０６が設けられている。

【0020】

ＣＰＵ、ＲＡＭなどを含む信号処理部１０１は、レリーズボタンなどの操作部材１０４に対するボタン操作に応じて、露出制御、記録動作、再生表示動作などカメラ全体の動作制御を行う。また、画像信号処理などを実行する画像処理部１３２および補正部１３４を備える。カメラ動作制御のプログラムは、図示しないＲＯＭなどの記録媒体に記憶されている。

【0021】

撮影レンズ１０７は、被写体からの光が入射するとＣＣＤ、ＣＭＯＳセンサなどのイメージセンサ１１１に光を結像し、これによって被写体像がイメージセンサ１１１に形成される。イメージセンサ１１１の受光面上には、Ｒ，Ｇ，Ｂなどのカラーフィルタアレイ（図示せず）が配置されている。

【0022】

スルー画像表示の場合、タイミングジェネレータ（ＴＧ）１２０からの駆動信号に従い、１フィールド又は１フレーム分の画素信号が所定の時間間隔（例えば、１／６０秒あるいは１／３０秒）でイメージセンサ１１１から読み出される。読み出された画素信号は、ＡＦＥ回路１３０において増幅処理、デジタル化など施された後、信号処理部１０１の画像処理部１３２に送られる。

【0023】

画像信号処理部１３２では、色補間処理、色変換処理、ホワイトバランス調整処理などが画素信号に対して施される。これにより、Ｒ，Ｇ，Ｂの画素値が画素毎に求められ、カラー画像信号が生成される。生成されたカラー画像信号は、画像メモリ１０３に一時的に格納される。信号処理部１０１は、カラー画像信号に基づいてＬＣＤ１０６を駆動し、これによってリアルタイムの動画像が表示される。

【0024】

レリーズボタンが半押しされると、イメージセンサ１１１から読み出される画素信号に基づいて、コントラスト式ＡＦ処理が実行される。信号処理部１０１は、レンズ駆動部１３６を制御して撮影レンズ１０７を駆動し、コントラスト値がピークとなる合焦位置を検出する。また、コントラスト式ＡＦ処理とともに、イメージセンサ１１１から読み出される画素信号に基づいて被写体像の明るさが検出され、露出値が演算される。

【0025】

レリーズボタンが全押しされると、露出制御部１３８は、露出値に基づいて図示しないシャッタ、絞り等を駆動し、露出制御する。これにより、１フレーム分の画素信号がイメージセンサ１１１から読み出される。

【0026】

画像信号処理部１３２では、読み出された１フレーム分の画素信号に基づいて静止画像データを生成する。静止画像データは、圧縮状態、あるいは非圧縮のままでメモリカードなどの記録媒体１０５に記録する。再生モードが設定されると、選択された記録画像がＬＣＤ１０６に表示される。

【0027】

補正部１３４は、生成されたＲ，Ｇ，Ｂカラー画像信号に対してシェーディング補正処理を実行する。すなわち、装着された撮影レンズ１０７のレンズ特性等に起因する撮影画像の周辺部光量低下を補償するように、ゲイン補正する。ただし、シェーディング補正した後にＲ，Ｇ，Ｂカラー画像信号を生成してもよい。鏡筒１０２のレンズメモリ１０８には、レンズ設計値（あるいは測定値、調整値などでもよい）に関するデータが格納されており、そのデータおよび露出条件などに基づいてゲイン値相応の補正係数が算出されると、画素値に対して補正係数を乗じる。

【0028】

本実施形態では、撮影画像周辺部の輝度特性に基づいて撮影シーンに応じたシェーディング補正を行う。具体的には、撮影画像周辺部の輝度のバラツキおよび輝度低下量の程度に応じて、シェーディング補正の実行／非実行を決定するとともに、撮影シーンに合わせて補正係数を調整／修正する。以下、図２〜６を用いて詳述する。

【0029】

図２は、撮影画像に対し、輝度特性解析のため規定される画像領域を示した図である。図３は、撮影画像の対角方向に沿った画像領域を示した図である。

【0030】

図２では、マトリクス状にＭ×Ｎ個並んだ画素Ｐによって構成される撮影画像ＰＩを示している。撮影画像ＰＩには、中心Ｃから対角方向に沿った対角領域Ｓ１、Ｓ２に沿ってそれぞれ４つの領域（以下では、コーナー方向領域という）Ｃ１〜Ｃ４が規定される。図３には、その一例が示されている。

【0031】

撮影画像右上隅を含むコーナー方向領域Ｃ１を構成する画素は、撮影画像ＰＩの中心Ｃから右上端Ｅ１の方向に沿った対角領域Ｓ２の中で中心領域Ｃ０を除いた領域に相当する。そして、コーナー方向領域Ｃ１内には、撮影画像右上隅付近の周辺領域ｃ１が規定されており、さらに周辺領域ｃ１には、画像中心Ｃ側に近い領域（以下、中心側領域という）ＣＡ１と、右上端Ｅ１に近い領域（以下、端側領域という）ＣＢ１とが規定される。中心側領域ＣＡ１と端側領域ＣＢ１を構成する画素の数は、ここではほぼ等しい。

【0032】

他のコーナー方向領域Ｃ２〜Ｃ４についても、コーナー方向領域Ｃ１と同様、周辺領域ｃ２〜ｃ４が規定され、周辺領域ｃ２〜ｃ４は、中心側領域ＣＡ２、ＣＡ３、ＣＡ４と端側領域ＣＢ２、ＣＢ３、ＣＢ４とによって構成される。そして、４隅に応じた周辺領域ｃ１〜ｃ４を、輝度解析対象エリアとして定める。

【0033】

レンズ特性等に起因する画像周辺領域、特に画像４隅付近における光量低下は、撮影シーンによって目立つ場合と目立たない場合がある。例えば、人物や建造物などの被写体が視野（フレーム）周辺に存在する場合、光量低下は目立たない。一方、青空などを撮影する場合、画像周辺の光量低下が目立つ。

【0034】

さらに、構図によっては、周辺光量低下の度合いが、画像周辺４隅において一様にならない。例えば、撮影画像下半分がビルなどの建物で上半分青空のような構図の場合、画像周辺でも光量低下の目立つ部分と目立たない部分が混在する。

【0035】

そこで、周辺領域ｃ１〜ｃ４それぞれの輝度特性を解析することによって、周辺光量低下の目立ち具合を検出する。具体的には、周辺領域ｃ１〜ｃ４において輝度のバラツキが大きい場合、あるいは、画像中心側から画像端部（周縁）側に向けての輝度低下量の程度が小さい場合、光量低下が目立たなくなることを踏まえ、輝度のバラツキの程度および輝度差を周辺領域ごとに検出する。

【0036】

そして、周辺領域ｃ１〜ｃ４それぞれにおける輝度のバラツキおよび輝度差の程度に応じて、シェーディング補正を実行するか否かを判断する。また、シェーディング補正を実行する場合、周辺領域ｃ１〜ｃ４全体におけるバラツキおよび輝度低下の程度を鑑みて、補正係数の調整を行う。

【0037】

図４は、シェーディング補正処理のフローチャートである。

【0038】

ステップＳ１では、対角領域Ｓ１、Ｓ２に属する各画素の輝度値Ｌｖが算出される。輝度値の算出方法は様々であり、例えば、Ｒ，Ｇ，Ｂの画像信号に基づいて輝度、色差信号を算出し、各画素の輝度値を求めることが可能である。また、輝度レベルに相応するＧの画素値を輝度値として求めることも可能である。

【0039】

ステップＳ２では、周辺領域ｃ１〜ｃ４それぞれに対し、その領域内の輝度値Ｌｖに基づいて標準偏差ｓｄが求められる。ステップＳ３では、４隅の位置関係で隣り合う周辺領域（ｃ１、ｃ２）、（ｃ２、ｃ３）、（ｃ３、ｃ４）、（ｃ４、ｃ１）を統合した標準偏差（以下、統合標準偏差という）ｔｓｄが算出される。これは、後述する補正係数の修正具合を決定するときに使用される。

【0040】

ステップＳ４では、周辺領域ｃ１〜ｃ４に対し、中心側領域ＣＡ１と端部側領域ＣＢ１との輝度差ΔＬが求められる。ここでは、中心側領域ＣＡ１、端部側領域ＣＢ１それぞれの輝度平均値を求め、その差（絶対値）を中心側〜周縁側の輝度減少量として算出する。ただし、それ以外の方法で中心側領域ＣＡ１と端部側領域ＣＢ１との輝度差（任意の画素同士の輝度差など）を求めてもよい。

【0041】

ステップＳ５では、周辺領域ｃ１〜ｃ４に対して算出された標準偏差ｓｄおよび輝度差ΔＬに対し、標準偏差ｓｄが閾値（第１の閾値）ＴＡより低く、かつ、輝度差ΔＬが周縁方向に向けて低下し、その大きさが閾値（第２の閾値）ＴＢより大きいか否かが判断される。標準偏差ｓｄが閾値ＴＡより低く、輝度差ΔＬが閾値ＴＢより大きい場合、輝度バラツキがあまりなく、輝度低下が生じていることから、その周辺領域では周辺光量低下が目立つと判断する。なお、閾値ＴＡ、閾値ＴＢは、あらかじめメモリなどに記憶されており、様々な条件に応じてその値を設定することが可能である。

【0042】

標準偏差ｓｄが閾値ＴＡより低くて輝度差ΔＬが閾値ＴＢより大きい周辺領域が３つ、あるいは４つ存在する場合、ステップＳ６において、各標準偏差と輝度差に応じて補正係数を調整することが決定される（以下では、この場合行われる処理を「処理１」という）。ただし、後述するように補正割合適用率が１００％になる場合、補正係数がそのまま使用されて修正されない。一方、標準偏差ｓｄが閾値ＴＡより低くて輝度差ΔＬが閾値ＴＢより大きい周辺領域が２つの場合、互いに隣接する周辺領域であるか否かが判断される（Ｓ７）。

【0043】

互いに隣接する周辺領域である、すなわち、２つの周辺領域が（ｃ１、ｃ２）、（ｃ２、ｃ３）、（ｃ３、ｃ４）、（ｃ４、ｃ１）のいずれかの組み合わせである場合、ステップＳ８において、各標準偏差と輝度差に応じて補正係数を調整することが決定される（以下では、この場合行われる処理を「処理２」という）。

【0044】

一方、４つの周辺領域ｃ１〜ｃ４の中で標準偏差ｓｄが閾値ＴＡより低くて輝度差ΔＬが閾値ＴＢより大きい周辺領域が存在しない、あるいは１つである場合、撮影画像全体的に見て周辺光量低下が目立たない撮影シーンとみなせることから、シェーディング補正を行わないことが決定される（Ｓ９）。また、互いに隣接するコーナー方向領域ではない場合においても、シェーディング補正を行わないことが決定される（Ｓ９）。

【0045】

図５は、補正係数を調整する処理１のフローチャートである。ここでは、輝度のバラツキおよび輝度差が生じている周辺領域が、３つもしくは４つある場合の補正係数の修正処理を示す。

【0046】

ステップＳ１１において標準偏差の平均値Ａｓｄが算出されると、ステップＳ１２においてシェーディング補正の補正係数を修正する暫定値（ここでは、暫定補正割合適用率という）が算出される。暫定補正割合適用率は、以下の式によって求められる。ただし、Ｓｑｒｔｍａｘは標準偏差最大値、Ｓｑｒｔｍｉｎは標準偏差最小値、Ｒａｔｉｏｒｅｆは暫定補正割合適用率を示す。

Ｒａｔｉｏｒｅｆ＝（Ｓｑｒｔｍａｘ−Ａｓｄ）÷（Ｓｑｒｔｍａｘ−Ｓｑｒｔｍｉｎ）
・・・（１）

【0047】

ステップＳ１３では、隣り合うコーナー方向領域に関して輝度値の標準偏差（以下では、統合標準偏差という）の平均値Ａｔｓｄが算出される。対象となるコーナー方向領域が４つ存在する場合、４つの統合標準偏差平均値Ａｔｓｄが算出される。３つの場合、２つの統合標準偏差平均値Ａｔｓｄが算出される。

【0048】

ステップＳ１４では、ステップＳ１３で算出された統合標準偏差平均値Ａｔｓｄに基づき、ステップＳ１２において算出された暫定補正割合適用率Ｒａｔｉｏｒｅｆが修正され、以下の式によって補正割合適用率Ｒａｉｔｏｒｅｆｐａｉｒが求められる。

Ｒａｔｉｏｒｅｆｐａｉｒ＝
Ｒａｔｉｏｒｅｆ×（Ｓｑｒｔｍａｘ−Ａｔｓｄ）÷（Ｓｑｒｔｍａｘ−Ｓｑｒｔｍｉｎ）
・・・（２）

【0049】

（２）式による暫定補正割合適用率から実際に使用される補正割合適用率の算出は、撮影シーンに適した補正係数の修正量を算出するためのものであり、例えば、撮影画像の半分が空、残り半分がビルなどの建物が写し出されている場合、４つの周辺領域のうち空が写し出される領域にとってはシェーディング補正を強くかけることが適正であっても、建物が写し出される領域では光量低下が目立たない。

【0050】

本実施形態では、補正係数の修正程度（補正割合適用率Ｒａｔｉｏｒｅｆｐａｉｒ）を、周辺領域の位置に関係なく一律に適用する。そのため、光量低下の目立たない周辺領域にシェーディング補正を強くかけてしまう恐れがある。そこで、隣り合うコーナー方向領域に関して算出した統合標準偏差平均値に基づいて暫定補正割合適用率を修正し、実際に使用する補正割合適用率を得る（Ｓ１４）。

【0051】

例えば、隣り合うコーナー方向領域の標準偏差についてその度合いが相違する場合、すなわち、輝度のバラツキ程度が相違する場合、（２）式によって暫定補正割合適用率よりも小さい値に修正された補正割合適用率が得られる。これによって、光量低下が目立たない撮影画像周辺部分において過度なシェーディング補正がかからない。

【0052】

ステップＳ１５では、レンズ特性に応じた補正係数の値が調整される。具体的には、補正係数に対して補正割合を乗じるとともに、その補正割合に対して補正割合適用率を乗じる。ここで、補正割合とは、補正係数を画素値に反映さる程度を調整する値であり、画素値に対してゲインを過度にかけてオーバーゲイン（１以上）とならないように光軸中心からの距離に応じて定められている。撮影条件などに応じて任意に設定される。補正割合１００％のときには補正係数値をそのまま使用し、補正割合の値が小さくなるほど補正係数の値が減少する。補正割合０％の場合には、補正係数が１倍の値と算出され、画素値に乗じられる。すなわち、シェーディング補正がかからない。

【0053】

一方、（２）式で算出された補正割合適用率Ｒａｉｔｏｒｅｆｐａｉｒは、この補正割合の値を調整する補正値であり、補正割合適用率Ｒａｉｔｏｒｅｆｐａｉｒを補正割合に乗じることによって、結果的に補正係数の値が修正される（Ｓ１４）。そして、修正された補正係数に基づいてシェーディング補正が行われる。

【0054】

シェーディング補正に関しては、様々な方法が適用可能である。ここでは、コーナー方向領域Ｃ１、Ｃ２に沿って中心Ｃから一定間隔ずつ離れた画素に対する補正係数のデータをレンズデータから算出し、径方向および撮影画像中心Ｃ周りの同心円状ラインに沿って線形補間を施すことで、レンズデータ対象外の画素について補正係数を演算する。そして、各画素の補正係数の値に対して補正割合適用率を乗じた補正割合を掛け、修正された補正係数の値によってシェーディング補正が施される。ただし、線形補間以外の補間演算など他の方法で求めてもよい。また、補正割合適用率が画面一律の場合、中心からの距離に応じて補正値が定まることから、対象画素を挟む２つの画素位置のレンズデータから算出した補正値に基づいて補間すればよい。

【0055】

図６は、補正係数を調整する処理２のフローチャートである。ここでは、輝度のバラツキおよび輝度差が生じているコーナー方向領域が隣り合う２つの場合の補正係数の修正処理を示す。

【0056】

ステップＳ２１では、対象となるコーナー方向領域２つのうち標準偏差ｓｄの大きい方が選択される。そしてステップＳ２２では、選択された標準偏差ｓｄに基づいて暫定補正割合適用率が以下の式によって求められる。ただし、Ｓｑｒｔｍａｘは標準偏差最大値、Ｓｑｒｔｍｉｎは標準偏差最小値、Ｒａｔｉｏｒｅｆは暫定補正割合適用率を示す。

Ｒａｔｉｏｒｅｆ＝（Ｓｑｒｔｍａｘ−ｓｄ）÷（Ｓｑｒｔｍａｘ−Ｓｑｒｔｍｉｎ）

・・・（３）

【0057】

そして、隣り合う２つのコーナー方向領域に関して求められた輝度値の統合標準偏差ｔｓｄに基づき、暫定補正割合適用率Ｒａｔｉｏｒｅｆから補正割合適用率Ｒａｔｉｏｒｅｆｐａｉｒが求められる（Ｓ２３、Ｓ２４）。

Ｒａｔｉｏｒｅｆｐａｉｒ
＝Ｒａｔｉｏｒｅｆ×（Ｓｑｒｔｍａｘ−ｔｓｄ）÷（Ｓｑｒｔｍａｘ−Ｓｑｒｔｍｉｎ）
・・・（４）

【0058】

ステップＳ２５の実行は、図５のステップＳ１５の実行と同じであり、補正係数に対し補正割合適用率が乗じられた補正割合が乗じられる。これにより、算出された補正割合適用率Ｒａｔｉｏｒｅｆｐａｉｒに基づいたシェーディング補正処理が実行される。

【0059】

なお、本実施形態では、補正係数に補正割合および補正割合適用率を乗じることで周辺光量低下の補正を行っているが、補正割合を乗じずにレンズデータから算出される補正係数値に対して補正割合適用率だけを乗じる構成としてもよい。また、（４）式によって求められる補正割合適用率が１、すなわち１００％の場合、補正係数に乗じられるのは補正割合だけとなり、輝度差および輝度のバラツキに応じた補正係数の修正は、結果的に行われない。

【0060】

このように本実施形態によれば、撮影画像の４隅に応じた周辺領域ｃ１〜ｃ４を規定し、周辺領域ｃ１〜ｃ４における標準偏差および中心から周縁方向への輝度差（輝度減少量）を検出する。標準偏差の値が閾値ＴＡ以下で輝度差が閾値ＴＢ以上である場合、撮影画像周辺部において輝度差がなく光量低下がある、すなわち周辺部光量低下が目立つシーンであると判断し、周辺光量低下補正を実行する。そして、補正する場合、検出された輝度差および輝度のバラツキ程度に応じて、レンズ特性に従って定められる補正係数を周辺領域ｃ１〜ｃ４に対して一律に調整する。

【0061】

周辺光量低下補正を行う場合、記憶されるレンズデータのデータ容量の制限などから、離散的な像高に対する補正係数を算出し、それを補間して各画素に対し算出した補正係数を、連続的な輝度分布をもつ撮影画像の画素にかけ合わせる。そのため、周辺光量低下が目立たない画像領域において補正を行うと、画素間での輝度変化が目立つ現象によって画質低下が生じやすい。

【0062】

しかしながら、本実施形態では、撮影画像周辺部の輝度のバラツキおよび輝度差の程度を、その情報が得られやすい対角方向に沿った周辺領域において解析することにより、補正が必要な撮影シーンのみ補正し、また、輝度解析に基づいて補正（ゲイン）の程度を抑えることにより、撮影シーンに合わせた適切な補正を実行することができる。

【0063】

特に、４隅の画像領域ｃ１〜ｃ４に対してそれぞれ輝度解析し、上記条件を満たす画像領域の数に応じて補正の実行／非実行を決定することにより、様々な被写体が構図に含まれる撮影シーンに対しても、適切な周辺光量低下補正を行うことができる。

【0064】

また、隣り合う画像領域を統合した標準偏差を求めることにより、撮影画像の一部周辺部のみ光量低下が目立つ一方、他の周辺部では光量低下が目立たないような撮影シーンにおいて、補正の程度を抑えることができる。

【0065】

なお、周辺領域ｃ１〜ｃ４の規定の仕方は、図２、３に示すようなエリア位置、サイズに限定されるものではない。また、周辺領域ｃ１〜ｃ４における標準偏差算出のエリア、輝度差算出のエリアも図２、３の示すようなエリアに限定されない。例えば、図２に示すような４隅以外の周辺付近の領域Ｄ１〜Ｄ４を輝度解析対象エリアに設定してもよく、標準偏差算出エリア、輝度差算出エリアを別々、あるいは一部重複するように定めてもよい。また、輝度差については、画像中心領域Ｄ０などの中心側エリアまで含め輝度低下の程度を検出してもよい。特に、周辺部分以外にも輝度のバラツキ、輝度差が生じるような撮影シーンに対応させるため、周辺部分を含まない複数の輝度解析対象エリアを設定してもよい。

【0066】

補正の実行／非実行の決定については、周辺領域ｃ１〜ｃ４にうち上記条件を満たす領域の数を、３つ以上、２つで隣接領域の場合に補正実行とし、２つで非隣接領域、１つ以下である場合に補正非実行としているが、このような数の場合分けに限定されず、複数の画像領域の中で適宜数を設定して場合分けすればよい。また、複数の画像領域についても、周辺部分を含めるように４隅以外の領域を任意に設定することが可能である。

【0067】

輝度のバラツキについては、標準偏差以外のバラツキ程度を示す値で検出してもよい。例えば、輝度差の絶対値の総和が閾値以上である画素の個数で判断することも可能である。また、輝度差についても、中心から周辺へ向けた輝度低下の程度が明らかになるような値を求めればよい。また、輝度のバラツキ、輝度差を判定するための閾値の設定なども状況に応じ適宜設定すればよい。さらに、輝度のバラツキもしくは輝度差いずれか一方を検出し、それに基づいて補正の実行／非実行の決定、補正係数の調整をおこなってもよい。

【0068】

本実施形態では、最初に補正の実行／非実行を決定し、それから補正の程度を決めているが、周辺光量低下補正の実行／非実行のみを決定し、補正を実行する場合には補正係数を調整せずにそのまま使用することも可能である。逆に、補正が必要のない撮影シーンに対し、周辺光量低下補正の実行／非実行を判断せずにゲイン補正しないような補正割合適用率を定めるなど、補正係数調整のみで対処することが可能である。

【0069】

次に、図７〜図１０を用いて、第２の実施形態であるデジタルカメラについて説明する。第２の実施形態では、撮影画像を複数のブロックに分割し、ブロック単位で輝度解析の対象領域を定めるとともに、ブロック単位でそれぞれ構成される複数の部分領域（ここでは具体例として撮影画像４隅の領域）に対し、それぞれ独自に補正係数を調整する。また、光量低下補正によって飽和状態、周辺部分の輝度レベル向上が目立つ状況になるか否かを判断する。

【0070】

図７は、第２の実施形態における撮影画像の輝度解析対象領域を示した図である。

【0071】

撮影画像ＰＩは、複数の画素から構成されるＭ×Ｎのブロックによって分割され、各ブロックの輝度値（平均輝度値など）が算出される。そして、輝度解析の対象領域として、撮影画像の４隅に応じた周辺領域ｃ１〜ｃ４が定められる。周辺領域ｃ１〜ｃ４は、それぞれ３×３のブロックによって構成されている。

【0072】

第１の実施形態と同様、周辺領域ｃ１に対し、標準偏差および撮影画像中心から周縁方向に沿った輝度差が算出される。標準偏差は周辺領域ｃ１全体を対象にしてブロックごとに算出された輝度値から求められる。一方、輝度差は、それぞれ２×２のブロックから成っていて、互いに１ブロック重複した画像領域ＣＡ１、ＣＢ２を解析対象として定める。他の周辺領域ｃ２〜ｃ４も同様である。

【0073】

その一方で、撮影画像ＰＩには、周辺領域ｃ１〜ｃ４の間に位置する周辺領域Ｄ１〜Ｄ４が定められている。周辺領域Ｄ１〜Ｄ４は、周辺光量低下に対する補正によって飽和が生じるか否か、あるいは周辺部分の輝度レベル向上が目立ってしまうか否かを判断するために設けられている。

【0074】

例えば、カラー画像データを生成する画像信号処理においては、Ｒ，Ｇ，Ｂ画素値に対してＷＢ調整処理、色変換処理が施され、ＷＢゲイン、カラーマトリクス係数など画像信号処理に関連する係数を画素値に乗じる演算処理が行われる。撮影画像周辺部分において明るさレベルが比較的大きいエリアが存在すると、一連の補正係数に加えてシェーディング補正用の補正係数を乗じることによって、ビット数を超えて画素飽和が生じてしまう。

【0075】

一方、撮影シーンが暗い場合、Ｒ，Ｇ，Ｂ画素値にシェーディング補正係数を乗じることで、画像周辺部分でノイズが増幅され、また、周辺部分の輝度レベル向上が目立ってしまう。そこで、周辺領域Ｄ１〜Ｄ４において輝度最大値を抽出し、輝度最大値に基づいて画素飽和が生じる、あるいは周辺部分の輝度レベル向上が目立ってしまうかを判断する。なお、４隅部分ｃ１〜ｃ４の方が画素飽和も生じやすいことから、４隅部分の周辺領域ｃ１〜ｃ４において輝度最大値を抽出してもよい。

【0076】

図８は、第２の実施形態における補正処理を示したフローチャートである。

【0077】

撮影画像を分割（ここではＭ×Ｎ個）した後、周辺光量低下の解析対象となる周辺領域ｃ１〜ｃ４、Ｄ１〜Ｄ４が定められる（ステップＳ３１、Ｓ３２）。そして、標準偏差が算出されると、標準偏差が閾値ＴＡより小さいか否かが判断される（ステップＳ３３、Ｓ３４）。標準偏差が閾値ＴＡより小さい（輝度のバラツキ程度が小さい）場合、ステップＳ３５へ進む。一方、標準偏差が閾値ＴＡ以上（輝度のバラツキ程度が大きい）の場合、シェーディング補正を実行しない。

【0078】

ステップＳ３５では、周辺領域ｃ１〜ｃ４において、画像中心側と画像周縁側の輝度差（輝度低下量）が算出される。そして、輝度差が閾値ＴＢより大きいか否かが判断される。輝度差が閾値ＴＢより大きい場合、ステップＳ３７へ進む。一方。輝度差が閾値ＴＢ以下である場合、シェーディング補正は行われない。

【0079】

周辺光量低下の場合（Ｓ３６）、ステップＳ３７では、周辺領域Ｄ１〜Ｄ４に対して輝度最大値が抽出される。そしてステップＳ３８では、周辺領域Ｄ１〜Ｄ４において算出された輝度最大値に対し、ＷＢゲイン係数、色変換マトリクス係数などの一連の画像信号処理に関する係数とシェーディング補正係数を乗じた場合に画素値がビット数を超えた値になるか、すなわち画素飽和が生じるか否かが判断される。画素飽和が生じない場合、ステップＳ３９に進む。一方、画素飽和が生じる場合、シェーディング補正は行われない。ただし、飽和が生じないように補正係数を調整してもよい。

【0080】

ステップＳ３９では、最大輝度値に対して一連の画像信号処理に関する係数を乗じた場合、その値が所定の閾値ＴＣよりも大きいか、すなわち、暗い撮影シーンなどのために補正によって周辺部分の輝度レベル向上が目立つようになるか否かが判断される。演算された値（補正係数を乗じる前の値）が閾値ＴＣよりも大きい場合、ステップＳ４０へ進む。一方、演算値が閾値ＴＣ以下である場合、シェーディング補正は行われない。

【0081】

ステップＳ４０では、レンズデータに基づいて算出された補正係数を調整／修正する処理が行われる。以下、図９を用いて補正係数の調整処理を詳述する。

【0082】

図９は、第２の実施形態における補正係数調整処理のフローチャートである。

【0083】

ステップＳ４１では、以下の式により、標準偏差に基づく補正割合適用率が求められる。ただし、ｓｄは標準偏差、Ｓｑｒｔｍａｘはあらかじめ定められた標準偏差最大値、Ｓｑｒｔｍｉｎはあらかじめ定められた標準偏差最小値、ＲａｔｉｏｒｅｆＳは標準偏差の補正割合適用率を示す。画像領域Ｃ１〜Ｃ４それぞれに対し、標準偏差の補正割合適用率ＲａｔｉｏｒｅｆＳが求められる。

ＲａｔｉｏｒｅｆＳ＝（Ｓｑｒｔｍａｘ−ｓｄ）÷（Ｓｑｒｔｍａｘ−Ｓｑｒｔｍｉｎ）
・・・・（５）

【0084】

ステップＳ４２では、以下の式により、輝度差に基づく補正割合適用率が求められる。ただし、ＤＹは輝度差。Ｙｍａｘはあらかじめ定められた輝度差の最大閾値、Ｙｍｉｎはあらかじめ定められた輝度差の最小閾値、ＲａｔｉｏｒｅｆＹは輝度差の補正割合適用率を示す。ステップＳ４１と同様、画像領域Ｃ１〜Ｃ４それぞれに対して輝度差の補正割合適用率ＲａｔｉｏｒｅｆＹが求められる。

ＲａｔｉｏｒｅｆＹ＝（ＤＹ−Ｙｍｉｎ）÷（Ｙｍａｘ−Ｙｍｉｎ）
・・・・（６）

【0085】

ステップＳ４３では、レンズ特性データに基づいて算出された補正係数に対し、各領域に対し定められた補正割合を乗じるとともに（５）、（６）式により算出された補正割合適用率をそれぞれ乗じる。このとき、画像領域ごとに（５）、（６）式によって算出された補正割合適用率を、対応する補正係数に乗じる。

【0086】

ステップＳ４４では、補正値を算出したライン間の領域にある画素に対する補正係数の調整を同心円状ラインに沿って行う。具体的には、撮影画像中心（光軸）からの距離が等しい同心円状のラインにある画素に対し、同じライン上にあって隣り合う周辺領域にある画素の修正補正係数を基にして線形補間する。

【0087】

図１０は、補正値を算出したライン間の領域にある画素の補正係数を調整するときの処理を示した図である。ここでは周辺領域ｃ１〜ｃ４などを図示していない。

【0088】

上述したように、周辺領域ｃ１〜ｃ４それぞれに対して求められた補正割合適用率を反映した修正補正係数は、光軸（画像中心Ｃ）から４隅に向かう対角線方向に沿って所定距離間隔ごとに算出される補正係数を対象として求められるものであり、補正係数を与えられていない対角方向に沿った画素間の修正補正係数は、像高（中心からの距離）に基づいて線形補間により求められる。なお、周辺領域ｃ１〜ｃ４ではなく、例えば周辺領域Ｄ１〜Ｄ４を設定した場合、光軸から輝度判定領域となる周辺領域Ｄ１〜Ｄ４に向かうラインに沿った補正値が修正される。

【0089】

そして、対象画素に対し、同心円状のライン上にある画素に対して求められた修正補正係数を用いて線形補間により求める。例えば、左上方向、右上方向に沿って中心から同じ像高である画素ＰＫ１、ＰＫ２の修正補正係数が算出されると、同心円状ラインに沿った同じ像高にある画素ＰＪに対し、画素ＰＫ１、ＰＫ２の修正補正係数を用いて線形補間により求める。

【0090】

画像領域によって補正割合適用率の値が異なる場合、画素ＰＫと画素ＰＪの修正補正係数の値は一致しない。そのため、線形補間によって求められる周辺領域ｃ１〜ｃ４以外の各画素の修正補正係数を反映させると、シェーディング補正が必要な画像領域ではシェーディング補正によって大きなゲインがかかる一方、周辺光量低下が目立たない画像領域では、ゲインが抑えられる。

【0091】

このように第２の実施形態によれば、Ｍ×Ｎ個のブロックに分割された撮影画像においてブロック単位で規定された周辺領域ｃ１〜ｃ４に対し、標準偏差および中心側〜周縁側に向けた輝度差（輝度減少量）が検出される。それとともに、周辺領域Ｄ１〜Ｄ４において輝度最大値が検出される。そして、輝度のバラツキ、輝度差に応じて補正の実行／非実行を決定するとともに、補正係数を調整する。また、輝度最大値に基づいて画素の飽和を判断するとともに、輝度最大値の画素に一連の画素信号処理に関する係数を乗じた演算値が閾値を下回るか否かによって周辺部分の輝度レベル向上が目立ってしまうか否かを判断し、補正の実行／非実行を決定し、あるいは飽和しないように補正係数を調整する。

【0092】

画像領域ごとに補正の実行／非実行、および補正係数の調整をすることにより、より撮影シーンに適した周辺光量低下補正を行うことができる。特に、一律に補正係数を調整した場合には調整不要な領域にまで調整することも生じることになるが、画像領域ごとに調整することによって、調整の必要な領域にのみ調整することができる。また、画素飽和／輝度向上の目立ちが画像周辺部分に生じると判断すると、優先して補正を実行しないと判断する。これにより、画像周辺部分に飽和が生じたり、過度な輝度レベル向上による補正ムラによって無駄なノイズ増加などいった画質低下の目立つエリアが生じる事態を防ぐことができる。

【0093】

ブロック単位で輝度バラツキ、輝度差、および飽和／周辺部分の輝度向上解析対象エリアを定めることにより、輝度バラツキ、輝度差、および飽和／周辺部分の輝度向上について解析しやすいエリアを別々、かつ適切に設定することが可能となる。特に、輝度バラツキ解析領域と輝度差解析領域を相違させることにより、輝度解析を効果的に行うことが可能となり、また、飽和／周辺部分輝度向上領域を輝度差および輝度バラツキとは異なる領域に規定することにより、輝度低下が相対的に大きくない周辺領域について補正の判断を行うこととなり、画質低下を確実に防ぐことができる。

【0094】

なお、第１の実施形態のようにブロック単位ではなく輝度差、輝度のバラツキ検出領域を定めることも可能である。また、周辺領域ｃ１〜ｃ４については、矩形状以外のエリア形状に定めてもよい。画素の飽和／ノイズ解析対象のエリアは、輝度のバラツキ、輝度差対象領域と同じエリアに設定してもよい。

【0095】

本実施形態では、輝度バラツキ、輝度差、および飽和／周辺部分の輝度向上について補正を行うか否かをそれぞれ判断し、いずれの場合にも補正が必要な場合にのみ補正を実行し、補正係数を調整している。しかしながら、これらの１つずつについて補正／非補正の実行を画像領域ごとに判断し、および／あるいは補正係数を調整してもよい。あるいは、これらのうちいずれか２つ以上の組合せによって判断してもよい。また、補正係数の調整については、第１の実施形態のように標準偏差のみに基づいて補正割合適用率を演算してもよい。

【0096】

撮影シーンの解析については、輝度信号に基づいて標準偏差、輝度差等を求めているが、Ｒ，Ｇ，Ｂ信号そのものの値、色差信号などの画素値を使用することも可能である。また、本実施形態ではデジタルカメラにおいて補正処理を適用しているが、それ以外の撮像装置あるいは画像処理装置などに適用することも可能である。また、画像周辺部分の輝度のバラツキ、輝度差の解析によって撮影シーンを解析し、シェーディング補正以外の画像処理あるいは撮影動作を制御してもよい。すなわち、補正部の構成を用いない発明を撮像装置などに適用することが可能である。

【符号の説明】

【0097】

１００ デジタルカメラ（撮影装置）
１０１ 信号処理部
１３２ 画像信号処理部
１３４ 補正部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】