特許 7516471 制御装置、撮像装置、制御方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-05

(45)【発行日】2024-07-16

(54)【発明の名称】制御装置、撮像装置、制御方法およびプログラム

(51)【国際特許分類】

   H04N 23/70 20230101AFI20240708BHJP

   G03B 7/093 20210101ALI20240708BHJP

   H04N 23/54 20230101ALI20240708BHJP

   H04N 23/73 20230101ALI20240708BHJP

   H04N 23/76 20230101ALI20240708BHJP

   H04N 25/581 20230101ALI20240708BHJP

【ＦＩ】

H04N23/70

G03B7/093

H04N23/54

H04N23/73

H04N23/76

H04N25/581

【請求項の数】 9

(21)【出願番号】P 2022146176

(22)【出願日】2022-09-14

(62)【分割の表示】P 2017241983の分割

【原出願日】2017-12-18

(65)【公開番号】P2022179514

(43)【公開日】2022-12-02

【審査請求日】2022-10-14

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】佐々木 良隆

【審査官】淀川 滉也

(56)【参考文献】

【文献】特開２００５－１９７９５２（ＪＰ，Ａ）

【文献】米国特許出願公開第２００９／０２４４３１９（ＵＳ，Ａ１）

【文献】特開２００９－０３８４７９（ＪＰ，Ａ）

【文献】特開２０１６－１９２６９６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／７０

Ｈ０４Ｎ ２３／５４

Ｈ０４Ｎ ２３／７６

Ｈ０４Ｎ ２３／７３

Ｈ０４Ｎ ２５／５８１

Ｇ０３Ｂ ７／０９３

(57)【特許請求の範囲】

【請求項1】

シャッタースピードおよびＩＳＯ感度を含む露出条件を撮像画像の領域ごとに制御可能
な複数の撮像素子を制御する制御装置であって、
前記撮像素子を用いた撮像結果に基づいて、前記領域の少なくとも一部の領域において、前記シャッタースピードおよび前記ＩＳＯ感度を補正する補正手段と、
前記補正手段で補正されたシャッタースピードおよびＩＳＯ感度に応じて撮像する撮像手段とを有し、
前記補正手段は、隣接する前記領域の露出条件の差が小さくなるように、前記シャッタースピードと前記ＩＳＯ感度との重み付けに応じて、前記シャッタースピードと前記ＩＳＯ感度との少なくともいずれか一方を補正することを特徴とする制御装置。

【請求項2】

前記補正手段は、前記シャッタースピードおよびＩＳＯ感度それぞれを同一または略同一の割合で補正することを特徴とする請求項１に記載の制御装置。

【請求項3】

前記領域ごとの露出条件を設定する設定手段を有し、
前記補正手段は、前記設定された露出条件のなかから基準露出条件を決定する決定手段をさらに有し、
前記補正手段は、前記基準露出条件との差が小さくなるように、前記設定された領域ごとのシャッタースピードおよびＩＳＯ感度を補正することを特徴とする請求項１または２に記載の制御装置。

【請求項4】

前記補正手段は、前記基準露出条件と着目領域で設定されたシャッタースピードおよびＩＳＯ感度との差が所定の閾値以上である場合、前記基準露出条件と前記着目領域との差が小さくなるように、前記着目領域で設定されたシャッタースピードおよびＩＳＯ感度を補正することを特徴とする請求項３に記載の制御装置。

【請求項5】

前記基準露出条件は、前記撮像画像に含まれる主被写体の領域で設定されたシャッタースピードおよびＩＳＯ感度、前記撮像画像を撮像する際にフォーカスが合った領域で設定されたシャッタースピードおよびＩＳＯ感度および操作部を介して選択された領域で設定されたシャッタースピードおよびＩＳＯ感度の少なくともいずれか１つであることを特徴とする請求項３または４に記載の制御装置。

【請求項6】

前記補正手段は、隣接する前記領域それぞれで設定された露出条件の差が所定の閾値以上である場合、隣接する前記領域の差が小さくなるように、前記設定された領域ごとのシャッタースピードおよびＩＳＯ感度を補正することを特徴とする請求項１または２に記載の制御装置。

【請求項7】

前記重み付けを調整するためのＵＩを表示部に表示させる表示制御手段をさらに有することを特徴とする請求項１に記載の制御装置。

【請求項8】

シャッタースピードおよびＩＳＯ感度を含む露出条件を撮像画像の領域ごとに制御可能な複数の撮像素子を制御する制御方法であって、
前記撮像素子を用いた撮像結果に基づいて、前記領域の少なくとも一部の領域において、前記シャッタースピードおよび前記ＩＳＯ感度を補正する補正工程と、
前記補正手段で補正されたシャッタースピードおよびＩＳＯ感度に応じて撮像する撮像工程とを有し、
前記補正工程では、隣接する前記領域の露出条件の差が小さくなるように、前記シャッタースピードと前記ＩＳＯ感度との重み付けに応じて、前記シャッタースピードと前記ＩＳＯ感度との少なくともいずれか一方を補正することを特徴とする制御方法。

【請求項9】

コンピュータを、請求項１から請求項７のいずれか１項に記載の制御装置の各手段とし
て機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ハイダイナミックレンジ画像を取得可能な制御装置、撮像装置、制御方法およびプログラムに関する。

【背景技術】

【0002】

従来、デジタルカメラ、デジタルビデオカメラなどにおいて、ダイナミックレンジの広いハイダイナミックレンジ画像（以下「ＨＤＲ画像」と記す）を生成する技術が知られている。特許文献１には、画素ごとに異なる露出条件を制御可能な撮像素子を用いて被写体を撮影することにより、一回の撮影でＨＤＲ画像を取得する方法が記載されている。そして、特許文献１に記載された方法では、輝度を用いて２値化した画像に対してローパスフィルタをかけて多値化した画像を露光時間マップとすることで、露光時間の異なる画素の境界部において疑似輪郭が発生しないようにしている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１１－００４０８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

画素ごとに異なる露光時間を設定して撮影する場合において、暗い被写体に対応する画素は露光時間が長く設定される。しかしながら露出条件によってＨＤＲ画像を取得すると、露光時間が長く設定されることで、ボケが生じてしまうという場合があった。

【0005】

本発明は上記課題に鑑みなされたものであり、領域ごとに異なる露出条件を設定して撮影する場合において、高画質なＨＤＲ画像を生成することを目的とする。

【課題を解決するための手段】

【0006】

本発明の制御装置は、領域ごとに露出条件を制御可能な撮像素子を制御する制御装置であって、前記撮像素子を用いて予備露光することで得られる露出度マップを取得する取得手段と、前記露出度マップに基づいて、前記領域ごとにシャッタースピードおよびＩＳＯ感度を設定する設定手段と、を有することを特徴とする。

【発明の効果】

【0007】

本発明の制御装置によれば、領域ごとに異なる露出条件を設定して撮影する場合において、高画質なＨＤＲ画像を生成することができる。

【図面の簡単な説明】

【0008】

【図1】実施形態１における撮像装置の外観例を示す模式図である。

【図2】実施形態１における撮像装置のハードウェア構成例を示す図である。

【図3】実施形態１における画像処理部の機能構成例を示すブロック図である。

【図4】実施形態１におけるメイン処理手順例を示すフローチャートである。

【図5】実施形態１における撮像装置のＵＩ例を示す図である。

【図6】図６（ａ）は実施形態１における撮影シーンの一例を示す模式図である。図６（ｂ）はＬＤＲ撮影モードで生成される露出度マップの一例である。図６（ｃ）はＨＤＲ撮影モードで生成される露出度マップの一例である。

【図7】実施形態１における露出条件の補正手順例を示すフローチャートである。

【図8】図８（ａ）補正対象領域における露出条件の具体例を示す図である。図８（ｂ）補正対象領域における露出条件の具体例を示す図である。図８（ｃ）補正対象領域における補正後の露出条件の具体例を示す図である。

【図9】実施形態１における補正量を調整するためのＵＩ例を示す図である。

【図10】実施形態２における画像処理部の機能構成例を示すブロック図である。

【図11】実施形態２における露出条件の補正手順例を示すフローチャートである。

【図12】図１２（ａ）は補正対象領域を設定する前の露出度マップ例を示す図である。図１２（ｂ）は補正対象領域を設定した後の露出度マップ例を示す図である。

【発明を実施するための形態】

【0009】

［実施形態１］
実施形態１では、領域ごとに露出条件を制御することで、ＨＤＲ画像を生成する方法について説明する。特に、領域ごとに露光時間（シャッタースピード）とＩＳＯ感度（アナログゲイン）との両方を制御することで、領域の明るさに応じた撮像を行う。

【0010】

（撮像装置の構成）
図１は本実施形態における撮像装置の外観例を示す模式図である。撮像装置１００は、光学部１０１と、撮影ボタン１０２と、表示部１０３と、操作ボタン１０４とを備える。光学部１０１は、ズームレンズと、フォーカスレンズと、ブレ補正レンズと、絞りと、シャッターなどとを含み、被写体の光情報を集光する。撮影ボタン１０２は、ユーザから撮影指示を受け付けるためのボタンである。表示部１０３は、液晶ディスプレイなどによって構成され、撮像装置１００で処理された画像データおよび各種データを表示する。操作ボタン１０４は、ユーザからの各種指示を受け付けるための操作部として機能し、例えば、ユーザは、操作ボタン１０４を介して露出条件を撮像装置１００に入力することができる。

【0011】

（撮像装置のハードウェア構成）
図２は本実施形態における撮像装置１００のハードウェア構成例を示すブロック図である。撮像素子部２０１は、光学部１０１にて集光された光を電流値に変換する撮像素子群であり、撮像装置１００は、この撮像素子部２０１をカラーフィルタなどと組み合わせて用いることにより色情報を取得することができる。なお、本実施形態において、撮像素子部２０１には、画素ごとあるいは領域ごとに露出条件を設定可能なＨＤＲセンサが適用される。本実施形態において、露出条件とは、画像の明るさに関連するパラメータの総称である。撮像素子部２０１は、画素ごとあるいは領域ごとの露出条件（露光時間やアナログゲインなど）を適応的に制御することによりＨＤＲ画像を取得する。なお、領域単位で露出を制御する場合、一般的に２×２画素領域や３×２画素領域に露出条件が制御されるが、実施形態はこれに限られるものではない。

【0012】

ＣＰＵ２０２は、撮像装置１００の各構成を統括的に制御し、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０３などの記憶領域に格納された命令をＲＡＭ（Ｒｏｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０４に順次読み込む。そして、ＣＰＵ２０２は、読み込んだ命令を解釈し、その結果に従って各処理を実行する。撮像系制御部２０５は、ＣＰＵ２０２からの指示に従って、光学部１０１にフォーカスを合わせさせる、シャッターを開かせる、絞りを調整させるなどの制御を行う。装置制御部２０６は、撮影ボタン１０２を介して入力を受け付けたユーザ指示に応じて、撮像装置１００に撮影動作を開始および終了させるなどの制御を行う。また、装置制御部２０６は、操作ボタン１０４から入力を受け付けたユーザ指示に応じて、表示部１０３に所定の操作画面を表示させるなどの制御を行う。グラフィック生成部２０７は、撮像装置１００の表示制御部として機能し、表示部１０３に表示させるための文字、図形、画像などを示す画像信号を生成する。Ａ／Ｄ変換部２０８は、撮像素子部２０１が検知した被写体の光量をデジタル信号に変換する。画像処理部２０９は、Ａ／Ｄ変換部２０８が変換したデジタル信号を処理することにより、そのデジタル信号に対応する画像データを処理する。エンコーダ部２１０は、画像処理部２０９が処理した画像データをｊｐｅｇなどのファイルフォーマットに変換する。入出力インターフェース（以下インターフェースは「Ｉ／Ｆ」と記す）２１１は、ＰＣなどの外部装置や各種記録媒体（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカードなど）との間で画像データを送受信するために用いられるＩ／Ｆである。以上説明した撮像装置１００の各構成は、システムバス２１２を介して相互に通信可能に接続されている。

【0013】

（撮像装置の機能構成）
図３は本実施形態における画像処理部２０９の機能構成を示すブロック図である。図３に示される各ブロックの機能は、ＣＰＵ２０２がＲＯＭ２０３に記憶されているプログラムコードをＲＡＭ２０４に読み出して実行することにより実現される。あるいはまた、図３におけるブロックの一部または全部の機能がＡＳＩＣや電子回路などのハードウェアによって実装されてもよい。これらは図３以降のブロック図についても同様である。

【0014】

本実施形態の撮像装置１００において、画像処理部２０９は、露出度マップ生成部３０１と、露出条件取得部３０２と、基準決定部３０３と、領域選択部３０４と、露出条件補正部３０５と、を有する。露出度マップ生成部３０１は、予備露光でＡ／Ｄ変換部２０８から送出された画像データに応じて、画素ごとに露出度が記憶された露出度マップを生成する。露出度とは、ＩＳＯ感度と露光時間によって記録される明るさを制御するためのパラメータである。露出条件取得部３０２は、露出度に対応する露出条件を読み出して領域ごとの露出条件を取得する。基準決定部３０３は、複数の露出条件に基づいて基準露出条件を決定する。領域選択部３０４は、予備露光で区画された領域のうち、露出条件が補正される対象となる補正対象領域を選択する。露出条件補正部３０５は、基準露出条件に基づいて補正対象領域の露出条件を補正する。

【0015】

（メイン処理手順）
図４は本実施形態における撮像装置１００のメイン処理手順を示すフローチャートである。図４に示されるフローチャートの処理は、ＣＰＵ２０２がＲＯＭ２０３に記憶されているプログラムコードをＲＡＭ２０４に読み出して実行することにより行われる。以下の各記号Ｓは、フローチャートにおけるステップであることを意味する。これらは図４以降のフローチャートについても同様である。

【0016】

Ｓ４０１において、装置制御部２０６は、操作ボタン１０４を介して入力を受け付けたユーザ指示に応じて、レンズの絞り値、シャッタースピード、ＩＳＯ感度などの露出条件を設定する。カメラパラメータでもあるシャッタースピードとＩＳＯ感度とは、本実施形態において、それぞれ露光時間とアナログゲインとに対応する。これらカメラパラメータの他、撮影モードに応じた露出条件が設定されてもよい。図５は本実施形態における撮像装置１００のユーザインターフェース（以下ユーザインターフェースは「ＵＩ」と記す）例を示す図である。図５では、ＨＤＲ撮影モードを設定するためのＵＩが示されており、このＵＩは表示部１０３に表示される。ユーザは、操作ボタン１０４を介して指示を入力することにより所望の撮影モードを選択することができる。Ｓ４０１において設定される撮影モードの種類はＨＤＲ撮影モードに限られるものではなく、ＨＤＲ撮影モード以外にも、人物や風景などの被写体の種類に応じた撮影モードや、晴れや曇りなどの天候の種類に応じた撮影モードなどが設定されてもよい。

【0017】

Ｓ４０２において、装置制御部２０６は、撮影ボタン１０２が押下されたか否かを判定する。撮影ボタン１０２が押下された場合（Ｓ４０２：ＹＥＳ）はＳ４０３に移行する。撮影ボタン１０２が押下されていない場合（Ｓ４０２：ＮＯ）はＳ４０２が繰り返される。

【0018】

Ｓ４０３の予備露光において、撮像素子部２０１の領域ごとの露出条件が設定される。具体的には、露出度マップ生成部３０１が、予備露光でＡ／Ｄ変換部２０８から送出された画像データに応じて、画素ごとに露出度が記憶された露出度マップを生成する。本実施形態の画像処理部２０９（露出条件取得部３０２）は、露出度に対応する露出条件（図８（ａ）～（ｃ））を読み出して領域ごとの露出条件を取得することができる。ここで、図６（ａ）～図６（ｃ）を参照して、撮像素子部２０１の領域ごとの露出条件を設定する様子について説明する。

【0019】

図６（ａ）は本実施形態における撮影シーンの一例を示す模式図である。図６（ａ）の撮影シーンでは、屋内に居る人物が撮像装置１００によって撮影される様子が示されている。人物が居る部屋には窓が有り、この窓を介して屋外から明かりが差し込んでいるものとする。

【0020】

図６（ｂ）は本実施形態においてＬＤＲ（Ｌｏｗ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）撮影モードで撮影した場合に生成される露出度マップの一例を示す。なお、ＬＤＲ撮影モードは、ＨＤＲ撮影モードよりもダイナミックレンジが狭い撮影画像を取得するためのモードであり、例えば、図５のＵＩにおいて「階調優先」が選択された場合に適用される。このＬＤＲ撮影モードでは、人物が適正露出になるように設定される。このとき、図６（ａ）に示される撮影シーン全体に対して図６（ｂ）の露出度マップに示される露出度が設定されるため、人物が居る屋内よりも明るい窓領域には白飛びが発生してしまう。

【0021】

図６（ｃ）は本実施形態においてＨＤＲ撮影モードで撮影した場合に生成される露出度マップの一例を示す。なお、ＨＤＲ撮影モードは、ＬＤＲ撮影モードよりもダイナミックレンジが広い撮影画像を取得するためのモードであり、例えば、図５のＵＩにおいて「Ｄレンジ優先」が選択された場合に適用される。このとき、人物を含む屋内領域に対して図６（ｂ）の露出度マップに示される露出度が設定されるのに対して、窓領域に対しては屋内領域に対する露出度よりも低い露出度が設定されるため、窓領域における白飛びを抑制することができる。

【0022】

なお、露出度を設定する対象となる領域はこれに限られるものではない。例えば、図６（ｃ）で示した通り、画素ごとに露出度を設定してもよいし、窓に対応する領域のように比較的大きな領域に露出度を設定してもよい。

【0023】

再び図４のフローチャートに戻り、Ｓ４０４において、領域ごとの露出条件の差が小さくなるように、Ｓ４０３の予備露光で設定された露出条件が補正される。

【0024】

（露出条件の補正手順）
図７は本実施形態において、Ｓ４０４における露出条件の補正手順例を示すフローチャートである。以下、図７のフローチャートを参照して露出条件補正処理の詳細について説明する。

【0025】

Ｓ７０１において、露出条件取得部３０２は、Ｓ４０１で設定された露出条件と、Ｓ４０３で生成された露出度マップとから、領域ごとの露出条件を取得する。

【0026】

Ｓ７０２において、基準決定部３０３は、Ｓ７０１で取得された複数の露出条件に基づいて基準となる露出条件（以下「基準露出条件」と記す）を決定する。本実施形態において、Ｓ７０２で決定される基準露出条件は、シャッタースピードおよびＩＳＯ感度である。基準露出条件は、図６（ａ）の撮影シーンを撮影して得られた撮影画像において、例えば主被写体の領域に対応する露出条件を基準露出条件として選択すればよい。
なお、基準露出条件の決定手法は、撮影シーンに応じて基準露出条件が適切に選択されれば、主被写体の領域に対応する露出条件のみに限られるものではない。例えば、フォーカスが合った領域を基準とすれば、その領域に対応する露出条件を基準露出条件として自動的に決定することができる。また、操作ボタン１０４を介して所望の領域の選択を受け付ける場合、所望の領域に対応する露出条件を基準露出条件として決定することもできる。さらには、基準決定部３０３は、Ｓ７０１で取得された複数の露出条件に基づいて、任意の領域に対応する露出条件を基準露出条件として決定することもできる。

【0027】

Ｓ７０３において、領域選択部３０４は、Ｓ４０３の予備露光で区画された各領域のうち、露出条件が補正される対象となる補正対象領域を選択する。領域選択部３０４は、Ｓ７０３～Ｓ７０５のループ処理が実行されるごとに、補正対象領域を任意の順番で選択することができる。例えば、撮影画像の左上から右下に向かう順番で着目領域を走査しつつ、補正対象領域を選択すればよい。このとき、基準露出条件と、補正対象領域の露出条件との差が小さい場合、露出条件を補正することにより得られる効果も小さくなる。そのため、基準露出条件と着目領域の露出条件との差が所定の閾値よりも大きい場合に、当該着目領域を補正対象領域として選択してもよい。

【0028】

Ｓ７０４において、露出条件補正部３０５は、Ｓ７０２で決定した基準露出条件に基づいて、Ｓ７０３で選択した補正対象領域の露出条件を補正する。以下、図８（ａ）～（ｃ）を参照して露出条件補正処理の詳細について説明する。

【0029】

図８（ａ）および図８（ｂ）は、ある補正対象領域について、Ｓ４０１で設定された露出条件の具体例を示すテーブルである。一方、図８（ｃ）は、ある補正対象領域について、Ｓ７０４で補正された露出条件の具体例を示すテーブルである。露出条件取得部３０２は、図８（ａ）および図８（ｂ）のテーブルを参照することにより、露出度マップに記憶されている領域（画素）ごとの露出度に対応する露出条件を取得することができる。以下、露出度「０」に対応付けられた、シャッタースピード「１／１００秒」とＩＳＯ感度「４００」とが基準露出条件として設定された場合を例に説明する。

【0030】

図８（ａ）にはシャッタースピードのみを変更することにより露出条件が調整される例が示されている。ここで、図６（ａ）の撮影シーンにおいて、人物領域の露出度は「０」であるから、人物領域に設定される露出条件は、シャッタースピードが「１／１００秒」、ＩＳＯ感度が「４００」になる。一方、窓領域の露出度は「－２」であるから、窓領域に設定される露出条件は、シャッタースピードが「１／４００」、ＩＳＯ感度が「４００」になる。このとき、人物領域と窓領域との間でシャッタースピードが４倍異なるため、図６（ａ）の撮影シーンに動被写体が含まれるような場合、領域ごとの動き量も４倍異なることになる。この結果、シャッタースピードのみで露出度を調整すると、局所領域によってボケが生じてしまう。さらにはＨＤＲ画像において、局所領域ごとにボケや多重像などの出力態様が大きく異なってしまう場合がある。

【0031】

図８（ｂ）にはＩＳＯ感度のみを変更することにより露出条件が調整される例が示されている。ここで、図６（ａ）の撮影シーンにおいて、人物領域の露出度は「０」であるから、人物領域に設定される露出条件は、シャッタースピードが「１／１００秒」、ＩＳＯ感度が「４００」になる。一方、窓領域の露出度が「－２」であるから、窓領域に設定される露出条件は、シャッタースピードが「１／１００秒」、ＩＳＯ感度が「１００」になる。このとき、人物領域と窓領域との間でＩＳＯ感度が４倍異なるため、図６（ａ）の撮影シーンに動被写体が含まれるような場合、領域ごとのノイズ量も４倍異なることになる。この結果、ＩＳＯ感度のみで露出度を調整すると、一部の局所領域においてノイズ量が増大してしまう。さらには、ＨＤＲ画像において、局所領域ごとにノイズの出力態様が大きく異なってしまう場合がある。つまり、局所領域ごとにノイズ段差が観察されるようになってしまう。

【0032】

図８（ｃ）には、露出条件補正部３０５によって補正された露出条件の一例が示されている。ここで、図６（ａ）の撮影シーンにおいて、人物領域の露出度が「０」であるから、人物領域に設定される露出条件は、シャッタースピードが「１／１００秒」、ＩＳＯ感度が「４００」になる。一方、窓領域の露出度が「－２」であるから、窓領域に設定される露出条件は、シャッタースピードが「１／２００秒」、ＩＳＯ感度が「２００」になる。このとき、基準となるシャッタースピード「１／１００」と、人物領域に設定される補正後のシャッタースピード「１／２００」との差は２倍に抑制される。同様に、基準となるＩＳＯ感度「４００」と、窓領域に設定される補正後のＩＳＯ感度「２００」との差も２倍に抑制される。このように、露出条件補正部３０５は、シャッタースピードまたはＩＳＯ感度のいずれか一方だけでなく、これら双方を制御することで、どちらか一方のみを制御した場合に生じる弊害を抑制することができる。また、シャッタースピードまたはＩＳＯ感度それぞれを同一または略同一の割合で補正することにより、局所領域ごとのボケおよびノイズなどの出現態様の差を小さくすることができる。加えて、補正対象領域と隣接領域との境界に対応する露出条件だけではなく、補正対象領域全体に対応する露出条件を補正するので、ＨＤＲ画像において疑似輪郭も抑制することができる。この結果、本実施形態の撮像装置の制御手法では、領域ごとに異なる露出条件を設定して撮影する場合において、高画質なＨＤＲ画像を生成することができる。

【0033】

なお、上記補正は、基準露出条件と領域ごとの露出条件との差がそれぞれ小さくなるように補正することができれば所望の方法で構わない。例えば、基準露出条件における露出度をＥ、シャッタースピードをＴ、ＩＳＯ感度をＧ、補正対象領域の露出度をＥ’、補正後シャッタースピードをＴ’、補正後ＩＳＯ感度をＧ’とすると、Ｔ’とＧ’とはそれぞれ以下の数式で求めることができる。

【0034】

【数1】

【0035】

【数2】

【0036】

ここで、αは、０．０≦α≦１．０となる実数の係数であり、図８（ａ）はα＝１．０、図８（ｂ）はα＝０．０、図８（ｃ）はα＝０．５である場合にそれぞれ対応する。なお、上記数式を用いる手法に限られず、任意に調整された係数αを適用してもよい。

【0037】

図９は本実施形態において補正量を調整するためのＵＩ例を示す図である。図９のＵＩ例に示される通り、ユーザは、ＵＩに含まれるスライドバーのつまみ９０１を左右いずれかの方向に移動させることで係数αを調整することができる。例えば、つまみを右（感度優先）方向に移動させてαを小さくすると、基準となるシャッタースピードと補正対象領域におけるシャッタースピードとの差が小さくなるため、動被写体に起因するボケや多重像の発生をより抑制することができる。一方、つまみを左（Ｔｖ優先）方向に移動させてαを大きくすると、基準となるＩＳＯ感度と補正対象領域におけるＩＳＯ感度との差が小さくなるため、ノイズ段差の発生をより抑制することができる。このように、露出条件補正部３０５は、シャッタースピードおよびＩＳＯ感度を重み付けされた割合で補正することにより、局所領域ごとのボケおよびノイズなどの出現態様の差を小さくすることができる。

【0038】

再び図７のフローチャートに戻り、Ｓ７０５において、露出条件補正部３０５は、全ての領域について処理が完了したか否かを判定する。全ての領域について処理が完了している場合（Ｓ７０５：ＹＥＳ）は、再び図４のフローチャートに戻る。全ての領域について補正処理が完了していない場合（Ｓ７０５：ＮＯ）は、再びＳ７０３に戻りＳ７０３～Ｓ７０５のループ処理を行う。

【0039】

再び図４のフローチャートに戻り、Ｓ４０５において、撮像系制御部２０５は、Ｓ４０４で補正された露出条件に基づいて撮像系に撮影動作を実行させる。Ｓ４０５の撮影では、撮像系制御部２０５が光学部１０１を駆動させて被写体の光量を取得し、これら取得した光量を撮像素子部２０１で検出する。さらに、Ａ／Ｄ変換部２０８は、撮像素子部２０１で検出された光量を電気信号に変換してＲＡＷ画像データを取得する。なお、画像処理の技術分野では公知であるが、ＲＡＷ画像データは、ベイヤ配列などの所定の配列で各画素にＲ，Ｇ，Ｂのいずれか１つの色成分が記憶された画像データである。

【0040】

Ｓ４０６において、画像処理部２０９は、ＲＡＷ画像データに対して現像処理を行う。ＲＡＷ画像データに現像処理が施されることにより、ＲＧＢ画像データ（各画素にＲ，Ｇ，Ｂ全ての色成分を有する３チャンネルの画像データ）が生成される。一般に、現像処理においてホワイトバランス処理、デモザイク処理、ガンマ処理などのサブ処理が行われるが、これらは本実施形態の主眼ではないために説明を省略する。

【0041】

Ｓ４０７において、画像処理部２０９は、Ｓ４０６で生成されたＲＧＢ画像データを出力する。出力されたＲＧＢ画像データは、エンコーダ部２１０に送出されてｊｐｅｇなどのファイルフォーマットに変換される。次いで、ＲＧＢ画像データは、入出力Ｉ／Ｆ２１１を介して外部装置や記録媒体に出力される。Ｓ４０７を終了すると本フローチャートを終了する。

【0042】

以上説明した通り、本実施形態の撮像装置の制御手法によれば、領域ごとに異なる露出条件を設定して撮影する場合において、シャッタースピードおよびＩＳＯ感度を制御することで、どちらか一方のみを制御した場合に生じる弊害を抑制することができる。そのため、本実施形態の撮像装置の制御手法によれば、局所領域ごとのボケやノイズの出現態様の差や、疑似輪郭を抑制して、高画質なＨＤＲ画像を生成することができる。

【0043】

［実施形態２］
実施形態１における露出条件の補正処理（Ｓ４０４）では、基準露出条件に基づいて補正対象領域の露出条件を補正していた。しかしながら、基準露出条件と、補正対象領域の露出条件との差が小さい場合、露出条件を補正することにより得られる効果も小さくなる。そのため、本実施形態では、隣接領域間の露出条件の差を考慮して、この差が大きい場合に着目領域の露出条件を補正する実施形態について説明する。なお、実施形態１と共通する部分については説明を簡略化ないし省略し、以下では本実施形態に特有な点を中心に説明する。

【0044】

（撮像装置の機能構成）
図１０は本実施形態における撮像装置１００の機能構成を示すブロック図である。
本実施形態の画像処理部２０９は、実施形態１における基準決定部３０３に代えて、露出度判定部１００１を有する。露出度判定部１００１は、予備露光で区画される各領域のうち着目領域が、補正対象となる補正対象領域であるか否かを判定する。

【0045】

（露出条件の補正手順）
図１１は本実施形態において、Ｓ４０４における露出条件の補正手順例を示すフローチャートである。以下、図１１のフローチャートを参照して露出条件補正処理の詳細について説明する。

【0046】

まず、Ｓ１１０１～Ｓ１１０４のループ処理において、露出条件の補正対象となる補正対象領域が決定される。

【0047】

Ｓ１１０１において、露出度判定部１００１は、予備露光で区画される撮像素子部２０１の各領域のなかから着目領域を選択する。着目領域は、Ｓ１１０１～Ｓ１１０４のループ処理が実行されるごとに、任意の順番で選択することができる。例えば、撮影画像の左上から右下に向かう順番で領域を選択すればよい。

【0048】

Ｓ１１０２において、露出度判定部１００１は、Ｓ１１０１で選択された着目領域と、当該着目領域に隣接する隣接領域との露出度の差を比較する。露出度の差が所定の閾値以上の場合（Ｓ１１０２：ＹＥＳ）は、Ｓ１１０３に移行する。露出度の差が所定の閾値よりも小さい場合（Ｓ１１０２：ＮＯ）は、Ｓ１１０３をスキップしてＳ１１０４に移行する。

【0049】

Ｓ１１０３において、露出度判定部１００１は、着目領域を補正対象領域に決定する。

【0050】

ここで、本実施形態における補正対象領域の決定手法について、図１２を参照して説明する。

【0051】

図１２（ａ）は、露出度判定部１００１に入力される露出度マップ例を、図１２（ｂ）は露出度判定部１００１から出力される露出度マップ例をそれぞれ示している。すなわち、図１２（ｂ）の露出度マップにおいて、網掛けされている網掛領域が補正対象領域として決定されていることを示している。図１２（ｂ）の例では、着目領域の８方向（左上、上、右上、左、右、左下、下、右下）に隣接する領域が探索され、着目領域と隣接領域との露出度の差が２以上の場合に補正対象領域として決定される。このように、予備露光によって生成された露出度マップに基づいて、隣接領域との露出度の差が大きい領域が補正対象領域として決定される。なお、補正対象領域の決定手法は上記手法に限られるものではなく、判定条件となる露出度の差は「２」以外であってもよい。

【0052】

次に、Ｓ１１０５～Ｓ１１０７のループ処理において、補正対象領域の露出条件が補正される。

【0053】

再び図１１のフローチャートに戻り、Ｓ１１０５において、Ｓ４０３の予備露光で区画された各領域のうち、露出条件が補正される対象となる補正対象領域を選択する。補正対象領域は、Ｓ１１０５～Ｓ１１０７のループ処理が実行されるごとに、任意の順番で選択することができる。例えば、撮影画像の左上から右下に向かう順番で領域を選択すればよい。

【0054】

Ｓ１１０６において、露出条件補正部３０５は、Ｓ１１０５で選択された補正対象領域の露出条件を補正する。露出条件を補正する手法は実施形態１と同じため説明を省略する。

【0055】

Ｓ１１０７において、露出条件補正部３０５は、全ての領域について処理が完了したか否かを判定する。全ての領域について処理が完了している場合（Ｓ１１０７：ＹＥＳ）は、再び図４のフローチャートに戻る。全ての領域について補正処理が完了していない場合（Ｓ１１０７：ＮＯ）は、再びＳ１１０５に戻りＳ１１０５～Ｓ１１０７のループ処理を行う。

【0056】

以上説明した通り、本実施形態の撮像装置の制御手法によれば、領域ごとに異なる露出条件を設定して撮影する場合において、隣接領域間で露出条件の差が大きい場合に、隣接領域間の露出条件の差が小さくなるように補正する。そのため、本実施形態の撮像装置の制御手法によれば、実施形態１の効果に加えて、露出条件の補正に伴う処理負荷を軽減しつつ高画質なＨＤＲ画像を生成することができる。

【0057】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0058】

１００・・・撮像装置
２０５・・・撮像系制御部
２０９・・・画像処理部
３０１・・・露出度マップ生成部
３０２・・・露出条件取得部
３０３・・・基準決定部
３０４・・・領域選択部
３０５・・・露出条件補正部
１００１・・露出度判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】