特許 7442989 撮像装置、該撮像装置の制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-26

(45)【発行日】2024-03-05

(54)【発明の名称】撮像装置、該撮像装置の制御方法、及びプログラム

(51)【国際特許分類】

   H04N 23/73 20230101AFI20240227BHJP

   H04N 23/76 20230101ALI20240227BHJP

   H04N 23/72 20230101ALI20240227BHJP

   G03B 7/093 20210101ALI20240227BHJP

【ＦＩ】

H04N23/73

H04N23/76

H04N23/72

G03B7/093

【請求項の数】 18

(21)【出願番号】P 2019134378

(22)【出願日】2019-07-22

(65)【公開番号】P2020053960

(43)【公開日】2020-04-02

【審査請求日】2022-07-20

(31)【優先権主張番号】P 2018175131

(32)【優先日】2018-09-19

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】伊藤 靖浩

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】国際公開第２０１４／１９２１５２（ＷＯ，Ａ１）

【文献】特開２０１２－２３５３３２（ＪＰ，Ａ）

【文献】特開２０１３－２５５０８０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／７３

Ｈ０４Ｎ ２３／７６

Ｈ０４Ｎ ２３／７２

Ｇ０３Ｂ ７／０９３

(57)【特許請求の範囲】

【請求項1】

画素毎または領域毎に撮影条件を制御して画像を撮影することが可能な撮像装置であって、
被写体の動き情報に基づいて、前記画像の動体領域を特定する特定手段と、
前記被写体の明るさ情報を取得する取得手段と、
前記動体領域に対応する画素については、同一のシャッタースピードが適用され、かつ、前記明るさ情報に応じたＩＳＯ感度が適用されるように画素毎または領域毎に前記撮影条件を設定し、前記動体領域でない非動体領域に対応する画素については、同一のＩＳＯ感度が適用され、かつ、前記明るさ情報に応じたシャッタースピードが適用されるように画素毎または領域毎に前記撮影条件を設定する設定手段と、
を有することを特徴とする撮像装置。

【請求項2】

前記設定手段は、前記画像を撮影する際の基本露出量を決定し、前記基本露出量に応じた前記撮影条件を設定した後、前記動体領域に対応する画素または領域毎のシャッタースピードを変更せずに、前記明るさ情報に応じたＩＳＯ感度を決定することを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記設定手段は、前記動体領域に対応する画素または領域毎の前記明るさ情報に応じたＩＳＯ感度の変更量を、前記明るさ情報と前記基本露出量との差に基づいて決定することを特徴とする請求項２に記載の撮像装置。

【請求項4】

前記設定手段は、前記画像を撮影する際の基本露出量を決定し、前記基本露出量に応じた前記撮影条件を設定した後、前記非動体領域に対応する画素または領域毎の前記明るさ情報に応じたＩＳＯ感度を変更せずに、前記明るさ情報に応じたシャッタースピードを決定することを特徴とする請求項１に記載の撮像装置。

【請求項5】

前記設定手段は、前記非動体領域に対応する画素または領域毎に、前記明るさ情報に応じたシャッタースピードの変更量を、前記明るさ情報と前記基本露出量との差に基づいて決定することを特徴とする請求項４に記載の撮像装置。

【請求項6】

前記動き情報は、時系列に沿った撮像データ間の輝度変化を複数画素で平均化して生成された動体マップであることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。

【請求項7】

前記明るさ情報は、画素毎の明るさを複数画素で平均化して生成された明るさマップであることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。

【請求項8】

前記動体領域の画素位置に対応する前記明るさ情報に基づいて、同じ前記被写体の平均照度を算出する算出手段をさらに有し、
前記設定手段は、前記平均照度に基づいて、各動体領域における各画素について適用するシャッタースピードを決定することを特徴とする請求項１に記載の撮像装置。

【請求項9】

前記設定手段は、前記動体領域における画素のうち、前記平均照度よりも明るい照度の画素がある場合は、適用するシャッタースピードが長くなるように決定すること特徴とする請求項８に記載の撮像装置。

【請求項10】

前記明るさ情報は、照度マップであることを特徴とする請求項８または９に記載の撮像装置。

【請求項11】

前記取得手段は、前記照度マップにおける前記動体領域における画素のうち、前記平均照度よりも明るい照度の画素の値を、前記平均照度により更新することを特徴とする請求項１０に記載の撮像装置。

【請求項12】

前記設定手段は、前記動体領域に対応する領域のうち、同じ速度で動くと判定された動体部分については、同一のシャッタースピードを適用することを特徴とする請求項１に記載の撮像装置。

【請求項13】

前記特定手段は、前記動き情報に基づいて、動きの大きさに応じて前記動体領域を特定することを特徴とする請求項１に記載の撮像装置。

【請求項14】

前記設定手段は、
前記画像を撮影する際の基本露出量を決定し、
前記特定手段が前記動体領域を特定するまでは、全ての画素に対して前記基本露出量に応じた前記撮影条件を設定することを特徴とする請求項１に記載の撮像装置。

【請求項15】

前記撮影条件は、ＩＳＯ感度とシャッタースピードであることを特徴とする請求項１に記載の撮像装置。

【請求項16】

前記設定手段は、前記非動体領域に対応する少なくとも一部の画素については、前記明るさ情報に応じて画素毎に異なる前記明るさ情報に応じたシャッタースピードを適用することを特徴とする請求項１に記載の撮像装置。

【請求項17】

コンピュータを、請求項１乃至１６のいずれか１項に記載の撮像装置として機能させるためのプログラム。

【請求項18】

画素毎または領域毎に撮影条件を制御して画像を撮影することが可能な撮像装置の制御方法であって、
被写体の動き情報に基づいて、前記画像の動体領域を特定する特定工程と、
前記被写体の明るさ情報を取得する取得工程と、
前記動体領域に対応する画素については、同一のシャッタースピードが適用され、かつ、前記明るさ情報に応じたＩＳＯ感度が適用されるように画素毎または領域毎に前記撮影条件を設定し、前記動体領域でない非動体領域に対応する画素については、同一のＩＳＯ感度が適用され、かつ、前記明るさ情報に応じたシャッタースピードが適用されるように画素毎または領域毎に前記撮影条件を設定する設定工程と、
を含むことを特徴とする制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置において、ダイナミックレンジの広いシーンに応じた画像を生成する技術に関する。

【背景技術】

【0002】

従来、ビデオカメラなどの撮像装置を用いて動被写体を撮影する手法の一つとして、特許文献１に示される手法が提案されている。この手法では、動画映像の複数フレームから動被写体の移動速度を推定し、推定された移動速度に応じてシャッタースピードや絞りなどの撮影条件を調整する。この方法を用いることで、動被写体に対して調整された最適な撮影条件で画像を撮影することができる。

【0003】

また、画素毎に露光量を制御することにより、シーンの輝度レンジに応じたダイナミックレンジで撮影を行う手法も提案されている（特許文献２参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００４－１２０２９８号公報

【文献】特開２０１０－１３６２０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

露出は、シャッタースピードと絞り、感度で決まるが、動画撮影の場合は絞りを固定することが多いため、露出を調整するためにはシャッタースピードが調整される。しかしながら、特許文献１に記載の手法にしたがってシャッタースピードを動被写体の移動速度に応じて決定すると、ダイナミックレンジの広いシーンへの対応が難しくなる。すなわち、特許文献１に記載された手法では、シャッタースピードが遅くなった場合に、動被写体の周囲の明るい領域が白飛びしやすくなり、シャッタースピードが速くなった場合には、動被写体の周囲の暗い領域が黒潰れしやすくなる。

【0006】

一方で、特許文献２に記載された手法により動被写体を含むシーンを撮影すると、一つの動被写体の中で明るさが異なる領域が存在する場合に、その領域の画素毎に異なるシャッタースピードが設定されることがある。そうすると、同一の動被写体であっても、画素位置によって、動きによるぶれ量が異なる画像が生成されてしまう可能性がある。そのような画像の動被写体部分には、違和感が生じてしまう。

【0007】

本発明はこのような問題に鑑みなされたものであり、動被写体部分に違和感を生じさせないようにして、ダイナミックレンジの広いシーンに応じた画像を生成することができる撮像装置、該撮像装置の制御方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の一実施形態において、本発明の一実施形態において、画素毎または領域毎に撮影条件を制御して画像を撮影することが可能な撮像装置は、被写体の動き情報に基づいて、前記画像の動体領域を特定する特定手段と、前記被写体の明るさ情報を取得する取得手段と、前記動体領域に対応する画素については、同一のシャッタースピードが適用され、かつ、前記明るさ情報に応じたＩＳＯ感度が適用されるように画素毎または領域毎に前記撮影条件を設定し、前記動体領域でない非動体領域に対応する画素については、同一のＩＳＯ感度が適用され、かつ、前記明るさ情報に応じたシャッタースピードが適用されるように画素毎または領域毎に前記撮影条件を設定する設定手段と、を有することを特徴とする。

【発明の効果】

【0009】

本発明によると、動被写体部分に違和感を生じさせないようにして、ダイナミックレンジの広いシーンに応じた画像を生成することができる。

【図面の簡単な説明】

【0010】

【図1】一実施形態における撮像装置の構成図である。

【図2】一実施形態における明るさマップ及び動体マップを示す模式図である。

【図3】一実施形態における撮像処理の全体的な流れを示すフローチャートである。

【図4】一実施形態における撮影条件設定処理の流れを示すフローチャートである。

【図5】一実施形態におけるＩＳＯ感度設定変更処理の流れを示すフローチャートである。

【図6】一実施形態におけるシャッタースピード設定変更処理の流れを示すフローチャートである。

【図7】一実施形態における撮影条件変更テーブルの例を示す図である。

【図8】一実施形態における撮像処理の全体的な流れを示すフローチャートである。

【図9】一実施形態における動体マップ値更新テーブルの例を示す図である。

【図10】一実施形態における撮影条件変更テーブルの例を示す図である。

【発明を実施するための形態】

【0011】

[実施例１]

【0012】

以下、添付図面を参照しながら、本発明の実施形態について詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に必ずしも限定されるものではない。

【0013】

（第１の実施形態）
［概要］
実施形態の概要について説明する。本実施形態では、動体マップ取得部から与えられた動体マップと、明るさマップ取得部から与えられた明るさマップとに基づいて、センサ上の各画素の露出条件を決定する。センサには、例えば特許文献２に示されたような画素毎に撮影条件を設定できるセンサを用いる。このため、撮影条件は、画素毎にシャッタースピードと感度の設定値を含む。

【0014】

また、本実施形態においては、動体マップおよび明るさマップは、センサ画素数に比べて少ない画素数で構成されている。動体マップの値を参照し、動体の可能性が高い画素については、シャッタースピード設定値を被写体で同一の値に設定する。そして、明るさマップに基づいて、各画素の露出設定の変更を行う。以下、これらの処理の詳細について説明する。

【0015】

［装置構成］
図１は、一実施形態における撮像装置の構成図である。本実施形態における撮像装置は、画素毎にシャッタースピードやＩＳＯ感度などの撮影条件を設定することができ、画素毎に露光量を制御して画像を撮影することができる。

【0016】

撮像部１０１は、被写体の光を検知するための装置である。撮像部１０１は、例えば、ズームレンズ、フォーカスレンズ、ぶれ補正レンズ、絞り、シャッター、光学ローパスフィルタ、ｉＲカットフィルタ、カラーフィルタ、及び、ＣＭＯＳやＣＣＤなどのセンサなどから構成される。

【0017】

Ａ／Ｄ変換部１０２は、被写体の光の検知量をデジタル値に変換するための装置である。

【0018】

信号処理部１０３は、上記デジタル値を信号処理し、デジタル画像を生成するための装置であり、例えば、デモザイキング処理、ホワイトバランス処理、及びガンマ処理などを行う。

【0019】

Ｄ／Ａ変換部１０４は、信号処理部１０３で得られたデジタル画像を表示用にアナログ変換する処理を行う。

【0020】

エンコーダ部１０５は、上記デジタル画像に対してデータ圧縮処理を行うための装置であり、例えば、ＪＰＥＧ方式で圧縮するなどの処理を行う。

【0021】

メディアインターフェース（メディアＩ／Ｆ）部１０６は、撮像装置をＰＣやその他のメディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリなど）につなぐためのインターフェースである。

【0022】

ＣＰＵ１０７は、上述した各構成要素の処理の全てに関わる。ＲＯＭ１０８とＲＡＭ１０９は、処理に必要なプログラム、データ、作業領域などをＣＰＵ１０７に提供する。また、後述する処理に必要な制御プログラムがＲＯＭ１０８に格納されている場合には、一旦ＲＡＭ１０９に読み込まれた後に、ＣＰＵ１０７によって実行される。

【0023】

操作部１１１は、ユーザからの指示を入力する装置であり、例えば、ボタンやモードダイヤル、表示部１１３に付随するタッチパネル等が該当する。本実施形態の場合は、ＨＤＲ（ハイダイナミックレンジ）出力と標準出力との切り替えのための入力も操作部１１１で行う。

【0024】

キャラクタジェネレーション部１１２は、文字やグラフィックを生成するための装置である。

【0025】

表示部１１３は、撮影画像やＧＵＩ等の画像を表示する装置であり、一般的にはＣＲＴや液晶ディスプレイなどが用いられる。また、公知のタッチスクリーンであっても良い。その場合、タッチスクリーンによる入力については操作部１１１の入力として扱うことも可能である。

【0026】

動体マップ取得部１１４は、撮像部１０１で取得される被写体に動きがあるかどうかを検出するための構成である。動体マップ取得部１１４は例えば、撮像部１０１から時系列に沿った撮像データを取得し、撮像データ間の輝度変化を複数画素で平均化することにより、画素毎の被写体の動き情報を生成する。輝度変化の平均値が大きい場合は、動きのある画素として動き情報が生成され、輝度変化の平均値が小さい場合は動きのない画素として動き情報が生成される。動体マップ取得部１１４は、このようにして生成された動き情報を画像における各画素に対して生成することで、動体マップとして保持する。動体マップの詳細については後述する。なお、動体マップは上記の方法だけでなく、他の方法を用いて取得してもよい。例えば、時系列に沿った２つの撮像データ間においては、同じ画素位置の画素値の差分を所定の閾値と比較し、差分が大きい画素は動体領域、差分が小さい画素は非動体領域とすることで、動体マップを生成することもできる。

【0027】

明るさマップ取得部１１５は、撮像部１０１で取得される撮像データから、画素毎に被写体の明るさを示す明るさマップを取得する。たとえば、明るさマップ取得部１１５は、センサから得られた画素毎の明るさ情報を複数画素で平均化し、画像の明るさマップとして保持する。明るさマップの詳細については後述する。

【0028】

撮像系制御部１１０は、ＣＰＵ１０７で指示された撮像系の制御を行うための装置である。本実施形態では、撮像系制御部１１０で設定されたシャッタースピードやＩＳＯ感度などの撮影条件の設定を、撮像部１０１に対して画素毎に行う。また、撮像系制御部１１０は、フォーカスを合わせる、シャッターを開く、絞りを調節するなどの制御も行う。

【0029】

なお、撮像装置は、上記以外にも様々な構成要素を含むが、本発明の主眼ではないので、その説明は省略する。

【0030】

本実施形態で説明する撮影条件設定処理は、動体マップ取得部１１４から動体マップを取得し、明るさマップ取得部１１５から明るさマップを取得し、動体マップおよび明るさマップに基づいて撮像系制御部１１０を制御するための撮影条件データを生成する。撮影条件設定処理は、ＣＰＵ１０７が、ＲＯＭ１０８に格納された制御プログラムをＲＡＭ１０９に読み込み、実行することで実施される。

【0031】

［明るさマップ及び動体マップについて］
本実施形態において用いられる、明るさマップと動体マップについて、図２の模式図を参照して以下に説明する。

【0032】

図２（ａ）は撮影画像の例を示し、図２（ｂ）は明るさマップの例を示し、図２（ｃ）は動体マップの例を示す。明るさマップ及び動体マップのいずれも、撮影画像の画素数よりも少ない画素数で構成された情報である。また、明るさマップ及び動体マップは、撮影画像よりも少ないビット数で表現されており、例えば撮影画像が１２ビットで表現されているのに対して、明るさマップや動体マップは８ビットで表現される。明るさマップは、値が高いほど照度が高いことを意味する。動体マップは、値が高いほどその領域の被写体に動体が含まれている確率が高いことを示す。

【0033】

［撮像処理の全体的な流れ］
本実施形態の撮像装置における撮像処理の全体的な流れを、図３のフローチャートを用いて説明する。ここでは、例えば操作部１１１により、ＨＤＲ出力が指定された撮影開始の指示が入力されると、以下に説明する撮像処理が開始される。

【0034】

なお、フローチャートで示される一連の処理は、ＣＰＵ１０７がＲＯＭ１０８に格納されている制御プログラムをＲＡＭ１０９に読み込み、実行することにより行われる。あるいはまた、フローチャートにおけるステップの一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップを意味する。その他のフローチャートについても同様である。

【0035】

まず、Ｓ２０１において、ＣＰＵ１０７は、明るさマップ取得部１１５を用いて、被写体の明るさマップを取得する。

【0036】

Ｓ２０２において、ＣＰＵ１０７は、動体マップ取得部１１４を用いて、被写体の動体マップを取得する。

【0037】

Ｓ２０３において、ＣＰＵ１０７は、Ｓ２０１で取得した明るさマップ、およびＳ２０２で取得した動体マップをもとに、撮像部１０１が撮影を行う際の撮影条件を設定する。すなわち、ＣＰＵ１０７は、撮影条件設定手段として機能する。詳細については後述する。

【0038】

Ｓ２０４において、ＣＰＵ１０７は、Ｓ２０３で設定した撮影条件データを撮像系制御部１１０に送り、撮像部１０１を駆動させて撮影を行い、撮像データを取得する。

【0039】

Ｓ２０５において、ＣＰＵ１０７は、Ｓ２０４で得られた撮像データに対して、露光量差に合わせてデジタルゲインを適用し、画像全体の輝度を合わせる。Ｓ２０４で得られる撮像データは、画素毎に異なる撮影条件が適用されているため、これらの撮影条件を疑似的に統一するために、各画素に対して露光量差に相当するデジタルゲインを適用する。

【0040】

以上説明したように、本実施形態の撮像装置における撮像処理が実施される。

【0041】

［撮影条件設定処理］
次に、図３のＳ２０３に示した撮影条件設定処理について、図４のフローチャートを用いて説明する。

【0042】

Ｓ３０１において、ＣＰＵ１０７は、Ｓ２０１で取得した動体マップをＲＡＭ１０９へ入力する。

【0043】

Ｓ３０２において、ＣＰＵ１０７は、ＲＡＭ１０９へ入力した動体マップをもとに、動体に対応する領域を動体領域として特定する。具体的には、ＣＰＵ１０７は、動体マップのうち、値が所定の閾値以上である部分を動体部分と判定し、動体マップの値を最大値である２５５に更新する。一方、ＣＰＵ１０７は、動体マップのうち、値が所定の閾値より小さい部分を非動体領域と判定し、動体マップの値を最小値である０に更新する。このように、ＣＰＵ１０７は、動体領域特定手段として機能する。

【0044】

Ｓ３０３において、ＣＰＵ１０７は、Ｓ２０２で取得した明るさマップをＲＡＭ１０９へ入力する。

【0045】

Ｓ３０４において、ＣＰＵ１０７は、撮影時の基本露出量を決定する。基本露出量は、例えばユーザが指定したシャッタースピード、ＩＳＯ感度、絞り値を基に決定される。なお、基本露出量は、明るさマップ取得部１１５から得られた明るさマップを参照して平均明るさを露出量に変換して決定してもよいし、他の方法で決定してもよい。

【0046】

Ｓ３０５において、ＣＰＵ１０７は、撮影条件設定画素の位置を初期化する。例えば、ＣＰＵ１０７は、左上の座標を初期値として設定する。以降、各画素の撮影条件設定処理は、右下へ向かって順次行われる。

【0047】

Ｓ３０６において、ＣＰＵ１０７は、撮影条件設定処理が行われる対象画素の位置（すなわち、処理対象の画素位置）に対応する動体マップの値が、動体部分を示す値（すなわち、２５５）かどうかを判定する。動体部分であると判定された場合はＳ３０７へ進み、そうでない場合はＳ３０８へ進む。

【0048】

Ｓ３０７において、ＣＰＵ１０７は、処理対象の画素位置に対応する照度分布マップの値を参照し、ＩＳＯ感度を変更した撮影条件を設定する。すなわち、動体部分については、シャッタースピードを変更せずに、ＩＳＯ感度を変更する。したがって、一つの動体の中で明るさが異なる領域が存在する場合でも、同一のシャッタースピードが適用されるので、動体がぶれたとしてもそのぶれ量は同じになり、違和感を生じさせないようにすることができる。詳細は後述する。

【0049】

Ｓ３０８において、ＣＰＵ１０７は、処理対象の画素位置に対応する照度分布マップの値を参照し、シャッタースピードを変更した撮影条件を設定する。すなわち、非動体部分については、ＩＳＯ感度を変更せずに、シャッタースピードを変更する。詳細は後述する。

【0050】

Ｓ３０９において、ＣＰＵ１０７は、撮影条件設定処理が全画素で終了したか判定する。終了していれば処理を終了し、そうでなければＳ３１０へ進む。

【0051】

Ｓ３１０において、ＣＰＵ１０７は、処理対象の画素位置を次の画素位置に移行する。一つの画素に対する処理が終わると、一つ右の画素へ移動する。画素が右端部にある場合には、一つ下の行の左端部の画素へ移動する。

【0052】

［ＩＳＯ感度設定変更処理］
次に、図４のＳ３０７に示したＩＳＯ感度設定変更処理について、図５のフローチャートを用いて説明する。

【0053】

まず、Ｓ４０１において、ＣＰＵ１０７は、ＲＡＭ１０９に保存されている明るさマップを参照する。

【0054】

Ｓ４０２において、ＣＰＵ１０７は、処理対象の画素位置に対応する明るさマップの値を参照し、図４のＳ３０４で決定した基本露出量との明るさの差から、ゲイン変更量を算出する。具体的には、ＣＰＵ１０７は、以下の式（１）を用いてゲイン変更量を求めることができる。
Ｇ＝ｒｏｕｎｄ（Ｌ（Ｘ，Ｙ）／Ｎ（ｍａｐ）） （１）

【0055】

ここで、Ｇはゲイン変更量、Ｌ（Ｘ，Ｙ）は対象画素と同一の領域に属する明るさマップの値、Ｎ（ｍａｐ）は、図７（ａ）に示す、ＩＳＯ感度設定変更量をまとめた撮影条件変更テーブルの要素数を示す。撮影条件変更テーブルについては後述する。

【0056】

Ｓ４０３において、ＣＰＵ１０７は、Ｓ４０２で求めたゲイン変更量をもとに、図７（ａ）に示す撮影条件変更テーブルを参照し、撮影条件を決定する。具体的には、式（１）を用いて算出されたゲイン変更量Ｇの値から、撮影条件変更テーブルの明るさマップ値の範囲を参照し、該当するＩＳＯ感度設定変更量を、Ｓ３０４で決定したＩＳＯ感度に対して加える。例えば、式（１）で求めたゲイン変更量Ｇが７５であった場合、撮影条件変更テーブルを参照して、Ｓ３０４で決定したＩＳＯ感度を１段分上げるという設定変更を行う。

【0057】

［シャッタースピード設定変更処理］
次に、図４のＳ３０８に示したシャッタースピード設定変更処理について、図６のフローチャートを用いて説明する。

【0058】

まず、Ｓ５０１において、ＣＰＵ１０７は、ＲＡＭ１０９に保存されている明るさマップを参照する。

【0059】

Ｓ５０２において、ＣＰＵ１０７は、処理対象の画素位置に対応する明るさマップの値を参照し、図４のＳ３０４で決定した基本露出量との明るさの差から、ゲイン変更量を算出する。具体的には、ＣＰＵ１０７は、以下の式（２）を用いてゲイン変更量を求めることができる。
Ｇ‘＝ｒｏｕｎｄ（Ｌ（Ｘ，Ｙ）／Ｎ‘（ｍａｐ）） （２）

【0060】

ここで、Ｇ‘はゲイン変更量、Ｌ（Ｘ，Ｙ）は対象画素と同一の領域に属する明るさマップの値、Ｎ‘（ｍａｐ）は、図７（ｂ）に示す撮影条件変更テーブルの要素数を示す。撮影条件変更テーブルについては後述する。

【0061】

Ｓ５０３において、ＣＰＵ１０７は、Ｓ５０２で求めたゲイン変更量をもとに、図７（ｂ）に示す撮影条件変更テーブルを参照し、撮影条件を決定する。具体的には、式（２）を用いて算出されたゲイン変更量Ｇ‘の値から、撮影条件変更テーブルの明るさマップ値の範囲を参照し、該当するシャッタースピード変更量を、Ｓ３０４で決定したシャッタースピードに対して加える。例えば、式（２）で求めたゲイン変更量Ｇ’が１９０であった場合、撮影条件変更テーブルを参照して、Ｓ３０４で決定したシャッタースピードを１段分短くするという設定変更を行う。

【0062】

［撮影条件変更テーブル］
図７は、図５のＳ４０２や図６のＳ５０２で用いた撮影条件変更テーブルの例を示す。図７（ａ）は、ＩＳＯ感度を変更する場合の撮影条件変更テーブルを示し、明るさマップ値とＩＳＯ値との関係が示されている。図７（ｂ）は、シャッタースピードを変更する場合の撮影条件変更テーブルを示し、シャッタースピード（Ｔｖ）の値と明るさマップ値との関係が示されている。

【0063】

以上説明したように、本実施形態によれば、動被写体部分に違和感を生じさせないようにして、ダイナミックレンジの広いシーンに応じた画像を生成することができる。

【0064】

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態では、動物体の露光量補正をシャッタースピード、およびゲインの両方を用いて行う。これは、被写体となる動物体の速さに応じて露光量補正を変化させるとき、動物体の速さが非常に速い場合や、動物体が非常に明るい、または暗い場合等、ＩＳＯ感度による補正だけでは動体部分の露光量が十分に調整できない場合があるからである。

【0065】

まず、本実施形態における撮影処理の全体的な流れを、図８のフローチャートを用いて説明する。また、図９は、本実施形態における動体マップ値更新テーブルの例を示し、図１０は、本実施形態における撮影条件変更テーブルの例を示す。なお、本実施形態の説明では、第１の実施形態と異なる点を主に説明する。

【0066】

本実施形態では、動体マップのグループ化の方法、ゲイン振り条件の設定方法、及びシャッタースピードの設定方法が、第１の実施形態と異なる。

【0067】

Ｓ６０２において、ＣＰＵ１０７は、ＲＡＭ１０９へ入力した動体マップをもとに、動体に対応する領域を動体領域として特定する。具体的には、ＣＰＵ１０７は、動体マップのうち、図９に示す表のように、動体マップの値が所定の値以上である部分を動体部分と判定し、動体マップの値を図９の表に基づき更新する。例えば、動体マップの値が１５０であった場合は、動体マップの値を１２８へと更新する。また、ＣＰＵ１０７は、動体マップのうち、値が所定の値より小さい部分を非動体領域と判定し、動体マップの値を最小値である０に更新する。なお、この値の区分は図９に示す値だけでなく、他の値で区分分けしてもよい。

【0068】

Ｓ６０７において、ＣＰＵ１０７は、処理対象の画素位置に対応する照度分布マップの値を参照し、同じ動体マップ値を持つ画素の平均照度を算出する。そして、図１０（ａ）の表に従い、同じ動体マップ値を持つ画素のシャッタースピードを変更する。あわせて、上記同じ動体マップ値を持つ画素の照度マップの値を修正する。例えば、ある動体画素の照度が１００で、その動体部分の平均照度が５０であった場合は、動体部分のシャッタースピードを１段分長くし、照度マップの値から５０を引いて５０へと変更する。

【0069】

Ｓ６１１において、ＣＰＵ１０７は、図１０（ｂ）の表を参照して、動体部分について、ゲインを変更した撮影条件を設定する。これらの動作により、同じ速度で動くと判定された動体部分については、シャッタースピードを同一の値にし、併せて被写体の照度に応じてゲインを変更する。したがって、動体の中で明るさが異なる領域が存在する場合でも、動体には同一のシャッタースピードが適用される。このため、動体がぶれたとしてもそのぶれ量は同じになり、違和感を生じさせないようにすることができる。また、全体的に暗い動体や、全体的に明るい動体などに対して、第１の実施形態のようにゲインによる変更のみで対応しようとした場合、動体部分に対して大きなゲインを適用する必要が出てくる。本実施形態においては、このような場合でも、動体全体に対するシャッタースピードを変更することで、動体のぶれ量を同じにすることができる。併せて、動体の照度が異なる領域が存在しても、ゲインの変更により適切な露光条件を設定することができる。

【0070】

以上説明したように、本実施形態によれば、動体領域の露光量調整がＩＳＯ感度だけでは十分でなかった場合にも、露光量調整を行った画像を得ることができる。

【0071】

なお、本発明は、複数枚合成を行う画像に対しても適用できる。その場合、動体を含む撮影時には、複数枚の画像が同一のシャッタースピードになる。これらの画像を合成するため、動体部分のぶれの違いがなくなり、違和感の少ない画像を得ることができる。

【0072】

また、上述の実施形態では、画素毎に撮影条件を設定できるセンサを用いる場合を例にしたが、領域毎に撮影条件を設定できるセンサを用いる場合にも適用できる。その場合は、動体である被写体を含む領域に対しては、同じシャッタースピードが設定されるように撮影条件を設定する。

【0073】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0074】

１０１ 撮像部
１０２ Ａ／Ｄ変換部
１０３ 信号処理部
１０４ Ｄ／Ａ変換部
１０５ エンコーダ部
１０６ メディアＩ／Ｆ部
１０７ ＣＰＵ
１０８ ＲＯＭ
１０９ ＲＡＭ
１１０ 撮像系制御部
１１１ 操作部
１１２ キャラクタジェネレーション部
１１３ 表示部
１１４ 動体マップ取得部
１１５ 明るさマップ取得部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】