特許 7458819 撮像装置、制御方法、プログラム及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-22

(45)【発行日】2024-04-01

(54)【発明の名称】撮像装置、制御方法、プログラム及び記憶媒体

(51)【国際特許分類】

   H04N 25/583 20230101AFI20240325BHJP

   H04N 25/57 20230101ALI20240325BHJP

   H04N 25/53 20230101ALI20240325BHJP

   H04N 25/50 20230101ALI20240325BHJP

   H04N 23/71 20230101ALI20240325BHJP

   H04N 23/73 20230101ALI20240325BHJP

   G03B 15/00 20210101ALI20240325BHJP

   G03B 7/091 20210101ALI20240325BHJP

【ＦＩ】

H04N25/583

H04N25/57

H04N25/53

H04N25/50

H04N23/71

H04N23/73

G03B15/00 Q

G03B7/091

【請求項の数】 6

(21)【出願番号】P 2020028593

(22)【出願日】2020-02-21

(65)【公開番号】P2021136461

(43)【公開日】2021-09-13

【審査請求日】2023-02-13

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】斉藤 孝男

【審査官】三沢 岳志

(56)【参考文献】

【文献】特開２０１２－２３５３３２（ＪＰ，Ａ）

【文献】特開２０１６－１７１４５５（ＪＰ，Ａ）

【文献】特開２００６－１９７１９２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／００５２７８８（ＵＳ，Ａ１）

【文献】特開２００６－２５４３６４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２５／５８３

Ｈ０４Ｎ ２５／５７

Ｈ０４Ｎ ２５／５３

Ｈ０４Ｎ ２５／５０

Ｈ０４Ｎ ２３／７１

Ｈ０４Ｎ ２３／７３

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ ７／０９１

(57)【特許請求の範囲】

【請求項1】

画素または複数の前記画素を含む領域ごとに算出された露光時間で画像を撮像可能な撮像手段と、
前記撮像手段により撮像された画像から動体領域を検出する検出手段と、
前記検出手段により検出された前記動体領域に含まれる複数の前記画素又は前記領域の輝度を算出する算出手段と、
前記算出手段により算出された輝度に基づいて、前記動体領域に含まれる複数の前記画素又は前記領域に対して、前記算出された露光時間と異なる露光時間を決定する決定手段と、を有し、
前記決定手段は、前記輝度が閾値以上の画素又は領域における露光時間が、前記算出された露光時間よりも小さい所定の範囲内で異なるように、前記露光時間を決定することを特徴とする撮像装置。

【請求項2】

請求項１に記載の撮像装置において、
前記輝度が閾値よりも小さい前記画素又は前記領域に対して、前記算出された露光時間よりも小さい同一の露光時間を設定することを特徴とする撮像装置。

【請求項3】

請求項１又は２に記載の撮像装置において、
前記動体領域の移動速度を検出する速度検出手段をさらに有し、
前記決定手段は、前記速度検出手段により検出した前記動体領域の移動速度に応じて、前記所定の範囲の上限値を決定することを特徴とする撮像装置。

【請求項4】

画素または複数の前記画素を含む領域ごとに算出された露光時間で画像を撮像可能な撮像部を有する撮像装置の制御方法であって、
前記撮像部により撮像された画像から動体領域を検出する検出ステップと、
前記検出ステップにより検出された前記動体領域に含まれる複数の前記画素又は前記領域の輝度を算出する算出ステップと、
前記算出ステップにより算出された輝度に基づいて、前記動体領域に含まれる複数の前記画素又は前記領域に対して、前記算出された露光時間と異なる露光時間を決定する決定ステップと、を有し、
前記決定ステップでは、前記輝度が閾値よりも小さい画素又は領域における露光時間が、前記算出された露光時間よりも小さい所定の範囲内となるように前記露光時間を決定することを特徴とする制御方法。

【請求項5】

コンピュータに、画素または複数の前記画素を含む領域ごとに算出された露光時間で画像を撮像可能な撮像部を有する撮像装置の制御方法を実行させるためのプログラムであって、前記方法は、
前記撮像部により撮像された画像から動体領域を検出する検出ステップと、
前記検出ステップにより検出された前記動体領域に含まれる複数の前記画素又は前記領域の輝度を算出する算出ステップと、
前記算出ステップにより算出された輝度に基づいて、前記動体領域に含まれる複数の前記画素又は前記領域に対して、前記算出された露光時間と異なる露光時間を決定する決定ステップと、を有し、
前記決定ステップでは、前記輝度が閾値よりも小さい画素又は領域における露光時間が、前記算出された露光時間よりも小さい所定の範囲内となるように前記露光時間を決定することを特徴とするプログラム。

【請求項6】

請求項５に記載のプログラムを記憶したコンピュータで読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置、制御方法、プログラム及び記憶媒体に関する。

【背景技術】

【0002】

従来より、露光時間画素それぞれの露光時間を制御することで、被写体の輝度レンジが大きい場合でも適切に撮影を行う手法が知られている（たとえば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１０－１３６２０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、ブレ量のばらつきを抑えつつダイナミックレンジの広い画像の撮像を可能とすることである。

【課題を解決するための手段】

【0005】

本発明は、以下の解決手段によって上記課題を解決する。

【0006】

本発明に係る撮像装置は、画素または複数の前記画素を含む領域ごとに算出された露光時間で画像を撮像可能な撮像手段と、前記撮像手段により撮像された画像から動体領域を検出する検出手段と、前記検出手段により検出された前記動体領域に含まれる複数の前記画素又は前記領域の輝度を算出する算出手段と、前記算出手段により算出された輝度に基づいて、前記動体領域に含まれる複数の前記画素又は前記領域に対して、前記算出された露光時間と異なる露光時間を決定する決定手段と、を有し、前記決定手段は、前記輝度が閾値よりも小さい画素又は領域における露光時間が、前記算出された露光時間よりも小さい所定の範囲内となるように前記露光時間を決定することを特徴とする。

【図面の簡単な説明】

【0007】

【図1】本実施形態に係る撮像装置の機能構成を示す図である。

【図2】本実施形態に係る各マップを示す図である。

【図3】第１の実施形態に係る撮像装置の露出制御動作を示すフローチャートである。

【図4】第１の実施形態に係る撮像素子の露出制御の処理を示すフローチャートである。

【図5】第１の実施形態に係る露光時間補正値の変換テーブルの例を示す図である。

【図6】第１の実施形態に係る露光時間の補正前後の値の一例を示す図である。

【図7】第２の実施形態に係る撮像素子の露出制御の処理を示すフローチャートである。

【図8】第２の実施形態に係る露光時間補正値の変換テーブルの例を示す図である。

【図9】第３の実施形態に係る撮像装置の機能構成を示す図である。

【図10】第３の実施形態に係る撮像装置の露出制御を示すフローチャートである。

【図11】第３の実施形態に係る撮像素子の露出制御の処理を示すフローチャートである。

【図12】第３の実施形態に係る適正な露光時間と動体の速度との対応テーブルである。

【図13】本実施形態に係る撮像装置のハードウェア構成を示す図である。

【発明を実施するための形態】

【0008】

（第１の実施形態）
図１は、本発明の実施形態に係る撮像装置の機能構成図である。レンズユニット１００を通して得られた被写体像は撮像素子１１０によって電気信号（画素信号）に変換される。レンズユニット１００は例えばズームレンズ、フォーカスレンズ、絞り、などによって構成されている。撮像素子１１０は画素または領域（ブロック）ごとに露光時間やゲインといった露出条件を制御して画像を撮像可能である。このため、撮像素子１１０は、ダイナミックレンジの広い画像を取得するのに適している。本実施形態では、撮像領域全体を複数のブロックに分割し、ブロックごとに露光時間を制御する例を説明する。得られた画素信号はデータ変換部２００により画像処理に適した形式に変換される。データ変換の一例として、Ａ／Ｄ変換、デモザイク処理などが含まれる。次に画像処理部２０１によって、補正処理、現像処理を経て画像信号に変換される。またＪＰＥＧ方式などのデータ圧縮処理を含んでも良い。得られた画像信号は通信部２０２によって外部インターフェース経由で画像データとして出力される。上記の構成要素の処理は全て制御部２１０によって制御され、必要に応じて記憶部２１１に保存される。また、記憶部２１１に保存されたプログラムやデータを用いて、各構成要素を制御することが可能である。

【0009】

また、本実施形態に係る撮像装置は、動体マップ取得部２２０、明るさマップ取得部２２１、および輝度レンジマップ取得部２２２を有している。

【0010】

動体マップ取得部２２０は、撮像素子１１０で撮影される被写体が動いている場合、それを動体として検出し、動体マップを取得する。動体マップ取得部２２０は、例えば、時系列に沿って取得した画素信号の輝度情報を取得し、その輝度変化の絶対値を複数画素で平均して求めることで動き情報を生成する。この輝度変化の平均値が閾値より大きい場合は、平均値を求めるために使用した複数画素全体を、動きのある領域（ブロック）として動き情報を生成する。逆に、輝度変化の平均値が閾値より小さい場合は、動きのない領域（ブロック）として動き情報を生成する。このように生成された動き情報を画素信号の各画素に対応させることで、動体マップとして保存する。この動体マップを参照することで動体領域を認識することが可能である。動体マップの取得方法は、上述の方法に限定されず、他の方法で取得しても構わない。また、動き情報は、画素ごとに算出するようにしてもよい。

【0011】

明るさマップ取得部２２１は、画素信号から得られた輝度情報と、撮像素子１１０に設定された露出条件から、被写体の明るさ情報（明るさマップ）を取得する。明るさマップ取得部２２１は、例えば、複数画素で平均化した輝度情報および露出条件から、画像の明るさマップを生成して保持する。

【0012】

輝度レンジマップ取得部２２２は、動体マップ取得部２２０により得られた動体マップと、明るさマップ取得部２２１によって得られた明るさマップをもとに、動体の明るさ（輝度）の範囲（輝度レンジ）を算出する。輝度レンジマップ取得部２２２は例えば、動体マップによって動体領域と認識された画素が持つ明るさ情報を、明るさマップを用いて求め、動体領域内の明るさマップの上限値と各画素の明るさマップの値の差分を、各画素と対応したマップとして保存する。輝度レンジは上記方法だけでなく、他の方法を用いても良い。また、輝度レンジマップは動体マップや明るさマップに付加情報として加えても良い。

【0013】

動体マップ取得部２２０、明るさマップ取得部２２１、輝度レンジマップ取得部２２２もまた、制御部２１０によって制御され、得られたそれぞれの結果は記憶部２１１に保存される。

【0014】

次に、図２を参照しながら本実施形態における動体マップ、明るさマップ、および輝度レンジマップについて説明する。

【0015】

図２（ａ）は撮影画像の例であり、動体の片側（左側）だけが明るく照らされている状況を示している。ここでは簡易的に被写体だけを示しているが、動体マップおよび明るさマップは背景を含めて生成される。

【0016】

図２（ｂ）は動体マップの例である。図上では値が高いほど白く表現されており、その領域に動体が含まれる可能性が高いことを示している。また、撮影画像に比べて動体マップは解像度、階調ともに粗い情報で構成される。

【0017】

図２（ｃ）は明るさマップの例である。こちらも値が高いほど白く表現されており、被写体および背景が明るいことを示している。明るさマップも動体マップと同様に、解像度、階調ともに撮影画像に比べて粗い情報で構成される。

【0018】

図２（ｄ）は輝度レンジマップを表す例である。輝度レンジマップは、動体マップ内の動体領域と明るさマップを対応させ、動体領域内の最も明るい領域（ブロック）に対する明るさを、底を２とした対数で表している。つまり、最も明るい領域に対する明るさが半分になると、輝度レンジマップの値は－１となる。すなわち、輝度レンジマップは、最も明るいブロックを基準とした各ブロックの明るさを露出の段数で表している。図２（ｄ）において、０と書かれている部分は、動体領域の中で最も明るい部分を示しており、－２と書かれている部分は、動体領域の中の最も明るい部分（ブロック）に対して明るさが２段分暗いことを示している。具体的には、輝度レンジマップの各領域（ブロック）の値は、以下の数式１により算出される。

【0019】

【数1】

【0020】

ここで、Ｃは輝度レンジマップの各領域（ブロック）の値、Ａは動体領域の中で最も明るいブロックの輝度値、Ｂは対象のブロックの輝度値である。例えば、動体領域の中で最も明るいブロックの輝度値Ａが１００であり、対象のブロックの輝度値Ｂが２５であった場合には、輝度レンジマップの値Ｃは－２となる。

【0021】

このように最も明るい部分を基準として輝度レンジを表しても良いし、最も暗い部分を基準として表しても良い。その他の明るさを基準として輝度レンジを表しても良い。またここでは輝度レンジが表示されていない領域は動体領域でないことを表しているが、動体領域でないことを表す固定値（例えば＋１など）が入力されていても良い。

【0022】

なお、本実施形態では、輝度レンジマップの各ブロックの値を明るさの段数として算出する例を説明しているが、これに限定されない。輝度レンジマップは、動体領域における輝度のレンジ（分布）を示すことができさえすればよいので、段数以外の方法であってもよい。

【0023】

以下、図３を参照しながら本実施形態の撮像装置の動作フローについて説明する。図３は本実施形態における撮像装置が行う露出制御動作のフローチャートである。図３の各ステップは、主に制御部２１０により実行される。

【0024】

まず、ステップＳ３０１において、制御部２１０は明るさマップ取得部２２１を用いて、被写体の明るさマップを取得する。

【0025】

続いて、ステップＳ３０２において、制御部２１０は動体マップ取得部２２０を用いて、被写体の動体マップを取得する。

【0026】

続いて、ステップＳ３０３において、制御部２１０は動体マップから動き量（輝度値の変化量）が所定の値以上となる領域を抽出し、動体領域として設定する。得られた動体領域は次のステップＳ３０４へ渡されるが、動体領域マップとして記憶部２１１に保存しても良い。

【0027】

続いて、ステップＳ３０４において、制御部２１０は輝度レンジマップ取得部２２２を用いて、Ｓ３０３にて設定された動体領域の輝度レンジを算出し、輝度レンジマップを取得する。

【0028】

続いて、ステップＳ３０５において、制御部２１０はＳ３０１で求めた明るさマップを用いて、レンズユニット１００および撮像素子１１０の基本露出条件を求める。この基本露出条件は、例えば明るさマップの全画面平均をもとに露光時間、ゲイン、絞り値などの設定値として決定される。また、基本露出条件は他の方法で決定しても良い。

【0029】

続いて、ステップＳ３０６において、制御部２１０は、Ｓ３０１からＳ３０４で得られた明るさマップ、動体マップ、輝度レンジマップをもとに、各画素の個別露出条件を決定する。この個別露出条件は、例えば撮像素子１１０の各画素に設定される露光時間、ゲインなどの設定値である。本ステップの詳細については後述する。

【0030】

続いて、ステップＳ３０７において、制御部２１０はＳ３０５で決定した基本露出条件、Ｓ３０６で決定した個別露出条件に基づいて制御を行い、被写体の画像データを取得する。

【0031】

以上のように本実施形態の撮像装置における露出制御動作が実行される。

【0032】

次に図４を参照しながら、図３のステップＳ３０６における各画素の個別露出条件の設定方法について詳細に述べる。

【0033】

図４は、本実施形態における撮像装置の撮像素子１１０の個別の画素に対して露出設定する際の流れを示すフローチャートである。本フローは制御部２１０によって実行され、全ての画素に対して順次実行される。

【0034】

まず、ステップＳ４０１において、制御部２１０は明るさマップの値をもとに、対象画素の露出制御値であるゲインおよび露光時間を算出する。これにより、明るさマップの値に対して適正な露出量となるゲイン、および露光時間が求められる。

【0035】

続いて、ステップＳ４０２において、制御部２１０は対象画素が動体領域であるかどうかを判定する。判定を行う際に、制御部２１０は動体領域マップを記憶部２１１から読み出しても良いし、輝度レンジマップを読みだして、その値から動体領域かどうかを判定しても良い。動体領域である場合は、ステップＳ４０３へ移動する。動体領域でない場合、ステップＳ４０９へ移動する。

【0036】

ステップＳ４０３において、制御部２１０は輝度レンジマップの値を読み出し、その値（段数、明るさ）が閾値よりも小さいかどうかを判定する。閾値としては例えば－１（１段）などを設定し、記憶部２１０に保存されているものとする。輝度レンジマップの値が閾値よりも小さい場合、ステップＳ４０４に進む。一方、輝度レンジマップの値（段数、明るさ）が閾値以上の場合は、ステップＳ４０６に進む。

【0037】

ステップＳ４０４において、制御部２１０は輝度レンジマップの値を読み出し、輝度レンジマップの値（段数）を露光時間の補正値として、値分だけ露光時間が短くなるように再度算出する。結果として、輝度レンジの値が閾値よりも小さい動体領域に対しては同一の露光時間が設定される。これにより、露光時間が長くなり過ぎてブレが目立った画像となることを抑制することができる。

【0038】

続いて、ステップＳ４０５において、制御部２１０はゲインの値を、輝度レンジマップの値分だけ、つまり露光時間が短くなった分だけ大きくなるように再度算出する。これにより、ステップＳ４０４にて露光時間が変更された分だけ暗くなった動体領域を適正な露出量にすることが可能になる。その後、ステップＳ４０９へ進む。

【0039】

一方、ステップＳ４０６において、制御部２１０は輝度レンジマップの値を読み出し、読み出した値をもとにして露光時間の補正値を決定する。ステップＳ４０４では、輝度レンジマップの値をそのまま露光時間の補正値としたのに対し、ステップＳ４０６では、輝度レンジマップの値に基づいて露光時間の補正値が決定される点が異なる。ステップＳ４０６で決定される露光時間の補正値は、例えば輝度レンジマップの値が－２である場合は露光時間の補正値は－１．２５、といったように、絶対値が輝度レンジマップの値よりも小さい。

【0040】

図５は、輝度レンジマップの値と露光時間の補正値との関係を示したものである。

【0041】

輝度レンジマップの値と露光時間の補正値とは、図５（ａ）のようなテーブルとして記憶部２１１に保存されていても良い。輝度レンジマップの値が大きくなるほど、露光時間の補正値を大きくするとしても良く、あるいは輝度レンジマップの値がいくつでも、露光時間の補正値を固定値にする、としても良い。また組み合わせても良い。

【0042】

ここで、本実施形態ではブレ量のばらつきの低減と、広ダイナミックレンジの確保の両方を満たすことを目指しているが、ユーザーによってどちらかを優先させる場合も想定される。その際は、上記のステップＳ４０３における閾値、またステップＳ４０６における図５（ａ）のテーブルを、ユーザーの選択によって切り替えることで実現可能である。

【0043】

具体的には、ブレ量のばらつき低減を優先させる場合には、閾値を例えば＋３など、より大きな値とするとよい。また、テーブルを図５（ｂ）のように補正値をより大きな値にすることで動体領域のブレ量のばらつきを低減させることができる。

【0044】

反対に広ダイナミックレンジの確保を優先する場合には、閾値を例えば＋１など、より小さな値とするとよい。また、テーブルを図５（ｃ）のように補正値をより小さな値にすることで動体領域のダイナミックレンジを広げることができる。

【0045】

図４に戻って、ステップＳ４０７において、制御部２１０はステップＳ４０６にて求めた露光時間の補正値を用いて、露光時間を再度算出する。これにより、輝度レンジの値が閾値以上の動体領域に設定された露光時間が、Ｓ４０１で設定された値よりもより狭い範囲に設定される。これにより、動体領域について、広いダイナミックレンジを確保しつつブレ量を抑えることができる。

【0046】

ステップＳ４０８において、制御部２１０はゲインの値を、ステップＳ４０６にて求めた露光時間の補正値分だけ大きくなるように再度算出する。露光時間の補正により露光時間が短くなり画像が暗くなるので、その分を信号のゲインアップでカバーするためである。これにより、ステップＳ４０７にて変更された露光時間の分だけ露出量が変更された動体領域を適正な露出量にすることが可能になる。その後、ステップＳ４０９へ移動する。

【0047】

ステップＳ４０９において、制御部２１０は算出された画素の露出制御値を、個別露出条件として決定する。

【0048】

以上の動作を各ブロックに対して実行することで、全てのブロックに対して個別露出制御条件が決定される。なお、本実施形態では、ブロックごとに露光条件を決定する例を説明したが、画素単位あるいは領域単位で露光条件を決定するようにしてもよい。

【0049】

図６は、図４に示す露出設定の処理の前後における露光時間を示す図である。図６（ａ）は、図４のステップＳ４０１において算出された露光時間（段数）を示している。太線で囲んだ部分は、動体領域を示している。また、図６（ｂ）は、図４のステップＳ４０４又はＳ４０６において決定した露光時間（段数）の補正値を示している。また、図６（ｃ）は、ステップＳ４０４又はＳ４０７において補正した動体領域の露光時間（段数）である。図６（ａ）に示す各ブロックの露光時間（段数）と図６（ｂ）に示す各ブロックの補正値との和が図６（ｃ）に示す補正後の露光時間（段数）となる。なお、図６（ｃ）において、動体領域以外のブロックの露光時間（段数）については記載を省略しているが、実際には、動体領域以外のブロックも含めて露光時間（段数）が決定される。

【0050】

また、動体領域において、輝度レンジマップが閾値（－１．５）より小さいブロックについては、最も明るい部分と同じ露光時間（段数）に設定されている。また、閾値以上の部分については、同じ露光時間になっていないが、動体領域内の露光時間はステップＳ４０１での露光時間（図６（ａ））に比べて狭い範囲に設定されているのが分かる。露光時間の分布が狭くなった分、ダイナミックレンジが多少犠牲にはなるが、露光時間が短くなるのでブレ量を低減することができる。ダイナミックレンジが犠牲になるといっても、露光時間を一律で固定する場合に比べれば、十分に広いダイナミックレンジを確保できる。

【0051】

以上、説明したような露出制御動作を行うことで、輝度差が大きな動体に対して、動体領域内のブレ量のばらつきを抑えつつダイナミックレンジの広い画像を撮影することが可能となる。

【0052】

（第２の実施形態）
以下、図７を参照して、本発明の第２の実施形態における、撮像装置の動作フローについて説明する。本実施形態においては、各画素の個別露出条件の決定方法が第１の実施例と異なり、輝度レンジマップの値が閾値より小さい画素（又はブロック）に対して、必ずしも同じ露光時間を設定せず、露光時間の範囲を狭めるに留める点が異なる。ここでは相違点を主に説明する。

【0053】

図７は本実施形態における撮像装置の撮像素子１１０の個別の画素（又はブロック）に対して露出条件を設定する際の流れを示すフローチャートである。本フローは制御部２１０によって実行され、全ての画素（又はブロック）に対して順次実行される。

【0054】

まず、ステップＳ７０１からＳ７０３については、第１の実施形態におけるステップＳ４０１からＳ４０３と同様の制御が行われる。

【0055】

ステップＳ７０４において、制御部２１０は輝度レンジマップの値を読み出し、読み出した値に基づいて露光時間の補正値を決定する。ここで露光時間の補正値は、例えば輝度レンジマップの値が０．５段（絶対値）である場合は露光時間の補正値は０．２５段（絶対値）、といったように、０以上かつ輝度レンジマップの値（絶対値）よりも小さい。

【0056】

輝度レンジマップの値（絶対値）と露光時間の補正値（絶対値）とは、図８のようなテーブルとして記憶部２１１に保存されていても良い。輝度レンジマップの値が大きくなるほど、露光時間の補正値を大きくするとしても良く、あるいは輝度レンジマップの値がいくつでも、露光時間の補正値を固定値にする、としても良い。また組み合わせても良い。

【0057】

続いて、ステップＳ７０５において、制御部２１０はステップＳ７０４にて求めた露光時間の補正値を用いて、露光時間を補正値分だけ短くなるように再度算出する。これにより、輝度レンジの値が閾値以下の動体領域に設定された露光時間が、Ｓ７０１で設定された値よりもより狭い範囲に設定される。

【0058】

続いて、ステップＳ７０６において、制御部２１０はゲインの値を、ステップＳ７０４にて求めた露光時間の補正値分だけ大きくなるように再度算出する。これにより、ステップＳ７０５にて変更された露光時間の分だけ露出量が変更された動体領域を適正な露出量にすることが可能になる。その後、ステップＳ７１０へ移動する。

【0059】

ステップＳ７０７からＳ７１０においては、第１の実施例におけるステップＳ４０６からＳ４０９と同様の制御が行われる。

【0060】

以上、説明したような露出制御動作を行うことで、輝度差が大きな動体に対して、ブレ量のばらつきを抑えつつダイナミックレンジの広い画像を撮影することが可能となる。

【0061】

（第３の実施形態）
以下、図９を参照して、本発明の第３の実施形態における、撮像装置の動作フローについて説明する。本実施形態においては、さらに動体の速度を求めることが可能な構成となっている点が上記実施形態とは異なる。

【0062】

本実施形態では、動きベクトル抽出部２２３をさらに有する。具体的には、制御部２１０により明るさマップの時間的な変化を動きベクトルとして抽出させることで、動きベクトルの大きさから画面上の動体の速度を求めることが出来る。なお、動体の速度検出は、別の方法で行っても良い。動体の速度が速いほどブレ量が大きくなるため、露光時間を速度に応じて変更することで、被写体のブレ自体を抑えることが可能である。

【0063】

図１０は本実施形態における撮像装置が行う露出制御動作のフローチャートである。図１０の各ステップは、主に制御部２１０により実行される。第１および第２の実施形態と異なる点を主に説明する。

【0064】

まずステップＳ１００１からＳ１００４において、第１の実施例におけるステップＳ３０１からＳ３０４と同様の動作を行う。

【0065】

続いて、ステップＳ１００５において、制御部２１０は、Ｓ１００３にて設定された動体領域に対して、明るさマップの値から動きベクトルを抽出し、その動きベクトルの大きさの平均値を求めることで、動体の速度を算出する（速度検出）。得られた動体速度は記憶部２１１に保存される。

【0066】

続いて、ステップＳ１００６において、第１の実施例におけるステップＳ３０５と同様の動作を行う。

【0067】

続いて、ステップＳ１００７において、制御部２１０はＳ１００１からＳ１００５で得られた明るさマップ、動体マップ、輝度レンジマップおよび動体速度をもとに、各画素の個別露出条件を決定する。この個別露出条件は、例えば撮像素子１１０の各画素に設定される露光時間、ゲインなどの設定値である。本ステップの詳細については後述する。

【0068】

続いて、ステップＳ１００８において、制御部２１０は第１の実施形態におけるステップＳ３０７と同様の動作を行う。

【0069】

以上のように本実施形態の撮像装置における露出制御動作が実行される。

【0070】

次に図１１を参照しながら、図１０のステップＳ１００７における各画素の個別露出条件の設定方法について詳細に述べる。

【0071】

図１１は本実施形態における撮像装置の撮像素子１１０の個別の画素に対して露出条件を設定する際の流れを示すフローチャートである。本フローは制御部２１０によって実行され、全ての画素に対して順次実行される。

【0072】

まずステップＳ１１０１からＳ１１０４において、第１の実施例におけるステップＳ４０１からＳ４０４と同様の動作を行う。

【0073】

ステップＳ１１０５において、制御部２１０は動体の速度を読み出し、速度をもとにして適切な露光時間を上限露光時間として算出する。この上限露光時間は、被写体のブレ量が画像の違和感に繋がらないような露光時間の上限値として設定される。動体の速度と上限露光時間の関係は、図１２のようなテーブルとして記憶部２１１に保存されていても良い。すなわち、動体の移動速度が大きいほどブレ易いので、動体の移動速度が大きくなるにつれて露光時間の上限値が小さくなるようにする。

【0074】

続いて、ステップＳ１１０６において、制御部２１０はステップＳ１１０４において得られた露光時間と、ステップＳ１１０５において得られた上限露光時間とを比較し、露光時間が上限露光時間よりも長い場合、ステップＳ１１０７へ移動する。露光時間が上限露光時間よりも短い場合、ステップＳ１１０９へ移動する。

【0075】

ステップＳ１１０７において、制御部２１０は下限露光時間を露光時間として再度設定する。また両者の差分を記憶する。これにより、動体の移動速度に応じて、画像の違和感に繋がらないような露光時間に設定可能となる。

【0076】

続いて、ステップＳ１１０８において、制御部２１０はゲインの値を、ステップＳ１１０７で記憶した差分だけ大きくなるように再度算出する。これにより、ステップＳ１１０７にて変更された露光時間の分だけ露出量が変更された動体領域を適正な露出量にすることが可能になる。その後、ステップＳ１１１２へ移動する。

【0077】

ステップＳ１１０９において、第一の実施例におけるステップＳ４０５と同様の動作を行う。その後、ステップＳ１１１３へ移動する。

【0078】

ステップＳ１１１０からＳ１１１２において、第１の実施例におけるステップＳ４０６からＳ４０８と同様の動作を行う。

【0079】

ステップＳ１１１３において、制御部２１０は算出された画素の露出制御値を、個別露出条件として決定する。

【0080】

以上、説明したような露出制御動作を行うことで、輝度差が大きな動体（例えば、ヘッドランプが点灯した走行中の自動車など）に対して、移動速度に応じてブレ量の大きさを抑えるような適切な露光時間を設定できる。また、動体領域の各部分でのブレ量のばらつきを抑え、ダイナミックレンジの広い画像を撮影することが可能となる。

【0081】

なお、上記の実施形態では、画素単位あるいはブロック単位で露光条件を決定する例を説明したが、領域単位で露光条件を決定するようにしてもよい。

【0082】

（その他の実施形態）
本発明における制御の一部または全部を上述した実施形態の機能を実現するプログラム（ソフトウェア）をネットワーク又は各種記憶媒体を介して撮像装置や情報処理装置に供給するようにしてもよい。そしてその撮像装置や情報処理装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

【0083】

図１３は、上記各実施形態に係る処理をプログラムとして実行する撮像装置のハードウェアの構成例を示すブロック図である。

【0084】

ＣＰＵ１３０１は、ＲＡＭ１３０２やＲＯＭ１３０３に格納されているコンピュータプログラムやデータを用いて撮像装置全体の制御を行うと共に、上記各実施形態に係る処理を実行する。ＣＰＵ１３０１は、撮像部１３０５を制御する。

【0085】

ＲＡＭ１３０２は、外部記憶装置１３０４からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１３０６を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１３０２は、ＣＰＵ１３０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１３０２は、例えば、フレームメモリとして割当てたり、その他の各種のエリアを適宜提供したりすることができる。

【0086】

ＲＯＭ１３０３には、撮像装置の設定データや、ブートプログラムなどが格納されている。

【0087】

撮像部１３０５は、ＣＣＤやＣＭＯＳ等の撮像素子から構成することができる。不図示の撮像光学系による被写体像を光電変換して画像信号を生成する。

【0088】

外部記憶装置１３０４は、ＵＳＢメモリ、ＳＤカード等の外部記憶装置である。外部記憶装置１３０４には、上記各実施形態に係る処理をＣＰＵ１３０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置１３０４には、処理対象としての各画像が保存されていても良い。

【0089】

外部記憶装置１３０４に保存されているコンピュータプログラムやデータは、ＣＰＵ１３０１による制御に従って適宜ＲＡＭ１３０２にロードされ、ＣＰＵ１３０１による処理対象となる。Ｉ／Ｆ１３０６には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができる。また、本コンピュータはこのＩ／Ｆ１３０６を介して様々な情報を取得したり、送出したりすることができる。１３０７は上述の各部を繋ぐバスである。

【0090】

以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

【符号の説明】

【0091】

１００ レンズユニット
１１０ 撮像素子
２００ データ変換部
２０１ 画像処理部
２０２ 通信部
２１０ 制御部
２１１ 記憶部
２２０ 動体マップ取得部
２２１ 明るさマップ取得部
２２２ 輝度レンジマップ取得部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】