知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-11
(45)【発行日】2024-10-22
(54)【発明の名称】撮像装置、撮像方法およびプログラム
(51)【国際特許分類】
H04N 23/71 20230101AFI20241015BHJP
G03B 7/091 20210101ALI20241015BHJP
H04N 23/60 20230101ALI20241015BHJP
H04N 23/695 20230101ALI20241015BHJP
【ＦＩ】
H04N23/71
G03B7/091
H04N23/60 500
H04N23/695
【請求項の数】
10
(21)【出願番号】P 2020206642
(22)【出願日】2020-12-14
(65)【公開番号】P2022093912
(43)【公開日】2022-06-24
【審査請求日】2023-08-24
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【弁理士】
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100223941
【弁理士】
【氏名又は名称】高橋 佳子
(74)【代理人】
【識別番号】100159695
【弁理士】
【氏名又は名称】中辻 七朗
(74)【代理人】
【識別番号】100172476
【弁理士】
【氏名又は名称】冨田 一史
(74)【代理人】
【識別番号】100126974
【弁理士】
【氏名又は名称】大朋 靖尚
(72)【発明者】
【氏名】黒木 大輔
【審査官】彦田 克文
(56)【参考文献】
【文献】特開２０２０－０９６２８２（ＪＰ，Ａ）
【文献】特開２０１７－０１１３８９（ＪＰ，Ａ）
【文献】国際公開第２０１６／０３１４０３（ＷＯ，Ａ１）
【文献】特開２０１８－０３６３６６（ＪＰ，Ａ）
【文献】特開２０００－０３２３３１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／７１
Ｈ０４Ｎ ２３／６０
Ｈ０４Ｎ ２３／６９５
Ｇ０３Ｂ ７／０９１
(57)【特許請求の範囲】
【請求項1】
撮像面を分割した複数の領域別に露光条件を設定可能な撮像手段と、前記撮像手段が撮像した撮像画像の前記領域別の輝度情報を抽出する抽出手段と、
前記撮像手段によって取得済みの撮像画像と次の撮像時の撮像画像との間の移動量および移動方向を含む変化情報を算出する算出手段と、
前記算出手段が算出した前記変化情報と、前記抽出手段が抽出した前記領域別の輝度情報に基づいて、次の撮像時の前記撮像手段の前記領域別の露光条件を決定する決定手段と、
を備えることを特徴とする撮像装置。
【請求項2】
前記算出手段は、前記撮像手段によって取得済みの撮像画像と前記次の撮像時の撮像画像との間の輝度の変化を含む前記変化情報を算出する、
ことを特徴とする請求項１記載の撮像装置。
【請求項3】
前記算出手段は、前記撮像手段の撮像条件に基づいて、前記撮像手段によって取得済みの撮像画像と前記次の撮像時の撮像画像との間の前記変化情報を算出する、
ことを特徴とする請求項１または請求項２記載の撮像装置。
【請求項4】
前記算出手段は、少なくとも、前記撮像手段のパン、チルト、ズームのいずれか１つの情報に基づいて、前記変化情報を算出することを特徴とする、
ことを特徴とする請求項３記載の撮像装置。
【請求項5】
前記決定手段は、前記算出手段からの前記変化情報に基づいて、前記抽出手段が抽出した前記領域別の輝度情報をシフトさせた輝度情報を算出し、
前記シフトさせた前記輝度情報に基づいて、前記次の撮像時の前記撮像手段の前記領域別の露光条件を決定する、
ことを特徴とする請求項１から請求項４のいずれか１項に記載の撮像装置。
【請求項6】
前記決定手段は、前記シフトの結果、前記輝度情報がない領域の輝度情報を、当該領域の周辺の領域の輝度情報から補完し、
前記補完した前記輝度情報に基づいて、前記次の撮像時の前記撮像手段の前記領域別の露光条件を決定する、
ことを特徴とする請求項５記載の撮像装置。
【請求項7】
前記決定手段は、前記抽出手段が抽出した輝度情報に基づいて、前記領域別の露光条件を算出し、
前記算出した前記領域別の露光条件を前記算出手段が算出した変化情報に基づいてシフトさせた露光条件を算出し、
前記シフトさせた前記露光条件に基づいて、前記次の撮像時の前記撮像手段の前記領域別の露光条件を決定する、
ことを特徴とする請求項１から請求項４のいずれか１項に記載の撮像装置。
【請求項8】
前記決定手段は、前記シフトの結果、前記露光条件がない領域の露光条件を、当該領域の周辺の領域の露光条件から補完し、
前記補完した前記露光条件に基づいて、前記次の撮像時の前記撮像手段の前記領域別の露光条件を決定する、
ことを特徴とする請求項７記載の撮像装置。
【請求項9】
撮像面を分割した複数の領域別に露光条件を設定して撮像を行うステップと、前記撮像による撮像画像の前記領域別の輝度情報を抽出するステップと、
前記撮像によって取得済みの撮像画像と次の撮像時の撮像画像との間の移動量および移動方向を含む変化情報を算出するステップと、
前記算出した前記変化情報と、前記抽出した前記領域別の輝度情報に基づいて、次の撮像時の前記領域別の露光条件を決定するステップと、
を有することを特徴とする撮像方法。
【請求項10】
コンピュータを、請求項１から請求項８のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置、撮像方法およびプログラムに関する。
【背景技術】
【0002】
一般的に、デジタルカメラやデジタルビデオカメラなどの撮像装置に用いられるＣＣＤやＣＭＯＳといった撮像センサのダイナミックレンジは、自然界のダイナミックレンジと比較して狭いことが知られている。このため、広いダイナミックレンジ（ハイダイナミックレンジ）を有するシーンを通常の方法で撮像すると黒潰れや白飛びなどが発生してしまう。ＣＣＤはＣｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅの略であり、ＣＭＯＳはＣｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒの略である。
【0003】
特許文献１に開示された技術では、予備撮影に基づいて、領域別に露光条件を制御可能な撮像センサの領域毎に最適な露光条件を決定する際に、露光条件の境界において周囲の露光条件の中からより暗い露光条件になるように変更して撮影を行っている。これにより、予備撮影と本撮影との時間差によって、被写体が動いた場合に発生する白飛びを軽減している。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１１－４０８９号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１の方法では、首振りや画角変更を行わず、予備撮影と本撮影とで画像の位置ずれが無い場合には、変更の必要がないにもかかわらず、境界領域の露光条件を本来よりも暗く変更してしまうため、Ｓ／Ｎが悪化してしまう。また、パン・チルト制御により予備撮影と本撮影とで画像の位置ずれが発生する場合でも、ずれの方向等を考慮していないため、少なくともいずれかの境界において、本来よりも暗い露光条件に変更してしまうため、Ｓ／Ｎが悪化してしまう。さらに、ずれの大きさが分からないため、ずれの大きさが、露光条件を暗く変更した範囲より小さい場合は、本来よりも暗い露光条件の部分が発生し、Ｓ／Ｎが悪化してしまう。逆に、ずれの大きさが、露光条件を暗く変更した範囲より大きい場合は、白飛びや黒つぶれが発生する可能性がある。
【0006】
本発明は上述の課題に鑑みて成されたものであり、パン・チルト・ズーム等の撮像条件を変更した際においても、撮像センサの領域別に露光条件を適切に制御することを目的とする。
【課題を解決するための手段】
【0007】
上述の課題を解決するため、本発明に係る撮像装置のある態様によれば、撮像面を分割した複数の領域別に露光条件を設定可能な撮像手段と、前記撮像手段が撮像した撮像画像の前記領域別の輝度情報を抽出する抽出手段と、前記撮像手段によって取得済みの撮像画像と次の撮像時の撮像画像との間の移動量および移動方向を含む変化情報を算出する算出手段と、前記算出手段が算出した前記変化情報と、前記抽出手段が抽出した前記領域別の輝度情報に基づいて、次の撮像時の前記撮像手段の前記領域別の露光条件を決定する決定手段と、を備える情報処理装置が提供される。
【図面の簡単な説明】
【0008】
【図1】実施形態１の撮像システムの構成例を示すブロック図。
【図2】撮像画像の例を示す図。
【図3】パン制御での移動量と方向の情報（移動情報）の例を示す図。
【図4】ズーム制御での移動量と方向の情報（移動情報）の例を示す図。
【図5】ズーム制御での移動量の算出方法の例を示す図。
【図6】パン制御での移動量の算出方法の例を示す図。
【図7】パン制御での次撮影に適用する領域別の輝度情報の例を示す図。
【図8】露光条件を決定するためのテーブルの例を示す図。
【図9】ズーム制御での次撮影に適用する領域別の輝度情報の例を示す図。
【図10】輝度情報のシフトによる露光条件の決定処理の例を示すフローチャート。
【図11】露光条件のシフトによる露光条件の決定処理の例を示すフローチャート。
【発明を実施するための形態】
【0009】
以下、添付図面を参照して、本発明を実施するための実施形態について詳細に説明する。なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は、以下の実施形態に必ずしも限定されるものではない。また、実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【0010】
（実施形態１）
（撮像システム構成）
図１は、実施形態１の撮像システムの構成例を示すブロック図である。
この撮像システムは、被写体を撮像するネットワークカメラ１と、ネットワークカメラ１とネットワーク２を介して接続されたパーソナルコンピュータ等の端末装置３と、ネットワークカメラ１の撮像方向をパン・チルト方向に変更する雲台４とを備えている。なお、以下、動画像を撮像する場合を例に説明するが、静止画の予備撮影を行った後に、本撮影を行う場合についても、本発明を適用することができる。
ネットワークカメラ１は、ハイダイナミックレンジで撮像された映像を、ネットワーク２を介してストリーミング配信することができるように構成されている。また、ネットワークカメラ１は、雲台４を制御して撮像方向をパン・チルト方向に制御し、光学系を制御してズームを制御するパン・チルト・ズーム機能を備えている。
（撮像システム構成）
図１は、実施形態１の撮像システムの構成例を示すブロック図である。
この撮像システムは、被写体を撮像するネットワークカメラ１と、ネットワークカメラ１とネットワーク２を介して接続されたパーソナルコンピュータ等の端末装置３と、ネットワークカメラ１の撮像方向をパン・チルト方向に変更する雲台４とを備えている。なお、以下、動画像を撮像する場合を例に説明するが、静止画の予備撮影を行った後に、本撮影を行う場合についても、本発明を適用することができる。
ネットワークカメラ１は、ハイダイナミックレンジで撮像された映像を、ネットワーク２を介してストリーミング配信することができるように構成されている。また、ネットワークカメラ１は、雲台４を制御して撮像方向をパン・チルト方向に制御し、光学系を制御してズームを制御するパン・チルト・ズーム機能を備えている。
【0011】
ネットワークカメラ１は、露光条件を決定する露光条件決定部１１と、撮像画像間の移動量・方向等の移動情報を算出する移動情報算出部１２と、被写体の像を結像させる光学系１３と、結像された被写体の像を電気信号に変換する撮像センサ１４とを備えている。
光学系１３は、シャッタ、レンズ１３Ａ、絞り１３Ｂ、光学ローパスフィルタ等を備えており、ズーム機能を有している。
撮像センサ１４は、カラーフィルタとＣＭＯＳ等の撮像素子を備えており、撮像素子の撮像面を複数の領域に分割し、領域別に蓄積時間と読出しゲインといった露光条件を変更して撮像することができるようになっている。
光学系１３は、シャッタ、レンズ１３Ａ、絞り１３Ｂ、光学ローパスフィルタ等を備えており、ズーム機能を有している。
撮像センサ１４は、カラーフィルタとＣＭＯＳ等の撮像素子を備えており、撮像素子の撮像面を複数の領域に分割し、領域別に蓄積時間と読出しゲインといった露光条件を変更して撮像することができるようになっている。
【0012】
また、ネットワークカメラ１は、装置全体の制御を行うＣＰＵ１７と、撮像センサ１４が撮像した画像の所定の領域別に補正処理を行う領域別補正部１８と、領域別補正部１８が補正処理を行った画像に現像処理を行う現像処理部１９とを備えている。なお、ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。
さらに、ネットワークカメラ１は、撮像画像の所定の領域別の輝度から輝度情報を生成する領域別輝度情報生成部２０と、領域別輝度情報生成部２０が生成した輝度情報を記憶する領域別輝度情報記憶部２１とを備えている。
また、ネットワークカメラ１は、撮像センサ１４の制御を行うセンサ制御部２２と、光学系１３の制御を行う光学系制御部２３と、雲台４の制御を行う雲台制御部２４と、ネットワーク２を介して端末装置３と通信を行うインタフェース２５を備えている。
さらに、ネットワークカメラ１は、撮像画像の所定の領域別の輝度から輝度情報を生成する領域別輝度情報生成部２０と、領域別輝度情報生成部２０が生成した輝度情報を記憶する領域別輝度情報記憶部２１とを備えている。
また、ネットワークカメラ１は、撮像センサ１４の制御を行うセンサ制御部２２と、光学系１３の制御を行う光学系制御部２３と、雲台４の制御を行う雲台制御部２４と、ネットワーク２を介して端末装置３と通信を行うインタフェース２５を備えている。
【0013】
（全体動作）
ユーザが、端末装置３を操作し、ネットワークカメラ１のパン・チルト・ズームを含む撮像設定を指示すると、端末装置３は、ネットワーク２を介してユーザからの指示をネットワークカメラ１に送信する。
インタフェース２５がユーザからの指示をネットワーク２経由で受信すると、ＣＰＵ１７は、雲台制御部２４、光学系制御部２３、センサ制御部２２の設定とタイミングを制御して、雲台４、光学系１３、撮像センサ１４を駆動する。
ユーザが、端末装置３を操作し、ネットワークカメラ１のパン・チルト・ズームを含む撮像設定を指示すると、端末装置３は、ネットワーク２を介してユーザからの指示をネットワークカメラ１に送信する。
インタフェース２５がユーザからの指示をネットワーク２経由で受信すると、ＣＰＵ１７は、雲台制御部２４、光学系制御部２３、センサ制御部２２の設定とタイミングを制御して、雲台４、光学系１３、撮像センサ１４を駆動する。
【0014】
領域別補正部１８は、撮像センサ１４で撮像した露光条件の異なる領域別の撮像データから、領域別の露光条件に基づき、領域別の補正を行ったハイダイナミックレンジの本画像を生成する。現像処理部１９は、領域別の補正を行った本画像に対して、ホワイトバランス、ディベイヤー、ノイズリダクション、シャープネス、ガンマ補正などの現像処理を行う。インタフェース２５は、現像処理部１９が現像処理を行った画像を、ストリーミング映像としてネットワーク２を介して配信する。
端末装置３は、ネットワーク２を介してネットワークカメラ１からのストリーミング映像を受信すると、これに応じた映像を表示する。これにより、ユーザは、ネットワークカメラ１が撮像したハイダイナミックレンジのストリーミング映像を視聴することができる。
端末装置３は、ネットワーク２を介してネットワークカメラ１からのストリーミング映像を受信すると、これに応じた映像を表示する。これにより、ユーザは、ネットワークカメラ１が撮像したハイダイナミックレンジのストリーミング映像を視聴することができる。
【0015】
（露光条件の決定）
以下、ネットワークカメラ１で、領域別の露光条件を決定する処理の例について説明する。
領域別輝度情報生成部２０は、領域別補正部１８からの本画像を入力として、領域別輝度情報を生成する。具体的には、領域別輝度情報生成部２０は、動画像の撮像の場合には、例えば現在のフレーム（現撮像時）で撮像された本画像から領域別輝度情報を生成する。
以下、ネットワークカメラ１で、領域別の露光条件を決定する処理の例について説明する。
領域別輝度情報生成部２０は、領域別補正部１８からの本画像を入力として、領域別輝度情報を生成する。具体的には、領域別輝度情報生成部２０は、動画像の撮像の場合には、例えば現在のフレーム（現撮像時）で撮像された本画像から領域別輝度情報を生成する。
【0016】
図２（Ａ）は、撮像センサ１４で撮像し、領域別補正部１８により本画像となった現撮像（現在のフレームの撮像）による取得済み撮像画像３１の例を示している。この取得済み撮像画像３１は、両側のビルに挟まれた道路が縦に伸び、ビルの奥に太陽があるという逆光条件で撮像された輝度差が大きな画像である。領域別輝度情報生成部２０は、取得済み撮像画像３１を入力とし、図２（Ｂ）に示す領域別輝度情報３２を生成し、領域別輝度情報記憶部２１に格納する。
【0017】
この領域別輝度情報３２は、領域別輝度情報生成部２０により、撮像画像３１を横１２・縦８の領域に分け、それぞれの領域の輝度値に応じて３段階にレベル分けした例を示している。横１２・縦８の領域分割は、撮像センサ１４の領域分割と同じである。すなわち、ネットワークカメラ１は、撮像センサ１４を横１２・縦８の計９６領域に分割し、各領域で異なる露光条件で、撮像することができるカメラである。輝度レベルは、２つの境界条件を設けることで、３段階に分け、図２（Ｃ）に示すように、３５から３６、３７の順に従って、暗いレベルから明るいレベルとしている。この領域別輝度情報３２の例では、ビルの前面部分の領域３３は、太陽の陰になるため、暗いレベル（３５）となり、太陽のある領域３４は、明るいレベル（３７）となる。
【0018】
（移動情報の算出）
上述の移動情報算出部１２は、内部に、現撮像時の撮像条件の設定情報である焦点距離とパン・チルトの角度等の情報を保持している。ＣＰＵ１７から、次撮像時の設定情報を含む制御情報を受け取ると、移動情報算出部１２は、保持している現撮像時の設定情報から、取得済み撮像画像と次撮像時の撮像画像との間の移動量と方向等の情報を算出する。そして、移動情報算出部１２は、算出した情報を移動情報として露光条件決定部１１に供給する。なお、移動情報算出部１２が算出する情報は、移動情報だけでなく、撮像画像全体の輝度の変化等を含む画像の変化情報であってもよい。
ＣＰＵ１７は、雲台制御部２４、光学系制御部２３、センサ制御部２２の設定とタイミングを制御しているため、移動情報算出部１２に次撮像時での設定情報を含む制御情報を渡すことができる。
上述の移動情報算出部１２は、内部に、現撮像時の撮像条件の設定情報である焦点距離とパン・チルトの角度等の情報を保持している。ＣＰＵ１７から、次撮像時の設定情報を含む制御情報を受け取ると、移動情報算出部１２は、保持している現撮像時の設定情報から、取得済み撮像画像と次撮像時の撮像画像との間の移動量と方向等の情報を算出する。そして、移動情報算出部１２は、算出した情報を移動情報として露光条件決定部１１に供給する。なお、移動情報算出部１２が算出する情報は、移動情報だけでなく、撮像画像全体の輝度の変化等を含む画像の変化情報であってもよい。
ＣＰＵ１７は、雲台制御部２４、光学系制御部２３、センサ制御部２２の設定とタイミングを制御しているため、移動情報算出部１２に次撮像時での設定情報を含む制御情報を渡すことができる。
【0019】
移動情報とは、例えば図３や図４に示すように、画像内の領域別の移動方向の向きと、移動量を示す情報である。
図３は、右方向へのパン制御により、次撮像時には、撮像画像が、全体的に左に移動する状態を示している。各矢印３８ａ～３８ｅの向きと長さが、移動の方向と移動量を示す。
図４は、ズームイン制御により、次撮像時には、撮像画像が、中央部分３９ａは変化ないが、周辺が、矢印３９ｂ～３９ｅの向きと長さが示すように拡大することを示している。
図３は、右方向へのパン制御により、次撮像時には、撮像画像が、全体的に左に移動する状態を示している。各矢印３８ａ～３８ｅの向きと長さが、移動の方向と移動量を示す。
図４は、ズームイン制御により、次撮像時には、撮像画像が、中央部分３９ａは変化ないが、周辺が、矢印３９ｂ～３９ｅの向きと長さが示すように拡大することを示している。
【0020】
図５は、ズームイン制御での移動量の算出方法の例を示す図である。
図５（Ａ）の符号４０は、ネットワークカメラ１を示している。また、符号４１は撮像センサ１４を、符号４２は光学系１３を、符号４３は撮像対象を、それぞれ示している。さらに、符号４４は撮像センサ１４の撮像面のサイズＡを、符号４５は現撮像時の焦点距離Ｂを、符号４６は現撮像時の画角αを、それぞれ示している。ＣＰＵ１７からのズームイン制御により、光学系１３が移動することで、次撮像時には、同図（Ｂ）に符号４７で示す焦点距離Ｃ、符号４８で示す画角βに変化する場合について考える。なお、撮像センサ１４の撮像面のサイズＡ４４は一定である。
図５（Ａ）の符号４０は、ネットワークカメラ１を示している。また、符号４１は撮像センサ１４を、符号４２は光学系１３を、符号４３は撮像対象を、それぞれ示している。さらに、符号４４は撮像センサ１４の撮像面のサイズＡを、符号４５は現撮像時の焦点距離Ｂを、符号４６は現撮像時の画角αを、それぞれ示している。ＣＰＵ１７からのズームイン制御により、光学系１３が移動することで、次撮像時には、同図（Ｂ）に符号４７で示す焦点距離Ｃ、符号４８で示す画角βに変化する場合について考える。なお、撮像センサ１４の撮像面のサイズＡ４４は一定である。
【0021】
現撮像時と次撮像時の画角α４６と画角β４８は、それぞれ以下の式で求めることができる。
【0022】
【数1】
【0023】
また、移動量は、以下の式により、画角α４６と画角β４８の差と、撮像面のサイズＡ４４から求めることができる。
【0024】
【数2】
【0025】
図６は、パン制御での移動量の算出方法の例を示す図である。
なお、チルト制御での移動量も同様の算出方法で求めることができる。
図６（Ａ）の符号５０は、ネットワークカメラ１を示している。また、符号５１は、撮像センサ１４、符号５２は、光学系１３、符号５３は撮像対象を示している。なお、撮像センサ１４の撮像面のサイズＤは一定である。また、パン制御であるため、焦点距離であるＥと、画角γ５４も一定である。現撮像時と次撮像時で変化するのは、同図（Ｂ）のカメラの角度δ５５である。
画角γ５４は、以下の式で求めることができる。
なお、チルト制御での移動量も同様の算出方法で求めることができる。
図６（Ａ）の符号５０は、ネットワークカメラ１を示している。また、符号５１は、撮像センサ１４、符号５２は、光学系１３、符号５３は撮像対象を示している。なお、撮像センサ１４の撮像面のサイズＤは一定である。また、パン制御であるため、焦点距離であるＥと、画角γ５４も一定である。現撮像時と次撮像時で変化するのは、同図（Ｂ）のカメラの角度δ５５である。
画角γ５４は、以下の式で求めることができる。
【0026】
【数3】
【0027】
また、角度δ５５は、例えば、３０ｆｐｓの撮像設定において、３秒間で２０度パン制御を行う場合、角度δは、以下の式で求めることができる。ｆｐｓはｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄの略である。
【0028】
【数4】
【0029】
また、移動量は、以下の式により、画角γ５４と現撮像時と次撮像時の角度の差δ５５と、撮像面のサイズＤから求めることができる。
【0030】
【数5】
【0031】
（露光条件の決定の詳細）
このネットワークカメラ１では、現在のフレームの撮像画像（現画像）から次に撮像するフレームの画像（次画像）を予測し、予測した画像に基づいて、撮像センサ１４の領域別に適切な露光条件を決定するようになっている。
露光条件決定部１１は、移動情報算出部１２からの取得済み撮像画像と次撮像時の撮像画像との間の移動量と方向である移動情報を取得し、領域別輝度情報記憶部２１から取得済み撮像画像の領域別輝度情報とを取得する。さらに、露光条件決定部１１は、取得した移動情報と領域別輝度情報に基づいて、次撮像時の露光条件を決定し、決定した露光条件をセンサ制御部２２に供給する。
このネットワークカメラ１では、現在のフレームの撮像画像（現画像）から次に撮像するフレームの画像（次画像）を予測し、予測した画像に基づいて、撮像センサ１４の領域別に適切な露光条件を決定するようになっている。
露光条件決定部１１は、移動情報算出部１２からの取得済み撮像画像と次撮像時の撮像画像との間の移動量と方向である移動情報を取得し、領域別輝度情報記憶部２１から取得済み撮像画像の領域別輝度情報とを取得する。さらに、露光条件決定部１１は、取得した移動情報と領域別輝度情報に基づいて、次撮像時の露光条件を決定し、決定した露光条件をセンサ制御部２２に供給する。
【0032】
上述のパン制御の場合、露光条件決定部１１は、図３に示す移動情報と、図２に示す領域別輝度情報３２を取得し、移動情報を基に、領域別輝度情報３２をシフトさせることで、次撮像時の領域別輝度情報を生成する。
図７は、パン制御での次撮像に適用する領域別の輝度情報の例を示す図である。図７（Ａ）については後述する。
図７（Ｂ）の符号６２は、シフトさせた次撮像時の領域別輝度情報の例を示している。この領域別輝度情報６２は、図２（Ｂ）の領域別輝度情報３２を、図３の移動情報に従って、全体的に、左にシフトさせた領域別輝度情報となっている。移動量によっては、シフトさせた次撮像時の領域別輝度情報６２が必ずしも横１２・縦８の分割した領域にぴたりと収まるとは限らないため、平均化などを用いて、横１２・縦８に分割した領域別輝度情報を算出する。また、領域別輝度情報６２の右端部分６３は、図２（Ａ）の取得済み撮像画像３１には存在しない領域であり、シフトさせた領域別輝度情報３２には、この領域の輝度情報が不足している場合がある。この場合は、隣接する領域の輝度情報をコピーする等の方法により、不足している輝度情報を補完し、次撮像時の輝度情報を生成する。
図７は、パン制御での次撮像に適用する領域別の輝度情報の例を示す図である。図７（Ａ）については後述する。
図７（Ｂ）の符号６２は、シフトさせた次撮像時の領域別輝度情報の例を示している。この領域別輝度情報６２は、図２（Ｂ）の領域別輝度情報３２を、図３の移動情報に従って、全体的に、左にシフトさせた領域別輝度情報となっている。移動量によっては、シフトさせた次撮像時の領域別輝度情報６２が必ずしも横１２・縦８の分割した領域にぴたりと収まるとは限らないため、平均化などを用いて、横１２・縦８に分割した領域別輝度情報を算出する。また、領域別輝度情報６２の右端部分６３は、図２（Ａ）の取得済み撮像画像３１には存在しない領域であり、シフトさせた領域別輝度情報３２には、この領域の輝度情報が不足している場合がある。この場合は、隣接する領域の輝度情報をコピーする等の方法により、不足している輝度情報を補完し、次撮像時の輝度情報を生成する。
【0033】
この後、露光条件決定部１１は、例えば図８に示すような露光条件を決定するテーブル７０と、領域別輝度情報６２から、各領域の露光条件（例えばＥＶ値）を決定することで、次撮像時の各領域の露光条件を決定する。
図１のセンサ制御部２２は、露光条件決定部１１からの領域別の露光条件と、ＣＰＵ１７からのタイミングに従って、撮像センサ１４を制御し、次のフレームの撮像を行う。
図７（Ａ）の符号６１は、次撮像によって得られる予測画像である。算出した次撮像時の領域別輝度情報６２を基づいて、露光条件決定部１１が露光条件を決定することで、現撮像と次撮像とで画像がずれる場合でも、白飛びや黒つぶれのない撮像が可能となる。
図１のセンサ制御部２２は、露光条件決定部１１からの領域別の露光条件と、ＣＰＵ１７からのタイミングに従って、撮像センサ１４を制御し、次のフレームの撮像を行う。
図７（Ａ）の符号６１は、次撮像によって得られる予測画像である。算出した次撮像時の領域別輝度情報６２を基づいて、露光条件決定部１１が露光条件を決定することで、現撮像と次撮像とで画像がずれる場合でも、白飛びや黒つぶれのない撮像が可能となる。
【0034】
上述のズームイン制御の場合も同様に、露光条件決定部１１は、図４に示す移動情報と、図３に示す領域別輝度情報３２を取得し、移動情報を基に、領域別輝度情報３２をシフトさせることで、次撮像時の領域別輝度情報を生成する。
図９（Ｂ）の符号８２は、シフトさせた次撮像時の領域別輝度情報の例を示している。
この領域別輝度情報８２は、図２（Ｂ）の領域別輝度情報３２を、図４の移動情報に従って、全体的に、拡大した領域別輝度情報となる。この後、露光条件決定部１１は、図８に示す露光条件を決定するテーブルと、領域別輝度情報８２から、各領域の露光条件（例えばＥＶ値）を決定することで、次撮像時の各領域の露光条件を決定する。
図９（Ａ）の８１は、次撮像によって得られる予測画像である。上述のズーム制御の場合と同様に、算出した次撮像時の領域別輝度情報８２に基づいて、露光条件決定部１１が領域別の露光条件を決定することで、現撮像と次撮像とで画像がずれる場合でも、白飛びや黒つぶれのない撮像が可能となる。
図９（Ｂ）の符号８２は、シフトさせた次撮像時の領域別輝度情報の例を示している。
この領域別輝度情報８２は、図２（Ｂ）の領域別輝度情報３２を、図４の移動情報に従って、全体的に、拡大した領域別輝度情報となる。この後、露光条件決定部１１は、図８に示す露光条件を決定するテーブルと、領域別輝度情報８２から、各領域の露光条件（例えばＥＶ値）を決定することで、次撮像時の各領域の露光条件を決定する。
図９（Ａ）の８１は、次撮像によって得られる予測画像である。上述のズーム制御の場合と同様に、算出した次撮像時の領域別輝度情報８２に基づいて、露光条件決定部１１が領域別の露光条件を決定することで、現撮像と次撮像とで画像がずれる場合でも、白飛びや黒つぶれのない撮像が可能となる。
【0035】
（露光条件処理フロー）
図１０は、次撮像の露光条件を決定する処理の流れを説明するフローチャートである。
まず、Ｓ１において、ネットワークカメラ１は、撮像を行う。
続くＳ２において、領域別輝度情報生成部２０は、領域別輝度情報を生成する。
Ｓ３において、ＣＰＵ１７は、次撮像時に、パン・チルト・ズーム制御があるか否かを判定する。パン・チルト・ズーム制御がある場合は、ＣＰＵ１７は、制御情報を移動情報算出部１２に供給する。パン・チルト・ズーム制御がない場合は、ＣＰＵ１７は、Ｓ６に進む。
図１０は、次撮像の露光条件を決定する処理の流れを説明するフローチャートである。
まず、Ｓ１において、ネットワークカメラ１は、撮像を行う。
続くＳ２において、領域別輝度情報生成部２０は、領域別輝度情報を生成する。
Ｓ３において、ＣＰＵ１７は、次撮像時に、パン・チルト・ズーム制御があるか否かを判定する。パン・チルト・ズーム制御がある場合は、ＣＰＵ１７は、制御情報を移動情報算出部１２に供給する。パン・チルト・ズーム制御がない場合は、ＣＰＵ１７は、Ｓ６に進む。
【0036】
Ｓ４において、移動情報算出部１２は、ＣＰＵ１７からの制御情報と、保持している現撮像時の設定情報とから、取得済み撮像画像と次撮像時の撮像画像との間の移動量と方向の情報（移動情報）を算出し、露光条件決定部１１に供給する。
Ｓ５において、露光条件決定部１１は、移動情報算出部１２からの移動情報と、領域別輝度情報記憶部２１からの取得済み撮像画像の領域別輝度情報とを取得し、領域別輝度情報シフトさせることで、次撮像時の領域別輝度情報を算出する。
Ｓ６において、露光条件決定部１１は、算出した次撮像時の領域別輝度情報と、図８に示す露光条件を決定するテーブルから、次撮像時の領域別の露光条件を決定する。また、Ｓ３において、パン・チルト・ズーム制御がない場合は、露光条件決定部１１は、領域別輝度情報記憶部２１からの取得済み撮像画像の領域別輝度情報を次撮像時の領域別輝度情報とし、次撮像時の領域別の露光条件を決定する。
Ｓ７において、露光条件決定部１１は、決定した露光条件をセンサ制御部２２に設定し、次撮像を行わせる。
Ｓ５において、露光条件決定部１１は、移動情報算出部１２からの移動情報と、領域別輝度情報記憶部２１からの取得済み撮像画像の領域別輝度情報とを取得し、領域別輝度情報シフトさせることで、次撮像時の領域別輝度情報を算出する。
Ｓ６において、露光条件決定部１１は、算出した次撮像時の領域別輝度情報と、図８に示す露光条件を決定するテーブルから、次撮像時の領域別の露光条件を決定する。また、Ｓ３において、パン・チルト・ズーム制御がない場合は、露光条件決定部１１は、領域別輝度情報記憶部２１からの取得済み撮像画像の領域別輝度情報を次撮像時の領域別輝度情報とし、次撮像時の領域別の露光条件を決定する。
Ｓ７において、露光条件決定部１１は、決定した露光条件をセンサ制御部２２に設定し、次撮像を行わせる。
【0037】
以上説明したように、本実施形態では、移動情報に基づいて、現撮像時の輝度情報をシフトし、次撮像時の露光条件を決定することで、現撮像時と次撮像時とで画像がずれる場合でも、白飛びや黒つぶれのない撮像が可能となる。すなわち、本実施形態では、パン・チルト・ズーム等の撮像条件を変更した際においても、撮像センサの領域別に露光条件を適切に制御することができる。また、本実施形態では、現撮像時の領域別輝度情報に基づいて、次撮像時の露光条件を決定しているため、予備撮影を行って露光条件を決定する場合に比較して、露光条件を決めるための遅延を短縮することができる。
【0038】
（実施形態２）
実施形態１では、移動情報に基づいてシフトした輝度情報に基づいて、露光条件を決定していたが、実施形態２では、シフト前の領域別輝度情報から求めた領域別の露光条件を、移動情報に基づいて、シフトすることで、次撮像時の露光条件を決定する。
本実施形態の撮像システムは、実施形態１の撮像システムと同様に構成されている。
実施形態１では、移動情報に基づいてシフトした輝度情報に基づいて、露光条件を決定していたが、実施形態２では、シフト前の領域別輝度情報から求めた領域別の露光条件を、移動情報に基づいて、シフトすることで、次撮像時の露光条件を決定する。
本実施形態の撮像システムは、実施形態１の撮像システムと同様に構成されている。
【0039】
以下、図１１のフローチャートを用いて、実施形態２のネットワークカメラ１が次撮像の露光条件を決定する処理を説明する。
まず、Ｓ２１において、ネットワークカメラ１は、撮像を行う。
続くＳ２２において、領域別輝度情報生成部２０は、領域別輝度情報を生成する。
Ｓ２３において、露光条件決定部１１は、領域別輝度情報記憶部２１からの取得済み撮像画像の領域別輝度情報を取得し、上述の図８に示す露光条件を決定するテーブルから、領域別の露光条件を決定する。
まず、Ｓ２１において、ネットワークカメラ１は、撮像を行う。
続くＳ２２において、領域別輝度情報生成部２０は、領域別輝度情報を生成する。
Ｓ２３において、露光条件決定部１１は、領域別輝度情報記憶部２１からの取得済み撮像画像の領域別輝度情報を取得し、上述の図８に示す露光条件を決定するテーブルから、領域別の露光条件を決定する。
【0040】
Ｓ２４において、ＣＰＵ１７は、次撮像時に、パン・チルト・ズーム制御があるか否かを判定する。パン・チルト・ズーム制御がある場合は、ＣＰＵ１７は、制御情報を移動情報算出部１２に送信する。パン・チルト・ズーム制御がない場合は、ＣＰＵ１７は、Ｓ２７に移行する。
Ｓ２５において、移動情報算出部１２は、ＣＰＵ１７からの制御情報と、保持している現撮像時の設定情報とから、取得済み撮像画像と次撮像時の撮像画像との間の移動量と方向の情報（移動情報）を算出し、露光条件決定部１１に供給する。
Ｓ２５において、移動情報算出部１２は、ＣＰＵ１７からの制御情報と、保持している現撮像時の設定情報とから、取得済み撮像画像と次撮像時の撮像画像との間の移動量と方向の情報（移動情報）を算出し、露光条件決定部１１に供給する。
【0041】
Ｓ２６において、露光条件決定部１１は、移動情報算出部１２からの移動情報に基づいて、Ｓ２３で決定した領域別の露光条件をシフトさせることで、次撮像時の露光条件を決定する。なお、露光条件をシフトさせる際に、露光条件が不足している領域に関しては、露光条件決定部１１は、周辺の領域の露光条件から当該不足している領域の露光条件を補完する。
Ｓ２７において、露光条件決定部１１は、決定した露光条件をセンサ制御部２２に設定し、次撮像を行う。また、Ｓ２４で、パン・チルト・ズーム制御がない場合は、露光条件決定部１１は、Ｓ２３で算出（決定）した露光条件を次撮像時の露光条件として設定し、次撮像を行う。
Ｓ２７において、露光条件決定部１１は、決定した露光条件をセンサ制御部２２に設定し、次撮像を行う。また、Ｓ２４で、パン・チルト・ズーム制御がない場合は、露光条件決定部１１は、Ｓ２３で算出（決定）した露光条件を次撮像時の露光条件として設定し、次撮像を行う。
【0042】
以上説明したように、本実施形態では、撮像システムに対する制御情報と、現撮像時の領域別の輝度情報から、本撮像時の画像のずれを考慮した領域別の露光条件を決定することができる。このため、現撮像時と次撮像時とで画像がずれる場合でも、白飛びや黒つぶれのない撮像が可能となる。すなわち、本実施形態では、パン・チルト・ズーム時においても、撮像センサの領域別に露光条件を適切に制御することができる。
【0043】
（変形例）
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。例えば、上述の実施形態では、動画像を撮像する場合を例に説明したが、静止画の予備撮影を行った後に、本撮影を行う場合についても、本発明を適用することができる。あるいは、ネットワークカメラ１の各機能を複数の装置に分散して実装してもよい。また、本発明は、例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。例えば、上述の実施形態では、動画像を撮像する場合を例に説明したが、静止画の予備撮影を行った後に、本撮影を行う場合についても、本発明を適用することができる。あるいは、ネットワークカメラ１の各機能を複数の装置に分散して実装してもよい。また、本発明は、例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。
【0044】
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。ＡＳＩＣはＡｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。
【符号の説明】
【0045】
１…ネットワークカメラ、２…ネットワーク、３…端末装置、１１…露光条件決定部、１２…移動情報算出部、１２Ａ…設定値保持部、１３…光学系、１４…撮像センサ、１７…ＣＰＵ、１８…領域別補正部、１９…現像処理部、２０…領域別輝度情報生成部、２１…領域別輝度情報記憶部、２２…センサ制御部、２３…光学系制御部、２４…雲台制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
