特許 7197981 カメラ、端末装置、カメラの制御方法、端末装置の制御方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-20

(45)【発行日】2022-12-28

(54)【発明の名称】カメラ、端末装置、カメラの制御方法、端末装置の制御方法、およびプログラム

(51)【国際特許分類】

   H04N 5/235 20060101AFI20221221BHJP

   H04N 5/232 20060101ALI20221221BHJP

   H04N 7/18 20060101ALI20221221BHJP

【ＦＩ】

H04N5/235 100

H04N5/232 990

H04N7/18 E

H04N7/18 G

【請求項の数】 15

(21)【出願番号】P 2018009940

(22)【出願日】2018-01-24

(65)【公開番号】P2019129410

(43)【公開日】2019-08-01

【審査請求日】2021-01-07

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】斉藤 孝男

【審査官】吉川 康男

(56)【参考文献】

【文献】特開２００８－１８７３９３（ＪＰ，Ａ）

【文献】特開２００２－２４７４２４（ＪＰ，Ａ）

【文献】特開２０１５－０１４６７２（ＪＰ，Ａ）

【文献】特開２００７－２９５１７５（ＪＰ，Ａ）

【文献】特開２０１４－０５７１５６（ＪＰ，Ａ）

【文献】特開２０１１－２２３２４２（ＪＰ，Ａ）

【文献】特開２００２－２８１３７９（ＪＰ，Ａ）

【文献】特開２００７－１６６４４３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３５

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

撮像範囲を変更可能な第１の撮像手段と、
前記第１の撮像手段よりも広角の撮像が可能な複数の第２の撮像手段と、
前記複数の第２の撮像手段のうち２以上の第２の撮像手段の撮像範囲の重複範囲において、前記第１の撮像手段の予測された撮像範囲である予測撮像範囲の少なくとも一部が含まれる場合、該２以上の第２の撮像手段による撮像画像における、前記第１の撮像手段の前記予測撮像範囲に対応する領域の輝度情報を取得する取得手段と、
前記輝度情報に基づいて前記第１の撮像手段の露出を制御する制御手段と
を備えることを特徴とするカメラ。

【請求項2】

前記取得手段は、次フレームにおける前記第１の撮像手段の前記予測撮像範囲を、現フレームにおける前記第１の撮像手段の撮像画像中の被写体に基づいて特定し、前記２以上の第２の撮像手段による撮像画像における該特定した撮像範囲に対応する領域の輝度情報を取得することを特徴とする請求項１に記載のカメラ。

【請求項3】

前記制御手段は、前記第１の撮像手段の露出に係る情報を前記輝度情報に応じて求め、該求めた露出に係る情報に応じて前記第１の撮像手段の露出を制御することを特徴とする請求項１又は２に記載のカメラ。

【請求項4】

前記制御手段は、前記輝度情報に応じて求めた前記第１の撮像手段の露出に係る情報と、現在の前記第１の撮像手段の露出に係る情報と、の差分に応じて前記第１の撮像手段の露出を制御することを特徴とする請求項３に記載のカメラ。

【請求項5】

前記取得手段は、１以上の第２の撮像手段の撮像範囲の端部を含む前記重複範囲において、前記第１の撮像手段の前記予測撮像範囲の少なくとも一部が含まれる場合、前記２以上の第２の撮像手段による撮像画像における、前記第１の撮像手段の前記予測撮像範囲に対応する領域の輝度情報を取得する
ことを特徴とする請求項１乃至４の何れか１項に記載のカメラ。

【請求項6】

前記制御手段は、前記２以上の第２の撮像手段による撮像画像における、前記第１の撮像手段の前記予測撮像範囲に対応する領域の輝度情報の平均輝度情報に基づいて前記第１の撮像手段の露出を制御する
ことを特徴とする請求項１乃至５の何れか１項に記載のカメラ。

【請求項7】

前記制御手段は、前記２以上の第２の撮像手段による撮像画像における、前記第１の撮像手段の前記予測撮像範囲に対応する領域の輝度情報の重み付け平均の輝度情報に基づいて前記第１の撮像手段の露出を制御する
ことを特徴とする請求項１乃至５の何れか１項に記載のカメラ。

【請求項8】

前記取得手段は、前記２以上の第２の撮像手段のそれぞれについて、該第２の撮像手段による撮像画像における前記第１の撮像手段の前記予測撮像範囲に対応する領域の輝度情報を、該第２の撮像手段の撮像範囲に占める前記第１の撮像手段の前記予測撮像範囲の割合で重み付けした重み付け結果を求め、
前記制御手段は、前記２以上の第２の撮像手段のそれぞれについて前記取得手段が求めた重み付け結果の平均に基づいて前記第１の撮像手段の露出を制御する
ことを特徴とする請求項７に記載のカメラ。

【請求項9】

前記第１の撮像手段は、パン、チルト、ズームを変更可能な撮像装置であることを特徴とする請求項１乃至８の何れか１項に記載のカメラ。

【請求項10】

前記第２の撮像手段は、広角レンズを有する１つ以上の撮像装置であることを特徴とする請求項１乃至９の何れか１項に記載のカメラ。

【請求項11】

撮像範囲を変更可能な第１の撮像手段よりも広角の撮像が可能な複数の第２の撮像手段のうち２以上の第２の撮像手段の撮像範囲の重複範囲において、該第１の撮像手段の予測された撮像範囲である予測撮像範囲の少なくとも一部が含まれる場合、該２以上の第２の撮像手段による撮像画像における、前記第１の撮像手段の前記予測撮像範囲に対応する領域の輝度情報を取得する第１取得手段と、
前記輝度情報に基づいて前記第１の撮像手段の露出を制御するための露出情報を取得する第２取得手段と
を備えることを特徴とする端末装置。

【請求項12】

撮像範囲を変更可能な第１の撮像手段と、
前記第１の撮像手段よりも広角の撮像が可能な複数の第２の撮像手段と、
を有するカメラの制御方法であって、
前記カメラの取得手段が、前記複数の第２の撮像手段のうち２以上の第２の撮像手段の撮像範囲の重複範囲において、前記第１の撮像手段の予測された撮像範囲である予測撮像範囲の少なくとも一部が含まれる場合、該２以上の第２の撮像手段による撮像画像における、前記第１の撮像手段の前記予測撮像範囲に対応する領域の輝度情報を取得する取得工程と、
前記カメラの制御手段が、前記輝度情報に基づいて前記第１の撮像手段の露出を制御する制御工程と
を備えることを特徴とするカメラの制御方法。

【請求項13】

端末装置の制御方法であって、
前記端末装置の第１取得手段が、撮像範囲を変更可能な第１の撮像手段よりも広角の撮像が可能な複数の第２の撮像手段のうち２以上の第２の撮像手段の撮像範囲の重複範囲において、該第１の撮像手段の予測された撮像範囲である予測撮像範囲の少なくとも一部が含まれる場合、該２以上の第２の撮像手段による撮像画像における、前記第１の撮像手段の前記予測撮像範囲に対応する領域の輝度情報を取得する第１取得工程と、
前記端末装置の第２取得手段が、前記輝度情報に基づいて前記第１の撮像手段の露出を制御するための露出情報を取得する第２取得工程と
を備えることを特徴とする端末装置の制御方法。

【請求項14】

コンピュータを
撮像範囲を変更可能な第１の撮像手段よりも広角の撮像が可能な複数の第２の撮像手段のうち２以上の第２の撮像手段の撮像範囲の重複範囲において、該第１の撮像手段の予測された撮像範囲である予測撮像範囲の少なくとも一部が含まれる場合、該２以上の第２の撮像手段による撮像画像における、前記第１の撮像手段の前記予測撮像範囲に対応する領域の輝度情報を取得する取得手段、
前記輝度情報に基づいて前記第１の撮像手段の露出を制御する制御手段
として機能させるプログラム。

【請求項15】

コンピュータを、
撮像範囲を変更可能な第１の撮像手段よりも広角の撮像が可能な複数の第２の撮像手段のうち２以上の第２の撮像手段の撮像範囲の重複範囲において、該第１の撮像手段の予測された撮像範囲である予測撮像範囲の少なくとも一部が含まれる場合、該２以上の第２の撮像手段による撮像画像における、前記第１の撮像手段の前記予測撮像範囲に対応する領域の輝度情報を取得する第１取得手段、
前記輝度情報に基づいて前記第１の撮像手段の露出を制御するための露出情報を取得する第２取得手段
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像技術に関するものである。

【背景技術】

【0002】

従来、広い監視領域を効果的に監視するために、監視領域全体を撮影するための広角レンズを有するカメラ（広角カメラ）、被写体を詳細に撮影するためのズーム機構を有するカメラ（ズームカメラ）、の２つを用いて監視を行う監視装置があった。ユーザは、広角カメラによる撮像画像を見ることで監視領域全体を見ることができ、またその中で特に注視したい対象物をズームカメラによる撮像画像で詳細に見ることができる。

【0003】

例えば、特許文献１では、検知用の監視画像を取得するための画像入力用カメラと、検知物体を追尾撮影するための監視カメラを同一のカメラケースに収納した監視装置が開示されている。この監視装置は、画像入力用カメラによって監視領域全体を監視することにより、侵入してきた対象物を検知することができる。さらにこのとき、位置や大きさ、あるいは輝度などの情報を侵入物体情報としてカメラ制御部に出力することで、監視カメラはこの検知した対象物を追尾しながら、さらに撮影することができる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００２－２４７４２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

追尾撮影する際に、被写体の移動途中で日向から日陰など、輝度が大きく変化するシーンが考えられる。しかしながら、追尾途中で大きく輝度が変化した場合、被写体を見失う可能性があった。また、そうでなくとも、被写体に輝度変化が発生するため、追尾映像としてふさわしくない場合があった。上述の特許文献１に開示された従来技術では、被写体の輝度情報を画像入力用カメラから監視カメラへ送信しているが、被写体が遠方にある場合、必然的に画角が広くなる画像入力用カメラでは被写体を検知することが難しい。また、複数のカメラを用いて広い画角を構成して画像入力用カメラとすることを考えると、各カメラのばらつきなどにより、送られてきた輝度情報がばらつくことが考えられ、その情報をもとにした監視カメラ画像の被写体輝度もばらついてしまう。本発明では、追尾撮像において撮像範囲の輝度が大きく変化しても露出を適切に制御するための技術を提供する。

【課題を解決するための手段】

【0006】

本発明の一様態は、撮像範囲を変更可能な第１の撮像手段と、
前記第１の撮像手段よりも広角の撮像が可能な複数の第２の撮像手段と、
前記複数の第２の撮像手段のうち２以上の第２の撮像手段の撮像範囲の重複範囲において、前記第１の撮像手段の予測された撮像範囲である予測撮像範囲の少なくとも一部が含まれる場合、該２以上の第２の撮像手段による撮像画像における、前記第１の撮像手段の前記予測撮像範囲に対応する領域の輝度情報を取得する取得手段と、
前記輝度情報に基づいて前記第１の撮像手段の露出を制御する制御手段と
を備えることを特徴とする。

【発明の効果】

【0007】

本発明により、追尾撮像において撮像範囲の輝度が大きく変化しても露出を適切に制御することができる。

【図面の簡単な説明】

【0008】

【図1】監視装置の外観例を示す模式図。

【図2】監視装置１００の機能構成例を示すブロック図。

【図3】変形例２に係る監視装置１００の構成例を示すブロック図。

【図4】ズームカメラ１０２及び広角カメラ１０１の動作例を示す図。

【図5】複数の広角カメラの撮像画像における輝度分布を示す図。

【図6】監視装置１００が行う処理のフローチャート。

【図7】監視装置１００が行う処理のフローチャート。

【図8】システムの構成例を示すブロック図。

【発明を実施するための形態】

【0009】

以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の１つである。

【0010】

［第１の実施形態］
先ず、本実施形態に係る監視装置（監視カメラ）の外観例について、図１の模式図を用いて説明する。図１に示す如く、本実施形態に係る監視装置１００は、広角カメラ１０１とズームカメラ１０２とを有する。広角カメラ１０１は、監視領域全体（広い視野）を監視（撮像）するための撮像装置の一例であり、広角レンズを有する。ズームカメラ１０２は、被写体の追尾撮像可能な撮像装置の一例であり、パン（Ｐ）、チルト（Ｔ）、ズーム（Ｚ）を変更可能なカメラである。つまりズームカメラ１０２はズーム動作を行うことで、広角カメラ１０１による撮像範囲（監視領域）の部分領域に対してズームアップして該部分領域の詳細を撮像することができる。またズームカメラ１０２はパン動作／チルト動作を行うことで、該ズームカメラ１０２の撮像範囲を広角カメラ１０１による撮像範囲内で変更することができ、監視領域の全体領域若しくは監視領域内の任意の部分領域を撮像することができる。

【0011】

次に、監視装置１００の機能構成例について、図２のブロック図を用いて説明する。先ず、広角カメラ１０１の機能構成例について説明する。外界からの光は広角レンズ２０１を介して撮像素子２０２に入光し、撮像素子２０２は、該入光した光に応じた電気信号を信号処理部２０３に対して出力する。信号処理部２０３は、画像処理部２０４、制御部２０５、通信部２０６を有する。画像処理部２０４は、撮像素子２０２からの電気信号に基づいて撮像画像を生成し、該生成した撮像画像に対して各種の補正処理を含む画像処理を施してから、該撮像画像を通信部２０６に対して送出する。画像処理部２０４は、このような一連の処理を撮像素子２０２から電気信号を受ける度に行うことで、複数フレームの撮像画像を生成して順次通信部２０６に対して送出することになる。制御部２０５は、１つ以上のプロセッサとメモリとを有し、該プロセッサは該メモリに格納されているコンピュータプログラムやデータを用いて処理を実行することで、広角カメラ１０１全体の動作制御を行う。例えば制御部２０５は、画像処理部２０４から送出された撮像画像が適正となるように（例えば露出が適正となるように）、広角レンズ２０１や撮像素子２０２を制御する。通信部２０６は、画像処理部２０４から送出された撮像画像を、ネットワークを介して外部機器に対して送信する。また通信部２０６は、必要に応じてズームカメラ１０２との間のデータ通信を行う。

【0012】

次に、ズームカメラ１０２の機能構成例について説明する。ズームレンズ２１１は、制御部２１５による制御に従って、ズームカメラ１０２の撮像範囲内における被写体の詳細を撮像するべくズームアップしたり、より広い範囲を撮像するべくズームアウトしたりするズーム動作を行う。外界からの光はズームレンズ２１１を介して撮像素子２１２に入光し、撮像素子２１２は、該入光した光に応じた電気信号を信号処理部２１３に対して出力する。信号処理部２１３は、画像処理部２１４、制御部２１５、通信部２１６を有する。画像処理部２１４は、撮像素子２１２からの電気信号に基づいて撮像画像を生成し、該生成した撮像画像に対して各種の補正処理を含む画像処理を施してから、該撮像画像を通信部２１６に対して送出する。画像処理部２１４は、このような一連の処理を撮像素子２１２から電気信号を受ける度に行うことで、複数フレームの撮像画像を生成して順次通信部２１６に対して送出することになる。制御部２１５は、１つ以上のプロセッサとメモリとを有し、該プロセッサは該メモリに格納されているコンピュータプログラムやデータを用いて処理を実行することで、ズームカメラ１０２全体の動作制御を行う。例えば制御部２１５は、画像処理部２１４から送出された撮像画像が適正となるように（例えば露出が適正となるように）、ズームレンズ２１１や撮像素子２１２を制御する。パン駆動部２１７は、制御部２１５による制御に従って、ズームカメラ１０２のパン方向の角度を変更するパン動作を行う。チルト駆動部２１８は、制御部２１５による制御に従って、ズームカメラ１０２のチルト方向の角度を変更するチルト動作を行う。つまり制御部２１５は、ズームレンズ２１１やパン駆動部２１７やチルト駆動部２１８の駆動制御を行うことで、任意の撮像範囲の撮像を可能にする。またこのような構成により、広角カメラ１０１とズームカメラ１０２とで同時に撮像することも可能である。通信部２１６は、画像処理部２１４から送出された撮像画像を、ネットワークを介して外部機器に対して送信する。通信部２１６による撮像画像の送信先は通信部２０６による撮像画像の送信先と同じであっても良いし、異なっていても良い。また、通信部２０６及び通信部２１６がネットワークを介して外部機器に対して送信する情報は撮像画像に限らず、例えば、撮像日時、パン角、チルト角、ズーム値、撮像画像から認識した被写体に係る情報等の付加情報であっても良い。また通信部２１６は、必要に応じて広角カメラ１０１との間のデータ通信を行う。

【0013】

次に、ズームカメラ１０２の露出を適切に制御しながら該ズームカメラ１０２による被写体の追尾撮像を可能にするための、ズームカメラ１０２及び広角カメラ１０１の動作について、図４を例にとり説明する。

【0014】

ズームカメラ１０２（制御部２１５）は、現フレームの撮像画像４０１中に写っている被写体４００を認識し、該認識した被写体４００の該撮像画像４０１内における位置、サイズ、移動方向等の被写体情報を特定する。そして制御部２１５は、該特定した被写体情報から、次フレームの撮像画像内に被写体４００が納まるようなズームカメラ１０２のパン角、チルト角、ズーム値のそれぞれの制御量（制御情報）を算出する。このようなパン角、チルト角、ズーム値のそれぞれの制御量を算出する処理は、被写体の追尾撮像を行うための周知の機能により実現可能である。そして制御部２１５は、パン角、チルト角、ズーム値のそれぞれの制御量から、次フレームにおけるズームカメラ１０２の撮像範囲（予測撮像範囲）４０２を特定（予測）する。より具体的には制御部２１５は、ズームカメラ１０２のパン角、チルト角、ズーム値のそれぞれを、求めたパン角、チルト角、ズーム値の制御量に応じて変更した場合におけるズームカメラ１０２の撮像範囲を予測撮像範囲４０２として特定（予測）する。そして制御部２１５は通信部２１６を制御して、該予測撮像範囲４０２を示す情報（予測撮像範囲情報）を広角カメラ１０１に対して送出する。

【0015】

広角カメラ１０１（制御部２０５）は、通信部２０６を制御して、ズームカメラ１０２から送出された予測撮像範囲情報を受信する。そして制御部２０５は、広角カメラ１０１による撮像画像４０３において、該受信した予測撮像範囲情報が示す予測撮像範囲に対応する画像領域４０４内の各画素の輝度値（輝度情報）を収集する。このような構成によれば、制御部２０５は、撮像画像中における被写体が検出不可能なほど小さくても、該被写体を含む予測撮像範囲に対応する領域の輝度情報を収集することができる。そして制御部２０５は通信部２０６を制御し、該収集した輝度情報をズームカメラ１０２に対して送出する。

【0016】

制御部２１５は通信部２１６を制御して、広角カメラ１０１から送出された輝度情報を取得すると、該取得した輝度情報から周知の技術により、適正露出状態となるようなシャッター速度、絞り、感度（ゲイン）等の露出情報を求める。そして制御部２１５は、ズームレンズ２１１（厳密にはズームレンズ２１１の駆動制御を行う制御部）や撮像素子２１２を制御して、現在のズームカメラ１０２の露出情報を、広角カメラ１０１から送出された輝度情報に基づいて求めた露出情報に変更する。これにより制御部２１５は、次フレームにおいて被写体を適切な露出で撮像するための露出量に変更することができ、適切に露出を制御することができる。

【0017】

また制御部２１５はパン駆動部２１７を制御して、算出したパン角の制御量に従ってズームカメラ１０２のパン角を変更し、チルト駆動部２１８を制御して、算出したチルト角の制御量に従ってズームカメラ１０２のチルト角を変更する。また制御部２１５は、ズームレンズ２１１（厳密にはズームレンズ２１１の駆動制御を行う制御部）を制御して、算出したズーム値の制御量に従ってズームカメラ１０２のズームを変更する。このように、制御部２１５はパン駆動部２１７、チルト駆動部２１８、ズームレンズ２１１を駆動制御することで、撮像範囲の変更を可能にする。

【0018】

次に、ズームカメラ１０２の露出を適切に制御しながら該ズームカメラ１０２による被写体の追尾撮像を可能にするために監視装置１００が行う処理について、図６のフローチャートに従って説明する。なお、図６の各ステップにおける処理の詳細については上記の通りであるから、ここでは簡単に説明する。

【0019】

ステップＳ６０２では、制御部２１５は、次フレームの撮像画像内に被写体４００が納まるようなズームカメラ１０２のパン角、チルト角、ズーム値のそれぞれの制御量を算出する。そして制御部２１５は、パン角、チルト角、ズーム値のそれぞれの制御量から、次フレームにおけるズームカメラ１０２の撮像範囲を予測撮像範囲４０２として特定（予測）する。そして制御部２１５は通信部２１６を制御して、予測撮像範囲４０２を示す予測撮像範囲情報を広角カメラ１０１に対して送出する。

【0020】

ステップＳ６０３では、制御部２０５は、撮像画像４０３において、予測撮像範囲情報が示す予測撮像範囲に対応する画像領域４０４内の各画素の輝度値（輝度情報）を収集する。そして制御部２０５は通信部２０６を制御し、該収集した輝度情報をズームカメラ１０２に対して送出する。ステップＳ６０４では、制御部２１５は、輝度情報から周知の技術により、適正露出状態となるようなシャッター速度、絞り、感度（ゲイン）等の露出情報を求める。

【0021】

ステップＳ６０５で制御部２１５はズームレンズ２１１（厳密にはズームレンズ２１１の駆動制御を行う制御部）や撮像素子２１２を制御し、現在のズームカメラ１０２の露出情報を広角カメラ１０１から取得した輝度情報に基づいて求めた露出情報に変更する。また制御部２１５はパン駆動部２１７を制御して、算出したパン角の制御量に従ってズームカメラ１０２のパン角を変更し、チルト駆動部２１８を制御して、算出したチルト角の制御量に従ってズームカメラ１０２のチルト角を変更する。また制御部２１５は、ズームレンズ２１１（厳密にはズームレンズ２１１の駆動制御を行う制御部）を制御して、算出したズーム値の制御量に従ってズームカメラ１０２のズームを変更する。そしてズームカメラ１０２及び広角カメラ１０１は、次フレームの撮像を行う。

【0022】

このように本実施形態によれば、追尾撮像中に撮像範囲の輝度が大きく変化しても、次フレームに適した露出で撮像を行うことができるので、次フレームの撮像画像における被写体の認識（位置やサイズ等の特定）をより高精度に行うことができる。これにより例えば、「被写体の輝度が急に変化すると被写体を見失う」といった従来の問題を解消することができる。

【0023】

なお、図１に示した広角カメラ１０１及びズームカメラ１０２の各機能部はハードウェアで実装しても良いし、制御部２０５（２１５）を除く各機能部をソフトウェア（コンピュータプログラム）で実装しても良い。後者の場合、このソフトウェアは、制御部２０５（２１５）が有するメモリに格納され、制御部２０５（２１５）が有するプロセッサにより実行されることになる。

【0024】

＜変形例１＞
現在のズームカメラ１０２の露出量と、広角カメラ１０１から送出された輝度情報に基づいて求めた露出情報に基づく露出量と、が比較的大きく異なる場合、露出情報の変更後に撮像された撮像画像が輝度変化により見えづらくなる場合がある。そこで制御部２１５は、現在のズームカメラ１０２の露出量と、広角カメラ１０１から送出された輝度情報に基づいて求めた露出情報に基づく露出量と、の差分Ｄが規定値よりも大きい場合には、次のような処理でもって制御情報を変更しても良い。例えば制御部２１５は、現在のズームカメラ１０２の露出量から一定範囲Ｒ内の露出量となるように制御情報を変更する。なお、この一定範囲Ｒを差分Ｄが大きいほど大きくするなど、一定範囲Ｒを差分Ｄに応じて変更しても良い。

【0025】

＜変形例２＞
図１，２では、広角カメラ１０１の数を１としているが、２以上としても良い。この場合、監視装置１００は図３に示す如く、広角カメラ１０１と同じ構成を有する広角カメラ１０１ａ、１０１ｂ、１０１ｃ、…と、ズームカメラ１０２と、を有することになり、図１，２の監視装置１００よりも広い撮像範囲を効果的に撮像することができる。広角カメラ１０１ａ、１０１ｂ、１０１ｃ、…は何れも、広角カメラ１０１と同様の動作を行う。ここで、複数の広角カメラは鉛直方向の軸まわりの３６０度を分担して撮像することで全周囲の撮像範囲に対応する画像を取得する。例えば、４つの広角カメラを利用する場合は、パン方向について略９０度の撮像範囲ずつ撮像する。ここで、被写体までの距離などに依らずに監視領域全体を撮像するためには、広角カメラ１０１ａ、１０１ｂ、１０１ｃ、…は互いに撮像範囲が少しずつ重なっていたほうが望ましい。

【0026】

ここで、複数の広角カメラの撮像画像における輝度分布について図５を用いて説明する。図５において領域５０２及び領域５０３が第１の広角カメラの撮像範囲、領域５０２及び領域５０４が第２の広角カメラの撮像範囲、である、つまり領域５０２は第１の広角カメラの撮像範囲と第２の広角カメラの撮像範囲とが重なっている重複領域である。また図５の左下のグラフ及び右下のグラフにおいて横軸は左から順に領域５０３，５０２，５０４の水平方向の位置を示しており、縦軸は輝度を示している。曲線５５１は第１の広角カメラの撮像範囲において水平方向の輝度分布、曲線５５２は第２の広角カメラの撮像範囲の水平方向の輝度分布を示している。

【0027】

個々の広角カメラの画角端付近（撮像画像の端部付近）はレンズの周辺光量落ちなどの影響により、輝度の不確かさが大きくなる。それに個々の撮像素子やレンズの特性のばらつきが加わることで、撮像画像全体を一様な感度に補正することが難しい。そのため１つの広角カメラから輝度情報を取得してしまうと、被写体が移動して広角カメラが切り替わるところで、輝度段差が発生してしまう。

【0028】

そこで、図５の左上に示す如く、予測撮像範囲５０１が領域５０２内に位置している場合には、制御部２１５は、第１の広角カメラから取得した輝度情報と第２の広角カメラから取得した輝度情報との平均輝度情報を求め、該平均輝度情報から露出情報を求める。これにより、レンズの周辺光量落ちなどの影響を小さくすることができる。

【0029】

また図５の右上に示す如く、予測撮像範囲５０１が領域５０２と領域５０３とに跨っているとする。このとき、制御部２１５は、第１の広角カメラの撮像範囲に占める予測撮像範囲５０１の割合Ｗ１（０≦Ｗ１≦１）と、第２の広角カメラの撮像範囲に占める予測撮像範囲５０１の割合Ｗ２（０≦Ｗ２≦１）と、を求める。そして制御部２１５は、第１の広角カメラから取得した輝度情報を割合Ｗ１で重み付けた結果と、第２の広角カメラから取得した輝度情報を割合Ｗ２で重み付けた結果と、の平均輝度情報（重み付け平均輝度情報）を求め、該平均輝度情報から露出情報を求める。これにより、レンズの周辺光量落ちなどの影響を小さくすることができる。

【0030】

このように、広角カメラ１０１として複数の広角カメラを使用した場合に、それぞれの広角カメラについて取得した輝度情報に基づいて露出情報を求める方法には様々な方法がある。

【0031】

＜変形例３＞
図１～３の監視装置１００では、それぞれのカメラに信号処理部が搭載されていた。しかし、それぞれのカメラに信号処理部を搭載するのではなく、各カメラの撮像素子からの電気信号を受けて処理する１つ以上の信号処理部を監視装置１００に搭載するようにしても良い。つまり、撮像を行う機能部と、撮像により得られた画像に基づいた処理を行う機能部と、は図１～３のようにカメラが有していても良いし、別個の装置としても良い。

【0032】

＜変形例４＞
第１の実施形態では、予測撮像範囲を、パン角、チルト角、ズーム値のそれぞれの制御量から特定（予測）していたが、予測撮像範囲の特定（予測）方法はこのような方法に限らない。例えば、現フレームの撮像画像における被写体領域（被写体を包含する領域）の位置や移動方向から次フレームにおける被写体領域を特定（予測）し、該特定（予測）した被写体領域を含む撮像範囲を予測撮像範囲としても良い。

【0033】

［第２の実施形態］
以下では第１の実施形態との差分について説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。本実施形態には図３に示した監視装置１００を適用する。本実施形態に係る監視装置１００の動作について、図７のフローチャートに従って説明する。図７のフローチャートにおいて図６に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。

【0034】

ステップＳ７０３で広角カメラ１０１ａ、１０１ｂ、１０１ｃ、…の各広角カメラの制御部２０５は、次のように動作する。つまり、着目広角カメラの制御部２０５は、ズームカメラ１０２から受信した予測撮像範囲情報が示す予測撮像範囲が、自広角カメラの撮像範囲と他広角カメラの撮像範囲とが重複している重複範囲に属しているか否かを判断する。そして、広角カメラ１０１ａ、１０１ｂ、１０１ｃ、…のうち「予測撮像範囲が自広角カメラの撮像範囲と他広角カメラの撮像範囲とが重複している重複範囲に属している」と判断した広角カメラが存在した場合には、処理はステップＳ７０４に進む。一方、広角カメラ１０１ａ、１０１ｂ、１０１ｃ、…のうち「予測撮像範囲が自広角カメラの撮像範囲と他広角カメラの撮像範囲とが重複している重複範囲に属している」と判断した広角カメラが存在しなかった場合には、処理はステップＳ７０６に進む。

【0035】

ステップＳ７０４では、「予測撮像範囲が、自広角カメラの撮像範囲と他広角カメラの撮像範囲とが重複している重複範囲に属している」と判断した広角カメラのみ輝度情報をズームカメラ１０２に対して送出する。

【0036】

ステップＳ７０５では、制御部２１５は、ステップＳ７０４で送出された輝度情報の平均輝度情報を求め、該平均輝度情報から露出情報を求める。なお、本ステップでは、制御部２１５は、図５の右上のケースの場合には、上記の重み付け平均による輝度情報を求め、該重み付け平均による輝度情報から露出情報を求めるようにしても良い。

【0037】

一方、ステップＳ７０６では、「予測撮像範囲が、自広角カメラの撮像範囲（重複範囲は除く）に属している」と判断した広角カメラのみ輝度情報をズームカメラ１０２に対して送出する。ステップＳ７０７では、制御部２１５は、ステップＳ７０４で送出された輝度情報から第１の実施形態と同様にして露出情報を求める。

【0038】

ステップＳ７０８では制御部２１５は、ズームレンズ２１１（厳密にはズームレンズ２１１の駆動制御を行う制御部）や撮像素子２１２を制御し、現在のズームカメラ１０２の露出情報をステップＳ７０５若しくはステップＳ７０７で求めた露出情報に変更する。それ以外については、ステップＳ７０８では、上記のステップＳ６０５と同様の処理が行われる。

【0039】

このように、本実施形態によれば、複数の広角カメラを使用した監視装置であっても、追尾撮像中に被写体やその周辺の輝度が大きく変化しても該被写体の追尾撮像（監視）を続けることが可能になる。

【0040】

［第３の実施形態］
本実施形態では、監視装置１００と、該監視装置１００による撮像画像を取り扱う端末装置と、を有するシステムについて説明する。本実施形態に係るシステムの構成例について、図８のブロック図を用いて説明する。図８に示す如く、本実施形態に係るシステムは、監視装置１００と端末装置８５０とを有し、監視装置１００と端末装置８５０とはネットワーク８６０を介して接続されている。ネットワーク８６０は、インターネットやＬＡＮ等のネットワークにより構成されており、無線、有線、若しくは無線と有線との組み合わせにより構成されるネットワークである。

【0041】

先ず、監視装置１００について説明する。監視装置１００の構成は図１に示したとおりであるが、図８では、制御部２０５及び制御部２１５の詳細な構成を示しており、それ以外の機能部の図示は省略している。

【0042】

制御部２０５は、ＣＰＵ８０１、ＲＡＭ８０２、ＲＯＭ８０３を有する。ＣＰＵ８０１は、ＲＡＭ８０２に格納されているコンピュータプログラムやデータを用いて処理を実行することで、広角カメラ１０１全体の動作制御を行うと共に、広角カメラ１０１が行うものとして上述した各処理を実行若しくは制御する。ＲＡＭ８０２は、ＲＯＭ８０３からロードされたコンピュータプログラムやデータ、ズームカメラ１０２や端末装置８５０から受信したデータ、を格納するためのエリアを有する。またＲＡＭ８０２は、ＣＰＵ８０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ８０２は、各種のエリアを適宜提供することができる。ＲＯＭ８０３には、広角カメラ１０１が行うものとして上述した各処理をＣＰＵ８０１に実行若しくは制御させるためのコンピュータプログラムやデータが格納されている。ＲＯＭ８０３に格納されているコンピュータプログラムやデータは、ＣＰＵ８０１による制御に従って適宜ＲＡＭ８０２にロードされ、ＣＰＵ８０１による処理対象となる。ＣＰＵ８０１、ＲＡＭ８０２、ＲＯＭ８０３は何れもバス８０４に接続されている。

【0043】

制御部２１５は、ＣＰＵ８１１、ＲＡＭ８１２、ＲＯＭ８１３を有する。ＣＰＵ８１１は、ＲＡＭ８１２に格納されているコンピュータプログラムやデータを用いて処理を実行することで、ズームカメラ１０２全体の動作制御を行うと共に、ズームカメラ１０２が行うものとして上述した各処理を実行若しくは制御する。ＲＡＭ８１２は、ＲＯＭ８１３からロードされたコンピュータプログラムやデータ、広角カメラ１０１や端末装置８５０から受信したデータ、を格納するためのエリアを有する。またＲＡＭ８１２は、ＣＰＵ８１１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ８１２は、各種のエリアを適宜提供することができる。ＲＯＭ８１３には、ズームカメラ１０２が行うものとして上述した各処理をＣＰＵ８１１に実行若しくは制御させるためのコンピュータプログラムやデータが格納されている。ＲＯＭ８１３に格納されているコンピュータプログラムやデータは、ＣＰＵ８１１による制御に従って適宜ＲＡＭ８１２にロードされ、ＣＰＵ８１１による処理対象となる。ＣＰＵ８１１、ＲＡＭ８１２、ＲＯＭ８１３は何れもバス８１４に接続されている。

【0044】

次に、端末装置８５０について説明する。端末装置８５０は、スマートフォン、タブレット、ＰＣ（パーソナルコンピュータ）等の情報処理機器である。ＣＰＵ８５１は、ＲＡＭ８５２やＲＯＭ８５３に格納されているコンピュータプログラムやデータを用いて処理を実行することで、端末装置８５０全体の動作制御を行うと共に、端末装置８５０が行う各処理を実行若しくは制御する。

【0045】

ＲＡＭ８５２は、ＲＯＭ８５３や外部記憶装置８５７からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ８５４（インターフェース）を介して監視装置１００から受信したデータ、を格納するためのエリアを有する。更にＲＡＭ８５２は、ＣＰＵ８５１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ８５２は、各種のエリアを適宜提供することができる。

【0046】

ＲＯＭ８５３には、書換不要の端末装置８５０に係るコンピュータプログラムやデータが格納されている。Ｉ／Ｆ８５４は、ネットワーク８６０を介して監視装置１００との間のデータ通信を行うためのインターフェースとして機能するものである。

【0047】

操作部８５５は、マウスやキーボードなどのユーザインターフェースにより構成されており、ユーザが操作することで各種の指示をＣＰＵ８５１に対して入力することができる。

【0048】

表示部８５６は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ８５１による処理結果を画像や文字などでもって表示することができる。例えば、表示部８５６には、監視装置１００から送信された撮像画像や上記の付加情報を表示しても良い。また、表示部８５６はタッチパネル画面で構成しても良い。

【0049】

外部記憶装置８５７は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置８５７には、ＯＳ（オペレーティングシステム）や、端末装置８５０が既知の情報として取り扱う情報が保存されている。また外部記憶装置８５７には、端末装置８５０が行う各処理をＣＰＵ８５１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。外部記憶装置８５７に保存されているコンピュータプログラムやデータは、ＣＰＵ８５１による制御に従って適宜ＲＡＭ８５２にロードされ、ＣＰＵ８５１による処理対象となる。

【0050】

ＣＰＵ８５１、ＲＡＭ８５２、ＲＯＭ８５３、Ｉ／Ｆ８５４、操作部８５５、表示部８５６、外部記憶装置８５７は何れもバス８５８に接続されている。なお、監視装置１００に適用可能なハードウェア構成、端末装置８５０に適用可能なハードウェア構成は図８に示した構成に限らない。

【0051】

以上説明した各実施形態や各変形例の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態や各変形例の一部若しくは全部を選択的に使用しても構わない。

【0052】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0053】

２０１：広角レンズ ２０２：撮像素子 ２０４：画像処理部 ２０５：制御部 ２０６：通信部 ２１１：ズームレンズ ２１２：撮像素子 ２１４：画像処理部 ２１５：制御部 ２１６：通信部 ２１７：パン駆動部 ２１８：チルト駆動部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】