特許 7512173 情報処理装置、撮像装置、プログラム、記憶媒体及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-28

(45)【発行日】2024-07-08

(54)【発明の名称】情報処理装置、撮像装置、プログラム、記憶媒体及び方法

(51)【国際特許分類】

   H04N 23/71 20230101AFI20240701BHJP

   H04N 23/611 20230101ALI20240701BHJP

   G03B 15/00 20210101ALI20240701BHJP

   G03B 7/091 20210101ALI20240701BHJP

【ＦＩ】

H04N23/71

H04N23/611

G03B15/00 Q

G03B7/091

【請求項の数】 12

(21)【出願番号】P 2020186565

(22)【出願日】2020-11-09

(65)【公開番号】P2022076242

(43)【公開日】2022-05-19

【審査請求日】2023-11-08

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】千野 俊介

(72)【発明者】

【氏名】土橋 俊之

(72)【発明者】

【氏名】太田 盛也

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】特開２００７－２２８２０１（ＪＰ，Ａ）

【文献】特開２００３－０４６８４８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／７１

Ｈ０４Ｎ ２３／６１１

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ ７／０９１

(57)【特許請求の範囲】

【請求項1】

撮像された画像を取得する取得手段と、
前記取得手段が取得した画像から被写体を検出する第１の検出手段と、
前記取得手段が取得した画像から前記被写体の一部を検出する第２の検出手段と、
前記被写体の輝度と第１の輝度との差が小さくなるように前記被写体に対して露出を決定し、前記被写体の一部の輝度と前記第１の輝度とは異なる第２の輝度との差が小さくなるように前記被写体の一部に対して露出を決定する決定手段と、
前記決定手段により決定した露出に関する情報を出力する出力手段と、
を有することを特徴とする情報処理装置。

【請求項2】

前記決定手段は、前記被写体の輝度が前記第２の輝度よりも低い場合には前記第１の輝度を前記第２の輝度よりも高い輝度とし、前記被写体の輝度が前記第２の輝度よりも高い場合には前記第１の輝度を前記第２の輝度よりも低い輝度とすることを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記第２の輝度は、前記被写体の一部が適正露出となる輝度であり、前記第１の輝度は、前記被写体が露出オーバー又は露出アンダーとなる輝度であることを特徴とする請求項１又は２に記載の情報処理装置。

【請求項4】

前記決定手段は、前記被写体に対して決定された露出により撮像された画像から前記第２の検出手段により検出された場合に、前記被写体の一部に対して露出を決定することを特徴とする請求項１から３のいずれか一項に記載の情報処理装置。

【請求項5】

前記決定手段は、前記被写体に対して決定された露出により撮像された画像から前記第２の検出手段により前記被写体の一部が検出されなかった場合に、前記第１の輝度と前記第２の輝度との差を大きくすることを特徴とする請求項４に記載の情報処理装置。

【請求項6】

前記第１の検出手段により検出する前記被写体は人体領域であり、前記第２の検出手段により検出する前記被写体の一部は顔領域であることを特徴とする請求項１から５のいずれか一項に記載の情報処理装置。

【請求項7】

請求項１から６のいずれか一項に記載の情報処理装置を備えた撮像装置。

【請求項8】

請求項１から６のいずれか一項に記載の情報処理装置の各手段としてコンピュータを機能させるためのプログラム。

【請求項9】

請求項８に記載のプログラムを記憶したコンピュータで読み取り可能な記憶媒体。

【請求項10】

画像の露出を決定する方法であって、
撮像された画像を取得する取得ステップと、
前記取得ステップが取得した画像から被写体を検出する第１の検出ステップと、
前記取得ステップが取得した画像から前記被写体の一部を検出する第２の検出ステップと、
前記被写体の輝度と第１の輝度との差が小さくなるように前記被写体に対して露出を決定し、前記被写体の一部の輝度と前記第１の輝度とは異なる第２の輝度との差が小さくなるように前記被写体の一部に対して露出を決定する決定ステップと、
前記決定ステップにより決定した露出に関する情報を出力する出力ステップと、
を有することを特徴とする方法。

【請求項11】

前記決定ステップは、前記被写体の輝度が前記第２の輝度よりも低い場合には前記第１の輝度を前記第２の輝度よりも高い輝度とし、前記被写体の輝度が前記第２の輝度よりも高い場合には前記第１の輝度を前記第２の輝度よりも低い輝度とすることを特徴とする請求項１０に記載の方法。

【請求項12】

前記第２の輝度は、前記被写体の一部が適正露出となる輝度であり、前記第１の輝度は、前記被写体が露出オーバー又は露出アンダーとなる輝度であることを特徴とする請求項１０又は１１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、撮像装置、プログラム、記憶媒体及び方法に関する。

【背景技術】

【0002】

従来より、撮影された画像から人体領域が検出された場合に人体領域を適正露出にし、顔領域が検出された場合に顔領域を適正に適正露出にする技術が知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－１３０６１５

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、被写体の部分的な検出に適した露出を決定することである。

【課題を解決するための手段】

【0005】

上記目的を達成するために、本発明の１つの態様による撮像制御装置は、撮像された画像を取得する取得手段と、前記取得手段が取得した画像から被写体を検出する第１の検出手段と、前記取得手段が取得した画像から前記被写体の一部を検出する第２の検出手段と、前記被写体の輝度と第１の輝度との差が小さくなるように前記被写体に対して露出を決定し、前記被写体の一部の輝度と前記第１の輝度とは異なる第２の輝度との差が小さくなるように前記被写体の一部に対して露出を決定する決定手段と、前記決定手段により決定した露出に関する情報を出力する出力手段と、を有することを特徴とする情報処理装置。

【発明の効果】

【0006】

被写体の部分的な検出に適した露出制御を行うことができる。

【図面の簡単な説明】

【0007】

【図1】実施形態１に係る撮像制御システムの構成を示す図。

【図2】実施形態１に係る監視カメラの内部構成を示す図。

【図3】実施形態１に係るクライアント装置の内部構成を示す図。

【図4】実施形態１に係るクライアント装置が実行する機能構成を示す図。

【図5】実施形態１に係る顔、人体領域が黒つぶれした撮影画像を示す図。

【図6】実施形態１に係る顔が黒つぶれした撮影画像を示す図。

【図7】実施形態１に係る顔が適正、背景が白飛びした撮影画像を示す図。

【図8】実施形態１に係る顔、人体領域が黒つぶれした撮影画像を示す図。

【図9】実施形態１に係る顔、人体領域が適正となった撮影画像を示す図。

【図10】実施形態１に係る露出制御処理を示すフローチャート。

【発明を実施するための形態】

【0008】

以下に、本発明の実施形態を、図面を参照して詳細に説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用される装置の仕様や各種条件（使用条件、使用環境等）によって適宜修正又は変更され得る。本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

【0009】

なお、後述する図に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。したがって、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（特定用途向け集積回路）の略である。ＣＰＵはＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。ＭＰＵはＭｉｃｒｏ－Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。

【0010】

＜実施形態１＞
図１～図１０を参照して実施形態１を説明する。

【0011】

（基本構成）
図１は、本発明の実施形態１に係る撮像制御システム１００の構成を例示的に説明する図である。

【0012】

撮像制御システム１００は、監視カメラ１０１と、ネットワーク１０２と、クライアント装置１０３と、入力装置１０４と、表示装置１０５とを有する。監視カメラ１０１は、動画像を取得するための撮像装置であり、被写体の撮像および画像処理が可能な装置である。監視カメラ１０１とクライアント装置１０３とは、ネットワーク１０２を介して相互に通信可能な状態で接続されている。クライアント装置１０３は、入力装置１０４と表示装置１０５に通信可能な状態で接続されている。クライアント装置１０３は、種々の情報を処理する装置であるので、情報処理装置と称してもよい。また、クライアント装置１０３は、監視カメラ１０１の撮像を制御する装置であるので、撮像制御装置と称してもよい。

【0013】

入力装置１０４は、マウスやキーボード等から構成され、クライアント装置１０３のユーザにより操作される。

【0014】

表示装置１０５は、クライアント装置１０３から受信した画像を表示するモニタ等を備える装置である。なお、表示装置１０５はタッチパネルなどのＵＩとして機能することもできる。この場合、表示装置１０５は、クライアント装置１０３へ指示、情報、データ等を入力する入力装置としても機能できることになる。ＵＩはＵｓｅｒ Ｉｎｔｅｒｆａｃｅの略である。

【0015】

図１では、クライアント装置１０３と入力装置１０４と表示装置１０５とがそれぞれ独立した装置として描かれているが、本実施形態はこのような構成に限定されない。例えば、クライアント装置１０３と表示装置１０５とが、一体化されていてもよいし、入力装置１０４と表示装置１０５とが一体化されていてもよい。また、クライアント装置１０３と入力装置１０４と表示装置１０５とが、一体化されていてもよい。クライアント装置１０３と表示装置１０５とが一体化される場合、一体化された装置は、例えば、パーソナルコンピュータ、タブレット端末、スマートフォンのような形態をとる。

【0016】

（監視カメラの構造）
図２は、監視カメラ１０１の内部構成を例示的に説明するブロック図である。監視カメラ１０１は、撮像光学系２０１、撮像素子２０２、カメラＣＰＵ２０３、ＲＯＭ２０４、ＲＡＭ２０５、撮像系制御部２０６、通信制御部２０７、Ａ／Ｄ変換部２０８、画像処理部２０９、エンコーダ部２１０およびネットワークＩ／Ｆ２１１を有する。監視カメラ１０１の各部（２０３～２１１）は、システムバス２１２により相互接続されている。ＲＯＭはＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略である。ＲＡＭはＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。Ａ／ＤはＡｎａｌｏｇ／Ｄｉｇｉｔａｌの略である。Ｉ／Ｆはインターフェースの略である。

【0017】

撮像光学系２０１はズームレンズ、フォーカスレンズ、ブレ補正レンズ、絞り、シャッターなどから構成され、被写体の光情報を集光する光学部材群である。撮像光学系２０１は撮像素子２０２に接続されている。

【0018】

撮像素子２０２は、撮像光学系２０１で集光される光束を電流値（信号値）へと変換するＣＭＯＳやＣＣＤなどの電荷蓄積型の固体撮像素子であって、カラーフィルタなどと組み合わせることで色情報を取得する撮像部である。ＣＭＯＳはＣｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒの略である。ＣＣＤはＣｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅの略である。撮像素子２０２はＡ／Ｄ変換部２０８に接続されている。

【0019】

カメラＣＰＵ２０３は、監視カメラ１０１の動作を統括的に制御する制御部である。カメラＣＰＵ２０３は、ＲＯＭ２０４やＲＡＭ２０５に格納された命令を読み込み、その結果に従って処理を実行する。

【0020】

撮像系制御部２０６は、カメラＣＰＵ２０３からの指示に基づいて、監視カメラ１０１の各部の制御を行う。例えば、撮像系制御部２０６は、撮像光学系２０１に対して、フォーカス制御、シャッター制御、絞り調整などの制御を行う。

【0021】

通信制御部２０７は、クライアント装置１０３との通信によって、クライアント装置１０３から監視カメラ１０１の各部への制御命令（制御信号）をカメラＣＰＵ２０３に伝達するための制御を行う。

【0022】

Ａ／Ｄ変換部２０８は、撮像素子２０２で検知した被写体の光量をデジタル信号（画像データ）に変換する。Ａ／Ｄ変換部２０８は、当該デジタル信号を画像処理部２０９に送信する。

【0023】

画像処理部２０９は、撮像素子２０２から受信したデジタル信号の画像データに対して、画像処理を行う。画像処理部２０９はエンコーダ部２１０に接続されている。

【0024】

エンコーダ部２１０は、画像処理部２０９で処理された画像データをＭｏｔｉｏｎ ＪｐｅｇやＨ２６４、Ｈ２６５などのファイルフォーマットに変換する処理を行う。エンコーダ部２１０はネットワークＩ／Ｆ２１１に接続されている。

【0025】

ネットワークＩ／Ｆ２１１は、クライアント装置１０３等の外部の装置とのネットワーク１０２を介した通信に利用されるインターフェースであって、通信制御部２０７により制御される。

【0026】

ネットワーク１０２は、監視カメラ１０１と、クライアント装置１０３を接続するＩＰネットワークである。ネットワーク１０２は、例えばＥｔｈｅｒｎｅｔ（登録商標）等の通信規格に適合する複数のルータ、スイッチ、ケーブル等から構成される。本実施形態では、ネットワーク１０２は、監視カメラ１０１とクライアント装置１０３との間の通信を行うことができるものであればよく、その通信規格、規模、構成などを問わない。例えば、ネットワーク１０２は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により構成されてもよい。

【0027】

（クライアント装置の構成）
図３は、クライアント装置１０３の内部構成を例示的に説明するブロック図である。

【0028】

クライアント装置１０３は、クライアントＣＰＵ３０１、主記憶装置３０２、補助記憶装置３０３、入力Ｉ／Ｆ３０４、出力Ｉ／Ｆ３０５およびネットワークＩ／Ｆ３０６を有する。クライアント装置１０３の各要素は、システムバス３０７を介して、相互に通信可能に接続されている。

【0029】

クライアントＣＰＵ３０１は、クライアント装置１０３の動作を統括的に制御する中央演算装置である。なお、クライアントＣＰＵ３０１によって、ネットワーク１０２を介して監視カメラ１０１の統括的な制御を実行してもよい。

【0030】

主記憶装置３０２は、クライアントＣＰＵ３０１のデータの一時的な記憶場所として機能するＲＡＭ等の記憶装置である。例えば、主記憶装置３０２は、クライアント装置１０３が顔検出や人体検出を行う際に使用するパターンマッチング用のパターン（顔の特徴部分や人体の特徴部分に対応するパターン）を予め格納している。

【0031】

補助記憶装置３０３は、各種プログラム、各種設定データ等を記憶するＨＤＤ、ＲＯＭ、ＳＳＤ等の記憶装置である。ＨＤＤはＨａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略である。ＳＳＤはＳｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅの略である。

【0032】

入力Ｉ／Ｆ３０４は、クライアント装置１０３が入力装置１０４等からの入力（信号）を受取る際に利用されるインターフェースである。

【0033】

出力Ｉ／Ｆ３０５は、クライアント装置１０３から表示装置１０５等への情報（信号）を出力する際に利用されるインターフェースである。

【0034】

ネットワークＩ／Ｆ３０６は、監視カメラ１０１等の外部の装置とのネットワーク１０２を介した通信に利用されるインターフェースである。

【0035】

クライアントＣＰＵ３０１が、補助記憶装置３０３に記憶されたプログラムに基づき処理を実行することによって、図４に示すクライアント装置１０３の機能及び処理が実現される。この詳細については後述する。

【0036】

（クライアント装置の機能）
図４は、クライアント装置１０３が実行する機能を例示的に説明する図である。換言すると、図４に図示する各部（機能ブロック）は、クライアントＣＰＵ３０１により実行され得る機能であって、当該各部はクライアントＣＰＵ３０１と同義である。

【0037】

図４に示すように、クライアント装置１０３のクライアントＣＰＵ３０１は、入力情報取得部４０１、通信制御部４０２、入力画像取得部４０３、カメラ情報取得部４０４および検出方法設定部４０５を含む。またクライアントＣＰＵ３０１は、被写体検出部４０６、露出決定部４０８および表示制御部４０９を含む。なお、クライアント装置１０３は、クライアントＣＰＵ３０１とは別のハードウェア（またはソフトウェア）により、図４に図示する各部４０１～４０９の機能を実行してもよい。

【0038】

入力信号取得部４０１は、入力装置１０４を介したユーザからの入力を受け付ける。

【0039】

通信制御部４０２は、監視カメラ１０１から送信された画像（監視カメラ１０１により撮影された画像）を、ネットワーク１０２を介して受信するための制御を実行する。また、通信制御部４０２は、クライアント装置１０３から監視カメラ１０１への制御命令を、ネットワーク１０２を介して送信するための制御を実行する。

【0040】

入力画像取得部４０３は、通信制御部４０２を介して監視カメラ１０１から受信した画像を、被写体の検出処理の対象である画像（被写体検出処理を適用する画像）として取得する。検出処理の詳細については後述する。

【0041】

カメラ情報取得部４０４は、通信制御部４０２を介して、監視カメラ１０１により被写体を撮像する際のカメラ情報（撮像情報）を取得する。カメラ情報（撮像情報）は、被写体を撮像して画像を取得する際の種々の情報である。カメラ情報は、例えば、絞り値、シャッタースピード、ゲインなどの露出パラメータである。ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）時に使用する露出目標値を変更する露出補正値も含まれる。

【0042】

検出方法設定部４０５は、入力画像取得部４０３により取得された画像に対して、顔領域の検出（顔検出）や人体領域の検出（人体検出）を含む様々な検出方法の中から、所定の（適切な）検出方法を設定する。顔検出を行う場合、後述する被写体検出部４０６は、画像における顔領域を優先して検出する。人体検出を行う場合、被写体検出部４０６は、画像における人体領域を優先して検出する。検出された顔領域や人体領域の座標（頂点座標、幅、高さなど）を算出する。

【0043】

本実施形態では、検出方法設定部４０５は、顔検出の検出方法または人体検出の検出方法を設定（選択）する。なお、本実施形態はこのような設定に限定されない。例えば、人物の上半身、頭部、顏の目、鼻、口などの一部領域などの人物の一部分の特徴領域を検出する検出方法を設定してもよい（選択できるようにしてもよい）。また、本実施形態では、検出対象の被写体は人物であるが、人物以外の所定の被写体に係る特定領域を検出可能な構成であってもよい。例えば、動物の顔や自動車など、クライアント装置１０３において予め設定された所定の被写体を検出可能な構成にしてもよい。

【0044】

露出領域設定部４０７は、検出方法設定部４０５で算出された顔領域や人体領域に基づいて、ＡＥで使用する露出領域を設定する。

【0045】

露出目標値設定部４０８は、検出方法設定部４０５で設定された検出方法によって適した露出目標値を設定する。例えば検出方法が顔である場合には顔に合わせた露出目標値、人体であれば人体に合わせた露出目標値を設定する。図５は逆光のシーンを表している。背景に露出が引っ張られ、人体領域や顔領域が黒つぶれしてしまっている。このような場合にはシルエットで判別可能な人体を検出して、人体で露出を行い、露出が高くなり顔領域が検出できるようになると顔領域で露出を行うこととなる。図６のように着ている服が明るい場合、人体領域で露出を合わせようとしても顔領域の露出が十分に上がらず顔領域が検出できない。そのため、図５のような露出が高くなるように補正するシーンでは人体領域の露出目標値を高く設定するとよい。図７のように人体部分の露出が飛び気味になってしまうが、顔領域を検出することができ、顔領域に適切に露出を合わせることができる。ある被写体に露出を合わせ、異なる被写体に露出を合わせていくような制御の場合には、異なる被写体の適正領域を極力通過するような露出目標値をある被写体に対して適応すると有用になる。例えば、図５～７のように人体領域から顔領域に適性を合わせる場合を説明する。シルエットなどで検出しやすい人体に露出を合わせ、人体領域での露出制御の際に、顔領域が適正となる露出を通過するような人体領域の露出目標値を設定することで、顔領域を検出する可能性を高めることができる。

【0046】

図８は夜景が背景で室内に人物が立っているシーンである。図８のシーンにおいては背景の夜景部分に露出が引っ張られて、人物が白とびをしてしまうことがある。このような場合には人体領域、顔領域ともに露出を低くする方向に制御する。露出を低くなるように補正するシーンでは人体領域の露出目標値を顔領域の目標値に対して相対的に低く設定するとよい。図９のように人体部分が黒つぶれになってしまうが、顔領域を検出することができ、顔領域に適切に露出を合わせることができる。

【0047】

本実施例においては、人体領域と顔領域を用いて説明したが、なお、本実施形態はこのような設定に限定されない。例えば、人物の上半身、頭部、顏の目、鼻、口などの一部領域などの人物の一部分の特徴領域を検出する検出方法を設定してもよい（選択できるようにしてもよい）。また、本実施形態では、検出対象の被写体は人物であるが、人物以外の所定の被写体に係る特定領域を検出可能な構成であってもよい。例えば、動物の顔や自動車、自動車のナンバーなど、クライアント装置１０３において予め設定された所定の被写体を検出可能な構成にしてもよい。

【0048】

露出決定部４０９は、被写体検出部４０６から得られる被写体領域の画像情報に基づき、露出レベルを決定し、通信制御部４０２より、監視カメラ１０１に前述の露出レベルを送信し、制御部２０７を介し露出制御が実行される。露出レベルを合わせる方法としては、絞り値、シャッタースピード、ゲイン、露出補正値の露出に影響するパラメータの少なくとも一つを使用することがある。

【0049】

カメラ情報取得部４０４、検出方法設定部４０５、被写体検出部４０６、露出決定部４０８に関連する詳細な処理フローについては、図１０のフローチャートを参照して後述する。

【0050】

表示制御部４０９は、ＣＰＵ３０１からの指示に従い、露出決定部４０８で決定された露出補正が反映された撮像画像を表示装置１０５へ出力する。

【0051】

（被写体の検出処理・露出決定処理）
以下、図１０に示すフローチャートを参照して、本実施形態に係る露出制御処理について説明する。なお、図１の撮像制御システム１００において、監視カメラ１０１、クライアント装置１０３、入力装置１０４および表示装置１０５の電源がオンされ、監視カメラ１０１とクライアント装置１０３の接続（通信）が確立しているとする。また、この状態で、監視カメラ１０１による所定の更新周期で被写体の撮像、監視カメラ１０１からクライアント装置１０３への画像データの送信、表示装置１０５での画像表示が繰り返されているものとする。そして、ネットワーク１０２を介して監視カメラ１０１からクライアント装置１０３に被写体の撮像画像が入力されたことに応じて、図１０のフローチャートの処理がクライアントＣＰＵ３０１により開始されるものとする。以下の説明において、Ｓはステップの略である。

【0052】

まず、ステップＳ１００１において、検出手段設定部４０５は、被写体検出部４０６に顔の検出を設定し、被写体検出部４０６は、入力画像に対して、顔検出処理を行う。クライアント装置１０３の主記憶装置３０２には、顏の特徴部分や人体の特徴部分に対応するそれぞれのパターンが予め格納されており、被写体検出部４０６は、当該パターンに基づくパターンマッチングにより顔領域を検出する。

【0053】

次に、ステップＳ１００２において、被写体検出部４０６は、ステップＳ１００１で実行される顔検出処理において、画像内に顔領域が検出されているかを判定する。顔領域が検出されていない場合はステップＳ１００３に進み、少なくとも１つ以上の顔領域が検出されている場合はステップＳ１００５に進む。

【0054】

ステップＳ１００３では、検出手段設定部４０５は、被写体検出部４０６に人体の検出を設定し、被写体検出部４０６は、入力画像に対して、人体検出処理を行う。ここで、顔領域を検出する場合は、一般的には、顏を高精度に検出することができ、被写体の顔領域と顔領域以外の領域とを明確に識別することができる。しかしながら、顏の向き、顏の大きさ、顏の明るさなどが顔検出に適した条件でない場合、顔領域を正確に検出することはできない。これに対して、人体検出を行う場合は、顏の向き、顏の大きさ、顏の明るさなどによらず人物が存在する領域を検出することができる。なお、本発明における人体検出は、必ずしも全身を検出する必要はなく、上半身やバストアップ、顔を含む頭部領域でもよい。図７は、顔領域と人体領域との検出例である。

【0055】

また、被写体の検出方法としてパターンマッチング法を採用する場合、パターンマッチングで使用するパターンとして、統計学習を使って作成されたパターン（識別器）を用いてもよい。あるいは、パターンマッチング以外の方法で被写体検出を行ってもよい。例えば、局所領域内の輝度勾配を用いて被写体検出を行ってもよい。すなわち、被写体の検出方法は特定の検出方法に限定されるものではなく、機械学習をベースにした検出や、距離情報に基づく検出など、種々の方法を採用できる。

【0056】

ステップＳ１００４では、被写体検出部４０６は、ステップＳ１００３で実行される人体検出処理において、画像内に人体領域が検出されているかを判定する。人体領域が検出されていない場合は本処理を終了し、検出されている場合はステップＳ１００６に進む。

【0057】

ステップＳ１００５では、露出領域設定部４０７は、続くステップＳ１００８で用いる注目領域をステップＳ１００１で検出された顔領域に設定する。

【0058】

ステップＳ１００６では、露出領域設定部４０７は、続くステップＳ１００８で用いる注目領域をステップＳ１００３で検出された人体領域に設定する。

【0059】

ステップＳ１００７で、設定された注目領域から露出領域を設定する。

【0060】

ステップＳ１００８において、露出決定部４０９は、ステップＳ１００７で設定された露出領域の平均輝度値を算出する。具体的には、露出決定部４０９は、ステップＳ１００５またはステップＳ１００６で設定した注目領域の数（検出された顔または人体の数）、注目領域の位置、注目領域のサイズに関する情報を下記の式（１）に適用する。

【0061】

【数1】

【0062】

ここで、Ｉ（ｘ、ｙ）は画像内における水平方向（ｘ軸方向）と垂直方向（ｙ軸方向）の２次元座標位置（ｘ、ｙ）の輝度値を表す。また、ｆは注目領域の数を表し、（ｖ、ｈ）は注目領域の中心座標を表し、ｋは水平方向の注目領域のサイズを表し、ｌは垂直方向の注目領域の検出サイズを表す。

【0063】

ステップＳ１００９において、露出目標値設定部４０８は、ステップＳ１００８で算出された平均輝度値に基づいて、露出の補正量ＥＶｃｏｒｒｅｃｔｉｏｎを決定する。まず、露出決定部４０７は、式（２）のように、ステップＳ１００８にて算出した注目領域の平均輝度値Ｉｏｂｊｅｃｔと、注目領域の目標輝度値Ｉｏｂｊｅｃｔ ｔａｒｇｅｔとの差分値を算出する。この時点ではＩｏｂｊｅｃｔ ｔａｒｇｅｔに対して、顔領域での目標輝度値Ｉｏｂｊｅｃｔ ｔａｒｇｅｔ＿ｆａｃｅを設定しておく。

【0064】

【数2】

【0065】

なお、注目領域の目標輝度値Ｉｏｂｊｅｃｔ ｔａｒｇｅｔは注目領域と補正方向に基づき決定される。露出の補正方向が露出を高くする方向である場合（露出アンダーの場合）には、人体領域対して顔領域よりも高い目標輝度値を設定する。すなわち、人体領域が露出オーバーとなるように目標輝度値が設定される。一方、露出の補正方向が露出を低くする方向である場合（露出オーバーの場合）には、人体領域に対して顔領域よりも低い目標輝度値を設定する。すなわち、人体領域が露出アンダーとなるように目標輝度値が設定される。具体的には、以下の式（３）により人体領域に対する目標輝度値が決まる。

【0066】

【数3】

【0067】

ここで、Ｉｏｂｊｅｃｔ ｔａｒｇｅｔ＿ｂｏｄｙは注目領域が人体領域の場合の目標輝度値（第１の輝度）である。また、Ｉｏｂｊｅｃｔ ｔａｒｇｅｔ＿ｆａｃｅは注目領域が顔領域の場合の目標輝度値（第２の輝度）である。例えば、Ｉｏｂｊｅｃｔ ｔａｒｇｅｔ＿ｆａｃｅは、顔領域が適正露出となるような目標輝度値である。

【0068】

αは人体領域で露出を行う場合と顔領域で露出行う場合の目標輝度値の差分である。着ている衣服などで人体領域での露出値が顔領域でずれたとしても顔が検出できるような所定値を設定するとよい。おおよそ１０％程度目標値を高くすると顔の検出できる確率は大きく向上する。

【0069】

また、大きめの値を設定し、必ず顔が適正となるような設定値を通過するように設定することで、人体での露出補正を行う際に顔領域が適正になる露出を通過することができるようになる。

【0070】

また、人体領域を検出し、顔領域が検出できなかった場合に、αの値を大きくすることも有効である。そのようにすることで、人体領域の露出目標値で顔の検出ができなかった場合に顔領域の検出ができる可能性を高くすることができる。

【0071】

注目領域が顔領域である場合、Ｉｏｂｊｅｃｔ ｔａｒｇｅｔにＩｏｂｊｅｃｔ ｔａｒｇｅｔ＿ｆａｃｅが設定され、注目領域が人体領域画である場合、Ｉｏｂｊｅｃｔ ｔａｒｇｅｔにＩｏｂｊｅｃｔ ｔａｒｇｅｔ＿ｂｏｄｙが設定される。

【0072】

再度、式（２）からΔＤｉｆｆが算出される。

【0073】

次に、露出決定部４０８は、式（３）のように補正量ＥＶｃｏｒｒｅｃｔｉｏｎを決定する。なお、ＥＶｃｕｒｒｅｎｔは、被写体輝度値（ＢＶ値）に基づくＡＰＥＸ換算のＥＶ値であって、クライアント装置１０３に予め格納された、露出制御に係るプログラム線図に基づいて設定される。

【0074】

【数4】

【0075】

ここで、パラメータβは、現在の露出値ＥＶｃｕｒｒｅｎｔを中心とし、露出のアンダー側あるいは露出のオーバー側に露出を補正する際の補正度合（速度）に影響を与える係数である。パラメータβの値を大きく設定することで、目標値に達するまでに係る処理速度（または時間）は高速になるが、検出結果に誤判定が生じた場合や、被写体の検出が安定しない場合に、画面全体の明るさが急峻に変動する。一方、パラメータβの値を小さく設定すると、露出が目標に到達するまでに係る処理速度（または時間）は遅くなるが、誤検出や撮影条件にロバストになる。このパラメータβは、差分ΔＤｉｆｆが、設定された閾値Ｔｈ以上であった場合に、現在の露出値ＥＶｃｕｒｒｅｎｔに対する露出の補正値として設定される。

【0076】

ステップＳ１０１０では、カメラ情報取得部４０４は、カメラから現在の露出設定値の情報を取得する。本実施例においては、露出補正値を取得する。

【0077】

ステップＳ１０１１では、露出決定部４０８は、通信制御部４０２を介して監視カメラ１０１と通信を行い、ステップＳ１００９にて算出した露出補正値を監視カメラ１０１に設定する。

【0078】

ステップＳ１０１２では、被写体検出部４０６は、ステップＳ１００１と同様に顔検出を行う。

【0079】

ステップＳ１０１３では、被写体検出部４０６は、ステップＳ１０１２で実行される顔検出処理において、画像内に顔領域が検出されているかを判定する。顔領域が検出されている場合はステップＳ１０１４に進み、顔領域が検出されていない場合はステップＳ１０１５に進む。

【0080】

ステップＳ１０１４では、露出決定部４０８は、通信制御部４０２を介して監視カメラ１０１と通信を行い、ステップＳ１０１１で設定した露出補正値を維持するように監視カメラ１０１に設定し、本処理を終了する。

【0081】

ステップＳ１０１５では、露出決定部４０８は、通信制御部４０２を介して監視カメラ１０１と通信を行い、ステップＳ１０１０にて取得した露出補正値を監視カメラ１０１に設定し、本処理を終了する。

【0082】

以上説明したように、本実施形態の撮像制御システム１００では、顔領域または人体領域から適切な露出領域を設定し、露出領域に基づいて露出制御を行うことで、顔領域や人体領域の露出を適した値を設定することができる。例えば、ガラス扉を採用した店舗入口やスタジアムゲートなど、強い逆光状態となる場合でも、顔検出に適切な露出制御値の維持が可能となる。よって、来店者や来場者被写体（人物）の顔を素早くとらえることができる。本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

【0083】

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0084】

１０３ クライアント装置
４０１ 入力情報取得部
４０２ 通信制御部
４０３ 入力画像取得部
４０４ カメラ情報取得部
４０５ 検出方法設定部
４０６ 被写体検出部
４０７ 露出領域設定部
４０８ 露出目標値設定部
４０９ 露出決定部
４１０ 表示制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】