特許 7606301 撮像制御装置およびその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-17

(45)【発行日】2024-12-25

(54)【発明の名称】撮像制御装置およびその制御方法

(51)【国際特許分類】

   H04N 23/70 20230101AFI20241218BHJP

   H04N 23/611 20230101ALI20241218BHJP

   G03B 15/00 20210101ALI20241218BHJP

【ＦＩ】

H04N23/70

H04N23/611

G03B15/00 Q

G03B15/00 S

【請求項の数】 17

(21)【出願番号】P 2020151515

(22)【出願日】2020-09-09

(65)【公開番号】P2022045757

(43)【公開日】2022-03-22

【審査請求日】2023-09-04

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】千野 俊介

(72)【発明者】

【氏名】土橋 俊之

(72)【発明者】

【氏名】太田 盛也

【審査官】堀井 康司

(56)【参考文献】

【文献】特開２００６－３１１３１１（ＪＰ，Ａ）

【文献】特開２００２－３２０１３７（ＪＰ，Ａ）

【文献】特開２００８－１７０９３２（ＪＰ，Ａ）

【文献】特開２００９－０２０３０４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０－２３／７６

Ｈ０４Ｎ ２３／９０－２３／９５９

Ｇ０３Ｂ １５／００

(57)【特許請求の範囲】

【請求項1】

撮像装置による撮像を制御する撮像制御装置であって、
前記撮像装置により撮像された撮像画像に含まれる被写体の特徴部を検出する検出手段と、
前記検出手段により検出された特徴部を取り囲む領域に基づいて、露出計算の対象とする露出領域を決定する決定手段と、
を有し、
前記決定手段は、前記領域を第１の方向に拡大し、かつ該第１の方向と異なる第２の方向に縮小することにより前記露出領域を決定する
ことを特徴とする撮像制御装置。

【請求項2】

前記決定手段は、前記領域と略同一の面積となるように前記露出領域を決定する
ことを特徴とする請求項１に記載の撮像制御装置。

【請求項3】

前記決定手段は、所定の面積以上となるように前記露出領域を決定する
ことを特徴とする請求項１または２に記載の撮像制御装置。

【請求項4】

前記被写体は人物であり、
前記特徴部は上半身、頭部、顔、目、鼻、口の少なくとも１つであり、
前記第１の方向は人物の下半身の存在する方向である
ことを特徴とする請求項１乃至３の何れか１項に記載の撮像制御装置。

【請求項5】

前記領域は人物の頭部を包含する矩形領域であり、
前記決定手段は、前記領域の４辺のうち、人物の下半身の存在する方向の１辺を人物の首または胸元が含まれるように移動しかつ残りの３辺の少なくとも１辺を前記領域の中心方向に移動することにより前記露出領域を決定する
ことを特徴とする請求項４に記載の撮像制御装置。

【請求項6】

前記検出手段により検出された特徴部を含む被写体の特徴から前記第１の方向を判定する判定手段をさらに有する
ことを特徴とする請求項１乃至５の何れか１項に記載の撮像制御装置。

【請求項7】

前記撮像画像における逆光の度合いを判定する逆光判定手段をさらに有し、
前記決定手段は、前記逆光の度合いが大きいほど前記領域を前記第２の方向への縮小の度合いを大きくする
ことを特徴とする請求項１に記載の撮像制御装置。

【請求項8】

撮像装置による撮像を制御する撮像制御装置であって、
前記撮像装置により撮像された撮像画像に含まれる被写体の特徴部を検出する検出手段と、
前記検出手段により検出された特徴部を取り囲む領域に対して、露出計算の重み分布を決定する決定手段と、
前記領域に対して決定された重みに基づいて露出値を算出する算出手段と、
を有し、
前記決定手段は、前記被写体が存在する区間に基づいて設定された初期重み分布を第１の方向に拡大し、かつ該第１の方向と異なる第２の方向に縮小することにより前記重み分布を決定する
ことを特徴とする撮像制御装置。

【請求項9】

前記決定手段は、前記初期重み分布の重み積分値と略同一の重み積分値となるように前記重み分布を決定する
ことを特徴とする請求項８に記載の撮像制御装置。

【請求項10】

前記決定手段は、所定の重み積分値以上となるように前記重み分布を決定する
ことを特徴とする請求項８または９に記載の撮像制御装置。

【請求項11】

前記被写体は人物であり、
前記特徴部は上半身、頭部、目、鼻、口の少なくとも１つであり、
前記第１の方向は人物の下半身の存在する方向である
ことを特徴とする請求項８乃至１０の何れか１項に記載の撮像制御装置。

【請求項12】

前記領域は人物の頭部を包含する矩形領域であり、
前記初期重み分布は、前記領域において人物の頭部が存在する区間を重み１としかつ頭部が存在しない区間を重み０とする分布として設定され、
前記決定手段は、前記領域の４辺に対応する４方向のうち、人物の下半身の存在する方向の重み１の区間を人物の首または胸元が含まれるように拡大しかつ残りの３方向の少なくとも１方向の重み１の区間を前記領域の中心方向に移動することにより前記重み分布を決定する
ことを特徴とする請求項１１に記載の撮像制御装置。

【請求項13】

前記検出手段により検出された特徴部を含む被写体の特徴から前記第１の方向を判定する判定手段をさらに有する
ことを特徴とする請求項８乃至１２の何れか１項に記載の撮像制御装置。

【請求項14】

前記撮像画像における逆光の度合いを判定する逆光判定手段をさらに有し、
前記決定手段は、前記逆光の度合いが大きいほど前記初期重み分布に対する前記第２の方向への縮小の度合いを大きくする
ことを特徴とする請求項８に記載の撮像制御装置。

【請求項15】

撮像装置による撮像を制御する撮像制御装置の制御方法であって、
前記撮像装置により撮像された撮像画像に含まれる被写体の特徴部を検出する検出工程と、
前記検出工程により検出された特徴部を取り囲む領域に基づいて、露出計算の対象とする露出領域を決定する決定工程と、
を含み、
前記決定工程では、前記領域を第１の方向に拡大し、かつ該第１の方向と異なる第２の方向に縮小することにより前記露出領域を決定する
ことを特徴とする制御方法。

【請求項16】

撮像装置による撮像を制御する撮像制御装置の制御方法であって、
前記撮像装置により撮像された撮像画像に含まれる被写体の特徴部を検出する検出工程と、
前記検出工程により検出された特徴部を取り囲む領域に対して、露出計算の重み分布を決定する決定工程と、
前記領域に対して決定された重みに基づいて露出値を算出する算出工程と、
を含み、
前記決定工程では、前記被写体が存在する区間に基づいて設定された初期重み分布を第１の方向に拡大し、かつ該第１の方向と異なる第２の方向に縮小することにより前記重み分布を決定する
ことを特徴とする制御方法。

【請求項17】

コンピュータを、請求項１乃至１４の何れか１項に記載の撮像制御装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像に係る露出制御に関するものである。

【背景技術】

【0002】

近年、撮像装置により撮像された画像の中から被写体の特定領域を検出し、検出された領域に係る情報に基づき露出や画質などの撮影設定を設定する技術が提案されている。例えば、特許文献１では、画像データに含まれる被写体像の中から所定の対象画像部分を検出し、検出された対象画像部分にもとづいて、対象画像部分の明るさを求める自動露光（ＡＥ）対象領域を決定する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第４５６７６１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１の技術では、ＡＥ対象領域が対象画像部分（顔など）の内部になっているため、ＡＥ対象領域の面積が狭くなり、シーンによっては安定した露光（露出）を維持することが難しくなる。例えば、ノイズが多いシーンや動きが多いシーンでは露光が不安定となり、得られる画像が明るくなったり暗くなったりしてしまう。

【0005】

本発明は、このような問題に鑑みてなされたものであり、被写体に対して安定した露出を可能とする技術を提供することを目的としている。

【課題を解決するための手段】

【0006】

上述の問題点を解決するため、本発明に係る撮像制御装置は以下の構成を備える。すなわち、撮像装置による撮像を制御する撮像制御装置は、
前記撮像装置により撮像された撮像画像に含まれる被写体の特徴部を検出する検出手段と、
前記検出手段により検出された特徴部を取り囲む領域に基づいて、露出計算の対象とする露出領域を決定する決定手段と、
を有し、
前記決定手段は、前記領域を第１の方向に拡大し、かつ該第１の方向と異なる第２の方向に縮小することにより前記露出領域を決定する。
または、撮像装置による撮像を制御する撮像制御装置は、
前記撮像装置により撮像された撮像画像に含まれる被写体の特徴部を検出する検出手段と、
前記検出手段により検出された特徴部を取り囲む領域に対して、露出計算の重み分布を決定する決定手段と、
前記領域に対して決定された重みに基づいて露出値を算出する算出手段と、
を有し、
前記決定手段は、前記被写体が存在する区間に基づいて設定された初期重み分布を第１の方向に拡大し、かつ該第１の方向と異なる第２の方向に縮小することにより前記重み分布を決定する。

【発明の効果】

【0007】

本発明によれば、被写体に対して安定した露出を可能とする技術を提供することができる。

【図面の簡単な説明】

【0008】

【図1】第１実施形態に係る撮像制御システムの全体構成を示すブロック図である。

【図2】監視カメラのハードウェア構成を示すブロック図である。

【図3】クライアント装置のハードウェア構成を示すブロック図である。

【図4】クライアント装置の機能構成を示すブロック図である。

【図5】人体領域が露出不足により黒つぶれした撮影画像の例を示す図である。

【図6】人体領域が適正露出である撮影画像の例を示す図である。

【図7】逆光度合が異なる撮影画像の例を示す図である。

【図8】第１実施形態における露出制御処理のフローチャートである。

【図9】第２実施形態におけるクライアント装置の機能構成を示すブロック図である。

【図10】顔、人体領域が検出された撮影画像の例を示す図である。

【図11】検出された顔、人体領域に対する重み付けの例を示す図である。

【図12】第２実施形態における露出制御処理のフローチャートである。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0010】

（第１実施形態）
本発明に係る撮像制御装置の第１実施形態として、監視カメラによる撮像を制御するクライアント装置を例に挙げて以下に説明する。

【0011】

＜システム構成＞
図１は、第１実施形態に係る撮像制御システム１００の全体構成を例示的に示すブロック図である。

【0012】

撮像制御システム１００は、監視カメラ１０１と、ネットワーク１０２と、クライアント装置１０３と、入力装置１０４と、表示装置１０５とを含む。監視カメラ１０１は、動画像を取得するための撮像装置であり、被写体の撮像および画像処理が可能な装置である。監視カメラ１０１とクライアント装置１０３とは、ネットワーク１０２を介して相互に通信可能な状態で接続されている。クライアント装置１０３は、入力装置１０４と表示装置１０５に通信可能な状態で接続されている。クライアント装置１０３は、種々の情報を処理する装置であるので、情報処理装置と称してもよい。また、クライアント装置１０３は、監視カメラ１０１の撮像を制御する装置であるので、撮像制御装置と称してもよい。

【0013】

入力装置１０４は、マウスやキーボード等から構成され、クライアント装置１０３を操作するユーザにより操作される。表示装置１０５は、クライアント装置１０３から受信した画像を表示するモニタ等を備える装置である。なお、表示装置１０５は、タッチパネルを表面に設置しグラフィカルユーザインタフェース（ＧＵＩ）として機能することもできる。この場合、表示装置１０５は、クライアント装置１０３へ指示、情報、データ等を入力する入力装置としても機能できることになる。

【0014】

図１では、クライアント装置１０３と入力装置１０４と表示装置１０５とがそれぞれ独立した装置として描かれているが、このような構成に限定されない。例えば、クライアント装置１０３と表示装置１０５とが、一体化されていてもよいし、入力装置１０４と表示装置１０５とが一体化されていてもよい。また、クライアント装置１０３と入力装置１０４と表示装置１０５とが、一体化されていてもよい。クライアント装置１０３と表示装置１０５とが一体化される場合、一体化された装置は、例えば、パーソナルコンピュータ、タブレット端末、スマートフォンのような形態をとる。

【0015】

なお、後述する図４に示す機能ブロックの１つ以上は、特定用途向け集積回路（ＡＳＩＣ）やプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよい。また、中央処理装置（ＣＰＵ）やＭＰＵ等のプログラマブルプロセッサがソフトウェアプログラムを実行することによって実現されてもよい。ＭＰＵはMicro-Processing Unitの略である。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。したがって、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

【0016】

・監視カメラのハードウェア構成
図２は、監視カメラ１０１のハードウェア構成を示すブロック図である。監視カメラ１０１は、撮像光学系２０１、撮像素子２０２を含む。また、監視カメラ１０１は、ＣＰＵ２０３、ＲＯＭ２０４、ＲＡＭ２０５、撮像系制御部２０６、通信制御部２０７、Ａ／Ｄ変換部２０８、画像処理部２０９、エンコーダ部２１０およびネットワークインターフェース（Ｉ／Ｆ）２１１を含む。これらの各要素は、システムバス２１２により相互接続されている。ＲＯＭはRead Only Memoryの略である。ＲＡＭはRandom Access Memoryの略である。Ａ／ＤはAnalog/Digitalの略である。

【0017】

撮像光学系２０１は、ズームレンズ、フォーカスレンズ、ブレ補正レンズ、絞り、シャッターなどから構成され、被写体の光情報を集光する光学部材群である。撮像光学系２０１は、撮像光学系２０１により結像される光学像が撮像素子２０２に導かれるように、撮像素子２０２に接続されている。

【0018】

撮像素子２０２は、撮像光学系２０１で集光される光学像を電流値（信号値）へと変換するＣＭＯＳやＣＣＤなどの電荷蓄積型の固体撮像素子である。例えば、カラーフィルタなどと組み合わせることで色情報を取得することも可能である。ＣＭＯＳはComplementary Metal Oxide Semiconductorの略である。ＣＣＤはCharge-Coupled Deviceの略である。撮像素子２０２はＡ／Ｄ変換部２０８に接続されている。

【0019】

ＣＰＵ２０３は、監視カメラ１０１の動作を統括的に制御する制御部である。ＣＰＵ２０３は、ＲＯＭ２０４やＲＡＭ２０５に格納された命令を読み込み、その結果に従って処理を実行する。

【0020】

撮像系制御部２０６は、ＣＰＵ２０３からの指示に基づいて、監視カメラ１０１の各部の制御を行う。例えば、撮像系制御部２０６は、撮像光学系２０１に対して、フォーカス制御、シャッター制御、絞り調整などの制御を行う。

【0021】

通信制御部２０７は、クライアント装置１０３との通信によって、クライアント装置１０３から監視カメラ１０１の各部への制御命令（制御信号）をＣＰＵ２０３に伝達するための制御を行う。

【0022】

Ａ／Ｄ変換部２０８は、撮像素子２０２で検知した光学像をデジタル信号（画像データ）に変換する。Ａ／Ｄ変換部２０８は、得られたデジタル信号を画像処理部２０９に送信する。画像処理部２０９は、撮像素子２０２から受信したデジタル信号の画像データに対して、各種の画像処理を行う。画像処理部２０９はエンコーダ部２１０に接続されている。エンコーダ部２１０は、画像処理部２０９で処理された画像データをモーションＪｐｅｇやＨ．２６４、Ｈ．２６５などのファイルフォーマットに変換する処理を行う。エンコーダ部２１０はネットワークＩ／Ｆ２１１に接続されている。

【0023】

ネットワークＩ／Ｆ２１１は、クライアント装置１０３等の外部の装置とのネットワーク１０２を介した通信に利用されるインターフェースであって、通信制御部２０７により制御される。

【0024】

ネットワーク１０２は、監視カメラ１０１と、クライアント装置１０３を接続するネットワークである。ネットワーク１０２は、例えばＥｔｈｅｒｎｅｔ（登録商標）等の通信規格に適合する複数のルータ、スイッチ、ケーブル等から構成される。ただし、ネットワーク１０２は、監視カメラ１０１とクライアント装置１０３との間の通信を行うことができるものであればよく、その通信規格、規模、構成などを問わない。例えば、ネットワーク１０２は、インターネットや有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、ＷＡＮ（Wide Area Network）等により構成されてもよい。

【0025】

・クライアント装置のハードウェア構成
図３は、クライアント装置１０３のハードウェア構成を示すブロック図である。クライアント装置１０３は、ＣＰＵ３０１、主記憶装置３０２、補助記憶装置３０３、入力Ｉ／Ｆ３０４、出力Ｉ／Ｆ３０５およびネットワークＩ／Ｆ３０６を含む。これらの各要素は、システムバス３０７を介して、相互に通信可能に接続されている。

【0026】

ＣＰＵ３０１は、クライアント装置１０３の動作を統括的に制御する中央演算装置である。なお、ＣＰＵ３０１によって、ネットワーク１０２を介して監視カメラ１０１の統括的な制御を実行してもよい。

【0027】

主記憶装置３０２は、ＣＰＵ３０１のデータの一時的な記憶場所として機能するＲＡＭ等の記憶装置である。例えば、主記憶装置３０２は、クライアント装置１０３が顔検出や人体検出を行う際に使用するパターンマッチング用のパターン（顔の特徴部分や人体の特徴部分に対応するパターン）の記憶に利用される。

【0028】

補助記憶装置３０３は、各種プログラム、各種設定データ等を記憶するＨＤＤ、ＲＯＭ、ＳＳＤ等の記憶装置である。ＨＤＤはHard Disk Driveの略である。ＳＳＤはSolid State Driveの略である。

【0029】

入力Ｉ／Ｆ３０４は、クライアント装置１０３が入力装置１０４等からの入力（信号）を受取る際に利用されるインターフェースである。出力Ｉ／Ｆ３０５は、クライアント装置１０３から表示装置１０５等への情報（信号）を出力する際に利用されるインターフェースである。ネットワークＩ／Ｆ３０６は、監視カメラ１０１等の外部の装置とのネットワーク１０２を介した通信に利用されるインターフェースである。

【0030】

・クライアント装置の機能構成
図４は、クライアント装置１０３の機能構成を示すブロック図である。ＣＰＵ３０１が、補助記憶装置３０３に記憶されたプログラムに基づき処理を実行することによって、クライアント装置１０３の様々な機能が実現される。換言すると、図４に図示する各機能部は、ＣＰＵ３０１により実行され得る機能であって、当該各部はＣＰＵ３０１と同義である。ただし、ＣＰＵ３０１とは別のハードウェア（またはソフトウェア）により、図４に示す各機能部を実現してもよい。

【0031】

クライアント装置１０３は、入力情報取得部４０１、通信制御部４０２、入力画像取得部４０３、カメラ情報取得部４０４および検出方法設定部４０５を含む。クライアント装置１０３は、被写体検出部４０６、露出決定部４０８および表示制御部４０９を含む。

【0032】

入力信号取得部４０１は、入力装置１０４を介したユーザからの入力を受け付ける。通信制御部４０２は、監視カメラ１０１から送信された画像（すなわち、監視カメラ１０１により撮影された画像）を、ネットワーク１０２を介して受信するための制御を実行する。また、通信制御部４０２は、クライアント装置１０３から監視カメラ１０１への制御命令を、ネットワーク１０２を介して送信するための制御を実行する。

【0033】

入力画像取得部４０３は、通信制御部４０２を介して監視カメラ１０１から受信した画像を、被写体の検出処理の対象である画像として取得する。検出処理の詳細については後述する。カメラ情報取得部４０４は、通信制御部４０２を介して、監視カメラ１０１により被写体を撮像する際のカメラ情報（撮像情報）を取得する。カメラ情報は、被写体を撮像して画像を取得する際の種々の情報であり、例えば、絞り値、シャッタースピード、ゲインなどの露出パラメータである。ＡＥ（Auto Exposure）時に使用する露出目標値を変更する露出補正値も含まれる。

【0034】

検出方法設定部４０５は、入力画像取得部４０３により取得された画像に対して、顔領域の検出（顔検出）や人体領域の検出（人体検出）を含む様々な検出方法の中から、所定の（適切な）検出方法を設定する。ここで、人体検出は、必ずしも全身を検出する必要はなく、上半身やバストアップ、顔を含む頭部領域でもよい。

【0035】

ここでは、検出方法設定部４０５は、顔検出の検出方法または人体検出の検出方法を設定（選択）するがこのような設定に限定されない。例えば、人物の上半身、頭部、顏の目、鼻、口などの一部領域などの人物の一部分の特徴領域を検出する検出方法を設定（選択）してもよい。また、ここでは、検出対象の被写体は人物であるが、人物以外の所定の被写体に係る特定領域を検出可能な構成であってもよい。例えば、動物の顔や自動車など、クライアント装置１０３において予め設定された所定の被写体を検出可能な構成にしてもよい。

【0036】

被写体検出部４０６は、検出方法設定部４０５により顔検出が設定された場合、画像における顔領域を優先して検出する。検出方法設定部４０５により人体検出が設定された場合、画像における人体領域を優先して検出する。検出した顔領域や人体領域の座標（頂点座標、幅、高さなど）を算出する。

【0037】

露出領域設定部４０７は、被写体検出部４０６で算出された顔領域や人体領域に基づいて、ＡＥの対象とする露出領域を設定する。露出領域の設定については図５～図７を参照して後述する。

【0038】

露出決定部４０８は、露出領域設定部４０７により設定された露出領域から得られる被写体領域の画像情報に基づき、露出レベルを決定し、通信制御部４０２より、監視カメラ１０１に前述の露出レベルを送信し、制御部２０７を介し露出制御が実行される。露出レベルを合わせる方法としては、絞り値、シャッタースピード、ゲイン、露出補正値の露出に影響するパラメータの少なくとも一つを使用することがある。

【0039】

表示制御部４０９は、ＣＰＵ３０１からの指示に従い、露出決定部４０８で決定された露出補正が反映された撮像画像を表示装置１０５へ出力する。

【0040】

＜露出領域の制御＞
続いて、露出領域設定部４０７における露出領域の設定の詳細について図５～図７を参照して説明する。ここでは、露出領域とは、ＡＥにおける露出計算の対象とする領域を意味する。

【0041】

図５は、人体領域が露出不足により黒つぶれした撮影画像の例を示す図である。このような撮影画像は、屋内などの暗い場所から明るい屋外の方向を撮影場合に取得され得る。すなわち、屋内（暗い場所）に存在する被写体を撮影すると逆光の状態になるため、顔や人体の露出不足（アンダー）のいわゆる黒つぶれの状態になっている。

【0042】

顔領域や人体領域に露出を合わせたい場合、露出領域を適切に設定することが必要となる。ここでは、被写体検出部４０６で算出された枠は図５に示されるように人物の頭部を包含する矩形領域である。ただし、図５の斜線領域で示されるように大きめであったり、位置がずれてしまっていたりする。その場合、斜線領域のうち、顔領域や人体領域ではない部分の影響が大きくなり顔領域や人体領域の露出が適正にならない場合がある。また、単に露出領域を小さくする（顔領域や人体領域の一部分とする）と、露出領域が狭くなり、ノイズや動きが多いシーンでは顔領域や人体領域の明るさが安定しない。その結果、人体領域の背景に露出を合わせた状態（図５）と、人体領域に露出を合わせた状態（図６）と、の間で露出が変動することがある。

【0043】

図６は、人体領域が適正露出である撮影画像の例を示す図である。上述のような露出の変動を抑止し、精度よく顔領域や人体領域の露出を合わせるためには、図６に示すような露出領域を設定することが考えられる。すなわち、主要被写体が人物であれば、被写体検出部４０６で算出された枠（顔、人体領域）の４辺のうち、人物の下半身の存在する方向の１辺を人物の首または胸元が含まれるように移動する。

【0044】

これにより、図５の斜線部分のような背景を含まず主要被写体（人物）に露出領域を設定できる。かつ、露出領域の面積を増加させることができるため、ノイズや動きが多いシーンにおいても安定した露出を実現することができる。また、大きめの領域が被写体検出部４０６から算出される場合には顔や人体の横方向の幅を小さくし、主要被写体の存在する方向にずらすと顔領域や人体領域により正確に露出を合わせることができる。なお、図６では、残りの３辺全てを中心方向に移動（枠に囲まれた領域を縮小）しているが１辺のみ移動しもよい。また、場合によっては残りの３辺を移動しなくてもよい。

【0045】

安定した露出を実現するために、露出領域の最小の面積をあらかじめ設定しておき、設定された最小の面積以上となるように設定することが考えられる。最小の面積は、被写体の動きの度合いややノイズの多さに応じて変更するとなおよい。さらに服の色による影響を減らし、顔領域や人体領域に露出を合わせるには、首や肩の位置を検出して、その領域まで露出領域を広げるとよい。大人や子供などによらず適切に領域を広げるためには顔領域や人体領域の大きさに比例して広げるとよい。

【0046】

図７は、逆光度合いが異なる撮影画像の例を示す図である。図７（ａ）および図７（ｂ）はどちらも顔領域に対して適正な露出が得られた撮影画像を示している。ただし、図７（ａ）は逆光がそこまで強くない場合、図７（ｂ）はかなり逆光が強い場合の撮影画像を例示的に示している。図７（ｂ）のように逆光が強くなると光学的なフレアやセンサの漏れ込みにより飽和領域が顔領域や人体領域まで漏れこんで来ることがある。

【0047】

図７（ｂ）のような場合には、顔や人体の露出領域の横方向の幅を図７（ａ）よりも相対的に狭く設定するとよい。すなわち、撮像画像における逆光の度合いを判定する逆光判定を行い、逆光の度合いが大きいほど縮小の度合いを大きくする。ただしこれにより露出領域の面積が狭くなるため、併せて胴体の存在する方向に広げる量を広くするとよい。例えば、被写体検出部４０６で算出された枠である被写体領域と略同一の面積となるように露出領域を決定するとよい。

【0048】

被写体検出部４０６が顔領域を検出している場合、胴体は顔領域から鉛直下方向に存在する場合が多い。そのため、撮像画像において鉛直下方向に相当する方向に露出領域を広げるようにしてもよい。また、顔領域、人体領域の位置関係から主要被写体の存在する方向を判定するよう構成してもよい。例えば、顔領域と人体領域を比較し、大きくはみ出している方向が人体の胴体領域となる。そのため、主要被写体の存在する方向は胴体領域の方向となる。

【0049】

＜装置の動作＞
図８は、第１実施形態における露出制御処理のフローチャートである。ここでは特に、被写体の検出処理・露出決定処理について説明している。本フローチャートの処理は、ネットワーク１０２を介して監視カメラ１０１からクライアント装置１０３に被写体の撮像画像が入力されたことに応じて開始される。

【0050】

なお、撮像制御システム１００において、監視カメラ１０１、クライアント装置１０３、入力装置１０４および表示装置１０５の電源がオンされ、監視カメラ１０１とクライアント装置１０３の接続（通信）が確立しているとする。また、監視カメラ１０１による所定の更新周期で被写体の撮像、監視カメラ１０１からクライアント装置１０３への画像データの送信、表示装置１０５での画像表示が繰り返されているものとする。

【0051】

ステップＳ８０１では、検出方法設定部４０５は、被写体検出部４０６に顔の検出を設定し、被写体検出部４０６は、入力画像に対して、顔検出処理を行う。クライアント装置１０３の主記憶装置３０２には、顏の特徴部分や人体の特徴部分に対応するそれぞれのパターンが予め格納されており、被写体検出部４０６は、当該パターンに基づくパターンマッチングにより、撮像画像に含まれる顔領域を検出する。

【0052】

ステップＳ８０２では、被写体検出部４０６は、Ｓ８０１で実行される顔検出処理において、画像内に顔領域が検出されているかを判定する。顔領域が検出されていない場合はＳ８０３に進み、少なくとも１つ以上の顔領域が検出されている場合はＳ８０５に進む。

【0053】

ステップＳ８０３では、検出方法設定部４０５は、被写体検出部４０６に人体の検出を設定し、被写体検出部４０６は、入力画像に対して、人体検出処理を行う。ここで、顔領域を検出する場合は、一般的には、顏を高精度に検出することができ、被写体の顔領域と顔領域以外の領域とを明確に識別することができる。しかしながら、顏の向き、顏の大きさ、顏の明るさなどが顔検出に適した条件でない場合、顔領域を正確に検出することはできない。これに対して、人体検出を行う場合は、顏の向き、顏の大きさ、顏の明るさなどによらず人物が存在する領域を検出することができる。上述のように、人体検出は、必ずしも全身を検出する必要はなく、上半身やバストアップ、顔を含む頭部領域でもよい。図１０は、顔領域および人体領域をそれぞれ検出した例を示している。

【0054】

また、被写体の検出方法としてパターンマッチング法を採用する場合、パターンマッチングで使用するパターンとして、統計学習を使って作成されたパターン（識別器）を用いてもよい。あるいは、パターンマッチング以外の方法で被写体検出を行ってもよい。例えば、局所領域内の輝度勾配を用いて被写体検出を行ってもよい。すなわち、被写体の検出方法は特定の検出方法に限定されるものではなく、機械学習をベースにした検出や、距離情報に基づく検出など、種々の方法を採用できる。

【0055】

ステップＳ８０４では、被写体検出部４０６は、Ｓ８０３で実行される人体検出処理において、画像内に人体領域が検出されているかを判定する。人体領域が検出されていない場合は本処理を終了し、検出されている場合はＳ８０６に進む。

【0056】

ステップＳ８０５では、露出決定部４０８は、続くＳ８０８で用いる注目領域をＳ８０１で検出された顔領域に設定する。一方、ステップＳ８０６では、露出決定部４０８は、続くＳ８０８で用いる注目領域をＳ８０３で検出された人体領域に設定する。

【0057】

ステップＳ８０７では、設定された注目領域から露出領域を設定する。ステップＳ８０８では、露出決定部４０８は、Ｓ８０７で設定された露出領域の平均輝度値を算出する。具体的には、露出決定部４０８は、Ｓ８０５またはＳ８０６で設定した注目領域の数（検出された顔または人体の数）、注目領域の位置、注目領域のサイズに関する情報を数式（１）に適用して算出する。

【0058】

【数1】

【0059】

ここで、Ｉ（ｘ、ｙ）は画像内における水平方向（ｘ軸方向）と垂直方向（ｙ軸方向）の２次元座標位置（ｘ、ｙ）の輝度値を表す。また、ｓは注目領域のインデックス、ｆは注目領域の数を表す。（ｖ、ｈ）は注目領域の中心座標を表し、ｋは水平方向の注目領域のサイズを表し、ｌは垂直方向の注目領域のサイズを表す。

【0060】

ステップＳ８０９では、露出決定部４０８は、Ｓ８０８で算出された平均輝度値に基づいて、露出の補正量ＥＶ_correctionを決定する。まず、露出決定部４０８は、数式（２）のように、Ｓ８０８にて算出した注目領域の平均輝度値Ｉ_objectと、注目領域の目標輝度値Ｉ_{object target}との差分値ΔＤｉｆｆを算出する。なお、注目領域の目標輝度値Ｉ_{object target}は、例えば、ユーザにより任意に設定させてもよいし、顔認証時の認証精度と照らし合わせて、精度が高くなるような値に設定してもよい。

【0061】

【数2】

【0062】

次に、露出決定部４０８は、数式（３）のように補正量ＥＶ_correctionを決定する。なお、ＥＶ_currentは、被写体輝度値（ＢＶ値）に基づくＡＰＥＸ換算のＥＶ値であって、クライアント装置１０３に予め格納された、露出制御に係るプログラム線図に基づいて設定される。

【0063】

【数3】

【0064】

ここで、パラメータβは、現在の露出値ＥＶ_currentを中心とし、露出のアンダー側あるいは露出のオーバー側に露出を補正する際の補正度合（速度）に影響を与える係数である。パラメータβの値を大きく設定することで、目標値に達するまでに係る処理速度（または時間）は高速になるが、検出結果に誤判定が生じた場合や、被写体の検出が安定しない場合に、画面全体の明るさが急峻に変動する。一方、パラメータβの値を小さく設定すると、露出が目標に到達するまでに係る処理速度（または時間）は遅くなるが、誤検出や撮影条件にロバストになる。このパラメータβは、差分ΔＤｉｆｆが、設定された閾値Ｔｈ以上であった場合に、現在の露出値ＥＶ_currentに対する露出の補正値として設定される。

【0065】

ステップＳ８１０では、カメラ情報取得部４０４は、カメラから現在の露出設定値の情報を取得する。ここでは、露出補正値を取得する。ステップＳ８１１では、露出決定部４０８は、通信制御部４０２を介して監視カメラ１０１と通信を行い、Ｓ８０９にて算出した露出補正値を監視カメラ１０１に設定する。

【0066】

ステップＳ８１２では、被写体検出部４０６は、Ｓ８０１と同様に顔検出を行う。ステップＳ８１３では、被写体検出部４０６は、Ｓ８１２で実行される顔検出処理において、画像内に顔領域が検出されているかを判定する。顔領域が検出されている場合はＳ８１４に進み、顔領域が検出されていない場合はＳ８１５に進む。

【0067】

ステップＳ８１４では、露出決定部４０８は、通信制御部４０２を介して監視カメラ１０１と通信を行い、Ｓ８１１で設定した露出補正値を維持するように監視カメラ１０１に設定し、本処理を終了する。一方、ステップＳ８１５では、露出決定部４０８は、通信制御部４０２を介して監視カメラ１０１と通信を行い、Ｓ８１０にて取得した露出補正値を監視カメラ１０１に設定し、本処理を終了する。

【0068】

以上説明したとおり第１実施形態によれば、顔領域または人体領域から適切な露出領域を設定し、露出領域に基づいて露出制御を行う。特に、撮影画像における被写体の状態に応じて、ＡＥの対象とする露出領域（露出枠）のサイズを変化させる。これにより、例えば、ガラス扉を採用した店舗入口やスタジアムゲートなど、強い逆光状態となる場合でも、顔検出に適切な露出制御値を安定して設定することが可能となる。よって、顔検出を安定して実施することが可能となり、来店者や来場者被写体（人物）の顔を素早くとらえることができる。
（第２実施形態）
第２実施形態では、被写体検出部４０６により検出された枠内の領域に対して重みを設定し露出制御を行う形態について説明する。

【0069】

＜システム構成＞
第２実施形態におけるシステムの全体構成、および監視カメラ１０１、クライアント装置１０３のハードウェア構成は、第１実施形態（図１～図３）と同様である。そのため詳細な説明は省略する。

【0070】

・クライアント装置の機能構成
図９は、第２実施形態におけるクライアント装置の機能構成を示すブロック図である。露出重み設定部９０７以外は第１実施形態（図４）と同様のため、同一の符号を付し、詳細な説明を省略する。

【0071】

露出重み設定部９０７は、被写体検出部４０６により検出された顔領域や人体領域において、露出を計算する重み分布を設定する。そして、露出決定部４０８は、重みを考慮した領域の平均輝度値を算出する。具体的には、露出決定部４０８は、注目領域の数（検出された顔または人体の数）、注目領域の位置、注目領域のサイズ、設定された重みに関する情報を数式（４）に適用して算出する。

【0072】

【数4】

【0073】

ここで、Ｉ（ｘ、ｙ）は画像内における水平方向（ｘ軸方向）と垂直方向（ｙ軸方向）の２次元座標位置（ｘ、ｙ）の輝度値を表す。また、ｓは注目領域のインデックス、ｆは注目領域の数を表す。（ｖ、ｈ）は注目領域の中心座標を表し、ｋは水平方向の注目領域のサイズを表し、ｌは垂直方向の注目領域のサイズを表す。М（ｘ、ｙ）は２次元座標位置（ｘ、ｙ）の重みを表す。

【0074】

図１０は、顔、人体領域が検出された撮影画像の例を示す図である。図１０（ａ）は検出された顔領域、図１０（ｂ）は検出された人体領域を表している。第１実施形態でも説明したように、被写体検出部４０６で算出された枠は図５の斜線で示されるように大きめであったり、位置がずれてしまっていたりする。その場合には顔領域や人体領域ではない斜線の領域の影響が大きくなり顔領域や人体領域の露出が適正にならない場合がある。

【0075】

図１１は、検出された顔、人体領域に対する重み付けの例を示す図である。上述のような露出の変動を抑止し、精度よく顔領域や人体領域の露出を合わせるためには、図１１（ａ）に示すような重み付けを設定することが考えられる。すなわち、主要被写体が人物であれば、被写体検出部４０６で算出された枠（顔、人体領域）内のうち、実際に顔や人体が存在する領域に対して高い重みづけをすることが考えられる。ここでは、人物の頭部（顔）が存在する区間を重み１としかつ頭部が存在しない区間を重み０とする初期重み分布としている。ここでは、上下左右の４方向に重み分布が設定されている。

【0076】

また、図１１（ｂ）に示すように胴体方向に拡大して重み付けをしてもよい。すなわち、初期重み分布を胴体方向（下半身の存在する１方向）に拡大することにより重み分布を決定する。これにより、露出領域の面積を増加させることができるため、ノイズや動きが多いシーンにおいても安定した露出を実現することができる。また、大きめの領域が被写体検出部４０６から算出される場合には顔や人体の横方向に関して中央に重みを設定し、主要被写体の存在する方向に重みをずらす。すなわち、残りの３方向については重み分布を中心方向に移動する。これにより顔領域や人体領域により正確に露出を合わせることができる。

【0077】

安定した露出を実現するために、露出領域の最小の重みの積分値をあらかじめ設定しておき、設定された最小の重み積分値以上となるように設定することが考えられる。最小の重み積分値は、被写体の動きの度合いややノイズの多さに応じて変更するとなおよい。

【0078】

被写体検出部４０６が顔領域を検出している場合、胴体は顔領域から鉛直下方向に存在する場合が多い。そのため、撮像画像において鉛直下方向に相当する方向に重みを広げるようにしてもよい。また、顔領域、人体領域の位置関係から主要被写体の存在する方向を判定するよう構成してもよい。例えば、顔領域と人体領域を比較し、大きくはみ出している方向が人体の胴体領域となる。そのため、主要被写体の存在する方向は胴体領域の方向となる。

【0079】

また、第１実施形態と同様に、図７（ｂ）のように逆光が強い場合には、重みの横方向の幅を図７（ａ）よりも相対的に狭く設定するとよい。ただしこれにより露出領域の面積が狭くなるため、併せて胴体の存在する方向に重みを広くするとよい。さらに、図１１では、重みを離散的な値（０または１）で設定しているが、連続的な値を取るようにしても構わない。

【0080】

図１２は、第２実施形態における露出制御処理のフローチャートである。第１実施形態（図８）と同様の部分に関しては、同一の符号を付し、詳細な説明を省略する。

【0081】

ステップＳ１２０７では、露出重み設定部９０７は、設定された注目領域から重みを設定する。ステップＳ１２０８では、露出決定部４０８は、Ｓ１２０７で設定された重みを用いての露出用の輝度値を算出する。輝度値の算出には前述の数式（４）を適用する。

【0082】

ステップＳ１２０９では、露出決定部４０８は、第１実施形態と同様に、Ｓ１２０８にて算出した露出用の輝度値Ｉ_objectと、注目領域の目標輝度値Ｉ_{object target}との差分値ΔＤｉｆｆを算出する。そして、差分値ΔＤｉｆｆが、設定された閾値Ｔｈ以上であった場合に、現在の露出値ＥＶ_currentに対する露出の補正値として設定される。

【0083】

以上説明したとおり第２実施形態によれば、顔領域または人体領域から適切な露出領域を設定し、露出領域に基づいて露出制御を行う。特に、撮影画像における被写体の状態に応じて、ＡＥの対象とする露出領域における重みを変化させる。これにより、第１実施形態と同様に、逆光状態となる場合であっても適切な露出制御値を安定して設定することが可能となる。

【0084】

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0085】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0086】

１００ 撮像制御システム； １０１ 監視カメラ； １０２ ネットワーク； １０３ クライアント装置； １０４ 入力装置； １０５ 表示装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】