特許 7566830 撮像装置、撮像装置の制御方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-04

(45)【発行日】2024-10-15

(54)【発明の名称】撮像装置、撮像装置の制御方法、プログラム

(51)【国際特許分類】

   H04N 23/61 20230101AFI20241007BHJP

   H04N 23/63 20230101ALI20241007BHJP

   G02B 7/28 20210101ALI20241007BHJP

   G03B 7/091 20210101ALI20241007BHJP

   G03B 15/00 20210101ALI20241007BHJP

   H04N 23/611 20230101ALI20241007BHJP

【ＦＩ】

H04N23/61

H04N23/63

G02B7/28 N

G03B7/091

G03B15/00 Q

H04N23/611

【請求項の数】 19

(21)【出願番号】P 2022137539

(22)【出願日】2022-08-31

(65)【公開番号】P2024033747

(43)【公開日】2024-03-13

【審査請求日】2023-05-22

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】伊藤 佳絵

【審査官】越河 勉

(56)【参考文献】

【文献】特開２０２２－０５１２８０（ＪＰ，Ａ）

【文献】特開２０２２－１２６４２３（ＪＰ，Ａ）

【文献】特開２０２１－１３２３６９（ＪＰ，Ａ）

【文献】特開２０２１－１３２３６２（ＪＰ，Ａ）

【文献】特開２０１０－２５１８６６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／６３

Ｇ０２Ｂ ７／２８

Ｇ０３Ｂ ７／０９１

Ｇ０３Ｂ １５／００

(57)【特許請求の範囲】

【請求項1】

画像を取得する取得手段と、
異なる種類の被写体を検出する検出手段と、
前記検出手段による検出結果を用いて主被写体を判定する主被写体判定手段と、
前記主被写体判定手段によって判定された主被写体に対して追尾を行う追尾手段と、を有し、
前記主被写体判定手段は、前記検出手段により前記追尾している被写体が継続して検出されている状態で、現在主被写体となっていない被写体種類の検出結果が、現在の主被写体種類の検出結果と同一の被写体の領域に属している場合に、前記現在主被写体となっていない被写体種類の被写体について主被写体らしさを判定して、主被写体の種類を決定することを特徴とする撮像装置。

【請求項2】

前記主被写体判定手段は、前記検出手段により前記追尾している被写体が継続して検出されている状態で、現在主被写体となっていない被写体種類の検出結果が、現在の主被写体種類の検出結果と同一の被写体の領域に属している場合であって、前記現在主被写体となっていない被写体種類の被写体が、前記追尾している被写体よりも、主被写体らしさを示す値が閾値以上高い場合に、主被写体の種類を切り替えることを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記検出手段は、異なる種類の被写体に対応する複数の辞書データを用いて画像から被写体を検出することを特徴とする請求項１に記載の撮像装置。

【請求項4】

前記取得手段により取得された画像を表示部に表示するように制御する表示制御手段をさらに有し、
前記表示制御手段は、前記追尾手段が追尾している被写体を示す情報を前記画像に重畳させて表示するように制御することを特徴とする請求項１に記載の撮像装置。

【請求項5】

前記主被写体らしさを示す値は、被写体のサイズ、位置、検出信頼度、検出頻度、検出される部位の数の少なくとも１つ以上のパラメータから算出されることを特徴とする請求項１に記載の撮像装置。

【請求項6】

撮影準備処理を行うための指示を受け付ける受け付け手段をさらに有し、
前記主被写体判定手段は、前記受け付け手段が前記指示を受け付けたことに応じて、前記主被写体らしさを示す値のパラメータを検出信頼度、検出頻度、検出される部位の数の少なくとも１つ以上にすることを特徴とする請求項５に記載の撮像装置。

【請求項7】

前記主被写体らしさを示す値は、被写体の位置が画像の中心ないしはユーザが設定したピント合わせ領域に近いほど高くなることを特徴とする請求項１に記載の撮像装置。

【請求項8】

前記複数の異なる種類の被写体のサイズのパラメータは、被写体の種類の相対的なサイズの差を考慮した重みづけされることを特徴とする請求項５に記載の撮像装置。

【請求項9】

前記主被写体らしさを示す値は、被写体の検出信頼度が高いほど高くなることを特徴とする請求項１に記載の撮像装置。

【請求項10】

前記主被写体らしさを示す値は、被写体の検出頻度が高いほど高くなることを特徴とする請求項１に記載の撮像装置。

【請求項11】

前記主被写体らしさを示す値は、被写体の検出される部位の数が多くなるほど高くなることを特徴とする請求項１に記載の撮像装置。

【請求項12】

前記被写体の種類には、人体が含まれることを特徴とする請求項１に記載の撮像装置。

【請求項13】

前記被写体の種類には、乗り物、バイク、自動車、電車、飛行機、船、の少なくとも１つが含まれることを特徴とする請求項１に記載の撮像装置。

【請求項14】

前記被写体の種類には、動物、犬、猫、鳥の少なくとも１つが含まれることを特徴とする請求項１に記載の撮像装置。

【請求項15】

前記検出手段は、被写体の特定部位を検出可能であることを特徴とする請求項１２乃至１４のいずれか１項に記載の撮像装置。

【請求項16】

前記主被写体判定手段は、前記主被写体らしさを示す値を部位ごとに算出することを特徴とする請求項１５に記載の撮像装置。

【請求項17】

画像を取得する取得ステップと、
異なる種類の被写体を検出する検出ステップと、
前記検出ステップにおける検出結果を用いて主被写体を判定する主被写体判定ステップと、
前記主被写体判定ステップによって判定された主被写体に対して追尾を行う追尾ステップと、を有し、
前記主被写体判定ステップでは、前記検出ステップにより前記追尾している被写体が継続して検出されている状態で、現在主被写体となっていない被写体種類の検出結果が、現在の主被写体種類の検出結果と同一の被写体の領域に属している場合に、前記現在主被写体となっていない被写体種類の被写体について主被写体らしさを判定して、主被写体の種類を決定することを特徴とする撮像装置の制御方法。

【請求項18】

請求項１７に記載の撮像装置の制御方法の各工程をコンピュータに実行させるためのプログラム。

【請求項19】

請求項１７に記載の撮像装置の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は撮像装置などにおける被写体の検出処理に関し、特にピントを合わせるための主被写体の決定に関するものである。

【背景技術】

【0002】

従来、デジタルカメラ等において、逐次取得された画像データから人の顔や瞳を検出し、検出された人の顔や瞳に対して、焦点状態および露出状態を継続的に最適化し続ける手法が知られている。近年では、機械学習の手法を用いて、様々な種類の被写体が検出可能となってきている。この場合、検出器に対して画像と検出したい被写体を学習させた辞書データを併せて入力することで、特定の被写体検出を行うことができる。また、検出器に入力する辞書データを変更することで、異なる種類の被写体を画像内から検出することができる。

【0003】

辞書データを用いた被写体の検出には本来その辞書では検出できないはずの被写体を検出してしまう「誤検出」が発生することがある。誤検出であってもユーザの意図する被写体のピントを合わせたい領域を安定して検出し続ければ、追尾制御に大きな問題は生じない。しかしながら、誤検出状態では、ユーザが意図しない被写体の領域をピント合わせする領域として検出する場合や、検出状態が不安定となる場合が生じうる。

【0004】

そこで、特許文献１には、一度被写体を検出し、主被写体として採用した後でも、全種類の辞書データを稼働させ続け、同一の辞書データにおいて一定回数以上連続して被写体が検出されたら正しい主被写体として採用しなおす構成が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０２１－１３２３６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１に開示された従来技術では、ピント合わせに望ましくない領域をある程度安定的に誤検出し続ける場合に、誤検出を是正することができない。また、連続的に誤検出した場合に、間違えて主被写体を切り替えてしまう可能性もある。

【0007】

そこで本発明では、多様な被写体の種類を検出対象としながらも、誤検出を抑制しながら検出・追尾可能な撮像装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために、本発明に係る撮像装置は画像を取得する取得手段と、異なる種類の被写体を検出する検出手段と、前記検出手段による検出結果を用いて主被写体を判定する主被写体判定手段と、前記主被写体判定手段によって判定された主被写体に対して追尾を行う追尾手段と、を有し、前記主被写体判定手段は、前記検出手段により前記追尾している被写体が継続して検出されている状態で、現在主被写体となっていない被写体種類の検出結果が、現在の主被写体種類の検出結果と同一の被写体の領域に属している場合に、前記現在主被写体となっていない被写体種類の被写体について主被写体らしさを判定して、主被写体の種類を決定することを特徴とする。

【発明の効果】

【0009】

本発明によれば、多様な被写体の種類を検出対象としながらも、誤検出を抑制しながら検出・追尾可能な撮像装置を提供することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態の撮像装置の第１の実施形態であるデジタル一眼カメラの構成を示す側断面図である。

【図2】第１の実施形態における処理フローを示した図である。

【図3】第１の実施形態における一つ目のシーン例と効果の例を示した図である。

【図4】第１の実施形態における主被写体らしさの比較方法の一例を示した図である。

【図5】第１の実施形態における二つ目のシーン例と主被写体らしさの比較方法の例を示した図である。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0012】

なお、以下の実施形態では、被写体検出機能を有する撮像装置で実施する場合に関して説明する。被写体検出機能を有する撮像装置としては、ビデオカメラ、デジタルカメラおよび銀塩スチルカメラや、さらにカメラ機能を搭載したスマートフォンなどの携帯機器も本発明の一側面を構成する。

【実施例1】

【0013】

図１は本発明の第１実施形態に係る撮像装置の構成例を示す図であり、被写体検出機能を搭載したミラーレスカメラ（以下、カメラ）の構成を例示したものである。カメラは本体１２０と、本体１２０に着脱可能なレンズユニット１００とを有する。

【0014】

レンズユニット１００は、主光学系１０２、絞り１０３、およびフォーカスレンズ群１０４を有する撮像光学系１０１を有する。なお、撮像光学系１０１の焦点距離（画角）は可変であってもよい。レンズユニット１００は、絞り１０３、および可動レンズ（フォーカスレンズ群１０４、ズームレンズ、防振レンズなど）の位置を検出したり、駆動したりするための構成要素も有している。

【0015】

フォーカスレンズ群１０４は、複数のフォーカスレンズを有していても、１枚のフォーカスレンズのみを有していても良い。また、ここでは図の簡略化のため、交換レンズの例として単焦点レンズを示しているが、焦点距離を変更可能なレンズ（ズームレンズ）であっても良い。

【0016】

レンズユニット１００はまた、レンズユニット１００の動作を制御するレンズ制御部１１１を有する。レンズ制御部１１１は例えばプログラムを記憶するメモリとプログラムを実行可能なプロセッサとを有する。

【0017】

レンズ制御部１１１はプロセッサでプログラムを実行することによりレンズユニット１００の動作を制御したり、後述するマウント設定ン部１１４および１４１を介して本体１２０と通信したりする。絞り制御部１１２およびフォーカスレンズ制御部１１３は、レンズ制御部１１１のプロセッサがプログラムを実行することによって実現する機能を機能ブロックとして表現したものである。

【0018】

絞り制御部１１２はレンズ制御部１１１の制御に従い、絞り１０３の開口量（絞り値）を制御する。また、絞り制御部１１２は、要求に応じて絞り１０３の絞り値を、レンズ制御部１１１を介して本体１２０側に供給する。

【0019】

フォーカスレンズ制御部１１３は、レンズ制御部１１１の制御に従い、フォーカスレンズ群１０４を撮像光学系１０１の光軸方向に駆動し、位置を制御する。また、フォーカスレンズ制御部１１３は、要求に応じてフォーカスレンズ群１０４の位置情報を、レンズ制御部１１１を介して本体１２０側に供給する。

【0020】

撮像光学系１０１がズームレンズや防振レンズを有する場合、レンズ制御部１１１はこれらの可動レンズの位置を制御する機能を有する。

【0021】

レンズユニット１００と本体１２０とは互いに嵌合するマウント部を有する。マウント部は、レンズユニット１００が本体１２０に装着された状態で接触するように構成されたマウント接点部１１４および１４１を有する。マウント接点部１１４および１４１を通じてレンズユニット１００と本体１２０とは電気的に接続される。レンズユニット１００の動作に必要な電力はマウント接点部１１４および１４１を通じて本体１２０から供給される。また、レンズ制御部１１１と制御・演算部１２４とはマウント接点部１１４および１６１を通じて通信可能である。

【0022】

カメラ本体部１２０は、露出制御に用いるシャッタ１２１や、ＣＭＯＳ（相補型金属酸化膜半導体）センサ等の撮像素子１２２を備える。

【0023】

撮像光学系１０１は本体１２０に設けられた撮像素子１２２の撮像面に光学像を形成する。撮像素子１２２は例えば一般的なＣＭＯＳカラーイメージセンサであってよい。撮像光学系１０１と撮像素子１２２との間には開閉可能なシャッタ１２１が設けられている。撮影時にはシャッタ１２１が開くことで撮像素子１２２が露光される。なお、シャッタ１２１を用いて実行している露出制御を撮像素子１２２の制御（電子シャッター）によって実現することも可能である。その場合、撮像装置からシャッタ１２１を除いた構成（メカシャッターレス）とすることも可能である。

【0024】

撮像素子１２２は例えば原色ベイヤ配列のカラーフィルタを有する公知のＣＣＤもしくはＣＭＯＳカラーイメージセンサであってよい。撮像素子１２２は複数の画素が２次元配列された画素アレイと、画素から信号を読み出すための周辺回路とを有する。各画素は光電変換によって入射光量に応じた電荷を蓄積する。露光期間に蓄積された電荷量に応じた電圧を有する信号を各画素から読み出すことにより、撮像面に形成された被写体像を表す画素信号群（アナログ画像信号）が得られる。

【0025】

アナログ画像信号はアナログフロントエンド（ＡＦＥ）１２３に入力される。ＡＦＥ１２３はアナログ画像信号に対して相関二重サンプリングやゲイン調整などのアナログ信号処理を適用したのち、制御・演算部１２４に出力する。

【0026】

制御・演算部１２４は例えばプログラムを記憶するメモリとプログラムを実行可能なプロセッサとを有する。制御・演算部１２４はプロセッサでプログラムを実行することにより、本体１２０の動作を制御し、本体１２０の各種の機能を実現する。

【0027】

制御・演算部１２４はプロセッサでプログラムを実行することにより、レンズ制御部１１１と通信する。制御・演算部１２４からレンズ制御部１１１へは、例えばレンズユニット１００の動作を制御するコマンドや、レンズユニット１００の情報を要求するコマンドが送信される。レンズ制御部１１１は受信したコマンドに応じてフォーカスレンズ群１０４や絞り１０３の動作を制御したり、レンズユニット１００の情報を制御・演算部１２４に送信したりする。制御・演算部１２４に送信されるレンズユニット１００の情報には、例えばレンズユニット１００の製品情報や、可動レンズの位置や絞り値の情報などがある。

【0028】

図１において制御・演算部１２４内部に示された機能ブロック１３０～１３６は、制御・演算部１２４のプロセッサがプログラムを実行することによって実現する機能を、機能ブロックとして表現したものである。

【0029】

操作部１６１は、ユーザが本体１２０に各種の指示を入力するために設けられた入力デバイス（ボタン、スイッチ、ダイヤルなど）の総称であり、１つ以上の入力デバイスから構成されている。操作部１６１を構成する入力デバイスは、割り当てられた機能に応じた名称を有する。例えば、操作部１６１には、レリーズスイッチ、動画記録スイッチ、撮影モードを選択するための撮影モード選択ダイヤル、メニューボタン、方向キー、決定キーなどが含まれる。また、１つの入力デバイスが複数の機能に対応した操作系となっていてもよい。 操作部１６１に含まれる代表的な入力デバイス（不図示）の１つとしてレリーズスイッチが挙げられる。レリーズスイッチは静止画記録用のスイッチであり、制御・演算部１２４はレリーズスイッチの半押し状態を撮影準備指示、全押し状態を撮影開始指示と認識する。また、制御・演算部１２４はレリーズスイッチが押されていない状態については、本体１２０が撮影待機中であると認識する。また、レリーズスイッチが半押し状態になることをトリガーとして制御・演算部１２４は各部に対して後述するピント合わせ動作、露出制御動作（これらを総称して「撮影準備」とする）を実行させるように制御を行う。

【0030】

制御・演算部１２４は、動画記録スイッチが撮影スタンバイ状態で押下されると動画の記録開始指示と認識し、動画の記録中に押下されると記録停止指示と認識する。なお、同一の入力デバイスに割り当てられる機能は可変であってよい。

【0031】

角速度センサ１２６は例えば３軸ジャイロセンサであり、本体１２０の動きを表す信号を制御・演算部１２４に出力する。制御・演算部１２４は角速度センサ１２６の出力する信号に基づいて本体１２０の動きを検出する。また、制御・演算部１２４は、検出した本体１２０の動きに基づいて予め定められた制御を実行する。

【0032】

表示部１５１はタッチパネル１５２を備えた表示装置（タッチディスプレイ）である。撮像素子１２２による動画撮影（逐次的な画像信号の取得）と、得られた動画の表示部１５１での表示を後述する表示制御部１３６を介して継続的に実行することにより、表示部１５１は電子ビューファインダ（ＥＶＦ）として機能する。

【0033】

表示部１５１には記憶部１２５に記録された画像データを再生して表示したり、本体１２０の状態や設定に関する情報を表示したり、メニュー画面などのＧＵＩ（グラフィカルユーザインタフェース）を表示したりすることができる。ユーザはタッチパネル１５２に対するタッチ操作により、表示されたＧＵＩを操作したり、焦点検出領域を指定したりすることができる。

【0034】

制御・演算部１２４は操作部１６１およびタッチパネル１５２に対する操作を検出すると、検出した操作に応じた動作を実行する。例えば、静止画の撮影準備指示の操作を検出すると、制御・演算部１２４は後述するフォーカス制御部１３４や露出演算部１３５にＡＦ処理、ＡＥ処理などを実行させる。また、静止画の撮影指示の操作を検出すると、制御・演算部１２４は静止画の撮影処理、記録用画像データの生成処理、記録用画像データを記録部１２５に記録する処理などを制御もしくは実行する。なお、記憶部１２５はメモリーカード等の記憶媒体によって構成されていても良い。その場合は、記憶媒体と制御・演算部１２４をつなぐ記憶媒体インターフェース（記憶媒体Ｉ／Ｆ、不図示）を介して通信可能な構成としてもよい。

【0035】

制御・演算部１２４は、ＡＦＥ１２３から入力されるアナログ画像信号に対して予め定められた画像処理を適用し、信号や画像データを生成したり、各種の情報を取得および／または生成したりする。制御・演算部１２４は例えば特定の機能を実現するように設計されたＡＳＩＣのような専用のハードウェア回路であってもよいし、ＤＳＰのようなプログラマブルプロセッサがソフトウェアを実行することで特定の機能を実現する構成であってもよい。

【0036】

制御・演算部１２４が適用する画像処理には、前処理、色補間処理、補正処理、検出処理、データ加工処理、評価値算出処理、特殊効果処理などが含まれる。前処理には、信号増幅、基準レベル調整、欠陥画素補正などが含まれる。色補間処理は、撮影時に得られない色成分の値を補間する処理であり、デモザイク処理とも呼ばれる。補正処理には、ホワイトバランス調整、階調補正、撮像光学系１０１の光学収差に起因する画像劣化の補正（画像回復）、撮像光学系１０１の周辺減光の影響の補正、色補正などの処理が含まれる。検出処理には、特徴領域（たとえば顔領域や人体領域）やその動きの検出、人物の認識処理などが含まれる。データ加工処理には、合成、スケーリング、符号化および復号、ヘッダ情報生成（データファイル生成）などの処理が含まれる。評価値算出処理には、自動焦点検出（ＡＦ）に用いる信号や評価値の生成、自動露出制御（ＡＥ）に用いる評価値の生成などの処理が含まれる。特殊効果処理には、ボケ効果の付加、色調の変更、リライティングなどの処理などが含まれる。なお、これらは制御・演算部１２４が適用可能な処理の例示であり、制御・演算部１２４が適用する処理を限定するものではない。また、図１では示していないが、上述した画像処理等を行う処理回路を別途設けるような構成としてもよい。

【0037】

図１において制御・演算部１２４内に示した主被写体演算部１３０は、制御・演算部１２４が例えばプログラムを実行することによって実現する、被写体検出処理および主被写体の判定に関する機能を有する機能ブロックである。図１中の主被写体演算部１３０は検出部１３１と主被写体判定部１３２によって構成されている。なお、図１とは異なり、制御・演算部１２４とは別に主被写体演算部１３０を備えるような構成としてもよい。その場合も制御・演算部１２４が例えばプログラムを実行することによって主被写体演算部１３０に各機能を実行させることができる。

【0038】

検出部１３１は、画像データに対して予め定められた複数の種類の被写体の検出処理を適用し、被写体の種類ごとに被写体領域を検出する。検出手法としてはＡｄａＢｏｏｓｔや畳み込みニューラルネットワークなどの公知の任意の方法を用いて良い。また、その実装の形態としては、ＣＰＵ上で動くプログラムであっても、専用のハードウェアであっても、それらの組み合わせであっても良い。ここで検出部１３１は、被写体の種類ごとに、被写体領域を検出するためのパラメータを辞書データとして保持しているものとして説明する。検出部１３１は、検出処理に用いる辞書データを切り替えることにより、複数の種類の被写体について被写体領域を検出することができる。すなわち、それぞれの辞書データは複数の種類の被写体の種類ごとに対応したパラメータを保持している。

【0039】

辞書データは予め機械学習など公知の方法によって生成することができる。検出部１３１で検出する被写体の種類に制限はないが、本実施形態では検出結果を被写体追尾に利用することを想定している。そのため、検出部１３１は、移動しうる被写体、例えば、人体、乗り物（バイク、自動車、電車、飛行機、船など）、動物（犬、猫、鳥など）のうち、１つまたは複数種類の被写体を検出するものとする。また、人体（第２の種類の被写体）については頭部、胴体、瞳といった特定部位の１つ以上を検出することもできる。乗り物（第１の種類の被写体）については全体および予め定められた特定部位の１つ以上を検出するものとする。動物については全身、顔、瞳といった特定部位の１つ以上を検出することができる。

【0040】

なお、特定部位の検出については検出部１３１に加えて器官検出部（不図示）を備えるような構成としてもよい。その場合、器官検出部は検出部１３１で検出した被写体の領域に対して器官の領域の検出を行う。たとえば検出部１３１が検出した人体の被写体領域に対し、顔、目（瞳）、鼻、口などの器官の領域を検出する。器官検出部は、特徴パラメータやテンプレートを用いた公知の方法により、顔や器官を検出することができる。なお、上述した器官の検出を検出部１３１が行う構成とする場合、器官検出部を除いた構成にできることは言うまでもない。

【0041】

検出部１３１は、検出対象の被写体ごとに検出結果を生成する。検出結果は検出した領域の総数と、領域ごとの位置、サイズ、および検出信頼度、検出頻度等を含むものとするが、これらに限定されない。なお、器官検出部を有する場合は、検出した顔領域や器官の領域について、検出対象ごとに検出結果を生成する。検出結果は検出した領域の総数と、領域ごとの位置、大きさ、および検出信頼度を含むものとするが、これらに限定されない。検出部１３１で取得した情報は、後述の主被写体判定部１３２に供給される。

【0042】

なお、本明細書では、主被写体演算部１３０の検出部１３１、主被写体判定部１３２の処理をまとめて被写体検出処理と呼ぶ。被写体検出処理を実施する画像データは、撮像素子１２２で取得されたものであってもよいし、記憶部１２５から読み出されたものであってもよい。また、被写体検出処理は静止画データおよび動画データのいずれにも適用可能である。

【0043】

主被写体判定部１３２は、検出部１３１による被写体検出処理の結果に基づいて、追尾処理の対象被写体である主被写体を判定する。主被写体の最初の判定は、位置、大きさ、および検出信頼度などによる公知の算出方法を用いて行われる。その詳細については後述する。

【0044】

追尾演算部１３３は、主被写体判定部１３２が追尾対象として設定した主被写体の情報などを用いて、追尾処理を実行する。追尾処理はテンプレートマッチングなどの公知の任意の方法を用いて良い。また、その実装の形態としては、ＣＰＵ上で動くプログラムであっても、専用のハードウェアであっても、それらの組み合わせであっても良い。

【0045】

フォーカス制御部１３４は、主被写体の領域（主被写体領域）にピントを合わせるために必要なフォーカスレンズ１０４の制御値の演算を行う。演算結果はマウント接点部１１４および１４１を通じてレンズ制御部１１１に送信され、フォーカスレンズ制御部１１３がフォーカスレンズ１０４の制御に利用する。なお、フォーカス制御部１３４は主被写体の領域に限らず、ユーザがタッチパネル１５２等を介して指定した焦点検出領域（ＡＦエリア）や、カメラ側で設定された領域に対するピント合わせのための演算なども行うことも可能である。

【0046】

露出演算部１３５は、主被写体領域を適正露出にするために絞り１０３や撮像素子１２２の制御値の演算を行う。例えば絞り１０３の制御値の演算結果はマウント接点部１１４および１４１を通じてレンズ制御部１１１に送信され、絞り制御部１１２が絞り１０３の制御に利用する。なお、露出演算部１３５は、主被写体領域に限らず、画像全体について最適な露出条件となるように制御を行うことや、ユーザがタッチパネル１５２等を介して指定した特定の領域に特化した露出制御値の演算を行うことも可能である。

【0047】

上述したフォーカス制御部１３４と露出演算部１３５は例えば本体１２０のレリーズスイッチの半押しがなされると、制御・演算部１２４の制御により主被写体に対するピント合わせ動作、露出制御動作を実行するために演算をそれぞれ行う。なお、フォーカス制御部１３４、露出演算部１３５はレリーズスイッチの操作に関係なく、主被写体判定部１３２が判定した主被写体や、追尾演算部１３３が追尾処理を実行している被写体についてピント合わせ動作、露出制御動作を取得される画像データ毎、もしくは所定の間隔毎に実行してもよい。

【0048】

表示制御部１３６は、制御・演算部１２４によって処理された画像データを表示部１５１にて表示するほか、ユーザ操作に応じて表示部１５１に表示する画像やメニュー表示を切り替えることができる。また追尾対象の被写体領域を表す情報（枠やマーカー）などを、例えばライブビュー画像に重畳させて表示部１５１に表示することもできる。

【0049】

次に図２、図３、図４を参照して本実施形態における主被写体判定部１３２内の主被写体の再選定処理フローについて説明する。

【0050】

例として撮影待機中、すなわちユーザが操作部１６１（ここではレリーズスイッチ）を押し込んでいない状態におけるカメラの挙動について、図３にある具体的なシーン例を用いて説明する。図３（ａ）では、遠くから接近する２輪車をカメラの画角内に入れた時に、最初は２輪車が小さいために検出できず、代わりに道路脇の構造物を犬猫の全身と誤検出している。２輪車がやがて接近して大きくなり、正しく２輪車の全体及びヘルメットを検出できるようになる一方で、まだ道路脇の構造物を犬猫の全身と誤検出している。主被写体の再選定を行わない従来の主被写体選択では、図３（ｂ）にあるように、最初に唯一検出できている道路脇の構造物を犬猫として主被写体として選択する。そして安定的に誤検出が続く限りは２輪車が検出できるようになっても変わらず構造物を主被写体として追い続けてしまう。しかし、本構成を用いれば図３（ｃ）にあるように、２輪車が検出できるようになれば２輪車のほうを主被写体として再選択することができる。

【0051】

続いて、図２を用いて図３（ｃ）のような主被写体の再選択を可能とする処理フローについて説明する。図２のフローチャートは制御・演算部１２４の制御により各部が動作を実行することで進行する。

【0052】

ステップＳ２００では、主被写体判定部１３２が、検出部１３１によって検出された被写体の種類が２種類以上であるかをチェックする。２種類とは、検出される辞書の種類が例えば犬猫と２輪車というように異なる種類であることを示し、犬猫瞳と犬猫全身というように同じ種類の被写体の中の別部位を２種類とは数えない。２種類以上が検出されていれば、ステップＳ２０１へ進む。２種類以上が検出されていなければ、主被写体判定部１５１の処理を終了する。図３のシーン例では、２輪車が接近してきた時に犬猫および２輪車が検出されているのでステップＳ２０１へ進む。

【0053】

ステップＳ２０１では、主被写体判定部１３２が、カメラの撮影の状態を確認する。カメラが撮影待機中、すなわちユーザが操作部１６１（ここではレリーズスイッチに相当する）を押し込んでいない状態であれば、ステップＳ２０２へ進む。ユーザの操作によるピント合わせ動作が実行された以降、すなわちユーザがレリーズスイッチの押し込みを通じて被写体へのピント合わせを開始した以降で、かつレリーズスイッチを押し続けている状態（半押し状態維持）の場合はステップＳ２０５へ進む。ここでは撮影待機中の例を説明するため、ステップＳ２０２へ進む。

【0054】

ステップＳ２０２では、主被写体判定部１３２が、被写体種類の異なる検出結果の間で、主被写体らしさに関わるパラメータを比較して主被写体らしさの点数付け（評価値の算出）を行い、ステップＳ２０３に進む。

【0055】

図３のシーンにおける主被写体らしさの点数付けの算出例を、図４を用いて説明する。本来ユーザが撮影しようと意図している２輪車が遠くにある時に、道路脇の構造物を犬猫として誤検出し、これを追尾している状況（追尾中）を考える。まず図４（ａ）のように２輪車が大きくなり、道路脇の構造物のほかに２輪車の全体とヘルメットを検出できるようになったとする。このとき、犬猫および２輪車検出の結果のそれぞれにおいて主被写体らしさに関わるパラメータとして主被写体判定部１３２は検出サイズ、検出位置、検出信頼度、検出頻度、部位数の比較を行う。本例では主被写体判定部１３２がこれら５種のパラメータの比較を行うが、必ずしもこのセットである必要はない。主被写体判定部１３２の計算負荷次第でパラメータの個数を減らしてもよいし、逆にフレーミング方向とのベクトル一致率など主被写体らしさに関わるパラメータをさらに追加してもよい。また、主被写体判定部１３２は被写体種類ごとに各種パラメータの点数を合計することで合計点数（評価値）を算出し、主被写体らしさを判定する。

【0056】

被写体種類の異なる検出結果の間でサイズの比較を行う場合、単純に各被写体の検出枠サイズないしは検出面積を比較してもよいが、各被写体の本来のサイズ差といった相対的な差を考慮して点数付け（重み付け）を行うことがより望ましい。例えば、図４（ｂ）にあるように２輪車ヘルメット、２輪車全体、犬猫全身の平均的な高さがそれぞれ２５ｃｍ、１００ｃｍ、５０ｃｍであり、検出された画像に対する垂直サイズがそれぞれ垂直画角の２０％、４５％、２０％であるとする。その場合、垂直に対するサイズを平均的高さで割った１．１２、０．４５、０．４０という数値を比較に用いる。点数は、正規化してつけてもよいが、ここでは簡便に検出された被写体数と同じ点数を最大に、順番に１ずつ減らした点数をつけるものとする。図４（ｂ）のサイズであれば、２輪車ヘルメット、２輪車全体、犬猫全身はそれぞれ３点、２点、１点となる。

【0057】

次に図４（ｃ）を用いて検出された被写体の位置に係る点数付けの方法を説明する。ここではユーザの意図をなるべく反映できるように、ユーザが選択した事前に設定したＡＦエリアから各検出対象までの距離を比較する。ユーザが選択したＡＦエリアが画像全面である場合は、画像中心点から各検出対象までの距離を比較する。例えば、ユーザが選択したＡＦエリア５００の中心座標に対し、２輪車ヘルメット検出エリアの中心座標までの距離５０１、２輪車全体検出エリアの中心座標までの距離５０２、犬猫全身検出エリアの中心座標までの距離５０３を比較する。このとき図４（ｃ）において距離の関係が５０２＜５０１＜５０３であるため、２輪車ヘルメット、２輪車全体、犬猫全身はそれぞれ２点、３点、１点となる。次に、検出の確からしさを示す信頼度、該当シーンを含む３フレーム間の検出回数である検出頻度が高い方からそれぞれ３点、２点、１点と割り振る。さらには、２輪車は全体とヘルメットの両方が検出されており、一方で犬猫は検出可能な瞳、顔、全身のうち全身のみが検出されている図４（ａ）のシーンでは、部位数の点数はそれぞれ検出されている部位の数、すなわち２輪車が２点、犬猫が１点となる。ただし、これは２輪車が同じ２輪車に属していると判定される場合であって、もしも距離が遠い場合などで別の２輪車として判定された場合は別々に各１点として算出する。

【0058】

ステップＳ２０３では、主被写体判定部１３２は、主被写体と判断されている現在の被写体種類の合計点数よりも別の被写体種類の検出結果の合計点数を比較する。ここで別の被写体種類の合計点数が現在の被写体種類の合計点数に対して閾値以上に高ければステップＳ２０４に進み、主被写体判定部１３２は現在の被写体種類とは異なる被写体種類を主被写体として再設定して処理を終了する。それ以外ならばステップＳ２０７へ進み、主被写体判定部１３２は主被写体と判断されている現在の被写体の種類を変更せずに処理を終了する。

【0059】

図４（ｄ）では検出した被写体のサイズ、検出位置、検出信頼度、検出頻度、部位数の点数を合計した合計点数の比較結果を示している。比較の結果、２輪車全体の合計点数が犬猫全身の合計点数よりも８点高い結果になっている。この時、差分ありとみなす点数の閾値を例えば３（パラメータ数５の過半数は３であるため）とする。その場合、２輪車全体の点数と犬猫全身の点数の差分が８点、すなわち３点以上であるので、主被写体判定部１３２は図３（ｃ）のように主被写体の種類を犬猫全身から２輪車ヘルメットへと変更する。ここで差分ありとみなす点数の閾値が規定されているのは、現在の主被写体とほぼ同じ点数の被写体があった場合に頻繁に主被写体の乗り移りをさせないためである。なお、この例では２輪車全体が第一位であるのに対し２輪車ヘルメットを主被写体としている。これは、本実施例においてユーザが意図する被写体のフォーカス位置により近い被写体のうち、より小さい部位の検出をアルゴリズムとして優先させているからである。なお、そのような検出アルゴリズムを含まない構成としてもよい。

【0060】

次に、例としてユーザがレリーズスイッチを押し込む（半押し状態）ことでピント合わせを発動した後の状態におけるカメラの挙動について、図５にある具体的なシーン例を用いて説明する。なお、ここでの押し込みは「撮影準備指示」に相当するものである。ユーザは押し込み動作（撮影準備指示）後にカメラが決定する主被写体が意図する撮影対象であればさらにレリーズスイッチを押し込むことで全押し状態に遷移させ、「撮影開始指示」を行うことができる。

【0061】

図５（ａ）では、遠くから接近する２輪車をカメラの画角内に入れた時に、最初は２輪車を鳥として誤検出しており本来の２輪車として検出できていない。２輪車がやがて接近して大きくなり、正しく２輪車の全体及びヘルメットを検出できるようになる一方で、２輪車のミラーとハンドル付近を引き続き鳥全身として誤検出しているとする。主被写体の再選定を行わない従来の主被写体選択では、図５（ｂ）にあるように、２輪車を最初に唯一検出できている鳥として追尾を行う。そして、そのままある程度の安定的に誤検出が続く限りは２輪車が検出できるようになっても変わらず鳥の誤検出結果が採用され続けてしまう。すなわち、ユーザが本来はヘルメット付近にピントを合わせることを期待しているのに対し、ハンドル付近にピントが合うように動作してしまう。しかし、本構成を用いれば図３（ｃ）にあるように、２輪車を２輪車として検出できるようになれば２輪車のほうを主被写体として再選択することができる。

【0062】

図５の例では、ユーザがレリーズスイッチを押し込むことでピント合わせ動作が発動した後にレリーズスイッチを半押しのまま維持し続けているシーンを想定している。したがって、ステップＳ２００、ステップＳ２０１と進んだのち、図３の例とは異なりステップＳ２０５に進む。

【0063】

ステップＳ２０５では、主被写体判定部１３２は、現在主被写体となっていない被写体種類の検出結果が、現在の主被写体種類の検出結果と同一の被写体の領域に属しているかを確認する。すなわち、現在主被写体となっていない被写体の検出位置が現在の主被写体種類の検出領域に存在するかを確認する。ユーザ操作によるピント合わせ発動以降でユーザがレリーズスイッチを押し込み続けており（半押し状態を維持している）、少なくとも現在追尾されている被写体はユーザの意図する被写体であると考えられる。したがって、追尾されている被写体以外の領域に存在する検出結果を採用しない方が好ましいと考えられる。同一の被写体の領域に属しているかを判定する方法は、例えば現在の被写体からの距離が画像の水平の４割の距離の内側であれば同一とするような距離をベースにした手法など公知の方法が用いられる。同一の被写体の領域に属していると判定される被写体種類があればステップＳ２０６へ進み、同一の被写体の領域に属していると判定される被写体種類が１つもなければステップＳ２０７へ進んだのち処理を終了する。図６の例では、現在の主被写体である鳥の検出位置から、上下画像の水平距離の４割の距離の範囲内に２輪車ヘルメットおよび２輪車全体の中心が含まれるため、同一の被写体の領域に属していると判断され、ステップＳ２０６へ進む。

【0064】

ステップＳ２０６では、主被写体判定部１３２は、被写体種類の異なる検出結果の間で、主被写体らしさに関わるパラメータを比較して主被写体らしさの点数付けを行い、ステップＳ２０３に進む。

【0065】

図５のシーンにおける主被写体らしさの点数付けの算出例を、図５（ｄ）を用いて説明する。ここでは主被写体らしさの点数付けに用いるパラメータとして、ステップＳ２０２とは異なり、サイズと位置を除いたパラメータを用いる。これは、ユーザ操作によるピント合わせ発動以降でユーザがレリーズスイッチを押し込み続けている（半押し状態を維持している）ので、少なくとも現在掴んでいる被写体はユーザの意図する被写体であると考えられる。したがって、その被写体に対して同一の被写体の領域に属していると判定された検出結果であればそのサイズや位置に関わらず採用対象とみなしてよいと考えられるためである。

【0066】

図５（ｄ）の例では、検出信頼度、検出頻度、検出部位数に対する点数付けをＳ２０２と同様に行う。なお、これら数値が同数の場合は、頻度に対する点数のように同点を付与して算出を行う。算出の結果、２輪車全体の合計点が８点、鳥全身の合計点が４点となったとする。このとき、２輪車全体の合計点は鳥全身の合計点よりも４点高い。すなわち点数の差分の閾値である２（パラメータ数３つの過半数は２）以上であるため、ステップＳ２０３ではステップＳ２０４へと進み、鳥から２輪車へと主被写体を変更して処理を終了する。

【0067】

なお、上記例では主被写体らしさの点数付けに用いるパラメータは互いに優劣がないものとして扱ったが、被写体種類の組み合わせによって採用するパラメータを異ならせたり、パラメータ間で重みづけを行ったりしてもよい。例えば、現被写体が鳥で他に検出されている種類が人物であり、鳥辞書の特性として人物の頭部を誤検出しやすいとわかっている場合、位置やサイズの優先度を下げることを考えてもよい。また検出頻度や部位数に関しては、辞書間の検出性能差によって結果を重みづけしてもよい。例えば人物の検出性能が９０％、鳥の検出性能が８０％であった場合、鳥の検出結果に対して重みをつけることで、人物の検出結果の方が優先されるようにしてもよい。

【0068】

以上で説明したように本実施形態では、多様な被写体の種類を検出対象としながらも、誤検出を抑制しながら検出・追尾可能な撮像装置を提供することができる。

【0069】

＜その他の実施形態＞
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

【0070】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0071】

１００ 交換レンズ
１２０ カメラ本体
１２２ 撮像素子
１２４ 制御・演算部
１３０ 主被写体演算部
１３１ 検出部
１３２ 主被写体判定部
１３３ 追尾演算部
１３４ フォーカス制御部
１３５ 露出演算部

【図1】

【図2】

【図3】

【図4】

【図5】