特許 7596326 制御装置、撮像装置、制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-29

(45)【発行日】2024-12-09

(54)【発明の名称】制御装置、撮像装置、制御方法、及びプログラム

(51)【国際特許分類】

   G02B 7/28 20210101AFI20241202BHJP

   G03B 13/36 20210101ALI20241202BHJP

   G03B 17/18 20210101ALI20241202BHJP

   H04N 23/61 20230101ALI20241202BHJP

   H04N 23/67 20230101ALI20241202BHJP

【ＦＩ】

G02B7/28 N

G03B13/36

G03B17/18

H04N23/61

H04N23/67 100

【請求項の数】 10

(21)【出願番号】P 2022046411

(22)【出願日】2022-03-23

(65)【公開番号】P2023140527

(43)【公開日】2023-10-05

【審査請求日】2023-10-20

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100110412

【弁理士】

【氏名又は名称】藤元 亮輔

(74)【代理人】

【識別番号】100104628

【弁理士】

【氏名又は名称】水本 敦也

(74)【代理人】

【識別番号】100121614

【弁理士】

【氏名又は名称】平山 倫也

(72)【発明者】

【氏名】参納 雅人

【審査官】岡田 弘

(56)【参考文献】

【文献】特開２０１８－１８９８５４（ＪＰ，Ａ）

【文献】特開２０２１－１７５１３３（ＪＰ，Ａ）

【文献】特開２００５－１８９５３３（ＪＰ，Ａ）

【文献】特開２０２１－１９７７２９（ＪＰ，Ａ）

【文献】特開２０１３－１４０２７０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ ７／２８－７／４０

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０－２３／７６

Ｈ０４Ｎ ２３／９０―２３／９５９

(57)【特許請求の範囲】

【請求項1】

画像データを取得する撮像装置を制御する制御装置であって、
前記画像データに設定される焦点検出に用いられる領域を取得する取得部と、
検出された複数の被写体から、焦点を合わせる対象とする主被写体を決定する決定部とを有し、
前記決定部は、前記領域の内部に複数の被写体が検出された場合と、前記領域の外部にのみ複数の被写体が検出された場合とで、複数の被写体から主被写体を決定する際の判定方法を異ならせることを特徴とする制御装置。

【請求項2】

前記決定部は、前記領域の内部に複数の種別の被写体が検出された場合と、前記領域の外部にのみ複数の種別の被写体が検出された場合とで、複数の種別の被写体から主被写体を決定する際の判定方法を異ならせることを特徴とする請求項１に記載の制御装置。

【請求項3】

前記決定部は、前記領域の内部に複数の被写体が検出された場合に、所定の種別の被写体を優先して主被写体を決定することを特徴とする請求項１または２に記載の制御装置。

【請求項4】

前記決定部は、前記領域の内部に前記所定の種別の被写体が複数検出された場合に、複数の前記所定の種別の被写体のそれぞれの大きさと位置の少なくとも一方に基づいて、主被写体を決定することを特徴とする請求項３に記載の制御装置。

【請求項5】

前記決定部は、前記領域の外部にのみ複数の被写体が検出された場合に、被写体と前記領域との距離に基づいて主被写体を決定することを特徴とする請求項１乃至４の何れか一項に記載の制御装置。

【請求項6】

前記決定部は、前記領域の外部にのみ複数の被写体が検出された場合に、前記被写体の移動方向に基づいて主被写体を決定することを特徴とする請求項５に記載の制御装置。

【請求項7】

請求項１乃至６の何れか一項に記載の制御装置と、
撮像素子とを有することを特徴とする撮像装置。

【請求項8】

画像データを取得する撮像装置を制御する制御方法であって、
前記画像データに設定される焦点検出に用いられる領域を取得する取得ステップと、
検出された複数の被写体から、焦点を合わせる対象とする主被写体を決定する決定ステップとを有し、
前記決定ステップでは、前記領域の内部に複数の被写体が検出された場合と、前記領域の外部にのみ複数の被写体が検出された場合とで、複数の被写体から主被写体を決定する際の判定方法を異ならせることを特徴とする制御方法。

【請求項9】

前記決定ステップでは、前記領域の内部に複数の種別の被写体が検出された場合と、前記領域の外部にのみ複数の種別の被写体が検出された場合とで、複数の種別の被写体から主被写体を決定する際の判定方法を異ならせることを特徴とする請求項８に記載の制御方法。

【請求項10】

請求項８または９に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、焦点を合わせる主被写体を決定する制御装置に関する。

【背景技術】

【0002】

従来、焦点を合わせる対象として決定された主被写体に、リアルタイムで焦点を合わせ続ける構成が知られている。特許文献1には、評価値が一定レベル以上の人物の顔が見つかれば該人物を主被写体として決定し、評価値が一定レベル以上の人物の顔が見つからなければ不特定被写体を主被写体として決定する構成が提案されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１２－１３８６６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１の構成では、ユーザーが設定したフォーカス枠に向かってくる動物や乗り物等の被写体を待ち構えている状況において、ユーザーの意図していない人物被写体を主被写体として決定してしまう場合がある。

【0005】

本発明は、ユーザーの意図する被写体に焦点を合わせることが可能な制御装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一側面としての制御装置は、画像データを取得する撮像装置を制御する制御装置であって、画像データに設定される焦点検出に用いられる領域を取得する取得部と、検出された複数の被写体から、焦点を合わせる対象とする主被写体を決定する決定部とを有し、決定部は、領域の内部に複数の被写体が検出された場合と、領域の外部にのみ複数の被写体が検出された場合とで、複数の被写体から主被写体を決定する際の判定方法を異ならせることを特徴とする。

【発明の効果】

【0007】

本発明によれば、ユーザーの意図する被写体に焦点を合わせることが可能な制御装置を提供することができる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施形態に係る撮像装置の一例であるデジタルカメラの構成図である。

【図2】撮像素子の構成を説明する図である。

【図3】デジタルカメラが静止画撮影モードに設定されている場合のシステム制御回路による処理を示すフローチャートである

【図4】主被写体決定処理を示すフローチャートである。

【図5】ＡＦ枠の説明図である。

【図6】主被写体の判定方法の説明図である。

【図7】ＡＦ枠内の主被写体決定処理を示すフローチャートである。

【図8】ＡＦ枠外の主被写体決定処理を示すフローチャートである。

【図9】候補被写体の決定方法の説明図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
＜カメラの構成＞
図１（ａ）は、本発明の実施形態に係る撮像装置の一例であるデジタルカメラ１００の構成図である。デジタルカメラ１００は、デジタルカメラ１００全体を制御する制御装置として機能するシステム制御回路５０を有する。また、システム制御回路５０は、図１（ｂ）に示されるように、取得部５０ａと決定部５０ｂとを備える。取得部５０ａは、デジタルカメラ１００により取得される画像データ上に設定される焦点検出に用いられる領域（フォーカス枠）を取得する。決定部５０ｂは、領域の内部で検出される少なくとも一つの被写体から決定される第１の被写体及び領域の外部で検出される少なくとも一つの被写体から決定される第２の被写体の一方を、焦点を合わせる対象（ＡＦ対象）とする主被写体として決定する。また、決定部５０ｂは、第１の被写体と第２の被写体を異なる方法で決定する。なお、ＡＦ（オートフォーカス）とは、ユーザーが選択した被写体領域やデジタルカメラ１００が自動的に設定した被写体領域を焦点検出領域として設定し、焦点位置を自動的に検出することである。

【0010】

また、デジタルカメラ１００は、撮影レンズ１０、シャッター１２、撮像素子１４、Ａ／Ｄ変換器１６、及びタイミング発生回路１８を有する。シャッター１２は、絞り機能を備える。撮像素子１４は、光学像を電気信号に変換する。Ａ／Ｄ変換器１６は、撮像素子１４から出力されたアナログ信号をデジタル信号に変換する。タイミング発生回路１８は、撮像素子１４やＡ／Ｄ変換器１６にクロック信号や制御信号を供給する。

【0011】

撮像素子１４は、Ｃ－ＭＯＳセンサとその周辺回路で構成される。撮像素子１４では、複数の受光ピクセル上にそれぞれ１つの光電変換素子が配置される。撮像素子１４は、全画素が独立して出力可能に構成される。また、全画素のうちの一部の画素が焦点検出用画素であり、撮像素子１４は撮像面位相差検出方式のＡＦ（撮像面位相差ＡＦ）を行うことが可能である。具体的には、撮像素子１４は、図２に示されるように、撮影光学系の射出瞳の全域を通る光束を各々が受光して光学像を生成する複数の撮像用画素２５０を備える。また、撮像素子１４は、各々が撮影光学系の異なる射出瞳の領域を通る光束を受光する複数の焦点検出用画素２５１を備える。複数の焦点検出用画素２５１は、全体として撮影光学系の射出瞳の全域を通る光束を受光することができる。例えば、撮像素子１４は、２行×２列の画素のうち、対角に配置される一対のＧ画素は撮像用画素として残し、Ｒ画素とＢ画素を焦点検出用画素に置き換えている。

【0012】

システム制御回路５０は、撮像素子１４に埋め込まれた焦点検出用画素の撮像信号により位相差ＡＦ方式での焦点検出処理を行う。具体的には、システム制御回路５０は、撮像光学系の一対の瞳領域を通過する光束により焦点検出用画素に形成される一対の像のずれ量に基づいて焦点検出を行う。

【0013】

なお、本実施形態では、撮像用画素の一部を焦点検出用画素に置き換えることによって撮像面位相差ＡＦを実現するが、本発明は他の方法で焦点検出を実現してもよい。例えば、焦点検出専用センサを用いた位相差式焦点検出や、コントラスト式焦点検出を用いてもよい。

【0014】

また、デジタルカメラ１００は、画像処理回路２０、メモリ制御回路２２、画像表示部２８、メモリ３０、不揮発性メモリ３１、及び圧縮・伸長回路３２を有する。

【0015】

画像処理回路２０は、Ａ／Ｄ変換器１６からのデータ又はメモリ制御回路２２からのデータに対して、画素補間処理、色変換処理、ノイズ除去処理、及びエッジ強調処理等を行う。

【0016】

また、画像処理回路２０は、画像内の特徴データ（顏の輪郭部分の形状）に合致する領域を特定するパターンマッチング処理を行うことで、人物の顔領域を検出する。画像処理回路２０は、顔の検出機会を増やしたり検出精度を高めたりするために、複数の特徴データを用いてパターンマッチング処理を行ってもよいし、顔の形状の一部の特徴データを用いてパターンマッチング処理を行ってもよい。また、画像処理回路２０は、顔の大きさによらず顔検出を行うために、特徴データの大きさを変化させてパターンマッチング処理を行ってもよい。また、画像処理回路２０は、顔検出により検出された領域内の特徴データ（器官の形状データ）に合致する領域を特定するパターンマッチング処理を行うことで、顔の瞳、鼻、及び口等の器官領域を検出する。また、画像処理回路２０は、顔検出や器官検出の結果においての確からしさを示す信頼度の算出処理等も行う。

【0017】

また、画像処理回路２０は、深層学習を用いて顔検出や器官検出を行ってもよい。画像処理回路２０は、不揮発性メモリ３１が記憶する複数の学習モデルのうちシステム制御回路５０が選択した１つの学習モデルを用いて検出処理を行ってもよいし、複数の学習モデルを切り替えて複数の検出処理を行ってもよい。

【0018】

また、画像処理回路２０は、画像間の追尾処理を行う。画像処理回路２０は、検出した被写体の特徴データを生成し、メモリ３０に保存する。画像処理回路２０は、メモリ３０に保存した特徴データを基に、次のタイミングで生成された画像の中から特徴データと一致する領域を探索し、一致した領域を被写体領域として追尾処理を行う。画像処理回路２０は、特徴データと一致する領域を探索する方法として、画像を領域ごとに切り出して特徴データとの差が少ない領域を被写体領域とする方法やヒストグラムや色データ等の一致度等を用いる方法を使用してもよい。

【0019】

システム制御回路５０は、被写体が複数検出された場合、ユーザーが選んだ被写体領域又は決定部５０ｂにより決定された主被写体の領域を焦点検出領域として設定する。システム制御回路５０は、被写体が検出されなくなると、画像処理回路２０による追尾処理により検出された被写体領域を焦点検出領域として設定する。システム制御回路５０は、一定時間内に同一被写体が検出されれば焦点検出処理に切り替え、追尾もできなくなれば別の被写体領域を焦点検出領域として設定する。

【0020】

また、画像処理回路２０は、オートホワイトバランス処理（ＡＷＢ処理）を行うためのホワイトバランス（ＷＢ）評価値を算出するために、画像データを用いて所定の演算処理を行う。

【0021】

更に、画像処理回路２０は、自動露出制御（ＡＥ）処理、ストロボ露出制御（ＥＦ）処理を行うための、ＡＥ評価値やＥＦ評価値を算出するために、画像データを用いて所定の演算処理を行う。システム制御回路５０は、ＡＥ評価値やＥＦ評価値を基に、アルゴリズムに従って露光制御部４０に対する制御を行う。

【0022】

メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、及び圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータは、画像処理回路２０及びメモリ制御回路２２を介して、又はメモリ制御回路２２を介して、メモリ３０に書き込まれる。

【0023】

画像表示部２８は、ＴＦＴやＬＣＤ等により構成され、メモリ３０に書き込まれた表示用の画像データを、メモリ制御回路２２を介して取得し、表示する。画像表示部２８に画像データを逐次表示することで、電子ファインダ機能を実現することが可能である。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合、デジタルカメラ１００の電力消費を低減することができる。

【0024】

メモリ３０は、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備える。これにより、複数枚の静止画像を連続して撮影する連写撮影を行う場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０は、認証用の特徴データを一時記憶する領域やシステム制御回路５０の作業領域としても使用することが可能である。

【0025】

不揮発性メモリ３１は、ＦｌａｓｈＲＯＭ等により構成される。システム制御回路５０は、不揮発性メモリ３１に書き込まれたプログラムコードを逐次読み出しながら実行する。また、不揮発性メモリ３１内には、認証用の顔の特徴データを辞書データとして記憶する領域や、システム情報を記憶する領域、及びユーザー設定情報を記憶する領域が設けられている。

【0026】

圧縮・伸長回路３２は、適応離散コサイン変換（ＡＤＣＴ）等によりメモリ３０に格納された画像を読み込んで圧縮処理又は伸長処理を行う。

【0027】

また、デジタルカメラ１００は、露光制御部４０、フォーカス制御部４２、ズーム制御部４４、及びフラッシュ４８を有する。露光制御部４０は、シャッター１２を制御すると共に、フラッシュ４８と連動することによりフラッシュ調光機能も有する。フォーカス制御部４２は、撮影レンズ１０のフォーカシングを制御する。ズーム制御部４４は、撮影レンズ１０のズーミングを制御する。フラッシュ４８は、フラッシュ調光機能を有する。システム制御回路５０は、画像処理回路２０が画像データに対して演算した結果に基づいて、露光制御部４０及びフォーカス制御部４２に対する制御を行う。

【0028】

また、デジタルカメラ１００は、モードダイアルスイッチ６０、シャッタースイッチ６２、表示切替スイッチ６６、操作部７０、及びズームスイッチ７２を有する。モードダイアルスイッチ６０は、デジタルカメラ１００を電源オフモード、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、及びＰＣ接続モード等に設定するために使用される。シャッタースイッチ６２の操作途中で第１シャッタースイッチＳＷ１がＯＮになると、ＡＦ処理、ＡＥ処理、及びＡＷＢ処理等が開始される。また、シャッタースイッチ６２の操作完了で第２シャッタースイッチＳＷ２がＯＮになると、一連の撮影処理が開始される。表示切替スイッチ６６は、画像表示部２８の表示を切り替える。操作部７０は、各種ボタン、タッチパネル、及び回転式ダイアル等により構成される。ズームスイッチ７２は、ユーザーが画像の倍率変更指示を行うために使用される。

【0029】

また、デジタルカメラ１００は、電源部８６、インタフェース９０、コネクタ９２、光学ファインダ１０４、通信部１１０、接続部１１２、及びジャイロセンサ１１５を有する。電源部８６は、アルカリ電池の一次電池、Ｌｉイオン電池等の二次電池、及びＡＣアダプター等により構成される。インタフェース９０は、メモリカードやハードディスク等の記録媒体と通信するために使用される。コネクタ９２は、メモリカードやハードディスク等の記録媒体との接続を行うために使用される。通信部１１０は、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、及び無線通信等の各種通信機能を有する。接続部１１２は、デジタルカメラ１００を他の機器と接続するために使用される。ジャイロセンサ１１５は、デジタルカメラ１００のヨーイング方向の移動量やピッチング方向の移動量を検出する。

【0030】

記録媒体２００は、デジタルカメラ１００に着脱可能に構成され、半導体メモリや磁気ディスク等により構成される記録部２０２、デジタルカメラ１００とのインタフェース２０４、及びデジタルカメラ１００との接続を行うコネクタ２０６を有する。
＜静止画撮影動作＞
図３は、デジタルカメラ１００が静止画撮影モードに設定されている場合のシステム制御回路５０による処理を示すフローチャートである
ステップＳ３０１では、システム制御回路５０は、ライブビュー開始処理が完了したか否かを判定する。ライブビュー開始処理とは、タイミング発生回路１８が撮像素子１４やＡ／Ｄ変換器１６にライブビュー用のクロック信号や制御信号を供給する処理である。ライブビュー開始処理が完了したと判定された場合、ステップＳ３０２に進み、そうでないと判定された場合、本ステップの処理を繰り返す。

【0031】

ステップＳ３０２では、システム制御回路５０は、ライブビュー処理を開始する。ライブビュー処理とは、撮像素子１４で撮像したデータを用いて画像処理回路２０により生成されたライブビュー画像をメモリ３０に一時記憶すると共に、画像表示部２８に表示させる処理である。ライブビュー画像の生成と表示を連続的に実行することで、ユーザーは画像表示部２８を用いてリアルタイムに撮像したライブビュー画像を確認することができる。

【0032】

ステップＳ３０３では、システム制御回路５０は、デジタルカメラ１００が静止画撮影モードを継続するか否かを判定する。デジタルカメラ１００が静止画撮影モードを継続すると判定された場合、ステップＳ３０４に進み、そうでないと判定された場合、本フローを終了する。

【0033】

ステップＳ３０４では、システム制御回路５０は、被写体追尾の設定がＯＮであるかどうかを判定する。被写体追尾の設定がＯＮであると判定された場合、ステップＳ３０６に進み、そうでないと判定された場合、ステップＳ３０５に進む。

【0034】

ステップＳ３０５では、システム制御回路５０は、ＡＦに特定の被写体情報を使用しないように、主被写体はなしと決定する。

【0035】

ステップＳ３０６では、システム制御回路５０は、後述する主被写体決定処理を用いて焦点を合わせる対象とする主被写体を決定する。

【0036】

ステップＳ３０７では、システム制御回路５０は、第１シャッタースイッチＳＷ１がＯＮであるか否かを判定する。第１シャッタースイッチＳＷ１がＯＮであると判定された場合、ステップＳ３０８に進み、そうでないと判定された場合、ステップＳ３０４に戻る。

【0037】

ステップＳ３０８では、システム制御回路５０は、主被写体が決定されたか否かを判定する。被写体が決定されたと判定された場合、ステップＳ３１０に進み、そうでないと判定された場合、ステップＳ３０９に進む。

【0038】

ステップＳ３０９では、システム制御回路５０は、フォーカス枠（ＡＦ枠）の中心位置に対してＡＦを実行する。なお、ＡＦを実行するＡＦ位置は、本実施形態ではＡＦ枠の中心位置であるが、ＡＦ枠内であればよい。例えば、ＡＦ枠内で奥行き方向において撮像素子１４から最も近いと判定した領域をＡＦ位置としてもよいし、ＡＦ枠内で色情報や輝度情報において顕著な領域をＡＦ位置としてもよい。

【0039】

ステップＳ３１０では、システム制御回路５０は、主被写体に対してＡＦを実行する。

【0040】

ステップＳ３１１では、システム制御回路５０は、第２シャッタースイッチＳＷ２がＯＮであるか否かを判定する。第２シャッタースイッチＳＷ２がＯＮであると判定された場合、ステップＳ３１２に進み、そうでないと判定された場合、ステップＳ３１３に進む。

【0041】

ステップＳ３１２では、システム制御回路５０は、撮影処理を実行する。

【0042】

ステップＳ３１３では、システム制御回路５０は、ＡＦ設定がサーボＡＦ設定であるか否かを判定する。サーボＡＦ設定とは、ＡＦ対象とする主被写体に対して連続的にＡＦを実行し続ける設定である。ＡＦ設定がサーボＡＦ設定であると判定された場合、ステップＳ３１４に進み、そうでないと判定された場合、ステップＳ３１１に戻る。

【0043】

ステップＳ３１４では、システム制御回路５０は、主被写体探索処理を実行する。主被写体探索処理は、ライブビュー画像間の追尾処理を行う又は最新のライブビュー画像の被写体検出結果と現在の主被写体情報との相関を取ることで、最新のライブビュー画像上での主被写体位置を探索する処理である。
＜主被写体決定処理＞
図４は、図３のステップＳ３０６で実行される、主被写体決定処理を示すフローチャートである。

【0044】

ステップＳ４０１では、システム制御回路５０は、ユーザーが設定したＡＦ設定がスポットＡＦ設定であるか否かを判定する。ＡＦ設定がスポットＡＦ設定であると判定された場合、ステップＳ４０２に進み、そうでないと判定された場合、ステップＳ４０５に進む。

【0045】

図５は、ＡＦ枠の説明図である。図５（ａ）のスポットＡＦ設定では、ＡＦ枠５０１の位置はユーザーが任意に設定可能であり、ＡＦ位置でピンポイントにＡＦが実行される。図５（ｂ）の１点ＡＦ設定では、ＡＦ枠５０２の位置はユーザーが任意に設定可能で、ＡＦ枠５０２の付近でＡＦが実行される。図５（ｃ）のゾーン点ＡＦ設定では、ＡＦ枠５０３の位置や大きさはユーザーが任意に設定可能であり、ＡＦ枠内又はＡＦ枠付近の主被写体位置でＡＦが実行される。図５（ｄ）の全域ＡＦ設定では、ＡＦ枠５０４は画面全域であり、画面全域からＡＦ位置が決定される。

【0046】

ステップＳ４０２では、システム制御回路５０は、画像処理回路２０によりＡＦ枠内で被写体が検出されたか否かを判定する。ＡＦ枠内で被写体が検出されたと判定された場合、ステップＳ４０３に進み、そうでないと判定された場合、ステップＳ４０４に進む。

【0047】

ステップＳ４０３では、システム制御回路５０は、ＡＦ枠内で検出された被写体を主被写体として決定する。

【0048】

ステップＳ４０４では、システム制御回路５０は、主被写体はなしと決定する。

【0049】

ステップＳ４０５では、システム制御回路５０は、ＡＦ枠設定が全域ＡＦ設定であるか否かを判定する。ＡＦ設定が全域ＡＦ設定であると判定された場合、ステップＳ４０６に進み、そうでないと判定された場合、ステップＳ４０７に進む。

【0050】

ステップＳ４０６では、システム制御回路５０は、後述するＡＦ枠内の主被写体決定処理を実行する。

【0051】

ステップＳ４０７では、システム制御回路５０は、ＡＦ枠内の主被写体（第１の被写体）を主被写体として決定する。

【0052】

ステップＳ４０８では、システム制御回路５０は、ＡＦ枠内で被写体が検出されたか否かを判定する。ＡＦ枠内で被写体が検出されたと判定された場合、ステップＳ４０９に進み、そうでないと判定された場合、ステップＳ４１６に進む。

【0053】

ステップＳ４０９では、システム制御回路５０は、後述するＡＦ枠内の主被写体決定処理を用いて主被写体を決定する。

【0054】

ステップＳ４１０では、システム制御回路５０は、ＡＦ枠外で被写体が検出されたか否かを判定する。ＡＦ枠外で被写体が検出されたと判定された場合、ステップＳ４１１に進み、そうでないと判定された場合、ステップＳ４１５に進む。

【0055】

ステップＳ４１１では、システム制御回路５０は、後述するＡＦ枠外の主被写体決定処理を実行する。

【0056】

ステップＳ４１２では、システム制御回路５０は、ステップＳ４１１でＡＦ枠外の主被写体（第２の被写体）が決定されたか否かを判定する。ＡＦ枠外の主被写体が決定されたと判定された場合、ステップＳ４１３に進み、そうでないと判定された場合、ステップＳ４１５に進む。

【0057】

ステップＳ４１３では、システム制御回路５０は、ＡＦ枠外の主被写体からデジタルカメラ１００までの距離がＡＦ枠内の主被写体からデジタルカメラ１００までの距離よりも近いか否かを判定する。被写体からデジタルカメラ１００までの距離は例えば、撮像素子１４の焦点検出用画素に基づいて生成された画素ごとのデフォーカス量を示すデフォーカスマップを用いて算出されてもよいし、撮像素子１４とは別の焦点検出専用センサを用いて算出されてもよい。また、ＡＦ枠外の主被写体とＡＦ枠内の主被写体に対して、検出した被写体の大きさ、被写体の部位の大きさ、及び被写体の大きさを正規化した大きさ情報を用いて、デジタルカメラ１００から近い被写体を推定してもよい。例えば、図６に示されるように、ＡＦ枠６０１内の主被写体である人物の顔６０２の大きさ情報とＡＦ枠６０１外の主被写体である犬の顔６０３を正規化した情報とのうち大きい方の被写体をデジタルカメラ１００から近い被写体と決定してもよい。ＡＦ枠外の主被写体からデジタルカメラ１００までの距離がＡＦ枠内の主被写体からデジタルカメラ１００までの距離よりも近いと判定された場合、ステップＳ４１４に進み、そうでないと判定された場合、ステップＳ４１５に進む。

【0058】

ステップＳ４１４では、システム制御回路５０は、ＡＦ枠外の主被写体を主被写体として決定する。

【0059】

ステップＳ４１５では、システム制御回路５０は、ＡＦ枠内の主被写体を主被写体として決定する。

【0060】

ステップＳ４１６では、システム制御回路５０は、システム制御回路５０は、ＡＦ枠外で被写体が検出されたか否かを判定する。ＡＦ枠外で被写体が検出されたと判定された場合、ステップＳ４１７に進み、そうでないと判定された場合、ステップＳ４２０に進む。

【0061】

ステップＳ４１７では、システム制御回路５０は、後述するＡＦ枠外の主被写体決定処理を実行する。

【0062】

ステップＳ４１８では、システム制御回路５０は、ステップＳ４１７でＡＦ枠外の主被写体が決定されたか否かを判定する。ＡＦ枠外の主被写体が決定されたと判定された場合、ステップＳ４１９に進み、そうでないと判定された場合、ステップＳ４２０に進む。

【0063】

ステップＳ４１９では、システム制御回路５０は、ＡＦ枠外の主被写体を主被写体として決定する。

【0064】

ステップＳ４２０では、システム制御回路５０は、主被写体はなしと決定する。
＜ＡＦ枠内の主被写体決定処理＞
図７は、図４のステップＳ４０６及びステップＳ４０９で実行される、所定の種類の被写体を優先してＡＦ枠内の主被写体を決定するＡＦ枠内の主被写体決定処理を示すフローチャートである。

【0065】

ステップＳ７０１では、システム制御回路５０は、ＡＦ枠内で人物が検出されたか否かを判定する。人物が検出されたと判定された場合、ステップＳ７０２に進み、そうでないと判定された場合、ステップＳ７０５に進む。

【0066】

ステップＳ７０２では、システム制御回路５０は、ステップＳ７０１で検出された人物が複数であるか否かを判定する。人物が複数であると判定された場合、ステップＳ７０３に進み、そうでないと判定された場合、ステップＳ７０４に進む。

【0067】

ステップＳ７０３では、システム制御回路５０は、人物の顔の位置とサイズを用いて複数の人物からＡＦ枠内の主被写体を決定する。具体的には、システム制御回路５０は、位置重みとサイズ重みを乗算した情報が最も大きくなる人物をＡＦ枠内の主被写体として決定する。位置重みは例えば、顔の中心位置がＡＦ枠の中心に近いほど重みが大きくなるように設定すればよい。サイズ重みは例えば、顔のサイズが大きい被写体ほど重みが大きくなるように設定すればよい。なお、顔の向きが正面であるほど大きくなる重みを用いて、主被写体を決定してもい。

【0068】

ステップＳ７０４では、システム制御回路５０は、ステップＳ７０１で検出された人物をＡＦ枠内の主被写体として決定する。

【0069】

ステップＳ７０５では、システム制御回路５０は、ＡＦ枠内で犬や猫等の動物が検出されたか否かを判定する。動物が検出されたと判定された場合、ステップＳ７０６に進み、そうでないと判定された場合、ステップＳ７１１に進む。

【0070】

ステップＳ７０６では、システム制御回路５０は、ＡＦ枠内で自動車等の乗り物が検出されたか否かを判定する。乗り物が検出されたと判定された場合、ステップＳ７０７に進み、そうでないと判定された場合、ステップＳ７０８に進む。

【0071】

ステップＳ７０７では、システム制御回路５０は、動物や乗り物等の被写体の位置と被写体種別ごとに正規化したサイズを用いてＡＦ枠内の主被写体を決定する。サイズの正規化は例えば、動物や乗り物等の被写体の撮像素子１４までの距離が等しい場合、被写体領域が同じ面積になるように行われる。具体的には、システム制御回路５０は、位置重みとサイズ重みを乗算した情報が最も大きくなる被写体をＡＦ枠内の主被写体として決定する。

【0072】

ステップＳ７０８では、システム制御回路５０は、ステップＳ７０５で検出された動物が複数であるか否かを判定する。動物が複数であると判定された場合、ステップＳ７０９に進み、そうでないと判定された場合、ステップＳ７１０に進む。

【0073】

ステップＳ７０９では、システム制御回路５０は、動物の位置とサイズを用いて複数の動物からＡＦ枠内の主被写体を決定する。具体的には、システム制御回路５０は、位置重みとサイズ重みを乗算した情報が最も大きくなる動物をＡＦ枠内の主被写体として決定する。

【0074】

ステップＳ７１０では、システム制御回路５０は、ステップＳ７０５で検出された動物をＡＦ枠内の主被写体として決定する。

【0075】

ステップＳ７１１では、システム制御回路５０は、ＡＦ枠内で自動車等の乗り物が検出されたか否かを判定する。乗り物が検出されたと判定された場合、ステップＳ７１２に進み、そうでないと判定された場合、ステップＳ７１５に進む。

【0076】

ステップＳ７１２では、システム制御回路５０は、ステップＳ７１１で検出された乗り物が複数であるか否かを判定する。乗り物が複数であると判定された場合、ステップＳ７１３に進み、そうでないと判定された場合、ステップＳ７１４に進む。

【0077】

ステップＳ７１３では、システム制御回路５０は、乗り物の位置とサイズを用いて複数の乗り物からＡＦ枠内の主被写体を決定する。具体的には、システム制御回路５０は、位置重みとサイズ重みを乗算した情報が最も大きくなる乗り物をＡＦ枠内の主被写体として決定する。

【0078】

ステップＳ７１４では、システム制御回路５０は、ステップＳ７１１で検出された乗り物をＡＦ枠内の主被写体として決定する。

【0079】

ステップＳ７１５では、システム制御回路５０は、ＡＦ枠内の主被写体はなしと決定する。
＜ＡＦ枠外の主被写体決定処理＞
図８は、図４のステップＳ４１１及びステップＳ４１７で実行される、被写体とＡＦ枠との距離に基づいてＡＦ枠外の主被写体を決定するＡＦ枠外の主被写体決定処理を示すフローチャートである。

【0080】

ステップＳ８０１では、システム制御回路５０は、ＡＦ枠外の被写体のうち最もＡＦ枠に近い被写体をＡＦ枠外の主被写体の候補被写体（第１の候補被写体）に決定する。候補被写体は、人物、動物、及び乗り物等の被写体種別に関係なく決定される。図９は、候補被写体の決定方法の説明図である。ＡＦ枠９０１の境界と被写体領域９０２との距離９１２、及びＡＦ枠９０１の境界と被写体領域９０３との距離９１３のうち近い方の被写体領域内の被写体が候補被写体に決定される。図９では、距離９１３の方が短いため、被写体領域９０３内の被写体が候補被写体として決定される。

【0081】

ステップＳ８０２では、システム制御回路５０は、候補被写体が移動しているか否かを判定する。システム制御回路５０は例えば、候補被写体の領域の位置を定期的に監視し、過去の位置に対して現在の領域の位置が所定距離以上に変化している場合に候補被写体が移動していると判定する。候補被写体が移動していると判定された場合、ステップＳ８０３に進み、そうでないと判定された場合、ステップＳ８０６に進む。

【0082】

ステップＳ８０３では、システム制御回路５０は、候補被写体の移動方向がＡＦ枠に向かう方向であるか否かを判定する。システム制御回路５０は例えば、人物や動物の顔の向きや乗り物先端の方向等の被写体の方向を決定可能な深層学習の学習モデルを用いて候補被写体の移動方向がＡＦ枠に向かう方向であるか否かを判定することができる。また、被写体領域の位置が過去に検出された被写体領域の位置よりもＡＦ枠に近い場合、候補被写体の移動方向がＡＦ枠に向かう方向であると判定されてもよい。候補被写体の移動方向がＡＦ枠に向かう方向であると判定された場合、ステップＳ８０４に進み、そうでないと判定された場合、ステップＳ８０６に進む。

【0083】

ステップＳ８０４では、システム制御回路５０は、候補被写体とＡＦ枠との距離が所定距離よりも近いか否かを判定する。所定距離は例えば、被写体領域の対角線距離に一定の比率を乗算した長さであってもよいし、候補被写体の単位時間当たりの移動量であってもよい。また、所定距離は、ジャイロセンサ１１５の角速度情報を用いてデジタルカメラ１００のパンニング方向やパンニング量に応じて決定されてもよい。候補被写体とＡＦ枠との距離が所定距離よりも近いと判定された場合、ステップＳ８０５に進み、そうでないと判定された場合、ステップＳ８０６に進む。

【0084】

ステップＳ８０５では、システム制御回路５０は、候補被写体をＡＦ枠外の主被写体として決定する。

【0085】

ステップＳ８０６では、システム制御回路５０は、ＡＦ枠外で他の被写体が検出されたか否かを判定する。他の被写体が検出されたと判定された場合、ステップＳ８０８に進み、そうでないと判定された場合、ステップＳ８０７に進む。

【0086】

ステップＳ８０７では、システム制御回路５０は、ＡＦ枠外の主被写体はなしと決定する。

【0087】

ステップＳ８０８では、システム制御回路５０は、ＡＦ枠外の被写体のうち第１の候補被写体の次にＡＦ枠に近い被写体を候補被写体（第２の候補被写体）に決定する。

【0088】

以上説明したように、本実施形態の構成によれば、ＡＦ枠内とＡＦ枠外でＡＦ対象とする主被写体の決定方法を変更することで、シーンに応じてユーザーの意図する被写体に焦点を合わせることが可能である。

【0089】

なお、本実施形態では、デジタルカメラ１００の静止画撮影で主被写体決定処理を用いる例について説明したが、動画撮影待機中や動画撮影中において主被写体決定処理を用いてもよい。
［その他の実施例］
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0090】

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

【符号の説明】

【0091】

５０ システム制御回路（制御装置）
５０ａ 取得部
５０ｂ 決定部
１００ 撮像装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】