特開 2024-163767 フォーカス制御装置、撮像装置、フォーカス制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024163767

(43)【公開日】2024-11-22

(54)【発明の名称】フォーカス制御装置、撮像装置、フォーカス制御方法、及びプログラム

(51)【国際特許分類】

   G02B 7/28 20210101AFI20241115BHJP

   G02B 7/34 20210101ALI20241115BHJP

   G03B 13/36 20210101ALI20241115BHJP

   G03B 17/18 20210101ALI20241115BHJP

   G03B 15/00 20210101ALI20241115BHJP

   H04N 23/67 20230101ALI20241115BHJP

【ＦＩ】

G02B7/28 N

G02B7/34

G03B13/36

G03B17/18

G03B15/00 Q

H04N23/67 100

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2023079640

(22)【出願日】2023-05-12

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】桜武 仁史

【テーマコード（参考）】

2H011

2H102

2H151

5C122

【Ｆターム（参考）】

2H011AA01

2H011BA23

2H011BB03

2H102AA33

2H102AA44

2H102BB02

2H102BB22

2H102CA03

2H102CA33

2H151BA06

2H151BA14

2H151CB22

2H151CB26

2H151CE24

2H151CE33

2H151DA08

2H151DA40

5C122DA03

5C122DA04

5C122EA06

5C122EA68

5C122FC02

5C122FD01

5C122FD13

5C122FH10

5C122FH14

5C122FH16

5C122FL08

5C122GA01

5C122HA13

5C122HA35

5C122HA46

5C122HA48

5C122HA88

5C122HB01

5C122HB05

5C122HB10

(57)【要約】

【課題】ユーザが合焦対象として意図した物体に対して高速、かつ高精度にフォーカス制御を行うことを可能とするフォーカス制御装置、撮像装置、フォーカス制御方法、及びプログラムを提供する。
【解決手段】フォーカス制御装置は、プロセッサとメモリとを備え、プロセッサは、撮像素子から出力された画像信号を取得し、ユーザによる操作を受付ける操作装置からの出力情報に基づいて撮像領域内に合焦対象領域を設定し、合焦対象領域に基づいてサーチ領域を決定し、サーチ領域内から特定の物体を含む物体領域を検出し、合焦対象領域と物体領域とが重複した重複領域を検出し、重複領域内の画像信号に基づいてフォーカス制御を行う。
【選択図】図９

【特許請求の範囲】

【請求項1】

プロセッサとメモリとを備え、
前記プロセッサは、
撮像素子から出力された画像信号を取得し、
ユーザによる操作を受付ける操作装置からの出力情報に基づいて撮像領域内に合焦対象領域を設定し、
前記合焦対象領域に基づいてサーチ領域を決定し、
前記サーチ領域内から特定の物体を含む物体領域を検出し、
前記合焦対象領域と前記物体領域とが重複した重複領域を検出し、
前記重複領域内の前記画像信号に基づいてフォーカス制御を行う、
フォーカス制御装置。

【請求項2】

前記合焦対象領域は、複数のブロックにより構成され、
前記プロセッサは、前記複数のブロックのうち前記物体領域と重複した１つ又は複数のブロックを前記重複領域として検出する、
請求項１に記載のフォーカス制御装置。

【請求項3】

前記プロセッサは、前記複数のブロックのうち前記物体領域との重複率が閾値以上である１つ又は複数のブロックを前記重複領域として検出する、
請求項２に記載のフォーカス制御装置。

【請求項4】

前記プロセッサは、前記特定の物体の種類に応じて前記閾値を変更する、
請求項３に記載のフォーカス制御装置。

【請求項5】

前記プロセッサは、前記合焦対象領域と前記物体領域との重複率が閾値以上である領域を前記重複領域として検出する、
請求項１に記載のフォーカス制御装置。

【請求項6】

前記プロセッサは、前記重複率が閾値未満である場合には、前記合焦対象領域の画像信号に基づいてフォーカス制御を行う、
請求項５に記載のフォーカス制御装置。

【請求項7】

前記プロセッサは、前記サーチ領域を、前記合焦対象領域の長辺に基づいて決定する、
請求項１に記載のフォーカス制御装置。

【請求項8】

前記合焦対象領域は、矩形である、
請求項７に記載のフォーカス制御装置。

【請求項9】

前記プロセッサは、前記合焦対象領域が複数のブロックにより構成されていない場合、前記合焦対象領域を前記特定の物体の種類に応じた個数のブロックに分割する、
請求項２に記載のフォーカス制御装置。

【請求項10】

前記プロセッサは、前記重複領域外であって前記サーチ領域内である領域内の前記画像信号に基づいて、非フォーカス制御用のデフォーカス量を取得する、
請求項１に記載のフォーカス制御装置。

【請求項11】

前記プロセッサは、前記重複領域の枠の色、枠の形状、又は枠の線種を変更することにより、前記重複領域を表示装置に強調表示する、
請求項１に記載のフォーカス制御装置。

【請求項12】

前記プロセッサは、前記サーチ領域内の画像信号を機械学習済みモデルに入力することにより前記物体領域を検出する、
請求項１に記載のフォーカス制御装置。

【請求項13】

前記プロセッサは、前記合焦対象領域に基づいて決定される前記サーチ領域が規定サイズより小さくなる場合、前記サーチ領域の大きさを前記規定サイズとする、
請求項１に記載のフォーカス制御装置。

【請求項14】

前記プロセッサは、検出された前記物体領域が特定の部位である場合、前記部位の種類又は大きさに応じて前記サーチ領域の大きさを変更する、
請求項１に記載のフォーカス制御装置。

【請求項15】

請求項１から請求項１４のうちいずれか１項に記載のフォーカス制御装置と、
前記撮像素子と、
前記操作装置と、
を備える撮像装置。

【請求項16】

プロセッサが、
撮像素子から出力された画像信号を取得すること、
ユーザによる操作を受付ける操作装置からの出力情報に基づいて撮像領域内に合焦対象領域を設定すること、
前記合焦対象領域に基づいてサーチ領域を決定すること、
前記サーチ領域内から特定の物体を含む物体領域を検出すること、
前記合焦対象領域と前記物体領域とが重複した重複領域を検出すること、
前記重複領域内の前記画像信号に基づいてフォーカス制御を行うこと、
を含むフォーカス制御方法。

【請求項17】

撮像素子から出力された画像信号を取得すること、
ユーザによる操作を受付ける操作装置からの出力情報に基づいて撮像領域内に合焦対象領域を設定すること、
前記合焦対象領域に基づいてサーチ領域を決定すること、
前記サーチ領域内から特定の物体を含む物体領域を検出すること、
前記合焦対象領域と前記物体領域とが重複した重複領域を検出すること、
前記重複領域内の前記画像信号に基づいてフォーカス制御を行うこと、
を含む処理をプロセッサに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の技術は、フォーカス制御装置、撮像装置、フォーカス制御方法、及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、撮像光学系を介して撮像する撮像素子から画像信号を得る信号生成手段を有する撮像装置の制御方法であって、前記画像信号内で任意領域を設定できる任意領域設定工程と、前記任意領域外の前記画像信号を含めた領域を複数に分割した算出領域からデフォーカス量を検出する焦点検出工程と、前記画像信号から被写体が存在する被写体領域を特定する被写体領域特定工程と、前記任意領域と前記被写体領域から合焦領域を選択する合焦領域選択工程を有することを特徴とする撮像装置の制御方法が開示されている。

【0003】

特許文献２には、撮像領域の第１の領域に設けられ撮影レンズからの光を光電変換して被写体の像を生成する撮像用画素、および、前記撮像領域の前記第１の領域より狭い第２の領域に設けられ前記撮影レンズの射出瞳の一部の領域を通る光を受光する焦点検出画素を有する撮像手段と、前記焦点検出画素からの信号に基づいて２つの像信号の位相差を検出する位相差検出手段と、前記撮像手段からの信号に基づいて被写体の第１の被写体領域を検出する被写体検出手段と、前記被写体検出手段で検出された前記第１の被写体領域とは異なる領域であって、前記被写体の一部分と推定される第２の被写体領域において前記位相差検出手段からの信号を用いてフォーカス制御を行う制御手段とを有する撮像装置が開示されている。

【0004】

特許文献３には、複数のＡＦエリアを有し、各ＡＦエリアにおいてデフォーカス量を検出し、ボディ範囲と外側範囲のそれぞれの領域において、デフォーカス量を距離に相当するレンズ位置に変換してデプスマップを作成する。デプスマップができると、ボディ範囲内の平均より所定値以上大きい至近側の領域を横切り候補として抽出する。候補に基づいて不要対象物に対応する領域を判別し、主対象物領域から不要対象物に対応する領域を除外した領域に対応する距離値に基づき焦点調節を制御する焦点調節装置が開示されている。

【0005】

特許文献４には、決定された合焦距離の被写界深度内に合焦距離が存在する焦点検出領域のうち、特定の被写体の領域を含んでいるものがあれば、特定の被写体の領域を含んでいる全ての焦点検出領域について、合焦していることを示す表示を行う撮像装置が開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２２－１７０５５４号公報

【特許文献2】特開２０１３－０５４２５６号公報

【特許文献3】特開２０２２－１３７７６０号公報

【特許文献4】特開２０１３－２４２４０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

本開示の技術は、ユーザが合焦対象として意図した物体に対して高速、かつ高精度にフォーカス制御を行うことを可能とするフォーカス制御装置、撮像装置、フォーカス制御方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために、本開示のフォーカス制御装置は、プロセッサとメモリとを備え、プロセッサは、撮像素子から出力された画像信号を取得し、ユーザによる操作を受付ける操作装置からの出力情報に基づいて撮像領域内に合焦対象領域を設定し、合焦対象領域に基づいてサーチ領域を決定し、サーチ領域内から特定の物体を含む物体領域を検出し、合焦対象領域と物体領域とが重複した重複領域を検出し、重複領域内の画像信号に基づいてフォーカス制御を行う。

【0009】

合焦対象領域は、複数のブロックにより構成され、プロセッサは、複数のブロックのうち物体領域と重複した１つ又は複数のブロックを重複領域として検出することが好ましい。

【0010】

プロセッサは、複数のブロックのうち物体領域との重複率が閾値以上である１つ又は複数のブロックを重複領域として検出することが好ましい。

【0011】

プロセッサは、特定の物体の種類に応じて閾値を変更することが好ましい。

【0012】

プロセッサは、合焦対象領域と物体領域との重複率が閾値以上である領域を重複領域として検出してもよい。

【0013】

プロセッサは、重複率が閾値未満である場合には、合焦対象領域の画像信号に基づいてフォーカス制御を行うことが好ましい。

【0014】

プロセッサは、サーチ領域を、合焦対象領域の長辺に基づいて決定することが好ましい。

【0015】

合焦対象領域は、矩形であることが好ましい。

【0016】

プロセッサは、合焦対象領域が複数のブロックにより構成されていない場合、合焦対象領域を特定の物体の種類に応じた個数のブロックに分割することが好ましい。

【0017】

プロセッサは、重複領域外であってサーチ領域内である領域内の画像信号に基づいて、非フォーカス制御用のデフォーカス量を取得することが好ましい。

【0018】

プロセッサは、重複領域の枠の色、枠の形状、又は枠の線種を変更することにより、重複領域を表示装置に強調表示することが好ましい。

【0019】

プロセッサは、サーチ領域内の画像信号を機械学習済みモデルに入力することにより物体領域を検出することが好ましい。

【0020】

プロセッサは、合焦対象領域に基づいて決定されるサーチ領域が規定サイズより小さくなる場合、サーチ領域の大きさを規定サイズとすることが好ましい。

【0021】

プロセッサは、検出された物体領域が特定の部位である場合、部位の種類又は大きさに応じてサーチ領域の大きさを変更することが好ましい。

【0022】

本開示の撮像装置は、上記のフォーカス制御装置と、撮像素子と、操作装置と、を備える。

【0023】

本開示のフォーカス制御方法は、プロセッサが、撮像素子から出力された画像信号を取得すること、ユーザによる操作を受付ける操作装置からの出力情報に基づいて撮像領域内に合焦対象領域を設定すること、合焦対象領域に基づいてサーチ領域を決定すること、サーチ領域内から特定の物体を含む物体領域を検出すること、合焦対象領域と物体領域とが重複した重複領域を検出すること、重複領域内の画像信号に基づいてフォーカス制御を行うこと、を含む。

【0024】

本開示のプログラムは、撮像素子から出力された画像信号を取得すること、ユーザによる操作を受付ける操作装置からの出力情報に基づいて撮像領域内に合焦対象領域を設定すること、合焦対象領域に基づいてサーチ領域を決定すること、サーチ領域内から特定の物体を含む物体領域を検出すること、合焦対象領域と物体領域とが重複した重複領域を検出すること、重複領域内の画像信号に基づいてフォーカス制御を行うこと、を含む処理をプロセッサに実行させる。

【図面の簡単な説明】

【0025】

【図1】撮像装置の内部構成の一例を示す図である。

【図2】撮像用画素の構成の一例を示す図である。

【図3】位相差検出用画素の構成の一例を示す図である。

【図4】撮像センサの画素配列の一例を示す図である。

【図5】プロセッサの機能構成の一例を示すブロック図である。

【図6】ＡＦエリアの一例を示す図である。

【図7】サーチ領域の一例を示す図である。

【図8】物体領域検出処理の一例を示すフローチャートである。

【図9】重複領域の一例を示す図である。

【図10】重複領域検出処理の一例を示すフローチャートである。

【図11】ディスプレイに表示される画像の一例を示す図である。

【図12】合焦位置検出処理の一例を示すフローチャートである。

【図13】撮像装置により実行される全体の処理の流れを示すフローチャートである。

【図14】非フォーカス制御用のデフォーカス量を取得する周辺領域の一例を示す図である。

【図15】サーチ領域の大きさを最小サイズに制限する処理を示す図である。

【図16】サーチ領域を拡大する処理を示す図である。

【図17】サーチ領域の適正化処理の一例を示すフローチャートである。

【図18】物体が飛行機である場合における物体領域の例を示す図である。

【図19】複数の物体領域についての重複率を説明する図である。

【図20】物体領域及びＡＦエリアの座標を定義する図である。

【図21】物体領域とＡＦエリアとの位置関係を判定する処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0026】

添付図面に従って本開示の技術に係る実施形態の一例について説明する。

【0027】

先ず、以下の説明で使用される文言について説明する。

【0028】

以下の説明において、「ＩＣ」は、“Integrated Circuit”の略称である。「ＣＰＵ」は、“Central Processing Unit”の略称である。「ＲＯＭ」は、“Read Only Memory”の略称である。「ＲＡＭ」は、“Random Access Memory”の略称である。「ＣＭＯＳ」は、“Complementary Metal Oxide Semiconductor”の略称である。

【0029】

「ＦＰＧＡ」は、“Field Programmable Gate Array”の略称である。「ＰＬＤ」は、“Programmable Logic Device”の略称である。「ＡＳＩＣ」は、“Application Specific Integrated Circuit”の略称である。「ＯＶＦ」は、“Optical View Finder”の略称である。「ＥＶＦ」は、“Electronic View Finder”の略称である。「ＣＮＮ」は、“Convolutional Neural Network”の略称である。「ＡＦ」は、“Auto Focus”の略称である。「Ｒ－ＣＮＮ」は、“Regions with Convolutional Neural Networks”の略称である。

【0030】

撮像装置の一実施形態として、レンズ交換式のデジタルカメラを例に挙げて本開示の技術を説明する。なお、本開示の技術は、レンズ交換式に限られず、レンズ一体型のデジタルカメラにも適用可能である。

【0031】

図１は、撮像装置１０の構成の一例を示す。撮像装置１０は、レンズ交換式のデジタルカメラである。撮像装置１０は、本体１１と、本体１１に交換可能に装着される撮像レンズ１２とで構成される。撮像レンズ１２は、カメラ側マウント１１Ａ及びレンズ側マウント１２Ａを介して本体１１の前面側に取り付けられる。

【0032】

本体１１には、ダイヤル、レリーズボタン、タッチパネル等を含み、ユーザによる操作を受付ける操作装置１３が設けられている。撮像装置１０の動作モードとして、例えば、静止画撮像モード、動画撮像モード、及び画像表示モードが含まれる。操作装置１３は、動作モードの設定の際にユーザにより操作される。また、操作装置１３は、静止画撮像又は動画撮像の実行を開始する際にユーザにより操作される。また、操作装置１３は、撮像領域内から合焦対象とするＡＦエリアを指定する際にユーザにより操作される。なお、ＡＦエリアは、本開示の技術に係る「合焦対象領域」の一例である。

【0033】

また、本体１１には、ファインダ１４が設けられている。ここで、ファインダ１４は、ハイブリッドファインダ（登録商標）である。ハイブリッドファインダとは、例えば光学ビューファインダ（以下、「ＯＶＦ」という）及び電子ビューファインダ（以下、「ＥＶＦ」という）が選択的に使用されるファインダをいう。ユーザは、ファインダ接眼部（図示せず）を介して、ファインダ１４により映し出される被写体の光学像又はライブビュー画像を観察することができる。

【0034】

また、本体１１の背面側には、ディスプレイ１５が設けられている。ディスプレイ１５には、撮像により得られた画像信号に基づく画像、及び各種のメニュー画面等が表示される。ユーザは、ファインダ１４に代えて、ディスプレイ１５により映し出されるライブビュー画像を観察することも可能である。なお、ディスプレイ１５は、本開示の技術に係る「表示装置」の一例である。

【0035】

本体１１と撮像レンズ１２とは、カメラ側マウント１１Ａに設けられた電気接点１１Ｂと、レンズ側マウント１２Ａに設けられた電気接点１２Ｂとが接触することにより電気的に接続される。

【0036】

撮像レンズ１２は、対物レンズ３０、フォーカスレンズ３１、後端レンズ３２、及び絞り３３を含む。各々部材は、撮像レンズ１２の光軸Ａに沿って、対物側から、対物レンズ３０、絞り３３、フォーカスレンズ３１、後端レンズ３２の順に配列されている。対物レンズ３０、フォーカスレンズ３１、及び後端レンズ３２、撮像光学系を構成している。撮像光学系を構成するレンズの種類、数、及び配列順序は、図１に示す例に限定されない。

【0037】

また、撮像レンズ１２は、レンズ駆動制御部３４を有する。レンズ駆動制御部３４は、例えば、ＣＰＵ、ＲＡＭ、及びＲＯＭ等により構成されている。レンズ駆動制御部３４は、電気接点１２Ｂ及び電気接点１１Ｂを介して、本体１１内のプロセッサ４０と電気的に接続されている。

【0038】

レンズ駆動制御部３４は、プロセッサ４０から送信される制御信号に基づいて、フォーカスレンズ３１及び絞り３３を駆動する。レンズ駆動制御部３４は、撮像レンズ１２の合焦位置を調節するために、プロセッサ４０から送信されるフォーカス制御用の制御信号に基づいて、フォーカスレンズ３１の駆動制御を行う。プロセッサ４０は、位相差方式の合焦位置検出を行う。合焦位置は、デフォーカス量により表される。

【0039】

絞り３３は、光軸Ａを中心として開口径が可変である開口を有する。レンズ駆動制御部３４は、撮像センサ２０の受光面２０Ａへの入射光量を調節するために、プロセッサ４０から送信される絞り調整用の制御信号に基づいて、絞り３３の駆動制御を行う。

【0040】

また、本体１１の内部には、撮像センサ２０、プロセッサ４０、及びメモリ４２が設けられている。撮像センサ２０、メモリ４２、操作装置１３、ファインダ１４、及びディスプレイ１５は、プロセッサ４０により動作が制御される。

【0041】

プロセッサ４０は、例えばＣＰＵにより構成されている。この場合、プロセッサ４０は、メモリ４２に格納されたプログラム４３に基づいて各種の処理を実行する。なお、プロセッサ４０は、複数のＩＣチップの集合体により構成されていてもよい。また、メモリ４２には、物体領域検出を行うための機械学習が行われた機械学習済みモデルＬＭが格納されている。プロセッサ４０及びメモリ４２は、フォーカス制御装置を構成している。

【0042】

撮像センサ２０は、例えば、ＣＭＯＳ型イメージセンサである。撮像センサ２０は、光軸Ａが受光面２０Ａに直交し、かつ光軸Ａが受光面２０Ａの中心に位置するように配置されている。受光面２０Ａには、撮像レンズ１２を通過した光が入射する。受光面２０Ａには、光電変換を行うことにより信号を生成する複数の画素が形成されている。撮像センサ２０は、各画素に入射した光を光電変換することにより、画像信号Ｄを生成して出力する。なお、撮像センサ２０は、本開示の技術に係る「撮像素子」の一例である。

【0043】

また、撮像センサ２０の受光面には、ベイヤー配列のカラーフィルタアレイが配置されており、Ｒ（赤），Ｇ（緑），Ｂ（青）いずれかのカラーフィルタが各画素に対して対向配置されている。なお、撮像センサ２０の受光面に配列された複数の画素のうちの一部は、フォーカス制御に係る位相差を検出するための位相差検出用画素であってもよい。

【0044】

図２は、撮像用画素Ｎの構成の一例を示す。図３は、位相差検出用画素Ｐ１，Ｐ２の構成の一例を示す。位相差検出用画素Ｐ１，Ｐ２は、それぞれ主光線を中心としてＸ方向に分割された光束の一方を受光する。以下、Ｘ方向に直交する方向をＹ方向という。また、Ｘ方向は水平方向に対応し、Ｙ方向は垂直方向に対応する。

【0045】

図２に示すように、撮像用画素Ｎは、光電変換素子としてのフォトダイオードＰＤ、カラーフィルタＣＦ、及びマイクロレンズＭＬを含んで構成されている。カラーフィルタＣＦは、フォトダイオードＰＤとマイクロレンズＭＬとの間に配置されている。

【0046】

カラーフィルタＣＦは、Ｒ，Ｇ，Ｂのうちのいずれかの色の光を透過させるフィルタである。マイクロレンズＭＬは、撮像レンズ１２の射出瞳ＥＰから入射する光束ＬＦを、カラーフィルタＣＦを介してフォトダイオードＰＤのほぼ中央に集光する。

【0047】

図３に示すように、位相差検出用画素Ｐ１，Ｐ２は、それぞれフォトダイオードＰＤ、遮光層ＳＦ、及びマイクロレンズＭＬを含んで構成されている。マイクロレンズＭＬは、撮像用画素Ｎと同様に、撮像レンズ１２の射出瞳ＥＰから入射する光束ＬＦを、フォトダイオードＰＤのほぼ中央に集光する。

【0048】

遮光層ＳＦは、金属膜等で形成され、フォトダイオードＰＤとマイクロレンズＭＬとの間に配置されている。遮光層ＳＦは、マイクロレンズＭＬを介してフォトダイオードＰＤに入射する光束ＬＦの一部を遮光する。

【0049】

位相差検出用画素Ｐ１では、遮光層ＳＦは、フォトダイオードＰＤの中心を基準としてＸ方向に関して負側を遮光する。すなわち、位相差検出用画素Ｐ１では、遮光層ＳＦは、負側の射出瞳ＥＰ１からの光束ＬＦをフォトダイオードＰＤに入射させ、かつ、Ｘ方向に関して正側の射出瞳ＥＰ２からの光束ＬＦを遮光する。

【0050】

位相差検出用画素Ｐ２では、遮光層ＳＦは、フォトダイオードＰＤの中心を基準としてＸ方向に関して正側を遮光する。すなわち、位相差検出用画素Ｐ２では、遮光層ＳＦは、正側の射出瞳ＥＰ２からの光束ＬＦをフォトダイオードＰＤに入射させ、かつ、Ｘ方向に関して負側の射出瞳ＥＰ１からの光束ＬＦを遮光する。

【0051】

すなわち、位相差検出用画素Ｐ１と位相差検出用画素Ｐ２とはＸ方向に関して遮光位置が互いに異なる。位相差検出用画素Ｐ１，Ｐ２による位相差検出方向は、Ｘ方向（すなわち水平方向）である。

【0052】

図４は、撮像センサ２０の画素配列の一例を示す。図４中の「Ｒ」は、ＲのカラーフィルタＣＦが設けられた撮像用画素Ｎを表している。「Ｇ」は、ＧのカラーフィルタＣＦが設けられた撮像用画素Ｎを表している。「Ｂ」は、ＢのカラーフィルタＣＦが設けられた撮像用画素Ｎを表している。なお、カラーフィルタＣＦの色配列は、ベイヤー配列に限定されず、他の色配列であってもよい。

【0053】

位相差検出用画素Ｐ１，Ｐ２を含む行ＲＬが、Ｙ方向に１０画素ごとに配列されている。各行ＲＬには、一対の位相差検出用画素Ｐ１，Ｐ２と１つの撮像用画素Ｎとが、Ｙ方向に繰り返し配列されている。なお、位相差検出用画素Ｐ１，Ｐ２の配列パターンは、図４に示す例に限定されない。例えば、特開２０１８－５６７０３号に添付の図５に示された、１つのマイクロレンズＭＬに複数の位相差検出用画素を配置したパターンであってもよい。

【0054】

図５は、プロセッサ４０の機能構成の一例を示す。プロセッサ４０は、メモリ４２に記憶されたプログラム４３にしたがって処理を実行することにより、各種機能部を実現する。図５に示すように、例えば、プロセッサ４０には、主制御部５０、撮像制御部５１、画像処理部５２、表示制御部５３、ＡＦエリア設定部５４、サーチ領域決定部５５、物体領域検出部５６、重複領域検出部５７、及び合焦位置検出部５８が実現される。

【0055】

主制御部５０は、操作装置１３からの出力情報に基づき、撮像装置１０の動作を統括的に制御する。撮像制御部５１は、撮像センサ２０を制御することにより、撮像センサ２０に撮像動作を行わせる撮像処理を実行する。撮像制御部５１は、静止画撮像モード又は動画撮像モードで撮像センサ２０を駆動する。

【0056】

撮像センサ２０は、撮像用画素Ｎにより生成された撮像信号ＳＮと、位相差検出用画素Ｐ１，Ｐ２により生成された位相差検出信号ＳＰと、を含む画像信号Ｄを出力する。撮像センサ２０は、画像処理部５２に画像信号Ｄに出力する。また、撮像センサ２０は、画像信号Ｄを合焦位置検出部５８に出力する。

【0057】

画像処理部５２は、撮像センサ２０から出力された画像信号Ｄを取得し、取得した画像信号Ｄに対してデモザイク処理等の画像処理を施す。

【0058】

表示制御部５３は、画像処理部５２により画像処理が施された画像信号Ｄが表す画像をディスプレイ１５に表示させる。また、表示制御部５３は、静止画撮像又は動画撮像の前の撮像準備動作時に、画像処理部５２から周期的に入力される画像信号Ｄに基づき、ディスプレイ１５にライブビュー画像表示を行わせる。さらに、表示制御部５３は、操作装置１３を用いてユーザにより指定されるＡＦエリアＲＡ、重複領域検出部５７により検出される重複領域ＲＤ等をディスプレイ１５に表示させる。例えば、操作装置１３は、ディスプレイ１５の表示面に設けられたタッチパネルであり、ユーザは、タッチパネルを指でタッチすることにより、ＡＦエリアＲＡを指定することができる。

【0059】

ＡＦエリア設定部５４は、操作装置１３からの出力情報に基づいて、撮像領域内に矩形のＡＦエリアＲＡを設定する。例えば、ＡＦエリアＲＡは、複数のブロックにより構成される。ユーザは、操作装置１３を操作することにより、ブロックの位置、個数、配列方向等を指定することができる。

【0060】

サーチ領域決定部５５は、ＡＦエリア設定部５４により設定されたＡＦエリアＲＡに基づいて、特定の物体を探索するサーチ領域ＲＢを決定する。サーチ領域決定部５５は、撮像領域内において、ＡＦエリアＲＡを含むようにサーチ領域ＲＢを決定する。例えば、サーチ領域決定部５５は、サーチ領域ＲＢを、ＡＦエリアＲＡの長辺に基づいて決定する。サーチ領域ＲＢは、矩形である。なお、ユーザは、操作装置１３を用いて、検出対象とする特定の物体の種類（人間の顔、鳥、飛行機、車など）を指定することができる。

【0061】

物体領域検出部５６は、サーチ領域決定部５５により決定されたサーチ領域ＲＢ内から特定の物体を含む物体領域ＲＣを検出する。具体的には、物体領域検出部５６は、画像信号Ｄが表す画像からサーチ領域ＲＢに対応する部分を切り出し、切り出した画像を機械学習済みモデルＬＭに入力することにより物体領域ＲＣを検出する。換言すると、物体領域検出部５６は、サーチ領域ＲＢ内の画像信号Ｄを、機械学習済みモデルＬＭに入力することにより物体領域ＲＣを検出する。なお、物体領域検出部５６は、サーチ領域ＲＢ内の画像信号Ｄに含まれる撮像信号ＳＮのみを機械学習済みモデルＬＭに入力してもよい。

【0062】

重複領域検出部５７は、ＡＦエリアＲＡと物体領域ＲＣとが重複した重複領域ＲＤを検出する。具体的には、重複領域検出部５７は、ＡＦエリアＲＡを構成する複数のブロックの各々について物体領域ＲＣとの重複率を算出し、重複率が閾値以上である１つ又は複数のブロックを重複領域ＲＤとして検出する。

【0063】

合焦位置検出部５８は、重複領域検出部５７により検出された重複領域ＲＤ内の画像信号Ｄに基づいてフォーカス制御用のデフォーカス量を取得する。具体的には、合焦位置検出部５８は、重複領域ＲＤ内の画像信号Ｄに含まれる位相差検出信号ＳＰに基づいてフォーカス制御用のデフォーカス量を取得する。より具体的には、合焦位置検出部５８は、複数の位相差検出用画素Ｐ１から出力される位相差検出信号ＳＰと、複数の位相差検出用画素Ｐ２から出力される位相差検出信号ＳＰとに基づいて相関演算を行うことにより、デフォーカス量を算出する。

【0064】

主制御部５０は、合焦位置検出部５８により取得されたフォーカス制御用のデフォーカス量に基づいて、レンズ駆動制御部３４を介してフォーカスレンズ３１を駆動する。これにより、物体領域検出部５６により検出された物体が合焦状態となる。

【0065】

図６は、ＡＦエリアＲＡの一例を示す。図６に示す例では、画像信号Ｄが表す画像に障害物ＯＢが写っており、ユーザは、操作装置１３を操作することにより、障害物ＯＢを避けるようにＡＦエリアＲＡを指定している。図６に示す例では、障害物ＯＢは、Ｙ方向に延伸した柵であり、ユーザは、Ｙ方向に延伸した形状のＡＦエリアＲＡを指定している。

【0066】

また、図６に示す例では、ＡＦエリアＲＡは、矩形状の複数のブロックＢ１～Ｂ５により構成されている。複数のブロックＢ１～Ｂ５の各々は、同一の形状及び同一のサイズである。ブロックに含まれる位相差検出用画素Ｐ１，Ｐ２の数が変化するので、ブロックの形状及びサイズによって、算出されるデフォーカス量の信頼度がばらつく。本実施形態では、各ブロックの形状及びサイズを同一とするので、各ブロックから算出されるデフォーカス量の信頼度のばらつきを低減することができる。

【0067】

ユーザは、操作装置１３を操作することにより、ＡＦエリアＲＡの位置と、Ｘ方向及びＹ方向へのブロック数とを指定することができる。これにより、ユーザは、障害物ＯＢを避けるように、ＡＦエリアＲＡを適宜の位置、形状（例えば、アスペクト比）、及びサイズとすることができる。ＡＦエリア設定部５４は、ユーザにより指定されたＡＦエリアＲＡの位置及びブロック数等の情報に基づいて、撮像領域内にＡＦエリアＲＡを設定する。

【0068】

図７は、サーチ領域ＲＢの一例を示す。図７に示すように、ＡＦエリアＲＡを構成する複数のブロックＢ１～Ｂ５がＹ方向に配列され、ＡＦエリアＲＡがＹ方向に延伸している場合には、サーチ領域決定部５５は、サーチ領域ＲＢを、ＡＦエリアＲＡのＹ方向（すなわち長辺方向）の両端に２辺が接する矩形状の領域として決定する。すなわち、サーチ領域決定部５５は、サーチ領域ＲＢを、ＡＦエリアＲＡの長辺に基づいて決定する。

【0069】

図７に示す例では、サーチ領域ＲＢは、ＡＦエリアＲＡのＹ方向の端部に位置するブロックＢ１及びＢ５に接するように決定されている。サーチ領域ＲＢは、Ｘ方向に平行な辺とＹ方向に平行な辺を有する矩形状の領域であって、Ｘ方向への画素数とＹ方向への画素数との比が１：１（すなわちアスペクト比が１：１）であることが好ましい。これは、学習済みモデルＬＭに入力する画像のアスペクト比が１：１であることが好ましいためである。

【0070】

図８は、物体領域検出部５６による物体領域検出処理の一例を示す。学習済みモデルＬＭは、入力層、中間層、及び出力層を有するニューラルネットワークにより構成されている。中間層は、複数のニューロンにより構成されている。中間層の数、及び各中間層のニューロン数は、適宜変更可能である。学習済みモデルＬＭは、Ｒ－ＣＮＮであってもよい。

【0071】

学習済みモデルＬＭは、教師データとして特定の物体が写った複数の画像を用いて、画像内から特定の物体を含む物体領域を検出するように機械学習が行われたものである。学習済みモデルＬＭは、撮像装置１０の外部のコンピュータで機械学習が行われたものであってもよい。

【0072】

物体領域検出部５６は、画像信号Ｄが表す画像からサーチ領域ＲＢに対応する部分を切り出した画像（以下、切り出し画像という。）を、機械学習済みモデルＬＭに入力する。機械学習済みモデルＬＭは、切り出し画像から特定の物体ＯＪを含む物体領域ＲＣを検出して、切り出し画像上における物体領域ＲＣを表す情報を出力する。物体領域検出部５６は、機械学習済みモデルＬＭから出力された物体領域ＲＣを表す情報を、重複領域検出部５７に出力する。

【0073】

図９は、重複領域ＲＤの一例を示す。図９に示す例では、ＡＦエリアＲＡを構成する複数のブロックＢ１～Ｂ５のうち、ブロックＢ２～Ｂ４が物体領域ＲＣと重複している。このため、図９に示す例では、重複領域検出部５７は、ブロックＢ２～Ｂ４を重複領域ＲＤとして検出する。

【0074】

図１０は、重複領域検出部５７による重複領域検出処理の一例を示す。重複領域検出処理において、まず、重複領域検出部５７は、ＡＦエリアＲＡを構成する複数のブロックから１つのブロックを選択する（ステップＳ１０）。次に、重複領域検出部５７は、選択したブロックと物体領域ＲＣとの重複率を算出する（ステップＳ１１）。ここで、重複率とは、ブロックに対して物体領域ＲＣが重複している割合をいう。

【0075】

次に、重複領域検出部５７は、算出した重複率が閾値以上であるか否かを判定する（ステップＳ１２）。重複領域検出部５７は、重複率が閾値以上である場合には（ステップＳ１２：ＹＥＳ）、当該ブロックを重複領域ＲＤとして選択する（ステップＳ１３）。一方、重複領域検出部５７は、重複率が閾値未満である場合には（ステップＳ１２：ＮＯ）、処理をステップＳ１４に移行させる。

【0076】

ステップＳ１４では、重複領域検出部５７は、最終のブロックであるか否かを判定する。重複領域検出部５７は、最終のブロックではない場合には（ステップＳ１４：ＮＯ）、ＡＦエリアＲＡを構成する複数のブロックから、重複率を算出していないブロックを選択する（ステップＳ１５）。

【0077】

重複領域検出部５７は、ステップＳ１５の後、処理をステップＳ１１に戻す。重複領域検出部５７は、ステップＳ１１～Ｓ１５を繰り返し、ステップＳ１４で、最終のブロックであると判定した場合に、重複領域検出処理を終了する。重複領域ＲＤは、ステップＳ１３で選択された１つ又は複数のブロックを含む。

【0078】

図１１は、表示制御部５３によりディスプレイ１５に表示される画像の一例を示す。主制御部５０は、表示制御部５３を介して、画像信号Ｄが表す画像内に、ＡＦエリアＲＡ及び重複領域ＲＤを表示させる。主制御部５０は、重複領域ＲＤの枠の色、枠の形状、又は枠の線種を変更することにより、重複領域ＲＤを強調表示させる。図１１に示す例では、主制御部５０は、重複領域ＲＤの枠を太線とし、ＡＦエリアＲＡと重複領域ＲＤの色との色を変更することにより、重複領域ＲＤを強調表示させている。なお、ＡＦエリアＲＡを表示させず、重複領域ＲＤを表示させてもよい。

【0079】

図１２は、合焦位置検出部５８による合焦位置検出処理の一例を示す。合焦位置検出処理において、まず、合焦位置検出部５８は、重複領域ＲＤに含まれる１つのブロックを選択する（ステップＳ２０）。合焦位置検出部５８は、選択したブロックについてデフォーカス量を算出する（ステップＳ２１）。ステップＳ２１において、合焦位置検出部５８は、ブロック内の画像信号Ｄに含まれる位相差検出信号ＳＰに基づいて、相関演算を行うことによりデフォーカス量を算出する。

【0080】

次に、合焦位置検出部５８は、最終のブロックであるか否かを判定する（ステップＳ２２）。合焦位置検出部５８は、最終のブロックではない場合には（ステップＳ２２：ＮＯ）、重複領域ＲＤに含まれ、かつデフォーカス量を算出していないブロックを選択する（ステップＳ２３）。合焦位置検出部５８は、ステップＳ２３の後、処理をステップＳ２１に戻す。合焦位置検出部５８は、ステップＳ２１～Ｓ２３を繰り返し、ステップＳ２２で、最終のブロックであると判定した場合に、処理をステップＳ２４に移行させる。

【0081】

ステップＳ２４で、合焦位置検出部５８は、ステップＳ２１で算出した複数のデフォーカス量の平均値を算出する。そして、合焦位置検出部５８は、算出した平均値を、フォーカス制御用のデフォーカス量として取得する（ステップＳ２５）。

【0082】

図１３は、撮像装置１０により実行される全体の処理の流れを示す。図１３は、静止画撮像モードで撮像準備動作時にライブビュー画像表示を行う場合の例を示す。

【0083】

まず、主制御部５０は、ユーザが操作装置１３を操作することによる撮像準備開始指示があったか否かを判定する（ステップＳ３０）。主制御部５０は、撮像準備開始指示があった場合には（ステップＳ３０：ＹＥＳ）、撮像制御部５１を制御することにより撮像センサ２０に撮像動作を行わせる（ステップＳ３１）。

【0084】

画像処理部５２は、撮像センサ２０から出力された画像信号Ｄを取得し、画像信号Ｄに対して画像処理を施す（ステップＳ３２）。表示制御部５３は、画像処理が施された画像信号Ｄが表す画像をディスプレイ１５に表示させる（ステップＳ３３）。

【0085】

次に、主制御部５０は、ユーザが操作装置１３を用いてＡＦエリアＲＡを指定する操作（以下、ＡＦエリア指定操作という。）があったか否かを判定する（ステップＳ３４）。主制御部５０は、ＡＦエリア指定操作がなかった場合には（ステップＳ３４：ＮＯ）、処理をステップＳ４３に移行させる。

【0086】

ＡＦエリア指定操作があった場合には（ステップＳ３４：ＹＥＳ）、ＡＦエリア設定部５４は、操作装置１３からの出力情報に基づいて、撮像領域内にＡＦエリアＲＡを設定する（ステップＳ３５）。サーチ領域決定部５５は、設定されたＡＦエリアＲＡに基づいてサーチ領域ＲＢを決定する（ステップＳ３６）。

【0087】

次に、物体領域検出部５６は、上述の物体領域検出処理を行うことにより物体領域ＲＣを検出する（ステップＳ３７）。主制御部５０は、物体領域検出部５６により物体領域ＲＣが検出されたか否かを判定する（ステップＳ３８）。

【0088】

物体領域ＲＣが検出された場合には（ステップＳ３８：ＹＥＳ）、重複領域検出部５７は、上述の重複領域検出処理を行うことにより重複領域ＲＤを検出する（ステップＳ３９）。そして、合焦位置検出部５８は、上述の合焦位置検出処理を行うことにより、フォーカス制御用のデフォーカス量を取得する（ステップＳ４０）。

【0089】

物体領域ＲＣが検出されなかった場合には（ステップＳ３８：ＮＯ）、合焦位置検出部５８は、ＡＦエリアＲＡの全体からフォーカス制御用のデフォーカス量を取得する（ステップＳ４１）。なお、合焦位置検出部５８は、ステップＳ３９で重複領域ＲＤが検出されなかった場合、ＡＦエリアＲＡの全体からフォーカス制御用のデフォーカス量を取得してもよい。

【0090】

ステップＳ４０又はステップＳ４１の後、主制御部５０は、取得されたフォーカス制御用のデフォーカス量に基づいて、フォーカスレンズ３１を駆動する（ステップＳ４２）。

【0091】

次に、主制御部５０は、ユーザが操作装置１３を操作することによる撮像指示があったか否かを判定する（ステップＳ４３）。主制御部５０は、操作指示がなかった場合には（ステップＳ４３：ＮＯ）、処理をステップＳ３１に戻す。ステップＳ３１～Ｓ４３の処理は、ステップＳ４３で、主制御部５０により撮像指示があったと判定されるまでの間、繰り返し実行される。

【0092】

主制御部５０は、撮像指示があった場合には（ステップＳ４３：ＹＥＳ）、撮像センサ２０に撮像動作を行わせ、画像処理部５２により画像処理が施された画像信号Ｄを静止画としてメモリ４２に記録する静止画撮像処理を行う（ステップＳ２１）。

【0093】

本開示の技術では、ユーザが指定したＡＦエリアＲＡに基づいて決定されたサーチ領域ＲＢから物体領域検出を行うので、ユーザが合焦対象として意図した物体を含む物体領域ＲＣを高速に検出することができる。また、本開示の技術では、ＡＦエリアＲＡと物体領域ＲＣが重複した重複領域ＲＤ内の画像信号Ｄに基づいてフォーカス制御するので、ユーザが合焦対象として意図した物体に対して高精度にフォーカス制御を行うことができる。すなわち、本開示の技術によれば、ユーザが合焦対象として意図した物体に対して高速、かつ高精度にフォーカス制御を行うことができる。

【0094】

［変形例］
以下に、上記実施形態の各種変形例について説明する。

【0095】

上記実施形態では、ユーザが操作装置１３を用いて、ＡＦエリアＲＡを構成するブロックの位置、個数、配列方向等を指定可能としているが、ＡＦエリアＲＡの位置、形状（例えば、アスペクト比）、及びサイズのみを指定可能としてもよい。このように、ユーザにより指定されたＡＦエリアＲＡが複数のブロックにより構成されていない場合、ＡＦエリア設定部５４は、ユーザにより指定されたＡＦエリアＲＡを複数のブロックに分割してもよい。この場合、ＡＦエリア設定部５４は、各ブロックを同一の形状及び同一のサイズとすることが好ましい。

【0096】

また、ユーザにより指定されたＡＦエリアＲＡが複数のブロックにより構成されていない場合、ＡＦエリア設定部５４は、ＡＦエリアＲＡを、検出対象とする特定の物体の種類に応じた個数のブロックに分割してもよい。物体の種類によってフォーカス制御に必要な奥行情報が異なる。このため、物体が鳥などの奥行情報が多く必要である物体の場合は、ブロック分割数を多くする。一方、物体が車などの奥行情報があまり必要でない物体である場合には、ブロック分割数を少なくする。ブロック分割数が少ないほど高速にフォーカス制御を行うことができ、高速に動く車などの物体に対してフォーカス制御を精度よく行うことができる。このように、ブロック分割数を調整することにより、フォーカス制御の精度と速度とのバランスを図ることができる。

【0097】

また、ユーザにより指定されたＡＦエリアＲＡが複数のブロックにより構成されていない場合、ＡＦエリア設定部５４は、複数のブロックに分割せずに、ＡＦエリアＲＡを設定してもよい。この場合、重複領域検出部５７は、ＡＦエリアＲＡと物体領域ＲＣとの重複率が閾値以上である領域を重複領域ＲＤとして検出し、合焦位置検出部５８は、重複領域ＲＤ内の画像信号Ｄに基づいてフォーカス制御用のデフォーカス量を取得する。なお、合焦位置検出部５８は、ＡＦエリアＲＡと物体領域ＲＣとの重複率が閾値未満である場合には、ＡＦエリアＲＡの画像信号Ｄに基づいてフォーカス制御用のデフォーカス量を取得してもよい。

【0098】

上記実施形態では、合焦位置検出部５８は、重複領域ＲＤに含まれる各ブロックのデフォーカス量の平均値をフォーカス制御用のデフォーカス量として取得している。これに代えて、合焦位置検出部５８は、各ブロックのデフォーカス量を、各ブロックの物体領域ＲＣとの重複率を重みとして加重平均した加重平均値をフォーカス制御用のデフォーカス量として取得してもよい。例えば、重複率が大きいほど重みを大きくする。また、各ブロックに位置する物体の部位の種類を重みとして各ブロックのデフォーカス量を加重平均した加重平均値をフォーカス制御用のデフォーカス量としてもよい。例えば、合焦対象として重要な部位ほど重みを大きくする。

【0099】

上記実施形態では、合焦位置検出部５８は、重複領域ＲＤからフォーカス制御用のデフォーカス量を取得しているが、重複領域ＲＤ外であってサーチ領域ＲＢ内である領域（以下、周辺領域という。）の画像信号Ｄに基づいて、非フォーカス制御用のデフォーカス量を取得してもよい。例えば、図１４に示すように、合焦位置検出部５８は、周辺領域ＲＥをブロック分割し、各ブロックから算出したデフォーカス量を、非フォーカス制御用のデフォーカス量を取得する。周辺領域ＲＥの各ブロックは、ＡＦエリアＲＡの各ブロックと同一の形状及び同一のサイズであることが好ましい。なお、非フォーカス制御用のデフォーカス量は、フォーカス制御ではなく、参照用に用いるデフォーカス量である。

【0100】

このように、フォーカス制御用のデフォーカス量に加えて、周辺領域ＲＥから非フォーカス制御用のデフォーカス量を取得しておくことにより、特定の物体がサーチ領域ＲＢ外からサーチ領域ＲＢに侵入した場合に、合焦位置を短時間で予測することができ、フォーカス制御をより高速に行うことができる。

【0101】

上記実施形態では、サーチ領域決定部５５は、ＡＦエリアＲＡの長辺に基づいてサーチ領域ＲＢを決定しているので、図１５（Ａ）に示すように、設定されたＡＦエリアＲＡが小さい場合には、サーチ領域ＲＢが小さくなる。サーチ領域ＲＢが小さすぎると物体領域検出部５６により物体領域ＲＣを検出することができない場合がある。このため、サーチ領域決定部５５は、図１５（Ｂ）に示すように、ＡＦエリアＲＡの長辺に基づいてサーチ領域ＲＢを決定しているので、図１５（Ａ）に示すように、ＡＦエリアＲＡに基づいて決定されるサーチ領域ＲＢが規定サイズより小さくなる場合、サーチ領域ＲＢの大きさを規定サイズとすることが好ましい。図１５（Ｂ）は、規定サイズまで拡大されたサーチ領域ＲＢを示している。例えば、規定サイズは、学習済みモデルＬＭに入力可能な最小の画像サイズである。例えば、規定サイズは、Ｘ方向及びＹ方向に３２０画素×３２０画素の画像サイズである。サーチ領域決定部５５は、例えば、ＡＦエリアＲＡが２００画素×１００画素である場合には、サーチ領域ＲＢを３２０画素×３２０画素とする。

【0102】

また、物体領域検出部５６は、サーチ領域決定部５５により決定されたサーチ領域ＲＢの大きさが規定サイズ（例えば３２０画素×３２０画素）よりも小さい場合、サーチ領域ＲＢから切り出した切り出し画像を、最小サイズまで拡大したうえで学習済みモデルＬＭに入力してもよい。また、拡大する切り出し画像のサイズの下限を規定してもよい。例えば、拡大する切り出し画像のサイズの下限を２００画素×２００画素とする。

【0103】

また、ＡＦエリアＲＡは、複数のブロックが撮像領域内に離散するように設定されてもよい。この場合、サーチ領域決定部５５は、各ブロックに対してサーチ領域ＲＢを決定する。サーチ領域決定部５５は、各ブロックのサーチ領域ＲＢが互いに近接している場合には、複数のサーチ領域ＲＢを１つのサーチ領域ＲＢとして統合してもよい。

【0104】

また、サーチ領域決定部５５は、物体領域検出部５６による物体領域ＲＣの過去の検出履歴を用いてサーチ領域ＲＢの大きさを最適化してもよい。物体領域ＲＣが検出された場合であっても、物体領域ＲＣに含まれる物体ＯＪの大きさがサーチ領域ＲＢに対して相対的に小さすぎる場合、検出性能が低下して検出が不安定となりやすい。また、物体ＯＪがサーチ領域ＲＢからはみ出すほど大きい場合にも、検出性能が低下して検出が不安定となりやすい。

【0105】

例えば、図１６に示すように、物体領域ＲＣに含まれる物体ＯＪが人間の瞳である場合には、瞳よりも大きい顔がサーチ領域ＲＢ外にはみ出すことがあり、検出が不安定となる。この場合、サーチ領域決定部５５は、サーチ領域ＲＢを次回決定する際に、顔を含むようにサーチ領域ＲＢを拡大することが好ましい。このように、サーチ領域決定部５５は、検出された物体領域ＲＣが特定の部位である場合、当該部位の種類又は大きさに応じてサーチ領域ＲＢの大きさを変更することが好ましい。

【0106】

図１７は、サーチ領域決定部５５によるサーチ領域ＲＢの適正化処理の一例を示す。適正化処理において、まず、サーチ領域決定部５５は、物体領域検出部５６による物体領域ＲＣの検出が不安定であるか否かを判定する（ステップＳ５０）。例えば、サーチ領域ＲＢに対して物体ＯＪが相対的に小さすぎる又は大きすぎる場合に、検出が不安定であると判定する。サーチ領域決定部５５は、検出が不安定でない場合には（ステップＳ５０：ＮＯ）、適正化処理を終了する。

【0107】

サーチ領域決定部５５は、検出が不安定である場合には（ステップＳ５０：ＹＥＳ）、物体領域ＲＣに含まれる物体ＯＪが最小部位であるか否かを判定する（ステップＳ５１）。最小部位とは、物体ＯＪ中における最小の部位（例えば、人間の瞳）である。サーチ領域決定部５５は、物体ＯＪが最小部位である場合には（ステップＳ５１：ＹＥＳ）、当該最小部位がサーチ領域ＲＢのＡ％より大きいか否かを判定する（ステップＳ５２）。サーチ領域決定部５５は、当該最小部位がサーチ領域ＲＢのＡ％より大きい場合には、サーチ領域ＲＢを拡大して（ステップＳ５３）、適正化処理を終了する。また、サーチ領域決定部５５は、当該最小部位がサーチ領域ＲＢのＡ％より大きくない場合には、適正化処理を終了する。

【0108】

サーチ領域決定部５５は、物体ＯＪが最小部位でない場合には（ステップＳ５１：ＮＯ）、物体ＯＪが最大部位であるか否かを判定する（ステップＳ５４）。最大部位とは、物体ＯＪ中における最大の部位（例えば、鳥のボディ）である。サーチ領域決定部５５は、物体ＯＪが最大部位である場合には（ステップＳ５４：ＹＥＳ）、当該最大部位がサーチ領域ＲＢのＢ％より小さいか否かを判定する（ステップＳ５５）。サーチ領域決定部５５は、当該最大部位がサーチ領域ＲＢのＢ％より小さい場合には、サーチ領域ＲＢを縮小して（ステップＳ５６）、適正化処理を終了する。また、サーチ領域決定部５５は、当該最大部位がサーチ領域ＲＢのＢ％より小さくない場合には、適正化処理を終了する。

【0109】

なお、サーチ領域決定部５５は、サーチ領域ＲＢの拡大率及び縮小率を、検出安定度（例えば、過去１０フレーム中において４回検出に成功したといった検出成功率）と、サーチ領域ＲＢに対する物体ＯＪの大きさの履歴とに基づいて決定する。

【0110】

上記適正化処理によれば、例えば、人間の瞳が最小部位として検出され、当該最小部位がサーチ領域ＲＢの３０％程度の大きさである場合、人間の頭部は瞳の１０倍程度の大きさであるので、サーチ領域ＲＢは、瞳の１０倍程度の大きさに拡大される。

【0111】

また、上記適正化処理によれば、例えば、鳥のボディが最大部位として検出され、当該最大部位がサーチ領域ＲＢの５％程度の大きさである場合、当該最大部位の大きさが小さすぎて検出が安定しないことから、最大部位がサーチ領域ＲＢの１０％程度となるように、サーチ領域ＲＢが縮小される。

【0112】

上記実施形態では、重複領域検出部５７は、重複率が閾値以上である１つ又は複数のブロックを重複領域ＲＤとして検出している。重複領域検出部５７は、物体の種類に応じて閾値を変更してもよい。例えば、図１８に示すように、物体ＯＪが飛行機である場合には、物体領域ＲＣにおいて物体ＯＪが存在しない余白が多いため、閾値を高くすることが好ましい。この結果、物体ＯＪとの重複率が高いブロックのみが重複領域ＲＤとして検出されるので、フォーカス制御の精度が向上する。

【0113】

また、上記実施形態では、ブロックに対して物体領域ＲＣが重複している割合を重複率として定義しているが、物体領域ＲＣに対してＡＦエリアＲＡが重複している割合を重複率として定義してもよい。例えば、図１９に示すように、物体領域検出部５６により複数の物体領域ＲＣ１～ＲＣ３が検出された場合には、物体領域ＲＣ１～ＲＣ３の重複率はそれぞれ異なる。物体領域ＲＣ１は、鳥の瞳を含む領域である。物体領域ＲＣ１は、ＡＦエリアＲＡに完全に含まれているので、重複率は高い。物体領域ＲＣ２は、鳥の顔を含む領域である。物体領域ＲＣ２は、ＡＦエリアＲＡに一部のみが重なっているので、重複率は低い。物体領域ＲＣ３は、鳥のボディを含む領域である。物体領域ＲＣ３は、ＡＦエリアＲＡに一部のみが重なっているので、重複率は低い。

【0114】

図２０に示すように物体領域ＲＣ及びＡＦエリアＲＡの座標を設定し、図２１のフローチャートに基づいて判定を行うことにより、物体領域ＲＣとＡＦエリアＲＡとの位置関係を求めることができる。

【0115】

図２０に示すように、物体領域ＲＣのＸ方向に関する最小座標及び最大座標を、それぞれＣｘｍｉｎ及びＣｘｍａｘとする。また、物体領域ＲＣのＹ方向に関する最小座標及び最大座標を、それぞれＣｙｍｉｎ及びＣｙｍａｘとする。また、ＡＦエリアＲＡのＸ方向に関する最小座標及び最大座標を、それぞれＡｘｍｉｎ及びＡｘｍａｘとする。また、ＡＦエリアＲＡのＹ方向に関する最小座標及び最大座標を、それぞれＡｙｍｉｎ及びＡｙｍａｘとする。

【0116】

図２１に示すフローチャートでは、まず、条件１が満たされるか否かが判定される（ステップＳ６０）。条件１が満たされる場合には（ステップＳ６０：ＹＥＳ）、物体領域ＲＣがＡＦエリアＲＡ内に含まれると判定される（ステップＳ６１）。条件１が満たされない場合には（ステップＳ６０：ＮＯ）、条件２が満たされるか否かが判定される（ステップＳ６２）。条件２が満たされる場合には（ステップＳ６２：ＹＥＳ）、ＡＦエリアＲＡが物体領域ＲＣ内に含まれると判定される（ステップＳ６３）。条件２が満たされない場合には（ステップＳ６２：ＮＯ）、条件３が満たされるか否かが判定される（ステップＳ６４）。条件３が満たされる場合には（ステップＳ６４：ＹＥＳ）、物体領域ＲＣはＡＦエリアＲＡに一部が重なっていると判定される（ステップＳ６５）。条件３が満たされない場合には（ステップＳ６４：ＮＯ）、物体領域ＲＣはＡＦエリアＲＡに重なっていないと判定される（ステップＳ６６）。

【0117】

重複領域検出部５７は、物体領域ＲＣはＡＦエリアＲＡに一部が重なっていると判定され、物体領域ＲＣが瞳などの重要度が高い部位を含む場合には、閾値を小さくすることが好ましい。また、重複領域検出部５７は、物体領域ＲＣはＡＦエリアＲＡに一部が重なっていると判定され、物体領域ＲＣがボディなどの物体の全体を含む場合においても、閾値を小さくすることが好ましい。

【0118】

また、上記実施形態では、表示制御部５３は、ディスプレイ１５に画像を表示させているが、ディスプレイ１５に代えて、又は、ディスプレイ１５とともに、ファインダ１４に画像を表示させてもよい。この場合、フォーカス制御装置は、ユーザが、視線入力装置を介してＡＦエリアＲＡを指定することが可能に構成されていてもよい。ファインダ１４は、本開示の技術に係る「表示装置」の一例である。視線入力装置は、本開示の技術に係る「操作装置」の一例である。

【0119】

なお、本開示の技術は、デジタルカメラに限られず、撮像機能を有するスマートフォン、タブレット端末などの電子機器にも適用可能である。

【0120】

上記実施形態において、プロセッサ４０を一例とする制御部のハードウェア的な構造としては、次に示す各種のプロセッサを用いることができる。上記各種のプロセッサには、ソフトウェア（プログラム）を実行して機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡなどの製造後に回路構成を変更可能なプロセッサが含まれる。ＦＰＧＡには、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0121】

制御部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の制御部は１つのプロセッサで構成してもよい。

【0122】

複数の制御部を１つのプロセッサで構成する例は複数考えられる。第１の例に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２の例に、システムオンチップ（Ｓｙｓｔｅｍ Ｏｎ Ｃｈｉｐ：ＳＯＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、制御部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成できる。

【0123】

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。

【0124】

また、プログラムは、コンピュータで非一時的に読み取り可能な記憶媒体に記憶されていてもよい。

【0125】

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

【0126】

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

【0127】

上記説明によって以下の技術を把握することができる。
［付記項１］
プロセッサとメモリとを備え、
前記プロセッサは、
撮像素子から出力された画像信号を取得し、
ユーザによる操作を受付ける操作装置からの出力情報に基づいて撮像領域内に合焦対象領域を設定し、
前記合焦対象領域に基づいてサーチ領域を決定し、
前記サーチ領域内から特定の物体を含む物体領域を検出し、
前記合焦対象領域と前記物体領域とが重複した重複領域を検出し、
前記重複領域内の前記画像信号に基づいてフォーカス制御を行う、
フォーカス制御装置。
［付記項２］
前記合焦対象領域は、複数のブロックにより構成され、
前記プロセッサは、前記複数のブロックのうち前記物体領域と重複した１つ又は複数のブロックを前記重複領域として検出する、
付記項１に記載のフォーカス制御装置。
［付記項３］
前記プロセッサは、前記複数のブロックのうち前記物体領域との重複率が閾値以上である１つ又は複数のブロックを前記重複領域として検出する、
付記項２に記載のフォーカス制御装置。
［付記項４］
前記プロセッサは、前記特定の物体の種類に応じて前記閾値を変更する、
付記項３に記載のフォーカス制御装置。
［付記項５］
前記プロセッサは、前記合焦対象領域と前記物体領域との重複率が閾値以上である領域を前記重複領域として検出する、
付記項１に記載のフォーカス制御装置。
［付記項６］
前記プロセッサは、前記重複率が閾値未満である場合には、前記合焦対象領域の画像信号に基づいてフォーカス制御を行う、
付記項５に記載のフォーカス制御装置。
［付記項７］
前記プロセッサは、前記サーチ領域を、前記合焦対象領域の長辺に基づいて決定する、
付記項１から付記項６のうちいずれか１項に記載のフォーカス制御装置。
［付記項８］
前記合焦対象領域は、矩形である、
付記項７に記載のフォーカス制御装置。
［付記項９］
前記プロセッサは、前記合焦対象領域が複数のブロックにより構成されていない場合、前記合焦対象領域を前記特定の物体の種類に応じた個数のブロックに分割する、
付記項２から付記項４のうちいずれか１項に記載のフォーカス制御装置。
［付記項１０］
前記プロセッサは、前記重複領域外であって前記サーチ領域内である領域内の前記画像信号に基づいて、非フォーカス制御用のデフォーカス量を取得する、
付記項１から付記項９のうちいずれか１項に記載のフォーカス制御装置。
［付記項１１］
前記プロセッサは、前記重複領域の枠の色、枠の形状、又は枠の線種を変更することにより、前記重複領域を表示装置に強調表示する、
付記項１から付記項１０のうちいずれか１項に記載のフォーカス制御装置。
［付記項１２］
前記プロセッサは、前記サーチ領域内の画像信号を機械学習済みモデルに入力することにより前記物体領域を検出する、
付記項１から付記項１１のうちいずれか１項に記載のフォーカス制御装置。
［付記項１３］
前記プロセッサは、前記合焦対象領域に基づいて決定される前記サーチ領域が規定サイズより小さくなる場合、前記サーチ領域の大きさを前記規定サイズとする、
付記項１から付記項１２のうちいずれか１項に記載のフォーカス制御装置。
［付記項１４］
前記プロセッサは、検出された前記物体領域が特定の部位である場合、前記部位の種類又は大きさに応じて前記サーチ領域の大きさを変更する、
付記項１から付記項１３のうちいずれか１項に記載のフォーカス制御装置。
［付記項１５］
付記項１から付記項１４のうちいずれか１項に記載のフォーカス制御装置と、
前記撮像素子と、
前記操作装置と、
を備える撮像装置。

【符号の説明】

【0128】

１０ 撮像装置
１１ 本体
１１Ａ カメラ側マウント
１１Ｂ 電気接点
１２ 撮像レンズ
１２Ａ レンズ側マウント
１２Ｂ 電気接点
１３ 操作装置
１４ ファインダ
１５ ディスプレイ
２０ 撮像センサ
２０Ａ 受光面
３０ 対物レンズ
３１ フォーカスレンズ
３２ 後端レンズ
３４ レンズ駆動制御部
４０ プロセッサ
４２ メモリ
４３ プログラム
５０ 主制御部
５１ 撮像制御部
５２ 画像処理部
５３ 表示制御部
５４ エリア設定部
５５ サーチ領域決定部
５６ 物体領域検出部
５７ 重複領域検出部
５８ 合焦位置検出部
Ａ 光軸
Ｂ１～Ｂ５ ブロック
ＣＦ カラーフィルタ
Ｄ 画像信号
ＥＰ，ＥＰ１，ＥＰ２ 射出瞳
ＬＦ 光束
ＬＭ 学習済みモデル
ＭＬ マイクロレンズ
Ｎ 撮像用画素
ＯＢ 障害物
ＯＪ 物体
Ｐ１，Ｐ２ 位相差検出用画素
ＰＤ フォトダイオード
ＲＡ ＡＦエリア
ＲＢ サーチ領域
ＲＣ，ＲＣ１～ＲＣ３ 物体領域
ＲＤ 重複領域
ＲＥ 周辺領域
ＲＬ 行
ＳＦ 遮光層
ＳＮ 撮像信号
ＳＰ 位相差検出信号

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】