特開 2024-141571 自動焦点制御装置、自動焦点制御装置の作動方法、自動焦点制御装置の作動プログラム、並びに撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024141571

(43)【公開日】2024-10-10

(54)【発明の名称】自動焦点制御装置、自動焦点制御装置の作動方法、自動焦点制御装置の作動プログラム、並びに撮像装置

(51)【国際特許分類】

   G02B 7/28 20210101AFI20241003BHJP

   H04N 23/67 20230101ALI20241003BHJP

   H04N 23/60 20230101ALI20241003BHJP

   H04N 23/611 20230101ALI20241003BHJP

   G02B 7/34 20210101ALI20241003BHJP

   G03B 13/36 20210101ALI20241003BHJP

   G03B 15/00 20210101ALI20241003BHJP

【ＦＩ】

G02B7/28 N

H04N23/67

H04N23/60 500

H04N23/611

G02B7/34

G03B13/36

G03B15/00 Q

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2023053301

(22)【出願日】2023-03-29

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】鈴木 比奈子

【テーマコード（参考）】

2H011

2H151

5C122

【Ｆターム（参考）】

2H011BA23

2H151BA06

2H151CB09

2H151DA15

5C122EA37

5C122FD01

5C122FD07

5C122FD13

5C122FH09

5C122FH11

5C122HA13

5C122HA35

5C122HA88

5C122HB01

5C122HB05

5C122HB09

(57)【要約】

【課題】合焦演算の対象被写体および対象部位に適応した自動焦点制御を行うことが可能な自動焦点制御装置、自動焦点制御装置の作動方法、自動焦点制御装置の作動プログラム、並びに撮像装置を提供する。
【解決手段】撮像装置は、撮像素子から読み出した演算用信号に基づいてフォーカスレンズの合焦位置を演算する合焦演算を行う。ＣＰＵは、検出部および焦点調整部を備える。焦点調整部は、設定部および合焦演算部を備える。検出部は、合焦演算の対象被写体の対象部位、および対象部位の周辺部位を含む矩形領域を画像生成用信号から検出する。設定部は、対象被写体および対象部位の組み合わせに基づいて、矩形領域のうちで、他の領域よりも合焦演算の寄与度が高い領域である高寄与度領域を設定することが可能である。合焦演算部は、高寄与度領域を設定した場合に、設定に応じた合焦演算を行う。
【選択図】図１４

【特許請求の範囲】

【請求項1】

撮像素子から読み出した演算用信号に基づいてフォーカスレンズの合焦位置を演算する合焦演算を行う自動焦点制御装置であって、
プロセッサを備え、
前記プロセッサは、
前記合焦演算の対象被写体の対象部位、および前記対象部位の周辺部位を含む特定領域を画像から検出し、
前記対象被写体および前記対象部位の組み合わせに基づいて、前記特定領域のうちで、他の領域よりも前記合焦演算の寄与度が高い領域である高寄与度領域を設定することが可能であり、
前記高寄与度領域を設定した場合に、前記設定に応じた前記合焦演算を行う、
自動焦点制御装置。

【請求項2】

前記特定領域は矩形状をしている請求項１に記載の自動焦点制御装置。

【請求項3】

前記プロセッサは、
前記合焦演算に用いる領域を前記特定領域から前記高寄与度領域に縮小し、
縮小した前記高寄与度領域を用いて前記合焦演算を行う請求項１に記載の自動焦点制御装置。

【請求項4】

前記プロセッサは、
縮小した前記高寄与度領域のみを用いて前記合焦演算を行う請求項３に記載の自動焦点制御装置。

【請求項5】

前記プロセッサは、
前記高寄与度領域の第１方向の縮小倍率と、前記第１方向と交差する第２方向の縮小倍率とを異ならせる請求項３に記載の自動焦点制御装置。

【請求項6】

前記プロセッサは、
前記特定領域の大きさに応じて、前記高寄与度領域の縮小倍率を変更する請求項３に記載の自動焦点制御装置。

【請求項7】

前記プロセッサは、
前記特定領域に対する前記対象部位の傾きに応じて、前記縮小を制御する請求項３に記載の自動焦点制御装置。

【請求項8】

前記プロセッサは、
前記撮像素子に対する前記対象被写体の向きに応じて、前記縮小を制御する請求項３に記載の自動焦点制御装置。

【請求項9】

前記撮像素子は、被写体光の位相差を検出するための前記演算用信号を出力する位相差検出画素を含み、
前記撮像素子の向きに応じて前記位相差の検出に適した方向が異なる場合において、
前記プロセッサは、
前記撮像素子の向きに応じて、前記高寄与度領域の縮小倍率を変更する請求項３に記載の自動焦点制御装置。

【請求項10】

前記プロセッサは、
前記対象被写体が人物、または動物で、前記対象部位が人物の瞳、人物の胴体、動物の瞳、または動物の胴体であった場合、前記縮小を行う請求項３に記載の自動焦点制御装置。

【請求項11】

前記プロセッサは、
前記対象被写体が人物、動物、または乗り物で、前記対象部位が人物の顔、動物の顔、または乗り物の運転席であり、
前記特定領域に対して前記対象部位が傾いていなかった場合は前記縮小を行わず、
前記特定領域に対して前記対象部位が傾いていた場合は前記縮小を行う請求項３に記載の自動焦点制御装置。

【請求項12】

前記プロセッサは、
前記対象被写体が乗り物で、前記対象部位が乗り物の先頭、または乗り物の胴体であり、
前記特定領域に対して前記対象部位が傾いておらず、かつ、前記対象被写体が正面を向いていなかった場合、前記縮小を行わず、
前記特定領域に対して前記対象部位が傾いておらず、かつ、前記対象被写体が正面を向いていた場合、並びに、前記特定領域に対して前記対象部位が傾いていた場合、前記縮小を行う請求項３に記載の自動焦点制御装置。

【請求項13】

前記プロセッサは、
前記高寄与度領域以外の前記他の領域の寄与度を、０よりも大きく、かつ前記高寄与度領域の寄与度よりも低い値に設定する請求項１に記載の自動焦点制御装置。

【請求項14】

請求項１に記載の自動焦点制御装置を備える撮像装置。

【請求項15】

撮像素子から読み出した演算用信号に基づいてフォーカスレンズの合焦位置を演算する合焦演算を行う自動焦点制御装置の作動方法であって、
前記合焦演算の対象被写体の対象部位、および前記対象部位の周辺部位を含む特定領域を画像から検出すること、
前記対象被写体および前記対象部位の組み合わせに基づいて、前記特定領域のうちで、他の領域よりも前記合焦演算の寄与度が高い領域である高寄与度領域を設定することが可能であること、並びに、
前記高寄与度領域を設定した場合に、前記設定に応じた前記合焦演算を行うこと、
を含む自動焦点制御装置の作動方法。

【請求項16】

撮像素子から読み出した演算用信号に基づいてフォーカスレンズの合焦位置を演算する合焦演算を行う自動焦点制御装置の作動プログラムであって、
前記合焦演算の対象被写体の対象部位、および前記対象部位の周辺部位を含む特定領域を画像から検出すること、
前記対象被写体および前記対象部位の組み合わせに基づいて、前記特定領域のうちで、他の領域よりも前記合焦演算の寄与度が高い領域である高寄与度領域を設定することが可能であること、並びに、
前記高寄与度領域を設定した場合に、前記設定に応じた前記合焦演算を行うこと、
を含む処理をコンピュータに実行させる自動焦点制御装置の作動プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の技術は、自動焦点制御装置、自動焦点制御装置の作動方法、自動焦点制御装置の作動プログラム、並びに撮像装置に関する。

【背景技術】

【0002】

特許文献１には、顔検出手段と、オートフォーカス対象領域決定手段と、合焦状態判定手段と、を備えるオートフォーカス制御回路が記載されている。顔検出手段は、撮影光学系によって結像される被写体像を撮影することで生成される撮影画像データに基づいて、被写体像内において被写体の顔が含まれる顔領域を特定する。オートフォーカス対象領域決定手段は、顔領域の中からオートフォーカス対象領域を決定するとともに、オートフォーカス対象領域の顔領域に対する面積比率を変更する。合焦状態判定手段は、撮影画像データ中のオートフォーカス対象領域に対応する領域のコントラストに基づいて、被写体像の結像状態を判定する。

【0003】

特許文献２には、撮影範囲内において指定された領域である一部領域における焦点検出点の密度が初期状態よりも高くなるように焦点検出点を配置し、さらに、撮影範囲内の一部領域を除いた領域における焦点検出点を初期状態よりも少なくするように焦点検出点を配置する、または、撮影範囲内の一部領域を除いた領域に焦点検出点を配置しないことにより、一部領域における焦点検出点の密度を撮影範囲内の一部領域を除いた領域における焦点検出点の密度よりも高く設定する、焦点検出制御部を備える制御装置が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００９－０９８３１７号公報

【特許文献2】特開２０２１－１０５７３４号公報

【発明の概要】

【0005】

本開示の技術に係る１つの実施形態は、合焦演算の対象被写体および対象部位に適応した自動焦点制御を行うことが可能な自動焦点制御装置、自動焦点制御装置の作動方法、自動焦点制御装置の作動プログラム、並びに撮像装置を提供する。

【課題を解決するための手段】

【0006】

本開示の自動焦点制御装置は、撮像素子から読み出した演算用信号に基づいてフォーカスレンズの合焦位置を演算する合焦演算を行う自動焦点制御装置であって、プロセッサを備え、プロセッサは、合焦演算の対象被写体の対象部位、および対象部位の周辺部位を含む特定領域を画像から検出し、対象被写体および対象部位の組み合わせに基づいて、特定領域のうちで、他の領域よりも合焦演算の寄与度が高い領域である高寄与度領域を設定することが可能であり、高寄与度領域を設定した場合に、設定に応じた合焦演算を行う。

【0007】

特定領域は矩形状をしていることが好ましい。

【0008】

プロセッサは、合焦演算に用いる領域を特定領域から高寄与度領域に縮小し、縮小した高寄与度領域を用いて合焦演算を行うことが好ましい。この場合、プロセッサは、縮小した高寄与度領域のみを用いて合焦演算を行うことがより好ましい。

【0009】

プロセッサは、高寄与度領域の第１方向の縮小倍率と、第１方向と交差する第２方向の縮小倍率とを異ならせることが好ましい。

【0010】

プロセッサは、特定領域の大きさに応じて、高寄与度領域の縮小倍率を変更することが好ましい。

【0011】

プロセッサは、特定領域に対する対象部位の傾きに応じて、縮小を制御することが好ましい。

【0012】

プロセッサは、撮像素子に対する対象被写体の向きに応じて、縮小を制御することが好ましい。

【0013】

撮像素子は、被写体光の位相差を検出するための演算用信号を出力する位相差検出画素を含み、撮像素子の向きに応じて位相差の検出に適した方向が異なる場合において、プロセッサは、撮像素子の向きに応じて、高寄与度領域の縮小倍率を変更することが好ましい。

【0014】

プロセッサは、対象被写体が人物、または動物で、対象部位が人物の瞳、人物の胴体、動物の瞳、または動物の胴体であった場合、縮小を行うことが好ましい。

【0015】

プロセッサは、対象被写体が人物、動物、または乗り物で、対象部位が人物の顔、動物の顔、または乗り物の運転席であり、特定領域に対して対象部位が傾いていなかった場合は縮小を行わず、特定領域に対して対象部位が傾いていた場合は縮小を行うことが好ましい。

【0016】

プロセッサは、対象被写体が乗り物で、対象部位が乗り物の先頭、または乗り物の胴体であり、特定領域に対して対象部位が傾いておらず、かつ、対象被写体が正面を向いていなかった場合、縮小を行わず、特定領域に対して対象部位が傾いておらず、かつ、対象被写体が正面を向いていた場合、並びに、特定領域に対して対象部位が傾いていた場合、縮小を行うことが好ましい。

【0017】

プロセッサは、高寄与度領域以外の他の領域の寄与度を、０よりも大きく、かつ高寄与度領域の寄与度よりも低い値に設定することが好ましい。

【0018】

本開示の撮像装置は、上に記載の自動焦点制御装置を備える。

【0019】

本開示の自動焦点制御装置の作動方法は、撮像素子から読み出した演算用信号に基づいてフォーカスレンズの合焦位置を演算する合焦演算を行う自動焦点制御装置の作動方法であって、合焦演算の対象被写体の対象部位、および対象部位の周辺部位を含む特定領域を画像から検出すること、対象被写体および対象部位の組み合わせに基づいて、特定領域のうちで、他の領域よりも合焦演算の寄与度が高い領域である高寄与度領域を設定することが可能であること、並びに、高寄与度領域を設定した場合に、設定に応じた合焦演算を行うこと、を含む。

【0020】

本開示の自動焦点制御装置の作動プログラムは、撮像素子から読み出した演算用信号に基づいてフォーカスレンズの合焦位置を演算する合焦演算を行う自動焦点制御装置の作動プログラムであって、合焦演算の対象被写体の対象部位、および対象部位の周辺部位を含む特定領域を画像から検出すること、対象被写体および対象部位の組み合わせに基づいて、特定領域のうちで、他の領域よりも合焦演算の寄与度が高い領域である高寄与度領域を設定することが可能であること、並びに、高寄与度領域を設定した場合に、設定に応じた合焦演算を行うこと、
を含む処理をコンピュータに実行させる。

【図面の簡単な説明】

【0021】

【図1】撮像装置の構成を示す図である。

【図2】撮像素子の画素の配置を示す図である。

【図3】通常画素の構成を示す図である。

【図4】第１位相差検出画素の構成を示す図である。

【図5】第２位相差検出画素の構成を示す図である。

【図6】第１演算用信号と第２演算用信号の位相差を示すグラフである。

【図7】対象設定情報を示す図である。

【図8】制御部の詳細構成を示す図である。

【図9】ＣＰＵの処理部を示すブロック図である。

【図10】検出モデル群を示す図である。

【図11】対象被写体が人物、対象部位が瞳の場合に、人物瞳検出モデルを用いて人物の瞳を検出する様子を示す図である。

【図12】対象被写体が動物、対象部位が胴体の場合に、動物胴体検出モデルを用いて動物の胴体を検出する様子を示す図である。

【図13】対象被写体が乗り物、対象部位が運転席の場合に、乗り物運転席検出モデルを用いて乗り物の運転席を検出する様子を示す図である。

【図14】焦点調整部の詳細構成を示す図である。

【図15】設定部が高寄与度領域を設定した場合の合焦演算部の処理を示す図である。

【図16】対象被写体が人物、対象部位が顔の場合に、傾き判定モデルを用いて矩形領域に対して対象部位が傾いているか否かを判定する様子を示す図である。

【図17】対象被写体が乗り物、対象部位が運転席の場合に、傾き判定モデルを用いて矩形領域に対して対象部位が傾いているか否かを判定する様子を示す図である。

【図18】対象被写体が乗り物、対象部位が先頭の場合に、向き判定モデルを用いて対象被写体が正面を向いているか否かを判定する様子を示す図である。

【図19】対象被写体が乗り物、対象部位が胴体の場合に、向き判定モデルを用いて対象被写体が正面を向いているか否かを判定する様子を示す図である。

【図20】設定部により設定される高寄与度領域、および高寄与度領域の設定情報を示す図である。

【図21】矩形領域の大きさと縮小倍率との関係を示すグラフである。

【図22】矩形領域を高寄与度領域に縮小することを寄与度の設定に置き換えた場合の説明図である。

【図23】対象被写体が人物、対象部位が胴体であった場合の矩形領域と高寄与度領域を示す図である。

【図24】対象被写体が動物、対象部位が瞳であった場合の矩形領域と高寄与度領域を示す図である。

【図25】対象被写体が動物、対象部位が胴体であった場合の矩形領域と高寄与度領域を示す図である。

【図26】対象被写体が人物、対象部位が顔で、傾き判定部において、矩形領域に対して対象部位が傾いていないと判定した場合の設定部の処理を示す図である。

【図27】対象被写体が人物、対象部位が顔で、傾き判定部において、矩形領域に対して対象部位が傾いていると判定した場合の設定部の処理を示す図である。

【図28】対象被写体が乗り物、対象部位が運転席で、傾き判定部において、矩形領域に対して対象部位が傾いていないと判定した場合の設定部の処理を示す図である。

【図29】対象被写体が乗り物、対象部位が運転席で、傾き判定部において、矩形領域に対して対象部位が傾いていると判定した場合の設定部の処理を示す図である。

【図30】対象被写体が乗り物、対象部位が先頭で、傾き判定部において、矩形領域に対して対象部位が傾いていないと判定し、さらに、向き判定部において、対象被写体が正面を向いていないと判定した場合の設定部の処理を示す図である。

【図31】対象被写体が乗り物、対象部位が先頭で、傾き判定部において、矩形領域に対して対象部位が傾いていないと判定し、さらに、向き判定部において、対象被写体が正面を向いていると判定した場合の設定部の処理を示す図である。

【図32】対象被写体が乗り物、対象部位が胴体で、傾き判定部において、矩形領域に対して対象部位が傾いていないと判定し、さらに、向き判定部において、対象被写体が正面を向いていないと判定した場合の設定部の処理を示す図である。

【図33】対象被写体が乗り物、対象部位が胴体で、傾き判定部において、矩形領域に対して対象部位が傾いていると判定した場合の設定部の処理を示す図である。

【図34】ＣＰＵの処理手順を示すフローチャートである。

【図35】ＣＰＵの処理手順を示すフローチャートである。

【図36】対象被写体および対象部位の組み合わせに応じた設定部の処理をまとめた表である。

【図37】撮像素子の向きが横長であった場合の高寄与度領域を示す図である。

【図38】撮像素子の向きが縦長であった場合の高寄与度領域を示す図である。

【図39】高寄与度領域以外の他の領域の寄与度を、０よりも大きく、かつ高寄与度領域の寄与度よりも低い値に設定する第３実施形態を示す図である。

【発明を実施するための形態】

【0022】

［第１実施形態］
一例として図１に示すように、撮像装置１０は、例えばミラーレス一眼デジタルカメラであり、撮像光学系１１および撮像素子１２を備える。撮像光学系１１は、撮像素子１２に被写体光を結像させるための複数種のレンズを有する。具体的には、撮像光学系１１は、対物レンズ１３、フォーカスレンズ１４、およびズームレンズ１５を有する。これら各レンズ１３～１５は、この順に、物体側（被写体側）から結像側（撮像素子１２側）に向かって配置されている。図１では簡略化しているが、各レンズ１３～１５は、実際には複数枚のレンズが組み合わされたレンズ群である。撮像光学系１１は絞り１６も有する。絞り１６は撮像光学系１１の最も結像側に配置されている。なお、撮像装置１０は、撮像光学系１１等が内蔵されたレンズ鏡胴と、撮像素子１２等が内蔵された本体とが一体のタイプでもよいし、レンズ鏡胴と本体とが別体の、いわゆるレンズ交換タイプでもよい。

【0023】

フォーカスレンズ１４にはフォーカスレンズ駆動機構１７が設けられ、ズームレンズ１５にはズームレンズ駆動機構１８が設けられ、絞り１６には絞り駆動機構１９が設けられている。フォーカスレンズ駆動機構１７は、フォーカスレンズ１４を保持し、外周にカム溝が形成されたフォーカス用カム環、フォーカス用カム環を光軸ＯＡ周りに回転させることで、フォーカス用カム環を光軸ＯＡに沿って移動させるフォーカス用モータ、およびフォーカス用モータのドライバ等を含む。ズームレンズ駆動機構１８も同様に、ズームレンズ１５を保持し、外周にカム溝が形成されたズーム用カム環、ズーム用カム環を光軸ＯＡ周りに回転させることで、ズーム用カム環を光軸ＯＡに沿って移動させるズーム用モータ、およびズーム用モータのドライバ等を含む。絞り駆動機構１９は、絞り１６の複数枚の絞り羽根を開閉する絞り用モータ、および絞り用モータのドライバ等を含む。

【0024】

フォーカス用モータ、ズーム用モータ、および絞り用モータは、例えばステッピングモータである。この場合、フォーカス用モータ、ズーム用モータ、および絞り用モータの駆動量から、光軸ＯＡ上のフォーカスレンズ１４の位置とズームレンズ１５の位置、並びに絞り１６の開度を導き出すことができる。なお、フォーカス用モータおよびズーム用モータの駆動量ではなく、位置センサを設けて、フォーカスレンズ１４およびズームレンズ１５の位置を検出してもよい。

【0025】

各駆動機構１７～１９のモータあるいはドライバ等の電気部品は、制御部２０に接続されている。各駆動機構１７～１９の電気部品は、制御部２０の制御の下で駆動される。より詳しくは、制御部２０は、操作部２１を介して入力されたユーザからの指示等に応じた駆動信号を発して、各駆動機構１７～１９の電気部品を駆動させる。例えば、操作部２１の画角変更スイッチを介して画角を望遠側に変更する指示が入力された場合、制御部２０は、ズームレンズ駆動機構１８のズーム用モータのドライバに駆動信号を発して、ズームレンズ１５を望遠側に移動させる。

【0026】

フォーカス用モータ、ズーム用モータ、および絞り用モータは、駆動量を制御部２０に出力する。制御部２０は、駆動量から光軸ＯＡ上のフォーカスレンズ１４とズームレンズ１５の位置、並びに絞り１６の開度を導き出す。

【0027】

撮像素子１２は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサであり、被写体光を撮像する撮像面４２（図２参照）を有している。撮像素子１２は、撮像面４２の中心が光軸ＯＡと一致し、かつ撮像面４２が光軸ＯＡと直交するよう配されている。なお、ここでいう「一致」および「直交」とは、完全な一致および直交の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの一致および直交を指す。

【0028】

撮像素子１２には撮像素子ドライバ２２が接続されている。撮像素子ドライバ２２は制御部２０に接続されている。撮像素子ドライバ２２は、制御部２０の制御の下、撮像素子１２に垂直走査信号および水平走査信号を供給する等して、撮像素子１２による被写体光の撮像タイミングを制御する。

【0029】

撮像光学系１１と撮像素子１２の間にはシャッター２３が設けられている。シャッター２３は、例えば先幕および後幕を有するフォーカルプレーンシャッターである。シャッター２３にはシャッター駆動機構２４が接続されている。シャッター駆動機構２４は、先幕および後幕を保持し、かつその保持を解除して先幕および後幕を走行させる電磁石、およびそのドライバ等を含む。シャッター駆動機構２４は、制御部２０の制御の下で駆動し、シャッター２３を開閉させる。

【0030】

制御部２０は、画像入力コントローラ２５、画像メモリ２６、および画像処理部２７といった各部と、バスライン２８を通じて接続されている。バスライン２８には他に、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２９、表示制御部３０、メディアコントローラ３１、および指示受付部３２等が接続されている。なお、図示は省略したが、バスライン２８には、ストロボ装置の駆動を制御するストロボ駆動制御部、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子といった接続端子を介して外部装置と通信する外部通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）、あるいは無線通信Ｉ／Ｆ等も接続されている。

【0031】

画像入力コントローラ２５には、被写体光を撮像して得られた画像データが撮像素子１２から入力される。画像入力コントローラ２５は、画像データを画像メモリ２６に出力する。画像メモリ２６は、例えばＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であり、画像データを一時的に記憶する。

【0032】

画像処理部２７は、画像メモリ２６から未処理の画像データを読み出す。画像処理部２７は画像データに対して各種画像処理を施す。各種画像処理は、例えば、オフセット補正処理、感度補正処理、画素補間処理、ホワイトバランス補正処理、ガンマ補正処理、デモザイク処理、輝度信号および色差信号生成処理、輪郭強調処理、色補正処理等である。画像処理部２７は、各種画像処理後の画像データを画像メモリ２６に書き戻す。

【0033】

ＶＲＡＭ２９には、各種画像処理後の画像データであって、ライブビュー画像（スルー画像とも呼ばれる）として表示するための画像データが画像メモリ２６から入力される。ＶＲＡＭ２９は、連続する２フレーム分の画像データを記憶する領域を有する。ＶＲＡＭ２９に記憶される画像データは、順次新しい画像データに書き換えられる。ＶＲＡＭ２９は、連続する２フレーム分の画像データのうちの新しいほうの画像データを、順次表示制御部３０に出力する。

【0034】

表示制御部３０は、ＶＲＡＭ２９からの画像データをビデオデータに変換し、ファインダモニタ３３および背面モニタ３４のうちのいずれかに出力する、いわゆるビデオエンコーダの機能を担う。これにより、ファインダモニタ３３および背面モニタ３４のうちのいずれかを通じて、ユーザはライブビュー画像を視認することができる。ライブビュー画像の表示フレームレートは、例えば６０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄｓ）である。

【0035】

なお、ビデオデータをファインダモニタ３３および背面モニタ３４のうちのいずれに出力するかは、例えば以下のように決定する。すなわち、ファインダに瞳検出センサを設けておく。そして、瞳検出センサによりユーザがファインダを覗いていると検出した場合は、ファインダモニタ３３にビデオデータを出力する。対して、瞳検出センサによりユーザがファインダを覗いていないと検出した場合は、背面モニタ３４にビデオデータを出力する。

【0036】

操作部２１のレリーズボタンの全押し操作により静止画または動画の撮影開始指示が行われた場合、画像処理部２７は、画像メモリ２６の画像データに対して圧縮処理を施す。静止画の場合、画像処理部２７は、画像データに対して例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式の圧縮処理を施す。動画の場合、画像処理部２７は、画像データに対して例えばＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式の圧縮処理を施す。画像処理部２７は、圧縮処理後の画像データをメディアコントローラ３１に出力する。

【0037】

メディアコントローラ３１は、画像処理部２７からの圧縮処理後の画像データをメモリカード３５に記録する。メモリカード３５は、図示省略したメモリカードスロットに着脱可能に装着される。

【0038】

操作部２１のモード切替スイッチを介して画像再生モードが選択された場合、メディアコントローラ３１は、画像データをメモリカード３５から読み出し、画像処理部２７に出力する。画像処理部２７は、メモリカード３５からの画像データに対して伸張処理を施す。伸張処理後の画像データは表示制御部３０に出力される。表示制御部３０は画像データをビデオデータに変換し、背面モニタ３４に出力する。これにより、背面モニタ３４を通じて、ユーザは再生画像を視認することができる。

【0039】

指示受付部３２は、操作部２１、および背面モニタ３４と一体的に設けられたタッチパネル３６を介してユーザから入力される各種操作指示を受け付ける。指示受付部３２は、受け付けた各種操作指示を、バスライン２８を通じて制御部２０に出力する。

【0040】

操作部２１は、前述のように、画角変更スイッチ、レリーズボタン、およびモード切替スイッチを含む。レリーズボタンは、半押し操作および全押し操作が可能な２段階の押しボタンである。レリーズボタンの半押し操作により静止画または動画の撮影準備指示が行われ、全押し操作により静止画または動画の撮影開始指示が行われる。これらの他にも、操作部２１は、背面モニタ３４に各種設定メニューを表示させるためのメニューボタン、数値設定および選択肢の切替等に用いられる十字キー、設定を確定させる際等に操作される確定ボタンといったものを含む。タッチパネル３６は、背面モニタ３４の表示面に重畳されている。タッチパネル３６は、ユーザの指またはスタイラスペン等の専用の指示器の接触を検知することで、ユーザからの各種操作指示を認識する。

【0041】

モード切替スイッチにより切替可能なモードには、静止画撮影モード、動画撮影モード、画像再生モード、および設定モード等がある。静止画撮影モードには、１枚の静止画を撮影する通常撮影モードはもちろんのこと、所定の撮影間隔（例えば５ｆｐｓ～１０ｆｐｓのフレームレート）で連続的に静止画を撮影する連写撮影モードも含まれている。連写撮影モードは、例えば、レリーズボタンの全押し状態を所定時間以上（例えば１秒以上）継続した場合に発動する。連写撮影モードは、レリーズボタンの全押し状態が解除された場合に終了する。

【0042】

一例として図２に示すように、撮像素子１２には光電変換部４０が設けられている。光電変換部４０は、Ｘ方向およびＹ方向に沿って２次元状に配列された複数の画素４１により構成される。複数の画素４１は撮像面４２を形成する。画素４１は、周知のように、マイクロレンズ４５、カラーフィルタ４６、およびフォトダイオード等の光電変換素子４７により構成される（いずれも図３～図５参照）。なお、Ｘ方向およびＹ方向は、撮像装置１０の底面を水平面に載置した状態における水平方向および鉛直方向である。このためＸ方向およびＹ方向は直交する。Ｘ方向は、本開示の技術に係る「第１方向」の一例である。Ｙ方向は、本開示の技術に係る「第２方向」の一例である。

【0043】

画素４１の行間には、Ｘ方向に平行な走査線が配線されている。また、画素４１の列間には、Ｙ方向に平行な信号線が配線されている。画素４１（の光電変換素子４７）は、増幅器およびスイッチを介して信号線に接続されている。スイッチには走査線も接続されている。被写体光に応じた信号電荷を画素４１（の光電変換素子４７）に蓄積する蓄積動作の場合には、走査線を通じて垂直走査信号としてオフ信号が供給されてスイッチがオフされる。信号電荷に応じた画像信号（電圧信号）４３を画素４１（の光電変換素子４７）から読み出す読み出し動作の場合には、走査線を通じて垂直走査信号としてオン信号が供給されてスイッチがオンされる。信号線の末端はＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）回路およびＡＤＣ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）回路に接続されている。ＣＤＳ回路は、信号線を通じて入力された画像信号４３に対して相関二重サンプリングを施す。ＡＤＣ回路は、相関二重サンプリング後の画像信号４３をデジタルの画像信号４３に変換する。

【0044】

画素４１は、カラーフィルタ４６の種類によって、緑色の波長帯域の光に感度を有する緑色画素（図２においては「Ｇ」と表記）、赤色の波長帯域の光に感度を有する赤色画素（図２においては「Ｒ」と表記）、および青色の波長帯域の光に感度を有する青色画素（図２においては「Ｂ」と表記）の３種に分かれる。３種の画素４１は、既定の配列にて規則的に並べられている。既定の配列として、ここでは縦横２×２の画素に緑色画素を２つ、青色画素および赤色画素を１つずつ配置した、いわゆるベイヤー配列を例示している。

【0045】

画素４１には、通常画素４１Ｎと位相差検出画素４１Ｐとがある。位相差検出画素４１Ｐにはさらに、第１位相差検出画素４１１Ｐと第２位相差検出画素４１２Ｐとがある。通常画素４１Ｎは緑色画素、青色画素、赤色画素の３種があるが、位相差検出画素４１Ｐは緑色画素のみである。

【0046】

位相差検出画素４１Ｐは、Ｘ方向およびＹ方向に所定の間隔を空けて配置されている。図２においては、位相差検出画素４１Ｐは、Ｘ方向に５画素分の間隔、Ｙ方向に２画素分の間隔を空けて配置されている。また、位相差検出画素４１Ｐは、第１位相差検出画素４１１Ｐと第２位相差検出画素４１２ＰとがＸ方向およびＹ方向で交互に現れるように配置されている。例えば４行目を見た場合、位相差検出画素４１Ｐは、左から右に第２位相差検出画素４１２Ｐ、第１位相差検出画素４１１Ｐ、・・・の順に配置されている。また、例えば１０列目を見た場合、位相差検出画素４１Ｐは、上から下に第２位相差検出画素４１２Ｐ、第１位相差検出画素４１１Ｐ、第２位相差検出画素４１２Ｐ、第１位相差検出画素４１１Ｐ、・・・の順に配置されている。Ｘ方向およびＹ方向において隣り合う第１位相差検出画素４１１Ｐおよび第２位相差検出画素４１２Ｐは、位相差α（図６参照）を検出するための１つの組を構成する。

【0047】

一例として図３～図５に示すように、通常画素４１Ｎ、第１位相差検出画素４１１Ｐ、および第２位相差検出画素４１２Ｐは、基本的な構成は同じであり、物体側から順に配置されたマイクロレンズ４５、カラーフィルタ４６、および光電変換素子４７により構成される。

【0048】

図３に示すように、通常画素４１Ｎの光電変換素子４７は、マイクロレンズ４５で集光されてカラーフィルタ４６を透過した被写体光に応じた画像生成用信号４３Ｎを、画像信号４３として出力する。画像生成用信号４３Ｎは、画像データの一部として画像メモリ２６に記憶される。

【0049】

図４および図５に示すように、第１位相差検出画素４１１Ｐおよび第２位相差検出画素４１２Ｐのカラーフィルタ４６と光電変換素子４７との間には、遮光部材４９が配置されている。この遮光部材４９は、通常画素４１Ｎには配置されていない。第１位相差検出画素４１１Ｐの遮光部材４９は、物体側から見て光電変換素子４７の右半分を遮光する。対して、第２位相差検出画素４１２Ｐの遮光部材４９は、物体側から見て光電変換素子４７の左半分を遮光する。

【0050】

第１位相差検出画素４１１Ｐの光電変換素子４７は、マイクロレンズ４５で集光されてカラーフィルタ４６を透過し、かつ遮光部材４９で右半分が遮光された被写体光に応じた第１演算用信号４３１Ｐを、画像信号４３として出力する。対して、第２位相差検出画素４１２Ｐの光電変換素子４７は、マイクロレンズ４５で集光されてカラーフィルタ４６を透過し、かつ遮光部材４９で左半分が遮光された被写体光に応じた第２演算用信号４３２Ｐを、画像信号４３として出力する。第１演算用信号４３１Ｐおよび第２演算用信号４３２Ｐは、画像生成用信号４３Ｎと同じく、画像データの一部として画像メモリ２６に記憶される。第１演算用信号４３１Ｐおよび第２演算用信号４３２Ｐは、本開示の「演算用信号」の一例である。なお、以下では、特に区別する必要がない場合、第１演算用信号４３１Ｐおよび第２演算用信号４３２Ｐをまとめて演算用信号４３Ｐと表記する。

【0051】

一例として図６に示すように、Ｘ方向およびＹ方向において隣り合う第１位相差検出画素４１１Ｐと第２位相差検出画素４１２Ｐから出力される第１演算用信号４３１Ｐと第２演算用信号４３２Ｐとの間には、位相差αが出現する。この位相差αによれば、フォーカスレンズ１４をどちらの方向にどれだけ移動させれば合焦位置となるかが分かる。撮像装置１０は、位相差αに基づいてフォーカスレンズ１４の合焦位置を演算（以下、合焦演算と表記する）し、演算した合焦位置にフォーカスレンズ１４を自動的に移動させる自動焦点制御を行う。

【0052】

画像生成用信号４３Ｎは、名の通りライブビュー画像といった画像の生成に用いられる。対して演算用信号４３Ｐは、位相差αを算出するためだけに用いられ、画像の生成には用いられない。このため、画像処理部２７は、画素補間処理において、位相差検出画素４１Ｐの周囲の通常画素４１Ｎの画像生成用信号４３Ｎを用いて、位相差検出画素４１Ｐの画素値を補間する。

【0053】

一例として図７に示すように、ユーザは、操作部２１を介して、自動焦点制御の対象設定情報５０を入力する。対象設定情報５０は、自動焦点制御における合焦演算の対象の被写体である対象被写体、および対象被写体に含まれる部位であって、自動焦点制御における合焦演算の対象の部位である対象部位を含む。対象被写体は、ユーザが焦点を合わせたい被写体であり、対象部位は、ユーザが焦点を合わせたい被写体の部位である。対象被写体には、図示の人物の他に、動物、乗り物、花、山、建物等がある。動物は、例えば、犬、猫、および鳥等である。乗り物は、例えば、自動車、鉄道車両、および飛行機等である。対象部位には、図示の人物の瞳の他に、人物の顔、人物の胴体、動物の瞳、動物の顔、動物の胴体、乗り物の運転席、乗り物の先頭、乗り物の胴体等がある。

【0054】

ここで、人物または動物の瞳とは、瞳孔、いわゆる黒目のことである。人物または動物の顔とは、額、頬、顎、目、鼻、口、耳等を有する部分のことである。人物または動物の胴体とは、頭、首、四肢、尾を除く部分のことである。乗り物の運転席とは、自動車であれば、フロントパネル、運転席、助手席等を覆うフロントウィンドウ、鉄道車両であれば先頭車両の運転台および運転席を覆うフロントウィンドウ、飛行機であればコックピットを覆うフロントウィンドウのことである。乗り物の先頭とは、自動車であればフロントボディ、鉄道車両であれば、先頭車両の行先表示器、フロントウィンドウ、前照灯等を有する部分、飛行機であれば、レドーム、フロントウィンドウ等を有する機首部分のことである。乗り物の胴体とは、自動車であれば車輪を除くボディ全体、鉄道車両であれば、先頭車両、中間車両、最後尾車両の如何に関わらず、車輪を除くボディ全体、飛行機であれば、先頭、主翼、尾翼等を除くボディ全体のことである。

【0055】

指示受付部３２は対象設定情報５０を受け付ける。指示受付部３２は、対象設定情報５０を制御部２０に出力する。制御部２０は対象設定情報５０の対象部位を含む矩形領域ＲＡ（図１１等参照）を検出し、検出した矩形領域ＲＡに焦点を合わせるべく自動焦点制御を行う。矩形領域ＲＡは、本開示の技術に係る「特定領域」の一例である。

【0056】

一例として図８に示すように、制御部２０は、ストレージ５５、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５６、およびメモリ５７を備える。これらストレージ５５、ＣＰＵ５６、およびメモリ５７は、バスライン５８を介して相互接続されている。制御部２０は、本開示の技術に係る「自動焦点制御装置」および「コンピュータ」の一例である。

【0057】

ストレージ５５は、例えばＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）といった不揮発性の記憶装置である。ストレージ５５は、各種プログラム、および各種プログラムに付随する各種データ等を記憶する。なお、ＥＥＰＲＯＭに代えて、ＦｅＲＡＭ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、あるいはＭＲＡＭ（Ｍａｇｎｅｔｏｒｅｓｉｓｔｉｖｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）をストレージ５５として用いてもよい。

【0058】

メモリ５７は、ＣＰＵ５６が処理を実行するためのワークメモリである。ＣＰＵ５６は、ストレージ５５に記憶されたプログラムをメモリ５７へロードして、プログラムにしたがった処理を実行する。これによりＣＰＵ５６は撮像装置１０の各部を統括的に制御する。ＣＰＵ５６は、本開示の技術に係る「プロセッサ」の一例である。なお、メモリ５７は、ＣＰＵ５６に内蔵されていてもよい。

【0059】

一例として図９に示すように、ストレージ５５には作動プログラム６５が記憶されている。作動プログラム６５は、ＣＰＵ５６に自動焦点制御等を行わせるためのプログラムである。すなわち、作動プログラム６５は、本開示の技術に係る「自動焦点制御装置の作動プログラム」の一例である。ストレージ５５には、作動プログラム６５に加えて、検出モデル群６６および判定モデル群６７も記憶されている。検出モデル群６６は、対象部位毎に用意された、対象部位を含む矩形領域ＲＡを検出するための機械学習モデルの集合である（図１０参照）。判定モデル群６７は、各種判定用の機械学習モデルの集合である（図１４参照）。

【0060】

作動プログラム６５が起動されると、ＣＰＵ５６は、メモリ５７等と協働して、検出部７０および焦点調整部７１として機能する。検出部７０は、画像メモリ２６から画像生成用信号４３Ｎを読み出す。画像生成用信号４３Ｎは、２次元の画像データとして扱うことができる。検出部７０は、検出モデル群６６の複数の機械学習モデルのうち、対象設定情報５０の対象部位に対応する機械学習モデルを用いて、画像生成用信号４３Ｎから対象部位を含む矩形領域ＲＡを検出する。検出部７０は、矩形領域ＲＡの検出結果７２を焦点調整部７１に出力する。

【0061】

焦点調整部７１は、画像メモリ２６から演算用信号４３Ｐを読み出す。演算用信号４３Ｐは、具体的には、第１位相差検出画素４１１Ｐから出力された複数の第１演算用信号４３１Ｐを、第１位相差検出画素４１１Ｐの配置に倣ってＸ方向およびＹ方向に２次元状に並べたデータと、第２位相差検出画素４１２Ｐから出力された複数の第２演算用信号４３２Ｐを、第２位相差検出画素４１２Ｐの配置に倣ってＸ方向およびＹ方向に２次元状に並べたデータである。このため、演算用信号４３Ｐは、画像生成用信号４３Ｎと同じく、２次元の画像データとして扱うことができる。焦点調整部７１は、例えば、レリーズボタンの半押し操作により静止画または動画の撮影準備指示が行われた場合に、演算用信号４３Ｐに基づいて自動焦点制御を行う。自動焦点制御の詳細については後述する。

【0062】

一例として図１０に示すように、検出モデル群６６は、人物の瞳を含む矩形領域ＲＡを検出する人物瞳検出モデル７５、人物の顔を含む矩形領域ＲＡを検出する人物顔検出モデル７６、および人物の胴体を含む矩形領域ＲＡを検出する人物胴体検出モデル７７を有する。また、検出モデル群６６は、動物の瞳を含む矩形領域ＲＡを検出する動物瞳検出モデル７８、動物の顔を含む矩形領域ＲＡを検出する動物顔検出モデル７９、および動物の胴体を含む矩形領域ＲＡを検出する動物胴体検出モデル８０を有する。さらに、検出モデル群６６は、乗り物の運転席を含む矩形領域ＲＡを検出する乗り物運転席検出モデル８１、乗り物の先頭を含む矩形領域ＲＡを検出する乗り物先頭検出モデル８２、および乗り物の胴体を含む矩形領域ＲＡを検出する乗り物胴体検出モデル８３を有する。これらの検出モデル７５～８３は、画像生成用信号４３Ｎ（で表される２次元の画像データ）が入力された場合に矩形領域ＲＡの検出結果７２を出力するよう学習された機械学習モデルであり、例えば畳み込みニューラルネットワークにより構築されている。なお、検出モデル群６６は、これらの検出モデル７５～８３以外にも多数の検出モデルを含んでいる。

【0063】

一例として図１１に示すように、対象設定情報５０の対象被写体が人物、対象部位が瞳であった場合、検出部７０は、人物瞳検出モデル７５に画像生成用信号４３Ｎを入力する。この画像生成用信号４３Ｎの入力に応じて、人物瞳検出モデル７５は、人物の瞳を含む矩形領域ＲＡの検出結果７２を出力する。検出結果７２は、例えば、人物の瞳を含む矩形領域ＲＡの２つの対角点Ｐ１およびＰ２のＸＹ座標である。なお、図示は省略したが、対象設定情報５０の対象被写体が人物、対象部位が顔または胴体であった場合は、検出部７０は、人物顔検出モデル７６または人物胴体検出モデル７７に画像生成用信号４３Ｎを入力し、人物顔検出モデル７６または人物胴体検出モデル７７から検出結果７２を出力させる。

【0064】

一例として図１２に示すように、対象設定情報５０の対象被写体が動物、対象部位が胴体であった場合、検出部７０は、動物胴体検出モデル８０に画像生成用信号４３Ｎを入力する。この画像生成用信号４３Ｎの入力に応じて、動物胴体検出モデル８０は、動物の胴体を含む矩形領域ＲＡの検出結果７２を出力する。検出結果７２は、例えば、動物の胴体を含む矩形領域ＲＡの２つの対角点Ｐ１およびＰ２のＸＹ座標である。なお、図示は省略したが、対象設定情報５０の対象被写体が動物、対象部位が瞳または顔であった場合は、検出部７０は、動物瞳検出モデル７８または動物顔検出モデル７９に画像生成用信号４３Ｎを入力し、動物瞳検出モデル７８または動物顔検出モデル７９から検出結果７２を出力させる。

【0065】

一例として図１３に示すように、対象設定情報５０の対象被写体が乗り物、対象部位が運転席であった場合、検出部７０は、乗り物運転席検出モデル８１に画像生成用信号４３Ｎを入力する。この画像生成用信号４３Ｎの入力に応じて、乗り物運転席検出モデル８１は、乗り物の運転席を含む矩形領域ＲＡの検出結果７２を出力する。検出結果７２は、例えば、乗り物の運転席を含む矩形領域ＲＡの２つの対角点Ｐ１およびＰ２のＸＹ座標である。なお、図示は省略したが、対象設定情報５０の対象被写体が乗り物、対象部位が先頭または胴体であった場合は、検出部７０は、乗り物先頭検出モデル８２または乗り物胴体検出モデル８３に画像生成用信号４３Ｎを入力し、乗り物先頭検出モデル８２または乗り物胴体検出モデル８３から検出結果７２を出力させる。

【0066】

図１１～図１３のいずれの場合も、矩形領域ＲＡは対象部位よりも一回り大きい。このため、矩形領域ＲＡは、対象部位だけでなく、対象部位の周辺部位も含む。例えば対象部位が瞳であった場合、周辺部位は、眼球結膜（いわゆる白目）、上瞼、下瞼、目頭、目尻等を含む（図１１参照）。また、対象部位が胴体であった場合、周辺部位は、顔の一部、四肢の一部、尾の一部、および背景等を含む（図１２参照）。

【0067】

一例として図１４に示すように、焦点調整部７１は、傾き判定部９０、向き判定部９１、設定部９２、合焦演算部９３、およびフォーカスレンズ駆動制御部９４を備える。

【0068】

傾き判定部９０および向き判定部９１には、画像生成用信号４３Ｎ、対象設定情報５０、および検出結果７２が入力される。また、傾き判定部９０には判定モデル群６７の傾き判定モデル１００が入力され、向き判定部９１には判定モデル群６７の向き判定モデル１０１が入力される。

【0069】

傾き判定部９０は、対象設定情報５０の対象被写体が人物または動物、対象部位が顔であった場合に稼働する。また、傾き判定部９０は、対象設定情報５０の対象被写体が乗り物であった場合に稼働する。傾き判定部９０は、検出結果７２から画像生成用信号４３Ｎ内の矩形領域ＲＡを特定する。そして、傾き判定モデル１００を用いて、矩形領域ＲＡに対して対象部位が傾いているか否かを判定する。傾き判定部９０は、矩形領域ＲＡに対して対象部位が傾いているか否かの判定結果である傾き判定結果１０２を設定部９２に出力する。なお、傾き判定モデル１００の代わりに、パターンマッチングにより矩形領域ＲＡに対して対象部位が傾いているか否かを判定してもよい。

【0070】

向き判定部９１は、対象設定情報５０の対象被写体が乗り物、対象部位が先頭または胴体で、かつ、傾き判定部９０において、矩形領域ＲＡに対して対象部位が傾いていないと判定した場合に稼働する。向き判定部９１は、検出結果７２から画像生成用信号４３Ｎ内の矩形領域ＲＡを特定する。そして、向き判定モデル１０１を用いて、撮像素子１２に対する対象被写体の向きを判定する。より詳しくは、対象被写体が正面を向いているか否かを判定する。向き判定部９１は、対象被写体が正面を向いているか否かの判定結果である向き判定結果１０３を設定部９２に出力する。なお、向き判定モデル１０１の代わりに、パターンマッチングにより対象被写体が正面を向いているか否かを判定してもよい。

【0071】

設定部９２には対象設定情報５０が入力される。設定部９２は、対象設定情報５０の対象被写体および対象部位の組み合わせに基づいて、矩形領域ＲＡのうちで、他の領域よりも合焦演算の寄与度が高い領域である高寄与度領域ＨＣＡ（図２０等参照）を設定する。設定部９２は、高寄与度領域ＨＣＡの設定情報１０４を合焦演算部９３に出力する。

【0072】

合焦演算部９３には演算用信号４３Ｐが入力される。設定部９２が高寄与度領域ＨＣＡを設定した場合、合焦演算部９３は、設定情報１０４に応じた合焦演算を行う。具体的には、一例として図１５に示すように、合焦演算部９３は、設定情報１０４に基づいて、全ての演算用信号４３Ｐのうちで、高寄与度領域ＨＣＡ内の位相差検出画素４１Ｐから出力された演算用信号４３Ｐを選定する。合焦演算部９３は、選定後演算用信号４３ＰＳを用いて合焦演算を行う。つまり、合焦演算部９３は、高寄与度領域ＨＣＡのみを用いて合焦演算を行う。一方、設定部９２が高寄与度領域ＨＣＡを設定しなかった場合、合焦演算部９３は、全ての演算用信号４３Ｐのうちで、矩形領域ＲＡ内の位相差検出画素４１Ｐから出力された演算用信号４３Ｐを選定し、選定した演算用信号４３Ｐを用いて合焦演算を行う。合焦演算部９３は、合焦演算の演算結果１０５をフォーカスレンズ駆動制御部９４に出力する。演算結果１０５は、フォーカスレンズ１４の合焦位置を含む。

【0073】

フォーカスレンズ駆動制御部９４は、フォーカスレンズ駆動機構１７、ひいてはフォーカスレンズ１４の駆動を制御する。具体的には、フォーカスレンズ駆動制御部９４は、フォーカスレンズ駆動機構１７を介して、演算結果１０５の合焦位置にフォーカスレンズ１４を移動させる。なお、フォーカスレンズ１４の現在位置と演算結果１０５の合焦位置とが同じであった場合は、当然ながらフォーカスレンズ駆動制御部９４は何もせず、フォーカスレンズ１４は移動されない。

【0074】

一例として図１６に示すように、対象設定情報５０の対象被写体が人物、対象部位が顔であった場合、傾き判定部９０は、傾き判定モデル１００に画像生成用信号４３Ｎ（で表される２次元の画像データ）のうちの矩形領域ＲＡの画像生成用信号４３Ｎを入力する。この矩形領域ＲＡの画像生成用信号４３Ｎの入力に応じて、傾き判定モデル１００は傾き判定結果１０２を出力する。なお、図１６においては、便宜上、全ての画像生成用信号４３Ｎを傾き判定モデル１００に入力している態で描いているが、実際は矩形領域ＲＡの画像生成用信号４３Ｎが傾き判定モデル１００に入力される。続く図１７も同様である。

【0075】

傾き判定結果１０２は、図示のように矩形領域ＲＡに対して対象部位である顔が傾いていた場合は「傾いている」、矩形領域ＲＡに対して対象部位である顔が傾いていない場合は「傾いていない」という内容である。ここで、矩形領域ＲＡに対して対象部位が「傾いている」とは、矩形領域ＲＡのＸ方向の辺またはＹ方向の辺と対象部位の中心線とのなす角度が、例えば２０°以上であった場合と定義する。対象部位が顔の場合、対象部位の中心線は、眉間および鼻等の中心を通る、顔を左右に等分する線である。なお、図示は省略したが、対象設定情報５０の対象被写体が動物、対象部位が顔であった場合も同様に、傾き判定部９０は、傾き判定モデル１００に矩形領域ＲＡの画像生成用信号４３Ｎを入力し、傾き判定モデル１００から傾き判定結果１０２を出力させる。

【0076】

一例として図１７に示すように、対象設定情報５０の対象被写体が乗り物、対象部位が運転席であった場合も同様に、傾き判定部９０は、傾き判定モデル１００に矩形領域ＲＡの画像生成用信号４３Ｎを入力し、傾き判定モデル１００から傾き判定結果１０２を出力させる。この場合の対象部位の中心線は、運転席を左右に等分する線である。なお、図示は省略したが、対象設定情報５０の対象被写体が乗り物、対象部位が先頭または胴体であった場合も同様に、傾き判定部９０は、傾き判定モデル１００に矩形領域ＲＡの画像生成用信号４３Ｎを入力し、傾き判定モデル１００から傾き判定結果１０２を出力させる。

【0077】

一例として図１８に示すように、対象設定情報５０の対象被写体が乗り物、対象部位が先頭で、かつ、傾き判定部９０において、矩形領域ＲＡに対して対象部位が傾いていないと判定した場合、向き判定部９１は、向き判定モデル１０１に画像生成用信号４３Ｎ（で表される２次元の画像データ）のうちの矩形領域ＲＡの画像生成用信号４３Ｎを入力する。この矩形領域ＲＡの画像生成用信号４３Ｎの入力に応じて、向き判定モデル１０１は向き判定結果１０３を出力する。なお、図１８においては、便宜上、全ての画像生成用信号４３Ｎを向き判定モデル１０１に入力している態で描いているが、実際は矩形領域ＲＡの画像生成用信号４３Ｎが向き判定モデル１０１に入力される。続く図１９も同様である。

【0078】

向き判定結果１０３は、対象被写体が正面を向いていた場合は「正面を向いている」、図示のように対象被写体が正面を向いていない場合は「正面を向いていない」という内容である。ここで、対象被写体が「正面を向いていない」とは、対象被写体が真正面を向いていた場合を０°として、対象被写体が上下左右いずれかに例えば３０°以上回転していた場合と定義する。

【0079】

一例として図１９に示すように、対象設定情報５０の対象被写体が乗り物、対象部位が胴体で、かつ、傾き判定部９０において、矩形領域ＲＡに対して対象部位が傾いていないと判定した場合も同様に、向き判定部９１は、向き判定モデル１０１に矩形領域ＲＡの画像生成用信号４３Ｎを入力し、向き判定モデル１０１から向き判定結果１０３を出力させる。

【0080】

一例として図２０に示すように、設定部９２は、合焦演算部９３における合焦演算に用いる領域を、矩形領域ＲＡから高寄与度領域ＨＣＡに縮小する。図２０においては、対象設定情報５０の対象被写体が人物、対象部位が瞳であった場合を例示している。この場合、設定部９２は、矩形領域ＲＡの中心点を基準にして、矩形領域ＲＡを高寄与度領域ＨＣＡに縮小する。設定部９２は、高寄与度領域ＨＣＡの２つの対角点Ｐ３およびＰ４のＸＹ座標を、設定情報１０４として出力する。

【0081】

矩形領域ＲＡから高寄与度領域ＨＣＡへのＸ方向の縮小倍率は、矩形領域ＲＡのＸ方向の辺の長さをＸＲ、高寄与度領域ＨＣＡのＸ方向の辺の長さをＸＨＣとした場合、ＸＨＣ／ＸＲと表される。また、矩形領域ＲＡから高寄与度領域ＨＣＡへのＹ方向の縮小倍率は、矩形領域ＲＡのＹ方向の辺の長さをＹＲ、高寄与度領域ＨＣＡのＹ方向の辺の長さをＹＨＣとした場合、ＹＨＣ／ＹＲと表される。対象設定情報５０の対象被写体が人物、対象部位が瞳であった場合、設定部９２は、高寄与度領域ＨＣＡのＹ方向の縮小倍率ＹＨＣ／ＹＲを、Ｘ方向の縮小倍率ＸＨＣ／ＸＲよりも小さくする（ＸＨＣ／ＸＲ＞ＹＨＣ／ＹＲ）。言い換えると、設定部９２は、Ｘ方向と比べてＹ方向に矩形領域ＲＡをより縮小して高寄与度領域ＨＣＡとする。つまり、設定部９２は、高寄与度領域ＨＣＡのＸ方向の縮小倍率とＹ方向の縮小倍率とを異ならせる。

【0082】

また、設定部９２は、一例として図２１にグラフで示すように、矩形領域ＲＡの大きさに応じて、高寄与度領域ＨＣＡの縮小倍率を変更する。より詳しくは、矩形領域ＲＡの大きさが０以上Ｓ１未満であった場合、設定部９２は、高寄与度領域ＨＣＡの縮小倍率を１に設定する。縮小倍率を１に設定するとは、縮小しないという意味である。矩形領域ＲＡの大きさがＳ１以上Ｓ２未満であった場合、設定部９２は、高寄与度領域ＨＣＡの縮小倍率を１から漸減させた値に設定する。矩形領域ＲＡの大きさがＳ２以上であった場合、設定部９２は、高寄与度領域ＨＣＡの縮小倍率をＭＣに設定する。

【0083】

ここで、Ｓ１は、ライブビュー画像の表示において、対象部位ではなく周辺部位に焦点が合っているとユーザが分かってしまう最小の矩形領域ＲＡの大きさである。このため設定部９２は、矩形領域ＲＡの大きさが０以上Ｓ１未満であった場合は高寄与度領域ＨＣＡの縮小倍率を１に設定し、矩形領域ＲＡを縮小しない。Ｓ２は、縮小した高寄与度領域ＨＣＡによる合焦演算が非合焦となる確率が予め設定された閾値未満となる中で最大の矩形領域ＲＡの大きさである。ＭＣは、矩形領域ＲＡの大きさが上記のＳ２であった場合の縮小倍率である。

【0084】

こうした矩形領域ＲＡの大きさと縮小倍率との関係は、Ｘ方向およびＹ方向の方向毎に用意され、ストレージ５５に記憶されている。また、矩形領域ＲＡの大きさと縮小倍率との関係は、対象被写体および対象部位の組み合わせ毎に用意され、ストレージ５５に記憶されている。方向毎の矩形領域ＲＡの大きさと縮小倍率との関係は、Ｘ方向とＹ方向とで縮小倍率が異なっていたり、Ｓ１、Ｓ２、ＭＣといった指標値の大きさが異なっていたりする。また、対象被写体および対象部位の組み合わせ毎の矩形領域ＲＡの大きさと縮小倍率との関係は、対象被写体および対象部位の組み合わせによって縮小倍率が異なっていたり、Ｓ１、Ｓ２、ＭＣといった指標値の大きさが異なっていたりする。

【0085】

このように、設定部９２は、図２１で示した矩形領域ＲＡの大きさと縮小倍率との関係に応じた縮小倍率を矩形領域ＲＡに適用することで、矩形領域ＲＡを高寄与度領域ＨＣＡに縮小するのであるが、これを寄与度の設定に置き換えると、一例として図２２に示すようになる。すなわち、設定部９２は、高寄与度領域ＨＣＡの寄与度を最高値の１に設定する。また、設定部９２は、矩形領域ＲＡから高寄与度領域ＨＣＡを除いた四角環状の領域ＳＲＡの寄与度を最低値の０に設定する。こうして高寄与度領域ＨＣＡの寄与度を１、四角環状の領域ＳＲＡの寄与度を０に設定することと、矩形領域ＲＡを高寄与度領域ＨＣＡに縮小することとは同義である。なお、四角環状の領域ＳＲＡは、本開示の技術に係る「他の領域」の一例である。

【0086】

一例として図２３～図２５に、様々な対象被写体および対象部位の組み合わせにおける矩形領域ＲＡと高寄与度領域ＨＣＡを示す。図２３は、対象設定情報５０の対象被写体が人物、対象部位が胴体であった場合を例示している。この場合も図２０の場合と同じく、設定部９２は、矩形領域ＲＡの中心点を基準にして、矩形領域ＲＡを高寄与度領域ＨＣＡに縮小する。ただしこの場合、図２０の場合とは逆に、設定部９２は、高寄与度領域ＨＣＡのＸ方向の縮小倍率を、Ｙ方向の縮小倍率よりも小さくし、Ｙ方向と比べてＸ方向に矩形領域ＲＡをより縮小して高寄与度領域ＨＣＡとする。

【0087】

図２４は、対象設定情報５０の対象被写体が動物、対象部位が瞳であった場合を例示している。この場合も図２０の場合と同じく、設定部９２は、矩形領域ＲＡの中心点を基準にして、矩形領域ＲＡを高寄与度領域ＨＣＡに縮小する。また、図２０の場合と同じく、設定部９２は、高寄与度領域ＨＣＡのＹ方向の縮小倍率を、Ｘ方向の縮小倍率よりも小さくし、Ｘ方向と比べてＹ方向に矩形領域ＲＡをより縮小して高寄与度領域ＨＣＡとする。

【0088】

図２５は、対象設定情報５０の対象被写体が動物、対象部位が胴体であった場合を例示している。この場合も図２０の場合と同じく、設定部９２は、矩形領域ＲＡの中心点を基準にして、矩形領域ＲＡを高寄与度領域ＨＣＡに縮小する。また、図２０の場合と同じく、設定部９２は、高寄与度領域ＨＣＡのＹ方向の縮小倍率を、Ｘ方向の縮小倍率よりも小さくし、Ｘ方向と比べてＹ方向に矩形領域ＲＡをより縮小して高寄与度領域ＨＣＡとする。

【0089】

一例として図２６に示すように、対象設定情報５０の対象被写体が人物、対象部位が顔で、傾き判定部９０において、矩形領域ＲＡに対して対象部位が傾いていないと判定した場合、設定部９２は、矩形領域ＲＡの高寄与度領域ＨＣＡへの縮小を行わない。一方、一例として図２７に示すように、対象設定情報５０の対象被写体が人物、対象部位が顔で、傾き判定部９０において、矩形領域ＲＡに対して対象部位が傾いていると判定した場合、設定部９２は、矩形領域ＲＡの高寄与度領域ＨＣＡへの縮小を行う。

【0090】

また、一例として図２８に示すように、対象設定情報５０の対象被写体が乗り物、対象部位が運転席で、傾き判定部９０において、矩形領域ＲＡに対して対象部位が傾いていないと判定した場合、設定部９２は、矩形領域ＲＡの高寄与度領域ＨＣＡへの縮小を行わない。一方、一例として図２９に示すように、対象設定情報５０の対象被写体が乗り物、対象部位が運転席で、傾き判定部９０において、矩形領域ＲＡに対して対象部位が傾いていると判定した場合、設定部９２は、矩形領域ＲＡの高寄与度領域ＨＣＡへの縮小を行う。このように、設定部９２は、矩形領域ＲＡに対する対象部位の傾きに応じて、矩形領域ＲＡの縮小を制御する。より詳しくは、設定部９２は、矩形領域ＲＡに対して対象部位が傾いているか否かに基づいて、矩形領域ＲＡの高寄与度領域ＨＣＡへの縮小を行うか否かを決定する。

【0091】

一例として図３０に示すように、対象設定情報５０の対象被写体が乗り物、対象部位が先頭で、傾き判定部９０において、矩形領域ＲＡに対して対象部位が傾いていないと判定し、さらに、向き判定部９１において、対象被写体が正面を向いていないと判定した場合、設定部９２は、矩形領域ＲＡの高寄与度領域ＨＣＡへの縮小を行わない。一方、一例として図３１に示すように、対象設定情報５０の対象被写体が乗り物、対象部位が先頭で、傾き判定部９０において、矩形領域ＲＡに対して対象部位が傾いていないと判定し、さらに、向き判定部９１において、対象被写体が正面を向いていると判定した場合、設定部９２は、矩形領域ＲＡの高寄与度領域ＨＣＡへの縮小を行う。

【0092】

一例として図３２に示すように、対象設定情報５０の対象被写体が乗り物、対象部位が胴体で、傾き判定部９０において、矩形領域ＲＡに対して対象部位が傾いていないと判定し、さらに、向き判定部９１において、対象被写体が正面を向いていないと判定した場合、設定部９２は、矩形領域ＲＡの高寄与度領域ＨＣＡへの縮小を行わない。このように、設定部９２は、撮像素子１２に対する対象被写体の向きに応じて、矩形領域ＲＡの縮小を制御する。より詳しくは、設定部９２は、対象被写体が正面を向いているか否かに基づいて、矩形領域ＲＡの高寄与度領域ＨＣＡへの縮小を行うか否かを決定する。

【0093】

一例として図３３に示すように、対象設定情報５０の対象被写体が乗り物、対象部位が胴体で、傾き判定部９０において、矩形領域ＲＡに対して対象部位が傾いていると判定した場合、設定部９２は、矩形領域ＲＡの高寄与度領域ＨＣＡへの縮小を行う。

【0094】

次に、上記構成による作用について、一例として図３４および図３５に示すフローチャートを参照して説明する。ＣＰＵ５６は、図９で示したように、作動プログラム６５の起動により、検出部７０および焦点調整部７１として機能される。図１４で示したように、焦点調整部７１は、傾き判定部９０、向き判定部９１、設定部９２、合焦演算部９３、およびフォーカスレンズ駆動制御部９４として機能される。

【0095】

例えば静止画撮影モードまたは動画撮影モードにおいて、レリーズボタンの半押し操作に応じた静止画または動画の撮影準備指示が指示受付部３２にて受け付けられた場合、図１１～図１３で示したように、検出部７０において、対象設定情報５０の対象被写体および対象部位に応じた検出モデル群６６のいずれかの検出モデルに画像生成用信号４３Ｎが入力され、検出モデルから矩形領域ＲＡの検出結果７２が出力される（図３４のステップＳＴ１００）。検出結果７２は、検出部７０から焦点調整部７１に出力される。

【0096】

対象設定情報５０の対象被写体が人物または動物で（ステップＳＴ１１０でＹＥＳ）、対象部位が瞳または胴体であった場合（ステップＳＴ１２０でＹＥＳ）、図２０、および図２３～図２５で示したように、設定部９２において、合焦演算に用いる領域が、矩形領域ＲＡから高寄与度領域ＨＣＡに縮小される（ステップＳＴ１３０）。高寄与度領域ＨＣＡの設定情報１０４は、合焦演算部９３に出力される。なお、図３４のフローチャートでは表現していないが、図２１で示したように、矩形領域ＲＡの大きさによっては、矩形領域ＲＡの高寄与度領域ＨＣＡへの縮小が行われない場合がある。

【0097】

対象設定情報５０の対象被写体が人物または動物で（ステップＳＴ１１０でＹＥＳ）、対象部位が瞳または胴体でなかった場合、すなわち対象部位が顔であった場合（ステップＳＴ１２０でＮＯ）、ステップＳＴ１７０に進む。また、対象設定情報５０の対象被写体が乗り物で（ステップＳＴ１１０でＮＯ、かつステップＳＴ１５０でＹＥＳ）、対象部位が運転席であった場合（ステップＳＴ１６０でＹＥＳ）も、ステップＳＴ１７０に進む。

【0098】

ステップＳＴ１７０においては、傾き判定部９０が稼働され、図１６および図１７で示したように、矩形領域ＲＡに対して対象部位が傾いているか否かが判定される。そして、傾き判定部９０において、矩形領域ＲＡに対して対象部位が傾いていないと判定された場合（ステップＳＴ１７０でＮＯ）、図２６および図２８で示したように、設定部９２において矩形領域ＲＡの高寄与度領域ＨＣＡへの縮小は行われない。この場合は、合焦演算に用いる領域として矩形領域ＲＡがそのまま設定される。対象設定情報５０の対象被写体が人物、動物、乗り物のいずれでもない場合（ステップＳＴ１１０でＮＯ、かつステップＳＴ１５０でＮＯ）も、設定部９２において矩形領域ＲＡの高寄与度領域ＨＣＡへの縮小は行われず、合焦演算に用いる領域として矩形領域ＲＡがそのまま設定される。

【0099】

一方、傾き判定部９０において、矩形領域ＲＡに対して対象部位が傾いていると判定された場合（ステップＳＴ１７０でＹＥＳ）、図２７および図２９で示したように、設定部９２において、合焦演算に用いる領域が、矩形領域ＲＡから高寄与度領域ＨＣＡに縮小される（ステップＳＴ１３０）。高寄与度領域ＨＣＡの設定情報１０４は、合焦演算部９３に出力される。

【0100】

対象設定情報５０の対象被写体が乗り物で（ステップＳＴ１５０でＹＥＳ）、対象部位が運転席でなかった場合、すなわち対象部位が先頭または胴体であった場合（ステップＳＴ１６０でＮＯ）、図３５のステップＳＴ１８０に進む。

【0101】

ステップＳＴ１８０においては、ステップＳＴ１７０と同じく、傾き判定部９０が稼働され、図３０～図３３で示したように、矩形領域ＲＡに対して対象部位が傾いているか否かが判定される。そして、傾き判定部９０において、矩形領域ＲＡに対して対象部位が傾いていないと判定された場合（ステップＳＴ１８０でＮＯ）、ステップＳＴ１９０に進む。

【0102】

ステップＳＴ１９０においては、向き判定部９１が稼働され、図３０～図３２で示したように、対象被写体が正面を向いているか否かが判定される。そして、対象被写体が正面を向いていなかった場合（ステップＳＴ１９０でＮＯ）、図３０および図３２で示したように、設定部９２において矩形領域ＲＡの高寄与度領域ＨＣＡへの縮小は行われず、合焦演算に用いる領域として矩形領域ＲＡがそのまま設定される。一方、対象被写体が正面を向いていた場合（ステップＳＴ１９０でＹＥＳ）、図３１で示したように、設定部９２において、合焦演算に用いる領域が、矩形領域ＲＡから高寄与度領域ＨＣＡに縮小される（ステップＳＴ１３０）。高寄与度領域ＨＣＡの設定情報１０４は、合焦演算部９３に出力される。

【0103】

また、傾き判定部９０において、矩形領域ＲＡに対して対象部位が傾いていると判定された場合（ステップＳＴ１８０でＹＥＳ）、図３３で示したように、設定部９２において、合焦演算に用いる領域が、矩形領域ＲＡから高寄与度領域ＨＣＡに縮小される（ステップＳＴ１３０）。高寄与度領域ＨＣＡの設定情報１０４は、合焦演算部９３に出力される。

【0104】

図１５で示したように、高寄与度領域ＨＣＡが設定された場合、合焦演算部９３では、画像メモリ２６からの演算用信号４３Ｐのうちで、高寄与度領域ＨＣＡ内の位相差検出画素４１Ｐから出力された演算用信号４３Ｐが選定される。そして、選定後演算用信号４３ＰＳを用いて合焦演算が行われる（ステップＳＴ１４０）。対して、高寄与度領域ＨＣＡが設定されなかった場合、合焦演算部９３では、画像メモリ２６からの演算用信号４３Ｐのうちで、矩形領域ＲＡ内の位相差検出画素４１Ｐから出力された演算用信号４３Ｐが選定される。そして、選定後の演算用信号４３Ｐを用いて合焦演算が行われる（ステップＳＴ１４０）。この合焦演算の演算結果１０５は、合焦演算部９３からフォーカスレンズ駆動制御部９４に出力される。そして、フォーカスレンズ駆動制御部９４の制御の下、フォーカスレンズ駆動機構１７を介して、演算結果１０５の合焦位置にフォーカスレンズ１４が移動される。

【0105】

以上の処理をまとめると、一例として図３６に示す表１１０のようになる。すなわち、対象被写体が人物、または動物で、対象部位が人物の瞳、人物の胴体、動物の瞳、または動物の胴体であった場合、設定部９２は矩形領域ＲＡの高寄与度領域ＨＣＡへの縮小を行う。

【0106】

対象被写体が人物、動物、または乗り物で、対象部位が人物の顔、動物の顔、または乗り物の運転席であった場合、設定部９２は条件付きで縮小を行う。この場合の条件とは、矩形領域ＲＡに対して対象部位が傾いているか否かである。矩形領域ＲＡに対して対象部位が傾いていた場合、設定部９２は縮小を行う。一方、矩形領域ＲＡに対して対象部位が傾いていなかった場合、設定部９２は縮小を行わない。

【0107】

対象被写体が乗り物で、対象部位が乗り物の先頭、または乗り物の胴体であった場合、設定部９２は条件付きで縮小を行う。この場合の条件とは、矩形領域ＲＡに対して対象部位が傾いているか否か、並びに対象被写体が正面を向いているか否かである。矩形領域ＲＡに対して対象部位が傾いていた場合、設定部９２は縮小を行う。また、矩形領域ＲＡに対して対象部位が傾いておらず、かつ、対象被写体が正面を向いていた場合、設定部９２は縮小を行う。一方、矩形領域ＲＡに対して対象部位が傾いておらず、かつ、対象被写体が正面を向いていなかった場合、設定部９２は縮小を行わない。

【0108】

以上説明したように、自動焦点制御装置としての制御部２０は、撮像素子１２から読み出した演算用信号４３Ｐに基づいてフォーカスレンズ１４の合焦位置を演算する合焦演算を行う。ＣＰＵ５６は、検出部７０および焦点調整部７１を備える。焦点調整部７１は、設定部９２および合焦演算部９３を備える。検出部７０は、合焦演算の対象被写体の対象部位、および対象部位の周辺部位を含む矩形領域ＲＡを画像生成用信号４３Ｎから検出する。設定部９２は、対象被写体および対象部位の組み合わせに基づいて、矩形領域ＲＡのうちで、他の領域よりも合焦演算の寄与度が高い領域である高寄与度領域ＨＣＡを設定することが可能である。合焦演算部９３は、高寄与度領域ＨＣＡを設定した場合に、設定に応じた合焦演算を行う。したがって、合焦演算の対象被写体および対象部位に適応した自動焦点制御を行うことが可能となる。

【0109】

特定領域は矩形領域ＲＡである。このため検出がしやすく、後の処理においても扱いやすい。なお、特定領域は矩形領域ＲＡに限らず、例えば円形状、楕円形状等であってもよい。

【0110】

設定部９２は、合焦演算に用いる領域を矩形領域ＲＡから高寄与度領域ＨＣＡに縮小する。合焦演算部９３は、縮小した高寄与度領域ＨＣＡを用いて合焦演算を行う。より詳しくは、合焦演算部９３は、縮小した高寄与度領域ＨＣＡのみを用いて合焦演算を行う。矩形領域ＲＡのままでは、瞳ではなく下瞼に焦点が合ってしまったり、胴体ではなく背景に焦点が合ってしまったりするおそれがあるが、そうしたおそれを低減することができる。

【0111】

図２０等で示したように、設定部９２は、高寄与度領域ＨＣＡのＸ方向の縮小倍率とＹ方向の縮小倍率とを異ならせる。このため、各方向に適応した縮小倍率で、矩形領域ＲＡを高寄与度領域ＨＣＡに縮小することができる。経験則的に周辺部位が多く含まれると考えられる方向（対象部位が瞳の場合は上瞼と下瞼が含まれるＹ方向）の縮小倍率をより小さくする等により、高寄与度領域ＨＣＡ、ひいては合焦演算に用いる領域から周辺部位をより除くことができる。したがって、対象部位ではなく周辺部位に焦点が合ってしまうおそれをさらに低減することができる。なお、縮小倍率を異ならせる方向（第１方向および第２方向）は、例示のＸ方向およびＹ方向のように直交していなくてもよい。

【0112】

図２１で示したように、設定部９２は、矩形領域ＲＡの大きさに応じて、高寄与度領域ＨＣＡの縮小倍率を変更する。このため、矩形領域ＲＡの大きさに適応した縮小倍率で、矩形領域ＲＡを高寄与度領域ＨＣＡに縮小することができる。

【0113】

図２６～図３３で示したように、設定部９２は、矩形領域ＲＡに対する対象部位の傾きに応じて、矩形領域ＲＡの縮小を制御する。より詳しくは、設定部９２は、矩形領域ＲＡに対して対象部位が傾いているか否かに基づいて、矩形領域ＲＡの高寄与度領域ＨＣＡへの縮小を行うか否かを決定する。矩形領域ＲＡに対して対象部位が傾いている場合は、傾いていない場合と比べて、矩形領域ＲＡに周辺部位が多く含まれるようになる。このため、矩形領域ＲＡに対して対象部位が傾いていた場合に縮小を行うようにすれば、合焦演算に用いる領域から周辺部位をより除くことができる。したがって、矩形領域ＲＡに対して対象部位が傾いていて、矩形領域ＲＡに周辺部位が多く含まれている場合であっても、対象部位ではなく周辺部位に焦点が合ってしまうおそれを低減することができる。

【0114】

図３０～図３２で示したように、設定部９２は、撮像素子１２に対する対象被写体の向きに応じて、縮小を制御する。より詳しくは、設定部９２は、対象被写体が正面を向いているか否かに基づいて、矩形領域ＲＡの高寄与度領域ＨＣＡへの縮小を行うか否かを決定する。対象被写体が乗り物、対象部位が先頭または胴体で、矩形領域ＲＡに対して対象部位が傾いておらず、さらに、対象被写体が正面を向いていなかった場合は、図３０および図３２で示したように、矩形領域ＲＡに写るのは乗り物の先頭または胴体の側面のみで、矩形領域ＲＡ内に奥行きの異なる部位がほとんど存在しない。つまり、この場合は、高寄与度領域ＨＣＡに縮小せずに矩形領域ＲＡのままとしたほうが、合焦に必要な特徴点を多く残すことができ、対象部位に焦点が合う可能性が高い。したがって、対象被写体が乗り物、対象部位が先頭または胴体で、矩形領域ＲＡに対して対象部位が傾いておらず、さらに、対象被写体が正面を向いていなかった場合に縮小を行わないようにすれば、無駄な処理を行わずに済む。

【0115】

図２０、および図２３～図２５で示したように、対象被写体が人物、または動物で、対象部位が人物の瞳、人物の胴体、動物の瞳、または動物の胴体であった場合、設定部９２は矩形領域ＲＡの高寄与度領域ＨＣＡへの縮小を行う。このため、合焦演算に用いる領域から周辺部位を効果的に除くことができる。

【0116】

図２６～図２９で示したように、対象被写体が人物、動物、または乗り物で、対象部位が人物の顔、動物の顔、または乗り物の運転席であり、矩形領域ＲＡに対して対象部位が傾いていなかった場合、設定部９２は矩形領域ＲＡの高寄与度領域ＨＣＡへの縮小を行わない。このため、無駄な処理を行わずに済む。一方、矩形領域ＲＡに対して対象部位が傾いていた場合、設定部９２は縮小を行う。このため、合焦演算に用いる領域から周辺部位をより除くことができる。矩形領域ＲＡに対して対象部位が傾いていて、矩形領域ＲＡに周辺部位が多く含まれている場合であっても、対象部位ではなく周辺部位に焦点が合ってしまうおそれを低減することができる。

【0117】

図３０～図３３で示したように、対象被写体が乗り物で、対象部位が乗り物の先頭、または乗り物の胴体であり、矩形領域ＲＡに対して対象部位が傾いておらず、かつ、対象被写体が正面を向いていなかった場合、設定部９２は矩形領域ＲＡの高寄与度領域ＨＣＡへの縮小を行わない。このため、無駄な処理を行わずに済む。一方、矩形領域ＲＡに対して対象部位が傾いておらず、かつ、対象被写体が正面を向いていた場合、並びに、矩形領域ＲＡに対して対象部位が傾いていた場合、設定部９２は縮小を行う。このため、合焦演算に用いる領域から周辺部位をより除くことができる。対象部位ではなく周辺部位に焦点が合ってしまうおそれを低減することができる。

【0118】

［第２実施形態］
一例として図３７および図３８に示すように、第２実施形態の撮像装置１２０は、撮像素子１２１の向きに応じて位相差αの検出に適した方向が異なる。より詳しくは、上記第１実施形態の撮像素子１２は、Ｘ方向およびＹ方向において隣り合う第１位相差検出画素４１１Ｐおよび第２位相差検出画素４１２Ｐが、位相差αを検出するための１つの組を構成していたが、撮像素子１２１は、その長辺方向がＸ方向と平行な図３７に示す横長の向きの場合に、Ｘ方向において隣り合う第１位相差検出画素４１１Ｐおよび第２位相差検出画素４１２Ｐのみが、位相差αを検出するための１つの組を構成する。このため、撮像素子１２１が図３７に示す横長の向きの場合、位相差αの検出に適した方向はＹ方向となる。対して、撮像素子１２１が、その長辺方向がＹ方向と平行な図３８に示す縦長の向きの場合、位相差αの検出に適した方向はＸ方向となる。

【0119】

図３７および図３８では、対象被写体が動物、対象部位が瞳であった場合を例示している。この例において、撮像素子１２１の向きが横長の図３７の場合、位相差αの検出に適した方向がＹ方向であるため、設定部９２は、縦長の瞳に焦点を合わせるべく、矩形領域ＲＡから高寄与度領域ＨＣＡへの縮小倍率を小さく設定し、高寄与度領域ＨＣＡから瞳以外の周辺部位を除く。一方、撮像素子１２１の向きが縦長の図３８の場合、位相差αの検出に適した方向がＸ方向であるため、設定部９２は、横長の上瞼または下瞼の縁に焦点を合わせるべく、矩形領域ＲＡから高寄与度領域ＨＣＡへの縮小倍率を大きく設定し、高寄与度領域ＨＣＡに上瞼または下瞼の縁を含める。

【0120】

このように、第２実施形態では、撮像素子１２１の向きに応じて位相差αの検出に適した方向が異なる場合において、設定部９２は、撮像素子１２１の向きに応じて、高寄与度領域ＨＣＡの縮小倍率を変更する。このため、撮像素子１２１の向きによって位相差αの検出が困難となり、結果的に非合焦となる事態を避けることができる。

【0121】

［第３実施形態］
上記各実施形態では、矩形領域ＲＡを縮小することで高寄与度領域ＨＣＡを設定しているが、これに限らない。一例として図３９に示すように、矩形領域ＲＡを複数の分割領域ＤＡに分け、設定部９２により各分割領域ＤＡにそれぞれ寄与度を設定することで、高寄与度領域ＨＣＡを設定してもよい。

【0122】

図３９においては、矩形領域ＲＡを９つの分割領域ＤＡに等分している。そして、中心の分割領域ＤＡの寄与度を１、中心の分割領域ＤＡの上下左右の分割領域ＤＡの寄与度を０．７５、中心の分割領域ＤＡの左斜め上、左斜め下、右斜め上、および右斜め下の分割領域ＤＡの寄与度を０．５に設定している。寄与度が最高値の１に設定された中心の分割領域ＤＡが高寄与度領域ＨＣＡに相当する。また、中心の分割領域ＤＡ以外の分割領域ＤＡが、本開示の技術に係る「他の領域」に相当する。

【0123】

この場合、合焦演算部９３は、各分割領域ＤＡから算出された位相差αに各分割領域ＤＡの寄与度を乗算して加算し、その結果を分割領域ＤＡの個数で除算する。つまり、合焦演算部９３は、寄与度を重みとする位相差αの重み付き平均を算出する。合焦演算部９３は、算出した位相差αの重み付き平均を用いて最終的な合焦演算を行う。

【0124】

このように、第３実施形態では、設定部９２は、高寄与度領域ＨＣＡ以外の他の領域の寄与度を、０よりも大きく、かつ高寄与度領域ＨＣＡの寄与度よりも低い値に設定する。このため、高寄与度領域ＨＣＡだけでなく、高寄与度領域ＨＣＡ以外の他の領域も加味した合焦演算を行うことができる。

【0125】

対象被写体が動体で、かつ矩形領域ＲＡの大きさが予め設定された第１閾値以上であった場合は縮小倍率を小さくしてより矩形領域ＲＡを縮小し、対象被写体が動体で、かつ矩形領域ＲＡの大きさが第１閾値よりも小さい第２閾値未満であった場合は縮小倍率を大きくするか、または縮小を行わない制御としてもよい。

【0126】

レリーズボタンの半押し操作により静止画または動画の撮影準備指示が行われた場合に、焦点調整部７１にて自動焦点制御を行う場合を例示したが、これに限らない。レリーズボタンの半押し操作の前のライブビュー画像の表示中に、焦点調整部７１にて自動焦点制御を行ってもよい。

【0127】

上記各実施形態では、いわゆる位相差検出方式の自動焦点制御を例に説明したが、これに限らない。位相差検出方式の自動焦点制御に代えて、あるいは加えて、コントラスト検出方式の自動焦点制御を採用してもよい。また、２つの光電変換素子４７で１つの画素４１を構成し、通常画素４１Ｎと位相差検出画素４１Ｐを１つの画素４１で兼用する撮像素子を用いてもよい。

【0128】

本開示の技術に係る撮像装置は、コンパクトデジタルカメラ、スマートフォン、あるいはタブレット端末でもよい。

【0129】

上記各実施形態において、例えば、画像処理部２７、表示制御部３０、指示受付部３２、検出部７０、焦点調整部７１（傾き判定部９０、向き判定部９１、設定部９２、合焦演算部９３、およびフォーカスレンズ駆動制御部９４）といった各種の処理を実行する処理部（Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のハードウェア的な構造としては、次に示す各種のプロセッサ（Ｐｒｏｃｅｓｓｏｒ）を用いることができる。各種のプロセッサには、ソフトウェア（作動プログラム６５）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ５６に加えて、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ:ＰＬＤ）、および／またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0130】

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、および／または、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

【0131】

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（Ｓｙｓｔｅｍ Ｏｎ Ｃｈｉｐ:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

【0132】

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Ｃｉｒｃｕｉｔｒｙ）を用いることができる。

【0133】

以上の記載から、下記の付記項に記載の技術を把握することができる。

【0134】

［付記項１］
撮像素子から読み出した演算用信号に基づいてフォーカスレンズの合焦位置を演算する合焦演算を行う自動焦点制御装置であって、
プロセッサを備え、
前記プロセッサは、
合焦演算の対象被写体の対象部位、および前記対象部位の周辺部位を含む特定領域を画像から検出し、
前記対象被写体および前記対象部位の組み合わせに基づいて、前記特定領域のうちで、他の領域よりも前記合焦演算の寄与度が高い領域である高寄与度領域を設定することが可能であり、
前記高寄与度領域を設定した場合に、前記設定に応じた前記合焦演算を行う、
自動焦点制御装置。
［付記項２］
前記特定領域は矩形状をしている付記項１に記載の自動焦点制御装置。
［付記項３］
前記プロセッサは、
前記合焦演算に用いる領域を前記特定領域から前記高寄与度領域に縮小し、
縮小した前記高寄与度領域を用いて前記合焦演算を行う付記項１または付記項２に記載の自動焦点制御装置。
［付記項４］
前記プロセッサは、
縮小した前記高寄与度領域のみを用いて前記合焦演算を行う付記項３に記載の自動焦点制御装置。
［付記項５］
前記プロセッサは、
前記高寄与度領域の第１方向の縮小倍率と、前記第１方向と交差する第２方向の縮小倍率とを異ならせる付記項３または付記項４に記載の自動焦点制御装置。
［付記項６］
前記プロセッサは、
前記特定領域の大きさに応じて、前記高寄与度領域の縮小倍率を変更する付記項３から付記項５のいずれか１項に記載の自動焦点制御装置。
［付記項７］
前記プロセッサは、
前記特定領域に対する前記対象部位の傾きに応じて、前記縮小を制御する付記項３から付記項６のいずれか１項に記載の自動焦点制御装置。
［付記項８］
前記プロセッサは、
前記撮像素子に対する前記対象被写体の向きに応じて、前記縮小を制御する付記項３から付記項７のいずれか１項に記載の自動焦点制御装置。
［付記項９］
前記撮像素子は、被写体光の位相差を検出するための前記演算用信号を出力する位相差検出画素を含み、
前記撮像素子の向きに応じて前記位相差の検出に適した方向が異なる場合において、
前記プロセッサは、
前記撮像素子の向きに応じて、前記高寄与度領域の縮小倍率を変更する付記項３から付記項８のいずれか１項に記載の自動焦点制御装置。
［付記項１０］
前記プロセッサは、
前記対象被写体が人物、または動物で、前記対象部位が人物の瞳、人物の胴体、動物の瞳、または動物の胴体であった場合、前記縮小を行う付記項３から付記項９のいずれか１項に記載の自動焦点制御装置。
［付記項１１］
前記プロセッサは、
前記対象被写体が人物、動物、または乗り物で、前記対象部位が人物の顔、動物の顔、または乗り物の運転席であり、
前記特定領域に対して前記対象部位が傾いていなかった場合は前記縮小を行わず、
前記特定領域に対して前記対象部位が傾いていた場合は前記縮小を行う付記項３から付記項１０のいずれか１項に記載の自動焦点制御装置。
［付記項１２］
前記プロセッサは、
前記対象被写体が乗り物で、前記対象部位が乗り物の先頭、または乗り物の胴体であり、
前記特定領域に対して前記対象部位が傾いておらず、かつ、前記対象被写体が正面を向いていなかった場合、前記縮小を行わず、
前記特定領域に対して前記対象部位が傾いておらず、かつ、前記対象被写体が正面を向いていた場合、並びに、前記特定領域に対して前記対象部位が傾いていた場合、前記縮小を行う付記項３から付記項１１のいずれか１項に記載の自動焦点制御装置。
［付記項１３］
前記プロセッサは、
前記高寄与度領域以外の前記他の領域の寄与度を、０よりも大きく、かつ前記高寄与度領域の寄与度よりも低い値に設定する付記項１または付記項２に記載の自動焦点制御装置。
［付記項１４］
付記項１から付記項１３のいずれか１項に記載の自動焦点制御装置を備える撮像装置。

【0135】

本開示の技術は、上述の種々の実施形態および／または種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。

【0136】

以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

【0137】

本明細書において、「Ａおよび／またはＢ」は、「ＡおよびＢのうちの少なくとも１つ」と同義である。つまり、「Ａおよび／またはＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、ＡおよびＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「および／または」で結び付けて表現する場合も、「Ａおよび／またはＢ」と同様の考え方が適用される。

【0138】

本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

【符号の説明】

【0139】

１０、１２０ 撮像装置
１１ 撮像光学系
１２、１２１ 撮像素子
１３ 対物レンズ
１４ フォーカスレンズ
１５ ズームレンズ
１６ 絞り
１７ フォーカスレンズ駆動機構
１８ ズームレンズ駆動機構
１９ 絞り駆動機構
２０ 制御部
２１ 操作部
２２ 撮像素子ドライバ
２３ シャッター
２４ シャッター駆動機構
２５ 画像入力コントローラ
２６ 画像メモリ
２７ 画像処理部
２８、５８ バスライン
２９ ＶＲＡＭ
３０ 表示制御部
３１ メディアコントローラ
３２ 指示受付部
３３ ファインダモニタ
３４ 背面モニタ
３５ メモリカード
３６ タッチパネル
４０ 光電変換部
４１ 画素
４１Ｎ 通常画素
４１Ｐ 位相差検出画素
４２ 撮像面
４３ 画像信号
４３Ｎ 画像生成用信号
４３Ｐ 演算用信号
４３ＰＳ 選定後演算用信号
４５ マイクロレンズ
４６ カラーフィルタ
４７ 光電変換素子
４９ 遮光部材
５０ 対象設定情報
５５ ストレージ
５６ ＣＰＵ
５７ メモリ
６５ 作動プログラム
６６ 検出モデル群
６７ 判定モデル群
７０ 検出部
７１ 焦点調整部
７２ 検出結果
７５ 人物瞳検出モデル
７６ 人物顔検出モデル
７７ 人物胴体検出モデル
７８ 動物瞳検出モデル
７９ 動物顔検出モデル
８０ 動物胴体検出モデル
８１ 乗り物運転席検出モデル
８２ 乗り物先頭検出モデル
８３ 乗り物胴体検出モデル
９０ 傾き判定部
９１ 向き判定部
９２ 設定部
９３ 合焦演算部
９４ フォーカスレンズ駆動制御部
１００ 傾き判定モデル
１０１ 向き判定モデル
１０２ 傾き判定結果
１０３ 向き判定結果
１０４ 設定情報
１０５ 演算結果
１１０ 表
４１１Ｐ 第１位相差検出画素
４１２Ｐ 第２位相差検出画素
４３１Ｐ 第１演算用信号
４３２Ｐ 第２演算用信号
α 位相差
ＤＡ 分割領域
ＨＣＡ 高寄与度領域
ＭＣ 縮小倍率
ＯＡ 光軸
Ｐ１、Ｐ２、Ｐ３、Ｐ４ 対角点
ＲＡ 矩形領域
Ｓ１、Ｓ２ 矩形領域の大きさ
ＳＲＡ 四角環状の領域
ＳＴ１００、ＳＴ１１０、ＳＴ１２０、ＳＴ１３０、ＳＴ１４０、ＳＴ１５０、ＳＴ１６０、ＳＴ１７０、ＳＴ１８０、ＳＴ１９０ ステップ
ＸＨＣ 高寄与度領域のＸ方向の辺の長さ
ＸＲ 矩形領域のＸ方向の辺の長さ
ＹＨＣ 高寄与度領域のＹ方向の辺の長さ
ＹＲ 矩形領域のＹ方向の辺の長さ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】