特開 2023-9969 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023009969

(43)【公開日】2023-01-20

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   H04N 23/67 20230101AFI20230113BHJP

   H04N 23/611 20230101ALI20230113BHJP

   H04N 23/63 20230101ALI20230113BHJP

   G02B 7/28 20210101ALI20230113BHJP

   G03B 13/36 20210101ALI20230113BHJP

   G03B 15/00 20210101ALI20230113BHJP

   G03B 17/18 20210101ALI20230113BHJP

【ＦＩ】

H04N5/232 127

H04N5/232 190

H04N5/232 945

G02B7/28 N

G03B13/36

G03B15/00 Q

G03B17/18 Z

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021113678

(22)【出願日】2021-07-08

(11)【特許番号】

(45)【特許公報発行日】2022-08-15

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100106518

【弁理士】

【氏名又は名称】松谷 道子

(74)【代理人】

【識別番号】100132241

【弁理士】

【氏名又は名称】岡部 博史

(74)【代理人】

【識別番号】100199314

【弁理士】

【氏名又は名称】竹内 寛

(74)【代理人】

【識別番号】100183276

【弁理士】

【氏名又は名称】山田 裕三

(72)【発明者】

【氏名】井口 卓也

(72)【発明者】

【氏名】中村 匡利

【テーマコード（参考）】

2H011

2H102

2H151

5C122

【Ｆターム（参考）】

2H011BA33

2H102AA44

2H151BA47

2H151CE14

2H151DA03

2H151DA15

2H151GA03

2H151GA17

5C122EA65

5C122FD01

5C122FD13

5C122FH11

5C122FK08

5C122FK28

5C122FK37

5C122FK41

5C122HA29

5C122HB01

5C122HB05

(57)【要約】

【課題】被写体への追従性を向上することができる撮像装置を提供すること。
【解決手段】撮像装置（１００）は、所定のフレームレートで被写体像を撮像してフレーム毎の撮像データを生成する撮像素子（１１５）と、撮像データに基づいて、フレーム毎の画像上の被写体を追従する追従動作を制御する制御部（１３５）と、を備え、制御部（１３５）は、撮像素子（１１５）が生成する撮像データ毎に、各フレームの画像上の領域に対する評価値の分布を示す分布情報（３０）に基づいて、当該フレームにおける被写体の追従結果を示す被写体領域（Ｓ）を選択して、選択された被写体領域（Ｓ）を、当該フレームに対する追従動作の制御に用いる。
【選択図】図４

【特許請求の範囲】

【請求項1】

所定のフレームレートで被写体像を撮像してフレーム毎の撮像データを生成する撮像素子と、
前記撮像データに基づいて、フレーム毎の画像上の被写体を追従する追従動作を制御する制御部と、を備え、
前記制御部は、
前記撮像素子が生成する前記撮像データ毎に、各フレームの画像上の領域に対する評価値の分布を示す分布情報に基づいて、当該フレームにおける前記被写体の追従結果を示す被写体領域を選択して、
前記選択された被写体領域を、当該フレームに対する前記追従動作の制御に用いる、撮像装置。

【請求項2】

前記評価値は、前記追従動作としての合焦動作における合焦の状態を示し、
前記制御部は、
特定のフレームにおける前記被写体領域を選択すると、当該フレームについての前記分布情報が示す評価値の分布において前記被写体領域に対する評価値を、前記合焦動作に用いる、請求項１に記載の撮像装置。

【請求項3】

前記制御部は、
前記画像上に設定される候補領域の範囲内で前記分布情報を取得し、
前記候補領域の中から前記被写体領域を選択する、請求項１又は２に記載の撮像装置。

【請求項4】

前記撮像データに対応する撮像画像に画像認識の処理を行って、前記被写体の位置情報を認識する画像認識部をさらに備え、
前記制御部は、
前記画像認識部が認識した被写体の位置情報に基づいて、前記候補領域を設定する、請求項３に記載の撮像装置。

【請求項5】

前記制御部は、
前記画像認識部の認識結果が取得できない場合に、前記被写体の前記位置情報に代えて、現フレームの前のフレームで設定された前記候補領域の位置情報に基づいて、現フレームの前記候補領域を設定する、請求項４に記載の撮像装置。

【請求項6】

前記制御部は、
前記画像認識部が認識した前記被写体の前記位置情報と、前記候補領域における現フレームの前記評価値の前記分布情報とに基づいて、前記被写体領域を選択する、請求項４又は５に記載の撮像装置。

【請求項7】

前記制御部は、
前記画像認識部が認識した前記被写体の複数フレームにおける位置ずれ量が所定の閾値よりも大きいか否かを判断し、
前記位置ずれ量が前記所定の閾値よりも大きいと判断した場合、前記被写体の前記位置情報に代えて、現フレームの前のフレームで選択された前記被写体領域の位置情報を用いて、前記被写体領域を選択する、請求項６に記載の撮像装置。

【請求項8】

前記撮像データに基づく撮像画像を表示する表示部をさらに備え、
前記制御部は、
前記評価値の前記分布情報に基づいて選択した前記被写体領域を表示させるように、前記表示部を制御する、請求項１から７のいずれか１つに記載の撮像装置。

【請求項9】

所定のフレームレートで被写体像を撮像してフレーム毎の撮像データを生成する撮像素子と、
前記フレーム毎の撮像データに基づいて、画像上の被写体を追従する追従動作を制御する制御部と、
前記撮像データに対応する撮像画像を表示する表示部と、を備え、
前記制御部は、
特定のフレームの画像認識により前記被写体が認識された領域を示す認識領域を、当該フレームよりも後のフレームの撮像画像上に表示するように前記表示部を制御し、
前記認識領域が表示されたフレームの撮像画像上に、前記画像認識よりも後のフレームにおける被写体の追従結果を示す被写体領域を表示するように前記表示部を制御する、撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、合焦動作などにおいて被写体を追従する動作を行う撮像装置に関する。

【背景技術】

【0002】

特許文献１は、オートフォーカス（ＡＦ）機能を有するデジタルカメラを開示している。特許文献１のデジタルカメラは、オートフォーカス機能に関連する機能として、被写体の顔を認識する顔認識機能を有する。顔認識機能により認識した被写体の顔の領域を対象として、オートフォーカスを実行できる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１－２６９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、被写体への追従性を向上することができる撮像装置を提供する。

【課題を解決するための手段】

【0005】

本開示に係る撮像装置は、所定のフレームレートで被写体像を撮像してフレーム毎の撮像データを生成する撮像素子と、前記撮像データに基づいて、フレーム毎の画像上の被写体を追従する追従動作を制御する制御部と、を備え、前記制御部は、前記撮像素子が生成する前記撮像データ毎に、各フレームの画像上の領域に対する評価値の分布を示す分布情報に基づいて、当該フレームにおける前記被写体の追従結果を示す被写体領域を選択して、前記選択された被写体領域を、当該フレームに対する前記追従動作の制御に用いる。

【発明の効果】

【0006】

本開示に係る撮像装置によると、被写体への追従性を向上させることができる。

【図面の簡単な説明】

【0007】

【図1】本開示の実施形態１に係るデジタルカメラの構成を示す図

【図2A】実施形態１に係るデジタルカメラの被写体を含む撮像画像の一例を示す図

【図2B】実施形態１に係るデジタルカメラの被写体を含む撮像画像の一例を示す図

【図3A】実施形態１に係るデジタルカメラの動作の概要を説明するための図

【図3B】実施形態１に係るデジタルカメラの動作の概要を説明するための図

【図3C】実施形態１に係るデジタルカメラの動作の概要を説明するための図

【図4】実施形態１に係るデジタルカメラのＡＦ動作の例を示すフローチャート

【図5】実施形態１に係るデジタルカメラのＡＦ動作で用いる評価値マップを示す図

【図6】実施形態１に係るデジタルカメラのＡＦ動作で用いる評価値マップを示す図

【図7】図４のフローチャートに示すＡＦ動作に関するタイミングチャート

【発明を実施するための形態】

【0008】

以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

【0009】

（実施形態１）
実施形態１では、本開示に係る撮像装置の一例として、画像認識技術に基づき被写体を認識して合焦動作を制御するデジタルカメラについて説明する。

【0010】

〔１－１．構成〕
実施形態１に係るデジタルカメラの構成について、図１を用いて説明する。

【0011】

図１は、本実施形態に係るデジタルカメラ１００の構成を示す図である。本実施形態のデジタルカメラ１００は、イメージセンサ１１５と、画像処理エンジン１２０と、表示モニタ１３０と、コントローラ１３５とを備える。さらに、デジタルカメラ１００は、バッファメモリ１２５と、カードスロット１４０と、フラッシュメモリ１４５と、操作部１５０と、通信モジュール１５５とを備える。また、デジタルカメラ１００は、例えば光学系１１０及びレンズ駆動部１１２を備える。

【0012】

光学系１１０は、フォーカスレンズ、ズームレンズ、光学式手ぶれ補正レンズ（ＯＩＳ）、絞り、シャッタ等を含む。フォーカスレンズは、イメージセンサ１１５上に形成される被写体像のフォーカス状態を変化させるためのレンズである。ズームレンズは、イメージセンサ１１５上に形成される被写体像の倍率を変化させるためのレンズである。フォーカスレンズ等は、それぞれ１枚又は複数枚のレンズで構成される。

【0013】

レンズ駆動部１１２は、光学系１１０におけるフォーカスレンズ等を駆動する。レンズ駆動部１１２はモータを含み、コントローラ１３５の制御に基づいてフォーカスレンズを光学系１１０の光軸に沿って移動させる。レンズ駆動部１１２においてフォーカスレンズを駆動する構成は、ＤＣモータ、ステッピングモータ、サーボモータ、または超音波モータなどで実現できる。

【0014】

イメージセンサ（撮像素子）１１５は、光学系１１０を介して形成された被写体像を撮像して、撮像データ（ＲＡＷデータ）を生成する。撮像データは、イメージセンサ１１５による撮像画像を示す画像データを構成する。イメージセンサ１１５は、所定のフレームレート（例えば、３０フレーム／秒）でフレーム毎の撮像データを生成する。イメージセンサ１１５における、撮像データの生成タイミングおよび電子シャッタ動作は、コントローラ１３５によって制御される。イメージセンサ１１５は、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ、またはＮＭＯＳイメージセンサなど、種々のイメージセンサを用いることができる。

【0015】

イメージセンサ１１５は、静止画像の撮像動作、スルー画像の撮像動作等を実行する。スルー画像は主に動画像であり、ユーザが静止画像の撮像のための構図を決めるために表示モニタ１３０に表示される。スルー画像及び静止画像は、それぞれ本実施形態における撮像画像の一例である。

【0016】

画像処理エンジン１２０は、イメージセンサ１１５から出力された撮像データ（ＲＡＷデータ）に対して各種の処理を施して画像データを生成したり、画像データに各種の処理を施して、表示モニタ１３０に表示するための画像を生成したりする。各種処理としては、ホワイトバランス補正、ガンマ補正、ＹＣ変換処理、電子ズーム処理、圧縮処理、伸張処理等が挙げられるが、これらに限定されない。ＹＣ変換処理を行う場合、画像処理エンジン１２０は、イメージセンサ１１５から出力された撮像データをもとにＹＣデータを生成する。ＹＣ変換処理には例えば、１フレーム分の時間を要する。ＹＣデータは、後述する画像認識部１２２による被写体の認識（例えば、顔認識）のために用いられる。画像処理エンジン１２０は、ハードワイヤードな電子回路で構成してもよいし、プログラムを用いたマイクロコンピュータ、プロセッサなどで構成してもよい。

【0017】

本実施形態において、画像処理エンジン１２０は、撮像画像の画像認識によって被写体の認識機能を実現する画像認識部１２２を含む。画像認識部１２２の詳細については後述する。

【0018】

表示モニタ１３０は、種々の情報を表示する表示部の一例である。例えば、表示モニタ１３０は、イメージセンサ１１５で撮像され、画像処理エンジン１２０で画像処理された画像データが示す画像（スルー画像）を表示する。また、表示モニタ１３０は、ユーザがデジタルカメラ１００に対して種々の設定を行うためのメニュー画面等を表示する。表示モニタ１３０は、例えば、液晶ディスプレイデバイスまたは有機ＥＬデバイスで構成できる。

【0019】

操作部１５０は、デジタルカメラ１００の外装に設けられた操作ボタンや操作レバー等のハードキーの総称であり、使用者による操作を受け付ける。操作部１５０は、例えば、レリーズボタン、モードダイヤル、タッチパネルを含む。操作部１５０はユーザによる操作を受け付けると、ユーザ操作に対応した操作信号をコントローラ１３５に送信する。

【0020】

コントローラ１３５は、デジタルカメラ１００全体の動作を統括制御する。コントローラ１３５はＣＰＵ等を含み、ＣＰＵがプログラム（ソフトウェア）を実行することで所定の機能を実現する。コントローラ１３５は、ＣＰＵに代えて、所定の機能を実現するように設計された専用の電子回路で構成されるプロセッサを含んでもよい。すなわち、コントローラ１３５は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＵ、ＦＰＧＡ、ＡＳＩＣ等の種々のプロセッサで実現できる。コントローラ１３５は１つまたは複数のプロセッサで構成してもよい。また、コントローラ１３５は、画像処理エンジン１２０などと共に１つの半導体チップで構成してもよい。

【0021】

コントローラ１３５は、イメージセンサ１１５が生成する撮像データに基づいて、フレーム毎の画像上の被写体を追従する追従動作を制御する。実施形態１における追従動作は合焦動作（オートフォーカス：ＡＦ）である。

【0022】

コントローラ１３５は、イメージセンサ１１５が出力する撮像データをもとにオートフォーカス用の評価値を取得する。取得される評価値は、撮像データから得られるＡＦ検波値であり、撮像データと同じフレームの期間中に算出可能である。実施形態１の評価値はコントラスト値である。

【0023】

バッファメモリ１２５は、画像処理エンジン１２０やコントローラ１３５のワークメモリとして機能する記録媒体である。バッファメモリ１２５は、ＤＲＡＭ(Dynamic Random Access Memory)などにより実現される。フラッシュメモリ１４５は不揮発性の記録媒体である。また、図示していないが、コントローラ１３５は各種の内部メモリを有してもよく、例えばＲＯＭを内蔵してもよい。ＲＯＭには、コントローラ１３５が実行する様々なプログラムが記憶されている。また、コントローラ１３５は、ＣＰＵの作業領域として機能するＲＡＭを内蔵してもよい。

【0024】

カードスロット１４０は、着脱可能なメモリカード１４２が挿入される手段である。カードスロット１４０は、メモリカード１４２を電気的及び機械的に接続可能である。メモリカード１４２は、内部にフラッシュメモリ等の記録素子を備えた外部メモリである。メモリカード１４２は、画像処理エンジン１２０で生成される画像データなどのデータを格納できる。

【0025】

通信モジュール１５５は、通信規格ＩＥＥＥ８０２．１１またはＷｉ－Ｆｉ規格等に準拠した通信を行う通信モジュール（回路）である。デジタルカメラ１００は、通信モジュール１５５を介して、他の機器と通信することができる。デジタルカメラ１００は、通信モジュール１５５を介して、他の機器と直接通信を行ってもよいし、アクセスポイント経由で通信を行ってもよい。通信モジュール１５５は、インターネット等の通信ネットワークに接続可能であってもよい。

【0026】

〔１－１－１．画像認識部について〕
本実施形態における画像認識部１２２の詳細を、以下説明する。

【0027】

画像認識部１２２は、例えば畳み込みニューラルネットワーク等のニューラルネットワークによる学習済みモデルを採用する。画像認識部１２２は、イメージセンサ１１５の撮像画像Ｉｍを示す情報（例えば、ＹＣデータ）を学習済みモデルに入力して、当該モデルによる画像認識処理を実行する。ＹＣデータに基づく画像認識処理には、例えば１フレーム分の時間を要する。このため、撮像データ（ＲＡＷデータ）からＹＣデータを生成するＹＣ変換処理と、ＹＣデータに基づく画像認識処理のために、例えば２フレームを要する。画像認識部１２２は、画像処理エンジン１２０とコントローラ１３５との協働によって構成されてもよい。また、画像認識部１２２としての画像処理エンジン１２０が、時系列に入力される画像に基づき動き量等を出力してもよい。

【0028】

画像認識部１２２における学習済みモデルの処理は、例えば入力された画像Ｉｍにおいて、予め設定された複数のカテゴリの何れかに分類される被写体が映っている領域を示す位置情報を、各カテゴリに対応付けて出力する。複数のカテゴリは、例えば、人の体、顔および瞳といった人の各部、並びに動物の体、顔および瞳といった動物の各部を含む。位置情報は、例えば処理対象の画像Ｉｍ上の水平座標及び垂直座標で規定され、例えば認識された被写体を矩形状に囲む領域を示す（図２Ａでは顔領域Ｆとして一点鎖線で図示）。

【0029】

以上のような画像認識部１２２の学習済みモデルは、例えば、各カテゴリの被写体が映った画像を正解とする正解ラベルを関連付けた画像データを教師データとして用いた教師あり学習によって得ることができる。学習済みモデルは、各カテゴリの認識結果に関する信頼度或いは尤度を生成してもよい。

【0030】

画像認識部１２２の学習済みモデルはニューラルネットワークに限らず、種々の画像認識に関する機械学習モデルであってもよい。また、画像認識部１２２は機械学習に限らず、種々の画像認識アルゴリズムを採用してもよい。また、画像認識部１２２は、例えば人の顔および瞳などの一部のカテゴリに対する認識がルールベースの画像認識処理によって行われるように構成されてもよい。また、画像認識部１２２は、ＤＦＤ(Depth From Defocus)、追尾、及びＭＥ等の各種アルゴリズムにより、被写体の動きを認識してもよい。画像認識部１２２は、例えばＤＳＰ等で構成されてもよい。また、画像認識部１２２は、画像処理エンジン１２０とは別に構成されてもよく、コントローラ１３５と一体的に構成されてもよい。

【0031】

実施形態１の画像認識部１２２は、被写体である人の顔を認識する顔認識部である。顔認識部である画像認識部１２２が認識した顔の位置情報に基づいて、コントローラ１３５は、被写体の顔に対応する「顔領域」を、表示モニタ１３０に表示させてもよい。

【0032】

〔１－２．動作〕
以上のように構成されるデジタルカメラ１００の動作について、以下説明する。

【0033】

デジタルカメラ１００は、光学系１１０を介して形成された被写体像をイメージセンサ１１５で撮像して撮像データ（ＲＡＷデータ）を生成する。画像処理エンジン１２０は、イメージセンサ１１５により生成された撮像データに対して各種処理を施して画像データを生成する。コントローラ１３５は、例えば静止画像の撮像動作において、画像処理エンジン１２０にて生成された画像データをカードスロット１４０に装着されたメモリカード１４２に記録する。

【0034】

また、デジタルカメラ１００は、動画あるいは静止画像の撮像動作において、表示モニタ１３０にスルー画像を表示させる。表示モニタ１３０のスルー画像に基づいて、ユーザは動画の撮影、あるいは、静止画像の撮像のための構図を確認することができる。スルー画像を表示しているときに、コントローラ１３５は、光学系１１０のフォーカスレンズを駆動するようにレンズ駆動部１１２を制御する合焦動作を行う。合焦動作は、例えば動画の撮像動作では自動で行い、静止画像の撮像動作ではユーザによるレリーズボタンの操作に応じて行われる。

【0035】

以上のような合焦動作を行う際に、本実施形態のデジタルカメラ１００は、例えばスルー画像等の撮像画像Ｉｍに対する画像認識によって被写体を認識し、認識された被写体に応じて、撮像画像Ｉｍ上で合焦の対象とする範囲の画像領域を示す合焦領域を設定する。合焦領域は「ＡＦ領域」と称してもよい。図２Ａ、図２Ｂを用いて、本実施形態に係るデジタルカメラ１００の動作の概要を説明する。

【0036】

図２Ａ、図２Ｂは、デジタルカメラ１００の被写体２０を含む撮像画像Ｉｍの一例を示す図である。なお、図２Ａ、図２Ｂに示す撮像画像Ｉｍは、表示モニタ１３０にそのまま表示されるものではなく、後述するマップ領域Ｍや評価値分布情報３０の領域情報、評価値分布情報３０における数値情報等の表示は省略してもよい。

【0037】

デジタルカメラ１００は、画像認識部１２２において、被写体２０の顔に対応する顔領域Ｆ（図２Ａ）を特定する。デジタルカメラ１００は、顔領域Ｆの特定と並行して、コントローラ１３５においてマップ領域Ｍ（図２Ａ、図２Ｂ）を設定する。マップ領域Ｍは、評価値の分布を示す分布情報としての評価値分布情報３０（図２Ｂ）を取得する対象領域である。図２Ａでは、評価値分布情報３０の図示を省略している。評価値分布情報３０は、「評価値マップ３０」と称してもよい。マップ領域Ｍは、評価値分布情報３０の評価値に基づいて、後述するＡＦ選択領域Ｓ（図２Ａ）を選択するための「候補領域」である。

【0038】

図２Ｂに示す評価値分布情報３０を構成する各評価値は、イメージセンサ１１５が生成するＲＡＷデータから得られるＡＦ検波値（例えばコントラスト値）である。すなわち、現フレームのＡＦ検波値である。図２Ｂでは、評価値分布情報３０の一部の領域（セル）に模式的なＡＦ検波値を表記し、他の領域では数値の表記を省略している。

【0039】

前述した通り、ＲＡＷデータに基づく顔認識処理には数フレーム（例えば２フレーム分）の時間を要し、顔領域Ｆにはフレーム遅延が生じる。一方、マップ領域Ｍで取得される評価値分布情報３０の評価値は、現フレームのＲＡＷデータから得られるＡＦ検波値であり、フレーム遅延の影響を受けない。

【0040】

デジタルカメラ１００は、マップ領域Ｍにおける評価値分布情報３０に基づいて、合焦領域に使用するためのＡＦ選択領域Ｓを選択する。ＡＦ選択領域Ｓは、各フレームにおける被写体２０の追従結果を示す「被写体領域」である。ＡＦ選択領域Ｓの具体的な選択方法については後述する。デジタルカメラ１００は、選択したＡＦ選択領域Ｓにおける評価値分布情報３０の評価値を用いて、合焦動作を実行する。

【0041】

上記方法によれば、現フレームの評価値であるＡＦ検波値に基づいてＡＦ選択領域Ｓ（合焦領域）を選択するとともに合焦動作を実行するため、フレーム遅延の影響を少なくしながら合焦動作を実行することができる。これにより、被写体２０が動く場合であっても被写体２０に精度良く追従しながら合焦動作を実行することができ、被写体２０への追従性の高いオートフォーカス機能を実現することができる。

【0042】

顔領域Ｆについては、マップ領域Ｍの基準位置を決定するために、顔領域Ｆの位置情報のみが用いられる。コントローラ１３５は例えば、顔領域Ｆの中心位置を基準にマップ領域Ｍを設定する。また、コントローラ１３５は、ＡＦ選択領域Ｓの基準セルＳａ（図６）を選択する際に顔領域Ｆの位置情報を用いる場合がある。

【0043】

図３Ａ～図３Ｃは、被写体２０が動く場合において複数フレームにわたる一連の撮像画像Ｉｍの一例を示す図である。

【0044】

まず、図３Ａに示す状態から被写体２０が移動を開始する（矢印２２）。被写体２０が静止しているときは、画像認識部１２２の認識結果である顔領域Ｆは、フレーム遅延の影響が少なく被写体２０の顔に概ね重なりやすい。図３Ａに示す例では、評価値分布情報３０に基づいて選択されるＡＦ選択領域Ｓも被写体２０の顔に重なっている。この状態から被写体２０が移動すると、図３Ｂに示すように、フレーム遅延の影響により、被写体２０の動き（右側）に対して、顔領域Ｆが反対側（左側）へずれ始める。被写体２０の動きが速くなるほど、顔領域Ｆの位置ずれは大きくなり、図３Ｃに示すように顔領域Ｆが被写体２０の顔から大きくずれると、被写体２０の顔を含む範囲よりも被写体２０の周囲にある背景等を含む割合が高くなる。このような状態で顔領域Ｆを合焦領域として合焦動作を実行すると、被写体２０の顔ではなく背景等にピントが合ってしまい、所望の被写体２０に合焦させることができない場合がある。

【0045】

これに対して、実施形態１のコントローラ１３５が選択するＡＦ選択領域Ｓは、現フレームの評価値（ＡＦ検波値）に基づいて選択される領域であり、フレーム遅延の影響を抑制できる。図３Ａ～図３Ｃに示すように、ＡＦ選択領域Ｓは被写体２０の動きに精度良く追従する。ＡＦ選択領域Ｓにおける現フレームの評価値（評価値分布情報３０）を用いて合焦動作を実行することで、被写体２０が移動する場合であっても被写体２０に精度良く追従しながら合焦動作を実行することができ、被写体２０への追従性の高いオートフォーカス機能を実現することができる。

【0046】

コントローラ１３５は、図３Ａ～図３Ｃに示すようなＡＦ選択領域Ｓを含んだ撮像画像Ｉｍを表示モニタ１３０に表示させてもよい。フレーム遅延の影響を受けにくく、被写体２０への追従性の高いＡＦ選択領域Ｓを表示することで、ユーザに安心感を与えるとともに利便性を向上させることができる。この場合、顔領域Ｆの表示は省略してもよい。

【0047】

以下、本実施形態のデジタルカメラ１００の動作の詳細を説明する。

【0048】

〔１－２－２．動作の詳細〕
図４～図７を用いて、本実施形態に係るデジタルカメラ１００のＡＦ動作の詳細を説明する。以下では、デジタルカメラ１００の動作の一例として、自動認識ＡＦモードによる動画撮影の動作例を説明する。自動認識ＡＦモードでは、画像認識部１２２の認識結果およびその他の情報に応じて合焦領域を設定する。なお、動画撮影に限らず、静止画像の撮影やスルー画像の撮影などにおけるＡＦＣ(Auto Focus Continuous)モードにも適用可能である。ＡＦＣモードは、デジタルカメラ１００において、例えばレリーズボタンが半押しのときに、フォーカスを調整し続けるように合焦動作を行う動作モードである。

【0049】

図４は、本実施形態に係るデジタルカメラ１００の自動認識ＡＦモードの動作例を示すフローチャートである。

【0050】

図４のフローチャートによる各処理は、デジタルカメラ１００のコントローラ１３５によってフレーム毎に実行される。

【0051】

まず、コントローラ１３５は、顔検出の結果があるか否かを判断する（Ｓ１）。具体的には、画像認識部１２２の認識結果である「顔領域Ｆ」に関する情報が出力されている場合に、顔検出の結果があると判断し（Ｓ１でＹＥＳ）、当該情報が出力されていない場合に、顔検出の結果がないと判断する（Ｓ１でＮＯ）。

【0052】

顔検出の結果があると判断した場合（Ｓ１でＹＥＳ）、コントローラ１３５は、顔領域Ｆの位置を基準にマップ領域Ｍを設定する（Ｓ２）。コントローラ１３５は例えば、図２Ａに例示したように、顔領域Ｆの中心位置を基準として、顔領域Ｆと略同じ縦幅、且つ数倍分（例えば３～５倍）の横幅を有する略矩形状のマップ領域Ｍを設定する。このような場合に限らず、顔領域Ｆの位置情報に基づいてマップ領域Ｍを設定すれば、マップ領域Ｍの寸法や形状は任意であってもよい。

【0053】

実施形態１のコントローラ１３５は、顔領域Ｆの位置を基準にマップ領域Ｍを設定する際に、１フレーム前の顔領域Ｆの位置情報を用いてマップ領域Ｍを設定する。１フレーム前の顔領域Ｆの位置情報を用いることで、現フレームへの移行時にマップ領域Ｍの範囲を設定しておくことができる。これにより、現フレームへの移行とともにＡＦ選択領域Ｓの選択を実行することができる。１フレーム前の顔領域Ｆの位置は、現フレームの被写体２０の位置に対してずれている可能性があるが、マップ領域Ｍを顔領域Ｆよりも広い範囲（例えば顔領域Ｆの横幅を数倍分長くした領域）に設定することで、現フレームの被写体２０が存在する可能性の高い領域を含めるようにマップ領域Ｍを設定できる。

【0054】

一方、顔検出の結果がないと判断した場合（Ｓ１でＮＯ）、コントローラ１３５は、前フレームと同じ位置にマップ領域Ｍを設定する（Ｓ３）。これにより、顔領域Ｆが特定されない場合でも、マップ領域Ｍを簡便な方法で設定することができる。ステップＳ２と同様に、マップ領域Ｍの範囲を顔領域Ｆよりも広い範囲に設定することで、現フレームの被写体２０が存在する可能性の高い領域を含めるようにマップ領域Ｍを設定できる。

【0055】

コントローラ１３５は、マップ領域Ｍにおいて、評価値の分布情報（評価値分布情報３０）に関する「評価値マップ」を作成する（Ｓ４）。ここで、評価値マップの作成方法について、図５を用いて説明する。

【0056】

図５は、評価値マップの作成方法を説明するための例示的な図である。図５の（ａ）に示すように、ステップＳ１、Ｓ２で設定したマップ領域Ｍは、複数の領域（セル）を含んでおり、コントローラ１３５は、個々のセル毎に、イメージセンサ１１５が生成するＲＡＷデータから得られるＡＦ検波値（評価値）を取得する。これらのＡＦ検波値は、評価値の分布情報である評価値分布情報３０Ａを構成する。これにより、評価値分布情報３０Ａを有する「評価値マップ」が作成される（以下、「評価値マップ３０Ａ」とも称する。）。図５では、例示的なＡＦ検波値を記載している。ＡＦ検波値がコントラスト値である場合、評価値マップは「エッジ強度マップ」と称してもよい。

【0057】

コントローラ１３５はさらに、評価値分布情報３０Ａの評価値に対して、正規化を行う。コントローラ１３５は例えば、平均値が０、標準偏差が１となるように、評価値分布情報３０Ａの評価値を正規化する。これにより、図５の（ｂ）に示すように、評価値の偏差値データに基づく評価値分布情報３０Ｂ、すなわち評価値マップ３０Ｂが得られる。実施形態１のコントローラ１３５は、偏差値データに基づく評価値マップ３０Ｂを用いて、ＡＦ選択領域Ｓの選択を行う（後述するステップＳ７、Ｓ８）。偏差値データを用いることで、ＡＦ検波値の絶対値が撮影シーンやフレームによってバラつく場合でも、バラつきの影響を小さくしながらＡＦ選択領域Ｓを選択することができる。

【0058】

図４に戻ると、コントローラ１３５は、顔検出の結果があるか否かを判断する（Ｓ５）。ステップＳ５の判断方法はステップＳ１の判断方法と同様であり、説明を省略する。

【0059】

顔検出の結果があると判断した場合（Ｓ５でＹＥＳ）、コントローラ１３５は、顔領域Ｆが、現在以前の複数フレームで同じ位置にあるか否かを判断する（Ｓ６）。具体的には、複数フレームにおける顔領域Ｆの位置ずれ量を算出し、位置ずれ量が所定の閾値よりも小さい場合は同じ位置にあると判断し（Ｓ６でＹＥＳ）、所定の閾値よりも大きい場合は同じ位置にないと判断する（Ｓ６でＮＯ）。コントローラ１３５は例えば、現フレームの顔領域Ｆの中心位置と１つ前のフレームの顔領域Ｆの中心位置の位置ずれ量に基づいて、当該判断を行う。なお、現フレームと１つ前のフレームに限らず、例えば更に過去のフレーム等、その他のフレームで特定される顔領域Ｆの位置情報を考慮してもよい。

【0060】

顔領域Ｆが複数フレームで同じ位置にあると判断した場合（Ｓ６でＹＥＳ）、コントローラ１３５は、評価値マップ３０Ｂにおいて、顔領域Ｆの基準セルに基づいて、ＡＦ選択領域Ｓを選択する（Ｓ７）。具体的な選択方法について、図６を用いて説明する。

【0061】

図６の（ｂ）に示すように、ステップＳ４で作成した偏差値データに基づく評価値マップ３０Ｂにおいて、現フレームの顔領域Ｆの中心に相当するセルを特定する（以下、「基準セルＳａ」と称する。）。図６の（ｂ）では、例示的な顔領域Ｆの位置・範囲を示す。基準セルＳａに含まれる評価値を「基準評価値」と称する。図６に示す例では、基準評価値は－１．３１６である。

【0062】

基準セルＳａを決定するための顔領域Ｆは２フレーム分のフレーム遅延が生じているが、ステップＳ６で顔領域Ｆが複数フレームで同じ位置にあると判断され、被写体２０が静止している可能性が高いことが想定される。このため、現フレームの被写体２０が存在する可能性の高い位置を基準セルＳａとすることができる。

【0063】

コントローラ１３５はさらに、評価値マップ３０Ｂにおいて、基準評価値に近い範囲の評価値を有するセルをＡＦ選択領域Ｓとして選択する。コントローラ１３５は例えば、基準評価値の±１０％以内の評価値を有するセルを、ＡＦ選択領域Ｓとして選択する。

【0064】

ここで、被写体２０の顔が存在する領域では、ＡＦ検波値が互いに近い値になるとともに、被写体２０が存在しない背景等の領域とは異なる値になる傾向がある。例えば、被写体２０が存在する領域のＡＦ検波値は相対的に低く、被写体２０が存在しない領域ではＡＦ検波値が相対的に高い。このような傾向を利用して、基準セルＳａの基準評価値の近傍の範囲内における評価値を有するセルをＡＦ選択領域Ｓとして選択することで、現フレームの被写体２０の顔が存在する領域を対象とするようにＡＦ選択領域Ｓを選択することができる。

【0065】

なお、基準評価値の±１０％以内に限らず、その他の数値範囲や基準を用いて、ＡＦ選択領域Ｓを選択してもよい。

【0066】

コントローラ１３５は、ＡＦ選択領域Ｓの評価値をＡＦ評価値とする（Ｓ９）。具体的には、コントローラ１３５は、ＡＦ選択領域Ｓにおける現フレームの評価値（ＡＦ検波値）を用いて、合焦動作を実行する。コントローラ１３５は、偏差値データである評価値マップ３０Ｂの評価値ではなく、図６の（ａ）に示すように、正規化前の元データ（ＡＦ検波値）である評価値マップ３０Ａの評価値をＡＦ評価値として、合焦動作を実行する。ＡＦ検波値を用いて合焦動作を実行することで、フレーム遅延の影響を受けにくくしながら合焦動作を実行することができる。これにより、被写体２０が移動する場合でも精度良く追従しながら合焦動作を実行することができ、被写体２０への追従性の高いオートフォーカス機能を実現することができる。

【0067】

図４に戻ると、ステップＳ５において顔検出の結果がないと判断された場合（Ｓ５でＮＯ）、コントローラ１３５は、評価値マップ３０Ｂにおいて、前フレームのＡＦ選択領域Ｓの基準セルＳａに基づいて、ＡＦ選択領域Ｓを選択する（Ｓ８）。具体的には、図６の（ｂ）に示した評価値マップ３０Ｂにおいて、現フレームの顔領域Ｆの中心位置に代えて、現フレームの１つ前のフレームで選択されたＡＦ選択領域Ｓの中心位置に相当するセルを、基準セルＳａとする。基準セルＳａの基準評価値に基づくＡＦ選択領域Ｓの選択方法については、ステップＳ７と同様であり、基準評価値に近い範囲内の評価値を有するセルをＡＦ選択領域Ｓとして選択する。

【0068】

これにより、画像認識部１２２の認識結果がない場合でも、簡便な方法でＡＦ選択領域Ｓを選択することができる。前フレームで選択されたＡＦ選択領域Ｓの中心に位置するセルを基準セルＳａに決定することで、現フレームでも被写体２０の顔が残っている可能性の高いセルの評価値を基準評価値として、ＡＦ選択領域Ｓを選択することができる。

【0069】

また、ステップＳ５で顔検出の結果があると判断された場合でも（Ｓ５でＹＥＳ）、顔領域Ｆが複数フレームで同じ位置にないと判断した場合（Ｓ６でＮＯ）、コントローラ１３５は、ステップＳ５でＮＯと判断した場合と同様に、ステップＳ８を実行する。顔領域Ｆが複数フレームで同じ位置にない場合は、被写体２０が移動中であり、図３Ｂ、図３Ｃに示したように、フレーム遅延の影響によって顔領域Ｆが現フレームの被写体２０に対してずれていることが想定される。このため、現フレームの顔領域Ｆの位置情報に代えて、前フレームのＡＦ選択領域Ｓの位置情報に基づいて基準セルＳａを決定することで、簡便な方法且つ、被写体２０の顔が残っている可能性の高いセルの評価値を基準評価値としてＡＦ選択領域Ｓを選択することができる。

【0070】

上述したステップＳ１～Ｓ９の動作フローに関するタイミングチャートを図７に示す。

【0071】

図７において、「ＶＤ」は、垂直同期信号を示し、「フレーム」は、垂直同期信号によって規定されるフレームを示す。図７では、何番目のフレームで生成されたＲＡＷデータに対応するかについての指標として、「０」～「５」の数値を例示する。

【0072】

「ＲＡＷデータ」は、イメージセンサ１１５が出力する撮像データを示す。「ＡＦ検波値」は、ＲＡＷデータから得られるＡＦ検波値（評価値）を示す。「ＹＣデータ」は、ＲＡＷデータに対して所定の演算処理を行うことで生成されるＹＣデータを示す。ＹＣデータを生成する演算処理に１フレーム掛かるため、「ＹＣデータ」の値は、ＲＡＷデータとＡＦ検波値に対して１フレーム分遅延する。「顔領域データ」は、ＹＣデータに対して所定の演算処理を行うことで認識される顔領域Ｆに関するデータを示す。ＹＣデータから顔領域データを認識する演算処理に１フレーム掛かるため、「顔領域データ」の値はＹＣデータに対して１フレーム分遅延し、ＲＡＷデータおよびＡＦ検波値に対しては２フレーム分遅延する。

【0073】

図７における（１）～（８）の表記は、図４のフローチャートにおけるステップＳ１～Ｓ９のいずれの処理に対応するかを示す。以下、（１）～（８）の各処理について説明する。

【0074】

（１）：コントローラ１３５は、顔検出の結果があるか否かを判断する（Ｓ１）。図７に示す例では、第２フレームの顔検出の結果として、第０フレームのＲＡＷデータに対応する顔領域データ（顔領域Ｆの位置情報）が出力されている（Ｓ１でＹＥＳ）。

【0075】

（２）：顔検出の結果がある場合（Ｓ１でＹＥＳ）、コントローラ１３５は、顔領域Ｆの位置を基準に、マップ領域Ｍを設定する（Ｓ２）。図７に示す例では、第２フレームで特定された顔領域Ｆの位置情報（例えば顔領域Ｆの中心位置）に基づいて、第３フレームにおけるマップ領域Ｍを設定する。

【0076】

（３）：顔検出の結果がない場合（Ｓ１でＮＯ）、コントローラ１３５は、前フレームと同じ位置にマップ領域Ｍを設定する（Ｓ３）。図７に示す例では、第２フレームで設定されたマップ領域Ｍと同じ位置に、第３フレームのマップ領域Ｍを設定する。

【0077】

上述した（２）、（３）では、第３フレームのマップ領域Ｍを設定する際に、前フレームである第２フレームの顔領域Ｆあるいはマップ領域Ｍの位置情報を用いている。このため、第３フレームへの移行時にマップ領域Ｍを設定しておくことができる。

【0078】

（４）：コントローラ１３５は、評価値マップ３０を作成する（Ｓ４）。具体的には、（２）、（３）で設定したマップ領域Ｍを構成するセル毎に、第３フレーム（現フレーム）の出力結果であるＡＦ検波値を取得する。これにより、図５に示すように、現フレームの評価値の分布に関する評価値マップ３０Ａが得られる。このようにして、評価値マップ３０Ａを１フレーム未満の間に作成することができる。なお、評価値マップ３０Ａの作成とともに評価値の正規化を行い、偏差値データに基づく評価値マップ３０Ｂを取得する。正規化処理には１フレーム以上の処理時間が必要ではなく、評価値マップ３０Ａの作成とともに評価値マップ３０Ｂを作成できる。

【0079】

（５）：コントローラ１３５は、顔領域Ｆが複数フレームで同じ位置にあるか否かを判断する（Ｓ６）。図７に示す例では、第２フレーム（前フレーム）の顔領域Ｆと第３フレーム（現フレーム）の顔領域Ｆの位置情報に基づいて、当該判定を行う。

【0080】

（６－１）、（６－２）：コントローラ１３５は、顔領域Ｆの基準セルＳａの基準評価値に基づいて、ＡＦ選択領域Ｓを選択する（Ｓ７）。図７に示す例では、（４）で作成した第３フレームの評価値マップ３０Ｂにおいて、同じ第３フレームで特定された顔領域Ｆの中心に相当するセルを基準セルＳａ（図６）に決定する（６－１）。さらに、評価値マップ３０Ｂにおいて、基準セルＳａの基準評価値に近い範囲内の評価値を有するセルをＡＦ選択領域Ｓとして選択する（６－２）。前述した評価値の正規化処理は、ＡＦ選択領域Ｓの選択（６－２）にあわせて実行する場合であってもよい。

【0081】

第３フレームで特定される顔領域Ｆは、第１フレームのＡＦ検波値に対応する領域であり、２フレーム分のフレーム遅延が生じている。基準セルＳａを決定する際には顔領域Ｆの中心という位置情報を用いるものの、ＡＦ選択領域Ｓの選択においては、現フレームである第３フレームの値（評価値分布情報３０Ｂ）を用いて範囲を選択している。これより、ＡＦ選択領域Ｓの選択範囲には、フレーム遅延の影響を受けにくくすることができる。

【0082】

（７－１）、（７－２）：コントローラ１３５は、前フレームのＡＦ選択領域Ｓの基準セルＳａの基準評価値に基づいて、ＡＦ選択領域Ｓを選択する（Ｓ８）。図７に示す例では、（４）で作成した第３フレームの評価値マップ３０Ｂにおいて、前フレームである第２フレームで選択されたＡＦ選択領域Ｓの中心に相当するセルを基準セルＳａに決定する（７－１）。さらに、評価値マップ３０Ｂにおいて、基準セルＳａの基準評価値に近い値の評価値を有するセルをＡＦ選択領域Ｓとして選択する（７－２）。

【0083】

第２フレームで選択されたＡＦ選択領域Ｓは、第２フレームのＡＦ検波値に対応する領域である。よって、（７－１）で第３フレームの評価値マップ３０Ｂにおいて基準セルＳａを決定する際に、前フレームのＡＦ選択領域Ｓの中心という位置情報を用いるものの、ＡＦ選択領域Ｓの選択においては、現フレームである第３フレームの値（評価値分布情報３０Ｂ）を用いて範囲を選択している。これより、ＡＦ選択領域Ｓの選択範囲には、フレーム遅延の影響を受けにくくすることができる。

【0084】

（８）：コントローラ１３５は、ＡＦ選択領域Ｓの評価値をＡＦ評価値として（Ｓ９）、合焦動作を実行する。具体的には、（６－２）あるいは（７－２）で選択したＡＦ選択領域Ｓにおける、評価値マップ３０Ａの評価値（図６の（ａ））に応じて、合焦動作を制御する。当該評価値は、現フレームである第３フレームのＡＦ検波値であるため、合焦動作の際にフレーム遅延の影響を受けないようにすることができる。これにより、従来の自動認識モードのように顔領域Ｆを合焦領域として合焦動作を実行する場合に比べて、フレーム遅延の影響を受けにくくしながら合焦動作を実行することができる。このため、被写体２０への追従性の高いオートフォーカス機能を実現することができ、背景等の意図しない領域ではなく、所望の被写体２０を含む領域（例えば人の顔）に合焦させやすくなる。

【0085】

実施形態１のデジタルカメラ１００は特に、フォーカスレンズを駆動するコントラスト方式の合焦動作を実行するものであり、フレーム間で評価値の大きさ（即ち絶対値）がバラつく事態が考えられる。これに対して、現フレームよりも前のフレームの評価値自体は用いずに、現フレームの評価値（ＡＦ検波値）を用いてＡＦ選択領域Ｓの選択および合焦動作を実行することで、フレーム間の評価値のバラつきによる影響を受けないようにしながら合焦動作を実行することができる。また、偏差値データに基づく評価値分布情報３０Ｂを用いてＡＦ選択領域Ｓを選択するため、撮影シーン等による評価値のバラつきによる影響も受けにくくしながら、ＡＦ選択領域Ｓを選択することができる。

【0086】

〔１－３．効果等〕
以上のように、本実施形態において、撮像装置の一例であるデジタルカメラ１００は、所定のフレームレートで被写体像を撮像してフレーム毎の撮像データ（ＲＡＷデータ）を生成するイメージセンサ１１５（撮像素子）と、撮像データに基づいて、フレーム毎の画像上の被写体２０に合焦する合焦動作（被写体２０を追従する追従動作）を制御するコントローラ１３５（制御部）と、を備える。コントローラ１３５は、イメージセンサ１１５が生成する撮像データ毎に、各フレームの画像上の領域に対する評価値の分布を示す評価値分布情報３０（分布情報）に基づいて、当該フレーム（例えば、現フレーム）における被写体２０の追従結果を示すＡＦ選択領域Ｓ（被写体領域）を選択して、選択されたＡＦ選択領域Ｓを、当該フレームに対する合焦動作の制御に用いる。

【0087】

以上のデジタルカメラ１００によると、各フレームの画像において、評価値分布情報３０に基づいて選択したＡＦ選択領域Ｓを、各フレームに対する被写体２０の追従動作の制御に用いている。これにより、フレーム遅延の影響を少なくしながら被写体２０の追従動作を実行することができ、被写体２０への追従性を向上させることができる。

【0088】

本実施形態において、評価値は、追従動作としての合焦動作における合焦の状態を示し、コントローラ１３５は、特定のフレーム（例えば、現フレーム）におけるＡＦ選択領域Ｓを選択すると、当該フレームについての評価値分布情報３０が示す評価値の分布においてＡＦ選択領域Ｓに対する評価値を、合焦動作に用いる。これにより、フレーム遅延の影響を少なくしながら合焦動作を実行することができ、被写体２０への追従性の高いオートフォーカス機能を実現することができる。

【0089】

本実施形態において、コントローラ１３５は、画像上に設定されるマップ領域Ｍ（候補領域）の範囲内で評価値分布情報３０を取得し、マップ領域Ｍの中からＡＦ選択領域Ｓを選択する。これにより、画像上で被写体２０が存在する可能性が高い領域を絞った上で、合焦動作に用いるＡＦ選択領域Ｓを選択することができる。

【0090】

本実施形態において、デジタルカメラ１００は、撮像データに対応する撮像画像Ｉｍに画像認識の処理を行って、被写体２０の位置情報を認識する画像認識部１２２をさらに備える。コントローラ１３５は、画像認識部１２２の認識結果である顔領域Ｆの位置情報（画像認識部１２２が認識した被写体２０の位置情報）に基づいて、マップ領域Ｍを設定する。これにより、簡便な方法でマップ領域Ｍを設定することができるとともに、顔領域Ｆに対してマップ領域Ｍを広めに設定することで、被写体２０の移動がある程度の速さであれば、現フレームの被写体２０が存在する可能性の高い領域を含めるようにマップ領域Ｍを設定できる。

【0091】

本実施形態において、コントローラ１３５は、画像認識部１２２の認識結果が取得できない場合に、顔領域Ｆの位置情報に代えて、現フレームの前のフレームで設定されたマップ領域Ｍの位置情報に基づいて、現フレームのマップ領域Ｍを設定する。これにより、被写体２０の認識結果が取得できない場合でも、マップ領域Ｍを簡便な方法、且つ被写体２０が存在する可能性の高い領域を含むようにしてマップ領域Ｍを設定することができる。

【0092】

本実施形態において、コントローラ１３５は、画像認識部１２２の認識結果である顔領域Ｆの位置情報（例えば顔領域Ｆの中心）と、マップ領域Ｍにおける現フレームの評価値分布情報３０Ｂとに基づいて、ＡＦ選択領域Ｓを選択する。これにより、被写体２０が存在する可能性の高い領域を含むようにＡＦ選択領域Ｓを選択することができる。

【0093】

本実施形態において、コントローラ１３５は、画像認識部１２２の認識結果である顔領域Ｆの複数フレームにおける位置ずれ量が所定の閾値よりも大きいか否かを判断する。コントローラ１３５はさらに、位置ずれ量が所定の閾値よりも大きいと判断した場合、顔領域Ｆの位置情報に代えて、現フレームの前のフレームで選択されたＡＦ選択領域Ｓの位置情報（例えば前フレームのＡＦ選択領域Ｓの中心）を用いて、現フレームのＡＦ選択領域Ｓを選択する。これにより、被写体２０が移動中であることが想定される場合に、画像認識部１２２の認識結果である顔領域Ｆの位置情報に代えて、前フレームのＡＦ選択領域Ｓの位置情報を用いて現フレームのＡＦ選択領域Ｓを選択することで、フレーム遅延の影響を少なくしながら、ＡＦ選択領域Ｓを簡便な方法で選択することができる。

【0094】

本実施形態において、評価値分布情報３０Ｂは、評価値の偏差値データに関する分布情報である。これにより、評価値の絶対値が撮影シーンやフレームに応じてバラつく場合でも、バラつきによる影響を低減しながらＡＦ選択領域Ｓを選択することができる。

【0095】

本実施形態において、デジタルカメラ１００は、撮像データに基づく撮像画像Ｉｍを表示する表示モニタ１３０（表示部）をさらに備える。コントローラ１３５は、評価値分布情報３０Ｂに基づいて選択したＡＦ選択領域Ｓを表示させるように、表示モニタ１３０を制御する。これにより、現フレームの評価値に基づいて選択したＡＦ選択領域Ｓを表示することで、被写体２０の動きに追従した合焦領域を表示することができ、ユーザに安心感を与えるとともに利便性を向上させることができる。

【0096】

本実施形態において、イメージセンサ１１５は、フォーカスレンズを含む光学系１１０を介して被写体像を撮像する。コントローラ１３５は、光学系１１０における光軸に沿ってフォーカスレンズの位置を調整して、合焦動作を実行する。これにより、フォーカスレンズの位置を調整する場合はフレーム毎の評価値の絶対値がバラつきやすいのに対して、各フレームにおける評価値分布情報３０に基づいて選択したＡＦ選択領域Ｓを用いて合焦動作を制御することで、評価値の絶対値のバラつきの影響を小さくしながら合焦動作を実行することができる。

【0097】

また、本実施形態において、撮像装置の一例であるデジタルカメラ１００は、所定のフレームレートで被写体像を撮像してフレーム毎の撮像データ（ＲＡＷデータ）を生成するイメージセンサ１１５（撮像素子）と、フレーム毎の撮像データに基づいて、画像上の被写体２０を合焦する合焦動作（被写体２０を追従する追従動作）を制御するコントローラ１３５（制御部）と、撮像データに対応する撮像画像Ｉｍを表示する表示モニタ１３０（表示部）と、を備える。コントローラ１３５は、特定のフレーム（例えば、現フレームよりも前のフレーム）の画像認識により被写体２０が認識された領域を示す顔領域Ｆ（認識領域）を、当該フレームよりも後のフレーム（例えば、現フレーム）の撮像画像Ｉｍ上に表示するように表示モニタ１３０を制御する。コントローラ１３５はさらに、顔領域Ｆが表示されたフレーム（例えば、現フレーム）の撮像画像Ｉｍ上に、画像認識よりも後のフレーム（例えば、現フレーム）における被写体２０の追従結果を示すＡＦ選択領域Ｓ（被写体領域）を表示するように表示モニタ１３０を制御する。

【0098】

以上のデジタルカメラ１００によると、画像認識の結果である顔領域Ｆよりも、フレーム遅延が解消されたＡＦ選択領域Ｓを表示することで、ユーザに対してデジタルカメラ１００の追従性能の高さを可視化することができる。

【0099】

（他の実施形態）
以上のように、本出願において開示する技術の例示として、実施形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。また、上記実施形態１で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

【0100】

上記の実施形態１では、画像認識部１２２が被写体の顔を認識する顔認識部である場合について説明したが、このような場合に限らない。例えば、画像認識部１２２が撮像データにおける「色」を認識する「色認識部」に適用されてもよい。すなわち、顔認識機能を具備するデジタルカメラ１００に代えて、色追尾機能を具備するデジタルカメラにおいても本開示と同様の技術を適用してもよい。

【0101】

具体的には、画像認識部１２２が色認識部である場合、イメージセンサ１１５が生成する撮像データのセル毎に、色の種類に対応する数値情報（評価値）が取得される。当該評価値に関して、図５、図６に示した評価値の分布情報に関する評価値マップを作成し、同様の方法によりマップ領域Ｍを設定して、被写体の追従結果を示す被写体領域を選択すればよい。これにより、特定の色の領域に対して精度良く追従する領域を用いて追従動作を実行することができ、被写体への追従性の高い色追尾機能を実現することができる。

【0102】

また、上記の実施形態１では、デジタルカメラ１００がコントラスト方式のオートフォーカス機能を実行する場合について説明したが、このような場合に限らず、他の方式のオートフォーカス機能を実行する場合であってもよい。例えば、像面位相差方式のオートフォーカス機能の場合、イメージセンサが生成する撮像データのセル毎に、距離情報としての評価値が取得される。当該評価値に関して、図５、図６に示した評価値の分布情報に関する評価値マップを作成し、同様の方法によりマップ領域Ｍを設定してＡＦ選択領域Ｓを選択すればよい。これにより、像面位相差方式の場合であっても、被写体２０の領域に対して精度良く追従する合焦領域を用いて合焦動作を実行することができ、被写体２０への追従性の高いオートフォーカス機能を実現することができる。

【0103】

上述の通り、本開示の技術は、イメージセンサ１１５が生成する撮像データのセル毎に、数値情報としての評価値を取得できるものであれば同様に適用することができる。被写体２０を追従する追従動作は、合焦動作である場合に限らず、単なる検出枠の動作であってもよいし、ＡＥ（自動露出決定）動作等であってもよい。デジタルカメラ１００等の撮像装置が、フレーム毎に被写体２０を追従する種々の動作に適用でき、その場合のフレーム遅延抑制に効果を奏する。

【0104】

また、上記の実施形態１では、光学系１１０及びレンズ駆動部１１２を備えるデジタルカメラ１００を例示した。本実施形態の撮像装置は、光学系１１０及びレンズ駆動部１１２を備えなくてもよく、例えば交換レンズ式のカメラであってもよい。

【0105】

また、上記の実施形態１では、撮像装置の例としてデジタルカメラを説明したが、これに限定されない。本開示の撮像装置は、画像撮影機能を有する電子機器（例えば、ビデオカメラ、スマートフォン、タブレット端末等）であればよい。

【0106】

以上のように、本開示における技術の例示として、実施形態を説明した。そのために、添付図面および詳細な説明を提供した。

【0107】

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

【0108】

また、上述の実施形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

【産業上の利用可能性】

【0109】

本開示は、被写体を追従する動作を行う撮像装置に適用可能である。

【符号の説明】

【0110】

２０ 被写体
３０、３０Ａ、３０Ｂ 評価値分布情報（評価値マップ）
１００ デジタルカメラ
１１５ イメージセンサ
１２０ 画像処理エンジン
１２２ 画像認識部
１３０ 表示モニタ
１３５ コントローラ
Ｉｍ 撮像画像
Ｆ 顔領域（認識領域）
Ｍ マップ領域（候補領域）
Ｓ ＡＦ選択領域（被写体領域、合焦領域）

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6】

【図7】

【手続補正書】

【提出日】2022-04-28

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

所定のフレームレートで被写体像を撮像してフレーム毎の撮像データを生成する撮像素子と、
前記撮像データに基づいて、フレーム毎の画像上の被写体を追従する追従動作を制御する制御部と、を備え、
前記制御部は、
前記撮像素子が生成する前記撮像データ毎に、各フレームの画像上の領域に対する評価値の分布を示す分布情報に基づいて、当該フレームにおける前記被写体の追従結果を示す被写体領域を選択して、
前記選択された被写体領域を、当該フレームに対する前記追従動作の制御に用い、
前記制御部は、
前記画像上に設定される候補領域の範囲内で前記分布情報を取得し、
前記候補領域の中から前記被写体領域を選択し、
前記撮像データに対応する撮像画像に画像認識の処理を行って、前記被写体の位置情報を認識する画像認識部をさらに備え、
前記制御部は、
前記画像認識部が認識した被写体の位置情報に基づいて、前記候補領域を設定する、撮像装置。

【請求項2】

前記評価値は、前記追従動作としての合焦動作における合焦の状態を示し、
前記制御部は、
特定のフレームにおける前記被写体領域を選択すると、当該フレームについての前記分布情報が示す評価値の分布において前記被写体領域に対する評価値を、前記合焦動作に用いる、請求項１に記載の撮像装置。

【請求項3】

前記制御部は、
前記画像認識部の認識結果が取得できない場合に、前記被写体の前記位置情報に代えて、現フレームの前のフレームで設定された前記候補領域の位置情報に基づいて、現フレームの前記候補領域を設定する、請求項１又は２に記載の撮像装置。

【請求項4】

前記制御部は、
前記画像認識部が認識した前記被写体の前記位置情報と、前記候補領域における現フレームの前記評価値の前記分布情報とに基づいて、前記被写体領域を選択する、請求項１から３のいずれか１つに記載の撮像装置。

【請求項5】

前記制御部は、
前記画像認識部が認識した前記被写体の複数フレームにおける位置ずれ量が所定の閾値よりも大きいか否かを判断し、
前記位置ずれ量が前記所定の閾値よりも大きいと判断した場合、前記被写体の前記位置情報に代えて、現フレームの前のフレームで選択された前記被写体領域の位置情報を用いて、前記被写体領域を選択する、請求項４に記載の撮像装置。

【請求項6】

前記撮像データに基づく撮像画像を表示する表示部をさらに備え、
前記制御部は、
前記評価値の前記分布情報に基づいて選択した前記被写体領域を表示させるように、前記表示部を制御する、請求項１から５のいずれか１つに記載の撮像装置。