特開 2023-706 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023000706

(43)【公開日】2023-01-04

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   H04N 23/67 20230101AFI20221222BHJP

   H04N 23/667 20230101ALI20221222BHJP

   G02B 7/28 20210101ALI20221222BHJP

   G03B 13/36 20210101ALI20221222BHJP

   G03B 15/00 20210101ALN20221222BHJP

   G02B 7/36 20210101ALN20221222BHJP

【ＦＩ】

H04N5/232 120

H04N5/232 127

H04N5/232 450

G02B7/28 N

G03B13/36

G03B15/00 Q

G02B7/36

【審査請求】有

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021101685

(22)【出願日】2021-06-18

(11)【特許番号】

(45)【特許公報発行日】2021-11-24

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100106518

【弁理士】

【氏名又は名称】松谷 道子

(74)【代理人】

【識別番号】100132241

【弁理士】

【氏名又は名称】岡部 博史

(74)【代理人】

【識別番号】100135703

【弁理士】

【氏名又は名称】岡部 英隆

(74)【代理人】

【識別番号】100199314

【弁理士】

【氏名又は名称】竹内 寛

(72)【発明者】

【氏名】佐々木 清和

(72)【発明者】

【氏名】松田 淳平

【テーマコード（参考）】

2H011

2H151

5C122

【Ｆターム（参考）】

2H011AA01

2H011BA31

2H011BB03

2H011CA22

2H011DA00

2H151AA01

2H151BA47

2H151CB26

2H151CE14

2H151DA11

2H151DA15

2H151DB09

2H151EA03

2H151EB03

2H151FA03

2H151FA04

2H151FA06

5C122EA42

5C122FD01

5C122FD13

5C122FH11

5C122FH14

5C122FK37

5C122FK38

5C122FK40

5C122HA87

5C122HB01

5C122HB05

5C122HB09

(57)【要約】

【課題】オートフォーカス動作における特性の設定を行い易くすることができる撮像装置を提供する。
【解決手段】撮像装置（１００）は、光学系（１１０）を介して形成される被写体像を撮像して、画像データを生成する撮像部（１１５）と、光学系を合焦させるオートフォーカス動作を制御する制御部（１３５）と、画像データに基づいて、画像データが示す画像において被写体の分類を含む情報を特定する画像認識部（１２２）とを備える。制御部は、画像認識部によって特定された情報を取得して、特定された分類の被写体が画像上で動く可能性が推測される動向に基づき、オートフォーカス動作における特性を示すパラメータを自動的に設定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

光学系を介して形成される被写体像を撮像して、画像データを生成する撮像部と、
前記光学系を合焦させるオートフォーカス動作を制御する制御部と、
前記画像データに基づいて、前記画像データが示す画像において被写体の分類を含む情報を特定する画像認識部とを備え、
前記制御部は、前記画像認識部によって特定された情報を取得して、前記特定された分類の被写体が前記画像上で動く可能性が推測される動向に基づき、前記オートフォーカス動作における特性を示すパラメータを自動的に設定する
撮像装置。

【請求項2】

前記制御部は、前記画像認識部によって特定された情報と、前記撮像装置に設定された情報とに基づき、前記被写体による前記画像上での前記動向の推測を実行して、前記動向の推測結果に基づき前記オートフォーカス動作のパラメータを自動的に設定する
請求項１に記載の撮像装置。

【請求項3】

前記制御部は、前記画像認識部によって特定された、前記画像上での前記被写体のサイズ及び分類と、前記撮像装置に設定された焦点距離及びフォーカス位置とに基づいて、前記動向の推測結果を示す移動量を算出する
請求項２に記載の撮像装置。

【請求項4】

前記制御部は、前記自動的に設定されたパラメータに基づいて、前記オートフォーカス動作の実行時において前記被写体が動く際の応答に前記パラメータが示す特性を反映するように、前記オートフォーカス動作を実行する
請求項１に記載の撮像装置。

【請求項5】

前記画像認識部は、前記画像データが示す画像が撮影されるシーンをさらに特定し、
前記制御部は、前記画像認識部によって特定されたシーンにおいて前記被写体が前記画像上で動く可能性が推測される動向に基づき、前記オートフォーカス動作のパラメータを自動的に設定する
請求項１に記載の撮像装置。

【請求項6】

前記パラメータは、前記オートフォーカス動作において、フォーカス位置を追従させる感度、合焦対象とするエリアを切り替える感度、及び被写体の動き予測を行う程度のうちの少なくとも一つを含む
請求項１に記載の撮像装置。

【請求項7】

前記パラメータを自動的に設定するか、又はユーザ操作により設定するかを選択する操作を受け付ける操作部をさらに備える
請求項１に記載の撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、オートフォーカス動作を行う撮像装置に関する。

【背景技術】

【0002】

特許文献１は、被写体に対して焦点調節を行う撮像装置において、追従動作中に被写体に適切に追従させ続けることを目的とした制御装置を開示している。この制御装置は、デフォーカス量を検出する焦点検出手段と、被写体の動き等の撮影状況に応じて、追従動作中に追従動作に関するパラメータを自動的に変更する制御手段と、デフォーカス量とパラメータとに基づいて焦点調節を行う焦点調節手段とを有する。制御手段は、動きベクトル或いは像面速度を都度、算出してパラメータの設定に用いている。これにより、刻々と変化する被写体の動きに合わせて追従動作に関するパラメータを自動的に設定し続けている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－０２０７１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、オートフォーカス動作における特性の設定を行い易くすることができる撮像装置を提供する。

【課題を解決するための手段】

【0005】

本開示において、撮像装置は、光学系を介して形成される被写体像を撮像して、画像データを生成する撮像部と、光学系を合焦させるオートフォーカス動作を制御する制御部と、画像データに基づいて、画像データが示す画像において被写体の分類を含む情報を特定する画像認識部とを備える。制御部は、画像認識部によって特定された情報を取得して、特定された分類の被写体が画像上で動く可能性が推測される動向に基づき、オートフォーカス動作における特性を示すパラメータを自動的に設定する。

【発明の効果】

【0006】

本開示における撮像装置によると、オートフォーカス動作における特性の設定を行い易くすることができる。

【図面の簡単な説明】

【0007】

【図1】本開示の実施形態１に係るデジタルカメラの構成を示す図

【図2】デジタルカメラにおけるオートフォーカス（ＡＦ）パラメータのカスタマイズ設定を説明するための図

【図3】デジタルカメラにおけるＡＦエリアを説明するための図

【図4】デジタルカメラにおけるＡＦパラメータの設定テーブルを例示する図

【図5】実施形態１に係るデジタルカメラの動作を説明するためのフローチャート

【図6】デジタルカメラにおけるＡＦパラメータの自動設定処理を示すフローチャート

【図7】デジタルカメラにおける被写体速度テーブルを例示する図

【図8】デジタルカメラにおけるＡＦパラメータの設定テーブルの変形例を示す図

【発明を実施するための形態】

【0008】

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

【0009】

（実施形態１）
実施形態１では、本開示に係る撮像装置の一例として、機械学習等に基づく画像認識技術により被写体の分類等を特定してオートフォーカス（ＡＦ）動作を制御するデジタルカメラについて説明する。

【0010】

１．構成
実施形態１に係るデジタルカメラの構成について、図１を用いて説明する。

【0011】

図１は、本実施形態に係るデジタルカメラ１００の構成を示す図である。本実施形態のデジタルカメラ１００は、イメージセンサ１１５と、画像処理エンジン１２０と、表示モニタ１３０と、制御部１３５とを備える。さらに、デジタルカメラ１００は、バッファメモリ１２５と、カードスロット１４０と、フラッシュメモリ１４５と、操作部１５０と、通信モジュール１５５とを備える。また、デジタルカメラ１００は、例えば光学系１１０及びレンズ駆動部１１２を備える。

【0012】

光学系１１０は、フォーカスレンズ、ズームレンズ、光学式手ぶれ補正レンズ（ＯＩＳ）、絞り、シャッタ等を含む。フォーカスレンズは、イメージセンサ１１５上に形成される被写体像のフォーカス状態を変化させるためのレンズである。ズームレンズは、光学系で形成される被写体像の倍率を変化させるためのレンズである。フォーカスレンズ等は、それぞれ１枚又は複数枚のレンズで構成される。

【0013】

レンズ駆動部１１２は、光学系１１０におけるフォーカスレンズ等を駆動する。レンズ駆動部１１２はモータを含み、制御部１３５の制御に基づいてフォーカスレンズを光学系１１０の光軸に沿って移動させる。レンズ駆動部１１２においてフォーカスレンズを駆動する構成は、ＤＣモータ、ステッピングモータ、サーボモータ、または超音波モータなどで実現できる。

【0014】

イメージセンサ１１５は、光学系１１０を介して形成された被写体像を撮像して、撮像データを生成する。撮像データは、イメージセンサ１１５による撮像画像を示す画像データを構成する。イメージセンサ１１５は、所定のフレームレート（例えば、３０フレーム／秒）で新しいフレームの画像データを生成する。イメージセンサ１１５における、撮像データの生成タイミングおよび電子シャッタ動作は、制御部１３５によって制御される。イメージセンサ１１５は、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ、またはＮＭＯＳイメージセンサなど、種々のイメージセンサを用いることができる。

【0015】

イメージセンサ１１５は、静止画像の撮像動作、スルー画像の撮像動作等を実行する。スルー画像は主に動画像であり、ユーザが静止画像の撮像のための構図を決めるために表示モニタ１３０に表示される。スルー画像及び静止画像は、それぞれ本実施形態における撮像画像の一例である。イメージセンサ１１５は、本実施形態における撮像部の一例である。

【0016】

画像処理エンジン１２０は、イメージセンサ１１５から出力された撮像データに対して各種の処理を施して画像データを生成したり、画像データに各種の処理を施して、表示モニタ１３０に表示するための画像を生成したりする。各種処理としては、ホワイトバランス補正、ガンマ補正、ＹＣ変換処理、電子ズーム処理、圧縮処理、伸張処理等が挙げられるが、これらに限定されない。画像処理エンジン１２０は、ハードワイヤードな電子回路で構成してもよいし、プログラムを用いたマイクロコンピュータ、プロセッサなどで構成してもよい。

【0017】

本実施形態において、画像処理エンジン１２０は、撮像画像の画像認識によって人を含む被写体等の特定機能を実現する画像認識部１２２を含む。画像認識部１２２の詳細については後述する。

【0018】

表示モニタ１３０は、種々の情報を表示する表示部の一例である。例えば、表示モニタ１３０は、イメージセンサ１１５で撮像され、画像処理エンジン１２０で画像処理された画像データが示す画像（スルー画像）を表示する。また、表示モニタ１３０は、ユーザがデジタルカメラ１００に対して種々の設定を行うためのメニュー画面等を表示する。表示モニタ１３０は、例えば、液晶ディスプレイデバイスまたは有機ＥＬデバイスで構成できる。

【0019】

操作部１５０は、デジタルカメラ１００の外装に設けられた操作ボタンや操作レバー等のハードキーの総称であり、使用者による操作を受け付ける。操作部１５０は、例えば、レリーズボタン、モードダイヤル、タッチパネルを含む。操作部１５０はユーザによる操作を受け付けると、ユーザ操作に対応した操作信号を制御部１３５に送信する。

【0020】

制御部１３５は、デジタルカメラ１００全体の動作を統括制御する。制御部１３５はＣＰＵ等を含み、ＣＰＵがプログラム（ソフトウェア）を実行することで所定の機能を実現する。制御部１３５は、ＣＰＵに代えて、所定の機能を実現するように設計された専用の電子回路で構成されるプロセッサを含んでもよい。すなわち、制御部１３５は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＵ、ＦＰＧＡ、ＡＳＩＣ等の種々のプロセッサで実現できる。制御部１３５は１つまたは複数のプロセッサで構成してもよい。また、制御部１３５は、画像処理エンジン１２０などと共に１つの半導体チップで構成してもよい。

【0021】

バッファメモリ１２５は、画像処理エンジン１２０や制御部１３５のワークメモリとして機能する記録媒体である。バッファメモリ１２５は、ＤＲＡＭ(Dynamic Random Access Memory)などにより実現される。フラッシュメモリ１４５は不揮発性の記録媒体である。また、図示していないが、制御部１３５は各種の内部メモリを有してもよく、例えばＲＯＭを内蔵してもよい。ＲＯＭには、制御部１３５が実行する様々なプログラムが記憶されている。また、制御部１３５は、ＣＰＵの作業領域として機能するＲＡＭを内蔵してもよい。

【0022】

カードスロット１４０は、着脱可能なメモリカード１４２が挿入される手段である。カードスロット１４０は、メモリカード１４２を電気的及び機械的に接続可能である。メモリカード１４２は、内部にフラッシュメモリ等の記録素子を備えた外部メモリである。メモリカード１４２は、画像処理エンジン１２０で生成される画像データなどのデータを格納できる。

【0023】

通信モジュール１５５は、通信規格ＩＥＥＥ８０２．１１またはＷｉ－Ｆｉ規格等に準拠した通信を行う通信モジュール（回路）である。デジタルカメラ１００は、通信モジュール１５５を介して、他の機器と通信することができる。デジタルカメラ１００は、通信モジュール１５５を介して、他の機器と直接通信を行ってもよいし、アクセスポイント経由で通信を行ってもよい。通信モジュール１５５は、インターネット等の通信ネットワークに接続可能であってもよい。

【0024】

１－１．画像認識部について
本実施形態における画像認識部１２２の詳細を、以下説明する。

【0025】

画像認識部１２２は、例えば畳み込みニューラルネットワーク等のニューラルネットワークによる学習済みモデルを採用する。画像認識部１２２は、イメージセンサ１１５の撮像画像を示す情報を入力して、当該モデルによる画像認識処理を実行する。画像認識部１２２は、画像処理エンジン１２０と制御部１３５との協働によって構成されてもよい。

【0026】

画像認識部１２２における学習済みモデルの処理は、例えば入力された画像において、予め設定された複数のカテゴリの何れかに分類される被写体が映っている領域を示す位置情報を、各カテゴリに対応付けて出力する。複数のカテゴリは、例えば、人、動物、及び乗り物といった種々の被写体の分類を示す。位置情報は、例えば処理対象の画像上の水平座標及び垂直座標で規定され、例えば検出された被写体を矩形状に囲む領域を示す。

【0027】

画像認識部１２２におけるカテゴリとしては、種々のカテゴリを採用可能である。例えば、上記の動物のカテゴリは、さらに動物の種類に応じて分類されてもよく、例えば、犬、猫および鳥などのカテゴリが別々に設定されてもよい。また、乗り物のカテゴリが、鉄道、バイクおよび自動車などに分類されてもよい。また、人のカテゴリが、個人、性別、年代、および国籍等で分類されてもよい。また、画像認識部１２２は、例えば予め設定された複数の撮影シーンのカテゴリ分類により、入力された画像の撮影シーンを特定する画像認識を行ってもよい。

【0028】

以上のような画像認識部１２２の学習済みモデルは、例えば、各カテゴリの被写体が映った画像を正解とする正解ラベルを関連付けた画像データを教師データとして用いた教師あり学習によって得ることができる。学習済みモデルは、各カテゴリの検出結果に関する信頼度或いは尤度を生成してもよい。

【0029】

画像認識部１２２の学習済みモデルはニューラルネットワークに限らず、種々の画像認識に関する機械学習モデルであってもよい。また、画像認識部１２２は機械学習に限らず、種々の画像認識アルゴリズムを採用してもよい。また、画像認識部１２２は、例えば人の顔および瞳などの一部のカテゴリに対する検出がルールベースの画像認識処理によって行われるように構成されてもよい。画像認識部１２２は、例えばＤＳＰ等で構成されてもよい。また、画像認識部１２２は、画像処理エンジン１２０とは別に構成されてもよく、制御部１３５と一体的に構成されてもよい。

【0030】

２．動作
以上のように構成されるデジタルカメラ１００の動作について、以下説明する。

【0031】

デジタルカメラ１００は、光学系１１０を介して形成された被写体像をイメージセンサ１１５で撮像して撮像データを生成する。画像処理エンジン１２０は、イメージセンサ１１５により生成された撮像データに対して各種処理を施して画像データを生成する。制御部１３５は、例えば静止画像又は動画像の撮像動作において、画像処理エンジン１２０にて生成された画像データをカードスロット１４０に装着されたメモリカード１４２に記録する。

【0032】

また、デジタルカメラ１００は、スルー画像の撮像動作において、表示モニタ１３０にスルー画像を表示させる。ユーザは、表示モニタ１３０のスルー画像により、画像撮影のための構図を確認することができる。制御部１３５は、例えばユーザによるレリーズボタンの操作に応答して、被写体に自動的に合焦するように光学系１１０のフォーカスレンズをレンズ駆動部１１２駆動させるＡＦ動作を制御する。

【0033】

デジタルカメラ１００においては、ＡＦ動作における各種の特性を示すパラメータ（以下「ＡＦパラメータ」という）が設定された状態で、ＡＦ動作が実行される。デジタルカメラ１００では、例えばこうしたＡＦパラメータをカスタマイズする設定が可能である。各種の撮影時においてＡＦパラメータの設定を最適化することにより、撮影の失敗を低減することができる。

【0034】

２－１．ＡＦパラメータについて
本実施形態のデジタルカメラ１００におけるＡＦパラメータとそのカスタマイズ設定について、図２～４を用いて説明する。

【0035】

図２は、デジタルカメラ１００におけるＡＦパラメータのカスタマイズ設定を説明するための図である。図２（Ａ）は、ＡＦパラメータのカスタマイズ設定におけるメニュー画面の表示例を示す。図２（Ｂ）は、ＡＦパラメータの設定画面の表示例を示す。

【0036】

図２（Ａ）の例では、デジタルカメラ１００の表示モニタ１３０が、ＡＦパラメータをカスタマイズするメニュー項目「ＡＦカスタム設定」と、このメニュー項目に設定可能な選択肢として「設定１」～「設定４」及び「ＡＵＴＯ」とを表示している。本実施形態のデジタルカメラ１００は、例えば上記のようなる設定メニューにおいて一つの選択肢を選択するユーザ操作を、タッチパネル又は操作ボタン等の操作部１５０において受け付ける。

【0037】

図２（Ｂ）は、ＡＦカスタム設定における「設定２」の表示例を示す。本例において、デジタルカメラ１００は、図２に示すように、「追従感度」、「エリア切替感度」及び「被写体の動き」という３つのＡＦパラメータを有する。こうしたＡＦパラメータは、ＡＦ動作時に用いられるＡＦエリアに関連する。

【0038】

図３は、デジタルカメラ１００におけるＡＦエリアを説明するための図である。図３では、イメージセンサ１１５によって撮像された画像５０上に、複数のＡＦエリア６０が配置された例を示す。本例において、複数のＡＦエリア６０のうちの１つのＡＦエリア６１が合焦対象として利用中の状態にある。

【0039】

ＡＦパラメータ「追従感度」は、ＡＦ動作において、合焦対象として利用中のＡＦエリア６１において被写体５１が前後に動くような変動に対してフォーカス位置（フォーカスレンズの位置）を追従させる感度を示す。このパラメータが大きい程、敏感にピント合わせする特性が得られる。これにより、被写体５１までの距離が変わると即座にピントの合わせ直しができる。一方、このパラメータが比較的小さい設定では（例えば負）、上記の変動に対して粘る特性、すなわち即座にはフォーカス位置を追従させず留まるようなＡＦ動作の特性が得られる。

【0040】

ＡＦパラメータ「エリア切替感度」は、画像５０上で被写体５１が上下左右に動くような変動に合わせて、利用中のＡＦエリア６１から複数のＡＦエリア６０において合焦対象を切り替える感度を示す。このパラメータが大きい程、敏感にＡＦエリア６１を切り替える特性が得られる。これにより、利用中のＡＦエリア６１から被写体５１が外れた際に、即座に周囲のＡＦエリア６０が合焦対象に変更される。一方、このパラメータが比較的小さい設定では（例えば負）、合焦対象のＡＦエリア６１の変更について粘る特性が得られる。例えば、被写体５１の僅かな動きや障害物のフレームインの影響を抑制できる。

【0041】

ＡＦパラメータ「被写体の動き」は、被写体５１の動きの速度変化に対して、ＡＦ動作中に動き予測を機能させる程度を示す。このパラメータが大きい程、急激な被写体５１の速度変化に対して、ＡＦ動作がピントを合わせるように機能し易い特性が得られる。これにより、被写体５１の動きがランダムに変化してもＡＦ動作においてフォーカス位置を追従させ易くできる。一方で、このパラメータが比較的小さい設定では（例えば「０」）、被写体５１の動き或いは移動速度が一定である際にピントを合わせ易い特性が得られる。

【0042】

図４は、デジタルカメラ１００におけるＡＦパラメータの設定テーブルＤ１を例示する。図４の設定テーブルＤ１は、図２（Ａ）の設定１～４におけるＡＦパラメータの設定を例示する。設定テーブルＤ１は、例えばデジタルカメラ１００のフラッシュメモリ１４５に格納される。

【0043】

例えば、設定２（図２（Ｂ）参照）は、被写体が一定の方向に等速で動く場合に適した設定である。このことから、パラメータ「追従感度」は正値に設定され、パラメータ「被写体の動き」が「０」に設定されている。又、障害物が少ないことを想定しており、パラメータ「エリア切替感度」が負値に設定されている。例えば、鉄道のような乗り物、或いは陸上競技のようなスポーツの撮影シーンが考えられる。

【0044】

又、設定１は、汎用的な基本設定であり、上記各パラメータにおいて平均的な設定値を有する。設定３は、被写体が前後左右に動き、障害物が多く生じることが想定される場合に適した設定である。例えば、スポーツの中でも球技のような撮影シーンが考えられる。設定４は、被写体の速度変化が大きいような場合に適した設定である。例えば、乗り物の中でもバイクのような被写体を含む撮影シーンが考えられる。

【0045】

以上のようなＡＦパラメータのカスタマイズ設定によると、ユーザは、上記のような各種の設定１～４の中から所望の設定を選択したり、個々の設定における各パラメータの設定値を変更したりすることが可能である。しかしながら、こうしたＡＦパラメータの設定は、撮影を行う毎に行われることとなり、ユーザにとって煩雑な事態となり得る。

【0046】

そこで、本実施形態のデジタルカメラ１００は、上記のようなＡＦパラメータの設定を自動的に行う機能を有する。例えば、図２（Ａ）の設定メニューにおいて、「ＡＵＴＯ」を選択するユーザ操作が行われると、デジタルカメラ１００は、ＡＦパラメータの自動設定機能を有効化する。

【0047】

２－２．全体動作
本実施形態のデジタルカメラ１００においてＡＦパラメータの自動設定機能が有効な際の全体的な動作を、図５を用いて説明する。

【0048】

図５は、本実施形態におけるデジタルカメラ１００の動作を例示するフローチャートである。本フローチャートに示す各処理は、例えばデジタルカメラ１００の制御部１３５によって実行される。

【0049】

まず、デジタルカメラ１００の制御部１３５は、ＡＦパラメータを自動的に設定する処理を実行する（Ｓ１）。本実施形態におけるＡＦパラメータの自動設定処理（Ｓ１）では、画像認識部１２２による被写体の分類などの特定結果を利用して、特定された被写体がＡＦ動作時に画像上で動き得ると推測される動向に基づいて最適なＡＦパラメータを自動的に設定する。ＡＦパラメータの自動設定処理（Ｓ１）の詳細は後述する。

【0050】

ステップＳ１の処理は、例えば、操作部１５０におけるレリーズボタンの押下操作などの所定のユーザ操作が入力されたときに行われる。ステップＳ１の処理は、デジタルカメラ１００における撮影待機中に所定の周期で行われてもよく、ＡＦ動作の実行（Ｓ２）前の種々のタイミングで行われてもよい。

【0051】

次に、制御部１３５は、設定されたＡＦパラメータに従ってＡＦ動作を実行する（Ｓ２）。ＡＦ動作時に、例えば制御部１３５は逐次、ＡＦ評価値を求めたり各種の手法で被写体の動きを検出したりする。ＡＦ評価値は、対応するＡＦエリアにおける合焦状態に関する評価値であり、例えばコントラスト方式のＡＦ動作においてはＡＦエリア内の画像の高周波成分から算出されるコントラスト評価値である。

【0052】

制御部１３５は、こうしたＡＦ動作においてリアルタイムの被写体の動きに応答する特性に、設定されたＡＦパラメータを反映させる（Ｓ２）。例えば、制御部１３５は、設定されたＡＦパラメータの「追従感度」に従い、合焦対象のＡＦエリア６１（図３）におけるリアルタイムのＡＦ評価値の変動或いは被写体５１の距離変動に応答してフォーカス位置を追従させるか否かの基準を制御する。

【0053】

又、ステップＳ２において制御部１３５は、設定された「エリア切替感度」に従い、ＡＦ動作中に被写体５１の像面上での動きが検出された際に応答してＡＦエリア６１を切り替えるか否かの基準を制御する。また、制御部１３５は、設定された「被写体の動き」に従って、ＡＦ動作中に検出された被写体の動きの続きを予測する動体予測の結果を、フォーカス位置の駆動等に用いる程度を制御する。

【0054】

制御部１３５は、以上のようなＡＦ動作を実行して（Ｓ２）、本フローチャートに示す処理を終了する。

【0055】

以上のデジタルカメラ１００の動作によると、機械学習などの画像認識技術を利用して、ＡＦ動作（Ｓ２）前に予め被写体が動く可能性の推測に基づきＡＦパラメータの設定が最適化される（Ｓ１）。これにより、その後のＡＦ動作（Ｓ２）が、被写体の実際の動きに合わせて適切に機能し易くすることができる。

【0056】

２－２－１．ＡＦパラメータの自動設定処理
図５のステップＳ１におけるＡＦパラメータの自動設定処理について、図６～８を用いて説明する。

【0057】

図６は、デジタルカメラ１００におけるＡＦパラメータの自動設定処理（図５のＳ１）を示すフローチャートである。図７は、デジタルカメラ１００における被写体速度テーブルＤ１０を例示する図である。以下では、画像認識部１２２による被写体の分類に対応した被写体速度テーブルＤ１０を用いる処理例を説明する。

【0058】

まず、デジタルカメラ１００の制御部１３５は、イメージセンサ１１５に撮像動作を実行させて、撮像された画像を示す撮像データを画像認識部１２２に入力する（Ｓ１１）。イメージセンサ１１５は、例えばスルー画像の撮像動作において撮像データを生成して、例えば画像処理エンジン１２０における画像認識部１２２に出力する。

【0059】

次に、制御部１３５は、画像認識部１２２において撮像データから特定した各種情報を含む画像認識情報を取得する（Ｓ１２）。例えば、画像認識部１２２は、画像処理エンジン１２０においてイメージセンサ１１５から入力された撮像データに基づいて、被写体に関する画像認識処理を実行する。この画像認識処理では、例えば、予め設定された複数の分類の中から、撮像データが示す画像に含まれる被写体の分類を特定し、画像上で特定された被写体が映る領域のサイズを特定する。

【0060】

さらに、制御部１３５は、例えばデジタルカメラ１００における各部の設定状態を示すカメラ情報を取得する（Ｓ１３）。例えば、カメラ情報は、デジタルカメラ１００の光学系１１０における焦点距離及びフォーカス位置を含み、デジタルカメラ１００からの画角範囲及び合焦中の地点までの被写体距離を示す。

【0061】

次に、制御部１３５は、取得した画像認識情報およびカメラ情報に基づいて、特定された被写体に関する推測移動量を算出する（Ｓ１４）。推測移動量は、例えばイメージセンサ１１５の像面上で被写体像が動き得ることが推測される移動量である。こうしたステップＳ１４の処理は、被写体がＡＦ動作時（Ｓ２）に画像上で動き得る動向の、事前の推測を実現する処理の一例である。

【0062】

ステップＳ１４の推測において、画像認識（Ｓ１２）において特定された被写体の分類によると、被写体が、物理的な環境下で動く可能性がある最大の移動速度を把握できる。そこで、デジタルカメラ１００は、例えば図７に示すように、被写体の分類と最大速度とを対応付けて管理する被写体速度テーブルＤ１０を、予めフラッシュメモリ１４５に格納しておく。

【0063】

又、画像認識（Ｓ１２）において特定された被写体のサイズと、現在のカメラ情報（Ｓ１３）とによると、デジタルカメラ１００と被写体との位置関係を把握することができる。例えば、デジタルカメラ１００の制御部１３５は、上記各情報に基づき、物理環境下での被写体の変位を、像面上での変位に換算する係数を計算できる。例えばステップＳ１４の推測結果として、制御部１３５は、こうした換算係数と、被写体速度テーブルＤ１０において特定の分類に対応づけられた最大速度とを乗算して、推測移動量を算出する。

【0064】

次に、制御部１３５は、被写体の動向の推測結果（Ｓ１４）に基づいて、デジタルカメラ１００に設定するＡＦパラメータの設定値を決定する（Ｓ１５）。例えば、制御部１３５は、ステップＳ１４において算出された推測移動量が大きいほど、「エリア切替感度」等のＡＦパラメータを大きく設定する。制御部１３５は、デジタルカメラ１００のＡＦ動作（Ｓ２）時の設定情報として、決定したＡＦパラメータをフラッシュメモリ１４５等に格納する。

【0065】

制御部１３５は、以上のようにＡＦパラメータをデジタルカメラ１００に設定して（Ｓ１５）、ＡＦパラメータの自動設定処理（Ｓ１）を終了する。その後、制御部１３５は、例えば図５のステップＳ２に進む。

【0066】

以上のＡＦパラメータの自動設定処理（Ｓ１）によると、画像認識部１２２によって特定される画像認識情報（Ｓ１２）と、デジタルカメラ１００に現在設定されたカメラ情報（Ｓ１３）とに基づき、撮像される画像上での被写体の今後の動向を推測する（Ｓ１４）。これにより、その後のＡＦ動作時に最適化されたＡＦパラメータを自動設定することができる。

【0067】

上記のステップＳ１２では、画像認識において被写体の分類等が特定される例を説明した。ステップＳ１２の画像認識はこれに限らず、例えば撮影シーンの特定が行われてもよい。この場合、制御部１３５は、画像認識による撮影シーンの特定結果を用いて、ＡＦパラメータを設定してもよい（Ｓ１５）。こうした変形例について、図８を用いて説明する。

【0068】

図８では、撮影シーンに関するＡＦパラメータの設定テーブルＤ２を例示する。例えば、デジタルカメラ１００における画像認識（Ｓ１２）では、被写体の動きの傾向に関連する撮影シーンの特定が行われてもよい。図８の例の設定テーブルＤ２は、人の動きが比較的緩やかな撮影シーンＡ（ウォーキングなど）、人が一定の速度で移動する撮影シーンＢ（陸上競技など）、及び人の交錯がある撮影シーンＣ（球技など）等におけるＡＦパラメータの設定例を含む。

【0069】

本例のデジタルカメラ１００においては、例えば画像認識部１２２において上記のような撮影シーンＡ～Ｃの機械学習を予めしておく。また、例えば図８に例示するように撮影シーンＡ～ＢとＡＦパラメータとを対応付けた情報を予めデジタルカメラ１００のフラッシュメモリ１４５に格納しておく。

【0070】

ＡＦパラメータの設定処理（Ｓ１）時に、画像認識部１２２は、撮像データから現在の撮影シーンを特定して（Ｓ１２）、画像認識情報に撮影シーンの特定結果を含める。制御部１３５は、こうした画像認識情報と、上記の撮影シーンＡ～Ｂに対応付けられたＡＦパラメータの情報とに基づき、現在の撮影シーンにおける被写体の動向の推測結果に合わせて、ＡＦパラメータを設定する（Ｓ１５）。

【0071】

これにより、被写体の分類が「人」など同一の場合であっても、撮影シーンＡ～Ｃに応じてＡＦパラメータの設定を最適化できる。例えば、制御部１３５は、撮影シーンに関する設定テーブルＤ２を参照して、特定された分類の被写体に関する推測移動量に基づいたＡＦパラメータの設定を、設定テーブルＤ２において対応する撮影シーンの設定に近付けるように補正してもよい。或いは、被写体速度テーブルＤ１０において１つの分類の被写体に撮影シーン別の複数の速度を格納しておいてもよい。

【0072】

また、ステップＳ１２において、画像認識部１２２は、ＡＦ動作時に障害物となり得る被写体等を特定してもよい。こうした画像認識情報に基づき、制御部１３５は、障害物の多さを推測して（Ｓ１４）、推測結果に基づきＡＦパラメータの「追従感度」を設定してもよい（Ｓ１５）。又、制御部１３５は、ＡＦ動作時の被写体の動きがランダムか又は一定かといった傾向を推測して（Ｓ１４）、推測結果に基づきＡＦパラメータの「被写体の動き」を設定してもよい（Ｓ１５）。

【0073】

また、上記のステップＳ１４では、像面上の推測移動量を算出する例を説明したが、ステップＳ１４の処理は特にこれに限定されない。例えば、制御部１３５は、像面と直交する距離方向において被写体が動く可能性が推測される移動量を算出して、各種のＡＦパラメータの設定に用いてもよい。

【0074】

３．まとめ
以上のように、本実施形態において、撮像装置の一例であるデジタルカメラ１００は、撮像部の一例であるイメージセンサ１１５と、制御部１３５と、画像認識部１２２とを備える。イメージセンサ１１５は、光学系１１０を介して形成される被写体像を撮像して、画像データの一例の撮像データを生成する。制御部１３５は、光学系１１０を合焦させるＡＦ動作を制御する。画像認識部１２２は、画像データに基づいて、画像データが示す画像において被写体の分類を含む情報を特定する（Ｓ１２）。制御部１３５は、画像認識部１２２によって特定された情報を取得して、特定された分類の被写体が画像上で動く可能性が推測される動向に基づき、ＡＦ動作における特性を示すパラメータの一例のＡＦパラメータを自動的に設定する（Ｓ１２～Ｓ１５）。

【0075】

以上のデジタルカメラ１００によると、画像認識部１２２によって特定された情報から推測される被写体の動向に基づき、ＡＦ動作における特性を示すＡＦパラメータが自動的に設定される。これにより、ＡＦ動作における特性の設定を行い易くすることができる。

【0076】

本実施形態において、制御部１３５は、画像認識部１２２によって特定された画像認識情報（Ｓ１２）と、デジタルカメラ１００に設定されたカメラ情報（Ｓ１３）とに基づき、被写体による画像上での動向の推測を実行して（Ｓ１４）、動向の推測結果に基づきＡＦ動作のＡＦパラメータを自動的に設定する（Ｓ１５）。このように、画像認識の結果を利用して、ＡＦ動作時の動向の推測を実行することで、ＡＦ動作における特性の設定を行い易くすることができる。

【0077】

本実施形態において、制御部１３５は、画像認識部１２２によって特定された、画像上での被写体のサイズ及び分類と、デジタルカメラ１００に設定された焦点距離及びフォーカス位置とに基づいて、動向の推測結果を示す移動量である推測移動量を算出する（Ｓ１４）。例えばこのように画像認識情報とカメラ情報とを用いた演算処理により、動向を推測する処理を容易に実現できる。

【0078】

本実施形態において、制御部１３５は、自動的に設定されたＡＦパラメータに基づいて、ＡＦ動作の実行時において被写体が動く際の応答にＡＦパラメータが示す特性を反映するように、ＡＦ動作を実行する（Ｓ２）。これにより、ＡＦ動作（Ｓ２）前の動向の推測結果に基づき設定されたＡＦパラメータを用いて、ＡＦ動作（Ｓ２）がリアルタイムの被写体の動きに合わせて精度良く機能できる。

【0079】

本実施形態において、画像認識部１２２は、画像データが示す画像が撮影されるシーンをさらに特定してもよい。制御部１３５は、画像認識部１２２によって特定されたシーンにおいて被写体が画像上で動く可能性が推測される動向に基づき、ＡＦ動作のＡＦパラメータを自動的に設定してもよい（Ｓ１４）。これにより、被写体の分類が同じ場合であっても、撮影シーンに応じてＡＦパラメータが自動設定され、ＡＦ動作における特性を最適化し易い。

【0080】

本実施形態において、ＡＦパラメータは、ＡＦ動作において、フォーカス位置を追従させる感度である「追従感度」、合焦対象とするエリアを切り替える感度である「エリア切替感度」、及び被写体の動き予測を行う程度である「被写体の動き」のうちの少なくとも一つを含む。こうしたＡＦパラメータを自動設定することにより、ＡＦ動作を精度良くし易い。

【0081】

本実施形態において、デジタルカメラ１００は、ＡＦパラメータを自動的に設定するか、又はユーザ操作により設定するかを選択する操作を受け付ける操作部１５０をさらに備える（図２参照）。デジタルカメラ１００は、ＡＦパラメータのカスタマイズ設定において、ＡＦパラメータの自動設定機能を提供してもよい。

【0082】

（他の実施形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

【0083】

上記の実施形態１では、「追従感度」等のＡＦパラメータの一例を説明した。本実施形態において、ＡＦパラメータは、特に上記の例に限定されず、ＡＦ動作における種々の特性を示すパラメータであってもよい。例えば、ＡＦパラメータは、ＡＦ動作を駆動する駆動速度、或いはウォブリング制御を行う際の基準値などを含んでもよい。又、本実施形態におけるＡＦパラメータの自動設定機能は、特に静止画に限らず、動画の撮影動作にも適用可能である。

【0084】

また、上記の各実施形態では、コントラスト方式のＡＦ動作の例を説明したが、本開示はこれに限定されない。本実施形態において、ＡＦパラメータの自動設定機能は、像面位相差方式等のＡＦ動作にも、上記各実施形態と同様に適用可能である。

【0085】

また、上記の各実施形態では、デジタルカメラ１００が、ＡＦパラメータのカスタマイズ設定において、ＡＦパラメータの自動設定機能を提供する例を説明した（図２参照）。本実施形態において、デジタルカメラ１００は、ＡＦパラメータのカスタマイズ設定とは別に、ＡＦパラメータの自動設定機能を提供してもよい。又、本実施形態のデジタルカメラ１００においては、ＡＦパラメータの自動設定機能を採用することで、ＡＦパラメータのカスタマイズ設定の機能が省略されてもよい。

【0086】

また、上記の各実施形態では、光学系１１０及びレンズ駆動部１１２を備えるデジタルカメラ１００を例示した。本実施形態の撮像装置は、光学系１１０及びレンズ駆動部１１２を備えなくてもよく、例えば交換レンズ式のカメラであってもよい。

【0087】

また、上記の各実施形態では、撮像装置の例としてデジタルカメラを説明したが、これに限定されない。本開示の撮像装置は、画像撮影機能を有する電子機器（例えば、ビデオカメラ、スマートフォン、タブレット端末等）であればよい。

【0088】

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

【0089】

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

【0090】

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

【産業上の利用可能性】

【0091】

本開示は、ＡＦ動作を行う撮像装置に適用可能である。

【符号の説明】

【0092】

１００ デジタルカメラ
１１５ イメージセンサ
１２２ 画像認識部
１３５ 制御部
１５０ 操作部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】