知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-19
(45)【発行日】2023-10-27
(54)【発明の名称】撮像装置
(51)【国際特許分類】
G03B 17/18 20210101AFI20231020BHJP
G03B 15/00 20210101ALI20231020BHJP
G02B 7/28 20210101ALI20231020BHJP
G03B 13/36 20210101ALI20231020BHJP
H04N 23/67 20230101ALI20231020BHJP
【ＦＩ】
G03B17/18
G03B15/00 Q
G02B7/28 Z
G03B13/36
H04N23/67 100
【請求項の数】
7
(21)【出願番号】P 2022151005
(22)【出願日】2022-09-22
(62)【分割の表示】P 2022029824の分割
【原出願日】2022-02-28
(65)【公開番号】P2023011552
(43)【公開日】2023-01-24
【審査請求日】2022-09-22
(31)【優先権主張番号】P 2021115043
(32)【優先日】2021-07-12
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】100132241
【弁理士】
【氏名又は名称】岡部 博史
(74)【代理人】
【識別番号】100135703
【弁理士】
【氏名又は名称】岡部 英隆
(74)【代理人】
【識別番号】100199314
【弁理士】
【氏名又は名称】竹内 寛
(72)【発明者】
【氏名】中村 匡利
(72)【発明者】
【氏名】新谷 侑
【審査官】門田 宏
(56)【参考文献】
【文献】中国特許出願公開第１０７８３６１０９（ＣＮ，Ａ）
【文献】米国特許出願公開第２０１７／００５４８９７（ＵＳ，Ａ１）
【文献】特開２０１７－０２２５６５（ＪＰ，Ａ）
【文献】特開２０１７－２２８０８２（ＪＰ，Ａ）
【文献】特開平１１－１８３７８７（ＪＰ，Ａ）
【文献】特開平１０－１４２４９０（ＪＰ，Ａ）
【文献】特開２０１８－００７０８２（ＪＰ，Ａ）
【文献】特開２０１８－００６８０３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０３Ｂ １７／１８
Ｇ０３Ｂ １５／００
Ｇ０２Ｂ ７／２８
Ｇ０３Ｂ １３／３６
Ｈ０４Ｎ ２３／６７
(57)【特許請求の範囲】
【請求項1】
被写体像を撮像して画像データを生成する撮像部と、前記画像データが示す画像における被写体までの距離を示す距離情報を取得する測距部と、
前記画像において前記被写体が位置する領域に関する被写体検出情報を取得する検出部と、
前記距離情報及び前記被写体検出情報に基づいて、前記画像における前記被写体に沿った形状を有する被写体領域を認識する認識部と、
前記画像データが示す画像を表示する表示部とを備え、
前記認識部は、前記被写体領域の認識結果に基づいて、前記画像において前記被写体に沿って前記被写体領域を、前記撮像部におけるオートフォーカス対象の被写体に対するオートフォーカス枠又は前記オートフォーカス対象の候補枠として前記表示部に表示させる
撮像装置。
【請求項2】
前記検出部は、前記画像において所定種別の被写体が検出された検出領域を、前記被写体検出情報として取得し、前記認識部は、前記被写体検出情報における前記検出領域であって、且つ前記距離情報が示す距離が共通する領域を、一の被写体領域として認識する
請求項１に記載の撮像装置。
【請求項3】
前記被写体検出情報は、前記画像において前記所定種別の被写体が位置する確率の分布に基づいて前記検出領域を示す 請求項２に記載の撮像装置。
【請求項4】
前記画像における位置を指定する入力部をさらに備え、前記認識部は、前記入力部において指定された位置に応じて、前記指定された位置を含む被写体領域を認識する
請求項１に記載の撮像装置。
【請求項5】
前記認識部は、前記認識した被写体領域に基づいて、前記被写体に合焦する合焦動作を制御する請求項１に記載の撮像装置。
【請求項6】
前記所定種別にそれぞれ該当する複数の被写体が前記画像における背景上で互いに重畳する場合、前記認識部は、前記複数の被写体が検出された検出領域としての前記被写体検出情報と、各被写体までの距離を示す距離情報とに基づいて、前記複数の被写体における個別の被写体を互いに区別して前記個別の被写体に対応する被写体領域を認識する
請求項２に記載の撮像装置。
【請求項7】
請求項１～６のいずれか１項に記載の撮像装置におけるプロセッサを前記認識部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、被写体までの距離を測定する測距機能を有する撮像装置に関する。
【背景技術】
【0002】
特許文献１は、デジタルカメラなどの撮像装置等に用いられる距離検出装置を開示する。この距離検出装置は、撮像手段により生成された、結像光学系の第１の瞳領域を通過した光束による第１の信号（Ａ像信号）と、結像光学系の第１の瞳領域とは異なる第２の瞳領域を通過した光束による第２の信号（Ｂ像信号）とに基づき、被写体までの被写体距離を検出する演算手段を備える。演算手段は、位相差方式により第１の信号と第２の信号とに基づき被写体距離等を算出する第１の処理と、ＤＦＤ方式により、上記位相差方式と同じ第１の信号と第２の信号とに基づき、被写体距離等を算出する第２の処理とを行っている。特許文献１の撮像手段では、各画素内において、Ａ画素としての光電変換部と、Ｂ画素としての光電変換部とを配置している。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１４－０６３１４２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示は、画像における被写体の形状に沿って被写体を認識し易くすることができる撮像装置を提供する。
【課題を解決するための手段】
【0005】
本開示における撮像装置は、撮像装置は、被写体像を撮像して画像データを生成する撮像部と、画像データが示す画像における被写体までの距離を示す距離情報を取得する測距部と、画像において被写体が位置する領域に関する被写体検出情報を取得する検出部と、距離情報及び被写体検出情報に基づいて、画像における被写体に沿った形状を有する被写体領域を認識する認識部とを備える。
【発明の効果】
【0006】
本開示における撮像装置によると、画像における被写体の形状に沿って被写体を認識し易くすることができる。
【図面の簡単な説明】
【0007】
【図1】本開示の実施形態１に係るデジタルカメラの構成を示す図
【図2】デジタルカメラのイメージセンサにおけるセンサ画素を説明するための図
【図3】デジタルカメラの測距機能の動作の概要を説明するための図
【図4】デジタルカメラの動作を説明するためのフローチャート
【図5】デジタルカメラにおける距離マップ合成処理を例示するフローチャート
【図6】デジタルカメラにおける距離マップ合成処理を説明するための図
【図7】デジタルカメラにおけるＡＦ枠の表示処理を例示するフローチャート
【図8】デジタルカメラにおけるＡＦ枠の表示例を示す図
【図9】実施形態２に係るデジタルカメラの構成を示す図
【図10】実施形態２のデジタルカメラの動作を説明するためのフローチャート
【図11】実施形態２のデジタルカメラの動作を説明するための図
【図12】実施形態２のデジタルカメラにおける被写体認識処理を例示するフローチャート
【図13】実施形態２のデジタルカメラの被写体認識処理を説明するための図
【図14】実施形態２のデジタルカメラの被写体認識処理の変形例を説明するための図
【発明を実施するための形態】
【0008】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【0009】
（実施形態１）
実施形態１では、本開示に係る撮像装置の一例として、２種類の測距法による測距機能を有するデジタルカメラについて説明する。
実施形態１では、本開示に係る撮像装置の一例として、２種類の測距法による測距機能を有するデジタルカメラについて説明する。
【0010】
１．構成
実施形態１に係るデジタルカメラの構成について、図１，２を用いて説明する。
実施形態１に係るデジタルカメラの構成について、図１，２を用いて説明する。
【0011】
図１は、本実施形態に係るデジタルカメラ１００の構成を示す図である。本実施形態のデジタルカメラ１００は、イメージセンサ１１５と、画像処理エンジン１２０と、表示モニタ１３０と、制御部１３５とを備える。さらに、デジタルカメラ１００は、バッファメモリ１２５と、カードスロット１４０と、フラッシュメモリ１４５と、操作部１５０と、通信モジュール１５５とを備える。また、デジタルカメラ１００は、例えば光学系１１０及びレンズ駆動部１１２を備える。
【0012】
光学系１１０は、フォーカスレンズ、ズームレンズ、光学式手ぶれ補正レンズ（ＯＩＳ）、絞り、シャッタ等を含む。フォーカスレンズは、イメージセンサ１１５上に形成される被写体像のフォーカス状態を変化させるためのレンズである。ズームレンズは、光学系で形成される被写体像の倍率を変化させるためのレンズである。フォーカスレンズ等は、それぞれ１枚又は複数枚のレンズで構成される。
【0013】
レンズ駆動部１１２は、光学系１１０におけるフォーカスレンズ等を駆動する。レンズ駆動部１１２はモータを含み、制御部１３５の制御に基づいてフォーカスレンズを光学系１１０の光軸に沿って移動させる。レンズ駆動部１１２においてフォーカスレンズを駆動する構成は、ＤＣモータ、ステッピングモータ、サーボモータ、または超音波モータなどで実現できる。
【0014】
イメージセンサ１１５は、光学系１１０を介して形成された被写体像を撮像して、撮像データを生成する。撮像データは、イメージセンサ１１５による撮像画像を示す画像データを構成する。イメージセンサ１１５は、所定のフレームレート（例えば、３０フレーム／秒）で新しいフレームの画像データを生成する。イメージセンサ１１５における、撮像データの生成タイミングおよび電子シャッタ動作は、制御部１３５によって制御される。イメージセンサ１１５は、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ、またはＮＭＯＳイメージセンサなど、種々のイメージセンサを用いることができる。
【0015】
イメージセンサ１１５は、静止画像の撮像動作、スルー画像の撮像動作等を実行する。スルー画像は主に動画像であり、ユーザが静止画像の撮像のための構図を決めるために表示モニタ１３０に表示される。スルー画像及び静止画像は、それぞれ本実施形態における撮像画像の一例である。イメージセンサ１１５は、本実施形態における撮像部の一例である。
【0016】
本実施形態のイメージセンサ１１５は、像面位相差方式のセンサ画素１１６を備える。図２は、イメージセンサ１１５におけるセンサ画素１１６を説明するための図である。
【0017】
像面位相差方式のセンサ画素１１６は、例えば、図２に示すようにイメージセンサ１１５の像面上で、画像撮影用の画素の代わりに配置される。換言すると、イメージセンサ１１５は、センサ画素１１６の個数分だけ、画像撮影において遮光された画素を有することとなる。複数のセンサ画素１１６は、イメージセンサ１１５の像面上で、それぞれ像面位相差方式の測距機能において距離の測定対象とする位置に配置され、像面位相差方式の測距点を構成する。例えば、センサ画素１１６は、光学系１１０において瞳分割した２種の光学像を結像するように区分された光電変換部などを備える。
【0018】
図１に戻り、画像処理エンジン１２０は、イメージセンサ１１５から出力された撮像データに対して各種の処理を施して画像データを生成したり、画像データに各種の処理を施して、表示モニタ１３０に表示するための画像を生成したりする。各種処理としては、センサ画素１１６の分の遮光画素の補間処理、ホワイトバランス補正、ガンマ補正、ＹＣ変換処理、電子ズーム処理、圧縮処理、伸張処理等が挙げられるが、これらに限定されない。画像処理エンジン１２０は、ハードワイヤードな電子回路で構成してもよいし、プログラムを用いたマイクロコンピュータ、プロセッサなどで構成してもよい。
【0019】
本実施形態において、画像処理エンジン１２０は、ＤＦＤ（Ｄｅｐｔｈ ｆｒｏｍ ｄｅｆｏｃｕｓ）方式の測距機能を実現するＤＦＤ演算部１２１と、像面位相差方式の測距機能を実現する位相差演算部１２２とを含む。本実施形態において、ＤＦＤ演算部１２１は第１の測距部の一例であり、位相差演算部１２２は第２の測距部の一例である。各演算部１２１，１２２は、例えば各々の測距機能用の演算回路で構成される。各演算部１２１，１２２については後述する。
【0020】
表示モニタ１３０は、種々の情報を表示する表示部の一例である。例えば、表示モニタ１３０は、イメージセンサ１１５で撮像され、画像処理エンジン１２０で画像処理された画像データが示す画像（スルー画像）を表示する。また、表示モニタ１３０は、ユーザがデジタルカメラ１００に対して種々の設定を行うためのメニュー画面等を表示する。表示モニタ１３０は、例えば、液晶ディスプレイデバイスまたは有機ＥＬデバイスで構成できる。
【0021】
操作部１５０は、デジタルカメラ１００の外装に設けられた操作ボタンや操作レバー等のハードキーの総称であり、使用者による操作を受け付ける。操作部１５０は、例えば、レリーズボタン、モードダイヤル、タッチパネルを含む。操作部１５０はユーザによる操作を受け付けると、ユーザ操作に対応した操作信号を制御部１３５に送信する。
【0022】
制御部１３５は、デジタルカメラ１００全体の動作を統括制御する。制御部１３５はＣＰＵ等を含み、ＣＰＵがプログラム（ソフトウェア）を実行することで所定の機能を実現する。制御部１３５は、ＣＰＵに代えて、所定の機能を実現するように設計された専用の電子回路で構成されるプロセッサを含んでもよい。すなわち、制御部１３５は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＵ、ＦＰＧＡ、ＡＳＩＣ等の種々のプロセッサで実現できる。制御部１３５は１つまたは複数のプロセッサで構成してもよい。また、制御部１３５は、画像処理エンジン１２０などと共に１つの半導体チップで構成してもよい。
【0023】
バッファメモリ１２５は、画像処理エンジン１２０や制御部１３５のワークメモリとして機能する記録媒体である。バッファメモリ１２５は、ＤＲＡＭ(Dynamic Random Access Memory)などにより実現される。フラッシュメモリ１４５は不揮発性の記録媒体である。また、図示していないが、制御部１３５は各種の内部メモリを有してもよく、例えばＲＯＭを内蔵してもよい。ＲＯＭには、制御部１３５が実行する様々なプログラムが記憶されている。また、制御部１３５は、ＣＰＵの作業領域として機能するＲＡＭを内蔵してもよい。
【0024】
カードスロット１４０は、着脱可能なメモリカード１４２が挿入される手段である。カードスロット１４０は、メモリカード１４２を電気的及び機械的に接続可能である。メモリカード１４２は、内部にフラッシュメモリ等の記録素子を備えた外部メモリである。メモリカード１４２は、画像処理エンジン１２０で生成される画像データなどのデータを格納できる。
【0025】
通信モジュール１５５は、通信規格ＩＥＥＥ８０２．１１またはＷｉ－Ｆｉ規格等に準拠した通信を行う通信モジュール（回路）である。デジタルカメラ１００は、通信モジュール１５５を介して、他の機器と通信することができる。デジタルカメラ１００は、通信モジュール１５５を介して、他の機器と直接通信を行ってもよいし、アクセスポイント経由で通信を行ってもよい。通信モジュール１５５は、インターネット等の通信ネットワークに接続可能であってもよい。
【0026】
２．動作
以上のように構成されるデジタルカメラ１００の動作について、以下説明する。
以上のように構成されるデジタルカメラ１００の動作について、以下説明する。
【0027】
本実施形態のデジタルカメラ１００は、性能が異なる２つの測距技術を組み合わせることで、より高精度に被写体までの距離を示す距離情報を生成する。こうしたデジタルカメラ１００の測距機能の動作の概要を、図３を用いて説明する。
【0028】
図３（Ａ）は、本実施形態のデジタルカメラ１００における撮像画像Ｉｍを例示する。撮像画像Ｉｍは、例えばスルー画像などを含む各種動画像の１フレームを構成する。以下、撮像画像Ｉｍにおける水平方向をＸ方向とし、垂直方向をＹ方向とする。又、デジタルカメラ１００から被写体までの距離方向をＺ方向という場合がある。
【0029】
図３（Ｂ）～（Ｄ）は、それぞれ図３（Ａ）の撮像画像Ｉｍに対応する各種の距離マップＭ１～Ｍ３を例示する。距離マップＭ１～Ｍ３は、例えば撮像画像Ｉｍと同様の二次元座標系（Ｘ，Ｙ）において測距点毎の測距結果を示す距離情報の一例である。図３（Ｂ）～（Ｄ）に例示する距離マップＭ１～Ｍ３では、測距結果の距離値を灰色の濃淡で示しており、灰色が淡いほど近い距離を示し、灰色が濃いほど遠い距離を示す。
【0030】
本実施形態のデジタルカメラ１００は、ＤＦＤ方式による測距を行って、例えば図３（Ｂ）に示すように、ＤＦＤ距離マップＭ１を生成する。ＤＦＤ距離マップＭ１は、ＤＦＤ方式の測距結果を示す距離マップである。また、本実施形態のデジタルカメラ１００は、さらに像面位相差方式による測距を行って、この測距結果を示す位相差距離マップＭ２（図３（Ｃ））を生成する。
【0031】
ＤＦＤ距離マップＭ１は、例えば図３（Ｂ）に示すように、比較的高い空間解像度を有する。空間解像度は、例えば３次元空間における少なくとも何れかの方向において被写体の空間位置を検知する各種の解像度である。例えば、空間解像度は、Ｘ，Ｙ方向の二次元の解像度（即ち測距点の個数）、及びＺ方向の解像度（即ち測距精度）を含む。
【0032】
図３（Ａ）～（Ｄ）では、撮像画像Ｉｍにおける被写体に二人の人物５０，５１が含まれ、一方の人物５０にピントが合った例を示している。又、本例では、他方の人物５１がピントから外れている。
【0033】
本例のＤＦＤ距離マップＭ１においては、図３（Ｂ）に示すように、ピントが合った人物５０の外形が現れており、人物５０のような被写体を高精度に検知できる。一方で、ピントが外れた人物５１は検知できていない。このように、ＤＦＤ距離マップＭ１の測距精度は、デジタルカメラ１００の合焦位置に近い距離範囲に限って高精度に得られる場合が考えられる。即ち、合焦位置から遠くなると、ボケ量が過多である大ボケによって、測距精度の低下が生じる場合が考えられる。
【0034】
又、位相差距離マップＭ２では、例えば図３（Ｃ）に示すように、空間解像度がＤＦＤ距離マップＭ１（図３（Ｃ））よりも低いことが想定される。例えば、位相差距離マップＭ２における二次元の解像度は、イメージセンサ１１５に設けたセンサ画素１１６の個数に対応することから制限される。また、位相差距離マップＭ２の測距精度は、合焦位置に近い距離範囲においては、ＤＦＤ距離マップＭ１の測距精度を下回ると考えられる。
【0035】
一方、位相差距離マップＭ２の測距精度は、上記の距離範囲外では、ＤＦＤ距離マップＭ１の測距精度を上回ることが考えられる。例えば、図３（Ａ）の撮像画像Ｉｍにおいてピントが外れた人物５１は、図３（Ｃ）に示すように、位相差距離マップＭ２においては検知できている。このように、位相差距離マップＭ２では、特定の距離範囲に限らずに測距精度を安定的に得られる分解能の利点が考えられる。
【0036】
そこで、本実施形態のデジタルカメラ１００は、以上のように異なる性能の２つの距離マップＭ１，Ｍ２を合成して、ＤＦＤ距離マップＭ１の利点と位相差距離マップＭ２の利点とを持たせた合成距離マップＭ３を生成する（図３（Ｄ））。
【0037】
図３（Ｄ）は、図３（Ｂ）のＤＦＤ距離マップＭ１と図３（Ｃ）の位相差距離マップＭ２とから得られる合成距離マップＭ３を例示する。本実施形態の合成距離マップＭ３によると、例えば図３（Ｄ）に示すように、ピントが合った人物５０の外形を得られると共に、ピントが合っていない人物５１も検知できている。
【0038】
このように、本実施形態のデジタルカメラ１００は、ＤＦＤ距離マップＭ１による高い空間解像度と、位相差距離マップＭ２による安定した測距の分解能とを持たせた合成距離マップＭ３を得られる。以下、本実施形態におけるデジタルカメラ１００の動作の詳細を説明する。
【0039】
【0040】
図４のフローチャートに示す処理は、例えばイメージセンサ１１５がスルー画像等の各種動画像の撮像動作を実行中に、フレーム周期などの所定周期毎に行われる。本フローの処理は、例えばデジタルカメラ１００の制御部１３５によって実行される。
【0041】
まず、デジタルカメラ１００の制御部１３５は、ＤＦＤ演算部１２１から、ＤＦＤ距離マップＭ１を取得する（Ｓ１）。ＤＦＤ距離マップＭ１は、第１の空間解像度を有する第１の距離情報の一例である。
【0042】
ステップＳ１において、ＤＦＤ演算部１２１は、例えば２フレームの撮像画像等の画像データに基づいて、予め設定された測距点毎にＤＦＤ演算を行うことによりＤＦＤ方式の測距を行って、ＤＦＤ距離マップＭ１を生成する。ＤＦＤ演算は、フレーム間のボケ量の差異に基づいてデフォーカス量（或いは被写体距離）を算出する演算であり、例えば点拡がり関数または光伝達関数などを演算する。ＤＦＤ方式の測距には適宜、公知技術を適用可能である（例えば、特許文献１）。
【0043】
また、制御部１３５は、位相差演算部１２２から、位相差距離マップＭ２を取得する（Ｓ２）。位相差距離マップＭ２は、第２の空間解像度を有する第２の距離情報の一例である。なお、ステップＳ１，Ｓ２の処理順は、特に限定されない。
【0044】
ステップＳ２において、位相差演算部１２２は、イメージセンサ１１５におけるセンサ画素１１６から入力されるセンサ信号に基づき、像面位相差方式の測距を行って、位相差距離マップＭ２を生成する。像面位相差方式の測距は、例えば、センサ画素１１６による測距点毎に、センサ信号から瞳分割による２種の光学像の差異に応じたデフォーカス量等を算出することにより行える。像面位相差方式の測距には適宜、公知技術を適用可能である（例えば、特許文献１）。
【0045】
次に、本実施形態の制御部１３５は、取得した各距離マップＭ１，Ｍ２に基づいて、ＤＦＤ距離マップＭ１と位相差距離マップＭ２とを合成する（Ｓ３）。こうした距離マップ合成処理（Ｓ３）で生成される合成距離マップＭ３は、本実施形態における第３の距離情報の一例である。
【0046】
本実施形態の距離マップ合成処理（Ｓ３）では、撮像画像Ｉｍにおける個々の領域別に、各距離マップＭ１，Ｍ２のデータを互いに比較して、より高精度の距離データを採用することによって合成距離マップＭ３を生成する。ステップＳ３の処理の詳細は、後述する。
【0047】
次に、制御部１３５は、生成された合成距離マップＭ３を用いて、デジタルカメラ１００における各種の制御を行う（Ｓ４）。例えば、制御部１３５は、合成距離マップＭ３に基づき、ＡＦ（オートフォーカス）動作を制御したり、ＡＦ動作の対象とする被写体の検知結果を示すＡＦ枠などの情報を表示させたりする。
【0048】
制御部１３５は、合成距離マップＭ３を用いた各種制御を行う（Ｓ４）と、本フローチャートに示す処理を終了する。
【0049】
以上のデジタルカメラ１００の動作によると、ＤＦＤ距離マップＭ１と位相差距離マップＭ２とから（Ｓ１，Ｓ２）、空間解像度および測距分解能を向上させた合成距離マップＭ３を取得できる（Ｓ３）。こうした高精度の合成距離マップＭ３は、デジタルカメラ１００における様々な制御等に活用できる（Ｓ４）。
【0050】
例えば、合成距離マップＭ３における高い空間解像度によると、図３（Ａ）～（Ｄ）の例において、デジタルカメラ１００は、人物５０の形状に沿った領域を抽出できる。このように抽出された領域は、例えばコントラストＡＦ方式などのＡＦ評価値の算出に用いることで、背景抜け等を抑制した高精度のＡＦ制御を実現できる。また、抽出された人物５０の形状を表示モニタ１３０等に表示することで、デジタルカメラ１００の検知精度の高さをユーザに可視化することもできる。こうした可視化の処理例については後述する。
【0051】
又、デジタルカメラ１００は、合成距離マップＭ３をＡＦ制御に用いることで、ＤＦＤ距離マップＭ１による高い空間解像度の距離データに基づき、撮像画像Ｉｍ上に小さく映った被写体でも精度良くピントを合わせられる。また、図３（Ａ）の人物５１などの合焦位置から離れた被写体にピントを合わせ直す場合も、合成距離マップＭ３において、位相差距離マップＭ２による広範囲の測距分解能により、ＡＦ制御を高速に動作させることができる。
【0052】
【0053】
図５は、デジタルカメラ１００における距離マップ合成処理を例示するフローチャートである。本フローに示す処理は、例えば制御部１３５が画像処理エンジン１２０を制御することにより実行される。
【0054】
図６（Ａ），（Ｂ）は、それぞれ合成前のＤＦＤ距離マップＭ１及び位相差距離マップＭ２を例示する。図５に例示する処理は、例えば図６（Ａ），（Ｂ）に示すように各距離マップＭ１，Ｍ２が図４のステップＳ１，Ｓ２で取得された状態で開始される。
【0055】
まず、制御部１３５は、例えば高解像度のＤＦＤ距離マップＭ１に合わせるように、低解像度の位相差距離マップＭ２における領域を正規化する処理を行う（Ｓ１１）。ステップＳ１１の処理について、図６（Ａ）～（Ｃ）を用いて説明する。
【0056】
図６（Ａ），（Ｂ）では、各距離マップＭ１，Ｍ２の解像度に対応したデータ点Ｐ１，Ｐ２をそれぞれ例示している。各データ点Ｐ１，Ｐ２は、それぞれ撮像画像Ｉｍにおいて対応する位置の測距点毎に測距された結果の距離値を有する。
【0057】
図６（Ａ）に示すように、ＤＦＤ距離マップＭ１は、高解像度が実現される多数のデータ点Ｐ１を含んだサイズのデータ領域で構成される。一方、図６（Ｂ）に示すように、位相差距離マップＭ２は、ＤＦＤ距離マップＭ１のデータ点Ｐ１の個数よりも少ないＮ個のデータ点Ｐ２によるデータ領域で構成される。そこで、ステップＳ１１では、位相差距離マップＭ２のデータ領域が、ＤＦＤ距離マップＭ１に合わせて正規化される。
【0058】
図６（Ｃ）は、正規化された位相差距離マップＭ２’を例示する。正規化された位相差距離マップＭ２’は、ＤＦＤ距離マップＭ１と同じサイズのデータ領域をＮ個の分割領域Ｒ２－１～Ｒ２－Ｎに分割して構成される。例えば、ステップＳ１１において、制御部１３５は、ステップＳ２で取得された位相差距離マップＭ２における各データ点Ｐ２の距離値を、各々の分割領域Ｒ２－１～Ｒ２－Ｎの距離データとして割り当てて、正規化された位相差距離マップＭ２’を管理する。
【0059】
次に、制御部１３５は、正規化された位相差距離マップＭ２’における１～Ｎ番目の分割領域Ｒ２－１～Ｒ２－Ｎから順番に、１つの分割領域Ｒ２を選択する（Ｓ１２）。ステップＳ１２～Ｓ１８では、選択された分割領域Ｒ２毎に、ＤＦＤ距離マップＭ１と位相差距離マップＭ２’を比較する処理が順次、行われる。
【0060】
制御部１３５は、ＤＦＤ距離マップＭ１から、選択中の分割領域Ｒ２に対応する領域Ｒ１とその距離データを抽出する（Ｓ１３）。図６（Ｄ）は、図６（Ａ）のＤＦＤ距離マップＭ１において、図６（Ｃ）の１～Ｎ番目の分割領域Ｒ２－１～Ｒ２－Ｎの対応領域Ｒ１－１～Ｒ１－Ｎを例示する。ＤＦＤ距離マップＭ１の各対応領域Ｒ１は、撮像画像Ｉｍ上で、対応する位相差距離マップＭ２’の分割領域Ｒ２と同じ領域の測距結果として複数のデータ点Ｐ１を含む。
【0061】
制御部１３５は、例えばＤＦＤ距離マップＭ１から抽出した対応領域Ｒ１における距離データに基づいて、選択中の分割領域Ｒ２に対するＤＦＤ測距の評価値を算出する（Ｓ１４）。ＤＦＤ測距の評価値は、例えばＤＦＤ距離マップＭ１の対応領域Ｒ１における各データ点Ｐ１の距離値にわたる平均値であり、例えば相加平均、相乗平均あるいは各種の加重平均で演算される。
【0062】
次に、制御部１３５は、選択中の分割領域Ｒ２における２つの距離マップＭ１，Ｍ２’間の比較として、算出したＤＦＤ測距の評価値が、例えば位相差距離マップＭ２’の距離データに応じた所定の許容範囲内にあるか否かを判断する（Ｓ１５）。当該許容範囲は、例えば位相差距離マップＭ２’において選択中の分割領域Ｒ２に割り当てられた距離値と、ＤＦＤ測距の評価値とが、合致していると想定される許容誤差の距離範囲に設定される。
【0063】
制御部１３５は、選択中の分割領域Ｒ２に対するＤＦＤ測距の評価値が、上記の許容範囲内にあると判断した場合（Ｓ１５でＹＥＳ）、ＤＦＤ測距マップＭ１の対応領域Ｒ１の距離データを、合成距離マップＭ３に採用することを決定する（Ｓ１６）。この場合、ＤＦＤ距離マップＭ１は、位相差距離マップＭ２’と比較して特にずれておらず、対応領域Ｒ１の測距結果は高精度と考えられる。
【0064】
一方、制御部１３５は、選択中の分割領域Ｒ２に対するＤＦＤ測距の評価値が許容範囲内にないと判断した場合（Ｓ１５でＮＯ）、合成距離マップＭ３に位相差測距マップＭ２’の距離データを採用することを決定する（Ｓ１７）。この場合、ＤＦＤ距離マップＭ１が、位相差距離マップＭ２’から比較的ずれていることから、対応領域Ｒ２において大ボケ等による測距精度の低下を生じたことを検知できる。
【0065】
制御部１３５は、全ての分割領域Ｒ２－１～Ｒ２－Ｎにおいて、採用する距離データが決定されていないとき（Ｓ１８でＮＯ）、新たな分割領域Ｒ２を選択して、ステップＳ１２以降の処理を行う。これにより、２つの距離マップＭ１，Ｍ２’間の比較（Ｓ１２～Ｓ１８）が分割領域Ｒ２毎に繰り返される。
【0066】
全ての分割領域Ｒ２－１～Ｒ２－Ｎにおいて、採用する距離データが決定されると（Ｓ１８でＹＥＳ）、制御部１３５は、２つの距離マップＭ１，Ｍ２の合成結果として合成距離マップＭ３を生成する（Ｓ１９）。図６（Ｅ）に、ステップＳ１９における合成距離マップＭ３を例示する。
【0067】
図６（Ｅ）は、図６（Ｃ），（Ｄ）の各距離マップＭ１，Ｍ２’から生成される合成距離マップＭ３を例示する。合成距離マップＭ３は、ＤＦＤ距離マップＭ１の距離データを有する領域であるＤＦＤ領域Ｒ３１と、位相差距離マップＭ２’の距離データを有する領域である位相差領域Ｒ３２とを含む。合成距離マップＭ３は、例えば、ＤＦＤ距離マップＭ１と同じデータ領域を、各対応領域Ｒ１－１～Ｒ１－Ｎと同様にＮ個の分割領域に分割して構成される。
【0068】
例えばステップＳ１９において、制御部１３５は、ステップＳ１６で決定した対応領域Ｒ１の距離データを、合成距離データＭ３におけるＤＦＤ領域Ｒ３１中の分割領域に割り当てる。又、制御部１３５は、ステップＳ１７で決定した分割領域Ｒ２の距離データを、合成距離データＭ３における位相差領域Ｒ３２中の分割領域に割り当てる。このようにＤＦＤ距離マップＭ１と位相差距離マップＭ２’とを組み合わせて、合成距離マップＭ３を生成できる（Ｓ１９）。
【0069】
制御部１３５は、以上のように合成距離マップＭ３を生成する（Ｓ１９）と、距離マップ合成処理（図４のＳ３）を終了して、例えばステップＳ４の処理に進む。
【0070】
以上の距離マップ合成処理（Ｓ３）によると、ＤＦＤ方式により高い空間解像度を有するＤＦＤ領域Ｒ３１と、像面位相差方式により広い距離範囲で測距精度が安定した位相差領域Ｒ３２とを有する合成距離マップＭ３を得ることができる（Ｓ１９）。
【0071】
また、正規化した位相差距離マップＭ２’の分割領域Ｒ２毎に、各距離マップＭ１，Ｍ２を比較して一方の距離データを採用する処理により、合成距離マップＭ３の生成を行い易くすることができる（Ｓ１１～Ｓ１９）。例えば、分割領域Ｒ２毎に、ＤＦＤ測距の評価値と、位相差距離マップＭ２’の距離値とを比較することにより（Ｓ１５）、ＤＦＤ距離マップＭ１の対応領域Ｒ１において測距精度の低下が生じていないかを容易に判定できる。
【0072】
ステップＳ１４，１５におけるＤＦＤ測距の評価値は、特に対応領域Ｒ１における距離値の平均値に限らず、例えば最頻値、分散度、或いは最大値と最小値間の差分などであってもよい。又、ＤＦＤ測距の評価値の比較対象は、位相差距離マップＭ２’の距離値でなくてもよい。例えば、評価値の種類に応じて測距精度の低下を判定するための基準値が予め設定されてもよい。又、デジタルカメラ１００は、合焦位置付近の前後においてＤＦＤ方式の測距精度が高く得られると想定される距離範囲を求めて、ＤＦＤ距離マップＭ１の距離データが、求めた距離範囲内であるか否かの判定をステップＳ１５等で行ってもよい。
【0073】
また、上記の説明では、分割領域Ｒ２毎に、２つの距離マップＭ１，Ｍ２の何れかの距離データが合成距離マップＭ３に採用された（Ｓ１６，Ｓ１７）。本実施形態のデジタルカメラ１００はこれに限らず、例えば分割領域Ｒ２の内部において、ＤＦＤ距離マップＭ１の距離データを採用する部分と、位相差距離マップＭ２’の距離データを採用する部分とを設けてもよい。
【0074】
例えば、制御部１３５は、ＤＦＤ距離マップＭ１の対応領域Ｒ１内で、データ点Ｐ１毎に測距精度の低下の有無を判定して、測距精度の低下が有ると判定されたデータ点Ｐ１の距離データを選択的に位相差距離マップＭ２’の距離データに置換してもよい。或いは、デジタルカメラ１００は、位相差距離マップＭ２のデータ点Ｐ２の距離データを、ＤＦＤ距離マップＭ１のデータ点Ｐ１の距離データで補間するように、２つの距離マップＭ１，Ｍ２を組み合わせる合成によって、合成距離マップＭ３を生成してもよい。
【0075】
２－３．ＡＦ枠の表示処理
以上のような合成距離マップＭ３を用いてデジタルカメラ１００が被写体の形状を認識していることをユーザに可視化する処理の一例を、図７～８を用いて説明する。以下では、ＡＦ枠の表示に合成距離マップＭ３を用いる処理例を説明する。
以上のような合成距離マップＭ３を用いてデジタルカメラ１００が被写体の形状を認識していることをユーザに可視化する処理の一例を、図７～８を用いて説明する。以下では、ＡＦ枠の表示に合成距離マップＭ３を用いる処理例を説明する。
【0076】
図７は、デジタルカメラ１００におけるＡＦ枠の表示処理を例示するフローチャートである。図８は、デジタルカメラ１００におけるＡＦ枠の表示例を示す図である。図７のフローチャートに示す処理は、例えばデジタルカメラ１００において生成された合成距離マップＭ３がバッファメモリ１２５等に格納された状態で、所定のユーザ操作の入力に応じて開始される。
【0077】
まず、制御部１３５は、デジタルカメラ１００の操作部１５０を介して、ユーザ操作により指定された位置情報を取得する（Ｓ３１）。当該ユーザ操作は、ライブビュー等の撮像画像Ｉｍ上でユーザ所望の被写体の位置を指定する各種の操作であり、例えば、タッチパネルにおけるタッチ操作等である。
【0078】
次に、制御部１３５は、現在の撮像画像Ｉｍに応じた合成距離マップＭ３を参照して（Ｓ３２）、例えば取得した位置情報が示す指定位置が、合成距離マップＭ３においてＤＦＤ領域Ｒ３１（図６（Ｅ））内であるか否かを判断する（Ｓ３３）。
【0079】
ユーザ操作の指定位置が、合成距離マップＭ３のＤＦＤ領域Ｒ３１内である場合（Ｓ３３でＹＥＳ）、制御部１３５は、合成距離マップＭ３における距離データに基づいて、指定位置を含む被写体の領域とその形状を抽出する（Ｓ３４）。例えば、制御部１３５は、合成距離マップＭ３の距離データにエッジ解析等を行って、指定位置を含む被写体の輪郭形状に沿った領域を抽出する。合成距離マップＭ３のＤＦＤ領域Ｒ３１によると、高解像度の距離データから、指定された被写体の形状が精度良く抽出できる。
【0080】
次に、制御部１３５は、合成距離マップＭ３のＤＦＤ領域Ｒ１から抽出した情報に基づいて、例えば抽出した被写体領域の形状を有するＡＦ枠Ｆ１を表示するように、表示モニタ１３０を制御する（Ｓ３５）。ステップＳ３５におけるＡＦ枠Ｆ１の表示例を、図８（Ａ）に示す。ＡＦ枠Ｆ１は、第１の検出情報の一例である。
【0081】
図８（Ａ）の例では、デジタルカメラ１００の被写体として、合焦位置に近い人物５０と遠い人物５１とがいる際に、前者の人物５０の位置を指定するユーザ操作が入力された場合の表示例を示す。本例において、デジタルカメラ１００の制御部１３５は、このユーザ操作に応じて（Ｓ３１）、合成距離マップＭ３から人物５０の形状を抽出する（Ｓ３４）。これにより、表示モニタ１３０に、人物５０の形状に沿ったＡＦ枠Ｆ１が表示される（Ｓ３５）。
【0082】
図７に戻り、ユーザ操作の指定位置が、合成距離マップＭ３のＤＦＤ領域Ｒ３１内ではない場合（Ｓ３３でＮＯ）、当該指定位置は位相差領域Ｒ３２にあることとなる。この場合、制御部１３５は、例えば、撮像画像Ｉｍに対して別途、行われる画像認識の結果を参照して（Ｓ３６）、指定位置を含む矩形領域等を取得する。ステップＳ３６の画像認識は、例えば人物の一部又は全体、或いは動物などの各種の被写体の位置を認識する種々の処理であってもよい。
【0083】
次に、制御部１３５は、取得した画像認識結果の矩形領域等に基づき、例えば矩形のＡＦ枠Ｆ２を表示するように、表示モニタ１３０を制御する（Ｓ３７）。ステップＳ３７におけるＡＦ枠Ｆ２の表示例を、図８（Ｂ）に示す。ＡＦ枠Ｆ２は、第２の検出情報の一例である。
【0084】
図８（Ｂ）では、図８（Ａ）と同様の被写体の人物５０，５１において、合焦位置から遠い人物５１の位置がユーザ操作により指定された場合を例示する。この際、ＡＦ枠Ｆ２の線種などの表示態様は、被写体の形状に沿ったＡＦ枠Ｆ１と異ならせてもよい。又、ステップＳ３６，Ｓ３７において、制御部１３５は、合成距離マップＭ３の距離データに基づいて、被写体の位置及び大きさ等を認識することにより、矩形のＡＦ枠Ｆ２を配置してもよい。
【0085】
制御部１３５は、ＡＦ枠Ｆ１，Ｆ２を表示させる（Ｓ３５，Ｓ３７）と、本フローチャートに示す処理を終了する。この際、ＡＦ枠Ｆ１，Ｆ２の表示は随時、更新されてもよい。例えば、制御部１３５は、所定の周期で本フローに示す処理を繰り返してもよい。この場合、ユーザ操作の指定位置（Ｓ３１）は、最初の処理実行時に入力された位置を使い回してもよいし、最初の位置から被写体を追尾した結果の位置に更新されてもよい。こうした被写体の追尾は、逐次得られる合成距離マップＭ３を用いて行われてもよいし、適宜、画像認識で行われてもよい。
【0086】
以上のＡＦ枠の表示処理によると、デジタルカメラ１００において、合成距離マップＭ３のＤＦＤ領域Ｒ３１により高精度に測距できている被写体に対しては、被写体の形状に沿ったＡＦ枠Ｆ１が表示されきる（図８（Ａ）参照）。これにより、ユーザに対して、デジタルカメラ１００が高精度に被写体の形状を認識していることを可視化することができる。
【0087】
また、ユーザ操作により指定された被写体が、ＤＦＤ領域Ｒ３１外の場合であっても（図８（Ｂ）参照）、デジタルカメラ１００は、合成距離マップＭ３を用いて、こうした被写体へのピント合わせを高速に行える。すると、その後に得られるＤＦＤ距離マップＭ３では、指定された被写体が、ＤＦＤ領域Ｒ１内になると考えられる。これにより、デジタルカメラ１００は、ユーザ操作を入力した当初は図８（Ｂ）に示すように指定された人物５１に矩形のＡＦ枠Ｆ２を表示してから、新たな合成距離マップＭ３により人物５１の形状を抽出でき次第、ＡＦ枠Ｆ２として表示する形状を更新してもよい。
【0088】
以上のステップＳ３３～Ｓ３５では、指定位置が合成距離マップＭ３においてＤＦＤ領域Ｒ３１内である場合（Ｓ３３でＹＥＳ）、被写体の形状に沿ったＡＦ枠Ｆ１が表示される例を説明した。制御部１３５は、合成距離マップＭ３から被写体の形状を抽出する（Ｓ３４）際に、その輪郭形状がＤＦＤ領域Ｒ３１に収まるか否かを判定してもよい。
【0089】
上記のように抽出された被写体の形状が、ＤＦＤ領域Ｒ３１に収まらなかった場合、一部に位相差領域Ｒ３２の解像度を含み、形状の認識精度が低減し得る。こうした場合、制御部１３５は、抽出した形状に沿ったＡＦ枠Ｆ１の代わりに、矩形のＡＦ枠Ｆ２を表示させてもよい。
【0090】
或いは、制御部１３５は、上記のように位相差領域Ｒ３２を含みながら抽出された形状に沿ったＡＦ枠Ｆ１を、そうでない場合とは線種等を変更した上で表示させてもよい。このように、デジタルカメラ１００による形状の認識精度の程度がユーザに可視化されてもよい。又、ＡＦ枠Ｆ１の形状は、合成距離マップＭ３から抽出した形状と完全に一致しなくてもよく、適宜補間または平滑化等が行われてもよい。
【0091】
３．まとめ
以上のように、本実施形態における撮像装置の一例のデジタルカメラ１００は、撮像部の一例のイメージセンサ１１５と、第１の測距部の一例のＤＦＤ演算部１２１と、第２の測距部の一例の位相差演算部１２２と、制御部１３５とを備える。イメージセンサ１１５は、被写体像を撮像して画像データを生成する。ＤＦＤ演算部１２１は、画像データが示す画像における被写体と自装置との間の距離を、第１の空間解像度において示す第１の距離情報の一例であるＤＦＤ距離マップＭ１を取得する（Ｓ１）。位相差演算部１２２は、第１の空間解像度とは異なる第２の空間解像度において、画像における距離を示す第２の距離情報の一例である位相差距離マップＭ２を取得する（Ｓ２）。制御部１３５は、ＤＦＤ距離マップＭ１及び位相差距離マップＭ２に基づいて、画像における領域別に第１又は第２の空間解像度において距離を示す第３の距離情報の一例である合成距離マップＭ３を取得する（Ｓ３）。
以上のように、本実施形態における撮像装置の一例のデジタルカメラ１００は、撮像部の一例のイメージセンサ１１５と、第１の測距部の一例のＤＦＤ演算部１２１と、第２の測距部の一例の位相差演算部１２２と、制御部１３５とを備える。イメージセンサ１１５は、被写体像を撮像して画像データを生成する。ＤＦＤ演算部１２１は、画像データが示す画像における被写体と自装置との間の距離を、第１の空間解像度において示す第１の距離情報の一例であるＤＦＤ距離マップＭ１を取得する（Ｓ１）。位相差演算部１２２は、第１の空間解像度とは異なる第２の空間解像度において、画像における距離を示す第２の距離情報の一例である位相差距離マップＭ２を取得する（Ｓ２）。制御部１３５は、ＤＦＤ距離マップＭ１及び位相差距離マップＭ２に基づいて、画像における領域別に第１又は第２の空間解像度において距離を示す第３の距離情報の一例である合成距離マップＭ３を取得する（Ｓ３）。
【0092】
以上のデジタルカメラ１００によると、空間解像度が異なるＤＦＤ距離マップＭ１と位相差距離マップＭ２とに基づいた合成距離マップＭ３により、被写体までの距離を精度良く得ることができる。合成距離マップＭ３によると、ＤＦＤ距離マップＭ１の空間解像度と、位相差距離マップＭ２の空間解像度とを画像上の領域別に含み、精度良い測距結果を得ることが可能である。
【0093】
本実施形態において、合成距離マップＭ３は、画像における領域毎に、ＤＦＤ距離マップＭ１及び位相差距離マップＭ２のうちのより高い測距精度の距離情報を含む。これにより、合成距離マップＭ３において高精度の測距精度が得られる。
【0094】
本実施形態において、ＤＦＤ距離マップＭ１の測距精度は、特定の距離範囲内において位相差距離マップＭ２よりも高い。位相差距離マップＭ２の測距精度は、当該距離範囲外においてＤＦＤ距離マップＭ１よりも高い。合成距離マップＭ３は、当該距離範囲内におけるＤＦＤ距離マップＭ１の距離データと、当該距離範囲外における位相差距離マップＭ２の距離データとを含む。これにより、上記の距離範囲の内外でＤＦＤ距離マップＭ１と位相差距離マップＭ２とがそれぞれより高い測距精度を有する距離データを合成距離マップＭ３に含めて、合成距離マップＭ３の測距精度を向上できる。
【0095】
本実施形態において、上記特定の距離範囲は、イメージセンサ１１５において合焦した合焦位置を含む範囲である。ＤＦＤ演算部１２１は、イメージセンサ１１５によって生成された画像データに基づいて、ＤＦＤ距離マップＭ１を生成する。デジタルカメラ１００における合焦位置の近辺の距離範囲ではＤＦＤ距離マップＭ１の距離データを用いて、合成距離マップＭ３の測距精度を向上できる。
【0096】
本実施形態において、ＤＦＤ距離マップＭ１の空間解像度（第１の空間解像度）は、画像に対応する２次元方向（Ｘ，Ｙ）において、位相差距離マップＭ２の空間解像度（第２の空間解像度）よりも高解像度である。これにより、ＤＦＤ距離マップＭ１の距離データを用いた領域では、合成距離マップＭ３において高い解像度が得られる。一方、位相差距離マップＭ２の空間解像度は、距離のＺ方向において、ＤＦＤ距離マップＭ１よりも安定した測距の分解能を含んでもよい。
【0097】
本実施形態において、ＤＦＤ演算部１２１は、ＤＦＤ（Ｄｅｐｔｈ ｆｒｏｍ ｄｅｆｏｃｕｓ）方式による測距を行って、ＤＦＤ距離マップＭ１を生成する。位相差演算部１２２は、像面位相差方式による測距を行って、位相差距離マップＭ２を生成する。こうした異なる測距法に基づく距離マップＭ１，Ｍ２を合成して、精度良い合成距離マップＭ３を得ることができる。
【0098】
本実施形態において、制御部１３５は、合成距離マップＭ３に基づいて、被写体に合焦する合焦動作を制御する（Ｓ４）。合成距離マップＭ３によると、高精度の測距結果により、合焦動作の制御を行い易くできる。
【0099】
本実施形態において、デジタルカメラ１００は、画像データが示す画像を表示する表示部の一例である表示モニタ１３０をさらに備える。制御部１３５は、合成距離マップＭ３に基づいて、画像において被写体に沿った形状を有する第１の検出情報の一例であるＡＦ枠Ｆ１を表示モニタ１３０に表示させる（Ｓ３５）。合成距離マップＭ３による高精度の測距結果を、被写体に沿ったＡＦ枠Ｆ１等により、ユーザに可視化して、デジタルカメラ１００を利用し易くすることができる。
【0100】
本実施形態において、制御部１３５は、合成距離マップＭ３において被写体が第１の空間解像度の領域の一例のＤＦＤ領域Ｒ１に位置する場合に（Ｓ３３でＹＥＳ）、第１の検出情報のＡＦ枠Ｆ１を表示させる（Ｓ３５）。制御部１３５は、合成距離マップＭ３において被写体がＤＦＤ領域Ｒ１に位置しない場合に（Ｓ３３でＮＯ）、第１の検出情報とは異なる形状を有する第２の検出情報の一例のＡＦ枠Ｆ２を表示させる（Ｓ３７）。これにより、デジタルカメラ１００が被写体の形状を精度良く認識できる場合に選択的に第１の検出情報を可視化でき、ユーザにとってデジタルカメラ１００を利用し易くできる。
【0101】
本実施形態において、デジタルカメラ１００は、被写体像を撮像して画像データを生成するイメージセンサ１１５と、画像データが示す画像を表示する表示モニタ１３０と、画像データが示す画像における被写体と自装置との間の距離を示す距離情報に基づいて、表示モニタ１３０を制御する制御部１３５とを備える。制御部１３５は、被写体が、特定の距離範囲内に位置する場合に（Ｓ３３でＹＥＳ）、画像において被写体に沿った形状を有する第１の検出情報を表示モニタ１３０に表示させてもよい（Ｓ３５）。これにより、デジタルカメラ１００において、被写体までの距離を精度良く得ることで被写体の形状が認識できた際に、こうした認識結果をユーザに可視化して、デジタルカメラ１００を利用し易くすることができる。
【0102】
本実施形態において、制御部１３５は、被写体が、距離範囲内に位置しない場合に（Ｓ３３でＮＯ）、第１の検出情報とは異なる形状を有する第２の検出情報を表示モニタ１３０に表示させてもよい（Ｓ３７）。これにより、デジタルカメラ１００において、被写体までの距離を精度良く得られない、或いは被写体の形状が認識できなかった際にも、表示モニタ１３０の表示により、ユーザにとってデジタルカメラ１００を利用し易くできる。
【0103】
本実施形態のデジタルカメラ１００において、ＤＦＤ演算部１２１及び位相差演算部１２２のうちの一方が、撮像画像Ｉｍにおいて被写体が位置する領域に関する被写体検出情報を取得する検出部の一例であり、他方が測距部の一例であってもよい。制御部１３５は、距離情報及び被写体検出情報に基づいて、撮像画像Ｉｍにおける被写体に沿った形状を有する被写体領域を認識する認識部の一例であってもよい。こうしたデジタルカメラ１００によると、撮像画像Ｉｍにおける被写体の形状に沿って被写体を認識し易くすることができる。
【0104】
本実施形態において、検出部は、被写体検出情報として、画像における被写体までの距離を、第１の空間解像度において示す第１の距離情報を取得する。測距部は、距離情報として、第１の空間解像度とは異なる第２の空間解像度において、画像における被写体までの距離を示す第２の距離情報を取得する。制御部１３５は、第１の距離情報及び第２の距離情報に基づいて、画像における領域別に第１又は第２の空間解像度において被写体領域を認識する。これにより、第１及び第２の距離情報を組み合わせて、撮像画像Ｉｍにおける被写体の形状に沿って被写体を認識し易くできる。
【0105】
本実施形態において、例えば第１の測距部としてのＤＦＤ演算部１２１の第１の空間解像度は、画像に対応する２次元方向において、第２の測距部としての位相差演算部１２２の第２の空間解像度よりも高解像度である。制御部１３５は、第１の距離情報が示す距離が、第２の距離情報が示す距離から所定範囲内にある領域には（Ｓ１５でＹＥＳ）、合成距離マップＭ３にＤＦＤ距離マップＭ２のデータを採用して（Ｓ１６）、第１の空間解像度において被写体領域を認識する。例えば、こうしたＤＦＤ領域内の位置が指定されると（Ｓ３３でＹＥＳ）、制御部１３５は、合成距離マップＭ３から第１の空間解像度において被写体の形状を抽出する（Ｓ３４）。こうして、制御部１３５は、第１の距離情報から被写体の位置として検出され、且つ第２の距離情報が示す距離が所定条件を満たす領域を、第１の空間解像度において被写体領域として認識してもよい（図８（Ａ）参照）。
【0106】
一方、制御部１３５は、第１の距離情報が示す距離が、第２の距離情報が示す距離から所定範囲内にない領域には（Ｓ１５でＮＯ）、合成距離マップＭ３に位相差距離マップＭ２のデータを採用することから（Ｓ１７）、第２の空間解像度において被写体領域を認識する。このように、第１及び第２の距離情報を組み合わせて用いることで、撮像画像Ｉｍの範囲にわたり種々の被写体に沿った形状を認識し易くできる。
【0107】
（実施形態２）
以下、本開示の実施形態２について、図９～１３を用いて説明する。実施形態１では、２種類の測距技術を用いて撮像画像における被写体領域を認識するデジタルカメラ１００について説明した。実施形態２では、画像認識技術と測距技術とを用いて、被写体領域を認識するデジタルカメラについて説明する。
以下、本開示の実施形態２について、図９～１３を用いて説明する。実施形態１では、２種類の測距技術を用いて撮像画像における被写体領域を認識するデジタルカメラ１００について説明した。実施形態２では、画像認識技術と測距技術とを用いて、被写体領域を認識するデジタルカメラについて説明する。
【0108】
以下、実施形態１に係るデジタルカメラ１００と同様の構成、動作の説明は適宜、省略して、本実施形態に係るデジタルカメラを説明する。
【0109】
１．構成
図９は、実施形態２に係るデジタルカメラ１００Ａの構成を示す。本実施形態のデジタルカメラ１００Ａは、実施形態１のデジタルカメラ１００と同様の構成において、例えば画像処理エンジン１２０において更に人物検出部１２３を備える。人物検出部１２３は、画像認識技術により所定種別の被写体として人物を検出する検出部の一例である。本実施形態のデジタルカメラ１００Ａにおいては、ＤＦＤ演算部１２１と位相差演算部１２２のうちの一方が省略されてもよい。
図９は、実施形態２に係るデジタルカメラ１００Ａの構成を示す。本実施形態のデジタルカメラ１００Ａは、実施形態１のデジタルカメラ１００と同様の構成において、例えば画像処理エンジン１２０において更に人物検出部１２３を備える。人物検出部１２３は、画像認識技術により所定種別の被写体として人物を検出する検出部の一例である。本実施形態のデジタルカメラ１００Ａにおいては、ＤＦＤ演算部１２１と位相差演算部１２２のうちの一方が省略されてもよい。
【0110】
例えば、人物検出部１２３は、人物といった予め設定された種別の被写体が画像上の各位置に存在するか否かを検出するセグメンテーション（例えばセマンティックセグメンテーション）を実現するように、機械学習等により構築される。人物検出部１２３は、例えば完全畳み込みネットワーク（ＦＣＮ）等のニューラルネットワークによる学習済みモデルを採用する。人物検出部１２３は、イメージセンサ１１５の撮像画像を示す情報を入力して、当該モデルによる画像認識処理を実行して、後述する被写体検出情報を生成する。
【0111】
人物検出部１２３の学習済みモデルは、特に上記に限らず、例えばマスクＲ－ＣＮＮなどであってもよいし、特にニューラルネットワークに限らない種々の画像認識に関する機械学習モデルであってもよい。また、人物検出部１２３は機械学習に限らず、種々の画像認識アルゴリズムを採用してもよい。人物検出部１２３は、例えばＤＳＰ等で構成されてもよい。人物検出部１２３は、画像処理エンジン１２０と制御部１３５との協働によって構成されてもよい。また、人物検出部１２３は、画像処理エンジン１２０とは別に構成されてもよく、制御部１３５と一体的に構成されてもよい。
【0112】
２．動作
図１０は、実施形態２のデジタルカメラ１００Ａの動作を説明するためのフローチャートである。図１１は、本実施形態のデジタルカメラ１００Ａの動作を説明するための図である。以下では、ＤＦＤ演算部１２１を省略可能なデジタルカメラ１００Ａの動作例を説明する。
図１０は、実施形態２のデジタルカメラ１００Ａの動作を説明するためのフローチャートである。図１１は、本実施形態のデジタルカメラ１００Ａの動作を説明するための図である。以下では、ＤＦＤ演算部１２１を省略可能なデジタルカメラ１００Ａの動作例を説明する。
【0113】
本実施形態のデジタルカメラ１００は、例えば、実施形態１と同様に撮像動作の実行中に、図４のフローの代わりに図１０のフローに示す処理を行う。図１１（Ａ）は、本実施形態のデジタルカメラ１００Ａにおける撮像画像Ｉｍを例示する。本例では、図１１（Ａ）中の右側から順に距離を置いて並ぶ３人の人物６０，６１，６２が撮像画像Ｉｍに映っている。
【0114】
本実施形態のデジタルカメラ１００において、制御部１３５は、例えば、実施形態１でＤＦＤ距離マップＭ１を取得したステップＳ１の代わりに、人物検出部１２３から検出結果を示す被写体検出情報の一例として人物確率マップを取得する（Ｓ１Ａ）。ステップＳ１Ａで取得される被写体検出情報について、図１１（Ｂ）を用いて説明する。
【0115】
図１１（Ｂ）は、図１１（Ａ）の撮像画像Ｉｍに対応する人物確率マップＭ１０を例示する。人物確率マップＭ１０は、例えば撮像画像Ｉｍにおける画素毎に、人物６０～６２が存在する確率を示す。図１１（Ｂ）の例では、人物６０～６２の存在確率が高いほど濃淡を淡く図示している。
【0116】
ステップＳ１Ａにおいて、人物検出部１２３は、例えば、イメージセンサ１１５から撮像画像Ｉｍの画像データを学習済みモデルに入力して、人物検出の画像認識処理を行うことにより、図１１（Ｂ）に例示するように人物確率マップＭ１０を生成する。人物確率マップＭ１０によると、撮像画像Ｉｍにおいて比較的高い存在確率の画素の集合により、人物６０～６２の存在が検出された領域すなわち検出領域Ｒ１１～Ｒ１２が、人物６０～６２らが位置する範囲の外形に沿って得られる。
【0117】
図１１（Ａ），（Ｂ）の例では、撮像画像Ｉｍに映る人物６０～６２のうちの２人の人物６０，６１の位置が一部重畳していることから、人物確率マップＭ１０は、各人物６０，６１が互いに切り分けられず併存した検出領域Ｒ１１を含む。こうした検出領域Ｒ１１のように、撮像画像Ｉｍにおける人物検出の画像認識処理のみでは、複数の人物６０，６１のうちの着目する一方といった所望の被写体の領域を、他のものから切り分けて認識することが困難な事態が考えられる。
【0118】
そこで、本実施形態のデジタルカメラ１００Ａは、人物確率マップＭ１０といった被写体検出情報に加えて、検出領域Ｒ１１における人物６０，６１間の切り分けに距離情報を用いる。例えば、制御部１３５は、実施形態１と同様に位相差演算部１２２から位相差距離マップＭ２を取得する（Ｓ２）。図１１（Ｃ）に、本実施形態のステップＳ２において取得される位相差距離マップＭ２を例示する。
【0119】
図１１（Ｃ）は、図１１（Ａ）の撮像画像Ｉｍに対応する位相差距離マップＭ２を例示する。図１１（Ｃ）の例では、実施形態１と同様に距離値を濃淡で図示している。ステップＳ２において、位相差演算部１２２は、撮像画像Ｉｍの撮像時のイメージセンサ１１５におけるセンサ画素１１６からのセンサ信号に基づき、実施形態１と同様に位相差距離マップＭ２を生成する。本例では、位相差距離マップＭ２の解像度は、人物確率マップＭ１０の解像度よりも低い。
【0120】
次に、本実施形態の制御部１３５は、例えば実施形態１のステップＳ３の代わりに、取得した人物確率マップＭ１０及び位相差距離マップＭ２に基づいて被写体認識処理を行う（Ｓ３Ａ）。ステップＳ３Ａの処理による認識結果の一例を図１１（Ｄ）に示す。
【0121】
図１１（Ｄ）は、図１１（Ｂ），（Ｃ）の各マップＭ２，Ｍ１０に基づく人物認識マップＭ２０を例示する。被写体認識処理（Ｓ３Ａ）では、例えば個々の人物６０，６１，６２といった被写体の形状に沿った領域、即ち人物領域Ｒ２０，Ｒ２１，Ｒ２２が認識される。人物認識マップＭ２０は、撮像画像Ｉｍにおける各人物６０～６２に対応する人物領域Ｒ２０～Ｒ２２をそれぞれ含む、被写体認識処理（Ｓ３Ａ）の認識結果の一例である。
【0122】
図１１（Ｄ）の例では、人物認識マップＭ２０において、各人物領域Ｒ２０～Ｒ２２を、各々の距離に応じた濃淡の灰色で図示し、人物領域Ｒ２０～Ｒ２２以外の部分は白色で図示している。本実施形態の被写体認識処理（Ｓ３Ａ）では、位相差距離マップＭ２が示す距離の差異に基づいて、人物確率マップＭ１０の検出領域Ｒ１１から別個の人物領域Ｒ２０，Ｒ２１がそれぞれ認識される。被写体認識処理（Ｓ３Ａ）についての詳細は後述する。
【0123】
次に、制御部１３５は、被写体認識処理（Ｓ３Ａ）の結果に基づいて、例えば実施形態１と同様にデジタルカメラ１００における各種の制御を行う（Ｓ４）。例えば、制御部１３５は、実施形態１の合成距離マップＭ３の代わりに人物認識マップＭ２０を用いて、ＡＦ動作を制御したりＡＦ枠などの情報を表示させたりする。
【0124】
制御部１３５は、実施形態１と同様に各種制御を行う（Ｓ４）と、本フローチャートに示す処理を終了する。
【0125】
以上のデジタルカメラ１００の動作によると、画像認識による人物の検出結果の人物確率マップＭ１０に、位相差距離マップＭ２のような距離情報を組み合わせることにより、各人物６０～６２に沿った形状を有する人物領域Ｒ２０～Ｒ２２を認識できる（Ｓ１Ａ～Ｓ３Ａ）。人物領域Ｒ２０～Ｒ２２は、本実施形態における被写体領域の一例である。
【0126】
例えば、図１１（Ｂ）の人物確率マップＭ１０では切り分けられなかった検出領域Ｒ１１における２人の人物６０，６１について、図１１（Ｄ）に示すように別々の人物領域Ｒ２０，Ｒ２１として切り分けて認識することができる。こうした識別が高精度の人物領域Ｒ２０～Ｒ２１が得られることで、ＡＦ制御等のデジタルカメラ１００Ａにおける各種制御（Ｓ４）を精度良くすることができる。
【0127】
【0128】
図１２は、本実施形態のデジタルカメラ１００における被写体認識処理（Ｓ３Ａ）を例示するフローチャートである。図１３は、本実施形態の被写体認識処理を説明するための図である。本フローに示す処理は、例えば制御部１３５が画像処理エンジン１２０を制御することにより実行される。
【0129】
まず、制御部１３５は、例えば位相差演算部１２２から取得した位相差距離マップＭ２に、実施形態１のステップＳ１１と同様に正規化の処理を行う（Ｓ２１）。本実施形態におけるステップＳ２１の処理結果を図１３（Ａ）に例示する。
【0130】
図１３（Ａ）は、図１１（Ｂ）の位相差距離マップＭ２が正規化された距離マップＭ２’を例示する。本実施形態のステップＳ１１は、位相差距離マップＭ２の解像度を、人物確率マップＭ１０の解像度に合わせるアップサンプリングによって行われる。
【0131】
また、制御部１３５は、例えば人物検出部１２３から取得した人物確率マップＭ１０に対して、検出領域Ｒ１１～Ｒ１２を抽出するための二値化を行う（Ｓ２２）。ステップＳ２２の処理結果を図１３（Ｂ）に例示する。
【0132】
図１３（Ｂ）は、図１１（Ｂ）の人物確率マップＭ１０を二値化した結果として得られる人物検出マップＭ１１を例示する。図１３（Ｂ）の例では、二値化処理（Ｓ２２）により抽出された検出領域Ｒ１１～Ｒ１２を白色で図示し、そうでない領域を黒色で図示している。ステップＳ２２の処理は、例えば人物確率マップＭ１０における画素毎の存在確率を、所定のしきい値と比較することにより行われる。当該しきい値は、人物６０～６２が位置すると想定される存在確率の基準として設定され、例えば５０％以上である。
【0133】
次に、制御部１３５は、例えば人物検出マップＭ１１において抽出された検出領域Ｒ１１～Ｒ１２の各画素から順番に、１つの画素を選択する（Ｓ２３）。ステップＳ２３～Ｓ２７において選択された画素毎に人物検出マップＭ１１と距離マップＭ２’とを照合する処理により、当該画素が何れの人物６０～６２に対応するかを決定でき、各人物領域Ｒ２０～Ｒ２２の境界を把握することができる（図１１（Ｄ）参照）。
【0134】
例えば、制御部１３５は、正規化された距離マップＭ２’に基づいて、選択中の画素に対応する距離値が、所定の距離範囲内であるか否かを判断する（Ｓ２４）。ステップＳ２４の距離範囲は、被写体の人物６０～６２までの距離として想定される範囲に予め設定され、例えば、選択中の画素を含む検出領域中の距離データの代表値から許容誤差の範囲に設定される。制御部１３５は、当該検出領域の全体または選択中の画素近傍などの距離データから、代表値を抽出してもよいし、各種平均値又は最頻値などを代表値として算出してもよい。又、上記の距離範囲は、背景と被写体とを区別する上限値を有してもよい。
【0135】
制御部１３５は、選択中の画素の距離値が、上記の距離範囲内にあると判断した場合（Ｓ２４でＹＥＳ）、当該画素の距離値を、人物認識マップＭ２０に採用することを決定する（Ｓ２５）。これにより、例えば図１３（Ａ）の距離マップＭ２’において灰色で図示した部分であって、且つ検出領域Ｒ１１～Ｒ１２（図１３（Ｂ））内の距離データが、図１１（Ｄ）の人物認識マップＭ２０に採用される。
【0136】
一方、制御部１３５は、選択中の画素の距離値が上記の距離範囲内にないと判断した場合（Ｓ２４でＮＯ）、当該画素の距離値を、人物認識マップＭ２０に採用しないことを決定する（Ｓ２６）。これにより、例えば図１３（Ａ）の距離マップＭ２’において黒色で図示した部分の距離データは、図１１（Ｄ）の人物認識マップＭ２０から除外される。
【0137】
制御部１３５は、人物検出マップＭ１１の検出領域Ｒ１１～Ｒ１２における全ての画素において、距離データを採用するか否かが決定されていないとき（Ｓ２７でＮＯ）、検出領域Ｒ１１～Ｒ１２から新たな画素を選択して、ステップＳ１２以降の処理を行う。これにより、２種類のマップＭ１１，Ｍ２’間の照合（Ｓ２３～Ｓ２７）が画素単位で繰り返される。
【0138】
検出領域Ｒ１１～Ｒ１２における全ての画素において距離データの採否が決定されると（Ｓ２７でＹＥＳ）、制御部１３５は、照合した２種類のマップＭ１，Ｍ２の合成により、例えば図１１（Ｄ）に示すように人物認識マップＭ２０を生成する（Ｓ２８）。
【0139】
例えばステップＳ２８において、制御部１３５は、人物検出マップＭ１１の検出領域Ｒ１１～Ｒ１２の各画素において、距離マップＭ２’から採用することを決定した距離データを設定し、その他の画素には空値を設定する。こうして生成される人物認識マップＭ２０は、例えば図１１（Ｄ）に示すように、距離が異なる人物６０～６２に対応した各々の人物領域Ｒ２０～Ｒ２２をそれぞれ識別可能に含み得る。
【0140】
又、制御部１３５は、例えば操作部１５０において、撮像画像Ｉｍ上の位置を指定するユーザ操作が入力されたか否かを判断する（Ｓ２９）。ステップＳ２９の対象とするユーザ操作は、例えば実施形態１のステップＳ３１（図７）と同様である。
【0141】
位置指定のユーザ操作が入力された場合（Ｓ２９でＹＥＳ）、制御部１３５は、生成した人物認識マップＭ２０から、指定された位置を含む人物領域を切り出す（Ｓ３０）。ユーザは、例えば図１３（Ａ）の撮像画像Ｉｍ中の人物６０～６２から所望の人物を選択して、選択した人物の位置を指定する操作を入力できる。ステップＳ３０の処理結果を図１３（Ｃ），（Ｄ）に例示する。
【0142】
【0143】
ステップＳ２９において、上記位置指定のユーザ操作に応じて、制御部１３５は、例えば、人物認識マップＭ２０において、指定された位置に隣接して距離値が共通する画素の集合を抽出することにより、指定された位置の人物領域を認識する（Ｓ３０）。距離値が共通するか否かは、適宜許容誤差の範囲内で画素毎の距離値が一致するか否かにより判定できる。
【0144】
例えば、図１１（Ａ）の撮像画像Ｉｍにおける中央の人物６１の位置が指定されると（Ｓ２９でＹＥＳ）、制御部１３５は、図１３（Ｃ）に例示するように人物領域Ｒ２１を切り出す（Ｓ３０）。又、左側の人物６２の位置が指定されると（Ｓ２９でＹＥＳ）、制御部１３５は、図１３（Ｄ）に例示するように、別の人物領域Ｒ２２を切り出す（Ｓ３０）。
【0145】
制御部１３５は、例えばステップＳ３０で上記のように切り出した人物領域Ｒ２１，Ｒ２２を認識結果として、被写体認識処理（図１０のＳ３Ａ）を終了する。制御部１３５は、その後のステップＳ４において、認識結果の人物領域Ｒ２１，Ｒ２２をデジタルカメラ１００Ａの各種制御に用いる。
【0146】
又、制御部１３５は、例えば位置指定のユーザ操作が入力されていない場合（Ｓ２９でＮＯ）、ステップＳ２８において生成した人物認識マップＭ２０を認識結果として被写体認識処理（図１０のＳ３Ａ）を終了して、ステップＳ４に進む。
【0147】
以上の被写体認識処理（Ｓ３Ａ）によると、人物検出マップＭ１１で人物６０～６２の存在が検出された検出領域Ｒ１１，Ｒ１２の範囲内において、距離マップＭ２’の距離データが、人物６０～６２に対応し得るか照合される（Ｓ２３～Ｓ２７）。これにより、各人物６０～６２の形状に沿った人物領域Ｒ２０～Ｒ２２の認識を精度良く行える。
【0148】
又、距離マップＭ２’から人物６０～６２に対応し得る距離データを人物認識マップＭ２０に採用することで（Ｓ２５）、個々の人物６０～６２の人物領域Ｒ２０～Ｒ２２を別個に認識し易くできる。例えば図１３（Ｃ）の例では、図１３（Ｂ）の人物検出マップＭ１１における検出領域Ｒ１１から、図１１（Ａ）中で右側の人物６０に対応する部分を除外して、中央の人物６１に応じた人物領域Ｒ１１を切り出すことができる（Ｓ３０）。
【0149】
以上の説明では、ステップＳ２３～Ｓ２７の処理を検出領域Ｒ１１，Ｒ１２の画素単位で行う例を説明した。ステップＳ２３～Ｓ２７の処理単位は特にこれに限らず、例えば実施形態１と同様の分割領域であってもよい（図６（Ｃ）参照）。この場合、制御部１３５は、分割領域内において検出領域Ｒ１１，Ｒ１２の範囲外の部分については適宜、距離データを人物認識マップＭ２０に採用しないようにする。
【0150】
上記のステップＳ２８において、制御部１３５は、例えば人物認識マップＭ２０において距離値が共通する画素集合として、各人物領域Ｒ２０～Ｒ２２をそれぞれ識別することができる。制御部１３５は、人物認識マップＭ２０において、各人物領域Ｒ２０～Ｒ２２に識別情報を付して管理してもよい。
【0151】
上記のステップＳ２９では、ユーザ操作により撮像画像Ｉｍ上の位置が指定される例を説明した。こうした指定はユーザ操作に限らず、デジタルカメラ１００Ａの各種機能の動作に応じた自動的な指定であってもよい。又、指定位置は、画面中央など予め設定された所定位置であってもよい。こうした場合であっても、上記のステップＳ２９，Ｓ３０と同様に、制御部１３５は、指定位置を含む人物領域を、対応する人物の形状に沿って認識することができる。
【0152】
また、以上の説明では、人物認識マップＭ２０を生成してから人物領域を切り出す（Ｓ２８～Ｓ３０）といった処理例を説明した。本実施形態のデジタルカメラ１００Ａでは、人物認識マップＭ２０を生成せずに所望の人物領域が認識されてもよい。例えば、制御部１３５は、所望の被写体の指定位置を予め入力して、当該指定位置を含む検出領域についてステップＳ２３～Ｓ２７を行うにあたり、ステップＳ２４の判断基準の距離範囲を、指定位置近傍の距離データを用いて設定する。こうして、制御部１３５は、ステップＳ２８の人物認識マップＭ２０（図１１（Ｄ））の代わりに、ステップＳ３０と同様に特定の人物領域のみを含む情報を生成してもよい（図１３（Ｃ），（Ｄ）参照）。
【0153】
また、以上の説明では、位相差距離マップＭ２を用いて被写体認識処理（Ｓ３Ａ）を行うデジタルカメラ１００の動作例を説明した。本実施形態のデジタルカメラ１００Ａはこれに限らず、例えば位相差距離マップＭ２の代わりにＤＦＤ距離マップＭ１を被写体認識処理（Ｓ３Ａ）に用いてもよく、位相差演算部１２２が省略されてもよい。この場合、制御部１３５は、例えばステップＳ２１において、ＤＦＤ距離マップＭ１と人物確率マップＭ１０のうちの解像度がより高い一方のマップが他方に合わせるように正規化して、ステップＳ２２以降の処理を行う。これによっても、上記と同様に被写体の形状を認識し易くできる。
【0154】
３．まとめ
以上のように、本実施形態における撮像装置の一例のデジタルカメラ１００Ａは、撮像部の一例のイメージセンサ１１５と、測距部の一例の位相差演算部１２２と、検出部の一例の人物検出部１２３と、認識部の一例の制御部１３５とを備える。イメージセンサ１１５は、被写体像を撮像して画像データを生成する。位相差演算部１２２は、画像データが示す撮像画像Ｉｍ（図１１（Ａ））における被写体までの距離を示す距離情報の一例として位相差距離マップＭ２を取得する（Ｓ２、図１１（Ｃ））。人物検出部１２３は、画像において被写体の一例の人物６０～６２が位置する領域に関する被写体検出情報の一例として人物確率マップＭ１０を取得する（Ｓ１、図１１（Ｂ））。制御部１３５は、距離情報及び被写体検出情報に基づいて、画像における被写体に沿った形状を有する被写体領域の一例として人物領域Ｒ２０～Ｒ２２を認識する（Ｓ３Ａ、図１１（Ｄ））。
以上のように、本実施形態における撮像装置の一例のデジタルカメラ１００Ａは、撮像部の一例のイメージセンサ１１５と、測距部の一例の位相差演算部１２２と、検出部の一例の人物検出部１２３と、認識部の一例の制御部１３５とを備える。イメージセンサ１１５は、被写体像を撮像して画像データを生成する。位相差演算部１２２は、画像データが示す撮像画像Ｉｍ（図１１（Ａ））における被写体までの距離を示す距離情報の一例として位相差距離マップＭ２を取得する（Ｓ２、図１１（Ｃ））。人物検出部１２３は、画像において被写体の一例の人物６０～６２が位置する領域に関する被写体検出情報の一例として人物確率マップＭ１０を取得する（Ｓ１、図１１（Ｂ））。制御部１３５は、距離情報及び被写体検出情報に基づいて、画像における被写体に沿った形状を有する被写体領域の一例として人物領域Ｒ２０～Ｒ２２を認識する（Ｓ３Ａ、図１１（Ｄ））。
【0155】
以上のデジタルカメラ１００Ａによると、位相差距離マップＭ２のような距離情報と、人物確率マップＭ１０のような被写体検出情報とを組み合わせて用いることにより、画像における被写体の形状に沿って被写体を認識し易くすることができる。例えば、認識部としての制御部１３５は、図１１（Ｄ）の各人物領域Ｒ２０～Ｒ２２のように、被写体検出情報から被写体の位置として検出され、且つ距離情報が示す距離が所定条件を満たす領域を、被写体領域として認識する。これにより、検出領域Ｒ１１～Ｒ１２のように人物６０～６２の外形を精度良く捉えながら、距離情報により別々の人物６０～６２を識別でき、個々の被写体の形状を認識し易くできる。
【0156】
本実施形態において、被写体検出情報としての人物確率マップＭ１０は、撮像画像Ｉｍにおいて所定種別の被写体として人物６０～６２が検出された検出領域Ｒ１１～Ｒ１２を示す。制御部１３５は、被写体検出情報における検出領域Ｒ１１～Ｒ１２であって、且つ距離情報が示す距離が共通する領域を、各人物領域Ｒ２０～Ｒ２２のように一の被写体領域として認識する。これにより、例えば複数の人物６０，６１の位置が重畳していても、別々の人物６０，６１の人物領域Ｒ２０，Ｒ２１を識別でき、被写体を認識し易くできる。
【0157】
本実施形態において、被写体検出情報としての人物確率マップＭ１０（図１１（Ｂ））は、撮像画像Ｉｍにおいて人物６０～６２といった所定種別の被写体が位置する確率の分布に基づいて検出領域Ｒ１１～Ｒ１２を示す。これにより、撮像画像Ｉｍにおいて被写体が位置する部分の形状を精度良く認識することができる。本実施形態において、人物検出マップＭ１１（図１３（Ｂ））が被写体検出情報の一例であってもよい。例えば、人物検出部１２３が人物検出マップＭ１１を出力してもよく、図１２のステップＳ２２の処理が省略されてもよい。
【0158】
本実施形態において、デジタルカメラ１００Ａは、撮像画像Ｉｍにおける位置を指定する入力部の一例として操作部１５０をさらに備える。制御部１３５は、操作部１５０において指定された位置に応じて、指定された位置を含む被写体領域を認識する（図１３（Ｃ），（Ｄ）参照）。
【0159】
本実施形態において、制御部１３５は、認識した被写体領域に基づいて、被写体に合焦する合焦動作を制御する（Ｓ４）。これにより、被写体の形状に沿った認識結果を用いて、ＡＦ動作などのデジタルカメラ１００Ａの動作を制御し易くできる。
【0160】
本実施形態において、デジタルカメラ１００Ａは、画像データが示す撮像画像Ｉｍを表示する表示部の一例として表示モニタ１３０をさらに備える。本実施形態の制御部１３５は、人物領域Ｒ２０～Ｒ２２といった被写体領域の認識結果に基づいて、例えば実施形態１のステップＳ３５と同様に、撮像画像人物領域Ｒ２０～Ｅ２２において被写体に沿って被写体領域を表示モニタ１３０に表示させてもよい（図７，８（Ａ）参照）。これにより、デジタルカメラ１００Ａが被写体の形状を精度良く認識できることをユーザに可視化できる。
【0161】
（他の実施形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【0162】
上記の実施形態２では、位相差演算部１２２又はＤＦＤ演算部１２１と人物検出部１２３とを用いる動作例を説明したが、位相差演算部１２２及びＤＦＤ演算部１２１と人物検出部１２３とを用いてもよい。こうした変形例について、図１４を用いて説明する。
【0163】
図１４は、実施形態２のデジタルカメラ１００Ａの被写体認識処理の変形例を説明するための図である。図１４（Ａ）は、図１１（Ａ）の撮像画像Ｉｍに対応するＤＦＤ距離マップＭ１を例示する。図１４（Ｂ）は、図１４（Ａ）及び図１１（Ｃ）の各距離マップＭ１，Ｍ２に基づく合成距離マップＭ３を例示する。図１４（Ｃ）は、図１４（Ｂ）及び図１１（Ｂ）の各マップＭ３，Ｍ１０に基づく人物認識マップＭ４０を例示する。
【0164】
実施形態２では、被写体認識処理（図１２）において位相差距離マップＭ２が正規化された距離マップＭ２’を用いた。本変形例において、制御部１３５は、例えば実施形態１と同様にＤＦＤ距離マップＭ１（図１４（Ａ））と位相差距離マップＭ２（図１１（Ｃ））とから合成距離マップＭ３を生成して、上記の距離マップＭ２’の代わりに用いる。例えば、制御部１３５は、合成距離マップＭ３（図１４（Ｂ））を用いて、実施形態２と同様に図１２のステップＳ２２以降の処理を行う。こうして得られる人物認識マップＭ４０を図１４（Ｃ）に例示する。
【0165】
本変形例の被写体認識処理によると、例えば図１４（Ａ）～（Ｃ）に示すように、ＤＦＤ距離マップＭ１において検知された人物６０，６１の形状が、人物領域Ｒ４０，Ｒ４１において精度良く認識できる。一方、ＤＦＤ距離マップＭ１において検知されなかった人物６２についても、例えば人物検出マップＭ１１（図１３（Ｂ））において認識されることで、人物認識マップＭ４０（図１４（Ｃ））において当該人物６２の形状に沿った人物領域Ｒ４２を得ることができる。
【0166】
以上のように、本実施形態のデジタルカメラ１００Ａにおいて、測距部は、第１の測距部の一例としてのＤＦＤ演算部１２１と、第２の測距部の一例としての位相差演算部１２２とを含んでもよい。第１の測距部は、画像における被写体までの距離を、第１の空間解像度において示す第１の距離情報を取得する。第２の測距部は、第１の空間解像度とは異なる第２の空間解像度において、画像における被写体までの距離を示す第２の距離情報を取得する。本実施形態における認識部の一例としての制御部１３５は、第１の距離情報と第２の距離情報と被写体検出情報とに基づいて、被写体領域を認識してもよい。これにより、画像における被写体の形状に沿って被写体を、より認識し易くできる。
【0167】
上記の各実施形態では、検出部の一例として人物といった所定種別の被写体をセグメンテーションで検出する人物検出部１２３について説明した。本実施形態において、検出部は、特に上記の人物検出部１２３に限定されない。例えば、人物検出部１２３の所定種別は、特に人物全般に限らず、個人、性別又は年代などであってもよい。又、本実施形態の検出部は、動物、又は乗り物など、人物とは異なる所定種別の被写体を検出してもよい。
【0168】
また、本実施形態の検出部は、上述したセグメンテーションの代わりに、所定種別の被写体を矩形などで囲むバウンダリボックスを、被写体検出情報の検出領域として検出してもよい。例えば、本実施形態の制御部１３５は、上記の検出領域内に、実施形態２と同様に被写体認識処理（図１２）のステップＳ２３～Ｓ２７を行う。この場合においても、ステップＳ２４～Ｓ２６における距離データを用いた照合によって矩形などの検出領域内で背景の部分を除外でき、所望の被写体の形状に沿った領域を認識できる。
【0169】
上記の各実施形態では、第１及び第２の測距部の一例として、ＤＦＤ演算部１２１及び位相差演算部１２２を例示した。本実施形態において、第１及び第２の測距部は、これに限定されず、種々の測距法を用いる各種の構成を適用可能である。例えば、各測距部には、ＴＯＦ（Ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）法、レンジファインダ、２眼ステレオ測距法、色別測距法、或いは機械学習等の人工知能による距離推定などが適用されてもよい。すなわち、本実施形態において距離情報（又は被写体検出情報）は、各種アクティブセンシング方式の測距により取得されてもよい。また、本実施形態の距離情報又は被写体検出情報として、コントラストＡＦ方式の評価値等が用いられてもよい。
【0170】
上記の各実施形態において、合成距離マップＭ３をデジタルカメラ１００の制御に用いる例を説明した。合成距離マップＭ３の用途はこれに限らず、例えば合成距離マップＭ３の生成時に撮影された各種の撮影画像の画像処理に利用されてもよい。この際、合成距離マップＭ３は撮影画像の画像データと共にデジタルカメラ１００から外部に出力されてもよく、例えば動画を含む画像データの編集等の後処理に用いられてもよい。また、合成距離マップＭ３は、シーン認識あるいは各種の判別処理に用いられてもよい。
【0171】
また、上記の各実施形態では、第１～第３の距離情報の一例として各種距離マップＭ１～Ｍ３を例示した。本実施形態において、第１～第３の距離情報は距離マップに限らず、例えば３次元点群又は距離画像など、被写体までの距離の測定結果を示す各種の情報であってもよい。また、各種距離情報は、被写体までの距離に対応する各種の量で表されてもよく、例えばデフォーカス量で表されてもよい。
【0172】
また、上記の各実施形態では、２つの距離マップＭ１，Ｍ２を合成した合成距離マップＭ３を用いて被写体の形状を示すＡＦ枠Ｆ１を第１の検出情報として例示した。本実施形態において、デジタルカメラ１００は、必ずしも合成距離マップＭ３に限らず、被写体の形状を抽出可能な程度に精度良い測距結果を示す各種の距離情報に基づいて、第１の検出情報を生成して、表示部に表示させてもよい。
【0173】
また、上記の各実施形態では、ＡＦ枠の表示処理（図７）において、ユーザ操作による指定位置の入力に応じてＡＦ枠が表示される例を説明した。本実施形態において、デジタルカメラ１００は、ユーザ操作の入力に限らずＡＦ枠を表示してもよく、この場合にも上記と同様に合成距離マップＭ３を参照してＡＦ枠の形状を設定できる。また、デジタルカメラ１００は、ＡＦ対象の被写体に対するＡＦ枠に限らず、ＡＦ対象の候補枠などの、複数の被写体に対する表示枠を表示する際にも、上記と同様に合成距離マップＭ３を利用してもよい。例えば、デジタルカメラ１００は、撮像画像Ｉｍの画像認識によって被写体が検知された位置が、ＤＦＤ領域Ｒ３１か否かを判断して、表示枠の形状を設定してもよい。こうした表示枠も、その形状に応じて第１又は第２の検出情報の一例である。
【0174】
また、上記の各実施形態では、光学系１１０及びレンズ駆動部１１２を備えるデジタルカメラ１００を例示した。本実施形態の撮像装置は、光学系１１０及びレンズ駆動部１１２を備えなくてもよく、例えば交換レンズ式のカメラであってもよい。
【0175】
また、上記の各実施形態では、撮像装置の例としてデジタルカメラを説明したが、これに限定されない。本開示の撮像装置は、画像撮影機能を有する電子機器（例えば、ビデオカメラ、スマートフォン、タブレット端末等）であればよい。
【0176】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【0177】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【0178】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【0179】
本開示は、測距機能を有する各種の撮像装置に適用可能である。
【符号の説明】
【0180】
１００，１００Ａ デジタルカメラ
１１５ イメージセンサ
１２１ ＤＦＤ演算部
１２２ 位相差演算部
１２３ 人物検出部
１３０ 表示モニタ
１３５ 制御部
１５０ 操作部
１１５ イメージセンサ
１２１ ＤＦＤ演算部
１２２ 位相差演算部
１２３ 人物検出部
１３０ 表示モニタ
１３５ 制御部
１５０ 操作部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】