ホーム > 特許ランキング > ソニーグループ株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-07
(45)【発行日】2023-11-15
(54)【発明の名称】画像処理装置、画像処理方法、プログラム、撮像装置
(51)【国際特許分類】
G02B 7/28 20210101AFI20231108BHJP
G03B 17/18 20210101ALI20231108BHJP
G02B 7/34 20210101ALI20231108BHJP
G03B 15/00 20210101ALI20231108BHJP
G03B 13/36 20210101ALI20231108BHJP
H04N 23/67 20230101ALI20231108BHJP
H04N 23/63 20230101ALI20231108BHJP
G03B 17/02 20210101ALI20231108BHJP
【ＦＩ】
G02B7/28 N
G03B17/18
G02B7/34
G03B15/00 Q
G03B13/36
H04N23/67
H04N23/63 300
G03B17/02
【請求項の数】
19
(21)【出願番号】P 2021508132
(86)(22)【出願日】2020-01-23
(86)【国際出願番号】 JP2020002346
(87)【国際公開番号】W WO2020195073
(87)【国際公開日】2020-10-01
【審査請求日】2022-12-09
(31)【優先権主張番号】P 2019060387
(32)【優先日】2019-03-27
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110003410
【氏名又は名称】弁理士法人テクノピア国際特許事務所
(74)【代理人】
【識別番号】100116942
【弁理士】
【氏名又は名称】岩田 雅信
(74)【代理人】
【識別番号】100167704
【弁理士】
【氏名又は名称】中川 裕人
(72)【発明者】
【氏名】明壁 祐基
(72)【発明者】
【氏名】小杉 貴洸
【審査官】門田 宏
(56)【参考文献】
【文献】特開２０１８－１８０１４４（ＪＰ，Ａ）
【文献】国際公開第２０１２／１３２７９７（ＷＯ，Ａ１）
【文献】特開２０１８－０７７１９０（ＪＰ，Ａ）
【文献】特開２０１４－１７８６４３（ＪＰ，Ａ）
【文献】特開２０１３－７９９８（ＪＰ，Ａ）
【文献】特開２０１７－２２６３９（ＪＰ，Ａ）
【文献】特開２０１９－２０８１７０（ＪＰ，Ａ）
【文献】特開２０１７－７３６１３（ＪＰ，Ａ）
【文献】特開２０２０－８８４０３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０２Ｂ ７／２８
Ｇ０３Ｂ １７／１８
Ｇ０２Ｂ ７／３４
Ｇ０３Ｂ １５／００
Ｇ０３Ｂ １３／３６
Ｈ０４Ｎ ２３／６７
Ｈ０４Ｎ ２３／６３
Ｇ０３Ｂ １７／０２
(57)【特許請求の範囲】
【請求項1】
位相差検出部により検出した位相差情報から算出される、撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成するマップデータ生成部と、前記マップデータ生成部が生成したデフォーカスマップデータを用いて、撮像画像の各位置のデフォーカス量に応じた色が付されることで撮像画像のデフォーカス量の分布を示すデフォーカスマップ画像を生成し、撮像画像にデフォーカスマップ画像を重畳して表示させる表示制御を行う表示制御部と、
前記マップデータ生成部が生成したデフォーカスマップデータを用いて撮像動作制御を行う動作制御部と、を備えた
画像処理装置。
【請求項2】
前記位相差検出部は、前記撮像素子部における像面位相差画素により前記位相差情報を検出する請求項１に記載の画像処理装置。
【請求項3】
前記マップデータ生成部は、算出したデフォーカス量に基づいて前記撮像素子部による撮像画像の複数位置における被写体距離を算出し、前記算出した前記被写体距離を示すデプスマップデータを生成し、
前記表示制御部は、前記マップデータ生成部が生成したデプスマップデータを用いて、撮像画像における前記被写体距離の分布を示すデプスマップ画像を生成し、表示制御を行う
請求項１に記載の画像処理装置。
【請求項4】
撮像画像内容に応じて対象領域を設定する対象領域設定部を備え、前記対象領域設定部は、ユーザ操作により指定された撮像画像における領域を前記対象領域として設定する
請求項１に記載の画像処理装置。
【請求項5】
撮像画像内容に応じて対象領域を設定する対象領域設定部を備え、前記マップデータ生成部は、前記対象領域内の複数位置のデフォーカスマップデータを生成する
請求項１に記載の画像処理装置。
【請求項6】
前記動作制御部は、前記マップデータ生成部が生成した前記対象領域内のデフォーカスマップデータを用いて撮像動作制御を行う請求項５に記載の画像処理装置。
【請求項7】
前記動作制御部は、デフォーカスマップデータを参照して前記対象領域のデフォーカス量があらかじめ設定された固定値となるように撮像動作制御を行う請求項６に記載の画像処理装置。
【請求項8】
前記動作制御部は、デフォーカスマップデータを参照して前記対象領域のデフォーカス量がユーザ操作により設定された固定値となるように撮像動作制御を行う請求項６に記載の画像処理装置。
【請求項9】
前記動作制御部は、前記対象領域の属性情報に応じてデフォーカスマップデータを用いた撮像動作制御を行う請求項６に記載の画像処理装置。
【請求項10】
前記属性情報は、前記対象領域に紐付けられた属性である請求項９に記載の画像処理装置。
【請求項11】
前記属性情報は、前記対象領域における被写体に紐付けられた属性である請求項９に記載の画像処理装置。
【請求項12】
前記撮像動作制御はフォーカス制御である請求項１に記載の画像処理装置。
【請求項13】
前記動作制御部は、デフォーカスマップ画像に対するユーザ操作に応じて撮像動作制御を行う請求項１に記載の画像処理装置。
【請求項14】
前記表示制御部は、デフォーカス量に応じて表示態様の異なるデフォーカス量表示アイコンを用いたデフォーカスマップ画像を生成し、前記動作制御部は、デフォーカスマップ画像における前記デフォーカス量表示アイコンのユーザ操作に応じて撮像動作制御を行う
請求項１に記載の画像処理装置。
【請求項15】
前記対象領域設定部は、撮像画像における顔検出により検出した顔領域を前記対象領域として設定する請求項４に記載の画像処理装置。
【請求項16】
前記対象領域設定部は、撮像画像における瞳検出により検出した瞳領域を前記対象領域として設定する請求項４に記載の画像処理装置。
【請求項17】
位相差検出部により検出した位相差情報から算出される、撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成し、前記生成したデフォーカスマップデータを用いて、撮像画像の各位置のデフォーカス量に応じた色が付されることで撮像画像のデフォーカス量の分布を示すデフォーカスマップ画像を生成し、撮像画像にデフォーカスマップ画像を重畳して表示させる表示制御を行い、
前記生成したデフォーカスマップデータを用いて撮像動作制御を行う
画像処理方法。
【請求項18】
位相差検出部により検出した位相差情報から算出される、撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成するマップデータ生成機能と、前記生成したデフォーカスマップデータを用いて、撮像画像の各位置のデフォーカス量に応じた色が付されることで撮像画像のデフォーカス量の分布を示すデフォーカスマップ画像を生成し、撮像画像にデフォーカスマップ画像を重畳して表示させる表示制御機能と、
前記マップデータ生成機能により生成したデフォーカスマップデータを用いて撮像動作制御を行う動作制御機能と、を画像処理装置に実行させる
プログラム。
【請求項19】
画像撮像を行う撮像素子部と、位相差検出部により検出した位相差情報から算出される、前記撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成するマップデータ生成部と、
前記マップデータ生成部が生成したデフォーカスマップデータを用いて、撮像画像の各位置のデフォーカス量に応じた色が付されることで撮像画像のデフォーカス量の分布を示すデフォーカスマップ画像を生成し、撮像画像にデフォーカスマップ画像を重畳して表示させる表示制御を行う表示制御部と、
前記マップデータ生成部が生成したデフォーカスマップデータを用いて撮像動作制御を行う動作制御部と、を備えた
撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は画像処理装置、画像処理方法、プログラム、撮像装置に関し、特に被写体の撮像についての技術に関する。
【背景技術】
【0002】
撮像画像上の或る任意の点位置に対して、フォーカスレンズを自動的に合焦させるオートフォーカスに関する技術や、撮像面の光量を最適値に自動制御するＦ値制御に関する技術がある。
下記引用文献１には、或る任意の点位置に対してフォーカスレンズを合焦させる際に、当該点位置におけるデフォーカス量に関する情報を表示する撮像装置が記載されている。
下記引用文献１には、或る任意の点位置に対してフォーカスレンズを合焦させる際に、当該点位置におけるデフォーカス量に関する情報を表示する撮像装置が記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１６－１９７２３１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来は、イメージセンサから取得できるデフォーカス量に関する情報量が少なかったため、或る任意の点位置のデフォーカス量に対して、合焦させるためのフォーカスの自動制御及び光量を最適値にするためのＦ値の自動制御が行われていた
そのため、撮像画像の或る任意の領域の情報があっても、当該領域内の或る点位置にフォーカスを合焦させる制御は行われていたが、当該領域を面で捉え、その各位置のデフォーカス量を考慮したフォーカス制御は行われていなかった。
また、Ｆ値についても当該点位置におけるイメージセンサへの光量をもとに自動制御されており、当該領域を面で捉え、その各位置の被写界深度を考慮したＦ値制御は行われていなかった。
そこで本技術では、撮像画像の或る任意の領域におけるデフォーカス量や被写界深度を考慮した撮像操作制御を行うことを目的とする。
そのため、撮像画像の或る任意の領域の情報があっても、当該領域内の或る点位置にフォーカスを合焦させる制御は行われていたが、当該領域を面で捉え、その各位置のデフォーカス量を考慮したフォーカス制御は行われていなかった。
また、Ｆ値についても当該点位置におけるイメージセンサへの光量をもとに自動制御されており、当該領域を面で捉え、その各位置の被写界深度を考慮したＦ値制御は行われていなかった。
そこで本技術では、撮像画像の或る任意の領域におけるデフォーカス量や被写界深度を考慮した撮像操作制御を行うことを目的とする。
【課題を解決するための手段】
【0005】
本技術に係る画像処理装置は、位相差検出部により検出した位相差情報から算出される、撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成するマップデータ生成部と、前記マップデータ生成部が生成したデフォーカスマップデータを用いて、撮像画像の各位置のデフォーカス量に応じた色が付されることで撮像画像のデフォーカス量の分布を示すデフォーカスマップ画像を生成し、撮像画像にデフォーカスマップ画像を重畳して表示させる表示制御を行う表示制御部と、前記マップデータ生成部が生成したデフォーカスマップデータを用いて撮像動作制御を行う動作制御部と、を備える。
これにより、撮像画像の複数位置におけるデフォーカス量情報に基づいて撮像動作制御が行われる。
これにより、撮像画像の複数位置におけるデフォーカス量情報に基づいて撮像動作制御が行われる。
【0006】
上記した本技術に係る画像処理装置においては、前記位相差検出部は、前記撮像素子部における像面位相差画素により前記位相差情報を検出する。
これにより、撮像素子部における像面位相差画素により検出された位相差情報を用いてデフォーカス量が算出される
これにより、撮像素子部における像面位相差画素により検出された位相差情報を用いてデフォーカス量が算出される
【0007】
上記した本技術に係る画像処理装置においては、前記マップデータ生成部が生成したデフォーカスマップデータを用いて、撮像画像のデフォーカス量の分布を示すデフォーカスマップ画像を生成し、表示制御を行う表示制御部を備えることが考えられる。
これにより、撮像画像の複数位置におけるデフォーカス量の分布がデフォーカスマップ画像として表示される。
これにより、撮像画像の複数位置におけるデフォーカス量の分布がデフォーカスマップ画像として表示される。
【0008】
上記した本技術に係る画像処理装置においては、撮像画像内容に応じて対象領域を設定する対象領域設定部を備え、前記対象領域設定部は、ユーザ操作により指定された撮像画像における領域を前記対象領域として設定することが考えられる。
これにより、撮像画像内容に応じた対象領域にデフォーカスマップ画像が表示される。
これにより、撮像画像内容に応じた対象領域にデフォーカスマップ画像が表示される。
【0009】
上記した本技術に係る画像処理装置においては、撮像画像内容に応じて対象領域を設定する対象領域設定部を備え、前記マップデータ生成部は、前記対象領域内の複数位置のデフォーカスマップデータを生成することが考えられる。
これにより、対象領域内の複数位置におけるデフォーカス量のそれぞれのデータが算出される。
これにより、対象領域内の複数位置におけるデフォーカス量のそれぞれのデータが算出される。
【0010】
上記した本技術に係る画像処理装置においては、前記動作制御部は、前記マップデータ生成部が生成した前記対象領域内のデフォーカスマップデータを用いて撮像動作制御を行うことが考えられる。
これにより、対象領域内の複数位置におけるデフォーカス量情報に基づいて撮像動作制御が行われる。
これにより、対象領域内の複数位置におけるデフォーカス量情報に基づいて撮像動作制御が行われる。
【0011】
上記した本技術に係る画像処理装置においては、前記動作制御部は、デフォーカスマップデータを参照して前記対象領域のデフォーカス量があらかじめ設定された固定値となるように撮像動作制御を行うことが考えられる。
例えば撮像装置では、対象領域内の複数位置におけるデフォーカス量があらかじめ設定された固定値となるように、フォーカスレンズの動作制御や絞り機構の動作制御が行われる。
例えば撮像装置では、対象領域内の複数位置におけるデフォーカス量があらかじめ設定された固定値となるように、フォーカスレンズの動作制御や絞り機構の動作制御が行われる。
【0012】
上記した本技術に係る画像処理装置においては、前記動作制御部は、デフォーカスマップデータを参照して前記対象領域のデフォーカス量がユーザ操作により設定された固定値となるように撮像動作制御を行うことが考えられる。
例えば撮像装置では、対象領域内の複数位置におけるデフォーカス量がユーザ操作により設定された固定値となるように、フォーカスレンズの動作制御や絞り機構の動作制御が行われる。
例えば撮像装置では、対象領域内の複数位置におけるデフォーカス量がユーザ操作により設定された固定値となるように、フォーカスレンズの動作制御や絞り機構の動作制御が行われる。
【0013】
上記した本技術に係る画像処理装置においては、前記動作制御部は、前記対象領域の属性情報に応じてデフォーカスマップデータを用いた撮像動作制御を行うことが考えられる。
これにより、対象領域における複数位置のデフォーカス量が属性情報に応じて補正される。
ここでいう属性情報とは、対象領域の面積、撮像画像内に占める対象領域の比率、撮像画像内における対象領域の位置などの対象領域自体に紐付けられた属性に関する情報、被写体の位置、人数、年齢、性別、顔領域の大きさなど対象領域における被写体に紐付けられた属性等、様々な情報が想定される。
これにより、対象領域における複数位置のデフォーカス量が属性情報に応じて補正される。
ここでいう属性情報とは、対象領域の面積、撮像画像内に占める対象領域の比率、撮像画像内における対象領域の位置などの対象領域自体に紐付けられた属性に関する情報、被写体の位置、人数、年齢、性別、顔領域の大きさなど対象領域における被写体に紐付けられた属性等、様々な情報が想定される。
【0014】
上記した本技術に係る画像処理装置においては、前記属性情報は、前記対象領域に紐付けられた属性であることが考えられる。
これにより、例えば、対象領域の面積、撮像画像内に占める対象領域の比率、撮像画像内における対象領域の位置などに応じて撮像動作制御が行われる。
これにより、例えば、対象領域の面積、撮像画像内に占める対象領域の比率、撮像画像内における対象領域の位置などに応じて撮像動作制御が行われる。
【0015】
上記した本技術に係る画像処理装置においては、前記属性情報は、前記対象領域における被写体に紐付けられた属性であることが考えられる。
これにより、例えば、被写体の位置、人数、年齢、性別、顔領域の大きさなどに応じて撮像動作制御が行われる。
これにより、例えば、被写体の位置、人数、年齢、性別、顔領域の大きさなどに応じて撮像動作制御が行われる。
【0016】
上記した本技術に係る画像処理装置においては、前記撮像動作制御はフォーカス制御であることが考えられる。
フォーカス制御は、例えば撮像装置のフォーカスレンズの動作を制御することにより行われる。
フォーカス制御は、例えば撮像装置のフォーカスレンズの動作を制御することにより行われる。
【0017】
上記した本技術に係る画像処理装置においては、前記表示制御部は、撮像画像の各位置のデフォーカス量に応じた色が付されたデフォーカスマップ画像を生成することが考えられる。
これにより、撮像画像の各位置のデフォーカス量の値の違いがデフォーカスマップ画像における色の違いとして表示される。
これにより、撮像画像の各位置のデフォーカス量の値の違いがデフォーカスマップ画像における色の違いとして表示される。
【0018】
上記した本技術に係る画像処理装置においては、前記動作制御部は、デフォーカスマップ画像に対するユーザ操作に応じて撮像動作制御を行うことが考えられる。
これにより、ユーザ操作に応じて撮像画像における合焦位置の調整が行われ、撮像画像の各位置のデフォーカス量が変動する。
これにより、ユーザ操作に応じて撮像画像における合焦位置の調整が行われ、撮像画像の各位置のデフォーカス量が変動する。
【0019】
上記した本技術に係る画像処理装置においては、前記表示制御部は、デフォーカス量に応じて表示態様の異なるデフォーカス量表示アイコンを用いたデフォーカスマップ画像を生成し、前記動作制御部は、デフォーカスマップ画像における前記デフォーカス量表示アイコンのユーザ操作に応じて撮像動作制御を行うことが考えられる。
これにより、ユーザ操作に応じたデフォーカス量表示アイコンの表示態様の変化に応じた撮像動作制御が行われ、当該撮像動作制御に応じてデフォーカス量表示アイコンに対応する位置のデフォーカス量が変動する。
これにより、ユーザ操作に応じたデフォーカス量表示アイコンの表示態様の変化に応じた撮像動作制御が行われ、当該撮像動作制御に応じてデフォーカス量表示アイコンに対応する位置のデフォーカス量が変動する。
【0020】
上記した本技術に係る画像処理装置においては、前記対象領域設定部は、撮像画像における顔検出により検出した顔領域を前記対象領域として設定することが考えられる。
これにより、撮像画像内の顔領域について合焦位置の調整が行われる。
これにより、撮像画像内の顔領域について合焦位置の調整が行われる。
【0021】
上記した本技術に係る画像処理装置においては、前記対象領域設定部は、撮像画像における瞳検出により検出した瞳領域を前記対象領域として設定することが考えられる。
これにより、撮像画像内の瞳領域について合焦位置の調整が行われる。
これにより、撮像画像内の瞳領域について合焦位置の調整が行われる。
【0022】
本技術に係る撮像装置は、上記のマップデータ生成部と、撮像動作制御部とを少なくとも備える。
本技術に係る画像処理方法は、位相差検出部により検出した位相差情報から算出される、撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成し、前記生成したデフォーカスマップデータを用いて、撮像画像の各位置のデフォーカス量に応じた色が付されることで撮像画像のデフォーカス量の分布を示すデフォーカスマップ画像を生成し、撮像画像にデフォーカスマップ画像を重畳して表示させる表示制御を行い、前記生成したデフォーカスマップデータを用いて撮像動作制御を行うものである。
本技術に係るプログラムは、このような画像処理方法に相当する処理を情報処理装置に実行させるプログラムである。
本技術に係る画像処理方法は、位相差検出部により検出した位相差情報から算出される、撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成し、前記生成したデフォーカスマップデータを用いて、撮像画像の各位置のデフォーカス量に応じた色が付されることで撮像画像のデフォーカス量の分布を示すデフォーカスマップ画像を生成し、撮像画像にデフォーカスマップ画像を重畳して表示させる表示制御を行い、前記生成したデフォーカスマップデータを用いて撮像動作制御を行うものである。
本技術に係るプログラムは、このような画像処理方法に相当する処理を情報処理装置に実行させるプログラムである。
【図面の簡単な説明】
【0023】
【図1】本技術の実施の形態で用いられる機器の説明図である。
【図2】実施の形態で用いられる機器の説明図である。
【図3】実施の形態の撮像装置のブロック図である。
【図4】実施の形態の撮像素子部の説明図である。
【図5】実施の形態のコンピュータ装置のブロック図である。
【図6】実施の形態の画像処理装置としての機能構成の説明図である。
【図7】実施の形態のデフォーカスマップデータの説明図である。
【図8】実施の形態のデプスマップデータの説明図である。
【図9】実施の形態の撮像画像の表示例の説明図である。
【図10】実施の形態のデフォーカスマップ画像の表示例の説明図である。
【図11】実施の形態のデプスマップ画像の表示例の説明図である。
【図12】実施の形態の顔領域における撮像動作制御例の説明図である。
【図13】実施の形態の瞳領域における撮像動作制御例の説明図である。
【図14】実施の形態のデフォーカス量表示アイコンの表示例の説明図である。
【図15】実施の形態のデフォーカス量表示アイコンの撮像動作制御例の説明図である。
【図16】実施の形態のデフォーカス量表示アイコンの撮像動作制御例の説明図である。
【図17】実施の形態のデフォーカス量表示アイコンの撮像動作制御例の説明図である。
【図18】第１の実施の形態の処理例のフローチャートである。
【図19】第１の実施の形態の処理例のフローチャートである。
【図20】第２の実施の形態の処理例のフローチャートである。
【図21】第２の実施の形態の処理例のフローチャートである。
【図22】第３の実施の形態の処理例のフローチャートである。
【図23】第３の実施の形態の処理例のフローチャートである。
【図24】第４の実施の形態の処理例のフローチャートである。
【図25】第４の実施の形態の処理例のフローチャートである。
【発明を実施するための形態】
【0024】
以下、実施の形態を次の順序で説明する。
＜１．画像処理装置として適用できる機器の構成＞
＜２．撮像装置の構成＞
＜３．マップ画像の表示態様及び撮像動作制御＞
＜４．画像処理装置が実行する処理＞
＜５．まとめ及び変形例＞
なお、以下の説明において、同様の内容については同一符号を付し、説明を省略するものとする。
＜１．画像処理装置として適用できる機器の構成＞
＜２．撮像装置の構成＞
＜３．マップ画像の表示態様及び撮像動作制御＞
＜４．画像処理装置が実行する処理＞
＜５．まとめ及び変形例＞
なお、以下の説明において、同様の内容については同一符号を付し、説明を省略するものとする。
【0025】
また、使用する各用語の意味は以下の通りである。
デフォーカスマップデータとは、撮像画像又は撮像画像内の対象領域における各位置のデフォーカス量を示すものである。デフォーカス量とは、撮像画像内の或る位置におけるデフォーカス（ボケ）の状態を定量的に示したもので、例えばデフォーカスサークルの直径に相当する。
デプスマップデータとは、撮像画像又は撮像画像内の対象領域における各位置の被写体距離を示すものである。被写体距離とは、撮像画像内の或る位置からフォーカスレンズまでの距離を示したものである。
デフォーカスマップデータ画像とは、デフォーカスマップデータを用いて生成された撮像画像又は撮像画像内の対象領域におけるデフォーカス量の分布を示す画像である。
デプスマップデータ画像とは、デプスマップデータを用いて生成された撮像画像又は撮像画像内の対象領域における被写体距離の分布を示す画像である。
以下の説明では、デフォーカスマップデータとデプスマップデータをまとめてマップデータと、デフォーカスマップ画像とデプスマップ画像をまとめてマップ画像とも表記する。
デフォーカスマップデータとは、撮像画像又は撮像画像内の対象領域における各位置のデフォーカス量を示すものである。デフォーカス量とは、撮像画像内の或る位置におけるデフォーカス（ボケ）の状態を定量的に示したもので、例えばデフォーカスサークルの直径に相当する。
デプスマップデータとは、撮像画像又は撮像画像内の対象領域における各位置の被写体距離を示すものである。被写体距離とは、撮像画像内の或る位置からフォーカスレンズまでの距離を示したものである。
デフォーカスマップデータ画像とは、デフォーカスマップデータを用いて生成された撮像画像又は撮像画像内の対象領域におけるデフォーカス量の分布を示す画像である。
デプスマップデータ画像とは、デプスマップデータを用いて生成された撮像画像又は撮像画像内の対象領域における被写体距離の分布を示す画像である。
以下の説明では、デフォーカスマップデータとデプスマップデータをまとめてマップデータと、デフォーカスマップ画像とデプスマップ画像をまとめてマップ画像とも表記する。
【0026】
＜１．画像処理装置として適用できる機器の構成＞
以下では、主に撮像装置により本開示に係る画像処理装置が実現される例を説明するが、画像処理装置は、各種の機器において実現できる。
以下では、主に撮像装置により本開示に係る画像処理装置が実現される例を説明するが、画像処理装置は、各種の機器において実現できる。
【0027】
本開示の技術を適用できる機器について説明する。図１は、画像処理装置となりうる機器の例を示している。
画像処理装置となりうる機器としては、デジタルスチルカメラ１Ａやデジタルビデオカメラ１Ｂなどの撮像装置１、スマートフォンなどの携帯端末２が想定される。
画像処理装置となりうる機器としては、デジタルスチルカメラ１Ａやデジタルビデオカメラ１Ｂなどの撮像装置１、スマートフォンなどの携帯端末２が想定される。
【0028】
例えば撮像装置１では、当該撮像装置１の内部のマイクロコンピュータ等が画像処理を行う。つまり撮像装置１が撮像によって生成した画像ファイルに対して画像処理を行うことで、画像処理結果に基づく画像出力及び撮像動作制御を行うことができる。出力された画像データにより撮像装置１に撮像画像が表示される。
【0029】
携帯端末２も撮像機能を備えることで、撮像によって生成した画像ファイルについて上記の画像処理を行うことで、画像処理結果に基づく画像出力及び撮像動作制御を行うことができる。出力された画像データにより携帯端末２に撮像画像が表示される。
なお、撮像装置１や携帯端末２に限らず、画像処理装置となりうる機器は他にも各種考えられる。
なお、撮像装置１や携帯端末２に限らず、画像処理装置となりうる機器は他にも各種考えられる。
【0030】
図２は、画像ソースになり得る機器と、画像ソースから画像ファイルを取得する画像処理装置となり得る機器との例を示している。
画像ソースとなり得る機器としては、撮像装置１、携帯端末２などが想定される。画像処理装置となる得る機器としては、携帯端末２やパーソナルコンピュータ３などが想定される。
画像ソースとなり得る機器としては、撮像装置１、携帯端末２などが想定される。画像処理装置となる得る機器としては、携帯端末２やパーソナルコンピュータ３などが想定される。
【0031】
画像ソースとしての撮像装置１や携帯端末２は、動画撮像によって得られた画像ファイルを有線通信や無線通信を介して画像処理装置としての携帯端末２やパーソナルコンピュータ３に転送する。
【0032】
画像処理装置としての携帯端末２やパーソナルコンピュータ３は、上記の画像ソースから取得した画像ファイルに対する上記の画像処理が可能とされている。
なお、或る携帯端末２やパーソナルコンピュータ３が、画像処理装置として機能する他の携帯端末２やパーソナルコンピュータ３に対する画像ソースとなることもある。
なお、或る携帯端末２やパーソナルコンピュータ３が、画像処理装置として機能する他の携帯端末２やパーソナルコンピュータ３に対する画像ソースとなることもある。
【0033】
上記の画像処理結果に基づく画像出力により、画像処理装置としての携帯端末２やパーソナルコンピュータ３に撮像画像が表示される。
なお、画像処理装置としての携帯端末２やパーソナルコンピュータ３は、上記の画像処理結果によって得られた画像ファイルを有線通信や無線通信を介して画像ソースとしての撮像装置１や携帯端末２に転送し、当該撮像装置１や携帯端末２に撮像画像を表示することもできる。
なお、画像処理装置としての携帯端末２やパーソナルコンピュータ３は、上記の画像処理結果によって得られた画像ファイルを有線通信や無線通信を介して画像ソースとしての撮像装置１や携帯端末２に転送し、当該撮像装置１や携帯端末２に撮像画像を表示することもできる。
【0034】
以上のように実施の形態の画像処理装置として機能する装置及び画像ソースは多様であるが、以下では、撮像装置１が画像処理装置として実現される例について説明する。
【0035】
＜２．撮像装置の構成＞
画像処理装置としての撮像装置１の構成例を図３を参照して説明する。
なお、図２で説明したように、撮像装置１で撮像した画像ファイルを有線通信や無線通信を介して画像処理装置としての携帯端末２やパーソナルコンピュータ３に転送し、当該転送した携帯端末２やパーソナルコンピュータ３で画像処理を行ってもよい。
画像処理装置としての撮像装置１の構成例を図３を参照して説明する。
なお、図２で説明したように、撮像装置１で撮像した画像ファイルを有線通信や無線通信を介して画像処理装置としての携帯端末２やパーソナルコンピュータ３に転送し、当該転送した携帯端末２やパーソナルコンピュータ３で画像処理を行ってもよい。
【0036】
図３に示すように撮像装置１は、レンズ系１１、撮像素子部１２、カメラ信号処理部１３、記録制御部１４、表示部１５、出力部１６、操作部１７、カメラ制御部１８、メモリ部１９、ドライバ部２０、センサ部２１、位相差検出部２２を有する。
【0037】
レンズ系１１は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り機構などを備える。このレンズ系１１により、被写体からの光（入射光）が導かれ撮像素子部１２に集光される。
【0038】
ドライバ部２０には、例えばズームレンズ駆動モータに対するモータドライバ、フォーカスレンズ駆動モータに対するモータドライバ、絞り機構駆動モータに対するモータドライバ等が設けられている。
ドライバ部２０は、カメラ制御部１８やカメラ信号処理部１３からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させる。
ドライバ部２０は、カメラ制御部１８やカメラ信号処理部１３からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させる。
【0039】
絞り機構は絞り機構駆動モータによって駆動され、後述する撮像素子部１２への入射光量を制御する。フォーカスレンズはフォーカスレンズ駆動モータによって駆動され、焦点調節に用いられる。ズームレンズはズームレンズ駆動モータによって駆動され、ズームの調節に用いられる。
【0040】
撮像素子部１２は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型やＣＣＤ（Charge Coupled Device）型などのイメージセンサ１２ａ（撮像素子）を有して構成される。イメージセンサ１２ａは、被写体の画像を撮像するための撮像画素と、被写体の光像の位相差を検出するための像面位相差画素とから構成される。
【0041】
撮像素子部１２では、イメージセンサ１２ａで受光した光を光電変換して得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。撮像素子部１２は、デジタルデータとしての撮像信号を、カメラ信号処理部１３やカメラ制御部１８に出力する。
【0042】
位相差検出部２２は、デフォーカス量を算出するために用いられる位相差情報を検出する。位相差検出部２２は、例えば撮像素子部１２における像面位相差画素である。
像面位相差画素（位相差検出部２２）は一対の位相差信号を検出し、撮像素子部１２は、像面位相差画素により検出した一対の位相差信号を出力する。当該位相差信号はデフォーカス量を算出するための相関演算に用いられる。
撮像素子部１２は、位相差信号をカメラ信号処理部１３やカメラ制御部１８に出力する。
像面位相差画素（位相差検出部２２）は一対の位相差信号を検出し、撮像素子部１２は、像面位相差画素により検出した一対の位相差信号を出力する。当該位相差信号はデフォーカス量を算出するための相関演算に用いられる。
撮像素子部１２は、位相差信号をカメラ信号処理部１３やカメラ制御部１８に出力する。
【0043】
図４は、本技術におけるイメージセンサ１２ａ（撮像素子）の画素配列の一例を示している。
図４では、イメージセンサ１２ａ（撮像素子）の画素配列の一例として、撮像素子１００Ａ、１００Ｂの画素配列の一部がそれぞれ示されている。
図４では、イメージセンサ１２ａ（撮像素子）の画素配列の一例として、撮像素子１００Ａ、１００Ｂの画素配列の一部がそれぞれ示されている。
【0044】
撮像素子１００Ａは、撮像画素と像面位相差画素の機能を一画素として形成する例である。
撮像素子１００Ａの撮像面には、２列×２行の画素からなる複数の画素群１０１が設けられている。画素群１０１はそれぞれベイヤー配列のカラーフィルタにより覆われており、各画素群１０１において、Ｒの分光感度を有する画素１０１Ｒが左下の位置に、Ｇの分光感度を有する画素１０１Ｇが左上と右下の位置に、Ｂの分光感度を有する画素１０１Ｂが右上の位置に配置されている。
撮像素子１００Ａの撮像面には、２列×２行の画素からなる複数の画素群１０１が設けられている。画素群１０１はそれぞれベイヤー配列のカラーフィルタにより覆われており、各画素群１０１において、Ｒの分光感度を有する画素１０１Ｒが左下の位置に、Ｇの分光感度を有する画素１０１Ｇが左上と右下の位置に、Ｂの分光感度を有する画素１０１Ｂが右上の位置に配置されている。
【0045】
撮像素子１００Ａは、位相差信号の検出を行うために、各画素は、１つのマイクロレンズ１０４に対し、複数のフォトダイオード（光電変換部）を保持している。各画素は、２列×１行に配列された２つのフォトダイオード１０２、１０３を有している。
【0046】
撮像素子１００Ａは、２列×２行の画素（４列×２行のフォトダイオード）からなる画素群１０１を撮像面上に多数配置することで、撮像信号及び位相差信号の取得を可能としている。
各画素では、光束がマイクロレンズ１０４により分離され、フォトダイオード１０２、１０３に結像される。そして、フォトダイオード１０２、１０３からの信号により撮像信号及び位相差信号が読み出される。
各画素では、光束がマイクロレンズ１０４により分離され、フォトダイオード１０２、１０３に結像される。そして、フォトダイオード１０２、１０３からの信号により撮像信号及び位相差信号が読み出される。
【0047】
また撮像素子は、全ての画素が複数のフォトダイオードを有する上記構成に限られず、撮像素子１００Ｂに示すように、画素内にＲ，Ｇ，Ｂの各撮像用画素とは別に像面位相差画素を離散的に設けてもよい。
【0048】
撮像素子１００Ｂの撮像面には、被写体の画像を撮像するための２列×２行の撮像画素からなる撮像画素群１０５と、被写体の光像の位相差を検出するための一対の像面位相差画素１０６とが設けられている。一対の像面位相差画素１０６は、撮像面において複数の撮像画素の間に離散的に配置されている。
【0049】
一対の位相差検出画素１０６には、例えば撮像レンズの瞳領域を左右の２つの分割領域に分割した場合に、左の分割領域から入射する光束を受光する位相差検出画素１０６ａと、右の分割領域から入射する光束を受光する位相差検出画素１０６ｂとが設けられている。位相差検出画素１０６ａと位相差検出画素１０６ｂから得られる分割領域ごとの被写体の画像の位相差信号を読み出すことができる。
位相差検出画素１０６が設けられていない領域については、カメラ信号処理部１３が機械学習等の画像処理による超解像処理を実行することで、各位置についての位相差を補完する。
位相差検出画素１０６が設けられていない領域については、カメラ信号処理部１３が機械学習等の画像処理による超解像処理を実行することで、各位置についての位相差を補完する。
【0050】
撮像画素群１０５はそれぞれベイヤー配列のカラーフィルタにより覆われており、撮像画素群１０５が受光した光を光電変換して得た電気信号から撮像信号を読み出すことができる。
【0051】
以上により、像面位相差画素は、Ｒ，Ｇ，Ｂの撮像画素と一体に形成される、又は周辺に素配置されるため、読み出した位相差信号からデフォーカス量を数μｍ画素単位で精密に算出することができる。
【0052】
なお、位相差検出部２２は、撮像素子部１２とは別に設けられた位相差センサであってもよい。例えば、撮像装置１のレンズ系１１から導かれた光線が、撮像素子部１２へ向かう透過光と位相差センサに向かう反射光とにトランスルーセントミラーを透過することで分割され、当該分割された反射光を位相差センサが受光することで位相差情報が検出されるような構成が想定される。
【0053】
図３に戻り、カメラ信号処理部１３は、例えばＤＳＰ（Digital Signal Processor）等により画像処理プロセッサとして構成される。カメラ信号処理部１３には画像処理装置３０が設けられており、後述する処理を実行する。
【0054】
カメラ信号処理部１３は、撮像素子部１２からのデジタル信号（撮像画像信号）に対して、各種の信号処理を施す。例えばカメラ信号処理部１３は、前処理、同時化処理、ＹＣ生成処理、各種補正処理、解像度変換処理、コーデック処理等を行う。
【0055】
前処理では、撮像素子部１２からの撮像画像信号に対して、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を行う。
同時化処理では、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにする色分離処理を施す。例えば、ベイヤー配列のカラーフィルタを用いた撮像素子の場合は、色分離処理としてデモザイク処理が行われる。
ＹＣ生成処理では、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。
解像度変換処理では、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。
同時化処理では、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにする色分離処理を施す。例えば、ベイヤー配列のカラーフィルタを用いた撮像素子の場合は、色分離処理としてデモザイク処理が行われる。
ＹＣ生成処理では、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。
解像度変換処理では、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。
【0056】
カメラ信号処理部１３におけるコーデック処理では、以上の各種処理が施された画像データについて、例えば記録用や通信用の符号化処理、ファイル生成を行う。例えばＭＰＥＧ－４準拠の動画・音声の記録に用いられているＭＰ４フォーマットなどとしての画像ファイルＭＦの生成を行う。また静止画ファイルとしてＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、ＧＩＦ（Graphics Interchange Format）等の形式のファイル生成を行うことも考えられる。
なおカメラ信号処理部１３はカメラ制御部１８からの情報等を用いて、画像ファイルに付加するメタデータの生成も行う。
また図３では音声処理系については図示を省略しているが、実際には音声収録系、音声処理系を有し、画像ファイルには動画としての画像データとともに音声データも含まれるようにしてもよい。
なおカメラ信号処理部１３はカメラ制御部１８からの情報等を用いて、画像ファイルに付加するメタデータの生成も行う。
また図３では音声処理系については図示を省略しているが、実際には音声収録系、音声処理系を有し、画像ファイルには動画としての画像データとともに音声データも含まれるようにしてもよい。
【0057】
記録制御部１４は、例えば不揮発性メモリによる記録媒体に対して記録再生を行う。記録制御部１４は例えば記録媒体に対し動画データや静止画データ等の画像ファイルやサムネイル画像、生成されたデフォーカスマップデータ等を記録する処理を行う。
記録制御部１４の実際の形態は多様に考えられる。例えば記録制御部１４は、撮像装置１に内蔵されるフラッシュメモリとその書込／読出回路として構成されてもよいし、撮像装置１に着脱できる記録媒体、例えばメモリカード（可搬型のフラッシュメモリ等）に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。
記録制御部１４の実際の形態は多様に考えられる。例えば記録制御部１４は、撮像装置１に内蔵されるフラッシュメモリとその書込／読出回路として構成されてもよいし、撮像装置１に着脱できる記録媒体、例えばメモリカード（可搬型のフラッシュメモリ等）に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。
【0058】
表示部１５は撮像者に対して各種表示を行う表示部であり、例えば撮像装置１の筐体に配置される液晶パネル（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスによる表示パネルやビューファインダーとされる。
【0059】
表示部１５は、カメラ制御部１８の指示に基づいて表示画面上に各種表示を実行させる。
例えば、カメラ信号処理部１３で表示用に解像度変換された撮像画像の画像データが供給され、表示部１５はカメラ制御部１８の指示に応じて、当該撮像画像の画像データに基づいて表示を行う。これによりスタンバイ中の撮像画像である、いわゆるスルー画（被写体のモニタリング画像）が表示される。
また表示部１５は、記録制御部１４において記録媒体から読み出された画像データの再生画像を表示させる。
表示部１５はカメラ制御部１８の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。
例えば、カメラ信号処理部１３で表示用に解像度変換された撮像画像の画像データが供給され、表示部１５はカメラ制御部１８の指示に応じて、当該撮像画像の画像データに基づいて表示を行う。これによりスタンバイ中の撮像画像である、いわゆるスルー画（被写体のモニタリング画像）が表示される。
また表示部１５は、記録制御部１４において記録媒体から読み出された画像データの再生画像を表示させる。
表示部１５はカメラ制御部１８の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。
【0060】
出力部１６は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。
例えば外部の表示装置、記録装置、再生装置等に対して撮像画像データ（静止画ファイルや動画ファイル）の送信出力を行う。
また出力部１６はネットワーク通信部であるとして、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。
例えば外部の表示装置、記録装置、再生装置等に対して撮像画像データ（静止画ファイルや動画ファイル）の送信出力を行う。
また出力部１６はネットワーク通信部であるとして、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。
【0061】
操作部１７は、ユーザが各種操作入力を行うための入力デバイスを総括して示している。具体的には操作部１７は撮像装置１の筐体に設けられた各種の操作子（キー、ダイヤル、タッチパネル、タッチパッド等）を示している。
操作部１７によりユーザの操作が検知され、入力された操作に応じた信号はカメラ制御部１８へ送られる。
操作部１７によりユーザの操作が検知され、入力された操作に応じた信号はカメラ制御部１８へ送られる。
【0062】
カメラ制御部１８はＣＰＵ（Central Processing Unit）を備えたマイクロコンピュータ（演算処理装置）により構成される。
メモリ部１９は、カメラ制御部１８が処理に用いる情報等を記憶する。図示するメモリ部１９としては、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなど包括的に示している。
メモリ部１９はカメラ制御部１８としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
カメラ制御部１８はメモリ部１９のＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１の全体を制御する。
例えばカメラ制御部１８は、撮像素子部１２のシャッタースピードの制御、カメラ信号処理部１３における各種信号処理の指示、レンズ情報の取得、ユーザの操作に応じた撮像動作や記録動作、動画記録の開始／終了制御、記録した画像ファイルの再生動作、オートフォーカス（ＡＦ）制御とマニュアルフォーカス（ＭＦ）制御の切り換え、レンズ鏡筒におけるズーム、フォーカス、絞り調整等のレンズ系１１の動作、ユーザインタフェース動作等について、必要各部の動作を制御する。
メモリ部１９は、カメラ制御部１８が処理に用いる情報等を記憶する。図示するメモリ部１９としては、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなど包括的に示している。
メモリ部１９はカメラ制御部１８としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
カメラ制御部１８はメモリ部１９のＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１の全体を制御する。
例えばカメラ制御部１８は、撮像素子部１２のシャッタースピードの制御、カメラ信号処理部１３における各種信号処理の指示、レンズ情報の取得、ユーザの操作に応じた撮像動作や記録動作、動画記録の開始／終了制御、記録した画像ファイルの再生動作、オートフォーカス（ＡＦ）制御とマニュアルフォーカス（ＭＦ）制御の切り換え、レンズ鏡筒におけるズーム、フォーカス、絞り調整等のレンズ系１１の動作、ユーザインタフェース動作等について、必要各部の動作を制御する。
【0063】
メモリ部１９におけるＲＡＭは、カメラ制御部１８のＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
メモリ部１９におけるＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。
メモリ部１９におけるＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。
【0064】
センサ部２１は、撮像装置１に搭載される各種のセンサを包括的に示している。センサ部２１としては、例えば位置情報センサ、照度センサ、加速度センサ等が搭載されている。
以上の撮像装置１は、撮像によって生成した画像ファイルに対して画像処理を行う。
以上の撮像装置１は、撮像によって生成した画像ファイルに対して画像処理を行う。
【0065】
また、携帯端末２、パーソナルコンピュータ３が画像処理を行う場合には、例えば図５に示す構成を備えたコンピュータ装置４０として実現できる。
【0066】
図５において、コンピュータ装置４０のＣＰＵ（Central Processing Unit）４１は、ＲＯＭ( Read Only Memory)４２に記憶されているプログラム、または記憶部４８からＲＡＭ( Random Access Memory )４３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ４３にはまた、ＣＰＵ４１が各種の処理を実行する上において必要なデータなども適宜記憶される。ＣＰＵ４１には、画像処理装置３０が設けられている。
【0067】
ＣＰＵ４１、ＲＯＭ４２、及びＲＡＭ４３は、バス４４を介して相互に接続されている。このバス４４には、入出力インタフェース４５も接続されている。
入出力インタフェース４５には、キーボード、マウス、タッチパネルなどよりなる入力装置４６、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）、有機ＥＬ（Electroluminescence）パネルなどよりなるディスプレイ、並びにスピーカなどよりなる出力装置４７、ＨＤＤ（Hard Disk Drive）が接続されている。
入出力インタフェース４５には、キーボード、マウス、タッチパネルなどよりなる入力装置４６、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）、有機ＥＬ（Electroluminescence）パネルなどよりなるディスプレイ、並びにスピーカなどよりなる出力装置４７、ＨＤＤ（Hard Disk Drive）が接続されている。
【0068】
例えば出力装置４７は、ＣＰＵ４１の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また出力装置４７はＣＰＵ４１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。
【0069】
入出力インタフェース４５には、ハードディスクや固体メモリなどより構成される記憶部４８や、モデムなどより構成される通信部４９が接続される場合もある。
通信部４９は、インターネット等の伝送路を介しての通信処理を行ったり、各種機器との有線／無線通信、バス通信などによる通信を行う。
通信部４９は、インターネット等の伝送路を介しての通信処理を行ったり、各種機器との有線／無線通信、バス通信などによる通信を行う。
【0070】
入出力インタフェース４５にはまた、必要に応じてドライブ５０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体５１が適宜装着される。
【0071】
ドライブ５０により、リムーバブル記録媒体５１からは画像ファイル等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部４８に記憶されたり、データファイルに含まれる画像や音声が出力装置４７で出力されたりする。またリムーバブル記録媒体５１から読み出されたコンピュータプログラム等は必要に応じて記憶部４８にインストールされる。
【0072】
このコンピュータ装置４０では、例えば本開示の画像処理装置としての画像処理のためのソフトウエアを、通信部４９によるネットワーク通信やリムーバブル記録媒体５１を介してインストールすることができる。或いは当該ソフトウエアは予めＲＯＭ４２や記憶部４８等に記憶されていてもよい。
【0073】
なお、コンピュータ装置４０は、図５のように単一で構成されることに限らず、複数のコンピュータ装置がシステム化されて構成されてもよい。複数のコンピュータ装置には、クラウドコンピューティングサービスによって利用可能なサーバ群（クラウド）としてのコンピュータ装置が含まれてもよい。
【0074】
画像処理装置３０の機能構成について、図６を参照して説明する。
例えば以下のソフトウエア（アプリケーションプログラム）によって、図６のような機能構成が画像処理装置３０において構築される。
即ち、画像処理装置３０は、マップデータ生成部３１、表示制御部３２、対象領域設定部３３、動作制御部３４、記録制御部３５としての機能を備える。
例えば以下のソフトウエア（アプリケーションプログラム）によって、図６のような機能構成が画像処理装置３０において構築される。
即ち、画像処理装置３０は、マップデータ生成部３１、表示制御部３２、対象領域設定部３３、動作制御部３４、記録制御部３５としての機能を備える。
【0075】
マップデータ生成部３１は、撮像素子部１２における像面位相差画素により検出した位相差信号（位相差情報）から算出される、撮像素子部１２による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成する。
例えば図７のように、マップデータ生成部３１は、撮像画像の水平方向をＸ軸、垂直方向をＹ軸とすると、撮像画像におけるＸ軸座標（Ｘ１，Ｘ２，Ｘ３・・・）とＹ軸座標（Ｙ１，Ｙ２，Ｙ３・・・）により特定される位置のデフォーカス量の値（ＤＦ１，ＤＦ２，ＤＦ３・・・）をデフォーカスマップデータとして生成する。
例えば図７のように、マップデータ生成部３１は、撮像画像の水平方向をＸ軸、垂直方向をＹ軸とすると、撮像画像におけるＸ軸座標（Ｘ１，Ｘ２，Ｘ３・・・）とＹ軸座標（Ｙ１，Ｙ２，Ｙ３・・・）により特定される位置のデフォーカス量の値（ＤＦ１，ＤＦ２，ＤＦ３・・・）をデフォーカスマップデータとして生成する。
【0076】
またマップデータ生成部３１は、生成したデフォーカスマップデータとレンズ情報に基づいて撮像素子部１２による撮像画像の複数位置における被写体距離を算出し、算出した被写体距離を示すデプスマップデータを生成することができる。
例えば図８のように、マップデータ生成部３１は、撮像画像におけるＸ軸座標（Ｘ１，Ｘ２，Ｘ３・・・）とＹ軸座標（Ｙ１，Ｙ２，Ｙ３・・・）により特定される位置の被写体距離の値（ＤＰ１，ＤＰ２，ＤＰ３・・・）をデプスマップデータとして生成する。
例えば図８のように、マップデータ生成部３１は、撮像画像におけるＸ軸座標（Ｘ１，Ｘ２，Ｘ３・・・）とＹ軸座標（Ｙ１，Ｙ２，Ｙ３・・・）により特定される位置の被写体距離の値（ＤＰ１，ＤＰ２，ＤＰ３・・・）をデプスマップデータとして生成する。
【0077】
表示制御部３２は、マップデータ生成部３１が生成したデフォーカスマップデータを用いて、撮像画像のデフォーカス量の分布を示すデフォーカスマップ画像を生成し、表示制御を行う。
表示制御部３２は、例えば、撮像画像にデフォーカスマップ画像を重畳させることで、デフォーカスマップ画像が撮像装置１の表示部１５に表示される。
表示制御部３２は、所定のタイミングに応じて通常の撮像画像についてデフォーカスマップ画像を重畳表示するか否かを切り換える。
なお、表示制御部３２は、デフォーカスマップ画像をαブレンディング（α値を掛け合わせることで半透明な画像を重ねる処理）により表示させてもよいし、デフォーカスマップ画像を単独で出力することにより表示させてもよい。
表示制御部３２は、例えば、撮像画像にデフォーカスマップ画像を重畳させることで、デフォーカスマップ画像が撮像装置１の表示部１５に表示される。
表示制御部３２は、所定のタイミングに応じて通常の撮像画像についてデフォーカスマップ画像を重畳表示するか否かを切り換える。
なお、表示制御部３２は、デフォーカスマップ画像をαブレンディング（α値を掛け合わせることで半透明な画像を重ねる処理）により表示させてもよいし、デフォーカスマップ画像を単独で出力することにより表示させてもよい。
【0078】
表示制御部３２は、マップデータ生成部３１が生成したデプスマップデータを用いて、撮像画像における被写体距離の分布を示すデプスマップ画像を生成し、表示制御を行う。
表示制御部３２は、所定のタイミングに応じて通常の撮像画像についてデプスマップ画像を重畳表示するか否かを切り換える。
表示制御部３２は、所定のタイミングに応じて通常の撮像画像についてデプスマップ画像を重畳表示するか否かを切り換える。
【0079】
表示制御部３２は、マップ画像を様々なタイミングで表示を開始させ、又は終了させる。例えば表示制御部３２は、ユーザ操作に応じてマップ画像の表示を開始させ、又は終了させる。
また表示制御部３２は、例えば、オートフォーカスモードによるフォーカス制御動作の開始時、オートフォーカスモードでのフォーカス制御動作による合焦時、マニュアルフォーカスモードでのユーザからのフォーカス調整操作又は絞り調整操作の検知時、撮像画像の録画開始時等、他にも様々なタイミングでマップ画像を表示させることができる。
また、表示制御部３２は、マップ画像の表示から所定の時間経過後等にマップ画像の表示制御を終了する。
表示制御部３２は、デフォーカスマップ画像とデプスマップ画像を互いに切り替える表示制御を行うことも可能である。
また表示制御部３２は、例えば、オートフォーカスモードによるフォーカス制御動作の開始時、オートフォーカスモードでのフォーカス制御動作による合焦時、マニュアルフォーカスモードでのユーザからのフォーカス調整操作又は絞り調整操作の検知時、撮像画像の録画開始時等、他にも様々なタイミングでマップ画像を表示させることができる。
また、表示制御部３２は、マップ画像の表示から所定の時間経過後等にマップ画像の表示制御を終了する。
表示制御部３２は、デフォーカスマップ画像とデプスマップ画像を互いに切り替える表示制御を行うことも可能である。
【0080】
対象領域設定部３３は、撮像画像内の対象領域を設定する。対象領域とは、撮像画像の全部又は一部の領域である。
対象領域設定部３３は、例えば撮像画像内容に応じて対象領域を設定する。
撮像画像内容は、例えば撮像装置１において設定されたモードである。例えば顔検出モードに設定されている場合、対象領域設定部３３は画像解析処理により顔領域を検出し、当該検出した顔領域を対象領域として設定する。また瞳検出モードに設定されている場合、対象領域設定部３３は画像解析処理により瞳領域を検出し、当該検出した瞳領域を対象領域として設定する。
また対象領域設定部３３は、例えばユーザ操作により指定された撮像画像内の領域を対象領域として設定することができる。
対象領域設定部３３は、例えば撮像画像内容に応じて対象領域を設定する。
撮像画像内容は、例えば撮像装置１において設定されたモードである。例えば顔検出モードに設定されている場合、対象領域設定部３３は画像解析処理により顔領域を検出し、当該検出した顔領域を対象領域として設定する。また瞳検出モードに設定されている場合、対象領域設定部３３は画像解析処理により瞳領域を検出し、当該検出した瞳領域を対象領域として設定する。
また対象領域設定部３３は、例えばユーザ操作により指定された撮像画像内の領域を対象領域として設定することができる。
【0081】
対象領域設定部３３により撮像画像内で対象領域が設定されている場合、マップデータ生成部３１は、対象領域内のデフォーカスマップデータやデプスマップデータを生成することができる。
【0082】
動作制御部３４は、マップデータ生成部３１が生成したデフォーカスマップデータを用いて例えば対象領域における撮像動作制御を行う。動作制御部３４は、例えばレンズ系１１のフォーカスレンズや絞り機構の動作制御を行う。動作制御部３４は、フォーカスレンズの動作を制御することでフォーカス制御を行い、絞り機構の動作を制御することで被写界深度に変化を生じさせる制御を行う。
なお、動作制御部３４は撮像動作制御にあたり、デフォーカスマップデータを用いずに取得した位相差信号に基づいて撮像動作制御を行うこととしてもよい。
なお、動作制御部３４は撮像動作制御にあたり、デフォーカスマップデータを用いずに取得した位相差信号に基づいて撮像動作制御を行うこととしてもよい。
【0083】
記録制御部３５は、マップデータ生成部３１が生成したデフォーカスマップデータやデプスマップデータを、撮像画像のフレームデータに対する付加情報として記録させる。
【0084】
なお、図３では画像処理装置３０が撮像装置１のカメラ信号処理部１３に内蔵されている例について説明しているが、画像処理装置３０は、カメラ制御部１８に内蔵されていてもよいし、図５に示すコンピュータ装置４０のＣＰＵ４１に内蔵されていてもよい。
また、画像処理装置３０の各機能は複数の画像処理装置３０により実現されてもよい。例えば、カメラ信号処理部１３に内蔵された画像処理装置３０がマップデータ生成部３１、対象領域設定部３３、記録制御部３５の機能を有し、カメラ制御部１８に内蔵された画像処理装置３０が表示制御部３２、動作制御部３４の機能を有することとしてもよい。
また、画像処理装置３０の各機能は複数の画像処理装置３０により実現されてもよい。例えば、カメラ信号処理部１３に内蔵された画像処理装置３０がマップデータ生成部３１、対象領域設定部３３、記録制御部３５の機能を有し、カメラ制御部１８に内蔵された画像処理装置３０が表示制御部３２、動作制御部３４の機能を有することとしてもよい。
【0085】
以上の図６の機能を備えた画像処理装置３０を有する撮像装置１により、本技術を実現するための処理が行われる。
【0086】
＜３．マップ画像の表示態様及び撮像動作制御＞
本技術におけるマップ画像の表示態様及び撮像動作制御の一例について、図９から図１７を参照して説明する。
図９から図１１は、撮像画像全体が対象領域として設定されたマップ画像の表示態様の例である。
本技術におけるマップ画像の表示態様及び撮像動作制御の一例について、図９から図１７を参照して説明する。
図９から図１１は、撮像画像全体が対象領域として設定されたマップ画像の表示態様の例である。
【0087】
図９は、撮像装置１において撮像された撮像画像の表示例を示している。図９では、撮像画像６０にマップ画像が重畳表示されていない状態である。撮像画像６０はライブビュー画像として撮像装置１の表示部１５に表示される。表示部１５は例えば液晶モニタやビューファインダー等である。
【0088】
図１０は、撮像画像にデフォーカス量の情報を付加したデフォーカスマップ画像の表示例を示している。図１０では、撮像装置１の表示部１５には、デフォーカスマップ画像６１とデフォーカスメーター６２が表示される。
デフォーカスマップ画像６１は撮像画像６０に重畳表示されており、例えば、撮像画像の各位置のデフォーカス量に応じて色分けを行い、ヒートマップのように表示させる。これにより、撮像画像全体の各位置のデフォーカス量を視覚的に認識することができる。なお、図１０では、色分けを模式的に点描で表し、点描の密度の差を色の差として示している。デフォーカスマップ画像６１は、デフォーカスマップデータを用いて画像処理装置３０により生成される。
デフォーカスマップ画像６１は撮像画像６０に重畳表示されており、例えば、撮像画像の各位置のデフォーカス量に応じて色分けを行い、ヒートマップのように表示させる。これにより、撮像画像全体の各位置のデフォーカス量を視覚的に認識することができる。なお、図１０では、色分けを模式的に点描で表し、点描の密度の差を色の差として示している。デフォーカスマップ画像６１は、デフォーカスマップデータを用いて画像処理装置３０により生成される。
【0089】
デフォーカスメーター６２は、デフォーカスマップ画像６１の色に対応するデフォーカス量の値を示している。これにより、デフォーカスマップ画像６１に表示された色がデフォーカス量としてどのくらいであるかを視覚的に容易に認識することができる。
【0090】
このように、デフォーカスマップ画像６１が表示されることにより、撮像画像６０の各位置のデフォーカス量の分布が色の変化により視覚的に容易に認識できる。
例えば図１０では、被写体６３は合焦状態となっており、被写体６３の前方に位置する被写体６４は合焦度の低下により前ボケ状態になっており、被写体６３の後方に位置する被写体６５は合焦度の低下により後ボケ状態になっていることが視覚的に確認できる。
例えば図１０では、被写体６３は合焦状態となっており、被写体６３の前方に位置する被写体６４は合焦度の低下により前ボケ状態になっており、被写体６３の後方に位置する被写体６５は合焦度の低下により後ボケ状態になっていることが視覚的に確認できる。
【0091】
また図１０では、撮像画像６０における被写体６３、被写体６４、被写体６５を含む背景といった、画像全体での定量的な合焦度合い（前後ボケ量によるボケ具合）を視覚的に認識することができる。これにより、例えばユーザがマニュアルフォーカス操作を行う際に、撮像画像全体の合焦度合いを考慮したピント合わせを行うことが可能となる。
【0092】
図１１は、撮像画像のデプスマップ画像の表示例を示している。図１１では、撮像装置１の表示部１５には、デプスマップ画像６６とデプスメーター６７が表示される。
デプスマップ画像６６は撮像画像６０に重畳表示されており、撮像画像６０の各位置の被写体距離に応じて色分けされている。なお、図１１では、被写体距離の違いを模式的に点描で表し、点描の密度の差を被写体距離の違いとして示している。デプスマップ画像６６は、デプスマップデータを用いて画像処理装置３０により生成される。
デプスマップ画像６６は撮像画像６０に重畳表示されており、撮像画像６０の各位置の被写体距離に応じて色分けされている。なお、図１１では、被写体距離の違いを模式的に点描で表し、点描の密度の差を被写体距離の違いとして示している。デプスマップ画像６６は、デプスマップデータを用いて画像処理装置３０により生成される。
【0093】
デプスメーター６７は、デプスマップ画像６６の色に対応する被写体距離の値を示している。これにより、デプスマップ画像６６に表示された色に対応する被写体距離を視覚的に容易に認識することができる。
【0094】
このように、デフォーカスマップ画像６１が表示されることにより、撮像画像６０の各位置の被写体距離が色の変化により視覚的に容易に認識できる。
例えば図１１では、被写体６３よりも被写体６５が後方に位置し、被写体６３よりも被写体６４が前方に位置することが視覚的に認識できる。これにより、例えば撮像画像全体における各被写体の被写体距離を考慮した被写界深度の調整が可能となる。
例えば図１１では、被写体６３よりも被写体６５が後方に位置し、被写体６３よりも被写体６４が前方に位置することが視覚的に認識できる。これにより、例えば撮像画像全体における各被写体の被写体距離を考慮した被写界深度の調整が可能となる。
【0095】
なお、所定のデフォーカス量の範囲に該当する一部の領域を対象領域として、デフォーカスマップ画像として表示することもできる。これにより、所定のデフォーカス量の領域を視覚的に容易に確認することができる。
また、所定の被写体距離の範囲に該当する領域のみを対象領域として、デプスマップ画像として表示することもできる。これにより、所定の被写体距離の領域を視覚的に容易に確認することができる。
デフォーカス量の範囲及び被写体距離の範囲は、あらかじめ設定されていてもよいし、ユーザ操作により適宜設定されてもよい。
また、所定の被写体距離の範囲に該当する領域のみを対象領域として、デプスマップ画像として表示することもできる。これにより、所定の被写体距離の領域を視覚的に容易に確認することができる。
デフォーカス量の範囲及び被写体距離の範囲は、あらかじめ設定されていてもよいし、ユーザ操作により適宜設定されてもよい。
【0096】
【0097】
図１２では、被写体の顔領域を対象領域とする場合における合焦位置を調整する例について説明する。
【0098】
図１２Ａの撮像画像６０は、対象領域（顔領域）の合焦位置の調整がされていない状態を示しており、被写体７１の顔領域７２には目尻、頬、顎などに比較的しわの目立つ画像となる。これは、撮像装置１（画像処理装置３０）の高画素化、高階調化に伴い、被写体のディテールをより詳細に表示することが可能となったことによるものである。
【0099】
次に、図１２Ａの撮像画像６０について、対象領域（顔領域）の合焦位置の調整を行ったものを図１２Ｂに示す。
図１２Ｂでは、撮像画像６０内の被写体７１の顔領域７２を検出し、検出した顔領域７２を合焦位置から微小にずらす撮像動作制御が行われる。これにより、被写体７１の顔領域７２に僅かにボケが生じ、顔領域７２の目尻、頬、顎などのしわを目立たなくさせることができる。
合焦位置からのずらし量は、検出した顔領域７２の属性、即ち、顔領域７２の大きさ、数、位置、年齢、性別等に応じてそれぞれ設定することができる。合焦位置からのずらし量はあらかじめ設定されていてもよいし、ユーザ操作により設定されてもよい。
上記の撮像動作制御は、撮像画像６０で顔領域７２が検出されると自動的に行われる。
図１２Ｂでは、撮像画像６０内の被写体７１の顔領域７２を検出し、検出した顔領域７２を合焦位置から微小にずらす撮像動作制御が行われる。これにより、被写体７１の顔領域７２に僅かにボケが生じ、顔領域７２の目尻、頬、顎などのしわを目立たなくさせることができる。
合焦位置からのずらし量は、検出した顔領域７２の属性、即ち、顔領域７２の大きさ、数、位置、年齢、性別等に応じてそれぞれ設定することができる。合焦位置からのずらし量はあらかじめ設定されていてもよいし、ユーザ操作により設定されてもよい。
上記の撮像動作制御は、撮像画像６０で顔領域７２が検出されると自動的に行われる。
【0100】
撮像装置１（画像処理装置３０）の撮像性能の向上により、被写体をより鮮明に表示することができる反面、被写体のリアリティが高くなりすぎてしまい、撮像を行うシチュエーションによっては、撮像画像を閲覧したユーザに却って不自然な印象を与えてしまうおそれがあるが、撮像画像における被写体によっては、あえて被写体を合焦位置から微小にずらすことで、ユーザに違和感を与えない撮像画像を提供することができる。
【0101】
また図１２Ｃ及び図１２Ｄに示すように、顔領域７２にデフォーカスマップ画像７３を重畳表示させることもできる。デフォーカスマップ画像７３の例では、顔領域７２についてデフォーカス量の分布を、デフォーカス量に応じた色により表示している。
図１２Ｃは顔領域７２が合焦位置となる場合のデフォーカスマップ画像７３を示しており、図１２Ｄは顔領域７２を合焦位置から微小にずらす撮像動作制御が行われた後のデフォーカスマップ画像７３を示している。
これにより、顔領域７２におけるデフォーカス量の変化を視覚的に認識することができる。
図１２Ｃは顔領域７２が合焦位置となる場合のデフォーカスマップ画像７３を示しており、図１２Ｄは顔領域７２を合焦位置から微小にずらす撮像動作制御が行われた後のデフォーカスマップ画像７３を示している。
これにより、顔領域７２におけるデフォーカス量の変化を視覚的に認識することができる。
【0102】
図１３では、被写界深度を調節することで、被写体の瞳領域を対象領域とした場合における瞳領域の各部分でのボケ具合を調整する例について説明する。
【0103】
図１３Ａは、撮像画像６０の瞳領域８１における睫毛領域８２と睫毛以外の領域８３の両方がボケてない状態を示しており、図１３Ｂは、睫毛領域８２がボケておらず、睫毛以外の領域８３がボケている状態を示している。図１３Ａ及び図１３Ｂでは、ボケていない領域を実線で示し、ボケが生じている領域を破線で示している。
【0104】
撮像画像の表現手法として、例えば瞳領域８１における睫毛領域８２と睫毛以外の領域８３において、睫毛領域８２をくっきりとボケずに表示させ、睫毛以外の領域８３を僅かにボケさせることがある。高画素化、高階調化に伴い、瞳の微細な深度の表現がモニタ上に反映されるようになったため、このような高精細な表現手法が有用になっている。
【0105】
例えば瞳領域８１における被写界深度をあらかじめ設定しておくことで自動的にＦ値制御を行い、睫毛領域８２と睫毛以外の領域８３のボケ具合を調節することができる。
瞳領域８１における被写界深度の調節量は、例えば検出した瞳領域の大きさ、位置、年齢、性別等の情報に応じてあらかじめ設定されていてもよいし、ユーザ操作により設定されてもよい。
上記の例によれば、睫毛と瞳のボケ味のバランスを面で捉えて最適な被写界深度となるようにＦ値を自動制御することができる。
瞳領域８１における被写界深度の調節量は、例えば検出した瞳領域の大きさ、位置、年齢、性別等の情報に応じてあらかじめ設定されていてもよいし、ユーザ操作により設定されてもよい。
上記の例によれば、睫毛と瞳のボケ味のバランスを面で捉えて最適な被写界深度となるようにＦ値を自動制御することができる。
【0106】
また図１３Ｃ及び図１３Ｄに示すように、瞳領域８１における睫毛領域８２と睫毛以外の領域８３のそれぞれにデフォーカスマップ画像８４を重畳表示させることもできる。デフォーカスマップ画像８４の例では、瞳領域８１のデフォーカス量の分布を、各部分のデフォーカス量に応じた色により表示している。これにより、瞳領域８４における各位置のデフォーカス量を視覚的に認識することができる。
【0107】
図１３Ｃは、瞳領域８１における睫毛領域８２と睫毛以外の領域８３が、共に同じデフォーカス量である状態を示している。この状態から、被写界深度の調節が行われることで、例えば図１３Ｄに示すように、睫毛領域８２のデフォーカス量が変化する。
【0108】
次に、図１４を参照して、デフォーカスマップ画像の他の表示態様、即ち、撮像画像における各位置のデフォーカス量をデフォーカス量表示アイコンにより表示する例について説明する。
デフォーカス量表示アイコンは、例えば環状や四角状の枠、ボケ量を意味するバー等、様々な記号により表示することができる。
デフォーカス量表示アイコンは、例えば環状や四角状の枠、ボケ量を意味するバー等、様々な記号により表示することができる。
【0109】
図１４Ａに示す例では、デフォーカス量表示アイコンは円環状とされ、デフォーカス量に応じて径が異なる円環状アイコンＢＣがデフォーカスマップ画像において表示される。
円環状アイコンＢＣ１、ＢＣ２、ＢＣ３、ＢＣ４は、撮像画像６０の各位置におけるデフォーカス量に応じて、それぞれ異なる径で表示されている。例えば円環状アイコンＢＣの径はデフォーカス量の絶対値とされ、円環状アイコンＢＣの径が大きくなるにしたがって、ボケ具合が大きくなるように表示される。
円環状アイコンＢＣ１、ＢＣ２、ＢＣ３、ＢＣ４は、撮像画像６０の各位置におけるデフォーカス量に応じて、それぞれ異なる径で表示されている。例えば円環状アイコンＢＣの径はデフォーカス量の絶対値とされ、円環状アイコンＢＣの径が大きくなるにしたがって、ボケ具合が大きくなるように表示される。
【0110】
ユーザは、デフォーカスマップ画像として表示された円環状アイコンＢＣの大きさを視認することで、視覚的、感覚的に撮像画像６０における各位置のデフォーカス量を認識することができる。
このような表示態様は、例えば被写体の瞳領域といったように比較的狭い対象領域における複数位置のデフォーカス量の分布を表示する際に有用である。
このような表示態様は、例えば被写体の瞳領域といったように比較的狭い対象領域における複数位置のデフォーカス量の分布を表示する際に有用である。
【0111】
また図１４Ａに示す例では、例えばタッチパネルでのユーザ操作により、円環状アイコンＢＣをピンチイン又はピンチアウトすることで、円環状アイコンＢＣの径を変化させ、各円環状アイコンＢＣに対応する位置のデフォーカス量を調整することもできる。
例えばピンチアウト操作により円環状アイコンＢＣの径を大きくすることで、フォーカスレンズや絞り機構の動作が制御され、円環状アイコンＢＣに対応する位置のデフォーカス量が大きくなる。また、ピンチイン操作により円環状アイコンＢＣの径を小さくすることで、フォーカスレンズや絞り機構の動作が制御され、円環状アイコンＢＣに対応する位置のデフォーカス量が小さくなる。
例えばピンチアウト操作により円環状アイコンＢＣの径を大きくすることで、フォーカスレンズや絞り機構の動作が制御され、円環状アイコンＢＣに対応する位置のデフォーカス量が大きくなる。また、ピンチイン操作により円環状アイコンＢＣの径を小さくすることで、フォーカスレンズや絞り機構の動作が制御され、円環状アイコンＢＣに対応する位置のデフォーカス量が小さくなる。
【0112】
図１４Ｂは、ユーザが操作により選択した撮像画像内の領域についてのデフォーカス量を、デフォーカス量表示アイコン（矢印ＤＦ）により表示する例である。
例えば、ユーザがタッチパネルをタッチすることにより撮像画像６０内の領域９１を選択すると、領域９１のデフォーカス量がデフォーカスメーター６２において矢印ＤＦにより指し示される。
例えば、ユーザがタッチパネルをタッチすることにより撮像画像６０内の領域９１を選択すると、領域９１のデフォーカス量がデフォーカスメーター６２において矢印ＤＦにより指し示される。
【0113】
また図１４Ｂで示す例では、デフォーカスメーター６２に設けられた矢印ＤＦをユーザ操作により上下にスライドさせ、矢印ＤＦを所望のデフォーカス量の位置まで移動させることで、領域９１が矢印ＤＦで示されたデフォーカス量となるように、フォーカスレンズや絞り機構の動作制御が行われる。
これにより、ユーザは撮像画像内の或る位置のデフォーカス量を確認したうえで、所望のデフォーカス量（ボケ具合）となるように調整を直感的に行うことができる。
これにより、ユーザは撮像画像内の或る位置のデフォーカス量を確認したうえで、所望のデフォーカス量（ボケ具合）となるように調整を直感的に行うことができる。
【0114】
また、ユーザにより選択された領域９１について、図１２Ｃ等で示すようなデフォーカス量に応じて色分けされたデフォーカスマップ画面を表示してもよい。これにより、操作によるデフォーカス量の変化（ボケ具合の変化）を直感的に認識できる。
さらに、図１４Ｂの撮像画像６０全体のデフォーカス量の分布を、図１０に示すように色分けして表示してもよい。これにより、ユーザが矢印ＤＦを操作する際に、他の領域のデフォーカス量を考慮することができる。
さらに、図１４Ｂの撮像画像６０全体のデフォーカス量の分布を、図１０に示すように色分けして表示してもよい。これにより、ユーザが矢印ＤＦを操作する際に、他の領域のデフォーカス量を考慮することができる。
【0115】
【0116】
図１５の例では、撮像画像６０内にデフォーカス量表示アイコンとして複数の円環状アイコン（例えば３列×３行で構成されている）を一体として形成したアイコン群９２、９３が表示されている。アイコン群９２、９３を構成する円環状アイコンの径は、例えばデフォーカス量の絶対値を示している。
【0117】
アイコン群９２、９３は、例えばタッチパネルでのユーザのタッチ操作により選択された２箇所の領域にそれぞれ表示される。図１５では、撮像画像６０内の被写体９４と被写体９５の顔領域が選択され、それぞれにアイコン群９２、９３が表示されている。
円環状アイコン群９２、９３は、それぞれの位置のデフォーカス量に応じて異なる大きさで表示されている。図１５では被写体９４の顔領域にはボケが生じておらず（合焦位置）、被写体９５の顔領域にはボケが生じている状態である。
円環状アイコン群９２、９３は、それぞれの位置のデフォーカス量に応じて異なる大きさで表示されている。図１５では被写体９４の顔領域にはボケが生じておらず（合焦位置）、被写体９５の顔領域にはボケが生じている状態である。
【0118】
このときユーザは、操作によりアイコン群９２、９３の何れかの大きさを変更することで、アイコン群９２、９３に対応する位置について、それぞれの合焦位置からのずれを調節することができる。このとき、アイコン群９２の円環状アイコンの径の変化に応じてフォーカスレンズの移動が制御されることで、合焦位置からのずれの調節が行われる。
【0119】
例えばユーザは、タッチパネルでアイコン群９２のピンチアウト操作を行い、アイコン群９２の円環状アイコンの径を大きくすることで被写体９４の顔領域のデフォーカス量が大きくなり、合焦位置からずらすことができる（ボケ具合が大きくなる）。このとき、アイコン群９２が大きくなると、相対的にアイコン群９３が小さくなり、アイコン群９３に対応する領域が合焦に近づき、被写体９５の顔領域のデフォーカス量が小さくなる（ボケ具合が小さくなる）。
【0120】
また逆に、ユーザがアイコン群９３についてピンチイン操作を行うことで、図１６に示すようにアイコン群９３の円環状アイコンの径を小さくすることもできる。これに伴い、図１５で合焦位置からずれていたアイコン群９３に対応する被写体９５の顔領域が、合焦位置に近づくこととなり、当該領域のデフォーカスが小さくなる（ボケ具合が小さくなる）。
アイコン群９３の円環状アイコンの径が小さくなると、相対的にアイコン群９２円環状アイコンの径が大きくなり、アイコン群９２に対応する被写体９４の顔領域が合焦位置からずれるため、当該領域のデフォーカス量が大きくなる（ボケ具合が大きくなる）。
アイコン群９３の円環状アイコンの径が小さくなると、相対的にアイコン群９２円環状アイコンの径が大きくなり、アイコン群９２に対応する被写体９４の顔領域が合焦位置からずれるため、当該領域のデフォーカス量が大きくなる（ボケ具合が大きくなる）。
【0121】
このように、選択した２つの被写体に、それぞれデフォーカス量を示すデフォーカス量表示アイコンとして表示することで、各被写体のボケ具合を視覚的に確認することができ、また、それを踏まえてボケ具合を調節することが可能となる。
【0122】
また、図１５及び図１６では、被写体９４、９５のボケ具合を調節をフォーカスレンズの移動制御により行う例について説明したが、図１７の例に示すように、絞り機構の動作制御（Ｆ値の制御）により、被写体９４、９５のボケ具合を調節することもできる。
絞り機構の動作によりＦ値を制御し、被写界深度を深くすることで被写体９４、９５の両方を合焦状態とすることもできる。この場合、図１７に示すように、円環状アイコン群９２、９３の円環状アイコンの径は同じ大きさとして表示される。
絞り機構の動作によりＦ値を制御し、被写界深度を深くすることで被写体９４、９５の両方を合焦状態とすることもできる。この場合、図１７に示すように、円環状アイコン群９２、９３の円環状アイコンの径は同じ大きさとして表示される。
【0123】
以上のように、本技術におけるマップ画像の表示制御及び撮像動作制御は、様々な態様が考えられる。
【0124】
【0125】
本技術の第１の実施の形態について、図１８及び図１９を参照して説明する。
第１の実施の形態は、画像処理装置３０がマップ画像の表示制御を実現するための処理であり、マップ画像がマニュアルフォーカスモード中に表示される例である。
第１の実施の形態は、画像処理装置３０がマップ画像の表示制御を実現するための処理であり、マップ画像がマニュアルフォーカスモード中に表示される例である。
【0126】
図１８において、画像処理装置３０は、ステップＳ１０１でユーザによるシャッター操作を検知しない場合、ステップＳ１０２に処理を進め、撮像素子部１２からフレーム情報を取得する。
フレーム情報とは、例えば現在の１フレームの画像データ、位相差信号に基づいて生成された各種マップデータのことである。ここでいう１フレームの画像データとは、カメラ信号処理部１３で表示用に処理される画像データである。
フレーム情報とは、例えば現在の１フレームの画像データ、位相差信号に基づいて生成された各種マップデータのことである。ここでいう１フレームの画像データとは、カメラ信号処理部１３で表示用に処理される画像データである。
【0127】
画像処理装置３０は、ステップＳ１０３において、対象領域設定処理を行う。これにより、画像処理装置３０は、撮像画像内でのデフォーカスマップデータやデプスマップデータといったマップデータを生成する領域、即ち対象領域を設定する。
【0128】
ここで、対象領域設定処理の詳細について、図１９を参照して説明する。
画像処理装置３０は、ステップＳ２０１でユーザによる対象領域の選択操作があるか、ステップＳ２０２で撮像装置１が顔認識モードに設定されているか、ステップＳ２０３で撮像装置１が瞳認識モードにも設定されているかを確認する。画像処理装置３０は、上記の何れかにも該当しない場合は、ステップＳ２０１、Ｓ２０２、Ｓ２０３、Ｓ２０４の順に処理を進める。
そして画像処理装置３０は、ステップＳ２０４において、撮像画像を対象領域として設定し、図１９の処理を終える。これにより、撮像画像の全体が対象領域として設定される。
画像処理装置３０は、ステップＳ２０１でユーザによる対象領域の選択操作があるか、ステップＳ２０２で撮像装置１が顔認識モードに設定されているか、ステップＳ２０３で撮像装置１が瞳認識モードにも設定されているかを確認する。画像処理装置３０は、上記の何れかにも該当しない場合は、ステップＳ２０１、Ｓ２０２、Ｓ２０３、Ｓ２０４の順に処理を進める。
そして画像処理装置３０は、ステップＳ２０４において、撮像画像を対象領域として設定し、図１９の処理を終える。これにより、撮像画像の全体が対象領域として設定される。
【0129】
ステップＳ２０１でユーザによる対象領域の選択操作があった場合、画像処理装置３０はステップＳ２０５に処理を進め、ユーザ操作により選択された選択領域を対象領域として設定し、図１９の処理を終える。例えば図１４Ｂのように、ユーザがタッチパネルを介して選択した領域９１が対象領域として設定される。
なお、ユーザ操作により選択された選択領域とは、あらかじめユーザにより設定された選択領域であってもよい。例えば、所定のデフォーカス量や被写体距離を設定しておき、画像処理装置３０はステップＳ２０５において、所定のデフォーカス量や被写体距離に該当する領域を対象領域として設定することもできる。この場合、撮像画像におけるデフォーカス量や被写体距離は、前フレームにおいて生成された情報を用いればよい。
なお、ユーザ操作により選択された選択領域とは、あらかじめユーザにより設定された選択領域であってもよい。例えば、所定のデフォーカス量や被写体距離を設定しておき、画像処理装置３０はステップＳ２０５において、所定のデフォーカス量や被写体距離に該当する領域を対象領域として設定することもできる。この場合、撮像画像におけるデフォーカス量や被写体距離は、前フレームにおいて生成された情報を用いればよい。
【0130】
ステップＳ２０２で撮像装置１が顔認識モードに設定されている場合、画像処理装置３０は、ステップＳ２０６で撮像画像の画像解析処理をすることで、顔領域を検出する。
画像処理装置３０は、ステップＳ２０６で顔領域が検出された場合、ステップＳ２０７、Ｓ２０８の順に処理を進め、顔領域を対象領域として設定し、図１９の処理を終える。
また、ステップＳ２０６で顔領域が検出されなかった場合、画像処理装置３０は、ステップＳ２０７、Ｓ２０４の順に処理を進め、撮像画像全体を対象領域として設定し、図１９の処理を終える。
画像処理装置３０は、ステップＳ２０６で顔領域が検出された場合、ステップＳ２０７、Ｓ２０８の順に処理を進め、顔領域を対象領域として設定し、図１９の処理を終える。
また、ステップＳ２０６で顔領域が検出されなかった場合、画像処理装置３０は、ステップＳ２０７、Ｓ２０４の順に処理を進め、撮像画像全体を対象領域として設定し、図１９の処理を終える。
【0131】
ステップＳ２０３で撮像装置１が瞳認識モードに設定されている場合、画像処理装置３０は、ステップＳ２０９で撮像画像の画像解析処理をすることで、瞳領域を検出する。
画像処理装置３０は、ステップＳ２０９で瞳領域が検出された場合、ステップＳ２１０、Ｓ２１１の順に処理を進め、瞳領域を対象領域として設定し、図１９の処理を終える。
また、ステップＳ２０９で顔領域が検出されなかった場合、画像処理装置３０はステップＳ２１０、Ｓ２０４の順に処理を進め、撮像画像全体を対象領域として設定し、図１９の処理を終える。
以上の処理により、マップデータを生成する対象領域が設定される。
画像処理装置３０は、ステップＳ２０９で瞳領域が検出された場合、ステップＳ２１０、Ｓ２１１の順に処理を進め、瞳領域を対象領域として設定し、図１９の処理を終える。
また、ステップＳ２０９で顔領域が検出されなかった場合、画像処理装置３０はステップＳ２１０、Ｓ２０４の順に処理を進め、撮像画像全体を対象領域として設定し、図１９の処理を終える。
以上の処理により、マップデータを生成する対象領域が設定される。
【0132】
図１８に戻り、画像処理装置３０は、ステップＳ１０３からステップＳ１０４に処理を進め、生成マップ種別の判定を実行する。即ち、画像処理装置３０は、マップデータの生成にあたり、デフォーカスマップデータとデプスマップデータのどちらのマップデータを生成するかを判定する。
画像処理装置３０は、例えば、デフォーカスマップデータ画像又はデプスマップ画像の何れかを表示するモードであるかを判定し、そのモードに応じてどちらのマップデータを生成するかを判定する。
また、例えば画像処理装置３０は、絞り機構の動作を制御するためのユーザ操作を検知したときは、デプスマップデータを生成することを設定するといったように、ユーザの操作状態に応じてどちらのマップデータを生成するかを判定することもできる。
画像処理装置３０は、例えば、デフォーカスマップデータ画像又はデプスマップ画像の何れかを表示するモードであるかを判定し、そのモードに応じてどちらのマップデータを生成するかを判定する。
また、例えば画像処理装置３０は、絞り機構の動作を制御するためのユーザ操作を検知したときは、デプスマップデータを生成することを設定するといったように、ユーザの操作状態に応じてどちらのマップデータを生成するかを判定することもできる。
【0133】
画像処理装置３０は、ステップＳ１０５において、ステップＳ１０４で判定したデフォーカスマップデータ又はデプスマップデータのマップデータの生成を実行する。
画像処理装置３０は、対象領域についてステップＳ１０２で取得した位相差信号を用いてデフォーカスについての相関演算を行うことで、図７に示すような対象領域内の各位置におけるデフォーカス量を示すデフォーカスマップデータを生成する。
また、画像処理装置３０は、生成したデフォーカスマップデータにおけるデフォーカス情報とレンズ情報に基づいて被写体距離を算出することで、図８に示すような対象領域内の各位置における被写体距離を示すデプスマップデータを生成する。
なお、画像処理装置３０は、ステップＳ１０４において、表示する何れかのマップデータを生成するのみならず、他方マップデータの両方を生成するとしてもよい。これにより、後述するステップＳ１１２において、デフォーカスマップデータとデプスマップデータの両方を記録することができる。
画像処理装置３０は、対象領域についてステップＳ１０２で取得した位相差信号を用いてデフォーカスについての相関演算を行うことで、図７に示すような対象領域内の各位置におけるデフォーカス量を示すデフォーカスマップデータを生成する。
また、画像処理装置３０は、生成したデフォーカスマップデータにおけるデフォーカス情報とレンズ情報に基づいて被写体距離を算出することで、図８に示すような対象領域内の各位置における被写体距離を示すデプスマップデータを生成する。
なお、画像処理装置３０は、ステップＳ１０４において、表示する何れかのマップデータを生成するのみならず、他方マップデータの両方を生成するとしてもよい。これにより、後述するステップＳ１１２において、デフォーカスマップデータとデプスマップデータの両方を記録することができる。
【0134】
画像処理装置３０は、ステップＳ１０６において、ステップＳ１０５で生成したマップデータであって、ステップＳ１０４で表示すると判定したマップデータについてマップ画像の生成を行う。
例えば、図１０、図１１で示したような、デフォーカス量や被写体距離の分布に応じて色分けされたマップ画像を生成する。またデフォーカスマップ画像であれば、図１４に示すような各位置のデフォーカス量がデフォーカス量表示アイコンにより表示されたデフォーカスマップ画像を生成してもよい。
例えば、図１０、図１１で示したような、デフォーカス量や被写体距離の分布に応じて色分けされたマップ画像を生成する。またデフォーカスマップ画像であれば、図１４に示すような各位置のデフォーカス量がデフォーカス量表示アイコンにより表示されたデフォーカスマップ画像を生成してもよい。
【0135】
画像処理装置３０は、ステップＳ１０７において、マップ画像の表示タイミングを判定するタイミング判定処理を実行する。ここで、画像処理装置３０は、撮像装置１がマニュアルフォーカスモードに設定されているかを判定する。
【0136】
撮像装置１がマニュアルフォーカスモードに設定されていない場合、画像処理装置３０は、ステップＳ１０８においてマップ画像の表示タイミングではないと判定し、ステップＳ１０９に処理を進め、マップ画像を撮像画像に重畳表示させることなく、撮像画像のみを表示する。
また、撮像装置１がマニュアルフォーカスモードに設定されている場合、画像処理装置３０は、ステップＳ１０８においてマップ画像の表示タイミングであると判定し、ステップＳ１１０に処理を進め、マップ画像を撮像画像に重畳表示させる。
また、撮像装置１がマニュアルフォーカスモードに設定されている場合、画像処理装置３０は、ステップＳ１０８においてマップ画像の表示タイミングであると判定し、ステップＳ１１０に処理を進め、マップ画像を撮像画像に重畳表示させる。
【0137】
なお、ステップＳ１０７でのタイミング判定処理では、画像処理装置３０がユーザ操作の検知に応じてマップ画像の表示タイミングを判定する例も考えられる。
ここでのユーザ操作とは、マップ画像の表示のオン／オフを切り換えるための操作のことであり、例えば、マップ画像の表示を切り換えるためのボタンを設け、当該ボタンのオン／オフ操作をユーザ操作とすることが考えられる。
なお、ユーザ操作には、撮像装置のシャッターボタンの半押し／深押し操作、撮像画像の録画開始／終了操作等、様々な操作が考えられる。例えば、撮像装置のシャッターボタンの半押し／深押し操作の場合は、半押し操作をマップ画像の表示をオンとする操作とし、深押し操作をマップ画像の表示をオフとする操作とすることができる。また撮像画像の録画開始／終了操作の場合は、録画開始操作をマップ画像の表示をオンとする操作とし、録画終了操作をマップ画像の表示をオフとする操作とすることができる。このように様々な操作について、マップ画像表示のオン／オフを切り換える操作を割り当てることが可能である。
ここでのユーザ操作とは、マップ画像の表示のオン／オフを切り換えるための操作のことであり、例えば、マップ画像の表示を切り換えるためのボタンを設け、当該ボタンのオン／オフ操作をユーザ操作とすることが考えられる。
なお、ユーザ操作には、撮像装置のシャッターボタンの半押し／深押し操作、撮像画像の録画開始／終了操作等、様々な操作が考えられる。例えば、撮像装置のシャッターボタンの半押し／深押し操作の場合は、半押し操作をマップ画像の表示をオンとする操作とし、深押し操作をマップ画像の表示をオフとする操作とすることができる。また撮像画像の録画開始／終了操作の場合は、録画開始操作をマップ画像の表示をオンとする操作とし、録画終了操作をマップ画像の表示をオフとする操作とすることができる。このように様々な操作について、マップ画像表示のオン／オフを切り換える操作を割り当てることが可能である。
【0138】
この場合、画像処理装置３０は、ステップＳ１０７において、マップ画像の表示をオンとするユーザ操作を検知すると、ステップＳ１０８においてマップ画像の表示タイミングであると判定し、ステップＳ１１０に処理を進め、マップ画像を撮像画像に重畳表示させる。
また画像処理装置３０は、ステップＳ１０７において、マップ画像の表示をオフとするユーザ操作を検知すると、ステップＳ１０８においてマップ画像の表示タイミングではないと判定し、ステップＳ１０９に処理を進め、マップ画像を撮像画像に重畳表示させることなく、撮像画像のみを表示する。
また画像処理装置３０は、ステップＳ１０７において、マップ画像の表示をオフとするユーザ操作を検知すると、ステップＳ１０８においてマップ画像の表示タイミングではないと判定し、ステップＳ１０９に処理を進め、マップ画像を撮像画像に重畳表示させることなく、撮像画像のみを表示する。
【0139】
画像処理装置３０はステップＳ１０９又はステップＳ１１０の処理を終えると、ステップＳ１０１に戻りシャッター操作の検知を確認する。
ステップＳ１０１においてシャッター操作を検知すると、画像処理装置３０はステップＳ１１１に処理を進め、撮像信号や位相差信号等のフレーム情報を取得する。またこのとき画像処理装置３０は、生成したマップデータがある場合は、当該マップデータも取得する。
ステップＳ１０１においてシャッター操作を検知すると、画像処理装置３０はステップＳ１１１に処理を進め、撮像信号や位相差信号等のフレーム情報を取得する。またこのとき画像処理装置３０は、生成したマップデータがある場合は、当該マップデータも取得する。
【0140】
画像処理装置３０は、ステップＳ１１２において、取得したフレーム情報及びマップデータを記録する処理を行う。画像処理装置３０は、マップデータをフレーム情報の付加情報として記録する。
これにより、撮像画像内の各位置におけるデフォーカス量情報が、撮像画像のメタデータとして記録される。
画像処理装置３０は、ステップＳ１１２の処理の後ステップＳ１０１に戻り、上記と同様の処理を行う。
これにより、撮像画像内の各位置におけるデフォーカス量情報が、撮像画像のメタデータとして記録される。
画像処理装置３０は、ステップＳ１１２の処理の後ステップＳ１０１に戻り、上記と同様の処理を行う。
【0141】
なお、上記では、画像処理装置３０が１フレームごとにステップＳ１０３からＳ１０６の処理を実行することで、ステップＳ１０１でシャッター操作を検知した際に、ステップＳ１１２において、いつでもマップデータの記録が可能であるが、ステップＳ１１２で必ずしもマップデータを記憶しなくてもよい。
その場合、画像処理装置３０は、ステップＳ１０２の後にステップＳ１０７、Ｓ１０８の順に処理を行い、ステップＳ１０８において判定フラグがＯＦＦの場合は、ステップＳ１０９に処理を進めることとしてもよい。
これにより、マップ画像を表示する必要のない場合、画像処理装置３０は、ステップＳ１０３からＳ１０６の処理、即ち、マップデータの生成を行うことなく、ステップＳ１０９で撮像画像の表示を行うことができる。この場合、画像処理装置３０は、ステップＳ１０８においてステップＳ１０３からステップＳ１０６でマップ画像を生成した上で、ステップＳ１１０で、撮像画像にマップ画像を重畳表示させる。
その場合、画像処理装置３０は、ステップＳ１０２の後にステップＳ１０７、Ｓ１０８の順に処理を行い、ステップＳ１０８において判定フラグがＯＦＦの場合は、ステップＳ１０９に処理を進めることとしてもよい。
これにより、マップ画像を表示する必要のない場合、画像処理装置３０は、ステップＳ１０３からＳ１０６の処理、即ち、マップデータの生成を行うことなく、ステップＳ１０９で撮像画像の表示を行うことができる。この場合、画像処理装置３０は、ステップＳ１０８においてステップＳ１０３からステップＳ１０６でマップ画像を生成した上で、ステップＳ１１０で、撮像画像にマップ画像を重畳表示させる。
【0142】
以上の処理により、第１の実施の形態における画像処理装置３０によるマップ画像の表示制御が実現される。これにより、例えば撮像装置１がマニュアルフォーカスモードに切り換わると、図１０に示すようなデフォーカスマップ画像６１や、図１１に示すようなデプスマップ画像６６が表示されることになる。
また、撮像装置１が顔認証モードにある場合は、マップ画像の表示タイミングにおいて、図１２Ｃ、図１２Ｄに示すように、検出された顔領域（対象領域）にマップ画像が表示される。同様に、撮像装置１が瞳認証モードにある場合は、図１３Ｃ、図１３Ｄに示すように、検出された瞳領域（対象領域）の各部分におけるマップ画像が表示される。
従って、ユーザは、撮像画面６０の対象領域における各位置のデフォーカス量や被写体距離を視覚的、直感的に認識することができる。また、ユーザは、各位置のデフォーカス量や被写体距離を考慮しつつ、マニュアル操作により、フォーカス制御やＦ値制御を行うことができる。
また、撮像装置１が顔認証モードにある場合は、マップ画像の表示タイミングにおいて、図１２Ｃ、図１２Ｄに示すように、検出された顔領域（対象領域）にマップ画像が表示される。同様に、撮像装置１が瞳認証モードにある場合は、図１３Ｃ、図１３Ｄに示すように、検出された瞳領域（対象領域）の各部分におけるマップ画像が表示される。
従って、ユーザは、撮像画面６０の対象領域における各位置のデフォーカス量や被写体距離を視覚的、直感的に認識することができる。また、ユーザは、各位置のデフォーカス量や被写体距離を考慮しつつ、マニュアル操作により、フォーカス制御やＦ値制御を行うことができる。
【0143】
本技術の第２の実施の形態について、図２０及び図２１を参照して説明する。
第２の実施の形態は、画像処理装置３０がマップ画像の表示制御を実現するための処理であり、マップ画像がオートフォーカスモードやマニュアルフォーカスモードにおける所定のタイミングで表示される例である。また、第２の実施の形態では、画像処理装置３０がマップ画像を表示させてから所定の時間が経過すると、マップ画像の表示を終了する。
第２の実施の形態は、画像処理装置３０がマップ画像の表示制御を実現するための処理であり、マップ画像がオートフォーカスモードやマニュアルフォーカスモードにおける所定のタイミングで表示される例である。また、第２の実施の形態では、画像処理装置３０がマップ画像を表示させてから所定の時間が経過すると、マップ画像の表示を終了する。
【0144】
図２０において、画像処理装置３０は、ステップＳ１０１でシャッター操作を検知しない場合、ステップＳ１０２に処理を進め、撮像素子部１２からフレーム情報を取得する。そして画像処理装置３０は、ステップＳ１０３において、図１９の対象領域設定処理を行い、撮像画像内の対象領域を設定する。
【0145】
画像処理装置３０は、ステップＳ１０４で生成マップ種別の判定を行い、ステップＳ１０５で判定したマップ種別に応じたマップデータを生成する。そして画像処理装置３０は、ステップＳ１０６において生成したマップデータを用いてマップ画像の生成を行う。
【0146】
画像処理装置３０は、ステップＳ１０７において、マップ画像の表示タイミングを判定するタイミング判定処理を実行する。
第２の実施の形態におけるタイミング判定処理の詳細を図２１を参照して説明する。
第２の実施の形態におけるタイミング判定処理の詳細を図２１を参照して説明する。
【0147】
画像処理装置３０は、ステップＳ３１０において、モード切換操作を検知したか否かを判定する。ここでいうモード切換は、マニュアルフォーカスモードからオートフォーカスモードへの切り換え、又はその逆の切り換えのことである。
【0148】
画像処理装置３０は、ステップＳ３１０において、モード切換操作を検知しない場合には、ステップＳ３１３に処理を進め、撮像装置１がマニュアルフォーカスモードに設定されているかを判定する。
マニュアルフォーカスモードに設定されている場合、画像処理装置３０は、ステップＳ３１４においてフォーカス調整操作を検知したか否かを判定し、ステップＳ３１５において絞り調整操作が検知されたか否かを判定する。
フォーカス調整操作と絞り調整操作の何れも検知されなかった場合、画像処理装置３０はステップＳ３１６に処理を進める。
マニュアルフォーカスモードに設定されている場合、画像処理装置３０は、ステップＳ３１４においてフォーカス調整操作を検知したか否かを判定し、ステップＳ３１５において絞り調整操作が検知されたか否かを判定する。
フォーカス調整操作と絞り調整操作の何れも検知されなかった場合、画像処理装置３０はステップＳ３１６に処理を進める。
【0149】
画像処理装置３０は、ステップＳ３１６において、撮像装置１がオートフォーカスモードに設定されているか否かを判定する。
オートフォーカスモードに設定されている場合、画像処理装置３０は、ステップＳ３２０においてフォーカス制御動作が開始されたか否かを判定し、ステップＳ３２１においてフォーカス制御動作による合焦が完了したか否かを判定する。
フォーカス制御動作が開始されておらず、フォーカス制御動作による合焦が完了していない場合、画像処理装置３０は図２１の処理を終える。
オートフォーカスモードに設定されている場合、画像処理装置３０は、ステップＳ３２０においてフォーカス制御動作が開始されたか否かを判定し、ステップＳ３２１においてフォーカス制御動作による合焦が完了したか否かを判定する。
フォーカス制御動作が開始されておらず、フォーカス制御動作による合焦が完了していない場合、画像処理装置３０は図２１の処理を終える。
【0150】
一方で、ステップＳ３１４、Ｓ３１５でマニュアルフォーカスモードにおけるフォーカス調整操作又は絞り調整操作の何れかを検知した場合や、ステップＳ３２０、Ｓ３２１でオートフォーカスモードにおけるフォーカス制御動作が開始されたこと又はフォーカス制御動作による合焦が完了したことの何れかを検知した場合は、ステップＳ３１７へ処理を進める。
【0151】
画像処理装置３０は、ステップＳ３１７において、タイマカウント中であるか否かを判定する。タイムカウント中とは、タイムカウントがスタートしており、かつタイムアウトしていない状態をいう。第２の実施の形態におけるタイムカウントは、マップ画像の表示とともにカウントが開始されるものであり、タイムカウント中はマップ画像が撮像画像に重畳表示されている状態である。
ここではまだタイムカウントが開始されていないため、像処理装置３０は、ステップＳ３１７からステップＳ３１８に処理を進め、判定フラグをＯＮとし、図２１の処理を終える。
判定フラグとは、マップ画像を表示するタイミングであるか否かを示すフラグであり、判定フラグがＯＮであることは、マップ画像を撮像画像に重畳表示するタイミングであることを示している。
ここではまだタイムカウントが開始されていないため、像処理装置３０は、ステップＳ３１７からステップＳ３１８に処理を進め、判定フラグをＯＮとし、図２１の処理を終える。
判定フラグとは、マップ画像を表示するタイミングであるか否かを示すフラグであり、判定フラグがＯＮであることは、マップ画像を撮像画像に重畳表示するタイミングであることを示している。
【0152】
上記のタイミング判定処理によれば、マニュアルフォーカスモードに設定されている場合は、フォーカス調整操作又は絞り調整操作の何れかを検知したときがマップ画像の表示タイミングとなり、オートフォーカスモードに設定されている場合は、フォーカス制御動作の開始やフォーカス制御動作による合焦の完了がマップ画像の表示タイミングとなる。
【0153】
図２０に戻り、画像処理装置３０は、ステップＳ１０８において判定フラグがＯＮか否かを判定する。判定フラグがＯＦＦの場合には、画像処理装置３０はステップＳ１０９において撮像画像のみを表示する。
【0154】
判定フラグがＯＮの場合には、画像処理装置３０はステップＳ１１０に処理を進め、マップ画像を撮像画像に重畳表示させる。
そして画像処理装置３０は、ステップＳ１２０において、タイマカウント中であるか否かを判定する。
タイマカウント中でない場合は、新たにマップ画像の重畳表示が開始されたことを意味するため、画像処理装置３０は、ステップＳ１２１においてタイマをリセットし、新たにタイムカウントをスタートさせる。
ここでタイマは、５秒、３０秒、１分など様々に設定することが考えられる。また、検知されたタイマカウントの開始契機に応じて、それぞれ異なるタイマを設定してもよい。例えば、マニュアルフォーカスモードにおいて、フォーカス調整操作又は絞り調整操作の何れかを検知したときは、タイマを３秒に設定し、オートフォーカスモードにおいて、フォーカス制御動作による合焦の完了からタイマを１分に設定してもよい。
そして画像処理装置３０は、ステップＳ１２０において、タイマカウント中であるか否かを判定する。
タイマカウント中でない場合は、新たにマップ画像の重畳表示が開始されたことを意味するため、画像処理装置３０は、ステップＳ１２１においてタイマをリセットし、新たにタイムカウントをスタートさせる。
ここでタイマは、５秒、３０秒、１分など様々に設定することが考えられる。また、検知されたタイマカウントの開始契機に応じて、それぞれ異なるタイマを設定してもよい。例えば、マニュアルフォーカスモードにおいて、フォーカス調整操作又は絞り調整操作の何れかを検知したときは、タイマを３秒に設定し、オートフォーカスモードにおいて、フォーカス制御動作による合焦の完了からタイマを１分に設定してもよい。
【0155】
その後、画像処理装置３０は、ステップＳ１０１からＳ１０８、Ｓ１１０、Ｓ１２０の順に処理を進め、タイムカウント中である場合は、ステップＳ１２３、Ｓ１０１と処理を進める。これにより、タイムカウント中は、撮像画像にマップ画像が重畳表示されている状態となる。
【0156】
またステップＳ１２３においてタイムカウントがタイムアウトした場合、画像処理装置３０は、ステップＳ１２４で判定フラグをＯＦＦにする。その後、画像処理装置３０はステップＳ１０１以降の処理を進め、ステップＳ１０８においてステップＳ１０９に処理を進めることで撮像画像のみを表示させる。即ち、これにより撮像画像におけるマップ画像の重畳表示が終了する。
【0157】
マップ画像の重畳表示は、マニュアルフォーカスモードとオートフォーカスモードの切り換え時においても終了する。
判定フラグがＯＮかつタイムカウント中の場合、即ち、マップ画像の重畳表示にマニュアルフォーカスモードとオートフォーカスモードの切り換えが行われると、画像処理装置３０は、図２１のイミング判定処理においてステップＳ３１０からステップＳ３１１に処理を進め、タイムカウントを終了し、ステップＳ３１２で判定フラグをＯＦＦに設定し、ステップＳ３１３に処理を進める。
これにより、ステップＳ３１４、Ｓ３１５、Ｓ３２０、Ｓ３２１の何れかの契機を検知しなかった場合は、画像処理装置３０は、図２０のタステップＳ１０８においてステップＳ１０９に処理を進め、撮像画像におけるマップ画像の重畳表示を終了し、撮像画像のみを表示させる。
判定フラグがＯＮかつタイムカウント中の場合、即ち、マップ画像の重畳表示にマニュアルフォーカスモードとオートフォーカスモードの切り換えが行われると、画像処理装置３０は、図２１のイミング判定処理においてステップＳ３１０からステップＳ３１１に処理を進め、タイムカウントを終了し、ステップＳ３１２で判定フラグをＯＦＦに設定し、ステップＳ３１３に処理を進める。
これにより、ステップＳ３１４、Ｓ３１５、Ｓ３２０、Ｓ３２１の何れかの契機を検知しなかった場合は、画像処理装置３０は、図２０のタステップＳ１０８においてステップＳ１０９に処理を進め、撮像画像におけるマップ画像の重畳表示を終了し、撮像画像のみを表示させる。
【0158】
また、判定フラグがＯＮかつタイムカウント中の場合に、図２１のステップＳ３１４、Ｓ３１５、Ｓ３２０、Ｓ３２１の何れかの契機を新たに検知した場合、タイムカウントをリセットし、再度タイムカウントを開始する処理が行われる。タイムカウントをリセットすることで、ステップＳ３１４、Ｓ３１５、Ｓ３２０、Ｓ３２１のそれぞれの検知に応じて設定されたマップ画像の表示期間を確保することができる。
具体的には、画像処理装置３０は、ステップＳ３１４、Ｓ３１５、Ｓ３２０、Ｓ３２１の何れかの契機を検知するとステップＳ３１７、Ｓ３１９の順に処理を進め、タイマカウントを終了する。そして、画像処理装置３０は、Ｓ３１８、図２０のＳ１０８、Ｓ１１０、Ｓ１２０、Ｓ１２１の順に処理を進め、タイマカウントのリセット／スタートを行う。
具体的には、画像処理装置３０は、ステップＳ３１４、Ｓ３１５、Ｓ３２０、Ｓ３２１の何れかの契機を検知するとステップＳ３１７、Ｓ３１９の順に処理を進め、タイマカウントを終了する。そして、画像処理装置３０は、Ｓ３１８、図２０のＳ１０８、Ｓ１１０、Ｓ１２０、Ｓ１２１の順に処理を進め、タイマカウントのリセット／スタートを行う。
【0159】
ステップＳ１０１においてシャッター操作を検知すると、画像処理装置３０はステップＳ１１１に処理を進め、撮像信号や位相差信号等のフレーム情報を取得する。またこのとき画像処理装置３０は、生成したマップデータがある場合は、当該マップデータも取得する。
【0160】
画像処理装置３０は、ステップＳ１１２において、取得したフレーム情報及びマップデータを記録する処理を行う。画像処理装置３０は、ステップＳ１１２の処理の後ステップＳ１０１に戻り、上記と同様の処理を行う。
【0161】
以上の処理により、第２の実施の形態における画像処理装置３０によるマップ画像の表示制御が実現される。
即ち、マニュアルフォーカスモードにおけるフォーカス調整操作又は絞り調整操作を検知したタイミング、オートフォーカスモードにおけるフォーカス制御動作の開始やフォーカス制御動作による合焦の完了を検知したタイミングにおいて、図１０、図１１、図１２Ｃ、図１２Ｄ、図１３Ｃ、図１３Ｄ等に示すようなマップ画像が撮像画像の対象領域に重畳表示される。
即ち、マニュアルフォーカスモードにおけるフォーカス調整操作又は絞り調整操作を検知したタイミング、オートフォーカスモードにおけるフォーカス制御動作の開始やフォーカス制御動作による合焦の完了を検知したタイミングにおいて、図１０、図１１、図１２Ｃ、図１２Ｄ、図１３Ｃ、図１３Ｄ等に示すようなマップ画像が撮像画像の対象領域に重畳表示される。
【0162】
本技術の第３の実施の形態について、図２３を参照して説明する。
第３の実施の形態は、画像処理装置３０がマップ画像の表示制御を実現するための処理であり、マップ画像が撮像動画の記録中に表示されるとともに、画像処理装置３０が画像データを出力する出力機器に応じて異なる表示制御を行う例である。
出力機器とは、画像処理装置を内蔵する機器であり、例えばデジタルスチルカメラやデジタルビデオカメラなどの撮像装置である。また、出力機器は、画像処理装置を内蔵する機器から出力された画像信号に基づいて画像を表示する外部の表示機器であってもよい。
第３の実施の形態は、画像処理装置３０がマップ画像の表示制御を実現するための処理であり、マップ画像が撮像動画の記録中に表示されるとともに、画像処理装置３０が画像データを出力する出力機器に応じて異なる表示制御を行う例である。
出力機器とは、画像処理装置を内蔵する機器であり、例えばデジタルスチルカメラやデジタルビデオカメラなどの撮像装置である。また、出力機器は、画像処理装置を内蔵する機器から出力された画像信号に基づいて画像を表示する外部の表示機器であってもよい。
【0163】
図２２において、画像処理装置３０は、ステップＳ１０２において、撮像素子部１２からフレーム情報を取得する。ここでのフレーム情報はスルー画としての情報を取得する。
そして画像処理装置３０は、ステップＳ１０３において、図１９の対象領域設定処理を行い、撮像画像内の対象領域を設定する。
そして画像処理装置３０は、ステップＳ１０３において、図１９の対象領域設定処理を行い、撮像画像内の対象領域を設定する。
【0164】
画像処理装置３０は、ステップＳ１０４で生成マップ種別の判定を行い、ステップＳ１０５で判定したマップ種別に応じたマップデータを生成する。そして画像処理装置３０は、ステップＳ１０６において生成したマップデータを用いてマップ画像の生成を行う。
【0165】
画像処理装置３０は、ステップＳ１０７において、マップ画像の表示タイミングを判定するタイミング判定処理を実行する。
ここで、図２３でタイミング判定処理について説明する。
画像処理装置３０は、ステップＳ３０１において、撮像装置１が撮像画像（撮像動画）の録画中であるかを判定する。撮像装置１が撮像画像の録画中には、画像処理装置３０は、ステップＳ３０２で判定フラグをＯＮにし、図２３の処理を終える。
ここで、図２３でタイミング判定処理について説明する。
画像処理装置３０は、ステップＳ３０１において、撮像装置１が撮像画像（撮像動画）の録画中であるかを判定する。撮像装置１が撮像画像の録画中には、画像処理装置３０は、ステップＳ３０２で判定フラグをＯＮにし、図２３の処理を終える。
【0166】
また、撮像装置１が撮像画像の録画中でない場合には、画像処理装置３０はステップＳ３０１からステップＳ３０３に処理を進め、判定フラグがＯＮである場合は判定フラグをＯＦＦにして、図２３の処理を終える。
【0167】
図２２に戻り、画像処理装置３０は、ステップＳ１０８において判定フラグがＯＮか否かを判定する。判定フラグがＯＦＦの場合、画像処理装置３０は、ステップＳ１０９においてマップ画像を撮像画像に重畳表示させることなく、撮像画像のみを表示する。
またステップＳ１０８において判定フラグがＯＮの場合、画像処理装置３０は、ステップＳ１３０に処理を進める。
またステップＳ１０８において判定フラグがＯＮの場合、画像処理装置３０は、ステップＳ１３０に処理を進める。
【0168】
画像処理装置３０は、ステップＳ１３０で第１の画像出力とされた出力については、ステップＳ１０９に処理を進め、撮像画像のみの表示を制御させる。
これにより、第１の画像出力を受信した、例えば撮像装置１に接続された外部の表示機器において撮像画像のみの表示を行うことができる。
これにより、第１の画像出力を受信した、例えば撮像装置１に接続された外部の表示機器において撮像画像のみの表示を行うことができる。
【0169】
また、第１の画像出力と異なる第２の画像出力については、ステップＳ１０８、Ｓ１３０、Ｓ１３１、Ｓ１１０の順に処理を進め、ステップＳ１１０において、マップ画像を撮像画像に重畳表示させる。
これにより、第２の画像出力を受信した、例えば撮像装置１の表示部においてマップ画像を確認することができる。
これにより、第２の画像出力を受信した、例えば撮像装置１の表示部においてマップ画像を確認することができる。
【0170】
画像処理装置３０はステップＳ１０９又はＳ１１０の後にステップＳ１０１に処理を戻し、以下、同様の処理を行う。
【0171】
以上の処理により、第３の実施の形態における画像処理装置３０によるマップ画像の表示制御が実現される。
例えば映画の撮像などを行う際に、撮像装置１による撮像を行っているフォーカスマンにとっては、撮像画像へのマップ画像の重畳表示は、フォーカスや絞り機構を調節するために有用であるが、一方で、撮像装置１に接続された外部モニタ等で撮像画像を確認する監督等にとっては、マップ画像が却って撮像画像の確認の妨げになることもある。
そこで第３の実施の形態の例によれば、内容の異なる複数の画像出力を行うことで、出力機器ごとに異なる表示制御を行うことができる。
例えば映画の撮像などを行う際に、撮像装置１による撮像を行っているフォーカスマンにとっては、撮像画像へのマップ画像の重畳表示は、フォーカスや絞り機構を調節するために有用であるが、一方で、撮像装置１に接続された外部モニタ等で撮像画像を確認する監督等にとっては、マップ画像が却って撮像画像の確認の妨げになることもある。
そこで第３の実施の形態の例によれば、内容の異なる複数の画像出力を行うことで、出力機器ごとに異なる表示制御を行うことができる。
【0172】
【0173】
図２４において、画像処理装置３０は、ステップＳ１０１でユーザによるシャッター操作を検知しない場合、ステップＳ１０２に処理を進め、撮像素子部１２からフレーム情報を取得する。そして画像処理装置３０は、ステップＳ１０３において、図１９の対象領域設定処理を行い、撮像画像内の対象領域を設定する。
画像処理装置３０は、ステップＳ１０４で生成マップ種別の判定を行い、ステップＳ１０５で判定したマップ種別に応じたマップデータを生成する。
画像処理装置３０は、ステップＳ１０４で生成マップ種別の判定を行い、ステップＳ１０５で判定したマップ種別に応じたマップデータを生成する。
【0174】
その後、画像処理装置３０は、ステップＳ１４０において、撮像動作制御処理を行う。
ここで、対象領域設定処理の詳細について、図２５を参照して説明する。
画像処理装置３０は、ステップＳ４０１でデフォーカス量表示アイコンに対するユーザ操作を検知したか、ステップＳ４０４で顔検出モードであるか、ステップＳ４０５で瞳検出モードであるかを順に判定する。
ステップＳ４０１、Ｓ４０４、Ｓ４０７の何れにも該当しない場合、画像処理装置３０は撮像動作制御を行うことなく図２５の処理を終える。
ここで、対象領域設定処理の詳細について、図２５を参照して説明する。
画像処理装置３０は、ステップＳ４０１でデフォーカス量表示アイコンに対するユーザ操作を検知したか、ステップＳ４０４で顔検出モードであるか、ステップＳ４０５で瞳検出モードであるかを順に判定する。
ステップＳ４０１、Ｓ４０４、Ｓ４０７の何れにも該当しない場合、画像処理装置３０は撮像動作制御を行うことなく図２５の処理を終える。
【0175】
ステップＳ４０１で対象領域のデフォーカス量を示すデフォーカス量表示アイコンに対するユーザ操作を検知すると、画像処理装置３０はステップＳ４０２に処理を進め、ユーザ操作に応じた撮像動作制御を行う。
デフォーカス量表示アイコンに対するユーザ操作とは、例えば図１４Ａのように円環状アイコンＢＣの径を変化させるためのピンチイン又はピンチアウト操作である。または図１４Ｂのようなデフォーカスメーター６２に設けられた矢印ＤＦを上下方向にスライドさせる操作である。
デフォーカス量表示アイコンに対するユーザ操作とは、例えば図１４Ａのように円環状アイコンＢＣの径を変化させるためのピンチイン又はピンチアウト操作である。または図１４Ｂのようなデフォーカスメーター６２に設けられた矢印ＤＦを上下方向にスライドさせる操作である。
【0176】
画像処理装置３０は、上記のようなユーザ操作の操作量に応じてフォーカスレンズや絞り機構の動作を制御する。これにより、対象領域の合焦位置からのずらし量（デフォーカス量）を調整することができる。
撮像動作制御が終わると、画像処理装置３０は、ステップＳ４０３において、動作後のフォーカスレンズの位置や絞り機構の状態から取得される位相差情報や撮像信号を用いて、再度デフォーカス量を算出し、デフォーカスマップデータを生成する。
画像処理装置３０は、生成したデフォーカスマップデータからデフォーカスマップ画像を生成し、デフォーカスマップデータとレンズ情報からデプスマップデータを生成する。そして、画像処理装置３０は図２５の処理を終了する。
撮像動作制御が終わると、画像処理装置３０は、ステップＳ４０３において、動作後のフォーカスレンズの位置や絞り機構の状態から取得される位相差情報や撮像信号を用いて、再度デフォーカス量を算出し、デフォーカスマップデータを生成する。
画像処理装置３０は、生成したデフォーカスマップデータからデフォーカスマップ画像を生成し、デフォーカスマップデータとレンズ情報からデプスマップデータを生成する。そして、画像処理装置３０は図２５の処理を終了する。
【0177】
ステップＳ４０４で顔検出モードである場合、画像処理装置３０は、ステップＳ４０５に処理を進め、撮像画像から画像解析処理により検出した顔領域について属性解析処理を行う。属性解析処理により、画像処理装置３０は検出した顔領域の属性情報を取得する。
属性情報は、対象領域の面積、撮像画像内に占める対象領域の比率、撮像画像内における対象領域の位置などの対象領域自体に紐付けられた属性に関する情報、被写体の位置、人数、年齢、性別、顔領域の大きさなど対象領域における被写体に紐付けられた属性等、様々な情報が想定される。
属性情報は、対象領域の面積、撮像画像内に占める対象領域の比率、撮像画像内における対象領域の位置などの対象領域自体に紐付けられた属性に関する情報、被写体の位置、人数、年齢、性別、顔領域の大きさなど対象領域における被写体に紐付けられた属性等、様々な情報が想定される。
【0178】
そして画像処理装置３０は、ステップＳ４０６において、属性情報に応じて設定されたデフォーカス量の固定値情報を取得する。
固定値は、対象領域の属性情報に応じてあらかじめ設定された値であってもよいし、ユーザにより各位置の値が設定されてもよい。また、固定値は、対象領域の各位置におけるデフォーカス量の数値で設定されていてもよいし、対象領域の各位置におけるデフォーカス量の補正比率であってもよい。
固定値は、対象領域の属性情報に応じてあらかじめ設定された値であってもよいし、ユーザにより各位置の値が設定されてもよい。また、固定値は、対象領域の各位置におけるデフォーカス量の数値で設定されていてもよいし、対象領域の各位置におけるデフォーカス量の補正比率であってもよい。
【0179】
画像処理装置３０は、デフォーカスマップデータにより対象領域の複数位置におけるデフォーカス量情報を取得し、対象領域において設定された各位置におけるデフォーカス量の固定値となるように、レンズ系１１のフォーカスレンズや絞り機構の動作制御を行う。
これにより、対象領域の合焦位置からのずらし量（デフォーカス量）が調整される。例えば、性別、年齢によって顔領域のデフォーカス量の絶対値を大きくすることで、図１３に示すように、顔のしわ等をぼかして表示することができる。
これにより、対象領域の合焦位置からのずらし量（デフォーカス量）が調整される。例えば、性別、年齢によって顔領域のデフォーカス量の絶対値を大きくすることで、図１３に示すように、顔のしわ等をぼかして表示することができる。
【0180】
撮像動作制御が終わると、画像処理装置３０は、ステップＳ４０３において、動作後のフォーカスレンズの位置や絞り機構の状態から取得される位相差情報や撮像信号を用いて、再度デフォーカスマップデータやデプスマップデータを生成し、図２５の処理を終える。
【0181】
ステップＳ４０７で瞳検出モードである場合、画像処理装置３０は、ステップＳ４０８に処理を進め、撮像画像から画像解析処理により検出した瞳領域について部分解析処理を行う。画像処理装置３０は、部分解析処理により、例えば睫毛領域を検出する。
【0182】
そして画像処理装置３０は、ステップＳ４０９において、検出した部分に応じて、フォーカスレンズや絞り機構の動作制御を行う。画像処理装置３０は、瞳領域の各部分、例えば睫毛領域に対応付けられた、対象領域の各位置におけるデフォーカス量の固定値情報を取得し、対象領域において設定された各位置におけるデフォーカス量の固定値となるように、絞り機構の動作制御を行う。なお、画像処理装置３０はレンズ系１１のフォーカスレンズ制御を行ってもよい。
対象領域の各部分とは、例えば、瞳領域であれば睫毛部分とそれ以外の部分、顔領域であれば目部分、鼻部分、耳部分、口部分等、対象領域の属性に応じて設定される。
対象領域の各部分とは、例えば、瞳領域であれば睫毛部分とそれ以外の部分、顔領域であれば目部分、鼻部分、耳部分、口部分等、対象領域の属性に応じて設定される。
【0183】
撮像動作制御が終わると、画像処理装置３０は、ステップＳ４０３において、動作後のフォーカスレンズの位置や絞り機構の状態から取得される位相差情報や撮像信号を用いて、再度デフォーカスマップデータやデプスマップデータを生成し、図２５の処理を終える。
【0184】
図２４に戻り、画像処理装置３０は、ステップＳ１０６において、図２５のステップＳ４０３で再度生成したマップデータを用いてマップ画像の生成を行う。
画像処理装置３０は、ステップＳ１０７において、例えば上述のようなマップ画像の表示タイミングを判定するタイミング判定処理を実行し、表示タイミングであれば判定フラグをＯＮとし、表示タイミングでなければ判定フラグをＯＦＦとする。
画像処理装置３０は、ステップＳ１０７において、例えば上述のようなマップ画像の表示タイミングを判定するタイミング判定処理を実行し、表示タイミングであれば判定フラグをＯＮとし、表示タイミングでなければ判定フラグをＯＦＦとする。
【0185】
画像処理装置３０は、ステップＳ１０８において判定フラグがＯＮか否かを判定する。判定フラグがＯＦＦの場合、画像処理装置３０は、ステップＳ１０９においてマップ画像を撮像画像に重畳表示させることなく、撮像画像のみを表示する。
またステップＳ１０８において判定フラグがＯＮの場合、画像処理装置３０は、ステップＳ１１０に処理を進め、マップ画像を撮像画像に重畳表示させる。
またステップＳ１０８において判定フラグがＯＮの場合、画像処理装置３０は、ステップＳ１１０に処理を進め、マップ画像を撮像画像に重畳表示させる。
【0186】
画像処理装置３０はステップＳ１０９又はステップＳ１１０の処理を終えると、ステップＳ１０１に戻りシャッター操作の検知を確認する。
ステップＳ１０１においてシャッター操作を検知すると、画像処理装置３０はステップＳ１１１に処理を進め、撮像信号や位相差信号等のフレーム情報を取得する。またこのとき画像処理装置３０は、生成したマップデータがある場合は、当該マップデータも取得する。
ステップＳ１０１においてシャッター操作を検知すると、画像処理装置３０はステップＳ１１１に処理を進め、撮像信号や位相差信号等のフレーム情報を取得する。またこのとき画像処理装置３０は、生成したマップデータがある場合は、当該マップデータも取得する。
【0187】
画像処理装置３０は、ステップＳ１１２において、取得したフレーム情報及びマップデータを記録する処理を行う。画像処理装置３０は、ステップＳ１１２の処理の後ステップＳ１０１に戻り、上記と同様の処理を行う。
【0188】
以上の処理により、第４の実施の形態における画像処理装置３０によるマップデータを用いた撮像画像の撮像動作制御が実現される。
図２５のステップＳ４０１、Ｓ４０２の処理を行うことで、図１５、図１６のように、ユーザが選択した任意の領域について、アイコン群の円環状アイコンの径を変化させることにより、デフォーカス量を調節することができるようになる。
また、ステップＳ４０４、Ｓ４０５、Ｓ４０６の処理を行うことで、図１２に示すような、顔領域におけるデフォーカス量の調節が自動的に行われるようになる。さらに、ステップＳ４０７、Ｓ４０８、Ｓ４０９の処理を行うことで、図１３に示すような、瞳領域における睫毛部分のデフォーカス量の調節が自動的に行われるようになる。
図２５のステップＳ４０１、Ｓ４０２の処理を行うことで、図１５、図１６のように、ユーザが選択した任意の領域について、アイコン群の円環状アイコンの径を変化させることにより、デフォーカス量を調節することができるようになる。
また、ステップＳ４０４、Ｓ４０５、Ｓ４０６の処理を行うことで、図１２に示すような、顔領域におけるデフォーカス量の調節が自動的に行われるようになる。さらに、ステップＳ４０７、Ｓ４０８、Ｓ４０９の処理を行うことで、図１３に示すような、瞳領域における睫毛部分のデフォーカス量の調節が自動的に行われるようになる。
【0189】
＜５．まとめ及び変形例＞
実施の形態の撮像装置１に搭載された画像処理装置３０は、撮像素子部１２における像面位相差画素により検出した位相差情報から算出される、撮像素子部１２による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成するマップデータ生成部３１と、マップデータ生成部３１が生成したデフォーカスマップデータを用いて撮像動作制御を行う動作制御部３４と、を備える（図２４）。
これにより、撮像画像の複数位置におけるデフォーカス量情報に基づいて撮像動作制御が行われる。
従って、合焦位置といった点位置でなく、撮像画像の複数位置という面領域としてデフォーカス量の分布を考慮したフォーカス制御、絞り機構の動作制御といった撮像動作制御を行うことができる。
実施の形態の撮像装置１に搭載された画像処理装置３０は、撮像素子部１２における像面位相差画素により検出した位相差情報から算出される、撮像素子部１２による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成するマップデータ生成部３１と、マップデータ生成部３１が生成したデフォーカスマップデータを用いて撮像動作制御を行う動作制御部３４と、を備える（図２４）。
これにより、撮像画像の複数位置におけるデフォーカス量情報に基づいて撮像動作制御が行われる。
従って、合焦位置といった点位置でなく、撮像画像の複数位置という面領域としてデフォーカス量の分布を考慮したフォーカス制御、絞り機構の動作制御といった撮像動作制御を行うことができる。
【0190】
実施の形態の画像処理装置３０において、マップデータ生成部３１が生成したデフォーカスマップデータを用いて、撮像画像のデフォーカス量の分布を示すデフォーカスマップ画像を生成し、表示制御を行う表示制御部３２を備える（図２４のＳ１１０）。
これにより、撮像画像の複数位置におけるデフォーカス量の分布がデフォーカスマップ画像として表示される。
従って、ユーザが撮像動作制御が行われた後における、撮像画像の複数位置という面領域としてのデフォーカス量の分布を確認することができる。そのため、ユーザはさらなるフォーカス制御、絞り機構の動作制御といった撮像動作制御を行う必要があるかを撮像画像（対象領域）におけるデフォーカス量の分布を考慮して決めることができる。
これにより、撮像画像の複数位置におけるデフォーカス量の分布がデフォーカスマップ画像として表示される。
従って、ユーザが撮像動作制御が行われた後における、撮像画像の複数位置という面領域としてのデフォーカス量の分布を確認することができる。そのため、ユーザはさらなるフォーカス制御、絞り機構の動作制御といった撮像動作制御を行う必要があるかを撮像画像（対象領域）におけるデフォーカス量の分布を考慮して決めることができる。
【0191】
実施の形態の画像処理装置３０において、撮像画像内容に応じて対象領域を設定する対象領域設定部３３を備え、対象領域設定部３３は、ユーザ操作により指定された撮像画像における領域を対象領域として設定する（図２４のＳ１０３）。
これにより、撮像画像内容に応じた対象領域にデフォーカスマップ画像が表示される。
従って、ユーザの選択した対象領域についてデフォーカスマップデータを用いて撮像動作制御を行うことで、ユーザの目的を反映させた対象領域におけるデフォーカス量の調整を行うことができる。
これにより、撮像画像内容に応じた対象領域にデフォーカスマップ画像が表示される。
従って、ユーザの選択した対象領域についてデフォーカスマップデータを用いて撮像動作制御を行うことで、ユーザの目的を反映させた対象領域におけるデフォーカス量の調整を行うことができる。
【0192】
実施の形態の画像処理装置３０において、撮像画像内容に応じて対象領域を設定する対象領域設定部３３を備え、マップデータ生成部３１は、対象領域内の複数位置のデフォーカスマップデータを生成する（図１０、図１１）。
これにより、対象領域内の複数位置におけるデフォーカス量のそれぞれのデータが算出される。被写体の属性情報などの撮像画像内容に応じて対象領域を自動的に設定し、対象領域における撮像動作制御を行うことで、被写体の属性情報などの撮像画像内容を反映させたデフォーカス量の調整を行うことができる。
これにより、対象領域内の複数位置におけるデフォーカス量のそれぞれのデータが算出される。被写体の属性情報などの撮像画像内容に応じて対象領域を自動的に設定し、対象領域における撮像動作制御を行うことで、被写体の属性情報などの撮像画像内容を反映させたデフォーカス量の調整を行うことができる。
【0193】
実施の形態の画像処理装置３０において、動作制御部３４は、マップデータ生成部３１が生成した対象領域内のデフォーカスマップデータを用いて撮像動作制御を行う（図２５のＳ４０２、Ｓ４０６、Ｓ４０９）。
これにより、対象領域内の複数位置におけるデフォーカス量情報に基づいて撮像動作制御が行われる。従って、撮像の目的に応じた対象領域を選択し、当該選択した対象領域についてのデフォーカスマップデータを用いた撮像動作制御を行うことで、撮像の目的を反映させたポイントを絞ったデフォーカス量の調整を行うことができる。
これにより、対象領域内の複数位置におけるデフォーカス量情報に基づいて撮像動作制御が行われる。従って、撮像の目的に応じた対象領域を選択し、当該選択した対象領域についてのデフォーカスマップデータを用いた撮像動作制御を行うことで、撮像の目的を反映させたポイントを絞ったデフォーカス量の調整を行うことができる。
【0194】
実施の形態の画像処理装置３０において、動作制御部３４は、デフォーカスマップデータを参照して対象領域のデフォーカス量があらかじめ設定された固定値となるように撮像動作制御を行う（図２５のＳ４０２、Ｓ４０６、Ｓ４０９）。
例えば撮像装置では、対象領域内の複数位置におけるデフォーカス量があらかじめ設定された固定値となるように、フォーカスレンズの動作制御や絞り機構の動作制御が行われる。
これにより、例えば、年齢、性別といった被写体（対象領域）の属性情報等に応じて、それぞれのデフォーカス量の値を固定値として設定されていることで、被写体（対象領域）に応じて適したぼかしを入れた状態で表示することができるようになる。従って、被写体（対象領域）の属性情報等に応じて自動的に適したデフォーカス量の調整を行うことができる。
例えば撮像装置では、対象領域内の複数位置におけるデフォーカス量があらかじめ設定された固定値となるように、フォーカスレンズの動作制御や絞り機構の動作制御が行われる。
これにより、例えば、年齢、性別といった被写体（対象領域）の属性情報等に応じて、それぞれのデフォーカス量の値を固定値として設定されていることで、被写体（対象領域）に応じて適したぼかしを入れた状態で表示することができるようになる。従って、被写体（対象領域）の属性情報等に応じて自動的に適したデフォーカス量の調整を行うことができる。
【0195】
実施の形態の画像処理装置３０において、動作制御部３４は、デフォーカスマップデータを参照して対象領域のデフォーカス量がユーザ操作により設定された固定値となるように撮像動作制御を行う（図２５のＳ４０２、Ｓ４０６、Ｓ４０９）。
例えば撮像装置では、対象領域内の複数位置におけるデフォーカス量がユーザ操作により設定された固定値となるように、フォーカスレンズの動作制御や絞り機構の動作制御が行われる。
対象領域におけるデフォーカス量が固定値としてユーザにより設定可能とすることで、被写体（対象領域）の属性に応じたデフォーカス量の調整量をユーザの好みに応じて設定することができる。従って、撮像動作制御により、ユーザの意図をより反映させたデフォーカス量の調整を行うことができる。
例えば撮像装置では、対象領域内の複数位置におけるデフォーカス量がユーザ操作により設定された固定値となるように、フォーカスレンズの動作制御や絞り機構の動作制御が行われる。
対象領域におけるデフォーカス量が固定値としてユーザにより設定可能とすることで、被写体（対象領域）の属性に応じたデフォーカス量の調整量をユーザの好みに応じて設定することができる。従って、撮像動作制御により、ユーザの意図をより反映させたデフォーカス量の調整を行うことができる。
【0196】
実施の形態の画像処理装置３０において、動作制御部３４は、対象領域の属性情報に応じてデフォーカスマップデータを用いた撮像動作制御を行う（図２５のＳ４０６、Ｓ４０９）。
これにより、対象領域における複数位置のデフォーカス量が属性情報に応じて補正される。従って、被写体（対象領域）の属性情報等に応じて自動的に適したデフォーカス量の調整を行うことができる。
これにより、対象領域における複数位置のデフォーカス量が属性情報に応じて補正される。従って、被写体（対象領域）の属性情報等に応じて自動的に適したデフォーカス量の調整を行うことができる。
【0197】
実施の形態の画像処理装置３０において、属性情報は、前記対象領域に紐付けられた属性である（図２５のＳ４０６、Ｓ４０９）。
これにより、例えば、対象領域の面積、撮像画像内に占める対象領域の比率、撮像画像内における対象領域の位置などに応じて撮像動作制御を行うことができる。
これにより、例えば、対象領域の面積、撮像画像内に占める対象領域の比率、撮像画像内における対象領域の位置などに応じて撮像動作制御を行うことができる。
【0198】
実施の形態の画像処理装置３０において、属性情報は、前記対象領域における被写体に紐付けられた属性である（図２５のＳ４０６、Ｓ４０９）。
これにより、例えば、被写体の位置、人数、年齢、性別、顔領域の大きさなどに応じて撮像動作制御を行うことができる。
これにより、例えば、被写体の位置、人数、年齢、性別、顔領域の大きさなどに応じて撮像動作制御を行うことができる。
【0199】
実施の形態の画像処理装置３０において、撮像動作制御はフォーカス制御である（図２５のＳ４０２、Ｓ４０６、Ｓ４０９）。フォーカス制御は、例えば撮像装置のフォーカスレンズの動作を制御することにより行われる。例えば、被写体（撮像領域）から合焦位置をずらすことで、被写体（撮像領域）のデフォーカス量（ボケ具合）を調整することができる。
【0200】
実施の形態の画像処理装置３０において、撮像動作制御は被写界深度に変化を生じさせる制御である（図２５のＳ４０９）。被写界深度に変化を生じさせる制御は、例えば撮像装置の絞り機構の動作を制御することにより行われる。
【0201】
実施の形態の画像処理装置３０において、表示制御部３２は、撮像画像の各位置のデフォーカス量に応じた色が付されたデフォーカスマップ画像を生成する（図１０、図１１）。
これにより、撮像画像の各位置のデフォーカス量の値の違いがデフォーカスマップ画像における色の違いとして表示される。
従って、撮像画像（対象領域）の各位置のデフォーカス量の値の違いを色で表示することで、撮像画像（対象領域）におけるデフォーカス量の分布を視覚的、直感的に容易に捉えることができるようになる。
また、撮像画像（対象領域）における或る位置のデフォーカス量を変更した際にも、当該位置の色の変化を確認することで、画像が合焦位置に向かって変化しているのか、それとも前ボケ又は後ボケへ変化しているのかを視覚的に容易に認識することができる。
よって、当該色の表示に基づいて、撮像画面での被写体のボケを直感的に容易に調整することができる。
これにより、撮像画像の各位置のデフォーカス量の値の違いがデフォーカスマップ画像における色の違いとして表示される。
従って、撮像画像（対象領域）の各位置のデフォーカス量の値の違いを色で表示することで、撮像画像（対象領域）におけるデフォーカス量の分布を視覚的、直感的に容易に捉えることができるようになる。
また、撮像画像（対象領域）における或る位置のデフォーカス量を変更した際にも、当該位置の色の変化を確認することで、画像が合焦位置に向かって変化しているのか、それとも前ボケ又は後ボケへ変化しているのかを視覚的に容易に認識することができる。
よって、当該色の表示に基づいて、撮像画面での被写体のボケを直感的に容易に調整することができる。
【0202】
実施の形態の画像処理装置３０において、動作制御部３４は、デフォーカスマップ画像に対するユーザ操作に応じて撮像動作制御を行う（図２５のＳ４０２）。
これにより、ユーザ操作に応じて撮像画像における合焦位置の調整が行われ、撮像画像の各位置のデフォーカス量が変動する。従って、ユーザの意図を反映させたデフォーカス量の調整を行うことができる。
これにより、ユーザ操作に応じて撮像画像における合焦位置の調整が行われ、撮像画像の各位置のデフォーカス量が変動する。従って、ユーザの意図を反映させたデフォーカス量の調整を行うことができる。
【0203】
実施の形態の画像処理装置３０において、表示制御部３２は、デフォーカス量に応じて表示態様の異なるデフォーカス量表示アイコンを用いたデフォーカスマップ画像を生成し、動作制御部３４は、デフォーカスマップ画像における前記フォーカス量表示アイコンのユーザ操作に応じて撮像動作制御を行う（図２５のＳ４０２）。
これにより、ユーザ操作に応じたフォーカス量表示アイコンの表示態様の変化に応じた撮像動作制御が行われ、当該撮像動作制御に応じてフォーカス量表示アイコンに対応する位置のデフォーカス量が変動する。
撮像画像（対象領域）の各位置のデフォーカス量の変化をデフォーカス量表示アイコンの表示態様の変化で確認することができるため、ユーザ操作により変化した撮像画像（対象領域）のデフォーカス量を視覚的、直感的に容易に捉えることができる。
これにより、ユーザ操作に応じたフォーカス量表示アイコンの表示態様の変化に応じた撮像動作制御が行われ、当該撮像動作制御に応じてフォーカス量表示アイコンに対応する位置のデフォーカス量が変動する。
撮像画像（対象領域）の各位置のデフォーカス量の変化をデフォーカス量表示アイコンの表示態様の変化で確認することができるため、ユーザ操作により変化した撮像画像（対象領域）のデフォーカス量を視覚的、直感的に容易に捉えることができる。
【0204】
実施の形態の画像処理装置３０において、対象領域設定部３３は、撮像画像における顔検出により検出した顔領域を対象領域として設定する（図１９のＳ２０８）。
これにより、撮像画像内の顔領域について合焦位置の調整が行われる。顔領域におけるしわ、シミ等が比較的目立つような場合に、顔領域から合焦位置を僅かにずらすことで顔領域をぼかすことができる。このように顔検出により検出した顔領域を対象領域として設定することで、例えば年齢、性別等に応じたデフォーカス量の調整を行うことができる。
これにより、撮像画像内の顔領域について合焦位置の調整が行われる。顔領域におけるしわ、シミ等が比較的目立つような場合に、顔領域から合焦位置を僅かにずらすことで顔領域をぼかすことができる。このように顔検出により検出した顔領域を対象領域として設定することで、例えば年齢、性別等に応じたデフォーカス量の調整を行うことができる。
【0205】
実施の形態の画像処理装置３０において、対象領域設定部３３は、撮像画像における瞳検出により検出した瞳領域を対象領域として設定する（図１９のＳ２１１）。
これにより、撮像画像内の瞳領域について合焦位置の調整が行われる。例えば、瞳領域における睫毛部分について絞り機構の動作制御を行う等の各部分ごとの撮像動作制御を行うことができる。
これにより、撮像画像内の瞳領域について合焦位置の調整が行われる。例えば、瞳領域における睫毛部分について絞り機構の動作制御を行う等の各部分ごとの撮像動作制御を行うことができる。
【0206】
実施の形態のプログラムは、図１８から図２５の処理を、例えばＣＰＵ、ＤＳＰ等、或いはこれらを含むデバイスに実行させるプログラムである。
即ち実施の形態のプログラムは、位相差検出部により検出した位相差情報から算出される、撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成するマップデータ生成機能と、前記マップデータ生成機能が生成したデフォーカスマップデータを用いて撮像動作制御を行う動作制御機能と、を画像処理装置に実行させるプログラムである。このようなプログラムにより、上述した画像処理装置３０を、例えば携帯端末２，パーソナルコンピュータ３、或いは撮像装置１などの機器において実現できる。
即ち実施の形態のプログラムは、位相差検出部により検出した位相差情報から算出される、撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成するマップデータ生成機能と、前記マップデータ生成機能が生成したデフォーカスマップデータを用いて撮像動作制御を行う動作制御機能と、を画像処理装置に実行させるプログラムである。このようなプログラムにより、上述した画像処理装置３０を、例えば携帯端末２，パーソナルコンピュータ３、或いは撮像装置１などの機器において実現できる。
【0207】
このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
【0208】
またこのようなプログラムによれば、実施の形態の画像処理装置の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、本開示の画像処理装置として機能させることができる。
【0209】
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
【0210】
本技術は以下のような構成も採ることができる。
（１）
位相差検出部により検出した位相差情報から算出される、撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成するマップデータ生成部と、
前記マップデータ生成部が生成したデフォーカスマップデータを用いて撮像動作制御を行う動作制御部と、を備えた
画像処理装置。
（２）
前記位相差検出部は、前記撮像素子部における像面位相差画素により前記位相差情報を検出する
（１）に記載の情報処理装置。
（３）
前記マップデータ生成部が生成したデフォーカスマップデータを用いて、撮像画像のデフォーカス量の分布を示すデフォーカスマップ画像を生成し、表示制御を行う表示制御部を備えた
（１）又は（２）に記載の画像処理装置。
（４）
撮像画像内容に応じて対象領域を設定する対象領域設定部を備え、
前記対象領域設定部は、ユーザ操作により指定された撮像画像における領域を前記対象領域として設定する
（１）から（３）の何れかに記載の画像処理装置。
（５）
撮像画像内容に応じて対象領域を設定する対象領域設定部を備え、
前記マップデータ生成部は、前記対象領域内の複数位置のデフォーカスマップデータを生成する
（１）から（４）の何れかに記載の画像処理装置。
（６）
前記動作制御部は、前記マップデータ生成部が生成した前記対象領域内のデフォーカスマップデータを用いて撮像動作制御を行う
（４）又は（５）に記載の画像処理装置。
（７）
前記動作制御部は、デフォーカスマップデータを参照して前記対象領域のデフォーカス量があらかじめ設定された固定値となるように撮像動作制御を行う
（６）に記載の画像処理装置。
（８）
前記動作制御部は、デフォーカスマップデータを参照して前記対象領域のデフォーカス量がユーザ操作により設定された固定値となるように撮像動作制御を行う
（６）に記載の画像処理装置。
（９）
前記動作制御部は、前記対象領域の属性情報に応じてデフォーカスマップデータを用いた撮像動作制御を行う
（６）から（８）の何れかに記載の画像処理装置。
（１０）
前記属性情報は、前記対象領域に紐付けられた属性である
（９）に記載の画像処理装置。
（１１）
前記属性情報は、前記対象領域における被写体に紐付けられた属性である
（９）又は（１０）に記載の画像処理装置。
（１２）
前記撮像動作制御はフォーカス制御である
（１）から（１１）の何れかに記載の画像処理装置。
（１３）
前記撮像動作制御は被写界深度に変化を生じさせる制御である
（１）から（１２）の何れかに記載の画像処理装置。
（１４）
前記表示制御部は、撮像画像の各位置のデフォーカス量に応じた色が付されたデフォーカスマップ画像を生成する
（３）から（１３）の何れかに記載の画像処理装置。
（１５）
前記動作制御部は、デフォーカスマップ画像に対するユーザ操作に応じて撮像動作制御を行う
（１）から（１４）の何れかに記載の画像処理装置。
（１６）
前記表示制御部は、デフォーカス量に応じて表示態様の異なるデフォーカス量表示アイコンを用いたデフォーカスマップ画像を生成し、
前記動作制御部は、デフォーカスマップ画像における前記デフォーカス量表示アイコンのユーザ操作に応じて撮像動作制御を行う
（３）から（１５）の何れかに記載の画像処理装置。
（１７）
前記対象領域設定部は、撮像画像における顔検出により検出した顔領域を前記対象領域として設定する
（４）から（１６）の何れかに記載の画像処理装置。
（１８）
前記対象領域設定部は、撮像画像における瞳検出により検出した瞳領域を前記対象領域として設定する
（４）から（１６）の何れかに記載の画像処理装置。
（１９）
位相差検出部により検出した位相差情報から算出される、撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成し、
前記生成したデフォーカスマップデータを用いて撮像動作制御を行う
画像処理方法。
（２０）
位相差検出部により検出した位相差情報から算出される、撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成するマップデータ生成機能と、
前記マップデータ生成機能が生成したデフォーカスマップデータを用いて撮像動作制御を行う動作制御機能と、を画像処理装置に実行させる
プログラム。
（２１）
画像撮像を行う撮像素子部と、
位相差検出部により検出した位相差情報から算出される、前記撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成するマップデータ生成部と、
前記マップデータ生成部が生成したデフォーカスマップデータを用いて撮像動作制御を行う動作制御部と、を備えた
撮像装置。
（１）
位相差検出部により検出した位相差情報から算出される、撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成するマップデータ生成部と、
前記マップデータ生成部が生成したデフォーカスマップデータを用いて撮像動作制御を行う動作制御部と、を備えた
画像処理装置。
（２）
前記位相差検出部は、前記撮像素子部における像面位相差画素により前記位相差情報を検出する
（１）に記載の情報処理装置。
（３）
前記マップデータ生成部が生成したデフォーカスマップデータを用いて、撮像画像のデフォーカス量の分布を示すデフォーカスマップ画像を生成し、表示制御を行う表示制御部を備えた
（１）又は（２）に記載の画像処理装置。
（４）
撮像画像内容に応じて対象領域を設定する対象領域設定部を備え、
前記対象領域設定部は、ユーザ操作により指定された撮像画像における領域を前記対象領域として設定する
（１）から（３）の何れかに記載の画像処理装置。
（５）
撮像画像内容に応じて対象領域を設定する対象領域設定部を備え、
前記マップデータ生成部は、前記対象領域内の複数位置のデフォーカスマップデータを生成する
（１）から（４）の何れかに記載の画像処理装置。
（６）
前記動作制御部は、前記マップデータ生成部が生成した前記対象領域内のデフォーカスマップデータを用いて撮像動作制御を行う
（４）又は（５）に記載の画像処理装置。
（７）
前記動作制御部は、デフォーカスマップデータを参照して前記対象領域のデフォーカス量があらかじめ設定された固定値となるように撮像動作制御を行う
（６）に記載の画像処理装置。
（８）
前記動作制御部は、デフォーカスマップデータを参照して前記対象領域のデフォーカス量がユーザ操作により設定された固定値となるように撮像動作制御を行う
（６）に記載の画像処理装置。
（９）
前記動作制御部は、前記対象領域の属性情報に応じてデフォーカスマップデータを用いた撮像動作制御を行う
（６）から（８）の何れかに記載の画像処理装置。
（１０）
前記属性情報は、前記対象領域に紐付けられた属性である
（９）に記載の画像処理装置。
（１１）
前記属性情報は、前記対象領域における被写体に紐付けられた属性である
（９）又は（１０）に記載の画像処理装置。
（１２）
前記撮像動作制御はフォーカス制御である
（１）から（１１）の何れかに記載の画像処理装置。
（１３）
前記撮像動作制御は被写界深度に変化を生じさせる制御である
（１）から（１２）の何れかに記載の画像処理装置。
（１４）
前記表示制御部は、撮像画像の各位置のデフォーカス量に応じた色が付されたデフォーカスマップ画像を生成する
（３）から（１３）の何れかに記載の画像処理装置。
（１５）
前記動作制御部は、デフォーカスマップ画像に対するユーザ操作に応じて撮像動作制御を行う
（１）から（１４）の何れかに記載の画像処理装置。
（１６）
前記表示制御部は、デフォーカス量に応じて表示態様の異なるデフォーカス量表示アイコンを用いたデフォーカスマップ画像を生成し、
前記動作制御部は、デフォーカスマップ画像における前記デフォーカス量表示アイコンのユーザ操作に応じて撮像動作制御を行う
（３）から（１５）の何れかに記載の画像処理装置。
（１７）
前記対象領域設定部は、撮像画像における顔検出により検出した顔領域を前記対象領域として設定する
（４）から（１６）の何れかに記載の画像処理装置。
（１８）
前記対象領域設定部は、撮像画像における瞳検出により検出した瞳領域を前記対象領域として設定する
（４）から（１６）の何れかに記載の画像処理装置。
（１９）
位相差検出部により検出した位相差情報から算出される、撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成し、
前記生成したデフォーカスマップデータを用いて撮像動作制御を行う
画像処理方法。
（２０）
位相差検出部により検出した位相差情報から算出される、撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成するマップデータ生成機能と、
前記マップデータ生成機能が生成したデフォーカスマップデータを用いて撮像動作制御を行う動作制御機能と、を画像処理装置に実行させる
プログラム。
（２１）
画像撮像を行う撮像素子部と、
位相差検出部により検出した位相差情報から算出される、前記撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成するマップデータ生成部と、
前記マップデータ生成部が生成したデフォーカスマップデータを用いて撮像動作制御を行う動作制御部と、を備えた
撮像装置。
【符号の説明】
【0211】
１ 撮像装置、１２ 撮像素子部、２２ 位相差検出部、３０ 画像処理装置、３１ マップデータ生成部、３２ 表示制御部、３３ 対象領域設定部、３４ 動作制御部、３５ 記録制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】