特開 2024-19284 撮像装置、撮像方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024019284

(43)【公開日】2024-02-08

(54)【発明の名称】撮像装置、撮像方法、およびプログラム

(51)【国際特許分類】

   H04N 23/63 20230101AFI20240201BHJP

   H04N 23/67 20230101ALI20240201BHJP

   G03B 15/00 20210101ALI20240201BHJP

   G03B 17/18 20210101ALI20240201BHJP

【ＦＩ】

H04N23/63 330

H04N23/67 100

G03B15/00 Q

G03B17/18

【審査請求】有

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2023204458

(22)【出願日】2023-12-04

(62)【分割の表示】P 2020563075の分割

【原出願日】2019-12-13

(31)【優先権主張番号】P 2018246877

(32)【優先日】2018-12-28

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【識別番号】100082131

【弁理士】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】佐藤 高弘

(57)【要約】

【課題】被写体または被写体の特定部位に着目した撮像を容易に行うことができるようにする。
【解決手段】撮像装置は、合焦対象とする特定領域を予告する予告枠を、被写体の種類に応じて撮像部より取得した画像の上に表示させる。本技術は、撮像装置に適用することができる。
【選択図】図２

【特許請求の範囲】

【請求項1】

合焦対象とする特定領域を予告する予告枠を、被写体の種類に応じて撮像部より取得した画像の上に表示させる表示制御部を備える撮像装置。

【請求項2】

前記被写体は、人または動物である
請求項１に記載の撮像装置。

【請求項3】

前記被写体は、予め設定可能である
請求項１に記載の撮像装置。

【請求項4】

前記特定領域は、被写体の特定部位の領域である
請求項１に記載の撮像装置。

【請求項5】

前記特定部位は、瞳である
請求項４に記載の撮像装置。

【請求項6】

前記特定領域は、被写体の領域である
請求項１に記載の撮像装置。

【請求項7】

前記特定領域を検出する領域検出部をさらに備え、
前記表示制御部は、前記特定領域が複数検出された場合、焦点領域を設定するための焦点設定枠に応じて、前記予告枠の表示を制御する
請求項１に記載の撮像装置。

【請求項8】

前記表示制御部は、前記焦点設定枠の中心位置により近い前記特定領域に応じて、前記予告枠の表示を制御する
請求項７に記載の撮像装置。

【請求項9】

前記画像の撮像単位で、合焦の開始を指示する合焦指示部と、
前記合焦の開始が指示された場合、検出された前記特定領域を前記画像の合焦領域として設定する領域設定部と
をさらに備える請求項７に記載の撮像装置。

【請求項10】

前記領域設定部は、所定の範囲内に検出された前記特定領域を前記合焦領域として設定する
請求項９に記載の撮像装置。

【請求項11】

前記領域設定部は、前記焦点設定枠により示される所定の範囲内に検出された前記特定領域を前記合焦領域として設定する
請求項９に記載の撮像装置。

【請求項12】

前記表示制御部は、前記領域設定部により前記合焦領域が設定された場合、前記予告枠の表示に代えて、前記合焦領域を示す合焦領域枠の表示を制御する
請求項９に記載の撮像装置。

【請求項13】

前記表示制御部は、前記予告枠の表示とは異なる表示方法で、前記合焦領域枠の表示を制御する
請求項１２に記載の撮像装置。

【請求項14】

撮像を指示する撮像指示部と、
前記撮像が指示された場合、前記領域設定部により設定された前記合焦領域で前記合焦を行って前記画像を取得するように、前記撮像部を制御する合焦制御部と
をさらに備える請求項９に記載の撮像装置。

【請求項15】

撮像装置が、
合焦対象とする特定領域を予告する予告枠を、被写体の種類に応じて撮像部より取得した画像の上に表示させる
撮像方法。

【請求項16】

合焦対象とする特定領域を予告する予告枠を、被写体の種類に応じて撮像部より取得した画像の上に表示させる表示制御部と
して、コンピュータを機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、撮像装置、撮像方法、およびプログラムに関し、特に、被写体または被写体の特定部位に着目した撮像を容易に行うことができるようにした撮像装置、撮像方法、およびプログラムに関する。

【背景技術】

【0002】

特許文献１においては、人物の瞳の領域である瞳領域を検出して、検出した瞳領域に対して合焦を行う撮像装置が提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１５／０４５９１１号

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の撮像装置において検出されるのは人物の瞳領域だけであり、動物の瞳領域を検出することは難しかった。

【0005】

本技術はこのような状況に鑑みてなされたものであり、被写体または被写体の特定部位に着目した撮像を容易に行うことができるようにするものである。

【課題を解決するための手段】

【0006】

本技術の一側面の撮像装置は、合焦対象とする特定領域を予告する予告枠を、被写体の種類に応じて撮像部より取得した画像の上に表示させる表示制御部とを備える。

【0007】

本技術の一側面においては、合焦対象とする特定領域を予告する予告枠が、被写体の種類に応じて撮像部より取得した画像の上に表示される。

【図面の簡単な説明】

【0008】

【図1】人物の瞳を検出する処理の例を示す図である。

【図2】動物の瞳を検出する処理の例を示す図である。

【図3】動物の瞳検出モードの場合の合焦開始の指示方法を示す図である。

【図4】動物の瞳検出モードの場合の合焦開始の指示方法を示す図である。

【図5】本技術を適用した撮像装置の主な構成例を示すブロック図である。

【図6】デジタル信号処理部の構成例を示すブロック図である。

【図7】人物の瞳検出モードにおいて瞳が複数検出された場合の選択方法を示す図である。

【図8】動物の瞳検出モードにおいて瞳が複数検出された場合の選択方法を示す図である。

【図9】被写体の顔の向きと検出される瞳領域の数との関係を示す図である。

【図10】人物の瞳検出モードの撮像処理を説明するフローチャートである。

【図11】図１０に続く、人物の瞳検出モードの撮像処理を説明するフローチャートである。

【図12】動物の瞳検出モードの撮像処理を説明するフローチャートである。

【図13】図１２に続く、動物の瞳検出モードの撮像処理を説明するフローチャートである。

【図14】図１２のステップＳ１１４の瞳領域選択処理を説明するフローチャートである。

【発明を実施するための形態】

【0009】

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．本技術の概要
２．撮像装置の構成例
３．瞳が複数検出された場合の選択方法
４．撮像装置の動作例

【0010】

＜１．本技術の概要＞
本技術の一実施形態に係る撮像装置は、被写体の特定部位の領域を検出し、検出した特定部位の領域を合焦に用いる、特定部位毎の検出モードを有している。特定部位毎の検出モードとしては、例えば、人物の瞳検出モードおよび動物の瞳検出モードなどがある。

【0011】

図１は、人物の瞳を検出する処理の例を示す図である。

【0012】

図１には、人物の瞳検出モードが設定されている場合に撮像装置の表示部に表示される画面が示されている。図１の左側の画面は、合焦開始を指示する操作がユーザにより行われる前に表示される画面である。右側の画面は、合焦開始を指示する操作がユーザにより行われた後に表示される画面である。なお、画面には、人物の顔が表示されている。

【0013】

人物の瞳検出モードが設定されている場合、図１の左側に示すように、顔の領域である顔領域のうち、フォーカス枠Ｆに重なる顔領域の検出が行われ、検出された顔領域を予告する顔予告枠PFが表示される。図１の左側の例においては、フォーカス枠Ｆに一部重なる形で顔予告枠PFが表示されている。フォーカス枠Ｆは、焦点を設定するための焦点設定枠である。

【0014】

この状態において合焦開始を指示する操作がユーザにより行われた場合、図１の右側に示すように、顔領域を対象として瞳の領域である瞳領域の検出が行われ、検出された瞳領域を示す瞳枠AEが、顔予告枠PFに代えて表示される。また、瞳枠AEにより囲まれる瞳領域を対象として合焦が行われる。

【0015】

図２は、動物の瞳を検出する処理の例を示す図である。

【0016】

図２には、動物の瞳検出モードが設定されている場合に撮像装置の表示部に表示される画面が示されている。図２の左側の画面は、合焦開始を指示する操作がユーザにより行われる前に表示される画面である。右側の画面は、合焦開始を指示する操作がユーザにより行われた後に表示される画面である。なお、画面には、動物（猫）の顔が表示されている。

【0017】

動物の瞳検出モードが設定されている場合、図２の左側に示すように、フォーカス枠Ｆの内と外を対象として瞳領域の検出が行われ、検出された瞳領域を予告する瞳予告枠PEが表示される。なお、このとき、瞳領域の検出は、フォーカス枠Ｆ内を優先して行われる。

【0018】

この状態において合焦開始を指示する操作がユーザにより行われた場合、図２の右側に示すように、瞳領域に、瞳領域を示す瞳枠AEが瞳予告枠PEに代えて表示される。また、瞳枠AEにより囲まれる瞳領域を対象として合焦が行われる。

【0019】

例えば、瞳予告枠PEが白い枠で表示され、瞳枠AEが緑色の枠で表示されるというように、瞳枠AEは、瞳予告枠PEと異なる表示方法で表示される。なお、顔予告枠PFと瞳枠AEについても同様である。

【0020】

以上のように、人間の瞳検出モードが設定されている場合、合焦開始を指示する操作がユーザにより行われる前に、顔領域の検出が行われ、検出された顔領域に顔予告枠PFが表示される。

【0021】

一方、動物の瞳検出モードが設定されている場合、合焦開始を指示する操作がユーザにより行われる前に、瞳領域の検出が行われ、検出された瞳領域に瞳予告枠PEが表示される。

【0022】

合焦開始を指示する操作がユーザにより行われる前に予告枠が表示されることにより、意図する位置、または、意図しない位置が検出されていることが事前にわかるため、ユーザが自動合焦を行わないことを選択することが可能である。これにより、被写体の特定部位に着目した撮像を容易に行うことができるようになる。

【0023】

図３および図４は、動物の瞳検出モードが設定されている場合の合焦開始の指示方法を示す図である。

【0024】

撮像装置においては、瞳AF（オートフォーカス）ボタンＰの押下、AF-ONボタンＱの押下、またはシャッタボタンＲの半押しなどの操作がユーザにより行われることで合焦開始を指示することができる。

【0025】

瞳AFボタンＰは、図３の左側に示されるように、例えば、撮像装置の裏面に設けられる十字ボタンの中央に位置する中央ボタンとして構成される。瞳AFボタンＰは、被写体の特定部位である瞳を対象として合焦開始を指示するための専用ボタンである。

【0026】

上述したように、合焦開始を指示する操作がユーザにより行われる前に、撮像装置の表示部の被写体の画像には、検出された瞳領域に瞳予告枠が表示されている。

【0027】

この状態においてユーザにより瞳AFボタンＰの押下が行われた場合、表示部には、図３の右側に示されるような画面が表示される。

【0028】

図３の右側に示すように、画面には、猫が正面を向いている画像に重ねて、フォーカス枠Ｆ、および瞳枠AEが表示される。図３の右側においては、フォーカス枠Ｆは画面の中央の、猫の背の辺りに表示されている。

【0029】

ユーザにより瞳AFボタンＰの押下が行われた場合、フォーカス枠Ｆの中心を基準として、画面の５０％程度までの範囲が、瞳領域の検出範囲W１として設定される。なお、検出範囲W１は、実際には表示されない。なお、フォーカス枠Ｆ自体が、検出範囲W１のように広範囲に設定されてもよい。

【0030】

ユーザにより瞳AFボタンＰの押下が行われた場合に、検出範囲W１内に瞳領域が検出されているとき、瞳領域には、瞳AFボタンＰの押下が行われる前に表示されていた瞳予告枠の代わりに、瞳枠AEが表示される。

【0031】

また、AF-ONボタンＱは、図４の左側に示されるように、例えば、撮像装置の裏面の上部に設けられる。AF-ONボタンＱは、フォーカス枠Ｆ内において瞳を対象として合焦開始を指示するためのボタンである。

【0032】

シャッタボタンＲは、図４の左側に示されるように、例えば、撮像装置の上面に設けられる。シャッタボタンＲは、ユーザにより半押しされた場合、AF-ONボタンＱと同様に、フォーカス枠Ｆ内において瞳を対象として合焦開始を指示するためのボタンとなり、ユーザにより全押しされた場合、シャッタを指示するためのボタンとなる。

【0033】

上述したように、合焦開始を指示する操作がユーザにより行われる前に、撮像装置の表示部の被写体の画像には、検出された瞳領域に瞳予告枠が表示されている。

【0034】

この状態においてユーザによりAF-ONボタンＱの押下が行われた場合、または、シャッタボタンＲの半押しが行われた場合、表示部には、図４の右側に示されるような画面が表示される。

【0035】

図４の右側に示すように、画面には、猫が正面を向き、猫の横で犬が寝ている画像に重ねて、フォーカス枠Ｆ、および瞳枠AEが表示される。図４の右側においては、フォーカス枠Ｆは猫の左の瞳に表示される。

【0036】

ユーザによりAF-ONボタンＱの押下が行われた場合、フォーカス枠Ｆの中心を基準としてフォーカス枠Ｆ付近までの範囲が、瞳領域の検出範囲W２として設定される。なお、検出範囲W２は、実際には表示されない。

【0037】

ユーザによりAF-ONボタンＱの押下が行われた場合に、検出範囲W２内に瞳領域が検出されているとき、瞳領域には、AF-ONボタンＱの押下が行われる前に表示されていた瞳予告枠の代わりに、瞳枠AEが表示される。

【0038】

以上のように、撮像装置においては、動物の瞳検出モードの場合、合焦開始を指示する操作がユーザにより行われる前に、瞳領域を予告する瞳予告枠が表示される。合焦開始を指示する操作がユーザにより行われたとき、瞳領域を示す瞳枠AEが表示され、瞳領域を対象として合焦が行われる。

【0039】

したがって、画像における動物の瞳の位置をすぐに把握することができる。これにより、ユーザは、動物の瞳に着目した撮像を容易に行うことができる。

【0040】

なお、撮像装置において、各ボタンが設置される位置は、図３および図４に示された位置に限らず、他の位置であってもよい。

【0041】

また、上記説明では、被写体の特定部位としての瞳を検出する例について説明したが、被写体が鳥などの小さい動物である場合は、被写体自体を検出するようにしてもよい。

【0042】

＜２．撮像装置の構成例＞
図５は、撮像装置の主な構成例を示すブロック図である。

【0043】

図５に示される撮像装置１００は、人物の瞳検出モードと動物の瞳検出モードを含む、被写体の特定部位毎の検出モードを有している。なお、撮像装置１００においては、人物の瞳または動物の瞳に限らず、特定部位に応じた検出モードを設けることが可能である。ユーザは、被写体や被写体の特定部位の各検出モードから、所望の検出モードを選択して、設定することができる。

【0044】

図５に示されるように、撮像装置１００は、レンズ１０１、絞り１０２、撮像素子１０３、アナログ信号処理部１０４、A/D変換部１０５、およびデジタル信号処理部１０６を含むように構成される。撮像装置１００は、レンズドライバ１２１、TG（Timing Generator）１２２、ジャイロ１２３、およびシステムコントローラ１３１を含むように構成される。

【0045】

また、撮像装置１００は、表示部１４１、記憶部１４２、入力部１４３、出力部１４４、通信部１４５、操作部１４６、およびドライブ１４７を含むように構成される。

【0046】

レンズ１０１は、被写体までの焦点を調整し、焦点が合った位置からの光を集光する。絞り１０２は、露出の調整を行う。

【0047】

撮像素子１０３は、被写体を撮像して撮像画像を得る。すなわち、撮像素子１０３は、被写体からの光を光電変換して画像信号としてアナログ信号処理部１０４に出力する。撮像素子１０３は、このような光電変換により、静止画像を取り込むこともできるし、動画像を取り込むこともできる。

【0048】

アナログ信号処理部１０４は、撮像素子１０３により得られた画像信号に対してアナログ信号処理を行う。A/D変換部１０５は、アナログ信号処理された画像信号をA/D変換し、デジタル信号である画像データを得る。

【0049】

デジタル信号処理部１０６は、A/D変換部１０５において得られた画像データに対してデジタル信号処理を行う。デジタル信号処理部１０６は、デジタル信号処理として、少なくとも、画像データとして供給される動画像から被写体または被写体の特定部位の領域を検出し、合焦領域を設定する処理などを行う。以下、被写体の特定部位を、単に特定部位と称する。

【0050】

また、デジタル信号処理部１０６においては、被写体または特定部位の領域の検出結果に基づいて被写体または特定部位の領域を示す枠などの表示を制御する処理なども行われる。これらの処理の詳細については、後述する。

【0051】

なお、デジタル信号処理の内容は任意であり、上述した以外の処理も行われるようにしてもよい。例えば、デジタル信号処理部１０６が、混色補正、黒レベル補正、ホワイトバランス調整、デモザイク処理、マトリックス処理、ガンマ補正、およびYC変換などをデジタル信号処理として行うようにしてもよい。また、デジタル信号処理部１０６が、デジタル信号処理として、画像データの符号化や復号に関する処理であるコーデック処理を行うようにしてもよい。

【0052】

レンズドライバ１２１は、レンズ１０１および絞り１０２を駆動させ、焦点距離または露出などを制御する。TG１２２は、同期信号を生成して撮像素子１０３に供給することにより撮像素子１０３を駆動させ、撮像を制御する。ジャイロ１２３は、撮像装置１００の位置および姿勢を検知するセンサである。ジャイロ１２３は、検知したセンサの情報をA/D変換部１０５に出力する。

【0053】

システムコントローラ１３１は、例えば、CPU（Central Processing Unit）、ROM（Read Only Memory）、およびRAM（Random Access Memory）などよりなり、プログラムを実行したり、データを処理したりして撮像装置１００の各処理部の制御を行う。また、システムコントローラ１３１は、操作部１４６から供給された信号に基づいて、ユーザによる操作入力を受け、操作入力に対応する処理または制御を行う。

【0054】

例えば、システムコントローラ１３１は、デジタル信号処理部１０６から供給される被写体または特定部位の領域の検出結果などに基づいて、焦点距離または露出などを制御することができる。

【0055】

表示部１４１は、例えば、液晶ディスプレイなどとして構成され、デジタル信号処理部１０６のメモリに記憶されている画像データに対応する画像を表示する。例えば、表示部１４１は、撮像素子１０３において得られた取り込み画像や保存した撮像画像などを表示することができる。

【0056】

記憶部１４２は、デジタル信号処理部１０６のメモリに記憶されている画像データを記憶する。その際、記憶部１４２は、データ量を低減させるために、デジタル信号処理部１０６により符号化された符号化データを記憶する。記憶部１４２に記憶されている符号化データは、デジタル信号処理部１０６により読み出され、復号されて、例えば、表示部１４１に表示される。

【0057】

入力部１４３は、外部入力端子などの外部入力インタフェースを有し、外部入力インタフェースを介して撮像装置１００の外部から供給される各種データ（例えば画像データや符号化データ）をデジタル信号処理部１０６に出力する。

【0058】

出力部１４４は、外部出力端子などの外部出力インタフェースを有し、デジタル信号処理部１０６を介して供給される各種データを、外部出力インタフェースを介して撮像装置１００の外部に出力する。

【0059】

通信部１４５は、他の装置と、有線通信および無線通信の少なくとも一方である所定の通信を行い、所定の通信を介して他の装置とデータの授受を行う。例えば、通信部１４５は、デジタル信号処理部１０６から供給される各種データ（例えば画像データや符号化データ）を、所定の通信を介して他の装置に出力する。また、通信部１４５は、所定の通信を介して他の装置から各種データを取得し、取得したデータをデジタル信号処理部１０６に出力する。

【0060】

操作部１４６は、例えば、キー、ボタン、またはタッチパネルなどの任意の入力デバイスにより構成される。図３または図４を参照して上述した瞳AFボタンＰ、AF-ONボタンＱ、またはシャッタボタンＲが操作部１４６に含まれる。操作部１４６は、ユーザによる操作入力を受け、操作入力に対応する信号をシステムコントローラ１３１に出力する。

【0061】

ドライブ１４７は、自身に装着された、例えば、半導体メモリなどのリムーバブル記録媒体１４８に記憶されている情報（プログラムやデータなど）を読み出す。ドライブ１４７は、リムーバブル記録媒体１４８から読み出した情報をシステムコントローラ１３１に供給する。また、ドライブ１４７は、書き込み可能なリムーバブル記録媒体１４８が自身に装着された場合、システムコントローラ１３１を介して供給される情報（画像データや符号化データなど）を、リムーバブル記録媒体１４８に記憶させることができる。

【0062】

なお、以上に説明したレンズ１０１、絞り１０２、およびレンズドライバ１２１は、撮像装置１００とは別筐体の、撮像装置１００に着脱可能な（交換可能な）交換式レンズ１５１として形成されるようにしてもよい。

【0063】

図６は、デジタル信号処理部１０６の構成例を示すブロック図である。

【0064】

デジタル信号処理部１０６は、メモリ２１１、被写体検出部２１２、領域設定部２１３、表示制御部２１４、およびコーデック処理部２１５を有する。

【0065】

メモリ２１１は、A/D変換部１０５から供給される画像データを記憶する。画像データは、例えば、動画像の各フレームの画像データまたは静止画像の画像データである。

【0066】

被写体検出部２１２は、システムコントローラ１３１から供給されるユーザの操作入力に対応する信号に基づいて、メモリ２１１に記憶されている画像データから被写体または特定部位の領域を検出する。被写体検出部２１２は、被写体または特定部位の領域の検出結果を領域設定部２１３および表示制御部２１４に出力する。

【0067】

被写体検出部２１２は、人物検出部２１２－１、動物検出部２１２－２、および動物検出部２１２－３から構成される。

【0068】

人物検出部２１２－１は、被写体の特定部位毎の検出モードが人物の瞳検出モードである場合に、人物の顔領域を検出し、検出した顔領域の検出結果を、領域設定部２１３および表示制御部２１４に出力する。人物検出部２１２－１は、合焦開始を指示する操作がユーザにより行われた場合、顔領域の検出結果に基づいて、人物の瞳領域を検出し、瞳領域の検出結果を、領域設定部２１３および表示制御部２１４に出力する。

【0069】

動物検出部２１２－２および２１２－３は、検出対象とする動物の種類が異なる。動物検出部２１２－２および２１２－３は、被写体の特定部位毎の検出モードが動物の瞳検出モードである場合に、対象の動物の瞳領域を検出し、検出した動物の瞳領域の検出結果を領域設定部２１３および表示制御部２１４に出力する。

【0070】

動物の瞳の検出には、例えば、ディープラーニングなどの手法が用いられる。動物検出部２１２－２および２１２－３は、合焦開始を指示する操作がユーザにより行われた場合、フォーカス枠に応じて、動物の瞳を検出し、検出した動物の瞳領域の検出結果を領域設定部２１３および表示制御部２１４に出力する。

【0071】

例えば、動物検出部２１２－２は、犬や猫などの動物の瞳領域を検出する。動物検出部２１２－３は、トカゲやカエルなどの動物の瞳領域を検出する。動物検出部２１２－２および２１２－３だけに限らず、例えば、検出時の特徴が同じである動物の種類に応じて、他の動物検出部が設けられてもよい。

【0072】

領域設定部２１３は、被写体の特定部位毎の検出モードに応じて、被写体検出部２１２により検出された被写体の特定部位の領域やフォーカス枠が示す領域のうち、いずれかを合焦領域として設定する。領域設定部２１３は、設定した合焦領域の情報をシステムコントローラ１３１に供給する。

【0073】

表示制御部２１４は、システムコントローラ１３１から供給されるユーザの操作入力に対応する信号に応じて、フォーカス枠を生成し、メモリ２１１からの画像に重畳して表示部１４１に表示させる。フォーカス枠の情報は、被写体検出部２１２に出力される。

【0074】

また、表示制御部２１４は、システムコントローラ１３１から供給されるユーザの操作入力に対応する信号に基づいて、被写体検出部２１２により検出された顔または瞳領域に応じた所定の枠（顔枠、予告枠、または瞳枠）を生成する。表示制御部２１４は、生成した所定の枠をメモリ２１１からの画像に重畳して表示部１４１に表示させる。顔枠、予告枠、または瞳枠の情報は、必要に応じて、被写体検出部２１２に出力される。

【0075】

なお、表示制御部２１４は、メニュー、ボタン、またはカーソルなどのGUI（Graphical User Interface）の画像を生成して、取り込み画像や撮像画像などとともに表示する。

【0076】

コーデック処理部２１５は、メモリ２１１に記憶される動画像や静止画像の画像データの符号化や復号に関する処理を行う。

【0077】

＜３．瞳が複数検出された場合の選択方法＞
図７は、人物の瞳検出モードにおいて瞳が複数検出された場合の選択方法を示す図である。

【0078】

図７のＡには、合焦開始を指示する操作がユーザにより行われる前に表示される画面が示されている。図７のＢには、合焦開始を指示する操作がユーザにより行われた後に表示される画面が示されている。

【0079】

人物の瞳検出モードが設定されている場合、図７のＡに示すように、顔領域のうち、フォーカス枠Ｆに重なる顔領域の検出が行われ、検出された顔領域を示す顔予告枠PFが表示される。

【0080】

この状態において合焦開始を指示する操作がユーザにより行われた場合、図７のＢに示すように、顔領域を対象として瞳領域の検出が行われ、検出された瞳領域を示す瞳枠AEが表示される。また、瞳枠AEにより囲まれる瞳領域を対象として合焦が行われる。

【0081】

このとき、検出された顔領域において、撮像装置１００から見て手前に位置する瞳領域の検出が行われる。したがって、左側の瞳が撮像装置１００から見て手前に位置する場合、ユーザが右側の瞳にフォーカス枠Ｆを合わせたとしても、図７のＢの左側に示すように、瞳枠AEは、左側の瞳に表示されてしまう。また、右側の瞳が撮像装置１００から見て手前に位置する場合、ユーザが右側の瞳にフォーカス枠Ｆを合わせたとしても、または合わせなくても、図７のＢの右側に示すように、瞳枠AEは、右側の瞳に表示される。

【0082】

このように、人物の瞳検出モードにおいては、フォーカス枠の位置によらず、ユーザが、顔を選択するだけで、選択した顔領域における手前の瞳に焦点が合わせられる。

【0083】

図８は、動物の瞳検出モードにおいて瞳が複数検出された場合の選択方法を示す図である。

【0084】

図８のＡには、合焦開始を指示する操作がユーザにより行われる前に表示される画面が示されている。図８のＢには、合焦開始を指示する操作がユーザにより行われた後に表示される画面が示されている。

【0085】

動物の瞳検出モードが設定されている場合、図８のＡに示すように、フォーカス枠Ｆの内と外を対象として瞳領域の検出が行われ、検出された瞳領域を予告する瞳予告枠PEが表示される。なお、このとき、瞳領域の検出は、フォーカス枠Ｆ内を優先して行われる。

【0086】

ただし、複数の瞳領域が検出された場合、撮像装置１００から見て手前に位置し、フォーカス枠Ｆの中心（中心位置）から近い瞳領域に、瞳予告枠PEが表示される。なお、瞳領域の選択の詳細は、図９を参照して後述される。

【0087】

合焦開始を指示する操作がユーザにより行われた場合、図８のＢに示すように、選択された瞳領域に瞳枠AEが表示され、瞳枠AEが示す瞳領域を対象として合焦が行われる。

【0088】

なお、瞳予告枠PEを表示しないように予め設定しておくことも可能である。この場合、瞳予告枠PEの表示により被写体の表情が隠れてしまうことを防ぐことができる。

【0089】

図９は、被写体の顔の向きと瞳領域の数との関係を示す図である。

【0090】

図９には、きつねを被写体とした画像Ｐ１乃至画像Ｐ７が示されている。画像Ｐ１乃至画像Ｐ７に写っているきつねは、顔の向き（角度）が異なる。実線の矩形は、各画像において検出された手前の瞳領域を示しており、破線の矩形は、各画像において検出された奥の瞳領域を示している。

【0091】

画像Ｐ１には、左方向に顔を向けているきつねが写っている。画像Ｐ２には、左斜め前方向に顔を向けているきつねが写っている。画像Ｐ３には、ごく僅かな左斜め前方向に顔を向けているきつねが写っている。画像Ｐ４には、正面方向に顔を向けているきつねが写っている。画像Ｐ５には、ごく僅かな右斜め前方向に顔を向けているきつねが写っている。画像Ｐ６には、右斜め前方向に顔を向けているきつねが写っている。画像Ｐ７には、右方向に顔を向けているきつねが写っている。

【0092】

これらの画像のうち、斜め前方向乃至横（左右）方向に顔を向けているきつねが写っている画像Ｐ１、画像Ｐ２、画像Ｐ６、および画像Ｐ７では、それぞれ、撮像装置１００から見て手前に位置する瞳領域しか検出されなかった場合を示している。

【0093】

ごく僅かな斜め前方向に顔を向けているきつねが写っている画像Ｐ３と画像Ｐ５では、それぞれ２つの瞳領域が検出され、かつ、どちらか一方の瞳領域が撮像装置１００から見て手前に位置し、どちらか他方の瞳領域が奥に位置するかを判定しやすい。

【0094】

正面方向に顔を向けているきつねが写っている画像Ｐ４では、左の瞳領域と右の瞳領域のうち、どちらの瞳領域が手前であるのかが区別をつけるのが難しい。この場合、上述したように、撮像装置１００から見て手前に位置し、フォーカス枠の中心から近い瞳領域に、予告枠または瞳枠が表示される。

【0095】

＜４．撮像装置の動作例＞
図１０は、撮像装置１００の人物の瞳検出モードの撮像処理を説明するフローチャートである。

【0096】

図１０の人物の瞳検出モードの撮像処理は、例えば、電源ボタンが操作されることにより電源がオンにされたとき開始される。被写体の特定部位毎の検出モードは、設定画面などから人物の瞳検出モードとして予め設定されている。

【0097】

図１０のステップＳ１１において、システムコントローラ１３１は、処理を終了するか否か、例えば、電源ボタンが操作されたか否かを判定する。

【0098】

ステップＳ１１において処理を終了すると判定された場合、撮像処理は終了される。

【0099】

ステップＳ１１で処理を終了しないと判定された場合、処理は、ステップＳ１２に進む。

【0100】

ステップＳ１２において、撮像素子１０３は、レンズ１０１および絞り１０２を介して集光された被写体からの光を画素単位で光電変換することにより画像の各画素の電気信号を取得する。画像の各画素の電気信号である画像信号は、アナログ信号処理部１０４およびA/D変換部１０５を介して、デジタル信号処理部１０６のメモリ２１１に出力される。

【0101】

ステップＳ１３において、表示制御部２１４は、メモリ２１１に記憶されている画像データに基づく画像をライブビュー画像として表示部１４１に表示させる。

【0102】

ステップＳ１４において、人物検出部２１２－１は、メモリ２１１に記憶されている画像データから顔領域を検出する。人物検出部２１２－１は、検出した顔領域の情報を領域設定部２１３および表示制御部２１４に供給する。

【0103】

ユーザは、瞳AFボタンの押下、AF-ONボタンの押下、またはシャッタボタンの半押しなどの操作を行うことにより、合焦開始を指示する。なお、合焦開始の指示は、画像の撮像単位毎に行われる。操作部１４６は、ユーザによる操作入力を受け、操作入力に対応する信号をシステムコントローラ１３１に出力する。

【0104】

ステップＳ１５において、システムコントローラ１３１は、ユーザにより瞳AFボタンの押下が行われたか否かを判定する。ステップＳ１５において、瞳AFボタンの押下が行われたと判定された場合、処理はステップＳ１６に進む。

【0105】

ステップＳ１６において、システムコントローラ１３１は、フォーカス枠を強制的に広範囲に変更する。

【0106】

ステップＳ１７において、人物検出部２１２－１は、システムコントローラ１３１の制御に従って、フォーカス枠内の顔領域に対して瞳領域を検出する。検出した瞳領域の情報は、領域設定部２１３および表示制御部２１４に出力される。

【0107】

ステップＳ１８において、領域設定部２１３は、瞳領域が検出されたか否かを判定する。ステップＳ１８において、瞳領域が検出されたと判定された場合、処理はステップＳ１９に進む。

【0108】

ステップＳ１９において、領域設定部２１３は、人物検出部２１２－１により検出された瞳領域を合焦領域として設定する。設定した合焦領域の情報は、システムコントローラ１３１に供給される。

【0109】

ステップＳ１８において、瞳領域が検出されなかったと判定された場合、処理はステップＳ２０に進む。

【0110】

ステップＳ２０において、領域設定部２１３は、人物検出部２１２－１により検出された顔領域を合焦領域として設定する。設定した合焦領域の情報は、システムコントローラ１３１に出力される。

【0111】

一方、ステップＳ１５において、瞳AFボタンの押下が行われなかったと判定された場合、処理はステップＳ２１に進む。

【0112】

ステップＳ２１において、システムコントローラ１３１は、ユーザによりシャッタボタンの半押しが行われたか否か、または、AF-ONボタンの押下が行われたか否かを判定する。

【0113】

ステップＳ２１において、シャッタボタンの半押しが行われた、または、AF-ONボタンの押下が行われたと判定された場合、処理はステップＳ２２に進む。

【0114】

ステップＳ２２において、システムコントローラ１３１は、フォーカス枠を変更しない。

【0115】

ステップＳ２３において、人物検出部２１２－１は、システムコントローラ１３１の制御に従って、フォーカス枠内の顔領域に対して瞳領域を検出する。検出した瞳領域の情報は、領域設定部２１３および表示制御部２１４に出力される。

【0116】

ステップＳ２４において、領域設定部２１３は、瞳領域が検出されたか否かを判定する。ステップＳ２４において、瞳領域が検出されたと判定された場合、処理はステップＳ２５に進む。

【0117】

ステップＳ２５において、領域設定部２１３は、人物検出部２１２－１により検出された瞳領域を合焦領域として設定する。設定した合焦領域の情報は、システムコントローラ１３１に供給される。

【0118】

ステップＳ２４において、瞳領域が検出されなかったと判定された場合、処理はステップＳ２６に進む。

【0119】

ステップＳ２６において、領域設定部２１３は、人物検出部２１２－１により検出された顔領域またはフォーカス枠を合焦領域として設定する。設定した合焦領域の情報は、システムコントローラ１３１に出力される。

【0120】

また、ステップＳ２０において、シャッタボタンの半押しとAF-ONボタンの押下が行われなかったと判定された場合、処理はステップＳ２７に進む。

【0121】

ステップＳ２７において、領域設定部２１３は、人物検出部２１２－１により検出された顔領域を合焦領域として設定する。設定した合焦領域の情報は、システムコントローラ１３１に出力される。

【0122】

ステップＳ２８において、表示制御部２１４は、人物検出部２１２－１により検出された顔領域に顔予告枠を生成し、ライブビュー画像に顔予告枠を重畳して、表示部１４１に表示させる。

【0123】

ステップＳ１９、Ｓ２０、およびＳ２５の後、処理は、図１１のステップＳ２９に進む。

【0124】

ステップＳ２９において、システムコントローラ１３１は、レンズドライバ１２１を制御し、合焦領域に焦点が合うように、レンズ１０１および絞り１０２などの光学系を駆動する。その後、処理は、ステップＳ３０に進む。

【0125】

図１１のステップＳ２７の後も処理は、ステップＳ３０に進む。

【0126】

ステップＳ３０において、システムコントローラ１３１は、合焦したか否かを判定する。

【0127】

ステップＳ３０において、合焦したと判定された場合、処理は、ステップＳ３１に進む。

【0128】

ステップＳ３１において、表示制御部２１４は、メモリ２１１に記憶されている画像データに基づく画像をライブビュー画像として表示部１４１に表示させる。また、表示制御部２１４は、設定された合焦領域を囲む枠である合焦枠（瞳枠、顔枠、またはフォーカス枠）をライブビュー画像に重畳して表示部１４１に表示させる。

【0129】

ステップＳ３０において、合焦していないと判定された場合、ステップＳ３１をスキップし、処理は、ステップＳ３２に進む。

【0130】

また、図１０のステップＳ２９の後、処理は、ステップＳ３２に進む。

【0131】

ステップＳ３２において、システムコントローラ１３１は、操作部１４６からの操作入力に対応する信号に基づいて、シャッタボタンの全押しが行われたか否かを判定する。ステップＳ３２においてシャッタボタンの全押しが行われたと判定された場合、処理はステップＳ３３に進む。

【0132】

ステップＳ３３において、撮像素子１０３は、レンズ１０１および絞り１０２などの光学系を介して集光された被写体からの光を画素単位で光電変換することにより画像の各画素の電気信号を取得する。画像の各画素の電気信号である画像信号は、アナログ信号処理部１０４およびA/D変換部１０５を介して、デジタル信号処理部１０６のメモリ２１１に出力される。

【0133】

ステップＳ３４において、表示制御部２１４は、メモリ２１１に記憶されている画像データに基づく画像を撮影画像として表示部１４１に表示させる。

【0134】

ステップＳ３５において、コーデック処理部２１５は、メモリ２１１に記憶される画像データを符号化する。コーデック処理部２１５は、符号化後の画像データを記憶部１４２に供給する。

【0135】

ステップＳ３６において、コーデック処理部２１５は、記憶部１４２に、符号化後の画像データを記録させる。その後、ステップＳ１１に戻り、それ以降の処理が繰り返される。

【0136】

また、ステップＳ３２においてシャッタボタンの全押しが行われなかったと判定された場合も、ステップＳ１１に戻り、それ以降の処理が繰り返される。

【0137】

図１２は、撮像装置１００の動物の瞳検出モードの撮像処理を説明するフローチャートである。

【0138】

図１２の動物の瞳検出モードの撮像処理は、例えば、電源ボタンが操作されることにより電源がオンにされたとき開始される。被写体の特定部位毎の検出モードは、設定画面などで動物の瞳検出モードが予め設定されている。図１２においては、猫または犬の瞳を検出する動物検出部２１２－２により動物の瞳が検出される例が説明される。

【0139】

図１２のステップＳ１１１において、システムコントローラ１３１は、処理を終了するか否か、例えば、電源ボタンが操作されたか否かを判定する。

【0140】

ステップＳ１１１において処理を終了すると判定された場合、撮像処理は終了される。

【0141】

ステップＳ１１１で処理を終了しないと判定された場合、処理は、ステップＳ１１２に進む。

【0142】

ステップＳ１１２において、撮像素子１０３は、レンズ１０１および絞り１０２を介して集光された被写体からの光を画素単位で光電変換することにより画像の各画素の電気信号を取得する。画像の各画素の電気信号である画像信号は、アナログ信号処理部１０４およびA/D変換部１０５を介して、デジタル信号処理部１０６のメモリ２１１に出力される。

【0143】

ステップＳ１１３において、表示制御部２１４は、メモリ２１１に記憶されている画像データに基づく画像をライブビュー画像として表示部１４１に表示させる。

【0144】

ステップＳ１１４において、動物検出部２１２－２は、メモリ２１１に記憶されている画像データから瞳領域を検出する。動物検出部２１２－２は、検出した瞳領域の情報を領域設定部２１３および表示制御部２１４に供給する。

【0145】

ステップＳ１１５において、表示制御部２１４は、動物検出部２１２－２により検出された瞳領域選択処理を行う。瞳領域選択処理により、複数検出された瞳領域の中から、予告枠が表示される瞳領域が選択される。

【0146】

ステップＳ１１６において、システムコントローラ１３１は、ユーザにより瞳AFボタンの押下が行われたか否かを判定する。

【0147】

ステップＳ１１６において、瞳AFボタンの押下が行われたと判定された場合、処理はステップＳ１１７に進む。

【0148】

ステップＳ１１７において、システムコントローラ１３１は、フォーカス枠を強制的に広範囲に変更する。

【0149】

ステップＳ１１８において、動物検出部２１２－２は、システムコントローラ１３１の制御に従って、広範囲に変更されたフォーカス枠内に対して瞳領域を検出する。検出した瞳領域の情報は、領域設定部２１３および表示制御部２１４に出力される。

【0150】

ステップＳ１１９において、領域設定部２１３は、瞳領域が検出されたか否かを判定する。ステップＳ１１９において、瞳領域が検出されたと判定された場合、処理はステップＳ１２０に進む。

【0151】

ステップＳ１２０において、領域設定部２１３は、動物検出部２１２－２により検出された瞳領域を合焦領域として設定する。設定した合焦領域の情報は、システムコントローラ１３１に供給される。

【0152】

一方、ステップＳ１１６において、瞳AFボタンの押下が行われなかったと判定された場合、処理はステップＳ１２１に進む。

【0153】

ステップＳ１２１において、システムコントローラ１３１は、ユーザによりシャッタボタンの半押しが行われたか否か、または、AF-ONボタンの押下が行われたか否かを判定する。

【0154】

ステップＳ１２１において、シャッタボタンの半押しが行われた、または、AF-ONボタンの押下が行われたと判定された場合、処理はステップＳ１２２に進む。

【0155】

ステップＳ１２２において、システムコントローラ１３１は、フォーカス枠を変更しない。

【0156】

ステップＳ１２３において、動物検出部２１２－２は、システムコントローラ１３１の制御に従って、フォーカス枠内に対して瞳領域を検出する。検出した瞳領域の情報は、領域設定部２１３および表示制御部２１４に出力される。

【0157】

ステップＳ１２４において、領域設定部２１３は、瞳領域が検出されたか否かを判定する。ステップＳ１２４において、瞳領域が検出されたと判定された場合、処理はステップＳ１２５に進む。

【0158】

ステップＳ１２５において、領域設定部２１３は、動物検出部２１２－２により検出された瞳領域を合焦領域として設定する。設定した合焦領域の情報は、システムコントローラ１３１に供給される。

【0159】

ステップＳ１２５において、瞳領域が検出されなかったと判定された場合、処理はステップＳ１２６に進む。

【0160】

ステップＳ１２６において、領域設定部２１３は、他の条件として、フォーカス枠を合焦領域として設定する。設定した合焦領域の情報は、システムコントローラ１３１に出力される。

【0161】

また、ステップＳ１２１において、シャッタボタンの半押しとAF-ONボタンの押下が行われなかったと判定された場合、処理はステップＳ１２７に進む。

【0162】

ステップＳ１２７において、領域設定部２１３は、瞳領域が検出されたか否かを判定する。ステップＳ１２７において、瞳領域が検出されたと判定された場合、処理はステップＳ１２８に進む。

【0163】

ステップＳ１２８において、領域設定部２１３は、動物検出部２１２－２により検出された瞳領域を合焦領域として設定する。設定した合焦領域の情報は、システムコントローラ１３１に供給される。

【0164】

ステップＳ１２９において、表示制御部２１４は、動物検出部２１２－２により検出された瞳領域に瞳予告枠を生成し、ライブビュー画像に瞳予告枠を重畳して、表示部１４１に表示させる。

【0165】

ステップＳ１２０およびＳ１２５の後、処理は、図１３のステップＳ１３０に進む。

【0166】

ステップＳ１３０において、システムコントローラ１３１は、レンズドライバ１２１を制御し、合焦領域に焦点が合うように、レンズ１０１および絞り１０２などの光学系を駆動する。その後、処理は、ステップＳ１３１に進む。

【0167】

図１２のステップＳ１２６の後も処理は、ステップＳ１３１に進む。

【0168】

ステップＳ１３１において、システムコントローラ１３１は、合焦したか否かを判定する。

【0169】

ステップＳ１３１において、合焦したと判定された場合、処理は、ステップＳ１３２に進む。

【0170】

ステップＳ１３２において、表示制御部２１４は、メモリ２１１に記憶されている画像データに基づく画像をライブビュー画像として表示部１４１に表示させる。また、表示制御部２１４は、設定された合焦領域を囲む枠である合焦枠（瞳枠またはフォーカス枠）をライブビュー画像に重畳して表示部１４１に表示させる。

【0171】

ステップＳ１３１において、合焦していないと判定された場合、ステップＳ１３２をスキップし、処理は、ステップＳ１３３に進む。

【0172】

また、図１２のステップＳ１１９またはＳ１２７において、瞳領域が検出されていないと判定された場合、合焦は行われず、処理は、図１３のステップＳ１３３に進む。ステップＳ１２９の後も、処理は、ステップＳ１３３に進む。

【0173】

ステップＳ１３３において、システムコントローラ１３１は、操作部１４６からの操作入力に対応する信号に基づいて、シャッタボタンの全押しが行われたか否かを判定する。ステップＳ１３３においてシャッタボタンの全押しが行われたと判定された場合、処理はステップＳ１３４に進む。

【0174】

ステップＳ１３４において、撮像素子１０３は、レンズ１０１および絞り１０２などの光学系を介して集光された被写体からの光を画素単位で光電変換することにより画像の各画素の電気信号を取得する。画像の各画素の電気信号である画像信号は、アナログ信号処理部１０４およびA/D変換部１０５を介して、デジタル信号処理部１０６のメモリ２１１に出力される。

【0175】

ステップＳ１３５において、表示制御部２１４は、メモリ２１１に記憶されている画像データに基づく画像を撮影画像として表示部１４１に表示させる。

【0176】

ステップＳ１３６において、コーデック処理部２１５は、メモリ２１１に記憶される画像データを符号化する。コーデック処理部２１５は、符号化後の画像データを記憶部１４２に供給する。

【0177】

ステップＳ１３７において、コーデック処理部２１５は、記憶部１４２に、符号化後の画像データを記録させる。その後、ステップＳ１１１に戻り、それ以降の処理が繰り返される。

【0178】

また、ステップＳ１３３においてシャッタボタンの全押しが行われなかったと判定された場合も、ステップＳ１１１に戻り、それ以降の処理が繰り返される。

【0179】

なお、上述した処理において、瞳領域が検出されなかった場合、合焦処理を実行しなかったり、フォーカス枠などの他の条件で合焦処理を実行したりするように説明した。瞳領域が検出されなかった場合の動作は、ユーザによる設定などで使い分けられるようにしてもよい。その際、検出されなかった対象被写体や特定部位に応じて、検出されなかった場合の動作を変更するようにしてもよい。

【0180】

例えば、検出されなかった場合に合焦処理を行わないように設定しておくことで、対象被写体または特定部位の動きが少ない場合に、合焦の精度のさらなる悪化を防ぐことができる。反対に、検出されなかった場合にユーザにより指示された位置での合焦処理を行うように設定しておくことで、対象被写体または特定部位の動きが大きい場合に、事前の合焦処理を行うことができる。

【0181】

図１４は、図１２のステップＳ１１４の瞳領域選択処理を説明するフローチャートである。

【0182】

ステップＳ１５１において、表示制御部２１４は、フォーカス枠内に、瞳領域が２つ以上あるか否かを判定する。例えば、２匹の動物が、撮像装置１００から見て手前の位置にいる場合、１つ乃至４つのいずれかの数の瞳が検出されうる。

【0183】

ステップＳ１５１において、フォーカス枠内に、瞳領域が２つ以上あると判定された場合、処理はステップＳ５２に進む。

【0184】

ステップＳ１５２において、表示制御部２１４は、手前の瞳領域が２つ以上あるか否かを判定する。

【0185】

ステップＳ１５２において、手前の瞳領域が２つ以上あると判定された場合、処理はステップＳ１５３に進む。

【0186】

ステップＳ１５３において、表示制御部２１４は、各瞳領域とフォーカス枠の中心との距離を計算する。

【0187】

ステップＳ１５４において、表示制御部２１４は、フォーカス枠の中心からの距離が最も短い瞳領域を選択する。

【0188】

一方、ステップＳ１５１において、フォーカス枠内に、検出された瞳領域が２つ以上ないと判定された場合、処理はステップＳ１５５に進む。

【0189】

ステップＳ１５５において、表示制御部２１４は、１つの瞳領域を選択する。

【0190】

また、ステップＳ１５２において、手前の瞳領域が２つ以上ないと判定された場合、処理はステップＳ１５６に進む。

【0191】

ステップＳ１５６において、表示制御部２１４は、手前の瞳領域を選択する。

【0192】

ステップＳ１５４乃至Ｓ１５６の後、瞳領域選択処理は終了し、図１２のステップＳ１１４に戻る。

【0193】

以上のように、本技術においては、合焦対象とする特定領域を予告する予告枠が、被写体の種類に応じて撮像部より取得した画像の上に表示される。

【0194】

例えば、予告枠が表示されない場合に、合焦開始を指示する操作がユーザにより行われ、自動合焦と撮像を行ってしまうと、被写体の条件によってはユーザの意図せぬ結果となることがある。

【0195】

本技術によれば、予告枠が表示されることにより、意図する位置、または、意図しない位置が検出されていることが事前にわかるため、ユーザが自動合焦を行わないことを選択することが可能である。

【0196】

以上により、ユーザは、被写体の種類である動物に応じて、瞳領域などの特定部位や動物自体に簡単に焦点を合わせることができる。

【0197】

なお、上記説明においては、犬や猫などの動物の瞳を検出する処理について説明したが、本技術は、鳥、魚、爬虫類、両生類などあらゆる生物の瞳、顔、顔の一部、首、頭部などの被写体の特定部位または全身（被写体）に適用することができる。また、本技術は、これらの被写体の特定部位や被写体の組み合わせにも適用することができる。

【0198】

さらに、本技術は、生物に限らず、車両のヘッドライト、フロントエンブレム、フロントガラス、または運転席、あるいは、バイクのヘッドライトまたはヘルメットなど、被写体の特定部位にも適用することができる。

【0199】

これらの場合、被写体の特定部位を検出するための検出モードが予め設定されて用いられる。このようにすることで、複数ある検出結果や検出方法のうち、どの検出結果や検出方法を優先するか、あるいは、複数ある被写体の中で、どの被写体を優先するかなどのユーザの意図を撮像装置に伝えることができる。

【0200】

なお、人物の場合と異なり、毛が長い動物などの場合、瞳に焦点を合わせようとすると、瞳ではなく、瞳にかかる毛に焦点が合ってしまうことがある。この場合、焦点の位置を後ろに調整したり、毛に合焦しやすい被写体であることを撮像装置に予め設定を行い、設定に基づいて撮像装置が制御したりすることで、ユーザの意図により即した撮像結果を得ることができる。

【0201】

ただし、毛が短い被写体の場合にも同じように制御を行うと焦点が合っていない結果となる。したがって、検出の対象被写体または特定部位、その他の検出結果を用いて、どのような調整を反映するのかを予め調整して使い分けることで、より利便性を高めることができる。

【0202】

なお、上記説明において、人物の瞳と動物の瞳を異なる検出処理により検出するように説明したが、人物の瞳の場合も、動物の瞳と同じ検出処理により検出するようにしてもよい。

【0203】

また、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、ソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

【0204】

この記録媒体は、例えば、図５に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブル記録媒体１４８により構成される。このリムーバブル記録媒体１４８には、磁気ディスク（フレキシブルディスクを含む）や光ディスク（CD-ROMやDVDを含む）が含まれる。さらに、光磁気ディスク（MD（Mini Disc）を含む）や半導体メモリなども含まれる。

【0205】

この場合、プログラムは、リムーバブル記録媒体１４８をドライブ１４７に装着することにより、記憶部１４２にインストールすることができる。

【0206】

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。この場合、プログラムは、通信部１４５を介して受信し、記憶部１４２にインストールすることができる。

【0207】

その他、このプログラムは、記憶部１４２やシステムコントローラ１３１内のROM（Read Only Memory）などに、あらかじめインストールしておくこともできる。

【0208】

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたときなどの必要なタイミングで処理が行われるプログラムであってもよい。

【0209】

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）など）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

【0210】

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

【0211】

例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0212】

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0213】

さらに、１つのステップに複数の処理が含まれる場合には、１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0214】

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

【0215】

＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
（１） 合焦対象とする特定領域を予告する予告枠を、被写体の種類に応じて撮像部より取得した画像の上に表示させる表示制御部を備える撮像装置。
（２） 前記被写体は、人または動物である
前記（１）に記載の撮像装置。
（３） 前記被写体は、予め設定可能である
前記（１）に記載の撮像装置。
（４） 前記特定領域は、被写体の特定部位の領域である
前記（１）乃至（３）のいずれかに記載の撮像装置。
（５） 前記特定部位は、瞳である
前記（４）に記載の撮像装置。
（６） 前記特定領域は、被写体の領域である
前記（１）に記載の撮像装置。
（７）前記特定領域を検出する領域検出部をさらに備え、
前記表示制御部は、前記特定領域が複数検出された場合、焦点領域を設定するための焦点設定枠に応じて、前記予告枠の表示を制御する
前記（１）乃至（６）のいずれかに記載の撮像装置。
（８） 前記表示制御部は、前記焦点設定枠の中心位置により近い前記特定領域に応じて、前記予告枠の表示を制御する
前記（７）に記載の撮像装置。
（９） 前記画像の撮像単位で、合焦の開始を指示する合焦指示部と、
前記合焦の開始が指示された場合、検出された前記特定領域を前記画像の合焦領域として設定する領域設定部と
をさらに備える前記（７）または（８）に記載の撮像装置。
（１０） 前記領域設定部は、所定の範囲内に検出された前記特定領域を前記合焦領域として設定する
前記（９）に記載の撮像装置。
（１１） 前記領域設定部は、前記焦点設定枠により示される所定の範囲内に検出された前記特定領域を前記合焦領域として設定する
前記（９）に記載の撮像装置。
（１２） 前記表示制御部は、前記領域設定部により前記合焦領域が設定された場合、前記予告枠の表示に代えて、前記合焦領域を示す合焦領域枠の表示を制御する
前記（９）乃至（１１）のいずれかに記載の撮像装置。
（１３） 前記表示制御部は、前記予告枠の表示とは異なる表示方法で、前記合焦領域枠の表示を制御する
前記（９）に記載の撮像装置。
（１４）前記領域設定部は、前記焦点設定枠により示される所定の範囲内に検出された前記特定領域を前記合焦領域として設定する
前記（９）に記載の撮像装置。
（１５） 撮像を指示する撮像指示部と、
前記撮像が指示された場合、前記領域設定部により設定された前記合焦領域で前記合焦を行って前記画像を取得するように、前記撮像部を制御する合焦制御部と
をさらに備える前記（６）乃至（１０）のいずれかに記載の撮像装置。
（１６） 撮像装置が、
合焦対象とする特定領域を予告する予告枠を、被写体の種類に応じて撮像部より取得した画像の上に表示させる
撮像方法。
（１６）
合焦対象とする特定領域を予告する予告枠を、被写体の種類に応じて撮像部より取得した画像の上に表示させる表示制御部と
して、コンピュータを機能させるプログラム。

【符号の説明】

【0216】

１００ 撮像装置， １０１ レンズ， １０２ 絞り， １０３ 撮像素子， １０４ アナログ信号処理部， １０５ A/D変換部， １０６ デジタル信号処理部， １２１ レンズドライバ， １３１ システムコントローラ， １４１ 表示部， １４２ 記憶部， １４６ 操作部， ２１１ メモリ， ２１２ 被写体検出部， ２１２－１ 人物検出部， ２１２－２ 動物検出部， ２１２－３ 動物検出部， ２１３ 領域設定部， ２１４ 表示制御部， ２１５ コーデック処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【手続補正書】

【提出日】2023-12-28

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

合焦対象とする被写体の顔領域を検出する顔領域検出部と、
合焦対象とする被写体の瞳領域を検出する瞳領域検出部と、
人物を検出した場合、前記顔領域を示す顔予告枠を、合焦領域を予告する予告枠として表示させ、動物を検出した場合、前記瞳領域を示す瞳予告枠を、前記予告枠として表示させる表示制御部と
を備える撮像装置。

【請求項2】

前記表示制御部は、動物を検出した場合において、前記瞳領域が複数検出されたとき、焦点領域を設定するための焦点設定枠、および撮像部からの距離に応じて、一つの前記瞳領域を示す前記瞳予告枠を、前記予告枠として、前記撮像部より取得した画像の上に表示させる
請求項１に記載の撮像装置。

【請求項3】

前記被写体は、人または動物である
請求項１に記載の撮像装置。

【請求項4】

前記被写体は、予め設定可能である
請求項１に記載の撮像装置。

【請求項5】

前記表示制御部は、前記撮像部から見てより手前に位置する前記瞳領域に応じて、前記予告枠の表示を制御する
請求項２に記載の撮像装置。

【請求項6】

前記表示制御部は、前記焦点設定枠の中心位置により近い前記瞳領域に応じて、前記予告枠の表示を制御する
請求項２に記載の撮像装置。

【請求項7】

前記画像の撮像単位で、合焦の開始を指示する合焦指示部と、
前記合焦の開始が指示された場合、検出された前記瞳領域を前記合焦領域として設定する領域設定部と
をさらに備える請求項２に記載の撮像装置。

【請求項8】

前記領域設定部は、所定の範囲内に検出された前記瞳領域を前記合焦領域として設定する
請求項７に記載の撮像装置。

【請求項9】

前記領域設定部は、前記焦点設定枠により示される所定の範囲内に検出された前記瞳領域を前記合焦領域として設定する
請求項７に記載の撮像装置。

【請求項10】

前記表示制御部は、前記領域設定部により前記合焦領域が設定された場合、前記予告枠の表示に代えて、前記合焦領域を示す合焦領域枠の表示を制御する
請求項７に記載の撮像装置。

【請求項11】

前記表示制御部は、前記予告枠の表示とは異なる表示方法で、前記合焦領域枠の表示を制御する
請求項１０に記載の撮像装置。

【請求項12】

撮像を指示する撮像指示部と、
前記撮像が指示された場合、前記領域設定部により設定された前記合焦領域で前記合焦を行って前記画像を取得するように、前記撮像部を制御する合焦制御部と
をさらに備える請求項７に記載の撮像装置。

【請求項13】

前記表示制御部は、動物を検出した場合、前記顔領域を示す枠を表示させない
請求項１に記載の撮像装置。

【請求項14】

撮像装置が、
合焦対象とする被写体の顔領域を検出し、
合焦対象とする被写体の瞳領域を検出し、
人物を検出した場合、前記顔領域を示す顔予告枠を、合焦領域を予告する予告枠として表示させ、動物を検出した場合、前記瞳領域を示す瞳予告枠を、前記予告枠として表示させる
撮像方法。

【請求項15】

合焦対象とする被写体の顔領域を検出する顔領域検出部と、
合焦対象とする被写体の瞳領域を検出する瞳領域検出部と、
人物を検出した場合、前記顔領域を示す顔予告枠を、合焦領域を予告する予告枠として表示させ、動物を検出した場合、前記瞳領域を示す瞳予告枠を、前記予告枠として表示させる表示制御部と
して、コンピュータを機能させるプログラム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００６

【補正方法】変更

【補正の内容】

【0006】

本技術の一側面の撮像装置は、合焦対象とする被写体の顔領域を検出する顔領域検出部と、合焦対象とする被写体の瞳領域を検出する瞳領域検出部と、人物を検出した場合、前記顔領域を示す顔予告枠を、合焦領域を予告する予告枠として表示させ、動物を検出した場合、前記瞳領域を示す瞳予告枠を、前記予告枠として表示させる表示制御部とを備える。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】０００７

【補正方法】変更

【補正の内容】

【0007】

本技術の一側面においては、合焦対象とする被写体の顔領域が検出され、合焦対象とする被写体の瞳領域が検出され、人物を検出した場合、前記顔領域を示す顔予告枠が、合焦領域を予告する予告枠として表示され、動物を検出した場合、前記瞳領域を示す瞳予告枠が、前記予告枠として表示される。