特許 7500211 電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-07

(45)【発行日】2024-06-17

(54)【発明の名称】電子機器

(51)【国際特許分類】

   G02B 7/28 20210101AFI20240610BHJP

   G03B 15/00 20210101ALI20240610BHJP

   G03B 17/00 20210101ALI20240610BHJP

   G03B 17/18 20210101ALI20240610BHJP

   H04N 23/63 20230101ALI20240610BHJP

   H04N 23/60 20230101ALI20240610BHJP

【ＦＩ】

G02B7/28 N

G03B15/00 Q

G03B17/00 Q

G03B17/18

H04N23/63 330

H04N23/60 100

【請求項の数】 14

(21)【出願番号】P 2020019781

(22)【出願日】2020-02-07

(65)【公開番号】P2021124669

(43)【公開日】2021-08-30

【審査請求日】2023-02-07

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】松尾 康弘

【審査官】▲うし▼田 真悟

(56)【参考文献】

【文献】国際公開第２０１４／１０３７３２（ＷＯ，Ａ１）

【文献】特開２０１１－０５３５８７（ＪＰ，Ａ）

【文献】特開２０１８－１２９６５９（ＪＰ，Ａ）

【文献】特開平０８－１２５９０６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ ７／２８

Ｇ０３Ｂ １７／１８

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／６３

(57)【特許請求の範囲】

【請求項1】

ユーザの視線に関する視線情報を取得する取得手段と、
被写体を追尾するように当該被写体を画像から検出する追尾手段と、
前記追尾手段の追尾対象を設定する設定手段と
を有し、
前記追尾対象の被写体が検出されなくなった場合に、前記設定手段は、前記視線情報と、当該被写体の追尾履歴とに基づいて、前記追尾対象の再設定を制御する
ことを特徴とする電子機器。

【請求項2】

画像を表示装置の表示面に表示するように制御する表示制御手段をさらに有し、
前記表示制御手段は、前記追尾手段により被写体が検出された領域を他の領域と区別可能に表示するように制御する
ことを特徴とする請求項１に記載の電子機器。

【請求項3】

前記表示制御手段は、前記追尾手段により被写体が検出されなくなった領域を他の領域と区別可能に表示するように制御する
ことを特徴とする請求項２に記載の電子機器。

【請求項4】

前記追尾対象の被写体が検出されなくなった場合に、前記設定手段は、
前記画像が表示される画像表示領域のうち、当該被写体の追尾履歴に基づく判定領域に視線が向けられていれば、前記追尾対象の再設定を行わずに、当該被写体が再検出されるのを待ち、
前記判定領域から視線が逸らされると、当該被写体が再検出されるのを待たずに、前記追尾対象の再設定を行う
ことを特徴とする請求項１～３のいずれか１項に記載の電子機器。

【請求項5】

前記判定領域は、前記追尾対象の被写体が検出されなくなった領域を含む
ことを特徴とする請求項４に記載の電子機器。

【請求項6】

前記設定手段は、前記画像の撮像方向の変更に応じて前記判定領域の位置を変更する
ことを特徴とする請求項４または５に記載の電子機器。

【請求項7】

前記追尾対象の被写体が検出されなくなる前から継続して前記撮像方向が変更されている場合には、前記設定手段は、前記撮像方向の変更に応じて前記判定領域の位置を変更することはしない
ことを特徴とする請求項６に記載の電子機器。

【請求項8】

前記判定領域の少なくとも一部を含む領域で前記追尾対象でない被写体が検出された場合に、前記設定手段は、当該被写体を含む領域に前記判定領域を拡張する
ことを特徴とする請求項４～７のいずれか１項に記載の電子機器。

【請求項9】

前記追尾対象の被写体が、前記画像が表示される画像表示領域の外へ移動して検出されなくなった場合に、前記設定手段は、前記画像表示領域の複数の端部のうち、当該被写体が移動した側の端部を含む領域を、前記判定領域として用いる
ことを特徴とする請求項４～８のいずれか１項に記載の電子機器。

【請求項10】

前記追尾対象の被写体が検出されなくなったタイミングの前後での前記判定領域のデフォーカス量の変化が閾値よりも小さい場合には、前記設定手段は、前記判定領域に視線が向けられていても、当該被写体が再検出されるのを待たずに、前記追尾対象の再設定を行う
ことを特徴とする請求項４～９のいずれか１項に記載の電子機器。

【請求項11】

前記追尾対象の被写体が再検出されるのを待っている時間が閾値に達した場合に、前記設定手段は、当該被写体が再検出されるのを待つことを止め、前記追尾対象の再設定を行う
ことを特徴とする請求項４～１０のいずれか１項に記載の電子機器。

【請求項12】

ユーザの視線に関する視線情報を取得する取得ステップと、
撮像された画像を表示面に表示するように制御する表示制御ステップと、
被写体を追尾するように当該被写体を前記画像から検出する追尾ステップと、
前記追尾ステップの追尾対象を設定する設定ステップと
を有し、
前記追尾対象の被写体が検出されなくなった場合に、前記設定ステップでは、前記視線情報と、当該被写体の追尾履歴とに基づいて、前記追尾対象の再設定を制御する
ことを特徴とする電子機器の制御方法。

【請求項13】

コンピュータを、請求項１～１１のいずれか１項に記載の電子機器の各手段として機能させるためのプログラム。

【請求項14】

コンピュータを、請求項１～１１のいずれか１項に記載の電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像範囲内での被写体の追尾を実行可能な電子機器に関する。

【背景技術】

【0002】

撮像装置では、被写体追尾（撮像範囲内での被写体の追尾）を行うことにより、ターゲット（追尾対象）に焦点を合わせ続けることが可能となる。被写体追尾では、ターゲットが検出されなくなった場合に、ターゲットの再設定が必要となることがある。ターゲットが検出されなくなる場合とは、例えば、ターゲットが他の被写体に隠れた場合や、ターゲットが画面（撮像された画像が表示される画像表示領域）の外に出た場合である。特許文献１には、所定領域内でターゲットが検出されなくなったタイミングから閾値時間内に所定領域内でターゲットが検出された場合に、ターゲットの再設定を行わずに被写体追尾を継続する方法が開示されている。この方法によれば、ターゲットが一時的に検出されなくなっても、安定して被写体追尾を行うことができる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－７２７２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、ターゲットが一時的に検出されなくなる場合として様々な場合が考えられるため、ターゲットが再検出されるのを待つ閾値時間を１つに決めることは困難である。このため、特許文献１に開示の方法では、ターゲット（追尾対象）の再設定を好適に行えないことがある。例えば、閾値時間が短い場合には、待てばターゲットが再検出されるにもかかわらず、ターゲットの再設定によりターゲットが他の被写体に切り替わってしまうことがある。一方で、閾値時間が長い場合には、ターゲットが検出されない状態が続いてシャッターチャンスを逃してしまうことがある。

【0005】

本発明は、追尾対象の再設定をより好適に行うことができる技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の電子機器は、ユーザの視線に関する視線情報を取得する取得手段と、被写体を
追尾するように当該被写体を画像から検出する追尾手段と、前記追尾手段の追尾対象を設定する設定手段とを有し、前記追尾対象の被写体が検出されなくなった場合に、前記設定手段は、前記視線情報と、当該被写体の追尾履歴とに基づいて、前記追尾対象の再設定を制御することを特徴とする。

【発明の効果】

【0007】

本発明によれば、追尾対象の再設定をより好適に行うことができる。

【図面の簡単な説明】

【0008】

【図1】本実施形態に係る撮像装置の構成例を示すブロック図

【図2】本実施形態に係る撮像装置の射出瞳と光電変換部の対応関係の例を示す図

【図3】本実施形態に係る視線検出部の構成例を示す図

【図4】第１実施形態により解決される課題の一例を示す図

【図5】第１実施形態に係る被写体追尾の一例を示すフローチャート

【図6】第１実施形態に係るターゲット再設定判定の一例を示すフローチャート

【図7】第１実施形態に係るターゲット再設定判定の動作例を示す図

【図8】第１実施形態に係るターゲット再設定判定の動作例を示す図

【図9】第２実施形態に係るターゲット再設定判定に関する図

【図10】第２実施形態に係るターゲット再設定判定の一例を示すフローチャート

【図11】第３実施形態に係るターゲット再設定判定に関する図

【図12】第３実施形態に係る追尾ロスト領域の拡張例を示す図

【図13】第３実施形態に係るターゲット再設定判定の一例を示すフローチャート

【図14】第４実施形態に係るターゲット再設定判定に関する図

【図15】第４実施形態に係る追尾ロスト領域の拡張例を示す図

【図16】第４実施形態に係るターゲット再設定判定の一例を示すフローチャート

【発明を実施するための形態】

【0009】

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は本発明を限定するものではない。また、以下では複数の特徴が記載されているが、その全てが本発明に必須のものとは限らない。また、以下に記載される複数の特徴は任意に組み合わせてもよい。さらに、添付図面において同一若しくは同様の構成には同一の参照番号を付し、重複する説明は省略する。

【0010】

なお、以下の実施形態では、本発明を撮像装置（具体的にはレンズ交換式のデジタルカメラ）で実施する場合に関して説明する。しかし、本発明は被写体追尾機能（撮像範囲内での被写体の追尾を実行する機能）を搭載可能な任意の電子機器に対して適用可能である。このような電子機器には、ビデオカメラ、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダなどが含まれる。これらは例示であり、本発明は他の電子機器にも適用可能である。また、以下のデジタルカメラは被写体追尾機能や視線検出機能、撮像機能、表示機能などを有するが、それらの機能を互いに通信可能な複数の機器（例えば本体とリモートコントローラ）に分けて搭載する構成にも本発明は適用可能である。

【0011】

［構成］
図１は、本発明の実施形態にかかる電子機器の一例としてのデジタルカメラシステムの構成例を示すブロック図である。デジタルカメラシステムは、レンズ交換式デジタルカメラの本体１００と、本体１００に着脱可能なレンズユニット１５０とを有している。なお、レンズ交換式であることは本発明に必須でない。

【0012】

レンズユニット１５０は、本体１００に装着されると本体１００に設けられた通信端子１０と接触する通信端子６を有する。通信端子１０および通信端子６を通じて本体１００からレンズユニット１５０に電源が供給される。また、レンズユニット１５０のレンズシステム制御回路４と本体１００のシステム制御部５０とは通信端子１０および通信端子６を通じて双方向に通信可能である。

【0013】

レンズユニット１５０において、レンズ群１０３は可動レンズを含む複数のレンズから構成される撮像光学系である。可動レンズには少なくともフォーカスレンズが含まれる。また、レンズユニット１５０によっては、変倍レンズや、ぶれ補正レンズなどの１つ以上がさらに含まれ得る。ＡＦ駆動回路３は、フォーカスレンズを駆動するモータやアクチュエータなどを含む。フォーカスレンズは、レンズシステム制御回路４がＡＦ駆動回路３を制御することによって駆動される。絞り駆動回路２は、絞り１０２を駆動するモータアクチュエータなどを含む。絞り１０２の開口量は、レンズシステム制御回路４が絞り駆動回
路２を制御することによって調整される。

【0014】

メカニカルシャッタ１０１はシステム制御部５０によって駆動され、撮像素子２２の露光時間を調整する。なお、メカニカルシャッタ１０１は動画撮影時には全開状態に保持される。

【0015】

撮像素子２２は例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサである。撮像素子２２には複数の画素が２次元配置されており、各画素には１つのマイクロレンズ、１つのカラーフィルタ、および１つ以上の光電変換部が設けられている。本実施形態においては、各画素に複数の光電変換部が設けられており、各画素は光電変換部ごとに信号を読み出し可能に構成されている。画素をこのような構成にすることにより、撮像素子２２から読み出した信号から撮像画像、視差画像対、および位相差ＡＦ用の像信号を生成することができる。

【0016】

図２（ａ）は、撮像素子２２が有する画素が２つの光電変換部を有する場合の、レンズユニット１５０の射出瞳と各光電変換部との対応関係を模式的に示した図である。

【0017】

画素に設けられた２つの光電変換部２０１ａ，２０１ｂは１つのカラーフィルタ２５２および１つのマイクロレンズ２５１を共有する。そして、光電変換部２０１ａには射出瞳（領域２５３）の部分領域２５３ａを通過した光が、光電変換部２０１ｂには射出瞳の部分領域２５３ｂを通過した光が、それぞれ入射する。

【0018】

したがって、或る画素領域に含まれる画素について、光電変換部２０１ａから読み出される信号で形成される画像と、光電変換部２０１ｂから読み出される信号で形成される画像とは視差画像対を構成する。また、視差画像対は位相差ＡＦ用の像信号（Ａ像信号およびＢ像信号）として用いることができる。さらに、光電変換部２０１ａから読み出される信号と光電変換部２０１ｂから読み出される信号とを画素ごとに加算することで、通常の画像信号（撮像画像）を得ることができる。

【0019】

なお、本実施形態では撮像素子２２の各画素が、位相差ＡＦ用の信号を生成するための画素（焦点検出用画素）としても、通常の画像信号を生成するための画素（撮像用画像）としても機能する。しかしながら、撮像素子２２の一部の画素を焦点検出用画素とし、他の画素を撮像用画素とした構成であってもよい。図２（ｂ）は、焦点検出用画素と、入射光が通過する射出瞳の領域２５３との対応関係の一例を示している。図２（ｂ）に示す焦点検出用画素において、光電変換部２０１は、開口部２５４により、図２（ａ）の光電変換部２０１ｂと同様に機能する。図２（ｂ）に示す焦点検出用画素と、図２（ａ）の光電変換部２０１ａと同様に機能する別の種類の焦点検出用画素とを、撮像素子２２の全体に分散配置することにより、実質的に任意の場所及び大きさの焦点検出領域を設定することが可能になる。

【0020】

図２（ａ），２（ｂ）に示す構成は、記録用の画像を得るための撮像素子を位相差ＡＦ用のセンサとして用いる構成であるが、任意の大きさ及び位置の焦点検出領域を設定可能な他のＡＦなど、ＡＦの方式に依らず本発明は実施可能である。例えばコントラストＡＦを用いる構成であっても本発明は実施可能である。コントラストＡＦのみを用いる場合には、各画素が有する光電変換部は１つである。

【0021】

図１に戻り、Ａ／Ｄ変換器２３は、撮像素子２２から出力されるアナログ画像信号をデジタル画像信号（画像データ）に変換するために用いられる。なお、Ａ／Ｄ変換器２３は撮像素子２２が備えてもよい。

【0022】

Ａ／Ｄ変換器２３が出力する画像データ（ＲＡＷ画像データ）は、必要に応じて画像処理部２４で処理されたのち、メモリ制御部１５を通じてメモリ３２に格納される。メモリ３２は画像データや音声データを一時的に記憶するバッファメモリとして用いられたり、表示部２８用のビデオメモリとして用いられたりする。

【0023】

画像処理部２４は、画像データに対して予め定められた画像処理を適用し、信号や画像データを生成したり、各種の情報を取得および／または生成したりする。画像処理部２４は例えば特定の機能を実現するように設計されたＡＳＩＣのような専用のハードウェア回路であってもよいし、ＤＳＰのようなプロセッサがソフトウェアを実行することで特定の機能を実現する構成であってもよい。

【0024】

ここで、画像処理部２４が適用する画像処理には、前処理、色補間処理、補正処理、検出処理、データ加工処理、評価値算出処理などが含まれる。前処理には、信号増幅、基準レベル調整、欠陥画素補正などが含まれる。色補間処理は、画像データに含まれていない色成分の値を補間する処理であり、デモザイク処理とも呼ばれる。補正処理には、ホワイトバランス調整、画像の輝度を補正する処理、レンズユニット１５０の光学収差を補正する処理、色を補正する処理などが含まれる。検出処理には、特徴領域（たとえば顔領域や人体領域）の検出および追尾処理、人物の認識処理などが含まれる。データ加工処理には、スケーリング処理、符号化および復号処理、ヘッダ情報生成処理などが含まれる。評価値算出処理には、位相差ＡＦ用の１対の像信号やコントラストＡＦ用の評価値や、自動露出制御に用いる評価値などの算出処理が含まれる。なお、これらは画像処理部２４が実施可能な画像処理の例示であり、画像処理部２４が実施する画像処理を限定するものではない。また、評価値算出処理はシステム制御部５０が行ってもよい。

【0025】

Ｄ／Ａ変換器１９は、メモリ３２に格納されている表示用の画像データから、表示部２８での表示に適したアナログ信号を生成して、生成したアナログ信号を表示部２８に供給する。表示部２８は例えば液晶表示装置を有し、Ｄ／Ａ変換器１９からのアナログ信号に基づく表示を表示面上で行う。

【0026】

動画の撮像（撮像制御）と、撮像された動画の表示（表示制御）とを継続的に行うことで、表示部２８を電子ビューファインダ（ＥＶＦ）として機能させることができる。表示部２８をＥＶＦとして機能させるために表示する動画をライブビュー画像と呼ぶ。表示部２８は接眼部を通じて観察するように本体１００の内部に設けられてもよいし、接眼部を用いずに観察可能なように本体１００の筐体表面に設けられてもよい。表示部２８は、本体１００の内部と筐体表面との両方に設けられてもよい。

【0027】

システム制御部５０は例えばＣＰＵ（ＭＰＵ、マイクロプロセッサとも呼ばれる）である。システム制御部５０は、不揮発性メモリ５６に記憶されたプログラムをシステムメモリ５２に読み込んで実行することにより、本体１００およびレンズユニット１５０の動作を制御し、カメラシステムの機能を実現する。システム制御部５０は、通信端子１０および６を通じた通信によってレンズシステム制御回路４に様々なコマンドを送信することにより、レンズユニット１５０の動作を制御する。

【0028】

不揮発性メモリ５６は、システム制御部５０が実行するプログラム、カメラシステムの各種の設定値、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の画像データなどを記憶する。システムメモリ５２は、システム制御部５０がプログラムを実行する際に用いるメインメモリである。不揮発性メモリ５６に格納されたデータ（情報）は書き替え可能であってよい。

【0029】

システム制御部５０はその動作の一部として、画像処理部２４または自身が生成した評
価値に基づく自動露出制御（ＡＥ）処理を行い、撮影条件を決定する。例えば、静止画撮影の撮影条件はシャッター速度、絞り値、感度である。システム制御部５０は、設定されているＡＥのモードに応じて、シャッター速度、絞り値、感度の１つ以上を決定する。システム制御部５０はレンズユニット１５０の絞り機構の絞り値（開口量）を制御する。また、システム制御部５０は、メカニカルシャッタ１０１の動作も制御する。

【0030】

また、システム制御部５０は、画像処理部２４または自身が生成した評価値もしくはデフォーカス量に基づいてレンズユニット１５０のフォーカスレンズを駆動し、レンズ群１０３を焦点検出領域内の被写体に合焦させる自動焦点検出（ＡＦ）処理を行う。

【0031】

システムタイマー５３は内蔵時計であり、システム制御部５０が利用する。

【0032】

操作部７０はユーザが操作可能な複数の入力デバイス（ボタン、スイッチ、ダイヤルなど）を有する。操作部７０が有する入力デバイスの一部は、割り当てられた機能に応じた名称を有する。シャッターボタン６１、モード切り替えスイッチ６０、電源スイッチ７２は便宜上、操作部７０と別に図示ししているが、操作部７０に含まれる。表示部２８がタッチパネルを備えるタッチディスプレイである場合には、タッチパネルもまた操作部７０に含まれる。操作部７０に含まれる入力デバイスの操作はシステム制御部５０が監視している。システム制御部５０は、入力デバイスの操作を検出すると、検出した操作に応じた処理を実行する。

【0033】

シャッターボタン６１は半押し状態でＯＮとなり信号ＳＷ１を出力する第１シャッタースイッチ６２と、全押し状態でＯＮとなり信号ＳＷ２を出力する第２シャッタースイッチ６４とを有する。システム制御部５０は、信号ＳＷ１（第１シャッタースイッチ６２のＯＮ）を検出すると、静止画撮影の準備動作を実行する。準備動作には、ＡＥ処理やＡＦ処理などが含まれる。また、システム制御部５０は、信号ＳＷ２（第２シャッタースイッチ６４のＯＮ）を検出すると、ＡＥ処理で決定した撮影条件に従った静止画の撮影動作（撮像および記録の動作）を実行する。

【0034】

また、本実施形態の操作部７０は、ユーザの視線（視線方向）を検出して検出結果（ユーザの視線に関する視線情報）を出力する視線検出部７０１を有する。システム制御部５０は、視線検出部７０１からの視線情報に応じて各種制御を実行することができる。視線検出部７０１はユーザが直接操作する部材ではないが、視線検出部７０１が検出する視線を入力として取り扱うため、操作部７０に含めている。

【0035】

図３（ａ）は、ファインダ内に設ける視線検出部７０１の構成例を模式的に示す側面図である。視線検出部７０１は、本体１００の内部に設けられた表示部２８をファインダのアイピースを通じて見ているユーザの眼球５０１ａの光軸の回転角を視線の方向として検出する。検出された視線の方向に基づいて、ユーザが表示部２８で注視している位置（表示画像中の注視点）を特定することができる。

【0036】

表示部２８には例えばライブビュー画像が表示され、ユーザはアイピースの窓を覗き込むことにより、表示部２８の表示内容を接眼レンズ７０１ｄおよびダイクロックミラー７０１ｃを通じて観察することができる。光源７０１ｅは、アイピースの窓方向（本体１００の外部方向）に赤外光を発することができる。ユーザがファインダを覗いている場合には、光源７０１ｅが発した赤外光は眼球５０１ａで反射されてファインダ内に戻ってくる。ファインダに入射した赤外光はダイクロックミラー７０１ｃで受光レンズ７０１ｂ方向に反射される。

【0037】

受光レンズ７０１ｂは、赤外光による眼球像を撮像素子７０１ａの撮像面に形成する。
撮像素子７０１ａは赤外光撮像用のフィルタを有する２次元撮像素子である。視線検出用の撮像素子７０１ａの画素数は撮影用の撮像素子２２の画素数よりも少なくてよい。撮像素子７０１ａによって撮像された眼球画像はシステム制御部５０に送信される。システム制御部５０は、眼球画像から赤外光の角膜反射の位置と瞳孔の位置とを検出し、両者の位置関係から視線方向を検出する。また、システム制御部５０は、検出した視線方向に基づいて、ユーザが注視している表示部２８の位置（表示画像中の注視点）を検出する。なお、眼球画像から角膜反射の位置と瞳孔の位置を画像処理部２４で検出し、システム制御部５０は画像処理部２４からこれらの位置を取得してもよい。

【0038】

なお、本発明は視線検出の方法や視線検出部の構成には依存しない。したがって、視線検出部７０１の構成は図３（ａ）に示したものに限定されない。例えば、図３（ｂ）に示すように、本体１００の背面に設けられた表示部２８の近傍に配置されたカメラ７０１ｆにより撮像された画像に基づいて視線を検出してもよい。破線で示すカメラ７０１ｆの画角は、表示部２８を見ながら撮影を行うユーザの顔が撮像されるように定められている。カメラ７０１ｆで撮像した画像から検出した目領域（眼球５０１ａと眼球５０１の少なくとも一方の領域）の画像に基づいて視線の方向を検出することができる。赤外光の画像を用いる場合には、カメラ７０１ｆの近傍に光源７０１ｅを配置し、光源７０１ｅで画角内の被写体に赤外光を投写して撮像を行えばよい。その場合は、得られた画像から視線の方向を検出する方法は図３（ａ）の方法と同様でよい。また、可視光の画像を用いる場合には光を投射しなくてもよい。可視光の画像を用いる場合には、目領域の目頭と虹彩の位置関係などから視線の方向を検出することができる。

【0039】

再び図１に戻り、電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。

【0040】

電源部３０は、電池やＡＣアダプター等からなる。Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００には、撮影された画像や音声などのデータファイルが記録される。記録媒体２００に記録されたデータファイルはＩ／Ｆ１８を通じて読み出され、画像処理部２４およびシステム制御部５０を通じて再生することができる。

【0041】

通信部５４は、無線通信および有線通信の少なくとも一方による外部機器との通信を実現する。撮像素子２２で撮像した画像（撮像画像；ライブビュー画像を含む）や、記録媒体２００に記録された画像は、通信部５４を通じて外部機器に送信可能である。また、通信部５４を通じて外部機器から画像データやその他の各種情報を受信することができる。

【0042】

姿勢検出部５５は重力方向に対する本体１００の姿勢を検出する。姿勢検出部５５は加速度センサ、または角速度センサであってよい。システム制御部５０は、撮影時に姿勢検出部５５で検出された姿勢に応じた向き情報を、当該撮影で得られた画像データを格納するデータファイルに記録することができる。向き情報は、例えば記録済みの画像を撮影時と同じ向きで表示するために用いることができる。

【0043】

本実施形態の本体１００は、画像処理部２４が検出した特徴領域が適切な画像となるように各種の制御を実施することが可能である。例えば、本体１００は、特徴領域で合焦させる自動焦点検出（ＡＦ）や、特徴領域が適正露出となるような自動露出制御（ＡＥ）を実施することが可能である。また、本体１００は、特徴領域のホワイトバランスが適切になるような自動ホワイトバランスや、特徴領域の明るさが適切になるような自動フラッシ
ュ光量調整なども実施することが可能である。なお、特徴領域を適切にする制御は、これらに限定されない。画像処理部２４は、例えばライブビュー画像に対して公知の方法を適用して、予め定められた特徴に当てはまると判定される領域を特徴領域として検出し、各特徴領域の位置、大きさ、信頼度といった情報をシステム制御部５０に出力する。なお、本発明は特徴領域の種類や検出方法には依存しない。また特徴領域の検出には公知の方法を利用可能であるため、特徴領域の検出方法についての説明は省略する。

【0044】

また、特徴領域は、被写体情報を検出するためにも用いることができる。特徴領域が顔領域の場合、被写体情報として、例えば、赤目現象が生じているか否か、目をつむっているか否か、表情（例えば笑顔）などが検出される。なお、被写体情報はこれらに限定されない。

【0045】

本実施形態では、大きさおよび位置が不定である複数の画像領域の一例としての複数の特徴領域から、各種の制御に用いたり、被写体情報を取得したりするための１つの特徴領域（主被写体領域）を、ユーザの視線を用いて選択することができる。以下、視線検出部７０１で検出されるようにユーザが視線を向けることを、視線入力と呼ぶ。

【0046】

［視線入力の特徴］
スイッチやボタンの操作による入力に対する視線入力の特徴は、以下の２点である。１点目は、ユーザ指示の入力タイミングが特定できないことである。例えば、ボタン操作であれば、ボタン操作が検出されたタイミングをユーザ指示の入力タイミングと見なすことができる。しかし、視線方向は継続的に検出され、また変化するため、どの時点の視線方向がユーザ指示を意図した視線方向かを判定することができない。

【0047】

２点目は、視線入力が生体由来であることによる視線方向の不安定さである。ユーザが或る一点を注視しているつもりでも、眼球が微小に動いたり、ユーザが無意識に視線を外してしまったりすることがある。したがって、画像中の注視点を特定するためには、或る時間にわたって検出された視線方向を統計的に処理する必要がある。

【0048】

［追尾処理の課題］
追尾処理は、設定した被写体（ターゲット）を追尾するように、当該被写体を、撮像素子２２により撮像された画像（撮像画像）から検出する処理である。本実施形態では、画像処理部２４により、設定したターゲット（追尾対象）の追尾を行い、ターゲットの領域の信号を用いて焦点検出を行うことで、ターゲットにピントを合わせ続けることができる。しかしながら、ターゲットが他の被写体に隠れた場合や、ターゲットが画像表示領域の外に出た場合には、追尾が中断してしまうため、ターゲットの再出現を待ち続けるか、ターゲットの再設定を行う必要がある。なお、画像表示領域は、撮像画像が表示される領域であり、表示部２８の表示面の全領域、表示部２８に表示された画面（ウィンドウなど）の全領域、表示面または画面の一部の領域などのいずれかである。

【0049】

特許文献１（特開２０１８－７２７２号公報）には、所定領域内でターゲットが検出されなくなったタイミングから閾値時間内に所定領域内でターゲットが検出された場合に、ターゲットの再設定を行わずに被写体追尾を継続する方法が開示されている。しかしながら、閾値時間を１つに決めることは困難であり、ターゲットの再設定を好適に行えないことがある。

【0050】

また、別の方法として、ターゲットが検出されなくなった場合に、視線入力によりターゲットを再設定する方法が考えられる。しかしながら、ユーザ指示の入力タイミングが特定できないことや、視線方向の不安定さといった課題が存在するため、視線入力のみを用いて、ユーザが意図するようにターゲットの再設定を行うことは困難である。

【0051】

（第１実施形態）
以下、本発明の第１実施形態について説明する。追尾処理の上記課題を解決するために、第１実施形態では、ターゲットが検出されなくなった場合に、視線入力（視線情報）と、当該ターゲットの追尾結果（追尾履歴）とに基づいて、ターゲットの再設定を行うタイミングを制御する。

【0052】

第１実施形態では、画像処理部２４は、ターゲットの再設定を行うことができる。例えば、ターゲットが検出されなくなった後、人物や動物など、ターゲットとして望ましい被写体が撮像画像から検出された場合に、画像処理部２４は、検出された被写体を自動でターゲットとして再設定する。

【0053】

但し、第１実施形態では、ターゲットが検出されなくなってから所定時間経過後ではなく、視線入力と追尾結果に基づくタイミングでターゲットの再設定を行う。例えば、ターゲットを見失った位置（ターゲットが検出されなくなった位置）に視線がとどまっている場合に、ユーザがターゲットの再出現を望んでいるものと判断し、ターゲットの再設定は発動させず、ターゲットの再出現（再検出）を待つ。一方で、ターゲットを見失った位置から視線が逸らされた場合は、ユーザが見失ったターゲットの追尾をあきらめ、別の被写体の追尾を望んでいると判断し、ターゲットの再出現を待たずに、ターゲットの再設定を発動させる。

【0054】

このように、過去の追尾結果と、ユーザの視線入力とを用いて、ターゲットの再設定の実行／非実行を制御することにより、視線入力のみを用いる方法よりも正確にユーザの意図をくみ取った制御を行うことができる。

【0055】

図４（ａ）～４（ｃ）は、ターゲットが検出されなくなった場合に、ユーザの意図にかかわらず、所定時間経過後にターゲットの再設定を行う動作の具体例を示す。図４（ａ）～４（ｃ）は、表示部２８に表示された画面を示し、時間の経過に従い、図４（ａ）の画面から図４（ｂ）の画面へ、図４（ｂ）の画面から図４（ｃ）の画面へと、画面が遷移する。

【0056】

図４（ａ）の画面に表示された撮像画像には、人物３０１と人物３０２が存在している。人物３０１がターゲットとして設定されており、人物３０１の周りには、追尾枠３２１が表示されている。

【0057】

図４（ｂ）では、人物３０１の前を横切る車３０３に人物３０１が隠れ、人物３０１が検出されなくなっている。ここで、所定時間以上、車３０３に人物３０１が隠れているとする。このため、図４（ｂ）では、ターゲットの再設定が発動し、人物３０２がターゲットとして再設定され、人物３０２の周りに追尾枠３２２が表示されている。

【0058】

図４（ｃ）では、人物３０１が再出現しているが、すでに人物３０２がターゲットとして設定されているため、追尾枠３２３は、人物３０２に対して表示されている。

【0059】

このように、所定時間経過後にターゲットの再設定を自動で発動してしまうと、ユーザが人物３０１の追尾継続を望んでいても、ターゲットが人物３０２へと切り替わってしまう。

【0060】

そこで、第１実施形態では、図５のフローチャートのように制御を行う。図５は、第１実施形態に係る被写体追尾のフローチャートである。図５に示す被写体追尾は、信号ＳＷ１（第１シャッタースイッチ６２のＯＮ）を検出するのと同時に開始され、信号１が検出
されている間、継続して実施される。また、この方法に限らず、例えば、ターゲットが設定されると同時に被写体追尾を開始して、表示部２８にライブビュー画像が表示されている間、継続して被写体追尾を実施してもよい。

【0061】

ステップＳ１では、システム制御部５０は、画像処理部２４などを用いて、ターゲットを設定する。例えば、被写体追尾を開始する開始領域を表示部２８に表示し、信号ＳＷ１が検出されたタイミングで、開始領域内に存在する被写体をターゲットに設定する。また、この方法に限らず、表示部２８に設けられたタッチパネルや、視線検出部７０１を用いて、ユーザがターゲットを選択してもよい。また、画像処理部２４が人物や動物を検出して、検出した被写体を自動でターゲットに設定してもよい。このとき、システム制御部５０は、ターゲットの位置を追尾位置として設定し、追尾位置に基づいて表示部２８にターゲットを囲む追尾枠を表示する。

【0062】

ステップＳ２では、システム制御部５０は、画像処理部２４などを用いて、現在のフレーム（撮像画像）から、設定されたターゲットを検出する。例えば、色や特徴点、動きベクトルなどを用いて、現在のフレームの１つ前のフレームで検出されたターゲットの、現在のフレームでの位置を検出する。被写体追尾中はステップＳ２～Ｓ６の処理が繰り返される。１回目のステップＳ２では、ステップＳ１でターゲットを設定したフレームの次のフレームが現在のフレームとなる。

【0063】

ステップＳ３では、システム制御部５０は、ステップＳ２でターゲットが検出されたか否かを判定する。システム制御部５０は、ターゲットが検出されたと判定した場合にステップＳ４へ処理を進め、ターゲットが検出されなかったと判定した場合にステップＳ５へ処理を進める。

【0064】

ステップＳ４では、システム制御部５０は、ステップＳ２でターゲットが検出された位置に追尾位置を更新し、表示部２８における追尾枠の表示を更新する。このとき、追尾（ターゲットの検出）を行うための色や特徴点、動きベクトルなどのテンプレートを更新してもよい。

【0065】

ステップＳ５では、システム制御部５０は、後述するターゲット再設定判定処理を行う。

【0066】

ステップＳ６では、システム制御部５０は、被写体追尾を終了するか否かを判定する。システム制御部５０は、被写体追尾を終了すると判定した場合に被写体追尾（本フロー）を終了し、被写体追尾を終了しない（被写体追尾を継続する）と判定した場合にステップＳ２へ処理を戻す。ここでは、信号ＳＷ１が検出されなくなったことに応じて、被写体追尾を終了すると判定されるとする。なお、表示部２８にライブビュー画像が表示されている間、継続して被写体追尾を実施する場合は、操作部７０に設けた追尾終了ボタンで被写体追尾の終了が指示されてもよい。

【0067】

図６は、ターゲット再設定判定処理（ステップＳ５）のフローチャートである。ターゲット再判定処理では、視線入力（視線情報）と追尾結果（追尾履歴）に基づいて、ターゲットの再設定を行うタイミングを制御する。以後、表示部２８の表示面（画像表示領域）のうち、ターゲットが検出されなくなった領域を、追尾ロスト領域と呼ぶ。追尾ロスト領域は、ターゲットの再設定を行うか否かを判定するための判定領域とも言える。追尾ロスト領域は、ターゲットが非検出となる直前に検出されたターゲットの領域を用いて定義してもよい。例えば、ターゲットが非検出となる直前に検出されたターゲットの領域をそのまま追尾ロスト領域と定義してもよいし、テンプレートマッチングを行ったが、ターゲットが検出されなかった領域を追尾ロスト領域と定義してもよい。また、過去の追尾結果か
らターゲットの領域を予測しておき、ターゲットが非検出となったフレームでの予測領域を用いて追尾ロスト領域を定義してもよい。ターゲットの領域の予測を続け、予測領域の変化に応じて追尾ロスト領域が変化するようにしてもよい。

【0068】

ステップＳ５１では、システム制御部５０は、視線検出部７０１により検出された視線（視線方向）が追尾ロスト領域を向いているか否かを判定する。換言すれば、システム制御部５０は、表示部２８の表示面上での視線位置が追尾ロスト領域内か否かを判定する。システム制御部５０は、視線が追尾ロスト領域を向いていると判定した場合にステップＳ５３へ処理を進め、視線が追尾ロスト領域を向いていない（視線が追尾ロスト領域から逸らされた）と判定した場合にステップＳ５２へ処理を進める。

【0069】

ステップＳ５３では、システム制御部５０は、ターゲットの再設定を行わずに、ターゲットの再出現（再検出）を待つ。具体的には、システム制御部５０は、ターゲットの再設定を行わずに、ターゲット再設定判定処理（ステップＳ５）を終了する。ここでは、視線が追尾ロスト領域を向いていれば、ターゲットの再設定を行わずに、ターゲットの再出現を待ち続けるものとするが、そうでなくてもよい。例えば、ターゲットの再出現を待っている時間が閾値（待機上限時間）に達した場合に、視線に依らず、ターゲットの再出現を待つことを止め、ターゲットの再設定を行ってもよい。

【0070】

ステップＳ５２では、システム制御部５０は、ターゲットの再設定を行う。ターゲットの再設定では、例えば、ターゲットとして望ましい人物や動物などが検出され、検出された被写体がターゲットに再設定される。複数の被写体（ターゲット候補）が検出された場合は、検出された複数の被写体のうち、現在のターゲットに最も類似した被写体をターゲットに再設定してもよい。例えば、動物の被写体追尾中に行われるターゲットの再設定では、動物と人物がターゲット候補として検出された場合に、動物が優先して選択されターゲットに再設定されてもよい。ターゲット候補が検出できなかった場合は、被写体追尾を終了し、図５のステップＳ１から被写体追尾を再開してもよい。

【0071】

図６のターゲット再設定判定処理によれば、ユーザが追尾ロスト領域を注視し続けている間は、ターゲットの再設定は行われず、ターゲットの再出現まで待機される。このため、ターゲットの意図せぬ再設定（意図せぬ切り替わり）を抑制して、ターゲットの再設定をより好適に行うことができる。

【0072】

図７（ａ）～７（ｃ）と図８（ａ）～８（ｃ）は、図６のターゲット再設定判定処理における動作の具体例を示す。図７（ａ）～７（ｃ）は、ユーザが追尾ロスト領域を注視し続けた場合の一例を示し、図８（ａ）～８（ｃ）は、ユーザが追尾ロスト領域から視線を逸らした場合の一例を示す。図７（ａ）～７（ｃ）と図８（ａ）～８（ｃ）のいずれも、図４（ａ）～４（ｃ）と同様に、人物３０１，３０２が存在し、人物３０１の前を車３０３が横切るシーンを示す。

【0073】

図７（ａ）では、人物３０１がターゲットとして設定されており、人物３０１の周りに追尾枠３２４が表示されている。図７（ａ）では、視線位置３４４は人物３０１と一致している。図７（ｂ）では、人物３０１の前を横切る車３０３に人物３０１が隠れ、人物３０１が検出されなくなっている。このとき、破線で示された追尾ロスト領域３６５が表示される。図７（ｂ）では、視線位置３４５は、追尾ロスト領域３６５内に存在している。

【0074】

このような場合には、システム制御部５０は、ステップＳ５１で視線が追尾ロスト領域を向いていると判定し、ステップＳ５３でターゲットの再出現を待つ。このとき、追尾枠３２５は更新されず、追尾枠３２４と同じ位置に表示されたままとなる。なお、ターゲットの再出現を待っている間は、追尾枠の表示を行わず、追尾ロスト領域のみを表示しても
よい。

【0075】

図７（ｃ）では、車３０３が表示部２８の表示面（画像表示領域）の外に移動しており、ターゲットである人物３０１が再出現している。このとき、ターゲットに設定されている人物３０１が再検出されて、人物３０１の追尾が再開されるため、追尾枠３２６が人物３０１の周りに再表示されている。図７（ｃ）では、視線位置３４６が、追尾枠３２６内に存在しているが、仮に視線位置３４６が追尾枠３２６外に逸らされてもターゲットは人物３０１のままである。ターゲットが設定されていれば、視線位置によらず、設定されたターゲットの被写体追尾が実施される。

【0076】

図８（ａ）でも、図７（ａ）と同様に、人物３０１がターゲットとして設定されており、人物３０１の周りに追尾枠３２７が表示されている。図８（ａ）では、視線位置３４７は人物３０１と一致している。図８（ｂ）では、人物３０１の前を横切る車３０３に人物３０１が隠れ、人物３０１が検出されなくなっている。このとき、破線で示された追尾ロスト領域３６８が表示される。図８（ｂ）では、視線位置３４８は、追尾ロスト領域３６８外に出てしまっている。

【0077】

このような場合には、システム制御部５０は、ステップＳ５１で視線が追尾ロスト領域を向いていない（視線が追尾ロスト領域から逸らされた）と判定し、ステップＳ５２でターゲットの再設定を行う。図８（ｂ）では、人物３０２が写っており、例えば人物優先により人物３０２がターゲットに再設定されるため、人物３０２の周りに追尾枠３２８が表示される。

【0078】

図８（ｃ）では、当初ターゲットとして設定されていた人物３０１が再出現しているが、すでに人物３０２がターゲットに再設定されているため、人物３０１はターゲットとして設定されない。仮に視線位置３４９が、人物３０１と一致していても、人物３０１がターゲットとして再設定されることはない。図８（ｃ）では、人物３０２がターゲットに設定されているため、追尾枠３２９は、ターゲットの人物３０２の周りに表示されている。

【0079】

（第２実施形態）
以下、本発明の第２実施形態について説明する。第２実施形態では、ターゲットの再出現を待っている間に、パンニング操作などで撮像方向が変更された場合に、撮像方向の変更に応じて追尾ロスト領域の位置を変更する。

【0080】

図９は、ターゲットの再出現を待っている間に撮像方向が変更された場合の影響の一例を示す。図９では、図７（ｂ）と同様に、不図示の人物３０１が車３０３に隠れている。このとき、ユーザは、人物３０１を継続して追尾することを望んでおり、視線位置３５０は、追尾ロスト領域３７０内に存在している。ここでは、破線で示した視野領域（撮像領域）３８１の状態で追尾ロスト領域３７０が設定され、その後、パンニング操作により視野領域が視野領域３８１から視野領域３８２に変わったものとする。

【0081】

このような場合は、ユーザが同じ被写体位置を見ていたとしても、表示部２８の表示面上において視線位置（水平位置や垂直位置）は変化する。図９では、視野領域３８１において、追尾ロスト領域３７０や視線位置３５０は表示面（画像表示領域）の右上に存在しているが、視野領域３８２においては、追尾ロスト領域３７０や視線位置３５０は表示面の中央に存在している。このような動作を実現するため、ターゲットの再出現を待っている間に撮像方向が変更された場合には、その変更量に応じて追尾ロスト領域の位置を補正することが望ましい。

【0082】

図１０は、第２実施形態に係るターゲット再設定判定処理（図５のステップＳ５）のフ
ローチャートである。

【0083】

ステップＳ５４では、システム制御部５０は、追尾ロスト（ターゲットの非検出）までのパンニング操作の操作量と、追尾ロスト後のパンニング操作の操作量とから、追尾ロスト前からパンニング操作が継続しているか否かを判定する。システム制御部５０は、追尾ロスト前からパンニング操作が継続していると判定した場合にステップＳ５１へ処理を進め、そうでない場合にステップＳ５５へ処理を進める。第２の場合は、追尾ロスト前からは継続せずに、追尾ロスト後にパンニング操作が行われた場合である。パンニング操作の操作量（撮像方向の変更量）は、例えば姿勢検出部５５から取得した姿勢検出信号を基に算出される。パンニング操作の操作量は、画像処理部２４を用いて、フレーム間の画像から推定されてもよい。

【0084】

ステップＳ５５では、システム制御部５０は、追尾ロスト後のパンニング操作の操作量に応じて追尾ロスト領域の位置を補正（変更）する。例えば、パンニング操作（撮像方向の変更）と逆方向に、パンニング操作と同じ大きさで追尾ロスト領域の位置が変更される。

【0085】

パンニング操作が行われる場合は、以下の第１の場合と第２の場合とに大別される。

【0086】

第１の場合は、意図せず手振れが生じてしまう場合や、ユーザがターゲットの再出現に備えて、意図的に撮像方向の微調整を行う場合などである。第１の場合では、視野領域の変化は比較的小さいことが多い。

【0087】

第２の場合は、ターゲットは隠れているが、ユーザがターゲットの動きを予想してパンニング操作を継続している場合である。例えば、走っている人物を望遠レンズで撮影している最中に、走っている当該人物の手前に歩行者などの障害物が入ってしまうシーンが考えられる。また、飛んでいる飛行機の撮影中に、当該飛行機の手前に木などの障害物が入ってしまうシーンが考えられる。このようなシーンでは、ターゲット（走っている人物や飛行機）の動きが容易に予測できるため、ターゲットが障害物に隠れ、ターゲットが見えなくても、ユーザはパンニング操作を継続することができる。

【0088】

第１の場合には、図９を用いて説明したように、パンニング操作の操作量（撮像方向の変更量）に応じて追尾ロスト領域の位置を補正することが望ましい。第２の場合には、ユーザがフレーミング（構図）を考慮してパンニング操作を行っているため、追尾ロスト領域と、ターゲットが再出現する位置とは一致している可能性が高く、パンニング操作の操作量に応じた補正は行わないことが望ましい。

【0089】

そこで、図１０のターゲット再設定判定処理では、追尾ロスト前からパンニング操作が継続しているか否かを判定し、追尾ロスト前からはパンニング操作が継続していないと判定した場合に追尾ロスト領域の位置を補正するようにしている。なお、追尾ロスト前からパンニング操作が継続しているか否かにかかわらず、パンニング操作の操作量に応じて追尾ロスト領域の位置を補正してもよい。

【0090】

図１０のステップＳ５１～Ｓ５３の処理は、図６のステップＳ５１～Ｓ５３の処理と同じである。

【0091】

図１０のターゲット再設定判定処理によれば、パンニング操作の操作量に応じて追尾ロスト領域が適宜補正された後、視線位置が追尾ロスト領域内か否かに応じて、ターゲットの再設定の実行／非実行が制御される。これにより、ターゲットの再出現を待っている間にパンニング操作が行われても、ユーザが追尾ロスト領域を注視しているか否かを精度良
く判定して、ターゲットの再設定をより好適に行うことができる。

【0092】

（第３実施形態）
以下、本発明の第３実施形態について説明する。第３実施形態では、ターゲットが障害物に隠れた位置と、ターゲットの再出現の位置とが異なる場合に対応できるように、追尾ロスト領域を手前の障害物を含む領域に拡張する。

【0093】

図１１（ａ）～１１（ｃ）に、ターゲットが障害物に隠れた位置と、ターゲットの再出現の位置とが異なる場合の例を示す。図１１（ａ）～１１（ｃ）は、表示部２８に表示された画面を示し、時間の経過に従い、図１１（ａ）の画面から図１１（ｂ）の画面へ、図１１（ｂ）の画面から図１１（ｃ）の画面へと、画面が遷移する。図１１（ａ）～１１（ｃ）には、人物３０６が障害物３０７（固定）に隠れるシーンが示されている。このようなシーンとして、例えば、走っている人物が、一時的に柱の奥に隠れてしまうようなシーンが考えられる。

【0094】

図１１（ａ）では、人物３０６がターゲットとして設定されており、人物３０６の周りに追尾枠３３０が表示されている。図１１（ａ）では、視線位置３５１は人物３０６と一致している。図１１（ｂ）では、人物３０６が障害物３０７に隠れている。このとき、人物３０６が検出されなくなった領域である追尾ロスト領域３７２が設定され、表示される。図１１（ｂ）では、視線位置３５２は、追尾ロスト領域３７２と一致している。

【0095】

図１１（ｃ）では、視線位置３５３は、追尾ロスト領域３７３と一致していない。しかし、図１１（ａ）～１１（ｃ）に示すようなシーンの後においては、ターゲットの再出現を待つユーザは、ターゲットが障害物のどの方向（右側や左側）から再出現するのか分からないため、当該障害物の周囲で視線位置を移動させる。このため、図１１（ｃ）では、視線位置３５３が障害物３０７の周囲に存在している。このように、追尾ロスト領域と視線位置が一致していない場合でも、ユーザがターゲットの再出現を待っていることがある。

【0096】

上記状況に対応するため、ターゲットの第１被写体を見失った追尾ロスト領域の少なくとも一部を含む領域で、第１被写体よりも手前に存在する障害物などの第２被写体（非ターゲット）が検出された場合に、第２被写体を含む領域に追尾ロスト領域を拡張する。拡張後の追尾ロスト領域は、第２被写体の領域や、第２被写体とその周辺を含む領域である。

【0097】

図１２は、第２被写体を含むように追尾ロスト領域を拡張する例を示す。図１２には、拡張前の追尾ロスト領域３７３が示されている。追尾ロスト領域３７３の近くには、ターゲットが隠れた障害物３０７が存在している。障害物３０７などの第２被写体は、例えば、デフォーカスマップを作成し、ターゲット（第１被写体）を見失う前に取得したターゲットのデフォーカス量よりも手前を示す領域から検出することができる。具体的には、拡張前の追尾ロスト領域の少なくとも一部を含み且つ当該追尾ロスト領域よりも大きい領域で検出された被写体を、第２被写体として検出することができる。

【0098】

なお、画像処理部２４により、被写体検出を行い、第２被写体を検出してもよい。このとき、デフォーカス量を取得し、検出された被写体が第２被写体（第１被写体を隠している障害物）であるかの信頼性判定を追加で行ってもよい。

【0099】

第２被写体が検出されると、第２被写体の検出結果に基づいて拡張後の追尾ロスト領域が決定され、追尾ロスト領域が拡張される。図１２では、拡張後の追尾ロスト領域として領域３９１が決定され、追尾ロスト領域が領域３７３から領域３９１に拡張される。拡張
後の追尾ロスト領域３９１は、障害物３０７よりも大きく設定されている。これは、ユーザがターゲットの再出現を待っている間、障害物３０７のエッジを見る可能性が高いためである。なお、領域拡張する幅は、障害物（第２被写体）の大きさや、視線検出部７０１の検出精度、障害物検出に用いたデフォーカスマップの分解能などから決定されてもよい。

【0100】

図１３は、第３実施形態に係るターゲット再設定判定処理（図５のステップＳ５）のフローチャートである。ステップＳ５６では、システム制御部５０は、第２被写体（ターゲットの第１被写体を隠している障害物）の検出を行い、第２被写体が検出されたか否かを判定する。システム制御部５０は、第２被写体が検出されたと判定した場合にステップＳ５７へ処理を進め、第２被写体が検出されなかったと判定した場合にステップＳ５１へ処理を進める。ステップＳ５７では、システム制御部５０は、図１２で説明したような方法を用いて、追尾ロスト領域を第２被写体を含む領域に拡張する。図１３のステップＳ５１～Ｓ５３の処理は、図６のステップＳ５１～Ｓ５３の処理と同じである。

【0101】

図１３のターゲット再設定判定処理によれば、第２被写体（ターゲットの第１被写体を隠している障害物）を含む領域への追尾ロスト領域の拡張を適宜行った後、視線位置が追尾ロスト領域内か否かに応じて、ターゲットの再設定の実行／非実行が制御される。これにより、ターゲットが障害物に隠れた位置と、ターゲットの再出現の位置とが異なる場合においても、ユーザがターゲットの再出現を待っているか否かを精度良く判定して、ターゲットの再設定をより好適に行うことができる。

【0102】

（第４実施形態）
以下、本発明の第４実施形態について説明する。第４実施形態では、ターゲットが表示部２８の表示面（画像表示領域）の端から外へ出た場合に、ユーザがターゲットの再出現を待っているか否かをより精度良く判定可能にする。

【0103】

表示面外へターゲットの移動は、例えば、パンニング操作をしながらの撮影中に起こり得る。このような場合には、表示面の複数の端（上下左右端）のうち、ターゲットが再出現する側の端をユーザは予め知っている。そのため、ターゲットを見失った領域に追尾ロスト領域を限定せず、表示面の複数の端部のうち、ターゲットが出て行った（移動した）側の端部を含む領域を追尾ロスト領域として用いる。そうすることで、より精度良く、ユーザがターゲットの再出現を望んでいるか否かを判定できる。なお、表示面の端部は、ターゲットを見失った領域よりも広い領域であればよく、ターゲットが出て行った側の端の全体を含む領域であってもよいし、当該端の一部を含む（当該端の一部を含まない）領域であってもよい。

【0104】

図１４（ａ），１４（ｂ）は、表示面の右端から外にターゲットが出て行った場合の一例を示す。図１４（ａ），１４（ｂ）は、表示部２８に表示された画面を示し、時間の経過に従い、図１４（ａ）の画面から図１４（ｂ）の画面へ画面が遷移する。

【0105】

図１４（ａ）では、人物３０８が被写体追尾のターゲットに設定されており、人物３０８の周りに追尾枠３３４が表示されている。図１４（ａ）では、ユーザの視線位置３５４は人物３０８と一致している。

【0106】

図１４（ｂ）では、ターゲットである人物３０８が表示面の右端から外へ出ている。これにより追尾ロスト領域３７４が表示されている。このとき、ユーザは（パンニング操作をしながら）表示面の右端からのターゲット再出現を待つことがあるが、視線位置３５５のように、視線位置が追尾ロスト領域３７４から外れてしまうと、ターゲットが再設定されてしまう。追尾ロスト領域が存在する端部（表示面の端部）に視線位置がとどまってい
る場合には、ユーザがターゲットの再出現を待っている可能性が高い。

【0107】

そこで第４実施形態では、追尾ロスト領域が表示面の端部に存在する場合に、追尾ロスト領域を当該端部を含む（カバーする）ように拡張する。図１５は、表示面の端部を含むように追尾ロスト領域を拡張する例を示す。拡張前の追尾ロスト領域３７４が表示面の右端部３９２に存在するため、ターゲットは表示面の右端から再出現することが予想される。そのため、追尾ロスト領域を領域３７４から右端部３９２に拡張する。ターゲットを見失った領域を追尾ロスト領域に設定した後で、追尾ロスト領域を拡張してもよいが、表示面の端部を含む領域を、初めから追尾ロスト領域として設定してもよい。

【0108】

これにより、ターゲットが表示面（画像表示領域）の端から外へ出た場合に、ユーザがターゲットの再出現を待っているか否かをより精度良く判定することができる。

【0109】

図１６は、第４実施形態に係るターゲット再設定判定処理（図５のステップＳ５）のフローチャートである。ステップＳ５８では、システム制御部５０は、ターゲットを見失った領域である追尾ロスト領域が表示面の端に存在しているか否かを判定する。システム制御部５０は、追尾ロスト領域が表示面の端に存在していると判定した場合にステップＳ５９へ処理を進め、追尾ロスト領域が表示面の端に存在していないと判定した場合にステップＳ５１へ処理を進める。ステップＳ５９では、システム制御部５０は、図１５で説明したような方法を用いて、追尾ロスト領域を表示面の端部を含む領域に拡張する。図１６のステップＳ５１～Ｓ５３の処理は、図６のステップＳ５１～Ｓ５３の処理と同じである。

【0110】

図１６のターゲット再設定判定処理によれば、表示面（画像表示領域）の端部を含む領域への追尾ロスト領域の拡張を適宜行った後、視線位置が追尾ロスト領域内か否かに応じて、ターゲットの再設定の実行／非実行が制御される。これにより、ターゲットが表示面の端から外へ出た場合において、ユーザがターゲットの再出現を待っているか否かをより精度良く判定することができる。

【0111】

（第５実施形態）
以下、本発明の第５実施形態について説明する。第５実施形態では、ターゲットが撮像画像内に存在しているにもかかわらず、ターゲットが非検出となってしまった場合において、ターゲットの再設定をより好適に行う。

【0112】

被写体追尾（ターゲットの検出）は、色や特徴点、動きベクトルなどを用いて行われるが、いずれの手法も１００％で追尾を継続できるわけではない。そのため、ターゲットが撮像画像内に存在しているにもかかわらず、ターゲットが検出されない非検出と判定される場合がある。このような場合には、ターゲットの色や形状が変化したことが考えられ、ターゲットの再出現を待つよりも、テンプレートを再作成して追尾ロスト領域近傍の領域から被写体を検出するなどの方法により、ターゲットの再設定を行うほうが望ましい。

【0113】

そこで第５実施形態では、図５のステップＳ３でターゲットが非検出と判定された場合に、システム制御部５０は、追尾ロストの前後で追尾ロスト領域のデフォーカス量に大きな変化があったか否かを判定する。そして、デフォーカス量が手前に大きく変化している場合のみ、システム制御部５０は、ステップＳ５のターゲット再設定判定処理を行う。追尾ロストの前後でのデフォーカス量の変化が所定の閾値よりも小さい場合など、デフォーカス量が手前に大きく変化していない場合には、システム制御部５０は、図６のステップＳ５２の処理（ターゲットの再設定）を行う。その場合には、上述したように、テンプレートを再作成して追尾ロスト領域近傍の領域から優先して被写体を検出し、検出した被写体をターゲットに再設定してもよい。

【0114】

これにより、ターゲットが撮像画像内に存在しているにもかかわらず、ターゲットの色や形状が変化したことにより、ターゲットが非検出となってしまった場合においても、ターゲットを変えずに被写体追尾を継続することができる。

【0115】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0116】

なお、上述の実施形態はあくまで一例であり、本発明の要旨の範囲内で実施形態の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施形態の構成を適宜組み合わせて得られる構成も、本発明に含まれる。

【符号の説明】

【0117】

１００：本体 ２４：画像処理部 ２８：表示部 ５０：システム制御部
７０１：視線検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】