特許 7541850 電子機器、制御方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-21

(45)【発行日】2024-08-29

(54)【発明の名称】電子機器、制御方法、プログラム

(51)【国際特許分類】

   H04N 23/67 20230101AFI20240822BHJP

   H04N 23/611 20230101ALI20240822BHJP

   G03B 15/00 20210101ALI20240822BHJP

   G02B 7/28 20210101ALI20240822BHJP

   G03B 7/28 20210101ALI20240822BHJP

   G03B 7/091 20210101ALI20240822BHJP

【ＦＩ】

H04N23/67 100

H04N23/611

G03B15/00 Q

G02B7/28 N

G03B7/28

G03B7/091

【請求項の数】 22

(21)【出願番号】P 2020085890

(22)【出願日】2020-05-15

(65)【公開番号】P2021180446

(43)【公開日】2021-11-18

【審査請求日】2023-05-15

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】植草 友貴

【審査官】眞岩 久恵

(56)【参考文献】

【文献】特開平０８－０４６８５２（ＪＰ，Ａ）

【文献】特開２０１３－１３１９９６（ＪＰ，Ａ）

【文献】特開２０１９－１２９４６１（ＪＰ，Ａ）

【文献】特開２０１７－０８５３４０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２

Ｈ０４Ｎ ５／２５３－ ５／２５７

Ｈ０４Ｎ ２３／２２２

Ｈ０４Ｎ ２３／１０ －２３／７６

Ｈ０４Ｎ ２３／９０ －２３／９５９

Ｇ０３Ｂ １５／００

Ｇ０２Ｂ ７／２８ － ７／４０

Ｇ０３Ｂ ７／００ － ７／３０

(57)【特許請求の範囲】

【請求項1】

撮像画像を取得する第１の取得手段と、
ユーザが見ている領域である視点領域に表示された被写体が選択される第１のモードと、前記被写体が選択されない第２のモードとを、前記視点領域と、前記撮像画像に関する特徴量とに基づき切り替える制御手段と、
を有し、
前記特徴量は、前記視点領域に表示される被写体と、前記撮像画像を撮像する撮像手段との距離を含み、
前記制御手段は、所定の期間における前記視点領域の動きベクトルの変化量が第１の閾値以下であり、かつ、前記所定の期間における前記距離の変化量が第２の閾値以下である場合であって、前記第２のモードとして動作している場合に、前記第２のモードとして継続して動作する、
ことを特徴とする電子機器。

【請求項2】

前記制御手段は、前記視点領域と前記特徴量に基づき、
前記視点領域に表示された被写体が継続して第１の被写体であると判定する場合には、前記第１のモードとして動作し、
前記視点領域に表示された被写体が前記第１の被写体から第２の被写体に変化したと判定する場合には、前記第２のモードとして動作する、
ことを特徴とする請求項１に記載の電子機器。

【請求項3】

前記特徴量は、前記撮像画像のうち前記視点領域に表示される画像の動きベクトルを含む、
ことを特徴とする請求項１または２に記載の電子機器。

【請求項4】

前記制御手段は、前記視点領域の動きベクトルと、前記撮像画像のうち前記視点領域に表示される画像の動きベクトルとが一致しないと判定する場合に、前記第２のモードとして動作する、
ことを特徴とする請求項３に記載の電子機器。

【請求項5】

前記制御手段は、前記視点領域の動きベクトルと、前記撮像画像のうち前記視点領域に表示される画像の動きベクトルとが一致すると判定する場合に、前記第１のモードとして動作する、
ことを特徴とする請求項４に記載の電子機器。

【請求項6】

前記制御手段は、所定の期間における前記視点領域の動きベクトルの変化量が第１の閾値以下であり、かつ、前記所定の期間における前記距離の変化量が第２の閾値以下である場合であって、前記第１のモードとして動作している場合に、前記第１のモードとして継続して動作する、
ことを特徴とする請求項１から５のいずれか１項に記載の電子機器。

【請求項7】

前記制御手段は、所定の期間における前記視点領域の動きベクトルの変化量が第１の閾値以下であり、かつ、前記所定の期間における前記距離の変化量が第２の閾値よりも大きい場合であって、変化後の前記距離が直前の前記第１のモードでの前記距離に基づく値でないと判定する場合に、前記第２のモードとして動作する、
ことを特徴とする請求項１から６のいずれか１項に記載の電子機器。

【請求項8】

前記制御手段は、所定の期間における前記視点領域の動きベクトルの変化量が第１の閾値以下であり、かつ、前記所定の期間における前記距離の変化量が第２の閾値よりも大きい場合であって、変化後の前記距離が直前の前記第１のモードでの前記距離に基づく値であると判定する場合に、前記第１のモードとして動作する、
ことを特徴とする請求項１から７のいずれか１項に記載の電子機器。

【請求項9】

前記制御手段は、前記変化後の前記距離と直前の前記第１のモードでの前記距離との差分が第１の所定値以内である場合、または、前記変化後の前記距離と直前の前記第１のモードでの前記距離から推定される値との差分が第２の所定値以内である場合に、前記変化後の前記距離が直前の前記第１のモードでの前記距離に基づく値であると判定する、
ことを特徴とする請求項７または８に記載の電子機器。

【請求項10】

前記制御手段は、所定の期間における前記視点領域の動きベクトルの変化量が第１の閾値よりも大きく、かつ、前記所定の期間における前記距離の変化量が第２の閾値以下である場合に、前記第１のモードとして動作する、
ことを特徴とする請求項１から９のいずれか１項に記載の電子機器。

【請求項11】

前記制御手段は、所定の期間における前記視点領域の動きベクトルの変化量が第１の閾値よりも大きく、かつ、前記所定の期間における前記距離の変化量が第２の閾値よりも大きい場合に、前記第２のモードとして動作する、
ことを特徴とする請求項１から１０のいずれか１項に記載の電子機器。

【請求項12】

前記撮像画像は、位相差画像を含み、
前記位相差画像に基づき、前記距離が取得される、
ことを特徴とする請求項１から１１のいずれか１項に記載の電子機器。

【請求項13】

前記距離を測定する距離センサをさらに有する、
ことを特徴とする請求項１から１１のいずれか１項に記載の電子機器。

【請求項14】

前記特徴量は、前記撮像画像のうち前記視点領域に表示される画像の色情報とテクスチャ情報の少なくともいずれかを含む、
ことを特徴とする請求項１から１３のいずれか１項に記載の電子機器。

【請求項15】

前記撮像画像を表示手段に表示する表示制御手段をさらに有する、
ことを特徴とする請求項１から１４のいずれか１項に記載の電子機器。

【請求項16】

前記撮像画像は、撮像手段により撮像された画像である、
ことを特徴とする請求項１から１５のいずれか１項に記載の電子機器。

【請求項17】

前記第１のモードは、前記視点領域に表示された前記被写体に合焦するように前記撮像手段の焦点を制御するモードであり、
前記第２のモードは、前記視点領域に表示された前記被写体に合焦しないモードである、
ことを特徴とする請求項１６に記載の電子機器。

【請求項18】

前記視点領域を検出する検出手段をさらに有する、
ことを特徴とする請求項１から１７のいずれか１項に記載の電子機器。

【請求項19】

前記特徴量を取得する第２の取得手段をさらに有する、
ことを特徴とする請求項１から１８のいずれか１項に記載の電子機器。

【請求項20】

前記撮像画像を表示する表示手段をさらに有し、
被写体を撮像することにより前記撮像画像を取得する撮像装置である
ことを特徴とする請求項１から１９のいずれか１項に記載の電子機器。

【請求項21】

撮像画像を取得する第１の取得手段を有する電子機器の制御方法であって
ユーザが見ている領域である視点領域に表示された被写体が選択される第１のモードと、前記被写体が選択されない第２のモードとを、前記視点領域と、前記撮像画像に関する特徴量とに基づき切り替える制御工程を有し、
前記特徴量は、前記視点領域に表示される被写体と、前記撮像画像を撮像する撮像手段との距離を含み、
前記制御工程では、所定の期間における前記視点領域の動きベクトルの変化量が第１の閾値以下であり、かつ、前記所定の期間における前記距離の変化量が第２の閾値以下である場合であって、前記電子機器が前記第２のモードとして動作している場合に、前記電子機器を前記第２のモードとして継続して動作させる、
ことを特徴とする制御方法。

【請求項22】

コンピュータを、請求項１から２０のいずれか１項に記載された電子機器の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、電子機器に関し、特に焦点制御に関する。

【背景技術】

【0002】

近年、カメラの自動化・インテリジェント化が進んでいる。特許文献１では、被写体の位置をユーザが入力せずとも、ファインダを覗くユーザの視線を検出して、検出した視線に基づいてユーザが意図する被写体に対する焦点制御（合焦）を行う撮像装置が開示されている。

【0003】

また、特許文献２では、ユーザの視点（見ている位置）の軌跡と表示された動画における被写体の軌跡とが一致する場合に、当該被写体に継続的に焦点を合わせ続けるコンティニュアスＡＦ（オートフォーカス）モードに設定する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００４－８３２３号公報

【文献】特開２０１７－３４５６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述の技術では、動画の撮影中に、ユーザが意図する被写体に対して障害物が被ってしまうと、障害物に合焦されてしまい、不要な焦点変化が発生して、記録される動画の質が悪化する。一方、静止画の撮影中では、障害物が被ってしまった後に、ユーザが意図した被写体が再度現れた際の、当該被写体に対する焦点制御に長い時間を要して、撮影機会を逃してしまう可能性がある。

【0006】

また、被写体ぬけや障害物の入り込みなどに対応するため、視線検出からＡＦを実行するまでの時間（ＡＦレスポンス）の設定を適宜行うことも考えられるが、ＡＦレスポンスは、動的には変更できない。このため、同一被写体へのＡＦ追従の維持とＡＦ対象の被写体の切り替え時のＡＦ追従性との両立は難しい。つまり、従来では、ユーザの意図した被写体に対して、視線入力によって継続的に合焦し続けることができなかった。

【0007】

そこで、本発明は、ユーザの意図した被写体に対して、視線入力によって継続的に合焦し続ける技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の第１の態様は、
撮像画像を取得する第１の取得手段と、
ユーザが見ている領域である視点領域に表示された被写体が選択される第１のモードと、前記被写体が選択されない第２のモードとを、前記視点領域と、前記撮像画像に関する特徴量とに基づき切り替える制御手段と、
を有し、
前記特徴量は、前記視点領域に表示される被写体と、前記撮像画像を撮像する撮像手段との距離を含み、
前記制御手段は、所定の期間における前記視点領域の動きベクトルの変化量が第１の閾値以下であり、かつ、前記所定の期間における前記距離の変化量が第２の閾値以下である場合であって、前記第２のモードとして動作している場合に、前記第２のモードとして継続して動作する、
ことを特徴とする電子機器である。

【0009】

本発明の第２の態様は、
撮像画像を取得する第１の取得手段を有する電子機器の制御方法であって
ユーザが見ている領域である視点領域に表示された被写体が選択される第１のモードと、前記被写体が選択されない第２のモードとを、前記視点領域と、前記撮像画像に関する特徴量とに基づき切り替える制御工程を有し、
前記特徴量は、前記視点領域に表示される被写体と、前記撮像画像を撮像する撮像手段との距離を含み、
前記制御工程では、所定の期間における前記視点領域の動きベクトルの変化量が第１の閾値以下であり、かつ、前記所定の期間における前記距離の変化量が第２の閾値以下である場合であって、前記電子機器が前記第２のモードとして動作している場合に、前記電子機器を前記第２のモードとして継続して動作させる、
ことを特徴とする制御方法である。

【発明の効果】

【0010】

本発明によれば、ユーザの意図した被写体に対して、視線入力によって継続的に合焦し続けることができる。

【図面の簡単な説明】

【0011】

【図1】実施形態１に係るデジタルカメラの構成図である。

【図2】実施形態１に係るデジタルカメラの断面図である。

【図3】実施形態１に係る視線検出を行うための光学系の概略図である。

【図4】実施形態１に係る視点検出方法を説明する図である。

【図5】実施形態１に係る視点検出処理のフローチャートである。

【図6】実施形態１に係る焦点制御処理のフローチャートである。

【図7】従来および実施形態１に係る焦点制御を説明する図である。

【図8】実施形態２に係る焦点制御処理のフローチャートである。

【図9】実施形態２に係る距離と視線領域の動きベクトルを示す図である。

【図10】実施形態２に係る焦点制御を説明する図である。

【図11】実施形態２に係る距離と視線領域の動きベクトルを示す図である。

【図12】実施形態２に係る焦点制御を説明する図である。

【図13】実施形態２に係る距離と視線領域の動きベクトルを示す図である。

【図14】実施形態３に係るデジタルカメラの構成図である。

【図15】実施形態４に係るデジタルカメラの構成図である。

【図16】実施形態４に係る焦点制御処理のフローチャートである。

【図17】実施形態４に係る焦点制御を説明する図である。

【発明を実施するための形態】

【0012】

以下、添付図面を参照して、本発明の実施形態を説明する。

【0013】

＜実施形態１＞
［デジタルカメラの構成］
図１を参照して、実施形態１に係る撮像装置（電子機器）であるデジタルカメラ１００の構成について説明する。図１は、デジタルカメラ１００の主な機能部を示す構成図である。デジタルカメラ１００は、結像光学部１０１、撮像素子１０２、Ａ／Ｄ変換部１０３、画像処理部１０４、データ転送部１０５を有する。デジタルカメラ１００は、メモリ制御部１０６、ＤＲＡＭ１０７、不揮発性メモリ制御部１０８、ＲＯＭ１０９、記録メディア制御部１１０、記録メディア１１１、表示制御部１１２、表示部１１３、ＣＰＵ１１４、操作部１１５を有する。デジタルカメラ１００は、視線検出部１２０、眼球用撮像素子１２１、焦点検出部１２２、照明光源１２３、照明光源駆動部１２４、視線ベクトル検出部１２５を有する。

【0014】

結像光学部１０１は、撮像素子１０２に光学像を結像する。結像光学部１０１は、焦点レンズや防振レンズを含む複数のレンズ群および絞りを有する。また、結像光学部１０１は、焦点調整を実行する焦点制御部１１８と、露出調節やブレ補正等を実行する絞り制御
部１１９とを有する。

【0015】

撮像素子１０２は、光学像を電気信号（アナログ画像信号）に変換する光電変換を行うことによって、被写体を撮像する。撮像素子１０２は、ＣＣＤやＣＭＯＳセンサ等を含む。また、撮像素子１０２は、像面位相差ＡＦ（像面（撮像面、センサー面）で行う位相差ＡＦ）を行うために、専用画素や各画素内において複数の独立したフォトダイオードを備えている。

【0016】

Ａ／Ｄ変換部１０３は、撮像素子１０２から取得したアナログ画像信号をデジタル画像信号（画像データ；画像）に変換する。変換後の画像（画像データ）は、画像処理部１０４に出力される。

【0017】

画像処理部１０４は、画像（画像データ；デジタル画像信号）に対して、倍率色収差補正、現像処理、ノイズリダクション処理、幾何変形、拡縮といったリサイズなどの処理を行う。また、画像処理部１０４は、バッファメモリを有する。さらに、画像処理部１０４は、Ａ／Ｄ変換部１０３により変換された画像に対して、画素補正、黒レベル補正、シェーディング補正、傷補正などを行う撮像補正部を有する。

【0018】

データ転送部１０５は、複数のＤＭＡＣ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ
Ｃｏｎｔｒｏｌｌｅｒ）を有しており、画像処理部１０４が処理した画像などのデータ転送を行う。

【0019】

メモリ制御部１０６は、ＣＰＵ１１４またはデータ転送部１０５に制御されることにより、データ書き込みおよびデータ読み出しをＤＲＡＭ１０７に行う。

【0020】

ＤＲＡＭ１０７は、データを記憶するメモリ（記憶媒体）である。ＤＲＡＭ１０７は、所定枚数の静止画像や所定時間の動画像、音声等のデータやＣＰＵ１１４の動作用の定数、プログラム等を記憶する。このために、ＤＲＡＭ１０７は、このようなデータを格納するために十分な記憶容量を備える。

【0021】

不揮発性メモリ制御部１０８は、ＣＰＵ１１４に制御されることによって、ＲＯＭ１０９に対するデータの書き込みおよび読み出しを行う。

【0022】

ＲＯＭ１０９は、電気的に消去・記録可能なメモリ（不揮発性メモリ）であり、ＥＥＰＲＯＭ等であり得る。ＲＯＭ１０９は、ＣＰＵ１１４が用いる動作用の定数、プログラム等を記憶する。

【0023】

記録メディア制御部１１０は、記録メディア１１１に対して、画像の記録や記録されたデータの読み出しを行う。記録メディア１１１は、データを記録するＳＤカード等の記録媒体である。

【0024】

表示制御部１１２は、表示部１１３の表示を制御する。表示部１１３は、液晶ディスプレイや電子ビューファインダである。表示部１１３は、画像処理部１０４から取得した画像やメニュー画面などを表示する。また、表示部１１３は、静止画撮影の撮影前や動画撮影時には、表示制御部１１２の制御によって、リアルタイムの被写体の画像（ライブビュー画像；撮像画像）をＡ／Ｄ変換部１０３から取得して表示する。

【0025】

ＣＰＵ１１４は、デジタルカメラ１００の全体の制御を行うマイクロコンピュータなどの制御部である。ＣＰＵ１１４は、各機能部を制御する。また、ＣＰＵ１１４は、制御の際に必要な演算を行う。ＣＰＵ１１４は、バス１１６を介して画像処理部１０４、データ
転送部１０５、メモリ制御部１０６、不揮発性メモリ制御部１０８、記録メディア制御部１１０、表示制御部１１２、操作部１１５、撮像素子１０２などを制御する。ＣＰＵ１１４は、例えば、ＲＯＭ１０９に記録されたプログラムを実行することにより、各制御を実現する。さらに、ＣＰＵ１１４は、結像光学部１０１のレンズ、絞りの制御や、焦点距離などの情報の取得を行う。

【0026】

操作部１１５は、ユーザにより操作されるスイッチやボタン、タッチパネルなどの操作部材を含む。例えば、操作部１１５は、電源のＯＮ／ＯＦＦ、シャッターのＯＮ／ＯＦＦの操作に使用される。

【0027】

バス１１６は、主にＣＰＵ１１４などから各ブロックの制御信号を伝送するためのシステムバスである。バス１１７は、主に画像を転送するためのデータバスである。

【0028】

視線検出部１２０は、眼球用撮像素子１２１から入力された眼球の画像（眼画像）に基づき、ユーザの視線方向を検出する。視線検出動作の詳細については後述する。また、視線検出部１２０は、表示部１１３においてユーザが見ている領域である視点領域を取得する。

【0029】

眼球用撮像素子１２１は、ビューファインダを覗くユーザの眼球の光学像を結像して、眼球の画像（眼画像）を取得する。眼球用撮像素子１２１は、視線検出部１２０に眼画像を出力する。

【0030】

焦点検出部１２２は、焦点を制御するためにレンズ駆動量を算出する。なお、焦点を合わせる領域は、視線検出部１２０や画像処理部１０４が決定する。そして、焦点検出部１２２は、焦点制御部１１８に対して焦点レンズを駆動制御する。なお、レンズ駆動量の算出には、例えば、撮像素子１０２が取得する画像（焦点検出用画像）に基づく像面位相差方式を用いることができる。

【0031】

照明光源１２３は、視線検出のために赤外光をユーザに照射する光源である。照明光源１２３から照射された赤外光は、ユーザの眼球に照射されて、眼球における反射光（反射像）が眼球用撮像素子１２１において結像する。照明光源駆動部１２４は、照明光源１２３を制御する駆動部である。

【0032】

視線ベクトル検出部１２５は、視線検出部１２０が検出したユーザの視線方向のデータから、視点位置の時系列的な移動を算出して、視線ベクトルとして検出する。

【0033】

図２は、実施形態１に係るデジタルカメラ１００の筐体を切った断面図（説明図）である。図２において、図１と同一の部位には、同一の番号が付されている。図２に示すように、デジタルカメラ１００は、図１に示すような各機能部以外にも、部材や部品（ハードウェア）を有する。

【0034】

撮影レンズ１００Ａは、レンズ交換式カメラにおける撮影レンズである。図２では、撮影レンズ１００Ａは、焦点レンズ２０５とレンズ２０６の二枚のレンズを内部に有するように図示しているが、さらに多数のレンズを有している。

【0035】

筐体部１００Ｂは、デジタルカメラ１００本体の筐体部である。筐体部１００Ｂは、撮像素子１０２、光源１２３ａ，１２３ｂ、受光レンズ２０１、接眼レンズ２０３を内部に有する。

【0036】

撮像素子１０２は、撮影レンズ１００Ａの結像面に配置されている。接眼レンズ２０３
は、表示部１１３に表示された被写体像をユーザが観察するためのレンズである。

【0037】

光源１２３ａ，１２３ｂは、光源の角膜反射による反射像と瞳孔との関係から視線方向を検出するために用いる光源であって、ユーザの眼球２０４を照明する。光源１２３ａ，１２３ｂは、赤外発光ダイオードを有し、接眼レンズ２０３の周りに配置されている。照明された眼球像と光源１２３ａ，１２３ｂの角膜反射による像とは、接眼レンズ２０３を透過して、光分割器２０２において反射する。反射した像は、受光レンズ２０１によってＣＣＤ等の光電素子列を２次元的に配した眼球用撮像素子１２１において結像される。

【0038】

受光レンズ２０１は、ユーザの眼球２０４の瞳孔と眼球用撮像素子１２１を共役な結像関係に位置付ける。視線検出部１２０は、眼球用撮像素子１２１に結像された眼球と光源１２３ａ，１２３ｂの角膜反射による像の位置関係から、後述する所定のアルゴリズムを用いて、視線方向を検出する。

【0039】

絞り２０７は、撮影レンズ１００Ａに設けられた絞りである。絞り２０７は、絞り制御部１１９によって制御される。レンズ駆動部材２１０は、駆動ギアなどを有する。レンズ駆動用モータ２１１は、焦点レンズ２０５を移動させるためのモータである。フォトカプラ２０９は、レンズ駆動部材２１０に連動するパルス板２０８の回転を検知して、焦点制御部１１８に検知した回転の情報を出力する。

【0040】

焦点制御部１１８は、パルス板２０８の回転の情報とレンズ駆動量の情報とに基づき、レンズ駆動用モータ２１１を駆動させ、焦点レンズ２０５を合焦点の位置に移動させる。マウント接点２１２は、公知のカメラとレンズとのインターフェイスである。

【0041】

また、図２では、操作部１１５として、タッチパネル対応液晶、ボタン式十字キーなどの操作部材が配置されている。

【0042】

［視線検出方法］
以下、図３、図４（Ａ）、図４（Ｂ）、図５を参照して、視線検出方法を説明する。図３は、視線検出方法の原理を説明するための図であり、視線検出を行うための光学系の概略図である。

【0043】

図３において、光源１２３ａ，１２３ｂは、発光ダイオードなどの光源であり、ユーザに赤外光を照射する。光源１２３ａ，１２３ｂはそれぞれ、受光レンズ２０１の光軸に対して略対称に配置されており、ユーザの眼球２０４を照らしている。眼球２０４において反射した照明光の一部は、受光レンズ２０１によって、眼球用撮像素子１２１に結像される。図３では、視線検出方法の原理が理解しやすいように、光源１２３ａ，１２３ｂ、受光レンズ２０１、眼球用撮像素子１２１の位置が調整されている。

【0044】

図４（Ａ）は、眼球用撮像素子１２１で撮像された眼画像（眼球用撮像素子１２１に投影された眼球像）の概略図である。図４（Ｂ）は、眼球用撮像素子１２１（例えば、ＣＣＤ）の出力強度を示す図である。

【0045】

図５は、視線検出処理を示すフローチャートである。図５のフローチャートは、ＣＰＵ１１４がＲＯＭ１０９に格納されたプログラムを実行して、各ステップにおいて各機能部を制御することによって実現される。

【0046】

ステップＳ５０１において、光源１２３ａ，１２３ｂは、照明光源駆動部１２４によって駆動されて、ユーザの眼球２０４に向けて赤外光を放射する。赤外光によって照明されたユーザの眼球像は、眼球用撮像素子１２１上に受光レンズ２０１を通して結像して、眼
球用撮像素子１２１により光電変換がされる。光電変換によって、眼球像は、眼画像（画像信号；電気信号）として扱うことができる。

【0047】

ステップＳ５０２において、眼球用撮像素子１２１は、取得した眼画像を視線検出部１２０に出力する。

【0048】

ステップＳ５０３において、視線検出部１２０は、光源１２３ａ，１２３ｂの角膜反射像Ｐｄ，Ｐｅおよび瞳孔中心ｃに対応する点の座標を、眼画像から算出する。

【0049】

ここで、図３に示すように、光源１２３ａ，１２３ｂより放射された赤外光は、ユーザの眼球２０４の角膜３０１を照明する。このとき、角膜３０１の表面において反射した赤外光の一部により形成される角膜反射像Ｐｄ，Ｐｅは、受光レンズ２０１により集光され、眼球用撮像素子１２１上に結像して、眼画像における角膜反射像Ｐｄ’，Ｐｅ’となる。なお、同様に瞳孔３０２の端部ａ，ｂからの光も眼球用撮像素子１２１上に結像して、眼画像における瞳孔端像ａ’，ｂ’となる。

【0050】

図４（Ａ）は、眼球用撮像素子１２１から得られる反射像（眼画像）の例を示す。図４（Ｂ）は、図４（Ａ）に示す眼画像の領域αにおける、眼球用撮像素子１２１から得られる輝度情報（輝度分布）を示す。図４（Ｂ）では、眼画像の水平方向をＸ軸、垂直方向をＹ軸として、Ｘ軸方向の輝度分布が示されている。本実施形態では、角膜反射像Ｐｄ’，Ｐｅ’のＸ軸方向（水平方向）の座標をＸｄ，Ｘｅとする。また、瞳孔端像ａ’，ｂ’のＸ軸方向の座標をＸａ，Ｘｂとする。

【0051】

図４（Ｂ）に示すように、角膜反射像Ｐｄ’，Ｐｅ’の座標Ｘｄ，Ｘｅでは、極端に強いレベルの輝度が得られる。瞳孔３０２の領域（座標ＸａからＸｂの間の領域）では、座標Ｘｄ，Ｘｅの位置を除いて、極端に低いレベルの輝度が得られる。これに対して、瞳孔３０２の外側の虹彩４０１の領域（虹彩１４３からの光が結像して得られる、瞳孔像の外側の虹彩像の領域）では、上記２種の輝度レベルの中間の値が得られる。

【0052】

このように、輝度レベルに注目することによって、図４（Ｂ）に示すような輝度分布から、角膜反射像Ｐｄ’，Ｐｅ’のＸ座標Ｘｄ，Ｘｅと、瞳孔端像ａ’，ｂ’のＸ座標Ｘａ、Ｘｂを得ることができる。

【0053】

また、受光レンズ２０１の光軸に対する眼球２０４の光軸の回転角θｘ（図３参照）が小さい場合には、瞳孔中心ｃからの光が眼球用撮像素子１２１上に結像して得られる瞳孔中心像ｃ’（瞳孔像の中心）の座標Ｘｃは、Ｘｃ≒（Ｘａ＋Ｘｂ）／２と表せる。つまり、瞳孔端像ａ’，ｂ’のＸ座標Ｘａ，Ｘｂから、瞳孔中心像ｃ’のＸ座標である座標Ｘｃを見積もることができる。このように、瞳孔中心像ｃ’の座標Ｘｃ、および角膜反射像Ｐｄ’，Ｐｅ’の座標を見積もることができる。

【0054】

ステップＳ５０４において、視線検出部１２０は、眼球像の結像倍率βを算出する。結像倍率βは受光レンズ２０１に対する眼球２０４の位置により決まる倍率であり、角膜反射像Ｐｄ’、Ｐｅ’の間隔であるＸｄ－Ｘｅの関数を用いて求めることができる。

【0055】

ステップＳ５０５において、視線検出部１２０は、受光レンズ２０１の光軸に対する眼球２０４の光軸の回転角を算出する。ここで、角膜反射像Ｐｄと角膜反射像Ｐｅの中点のＸ座標と角膜３０１の曲率中心ＯのＸ座標とはほぼ一致する。このため、角膜３０１の曲率中心Ｏから瞳孔３０２の中心ｃまでの標準的な距離をＯｃとすると、Ｚ－Ｘ平面（Ｙ軸に垂直な平面）内での眼球２０４の回転角θｘは、式１から算出することができる。なお、Ｚ－Ｙ平面（Ｘ軸に垂直な平面）内での眼球２０４の回転角θｙも、回転角θｘの算出
方法と同様の方法で算出できる。
β×Ｏｃ×ｓｉｎθｘ≒｛（Ｘｄ＋Ｘｅ）／２｝－Ｘｃ ・・・式１

【0056】

ステップＳ５０６において、視線検出部１２０は、メモリ１０７に予め記憶された補正係数データ（係数ｍ，Ａｘ，Ｂｘ，Ａｙ，Ｂｙ）を読み出す。係数ｍは、デジタルカメラ１００のファインダ光学系の構成で定まる定数であり、回転角θｘ，θｙをファインダ内の視野像（視認用画像）において瞳孔中心ｃに対応する座標に変換する変換係数である。また、係数Ａｘ，Ｂｘ，Ａｙ，Ｂｙは、視線の個人差を補正する視線補正係数であり、キャリブレーション作業を行うことで取得され、視線検出処理が開始する前にメモリ１０７に記憶されている。

【0057】

ステップＳ５０７において、視線検出部１２０は、ユーザの眼球２０４の回転角θｘ，θｙを用いて、表示部１１３上に表示された視認用画像におけるユーザの視点（注視している点の位置；視点位置）を求める。視点の座標（Ｈｘ，Ｈｙ）が瞳孔中心ｃに対応する座標であるとすると、視点の座標（Ｈｘ，Ｈｙ）は以下の式２および式３から算出できる。
Ｈｘ＝ｍ×（Ａｘ×θｘ＋Ｂｘ） ・・・式２
Ｈｙ＝ｍ×（Ａｙ×θｙ＋Ｂｙ） ・・・式３

【0058】

ステップＳ５０８において、視線検出部１２０は、視点の座標（Ｈｘ，Ｈｙ）をメモリ１０７に記憶する。また、視線検出部１２０は、視線の位置が一定の領域に留まっていた時間を計測して、計測した時間を注視時間としてメモリ１０７に記憶する。

【0059】

なお、光源１２３ａ，１２３ｂの角膜反射像を利用した表示素子上での視点の座標の取得手法を示したが、それに限られるものではない。撮像された眼球画像から、公知の任意の方法によって視点の座標（眼球回転角度）が取得されてもよい。

【0060】

［焦点制御処理］
以下、図６を用いて、デジタルカメラ１００の焦点制御処理（デジタルカメラ１００の制御方法）について説明する。図６は、デジタルカメラ１００の焦点制御処理のフローチャートである。図６のフローチャートは、ＣＰＵ１１４がＲＯＭ１０９に格納されたプログラムを実行して、各ステップにおいて各機能部を制御することによって実現される。ユーザによるＡＦ制御を指示する操作が行われると、焦点制御処理が開始する。

【0061】

ステップＳ６０１において、眼球用撮像素子１２１は、照明光源１２３が照射されたユーザの眼画像（画像データ）を取得し、視線検出部１２０に眼画像を出力する。

【0062】

ステップＳ６０２において、視線検出部１２０は、図５のフローチャートを用いて説明した視線検出処理によって、ユーザの視線（視点）を検出する。視線検出部１２０は、ファインダ内の表示部１１３に表示されるライブビュー画像における視点位置（注視点）を算出して、視線ベクトル検出部１２５に出力する。また、視線検出部１２０は、ユーザの視点位置を中心とした所定サイズの矩形領域である視点領域７０１（表示部１１３においてユーザが見ている領域）を取得して、視点領域７０１を画像処理部１０４に出力する。なお、視点領域７０１は、矩形である必要はなく、例えば、楕円形、円形、多角形などの形状であってもよい。

【0063】

ステップＳ６０３において、視線ベクトル検出部１２５は、前フレームの視点位置と現フレームの視点位置との差分からユーザの視点領域７０１の動きベクトル（視点の移動ベクトル）を算出（取得）して、ＣＰＵ１１４に出力する。なお、この差分は、連続する２フレーム間の差分である必要はなく、３フレーム以上のフレーム間などの所定の期間にお
ける差分であってもよい。

【0064】

ステップＳ６０４において、撮像素子１０２は、被写体を撮像した撮像画像（撮影領域画像；ライブビュー画像）を取得して、Ａ／Ｄ変換部１０３を介して画像処理部１０４に出力する。つまり、本ステップでは、画像処理部１０４が、撮像素子１０２から撮像画像を取得しているともいえる。

【0065】

ステップＳ６０５において、画像処理部１０４は、現フレームにおいて視点領域７０１に表示された画像（視点領域画像）の、前フレームからの動きベクトルを、視点領域画像の動きベクトルとして取得する。つまり、画像処理部１０４は、現フレームにおける視点領域７０１の範囲での、前フレームから現フレームの画像の動きベクトルを、視点領域画像の動きベクトルとして取得する。ここで、画像処理部１０４は、ユーザが意図する被写体に障害物が重なったか否かを判定するための撮像画像における特徴量として、視点領域７０１における画像（視点領域画像）の動きベクトルを算出している。視点領域画像の動きベクトルを取得するための、前フレームと現フレームの比較（対応位置探索）は、例えばテンプレートマッチング手法などで行う。また、画像処理部１０４は、視点領域画像の動きベクトルをＣＰＵ１１４に出力する。

【0066】

ステップＳ６０６において、ＣＰＵ１１４は、視点領域７０１の動きベクトルと視点領域画像の動きベクトルが一致するか否かを判定する。つまり、ステップＳ６０６では、１フレームの間において、視点領域７０１に表示された被写体が変化していないか否かが判定されている。なお、それぞれの動きベクトルは、ファインダ内の表示部１１３が表示する撮像画像（ライブビュー画像）の座標基準で算出される。そして、２つの動きベクトルの大きさの差分と方向の差分とのいずれもが予め設定された差分範囲の場合に、２つの動きベクトルが一致していると判定される。視点領域７０１の動きベクトルと視点領域画像の動きベクトルが一致すると判定された場合にはステップＳ６０７に進み、一致しないと判定された場合にはステップＳ６０８に進む。

【0067】

ステップＳ６０７において、ＣＰＵ１１４は、第１のモードとして、焦点検出部１２２を制御して、焦点制御部１１８の焦点レンズの駆動制御により、視点領域７０１に表示された被写体に合焦するように焦点制御（ＡＦ；焦点の移動）を実行する。

【0068】

ステップＳ６０８において、ＣＰＵ１１４は、第２のモードとして、視点領域７０１に表示された被写体に対する焦点制御を行わず、ピント（焦点）を前フレームから変更せずに固定する。

【0069】

ステップＳ６０９において、ＣＰＵ１１４は、撮像（撮影）を終了するための操作をユーザが行ったか否かを判定する。例えば、ユーザによりデジタルカメラ１００の電源をＯＦＦにする操作がされた場合、または、ＡＦを指示する操作が解除された場合には、焦点制御処理が終了する。そうでない場合には、撮像が継続して、ステップＳ６０１に戻る。

【0070】

以下では、図７（Ａ）～図７（Ｈ）を用いて、本実施形態に係る焦点制御処理の適用有無によるピント（焦点位置）の違いを説明する。図７（Ａ）～図７（Ｈ）は、表示部１１３に表示されるライブビュー画像（撮像画像）のフレームを示している。図７（Ａ）～図７（Ｄ）は、ユーザの視線に常に基づいて、ＡＦ制御をした場合のライブビュー画像のフレームを示す。図７（Ｅ）～図７（Ｈ）は、本実施形態の焦点制御処理を適用した場合のライブビュー画像のフレームを示す。

【0071】

また、図７（Ａ）および図７（Ｅ）は、ライブビュー画像のフレームｆ１を示し、図７（Ｂ）および図７（Ｆ）は、フレームｆ１の次のフレームのフレームｆ２を示す。図７（
Ｃ）および図７（Ｇ）は、フレームｆ２の次のフレームのフレームｆ３を示し、図７（Ｄ）および図７（Ｈ）は、フレームｆ３の次のフレームのフレームｆ４を示す。

【0072】

ここで、本実施形態に係る焦点制御処理を適用せずに、視点領域７０１に対して常に焦点制御をする例を説明する。この場合には、ユーザが意図してピントを合わせようとする主要被写体７０２の前面に障害物７０３が重なってしまった場合に、一時的に障害物７０３にピント（焦点）が合ってしまう。つまり、図７（Ａ）に示すように主要被写体７０２にピントが合っている状態から、障害物７０３が主要被写体７０２に被ると、図７（Ｂ）および図７（Ｃ）に示すように障害物７０３にピントが合っている状態に変化してしまう。

【0073】

このため、動画の撮影を行っている場合には、不必要なピント位置で撮像されたフレームが記録されてしまって、記録する動画の質の低下が生じてしまう。また、静止画の撮影では、図７（Ｄ）に示すように、主要被写体７０２が障害物７０３の後ろから再度現れた際に、焦点制御に要する時間が長くなってしまい、レリーズタイムラグの増加が懸念される。

【0074】

これに対して、本実施形態に係る焦点制御処理をライブビュー画像に適用する例を説明する。図７（Ｅ）に示すフレームｆ１のように主要被写体７０２に焦点制御がされている状態から、図７（Ｆ）に示すフレームｆ２のように主要被写体７０２の前に障害物７０３が重なると、視点領域画像における主要被写体７０２について動きベクトルが取得できない。このため、ユーザの視点領域７０１の動きベクトルと視点領域画像の動きベクトルとは一致しない。従って、図７（Ｆ）において、視点領域７０４に対する焦点制御が行われずに、主要被写体７０２の存在していた（存在する）位置にピント（焦点）が固定されている。同様に、図７（Ｇ）に示すフレームｆ３においてもピントは固定される。その後、図７（Ｈ）に示すように、主要被写体７０２が再度現れると、主要被写体７０２に対する焦点制御が再開される。

【0075】

このように、本実施形態では、デジタルカメラは、視点領域と視点領域画像との動きベクトルが一致する場合には、視点領域に表示された被写体が継続してユーザが意図する被写体であると判定し、第１のモードとして動作し、当該被写体に合焦させる。一方、２つの動きベクトルが一致しない場合には、デジタルカメラは、視点領域に表示された被写体がユーザの意図した被写体から他の被写体に変化したと判定して、第２のモードとして動作し、ピント（焦点）を変更しないようにする。つまり、本実施形態では、デジタルカメラは、視点領域の動きベクトルと視点領域画像の動きベクトル（撮像画像に基づく特徴量）とに基づき、第１のモードと第２のモードとを切り替えていると捉えることができる。

【0076】

従って、本実施形態では、ユーザが意図する被写体の前に他の被写体が重なっている場合でも、他の被写体にピントが合わないようにすることができる。つまり、不要なピント変化がなく、動画の質の低下やレリーズタイムラグの増加といった課題を解決すること、または、このような課題が発生する可能性を低減することができる。つまり、本実施形態によれば、ユーザが意図しない被写体に対する不要な焦点制御を減らし、ユーザが意図した被写体に対するコンティニュアスＡＦができる。このため、見えのよい動画の記録ができ、また、静止画撮影のレスポンス向上による撮影機会の損失を低減できる。

【0077】

また、ユーザの視線が追いかける被写体が切り替わった場合にも、切り替え後の視点領域の動きベクトルと視点画像領域の動きベクトルが一致すれば、切り替え後の被写体に対する焦点制御がされる。このため、ＡＦ追従性も向上することができる。

【0078】

なお、視線検出方法として、ユーザがファインダを覗くことを前提とした検出方法を説
明したが、この限りではない。例えば、ユーザが背面パネルの表示を見ている場合の視線を検出してもよい。また、上述したフローチャートの各ステップの処理は、ＣＰＵ１１４など上述した機能部ではなく、専用のハードウェアが実行してもよい。

【0079】

＜実施形態２＞
実施形態２に係るデジタルカメラ１００について説明する。実施形態２では、デジタルカメラ１００は、視点領域画像の動きベクトルの代わりに、デジタルカメラ１００（撮像素子１０２）と被写体との距離情報を、撮像画像の特徴量として使用して焦点制御処理を行う。

【0080】

本実施形態に係るデジタルカメラ１００の構成は、実施形態１に係るデジタルカメラ１００の構成と同一である。また、本実施形態に係るデジタルカメラ１００の焦点制御処理の一部は、実施形態１に係る焦点制御処理と同一であるため、異なる部分のみ説明し、同一の部分についての説明は省略する。

【0081】

図８は、本実施形態に係るデジタルカメラ１００の焦点制御処理のフローチャートである。図８のフローチャートは、ＣＰＵ１１４がＲＯＭ１０９に格納されたプログラムを実行して、各ステップにおいて各機能部を制御することによって実現される。ユーザによるＡＦ制御を指示する操作が行われ、焦点制御処理が開始すると、図６を用いて説明したようなステップＳ６０１～ステップＳ６０４の処理が行われる。

【0082】

ステップＳ８０１において、画像処理部１０４は、撮像素子１０２が取得した撮像画像（画像データ）から位相差ＡＦ用画像（像面位相差画像）を生成する。例えば、画像処理部１０４は、位相差ＡＦ用の専用画素のデータのみを抽出して位相差ＡＦ用画像を生成してもよいし、各画素内で分割されたフォトダイオードのそれぞれのデータのみで構成された位相差ＡＦ用画像を生成してもよい。

【0083】

ステップＳ８０２において、画像処理部１０４は、位相差ＡＦ用画像に基づき、視点領域内の距離情報（デジタルカメラ１００と被写体との距離Ｄの情報）を、特徴量として取得する。ここで、本実施形態では、デジタルカメラ１００と被写体との距離Ｄとは、撮像素子１０２と被写体との光学的距離である。距離情報の算出には、例えば、位相差ＡＦ用画像の各画素に左右２つの分割画素がある場合には、画像処理部１０４は、水平方向に同一のライン内に備えられた左の分割画素の値と右の分割画素との値の相関値演算を行う。次に、画像処理部１０４は、相関値が最も高くなる分割画素間の視差と撮像素子１０２の画素ピッチなどの情報に基づき、デジタルカメラ１００と被写体との実空間での距離Ｄを算出する。

【0084】

ステップＳ８０３において、ＣＰＵ１１４は、視点領域の動きベクトルの情報と視点領域内の距離Ｄの情報とを時系列データとして管理して、時系列データ（視点領域の動きベクトルおよび距離Ｄ）の前フレームから現フレームにおける変化量を取得する。

【0085】

ステップＳ８０４において、ＣＰＵ１１４は、視点領域の動きベクトルの変化量が予め設定された閾値ＴＨ１以下であり、かつ、視点領域内の距離Ｄの変化量が予め設定された閾値ＴＨ２以下であるか否かを判定する。２つの変化量の両方が閾値以下であると判定された場合にはステップＳ８０５に進み、いずれか一方でも予め設定された閾値よりも大きいと判定された場合にはステップＳ８０６に進む。

【0086】

ステップＳ８０５において、ＣＰＵ１１４は、前フレームにおいて視点領域に対する焦点制御を行っているか否か（前フレームにおいてステップＳ６０７の処理が行われたか否か）を判定する。前フレームにおいて視点領域に対する焦点制御を行っている場合には、
継続して主要被写体を追尾している状態と判定できるため、ステップＳ６０７に進む。前フレームにおいて視点領域に対する焦点制御を行っていない場合には、主要被写体の前に障害物が重複している状態が継続していると判定できるため、ステップＳ６０８に進む。

【0087】

ステップＳ８０６において、ＣＰＵ１１４は、視点領域内の距離Ｄの変化量のみが閾値より大きいか否かを判定する。つまり、視点領域の動きベクトルの変化量が閾値ＴＨ１以下であるか否かが判定される。視点領域内の距離Ｄの変化量のみが閾値より大きい場合（視点領域の動きベクトルの変化量が閾値ＴＨ１以下である場合）には、ステップＳ８０７に進む。そうでない場合には、ステップＳ８０８に進む。

【0088】

ステップＳ８０７において、ＣＰＵ１１４は、視点領域内の距離Ｄが、閾値ＴＨ２よりも大きな値に変化する直前の視点領域内の被写体とデジタルカメラ１００との距離Ｄｆ（直前の第１のモードでの距離Ｄ）戻ったか否かを判定する。例えば、視点領域内の距離Ｄと距離Ｄｆとの差分が所定値以内である場合には、視点領域内の距離Ｄが距離Ｄｆの値に戻ったと判定できる。視点領域内の距離Ｄが距離Ｄｆの値に戻ったと判定された場合にはステップＳ６０７に進む。そうでない場合にはステップＳ６０８に進む。

【0089】

ステップＳ８０８において、ＣＰＵ１１４は、視点領域の動きベクトルの変化量のみが閾値より大きいか否かを判定する。つまり、視点領域内の距離Ｄが閾値ＴＨ２以下であるか否かが判定される。視点領域の動きベクトルの変化量のみが閾値より大きい場合（距離Ｄの変化量が閾値ＴＨ２以下である場合）には、ユーザが追尾する被写体を切り替えた、もしくは動きの不規則な被写体を追尾している状態と判定できるため、ステップＳ６０７に進む。そうでない場合には、ユーザが一時的に周囲の状況やファインダ内に表示される情報を確認する等の状況が発生したと判定できるため、ステップＳ６０８に進む。

【0090】

ステップＳ６０７～ステップＳ６０９との処理は、実施形態１にて説明した処理と同様である。

【0091】

このように、本実施形態では、以下の（１）～（３）の場合には、ＣＰＵ１１４は、ユーザがピントを合わせようと意図する被写体が視点領域に表示されていないと判定して、焦点制御をしないようにする（第２のモードで動作する）。なお、（１）～（３）における、「連続する２フレーム間」の代わりに、「複数のフレーム間などの所定の期間」が用いられてもよい。
（１）連続する２フレーム間における、視点領域の動きベクトルの変化量が閾値ＴＨ１以下であり、かつ、距離Ｄの変化量が閾値ＴＨ２以下である場合であって、前のフレームで焦点制御を行っていない（第２のモードで動作している）場合。つまり、ステップＳ８０４ＹＥＳかつステップＳ８０５ＮＯの場合。
（２）連続する２フレーム間における、視点領域の動きベクトルの変化量が閾値ＴＨ１以下であり、かつ、距離Ｄの変化量が閾値ＴＨ２よりも大きい場合であって、変化後の距離Ｄが距離Ｄｆに戻っていないと判定される場合。つまり、ステップＳ８０４ＮＯかつステップＳ８０６ＹＥＳかつステップＳ８０７ＮＯの場合。
（３）連続する２フレームにおける、視点領域の動きベクトルの変化量が閾値ＴＨ１よりも大きく、かつ、距離Ｄの変化量が閾値ＴＨ２よりも大きい場合。つまり、ステップＳ８０４ＮＯかつステップＳ８０６ＮＯかつステップＳ８０８ＮＯの場合。

【0092】

一方で、以下の（４）～（６）の場合には、ＣＰＵ１１４は、ユーザの意図する被写体が視点領域に表示されていると判定して、視点領域の被写体に対して合焦するように焦点制御を行う（第１のモードで動作する）。なお、（４）～（６）における、「連続する２フレーム間」の代わりに、「複数のフレーム間などの所定の期間」が用いられてもよい。（４）連続する２フレーム間における、視点領域の動きベクトルの変化量が閾値ＴＨ１以
下であり、かつ、距離Ｄの変化量が閾値ＴＨ２以下である場合であって、前のフレームで焦点制御を行っている（第１のモードで動作している）場合。つまり、ステップＳ８０４ＹＥＳかつステップＳ８０５ＹＥＳの場合。
（５）連続する２フレーム間における、視点領域の動きベクトルの変化量が閾値ＴＨ１以下であり、かつ、距離Ｄの変化量が閾値ＴＨ２よりも大きい場合であって、変化後の距離Ｄが距離Ｄｆに戻ったと判定される場合。つまり、ステップＳ８０４ＮＯかつステップＳ８０６ＹＥＳかつステップＳ８０７ＹＥＳの場合。
（６）連続する２フレーム間における、視点領域の動きベクトルの変化量が閾値ＴＨ１よりも大きく、かつ、距離Ｄの変化量が閾値ＴＨ２以下である場合。つまり、ステップＳ８０４ＮＯかつステップＳ８０６ＮＯかつステップＳ８０８ＹＥＳの場合。

【0093】

ここで、本実施形態においても、実施形態１と同様に、図７（Ｅ）～図７（Ｈ）に示すようにライブビュー画像において焦点制御がされる。このときの視点領域内の距離Ｄと視点領域７０１の動きベクトルを、図９（Ａ）および図９（Ｂ）に示す。

【0094】

図９（Ｂ）に示すように、主要被写体７０２の前に障害物７０３が重なっている期間においても、ユーザの視線は主要被写体７０２を追い続ける。このため、ユーザの視点領域７０１の動きベクトルは、主要被写体７０２の移動に合わせて大きな変化をせずに、ほぼ一定である。

【0095】

これに対して、図９（Ａ）に示すように、視点領域内の距離Ｄは、障害物７０３が主要被写体７０２の前に重複したフレームｆ２（図７（Ｆ）参照）で大きな変化を示す。

【0096】

このように、視点領域７０１の動きベクトルには大きな変化はないが、視点領域内の距離Ｄが大きな変化した場合（ステップＳ８０６ＹＥＳかつステップＳ８０７ＮＯ）に、デジタルカメラ１００は、主要被写体７０２の前に障害物７０３が重なったと判定する。このため、デジタルカメラ１００は、焦点制御を行わない。図７（Ｇ）に示すフレームｆ３では、障害物７０３が重なった状態から変化がないため、継続してピントを固定する。図７（Ｈ）に示すフレームｆ４では、視点領域内の距離Ｄにのみ大きな変化が発生し、かつ、前回の変化前のフレームｆ１での距離近傍に変化したため（ステップＳ８０７ＹＥＳ）、障害物７０３の重なりが解消したと判定できる。このため、デジタルカメラ１００は、視点領域７０１に対する焦点制御を再開する。

【0097】

［その他のライブビュー画像の撮像を行う場合について］
また、図１０（Ａ）～図１０（Ｄ）は、時刻経過に伴って、主要被写体７０２が光軸方向にも移動する場合のライブビュー画像（撮像画像）の各フレームを示す。図１０（Ａ）～図１０（Ｄ）は、それぞれフレームｆ１～ｆ４を示す。図１１（Ａ）、図１１（Ｂ）は、視点領域内の距離Ｄと視点領域７０１の動きベクトルを示す。

【0098】

図１１（Ｂ）に示すように、ユーザの視線は、主要被写体７０２の前に障害物７０３が重なっている間も主要被写体７０２を追い続ける。このため、ユーザの視点領域７０１の動きベクトルは、主要被写体７０２の移動に合わせて大きな変化を示さず、ほぼ一定である。これに対して、視点領域内の距離Ｄは、図１１（Ａ）に示すように、障害物７０３が入り込んだフレームｆ２（図１０（Ｂ）参照）で大きく変化する。このように、視点領域７０１の動きベクトルに大きな変化はなく、かつ、視点領域内の距離Ｄが大きく変化した場合には、デジタルカメラ１００は、主要被写体７０２に障害物７０３が重なったと判定して、焦点制御を行わない（ピントを固定する）。

【0099】

また、図１０（Ｃ）に示すフレームｆ３では、デジタルカメラ１００は、障害物７０３が重なった状態から変化がないため、継続してピントを固定する。図１０（Ｄ）に示すフ
レームｆ４では、再度、視点領域内の距離Ｄにのみ大きな変化が発生し、かつ、直前に焦点制御した際の距離Ｄｆに基づく予測値（予測距離）の近傍に距離Ｄが変化した。このため、デジタルカメラ１００は、障害物７０３の重複がなくなったと判定して視点領域７０１に対する焦点制御を再開する。このように、焦点制御を再開するための条件は、距離Ｄｆに距離Ｄが戻るといった条件だけではなく、直前に焦点制御した際の距離Ｄに基づき推定された予測距離から所定値以内に距離Ｄが変化するという条件であってもよい。例えば、図１１（Ａ）に示すように、フレームｆ１での距離Ｄからフレームｆ４での距離Ｄまでの変化率が、フレームｆ１の１つ前のフレームｆ０での距離Ｄからフレームｆ１での距離Ｄまでの変化率から所定の範囲以内であれば条件を満たすといえる。

【0100】

［その他のライブビュー画像の撮像を行う場合について］
また、図１２（Ａ）～図１２（Ｅ）は、入り込んだ障害物７０３を、ユーザが焦点制御の対象にする切り替えを行う場合のライブビュー画像の各フレームを示す。図１２（Ａ）～図１２（Ｅ）は、それぞれフレームｆ１～ｆ５を示す。図１３（Ａ）、図１３（Ｂ）は、視点領域内の距離Ｄと視点領域７０１の動きベクトルを示す。

【0101】

図１３（Ｂ）に示すように、ユーザの視線は、主要被写体７０２の前に障害物７０３が重なるフレームｆ３（図１２（Ｃ）参照）まで主要被写体７０２を追い続ける。このため、フレームｆ３までは、ユーザの視点領域７０１の動きベクトルは、主要被写体７０２の移動に合わせて大きな変化を示さず、ほぼ一定である。これに対して、図１３（Ａ）に示すように、視点領域内の距離Ｄは障害物７０３が主要被写体７０２に重なったフレームｆ３で大きな変化を示す。このように視点領域７０１の動きベクトルに大きな変化はなく、かつ、視点領域内の距離に大きな変化が発生した場合（ステップＳ８０６ＹＥＳかつステップＳ８０７ＮＯ）には、デジタルカメラ１００は、主要被写体７０２に障害物７０３が重なったと判定する。そして、デジタルカメラ１００は、焦点制御を行わない（ピントを固定する）。

【0102】

ここで、ユーザの視線が障害物７０３を追いかけるように変化すると、これまでとは異なる動きをする被写体の位置に視点領域７０１が移動する。このため、フレームｆ４（図１２（Ｄ）参照）において、視点領域内の距離Ｄは大きな変化を伴わずに、視点領域７０１の動きベクトルに大きな変化が発生する。このように視点領域内の距離Ｄに大きな変化はなく、視点領域７０１の動きベクトルにのみ大きな変化が発生した場合（ステップＳ８０６ＹＥＳかつステップＳ８０８ＹＥＳ）には、障害物７０３に焦点制御の対象が切り替えられたと判定する。このため、デジタルカメ１００は、視点領域７０１に対する焦点制御を再開する。

【0103】

以上、説明したように、視点領域の動きベクトルと視点領域内の距離情報の時系列変化に基づいて視点領域に焦点制御を行う。このことによって、実施形態１と同様に主要被写体に障害物が重なった場合でも、ピント位置の変化が不要に生じない。よって、動画像の質の低下やレリーズタイムラグの増加を低減できる。また、ユーザが焦点制御の対象を急遽切り替えた場合においても、すぐに視点領域に対する焦点制御を再開でき、ユーザの意図した被写体にピントを合わせることができる。

【0104】

また、視点領域の動きベクトルと視点領域内の距離情報の時系列データに基づいて焦点制御を行う例を説明したが、この限りではない。例えば、視点領域内の距離情報の代わりに、色情報やテクスチャ情報を使用して、ライブビュー画像における被写体の重複を検出してもよい。この場合には、本実施形態での「視点領域内の距離Ｄの変化」を、「視点領域内の色の変化またはテクスチャの変化」と読み替えることによって、本実施形態と同様の効果を得ることができる。また、本実施形態における「変化量」の記載を「変化率」と読み替えても、本実施形態と同様の効果を得ることができる。一定の加速度で加速または
減速する被写体をユーザの視線が追い続ける場合には、視線領域の動きベクトルや距離Ｄの変化率はほぼ一定あるため、「変化率」の読み替えは好適である。

【0105】

＜実施形態３＞
図１４を参照して、実施形態３に係るデジタルカメラ１４００を説明する。実施形態３では、デジタルカメラ１４００は、視点領域内の距離情報を撮像画像（位相差画像）から取得せずに、その他の測距方法によって取得する。

【0106】

本実施形態に係るデジタルカメラ１４００の構成および焦点制御処理は、実施形態２に係るデジタルカメラ１００の構成および焦点制御処理の一部と同一である。このため、以下では、実施形態２と異なる部分のみ説明して、同一の部分についての説明は省略する。

【0107】

図１４は、本実施形態に係るデジタルカメラ１４００の構成図である。デジタルカメラ１４００は、実施形態１に係るデジタルカメラ１００の機能部に加えて、測距部１４０１を有する。

【0108】

測距部１４０１は、撮像画像に写った被写体とデジタルカメラ１４００との距離Ｄを取得（測定）する。つまり、測距部１４０１は、撮像画像を撮像するための撮像範囲に存在する被写体とデジタルカメラ１４００との距離Ｄを取得する。例えば、測距部１４０１は、Ｔｉｍｅ－ｏｆ－ｆｌｉｇｈｔ（飛行時間式）の測距に必要な投光用のＬＥＤと受光用のフォトダイオードの組み合わせ、または、パターン照射方式の測距に必要なプロジェクターとカメラの組み合わせを含む距離センサである。

【0109】

本実施形態では、焦点制御処理（図８の処理）において、画像処理部１０４が行うステップＳ８０１およびステップＳ８０２の処理の代わりに、測距部１４０１が視点領域内の距離情報を取得する。なお、本実施形態に係る焦点制御処理におけるその他の処理は、実施形態２に係る焦点制御処理と同様の処理である。

【0110】

以上説明したように、位相差ＡＦ用画像（位相差画像）から距離情報を取得する代わりに別の測距方法を使用しても実施形態２と同様の効果を得ることができる。

【0111】

＜実施形態４＞
以下では、実施形態４に係るデジタルカメラ１５００を説明する。実施形態４では、デジタルカメラ１５００は、視点領域と撮像画像における被写体領域の位置関係に基づいて、視点領域に対する焦点制御を行う。本実施形態に係るデジタルカメラ１５００の構成と焦点制御処理との一部は、実施形態１に係るデジタルカメラ１００の構成と焦点制御処理と同一である。このため、以下では、実施形態１と異なる部分のみ説明して、同一の部分についての説明は省略する。

【0112】

［デジタルカメラの構成］
図１５は、本実施形態に係るデジタルカメラ１５００の構成図である。デジタルカメラ１５００は、画像処理部１０４の内部に、被写体検出部１５０１を有する。一方、デジタルカメラ１５００は、実施形態１とは異なり、視線ベクトル検出部１２５を有しない。

【0113】

被写体検出部１５０１は、撮像画像に基づき、主要被写体（特定の被写体）を検出する。本実施形態では、主要被写体とは、ユーザがＡＦの対象とすることが想定される人、動物、乗り物などであり得る。また、被写体検出部１５０１は、撮像画像における特徴量として、撮像画像における主要被写体の領域（被写体領域）を取得する。被写体の検出には、例えば、顔検出や人体検出、ディープラーニングなどの既知の技術を用いることができる。

【0114】

［焦点制御処理］
次に、図１６を参照して焦点制御処理について説明する。図１６は、本実施形態における焦点制御処理のフローチャートである。図１６のフローチャートは、ＣＰＵ１１４がＲＯＭ１０９に格納されたプログラムを実行して、各ステップにおいて各機能部を制御することによって実現される。ユーザによるＡＦ制御を指示する操作が行われ、焦点制御処理が開始すると、ステップＳ６０１とステップＳ６０２とステップＳ６０４の処理が行われる。

【0115】

ステップＳ１６０１において、被写体検出部１５０１は、撮影領域画像（撮像画像）から、上述したような既知の技術を使用して、撮像画像における主要被写体の領域である被写体領域１７０１を検出する。被写体検出部１５０１は、被写体領域１７０１の情報をＣＰＵ１１４に出力する。

【0116】

ステップＳ１６０２において、ＣＰＵ１１４は、ステップＳ６０２にて検出された視点領域７０１と、被写体領域１７０１とを比較して、２つの領域の一致度を判定する。２つの領域の一致度は、例えば、２つの領域の重なりの割合（視点領域７０１の全体の大きさに対する２つの領域が重複している領域の大きさの割合）、２つの領域の中心位置の距離の逆数などである。

【0117】

ステップＳ１６０３において、ＣＰＵ１１４は、視点領域７０１と被写体領域１７０１の一致度が予め設定された所定の閾値以上であるか否かを判定する。２つの領域の一致度が所定の閾値以上の場合には、ステップＳ６０７に進み、２つの領域の一致度が所定の閾値未満の場合にはステップＳ６０８に進む。

【0118】

例えば、図１７（Ａ）～図１７（Ｄ）は、視点領域７０１と被写体領域１７０１の位置関係を示す。図１７（Ａ）～図１７（Ｄ）は、ユーザの視線に基づいてＡＦ制御をした場合のライブビュー画像の各フレームを示す。

【0119】

図１７（Ａ）では、検出された視点領域７０１が被写体領域１７０１に包含されているため、２つの領域の一致度が所定の閾値以上と判定されて、視点領域７０１に対する焦点制御が行われる。図１７（Ｂ）では、検出された視点領域７０１と被写体領域１７０１が重ならずに独立した位置関係にあるため、２つの領域の一致度が所定の閾値未満と判定されて、視点領域７０１に対する焦点制御は行われない（ピントは固定される）。図１７（Ｃ）では、障害物７０３の影響により被写体領域１７０１が検出されないため、視点領域７０１に対する焦点制御は行われない（ピントは固定される）。図１７（Ｄ）では、視点領域７０１が被写体領域１７０１に包含されているため、２つの領域の一致度が所定の閾値以上と判定されて、視点領域７０１に対する焦点制御が行われる。

【0120】

以上説明したように、視点領域と被写体領域の位置関係に基づいて焦点制御を行っても実施形態１と同様の効果を得ることができる。

【0121】

なお、視点領域や被写体領域は、実際に表示部１１３に矩形の枠として表示されてもよいし、表示されずにデジタルカメラ１５００の内部情報として扱われてもよい。

【0122】

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

【0123】

また、撮像装置本体に限らず、有線または無線通信を介して撮像装置（ネットワークカメラを含む）と通信し、撮像装置を遠隔で制御する制御装置（撮像制御装置）にも本発明を適用可能である。つまり、本実施形態に係る撮像素子（撮像部）と表示部とを制御するような撮像制御装置であってもよい。撮像装置を遠隔で制御する装置としては、例えば、スマートフォンやタブレットＰＣ、デスクトップＰＣなどの装置がある。制御装置側で行われた操作や制御装置側で行われた処理に基づいて、制御装置側から撮像装置に各種動作や設定を行わせるコマンドを通知することにより、撮像装置を遠隔から制御可能である。また、撮像装置で撮影したライブビュー画像を有線または無線通信を介して受信して制御装置側で表示できるようにしてもよい。

【0124】

なお、上記の各実施形態の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ＡＳＩＣ、ＦＰＧＡ、ＤＳＰなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリ（記憶媒体）とを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。

【0125】

（その他の実施形態）
本発明は、上記の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0126】

１００：デジタルカメラ（撮像装置）、１０４：画像処理部（取得部）、
１２０：視線検出部、１１３：表示部、１１４：制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】