特許 7577490 追尾装置、追尾方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-25

(45)【発行日】2024-11-05

(54)【発明の名称】追尾装置、追尾方法、プログラム

(51)【国際特許分類】

   H04N 23/63 20230101AFI20241028BHJP

   G02B 7/28 20210101ALI20241028BHJP

   G03B 7/091 20210101ALI20241028BHJP

   G03B 15/00 20210101ALI20241028BHJP

   H04N 23/611 20230101ALI20241028BHJP

【ＦＩ】

H04N23/63 310

G02B7/28 N

G03B7/091

G03B15/00 Q

H04N23/611

【請求項の数】 15

(21)【出願番号】P 2020157096

(22)【出願日】2020-09-18

(65)【公開番号】P2022050908

(43)【公開日】2022-03-31

【審査請求日】2023-08-10

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】西山 知宏

【審査官】彦田 克文

(56)【参考文献】

【文献】特開２０１８－１２９６５９（ＪＰ，Ａ）

【文献】国際公開第２０１８／０１６２０９（ＷＯ，Ａ１）

【文献】特開２０１９－２０４５０３（ＪＰ，Ａ）

【文献】特開２０２０－１０６５５２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６３

Ｈ０４Ｎ ２３／６１１

Ｇ０３Ｂ ７／０９１

Ｇ０２Ｂ ７／２８

Ｇ０３Ｂ １５／００

(57)【特許請求の範囲】

【請求項1】

表示手段においてユーザが見ている位置である視点位置を取得する取得手段と、
前記表示手段に表示されている物体を追尾する追尾手段と、
前記視点位置の変化の不規則度が第１の閾値以下である場合に、前記視点位置に対応する物体を追尾する追尾処理を前記追尾手段に行わせ、前記視点位置の変化の不規則度が前記第１の閾値より大きい場合に、前記追尾処理を中止させる制御手段と、
を有することを特徴とする追尾装置。

【請求項2】

前記制御手段は、前記視点位置の変化の不規則度が前記第１の閾値より大きい場合には、さらに、前記表示手段に表示されている各物体を強調表示するように前記表示手段を制御する、
ことを特徴とする請求項１に記載の追尾装置。

【請求項3】

前記制御手段は、前記視点位置の変化の不規則度が前記第１の閾値より大きい場合には、前記視点位置に基づかすに、前記表示手段に表示されている各物体を示すような表示アイテムを前記表示手段に表示するように制御する、
ことを特徴とする請求項２に記載の追尾装置。

【請求項4】

前記制御手段は、前記視点位置の変化の不規則度が前記第１の閾値より大きい場合には、さらに、前記視点位置の変化が不規則である旨を前記ユーザに報知するように制御する、
ことを特徴とする請求項１から３のいずれか１項に記載の追尾装置。

【請求項5】

前記制御手段は、前記視点位置の変化の不規則度が前記第１の閾値以下である場合には、前記追尾手段が追尾している物体を示すような表示アイテムを前記表示手段に表示する、
ことを特徴とする請求項１から４のいずれか１項に記載の追尾装置。

【請求項6】

前記制御手段は、前記物体の表示位置の変化の不規則度が第２の閾値以上の場合には、当該物体の表示位置の変化の不規則度が前記第２の閾値未満であり、かつ、前記第２の閾
値よりも小さい第３の閾値以上である場合よりも、前記第１の閾値を大きくする、
ことを特徴とする請求項１から５のいずれか１項に記載の追尾装置。

【請求項7】

前記制御手段は、前記ユーザが視線によって追尾したい物体を判定するための機械学習を行った機械学習器を用いて、前記視点位置の変化に基づき、前記ユーザが視線によって追尾したい物体を判定する、
ことを特徴とする請求項１から６のいずれか１項に記載の追尾装置。

【請求項8】

前記制御手段は、前記追尾手段が物体を追尾する場合には、前記機械学習器を用いて判定した物体を追尾するように前記追尾手段を制御する、
ことを特徴とする請求項７に記載の追尾装置。

【請求項9】

前記視点位置の変化の不規則度とは、前記視点位置の変化の周波数と自己相関と速度と加速度とのうち少なくともいずれかに基づく値である、
ことを特徴とする請求項１から８のいずれか１項に記載の追尾装置。

【請求項10】

前記視点位置の変化の不規則度とは、前記物体の表示位置の変化と前記視点位置の変化との相互相関に基づく値である、
ことを特徴とする請求項１から８のいずれか１項に記載の追尾装置。

【請求項11】

前記制御手段は、前記物体の表示位置の変化の不規則度が第３の閾値未満である場合には、前記視点位置の変化の不規則度に依らず、前記追尾処理を前記追尾手段に行わせる、
ことを特徴とする請求項１から１０のいずれか１項に記載の追尾装置。

【請求項12】

前記制御手段は、前記物体を撮像する撮像装置の動きが第４の閾値未満である場合には、前記視点位置の変化の不規則度に依らず、前記追尾処理を前記追尾手段に行わせる、
ことを特徴とする請求項１から１１のいずれか１項に記載の追尾装置。

【請求項13】

前記制御手段は、前記物体を撮像する撮像装置の焦点距離が第５の閾値未満である場合には、前記視点位置の変化の不規則度に依らず、前記追尾処理を前記追尾手段に行わせる、
ことを特徴とする請求項１から１２のいずれか１項に記載の追尾装置。

【請求項14】

表示手段に表示されている物体を追尾する追尾手段を有する追尾装置が実行する追尾方法であって、
前記表示手段においてユーザが見ている位置である視点位置を取得する取得工程と、
前記視点位置の変化の不規則度が第１の閾値以下である場合に、前記視点位置に対応する物体を追尾する追尾処理を前記追尾手段に行わせ、前記視点位置の変化の不規則度が前記第１の閾値より大きい場合に、前記追尾処理を中止させる制御工程と、
を有することを特徴とする追尾方法。

【請求項15】

コンピュータを、請求項１から１３のいずれか１項に記載された追尾装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、追尾装置、追尾方法、プログラムに関する。

【背景技術】

【0002】

電子機器の表示部におけるユーザが見ている位置（視点位置）を検出する技術が知られている。また、映像における特定の被写体に対して、例えば、撮影のためのピントを合わせ続けるために、特定の被写体を追尾するような技術がある。特許文献１では、表示部に表示された映像において追尾されている被写体の位置とユーザの視点位置とに差がある場合に、視点位置に近い他の被写体を追尾するように変更する技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平５－５３０４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の技術では、映像において複数の被写体が動いていることによって、ユーザが撮影したい被写体を見失っている場合には、ユーザの意図しない物体を追尾してしまう可能性がある。

【0005】

そこで、本発明は、ユーザの意図に応じた追尾制御を可能とする追尾装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の１つの態様は、
表示手段においてユーザが見ている位置である視点位置を取得する取得手段と、
前記表示手段に表示されている物体を追尾する追尾手段と、
前記視点位置の変化の不規則度が第１の閾値以下である場合に、前記視点位置に対応する物体を追尾する追尾処理を前記追尾手段に行わせ、前記視点位置の変化の不規則度が前記第１の閾値より大きい場合に、前記追尾処理を中止させる制御手段と、
を有することを特徴とする追尾装置である。

【0007】

本発明の１つの態様は、
表示手段に表示されている物体を追尾する追尾手段を有する追尾装置が実行する追尾方法であって、
前記表示手段においてユーザが見ている位置である視点位置を取得する取得工程と、
前記視点位置の変化の不規則度が第１の閾値以下である場合に、前記視点位置に対応する物体を追尾する追尾処理を前記追尾手段に行わせ、前記視点位置の変化の不規則度が前記第１の閾値より大きい場合に、前記追尾処理を中止させる制御工程と、
を有することを特徴とする追尾方法である。

【発明の効果】

【0008】

本発明によれば、ユーザの意図に応じた追尾制御を可能とする追尾装置を提供することができる。

【図面の簡単な説明】

【0009】

【図1】実施形態１に係るデジタルカメラの構成図である。

【図2】実施形態１に係る視線取得部の構成図の一例である。

【図3】実施形態１に係る視線取得部の構成図の一例である。

【図4】実施形態１に係る画像処理部の内部構成図である。

【図5】実施形態１に係る追尾処理のフローチャートである。

【図6】実施形態１に係る追尾枠または検出枠を説明する図である。

【図7】実施形態１に係るパワースペクトルを表すグラフである。

【図8】実施形態１に係る視点軌跡を表すグラフである。

【図9】実施形態２に係る実行判定処理のフローチャートである。

【図10】実施形態３に係るニューラルネットワークを表す図である。

【図11】実施形態４に係る実行判定処理のフローチャートである。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らない。また、複数の特徴は任意に組み合わせ可能である。さらに、添付図面において、同一もしくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

【0011】

＜実施形態１＞
［デジタルカメラの構成の説明］
図１は、実施形態１に係るデジタルカメラ１００（撮像装置）の構成を示す構成図である。なお、デジタルカメラ１００の代わりに、デジタルカメラ１００の各構成要素を有するスマートフォンやＰＣ（コンピュータ）などのような、被写体（物体）を追尾可能な追尾装置（電子機器）が用いられてもよい。

【0012】

図１において、レンズユニット１５０は、交換可能な撮影レンズを搭載するレンズユニットである。レンズ１０３は、通常、複数枚のレンズを有するが、ここでは一枚のレンズのみで示している。通信端子６は、レンズユニット１５０がデジタルカメラ１００側と通信を行うための端子である。通信端子１０は、デジタルカメラ１００がレンズユニット１５０側と通信を行うための端子である。レンズユニット１５０は、通信端子６，１０を介してシステム制御部５０と通信する。レンズユニット１５０は、内部のレンズシステム制御回路４によって絞り駆動回路２を介して絞り１０２の制御を行う。また、レンズユニット１５０は、ＡＦ駆動回路３を介して、レンズ１０３の位置を変位させることで焦点を合わせる。レンズシステム制御回路４には、レンズに関する情報（焦点距離の情報など）が格納されている。

【0013】

シャッター１０１は、システム制御部５０の制御で撮像部２２の露光時間を自由に制御できるフォーカルプレーンシャッターである。

【0014】

撮像部２２は、絞り１０２およびレンズ１０３を介して被写体を撮像する。撮像部２２は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子などを備える撮像素子である。撮像部２２には、光電変換部を複数に分割した画素が１つのマイクロレンズに対して設けられている。これにより、光が分割されて各画素に入射するため、光電変換部から位相差検出信号を得ることができる。また、撮像部２２は、各画素からの信号を加算することにより、撮像信号を得ることができる。このような画素は、焦点検出画素と撮像画素としての役割を兼ねることができる。なお、撮像部２２には撮像用の画素のみが設けられていてもよく、この場合には、コントラスト方式によって焦点検出が実現されてもよい。このように、撮像部２２が取得する信号は、撮像だけでなく、露出制御、焦点検出制御にも用いることができる。

【0015】

Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２３は、変換したデジタル信号を画像（映像）として画像処理部２４や
メモリ制御部１５などに出力する。

【0016】

画像処理部２４は、Ａ／Ｄ変換器２３から出力された画像（データ）、または、メモリ制御部１５から出力された画像に対して、リサイズ処理（所定の画素補間や縮小の処理）や色変換処理を行う。また、画像処理部２４が、撮像された画像を用いて所定の演算処理を行い、システム制御部５０が演算処理の結果に基づいて露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が実現される。さらに、画像処理部２４は、撮像された画像を用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

【0017】

本実施形態では、画像処理部２４は、画像（映像；動画）に基づいて、被写体の検出処理や追尾処理を行うことができる。被写体の検出処理や、追尾処理を行うための画像処理部２４の内部構成については、図４を参照して後述する。

【0018】

Ａ／Ｄ変換器２３から出力された画像（出力データ）は、画像処理部２４およびメモリ制御部１５を介して、もしくは、メモリ制御部１５を介してメモリ３２に書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタル信号に変換された画像や、表示部２８に表示するための画像を格納する。メモリ３２は、所定枚数の静止画像や、所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

【0019】

また、メモリ３２は、画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１９は、メモリ３２に格納されている画像表示用の画像のデジタル信号をアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像は、Ｄ／Ａ変換器１９を介して供給されて、表示部２８により表示される。

【0020】

表示部２８は、ＬＣＤなどの表示器上で、Ｄ／Ａ変換器１９から取得したアナログ信号に応じた表示を行う。メモリ３２に蓄積されたデジタル信号がＤ／Ａ変換器１９においてアナログ信号に変換されて表示部２８に逐次転送されると、表示部２８は、ライブビュー表示（ＬＶ）を行う。以下、ライブビュー表示で表示される画像をライブビュー画像（ＬＶ画像）と称する。ライブビュー画像には、撮像部２２が現在撮像している被写体が現れる。

【0021】

なお、表示部２８は、不図示の接眼部を通して覗き込む電子ビューファインダであってもよいし、デジタルカメラ１００の背面に設けられたディスプレイであってもよい。また、表示部２８は、電子ビューファインダと、背面のディスプレイの両方を有してもよい。

【0022】

不揮発性メモリ５６は、電気的に消去・記録可能なメモリである。不揮発性メモリ５６には、例えば、ＥＥＰＲＯＭなどが用いられる。不揮発性メモリ５６は、システム制御部５０の動作用の定数、プログラムなどを記憶する。例えば、不揮発性メモリ５６は、本実施形態にて後述する各種フローチャートを実行するためのプログラムを記憶する。

【0023】

システム制御部５０は、不揮発性メモリ５６に記憶されたプログラムを実行することにより、デジタルカメラ１００の各構成要素を制御する。システムメモリ５２には、ＲＡＭが用いられる。システム制御部５０は、システム制御部５０の動作用の定数、変数、および不揮発性メモリ５６から読み出したプログラムなどをシステムメモリ５２に展開することができる。また、システム制御部５０は、メモリ３２、Ｄ／Ａ変換器１９、表示部２８などを制御することにより表示制御を行う。システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

【0024】

電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路などを有する。電源制御部８０は、電池（電源部３０）の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果およびシステム制御部５０の指示に基づいて、ＤＣ－ＤＣコンバータを制御して、電源部３０の電力を各構成要素（記録媒体２００を含む）に供給する。電源部３０は、一次電池（アルカリマンガン電池やＬｉ電池など）や二次電池（ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池など）、ＡＣアダプターなどを有する。

【0025】

記録媒体インターフェース１８（Ｉ／Ｆ）は、メモリカードやハードディスクなどの記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカードなどの記録媒体である。記録媒体２００は、半導体メモリや磁気ディスクなどを有する。

【0026】

通信部５４は、無線通信または有線通信によって外部と接続し、映像信号や音声信号の送受信を行う。通信部５４は、イントラネットやインターネットなどのネットワークと接続可能である。通信部５４は、撮像部２２で撮像した画像（ライブビュー画像を含む）や、記録媒体２００に記録された画像を送信可能である。また、通信部５４は、外部機器から画像やその他の各種情報を受信することができる。

【0027】

姿勢検知部５５は、重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２で撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２で撮像された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部５５としては、加速度センサーやジャイロセンサーなどを用いることができる。姿勢検知部５５である加速度センサーやジャイロセンサーを用いれば、デジタルカメラ１００の動き（パン、チルト、持ち上げ、静止しているか否か等）を検知することも可能である。また、姿勢検知部５５は、重力方向をｚ軸方向とするｘｙｚ空間において、デジタルカメラ１００のｚ軸を中心とする回転角度γ（ヨー角）を検知できる。姿勢検知部５５は、デジタルカメラ１００の上下方向の回転角度β（デジタルカメラ１００の左右方向に沿ったｙ軸を中心とするピッチ角）も検知できる。また、姿勢検知部５５は、デジタルカメラ１００の左右の傾き方向の回転角度α（デジタルカメラ１００の前後方向に沿ったｘ軸を中心とするロール角）も検知できる。

【0028】

操作部７０は、ユーザからの操作を受け付ける複数の操作部材を有する。操作部７０は、メニュー選択、モード選択、撮影した動画像の再生などを実施するために、操作部材として、ボタン（メニューボタンやＳＥＴボタン）や４方向キーを備える。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。ユーザは、表示部２８に表示されたメニュー画面と、４方向キーやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

【0029】

また、操作部７０の各操作部材は、表示部２８に表示される画面において機能アイコンを選択することにより、当該機能アイコンに対応する機能を実行するためのボタン（機能ボタン）として動作することができる。機能ボタンは、例えば、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタンなどである。

【0030】

さらに、操作部７０は、操作部材として、モード切替スイッチ６０、シャッターボタン６１、電源スイッチ７２を含む。

【0031】

モード切替スイッチ６０は、システム制御部５０の動作モードを静止画撮影モード、動
画撮影モード、再生モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）、プログラムＡＥモード（Ｐモード）がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ６０より、ユーザは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ６０で撮影モードの一覧画面に一旦切り替えた後に、表示された複数のモードのいずれかに、他の操作部材を用いて選択的に切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

【0032】

シャッターボタン６１は、第１シャッタースイッチ６２と第２シャッタースイッチ６４を備える。第１シャッタースイッチ６２が、シャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）によりＯＮになると、第１シャッタースイッチ信号ＳＷ１が発生する。システム制御部５０は、第１シャッタースイッチ信号ＳＷ１の発生により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の撮影準備動作を開始する。

【0033】

第２シャッタースイッチ６４が、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）によりＯＮとなると、第２シャッタースイッチ信号ＳＷ２が発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２の発生により、撮像部２２からの信号読み出しから、撮像された画像を画像ファイルとして記録媒体２００に書き込むまでの、一連の撮影処理の動作を開始する。

【0034】

電源スイッチ７２は、デジタルカメラ１００の電源のＯＮとＯＦＦを切り替える操作部材である。

【0035】

視線取得部７０１は、表示部２８においてユーザが見ている位置（視点位置；視線位置）を検出（取得）する。図２は、視線取得部７０１の一例を示す。視線取得部７０１は、イメージセンサ７０１ａ、受光レンズ７０１ｂ、ダイクロイックミラー７０１ｃ、接眼レンズ７０１ｄ、照明光源７０１ｅ、不図示の制御部を有する。このとき、表示部２８には、レンズユニット１５０を介して撮像されたライブビュー画像が表示されている。

【0036】

接眼レンズ７０１ｄを介して表示部２８を見ているユーザの視点位置を検出するために、まず、照明光源７０１ｅが、眼球３０１に赤外光を投射する。すると、眼球３０１にて反射した赤外光は、さらにダイクロイックミラー７０１ｃにて反射して、受光レンズ７０１ｂを通過してイメージセンサ７０１ａに入射する。イメージセンサ７０１ａは、入射した赤外光により、眼球３０１を撮影して眼球画像を取得する。視線取得部７０１の制御部は、撮影された眼球画像から瞳孔の領域などを抽出する。制御部は、ファインダ視野内を覗くユーザの眼球３０１の光軸の回転角を検出し、検出した回転角からユーザの視線を検出する。そして、制御部は、表示部２８におけるユーザの視線（目の向き；目で見ている方向）に対応する位置（領域）を、視点位置として検出する。なお、視線取得部７０１は、ユーザの片目を撮像してもよいし両目を撮影してもよい。

【0037】

図３は、図２とは異なる視線取得部７０１の一例を示す。ここでは、視線取得部７０１は、カメラ７０１ｆ、照明光源７０１ｅ、制御部を有する。図３では、レンズユニット１５０を通して撮影されたライブビュー画像が、表示部２８に表示されている。図３では、デジタルカメラ１００の背面に、表示部２８を観察しているユーザの顔３００（眼球３０１，３０２）を撮影するカメラ７０１ｆが設けられている。図３において、カメラ７０１ｆが撮影可能な範囲を破線で示している。照明光源７０１ｅからユーザの顔に投光されると、カメラ７０１ｆは眼球画像（顔画像）を取得する。そして、視線取得部７０１の制御
部は、眼球画像からユーザの視線および視点位置を検出する。

【0038】

また、図２と図３に示す視線取得部７０１のいずれであっても、眼球画像は、不図示のＡ／Ｄ変換器によりデジタル信号に変換されて、システム制御部５０に送信されてもよい。この場合には、システム制御部５０が眼球画像に基づき視点位置を検出する。このため、視線取得部７０１は、図２および図３に示す構成に限らず、ユーザの視線（視点位置）を検出するための情報を取得できるのであれば、任意の構成であってよい。

【0039】

（画像処理部）
以下では、図４の構成図を参照して、被写体の検出や追尾を行うための、画像処理部２４の内部構成の一部を説明する。画像処理部２４は、画像取得部４１０、検出部４１１、追尾部４１２を有する。

【0040】

画像取得部４１０は、Ａ／Ｄ変換器２３から映像（ライブビュー画像）を取得する。画像取得部４１０は、Ａ／Ｄ変換器２３から映像を取得することに限らず、デジタルカメラ１００の外部の機器から映像を取得してもよい。

【0041】

検出部４１１は、画像取得部４１０が取得した映像に含まれる被写体（物体）を検出する。検出部４１１が検出する被写体は、人物、動物、乗り物などのユーザが撮影する可能性が高い種別の被写体（物体）である。また、検出部４１１が検出する被写体は、ユーザが予め選択した種別の被写体であってもよい。なお、検出部４１１は、コンボリューショナルニューラルネットワークなどの既存の手法を用いて、被写体を検出することができる。

【0042】

追尾部４１２は、表示部２８に表示された映像において特定の被写体を追尾する。また、追尾部４１２は、映像において追尾している被写体の位置（ｘ座標およびｙ座標）を取得することもできる。なお、システム制御部５０は、追尾部４１２による被写体の追尾の実行と中止とを切り替えることができる。

【0043】

［追尾処理］
以下、図５のフローチャートを参照して、ユーザが所望する被写体を追尾部４１２が追尾できるように制御する処理（追尾処理；追尾方法；追尾装置の制御方法）について説明する。本フローチャートの処理は、不揮発性メモリ５６に記録されたプログラムをシステムメモリ５２に展開して、システム制御部５０が実行することで実現する。また、本フローチャートの開始前において、追尾部４１２が映像における１つの被写体を追尾しているものとする。このとき、追尾している被写体を示すような追尾枠が表示部２８に表示されている。

【0044】

Ｓ５０１において、システム制御部５０は、画像取得部４１０を制御して、Ａ／Ｄ変換器２３から映像（ライブビュー画像）を取得する。なお、画像取得部４１０は、Ａ／Ｄ変換器２３から映像を取得するのではなく、メモリ３２などから映像を取得してもよい。

【0045】

Ｓ５０２において、システム制御部５０は、視線取得部７０１からユーザの視点位置を取得する。

【0046】

Ｓ５０３において、システム制御部５０は、追尾部４１２を制御して、画像取得部４１０が取得した映像における追尾部４１２が追尾している被写体（追尾被写体）の位置（表示位置；位置情報）を取得する。なお、追尾部４１２が被写体の追尾を中止している場合には、検出部４１１は、追尾を中止した時点で追尾部４１２が追尾していた被写体の現在の位置を取得する。

【0047】

Ｓ５０４において、システム制御部５０は、視点位置（視線）の軌跡（視点軌跡；視点位置の変化；視線の変化）の不規則度を取得する。視点軌跡の不規則度の取得方法については後述する。

【0048】

Ｓ５０５において、システム制御部５０は、視点軌跡の不規則度が予め定められた閾値ＴＨｒ以下であるか否かを判定する。ここで、システム制御部５０は、視点軌跡の不規則度が閾値ＴＨｒ以下である場合には、視点位置が規則的に変化しているため、ユーザが視線により被写体を追えていると判定できる。一方、視点軌跡の不規則度が閾値ＴＨｒより大きい場合には、視点位置が不規則に変化しているため、ユーザが被写体を追えていない（見失っている）と判定できる。視点軌跡の不規則度が閾値ＴＨｒ以下の場合にはＳ５０８に進む。視点軌跡の不規則度が閾値ＴＨｒより大きい場合にはＳ５０６に進む。

【0049】

Ｓ５０６において、システム制御部５０は、追尾部４１２を制御して、追尾部４１２による追尾を中止する。そして、システム制御部５０は、表示部２８における追尾枠の表示を中止する。なお、既に、追尾部４１２による追尾が中止されている場合には、システム制御部５０は、Ｓ５０６において何も処理を実行しない。

【0050】

Ｓ５０７において、システム制御部５０は、検出部４１１を制御して映像から１または複数の被写体を検出して、これらの被写体のそれぞれを示すような枠（検出枠）を表示部２８に表示する。なお、システム制御部５０は、検出枠を表示する必要はなく、１または複数の被写体の位置をユーザが把握しやすいような表示（強調表示）をすればよい。これによって、映像に含まれる被写体の位置が把握しやすくなるため、ユーザは、改めて所望する被写体を視線によって容易に追いかけることができる。また、このとき、システム制御部５０は、音声や画像によって、視点軌跡が不規則的である旨をユーザに報知（通知）するようにしてもよい。Ｓ５０７の処理が終了すると、再びＳ５０１～Ｓ５０５の処理が行われる。つまり、システム制御部５０は、視点軌跡が規則的になるまで、追尾の中止状態が継続し、各被写体を示す検出枠が表示され続けるように制御する。

【0051】

Ｓ５０８において、システム制御部５０は、Ｓ５０３にて取得した被写体の位置と、Ｓ５０２にて取得した視点位置との差ＤＦが、予め定められた閾値ＴＨｐ以下であるか否かを判定する。ここで、システム制御部５０は、差ＤＦが閾値ＴＨｐ以下であれば、Ｓ５０３にて位置を取得した被写体をユーザが視線により追っていると判定できる。一方、システム制御部５０は、差ＤＦが閾値ＴＨｐより大きい場合には、Ｓ５０３にて位置を取得した被写体ではない被写体を視線により追っていると判定できる。差ＤＦが閾値ＴＨｐ以下である場合にはＳ５０９に進む。差ＤＦが閾値ＴＨｐより大きい場合にはＳ５１０に進む。

【0052】

Ｓ５０９において、システム制御部５０は、追尾部４１２を制御して、Ｓ５０３にて位置を取得した被写体を追尾する（引き続き追尾する）。

【0053】

Ｓ５１０において、システム制御部５０は、視点位置に最も近い（近接する）被写体をユーザが追っていると判定できるため、追尾部４１２を制御して、視点位置に最も近い被写体（近接被写体）を追尾するようにする（追尾被写体を変更する）。

【0054】

Ｓ５１１において、システム制御部５０は、追尾部４１２が追尾している被写体を示すような追尾枠を表示部２８に表示する。

【0055】

このように、Ｓ５０９およびＳ５１０では、システム制御部５０は、視点位置に対応する被写体が主被写体（ユーザが追尾（撮影）したい被写体）であると判定して、Ｓ５１１
にて視点位置に対応する被写体を示すような追尾枠を表示部２８に表示させる。

【0056】

Ｓ５１２において、システム制御部５０は、追尾枠に最も近い焦点検出領域を選択し、撮像部２２が取得した信号（位相差検出信号）を用いて、焦点状態（デフォーカス量および方向）を取得（検出）する。

【0057】

Ｓ５１３において、システム制御部５０は、Ｓ５１２にて取得したデフォーカス量およびデフォーカス方向に対応するレンズ駆動量および駆動方向を算出する。システム制御部５０は、算出したレンズ駆動量および駆動方向に従ってレンズ１０３の位置を制御することにより合焦距離を調節して、撮像部２２を制御して撮影を実行する。

【0058】

このように、本実施形態では、視点軌跡の不規則性に基づき、ユーザが被写体を視線により追えているか否かを判定し、その結果に応じて、追尾部４１２による追尾を制御する。デジタルカメラ１００は、視点軌跡の不規則度が高ければ（ユーザが視線により被写体を追尾していないと判定すると）、追尾部４１２による被写体の追尾を中止して、映像に含まれる各被写体を示す検出枠を表示する。このため、デジタルカメラ１００においてユーザの意図に合わない被写体の追尾の可能性を抑制できるので、ユーザの意図に応じた追尾制御が可能になる。

【0059】

［追尾枠、検出枠の表示］
図６（Ａ）および図６（Ｂ）は、追尾枠または検出枠の表示部２８における表示を説明する図である。ここでは、デジタルカメラ１００がスポーツシーンを撮影している場合を想定している。図６（Ａ）および図６（Ｂ）では、人物６０１または／および人物６０３がボール６０２を用いてスポーツを行っているシーンを示している。検出枠６２１～６２３は、映像に表示された被写体を示す表示アイテムである。追尾枠６１１は、デジタルカメラ１００が追尾している被写体を示す表示アイテムである。

【0060】

図６（Ａ）では、視点軌跡６００が規則的であり（Ｓ５０５ＹＥＳ）、視点位置と被写体である人物６０１との距離が近い（Ｓ５０８ＹＥＳ）。このため、追尾枠６１１が示す被写体とユーザが撮影したい被写体（主被写体）とが、人物６０１で一致すると考えられる。このとき、本実施形態では、追尾枠６１１が人物６０１を追尾するように表示されるので（Ｓ５０９，Ｓ５１１）、ユーザは、追尾枠６１１を見ることで、主被写体である人物６０１を容易に追尾し続けることができる。なお、このとき、ユーザの見る先が散らないように、検出枠は表示されない。

【0061】

一方、図６（Ｂ）では、視点位置がランダムに動いており、視点軌跡６００の不規則性が高い（Ｓ５０５ＮＯ）。この場合には、ユーザが撮影したい被写体（主被写体）を見失っていると考えられる。このため、デジタルカメラ１００は、ユーザが撮影したい被写体（主被写体）を見つけやすいように、追尾枠６１１の表示を中止して（Ｓ５０６）、映像に含まれる被写体を示すような検出枠６２１～６２３を表示する（Ｓ５０７）。これによれば、ユーザは、検出枠６２１～６２３が示す被写体から主被写体を見つけることができるので、検出枠が表示されていない場合よりも、主被写体を容易に見つけることができる。

【0062】

また、システム制御部５０は、被写体の位置をユーザに把握させることができればよいため、検出枠や追尾枠の代わりに、例えば、被写体の位置に星形や丸形のマークなどの任意の表示アイテムを表示してもよい。なお、システム制御部５０は、表示部２８に表示される追尾枠と検出枠とで色や太さを変えてもよい。また、システム制御部５０は、他の方法によって追尾枠と検出枠との表示を異ならせてもよい。これによれば、検出枠と追尾枠のどちらが表示されているかをユーザが認識しやすくなり、ユーザは主被写体を見つけや
すくなる。

【0063】

［視点軌跡の取得処理］
以下では、システム制御部５０が視点軌跡（視点位置の変化）の不規則度を取得する処理（取得方法；算出方法）について詳細に説明する。

【0064】

（不規則度の取得に周波数を用いる場合）
まず、視点軌跡の不規則度を取得するために、視点軌跡の時間軸方向の周波数情報を用いる場合を説明する。時刻をｔとし、各時刻における視点位置の座標を（ｘ（ｔ），ｙ（ｔ））とすると、ｘ（ｔ）をフーリエ変換した結果であるＸ（ω）と、ｙ（ｔ）をフーリエ変換した結果であるＹ（ω）とは、以下の式１と式２のように表される。

【数1】

【0065】

ここで、Δｔは視点位置を取得する時間間隔であり、周波数ωは、時刻ｔ_０から時刻ｔ_０＋ＮΔｔまでの期間における周波数である。また、式３に表すように、パワースペクトルＰ（ω）を、Ｘ（ω）の絶対値の２乗とＹ（ω）の絶対値の２乗との和で定義する。

【数2】

【0066】

図７では、横軸が周波数ωを表し、縦軸がパワースペクトルＰ（ω）を表している。システム制御部５０は、不規則度として、予め決められた周波数ω_０以上のパワースペクトルＰ（ω）の総和Ｓを算出する。そして、システム制御部５０は、Ｓ５０５において、不規則度である総和Ｓが閾値以下であるか否かを判定する。

【0067】

（不規則度に自己相関を用いる場合）
次に、視点軌跡の自己相関に基づく値を不規則度として用いる例を示す。図８は、時刻ｔにおける視点軌跡のｘ位置（ｘ座標）であるｘ（ｔ）を、時刻ｔに対してプロットしたグラフである。隣接する時間幅８０１と時間幅８０２において、視点軌跡が規則的であれば自己相関は１に近づき、ランダムであれば自己相関は０に近くなる。

【0068】

自己相関の絶対値Ｒ（Ｔ）は、式４のように表すことができる。ここで、Δｔは、視線を取得する時間間隔であり、Ｔ＝ＮΔｔは、相関を計算する時間の幅である。

【数3】

【0069】

なお、式４では、隣接する時間幅Ｔの区間における自己相関を取ったが、近接する区間であれば、必ずしも隣接している必要はない。また、式４の左辺（ｘ成分）と右辺（ｙ成分）を単純加算するのではなく、左辺と右辺を重み付け加算してもよい。なお、システム制御部５０は、例えば、Ｓ５０５において、自己相関の絶対値Ｒ（Ｔ）の逆数を視点軌跡の不規則度として、不規則度が閾値以下であるか否かを判定する。

【0070】

（不規則度に他の情報を用いる場合）
他にも、視線の速度ベクトル（ｖｘ，ｖｙ）＝（ｄｘ／ｄｔ，ｄｙ／ｄｔ）の大きさや、加速度ベクトル（ｄｖｘ／ｄｔ，ｖｙ／ｄｔ）の大きさの、時間幅Ｔにおける代表値（平均値、最頻値または中央値）を不規則度として用いても構わない。ここで、ｄ／ｄｔは時間ｔに関する微分を表す。また、視線ベクトルや加速度ベクトル、自己相関、周波数などを任意に組み合わせて、視点軌跡の不規則度が決定されてもよい。

【0071】

以上のように、本実施形態によれば、視点軌跡の不規則度に基づき、デジタルカメラ１００における追尾を制御する。これにより、デジタルカメラ１００において、ユーザの意図に応じた追尾を可能とする。

【0072】

［変形例１］
視点軌跡の不規則度の決定に、視点軌跡以外にも、検出部４１１が検出した被写体の位置（表示位置）の軌跡情報を用いることができる。例えば、システム制御部５０は、或る時間幅Ｔ＝ＮΔｔにおける視点軌跡のベクトルと、被写体の位置の軌跡のベクトルとの相互相関を算出する。そして、システム制御部５０は、検出部４１１が検出した全ての被写体の位置の軌跡のベクトルと、視点軌跡のベクトルとの相互相関の絶対値に基づく値（例えば、絶対値の逆数）を、視点軌跡の不規則度とする。例えば、検出部４１１が検出した被写体の位置の軌跡のベクトルそれぞれと視点軌跡のベクトルとの相互相関の絶対値のうち最も大きな値の逆数を、視点軌跡の不規則度とする。つまり、本変形例では、視点位置と被写体の位置が同じように変化していれば、視点軌跡は被写体の位置の軌跡に従った規則的な軌跡であると判定される。ここで、時刻ｔ_０から時刻ｔ_０＋ＮΔｔまでの期間における相互相関Ｒ（ｔ_０）の算出方法は、以下の式５により表される。

【数4】

【0073】

ここで、（ｘ_ｅ（ｔ），ｙ_ｅ（ｔ））は時刻ｔにおける視点の位置を表している。（ｘ_о（ｔ），ｙ_о（ｔ））は、時刻ｔにおける被写体の位置を表している。なお、相互相関Ｒ（ｔ_０）も、ｘ成分（左辺）とｙ成分（右辺）との重み付け加算によって算出されてもよい。また、視点位置の動きベクトル（速度ベクトルや加速度ベクトル）と、検出された被写体の動きベクトルとの相互相関を用いてもよい。

【0074】

＜実施形態２＞
実施形態２では、映像に含まれる被写体の位置の軌跡（変化）に応じて、実施形態１において説明した追尾を行うか否かを判定する処理（Ｓ５０４～Ｓ５０７の追尾制御処理）を実行するか否かを切り替えるデジタルカメラ１００について説明する。また、本実施形態に係るデジタルカメラ１００は、映像に含まれる被写体の位置の軌跡（変化）に応じて、Ｓ５０５において視点軌跡の不規則性を判定するための閾値ＴＨｒを変更する。

【0075】

例えば、被写体がほぼ規則正しく動いているようなシーンでは、ユーザが当該被写体を継続して追うことが容易であるため、追尾枠が示す被写体をユーザが視線により追っている可能性が高い。このため、追尾部４１２が引き続き追尾を行うことが適切である可能性が高く、実施形態１における追尾制御処理を行う必要性が低い。

【0076】

また、複数の被写体が様々な方向に移動するシーン（スポーツシーンなど）では、ユー
ザの視点が適切に被写体を追っている場合においても、視点軌跡の不規則性が高くなる傾向にある。従って、このような場合には、様々な方向に移動する被写体をユーザが視線により追えていても、不規則に視点位置が動くため、ユーザが視線により被写体を追えていないと誤判定されてしまう。このため、このような場合には、視点軌跡の不規則性を判定するための閾値ＴＨｒは、そうでない場合よりも大きい方がよい。

【0077】

［実行決定処理］
追尾制御処理の実行の有無を決定する処理（実行決定処理）を、図９に示されるフローチャートを用いて説明する。なお、実施形態１と同一の処理に関しては説明を省略する。なお、複数の被写体が映像に含まれる場合には、以下の「被写体軌跡の不規則度」は「複数の被写体の位置の軌跡（被写体軌跡）の不規則度の代表値（平均値、中央値、最頻値など）」と読み替えるものとする。

【0078】

Ｓ９０１において、システム制御部５０は、被写体軌跡の不規則度を取得（算出）して、被写体軌跡の不規則度が第１の閾値ＴＨｒ１以上であるかを判定する。被写体軌跡の不規則度の決定には、実施形態１に係る視点軌跡と同様に、被写体軌跡の周波数や、被写体軌跡の時間方向の自己相関、速度ベクトル、加速度ベクトルを用いることができる。被写体軌跡の不規則度が第１の閾値ＴＨｒ１以上（閾値以上）である場合にはＳ９０２に進む。被写体軌跡の不規則度が第１の閾値ＴＨｒ１未満（閾値未満）である場合にはＳ９０５に進む。

【0079】

Ｓ９０２において、システム制御部５０は、被写体軌跡の不規則度が第２の閾値ＴＨｒ２未満であるか否かを判定する。ここで、第２の閾値ＴＨｒ２は、第１の閾値ＴＨｒ１よりも大きな値である。被写体軌跡の不規則度が第２の閾値ＴＨｒ２未満である場合にはＳ９０３に進む。被写体軌跡の不規則度が第２の閾値ＴＨｒ２以上である場合にはＳ９０４に進む。

【0080】

Ｓ９０３において、システム制御部５０は、追尾制御処理（Ｓ５０４～Ｓ５０７）を含むＳ５０４～Ｓ５１３の処理を実行する。なお、ここでＳ５０７の処理が行われた後には、本フローチャートにおけるＳ５０１に進む。

【0081】

Ｓ９０４において、システム制御部５０は、Ｓ９０２がＹＥＳである場合（被写体軌跡の不規則度が、第１の閾値ＴＨｒ１以上であり、かつ、第２の閾値ＴＨｒ２未満である場合）よりも、Ｓ５０５における判定のための閾値ＴＨｒを大きくする。このように、システム制御部５０は、被写体軌跡の不規則度が高い場合には、視点軌跡の不規則性の判定閾値である閾値ＴＨｒを大きくする。このことで、被写体が不規則に動くシーンなどにおいて、ユーザの視線により被写体を追えているにも関わらず、ユーザの視線により被写体を追えていない（Ｓ５０５Ｎｏ）と判定されてしまう可能性を低減できる。

【0082】

Ｓ９０５において、システム制御部５０は、追尾制御処理（Ｓ５０４～Ｓ５０７）を実行しないようにする。これは、Ｓ９０５に進んでいる場合には、被写体の位置の軌跡が非常に規則的であることからユーザの視線による被写体を追うことが容易であり、ユーザが被写体を追えていない可能性が低いためである。なお、システム制御部５０は、追尾制御処理であるＳ５０４～Ｓ５０７の処理以外のＳ５０８～５１３の処理を実行する。

【0083】

以上のように、本実施形態では、デジタルカメラ１００は、被写体軌跡に応じて、追尾制御処理（Ｓ５０４～Ｓ５０７）の実行の有無や視点軌跡の不規則性の閾値Ｔｈｒを切り替える。このことにより、追尾制御処理による不要な処理量を削減することや、ユーザが視線により被写体を追えているか否かを適切に判定することができる。

【0084】

＜実施形態３＞
本実施形態では、システム制御部５０は、実施形態１におけるＳ５０５にて視点軌跡の不規則度が高いと判定された場合に、デジタルカメラ１００が有する機械学習器を用いて主被写体（ユーザが撮影（追尾）したい被写体）を判定する。そして、システム制御部５０は、判定した主被写体に対して追尾を行い、追尾枠を表示する。なお、これに限らず、視点軌跡が規則的である場合であっても（Ｓ５０５の判定を経ずに）、システム制御部５０は、機械学習器を用いて主被写体を判定してもよい。

【0085】

以下では、機械学習器において、機械学習の一手法であるニューラルネットワークを用いる場合について説明するが、線形（非線形）回帰など、他の回帰手法を用いることも可能である。

【0086】

図１０は、ニューラルネットワークの構造の一例を示したものである。図１０に示すニューラルネットワークは、入力層１００１、中間層１００２、出力層１００３、ニューロン１００４を含む。また、接続線１００５は、ニューロン１００４同士の接続関係を表す。ここでは、図示の都合上、代表的なニューロンと接続線のみ番号を付与している。システム制御部５０は、ニューラルネットワークの入力層１００１にデータを入力し、出力層１００３からデータを取得する。

【0087】

入力層１００１のニューロン１００４の数は、入力するデータの次元と同じである。入力層１００１に入力されるデータは、視点軌跡および被写体の位置の軌跡のデータを含む。また、出力層１００３は、映像における主被写体のｘ座標とｙ座標との２つの値を出力する。このため、出力層１００３のニューロン１００４の数は２である。主被写体のｘ座標とｙ座標との２つの値の出力により、システム制御部５０は、主被写体を判定できる。

【0088】

入力層１００１におけるｉ番目のニューロン１００４と、中間層１００２におけるｊ番目のニューロン１００４とを接続する接続線１００５には、重みｗ_ｊｉが与えられている。中間層１００２におけるｊ番目のニューロン１００４が出力する値ｚ_ｊは、以下の式６によって算出できる。

【数5】

【0089】

式６において、ｘ_ｉは入力層１００１のｉ番目のニューロン１００４に入力される値を表している。中間層１００２におけるｊ番目のニューロン１００４と接続されている、入力層１００１のニューロン１００４の数がＮであれば、ｉは１～Ｎの値を取る。ｂ_ｊはバイアスと呼ばれ、ｊ番目のニューロンの１００４の発火のしやすさをコントロールするパラメータである。

【0090】

また、式６および式７に示す関数ｈ（ｐ）は、ｐと０のうち大きい方の値を出力する関数である。つまり、関数ｈ（ｐ）は、関数への入力値ｐが０以下の場合には出力値が常に０になり、入力値ｐが０より上の場合には出力値が入力値と同じ値ｐとなる関数である。関数ｈ（ｐ）は、ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）と呼ばれる活性化関数である。活性化関数には、シグモイド関数など別の関数を用いることも可能である。

【0091】

また、出力層１００３のｋ番目のニューロン１００４が出力する値ｙ_ｋは、以下の式８により算出できる。ここで、式８におけるｋは、１と２のいずれかの値である。ｋ＝１は
主被写体のｘ座標の値を出力するニューロン１００４を表し、ｋ＝２は主被写体のｙ座標の値を出力するニューロン１００４を表す。

【数6】

【0092】

式８において、ｚ_ｊは中間層１００２のｊ番目のニューロン１００４が出力する値を表す。出力層１００３のｋ番目のニューロン１００４と接続されている中間層１００２の全てのニューロン１００４の数をＭとすると、ｊは１～Ｍまでの値を取る。

【0093】

また、関数ｆは、恒等写像であるとする。なお、画像の座標値が常に正であるため、関数ｆには、式７に用いたＲｅＬＵを用いてもよい。また、本実施形態では、後述するように［０，１］に規格化された座標値のみを扱うため、関数ｆには、シグモイド関数を用いることも可能である。

【0094】

ここで、ニューラルネットワークの学習をするために、学習データとして、入力データと正解データとが用意される。例えば、複数のシーンを人が見たときの視点軌跡を予め記録しておき、そのときの視点軌跡および、被写体の位置の軌跡を入力層１００１に入力するための入力データとする。なお、学習データは、データオーギュメンテーション技術によって、人為的にデータの水増しが行われてもよい。記録された視点軌跡のそれぞれは、映像（画像）サイズの大きさによる影響を除外するため、映像の横幅および縦幅に応じて、予め［０，１］の範囲に規格化されている。また、学習データとしての正解データは、主被写体の画像上における規格化された正解座標（ｘ座標およびｙ座標）を示す。学習対象とするシーンとしては、視点規制の不規則性が検出される可能性のあるシーン（複数の被写体が交錯して動くシーンなど）が望ましいが、視線による追跡が容易であるシーンが加わっていてもよい。

【0095】

また、学習時には、入力データ（視点位置の軌跡や被写体の位置の軌跡）に基づき出力される座標と、正解座標との不一致度を表す損失関数Ｌが最小化するように、全ての重みとバイアスの最適化を行う。損失関数Ｌには、下記の式９で表されるような２乗和誤差の関数を用いることができる。

【数7】

【0096】

式９において、添え字のｋは座標成分を表しており、ｋ＝１がｘ座標、ｋ＝２がｙ座標を表す。ｙ_ｋは、出力層１００３におけるニューロン１００４から出力される規格化された座標値である。ｔ_ｋは、主被写体の規格化された正解の座標値である。式９に基づいて最適化することにより、正解座標と出力される座標値が近づくように重みやバイアスを決定することができる。

【0097】

なお、損失感数Ｌは、出力される座標値と正解座標との不一致度（一致度）を表す関数であれば任意の関数であってよい。

【0098】

なお、学習済みの重みやバイアス値は、予め不揮発性メモリ５６に保存しておき、必要に応じてメモリ３２に格納する。以上により、学習済みの重みやバイアスを用いて、ニューラルネットワークは、式５～式８に基づいて主被写体の規格化された座標値（ｙ_１、ｙ_２）を出力する。

【0099】

以上説明したように、本実施形態によれば、視点軌跡の軌跡と被写体の位置の軌跡を用
いることで、主被写体を判定することが可能になる。正確に主被写体が判定できれば、デジタルカメラ１００は、ユーザの所望する被写体を追尾（撮影）することができる。

【0100】

＜実施形態４＞
ユーザが頻繁にデジタルカメラ１００の位置を動かす場合には、ユーザが主被写体を見失っている可能性がある。また、パンニングした直後や望遠レンズを用いた撮影の際には、ユーザは被写体を見失いやすい。そこで、本実施形態では、デジタルカメラ１００は、デジタルカメラ１００の動き情報やレンズの情報に基づき、追尾制御処理（Ｓ５０４～Ｓ５０７の処理）の実行の有無を切り替える。

【0101】

［実行決定処理］
追尾制御処理の実行の有無を決定する処理（実行決定処理）を、図１１に示すフローチャートを用いて説明する。なお、実施形態１，２と同一の処理に関しては説明を省略する。

【0102】

Ｓ１１０１において、システム制御部５０は、姿勢検知部５５が検知したデジタルカメラ１００の動き量が、閾値ＴＨｃａｍ以上であるか否かを判定する。デジタルカメラ１００の動き量が閾値ＴＨｃａｍ以上である場合にはＳ１１０２に進む。デジタルカメラ１００の動き量が閾値ＴＨｃａｍ未満である場合にはＳ１１０４に進む。

【0103】

ここで、デジタルカメラ１００の動き量には、姿勢検知部５５により検知できるピッチ角やヨー角、ロール角などのデジタルカメラ１００の角度の変化を用いることができる。なお、デジタルカメラ１００の動き量は、デジタルカメラ１００の水平方向や垂直方向、斜め方向などの移動量（シフト移動量）であってもよい。また、デジタルカメラ１００の動き量の代わりに、一定の時間内における、動き量が予め定めた閾値を超える回数を用いてもよい。動き量が予め定めた閾値を超える回数が多いほど、デジタルカメラ１００を頻繁にユーザが動かしているといえる。従って、この場合には、Ｓ１１０１において、システム制御部５０は、姿勢検知部５５が検知したデジタルカメラ１００の動き量が予め定めた閾値を超える回数が、閾値ＴＨｃａｍ以上であるか否かを判定する。

【0104】

Ｓ１１０２において、システム制御部５０は、レンズシステム制御回路４からレンズの焦点距離の情報を取得し、焦点距離が閾値ＴＨｄ以上であるかを判定する。焦点距離が閾値ＴＨｄ以上である場合にはＳ１１０３に進む。焦点距離が閾値ＴＨｄ未満である場合にはＳ１１０４に進む。

【0105】

Ｓ１１０３において、システム制御部５０は、実施形態１の追尾制御処理（Ｓ５０４～Ｓ５０７）を含むＳ５０４～Ｓ５１３の処理を実行する。Ｓ１１０３に進んでいる場合には、焦点距離が大きいため望遠レンズを用いており、かつ、デジタルカメラ１００が大きく動いていると考えられるので、ユーザが被写体を見失いやすい。このため、視点軌跡の不規則度に基づく追尾制御処理が行われることが望ましい。なお、ここでＳ５０７の処理が行われた後には、本フローチャートにおけるＳ５０１に進む。

【0106】

Ｓ１１０４において、システム制御部５０は、実施形態１の追尾制御処理を含まないＳ５０８～Ｓ５１３の処理を実行する。

【0107】

なお、本実施形態では、デジタルカメラ１００の動き量が閾値ＴＨｃａｍ以上であり、かつ、焦点距離が閾値ＴＨｄ以上である場合にのみ、Ｓ５０４～Ｓ５０７の追尾制御処理が行われる。しかし、デジタルカメラ１００の動き量が閾値ＴＨｃａｍ以上であることと、焦点距離が閾値ＴＨｄ以上であることとの少なくともいずれかを一方を満たす場合に、追尾制御処理が行われてもよい。また、実施形態２と同様に、システム制御部５０は、カ
メラの動きや焦点距離に応じて、Ｓ５０５の視点軌跡の不規則性を判定するための閾値ＴＨｒの大きさを切り替えてもよい。

【0108】

以上のように、カメラの動きやレンズの情報に応じて、追尾制御処理の実行の有無を切り替えることにより、処理量を抑えつつ、適切に主被写体を判定することが可能になる。

【0109】

なお、上記の各実施形態（各変形例）の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ＡＳＩＣ、ＦＰＧＡ、ＤＳＰなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリ（記憶媒体）とを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。

【0110】

（その他の実施形態）
本発明は、上記の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0111】

１００：デジタルカメラ（追尾装置）、５０：システム制御部、７０１：視線取得部、
２４：画像処理部、２８：表示部、４１２：追尾部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】