特許 7483352 撮影装置及びその制御方法並びにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-07

(45)【発行日】2024-05-15

(54)【発明の名称】撮影装置及びその制御方法並びにプログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240508BHJP

   H04N 23/63 20230101ALI20240508BHJP

   G03B 7/091 20210101ALI20240508BHJP

   G02B 7/28 20210101ALI20240508BHJP

   G03B 13/36 20210101ALI20240508BHJP

   G03B 17/18 20210101ALI20240508BHJP

   G03B 17/02 20210101ALN20240508BHJP

【ＦＩ】

H04N23/60

H04N23/63

G03B7/091

G02B7/28 N

G03B13/36

G03B17/18

G03B17/02

【請求項の数】 18

(21)【出願番号】P 2019208913

(22)【出願日】2019-11-19

(65)【公開番号】P2021082944

(43)【公開日】2021-05-27

【審査請求日】2022-11-15

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100125254

【弁理士】

【氏名又は名称】別役 重尚

(72)【発明者】

【氏名】緑川 慶祐

【審査官】越河 勉

(56)【参考文献】

【文献】特開２０１５－１０３８５２（ＪＰ，Ａ）

【文献】特開２０１２－１６０７８０（ＪＰ，Ａ）

【文献】特開２０１５－０３４８９５（ＪＰ，Ａ）

【文献】特開２０１０－００９４２５（ＪＰ，Ａ）

【文献】特開２０１５－２３２６２０（ＪＰ，Ａ）

【文献】特開平０９－１０５９７２（ＪＰ，Ａ）

【文献】特開２０１１－１２０１８６（ＪＰ，Ａ）

【文献】国際公開第２０１０／１１３９２９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／６３

Ｇ０３Ｂ ７／０９１

Ｇ０２Ｂ ７／２８－７／４０

Ｇ０３Ｂ １３／３６

Ｇ０３Ｂ １７／１８

Ｇ０３Ｂ １７／０２

(57)【特許請求の範囲】

【請求項1】

撮像装置であって、
前記撮像装置により撮像された撮像画像に含まれる物体を検出すると共に、前記検出された物体の種別を検出する物体検出手段と、
前記撮像装置の動き種別を推定する動き種別推定手段と、
前記物体検出手段により複数の物体が検出された場合、前記動き種別推定手段によって推定された前記撮像装置の動き種別、及び前記物体検出手段により検出された前記複数の物体の夫々の種別に応じて、前記複数の物体の夫々に対して撮像制御対象とする優先度を付与する優先度付与手段と、
前記撮像装置の本体の位置姿勢変化を計測する計測手段とを備え、
前記動き種別推定手段は、所定期間における前記計測手段の出力をもとに前記撮像装置の動き種別を推定し、
前記物体検出手段が検出可能な物体の種別は、前記物体検出手段が検出可能な各物体について想定される動き方に応じた種別であり、
前記動き種別推定手段は、前記所定期間における前記計測手段の出力をもとに、前記撮像装置の前記所定期間内の移動速度を算出し、
前記優先度付与手段は、前記物体検出手段により検出された前記複数の物体の夫々に対して、前記算出された前記撮像装置の前記所定期間における移動速度と、前記複数の物体の夫々の種別毎に想定される動き方に応じて、前記撮像制御対象とする優先度を付与することを特徴とする撮像装置。

【請求項2】

撮像装置であって、
前記撮像装置により撮像された撮像画像に含まれる物体を検出すると共に、前記検出された物体の種別を検出する物体検出手段と、
前記撮像装置の動き種別を推定する動き種別推定手段と、
前記物体検出手段により複数の物体が検出された場合、前記動き種別推定手段によって推定された前記撮像装置の動き種別、及び前記物体検出手段により検出された前記複数の物体の夫々の種別に応じて、前記複数の物体の夫々に対して撮像制御対象とする優先度を付与する優先度付与手段と、
前記撮像装置の本体の位置姿勢変化を計測する計測手段とを備え、
前記動き種別推定手段は、所定期間における前記計測手段の出力をもとに前記撮像装置の動き種別を推定し、
前記物体検出手段が検出可能な物体の種別は、前記物体について想定される加減速の度合いに応じた種別であり、
前記動き種別推定手段は、前記所定期間における前記計測手段の出力をもとに、前記撮像装置の前記所定期間内の加減速の度合いを算出し、
前記優先度付与手段は、前記物体検出手段により検出された前記複数の物体の夫々に対して、前記算出された前記撮像装置の前記所定期間における加減速の度合いと、前記複数の物体の夫々の種別毎に想定される加減速の度合いに応じて、前記撮像制御対象とする優先度を付与することを特徴とする撮像装置。

【請求項3】

撮像装置であって、
前記撮像装置により撮像された撮像画像に含まれる物体を検出すると共に、前記検出された物体の種別を検出する物体検出手段と、
前記撮像装置の動き種別を推定する動き種別推定手段と、
前記物体検出手段により複数の物体が検出された場合、前記動き種別推定手段によって推定された前記撮像装置の動き種別、及び前記物体検出手段により検出された前記複数の物体の夫々の種別に応じて、前記複数の物体の夫々に対して撮像制御対象とする優先度を付与する優先度付与手段と、
前記撮像装置の本体の位置姿勢変化を計測する計測手段と、
前記所定期間の前記計測手段の出力の周波数成分を解析する解析手段とを備え、
前記動き種別推定手段は、所定期間における前記計測手段の出力と、前記解析手段により解析された周波数成分とに基づき、前記撮像装置の動き種別を推定することを特徴とする撮像装置。

【請求項4】

前記動き種別推定手段は、前記解析手段によって得られた所定帯域の周波数成分の割合に応じて前記撮像装置の加減速の度合いを算出することを特徴とする請求項３記載の撮像装置。

【請求項5】

前記所定帯域とは、３Ｈｚ以上１０Ｈｚ未満であることを特徴とする請求項４記載の撮像装置。

【請求項6】

撮像装置であって、
前記撮像装置により撮像された撮像画像に含まれる物体を検出する物体検出手段と、
前記複数の物体の種別を検出する種別検出手段と、
前記撮像装置に対してユーザが指定した撮影設定を取得する取得手段と、
前記物体検出手段により複数の物体が検出された場合、前記複数の物体の夫々を予め定義されている複数のクラスの１つに分類し、前記取得手段により取得された撮影設定、及び前記複数の物体の夫々が分類されたクラスに応じて、前記複数の物体の夫々に対して撮像制御対象とする優先度を付与する優先度付与手段とを備え、
前記クラスは、前記物体検出手段が検出可能な物体の種別毎に定義される速度に基づき算出される前記撮像画像の上の移動速度であり、
前記優先度付与手段は、前記物体検出手段により検出された前記複数の物体の夫々に対して算出された前記撮像画像の上の移動速度に応じて、前記撮像制御対象とする優先度を付与することを特徴とする撮像装置。

【請求項7】

撮像装置であって、
前記撮像装置により撮像された撮像画像に含まれる物体を検出する物体検出手段と、
前記撮像装置に対してユーザが指定した撮影設定を取得する取得手段と、
前記物体検出手段により複数の物体が検出された場合、前記複数の物体の夫々を予め定義されている複数のクラスの１つに分類し、前記取得手段により取得された撮影設定、及び前記複数の物体の夫々が分類されたクラスに応じて、前記複数の物体の夫々に対して撮像制御対象とする優先度を付与する優先度付与手段と、
前記複数の物体の種別を検出する種別検出手段とを備え、
前記クラスは、前記物体検出手段が検出可能な物体の種別毎に定義される速度に基づき算出される前記撮像画像の上の移動速度であり、
前記優先度付与手段は、前記取得手段により前記撮影設定の１つがシャッター速度優先モードである場合、前記物体検出手段により検出された前記複数の物体の夫々に対して、前記取得手段により取得された前記撮影設定に含まれるシャッター速度と、前記複数の物体の夫々が分類されたクラスに応じて、前記複数の物体の夫々に対して前記撮像制御対象とする優先度を付与することを特徴とする撮像装置。

【請求項8】

前記物体検出手段が検出可能な物体の種別毎に定義される速度は、前記物体検出手段が検出可能な物体の種別毎に定義される実空間上の移動速度であることを特徴とする請求項７に記載の撮像装置。

【請求項9】

前記複数の物体の夫々の、撮影時の焦点距離を取得する第１の取得手段を更に備え、 前記複数の物体の夫々について、その種別の実空間上の移動速度として定義される速度及び前記取得された焦点距離に基づいて、前記撮像画像の上の移動速度が算出されることを特徴とする請求項８に記載の撮像装置。

【請求項10】

前記複数の物体の夫々の、撮影時の撮像装置からの被写体距離を取得する第２の取得手段を更に備え、
前記複数の物体の夫々について、その種別の実空間上の移動速度として定義される速度及び前記取得された被写体距離に基づいて、前記撮像画像の上の移動速度が算出されることを特徴とする請求項７又は８に記載の撮像装置。

【請求項11】

撮像装置であって、
前記撮像装置により撮像された撮像画像に含まれる物体を検出する物体検出手段と、
前記撮像装置に対してユーザが指定した撮影設定を取得する取得手段と、
前記物体検出手段により複数の物体が検出された場合、前記複数の物体の夫々を予め定義されている複数のクラスの１つに分類し、前記取得手段により取得された撮影設定、及び前記複数の物体の夫々が分類されたクラスに応じて、前記複数の物体の夫々に対して撮像制御対象とする優先度を付与する優先度付与手段と、
前記複数の物体の種別及び前記撮像画像における前記物体の位置する領域を検出する種別領域検出手段とを備え、
前記物体検出手段が検出可能な物体の種別毎に定義される速度は、前記物体検出手段が検出可能な物体の種別毎に定義される被写体サイズに対する相対速度であって、
前記複数の物体の夫々について、前記種別領域検出手段により検出された種別の相対速度として定義される速度と、前記種別領域検出手段により検出された領域のサイズに基づいて、前記撮像画像の上の移動速度が算出されることを特徴とする撮像装置。

【請求項12】

前記物体検出手段により検出された物体のうち、前記優先度付与手段により最も高い優先度が付与された物体を強調表示して前記撮像画像を表示する表示手段を更に備えることを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。

【請求項13】

前記物体検出手段は、学習済モデルにより構成されることを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。

【請求項14】

撮像装置の制御方法であって、
前記撮像装置により撮像された撮像画像に含まれる物体を検出すると共に、前記検出された物体の種別を検出する物体検出ステップと、
前記撮像装置の動き種別を推定する動き種別推定ステップと、
前記物体検出ステップにより複数の物体が検出された場合、前記動き種別推定ステップによって推定された前記撮像装置の動き種別、及び前記物体検出ステップにより検出された前記複数の物体の夫々の種別に応じて、前記複数の物体の夫々に対して撮像制御対象とする優先度を付与する優先度付与ステップと、
前記撮像装置の本体の位置姿勢変化を計測する計測ステップとを有し、
前記動き種別推定ステップは、所定期間における前記計測ステップの出力をもとに前記撮像装置の動き種別を推定し、
前記物体検出ステップにおいて検出可能な物体の種別は、前記物体検出ステップにおいて検出可能な各物体について想定される動き方に応じた種別であり、
前記動き種別推定ステップでは、前記所定期間における前記計測ステップの出力をもとに、前記撮像装置の前記所定期間内の移動速度を算出し、
前記優先度付与ステップでは、前記物体検出ステップにより検出された前記複数の物体の夫々に対して、前記算出された前記撮像装置の前記所定期間における移動速度と、前記複数の物体の夫々の種別毎に想定される動き方に応じて、前記撮像制御対象とする優先度を付与することを特徴とする制御方法。

【請求項15】

撮像装置の制御方法であって、
前記撮像装置により撮像された撮像画像に含まれる物体を検出すると共に、前記検出された物体の種別を検出する物体検出ステップと、
前記撮像装置の動き種別を推定する動き種別推定ステップと、
前記物体検出ステップにおいて複数の物体が検出された場合、前記動き種別推定ステップによって推定された前記撮像装置の動き種別、及び前記物体検出ステップにより検出された前記複数の物体の夫々の種別に応じて、前記複数の物体の夫々に対して撮像制御対象とする優先度を付与する優先度付与ステップと、
前記撮像装置の本体の位置姿勢変化を計測する計測ステップとを有し、
前記動き種別推定ステップでは、所定期間における前記計測ステップの出力をもとに前記撮像装置の動き種別を推定し、
前記物体検出ステップにおいて検出可能な物体の種別は、前記物体について想定される加減速の度合いに応じた種別であり、
前記動き種別推定ステップでは、前記所定期間における前記計測ステップの出力をもとに、前記撮像装置の前記所定期間内の加減速の度合いを算出し、
前記優先度付与ステップでは、前記物体検出ステップにより検出された前記複数の物体の夫々に対して、前記算出された前記撮像装置の前記所定期間における加減速の度合いと、前記複数の物体の夫々の種別毎に想定される加減速の度合いに応じて、前記撮像制御対象とする優先度を付与することを特徴とする撮像装置の制御方法。

【請求項16】

撮像装置の制御方法であって、
前記撮像装置により撮像された撮像画像に含まれる物体を検出すると共に、前記検出された物体の種別を検出する物体検出ステップと、
前記撮像装置の動き種別を推定する動き種別推定ステップと、
前記物体検出ステップにより複数の物体が検出された場合、前記動き種別推定ステップによって推定された前記撮像装置の動き種別、及び前記物体検出ステップにより検出された前記複数の物体の夫々の種別に応じて、前記複数の物体の夫々に対して撮像制御対象とする優先度を付与する優先度付与ステップと、
前記撮像装置の本体の位置姿勢変化を計測する計測ステップと、
前記所定期間の前記計測ステップの出力の周波数成分を解析する解析ステップとを有し、
前記動き種別推定ステップでは、所定期間における前記計測ステップの出力と、前記解析ステップにより解析された周波数成分とに基づき、前記撮像装置の動き種別を推定することを特徴とする撮像装置の制御方法。

【請求項17】

撮像装置の制御方法であって、
前記撮像装置により撮像された撮像画像に含まれる物体を検出する物体検出ステップと、
前記複数の物体の種別を検出する種別検出ステップと、
前記撮像装置に対してユーザが指定した撮影設定を取得する取得ステップと、
前記物体検出ステップにより複数の物体が検出された場合、前記複数の物体の夫々を予め定義されている複数のクラスの１つに分類し、前記取得ステップにより取得された撮影設定、及び前記複数の物体の夫々が分類されたクラスに応じて、前記複数の物体の夫々に対して撮像制御対象とする優先度を付与する優先度付与ステップとを有し、
前記クラスは、前記物体検出ステップが検出可能な物体の種別毎に定義される速度に基づき算出される前記撮像画像の上の移動速度であり、
前記優先度付与ステップでは、前記物体検出ステップにより検出された前記複数の物体の夫々に対して算出された前記撮像画像の上の移動速度に応じて、前記撮像制御対象とする優先度を付与することを特徴とする撮像装置の制御方法。

【請求項18】

請求項１４乃至１７のいずれか１項に記載の制御方法を実行することを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置及びその制御方法並びにプログラムに関し、特に主被写体領域を決定する撮像装置及びその制御方法並びにプログラムに関する。

【背景技術】

【0002】

従来より、画像から被写体を検出しＡＵＴＯ ＦＯＣＵＳ（以下ＡＦ）などの撮像制御を行う撮像装置が存在する。また、ＡＦなどの撮像制御を行う際の主被写体領域の決定を自動化し、ユーザの撮影をサポートする技術も知られている。

【0003】

例えば、複数ある主被写体候補の中から一つを主被写体として選択する手段として、画像中央から最も近い被写体を主被写体とする第一の手段と、所定の色を有する被写体を主被写体とする第二の手段とが設けられる撮像装置がある（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００２－７７７１１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１の第一の手段では、ユーザが撮影したい被写体が画像中央付近にない場合、ユーザの意図に反した被写体が主被写体として選択されてしまう。一方、特許文献１の第二の手段では事前に撮影したい被写体の色が特定される情報（被写体の種別或いはその色情報）を設定する必要がある。従って、ユーザは、画角内に複数の被写体が存在する場合、撮影したい被写体が画像中央付近となるよう撮像装置の向きを調整するか、その被写体の色が特定される情報を撮影前に追加設定しておく必要がある。このような撮影装置の向きの調整や情報の追加設定は、ユーザが画角内にある撮影したい被写体の撮影を直ちに行いたい場合の妨げとなる。

【0006】

本発明は上述した課題に鑑みてなされたものであり、ユーザの意図に沿って、画角内に存在する複数の被写体の中から主被写体を選択することができる撮像装置及びその制御方法並びにプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の請求項１に係る撮像装置は、撮像装置であって、前記撮像装置により撮像された撮像画像に含まれる物体を検出すると共に、前記検出された物体の種別を検出する物体検出手段と、前記撮像装置の動き種別を推定する動き種別推定手段と、前記物体検出手段により複数の物体が検出された場合、前記動き種別推定手段によって推定された前記撮像装置の動き種別、及び前記物体検出手段により検出された前記複数の物体の夫々の種別に応じて、前記複数の物体の夫々に対して撮像制御対象とする優先度を付与する優先度付与手段と、前記撮像装置の本体の位置姿勢変化を計測する計測手段とを備え、前記動き種別推定手段は、所定期間における前記計測手段の出力をもとに前記撮像装置の動き種別を推定し、前記物体検出手段が検出可能な物体の種別は、前記物体検出手段が検出可能な各物体について想定される動き方に応じた種別であり、前記動き種別推定手段は、前記所定期間における前記計測手段の出力をもとに、前記撮像装置の前記所定期間内の移動速度を算出し、前記優先度付与手段は、前記物体検出手段により検出された前記複数の物体の夫々に対して、前記算出された前記撮像装置の前記所定期間における移動速度と、前記複数の物体の夫々の種別毎に想定される動き方に応じて、前記撮像制御対象とする優先度を付与することを特徴とする。
本発明の請求項２に係る撮像装置は、撮像装置であって、前記撮像装置により撮像された撮像画像に含まれる物体を検出すると共に、前記検出された物体の種別を検出する物体検出手段と、前記撮像装置の動き種別を推定する動き種別推定手段と、前記物体検出手段により複数の物体が検出された場合、前記動き種別推定手段によって推定された前記撮像装置の動き種別、及び前記物体検出手段により検出された前記複数の物体の夫々の種別に応じて、前記複数の物体の夫々に対して撮像制御対象とする優先度を付与する優先度付与手段と、前記撮像装置の本体の位置姿勢変化を計測する計測手段とを備え、前記動き種別推定手段は、所定期間における前記計測手段の出力をもとに前記撮像装置の動き種別を推定し、前記物体検出手段が検出可能な物体の種別は、前記物体について想定される加減速の度合いに応じた種別であり、前記動き種別推定手段は、前記所定期間における前記計測手段の出力をもとに、前記撮像装置の前記所定期間内の加減速の度合いを算出し、前記優先度付与手段は、前記物体検出手段により検出された前記複数の物体の夫々に対して、前記算出された前記撮像装置の前記所定期間における加減速の度合いと、前記複数の物体の夫々の種別毎に想定される加減速の度合いに応じて、前記撮像制御対象とする優先度を付与することを特徴とする。
本発明の請求項３に係る撮像装置は、撮像装置であって、前記撮像装置により撮像された撮像画像に含まれる物体を検出すると共に、前記検出された物体の種別を検出する物体検出手段と、前記撮像装置の動き種別を推定する動き種別推定手段と、前記物体検出手段により複数の物体が検出された場合、前記動き種別推定手段によって推定された前記撮像装置の動き種別、及び前記物体検出手段により検出された前記複数の物体の夫々の種別に応じて、前記複数の物体の夫々に対して撮像制御対象とする優先度を付与する優先度付与手段と、前記撮像装置の本体の位置姿勢変化を計測する計測手段と、前記所定期間の前記計測手段の出力の周波数成分を解析する解析手段とを備え、前記動き種別推定手段は、所定期間における前記計測手段の出力と、前記解析手段により解析された周波数成分とに基づき、前記撮像装置の動き種別を推定することを特徴とする。
本発明の請求項６に係る撮像装置は、撮像装置であって、前記撮像装置により撮像された撮像画像に含まれる物体を検出する物体検出手段と、前記複数の物体の種別を検出する種別検出手段と、前記撮像装置に対してユーザが指定した撮影設定を取得する取得手段と、前記物体検出手段により複数の物体が検出された場合、前記複数の物体の夫々を予め定義されている複数のクラスの１つに分類し、前記取得手段により取得された撮影設定、及び前記複数の物体の夫々が分類されたクラスに応じて、前記複数の物体の夫々に対して撮像制御対象とする優先度を付与する優先度付与手段とを備え、前記クラスは、前記物体検出手段が検出可能な物体の種別毎に定義される速度に基づき算出される前記撮像画像の上の移動速度であり、前記優先度付与手段は、前記物体検出手段により検出された前記複数の物体の夫々に対して算出された前記撮像画像の上の移動速度に応じて、前記撮像制御対象とする優先度を付与することを特徴とする。
本発明の請求項７に係る撮像装置は、撮像装置であって、前記撮像装置により撮像された撮像画像に含まれる物体を検出する物体検出手段と、前記撮像装置に対してユーザが指定した撮影設定を取得する取得手段と、前記物体検出手段により複数の物体が検出された場合、前記複数の物体の夫々を予め定義されている複数のクラスの１つに分類し、前記取得手段により取得された撮影設定、及び前記複数の物体の夫々が分類されたクラスに応じて、前記複数の物体の夫々に対して撮像制御対象とする優先度を付与する優先度付与手段と、前記複数の物体の種別を検出する種別検出手段とを備え、前記クラスは、前記物体検出手段が検出可能な物体の種別毎に定義される速度に基づき算出される前記撮像画像の上の移動速度であり、前記優先度付与手段は、前記取得手段により前記撮影設定の１つがシャッター速度優先モードである場合、前記物体検出手段により検出された前記複数の物体の夫々に対して、前記取得手段により取得された前記撮影設定に含まれるシャッター速度と、前記複数の物体の夫々が分類されたクラスに応じて、前記複数の物体の夫々に対して前記撮像制御対象とする優先度を付与することを特徴とする。

【0008】

本発明の請求項１１に係る撮像装置は、撮像装置であって、前記撮像装置により撮像された撮像画像に含まれる物体を検出する物体検出手段と、前記撮像装置に対してユーザが指定した撮影設定を取得する取得手段と、前記物体検出手段により複数の物体が検出された場合、前記複数の物体の夫々を予め定義されている複数のクラスの１つに分類し、前記取得手段により取得された撮影設定、及び前記複数の物体の夫々が分類されたクラスに応じて、前記複数の物体の夫々に対して撮像制御対象とする優先度を付与する優先度付与手段と、前記複数の物体の種別及び前記撮像画像における前記物体の位置する領域を検出する種別領域検出手段とを備え、前記物体検出手段が検出可能な物体の種別毎に定義される速度は、前記物体検出手段が検出可能な物体の種別毎に定義される被写体サイズに対する相対速度であって、前記複数の物体の夫々について、前記種別領域検出手段により検出された種別の相対速度として定義される速度と、前記種別領域検出手段により検出された領域のサイズに基づいて、前記撮像画像の上の移動速度が算出されることを特徴とする。

【発明の効果】

【0009】

本発明によれば、ユーザの意図に沿って、画角内に存在する複数の被写体の中から主被写体を選択することができる。

【図面の簡単な説明】

【0010】

【図1】実施例１に係る撮像装置の構成を示すブロック図である。

【図2】実施例１に係る撮像制御処理の手順を示すフローチャートである。

【図3】実施例１における撮像装置の動き種別の分類の例、検出可能な物体、及び撮像装置の動き種別毎に定義された各検出可能物体の撮像制御対象として付与される優先度の例である。

【図4】実施例１に係る撮像制御処理の適用例を示す図である。

【図5】ＣＮＮの基本的な構成を示す図である。

【図6】特徴検出処理および特徴統合処理の詳細について示す図である。

【図7】実施例２に係る撮像制御処理の手順を示すフローチャートである。

【図8】実施例２における、検出された物体に対し撮像素子上の座標系での速度を算出する一例の概略図である。

【図9】実施例２における、検出された物体に対し、撮像画像上の速度を算出する一例の概略図である。

【図10】実施例２における、絞り度合い及び各検出可能物体の種別に応じて決定される撮像制御対象としての優先度を示す例である。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

【実施例1】

【0012】

（撮像装置の構成）
図１を参照して、本実施例における撮像装置の構成について説明する。

【0013】

図１は、実施例１に係る撮像装置１００の構成を示すブロック図である。

【0014】

尚、撮像装置１００は、被写体を撮影して得られた動画や静止画のデータをテープや固体メモリ、光ディスクや磁気ディスクなどの各種メディアに記録可能なデジタルスチルカメラやビデオカメラなどであるが、これらに限定されるものではない。例えば、被写体を撮影して得られた動画や静止画のデータをクラウドストレージに転送することが可能なスマートフォンやタブレット等の撮像機能付きの携帯情報端末であってもよい。

【0015】

撮像装置１００内の各部は、バス１６０を介して相互に通信可能に接続されている。また撮像装置１００内の各部は、ＣＰＵ１５１（中央演算処理装置）により制御される。

【0016】

レンズユニット１０１は、固定１群レンズ１０２、ズームレンズ１１１、絞り１０３、固定３群レンズ１２１、フォーカスレンズ１３１、ズームモータ１１２（ＺＭ）、絞りモータ１０４（ＡＭ）およびフォーカスモータ１３２（ＦＭ）を有する。固定１群レンズ１０２、ズームレンズ１１１、絞り１０３、固定３群レンズ１２１およびフォーカスレンズ１３１の各レンズは撮影光学系を構成する。これらの各レンズは夫々複数枚のレンズにより構成されてもよい。また、レンズユニット１０１は着脱可能な交換レンズとして構成されてもよい。

【0017】

絞り制御部１０５は、ＣＰＵ１５１の指令に従い、絞りモータ１０４を介して絞り１０３を駆動することにより、絞り１０３の開口径を調整して撮影時の光量調節を行う。

【0018】

ズーム制御部１１３は、ズームモータ１１２を介してズームレンズ１１１を駆動することにより、焦点距離（画角）を変更する。

【0019】

フォーカス制御部１３３は、レンズユニット１０１のピント方向のずれ量に基づいてフォーカスモータ１３２を駆動する駆動量を決定する。加えてフォーカス制御部１３３はフォーカスモータ１３２を介してフォーカスレンズ１３１を駆動することにより、焦点状態を制御する。フォーカス制御部１３３およびフォーカスモータ１３２によるフォーカスレンズ１３１の移動制御により、ＡＦ制御が実現される。尚、本実施例におけるレンズユニット１０１のピント方向のずれ量の算出方法は特に限定されないが、例えば、位相差ＡＦ方式やコントラストＡＦ方式により算出される。

【0020】

レンズユニット１０１を介して撮像素子１４１上に結像する被写体像（撮像画像）は、撮像素子１４１により電気信号（画像信号）に変換され、撮像素子１４１から出力される。撮像素子１４１には、光電変換を行う光電変換素子が、横方向にＭ個、縦方向にＮ個、行列状に配置されている。撮像素子１４１から出力される画像信号は、撮像信号処理部１４２により撮像画像データとして整えられた後、撮像制御部１４３に出力される。

【0021】

撮像制御部１４３は、撮像信号処理部１４２が出力した撮像画像データを一時的に蓄積するよう、ＲＡＭ１５４（ランダム・アクセス・メモリ）を制御する。

【0022】

ＲＡＭ１５４は、撮像制御部１４３の制御により撮像画像データを一時的に蓄積すると、この撮像画像データを、画像圧縮解凍部１５３及び画像処理部１５２の双方に並行して送信する。また、後述する撮像制御処理（図２）においては、物体検出部１６２にも送信する。

【0023】

また、ＲＡＭ１５４は、リングバッファとして用いることもできる。この場合、所定期間内に撮像された複数の撮像画像データや、撮像画像データ毎に対応した物体検出部１６２の検出結果、位置姿勢変化取得部１６１から出力される撮像装置１００の位置姿勢変化（角速度）等をＲＡＭ１５４においてバッファリングできる。

【0024】

画像圧縮解凍部１５３は、ＲＡＭ１５４から送信された撮像画像データを圧縮した後、画像記録媒体１５７に出力して記録させる。

【0025】

画像処理部１５２は、ＲＡＭ１５４から送信された撮像画像データを処理し、撮像画像データのサイズをモニタディスプレイ１５０に表示する上で最適なサイズに変更する。その後、画像処理部１５２は、サイズ変更後の撮像画像データを適宜モニタディスプレイ１５０に送る。また、画像処理部１５２は、ＲＡＭ１５４から送信された撮像画像データを処理し、撮像画像データ同士の類似度算出等を行う。

【0026】

モニタディスプレイ１５０は、画像処理部１５２から送信された撮像画像データに基づきプレビュー画像表示やスルー画像表示を行う。またモニタディスプレイ１５０は、かかる表示を行う際、物体検出部１６２の物体検出結果を矩形などで重畳表示することもできる。

【0027】

操作スイッチ１５６は、モニタディスプレイ１５０と一体化されるタッチパネルや、レリーズボタン等の物理的なボタンなどを含む入力インターフェイスである。ユーザは、モニタディスプレイ１５０に表示される種々の機能アイコンをタッチパネルを用いて選択することなどにより、様々な指示を撮像装置１００に対して行うことができる。

【0028】

ＣＰＵ１５１は、操作スイッチ１５６を介したユーザ指示や、一時的にＲＡＭ１５４に蓄積された撮像画像データの大きさに基づき、撮像素子１４１の蓄積時間や撮像素子１４１から撮像信号処理部１４２へ出力を行う際のゲインの設定値を決定する。その後、ＣＰＵ１５１は、決定した蓄積時間、ゲインの設定値を撮像制御部１４３に送信する。

【0029】

撮像制御部１４３は、ＣＰＵ１５１から送信された蓄積時間、ゲインの設定値に基づき、撮像素子１４１を制御する。

【0030】

物体検出部１６２では、ＲＡＭ１５４から送信された撮像画像データに対して物体検出処理を行い、撮像画像に含まれる物体を検出すると共に、その種別及び撮像画像におけるその物体の位置する領域を検出する（種別検出手段・種別領域検出手段）。物体検出部１６２における物体検出処理は、ＣＮＮ（ＣＯＮＶＯＬＵＴＩＮＡＬ ＮＥＵＲＡＬ ＮＥＴＷＯＲＫＳ）による特徴抽出処理により実現する。物体検出部１６２の学習処理の詳細は後述する。ＣＰＵ１５１は、後述する図２の撮像制御処理において、物体検出部１６２で検出された物体の夫々に対して優先度を付与する。

【0031】

フォーカス制御部１３３は、画角内の主被写体としたい物体が位置する領域（以下、主被写体領域という）に対するＡＦ制御を実現する。

【0032】

絞り制御部１０５は、主被写体領域の輝度値を用いた露出制御を行う。

【0033】

画像処理部１５２は、主被写体領域の画像が最適となるようにガンマ補正、ホワイトバランス処理などを行う。

【0034】

バッテリ１５９は、電源管理部１５８により適切に管理され、撮像装置１００の全体に安定した電源供給を行う。

【0035】

フラッシュメモリ１５５は、撮像装置１００の動作に必要な制御プログラムや、各部の動作に用いるパラメータ等を記録する。ユーザの操作により撮像装置１００が起動すると（電源ＯＦＦ状態から電源ＯＮ状態へ移行すると）、フラッシュメモリ１５５に格納された制御プログラム及びパラメータがＲＡＭ１５４の一部に読み込まれる。ＣＰＵ１５１は、ＲＡＭ１５４にロードされた制御プログラム及び定数に従って撮像装置１００の動作を制御する。

【0036】

位置姿勢変化取得部１６１は、例えばジャイロや加速度センサ、電子コンパス等の位置姿勢センサにより構成され、撮像装置１００の撮影シーンに対する位置姿勢変化を計測する。本実施例では撮像装置１００のヨー方向、ピッチ方向の各軸周りの回転による位置姿勢変化（角速度）を計測し、ＲＡＭ１５４にバッファリングして利用するが、本発明をこれに限定する意図はない。

【0037】

（全体処理フロー）
次に、図２のフローチャートを用いて、本実施例に係る撮像制御処理について説明する。本処理は、ユーザが操作スイッチ１５６であるレリーズボタンを半押しした際に開始する処理であり、ＣＰＵ１５１がＲＡＭ１５４にロードされた制御プログラムに基づき実行する。

【0038】

まずステップＳ２０１において、撮像制御部１４３からＲＡＭ１５４を介して、画像処理部１５２、物体検出部１６２を含む各部へ撮像画像データを供給する。ステップＳ２０１で画像処理部１５２に供給された撮像画像データは、画像処理部１５２におけるサイズ調整等の後、モニタディスプレイ１５０にスルー画像として表示される。

【0039】

次にステップＳ２０２において、物体検出部１６２にステップＳ２０１で供給された撮像画像データに対して物体検出処理を行わせる。物体検出処理の詳細は後述するが、物体検出部１６２において予め学習された物体の種別と、検出された物体が位置する領域が撮像画像に含まれる各物体に対する検出結果として得られる。この際、検出された各物体は、モニタディスプレイ１５０に表示されるスルー画像上において主被写体候補として表示される。例えば、スルー画像上において、検出された各物体の周りに点線枠が表示される。

【0040】

次にステップＳ２０３において、ステップＳ２０２において物体検出部１６２により２つ以上の物体が検出されたか否かを判定する。二つ以上の物体が検出されていればステップＳ２０４へ進み、検出されていなければステップＳ２０６へ進む。

【0041】

次にステップＳ２０４において、撮像装置１００の動き種別の推定を行う（動き種別推定手段）。ここで撮像装置１００の動き種別とは現在時刻までの所定期間内に、ユーザが被写体を追いかけることを意図して撮像装置１００をどのように動かしたか（カメラワーク）を分類するための種別である。撮像装置１００の動き種別の具体例、及びその推定方法については後述する。

【0042】

次にステップＳ２０５において、ステップＳ２０４で推定された撮像装置１００の動き種別に応じて、ステップＳ２０２で検出された各物体に対して撮像制御対象とする優先度を付与する（優先度付与手段）。本実施例でいう撮像制御には、露出補正、ＡＦ、防振が含まれる。この際、付与された優先度が最も高い物体をモニタディスプレイ１５０に表示されたスルー画像上に強調表示させてもよい。これにより、ユーザは、画角内に存在する物体のうち、主被写体としたい物体に最も高い優先度が付与されたか否かを判断することができる。尚、強調表示とは、物体検出部１６２で検出された物体のうち、付与された優先度が最も高い物体がどれであるのかユーザが視認できる表示であれば特に限定されない。例えば、強調表示として、スルー画像上において、付与された優先度が最も高い物体の周りに黒枠を表示したり、付与された優先度が最も高い物体を指し示す矢印を表示するといった構成が例示できる。

【0043】

次にステップＳ２０６において、ユーザからの終了指示があったか否か判定を行う。終了指示があった場合、本処理を終了し、終了指示がなかった場合、ステップＳ２０１からの一連の処理を繰り返す。

【0044】

例えば、ユーザが操作スイッチ１５６であるレリーズボタンを全押しした場合、ユーザからの終了指示があったと判断する。この場合、ステップＳ２０５で最も高い優先度が付与された物体を主被写体に決定し、主被写体領域に対して、フォーカス制御部１３３によるＡＦ制御や絞り制御部１０５による露出制御がなされた後、ＣＰＵ１５１は撮影を開始する。

【0045】

また、ユーザが操作スイッチ１５６であるタッチパネルを用いて、スルー画像上の主被写体候補の一つをタッチした場合も、ユーザからの終了指示があったと判断する。この場合、ステップＳ２０５で付与された優先度の高低に関係なく、ユーザがタッチした主被写体候補を主被写体に決定する。

【0046】

次に、図４を用いて、本実施例に係る撮像制御処理の各種適用例を説明する。

【0047】

図２のステップＳ２０３において物体検出部１６２により複数の物体が検出されたと判定された場合、どの物体を撮像制御対象とするかを絞る必要がある。そこで本実施例では、予め種々の撮像装置１００の動き種別を定義しておき、図２のステップＳ２０４において、撮像装置１００のカメラワークがどの動き種別に該当しているかを推定する。さらに、図２のステップＳ２０５では推定された撮像装置１００の動き種別から、検出された複数の物体の夫々に優先度を付与する。

【0048】

（実施例１の適用例１：滑らかに動く被写体）
以下、図４（Ａ）を用いて、本実施例の適用例１について説明する。

【0049】

本適用例の場合、物体検出部１６２で検出している建物、犬、車の３つの主被写体候補の中で、ユーザは走行する自動車を撮影しようとしていることを、ＣＰＵ１５１は図２の撮像制御処理により特定する。

【0050】

図４（Ａ）に示すグラフの曲線は、本適用例における位置姿勢変化取得部１６１から得られる現在時刻までの所定期間における撮像装置１００のヨー方向の位置姿勢変化である。このグラフの曲線から、ユーザは水平方向に動いている物体を追跡していること、故に静止物体はユーザが主被写体としたい物体ではないことが推察される。そこで、ＣＰＵ１５１は、主被写体候補のうち、静止物体である建物に対し最も低い優先度を付与する。また、図４（Ａ）のグラフに示すように、ユーザが撮像装置１００に対して速度変化が小さいパンニングを行っている場合、残る主被写体候補のうち自動車に対し、ランダムに動く可能性の高い（加減速の度合いが大きい）犬に比べ、より高い優先度を付与する。尚、撮像装置１００に対するパンニングの速度変化が小さいか否かの具体的判断については後述する。

【0051】

ここで、カメラのパンニング中の画角内での位置の変化が最も小さい被写体を主被写体として選択する方法が知られている。この方法は、ユーザが主被写体を画角の中央に捉えようと思っている場合には有効である。

【0052】

しかし、被写体の動きが早いことを強調したり、被写体が登場したことを強調したりするために、被写体の動く速度よりもやや遅れてカメラをパンニングさせ、被写体が画面を横切るように撮影する場合には有効でない。また通常、このような撮影の場合、ユーザは、被写体が安定した速度で動くことを予想し、カメラのパンニングの速度変化を小さくする。よって、本適用例のように、ユーザが、撮像装置１００に対して速度変化が小さいパンニングを行っている場合、画角中に映り込んだランダムに動く可能性の高い犬を主被写体として選択してしまうと、ユーザの撮影意図が反映されなくなってしまう。

【0053】

そこで、本適用例では、物体検出部１６２で検出可能な物体と、その物体の動きの特性を示す情報を予め定義しておき、パンニングなどのカメラワークから、ユーザがどの被写体を主被写体にしようとしているかを判定する。

【0054】

（実施例１の適用例２：急峻な加減速を行う被写体）
以下、図４（Ｂ）を用いて、本実施例の適用例２について説明する。

【0055】

本適用例の場合、物体検出部１６２で検出している建物、犬、車の３つの主被写体候補の中で、ユーザは走行する犬を撮影しようとしていることを、ＣＰＵ１５１は図２の撮像制御処理により特定する。

【0056】

図４（Ｂ）に示すグラフの曲線は、本適用例における位置姿勢変化取得部１６１から得られる現在時刻までの所定期間における撮像装置１００のヨー方向の位置姿勢変化である。このグラフの曲線から、図４（Ａ）に示す適用例１と同様、ユーザは水平方向に動いている物体を追跡していること、故に静止物体はユーザが主被写体としたい物体ではないことが推察される。そこで、ＣＰＵ１５１は、主被写体候補のうち、静止物体である建物に対し最も低い優先度を付与する。また、図４（Ｂ）のグラフに示すように、ユーザが撮像装置１００に対して急峻な加減速を繰り返すパンニングを行っている場合、残る主被写体候補のうち犬に対し、自動車に比べてより高い優先度を付与する。自動車が急に逆方向に進行方向を変える可能性は低い（加減速の度合いが小さい）ためである。

【0057】

（撮像装置の動き種別の分類と優先度の例）
本実施例における撮像装置１００の動き種別と、物体検出部１６２により検出可能な物体（以下、検出可能物体という）の種別、及び推定可能な動き種別毎に定義された各検出可能物体の優先度を示す表を図３に例示する。撮像装置１００の動き種別の推定の具体例に関しては別途後述する。

【0058】

本実施例では図３に示すように、５種類の動き種別に撮像装置１００のカメラワークを分類する。また、物体検出部１６２は図３の各列に記された６種類の物体の種別を検出するものとする。但し、分類する撮像装置１００の動き種別及び検出される物体の種別に限定はない。例えば、犬、猫、虫、子供等、地上でランダムに動く可能性の高い物体を、物体検出部１６２は一つの種別の物体として検出するようにしてもよい。すなわち、検出される物体の種別は、その物体について想定される動き方に応じた種別であればよい。

【0059】

推定された撮像装置１００の動き種別に対応して各物体に付与される優先度を、図３では対応する行の各セルに示している。本実施例では１から５の５段階の優先度を付与し、大きい値ほど、撮像制御対象とする優先度を高くする。

【0060】

なお、本実施例により付与される優先度は、他の基準で付与される優先度と組み合わせて用いることも可能である。例えば、本実施例により同程度の優先度が付与された二つの主被写体候補が存在する場合、さらに画角中央付近の主被写体候補により高い優先度を付与するようにしても良い。

【0061】

（撮像装置の動き種別の推定手段の説明）
次に、本実施例における撮像装置１００の動き種別の推定方法について説明する。本実施例では、位置姿勢変化取得部１６１から出力される角速度（ヨー、ピッチ方向の２次元分）を一定間隔でサンプリングし、ＲＡＭ１５４にバッファリングしておく。現在時刻までの所定の期間におけるサンプリングされた角速度の夫々に対してフーリエ変換を行うことで周波数成分を取得し、各周波数成分がどの程度大きいかに応じて、撮像装置１００の動き種別を推定する。

【0062】

例えば、図４（Ａ）に示すグラフの曲線に示すように、ユーザが撮像装置１００に対して速度変化が小さいパンニングを低速で行っている場合、撮像装置１００の動き種別はパンニング低速（図３の動き種別１）と判定される。

【0063】

具体的には、本実施例では、まず、全てのサンプリングされたヨー方向の角速度の周波数成分を周波数解析し、その結果、３Ｈｚ未満の低周波成分が主であるか（全ての周波数成分の所定割合ａ以上を占めるか）判断する。

【0064】

この周波数解析の結果、低周波数成分が主であると判断された場合は、パンニングの速度変化が小さいと判断する。次に、パンニングの速度が低速か高速かを判断する。パンニングの速度は例えば、上記所定の期間内にサンプリングされたヨー方向の角速度を平均することで算出する。算出されたパンニング速度が予め設定された閾値α以上の場合はパンニングの速度は高速と判断し、撮像装置１００の動き種別を図３の動き種別２と判定する。一方、閾値α未満の場合はパンニングの速度は低速と判断し、撮像装置１００の動き種別を図３の動き種別１と判定する。

【0065】

また、図４（Ｂ）に示すグラフの曲線に示すように、ユーザが撮像装置１００に対して急峻な加減速を繰り返すパンニングを行っている場合、撮像装置１００の動き種別はＹａｗ方向の急峻な加減速（図３の動き種別３）と判定される。

【0066】

具体的には、本実施例では、上記周波数解析の結果、３Ｈｚ未満の低周波数成分が主でないと判断された場合、所定帯域、具体的には３Ｈｚ以上１０Ｈｚ未満の周波数成分の割合が所定割合ｂ以上であるか否かを判断する。この判断の結果、所定割合ｂ以上である場合、パンニングの速度変化が大きいと判断する。ここで１０Ｈｚを閾値に設けているのはユーザによるカメラワークと手ブレとを区別をするためである。

【0067】

パンニングの速度変化が大きいと判断された場合、次に、ヨー方向のパンニングが急峻に加減速されているか、滑らかなに加減速されているかを判断する。具体的には、サンプリング間のヨー方向の角速度の周波数成分の変化率が予め設定された閾値β以上の場合はヨー方向のパンニングが急峻に加減速されていると判断し、撮像装置１００の動き種別を図３の動き種別３と判定する。一方、閾値β未満の場合はヨー方向のパンニングが滑らかに加減速されていると判断し、撮像装置１００の動き種別を図３の動き種別４と判定する。尚、所定割合ａの値、所定割合ｂの値、閾値αの値、および、閾値βの値は、検出対象とする物体の動き方や、その速さに応じて、適宜設定することが可能である。

【0068】

（物体検出部の説明）
本実施例では、物体検出部１６２をＣＮＮで構成する。

【0069】

図５は、入力された２次元の撮像画像（以下入力画像という）および位置マップから被写体を検出するＣＮＮの基本的な構成を示す。処理の流れは、入力画像から矢印の方向に向かった処理が進む。ＣＮＮは、特徴検出層（Ｓ層）と特徴統合層（Ｃ層）と呼ばれる２つの層を１のセットとし、２つの層のセットが階層的に構成されている。ＣＮＮでは、Ｓ層において前段階層で検出された特徴をもとに次の特徴を検出する。また、Ｓ層において検出した特徴をＣ層で統合し、その階層における検出結果として次の階層に出力する構成になっている。Ｓ層は特徴検出細胞面からなり、特徴検出細胞面毎に異なる特徴を検出する。また、Ｃ層は特徴統合細胞面からなり、前段の特徴検出細胞面での検出結果をプーリングする。以下では、特に区別する必要がない場合、特徴検出細胞面および特徴統合細胞面を総称して特徴面と称する。本実施例では、最終段階層である出力層ではＣ層は用いずＳ層のみで構成している。

【0070】

図６は、特徴検出処理および特徴統合処理の詳細について示す図である。特徴検出処理は、特徴検出細胞面で行われる。特徴統合処理は、特徴統合細胞面で行われる。特徴検出細胞面は、複数の特徴検出ニューロンにより構成される。特徴検出ニューロンは、前段階層のＣ層に所定の構造で結合している。また、特徴統合細胞面は、複数の特徴統合ニューロンにより構成され、特徴統合ニューロンは同階層のＳ層に所定の構造で結合している。図６に示したＬ階層目Ｓ層のＭ番目細胞面内において、位置（１）の特徴検出ニューロンの出力値を（２）と表記する。各変数は、以下のように表される。

【0071】

【数1】

【0072】

また、Ｌ階層目Ｃ層のＭ番目細胞面内において、位置（１）の特徴統合ニューロンの出力値を（３）と表記する。この場合、夫々のニューロンの結合係数を（４）、（５）とすると、各出力値は以下の「数２」および「数３」のように表すことができる。

【0073】

【数2】

【0074】

【数3】

【0075】

数２のｆは活性化関数であり、ロジスティック関数や双曲正接関数等のシグモイド関数であり、例えばｔａｎｈ関数で実現され得る。Ｌ階層目Ｓ層のＭ番目細胞面における、位置（１）の特徴検出ニューロンの内部状態は、上記（６）で表される。数３は、活性化関数を用いず単純な線形和の式である。数３のように活性化関数を用いない場合は、ニューロンの内部状態（７）と出力値（３）とは等しい。また、数２の（８）、数３の（９）を夫々特徴検出ニューロン、特徴統合ニューロンの結合先出力値と称する。

【0076】

数２および数３における「ξ、ζ、ｕ、ｖ、ｎ」について説明する。位置（１）は入力画像における位置座標に対応しており、例えば、出力値（２）が高い出力値である場合は、入力画像の画素位置（１）に、Ｌ階層目Ｓ層Ｍ番目細胞面において検出する特徴が存在する可能性が高いことを意味する。また、ｎは、数２において、Ｌ－１階層目Ｃ層ｎ番目細胞面を意味しており、統合先特徴番号と称する。基本的に、Ｌ－１階層目Ｃ層に存在する全ての細胞面についての積和演算が行われる。「（ｕ，ｖ）」は、結合係数の相対位置座標であり、検出する特徴のサイズに応じて有限の範囲「（ｕ，ｖ）」において積和演算が行われる。このような有限な「（ｕ，ｖ）」の範囲を受容野と称する。以下、受容野の大きさを、受容野サイズと称し、受容野サイズは、結合している範囲の横画素数×縦画素数で表される。

【0077】

また、数２において、Ｌ＝１つまり一番初めのＳ層では、（８）は、入力画像（１０）または、入力位置マップ（１１）となる。ニューロンや画素の分布は離散的であり、結合先特徴番号も離散的なので、「ξ、ζ、ｕ、ｖ、ｎ」は連続な変数ではなく、離散的な値をとる。ここでは、「ξ、ζ」は非負整数、「ｎ」は自然数、ｕ、ｖは整数とし、何れも有限な範囲となる。

【0078】

数２の（４）は、所定の特徴を検出するための結合係数であり、該結合係数が適切な値に調整されることで、所定の特徴を検出することが可能になる。この結合係数の調整が学習（機械学習）であり、ＣＮＮの構築においては、各種のテストパターンを用いて、適切な出力値が得られるように、結合係数（２）が繰り返し修正される。これにより、結合係数の調整が行われる。

【0079】

数３の（５）は、２次元のガウシアン関数を用いており、以下の「数４」のように表すことができる。

【0080】

【数4】

【0081】

「（ｕ，ｖ）」は有限の範囲であるため、特徴検出ニューロンの説明と同様に、有限の範囲を受容野と称し、受容野の範囲の大きさを受容野サイズと称する。受容野サイズは、Ｌ階層目Ｓ層のＭ番目特徴のサイズに応じた値に設定されればよい。数式３の「σ」は特徴サイズ因子であり、受容野サイズに応じた定数に設定されればよい。例えば、受容野の最も外側の値がほぼ０とみなせるような値になるように設定されることが好ましい。

【0082】

上述のような演算を各階層で行うことで、最終階層のＳ層において、被写体検出を行う。これにより、本実施例におけるＣＮＮを用いた被写体検出が行われる。上述した例では、撮像画像を入力画像として、ＣＮＮを用いた被写体検出を行う例について説明した。ＣＮＮを用いた被写体検出としては、加速度センサの情報や奥行情報等のような情報が入力画像に追加されてもよい。

【0083】

（学習方法）
具体的な学習方法について説明する。本実施例では教師ありの学習により、各結合係数の調整を行う。教師ありの学習では、学習用のテストパターンを与えて実際にニューロンの出力値を求め、その出力値と教師信号（そのニューロンが出力すべき望ましい出力値）の関係から結合係数（４）の修正を行えば良い。本実施例の学習においては、最終段階層の特徴検出層は最小二乗法を用い、中間段階層の特徴検出層は誤差逆伝搬法を用いて結合係数の修正を行う。最小二乗法や、誤差逆伝搬法等の、結合係数の修正手法の詳細は、従来技術であるため省略する（Ｓ．Ｈａｙｋｉｎ，“Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ Ａ Ｃｏｍｐｒｅｈｅｎｓｉｖｅ Ｆｏｕｎｄａｔｉｏｎ ２ｎｄ Ｅｄｉｔｉｏｎ”，Ｐｒｅｎｔｉｃｅ Ｈａｌｌ，ｐｐ．１５６－２５５，Ｊｕｌｙ １９９８を参照）。

【0084】

本実施例では、学習用のテストパターンとして、検出すべき特定パターンと、検出すべきでない特定パターンを多数用意する。各テストパターンは、入力画像および教師信号を１セットとする。

【0085】

活性化関数にｔａｎｈ関数を用いる場合は、検出すべき特定パターンをテストパターンとして提示した時は、最終段階層の特徴検出細胞面の、特定パターンが存在する領域のニューロンに対し、出力が１となるように教師信号を与える。逆に、検出すべきでない特定パターンをテストパターンとして提示した時は、その特定パターンが存在する領域のニューロンに対し、出力が－１となるように教師信号を与える。

【0086】

以上により、２次元の撮像画像から物体を検出するための学習済モデルとしてのＣＮＮが構築される。実際の物体検出においては、学習により構築した結合係数（４）を用いて演算をおこない、最終段階層の特徴検出細胞面上のニューロン出力が、所定値以上であれば、そこに物体が存在すると判定する。

【0087】

以上説明したように本実施例によれば、撮像画像から物体が検出された場合、撮像装置１００の動き種別をもとにユーザが主被写体としたい物体を推察し、撮像制御対象とする優先度を自動で付与することが可能な撮像装置１００を提供できる。

【実施例2】

【0088】

以下、実施例２について説明する。尚、撮像装置１００の構成については、距離算出部をさらに備える点を除き、実施例１と同一であるので、同一の構成については同一の符号を付し重複した説明は省略する。

【0089】

ここで、距離算出部は、バス１６０を介して相互に通信可能に接続され、ＣＰＵ１５１により制御されるユニットであり、撮像画像中の任意の被写体に対して撮像装置１００からの距離を算出する。距離の算出過程の例については後述する。生成された距離情報はＲＡＭ１５４に保存され、画像処理部１５２から参照される。

【0090】

（全体処理フロー）
図７のフローチャートを用いて、本実施例における撮像制御処理について説明する。本処理も、図２の撮像制御処理と同様、ユーザが操作スイッチ１５６であるレリーズボタンを半押しした際に開始する処理であり、ＣＰＵ１５１がＲＡＭ１５４にロードされた制御プログラムに基づき実行する。

【0091】

尚、図７におけるステップＳ７０１～Ｓ７０３，Ｓ７０６は夫々、図２のステップＳ２０１～Ｓ２０３，Ｓ２０６の処理と同一であるため、重複した説明は省略する。

【0092】

まず、ステップＳ７０１～Ｓ７０３の処理を実行した後、ステップＳ７０４において、予めユーザが撮像装置１００に対して指定した撮影設定を取得する。本実施例でいう撮影設定の内容は後述する。

【0093】

次にステップＳ７０５において、ステップＳ７０４で取得された撮影設定に応じて、検出された各物体に対して撮像制御対象とする優先度を付与する。本実施例でいう撮像制御には、実施例１と同様、枠の表示、露出補正、ＡＦ、防振が含まれる。この際、付与された優先度が最も高い物体を実施例１と同様にステップＳ７０１においてモニタディスプレイに表示されたスルー画像上に強調表示させてもよい。これにより、ユーザは、画角内に存在する物体のうち、主被写体としたい物体に最も高い優先度が付与されたか否かを判断することができる。尚、本実施例における強調表示は、実施例１と同様であるので重複した説明は省略する。

【0094】

次にステップＳ７０６において、図２のステップＳ２０６と同様に、終了指示があるまでステップＳ７０１に戻り、ステップＳ７０１からの一連の処理を繰り返す。

【0095】

（撮影設定について）
本実施例でいう撮影設定とは、ユーザが撮像装置１００の挙動を制御するために指定した設定の少なくとも１つを指す。例えば、シャッター速度優先モード、絞り値優先モード、ストロボモードなどのユーザ指定される撮影モードが撮影設定には含まれる。また、ユーザがシャッター速度優先モードを指定した場合はその際に併せて指定されるシャッター速度も撮影設定に含まれる。また、ユーザが絞り値優先モードを指定した場合はその際に併せて指定される絞り値も撮影設定に含まれる。

【0096】

シャッター速度優先モードは露光時間（シャッター速度）をユーザが指定するモードを指し、絞り優先モードは絞り値をユーザが指定するモードを指す。また、ストロボモードは、外部装置であるストロボを用いた撮影を行うことをユーザが指定するモードを指す。尚、撮影設定には、シャッター速度と絞り値を同時にユーザが指定するモードも含まれる。また、絞り値優先モードにする場合、ユーザはＩＳＯ感度も併せて指定する場合があるが、この場合はユーザ指定されたＩＳＯ感度も撮影設定に含まれる。

【0097】

さらに、焦点距離の値や、ストロボやＮＤフィルタ等の外部装置を使用しているか否かなど、ユーザが撮像装置１００を用いた撮影のために意図的に決定している内容も、本実施例でいう撮影設定に含まれる。

【0098】

次に、本実施例に係る撮像制御処理の各種適用例を説明する。

【0099】

図７のステップＳ７０３において物体検出部１６２により複数の物体が検出されたと判定された場合、どの物体を撮像制御対象とするかを絞る必要がある。そこで本実施例では、予め種々の撮影設定に応じて物体検出部１６２により検出されるどの物体を撮像制御対象とするかの優先度を定義しておく。さらに、図７のステップＳ７０５では、ステップＳ７０４で取得された撮影設定に応じて、その定義した優先度に基づき、検出された複数の物体の夫々に優先度を付与する。

【0100】

例えば、本実施例では、シャッター速度優先モードをユーザが指定しているとき、物体検出部１６２で複数の物体が検出されると、その中で図７のステップＳ７０５で最も高い優先度が付与された物体を主被写体に決定する。ユーザがシャッター速度優先モードを用いるユースケースとしては、２つの場合が想定される。１つは、動体の撮影の際に被写体のぶれを抑えることであり、もう１つは、光量の足りない条件下において自動でシャッター速度を決定するとシャッター速度が遅くなり手ブレの原因となるため、それを防ぐことである。そこで、撮影設定がシャッター速度優先モードであり、且つ光量が足りない条件下ではない場合、ユーザは動体を撮影したいという意図があると判定し、撮像制御対象の選択肢から静止物体を排除する。尚、本実施例では、測光センサ（不図示）による測光値が所定の閾値以上である場合、又はユーザが設定したシャッター速度が閾値１以上である場合（シャッター速度が閾値１と同速か、それよりも高速の場合）に、光量が足りない条件下ではないと判定される。

【0101】

（実施例２の適用例１）
以下、ユーザがシャッター速度優先モードを指定した場合であって、かつ光量が足りない条件下ではない場合に実行される、本実施例２の適用例１について説明する。

【0102】

本適用例では、物体検出部１６２により検出が可能な各物体を分類するクラスとして、各物体について想定される動き方に応じたクラスである「静止物体」、「低速で動く物体」、「高速で動く物体」、の３クラスを予め定義しておく。物体検出部１６２により複数の物体が検出されると、検出された物体のうち、「静止物体」に分類された物体には最も低い優先度を付与する。さらにシャッター速度が閾値２（＞閾値１）以上の場合は、「高速で動く物体」に分類された物体に対して最も高い優先度を付与する。また、シャッター速度が閾値２未満であった場合は「低速で動く物体」に分類された物体に対して最も高い優先度を付与する。

【0103】

従来、ライブビュー画像から被写体を連続して検出することで、動体であるか否かを判定する技術が知られている。よって、ユーザによりシャッター速度優先モードが指定された場合、この技術を利用して、動きの早い被写体を判断し、これを主被写体として選択する方法が考えられる。

【0104】

しかしながら、早く動ける被写体が、常に早く動いているわけではない。例えば、猫、鳥、虫といった被写体は、撮影前はじっとしているが、撮影しようとした瞬間に素早く逃げてしまう場合もある。

【0105】

ユーザはこのような場合、被写体がどのような速度で移動するかを予想したうえで、図７の撮像制御処理を実行する前に、シャッター優先モードを選択し、シャッター速度を設定する。そこで、本適用例では、ユーザが意図的にシャッター速度を設定している場合、ライブビュー画像に基づいて主被写体を選択せず、設定されたシャッター速度及びどの被写体がどの程度の速度で動く可能性がある物体であるかに基づき、主被写体を選択する。

【0106】

なお、本適用例において付与される優先度は、他の手段により与えられる別の優先度と組み合わせて用いることも可能である。例えば、本適用例において同程度の優先度が付与された二つの主被写体候補が存在する場合、画角中央により近い主被写体候補の優先度を高くしても良い。

【0107】

（実施例２の適用例２）
以下、ユーザがシャッター速度優先モードを指定した場合であって、かつ光量が足りない条件下ではない場合に実行される、本実施例の適用例２について説明する。

【0108】

前述の本実施例の適用例１では、物体検出部１６２により検出が可能な各物体を分類するため、静止物体、低速で動く物体、高速で動く物体、の３クラスを予め定義していた。これに対し、本適用例は、より詳細なクラスとして撮像素子１４１（撮像画像）上での移動速度ｖ’を用いる。

【0109】

具体的には、本適用例では、物体検出部１６２により検出が可能な各物体の種別毎に固有の速度ｖｉ（ｉ＝１，２，・・・，Ｃ）を定義しておく。ここで、Ｃは検出可能な物体の種別数である。本適用例では、速度ｖ_ｉとして、物体検出部１６２により検出が可能な各物体がよく撮影されるシーンにおける実空間上の代表的な速度値を定義するが、各物体が動き得る最大の速度値を速度ｖｉとして定義しても良い。

【0110】

ＣＰＵ１５１は、物体検出部１６２で検出された各物体に対して、撮像装置１００からの被写体距離Ｌを距離算出部から取得すると共に、ズーム制御部１１３からは焦点距離ｆを取得する。これらの値を用いて、ＣＰＵ１５１は、物体検出部１６２で検出された各物体の速度ｖ_ｉを、以下の「数５」のように撮像素子１４１上での移動速度ｖ’にスケーリングする（図８参照）。

【0111】

【数5】

【0112】

本適用例では、被写体を撮影するために最適なシャッター速度はこの撮像素子１４１上の移動速度ｖ’に凡そ比例すると想定し、その比例係数をＡとおく。Ａは撮像素子１４１の画素ピッチと許容されるブレの度合いによって決定され、後者に応じてユーザが独自に調整してもよい。ステップＳ７０４で取得された撮影設定に含まれるシャッター速度がＳである場合、検出された物体のうち、ＳとＡｖ’が近い物体に対してより高い優先度を付与する。

【0113】

（実施例２の適用例３）
以下、ユーザがシャッター速度優先モードを指定した場合であって、かつ光量が足りない条件下ではない場合に実行される、本実施例の適用例３について説明する。

【0114】

本適用例では、前述の本実施例の適用例１より詳細なクラスとして撮像画像上での移動速度ｖ”を用いる。

【0115】

具体的には、前述の本実施例の適用例２では、物体検出部１６２により検出が可能な各物体の種別毎に実世界上の固有の速度を定義しておいた。これに対し、本適用例は、物体検出部１６２により検出が可能な各物体の種別毎に被写体サイズに対する相対速度を定義しておく。

【0116】

また、本適用例では、物体検出部１６２は検出結果として物体の種別と撮像画像におけるその物体の位置する領域の情報を出力する。この領域の情報は、より具体的には、バウンディングボックス（撮像画像における中心座標と幅、高さ）として出力される。また、本適用例では予め、物体検出部１６２により検出が可能な各物体の種別毎にその物体の位置する領域のサイズに対する相対速度を定義しておく。本適用例では、このサイズとして、バウンディングボックスに含まれる幅を用いるが、高さを用いるようにしてもよい。

【0117】

ＣＰＵ１５１は、物体検出部１６２で検出された各物体に対して、物体検出部１６２から出力されたバウンディングボックスに含まれる幅と相対速度を乗算し、撮像画像上を秒間何ピクセル動き得るかを示す移動速度ｖ”を算出する。

【0118】

例えば、物体検出部１６２が出力したある物体の幅をＷ、予め定義しておいたその物体の種別の相対速度をｕ_ｉとすると、撮像画像上の移動速度ｖ”はＷｕ_ｉ［画素／秒］となる（図９参照）。本実施例では、被写体を撮影するために最適なシャッター速度は撮像画像上の移動速度ｖ”に凡そ比例すると想定し、その比例係数Ｂとおく。Ｂは許容されるブレの度合いによって決定してもよいし、ユーザが独自に調整してもよいし、また位置姿勢変化取得部１６１から得られた角速度をもとにフレーミングの速さを算出し、それに応じて変動させてもよい。ステップＳ７０４で取得された撮影設定に含まれるシャッター速度がＳである場合、検出された物体のうち、ＳとＢｖ”が近い物体に対してより高い優先度を付与する。

【0119】

（ユーザにより絞り値が指定されている例）
以下、本実施例の適用例４について説明する。

【0120】

本実施例の適用例１～３は、ユーザがシャッター速度優先モードを指定した場合の適用例であった。これに対し、本適用例は、ユーザが絞り値優先モードにおいて絞り値を指定した場合の適用例である。

【0121】

以下、ユーザが絞り値優先モードにおいて絞り値を指定した場合に、その値に応じて主被写体を決定する、本適用例について、図１０を用いて説明する。

【0122】

本適用例では、絞り１０３の絞り値（Ｆ値）を、予め定義した小、中、大の３つの絞り度合いに分類する。

【0123】

ＣＰＵ１５１は、ステップＳ７０４で取得された撮影設定に含まれるユーザが指定した絞り値がどの絞り度合いに属するかを判定し、図１０に示す表に基づき、物体検出部１６２により検出された各物体に対し、その種別毎に優先度を付与する。

【0124】

（ストロボの例）
以下、本実施例の適用例５について説明する。

【0125】

本実施例の適用例１～４では、ユーザが撮像装置１００の本体に対して指定する撮影設定に応じて、どの物体を撮像制御対象とするかの優先度を決定した。これに対し、本適用例は、撮像装置１００の外部装置であるストロボを撮影時に使用するモードであるストロボモードをユーザが指定した場合の適用例である。

【0126】

以下、ユーザがストロボモードを指定している場合に、物体検出部１６２により検出されたどの物体を撮像制御対象とするかの優先度を決定する、本適用例について説明する。

【0127】

ユーザが撮像装置１００の撮影時にストロボを使用するユースケースの一つとして、速く動く被写体をぶれ無く撮影することを意図している場合が挙げられる。そこで本適用例では、ストロボモードの場合に物体検出部１６２により検出可能な各物体を分類するクラスとして、ストロボ撮影に適している度合いが高い画角内で「速く動く物体」と、「それ以外の物体」の２クラスを予め設けておく。

【0128】

ステップＳ７０４で取得された撮影設定がストロボモードである場合であって、「速く動く物体」に分類された物体と、「それ以外の物体」に分類された物体が両方検出された場合、前者に対して後者より高い優先度を付与する。

【0129】

尚、ステップＳ７０４で取得された撮影設定がストロボモードでない場合は、両者に同等の優先度を付与する。この場合は、本実施例の別の適用例、例えば、本実施例の適用例１のように、シャッター速度を参照して物体検出部１６２により検出された各物体に対してさらに優先度を付与する。

【0130】

（距離の生成）
次に、距離算出部が、物体検出部１６２により検出された各物体から撮像装置１００までの距離（被写体距離）を算出する方法について説明する。

【0131】

本実施例ではまず、視差画像に基づいて距離マップを生成し、検出された各物体の座標に対応する距離マップの値をその物体の被写体距離とする。

【0132】

具体的には、距離マップの値は、水平方向に視差のついた一対の視差画像に相関演算処理を施して像ズレ量を検出し、その像ズレ量に所定の変換係数を乗ずることで算出される。また、像ズレ量の検出は、例えば特開２００８－１５７５４に開示されているように、一対の視差画像を小領域に分割した小ブロック毎に相関演算を行うことにより行われる。

【0133】

尚、距離マップは視差画像を用いずに生成してもよい。例えば、コントラスト評価値が極大となるフォーカスレンズ１３１の位置を距離マップの値として撮像素子１４１の画素毎に算出するようにしてもよい。また、距離マップの値は、撮像素子１４１の画素の全てに対して算出してもよいが、物体検出結果が存在する部分領域の画素に対してだけ算出してもよい。

【0134】

視差画像の取得方法にも制限は無いが、本実施例では、撮像素子１４１は、１つのマイクロレンズを共有する複数の光電変換素子からなる画素を複数備えており、撮像素子１４１を用いて視差画像を取得する。このときの撮像素子１４１の構成や光学原理は、特開２００８－１５７５４号公報などの公知の技術を適用できる。なお、撮像装置１００をステレオカメラのような多眼カメラとして視差画像を取得してもよいし、任意の方法で撮影された視差画像のデータを記憶媒体や外部装置から取得してもよい。

【0135】

上述の実施例は本発明の理解を助けることを目的とした具体例に過ぎず、いかなる意味においても本発明を上述の実施例に限定する意図はない。特許請求の範囲に規定される範囲に含まれる全ての実施例は本発明に包含される。すなわち、本発明は、その要旨の範囲内で種々の変形及び変更が可能である。また、本発明は、上述の各実施例の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0136】

１００ 撮像装置
１０３ 絞り
１０４ 絞りモータ
１０５ 絞り制御部
１１１ ズームレンズ
１１２ ズームモータ
１１３ ズーム制御部
１４１ 撮像素子
１５１ ＣＰＵ
１６１ 位置姿勢変化取得部
１６２ 物体検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】