特許 7536464 画像処理装置、撮像装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-09

(45)【発行日】2024-08-20

(54)【発明の名称】画像処理装置、撮像装置、画像処理方法およびプログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240813BHJP

   G06T 7/00 20170101ALI20240813BHJP

【ＦＩ】

H04N23/60 500

G06T7/00 350B

【請求項の数】 15

(21)【出願番号】P 2020026506

(22)【出願日】2020-02-19

(65)【公開番号】P2021132298

(43)【公開日】2021-09-09

【審査請求日】2023-02-16

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100125254

【弁理士】

【氏名又は名称】別役 重尚

(72)【発明者】

【氏名】辻 良介

【審査官】越河 勉

(56)【参考文献】

【文献】特開２０１１－０８６２６１（ＪＰ，Ａ）

【文献】特開２０２０－００８８９９（ＪＰ，Ａ）

【文献】特開２０１９－１８６９１１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

撮像された画像データに基いて、被写体の検出に用いられる複数の辞書データのそれぞれについての被写体有無の尤度を推定する推定手段と、
推定された前記尤度に応じて設定された辞書データを用いて、前記画像データから被写体を検出する被写体検出手段と、
前記被写体検出手段に設定する複数の辞書データを切り替える制御手段と、
を備え、
前記制御手段は、前記尤度が所定の閾値未満の辞書データ以外の複数の辞書データを切り替えることを特徴とする画像処理装置。

【請求項2】

撮像された画像データに基いて、被写体の検出に用いられる複数の辞書データのそれぞれについての被写体有無の尤度を推定する推定手段と、
推定された前記尤度に応じて設定された辞書データを用いて、前記画像データから被写体を検出する被写体検出手段と、
前記被写体検出手段に設定する複数の辞書データを切り替える制御手段と、
を備え、
前記制御手段は、前記被写体検出手段に設定する複数の辞書データを切り替える順番と周期とのうち何れか一方または両方を、前記尤度に応じて変更することを特徴とする画像処理装置。

【請求項3】

前記制御手段は、前記被写体検出手段に設定する複数の辞書データを切り替える順番と周期とのうち何れか一方または両方を、前記尤度に応じて変更することを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記制御手段は、前記辞書データについて、前記尤度が高くなるに応じて、切り替える順番の優先度を高くすることを特徴とする請求項１乃至３のうち何れか１項に記載の画像処理装置。

【請求項5】

前記制御手段は、前記辞書データについて、前記尤度が高くなるに応じて、切り替えの周期を短くすることを特徴とする請求項１乃至３のうち何れか１項に記載の画像処理装置。

【請求項6】

前記制御手段は、前記辞書データについて、前記尤度が高くなるに応じて、切り替える順番の優先度を高くし、且つ切り替える周期を短くすることを特徴とする請求項１乃至３のうち何れか１項に記載の画像処理装置。

【請求項7】

前記制御手段は、前記尤度に応じて、前記被写体検出手段が被写体を検出する際の信頼度の閾値を変更することを特徴とする請求項１乃至６のうち何れか１項に記載の画像処理装置。

【請求項8】

前記被写体検出手段による被写体検出がされたなかった場合、前記画像データに対してトリミング処理を行うことを特徴とする請求項１乃至７のうち何れか１項に記載の画像処理装置。

【請求項9】

前記被写体検出手段の処理周期は、前記推定手段の処理周期より短いことを特徴とする請求項１乃至８のうち何れか１項に記載の画像処理装置。

【請求項10】

前記推定手段は、学習済みモデルを用いて前記尤度を推定し、
前記被写体検出手段は、前記学習済みモデルとは異なる学習済みモデルを用いて前記被写体を検出することを特徴とする請求項１乃至８のうち何れか１項に記載の画像処理装置。

【請求項11】

前記推定手段の学習済みモデルおよび前記被写体検出手段の学習済みモデルは、コンボリューショナル・ニューラル・ネットワークであることを特徴とする請求項１０に記載の画像処理装置。

【請求項12】

撮像部と、
請求項１乃至１１のうち何れか１項に記載の画像処理装置と、
を備えることを特徴とする撮像装置。

【請求項13】

撮像された画像データに基いて、被写体の検出に用いられる複数の辞書データのそれぞれについての被写体有無の尤度を推定する工程と、
推定された前記尤度に応じて設定された辞書データを用いて、前記画像データから被写体を検出する工程と、
前記画像データから被写体を検出する工程に設定する複数の辞書データを切り替える制御工程と、
を備え、
前記制御工程は、前記尤度が所定の閾値未満の辞書データ以外の複数の辞書データを切り替えることを特徴とする画像処理方法。

【請求項14】

撮像された画像データに基いて、被写体の検出に用いられる複数の辞書データのそれぞれについての被写体有無の尤度を推定する工程と、
推定された前記尤度に応じて設定された辞書データを用いて、前記画像データから被写体を検出する工程と、
前記画像データから被写体を検出する工程に設定する複数の辞書データを切り替える制御工程と、
を備え、
前記制御工程は、前記画像データから被写体を検出する工程に設定する複数の辞書データを切り替える順番と周期とのうち何れか一方または両方を、前記尤度に応じて変更することを特徴とする画像処理方法。

【請求項15】

請求項１乃至１１のうち何れか１項に記載の画像処理装置の各手段をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、撮像装置、画像処理方法およびプログラムに関する。

【背景技術】

【0002】

例えば、デジタルカメラやデジタルビデオカメラ等の撮像装置は、画像から特定の被写体パターンを自動的に検出する画像処理を行う。この画像処理により、人間の顔領域等を特定することができる。関連する技術として特許文献１の技術が提案されている。特許文献１の技術は、顔領域検出の対象となるフレームの画像に対しての変化量が所定内の撮影画像に基づき、ＡＦ／ＡＥ／ＷＢ評価値検出を行う。また、近年では、画像からの被写体の検出に、コンボリューショナル・ニューラル・ネットワーク（以下、ＣＮＮとする）が用いられている。ＣＮＮに関連する技術が、非特許文献１に開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００５－３１８５５４号公報

【文献】Ａｌｅｘ Ｋｒｉｚｈｅｖｓｋｙ，Ｉｌｙａ Ｓｕｔｓｋｅｖｅｒ， Ｇｅｏｆｆｒｅｙ Ｅ． Ｈｉｎｔｏｎ， ＩｍａｇｅＮｅｔ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｗｉｔｈ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ ２５（ＮＩＰＳ’１２），２０１２

【発明の概要】

【発明が解決しようとする課題】

【0004】

被写体の検出に、被辞書データを用いることができる。辞書データは、被写体ごとに生成される。このため、複数種類の被写体を検出する場合、複数の辞書データを順次切り替えながら、被写体検出が行われる。複数の辞書データを順次切り替えて、被写体検出が行われる場合、目的の被写体に適した辞書データを用いて被写体検出を行うまでに要する時間が長くなることがある。また、複数の辞書データの中から、目的の被写体と特性が異なる辞書データを用いて被写体検出が行われた場合、被写体が誤検出されることがある。特に、辞書データの数が多くなると、上記の問題が顕著になる。

【0005】

本発明は、被写体検出を行う際の辞書データの選択を効率的に行うことを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明の画像処理装置は、撮像された画像データに基いて、被写体の検出に用いられる複数の辞書データのそれぞれについての被写体有無の尤度を推定する推定手段と、推定された前記尤度に応じて設定された辞書データを用いて、前記画像データから被写体を検出する被写体検出手段と、前記被写体検出手段に設定する複数の辞書データを切り替える制御手段と、を備え、前記制御手段は、前記尤度が所定の閾値未満の辞書データ以外の複数の辞書データを切り替えることを特徴とする。

【発明の効果】

【0007】

本発明によれば、被写体検出を行う際の辞書データの選択を効率的に行うことができる。

【図面の簡単な説明】

【0008】

【図1】撮像装置の断面図である。

【図2】システム制御部と各部との関係を示す図である。

【図3】本実施形態の処理の流れを示すフローチャートである。

【図4】辞書データの切り替えの一例を示す図である。

【発明を実施するための形態】

【0009】

以下、本発明の各実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施の形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施の形態に記載されている構成によって限定されることはない。

【0010】

以下、図面を参照して、本実施形態について説明する。本実施形態の撮像装置１００は、複数の撮像光学系により結像された被写体像から画像信号を生成し、被写体検出を行う。図１は、撮像装置１００の断面図である。撮像装置１００の構成は、図１の例には限定されない。撮像装置１００は、カメラ本体１０１および撮影レンズ１０２を有する。カメラ本体１０１は、例えば、デジタル一眼レフカメラ本体である。カメラ本体１０１の前面に、撮影レンズ１０２が着脱可能に装着される。撮像装置１００は、システム制御部２０１を有する。システム制御部２０１は、ＣＰＵ、ＲＡＭおよびＲＯＭを含む。例えば、ＲＯＭに記憶された制御プログラムがＲＡＭに展開され、ＣＰＵが制御プログラムを実行することで、本実施形態の処理が実現されてもよい。ＣＰＵは、例えば、複数のタスクを並列処理できるマルチコアＣＰＵであってもよい。

【0011】

撮影レンズ１０２は交換可能なレンズである。カメラ本体１０１と撮影レンズ１０２とは、マウント接点群１１５を介して電気的にも接続される。撮影レンズ１０２の中には、フォーカシングレンズ１１３および絞りシャッター１１４が設けられている。マウント接点群１１５を介した制御により、撮影レンズ１０２内に取り込む光量およびピントを調整可能なように構成されている。

【0012】

次に、カメラ本体１０１について説明する。カメラ本体１０１は、メインミラー１０３およびサブミラー１０４により構成されるクイックリターンミラーを有する。メインミラー１０３は、ハーフミラーであり、ファインダー観測状態では撮影光路上に斜設され、撮影レンズ１０２から入射される光束をファインダー光学系へと反射する。一方、透過光はサブミラー１０４を介して測距センサ１０５へと入射する。測距センサ１０５は、撮影レンズ１０２の二次結像面を焦点検出ラインセンサ上に形成することで、位相差検出方式によって撮影レンズ１０２の焦点調節状態を検出することのできるＡＦ像信号を生成する。生成されたＡＦ像信号はシステム制御部２０１へ送信される。システム制御部２０１は、ＡＦ像信号に基づいてフォーカシングレンズ１１３の焦点状態を検出する。また、システム制御部２０１は、焦点検出の結果に基づいてフォーカシングレンズ１１３の駆動を制御することで焦点調節を行う。

【0013】

ピント板１０６は、ファインダー光学系を構成する撮影レンズ１０２の予定結像面に配置されている。ペンタリズム１０７は、ファインダー光路を変更するために用いられる。測光センサ１０８は、照射される光信号から輝度信号および色差信号を持つ画像データを生成する。測光センサ１０８は、被写体から照射される光信号からＡＥ像信号を生成し、システム制御部２０１へ送信する。システム制御部２０１は、受信したＡＥ像信号を用いて露出制御等を行う。システム制御部２０１は、後述する被写体検出部２０４にて検出された被写体に基づき、焦点露出を最適化させる。カメラ本体１０１には、アイピース１０９が設けられている。撮影者は、アイピース１０９からピント板１０６を観察することで、撮影画面および撮影情報を確認することができる。

【0014】

また、カメラ本体１０１は、フォーカルプレーンシャッター１１０および撮像センサ１１１を有する。図２では、フォーカルプレーンシャッター１１０は、「シャッター」と表記される。露光が行われる際、メインミラー１０３およびサブミラー１０４は、撮影光路上から退避し、フォーカルプレーンシャッター１１０が開く。これにより、撮像センサ１１１が露光される。フォーカルプレーンシャッター１１０は、撮影が行われているときには撮像センサ１１１を遮光する。また、撮影が行われているときには、フォーカルプレーンシャッター１１０が開かれ、撮像センサ１１１に被写体光束が導かれる。

【0015】

撮像部としての撮像センサ１１１は、ＣＣＤセンサやＣＭＯＳセンサ等で構成される。撮像センサ１１１は、赤外カットフィルターやローパスフィルター等を含んでもよい。撮像センサ１１１は、撮影レンズ１０２の撮影光学系を通過して結像した被写体像を光電変換し、撮影画像を生成するための画像信号をシステム制御部２０１に送信する。システム制御部２０１は、受信した画像信号から撮影画像を生成して画像記憶部２０２に記憶するとともに、ＬＣＤ等の表示部１１２に表示する。操作部２０３は、カメラ本体１０１に設けられるレリーズボタンやスイッチ、接続機器等を介して行なわれるユーザー操作を検知し、操作内容に応じた信号をシステム制御部２０１へ送信する。レリーズボタンが半押し操作等されると、レリーズスイッチＳＷ１がオンになり、ＡＦやＡＥ等の撮影準備動作が行われる。レリーズボタンが全押し操作等されると、レリーズスイッチＳＷ２がオンになり、静止画の撮影動作が行われる。表示部１１２は、撮影した結果をユーザーが確認できるように、直前に撮影した静止画を一定時間、表示する。

【0016】

図２は、システム制御部２０１と各部との関係を示す図である。制御手段としてのシステム制御部２０１には、上述した各部が接続されるとともに、被写体検出部２０４、辞書推定部２０５および辞書データ記憶部２０６が接続される。被写体検出部２０４および辞書推定部２０５は、システム制御部２０１の一部であってもよいし、システム制御部２０１とは別途に設けられてもよい。システム制御部２０１、被写体検出部２０４および辞書推定部２０５により画像処理装置が構成されてもよい。該画像処理装置は、例えば、スマートフォンやタブレット端末等に搭載されてもよい。

【0017】

被写体検出手段としての被写体検出部２０４は、機械学習により生成される辞書データに基づいて、被写体検出を行う。本実施形態では、被写体検出部２０４は、複数種類の被写体を検出するために、被写体ごとの辞書データを用いる。各辞書データは、例えば、対応する被写体の特徴が登録されたデータである。被写体検出部２０４は、被写体ごとの辞書データを順次切り替えながら被写体検出を行う。本実施形態では、被写体ごとの辞書データは辞書データ記憶部２０６に記憶される。従って、辞書データ記憶部２０６には、複数の辞書データが記憶される。システム制御部２０１は、複数の辞書データの中から何れの辞書データを用いて被写体検出を行うかを、辞書推定部２０５の推定結果に基づいて、決定する。

【0018】

辞書推定部２０５は、画像データに基いて、辞書データごとの被写体有無の尤度を推定する。辞書データ記憶部２０６には、被写体ごとの辞書データが記憶されている。辞書推定部２０５は、画像中に、何れの被写体が含まれているかを推定するために、辞書データごとの被写体有無の尤度を推定結果として出力する。被写体検出部２０４は、撮像された画像データと推定された辞書データとに基づいて、画像中の被写体の位置を推定する。被写体検出部２０４は、被写体の位置やサイズ、信頼度等を推定して、推定した情報を出力してもよい。被写体検出部２０４は、他の情報を出力してもよい。

【0019】

辞書データとしては、例えば、被写体として「人物」を検出するための辞書データや「動物」を検出するための辞書データ、「乗物」を検出するための辞書データ等がある。また、「人物の全体」を検出するための辞書データと「人物の顔」を検出するための辞書データとが別個に辞書データ記憶部２０６に記憶されていてもよい。辞書推定部２０５は、画像データに基いて、例えば、「人物」と「動物」と「乗物」とのそれぞれの辞書データについての被写体有無の尤度を確率として出力する。

【0020】

被写体検出部２０４は、尤度が高い辞書データを用いて、画像データから被写体検出を行う。本実施形態では、辞書推定部２０５は、機械学習されたＣＮＮにより構成され、辞書データごとの尤度を出力する。被写体検出部２０４は、機械学習されたＣＮＮにより構成され、画像データに含まれる被写体の位置等を推定する。本実施形態では、被写体検出部２０４および辞書推定部２０５は、それぞれ異なるＣＮＮ（コンボリューショナル・ニューラル・ネットワーク）により構成される。被写体検出部２０４および辞書推定部２０５は、ＧＰＵ（グラフィックス・プロセッシング・ユニット）やＣＮＮによる推定処理に特化した回路で実現されてもよい。

【0021】

ＣＮＮの機械学習は、任意の手法で行われ得る。例えば、サーバ等の所定のコンピュータが、ＣＮＮの機械学習を行い、撮像装置１００は、学習されたＣＮＮを、所定のコンピュータから取得してもよい。例えば、所定のコンピュータが、学習用の画像データを入力とし、学習用の画像データに対応する被写体の位置等を教師データとした教師あり学習を行うことで、被写体検出部２０４のＣＮＮの学習が行われてもよい。また、所定のコンピュータが、学習用の画像データを入力とし、学習用の画像データの被写体に対応する辞書データを教師データとした教師あり学習を行うことで、辞書推定部２０５のＣＮＮの学習が行われてもよい。以上により、学習済みのＣＮＮが生成される。ＣＮＮの学習は、撮像装置１００または上述した画像処理装置で行われてもよい。

【0022】

次に、本実施形態の処理の流れについて説明する。図３は、本実施形態の処理の流れを示すフローチャートである。図３のステップＳ３０１からステップＳ３１０までの一連の処理は、撮像装置１００による１フレーム分（１枚の画像データ）に相当する処理である。ステップＳ３０１では、システム制御部２０１は、レリーズスイッチＳＷ１またはレリーズスイッチＳＷ２がオンになっているかを判定する。システム制御部２０１は、ステップＳ３０１でＹｅｓと判定した場合、フレームを１つ進めるとともに、処理をステップＳ３０２に進める。システム制御部２０１は、ステップＳ３０１でＮｏと判定した場合、処理を終了させる。

【0023】

ステップＳ３０２では、システム制御部２０１は、測光センサ１０８に電荷蓄積を行わせ、生成された像信号をＡＥ像信号として読み出すとともに、測距センサ１０５に電荷蓄積を行わせ、生成された像信号をＡＦ像信号として読み出す。図３では、ＡＥ像信号およびＡＦ像信号は、像信号と表記される。ステップＳ３０３では、辞書推定部２０５は、ステップＳ３０２で読み出したＡＥ像信号を入力画像として、辞書データごとに被写体有無の尤度を出力する。ステップＳ３０４では、システム制御部２０１は、辞書推定部２０５が出力した各辞書データのそれぞれの尤度に基づき辞書データを選定し、被写体検出のための辞書データとして設定する。システム制御部２０１は、例えば、尤度が最も高い１つの辞書データのみを選定してもよいし、尤度が所定の閾値より大きい複数の辞書データを選定してもよい。

【0024】

ステップＳ３０５では、被写体検出部２０４は、ステップＳ３０２で読み出したＡＥ像信号を入力画像として、ステップＳ３０４で設定された辞書データを用いて、被写体検出を行う。このとき、被写体検出部２０４は、検出した被写体の位置やサイズ、信頼度等の情報を出力する。このとき、システム制御部２０１は、被写体検出部２０４が出力した上記の情報を表示部１１２に表示させてもよい。また、システム制御部２０１は、辞書推定部２０５が出力した各辞書データのそれぞれの尤度の情報を表示部１１２に表示させてもよい。

【0025】

ステップＳ３０６では、システム制御部２０１は、ステップＳ３０５で検出した被写体の位置に最も近い焦点検出点を選択し、ステップＳ３０２で取得したＡＦ像信号を用いて、選択した焦点検出点の焦点状態を検出する。なお、ステップＳ３０５で被写体が検出されなかった場合、システム制御部２０１は、全ての焦点検出点の焦点検出を行った上で、最も撮像装置１００に近い位置に焦点がある焦点検出点を選択する。ステップＳ３０７では、システム制御部２０１は、ステップＳ３０６で選択された焦点検出点の焦点状態に基づいて、フォーカシングレンズ１１３の焦点位置を調節する。

【0026】

ステップＳ３０８では、システム制御部２０１は、ステップＳ３０２で読み出したＡＥ像信号を用いて所定の手法で自動露出演算を行い、絞り値（ＡＶ値）やシャッタスピード（ＴＶ値）、ＩＳＯ感度（ＩＳＯ値）等を決定する。ここでのＡＶ値やＴＶ値、ＩＳＯ値は、予め記憶されたプログラム線図を用いて決定される。ステップＳ３０９では、システム制御部２０１は、レリーズスイッチＳＷ２がＯＮであるかを判定する。システム制御部２０１は、ステップＳ３０９でＹｅｓと判定した場合、処理を、ステップＳ３１０に進める。一方、システム制御部２０１は、ステップＳ３０９でＮｏと判定した場合、処理をステップＳ３０２に戻す。

【0027】

ステップＳ３１０では、システム制御部２０１は、メインミラー１０３およびサブミラー１０４をアップすることで光路上から退避させ、撮像センサ１１１を露光させて、撮像を行う。露光された撮像センサ１１１は、画像信号を生成し、生成された画像信号をシステム制御部２１０に送信する。そして、システム制御部２１０は、撮像センサ１１１から受信した画像信号に基づいて画像データを生成し、画像記憶部２０２に記憶するとともに、表示部１１２に画像を表示する。

【0028】

次に、辞書データの切り替えについて説明する。システム制御部２０１は、辞書推定部２０５が推定した辞書データごとの尤度に基づいて、被写体検出部２０４に辞書データを設定する。本実施形態では、システム制御部２０１は、辞書データごとの尤度に基づいて、被写体検出部２０４に設定する辞書データの順番および周期を設定する。図４は、辞書データの切り替えの一例を示す図である。図４の例では、辞書データ記憶部２０６に３つの辞書データ（辞書データ１～辞書データ３）が記憶されているものとする。ただし、辞書データ記憶部２０６には、多くの辞書データが記憶されていてもよい。

【0029】

図４（ａ）は、被写体検出部２０４に設定する辞書データを逐次的に切り替える例を示す。図４に示される「辞書ｎ（ｎは１～３）の検出」は、被写体検出部２０４が、辞書ｎを用いて被写体検出を行う時間を示す。「画像」は、画像データを取得する時間を示す。図４（ａ）の例では、辞書データ１、辞書データ２、辞書データ３の周期で、辞書データが逐次的に均等に切り替えられる。ここで、目的の被写体に対応する辞書データが、辞書データ３であるとする。この場合、辞書データ３を用いた被写体検出は、辞書データ１を用いた被写体検出および辞書データ２を用いた被写体検出の後に行われる。従って、辞書データ３を用いた被写体検出が行われるまでの時間が長くなる。特に、辞書データ記憶部２０６に記憶されている辞書データの数が多くなると、目的の被写体に対応する辞書データを用いた被写体検出が行われるまでの時間が非常に長くなる可能性がある。

【0030】

そこで、本実施形態では、システム制御部２０１は、辞書データ記憶部２０６に記憶されている各辞書データのそれぞれの尤度に応じて、辞書データの切り替えを行う。システム制御部２０１は、辞書推定部２０５が推定した尤度が所定の閾値未満の辞書データを、被写体検出部２０４に設定する対象から除外する。そして、システム制御部２０１は、辞書データの切り替えを行う際、推定された尤度が高い辞書データを被写体検出部２０４に設定する順番の優先度を高くするとともに切り替えの周期を短くする。

【0031】

つまり、システム制御部２０１は、辞書データの尤度が高くなるに応じて、被写体検出部２０４に設定する順番が早くなるように、切り替えのスケジューリングを行う。また、システム制御部２０１は、辞書データの尤度が高くなるに応じて、被写体検出部２０４に設定する辞書データの切り替えの周期が短くなるように、切り替えのスケジューリングを行う。システム制御部２０１は、被写体検出部２０４に設定する辞書データの順番の制御と、辞書データの切り替えの周期の制御とのうち何れか一方のみを行ってもよいし、両方を行ってもよい。本実施形態では、順番の制御と周期の制御との両方が行われるものとして説明する。

【0032】

図４（ｂ）は、システム制御部２０１が行う辞書データの切り替えの制御の一例を示す。辞書推定部２０５は、辞書データ１の尤度が０％、辞書データ２の尤度が４０％、辞書データ３の尤度が８０％であると推定したとする。ここで、上述した所定の閾値が３０％として設定されているとする。システム制御部２０１は、尤度が所定の閾値未満である辞書データ１を、被写体検出部２０４に設定する対象から除外する。このため、システム制御部２０１は、尤度が所定の閾値未満である辞書データ以外の辞書データ２と辞書データ３との切り替え制御が行われる。尤度の低い辞書データが被写体検出部２０４に設定する対象から除外されることで、目的とする被写体の検出に適していない辞書データが用いられることが抑制される。これにより、被写体の誤検出が低減される。

【0033】

そして、図４（ｂ）に示されるように、システム制御部２０１は、３つの辞書データのうち最も尤度が高い辞書データ３を、最初に、被写体検出部２０４に設定する。そして、システム制御部２０１は、次に尤度が高い辞書データ２を、被写体検出部２０４に設定する。これにより、システム制御部２０１は、辞書データの切り替えについての順番の制御を行う。そして、システム制御部２０１は、システム制御部２０１は、辞書データ３を連続して被写体検出部２０４に設定する。これにより、システム制御部２０１は、辞書データの切り替えについての周期の制御を行う。つまり、システム制御部２０１は、被写体検出部２０４に設定する辞書データを切り替える際、尤度が高い辞書データ３の順番を早くし、切り替えの周期を短くする。推定された尤度が最も高い辞書データ３は、目的とする被写体の検出に適している可能性が高い。システム制御部２０１が、上述した順番の制御および周期の制御を行うことで、目的とする被写体を検出するまでの時間を短縮することができる。

【0034】

また、システム制御部２０１は、各辞書データの尤度に応じて、被写体検出部２０４が被写体を検出するための閾値（信頼度の閾値）を変更してもよい。例えば、被写体検出部２０４に設定された辞書データの尤度が低い場合、システム制御部２０１は、被写体検出のための信頼度の閾値を高く設定する。これにより、尤度が低い辞書データを用いた被写体の検出がされにくくなる。一方、被写体検出部２０４に設定された辞書データの尤度が高い場合、システム制御部２０１は、被写体検出のための信頼度の閾値を高く設定する。これにより、被写体検出部２０４は、尤度が高い辞書データを用いて、被写体の検出を行いやすくなる。

【0035】

また、システム制御部２０１は、推定された尤度が高い辞書データを被写体検出部２０４に設定したにもかかわらず、被写体検出部２０４が被写体を検出できなかった場合、被写体検出部２０４に入力する画像を加工してもよい。加工する手法としては、例えば、被写体検出をしやすくするためのトリミング処理が適用される。システム制御部２０１は、入力された画像データを、画像中心基準でトリミング処理を行ってもよい。これにより、画像データにおける被写体のサイズを大きくすることができ、被写体検出部２０４は、被写体を検出しやすくなる。

【0036】

上述したように、辞書推定部２０５は、撮像された画像データに、複数種類の被写体の何れの被写体が存在するかを推定するために、辞書データごとの被写体有無の尤度を推定する。また、被写体検出部２０４は、画像データの中の何れの位置に被写体が存在するかを推定する。このため、辞書推定部２０５の推定結果よりも被写体検出部２０４の推定結果の方が、時間的に変化しやすい。そこで、被写体検出部２０４の処理周期は、辞書推定部２０５の処理周期よりも短いことが好ましい。

【0037】

上述したように、被写体検出部２０４および辞書推定部２０５は、機械学習により学習されたＣＮＮ（学習済みのＣＮＮ）により構成される。被写体検出部２０４は、画像データを入力として、被写体の位置やサイズ、信頼度等を推定し、推定した情報を出力する。辞書推定部２０５は、画像データを入力として、各辞書データの尤度を推定し、推定した尤度の情報を出力する。ＣＮＮは、例えば、畳み込み層とプーリング層とが交互に積層された層構造に、全結合層および出力層が結合されたネットワークであってもよい。この場合、ＣＮＮの学習としては、例えば、誤差逆伝搬法等が適用され得る。また、ＣＮＮは、特徴検出層（Ｓ層）と特徴統合層（Ｃ層）とをセットとした、ネオコグニトロンのＣＮＮであってもよい。この場合、ＣＮＮの学習としては、「Ａｄｄ－ｉｆ Ｓｉｌｅｎｔ」と称される学習手法が適用され得る。

【0038】

なお、被写体検出部２０４のＣＮＮと辞書推定部２０５のＣＮＮとは、学習済み係数パラメータ等が異なるものであってよい。この場合、被写体検出部２０４のＣＮＮと辞書推定部２０５のＣＮＮとで学習済み係数パラメータが切り替えられてもよい。また、被写体検出部２０４のＣＮＮと辞書推定部２０５のＣＮＮとは、異なるネットワーク構成であってもよい。

【0039】

また、被写体検出部２０４および辞書推定部２０５には、学習済みのＣＮＮ以外の任意の学習済みモデルが用いられてもよい。例えば、サポートベクタマシンや決定木等の機械学習により生成される学習済みモデルが、被写体検出部２０４および辞書推定部２０５に適用されてもよい。また、被写体検出部２０４および辞書推定部２０５は、機械学習により生成される学習済みモデルでなくてもよい。例えば、被写体検出部２０４には、機械学習を用いない任意の被写体検出手法が適用されてもよい。辞書推定部２０５には、尤度を出力する関数等が適用されてもよい。

【0040】

以上説明したように、辞書推定部２０５の推定により、複数の辞書データから、目的の被写体に適した辞書データを被写体検出部２０４に設定することができる。そして、被写体検出部２０４は、目的の被写体に適した辞書データを用いて、被写体検出を行う。これにより、目的の被写体を検出するまでの時間が短縮され、被写体の誤検出を抑制することができる。その結果、被写体検出を行う際の辞書データの選択を効率的に行うことができる。

【0041】

以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の各実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0042】

１００ 撮像装置
１１１ 撮像センサ
２０１ システム制御部
２０４ 被写体検出部
２０５ 辞書推定部
２０６ 辞書データ記憶部

【図1】

【図2】

【図3】

【図4】