特許 7570806 撮像装置、情報処理装置、及びこれらの制御方法並びにプログラム、学習済みモデル選択システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-11

(45)【発行日】2024-10-22

(54)【発明の名称】撮像装置、情報処理装置、及びこれらの制御方法並びにプログラム、学習済みモデル選択システム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241015BHJP

   G06N 20/00 20190101ALI20241015BHJP

   G03B 15/00 20210101ALI20241015BHJP

【ＦＩ】

H04N23/60

H04N23/60 300

H04N23/60 500

G06N20/00

G03B15/00 Q

【請求項の数】 28

(21)【出願番号】P 2019221408

(22)【出願日】2019-12-06

(65)【公開番号】P2021093568

(43)【公開日】2021-06-17

【審査請求日】2022-11-29

【前置審査】

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100125254

【弁理士】

【氏名又は名称】別役 重尚

(72)【発明者】

【氏名】田邉 章弘

【審査官】門田 宏

(56)【参考文献】

【文献】特開平０２－０９６７０７（ＪＰ，Ａ）

【文献】特開２００４－０５４２０１（ＪＰ，Ａ）

【文献】特開２０１９－１１４２４３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０１９７３５９（ＵＳ，Ａ１）

【文献】特開２０１９－１０６６９４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０２２８６９２（ＵＳ，Ａ１）

【文献】特開２０１０－２５２３７４（ＪＰ，Ａ）

【文献】国際公開第２０２０／１０４５２１（ＷＯ，Ａ２）

【文献】特開２０１９－１１８０９７（ＪＰ，Ａ）

【文献】特許第６５７３２９７（ＪＰ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０－２３／７６

Ｈ０４Ｎ ２３／９０－２３／９５９

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ ７／２８

Ｇ０３Ｂ １３／３６

Ｇ０６Ｎ ３／００－９９／００

Ｇ０６Ｆ １８／００－１８／４０

(57)【特許請求の範囲】

【請求項1】

被写体を撮像して撮像画像を生成する撮像手段と、
複数のクラスの夫々に対応する第１の学習済みモデルを保持する情報処理装置と通信する通信手段と、
前記複数のクラスのうちの１つである優先するクラスに対応する前記第１の学習済みモデルを用いて前記撮像画像に関する処理を実行する学習済みモデル実行手段と、
前記撮像画像及びその撮像時の撮像情報の少なくとも１つに基づき履歴データを作成する履歴データ作成手段と、
前記作成された履歴データに基づき、前記通信手段により前記情報処理装置から、前記複数のクラスのうちの他の１つのクラスに対応する前記第１の学習済みモデルの学習済み係数パラメータを取得する取得手段と、
前記取得した学習済み係数パラメータに基づいて、前記学習済みモデル実行手段で用いられる前記第１の学習済みモデルの設定を変更する変更手段とを備えることを特徴とする撮像装置。

【請求項2】

前記撮像画像の主被写体及びその撮影シーンの少なくとも１つの情報を、前記複数のクラスの１つに分類する分類処理を実行する分類手段を更に備え、
前記履歴データは、前記分類手段により前記少なくとも１つの情報が前記複数のクラスのいずれに分類されたかを示す情報を含むことを特徴とする請求項１記載の撮像装置。

【請求項3】

前記分類手段は、分類に用いる第２の学習済みモデルを用いて、前記分類処理を実行することを特徴とする請求項２記載の撮像装置。

【請求項4】

前記履歴データは、前記複数のクラスの夫々に対する撮影頻度の順位の情報を更に保持し、
前記取得手段により取得される学習済み係数パラメータは、前記履歴データにおいて前記撮影頻度の順位が高くなったクラスに対応する前記第１の学習済みモデルの学習済み係数パラメータであることを特徴とする請求項２又は３記載の撮像装置。

【請求項5】

前記履歴データにおいて前記撮影頻度の順位が高くなったクラスがあった場合、当該クラスに前記優先するクラスを更新する更新手段を更に備え、
前記取得手段により取得される学習済み係数パラメータは、前記更新された優先するクラスに対応する前記第１の学習済みモデルの学習済み係数パラメータであることを特徴とする請求項４記載の撮像装置。

【請求項6】

前記履歴データ作成手段により作成された履歴データを、前記通信手段により前記情報処理装置に送信することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。

【請求項7】

前記履歴データ作成手段は、
前記通信手段により前記撮像画像及びその撮像時の撮像情報を前記情報処理装置に送信し、前記情報処理装置に前記送信された撮像画像及びその撮像時の撮像情報の少なくとも１つに基づき前記履歴データを作成させることを特徴とする請求項１記載の撮像装置。

【請求項8】

前記履歴データ作成手段は、前記撮像手段により撮像が行われる度に新たに前記履歴データを作成することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。

【請求項9】

前記更新手段による前記優先するクラスの更新を有効とするか否かをユーザ操作に応じて選択する選択手段を更に備えることを特徴とする請求項５記載の撮像装置。

【請求項10】

前記複数のクラスを表示する表示手段を更に備え、
前記表示される複数のクラス毎に、前記更新手段による前記優先するクラスとしての更新を有効とするか否かをユーザ操作に応じて選択する選択手段を更に備えることを特徴とする請求項５記載の撮像装置。

【請求項11】

前記表示手段は、前記複数のクラスを夫々に対する撮影頻度の順位の高い順に並べて表示することを特徴とする請求項１０記載の撮像装置。

【請求項12】

前記撮像画像に関する処理は、物体検出、境界分類、画像処理、ノイズ除去の少なくとも１つの処理を含むことを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。

【請求項13】

前記少なくとも１つの情報は、前記撮像画像及びその撮像時の撮像情報の少なくとも１つから作成されることを特徴とする請求項２に記載の撮像装置。

【請求項14】

前記少なくとも１つの情報は、ＧＰＳ情報及び気象情報の少なくとも１つをさらに含むことを特徴とする請求項１３項に記載の撮像装置。

【請求項15】

複数のクラスの夫々に対応する第１の学習済みモデルを保持する学習済みモデル保持手段と、
被写体を撮像して撮像画像を生成すると共に、前記複数のクラスのうちの１つである優先するクラスに対応する前記第１の学習済みモデルを用いて前記撮像画像に関する処理を実行する撮像装置と通信する通信手段と、
前記通信手段により前記撮像装置より前記撮像画像及びその撮像時の撮像情報を受信する第１の受信手段と、
前記受信した撮像画像及びその撮像時の撮像情報の少なくとも１つに基づき履歴データを作成する履歴データ作成手段と、
前記履歴データ作成手段により作成された履歴データに基づき、前記複数のクラスのうちの他の１つのクラスに対応する前記第１の学習済みモデルの学習済み係数パラメータを前記通信手段により前記撮像装置に送信する送信手段とを備えることを特徴とする情報処理装置。

【請求項16】

前記受信した撮像画像の主被写体及びその撮影シーンの少なくとも１つの情報を、前記複数のクラスの１つに分類する分類処理を実行する分類手段を更に備え、
前記履歴データは、前記分類手段により前記少なくとも１つの情報が前記複数のクラスのいずれに分類されたかを示す情報を含むことを特徴とする請求項１５記載の情報処理装置。

【請求項17】

前記分類手段は、分類に用いる第２の学習済みモデルを用いて、前記分類処理を実行することを特徴とする請求項１６記載の情報処理装置。

【請求項18】

前記履歴データは、前記複数のクラスの夫々に対する撮影頻度の順位の情報を更に保持し、
前記送信手段により送信される学習済み係数パラメータは、前記履歴データにおいて前記撮影頻度の順位が高くなったクラスに対応する前記第１の学習済みモデルの学習済み係数パラメータであることを特徴とする請求項１６又は１７記載の情報処理装置。

【請求項19】

前記通信手段は、前記撮像装置と通信する他の情報処理装置と更に通信を行い、
前記通信手段により、前記他の情報処理装置を介して前記撮像画像及びその撮像時の撮像情報を受信する第２の受信手段と、
前記複数のクラスに対応する学習済みモデルの夫々を構築するための学習処理を行う学習手段とを更に備え、
前記学習手段は、前記第１及び第２の受信手段の少なくとも１つにより受信した前記撮像画像を用いて前記学習処理を行うことを特徴とする請求項１５乃至１８のいずれか１項に記載の情報処理装置。

【請求項20】

被写体を撮像して撮像画像を生成する撮像装置と、複数のクラスの夫々に対応する第１の学習済みモデルを保持する情報処理装置とを含む学習済みモデル選択システムであって、
前記撮像装置は、
前記複数のクラスのうちの１つである優先するクラスに対応する前記第１の学習済みモデルを用いて前記撮像画像に関する処理を実行する学習済みモデル実行手段と、
前記撮像画像及びその撮像時の撮像情報を前記情報処理装置に送信する第１の送信手段とを備え、
前記情報処理装置は、
前記撮像装置から送信された前記撮像画像及びその撮像時の撮像情報の少なくとも１つに基づき履歴データを作成する履歴データ作成手段と、
前記作成された履歴データに基づき、前記複数のクラスのうちの他の１つのクラスに対応する前記第１の学習済みモデルの学習済み係数パラメータを、前記撮像装置に送信する第２の送信手段とを備え、
前記撮像装置は、
前記情報処理装置から送信された学習済み係数パラメータに基づいて、前記学習済みモデル実行手段で用いられる前記第１の学習済みモデルの設定を変更する変更手段を更に備えることを特徴とする学習済みモデル選択システム。

【請求項21】

前記情報処理装置は、前記複数のクラスに対応する学習済みモデルの夫々を構築するための学習処理を行う学習手段を更に備え、
前記学習手段は、前記撮像装置と通信する他の情報処理装置から送信された前記撮像画像及び前記撮像装置から送信された前記撮像画像の少なくとも１つを用いて前記学習処理を行うことを特徴とする請求項２０記載の学習済みモデル選択システム。

【請求項22】

被写体を撮像して撮像画像を生成する撮像装置と、第１の情報処理装置と、複数のクラスの夫々に対応する第１の学習済みモデルを保持する第２の情報処理装置とを含む学習済みモデル選択システムであって、
前記撮像装置は、
前記複数のクラスのうちの１つである優先するクラスに対応する前記第１の学習済みモデルを用いて前記撮像画像に関する処理を実行する学習済みモデル実行手段と、
前記撮像画像及びその撮像時の撮像情報を前記第１の情報処理装置に送信する第１の送信手段とを備え、
前記第１の情報処理装置は、
前記撮像装置から送信された前記撮像画像及びその撮像時の撮像情報の少なくとも１つに基づき履歴データを作成する履歴データ作成手段と、
前記作成された履歴データに基づき、前記複数のクラスのうちの他の１つのクラスに前記優先するクラスを更新する更新手段と、
前記更新された優先するクラスに対応する前記第１の学習済みモデルの学習済み係数パラメータを前記第２の情報処理装置から取得する取得手段と、
前記取得した学習済み係数パラメータを前記撮像装置に送信する第２の送信手段とを備え、
前記撮像装置は、
前記第１の情報処理装置から送信された学習済み係数パラメータに基づいて、前記学習済みモデル実行手段で用いられる前記第１の学習済みモデルの設定を変更する変更手段を更に備えることを特徴とする学習済みモデル選択システム。

【請求項23】

前記第２の情報処理装置は、前記複数のクラスに対応する学習済みモデルの夫々を構築するための学習処理を行う学習手段を更に備え、
前記学習手段は、前記第１の情報処理装置から受信した前記撮像画像を用いて、前記学習処理を行なうことを特徴とする請求項２２記載の学習済みモデル選択システム。

【請求項24】

前記第１の送信手段は、前記撮像装置による撮像で新たに前記撮像画像が生成される毎に当該撮像画像を送信することを特徴とする請求項２０乃至２３のいずれか１項に記載の学習済みモデル選択システム。

【請求項25】

複数のクラスの夫々に対応する第１の学習済みモデルを保持する情報処理装置と通信する撮像装置の制御方法であって、
被写体を撮像して撮像画像を生成する撮像ステップと、
前記複数のクラスのうちの１つである優先するクラスに対応する前記第１の学習済みモデルを用いて前記撮像画像に関する処理を実行する学習済みモデル実行ステップと、
前記撮像画像及びその撮像時の撮像情報の少なくとも１つに基づき履歴データを作成する履歴データ作成ステップと、
前記作成された履歴データに基づき、前記情報処理装置から、前記複数のクラスのうちの他の１つのクラスに対応する前記第１の学習済みモデルの学習済み係数パラメータを取得する取得ステップと、
前記取得した学習済み係数パラメータに基づいて、前記学習済みモデル実行ステップで用いられる前記第１の学習済みモデルの設定を変更する変更ステップとを有することを特徴とする制御方法。

【請求項26】

被写体を撮像して撮像画像を生成すると共に、複数のクラスのうちの１つである優先するクラスに対応する第１の学習済みモデルを用いて前記撮像画像に関する処理を実行する撮像装置と通信する情報処理装置の制御方法であって、
前記複数のクラスの夫々に対応する前記第１の学習済みモデルを保持する学習済みモデル保持ステップと、
前記撮像装置より前記撮像画像及びその撮像時の撮像情報を受信する受信ステップと、 前記受信した撮像画像及びその撮像時の撮像情報の少なくとも１つに基づき履歴データを作成する履歴データ作成ステップと、
前記履歴データ作成ステップにおいて作成された履歴データに基づき、前記複数のクラスのうちの他の１つのクラスに対応する前記第１の学習済みモデルの学習済み係数パラメータを前記撮像装置に送信する送信ステップとを有することを特徴とする制御方法。

【請求項27】

被写体を撮像して撮像画像を生成する撮像手段と、複数のクラスの夫々に対応する第１の学習済みモデルを保持する情報処理装置と通信する通信手段と、制御手段とを備える撮像装置の、前記制御手段を、
前記複数のクラスのうちの１つである優先するクラスに対応する前記第１の学習済みモデルを用いて前記撮像画像に関する処理を実行する学習済みモデル実行手段と、
前記撮像画像及びその撮像時の撮像情報の少なくとも１つに基づき履歴データを作成する履歴データ作成手段と、
前記作成された履歴データに基づき、前記通信手段により前記情報処理装置から、前記複数のクラスのうちの他の１つのクラスに対応する前記第１の学習済みモデルの学習済み係数パラメータを取得する取得手段と、
前記取得した学習済み係数パラメータに基づいて、前記学習済みモデル実行手段で用いられる前記第１の学習済みモデルの設定を変更する変更手段として機能させるためのプログラム。

【請求項28】

複数のクラスの夫々に対応する第１の学習済みモデルを保持する学習済みモデル保持手段と、被写体を撮像して撮像画像を生成すると共に、前記複数のクラスのうちの１つである優先するクラスに対応する前記第１の学習済みモデルを用いて前記撮像画像に関する処理を実行する撮像装置と通信する通信手段と、制御手段とを備える情報処理装置の、前記制御手段を、
前記通信手段により前記撮像装置より前記撮像画像及びその撮像時の撮像情報を受信する第１の受信手段と、
前記受信した撮像画像及びその撮像時の撮像情報の少なくとも１つに基づき履歴データを作成する履歴データ作成手段と、
前記履歴データ作成手段により作成された履歴データに基づき、前記複数のクラスのうちの他の１つのクラスに対応する前記第１の学習済みモデルの学習済み係数パラメータを前記通信手段により前記撮像装置に送信する送信手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像時において機械学習手法により被写体を識別する撮像装置、情報処理装置、及びこれらの制御方法並びにプログラム、学習済みモデル選択システムに関する。

【背景技術】

【0002】

撮像時において、ニューラルネットワーク等に代表される機械学習手法により被写体を識別する撮像装置が知られている。このような撮像装置は、予めユーザに指定された特定の被写体に対応した学習済みモデルを利用して、撮像画像に関する処理を行う。現在、この特定の被写体としてユーザが指定できる被写体の種類は、人、車、電車などの数種類であるが、今後益々増えていくと予想される。更に、上記学習済みモデルは、従来はＡＦ（オートフォーカス処理）を行う際の物体検出（主被写体の判別）の用途にのみ利用されてきた。しかし、ＡＥ（自動露出）、ＡＷＢ（オートホワイトバランス）、画像処理、ノイズ除去等を行う際の撮像画像に関する処理にも学習済みモデルの利用が広がっていくと考えられる。

【0003】

この場合、被写体の種類毎、撮像画像に関する処理毎に、複数の学習済みモデルが必要となるが、その全ての学習済みモデルを撮像装置に保持することは、記録容量が不足している場合にはできない。このような場合、撮像装置に保持する学習済みモデルを適宜入れ替える必要がある。

【0004】

例えば特許文献１では、クライアント端末からの要求に応じて画質を制御した高解像度画像を生成し、クライアント端末に配信するサーバが開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００８－６７３１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１では、サーバとクライアント端末の間での高解像度画像のやりとりは開示されているが、機械学習手法により生成した学習済みモデルの、サーバとクライアント端末の間でのやり取りに関しては開示がない。

【0007】

そこで、本発明は、撮像画像に関する処理を行う学習済みモデルを適宜入れ替えることができる撮像装置、情報処理装置、及びこれらの制御方法並びにプログラム、学習済みモデル選択システムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の請求項１に係る撮像装置は、被写体を撮像して撮像画像を生成する撮像手段と、複数のクラスの夫々に対応する第１の学習済みモデルを保持する情報処理装置と通信する通信手段と、前記複数のクラスのうちの１つである優先するクラスに対応する前記第１の学習済みモデルを用いて前記撮像画像に関する処理を実行する学習済みモデル実行手段と、前記撮像画像及びその撮像時の撮像情報の少なくとも１つに基づき履歴データを作成する履歴データ作成手段と、前記作成された履歴データに基づき、前記通信手段により前記情報処理装置から、前記複数のクラスのうちの他の１つのクラスに対応する前記第１の学習済みモデルの学習済み係数パラメータを取得する取得手段と、前記取得した学習済み係数パラメータに基づいて、前記学習済みモデル実行手段で用いられる前記第１の学習済みモデルの設定を変更する変更手段とを備えることを特徴とする。

【0009】

本発明の請求項１５に係る情報処理装置は、複数のクラスの夫々に対応する第１の学習済みモデルを保持する学習済みモデル保持手段と、被写体を撮像して撮像画像を生成すると共に、前記複数のクラスのうちの１つである優先するクラスに対応する前記第１の学習済みモデルを用いて前記撮像画像に関する処理を実行する撮像装置と通信する通信手段と、前記通信手段により前記撮像装置より前記撮像画像及びその撮像時の撮像情報を受信する受信手段と、前記受信した撮像画像及びその撮像時の撮像情報の少なくとも１つに基づき履歴データを作成する履歴データ作成手段と、前記履歴データ作成手段により作成された履歴データに基づき、前記複数のクラスのうちの他の１つのクラスに対応する前記第１の学習済みモデルの学習済み係数パラメータを前記通信手段により前記撮像装置に送信する送信手段とを備えることを特徴とする。

【0010】

本発明の請求項２０に係る学習済みモデル選択システムは、被写体を撮像して撮像画像を生成する撮像装置と、複数のクラスの夫々に対応する第１の学習済みモデルを保持する情報処理装置とを含む学習済みモデル選択システムであって、前記撮像装置は、前記複数のクラスのうちの１つである優先するクラスに対応する前記第１の学習済みモデルを用いて前記撮像画像に関する処理を実行する学習済みモデル実行手段と、前記撮像画像及びその撮像時の撮像情報を前記情報処理装置に送信する第１の送信手段とを備え、前記情報処理装置は、前記撮像装置から送信された前記撮像画像及びその撮像時の撮像情報の少なくとも１つに基づき履歴データを作成する履歴データ作成手段と、前記作成された履歴データに基づき、前記複数のクラスのうちの他の１つのクラスに対応する前記第１の学習済みモデルの学習済み係数パラメータを、前記撮像装置に送信する第２の送信手段とを備え、前記撮像装置は、前記情報処理装置から送信された学習済み係数パラメータに基づいて、前記学習済みモデル実行手段で用いられる前記第１の学習済みモデルの設定を変更する変更手段を更に備えることを特徴とする。

【0011】

本発明の請求項２２に係る学習済みモデル選択システムは、被写体を撮像して撮像画像を生成する撮像装置と、第１の情報処理装置と、複数のクラスの夫々に対応する第１の学習済みモデルを保持する第２の情報処理装置とを含む学習済みモデル選択システムであって、前記撮像装置は、前記複数のクラスのうちの１つである優先するクラスに対応する前記第１の学習済みモデルを用いて前記撮像画像に関する処理を実行する学習済みモデル実行手段と、前記撮像画像及びその撮像時の撮像情報を前記第１の情報処理装置に送信する第１の送信手段とを備え、前記第１の情報処理装置は、前記撮像装置から送信された前記撮像画像及びその撮像時の撮像情報の少なくとも１つに基づき履歴データを作成する履歴データ作成手段と、前記作成された履歴データに基づき、前記複数のクラスのうちの他の１つのクラスに前記優先するクラスを更新する更新手段と、前記更新された優先するクラスに対応する前記第１の学習済みモデルの学習済み係数パラメータを前記第２の情報処理装置から取得する取得手段と、前記取得した学習済み係数パラメータを前記撮像装置に送信する第２の送信手段とを備え、前記撮像装置は、前記第１の情報処理装置から送信された学習済み係数パラメータに基づいて、前記学習済みモデル実行手段で用いられる前記第１の学習済みモデルの設定を変更する変更手段を更に備えることを特徴とする。

【発明の効果】

【0012】

本発明によれば、撮像画像に関する処理を行う学習済みモデルを適宜入れ替えることができる。

【図面の簡単な説明】

【0013】

【図1】第１の実施形態に係る学習済みモデル選択システムのシステム構成図である。

【図2】図１における撮像装置のハードウェア構成を示すブロック図である。

【図3】図２におけるニューラルネットワーク処理部の概略構成を示す図である。

【図4】図１における情報処理装置としてのサーバのハードウェア構成を示すブロック図である。

【図5】図１における情報処理装置としての携帯端末のハードウェア構成を示すブロック図である。

【図6】第１の実施形態に係る撮像装置において実行される学習済みモデルの設定変更処理のフローチャートである。

【図7】図２における表示部において表示されるメニュー画面及び撮影時画面の一例である。

【図8】第２の実施形態に係る撮像装置において実行される学習済みモデルの設定変更処理のフローチャートである。

【図9】第２の実施形態に係る携帯端末において実行される学習済みモデルの設定変更処理のフローチャートである。

【図10】第３の実施形態に係る撮像装置において実行される学習済みモデルの設定変更処理のフローチャートである。

【図11】第３の実施形態に係る携帯端末において実行される学習済みモデルの設定変更処理のフローチャートである。

【図12】第４の実施形態に係る学習済みモデル選択システムのシステム構成図である。

【図13】第４の実施形態に係る携帯端末において実行される学習済みモデルの設定変更処理のフローチャートである。

【図14】第４の実施形態に係るサーバにおいて実行される学習済みモデルの設定変更処理のフローチャートである。

【発明を実施するための形態】

【0014】

以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

【0015】

＜第１の実施形態＞
以下、本発明の第１の実施形態に係る学習済みモデル選択システムとして、撮像装置Ｃ及び情報処理装置としてのサーバＳＶからなるシステム１０ａと、撮像装置Ｃと情報処理装置としての携帯端末ＳＰからなるシステム１０ｂについて、以下に詳細に説明する。但し、本発明の学習済みモデル選択システムは、以下例示するシステム１０ａ，１０ｂに限定されない。

【0016】

図１は、システム１０ａ，１０ｂのシステム構成図である。

【0017】

図１（ａ）に示すように、システム１０ａでは、撮像装置ＣとサーバＳＶが無線あるいは有線による通信ネットワークにより接続される。

【0018】

また、図１（ｂ）に示すように、システム１０ｂでは、撮像装置Ｃと携帯端末ＳＰが無線あるいは有線による通信ネットワークにより接続される。

【0019】

＜撮像装置Ｃの構成＞
図２は、撮像装置Ｃのハードウェア構成を示すブロック図である。

【0020】

図２に示すように、撮像装置Ｃは、ＣＰＵ２０１と、メモリ２０２と、不揮発性メモリ２０３と、操作部２０４と、ニューラルネットワーク処理部２０５と、撮像部２１２と、画像処理部２１３と、符号化処理部２１４とを有している。更に、撮像装置Ｃは、表示制御部２１５と、表示部２１６と、通信制御部２１７と、通信部２１８と、記録媒体制御部２１９と、内部バス２３０とを有している。また、撮像装置Ｃは、撮影レンズ２１１を用いて被写体の光学像を撮像部２１２の画素アレイに結像するが、撮影レンズ２１１は、撮像装置Ｃのボディ（筐体、本体）から、着脱不能であってもよいし、着脱可能であってもよい。また、撮像装置Ｃは、記録媒体制御部２１９を介して画像データの書き込み及び読み出しを記録媒体２２０に対して行うが、記録媒体２２０は、撮像装置Ｃに着脱可能であってもよいし、着脱不能であってもよい。

【0021】

ＣＰＵ２０１は、不揮発性メモリ２０３に記憶されているコンピュータプログラムを実行することによって、内部バス２３０を介して撮像装置Ｃの各部（各機能ブロック）の動作を制御する。

【0022】

メモリ２０２は、書き換え可能な揮発性メモリである。メモリ２０２は、撮像装置Ｃの各部の動作を制御するためのコンピュータプログラム、撮像装置Ｃの各部の動作に関するパラメータ等の情報、通信制御部２１７によって受信される情報等を一時的に記録する。また、メモリ２０２は、撮像部２１２によって取得された画像、画像処理部２１３、符号化処理部２１４等によって処理された画像及び情報を一時的に記録する。メモリ２０２は、これらを一時的に記録するために十分な記憶容量を備えている。また、メモリ２０２は、撮像した画像及び撮像時に用いたパラメータを元に作成された履歴データを保持する。この履歴データの詳細に関しては後述する。

【0023】

不揮発性メモリ２０３は、電気的に消去及び記録が可能なメモリであり、例えばＥＥＰＲＯＭ、ハードディスク等が用いられる。不揮発性メモリ２０３は、撮像装置Ｃの各部の動作を制御するコンピュータプログラム及び撮像装置Ｃの各部の動作に関するパラメータ等の情報を記憶する。かかるコンピュータプログラムにより、撮像装置Ｃによって行われる各種動作が実現される。更に、不揮発性メモリ２０３は、ニューラルネットワーク処理部２０５で使用する、ニューラルネットワークの処理内容を記述したコンピュータプログラムと、重み係数やバイアス値等の学習済み係数パラメータを格納する。なお、重み係数とはニューラルネットワークにおいてノード間の接続の強さを示すための値であり、バイアスは重み係数と入力データの積算値に対してオフセットを与えるための値である。不揮発性メモリ２０３は、学習済み係数パラメータと、ニューラルネットワークの処理を記述したコンピュータプログラムとを夫々複数保持することが可能である。また、不揮発性メモリ２０３は、過去の履歴データを保持する。

【0024】

なお、メモリ２０２ではなく不揮発性メモリ２０３に、上述したニューラルネットワーク処理部２０５で使用する、ニューラルネットワークの処理を記述したコンピュータプログラム及び学習済み係数パラメータを、夫々複数格納するようにしてもよい。また、不揮発性メモリ２０３は、履歴データも格納する。

【0025】

操作部２０４は、撮像装置Ｃを操作するためのユーザインタフェースを提供する。操作部２０４は、電源ボタン、メニューボタン、撮影用のレリーズボタン、動画録画ボタン、キャンセルボタン等の各種ボタンを含んでおり、各種ボタンはスイッチ、タッチパネル等により構成される。ＣＰＵ２０１は、操作部２０４を介して入力されたユーザの指示に従って撮像装置Ｃを制御する。なお、ここでは、操作部２０４を介して入力される操作に基づいてＣＰＵ２０１が撮像装置Ｃを制御する場合を例に説明したが、これに限定されるものではない。例えば、不図示のリモートコントローラ、不図示の携帯端末等から通信部２１８を介して入力される要求に基づいて、ＣＰＵ２０１が撮像装置Ｃを制御してもよい。

【0026】

ニューラルネットワーク処理部２０５については図３を用いて後述する。

【0027】

撮影レンズ（レンズユニット）２１１は、ズームレンズ、フォーカスレンズ等を含む不図示のレンズ群、不図示のレンズ制御部、不図示の絞り等によって構成される。撮影レンズ２１１は、画角を変更するズーム手段として機能し得る。撮影レンズ２１１のレンズ制御部は、ＣＰＵ２０１から送信される制御信号により、焦点の調整及び絞り値（Ｆ値）の制御を行う。

【0028】

撮像部２１２は、動画像を構成する複数の画像を順次取得する取得手段として機能し得る。撮像部２１２としては、例えば、例えばＣＣＤ（電荷結合素子）、ＣＭＯＳ（相補型金属酸化膜半導体）素子等でのエリアイメージセンサが用いられる。撮像部２１２は、被写体の光学像を電気信号に変換する不図示の光電変換部が行列状、すなわち、２次元的に配列された不図示の画素アレイを有している。当該画素アレイには、被写体の光学像が撮影レンズ２１１によって結像される。撮像部２１２は、撮像した画像を画像処理部２１３又はメモリ２０２に出力する。なお、撮像部２１２は、静止画像を取得することも可能である。

【0029】

画像処理部２１３は、撮像部２１２から出力される画像データ、又は、メモリ２０２から読み出された画像データに対し、所定の画像処理を行う。当該画像処理の例としては、ダイナミックレンジ変換処理、補間処理、縮小処理（リサイズ処理）、色変換処理等が挙げられる。また、画像処理部２１３は、撮像部２１２によって取得された画像データを用いて、露光制御、測距制御等のための所定の演算処理を行う。画像処理部２１３による演算処理によって得られた演算結果に基づいて、露光制御、測距制御等がＣＰＵ２０１によって行われる。具体的には、ＡＥ処理、ＡＷＢ処理、ＡＦ処理等がＣＰＵ２０１によって行われる。また、ＡＥ処理、ＡＷＢ処理、ＡＦ処理の一部を、ニューラルネットワーク処理部２０５を用いて行ってもよい。

【0030】

符号化処理部２１４は、画像データに対してフレーム内予測符号化（画面内予測符号化）、フレーム間予測符号化（画面間予測符号化）等を行うことによって、画像データのサイズを圧縮する。符号化処理部２１４は、例えば、半導体素子等により構成される。符号化処理部２１４は、撮像装置Ｃの外部に設けられてもよい。また、符号化処理部２１４の処理の一部を、ニューラルネットワーク処理部２０５を用いて行ってもよい。

【0031】

表示制御部２１５は、表示部２１６を制御する。表示部２１６は、不図示の表示画面を備える。表示制御部２１５は、表示部２１６の表示画面に表示可能な画像を生成し、当該画像、すなわち、画像信号を表示部２１６に出力する。また、表示制御部２１５は表示部２１６に画像データを出力するだけでなく、通信制御部２１７を介して外部機器に画像データを出力することも可能である。表示部２１６は、表示制御部２１５から送られてくる画像信号に基づいて、表示画面に画像を表示する。表示部２１６は、表示画面にメニュー等の設定画面を表示する機能であるＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）機能を備えている。表示制御部２１５は、画像信号にＯＳＤ画像を重畳して表示部２１６に画像信号を出力し得る。表示部２１６は、液晶ディスプレイ、有機ＥＬディスプレイ等により構成されており、表示制御部２１５から送られてきた画像信号を表示する。表示部２１６は、例えばタッチパネルであってもよい。表示部２１６がタッチパネルである場合、表示部２１６は、操作部２０４としても機能し得る。

【0032】

通信制御部２１７は、ＣＰＵ２０１に制御される。通信制御部２１７は、ＩＥＥＥ８０２．１１等のような無線通信規格に適合する変調信号を生成して、当該変調信号を通信部２１８に出力し、外部の機器からの変調信号を、通信部２１８を介して受信する構成である。また、通信制御部２１７は映像信号の制御信号を送受信することが可能である。例えば、ＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）やＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）などの通信規格に準拠した映像信号を送るため通信部２１８を制御してもよい。

【0033】

通信部２１８は映像信号と制御信号を物理的な電気信号に変換して外部機器と送受信する。なお、ここでは、通信部２１８によって映像信号と、無線通信が行われる場合を例に説明したが、通信部２１８によって行われるこれらに限定されるものではない。

【0034】

記録媒体制御部２１９は、記録媒体２２０を制御する。記録媒体制御部２１９は、ＣＰＵ２０１からの要求に基づいて、記録媒体２２０を制御するための制御信号を記録媒体２２０に出力する。記録媒体２２０としては、例えば不揮発性メモリや磁気ディスク等が用いられる。記録媒体２２０は、上述したように、着脱可能であってもよいし、着脱不能であってもよい。記録媒体２２０は、符号化された画像データ等を記録する。記録媒体２２０のファイルシステムに適合した形式で画像データ等がファイルとして保存される。

【0035】

各々の機能ブロック２０１～２０５、２１２～２１５、２１７、２１９は、内部バス２３０を介して互いにアクセス可能となっている。

【0036】

＜ニューラルネットワーク処理部２０５の構成＞
図３は、ニューラルネットワーク処理部２０５の概略構成を示す図である。

【0037】

ニューラルネットワーク処理部２０５は予め学習済み係数パラメータを用いてニューラルネットワークの処理を実行する。なお、ニューラルネットワークの処理とは、例えばＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）と全結合層で構成されるものなどであるが、これに限定するものではない。また上述の学習済み係数パラメータは、全結合層では各層のノード間を結ぶエッジ毎に持つ重み係数やバイアス値、ＣＮＮではカーネルの重み係数やバイアス値に相当する。

【0038】

図３に示すように、ニューラルネットワーク処理部２０５はニューラルコア３４０の中に、ＣＰＵ３４１、積和演算回路３４２、ＤＭＡ３４３、内部メモリ３４４が含まれる構成となる。

【0039】

ＣＰＵ３４１（学習済みモデル実行手段）は、ニューラルネットワークの処理内容を記述したコンピュータプログラムを、内部バス２３０を介してメモリ２０２または不揮発性メモリ２０３から、あるいは内部メモリ３４４から取得し、これを実行する。またＣＰＵ３４１は積和演算回路３４２およびＤＭＡ３４３の制御も行う。

【0040】

積和演算回路３４２は、ニューラルネットワークにおける積和演算を行う回路である。積和演算回路３４２は、積和演算部を複数有し、これらは並列に演算の実行をすることが可能である。また、積和演算回路３４２は、複数の積和演算部により並列に実行される演算の際に算出される中間データをＤＭＡ３４３を介して内部メモリ３４４に出力する。

【0041】

ＤＭＡ３４３は、ＣＰＵ３４１を介さずにデータ転送に特化した回路であり、内部バス２３０を介してメモリ２０２または不揮発性メモリ２０３と内部メモリ３４４との間のデータ転送を行う。また、ＤＭＡ３４３は積和演算回路３４２と内部メモリ３４４と間のデータ転送も行う。ＤＭＡ３４３が転送するデータとしては、ニューラルネットワークの処理内容を記述したコンピュータプログラムや、学習済み係数パラメータ、積和演算回路３４２で算出した中間データ等である。

【0042】

内部メモリ３４４は、ニューラルネットワークの処理内容を記述したコンピュータプログラムや、学習済み係数パラメータ、積和演算回路３４２で算出した中間データ等を格納する。また、内部メモリ３４４は複数のバンクを有してもよく、動的にバンクを切り替えてもよい。

【0043】

＜履歴データ＞
ここで、上述した履歴データについて説明する。本実施形態において、履歴データには、撮像装置Ｃによる撮像画像がどのような撮影シーンであるのか、どのような被写体が撮像画像に含まれるのかの情報が含まれる。ここで、撮影シーンとは、ユーザの指定した撮影モードや露出条件等の撮影パラメータから撮像装置Ｃが判断した撮影時におけるシーンを意味する。また、履歴データには、ＧＰＳ情報、気象情報が含まれてもよい。更に、履歴データには、撮像時の設定値である、ＡＦ、ＡＥ、ＡＷＢ、ＩＳＯ感度、シャッター速度、被写界深度等の情報が含まれていてもよい。履歴データは、本実施形態においては撮像装置Ｃのニューラルネットワーク処理部２０５（分類手段）が有するニューラルネットワークの一つである、履歴処理ニューラルネットワークによる分類処理の結果として出力される。これにより、被写体が不規則に動く場合（レース、動物）や、撮影シーンが水族館、夜景、花火など、暗部や人工的な光源である場合、上記ニューラルネットワークによる処理結果に応じた最適な撮像時の設定値の調整が撮像装置Ｃにおいて行うことが可能となる。なお、履歴処理ニューラルネットワークは、撮像画像に含まれる主被写体及びその撮影シーンを夫々複数のクラスの１つに分類するニューラルネットワークである。履歴データにより、ユーザにより撮像された撮像画像における被写体や撮影シーンの頻度を判断することが撮像装置Ｃ側にて可能となる。更に、ニューラルネットワーク処理部２０５では、ＧＰＳや気象条件に応じて撮像画像に含まれる主被写体及びその撮影シーンを更に分類しても良い。

【0044】

＜サーバＳＶの構成＞
図４は、サーバＳＶのハードウェア構成を示すブロック図である。

【0045】

図４に示す様に、サーバＳＶは、ＣＰＵ４０１と、メモリ４０２と、表示部４０３と、操作部４０５と、記録部４０６と、通信部４０７と、ニューラルネットワーク処理部４０８とを有している。

【0046】

ＣＰＵ４０１は、記録部４０６に記憶されているコンピュータプログラムを実行することによって、サーバＳＶを構成するすべての処理ブロックの制御を行う。

【0047】

メモリ４０２は、主にＣＰＵ４０１のワークエリアや、データの一時バッファ領域として使用されるメモリである。

【0048】

表示部４０３は、液晶パネル、または有機ＥＬパネル等で構成され、ＣＰＵ４０１の指示に基づいて、操作画面等の表示を行う。

【0049】

内部バス４０４は、サーバＳＶ内の各処理ブロックを相互に接続するためのバスである。

【0050】

操作部４０５は、キーボード、マウス、ボタン、タッチパネル、またはリモコン等によって構成され、ユーザの操作指示を受け付ける。操作部４０５から入力された操作情報は、ＣＰＵ４０１に送信され、ＣＰＵ４０１は操作情報に基づいて各処理ブロックの制御を実行する。

【0051】

記録部４０６は記録媒体によって構成され、ＣＰＵ４０１の指示に基づいて記録媒体に様々なデータを格納したり読み出したりする処理ブロックである。記録媒体は、例えばＥＥＰＲＯＭ、内蔵フラッシュメモリ、内蔵ハードディスク、或いは着脱可能なメモリカード等で構成される。記録部４０６には、ニューラルネットワーク処理部４０８における学習用データである入力データと教師データを保存しておく。なお、教師データを新規で作成する場合は、処理時間がかかるが高精度に判定できる高性能学習済みモデルを使用した結果を教師データとして生成して記録部４０６に記録する。

【0052】

通信部４０７は、無線ＬＡＮ及び有線ＬＡＮの通信を行うためのハードウェア等を備えている。無線ＬＡＮにおいては、例えばＩＥＥＥ８０２．１１ｎ／ａ／ｇ／ｂ方式の処理ブロックである。通信部４０７は、外部のアクセスポイントと無線ＬＡＮで接続し、アクセスポイント経由で他の無線通信機器と無線ＬＡＮ通信を行う。また、通信部４０７は有線ＬＡＮにおいてＥｔｈｅｒｎｅｔケーブルにより外部ルータ、またはスイッチングハブを介して通信を行う。通信部４０７は、撮像装置Ｃを含む、外部の機器と通信を行い、画像や制御データ、学習用データ、学習済みモデル等の情報のやり取りを行う。

【0053】

ニューラルネットワーク処理部４０８は、記録部４０６に保存された学習用データと、予め作成されたニューラルネットワークのモデルを用いて、ニューラルネットワークの学習処理を行う。ニューラルネットワーク処理部４０８は、画像データを入力データとして異なるクラスの被写体の夫々に対応する学習済みモデルを構築するための学習処理を行う。また、この入力データとしての画像データは、操作部４０５を介したユーザからの指示、または予めプログラムされた通信部４０７から受信してもよいし、記録部４０６に記録された画像データを読み込んでもよい。ニューラルネットワーク処理部４０８はＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）で構成される。なお、ニューラルネットワークの学習処理は、ニューラルネットワーク処理部４０８を設けず、ＣＰＵ４０１で処理を行ってもよいし、両方で処理を行ってもよい。また、ニューラルネットワーク処理部４０８により行われた学習処理の結果である、学習済みモデルも記録部４０６（学習済みモデル保持手段）に保持される。

【0054】

＜携帯端末ＳＰのブロック図＞
図５は、携帯端末ＳＰのハードウェア構成を示すブロック図である。

【0055】

図５に示す様に、携帯端末ＳＰは、ＣＰＵ５０１と、メモリ５０２と、撮像部５０３と、表示部５０４と、操作部５０５と、記録部５０６と、通信部５０７と、内部バス５０８と、ニューラルネットワーク処理部５０９とを有している。

【0056】

ＣＰＵ５０１は、記録部５０６に記憶されているコンピュータプログラムを実行することによって、携帯端末ＳＰを構成するすべての処理ブロックの制御を行う。

【0057】

メモリ５０２は、主にＣＰＵ５０１のワークエリアや、データの一時バッファ領域として使用されるメモリである。ＯＳ（Ｏｐｅｒａｔｉｏｎ Ｓｙｓｔｅｍ）やアプリケーション等のプログラムは、メモリ５０２上に展開され、ＣＰＵ５０１により実行される。

【0058】

撮像部５０３は、光学レンズ、ＣＭＯＳセンサ、デジタル画像処理部等を備え、光学レンズを介して入力されるアナログ信号をデジタルデータに変換して撮影画像を取得する処理ブロックである。撮像部５０３によって取得された撮影画像は、メモリ５０２に一時的に格納され、ＣＰＵ５０１の制御に基づいて処理される。例えば、記録部５０６による記録媒体への記録や、通信部５０７による外部機器への送信などである。また撮像部５０３は、レンズ制御部も備えており、ＣＰＵ５０１からの指令に基づいて、ズーム、フォーカス、絞り調整等の制御を行う。

【0059】

表示部５０４は、液晶パネル、または有機ＥＬパネル等で構成され、ＣＰＵ５０１の指示に基づいて、操作画面や、撮影画像等の表示を行う。

【0060】

操作部５０５は、キーボード、マウス、ボタン、十字キー、タッチパネル、またはリモコン等によって構成され、ユーザの操作指示を受け付ける。操作部５０５から入力された操作情報は、ＣＰＵ５０１に送信され、ＣＰＵ５０１は操作情報に基づいて各処理ブロックの制御を実行する。

【0061】

記録部５０６は、大容量の記録媒体によって構成され、ＣＰＵ５０１の指示に基づいて記録媒体に様々なデータを格納したり読み出したりする処理ブロックである。記録媒体は、例えば内蔵フラッシュメモリ、内蔵ハードディスク、或いは着脱可能なメモリカード等で構成される。記録部５０６には、ニューラルネットワーク処理部５０９における学習用データである入力データと教師データを保存しておく。

【0062】

通信部５０７は、アンテナ、無線ＬＡＮ、有線ＬＡＮ等の通信を行うための処理ハードウェア等を備え、例えばＩＥＥＥ８０２．１１ｎ／ａ／ｇ／ｂ方式の無線ＬＡＮ通信を行う処理ブロックである。通信部５０７は、外部のアクセスポイントと無線ＬＡＮで接続し、アクセスポイント経由で他の無線通信機器と無線ＬＡＮ通信を行う。

【0063】

内部バス５０８は、携帯端末ＳＰ内の各処理ブロックを相互に接続するためのバスである。

【0064】

ニューラルネットワーク処理部５０９は、記録部５０６に保存された学習用データと、予め作成されたニューラルネットワークのモデルを用いて、ニューラルネットワークの学習処理を行う。ニューラルネットワーク処理部５０９は、画像データを入力データとして異なるクラスの被写体の夫々に対応する学習処理を行う。また、この入力データとしての画像データは、操作部５０５を介したユーザからの指示、または予めプログラムされた通信部５０７から受信してもよいし、記録部５０６に記録された画像データを読み込んでもよい。ニューラルネットワーク処理部５０９はＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）で構成される。なお、ニューラルネットワークの学習処理は、ニューラルネットワーク処理部５０９を設けず、ＣＰＵ５０１で処理を行ってもよいし、両方で処理を行ってもよい。また、ニューラルネットワーク処理部５０９により行われた学習処理の結果である、学習済みモデルも記録部５０６（学習済みモデル保持手段）に保持される。

【0065】

＜撮像装置Ｃの処理フロー＞
図６のフローチャートを用いて、第１の実施形態に係る撮像装置Ｃにおいて実行される学習済みモデルの設定変更処理の流れについて説明する。

【0066】

この動作は、撮像装置Ｃの電源がオンの状態において、不揮発性メモリ２０３に格納されているコンピュータプログラムがメモリ２０２に展開され、ＣＰＵ２０１がメモリ２０２のコンピュータプログラムを読み出して実行することにより実現される。また本処理は、ユーザが、表示部２１６に表示されるメニュー画面より撮影時の設定を操作部２０４を介して選択し、その後撮影開始指示を不図示のレリーズボタンの全押しにより行った場合に開始される。なお、本処理は電源オンの状態で撮像モードで撮像部２１２が動作中は自動的に繰り返し実行されてもよい。あるいは、レリーズボタンの半押しに応じて開始されてもよい。この場合、ＡＦやＡＥやＡＷＢなどの処理と並行して実行される。

【0067】

また、不揮発性メモリ２０３には、優先する被写体に対応する複数の学習済みモデル及び履歴処理ニューラルネットワークが予め保持される。なお、優先する被写体に対応する複数の学習済みモデルは夫々、物体検出（主被写体の判別）、境界分類、画像処理、ノイズ除去等の後述するステップＳ６０２で得られる撮像画像に関するニューラルネットワーク処理のいずれかを行う。

【0068】

ステップＳ６０１において、ＣＰＵ２０１は、本処理の開始前にユーザ選択された撮影時の設定に応じて、不揮発性メモリ２０３にある学習済みモデルの１つを選択する。例えば、本処理の開始前にユーザ選択された撮影時の設定がＡＦであれば、物体検出（主被写体の判別）を行う学習済みモデルが選択される。ＣＰＵ２０１は、撮像部２１２によって画像データを取得し、これを入力データとしてニューラルネットワーク処理部２０５で主被写体の判別を行わせる。その後、ＣＰＵ２０１は、判別された主被写体に対するＡＦ処理を行なった後、ステップＳ６０２に進む。

【0069】

ステップＳ６０２において、ＣＰＵ２０１は、撮像部２１２、画像処理部２１３、符号化処理部２１４を制御して撮像処理を行い、ステップＳ６０３へ進む。また、ＣＰＵ２０１は符号化処理部２１４で符号化する前の撮像画像をメモリ２０２に保持する。

【0070】

ステップＳ６０３において、ＣＰＵ２０１（履歴データ作成手段）は、履歴データを作成する。具体的には、ＣＰＵ２０１は、ステップＳ６０２でメモリ２０２に保持した符号化する前の撮像画像をニューラルネットワーク処理部２０５に入力し、履歴処理ニューラルネットワークにより上述した履歴データを出力する。なお、撮像画像以外に、撮影情報もニューラルネットワーク処理部２０５に入力して、履歴データを出力してもよい。また、本処理において、ニューラルネットワーク処理部２０５で処理を行うための、ニューラルネットワークの処理内容を記述したコンピュータプログラムや、学習済み係数パラメータはメモリ２０２あるいは不揮発性メモリ２０３から順次読み出して処理を行う。なお、履歴処理ニューラルネットワークとは、履歴データを出力するためのニューラルネットワーク処理を指す。例えば、履歴処理ニューラルネットワークは一般的なクラス分類用のニューラルネットワークが適用され、主被写体を人物、動物、物等の複数の被写体のクラスに分類することができる。

【0071】

ステップＳ６０４において、ＣＰＵ２０１は、不揮発性メモリ２０３に記録されている古い履歴データを、ステップＳ６０３の新しい履歴データに置き換えて更新する。例えば、ステップＳ６０３の履歴データにおいて、ステップＳ６０２における撮像画像の主被写体が人物のクラスに分類された場合には、履歴データとして人物のクラスの撮影頻度を増やし、ステップＳ６０５に進む。なお、ＣＰＵ２０１は、古い履歴データをステップＳ６０５で用いるため、メモリ２０２に退避する。尚、古い履歴データが存在しない場合、ＣＰＵ２０１は、ステップＳ６０３で作成された履歴データを不揮発性メモリ２０３に記録した後、本処理を終了する。

【0072】

ステップＳ６０５において、ＣＰＵ２０１は、まず、不揮発性メモリ２０３に記録した新しい履歴データと、メモリ２０２に記録されている、古い履歴データを比較する。その後、この比較結果に基づき、履歴データの更新によりユーザにより主被写体として撮影された被写体の優先順位（以下単に被写体の優先順位という）が変更されたか否かを判別する。具体的には、履歴データにおいて各クラスの撮影頻度の順位が変更したとき、ＣＰＵ２０１は、被写体の優先順位が変更されたと判別する。ＣＰＵ２０１は、被写体の優先順位が変更されたと判断した場合（ステップＳ６０５のＹＥＳ）、ステップＳ６０６へ進む。一方、ＣＰＵ２０１は、被写体の優先順位が変更されていないと判断した場合（ステップＳ６０５のＮＯ）、ステップＳ６０８へ進む。

【0073】

ステップＳ６０６において、ＣＰＵ２０１は、撮影頻度の順位が高くなったクラスの被写体を優先する被写体に変更すると共に、この変更後の優先する被写体に対応した学習済みモデルに変更するか否か（自動更新が有効か無効か）を判断する。ここで本実施形態においては、ユーザは、優先する被写体を自動的に更新させたくない場合は、後述する図７のメニュー画面により予め自動更新を無効とする設定を行い、逆の場合は図７のメニュー画面により予め自動更新を有効とする設定を行う。また、不揮発性メモリ２０３はこの図７のメニュー画面に対するユーザ設定の状態（以下、メニュー設定状態という）を保持する。よって、ＣＰＵ２０１は、不揮発性メモリ２０３に保持されるメニュー設定状態に基づき、上記自動更新が有効か無効かを判断する。すなわち、ＣＰＵ２０１は、メニュー設定状態が自動更新を無効とする設定状態である場合、ステップＳ６０６において優先する被写体が変更されても、これに対応した学習済みモデルには変更しない、すなわち自動更新は無効であると判断する。一方、ＣＰＵ２０１は、メニュー設定状態が自動更新を有効とする設定状態である場合、ステップＳ６０６において優先する被写体が変更されると、これに対応した学習済みモデルに変更する、すなわち自動更新は有効であると判断する。但し、学習済みモデルの変更を行う場合、不揮発性メモリ２０３の容量は有限であるため、後述するステップＳ６０７において不揮発性メモリ２０３における学習済みモデルの学習済み係数パラメータが入れ替えられる。ＣＰＵ２０１は、自動更新が有効である場合（ステップＳ６０６のＹＥＳ）、ステップＳ６０７へ進む。ＣＰＵ２０１は、自動更新が有効でない場合（ステップＳ６０６のＮＯ）、ステップＳ６０８へ進む。

【0074】

ステップＳ６０７において、ＣＰＵ２０１は、まず、通信制御部２１７を制御し、通信部２１８を介して変更後の優先する被写体に対応する学習済みモデルの学習済み係数パラメータを、サーバＳＶあるいは携帯端末ＳＰの何れかより取得する。その後、その取得した学習済み係数パラメータに基づき不揮発性メモリ２０３における学習済みモデルの設定を変更し、本処理を終了する。具体的には、ステップＳ６０７では、ＣＰＵ２０１は、不揮発性メモリ２０３における変更前の優先する被写体に対応する学習済みモデルの学習済み係数パラメータを、取得した学習済み係数パラメータに入れ替える。

【0075】

ステップＳ６０８において、ＣＰＵ２０１は、通信制御部２１７を制御し、通信部２１８を介して現在の優先する被写体に対応する学習済みモデルに更新があったか否かを問い合わせる。ＣＰＵ２０１は、まず、問合せの結果更新があった学習済みモデルについて、その学習済み係数パラメータをサーバＳＶあるいは携帯端末ＳＰの何れかより取得する。その後、その取得した学習済み係数パラメータに基づき不揮発性メモリ２０３における学習済みモデルの設定を更新し、本処理を終了する。具体的には、ステップＳ６０８では、ＣＰＵ２０１は、不揮発性メモリ２０３における現在の優先する被写体に対応する学習済みモデルの学習済み係数パラメータを、取得した学習済み係数パラメータで更新する。

【0076】

＜撮像装置Ｃの画面の一例＞
図７を用いて、第１の実施形態に係る撮像装置Ｃの表示部２１６において表示されるメニュー画面及び撮影時画面の一例について説明する。

【0077】

図７（ａ）は、撮像装置Ｃにおける学習済みモデルの自動更新の設定を行う際に表示されるメニュー画面の一例を示す図である。

【0078】

メニュー画面７０１は、図７（ａ）の画面がメニュー設定を行う画面であることを示す表示である。

【0079】

ＡＩ＿ＡＦ被写体自動更新設定７０２は機械学習を用いたＡＦの被写体を自動で更新するか否かを設定する画面であることを示す表示である。

【0080】

キャンセルボタン７０３はメニュー設定の変更を反映させずに終了させるためのボタンである。

【0081】

実行ボタン７０４はメニュー設定の変更を反映して実行するためのボタンである。

【0082】

チェックボタン７０５は、チェックがついた状態（ＯＮ状態）とチェックが外れた状態（ＯＦＦ状態）をユーザ操作により切り替えられるボタンである。ＯＮ状態では機械学習を用いた被写体に対応した学習済みモデルの自動更新が有効となり、ＯＦＦ状態ではかかる自動更新が無効となるボタンである。

【0083】

図７（ｂ）は、撮像装置Ｃにおける被写体毎の学習済みモデルに対する、自動更新の設定を行う際に表示されるメニュー画面の一例を示す図である。尚、図７（ａ）と同一の構成については同一の符号を付し、重複した説明は省略する。

【0084】

ＡＩ＿ＡＦ被写体選択７１１は、図７（ｂ）の画面が機械学習を用いたＡＦの対象となる複数の被写体の夫々について自動で更新するか否かを個別に設定する画面であることを示す表示である。なお、図７（ｂ）のメニュー画面には、その上部から複数の被写体の名称が撮影頻度が高い順に並べて表示される。

【0085】

チェックボタン７１２ａ～ｄは、夫々に異なる被写体が紐付けられており、チェックがついた状態（ＯＮ状態）とチェックが外れた状態（ＯＦＦ状態）をユーザ操作により個別ｎ切り替えられるボタンである。例えば、チェックボタン７１２ａは、ＯＮ状態ではこのボタンに紐付けられている被写体「人物」に対応した学習済みモデルの自動更新が有効となり、ＯＦＦ状態ではかかる自動更新が無効となる。

【0086】

枠表示７１３は、複数の被写体において、どの被写体を選択しているのか示すための表示である。

【0087】

尚、図７（ｂ）のメニュー画面では、被写体のクラス毎にチェックボタン７１２ａ～ｄが設けられていたが、撮影シーンのクラス毎に異なるチェックボタンが設けられるメニュー画面（不図示）もユーザ指示に応じて表示部２１６に表示される。

【0088】

図７（ｃ）は、撮像装置Ｃにおいて表示される撮影時画面の一例を示す図である。

【0089】

ＡＦ枠７２１は、被写体のどこにフォーカスが当たっているのかを示す表示である。

【0090】

被写体選択表示７２２は、図７（ｂ）で選択された、機械学習を用いたＡＦの対象となる被写体や、不図示のＡＥの選択メニューで選択された、機械学習を用いたＡＥの対象となる撮影シーンを表示する。なお、被写体選択表示７２２において表示される内容は、機械学習を用いた機能（例えばＡＷＢ）の対象となる被写体や撮影シーンであればよく、図７（ｃ）に示す例に限定されない。

【0091】

以上、第１の実施形態の処理を行うことにより、撮像装置Ｃは履歴データに基づいて、学習済みモデルを変更することが可能となる。

【0092】

尚、第１の実施形態においては、優先する被写体を更新する例について詳細に説明したが、優先する撮影シーンを更新する場合についても同様の処理を行なうことが可能である。

【0093】

＜第２の実施形態＞
本発明に係る第２の実施形態に係る学習済みモデル選択システムとして、撮像装置Ｃと、情報処理装置としての携帯端末ＳＰとからなるシステム１０ａを例に添付の図面を参照して以下に詳細に説明する。但し、本発明は、以下に例示する第２の実施形態に限定されるものではない。また、情報処理装置として、携帯端末ＳＰの代わりに、サーバＳＶを用いてもよい。

【0094】

第１の実施形態においては、撮像装置Ｃが、履歴データを作成し、その履歴データに基づき優先する被写体を設定し、その優先する被写体に対応する学習済みモデルを更新すべき学習済みモデルと判断した。一方、第２の実施形態では、撮像装置Ｃは、履歴データを作成後、携帯端末ＳＰに送信し、携帯端末が、その送信された履歴データに基づき優先する被写体を設定し、その優先する被写体に対応する学習済みモデルを更新が必要な学習済みモデルと判断する。

【0095】

なお、第２の実施形態に係る撮像装置Ｃ、携帯端末ＳＰ、及びサーバＳＶのブロック構成は第１の実施形態と同様である。よって、第１の実施形態と同様の構成については同一の符号を付し、重複した説明は省略する。

【0096】

図８を用いて、第２の実施形態における撮像装置Ｃの処理の流れについて説明する。

【0097】

この動作は、撮像装置Ｃの電源がオンの状態において、不揮発性メモリ２０３に格納されているコンピュータプログラムがメモリ２０２に展開され、ＣＰＵ２０１がメモリ２０２のコンピュータプログラムを読み出して実行することにより実現される。

【0098】

ステップＳ８０１において、ＣＰＵ２０１は、ステップＳ６０１と同様の処理を行い、ステップＳ８０２に進む。

【0099】

ステップＳ８０２において、ＣＰＵ２０１は、ステップＳ６０２と同様の処理を行い、ステップＳ８０３に進む。

【0100】

ステップＳ８０３において、ＣＰＵ２０１は、ステップＳ６０３と同様の処理を行い、ステップＳ８０４に進む。

【0101】

ステップＳ８０４において、ＣＰＵ２０１は、ステップＳ８０３で作成された履歴データを、通信制御部２１７を制御して通信部２１８から携帯端末ＳＰに対して送信し、ステップＳ８０５へ進む。

【0102】

ステップＳ８０５において、ＣＰＵ２０１は、通信制御部２１７を制御して通信部２１８から携帯端末ＳＰから学習済みモデルの学習済み係数パラメータを受信し、本処理を終了する。尚、ＣＰＵ２０１は、携帯端末ＳＰから学習済みモデルの学習済み係数パラメータだけでなく、優先する被写体の情報も受信し、ステップＳ６０６～Ｓ６０８と同様の処理を行なうようにしてもよい。

【0103】

図９のフローチャートを用いて、第２の実施形態における携帯端末ＳＰにおいて実行される学習済みモデルの設定変更処理の流れについて説明する。

【0104】

この動作は、携帯端末ＳＰの電源がオンの状態において、記録部５０６に格納されているコンピュータプログラムがメモリ５０２に展開され、ＣＰＵ５０１がメモリ５０２のコンピュータプログラムを読み出して実行することにより実現される。

【0105】

ステップＳ９０１において、ＣＰＵ５０１は、通信部５０７を制御して撮像装置Ｃからの履歴データを受信する。ＣＰＵ５０１は受信した履歴データをメモリ５０２に保存し、ステップＳ９０２に進む。尚、記録部５０６に更新前の履歴データが存在しない場合、記録部５０６にメモリ５０２に保存した履歴データを記録した後、本処理を終了する。

【0106】

ステップＳ９０２において、ＣＰＵ５０１は、ステップ６０５と同様の処理を行なう。具体的には、メモリ５０２に保存された履歴データと、記録部５０６に記録されている更新前の履歴データを比較し、履歴データの更新により被写体の優先順位が変更されたか否かを判別する。ＣＰＵ５０１は、被写体の優先順位が変更されたと判断した場合（ステップＳ９０２のＹＥＳ）、ステップＳ９０３へ進む。一方、ＣＰＵ５０１は、被写体の優先順位が変更されていない判断した場合（ステップＳ９０２のＮＯ）、本処理を終了する。

【0107】

ステップＳ９０３において、ＣＰＵ５０１は、まず、撮影頻度の順位が高くなったクラスの被写体を優先する被写体に変更する。その後、通信部５０７を制御し、この変更後の優先する被写体に対応した学習済みモデルの学習済み係数パラメータを、撮像装置Ｃに送信し、本処理を終了する。

【0108】

以上、第２の実施形態の処理を行うことにより、携帯端末ＳＰは受信した履歴データをもとに、学習済みモデルを変更し、撮像装置Ｃに更新された学習済みモデルの学習済み係数パラメータを送信することが可能となる。

【0109】

＜第３の実施形態＞
本発明に係る第３の実施形態に係る学習済みモデル選択システムとして、撮像装置Ｃと、情報処理装置としての携帯端末ＳＰとからなるシステム１０ａを例に添付の図面を参照して以下に詳細に説明する。但し、本発明は、以下に例示する第３の実施形態に限定されるものではない。また、情報処理装置として、携帯端末ＳＰの代わりに、サーバＳＶを用いてもよい。

【0110】

第１及び第２の実施形態においては、撮像装置Ｃで履歴データを作成した。一方、第３の実施形態では、撮像装置Ｃから符号化前の撮像画像を送信し、履歴データを携帯端末ＳＰで作成する。

【0111】

なお、第３の実施形態における撮像装置Ｃ、携帯端末ＳＰ、及びサーバＳＶのブロック構成は第１の実施形態と同様である。よって、第１の実施形態と同様の構成については同一の符号を付し、重複した説明は省略する。但し、第３の実施形態では、情報処理装置としての携帯端末ＳＰのニューラルネットワーク処理部５０９に履歴処理ニューラルネットワークが存在する。

【0112】

第３の実施形態による撮像装置Ｃの処理を示すフローチャートを図１０に示す。

【0113】

この動作は、撮像装置Ｃの電源がオンの状態において、不揮発性メモリ２０３に格納されているコンピュータプログラムがメモリ２０２に展開され、ＣＰＵ２０１がメモリ２０２のコンピュータプログラムを読み出して実行することにより実現される。

【0114】

ステップＳ１００１において、ＣＰＵ２０１は、ステップＳ６０１と同様の処理を行いステップＳ１００２に進む。

【0115】

ステップＳ１００２において、ＣＰＵ２０１は、ステップＳ６０２と同様の処理を行いステップＳ１００３に進む。

【0116】

ステップＳ１００３において、ＣＰＵ２０１は、ステップＳ１００２でメモリ２０２に保持された符号化前の撮像画像及び撮像情報を、通信部２１８を介して携帯端末ＳＰに送信し、ステップＳ１００４に進む。

【0117】

ステップＳ１００４において、ＣＰＵ２０１は、学習済みモデルの更新があるか否かを、通信部２１８を介して、携帯端末ＳＰに対して確認を行う。ＣＰＵ２０１は、この確認の結果、学習済みモデルの更新があると判断した場合（ステップＳ１００４のＹＥＳ）、ステップＳ１００５に進む一方、学習済みモデルの更新がないと判断した場合（ステップＳ１００４のＮＯ）、本処理を終了する。

【0118】

ステップＳ１００５において、ＣＰＵ２０１は、通信部２１８を介して携帯端末ＳＰから、上記更新された学習済みモデルが撮像装置Ｃにおいて更新可能な学習済みモデルであるのか否かの問い合わせを受信すると、これに対する返信を携帯端末ＳＰに行う。具体的には、まず、ＣＰＵ２０１は、不揮発性メモリ２０３に保持されるメニュー設定状態に基づき携帯端末ＳＰからの問合せに含まれる優先する被写体情報に対応した学習済みモデルが更新可能な学習済みモデルであるか否かを判断する。ＣＰＵ２０１は、この判断の結果、更新可能な学習済みモデルであると判断した場合（ステップＳ１００５のＹＥＳ）、その旨を携帯端末ＳＰに返信し、ステップＳ１００６に進む。一方、ＣＰＵ２０１は、更新可能な学習済みモデルでないと判断した場合（ステップＳ１００５のＮＯ）、その旨を携帯端末ＳＰに返信し、本処理を終了する。

【0119】

ステップＳ１００６において、ＣＰＵ２０１は、通信部２１８を介して携帯端末ＳＰから更新された学習済みモデルの学習済み係数パラメータを受信し、本処理を終了する。

【0120】

第３の実施形態に係る携帯端末ＳＰにおいて実行される学習済みモデルの設定変更処理のフローチャートを図１１に示す。

【0121】

この動作は、携帯端末ＳＰの電源がオンの状態において、記録部５０６に格納されているコンピュータプログラムがメモリ５０２に展開され、ＣＰＵ５０１がメモリ５０２のコンピュータプログラムを読み出して実行することにより実現される。

【0122】

ステップＳ１１０１において、ＣＰＵ５０１は、通信部５０７を介して撮像装置Ｃより符号化する前の撮像画像及び撮像情報を受信し、メモリ５０２に格納し、ステップＳ１１０２に進む。

【0123】

ステップＳ１１０２において、ＣＰＵ５０１は、ニューラルネットワーク処理部５０９により追加の教師なし学習を行う。この際、メモリ５０２に格納した符号化する前の撮像画像を入力データとし、記録部５０６に記録されている既存の学習済みモデルのうち、入力データに写る被写体に対応する学習済みモデルを用いる。例えば、花火の画像を入力データとして、花火用の学習済みモデルの再学習を行う。

【0124】

なお、追加の教師あり学習を行う場合は、ＣＰＵ５０１は、通信部５０７を介して、サーバＳＶに対して撮像画像を送信する。ＣＰＵ５０１は、通信部５０７を介して、サーバＳＶにより高性能学習済みモデルを用いてニューラルネットワーク処理部４０８で実行した処理結果を教師データとして受信する。その後、この追加学習により新規に作成された学習済みモデルを記録部５０６に記録する。具体的には、重み係数やバイアス値等の初期値を既存の学習済みモデルの学習済み係数パラメータの値を採用した状態で追加学習を行う。その後、ステップＳ１１０３へ進む。

【0125】

ステップＳ１１０３において、ＣＰＵ５０１は、履歴データを作成する。具体的には、ＣＰＵ５０１は、まず、ステップＳ１１０１でメモリ５０２に格納した符号化する前の撮像画像をニューラルネットワーク処理部５０９に入力する。これにより、履歴処理ニューラルネットワークにより主被写体のクラス分類を履歴データとして出力させ、ステップＳ１１０４へ進む。なお、撮像画像以外に、撮影情報もニューラルネットワーク処理部５０９に入力して、撮影時の撮影シーンのクラス分類も履歴データとして出力してもよい。

【0126】

ステップＳ１１０４において、ＣＰＵ５０１は、記録部５０６に記録されている古い履歴データをメモリ５０２に格納された新しい履歴データに置き換えて更新し、ステップＳ１１０５に進む。なお、ＣＰＵ５０１は、古い履歴データをステップＳ１１０５で用いるため、メモリ５０２に退避させる。尚、古い履歴データが存在しない場合、ＣＰＵ５０１は、ステップＳ１１０３で作成された履歴データを記録部５０６に記録した後、本処理を終了する。

【0127】

ステップＳ１１０５において、ＣＰＵ５０１は、ステップ６０５と同様の処理を行なう。具体的には、記録部５０６に記録した新しい履歴データと、メモリ５０２に記録されている、更新前の履歴データを比較し、履歴データの更新により撮影頻度の順位が変更されたか否かを判別する。ＣＰＵ５０１は、被写体の優先順位が変更されたと判断した場合（ステップＳ１１０５のＹＥＳ）、図１０のステップＳ１００４の撮像装置Ｃからの確認に対して、学習済みモデルが更新された旨を回答し、ステップＳ１１０６へ進む。一方、ＣＰＵ５０１は、被写体の優先順位が変更されていない判断した場合（ステップＳ１１０５のＮＯ）、本処理を終了する。尚、被写体の優先順位が変更されていない場合であってもステップＳ１１０２の追加学習で現在の優先する被写体に対応する学習済みモデルの学習済み係数パラメータが更新された場合は、ステップＳ１１０６に進むようにしてもよい。また、この場合も、図１０のステップＳ１００４の撮像装置Ｃからの確認に対して、学習済みモデルが更新された旨を回答する。

【0128】

ステップＳ１１０６において、ＣＰＵ５０１は、優先順位が高くなった被写体を優先する被写体に変更すると共に、この変更後の優先する被写体に対応する学習済みモデルが、撮像装置Ｃにおいて更新可能な学習済みモデルであるか否かを判断する。具体的にはこの判断は、ＣＰＵ５０１が通信部５０７を介して撮像装置Ｃに対して更新可能な学習済みモデルであるか否かを問い合わせ、この問合せに対する図１０のステップＳ１００５の返信に基づいて行われる。この判断の結果、撮像装置Ｃにおいて更新可能な学習済みモデルである場合（ステップＳ１１０６のＹＥＳ）、ＣＰＵ５０１はステップＳ１１０７へ進む。一方、撮像装置Ｃにおいて更新可能な学習済みモデルでない場合（ステップＳ１１０６のＮＯ）、ＣＰＵ５０１は本処理を終了する。

【0129】

ステップＳ１１０７において、ＣＰＵ５０１は、通信部５０７を介して変更後の優先する被写体に対応する学習済みモデルの学習済み係数パラメータを撮像装置Ｃに送信し、本処理を終了する。

【0130】

以上、第３の実施形態の処理を行うことにより、携帯端末ＳＰは、受信した符号化前の撮像画像をもとに、既存の学習済みモデルの追加学習を行うことができる。また、携帯端末ＳＰは、履歴データを作成し、その履歴データに基づいて学習済みモデルを変更し、撮像装置Ｃにその変更された学習済みモデルの学習済み係数パラメータを送信することが可能となる。

【0131】

＜第４の実施形態＞
本発明に係る第４の実施形態に係る学習済みモデル選択システムとして、撮像装置Ｃ、情報処理装置としてのサーバＳＶ及び携帯端末ＳＰからなるシステム１２０を例に添付の図面を参照して以下に詳細に説明する。但し、本発明は、以下に例示する第４の実施形態に限定されるものではない。

【0132】

第３の実施形態においては、携帯端末ＳＰで履歴データと学習済みモデルを作成した。一方、第４の実施形態では、サーバＳＶにより履歴データと学習済みモデルを作成する。

【0133】

なお、第４の実施形態における撮像装置Ｃ、サーバＳＶ、及び携帯端末ＳＰのブロック構成は第１の実施形態と同様である。よって、第１の実施形態と同様の構成については同一の符号を付し、重複した説明は省略する。但し、第４の実施形態では、情報処理装置としてのサーバＳＶのニューラルネットワーク処理部４０８に履歴処理ニューラルネットワークが存在する。

【0134】

図１２は、システム１２０のシステム構成図である。

【0135】

図１２に示すように、撮像装置Ｃ、サーバＳＶ、携帯端末ＳＰが無線あるいは有線による通信ネットワークにより互いに接続される。

【0136】

第４の実施形態による撮像装置Ｃの処理を示すフローチャートは、第３の実施形態において図１０に示したものと同様である。

【0137】

第４の実施形態による携帯端末ＳＰにおいて実行される学習済みモデルの設定変更処理を示すフローチャートを図１３に示す。

【0138】

この動作は、携帯端末ＳＰの電源がオンの状態において、記録部５０６に格納されているコンピュータプログラムがメモリ５０２に展開され、ＣＰＵ５０１がメモリ５０２のコンピュータプログラムを読み出して実行することにより実現される。

【0139】

ステップＳ１３０１において、ＣＰＵ５０１は、ステップＳ１１０１と同様の処理を行いステップＳ１３０２に進む。

【0140】

ステップＳ１３０２において、ＣＰＵ５０１は、通信部５０７を介して、ステップＳ１１０１で受信した符号化前の撮像画像及び撮像情報をサーバＳＶに送信し、ステップＳ１３０３に進む。

【0141】

ステップＳ１３０３において、ＣＰＵ５０１は、図１０のステップＳ１００４の撮像装置Ｃからの学習済みモデルの更新があるか否かの確認があった場合、通信部５０７を介してサーバＳＶに対して学習済みモデルの更新があるか否かを問い合わせる。ＣＰＵ５０１は、この問合せの結果、学習済みモデルの更新があると判断した場合（ステップＳ１３０３のＹＥＳ）、ステップＳ１３０４に進む一方、学習済みモデルの更新がないと判断した場合（ステップＳ１３０３のＮＯ）、本処理を終了する。

【0142】

ステップＳ１３０４において、ＣＰＵ５０１は、通信部５０７を介してサーバＳＶからの、上記更新された学習済みモデルが撮像装置Ｃにおいて更新可能な学習済みモデルであるか否かの問い合わせを待つ。サーバＳＶからのかかる問い合わせを受信すると、その受信した問い合わせを、通信部５０７を介して撮像装置Ｃに転送する。その後、ＣＰＵ５０１は、図１０のステップＳ１００５の返信として、通信部５０７を介して、撮像装置Ｃより更新可能な学習済みモデルである旨を受信すると、その旨をサーバＳＶに転送し（ステップＳ１３０４のＹＥＳ）、ステップＳ１３０５に進む。一方、ＣＰＵ５０１は、図１０のステップＳ１００５の返信として、通信部５０７を介して、撮像装置Ｃより受信可能な学習済みモデルでない旨を受信すると、その旨をサーバＳＶに転送し（ステップＳ１３０４のＮＯ）、本処理を終了する。

【0143】

ステップＳ１３０５において、ＣＰＵ５０１は、通信部５０７を介してサーバＳＶより、学習済みモデルの学習済み係数パラメータを受信して、メモリ５０２に格納し、ステップＳ１３０６へ進む。

【0144】

ステップＳ１３０６において、ＣＰＵ５０１は、通信部５０７を介して撮像装置Ｃに、メモリ５０２に格納してある学習済みモデルの学習済み係数パラメータを送信し、本処理を終了する。

【0145】

第４の実施形態によるサーバＳＶにおいて実行される学習済みモデルの設定変更処理を示すフローチャートを図１４に示す。

【0146】

この動作は、サーバＳＶの電源がオンの状態において、記録部４０６に格納されているコンピュータプログラムがメモリ４０２に展開され、ＣＰＵ４０１がメモリ４０２のコンピュータプログラムを読み出して実行することにより実現される。

【0147】

ステップＳ１４０１において、ＣＰＵ４０１は、通信部４０７を介して、図１３のステップＳ１３０２で携帯端末ＳＰより送信された、符号化する前の画像データ及び撮像情報を受信し、メモリ４０２に格納し、ステップＳ１４０２に進む。

【0148】

ステップＳ１４０２において、ＣＰＵ４０１は、ニューラルネットワーク処理部４０８により追加学習を行う。この際、メモリ４０２に格納した符号化する前の撮像画像を入力データとし、記録部４０６に記録されている既存の、入力データに対応する学習済みモデルを用いる。その後、この追加学習により新規に作成された学習済みモデルを記録部４０６に記録する。具体的には、重み係数やバイアス値等の初期値に既存の学習済みモデルの学習済み係数パラメータの値を採用した状態で追加学習を行う。この処理は図１１のステップＳ１１０２の処理と同様である。その後、ステップＳ１４０３へ進む。

【0149】

ステップＳ１４０３において、ＣＰＵ４０１は、履歴データを作成する。具体的には、ＣＰＵ４０１は、まず、ステップＳ１４０１でメモリ４０２に格納した符号化する前の撮像画像をニューラルネットワーク処理部４０８に入力する。その後、履歴処理ニューラルネットワークにより主被写体のクラス分類を履歴データとして出力させ、ステップＳ１４０４へ進む。なお、撮像画像以外に、撮影情報もニューラルネットワーク処理部２０５に入力して、撮影時の撮影シーンのクラス分類も履歴データとして出力してもよい。

【0150】

ステップＳ１４０４において、ＣＰＵ４０１は、記録部４０６に記録されている古い履歴データをメモリ４０２に格納された新しい履歴データに置き換えて更新し、ステップＳ１４０５に進む。なお、ＣＰＵ４０１は、古い履歴データをステップＳ１４０５で用いるため、メモリ４０２に退避させる。尚、古い履歴データが存在しない場合、ＣＰＵ４０１は、ステップＳ１４０３で作成された履歴データを記録部４０６に記録した後、本処理を終了する。

【0151】

ステップＳ１４０５において、ＣＰＵ４０１は、ステップ６０５と同様の処理を行なう。具体的には、記録部４０６に記録した新しい履歴データと、メモリ４０２に記録されている、更新前の履歴データを比較し、履歴データの更新により撮影頻度の順位が変更されたか否かを判別する。ＣＰＵ４０１は、被写体の優先順位が変更されたと判断した場合（ステップＳ１４０５のＹＥＳ）、図１３のステップＳ１３０３の携帯端末ＳＰからの問合せに対して、学習済みモデルが更新された旨を回答し、ステップＳ１４０６へ進む。一方、ＣＰＵ４０１は、被写体の優先順位が変更されていない判断した場合（ステップＳ１４０５のＮＯ）、本処理を終了する。尚、被写体の優先順位が変更されていない場合であってもステップＳ１４０２の追加学習で現在の優先する被写体に対応する学習済みモデルの学習済み係数パラメータが更新された場合は、ステップＳ１４０６に進むようにしてもよい。また、この場合も、図１３のステップＳ１３０３の携帯端末ＳＰからの問合せに対して、学習済みモデルが更新された旨を回答する。

【0152】

ステップＳ１４０６において、ＣＰＵ４０１は、優先順位が高くなった被写体を優先する被写体に変更すると共に、この変更後の優先する被写体に対応する学習済みモデルが、撮像装置Ｃにおいて更新可能な学習済みモデルであるか否かを判断する。具体的にはこの判断は以下のように行われる。まず、ＣＰＵ４０１が通信部４０７を介して携帯端末ＳＰに対して撮像装置Ｃにおいて更新可能な学習済みモデルであるか否かを問い合わせる。その後、この問合せに対して図１３のステップＳ１３０４において携帯端末ＳＰから撮像装置Ｃからの返信内容が転送される。撮像装置Ｃにおいて更新可能な学習済みモデルであるか否かの判断はこの返信内容に基づき行われる。この判断の結果、撮像装置Ｃにおいて更新可能な学習済みモデルである場合（ステップＳ１４０６のＹＥＳ）、ＣＰＵ５０１はステップＳ１４０７へ進む。一方、撮像装置Ｃにおいて更新可能な学習済みモデルでない場合（ステップＳ１４０６のＮＯ）、ＣＰＵ５０１は本処理を終了する。

【0153】

ステップＳ１４０７において、ＣＰＵ４０１は、通信部４０７を介して変更後の優先する被写体に対応する学習済みモデルの学習済み係数パラメータを携帯端末ＳＰに送信し、本処理を終了する。

【0154】

以上、第４の実施形態の処理を行うことにより、サーバＳＶは、受信した符号化前の撮像画像をもとに、既存の学習済みモデルの追加学習を行うことができる。また、サーバＳＶは、履歴データを作成し、その履歴データに基づいて学習済みモデルを変更し、撮像装置Ｃにその変更された学習済みモデルの学習済み係数パラメータを送信することが可能となる。

【0155】

尚、第４の実施形態においては、サーバＳＶが履歴データの作成も既存の学習済みモデルの追加学習も行ったが、本発明はかかる形態に限定されない。例えば、携帯端末ＳＰ及びサーバＳＶの一方が履歴データの作成し、他方が既存の学習済みモデルの追加学習を行うようにしてもよい。

【0156】

[変形実施形態]
以上、好適な実施形態に基づいて本発明について詳述したが、本発明はこれらの実施形態に限定されるものではなく、要旨を逸脱しない範囲での様々な形態も本発明に含まれる。

【0157】

本発明が適用され得る対象は、上述の実施形態で説明した撮像装置Ｃ、サーバＳＶ、携帯端末ＳＰ等に限定されるものではない。例えば、撮像装置Ｃを複数の装置から構成されるシステムとした場合であっても上述の実施形態と同様の機能を実現することが可能である。更に、撮像装置Ｃの処理の一部をネットワーク上の外部装置により実施して実現することが可能である。

【0158】

また、ニューラルネットワーク処理部２０５，４０８，５０９は、機械学習用のアルゴリズムにより動作する処理部であればよく、アルゴリズムはニューラルネットワークに限定されない。例えば、ＳＶＭ（サポートベクターマシン）、決定木などのアルゴリズムを用いてもよい。

【0159】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0160】

Ｃ 撮像装置
２０１ ＣＰＵ
２０２ メモリ
２０３ 不揮発性メモリ
２０４ 操作部
２０５ ニューラルネットワーク処理部
ＳＶ サーバ
４０１ ＣＰＵ
４０２ メモリ
４０３ 表示部
４０５ 操作部
４０６ 記録部
４０７ 通信部
４０８ ニューラルネットワーク処理部
ＳＰ 携帯端末
５０１ ＣＰＵ
５０２ メモリ
５０４ 表示部
５０５ 操作部
５０６ 記録部
５０７ 通信部
５０９ ニューラルネットワーク処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】