特許 7453772 情報処理装置及びその制御方法、撮像装置システム、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-12

(45)【発行日】2024-03-21

(54)【発明の名称】情報処理装置及びその制御方法、撮像装置システム、プログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240313BHJP

   G06N 20/00 20190101ALI20240313BHJP

【ＦＩ】

H04N23/60

G06N20/00

【請求項の数】 8

(21)【出願番号】P 2019200225

(22)【出願日】2019-11-01

(65)【公開番号】P2021072600

(43)【公開日】2021-05-06

【審査請求日】2022-10-27

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】田邉 章弘

【審査官】淀川 滉也

(56)【参考文献】

【文献】国際公開第２０１８／１４２７６５（ＷＯ，Ａ１）

【文献】国際公開第２０１８／１２２８９５（ＷＯ，Ａ１）

【文献】特許第６５７３２９７（ＪＰ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

撮像装置と接続し、前記撮像装置から前記撮像装置に現在設定されているＡＦの対象となる被写体に関する情報を取得する取得手段と、
複数の学習済みモデルを送信可能な外部機器と接続し、複数の学習済みモデルのリスト情報を受信する受信手段と、
前記複数の学習済みモデルのリスト情報を提示する提示手段と、
前記提示手段に提示された前記複数の学習済みモデルからユーザにより選択された学習済みモデルを選択する選択手段と、
前記選択手段により選択された学習済みモデルの送信要求を前記外部機器に送信する送信手段と、
前記外部機器から送信された、前記選択された学習済みモデルを受信して前記撮像装置に転送する転送手段と、を備え、
前記提示手段は、前記撮像装置に現在設定されているＡＦの対象となる被写体に対応する学習済みモデルを前記リストの上位に表示することを特徴とする情報処理装置。

【請求項2】

前記複数の学習済みモデルのそれぞれが前記撮像装置で処理が可能な学習済みモデルであるか否かを判断する判断手段をさらに備えることを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記判断手段は、前記撮像装置から、前記複数の学習済みモデルのそれぞれが前記撮像装置で処理が可能な学習済みモデルであるか否かの情報を取得することを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記判断手段は、前記外部機器から、前記複数の学習済みモデルのそれぞれが前記撮像装置で処理が可能な学習済みモデルであるか否かの情報を取得することを特徴とする請求項２に記載の情報処理装置。

【請求項5】

前記提示手段は、前記複数の学習済みモデルのうち、前記判断手段により、前記撮像装置で処理が可能と判断された学習済みモデルと、処理が可能でないと判断された学習済みモデルの提示を異ならせることを特徴とする請求項２に記載の情報処理装置。

【請求項6】

複数の学習済みモデルを送信可能な外部機器と、
撮像装置と、
前記撮像装置と接続し、前記撮像装置から前記撮像装置に現在設定されているＡＦの対象となる被写体に関する情報を取得する取得手段と、前記外部機器と接続し、複数の学習済みモデルのリスト情報を受信する受信手段と、前記複数の学習済みモデルのリスト情報を提示する提示手段と、前記提示手段に提示された前記複数の学習済みモデルからユーザにより選択された学習済みモデルを選択する選択手段と、前記選択手段により選択された学習済みモデルの送信要求を前記外部機器に送信する送信手段と、前記外部機器から送信された、前記選択された学習済みモデルを受信して前記撮像装置に転送する転送手段とを有する情報処理装置と、を備え、
前記提示手段は、前記撮像装置に現在設定されているＡＦの対象となる被写体に対応する学習済みモデルを前記リストの上位に表示することを特徴とする撮像装置システム。

【請求項7】

撮像装置と接続し、前記撮像装置から前記撮像装置に現在設定されているＡＦの対象となる被写体に関する情報を取得する取得工程と、
複数の学習済みモデルを送信可能な外部機器と接続し、複数の学習済みモデルのリスト情報を受信する受信工程と、
前記複数の学習済みモデルのリスト情報を提示する提示工程と、
前記提示工程で提示された前記複数の学習済みモデルからユーザにより選択された学習済みモデルを選択する選択工程と、
前記選択工程において選択された学習済みモデルの送信要求を前記外部機器に送信する送信工程と、
前記外部機器から送信された、前記選択された学習済みモデルを受信して前記撮像装置に転送する転送工程と、を有し、
前記提示工程では、前記撮像装置に現在設定されているＡＦの対象となる被写体に対応する学習済みモデルを前記リストの上位に表示することを特徴とする情報処理装置の制御方法。

【請求項8】

コンピュータを、請求項１乃至５のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、撮像装置システムに関する。

【背景技術】

【0002】

撮像時において、ニューラルネットワーク等に代表される機械学習手法により被写体を識別する撮像装置が知られている。このような撮像装置は、予めユーザに指定された特定の被写体に対応した学習済みモデルを利用して、特定の被写体に対して処理を行うものである。

【0003】

現在被写体の種類は、人、車、電車などの数種類であるが、今後被写体の種類は益々増えていくと予想される。更に、従来はＡＦ（オートフォーカス処理）の被写体判別の用途に用いられてきたが、ＡＥ（自動露出）、ＡＷＢ（オートホワイトバランス）、画像処理、ノイズ除去等のように、撮像装置での処理に対して利用範囲が広がっていくと考えられる。

【0004】

この場合、複数の学習済みモデルが必要となるが、全ての学習済みモデルを撮像装置に保持することは、多くの記録容量を必要とするため、実際上困難である。そのため、撮像装置に保持可能な学習済みモデルを適宜入れ替える必要がある。

【0005】

特許文献１には、クライアント端末から要求された所望の画像の高解像度画像の設定パラメータに応じて画質を制御した高解像度画像を生成し、クライアント端末に配信する画画像配信システムが開示されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２００８－６７３１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１では、クライアント端末の要求に応じて高解像度画像を生成して送信する方法は開示されているが、ニューラルネットワークにおける学習済みモデルのやり取りに関しては開示されていない。

【0008】

本発明は上述した課題に鑑みてなされたものであり、その目的は、撮影において被写体の判別などに用いられる学習済みモデルを、適切に撮像装置に提供できるようにすることである。

【課題を解決するための手段】

【0009】

本発明に係わる情報処理装置は、撮像装置と接続し、前記撮像装置から前記撮像装置に現在設定されているＡＦの対象となる被写体に関する情報を取得する取得手段と、複数の学習済みモデルを送信可能な外部機器と接続し、複数の学習済みモデルのリスト情報を受信する受信手段と、前記複数の学習済みモデルのリスト情報を提示する提示手段と、前記提示手段に提示された前記複数の学習済みモデルからユーザにより選択された学習済みモデルを選択する選択手段と、前記選択手段により選択された学習済みモデルの送信要求を前記外部機器に送信する送信手段と、前記外部機器から送信された、前記選択された学習済みモデルを受信して前記撮像装置に転送する転送手段と、を備え、前記提示手段は、前記撮像装置に現在設定されているＡＦの対象となる被写体に対応する学習済みモデルを前記リストの上位に表示することを特徴とする。

【発明の効果】

【0010】

本発明によれば、撮影において被写体の判別などに用いられる学習済みモデルを、適切に撮像装置に提供することが可能となる。

【図面の簡単な説明】

【0011】

【図1】第１の実施形態におけるシステム構成図である。

【図2】第１の実施形態における撮像装置のブロック図である。

【図3】第１の実施形態におけるニューラルネットワーク処理部の概略構成図である。

【図4】第１の実施形態における通信装置のブロック図である。

【図5】第１の実施形態における撮像装置と通信装置の処理シーケンス図である。

【図6】第１の実施形態における撮像装置の処理を示すフローチャートである。

【図7】第１の実施形態における通信装置の処理を示すフローチャートである。

【図8】第１の実施形態における撮像装置のメニュー選択と撮影時の画面の一例を示す図である。

【図9】第２の実施形態におけるシステム構成図である。

【図10】第２の実施形態における情報処理装置のブロック図である。

【図11】第２の実施形態における撮像装置と通信装置と情報処理装置の処理シーケンス図である。

【図12】第２の実施形態における撮像装置の処理を示すフローチャートである。

【図13】第２の実施形態における情報処理装置の処理を示すフローチャートである。

【図14】第２の実施形態における通信装置の処理を示すフローチャートである。

【図15】第２の実施形態における情報処理装置のメニュー選択画面の一例を示す図である。

【図16】第３の実施形態における学習モデルの一例を示す図である。

【図17】第３の実施形態における撮像装置のメニュー選択画面の一例を示す図である。

【発明を実施するための形態】

【0012】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0013】

（第１の実施形態）
＜システム構成＞
図１は、第１の実施形態における撮像装置システムの構成を示した図である。撮像装置システムは、撮像装置１００と、複数の学習済みモデルを送信可能な通信装置２００が無線あるいは有線による通信ネットワークにより接続されて構成されている。撮像装置１００は、学習済みモデルを用いて、検出処理、分類処理、領域分類処理、画像回復処理、フォーカス処理、露出処理、ホワイトバランス処理のいずれかの処理を行う。

【0014】

＜撮像装置１００の構成＞
図２は、撮像装置１００の構成を示すブロック図である。図２において、撮像装置１００は、ＣＰＵ１０１と、メモリ１０２と、不揮発性メモリ１０３と、操作部１０４と、ニューラルネットワーク処理部１０５と、撮像部１１２と、画像処理部１１３と、符号化処理部１１４と、表示制御部１１５と、表示部１１６とを有する。更に、撮像装置１００は、通信制御部１１７と、通信部１１８と、記録媒体制御部１１９と、内部バス１３０とを有している。

【0015】

撮像装置１００は、撮影レンズ１１１を用いて被写体の光学像を撮像部１１２の画素アレイに結像させるが、撮影レンズ１１１は、撮像装置１００のボディ（筐体、本体）から、着脱不能であってもよいし、着脱可能であってもよい。また、撮像装置１００は、記録媒体制御部１１９を介して画像データの書き込み及び読み出しを記録媒体１２０に対して行う。記録媒体１２０は、撮像装置１００に着脱可能であってもよいし、着脱不能であってもよい。

【0016】

ＣＰＵ１０１は、不揮発性メモリ１０３に記憶されているコンピュータプログラムを実行することによって、内部バス１３０を介して撮像装置１００の各部（各機能ブロック）の動作を制御する。

【0017】

メモリ１０２は、書き換え可能な揮発性メモリである。メモリ１０２は、撮像装置１００の各部の動作を制御するためのコンピュータプログラム、撮像装置１００の各部の動作に関するパラメータ等の情報、通信制御部１１７によって受信される情報等を一時的に記録する。また、メモリ１０２は、撮像部１１２によって取得された画像、画像処理部１１３、符号化処理部１１４等によって処理された画像及び情報を一時的に記録する。メモリ１０２は、これらを一時的に記録するために十分な記憶容量を備えている。

【0018】

更に、メモリ１０２はニューラルネットワーク処理部１０５で使用する、ニューラルネットワーク構成の処理内容を記述したコンピュータプログラムと、重み係数やバイアス値（バイアス情報）等の学習済み係数パラメータを格納する。なお、重み係数とはニューラルネットワークにおいてノード間の接続の強さを示すための値であり、バイアスは重み係数と入力データの積算値に対してオフセットを与えるための値である。

【0019】

不揮発性メモリ１０３は、電気的に消去及び記録が可能なメモリであり、例えばＥＥＰＲＯＭ、ハードディスク等が用いられる。不揮発性メモリ１０３は、撮像装置１００の各部の動作を制御するコンピュータプログラム及び撮像装置１００の各部の動作に関するパラメータ等の情報を記憶する。このコンピュータプログラムにより、撮像装置１００によって行われる各種動作が実現される。なお、不揮発性メモリ１０３に、上述したニューラルネットワーク処理部１０５で使用する、ニューラルネットワークの処理内容を記述したコンピュータプログラムと、重み係数やバイアス値等の学習済み係数パラメータを格納してもよい。

【0020】

操作部１０４は、撮像装置１００を操作するためのユーザインターフェースを提供する。操作部１０４は、電源ボタン、メニューボタン、撮影用のレリーズボタン、動画録画ボタン、キャンセルボタン等の各種ボタンを含んでおり、各種ボタンはスイッチ、タッチパネル等により構成される。ＣＰＵ１０１は、操作部１０４を介して入力されたユーザの指示に従って撮像装置１００を制御する。なお、ここでは、操作部１０４を介して入力される操作に基づいてＣＰＵ１０１が撮像装置１００を制御する場合を例に説明したが、これに限定されるものではない。例えば、不図示のリモートコントローラ、不図示の携帯端末等から通信部１１８を介して入力される要求に基づいて、ＣＰＵ１０１が撮像装置１００を制御してもよい。ニューラルネットワーク処理部１０５については図３を用いて後述する。

【0021】

撮影レンズ（レンズユニット）１１１は、ズームレンズ、フォーカスレンズ等を含む不図示のレンズ群、不図示のレンズ制御部、不図示の絞り等によって構成される。撮影レンズ１１１は、画角を変更するズーム手段として機能し得る。レンズ制御部は、ＣＰＵ１０１から送信される制御信号により、焦点の調整及び絞り値（Ｆ値）の制御を行う。

【0022】

撮像部１１２は、動画像を構成する複数の画像を順次取得する取得手段として機能し得る。撮像部１１２としては、例えば、例えばＣＣＤ（電荷結合素子）、ＣＭＯＳ（相補型金属酸化膜半導体）素子等からなるエリアイメージセンサが用いられる。撮像部１１２は、被写体の光学像を電気信号に変換する不図示の光電変換部が行列状、すなわち、２次元的に配列された不図示の画素アレイを有している。この画素アレイには、被写体の光学像が撮影レンズ１１１によって結像される。撮像部１１２は、撮像した画像を画像処理部１１３又はメモリ１０２に出力する。なお、撮像部１１２は、静止画像を取得することも可能である。

【0023】

画像処理部１１３は、撮像部１１２から出力される画像データ、又は、メモリ１０２から読み出された画像データに対し、所定の画像処理を行う。この画像処理の例としては、ダイナミックレンジ変換処理、補間処理、縮小処理（リサイズ処理）、色変換処理等が挙げられる。また、画像処理部１１３は、撮像部１１２によって取得された画像データを用いて、露光制御、焦点検出制御等のための所定の演算処理を行う。画像処理部１１３による演算処理によって得られた演算結果に基づいて、露光制御、焦点検出制御等がＣＰＵ１０１によって行われる。具体的には、ＡＥ処理、ＡＷＢ処理、ＡＦ処理等がＣＰＵ１０１によって行われる。また、ＡＥ処理、ＡＷＢ処理、ＡＦ処理の一部を、ニューラルネットワーク処理部１０５を用いて行ってもよい。

【0024】

符号化処理部１１４は、画像データに対してフレーム内予測符号化（画面内予測符号化）、フレーム間予測符号化（画面間予測符号化）等を行うことによって、画像データのサイズを圧縮する。符号化処理部１１４は、例えば、半導体素子等により構成された符号化装置である。符号化処理部１１４は、撮像装置１００の外部に設けられた符号化装置であってもよい。また、符号化処理部１１４の処理の一部を、ニューラルネットワーク処理部１０５を用いて行ってもよい。

【0025】

表示制御部１１５は、表示部１１６を制御する。表示部１１６は、不図示の表示画面を備える。表示制御部１１５は、表示部１１６の表示画面に表示可能な画像を生成し、その画像、すなわち、画像信号を表示部１１６に出力する。また、表示制御部１１５は表示部１１６に画像データを出力するだけでなく、通信制御部１１７を介して外部機器に画像データを出力することも可能である。表示部１１６は、表示制御部１１５から送られてくる画像信号に基づいて、表示画面に画像を表示する。表示部１１６は、表示画面にメニュー等の設定画面を表示する機能であるＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）機能を備えている。表示制御部１１５は、画像信号にＯＳＤ画像を重畳して表示部１１６に画像信号を出力し得る。表示部１１６は、液晶ディスプレイ、有機ＥＬディスプレイ等により構成されており、表示制御部１１５から送られてきた画像信号を表示する。表示部１１６は、例えばタッチパネルであってもよい。表示部１１６がタッチパネルである場合、表示部１１６は、操作部１０４としても機能し得る。

【0026】

通信制御部１１７は、ＣＰＵ１０１に制御される。通信制御部１１７は、ＩＥＥＥ８０２．１１等のような無線通信規格に適合する変調信号を生成して、その変調信号を通信部１１８に出力し、外部の機器からの変調信号を、通信部１１８を介して受信する構成である。また、通信制御部１１７は映像信号の制御信号を送受信することが可能である。例えば、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）やＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）などの通信規格に準拠した映像信号を送るために通信部１１８を制御してもよい。

【0027】

通信部１１８は映像信号と制御信号を物理的な電気信号に変換して外部機器と送受信する。なお、ここでは、通信部１１８によって映像信号と制御信号が通信される場合を例に説明したが、通信部１１８によって行われる通信はこれらに限定されるものではない。

【0028】

記録媒体制御部１１９は、記録媒体１２０を制御する。記録媒体制御部１１９は、ＣＰＵ１０１からの要求に基づいて、記録媒体１２０を制御するための制御信号を記録媒体１２０に出力する。記録媒体１２０としては、例えば不揮発性メモリや磁気ディスク等が用いられる。記録媒体１２０は、上述したように、着脱可能であってもよいし、着脱不能であってもよい。記録媒体１２０は、符号化された画像データ等を記録する。記録媒体１２０のファイルシステムに適合した形式で画像データ等がファイルとして保存される。

【0029】

なお、各々の機能ブロック１０１～１０５、１１２～１１５、１１７、１１９は、内部バス１３０を介して互いにアクセス可能に接続されている。

【0030】

＜ニューラルネットワーク処理部１０５の構成＞
図３は、ニューラルネットワーク処理部１０５の構成を示した図である。ニューラルネットワーク処理部１０５は予め学習済みの係数パラメータを用いてニューラルネットワークの処理を実行する。なお、ニューラルネットワークの処理とは、例えばＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）と全結合層で構成されるものなどであるが、これに限定されるものではない。また上述の係数パラメータは、全結合層では各層のノード間を結ぶエッジ毎に持つ重みやバイアス、ＣＮＮではカーネルの重みやバイアスに相当する。

【0031】

図３に示すように、ニューラルネットワーク処理部１０５はニューラルコア１４０の中に、ＣＰＵ１４１、積和演算回路１４２、ＤＭＡ１４３、内部メモリ１４４が含まれて構成されている。

【0032】

ＣＰＵ１４１は、内部バス１３０を介して、メモリ１０２または不揮発性メモリ１０３あるいは内部メモリ１４４に格納されている、ニューラルネットワークの処理内容を記述したコンピュータプログラムを実行する。またＣＰＵ１４１は積和演算回路１４２およびＤＭＡ１４３の制御も行う。

【0033】

積和演算回路１４２は、ニューラルネットワークにおける積和演算を行う回路である。積和演算回路１４２は、複数の積和演算回路を複数有し、処理を並列に実行することが可能である。

【0034】

ＤＭＡ１４３は、ＣＰＵ１４１を介さずにデータ転送を行うように特化した回路であり、内部バス１３０を介してメモリ１０２または不揮発性メモリ１０３と内部メモリ１４４間のデータ転送を行う。また、ＤＭＡ１４３は積和演算回路１４２と内部メモリ１４４間のデータ転送も行う。ＤＭＡ１４３が転送するデータは、ニューラルネットワークの処理内容を記述したコンピュータプログラムや、学習済み係数パラメータ、積和演算回路１４２で算出した中間データ等である。

【0035】

内部メモリ１４４は、ニューラルネットワークの処理内容を記述したコンピュータプログラム、学習済み係数パラメータ、積和演算回路１４２で算出した中間データ等を格納する。また、内部メモリ１４４は複数のバンクを有していてもよく、動的にバンクを切り替えてもよい。

【0036】

＜通信装置２００の構成＞
図４は、本発明の第１の実施形態における、通信装置２００の構成を示すブロック図である。

【0037】

図４において、ＣＰＵ２０１は、通信装置２００を構成するすべての処理ブロックの制御を行う。メモリ２０２は、主にＣＰＵ２０１のワークエリアや、データの一時バッファ領域として使用されるメモリである。表示部２０３は、液晶パネル、または有機ＥＬパネル等で構成され、ＣＰＵ２０１の指示に基づいて、操作画面等の表示を行う。内部バス２０４は、通信装置２００内の各処理ブロックを相互に接続するためのバスである。

【0038】

操作部２０５は、キーボード、マウス、ボタン、タッチパネル、またはリモコン等によって構成され、ユーザの操作指示を受け付ける。操作部２０５から入力された操作情報は、ＣＰＵ２０１に送信され、ＣＰＵ２０１は操作情報に基づいて各処理ブロックの制御を実行する。

【0039】

記録部２０６は記録媒体を備え、ＣＰＵ２０１の指示に基づいて記録媒体に様々なデータを格納したり読み出したりする処理ブロックである。記録媒体は、例えばＥＥＰＲＯＭ、内蔵フラッシュメモリ、内蔵ハードディスク、或いは着脱可能なメモリカード等で構成される。記録部２０６には、ニューラルネットワークにおける学習用データである入力データと教師データを保存しておく。

【0040】

通信部２０７は、無線ＬＡＮ及び有線ＬＡＮの通信を行うためのハードウェア等を備えている。無線ＬＡＮにおいては、例えばＩＥＥＥ８０２．１１ｎ／ａ／ｇ／ｂ方式の処理ブロックである。通信部２０７は、外部のアクセスポイントと無線ＬＡＮで接続し、アクセスポイント経由で他の無線通信機器と通信を行う。また、通信部２０７は有線ＬＡＮにおいてＥｔｈｅｒｎｅｔケーブルにより外部ルータ、またはスイッチングハブを介して通信を行う。通信部２０７は、撮像装置１００を含む、外部の機器と通信を行い、画像や制御データ、学習用データ、学習済みモデル等の情報のやり取りを行う。

【0041】

ニューラルネットワーク処理部２０８は、記録部２０６に保存された学習用データと、予め作成されたニューラルネットワークのモデルを用いて、ニューラルネットワークの学習処理を行う。ニューラルネットワーク処理部２０８は、操作部２０５を介したユーザからの指示、または通信部２０７から受信して記録部２０６に記録された画像データの受信に伴い学習処理を行う。ニューラルネットワーク処理部２０８はＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）で構成される。なお、ニューラルネットワークの学習処理は、ニューラルネットワーク処理部２０８を設けず、ＣＰＵ２０１で行ってもよい。

【0042】

＜第１の実施形態の処理シーケンス＞
図５を用いて、本実施形態における撮像装置１００と通信装置２００の処理シーケンスについて説明する。

【0043】

ステップＳ５０１において、撮像装置１００は、通信装置２００に対して学習済みモデルのリスト情報の取得要求（送信要求）を送信する。なお、ＣＰＵ１０１は、学習済みモデルのリスト情報を取得する要求の際に、撮像装置１００を識別するための情報（ＩＤ）や、モデル識別番号、シリアル番号などの情報を付加して送信する。

【0044】

ステップＳ５０２において、通信装置２００は、撮像装置１００からの学習済みモデルのリスト情報を取得する要求を受信し、学習済みモデルのリスト情報を返信する。なお、本ステップにおいては、学習済みモデルのリスト情報を、撮像装置１００が処理可能な学習済みモデルのみで構成された学習済みモデルのリスト情報を送信してもよいし、通信装置２００が保持する全ての学習済みモデルのリスト情報を送信してもよい。なお、学習済みモデルは、予め別の機器によって学習されたものであってもよく、通信装置２００のニューラルネットワーク処理部２０８により学習させたものであってもよい。

【0045】

ステップＳ５０３において、撮像装置１００はステップＳ５０２で取得した学習済みモデルのリスト情報から必要な学習済みモデルを選択して、通信装置２００に対して学習済みモデルの取得要求を送信する。

【0046】

ステップＳ５０４において、通信装置２００は、撮像装置１００からの学習済みモデルの取得要求を受信し、要求された学習済みモデルを返信する。

【0047】

ステップＳ５０５において、通信装置２００は、ステップＳ５０４において送信した学習済みモデルに関連した情報として、学習済みモデルのメニュー表示に必要な文字や画像情報等を送信する。

【0048】

＜撮像装置１００の処理フロー＞
図６を用いて、本実施形態における撮像装置１００の処理の流れについて説明する。この動作は、撮像装置１００の電源がオンの状態において、不揮発性メモリ１０３に格納されているコンピュータプログラムがメモリ１０２に展開され、ＣＰＵ１０１がメモリ１０２のコンピュータプログラムを読み出して実行することにより実現される。

【0049】

ステップＳ６０１において、ＣＰＵ１０１は、学習済みモデルを切り替えるメニュー画面の表示要求があるか否かを判断する。ＣＰＵ１０１は、操作部１０４を介したユーザからの表示要求があった場合（ステップＳ６０１のＹＥＳ）、表示制御部１１５を制御して表示部１１６にメニュー画面を表示し、本処理をステップＳ６０１からステップＳ６０２に進める。ＣＰＵ１０１は、操作部１０４を介したユーザからの表示要求が無い場合（ステップＳ６０１のＮＯ）、本処理を継続する。なお、メニュー画面の一例は図８を用いて後述する。

【0050】

ステップＳ６０２において、ＣＰＵ１０１は、通信制御部１１７を制御し、通信部１１８を介して通信することで、通信装置２００との接続を確立する。ＣＰＵ１０１は、通信制御部１１７を制御し、通信部１１８を介して、学習済みモデルのリスト情報の要求を行う。ＣＰＵ１０１は、本処理をステップＳ６０３に進める。

【0051】

ステップＳ６０３において、ＣＰＵ１０１は、通信部１１８を介して通信装置２００から送られてくる学習済みモデルのリスト情報を受信し、メモリ１０２に取得したリスト情報を保持する。なお、学習済みモデルのリスト情報には、撮像装置１００に関する、学習済みモデルの用途と適用可能な被写体の情報、学習済みモデルのリスト情報に存在するデータサイズの情報、処理性能の要件情報等が含まれるものとする。ＣＰＵ１０１は、本処理を終えた後ステップＳ６０４に処理を進める。

【0052】

なお、以降説明する、ステップＳ６０４からステップＳ６０８の処理は、通信装置２００から送られてくる段階で、撮像装置１００で処理可能な学習済みモデルのリスト情報である場合は省略することが可能である。また、撮像装置１００で処理可能な学習済みモデルのリスト情報であることを、ステップＳ６０３の学習済みモデルのリスト情報を受信する際に取得してもよい。

【0053】

ステップＳ６０４からステップＳ６０７において、学習済みモデルのリスト情報の中の学習済みモデルの１つ１つに対して処理を行うものとする。

【0054】

ステップＳ６０４において、ＣＰＵ１０１は、ステップＳ６０３で受信した学習済みモデルの用途と適用可能な被写体の情報から、撮像装置１００で処理可能な学習済みモデルであるか否かを判断する。ここでいう処理可能な学習済みモデルとは、デジタルカメラ１００がその学習済みモデルの用途に対応していることを言う。例えばデジタルカメラ１００が動物の被写体を自動的にフォーカスする機能に対応している場合、動物の被写体を検知するための学習済みモデルは処理可能な学習済みモデルと判断される。ＣＰＵ１０１は、処理可能な学習済みモデルであると判断した場合（ステップＳ６０４のＹＥＳ）、本処理をステップＳ６０４からステップＳ６０５に進める。ＣＰＵ１０１は、処理可能な学習済みモデルで無いと判断した場合（ステップＳ６０４のＮＯ）、本処理をステップＳ６０４からステップＳ６０８に進める。

【0055】

ステップＳ６０５において、ＣＰＵ１０１は、ステップＳ６０３で受信したデータサイズの情報から、１つの学習済みモデルあたりにつきメモリ１０２に確保された空き容量に収まる（記録可能な）データサイズであるかを判断する。ＣＰＵ１０１は、空き容量に収まるデータサイズであると判断した場合（ステップＳ６０５のＹＥＳ）、本処理をステップＳ６０５からステップＳ６０６へ進める。ＣＰＵ１０１は、空き容量に収まるデータサイズでは無いと判断した場合（ステップＳ６０５のＮＯ）、本処理をステップＳ６０５からステップＳ６０８へ進める。

【0056】

ステップＳ６０６において、ＣＰＵ１０１は、ステップＳ６０３で受信した処理性能の要件情報から、撮像装置１００で決められた所定の単位時間当たりに実行可能な学習済みモデルであるか否かを判断する。処理性能の要件情報とは、例えば積和演算回路の処理能力を示すＴＯＰＳ（Ｔｅｒａ Ｏｐｅｒａｔｉｏｎ Ｐｅｒ Ｓｅｃ）値や、処理サイクル数等で規定してもよい。また、ここで判断するために用いる「所定の単位時間」は、学習済みモデルの用途に応じて異なる値であってもよい。例えば、撮像時に被写体に焦点を合わせるために用いる場合は、リアルタイム性が求められるため、相対的に短い単位時間を基準に判断する。一方、撮影した後の画像の群から所定の被写体が写る画像を検索するために用いる場合は、撮像時に比べてリアルタイム性が求められる度合いが低い。そのため、この場合は相対的に長い単位時間を基準に判断する。ＣＰＵ１０１は、所定の単位時間当たりに実行可能な学習済みモデルであると判断した場合（ステップＳ６０６のＹＥＳ）、本処理をステップＳ６０６からステップＳ６０７に進める。ＣＰＵ１０１は、所定の単位時間当たりに実行可能な学習済みモデルで無いと判断した場合（ステップＳ６０６のＮＯ）、本処理をステップＳ６０６からステップＳ６０８に進める。

【0057】

ステップＳ６０７において、ＣＰＵ１０１は、ステップＳ６０４からステップＳ６０６において確認した学習済みモデルは、メニュー画面に表示可能な学習済みモデルであると判断し、メニュー表示する学習済みモデルリストとして、メモリ１０２に記録する。ＣＰＵ１０１は本処理をステップＳ６０７からステップＳ６０８へ進める。

【0058】

ステップＳ６０８において、ＣＰＵ１０１は、ステップＳ６０３で受信した学習済みモデルのリスト情報に記載されている、全ての学習済みモデルに対してステップＳ６０４からステップＳ６０７の処理を行ったか否かを判断する。ＣＰＵ１０１は、リスト情報に記載の全学習済みモデルに対して処理を行ったと判断した場合（ステップＳ６０８のＹＥＳ）、本処理をステップＳ６０８からステップＳ６０９へ進める。ＣＰＵ１０１は、リスト情報に記載の全学習済みモデルに対して処理を行っていないと判断した場合（ステップＳ６０８のＮＯ）、本処理をステップＳ６０８からステップＳ６０４に戻す。

【0059】

ステップＳ６０９において、ＣＰＵ１０１は、メモリ１０２に記録したメニュー表示する学習済みモデルリストを、表示制御部１１５を制御し表示部１１６に表示する。ＣＰＵ１０１は、本処理をステップＳ６０９からステップＳ６１０に進める。

【0060】

ステップＳ６１０において、ＣＰＵ１０１は、操作部１０４からのユーザ操作による学習済みモデルの選択を受け、ＣＰＵ１０１は本処理をステップＳ６１０からステップＳ６１１に進める。

【0061】

ステップＳ６１１において、ＣＰＵ１０１は、ステップＳ６１０でユーザに選択された学習済みモデルを、通信制御部１１７を制御し通信部１１８を介して、通信装置２００から取得する取得要求を送信する。ＣＰＵ１０１は、本処理をステップＳ６１１からステップＳ６１２に進める。

【0062】

ステップＳ６１２において、ＣＰＵ１０１は、通信部１１８を介して学習済みモデルと学習済みモデルの関連情報を受信し、メモリ１０２に保存する。ＣＰＵ１０１は、本処理をステップＳ６１２からステップＳ６１３に進める。

【0063】

ステップＳ６１３において、ＣＰＵ１０１は、学習済みモデルの関連情報を用いて表示画面を構成し、表示制御部１１５を制御して表示部１１６に学習済みモデルが切り替わったことを表示し、本フローチャートにおける処理をステップＳ６１３で終了させる。

【0064】

なお、上記の説明では、ステップＳ６０７において、ステップＳ６０４からステップＳ６０６の条件を満たした学習モデルのみをモデルリストとしてメモリ１０２に記憶し、ステップＳ６０９でメニュー画面に表示するようにしている。しかし、ステップＳ６０７において、全てのモデルリストをメモリ１０２に記憶し、ステップＳ６０９において、ステップＳ６０４からステップＳ６０６の条件を満たさない学習モデルを実行不可能な学習モデルとして、実行可能な学習モデルとは表示を変更して表示するようにしてもよい。

【0065】

＜通信装置２００の処理フロー＞
図７を用いて、本実施形態における通信装置２００の処理の流れについて説明する。この動作は、通信装置２００の電源がオンの状態において、記録部２０６に格納されているコンピュータプログラムがメモリ２０２に展開され、ＣＰＵ２０１がメモリ２０２のコンピュータプログラムを読み出して実行することにより実現される。

【0066】

ステップＳ７０１において、ＣＰＵ２０１は、通信部２０７を介して撮像装置１００からの学習済みモデルのリスト情報取得要求を受信する。なお、撮像装置１００からの学習済みモデルのリスト情報取得要求には、撮像装置１００を識別するための情報（ＩＤ）や、モデル識別番号、シリアル番号などの撮像機器情報を含むものとする。ＣＰＵ２０１は、本処理をステップＳ７０１からステップＳ７０２へ進める。

【0067】

ステップＳ７０２において、ＣＰＵ２０１は、記録部２０６に記録されている学習済みモデルのリスト情報を、通信部２０７を介して送信する。なお、ＣＰＵ２０１はステップＳ７０１において取得した撮像装置１００の識別情報等から、撮像装置１００で処理可能な学習済みモデルのみをリスト情報として送信してもよい。撮像装置１００で処理可能な学習済みモデルのみをリスト情報として送信する場合は、処理可能なリスト情報のみであることを撮像装置１００に通知する。ＣＰＵ２０１は、本処理をステップＳ７０２からステップＳ７０３へ進める。

【0068】

ステップＳ７０３において、ＣＰＵ２０１は、通信部２０７を介して撮像装置１００からの学習済みモデル取得要求を受信する。ＣＰＵ２０１は、本処理をステップＳ７０３からステップＳ７０４に進める。

【0069】

ステップＳ７０４において、ＣＰＵ２０１は、ステップＳ７０３において撮像装置１００から指定された学習済みモデルと、学習済みモデルに関連する情報を、記録部２０６から読み出し、通信部２０７を介して撮像装置１００へ送信する。ＣＰＵ２０１は、本処理をステップＳ７０４で終える。

【0070】

＜撮像装置１００の画面の一例＞
図８を用いて、本実施形態における撮像装置１００のメニュー選択と撮影時の画面の一例について説明する。

【0071】

図８（ａ）は撮像装置１００の機械学習機能を用いたＡＦの被写体を選択する画面の一例を示したものである。なお、ＡＦ以外における選択も同様のメニュー構成であってもよい。また、各被写体は各学習済みモデルに対応しているものとする。

【0072】

メニュー表示８０１は、メニュー画面においてどのような機能を設定する画面であるのかを示す。

【0073】

被写体設定状態８０２は、ＡＦで選択可能な被写体の現在の設定状態を示す。被写体設定状態８０２には、被写体の優先順位を示す番号と、被写体が表示される。撮像装置１００は優先順位に従って被写体を検出する。なお、被写体設定状態８０２に表示される番号に関しては優先順位ではなく、被写体を格納する場所を識別する番号であってもよい。

【0074】

変更先被写体の選択枠８０３は、ユーザによって選択された変更先の被写体を示す。選択可能リスト８０４は選択可能な被写体リストを表示したものである。スライドバー８０５は画面に表示しきれない被写体をスライドして表示するためのスライドバーである。選択不可マーク８０６は、対応している被写体として表示しているが、撮像装置１００が設定条件等の何らかの理由で選択できない場合に表示するマークを示す。

【0075】

変更元被写体の選択枠８０７は、ユーザによって選択された変更元の被写体を示す。実行ボタン８０８は、変更元被写体選択枠８０７で選択した被写体の設定を、変更先被写体選択枠８０３で選択した箇所に反映するための実行ボタンである。

【0076】

図８（ｂ）は、図８（ａ）で設定した被写体の中から、撮影時に使用する被写体を選択するメニュー画面の一例を示したものである。

【0077】

被写体選択表示８１２は、撮像装置１００で登録されている被写体の中で、撮影時に使用する被写体を選択するための表示を示す。

【0078】

撮影時の被写体選択枠８１３は、撮影時に使用する被写体を選択するための選択枠を示す。実行ボタン８１４は、撮影時の被写体選択枠８１３を設定するためのボタンである。キャンセルボタン８１５は、本メニュー画面からメイン画面に戻るためのボタンである。

【0079】

図８（ｃ）は撮像装置１００の撮影時における撮影画面の一例を示したものである。

【0080】

ＡＦ枠８２１は、被写体のどこにフォーカスが当たっているのかを示すものである。被写体選択表示８２２は、図８（ｂ）で選択した被写体の設定値や、不図示のＡＥの選択メニューで選択した設定値を表示したものである。なお、ＡＦ、ＡＥに限らず、学習済みモデルを使用した機能の状態を表示するものである。

【0081】

以上説明したように、第１の実施形態の処理を行うことにより、通信装置２００から学習済みモデルを撮像装置１００が取得することにより、複数の学習済みモデルを変更することが可能となる。

【0082】

（第２の実施形態）
本発明における第２の実施形態について、撮像装置１００、通信装置２００、情報処理装置３００を例に添付の図面を参照して以下に詳細に説明するが、本発明は、以下の実施形態に限定されるものではない。

【0083】

第１の実施形態においては、撮像装置１００と通信装置２００で構成されるシステムについて説明した。本実施形態においては、撮像装置１００と通信装置２００に、スマートフォンやＰＣなどの情報処理装置３００を加えた構成のシステムについて説明する。なお、本実施形態における撮像装置１００のブロック構成、通信装置２００のブロック構成は第１の実施形態と同様である。

【0084】

＜第２の実施形態のシステム構成＞
図９を用いて本実施形態でのシステム構成について説明する。図９に示すように、撮像装置１００、通信装置２００、情報処理装置３００が相互に無線あるいは有線による通信ネットワークにより接続される。なお、撮像装置１００と通信装置２００は情報処理装置３００を介して通信を行ってもよい。

【0085】

＜情報処理装置３００のブロック構成＞
図１０は、第２の実施形態における、情報処理装置３００の構成を示すブロック図である。情報処理装置３００は、ＣＰＵ３０１、メモリ３０２、撮像部３０３、表示部３０４、操作部３０５、記録部３０６、通信部３０７を備える。

【0086】

ＣＰＵ３０１は、情報処理装置３００を構成するすべての処理ブロックの制御を行う。プログラムは後述する記録部３０６に格納される。

【0087】

メモリ３０２は、主にＣＰＵ３０１のワークエリアや、データの一時バッファ領域として使用される。ＯＳ（Ｏｐｅｒａｔｉｏｎ Ｓｙｓｔｅｍ）やアプリケーション等のプログラムは、メモリ３０２上に展開され、ＣＰＵ３０１により実行される。

【0088】

撮像部３０３は、光学レンズ、ＣＭＯＳセンサ、デジタル画像処理部等を備える。そして、光学レンズを介して入力される光をＣＭＯＳセンサで光電変換し、ＣＭＯＳセンサからのアナログ信号をデジタルデータに変換して撮影画像を取得する。撮像部３０３によって取得された撮影画像は、メモリ３０２に一時的に格納され、ＣＰＵ３０１の制御に基づいて処理される。例えば、記録部３０６による記録媒体への記録や、通信部３０７による外部機器への送信などが行われる。また撮像部３０３は、レンズ制御部も備えており、ＣＰＵ３０１からの指令に基づいて、ズーム、フォーカス、絞り調整等の制御を行う。

【0089】

表示部３０４は、液晶パネル、または有機ＥＬパネル等で構成され、ＣＰＵ３０１の指示に基づいて、操作画面や、撮影画像等の表示を行う。

【0090】

操作部３０５は、キーボード、マウス、ボタン、十字キー、タッチパネル、またはリモコン等によって構成され、ユーザの操作指示を受け付ける。操作部３０５から入力された操作情報は、ＣＰＵ３０１に送信され、ＣＰＵ３０１は操作情報に基づいて各処理ブロックの制御を実行する。

【0091】

記録部３０６は大容量の記録媒体によって構成され、ＣＰＵ３０１の指示に基づいて様々なデータを格納したり読み出したりする処理ブロックである。記録媒体は、例えば内蔵フラッシュメモリ、内蔵ハードディスク、或いは着脱可能なメモリカード等で構成される。

【0092】

通信部３０７は、アンテナ、無線ＬＡＮ、有線ＬＡＮ等の通信を行うための処理ハードウェア等を備え、例えばＩＥＥＥ８０２．１１ｎ／ａ／ｇ／ｂ方式の通信を行う処理ブロックである。通信部１０７は、外部のアクセスポイントと無線ＬＡＮで接続し、アクセスポイント経由で他の無線通信機器と通信を行う。

【0093】

内部バス３０８は、情報処理装置３００内の各処理ブロックを相互に接続する。

【0094】

＜第２の実施形態における処理シーケンス＞
図１１は、本実施形態における撮像装置１００と通信装置２００と情報処理装置３００の処理シーケンスを示す図である。

【0095】

ステップＳ１１０１において、情報処理装置３００は、撮像装置１００に対して撮像装置１００を識別するための情報（ＩＤ）や、モデル識別番号、シリアル番号などの撮像機器情報の取得要求を行う。また、撮像機器情報には、学習済みモデルの用途と適用可能な被写体の情報、メモリ１０２に確保された空き容量、処理性能の要件情報が含まれるものとする。

【0096】

ステップＳ１１０２において、撮像装置１００は、撮像機器情報を情報処理装置３００に対して送信する。

【0097】

ステップＳ１１０３において、情報処理装置３００は、通信装置２００に対して学習済みモデルのリスト情報の取得要求を送信する。

【0098】

ステップＳ１１０４において、情報処理装置３００は、通信装置２００に対してステップＳ１１０２で取得した撮像機器情報を送信する。

【0099】

ステップＳ１１０５において、通信装置２００は、情報処理装置３００からの学習済みモデルのリスト情報を取得する要求を受信し、学習済みモデルのリスト情報を返信する。なお、本ステップにおいては、学習済みモデルのリスト情報として、撮像装置１００が処理可能な学習済みモデルのみで構成された学習済みモデルのリスト情報を送信してもよいし、通信装置２００が保持する全ての学習済みモデルのリスト情報を送信してもよい。

【0100】

ステップＳ１１０６において、情報処理装置３００はステップＳ１１０５で取得した学習済みモデルのリスト情報から必要な学習済みモデルを選択して、通信装置２００に対して学習済みモデルの取得要求を送信する。

【0101】

ステップＳ１１０７において、通信装置２００は、情報処理装置３００からの学習済みモデルの取得要求を受信し、要求された学習済みモデルを返信する。

【0102】

ステップＳ１１０８において、通信装置２００は、ステップＳ１１０７において送信した学習済みモデルに関連した情報として、学習済みモデルのメニュー表示に必要な文字や画像情報等を送信する。

【0103】

ステップＳ１１０９において、情報処理装置３００は、撮像装置１００に対して、ステップＳ１１０７で取得した学習済みモデルを送信する。

【0104】

ステップＳ１１１０において、情報処理装置３００は、撮像装置１００に対して、ステップＳ１１０８で取得した学習済みモデルに関連した情報を送信する。

【0105】

＜撮像装置１００の処理フロー＞
図１２は、本実施形態における撮像装置１００の処理を示すフローチャートである。この動作は、撮像装置１００の電源がオンの状態において、不揮発性メモリ１０３に格納されているコンピュータプログラムがメモリ１０２に展開され、ＣＰＵ１０１がメモリ１０２のコンピュータプログラムを読み出して実行することにより実現される。

【0106】

ステップＳ１２０１において、ＣＰＵ１０１は、通信制御部１１７を制御し、通信部１１８を介して通信することで、情報処理装置３００との接続を確立する。なお、通信装置２００と直接通信する場合には、通信装置２００との接続も行う。ＣＰＵ１０１は、通信部１１８を介して情報処理装置３００からの撮像機器情報の取得要求を受信し、本処理をステップＳ１２０１からステップＳ１２０２に進める。

【0107】

ステップＳ１２０２において、ＣＰＵ１０１は、メモリ１０２に格納されている撮像機器情報を、通信制御部１１７を制御し通信部１１８を介して情報処理装置３００に送信する。ＣＰＵ１０１は本処理をステップＳ１２０２からステップＳ１２０３へ進める。

【0108】

ステップＳ１２０３において、ＣＰＵ１０１は、通信部１１８を介して情報処理装置３００から送られてくる学習済みモデルを受信し、メモリ１０２に取得した学習モデルと、学習モデルに関連した情報を格納する。ＣＰＵ１０１は、本処理をステップＳ１２０３からステップＳ１２０４に進める。

【0109】

ステップＳ１２０４において、ＣＰＵ１０１は、学習済みモデルの関連情報を用いて表示画面を構成し、表示制御部１１５を制御して表示部１１６に学習済みモデルが切り替わったことを表示し、本フローチャートにおける処理をステップＳ１２０４で終了させる。

【0110】

なお、図１２において、ＣＰＵ１０１は情報処理装置３００から学習モデルを取得する流れで説明したが、情報処理装置３００からは、通信装置２００へのアクセス先を取得して、通信装置２００から直接学習モデルと学習モデルに関連する情報を取得してもよい。

【0111】

＜情報処理装置３００の処理フロー＞
図１３は、本実施形態における情報処理装置３００の処理を示すフローチャートである。この動作は、情報処理装置３００の電源がオンの状態において、記録部３０６に格納されているコンピュータプログラムがメモリ３０２に展開され、ＣＰＵ３０１がメモリ３０２のコンピュータプログラムを読み出して実行することにより実現される。

【0112】

ステップＳ１３０１において、ＣＰＵ３０１は、撮像装置１００との接続を確立したのち、撮像装置１００に対して通信部３０７を介して撮像機器情報の取得要求を送信する。ＣＰＵ３０１は、本処理をステップＳ１３０２に進める。

【0113】

ステップＳ１３０２において、ＣＰＵ３０１は、撮像装置１００から通信部３０７を介して撮像機器情報を取得する。ＣＰＵ３０１は、本処理をステップＳ１３０３に進める。

【0114】

ステップＳ１３０３において、ＣＰＵ３０１は、通信装置２００との接続を確立したのち、通信装置２００に対して学習済みモデルのリスト情報の要求を行う。なお、ＣＰＵ３０１は、学習済みモデルのリスト情報の要求に加えて、ステップＳ１３０２で取得した撮像機器情報を通信装置２００に送信するものとする。ＣＰＵ３０１は、本処理をステップＳ１３０４に進める。

【0115】

ステップＳ１３０４において、ＣＰＵ３０１は、通信部３０７を介して通信装置２００から送られてくる学習済みモデルのリスト情報を受信し、メモリ３０２に取得したリスト情報を保持する。なお、学習済みモデルのリスト情報には、撮像装置１００に関する、学習済みモデルの用途と適用可能な被写体の情報、学習済みモデルのリスト情報に存在するデータサイズの情報、処理性能の要件情報が含まれるものとする。ＣＰＵ１０１は、本処理を終えた後ステップＳ１３０５に処理を進める。

【0116】

なお、以降説明する、ステップＳ１３０４からステップＳ１３０９の処理は、通信装置２００から送られてくる段階で、撮像装置１００で処理可能な学習済みモデルのリスト情報である場合は省略することが可能である。また、撮像装置１００で処理可能な学習済みモデルのリスト情報であることを、学習済みモデルのリスト情報を受信する際に取得してもよい。ステップＳ１３０５からステップＳ１３０８において、学習済みモデルのリスト情報の中の学習済みモデルの１つ１つに対して処理を行うものとする。

【0117】

ステップＳ１３０５において、ＣＰＵ３０１は、ステップＳ１３０２で撮像装置１００から受信した撮像装置の情報と、ステップＳ１３０４で通信装置２００から受信した学習済みモデルの用途と適用可能な被写体の情報とから、撮像装置１００で処理可能な学習済みモデルであるか否かを判断する。ＣＰＵ３０１は、処理可能な学習済みモデルであると判断した場合（ステップＳ１３０５のＹＥＳ）、本処理をステップＳ１３０５からステップＳ１３０６に進める。ＣＰＵ３０１は、処理可能な学習済みモデルで無いと判断した場合（ステップＳ１３０５のＮＯ）、本処理をステップＳ１３０５からステップＳ１３０９に進める。

【0118】

ステップＳ１３０６において、ＣＰＵ３０１は、ステップＳ１３０２で取得したメモリ１０２の空き容量と、ステップＳ１３０４で受信した学習済みモデルのデータサイズとから、メモリ１０２の空き容量に収まるデータサイズであるかを判断する。ＣＰＵ１０１は、空き容量に収まるデータサイズであると判断した場合（ステップＳ１３０６のＹＥＳ）、本処理をステップＳ１３０６からステップＳ１３０７へ進める。ＣＰＵ３０１は、空き容量に収まるデータサイズでは無いと判断した場合（ステップＳ１３０６のＮＯ）、本処理をステップＳ１３０６からステップＳ１３０９へ進める。

【0119】

ステップＳ１３０７において、ＣＰＵ３０１は、ステップＳ１３０２で撮像装置１００から受信した撮像装置の情報と、ステップＳ１３０４で通信装置２００から受信した処理性能の要件情報とから、撮像装置１００で決められた所定の単位時間当たりに実行可能な学習済みモデルであるか否かを判断する。処理性能の要件情報とは、第１の実施形態のステップＳ６０６で説明したものと同様である。ＣＰＵ３０１は、所定の単位時間当たりに実行可能な学習済みモデルであると判断した場合（ステップＳ１３０７のＹＥＳ）、本処理をステップＳ１３０７からステップＳ１３０８に進める。ＣＰＵ３０１は、所定の単位時間当たりに実行可能な学習済みモデルで無いと判断した場合（ステップＳ１３０７のＮＯ）、本処理をステップＳ１３０７からステップＳ１３０９に進める。

【0120】

ステップＳ１３０８において、ＣＰＵ３０１は、ステップＳ１３０５からステップＳ１３０７において確認した学習済みモデルは、ユーザに提示可能な学習済みモデルであると判断し、ユーザに提示する学習済みモデルリストとして、メモリ３０２に記録する。ＣＰＵ３０１は本処理をステップＳ１３０８からステップＳ１３０９へ進める。

【0121】

ステップＳ１３０９において、ＣＰＵ３０１は、ステップＳ１３０４で受信した学習済みモデルのリスト情報に記載されている、全ての学習済みモデルに対してステップＳ１３０５からステップＳ１３０８の処理を行ったか否かを判断する。ＣＰＵ３０１は、リスト情報に記載の全学習済みモデルに対して処理を行ったと判断した場合（ステップＳ１３０９のＹＥＳ）、本処理をステップＳ１３０９からステップＳ１３１０へ進める。ＣＰＵ３０１は、リスト情報に記載の全学習済みモデルに対して処理を行っていないと判断した場合（ステップＳ１３０９のＮＯ）、本処理をステップＳ１３０９からステップＳ１３０５に戻す。

【0122】

ステップＳ１３１０において、ＣＰＵ３０１は、メモリ３０２に記録したユーザに提示する学習済みモデルリストを、表示部３０４に表示する。ＣＰＵ３０１は、本処理をステップＳ１３１０からステップＳ１３１１に進める。なお、表示部３０４に表示する表示方法の一例は図１５を用いて後述する。

【0123】

ステップＳ１３１１において、ＣＰＵ３０１は、操作部３０５からのユーザ操作による学習済みモデルの選択を受け、本処理をステップＳ１３１１からステップＳ１３１２に進める。

【0124】

ステップＳ１３１２において、ＣＰＵ３０１は、ステップＳ１３１１でユーザに選択された学習済みモデルについて、通信部３０７を介して、通信装置２００に対して取得要求を送信する。ＣＰＵ３０１は、本処理をステップＳ１３１２からステップＳ１３１３に進める。

【0125】

ステップＳ１３１３において、ＣＰＵ３０１は、通信部３０７を介して学習済みモデルと学習済みモデルの関連情報を受信し、メモリ３０２に保存する。ＣＰＵ３０１は、本処理をステップＳ１３１３からステップＳ１３１４に進める。

【0126】

ステップＳ１３１４において、ＣＰＵ３０１は、通信部３０７を介して学習済みモデルと学習済みモデルの関連情報を撮像装置１００に対して送信する。ＣＰＵ３０１は、本処理をステップＳ１３１４で終了する。なお、ＣＰＵ３０１は、学習済みモデルの関連情報として、図１５で後述する、優先番号１５０５で選択された被写体に対応した学習済みモデルの優先順位に関する情報を送信する。

【0127】

なお、図１３において、ＣＰＵ３０１は通信装置２００から学習モデルを取得して撮像装置１００に対して転送する流れで説明したが、情報処理装置３００からは、通信装置２００へのアクセス先を撮像装置１００に通知しても良い。

【0128】

＜通信装置２００の処理フロー＞
図１４は、本実施形態における通信装置２００の処理を示すフローチャートである。この動作は、通信装置２００の電源がオンの状態において、記録部２０６に格納されているコンピュータプログラムがメモリ２０２に展開され、ＣＰＵ２０１がメモリ２０２のコンピュータプログラムを読み出して実行することにより実現される。

【0129】

ステップＳ１４０１において、ＣＰＵ２０１は、通信部２０７を介して情報処理装置３００からの学習済みモデルのリスト情報取得要求を受信する。なお、情報処理装置３００からの学習済みモデルのリスト情報取得要求には、撮像装置１００を識別するための情報（ＩＤ）や、モデル識別番号、シリアル番号などの撮像機器情報を含むものとする。ＣＰＵ２０１は、本処理をステップＳ１４０１からステップＳ１４０２へ進める。

【0130】

ステップＳ１４０２において、ＣＰＵ２０１は、記録部２０６に記録されている学習済みモデルのリスト情報を、通信部２０７を介して情報処理装置３００に送信する。なお、ＣＰＵ２０１はステップＳ１４０１において取得した撮像装置１００の識別情報等から、撮像装置１００で処理可能な学習済みモデルのみをリスト情報として送信してもよい。撮像装置１００で処理可能な学習済みモデルのみをリスト情報として送信する場合は、処理可能なリスト情報のみであることを情報処理装置３００に通知する。ＣＰＵ２０１は、本処理をステップＳ１４０２からステップＳ１４０３へ進める。

【0131】

ステップＳ１４０３において、ＣＰＵ２０１は、通信部２０７を介して情報処理装置３００からの学習済みモデル取得要求を受信する。ＣＰＵ２０１は、本処理をステップＳ１４０３からステップＳ１４０４に進める。

【0132】

ステップＳ１４０４において、ＣＰＵ２０１は、ステップＳ１４０３において情報処理装置３００から指定された学習済みモデルと、学習済みモデルに関連する情報を、記録部２０６から読み出し、通信部２０７を介して情報処理装置３００へ送信する。ＣＰＵ２０１は、本処理をステップＳ１４０４で終える。

【0133】

本実施形態において情報処理装置３００のアプリケーションで動作する、学習済みモデルを使って処理を行う被写体の選択画面の一例を図１５に示す。画面はアプリケーションの画面とし、情報処理装置３００の表示部３０４に表示されるものとする。

【0134】

アプリケーションタイトル１５０１は、アプリケーションを識別するための表示である。被写体設定状態１５０２は、撮像装置１００がＡＦで選択可能な被写体の現在の設定状態を示す。なお、被写体設定状態１５０２における数字は、撮像装置１００に設定されている被写体の優先番号を示す。変更先被写体の選択枠１５０３は、ユーザによって選択された変更先の被写体を示す。

【0135】

選択可能リスト１５０４は選択可能な被写体をリスト表示したものである。選択可能リストは、既に撮像装置１００で保持されている被写体を優先して上位に表示する。優先番号１５０５は選択可能リスト１５０４の中で、撮像装置１００に設定する被写体の優先番号を示したものである。変更先被写体の選択枠１５０３と、変更元被写体の選択枠１５０７を選択することで優先番号１５０５の表示が変更される。

【0136】

選択不可マーク１５０６は、対応している被写体として表示しているが、撮像装置１００が設定条件等の何らかの理由で選択できない場合に表示するマークを示す。変更元被写体の選択枠１５０７は、ユーザによって選択された変更元の被写体を示す。実行ボタン１５０８は、変更元被写体選択枠１５０７で選択した被写体の設定を、変更先被写体選択枠１５０３で選択した箇所に反映するための実行ボタンである。

【0137】

機能選択ボタン１５０９は、ＡＦ、ＡＥ、ＡＷＢ、ノイズリダクション（ＮＲ）などの機能の中から、学習済みモデルを使用する機能を切り替えるためのボタンである。機種名１５１０には、撮像装置１００の機種名などの識別情報を表示する。アイコン１５１１には、撮像装置１００を判別することが可能なアイコンを表示する。

【0138】

以上説明したように、本実施形態の処理を行うことにより、情報処理装置３００を介して、通信装置２００からの学習済みモデルを撮像装置１００が取得することで、複数の学習済みモデルを変更することが可能となる。

【0139】

（第３の実施形態）
本発明における第３の実施形態を、撮像装置１００、通信装置２００、情報処理装置３００を例に添付の図面を参照して以下に詳細に説明するが、本発明は、以下の実施形態に限定されるものではない。

【0140】

第１の実施形態および第２の実施形態においては、学習済みモデルは、一つの被写体に対して有効な構成であった。本実施形態においては、１つの学習モデルが、複数の被写体に有効な場合について説明する。

【0141】

なお、撮像装置１００、通信装置２００、情報処理装置３００のシステム構成は、第２の実施形態で構成されるシステムと同様とし、各ブロック構成及び、処理フローについても第２の実施形態と同様とする。

【0142】

図１６を用いて、本実施形態における学習モデルの提示方法の一例について説明する。

【0143】

図１５で上述した情報処理装置３００のアプリケーションの画面上の選択可能リスト１５０４に、複数被写体対応学習済みモデル１６０１を含めてリストとして表示する。ユーザは複数被写体対応学習済みモデル１６０１を含む、選択可能リスト１５０４の中から所望の被写体を選択して撮像装置１００に被写体を登録する。なお、犬＋猫の場合は、犬を優先し、猫＋犬の場合は猫を優先する。同様に、大人＋子供であれば大人を優先し、子供＋大人であれば子供を優先し、電車＋車も同様である。

【0144】

なお、情報処理装置３００のアプリケーションの画面上の選択可能リスト１５０４を例に説明したが、撮像装置１００のメニュー画面で行ってもよい。

【0145】

図１７に、本実施形態における撮像装置のメニュー選択画面の一例を示す。図１７では、図１６で上述したように複数の被写体を含む学習モデルが選択された場合に、撮影時に使用する被写体を選択するメニュー画面の一例を示している。

【0146】

撮影時の被写体選択枠１７０１は、撮影時に使用する被写体を選択するための選択枠を示す。被写体第１優先１７０２は、複数の被写体の中で最優先となる被写体を提示したものである。被写体第２優先１７０３は、複数の被写体の中で２番目に優先となる被写体を提示したものである。ＡＦの処理においては第１優先となる被写体を見つけられない場合には、第２優先となる被写体を検出する処理を行う。

【0147】

被写体切り替え有効ボタン１７０４は、複数の被写体に対応した学習モデルであっても、第１優先となる被写体のみを検出する処理を行う場合に設定する設定ボタンである。被写体切り替え有効ボタン１７０４が有効になっていない場合は、被写体第１優先１７０２の被写体のみを検出する処理を行う。

【0148】

実行ボタン１７０５は、ユーザにより設定された状態を確定するためのボタンである。キャンセルボタン１７０６は、本メニュー画面からメイン画面に戻るためのボタンである。

【0149】

なお、本実施形態においては、複数被写体対応学習済みモデルとして、１６０１に示すように学習済みモデル単位で、ユーザに提示する形とした。しかし、図１６の１６０２に示すように複数被写体対応の学習済みモデルであっても、被写体単位でユーザに提示して選択できるようにしても良い。

【0150】

また、本実施形態において、複数の被写体として２つの被写体までしか説明しなかったが、３つ以上の被写体であってもよい。

【0151】

以上説明したように、本実施形態の処理を行うことにより、複数の被写体に対応した学習済みモデルであっても、撮像装置１００が学習済みモデルを取得することで、複数の学習済みモデルを変更することが可能となる。

【0152】

（変形実施形態）
以上、本発明の実施形態について詳述したが、本発明はこれらの実施形態に限定されるものではなく、要旨を逸脱しない範囲での様々な形態も本発明に含まれる。

【0153】

本発明が適用され得る対象は、上述の実施形態で説明した撮像装置１００等に限定されるものではない。例えば、撮像装置１００を複数の装置から構成されるシステムとした場合であっても上述の実施形態と同様の機能を実現することが可能である。更に、撮像装置１００の処理の一部をネットワーク上の外部装置により実施して実現することが可能である。

【0154】

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

【0155】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0156】

１００：撮像装置、１０１：ＣＰＵ、１０２：メモリ、１０３：不揮発性メモリ、１０４：操作部、１０５：ニューラルネットワーク処理部、２００：通信装置、２０１：ＣＰＵ、２０２：メモリ、２０３：不揮発性メモリ、２０５：操作部、２０６：記録部、２０７：通信部、２０８：ニューラルネットワーク処理部、３００：情報処理装置、３０１：ＣＰＵ、３０２：メモリ、３０４：表示部、３０５：操作部、３０６：記録部、３０７：通信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】