特許 7403995 情報処理装置、制御方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-15

(45)【発行日】2023-12-25

(54)【発明の名称】情報処理装置、制御方法およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231218BHJP

   G06N 20/00 20190101ALI20231218BHJP

【ＦＩ】

G06T7/00 350C

G06N20/00

【請求項の数】 22

(21)【出願番号】P 2019152119

(22)【出願日】2019-08-22

(65)【公開番号】P2021033571

(43)【公開日】2021-03-01

【審査請求日】2022-08-09

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100125254

【弁理士】

【氏名又は名称】別役 重尚

(72)【発明者】

【氏名】川村 勇太

【審査官】大塚 俊範

(56)【参考文献】

【文献】特開平１０－２９４８７５（ＪＰ，Ａ）

【文献】特開２００２－３４２７３９（ＪＰ，Ａ）

【文献】特開平０５－２６６２２７（ＪＰ，Ａ）

【文献】国際公開第２０１８／１４２７６４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ －７／９０

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

情報処理装置であって、
第１の画像データを取得する取得手段と、
前記情報処理装置に記憶される第１の学習モデルとは異なる第２の学習モデルの学習に用いられた第２の画像データの特性に応じて、前記第１の画像データに対して前記第２の画像データの特性に合わせた補正を行う補正手段と、
補正前の前記第１の画像データを入力として前記第１の学習モデルを用いて解析を行う第１の解析手段と、
補正後の前記第１の画像データを入力として前記第２の学習モデルを用いて解析された解析結果を、補正前の前記第１の画像データに適用した画像データを教師データとして、前記第１の学習モデルを更新する更新手段と、
を備え、
前記第２の学習モデルは前記第２の画像データを用いて他の情報処理装置で学習済みの学習モデルであることを特徴とする情報処理装置。

【請求項2】

前記第２の学習モデルは前記他の情報処理装置から取得されることを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記補正後の前記第１の画像データを前記他の情報処理装置に送信する送信手段と、
前記補正後の前記第１の画像データを入力として前記第２の学習モデルを用いて解析された解析結果を前記他の情報処理装置から受信する受信手段と、を備えることを特徴とする請求項１に記載の情報処理装置。

【請求項4】

前記補正手段は、第２の学習モデルの学習に用いられる第２の画像データの特性情報を、前記他の情報処理装置から取得することを特徴とする請求項３に記載の情報処理装置。

【請求項5】

補正後の前記第１の画像データを入力として前記第２の学習モデルを用いて解析を行う第２の解析手段を備えることを特徴とする請求項１に記載の情報処理装置。

【請求項6】

情報処理装置であって、
第１の画像データを取得する取得手段と、
前記第１の画像データを他の情報処理装置に送信する送信手段と、
前記情報処理装置に記憶される第１の学習モデルとは異なる第２の学習モデルの学習に用いられた第２の画像データの特性に応じて前記第２の画像データの特性に合わせた補正が行われた前記第１の画像データを入力として、前記第２の学習モデルを用いて解析された解析結果を前記他の情報処理装置から受信する受信手段と、
補正前の前記第１の画像データを入力として、前記第１の学習モデルを用いて解析を行う第１の解析手段と、
前記解析結果を補正前の前記第１の画像データに適用した画像データを教師データとして、前記第１の学習モデルを更新する更新手段と、
を備え、
前記第２の学習モデルは前記第２の画像データを用いて前記他の情報処理装置で学習済みの学習モデルであることを特徴とする情報処理装置。

【請求項7】

前記送信手段は、前記第１の画像データの特性情報を前記他の情報処理装置に送信することを特徴とする請求項６に記載の情報処理装置。

【請求項8】

前記第２の画像データの情報量は、前記第１の画像データの情報量より少ないことを特徴とする請求項１乃至７のうち何れか１項に記載の情報処理装置。

【請求項9】

前記第２の画像データは、前記第１の画像データに含まれる色情報および距離データの少なくともいずれかを削除したものであることを特徴とする請求項８に記載の情報処理装置。

【請求項10】

前記第１の解析手段は、前記更新手段によって更新された前記第１の学習モデルを用いて、画像データの解析を行うことを特徴とする請求項１乃至９のうち何れか１項に記載の情報処理装置。

【請求項11】

前記補正前の前記第１の画像データを入力として前記第１の学習モデルを用いて解析された解析結果と、前記補正後の前記第１の画像データを入力として前記第２の学習モデルを用いて解析された解析結果に基づいて、前記第１の画像データの解析結果を決定する決定手段を有することを特徴とする請求項１０に記載の情報処理装置。

【請求項12】

前記決定手段は、前記第１の学習モデルの学習回数が所定の回数を超えるまで、前記第２の学習モデルを用いて解析された解析結果を選択することを特徴とする請求項１１に記載の情報処理装置。

【請求項13】

前記決定手段は、前記第１の学習モデルの学習回数が前記所定の回数を超え、かつ、前記第１の学習モデルを用いて解析した解析結果と前記第２の学習モデルを用いて解析した解析結果との一致率が所定の閾値を超えたときに、前記第１の学習モデルを用いて解析された解析結果を選択することを特徴とする請求項１２に記載の情報処理装置。

【請求項14】

前記決定手段は、前記第１の学習モデルの学習回数が前記所定の回数を超えたときに、前記第１の学習モデルを用いて解析された解析結果を選択することを特徴とする請求項１２に記載の情報処理装置。

【請求項15】

前記更新手段は、前記決定手段が前記第１の学習モデルを用いて解析された解析結果を選択した後は、前記第２の学習モデルによる被写体の検出結果を教師データとした前記第１の学習モデルの更新を終了することを特徴とする請求項１３または１４に記載の情報処理装置。

【請求項16】

前記第１の画像データを生成する撮像手段を備えることを特徴とする請求項１乃至１５のうち何れか１項に記載の情報処理装置。

【請求項17】

情報処理装置であって、
第１の画像データを取得する取得手段と、
他の情報処理装置に記憶される第１の学習モデルとは異なる第２の学習モデルの学習に用いられた第２の画像データの特性に応じて、前記第１の画像データに対して前記第２の画像データの特性に合わせた補正を行う補正手段と、
補正後の前記第１の画像データを入力として前記第２の学習モデルを用いて解析を行う第２の解析手段と、
前記第２の学習モデルを用いて解析された解析結果を、前記他の情報処理装置に送信する送信手段と、
を備え、
前記第２の学習モデルは前記第２の画像データを用いて前記他の情報処理装置で学習済みの学習モデルであることを特徴とする情報処理装置。

【請求項18】

前記取得手段は、前記第１の画像データの特性情報を前記他の情報処理装置から取得することを特徴とする請求項１７に記載の情報処理装置。

【請求項19】

情報処理装置の制御方法であって、
第１の画像データを取得する工程と、
前記情報処理装置に記憶される第１の学習モデルとは異なる第２の学習モデルの学習に用いられた第２の画像データの特性に応じて、前記第１の画像データに対して前記第２の画像データの特性に合わせた補正を行う工程と、
補正前の前記第１の画像データを入力として前記第１の学習モデルを用いて解析を行う工程と、
補正後の前記第１の画像データを入力として前記第２の学習モデルを用いて解析された解析結果を補正前の前記第１の画像データに適用した画像データを教師データとして、前記第１の学習モデルを更新する工程と、
を備え、
前記第２の学習モデルは前記第２の画像データを用いて他の情報処理装置で学習済みの学習モデルであることを特徴とする情報処理装置の制御方法。

【請求項20】

情報処理装置の制御方法であって、
第１の画像データを取得する工程と、
前記第１の画像データを他の情報処理装置に送信する工程と、
前記情報処理装置に記憶される第１の学習モデルとは異なる第２の学習モデルの学習に用いられた第２の画像データの特性に応じて前記第２の画像データの特性に合わせた補正が行われた前記第１の画像データを入力として、前記第２の学習モデルを用いて解析された解析結果を前記他の情報処理装置から受信する工程と、
補正前の前記第１の画像データを入力として、前記第１の学習モデルを用いて解析を行う工程と、
前記解析結果を補正前の前記第１の画像データに適用した画像データを教師データとして、前記第１の学習モデルを更新する工程と、
を備え、
前記第２の学習モデルは前記第２の画像データを用いて前記他の情報処理装置で学習済みの学習モデルであることを特徴とする情報処理装置の制御方法。

【請求項21】

情報処理装置の制御方法であって、
他の情報処理装置から第１の画像データを取得する工程と、
前記他の情報処理装置に記憶される第１の学習モデルとは異なる第２の学習モデルの学習に用いられた第２の画像データの特性に応じて、前記第１の画像データに対して前記第２の画像データの特性に合わせた補正を行う工程と、
補正後の前記第１の画像データを入力として前記第２の学習モデルを用いて解析を行う工程と、
前記第２の学習モデルを用いて解析された解析結果を、前記他の情報処理装置に送信する工程と、
を備え、
前記第２の学習モデルは前記第２の画像データを用いて前記他の情報処理装置で学習済みの学習モデルであることを特徴とする情報処理装置の制御方法。

【請求項22】

請求項１乃至１８のうち何れか１項に記載の情報処理装置の各手段をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、制御方法およびプログラムに関する。

【背景技術】

【0002】

近年のデジタルカメラ等の撮像装置は、機械学習により学習された学習モデルを用いて、撮影した画像を解析する機能を有している。例えば、撮像装置は、学習された学習モデルを用いて、撮影した画像から被写体を検出する機能を有している。関連する技術として、特許文献１の物体検出装置が提案されている。該物体検出装置は、検出窓領域画像に検出対象物が存在しているか否かを予め学習した情報に基づいて判定する固定識別器を有している。また、該物体検出装置は、検出窓領域画像から算出した情報を辞書データに追加し、辞書データに基づいて検出対象物が存在しているか否かを判定する学習識別器を有している。

【0003】

また、関連する技術として、特許文献２の情報処理装置が提案されている。該情報処理装置は、十分な量の目標タスクの正常データと、十分な量の元タスクの正常データと、に基づいて、元タスクの学習データの特徴量を、目標タスクの学習データの特徴量に変換する変換パラメータを求める。そして、該情報処理装置は、求めた変換パラメータに基づいて、元タスクの学習データを変換する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１０－１７０２０１号公報

【文献】特開２０１７－２２４１５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

例えば、撮像装置が、学習モデルを用いて被写体を検出する場合、ユーザによる撮像装置の使用に応じて、学習モデルは、ユーザの好みに応じて調整される。ここで、ユーザが、撮像装置の機種を変更した場合、従前に使用していた撮像装置で生成された画像の特性と新たな撮像装置で生成された画像の特性とが異なることがある。撮像装置間で画像の特性が異なると、従前に使用していた撮像装置で学習された学習モデルを、そのまま新たな撮像装置に利用することができないことがある。この場合、新たな撮像装置の学習モデルに対して、最初から学習をさせなければならないという問題がある。この点、特許文献１の物体検出装置や特許文献２の情報処理装置は、上述した問題を解消するものではない。

【0006】

本発明は、画像の特性が変更された際の学習モデルの学習を効率的に行うことを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本発明の情報処理装置は、第１の画像データを取得する取得手段と、前記情報処理装置に記憶される第１の学習モデルとは異なる第２の学習モデルの学習に用いられた第２の画像データの特性に応じて、前記第１の画像データに対して前記第２の画像データの特性に合わせた補正を行う補正手段と、補正前の前記第１の画像データを入力として前記第１の学習モデルを用いて解析を行う第１の解析手段と、補正後の前記第１の画像データを入力として前記第２の学習モデルを用いて解析された解析結果を、補正前の前記第１の画像データに適用した画像データを教師データとして、前記第１の学習モデルを更新する更新手段と、を備え、前記第２の学習モデルは前記第２の画像データを用いて他の情報処理装置で学習済みの学習モデルであることを特徴とする。

【発明の効果】

【0008】

本発明によれば、画像の特性が変更された際の学習モデルの学習を効率的に行うことを目的とする。

【図面の簡単な説明】

【0009】

【図1】撮像装置の機能構成例を示すブロック図である。

【図2】主被写体検出部の機能構成例を示すブロック図である。

【図3】ＣＮＮの基本的な構成を示す図である。

【図4】特徴検出処理および特徴統合処理の詳細について示す図である。

【図5】本実施形態の全体の処理の流れを示すフローチャートである。

【図6】主被写体検出の処理の流れを示すフローチャートである。

【図7】再学習回数と一致率との関係の一例を示すグラフである。

【図8】主被写体検出の処理の他の例の流れを示すフローチャートである。

【図9】第１の変形例のシステムの全体構成を示す図である。

【図10】第２の変形例のシステムの全体構成を示す図である。

【図11】第３の変形例のシステムの全体構成を示す図である。

【図12】第４の変形例のシステムの全体構成を示す図である。

【図13】第５の変形例のシステムの全体構成を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明の各実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施の形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施の形態に記載されている構成によって限定されることはない。

【0011】

図１は、本実施形態における情報処理装置としての撮像装置１００の機能構成例を示すブロック図である。撮像装置１００は、静止画および動画を撮影し、記録することができる。撮像装置１００内の各部は、バス１６０を介して相互に通信可能に接続されている。撮像装置１００の動作は、ＣＰＵ１５１がプログラムを実行して各機能ブロックを制御することにより実現される。本実施形態の撮像装置１００は、画像を解析し、解析結果から特定の被写体領域を推定する主被写体検出部１６１を有する。主被写体検出部１６１は、撮像対象の被写体の位置やサイズ等を検出する被写体検出機能を有する。主被写体検出部１６１の詳細については後述する。

【0012】

撮影レンズ１０１（レンズユニット）は、固定１群レンズ１０２、ズームレンズ１１１、絞り１０３、固定３群レンズ１２１、フォーカスレンズ１３１、ズームモータ１１２、絞りモータ１０４およびフォーカスモータ１３２を有する。固定１群レンズ１０２、ズームレンズ１１１、絞り１０３、固定３群レンズ１２１およびフォーカスレンズ１３１は撮影光学系を構成する。各レンズ１０２、１１１、１２１および１３１は、複数枚のレンズにより構成されてもよい。また、撮影レンズ１０１は着脱可能な交換レンズとして構成されてもよい。

【0013】

絞り制御部１０５は、絞り１０３を駆動する絞りモータ１０４の動作を制御し、絞り１０３の開口径を変更する。ズーム制御部１１３は、ズームレンズ１１１を駆動するズームモータ１１２の動作を制御し、撮影レンズ１０１の焦点距離（画角）を変更する。フォーカス制御部１３３は、撮像部としての撮像素子１４１から得られる一対の焦点検出用信号（Ａ像およびＢ像）の位相差に基づいて撮影レンズ１０１のデフォーカス量およびデフォーカス方向を算出する。そして、フォーカス制御部１３３は、デフォーカス量およびデフォーカス方向をフォーカスモータ１３２の駆動量および駆動方向に変換する。フォーカス制御部１３３は、変換された駆動量および駆動方向に基づいてフォーカスモータ１３２の動作を制御する。フォーカス制御部１３３は、フォーカスレンズ１３１を駆動することにより、撮影レンズ１０１の焦点状態を制御する。以上のように、フォーカス制御部１３３は、位相差検出方式の自動焦点検出（ＡＦ）を実施する。ＡＦの方式は、上記の例には限定されない。例えば、フォーカス制御部１３３は、撮像素子１４１から得られる画像信号から算出されたコントラスト評価値に基づいて、コントラスト検出方式のＡＦを実行してもよい。

【0014】

撮影レンズ１０１によって撮像素子１４１の結像面に形成される被写体像は、撮像素子１４１に配置された複数の画素のそれぞれが有する光電変換素子により電気信号（画像信号）に変換される。本実施形態では、撮像素子１４１に、水平方向にｍ、垂直方向にｎ（ｎおよびｍは２以上の整数）の画素が行列状に配置されており、各画素には２つの光電変換素子（光電変換領域）が設けられている。撮像素子１４１からの信号読み出しは、ＣＰＵ１５１からの指示に従って撮像制御部１４３が制御する。

【0015】

撮像素子１４１から読み出された画像信号は撮像信号処理部１４２に供給される。撮像信号処理部１４２は、ノイズ低減処理やＡ／Ｄ変換処理、自動利得制御処理等の信号処理を画像信号に適用する。各信号処理が適用された画像信号は、撮像制御部１４３に出力される。撮像制御部１４３は、撮像信号処理部１４２が出力した画像信号をＲＡＭ（ランダム・アクセス・メモリ）１５４に蓄積する。

【0016】

画像処理部１５２は、ＲＡＭ１５４に蓄積された画像データに対して予め定められた画像処理を適用する。画像処理部１５２が適用する画像処理には、ホワイトバランス調整処理や色補間（デモザイク）処理、ガンマ補正処理といった所謂現像処理が適用され得る。また、画像処理部１５２が適用する画像処理には、信号形式変換処理やスケーリング処理等も適用され得る。適用可能な画像処理は、上記の例には限定されない。また、画像処理部１５２は、自動露出制御（ＡＥ）に用いるための、被写体輝度に関する情報等を生成することができる。特定の被写体領域に関する情報は、主被写体検出部１６１より供給され、例えばホワイトバランス調整処理に利用可能である。なお、コントラスト検出方式のＡＦを行う場合、画像処理部１５２が、ＡＦ評価値を生成してもよい。画像処理部１５２は、処理した画像データをＲＡＭ１５４に記憶する。

【0017】

ＲＡＭ１５４に記憶された画像データは、記録媒体１５７に記録することが可能である。この場合、ＣＰＵ１５１は、画像処理データに対して、例えば、所定のヘッダを追加する。これにより、記録形式に応じたデータファイルが生成される。この際、ＣＰＵ１５１は、必要に応じて、圧縮解凍部１５３に画像データを符号化して情報量を圧縮させる制御を行う。ＣＰＵ１５１は、生成したデータファイルを、メモリカード等の記録媒体１５７に記録する。記録媒体１５７は、メモリカード以外であってもよい。

【0018】

また、ＲＡＭ１５４に記憶された画像データは、表示部としてのモニタディスプレイ１５０に表示することができる。この場合、ＣＰＵ１５１は、モニタディスプレイ１５０における表示サイズに適合するように画像データを画像処理部１５２でスケーリングする。そして、ＣＰＵ１５１は、ＲＡＭ１５４のうちビデオメモリとして用いる領域（ＶＲＡＭ領域）に画像データを書き込む。モニタディスプレイ１５０は、ＲＡＭ１５４のＶＲＡＭ領域から表示用の画像データを読み出し、例えばＬＣＤや有機ＥＬディスプレイ等の表示装置（モニタディスプレイ１５０）に表示する。

【0019】

本実施形態の撮像装置１００は、動画撮影時（撮影スタンバイ状態や動画記録中）に、撮影された動画をモニタディスプレイ１５０に即時表示することにより、モニタディスプレイ１５０を電子ビューファインダー（ＥＶＦ）として機能させることができる。モニタディスプレイ１５０をＥＶＦとして機能させる際に表示する動画像およびそのフレーム画像を、ライブビュー画像またはスルー画像と称する。また、撮像装置１００は、静止画撮影を行った場合、撮影結果をユーザが確認できるように、直前に撮影した静止画を一定時間、モニタディスプレイ１５０に表示する。これらの表示動作についても、ＣＰＵ１５１の制御によって実現される。

【0020】

操作部１５６は、ユーザが撮像装置１００に指示を入力するためのスイッチやボタン、キー、タッチパネル等により構成される。操作部１５６が受け付けた操作に関する情報は、バス１６０を通じてＣＰＵ１５１が検知する。ＣＰＵ１５１は検知した情報に応じた動作を実現するために各部を制御する。

【0021】

ＣＰＵ１５１は、例えば、プログラマブルプロセッサを１つ以上有する。例えば、フラッシュメモリ１５５に記憶されたプログラムがＲＡＭ１５４に読み込まれ、ＣＰＵ１５１がＲＡＭ１５４に読み込まれたプログラムを実行する。これにより、実施形態の各種制御が実現される。また、ＣＰＵ１５１は、被写体輝度の情報に基づいて露出条件（シャッタースピードや蓄積時間、絞り値、感度等）を自動的に決定するＡＥ処理を実行する。被写体輝度の情報は、例えば画像処理部１５２から取得することができる。ＣＰＵ１５１は、例えば人物の顔等、特定被写体の領域を基準として露出条件を決定してもよい。

【0022】

ＣＰＵ１５１は、動画撮影時には絞りを固定とし、電子シャッタスピード（蓄積時間）とゲインの大きさで露出を制御する。ＣＰＵ１５１は決定した蓄積時間とゲインの大きさとを撮像制御部１４３に通知する。撮像制御部１４３は通知された露出条件に従った撮影が行われるように撮像素子１４１の動作を制御する。

【0023】

主被写体検出部１６１が検出した検出結果は、例えば焦点検出領域の自動設定に用いることができる。この結果、特定の被写体領域に対する追尾ＡＦ機能を実現できる。また、焦点検出領域の輝度情報に基づいてＡＥ処理を行うことができ、焦点検出領域の画素値に基づいて画像処理（例えば、ガンマ補正処理やホワイトバランス調整処理等）を行うこともできる。ＣＰＵ１５１は、現在の被写体領域の位置を表す指標（例えば領域を囲む矩形枠）を表示画像に重畳表示させてもよい。

【0024】

バッテリ１５９は、電源管理部１５８により管理され、撮像装置１００の全体に電源を供給する。フラッシュメモリ１５５は、ＣＰＵ１５１が実行するプログラムやプログラムの実行に必要な設定値、ＧＵＩデータ、ユーザ設定値等を記憶する。例えば、操作部１５６に対して電源ＯＦＦ状態から電源ＯＮ状態への移行を指示する操作がされると、フラッシュメモリ１５５に格納されたプログラムがＲＡＭ１５４の一部に読み込まれ、ＣＰＵ１５１がプログラムを実行する。

【0025】

次に、主被写体検出部１６１について説明する。図２は、主被写体検出部１６１の機能構成例を示すブロック図である。主被写体検出部１６１は、第１の被写体検出部２０１と入力データ変換部２０２と第２の被写体検出部２０３と主被写体決定部２０４と評価部２０５とを含む。本実施形態では、第１の被写体検出部２０１および第２の被写体検出部２０３は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）による特徴抽出処理を行うことで、被写体検出を行う。ＣＮＮは、学習モデルに対応する。第１の被写体検出部２０１および第２の被写体検出部２０３は、任意の機械学習手法により学習された学習モデルを用いて、被写体検出を行ってもよい。

【0026】

第１の被写体検出部２０１には、画像処理部１５２から信号が順次供給される。そして、第１の被写体検出部２０１は、各画像に含まれる撮像対象の被写体を検出する。第１の被写体検出部２０１は、第１の学習モデルを用いて、被写体検出を行う。本実施形態では、第１の学習モデルはＣＮＮにより構築される。第１の学習モデルは、順次、学習が行われていくことにより、ＣＮＮの結合パラメータの調整がされていく。入力データ変換部２０２には、画像処理部１５２から信号が順次供給される。入力データ変換部２０２は、撮像装置１００の撮像により得られる画像データ（第１の画像データ）を第２の被写体検出部２０３による処理に適したデータ形式に変換する。第２の被写体検出部２０３は、第２の学習モデルを用いて、変換後の各画像に含まれる撮像対象の被写体検出を行う。ＣＰＵ１５１は、撮像装置１００とは異なる他の撮像装置で学習済のＣＮＮ（第２の学習モデル）を取得する。ＣＰＵ１５１は、取得した学習済みのＣＮＮを第２の被写体検出部２０３に移植する。例えば、所定のユーザが、従前に使用していた撮像装置が他の撮像装置であり、該ユーザが、新たに使用する撮像装置が撮像装置１００である。撮像装置１００のＣＰ１５１は、他の撮像装置で学習済みの学習済のＣＮＮを、記録媒体１５７や不図示の通信部からインターネットを介して、取得してもよい。

【0027】

他の撮像装置で学習済のＣＮＮは、画像処理部１５２から出力される第１の画像データとは特性が異なる第２の画像データを用いて学習されたものである可能性がある。そこで、本実施形態では、入力データ変換部２０２は、他の撮像装置が撮影した第２の画像データの特性に応じて、撮像装置１００が撮影した第１の画像データを変換する。これにより、第１の画像データに対して、第２の画像データの特性に合わせた補正が行われる。例えば、画像処理部１５２が出力する第１の画像データが、ＲＧＢの２４ビット色のカラー画像であるとする。一方、他の撮像装置が撮影した第２の画像データが、ＩＲセンサによるグレースケールの８ビットのモノクロ画像であるとする。つまり、第２の画像データの情報量は、第１の画像データの情報量より少なく、第２の画像データは第１の画像データより画質が低い。ここで、第１の画像データの特性および第２の画像データの特性は、データ自身の特性（例えば、ビット数）だけでなく、撮像装置の光学的な特性も含んでもよい。

【0028】

他の撮像装置で学習済みのＣＮＮは、画像処理部１５２から出力される第１の画像データとは特性が異なる第２の画像データを用いて学習されている。この場合、入力データ変換部２０２は、画像処理部１５２が出力する２４ビット色のカラー画像（第１の画像データ）を、グレースケールの８ビットのモノクロ画像に変換する。つまり、入力データ変換部２０２は、画像処理部１５２が出力する画像データから色情報を削除する。

【0029】

また、他の撮像装置で学習済のＣＮＮは、画像データのみを用いて学習されたＣＮＮであるのに対して、画像処理部１５２が出力した第１の画像データには、距離データが付加されていたとする。この場合、入力データ変換部２０２は、距離データを削除して、画像データだけを第２の被写体検出部２０３へ入力する。入力データ変換部２０２が行う画像データの変換は、上述した例には限定されない。

【0030】

主被写体決定部２０４は、第１の被写体検出部２０１が検出した被写体または第２の被写体検出部２０３が検出した被写体を、主被写体として決定する。主被写体の情報は、画像内における被写体領域や信頼性等の情報を有し、ＣＰＵ１５１等の各種ブロックで利用される。評価部２０５は、第２の被写体検出部２０３により検出された被写体の検出結果を補正前の第１の画像データに当て嵌めた画像データを教師データとして生成し、第１の被写体検出部２０１が検出した被写体の検出結果を評価する。つまり、教師データは、第２の被写体検出部２０３により検出された被写体の検出結果（解析結果）を補正前の第１の画像データに適用した画像データになる。教師データは、被写体の検出結果の正解度を示す。また、評価部２０５は、評価結果に基づいて、第１の被写体検出部２０１のＣＮＮの再学習（学習）を実施する。これにより、第１の被写体検出部２０１のＣＮＮは、更新される。

【0031】

次に、図３および図４を用いて、上述したＣＮＮについて説明する。以下、ネオコグニトロンに基づくＣＮＮについて説明する。ネオコグニトロンによる学習では、中間層の学習に「ａｄｄ－ｉｆ－ｓｉｌｅｎｔ」という手法が用いられているものが多いが、本実施形態では、逆誤差伝搬法が適用される。本実施形態に適用されるＣＮＮは、図３および図４の例には限定されない。

【0032】

図３は、入力された２次元画像データおよび位置マップから被写体を検出するＣＮＮの基本的な構成を示す。処理の流れは、入力画像から矢印の方向に向かった処理が進む。ＣＮＮは、特徴検出層（Ｓ層）と特徴統合層（Ｃ層）と呼ばれる２つの層を１のセットとし、２つの層のセットが階層的に構成されている。ＣＮＮでは、Ｓ層において前段階層で検出された特徴をもとに次の特徴を検出する。また、Ｓ層において検出した特徴をＣ層で統合し、その階層における検出結果として次の階層に出力する構成になっている。Ｓ層は特徴検出細胞面からなり、特徴検出細胞面ごとに異なる特徴を検出する。また、Ｃ層は特徴統合細胞面からなり、前段の特徴検出細胞面での検出結果をプーリングする。以下では、特に区別する必要がない場合、特徴検出細胞面および特徴統合細胞面を総称して特徴面と称する。本実施形態では、最終段階層である出力層ではＣ層は用いずＳ層のみで構成している。

【0033】

図４は、特徴検出処理および特徴統合処理の詳細について示す図である。特徴検出処理は、特徴検出細胞面で行われる。特徴統合処理は、特徴統合細胞面で行われる。特徴検出細胞面は、複数の特徴検出ニューロンにより構成される。特徴検出ニューロンは、前段階層のＣ層に所定の構造で結合している。また、特徴統合細胞面は、複数の特徴統合ニューロンにより構成され、特徴統合ニューロンは同階層のＳ層に所定の構造で結合している。図４に示したＬ階層目Ｓ層のＭ番目細胞面内において、位置（１）の特徴検出ニューロンの出力値を（２）と表記する。各変数は、以下のように表される。

【0034】

【数1】

【0035】

また、Ｌ階層目Ｃ層のＭ番目細胞面内において、位置（１）の特徴統合ニューロンの出力値を（３）と表記する。この場合、それぞれのニューロンの結合係数を（４）、（５）とすると、各出力値は以下の「数式２」および「数式３」のように表すことができる。

【0036】

【数2】

【0037】

【数3】

【0038】

数式２のｆ活性化関数であり、ロジスティック関数や双曲正接関数等のシグモイド関数であり、例えばｔａｎｈ関数で実現され得る。上記（６）は、Ｌ階層目Ｓ層のＭ番目細胞面における、位置（１）の特徴検出ニューロンの内部状態である。数式３は、活性化関数を用いず単純な線形和の式である。数式３のように活性化関数を用いない場合は、ニューロンの内部状態（７）と出力値（３）とは等しい。また、数式２のうちの上記（８）、数式３のうちの上記（９）をそれぞれ特徴検出ニューロン、特徴統合ニューロンの結合先出力値と称する。

【0039】

数式２および数式３における「ξ、ζ、ｕ、ｖ、ｎ」について説明する。位置（１）は入力画像における位置座標に対応しており、例えば、出力値（２）が高い出力値である場合は、入力画像の画素位置（１）に、Ｌ階層目Ｓ層Ｍ番目細胞面において検出する特徴が存在する可能性が高いことを意味する。また、ｎは、数式１において、Ｌ－１階層目Ｃ層ｎ番目細胞面を意味しており、統合先特徴番号と称する。基本的に、Ｌ－１階層目Ｃ層に存在する全ての細胞面についての積和演算が行われる。「（ｕ、ｖ）」は、結合係数の相対位置座標であり、検出する特徴のサイズに応じて有限の範囲「（ｕ、ｖ）」において積和演算が行われる。このような有限な「（ｕ、ｖ）」の範囲を受容野と称する。以下、受容野の大きさを、受容野サイズと称し、受容野サイズは、結合している範囲の横画素数×縦画素数で表される。

【0040】

また、数式２において、Ｌ＝１つまり一番初めのＳ層では、（８）は、入力画像（１０）または、入力位置マップ（１１）となる。ニューロンや画素の分布は離散的であり、結合先特徴番号も離散的なので、「ξ、ζ、ｕ、ｖ、ｎ」は連続な変数ではなく、離散的な値をとる。ここでは、「ξ、ζ」は非負整数、「ｎ」は自然数、「ｕ、ｖ」は整数とし、何れも有限な範囲となる。

【0041】

数式１の（４）は、所定の特徴を検出するための結合係数であり、該結合係数が適切な値に調整されることで、所定の特徴を検出することが可能になる。この結合係数の調整が学習（機械学習）であり、ＣＮＮの構築においては、各種のテストパターンを用いて、適切な出力値が得られるように、結合係数（２）が繰り返し修正される。これにより、結合係数の調整が行われる。

【0042】

数式２のうちの上記（５）は、２次元のガウシアン関数を用いており、以下の「数式４」のように表すことができる。

【0043】

【数4】

【0044】

「（ｕ、ｖ）」は有限の範囲であるため、特徴検出ニューロンの説明と同様に、有限の範囲を受容野と称し、受容野の範囲の大きさを受容野サイズと称する。受容野サイズは、Ｌ階層目Ｓ層のＭ番目特徴のサイズに応じた値に設定されればよい。数式３の「σ」は特徴サイズ因子であり、受容野サイズに応じた定数に設定されればよい。例えば、受容野の最も外側の値がほぼ０とみなせるような値になるように設定されることが好ましい。

【0045】

上述のような演算を各階層で行うことで、最終階層のＳ層において、被写体検出を行う。これにより、本実施形態におけるＣＮＮを用いた被写体検出が行われる。上述した例では、画像データを入力として、ＣＮＮを用いた被写体検出を行う例について説明した。ＣＮＮを用いた被写体検出としては、加速度センサの情報や奥行情報等のような情報が画像に追加されてもよい。

【0046】

次に、図５のフローチャートを参照して、本実施形態の全体の処理の流れについて説明する。撮像素子１４１からの信号に基づいて、入力画像（第１の画像データ）が取得される（Ｓ５０１）。撮像制御部１４３は、取得された第１の画像データを、主被写体検出部１６１に出力する。主被写体検出部１６１は、第１の画像データに対して被写体検出処理を行う（Ｓ５０２）。そして、ＣＰＵ１５１は、Ｓ５０２において、主被写体検出部１６１が主被写体を検出したかを判定する（Ｓ５０３）。Ｓ５０３でＹｅｓと判定された場合、ＣＰＵ１５１は、入力された第１の画像データとともに、Ｓ５０２で検出された主被写体の検出結果をモニタディスプレイ１５０に表示させる。このとき、第１の画像データに主被写体の検出結果が重畳されてもよい。ＣＰＵ１５１は、Ｓ５０４で表示した第１の画像データと主被写体の検出結果とを１組のデータセットとしてＲＡＭ１５４にバッファリングする（Ｓ５０５）。このとき、ＣＰＵ１５１は、第１の画像データと主被写体の検出結果と表示時刻とを１組のデータセットとしてＲＡＭ１５４にバッファリングしてもよい。

【0047】

Ｓ５０３でＮｏと判定された場合、ＣＰＵ１５１は、モニタディスプレイ１５０に、入力された第１の画像データを表示し、主被写体の検出結果は表示させない。Ｓ５０５の後、またはＳ５０６の後、ＣＰＵ１５１は操作部１５６からの終了指示があるかを判定する（Ｓ５０７）。Ｓ５０８でＮｏと判定された場合、フローは、Ｓ５０１に戻る。Ｓ５０８でＹｅｓと判定された場合、処理は終了する。

【0048】

次に、Ｓ５０２の主被写体検出の処理の流れについて、図６のフローチャートを参照して、説明する。第１の被写体検出部２０１は、Ｓ５０１で取得された第１の画像データから、ＣＮＮにより構築される第１の学習モデルを用いて、被写体の検出を行う（Ｓ６０１）。そして、主被写体検出部１６１は、制御フラグがＯＮになっているかを判定する（Ｓ６０２）。制御フラグは、第２の被写体検出部２０３が検出した被写体の検出結果を使用するか否かを判定するために用いられるフラグである。制御フラグについては、後述する。第２の被写体検出部２０３が検出した被写体の検出結果が使用される場合、制御フラグはＯＮにされる。一方、第２の被写体検出部２０３が検出した被写体の検出結果が使用されない場合、制御フラグはＯＦＦにされる。

【0049】

入力データ変換部２０２は、Ｓ５０１で取得した第１の画像データを第２の被写体検出部２０３への入力に適した形式に変換する（Ｓ６０３）。このとき、入力データ変換部２０２は、他の撮像装置と撮像装置１００との特性差を補正するように、画像データを変換する。このため、例えば、入力データ変換部２０２は、変換に必要なフィルタや計算式、調整パラメータ等を保持していてもよい。また、該変換に必要なフィルタや計算式、調整パラメータ等は、インターネットから撮像装置１００にダウンロードされ、ＲＡＭ１５４に記憶されていてもよい。この場合、入力データ変換部２０２は、ＲＡＭ１５４に記憶されている情報を取得する。

【0050】

第２の被写体検出部２０３は、他の撮像装置で学習された第２の学習モデル（ＣＮＮにより構築される学習モデル）を用いて、画像データから被写体検出を行う（Ｓ６０４）。そして、主被写体決定部２０４は、Ｓ６０１で検出した被写体とＳ６０４で検出した被写体とのうち何れかの被写体を主被写体として決定する（Ｓ６０５）。本実施形態では、主被写体決定部２０４は、再学習回数と一致率とに基づいて、主被写体を決定する。

【0051】

図７は、再学習回数と一致率との関係の一例を示すグラフである。再学習回数は、第１の学習モデルの学習回数を示す。一致率は、Ｓ６０１で検出された被写体とＳ６０４で検出された被写体とが一致した回数を、再学習回数で除算することにより得ることができる。ここで、再学習回数が少ない場合、Ｓ６０１で検出された被写体とＳ６０４で検出された被写体とが一致したとしても、一致率の信頼性は低い。そこで、主被写体決定部２０４は、再学習回数が所定回数（第１の回数）を超えるまで、第２の被写体検出部２０３が検出した被写体を、主被写体として決定する。

【0052】

また、主被写体決定部２０４は、再学習回数が第１の回数を超えたとしても、一致率が所定の閾値を超えるまでは、第２の被写体検出部２０３が検出した被写体を、主被写体として選択する。再学習回数が第１の回数を超えたとしても、一致率が低い場合、第１の被写体検出部２０１が検出した被写体の検出結果の信頼性は低いと考えられるためである。主被写体決定部２０４は、再学習回数が第１の回数を超え、かつ、一致率が所定の閾値を超えたときに、第１の被写体検出部２０１が検出した被写体を、主被写体として選択する。あるいは、一致率に依らず、再学習回数が第１の回数より多い第２の回数を超えるまでは、第２の被写体検出部２０３が検出した被写体を、第２の回数を超えてからは、第１の被写体検出部２０１が検出した被写体を、主被写体として選択してもよい。第１の回数、第２の回数および所定の閾値は、任意の値に設定されてよい。

【0053】

また、主被写体決定部２０４は、再学習回数が第１の回数を超え、かつ、一致率が所定の閾値を超えた場合、あるいは、単に再学習回数が第２の回数を超えた場合、上述した制御フラグをＯＦＦにする。これにより、第２の被写体検出部２０３による被写体の検出結果を教師データとした第１の学習モデルの再学習（更新）は終了する。そして、主被写体決定部２０４は、第１の被写体検出部２０１による被写体の検出結果を主被写体として決定する。つまり、第１の被写体検出部２０１による被写体の検出結果が使用されるようになる。これは、第１の学習モデルの学習が進み、第１の被写体検出部２０１による被写体の検出結果の信頼性が高くなったためである。

【0054】

ここで、制御フラグをＯＦＦにする条件が満たされた場合、第１の被写体検出部２０１の第１の学習モデルの再学習（更新）が終了したことを示す情報が、モニタディスプレイ１５０に表示されてもよい。例えば、「旧機種の学習モデルを用いた学習は終了しました」といったメッセージがモニタディスプレイ１５０に表示されてもよい。これにより、ユーザは、新しい撮像装置１００の第１の学習モデルの学習が終了したことを認識することができる。また、このとき、モニタディスプレイ１５０に、第２の学習モデルの削除を促す表示がされてもよい。第１の学習モデルの再学習が終了した場合、第２の学習モデルは必要ではなくなる。第２の学習モデルが撮像装置１００から削除されることにより、撮像装置１００が記憶する情報量を低減させることができる。あるいは、第１の被写体検出部２０１と第２の被写体検出部２０３を併用し続け、両方の検出結果に含まれるもののみを主被写体として決定してもよいし、少なくとも一方の検出結果に含まれるもの全てを主被写体として決定してもよい。

【0055】

図６に示されるように、Ｓ６０５の後、評価部２０５は、Ｓ６０１で検出された被写体の検出結果の評価を行い、評価結果を用いて第１の被写体検出部２０１の第１の学習モデルの再学習を実施する（Ｓ６０６）。Ｓ６０２でＹｅｓと判定された場合、第２の被写体検出部２０３による被写体の検出結果を補正前の第１の画像データに当て嵌めた画像データを教師データとして、第１の被写体検出部２０１の第１の学習モデルの再学習が実施される。Ｓ６０２でＮｏと判定された場合、ユーザ操作に基づく第１の学習モデルの再学習が行われる。例えば、ユーザが操作部１５６等を用いて、被写体を指定した操作や撮影指示等を教師データとして、第１の被写体検出部２０１の第１の学習モデルの再学習が実施される。

【0056】

次に、Ｓ６０６における第１の学習モデル（ＣＮＮにより構築される学習モデル）の再学習について説明する。第１の学習モデルの再学習では、結合係数（４）の調整が行われる。上述したように、第１の被写体検出部２０１には、第１の画像データとして、ＲＧＢの２４ビット色のカラー画像が入力される。また、第２の被写体検出部２０３の被写体の検出結果を第１の画像データに当て嵌めた画像データが、教師データとして用いられる。そして、誤差逆伝搬法により、第１の画像データが第１の学習モデルに入力されたときの出力と第２の被写体検出部２０３の被写体の検出結果との誤差が最小となるように、結合係数（４）の調整が行われる。

【0057】

以上により、２次元画像から主被写体検出するためのＣＮＮ（第１の学習モデル）が構築される。第１の被写体検出部２０１のＣＮＮの学習が十分に行われた場合、第１の被写体検出部２０１は、学習により構築した結合係数（４）を用いて演算を行う。そして、第１の被写体検出部２０１は、最終層の特徴検出細胞面上のニューロン出力が、一定値以上の領域に主被写体が存在すると判定する。

【0058】

第２の学習モデルは、他の撮像装置で学習済みである。本実施形態では、補正前の第１の画像データにおける第２の被写体検出部２０３が検出した被写体の検出結果を教師データとして、第１の被写体検出部２０１の第１の学習モデルの再学習が実施される。第１の被写体検出部２０１のＣＮＮの再学習が行われる際、撮像装置１００が撮影したＲＧＢの２４ビット色のカラー画像が用いられる。これにより、グレースケールの画像では検出されない特徴（色相や彩度等）を反映した学習が行われる。

【0059】

従って、本実施形態では、撮像装置１００は、撮影した第１の画像データを、他の撮像装置で学習された第２の学習モデルを生成する際に用いられた第２の画像データの特性に合わせるように補正する。そして、補正された第１の画像データを入力として第２の被写体検出部２０３による被写体検出が行われる。さらに、補正前の第１の画像データの中での第２の被写体検出部２０３の被写体の検出結果を教師データとして、第１の被写体検出部２０１の第１の学習モデルの再学習が行われる。つまり、撮像装置１００は、該再学習を行うことで、自己学習を行う。これにより、ユーザが従前に使用していた他の撮像装置で学習された第２の学習モデルを有効活用することができ、新しい撮像装置１００は、ユーザの好みに応じた被写体検出の学習を効率的に行うことができる。

【0060】

ここで、図８のフローチャートに示されるように、図６のＳ６０２は省略されてもよい。Ｓ６０１、Ｓ６０３～Ｓ６０６の処理は、図６と同様であるため、説明を省略する。この場合、主被写体決定部２０４は、常に第１の被写体検出部２０１の第１の学習モデルによる被写体の検出結果と、第２の被写体検出部２０３の第２の学習モデルによる被写体の検出結果とのうち何れかを主被写体として決定する。評価部２０５は、主被写体として決定された方の被写体の検出結果を教師データとして、上述した再学習を行う（Ｓ８０１）。

【0061】

＜他の実施形態＞
上述した実施形態では、撮像装置１００は、画像データを入力として、第１の学習モデルまたは第２の学習モデルを用いて、被写体の検出結果を出力する例について説明した。ここで、第１の学習モデルおよび第２の学習モデルを用いた画像データの解析は、被写体検出には限定されない。つまり、撮像装置１００は、画像データを入力として、第１の学習モデルまたは第２の学習モデルを用いて、任意の画像解析を行ってよい。例えば、撮像装置１００は、画像データを入力として、第１の学習モデルまたは第２の学習モデルを用いて、撮影モードを推定してもよい。この場合、第１の学習モデルおよび第２の学習モデルは、撮影モードを推定するための学習モデルとして用いられる。

【0062】

次に、各種の変形例について説明する。以下の各変形例は、実施形態の処理を、複数の装置が連携して行う例である。図９は、第１の変形例のシステム３００の全体構成を示す図である。システム３００では、撮像装置３０１とサーバ３０２とが通信を行う。撮像装置３０１は、第１の学習モデルを用いて、撮影した画像を解析する機能を有している。また、撮像装置３０１は、サーバ３０２と通信する機能を有している。撮像装置３０１としては、スマートフォンや携帯型端末等の情報処理装置（他の情報処理装置）であってもよい。サーバ３０２は、例えば、エッジコンピュータやクラウドサーバ等の情報処理装置である。サーバ３０２は、ＣＰＵ３１１、ＲＡＭ３１２、記憶装置３１３および通信部３１４を有する。記憶装置３１３には、ＣＰＵ３１１が実行する所定のプログラムが記憶されており、該プログラムは、ＲＡＭ３１２に展開される。ＣＰＵ３１１は、ＲＡＭ３１２に展開されたプログラムを実行することで、上述した各機能を実行する。以下の各変形例におけるＣＰＵ、ＲＡＭ、記憶装置および通信部は、第１の変形例と同様である。

【0063】

撮像装置３０１は、撮影した画像（第１の画像データを含む）を、サーバ３０２に送信する。サーバ３０２の通信部３１４は、第１の画像データを取得する。上述した実施形態と同様、ＣＰＵ３１１は、取得した第１の画像データの特性が、第２の画像データの特性と合うように変換する。これにより、第１の画像データが補正される。記憶装置３１３には、第１の学習モデルおよび第２の学習モデルが記憶されている。ＣＰＵ３１１は、補正後の第１の画像データを入力として、第２の学習モデルを用いて、画像の解析を行う。また、ＣＰＵ３１１は、補正前の第１の画像データを入力として、第１の学習モデルを用いて、画像の解析を行う。画像解析が被写体検出である場合、上述した実施形態の第１の被写体検出部２０１および第２の被写体検出部２０３の機能がＣＰＵ３１１により実行される。そして、ＣＰＵ３１１は、画像の解析結果を第１の画像データに適用した画像データを教師データとして、第１の学習モデルの再学習を行う。これにより、第１の学習モデルのパラメータが更新される。

【0064】

サーバ３０２の通信部３１４は、更新された第１の学習モデルのパラメータを撮像装置３０１に送信する。撮像装置３０１には、第１の学習モデルが記憶されており、上記更新された第１の学習モデルのパラメータにより、第１の学習モデルを更新することができる。撮像装置３０１は、新たに撮影した画像を入力として、更新された第１の学習モデルを用いて、画像の解析を行う。第１の学習モデルによる被写体の検出結果の信頼性が低いうちは、サーバ３０２から撮像装置３０１に、第２の学習モデルによる被写体の検出結果を送信し、撮像装置３０１は第２の学習モデルによる被写体の検出結果を採用するようにしてもよい。上述した実施形態では、撮像装置１００が、各種の処理を行っていたが、第１の変形例では、主にサーバ３０２が、上記各種の処理を行う。第１の変形例でも、上述した実施形態と同様の効果を得ることができる。

【0065】

次に、第２の変形例について説明する。図１０は、第２の変形例のシステム３２０の全体構成を示す図である。システム３２０は、第１のスマートフォン３２１および第２のスマートフォン３２２を有して構成される。第１のスマートフォン３２１は、情報処理装置に対応し、第２のスマートフォン３２２は、他の情報処理装置に対応する。第１のスマートフォン３２１は、ＣＰＵ３３１、ＲＡＭ３３２、記憶装置３３３および通信部３３４を有する。第２のスマートフォン３２２は、ＣＰＵ３４１、ＲＡＭ３４２、記憶装置３３３および通信部３３４を有する。

【0066】

第２の変形例の第１のスマートフォン３２１は、撮像機能を有しているものとする。ただし、第１のスマートフォン３２１は、撮像機能を有していなくてもよい。第１のスマートフォン３２１が撮像機能を有していない場合、第１のスマートフォン３２１は、撮像装置が撮影した第１の画像データを取得する。そして、第１のスマートフォン３２１のＣＰＵ３１１は、取得した第１の画像データの特性が、第２の画像データの特性と合うように変換する。これにより、第１の画像データが補正される。このため、例えば、ＲＡＭ３３２や記憶装置３３３は、予め第２の画像データの特性を示す特性情報を記憶しているものとする。第２の画像データの特性を示す特性情報は、予め第１のスマートフォン３２１と第２のスマートフォン３２２との間で、通信により、共有されてもよい。

【0067】

第１のスマートフォン３２１の通信部３３４は、補正後の第１の画像データを、第２のスマートフォン３２２に送信する。第２のスマートフォン３２２の通信部３４４は、補正後の第１の画像データを受信する。第２のスマートフォン３２２の記憶装置３４３には、第２の学習モデルが記憶されている。第２のスマートフォン３２２のＣＰＵ３４１は、補正後の第１の画像データを入力として、第２の学習モデルを用いて、画像の解析を行う。そして、第２のスマートフォン３２２の通信部３４４は、画像の解析結果を第１のスマートフォン３２１に送信する。

【0068】

第１のスマートフォン３２１の通信部３３４は、解析結果を受信する。第１のスマートフォン３２１の記憶装置３３３には、第１の学習モデルが記憶されている。第１のスマートフォン３２１のＣＰＵ３３１は、補正前の第１の画像データを入力として、第１の学習モデルを用いて、画像の解析を行う。そして、ＣＰＵ３１１は、第２のスマートフォン３２２から受信した画像の解析結果を第１の画像データに適用した画像データを教師データとして、第１の学習モデルの再学習を行う。これにより、第１の学習モデルのパラメータが更新される。第１のスマートフォン３２１は、新たに撮影した画像を入力として、更新された第１の学習モデルを用いて、画像の解析を行う。以上により、第２の変形例でも、上述した実施形態と同様の効果を得ることができる。

【0069】

次に、第３の変形例について説明する。図１１は、第３の変形例のシステム３５０の全体構成を示す図である。システム３５０は、第１のスマートフォン３５１および第２のスマートフォン３５２を有して構成される。第１のスマートフォン３５１は、情報処理装置または他の情報処理装置に対応し、第２のスマートフォン３２２は、情報処理装置または他の情報処理装置に対応する。情報処理装置および他の情報処理装置は、任意のデバイスであってよい。第１のスマートフォン３５１は、ＣＰＵ３６１、ＲＡＭ３６２、記憶装置３６３および通信部３６４を有する。第２のスマートフォン３５２は、ＣＰＵ３７１、ＲＡＭ３７２、記憶装置３７３および通信部３７４を有する。

【0070】

第１のスマートフォン３５１は、撮像機能を有しているものとする。ただし、第１のスマートフォン３２１は、撮像機能を有していなくてもよい。第１のスマートフォン３５１は、撮像装置が撮影した第１の画像データを取得する。そして、第１のスマートフォン３５１の通信部３６４は、第１の画像データを第２のスマートフォン３５２に送信する。これにより、第２のスマートフォン３５２は、補正前の第１の画像データを取得する。第２のスマートフォン３５２の記憶装置３７３は、予め第２の画像データの特性を示す特性情報を記憶しているものとする。また、第１のスマートフォン３５１と第２のスマートフォン３５２との間で、通信により、上記特性情報が共有されていてもよい。

【0071】

第２のスマートフォン３５２のＣＰＵ３７１は、第２の画像データの特性情報に基づいて、第１の画像データの特性が、第２の画像データの特性と合うように変換する。これにより、第１の画像データが補正される。第２のスマートフォン３５２の記憶装置３７３には、第２の学習モデルが記憶されている。ＣＰＵ３７１は、補正後の第１の画像データを入力として、第２の学習モデルを用いて、画像の解析を行う。通信部３７４は、画像の解析結果を第１のスマートフォン３５１に送信する。第１のスマートフォン３５１の通信部３６４は、解析結果を受信する。第１のスマートフォン３５１の記憶装置３６３には、第１の学習モデルが記憶されている。第１のスマートフォン３５１のＣＰＵ３６１は、補正前の第１の画像データを入力として、第１の学習モデルを用いて、画像の解析を行う。

【0072】

第１のスマートフォン３５１は、上述したように、第２のスマートフォン３５２から画像の解析結果を受信している。第１のスマートフォン３５１のＣＰＵ３６１は、第２のスマートフォン３５２から受信した画像の解析結果を第１の画像データに適用した画像データを教師データとして、第１の学習モデルの再学習を行う。これにより、第１の学習モデルのパラメータが更新される。第１のスマートフォン３５１は、新たに撮影した画像を入力として、更新された第１の学習モデルを用いて、画像の解析を行う。以上により、第３の変形例でも、上述した実施形態と同様の効果を得ることができる。

【0073】

次に、第４の変形例について説明する。図１２は、第４の変形例のシステム４００の全体構成を示す図である。システム４００は、撮像装置４０１、スマートフォン４０２、第１のサーバ４０３および第２のサーバ４０４を有する。第１のサーバ４０３は、情報処理装置に対応する。スマートフォン４０２は、端末装置に対応する。第２のサーバ４０４は、他の情報処理装置に対応する。スマートフォン４０２は、ＣＰＵ４１１、ＲＡＭ４１２、記憶装置４１３および通信部４１４を有する。第１のサーバ４０３は、ＣＰＵ４２１、ＲＡＭ４２２、記憶装置４２３および通信部４２４を有する。第２のサーバ４０４は、ＣＰＵ４３１、ＲＡＭ４３２、記憶装置４３３および通信部４３４を有する。

【0074】

撮像装置４０１は、画像（第１の画像データを含む）を撮影し、撮影した画像をスマートフォン４０２に送信する。撮像装置４０１がスマートフォン４０２に送信する画像は、第１の画像データ以外の画像であってもよい。スマートフォン４０２は、撮像装置４０１から第１の画像データを取得する。スマートフォン４０２が撮影機能を有している場合、撮像装置４０１は不要である。スマートフォン４０２の通信部４１４は、第１の画像データを、第１のサーバ４０３に送信する。第１のサーバ４０３の通信部４２４は、第１の画像データを受信する。

【0075】

第２のサーバ４０４の記憶装置４３３は、第２の画像データの特性を示す特性情報を記憶している。第１のサーバ４０３のＣＰＵ４２１は、通信部４２４を制御して、第２のサーバ４０４の記憶装置４３３から、第２の画像データの特性情報を取得する。第１のサーバ４０３のＣＰＵ４２１は、第２の画像データの特性情報に基づいて、上記受信した第１の画像データの特性が、第２の画像データと合うように変換する。これにより、第１の画像データが補正される。第１のサーバ４０３の通信部４２４は、補正後の第１の画像データを、第２のサーバ４０４に送信する。第２のサーバ４０４の記憶装置４３３には、第２の学習モデルが記憶されている。第２のサーバ４０４のＣＰＵ４３１は、補正後の第１の画像データを入力として、第２の学習モデルを用いて、画像の解析を行う。第２のサーバ４０４の通信部４３４は、画像の解析結果を第１のサーバ４０３に送信する。

【0076】

第１のサーバ４０３の通信部４２４は、画像の解析結果を受信する。第１のサーバ４０３の記憶装置４２３には、第１の学習モデルが記憶されている。第１のサーバ４０３のＣＰＵ４１１は、補正前の第１の画像データを入力として、第１の学習モデルを用いて、画像の解析を行う。また、第１のサーバ４０３は、画像の解析結果を受信している。第１のサーバ４０３のＣＰＵ４２１は、第２のサーバ４０４から受信した画像の解析結果を第１の画像データに適用した画像データを教師データとして、第１の学習モデルの更新を行う。これにより、第１の学習モデルのパラメータが更新される。第１のサーバ４０３の通信部４２４は、更新された第１の学習モデルのパラメータを、スマートフォン４０２に送信する。

【0077】

スマートフォン４０２の記憶装置４１３には、第１の学習モデルが記憶されている。スマートフォン４０２のＣＰＵ４１１は、上記更新された第１の学習モデルのパラメータを、スマートフォン４０２の第１の学習モデルに適用する。これにより、スマートフォン４０２は、新たに撮影した画像を入力として、更新された第１の学習モデルを用いて、画像の解析を行うことができる。以上により、第４の変形例でも、上述した実施形態と同様の効果を得ることができる。

【0078】

次に、第５の変形例について説明する。図１３は、第５の変形例のシステム４５０の全体構成を示す図である。システム４５０は、撮像装置４５１、スマートフォン４５２、第１のサーバ４５３および第２のサーバ４５４を有する。第１のサーバ４５３は、情報処理装置または他の情報処理装置に対応する。スマートフォン４５２は、端末装置に対応する。第２のサーバ４５４は、情報処理装置または他の情報処理装置に対応する。

【0079】

撮像装置４５１は、画像（第１の画像データを含む）を撮影し、撮影した画像をスマートフォン４５２に送信する。スマートフォン４５２が撮像機能を有する場合、スマートフォン４５２は、第１の画像データを撮影により取得してもよい。スマートフォン４５２の通信部４６４は、第１の画像データを、第１のサーバ４５３に送信する。第１のサーバ４５３の通信部４７４は、第１の画像データを受信する。第１のサーバ４５３の通信部４７４は、第１の画像データ、および該第１の画像データの特性情報を第２のサーバ４５４に送信する。このとき、例えば、第１のサーバ４５３の記憶装置４７３に、第１の画像データの特性情報が記憶されていてもよい。第２のサーバ４５４の通信部４８４は、第１の画像データ、および該第１の画像データの特性情報を受信する。

【0080】

第２のサーバ４５４のＣＰＵ４８１は、第１の画像データの特性情報に基づいて、第１の画像データの特性が、第２の画像データと合うように変換する。これにより、第１の画像データが補正される。第２のサーバ４５４のＣＰＵ４８１は、補正後の第１の画像データを入力として、第２の学習モデルを用いて、画像の解析を行う。そして、第２のサーバ４５４の通信部４８４は、画像の解析結果を第１のサーバ４５３に送信する。

【0081】

第１のサーバ４５３の通信部４７４は、画像の解析結果を受信する。第１のサーバ４５３の記憶装置４７３には、第１の学習モデルが記憶されている。第１のサーバ４５３のＣＰＵ４７１は、第２のサーバ４５４から受信した画像の解析結果を第１の画像データに適用した画像データを教師データとして、第１の学習モデルの更新を行う。これにより、第１の学習モデルのパラメータが更新される。第１のサーバ４５３の通信部４７４は、更新された第１の学習モデルのパラメータを、スマートフォン４５２に送信する。スマートフォン４５２の記憶装置４６３には、第１の学習モデルが記憶されている。スマートフォン４０２のＣＰＵ４６１は、上記更新された第１の学習モデルのパラメータを、スマートフォン４５２の第１の学習モデルに適用する。これにより、スマートフォン４５２は、新たに撮影した画像を入力として、更新された第１の学習モデルを用いて、画像の解析を行うことができる。以上により、第５の変形例でも、上述した実施形態と同様の効果を得ることができる。

【0082】

以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の各実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0083】

１００ 撮像装置
１５０ モニタディスプレイ
１５１ ＣＰＵ
１５２ 画像処理部
１６１ 主被写体検出部
２０１ 第１の被写体検出部
２０２ 入力データ変換部
２０３ 第２の被写体検出部
２０４ 主被写体決定部
２０５ 評価部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】