知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025139756
(43)【公開日】2025-09-29
(54)【発明の名称】情報処理装置およびその制御方法
(51)【国際特許分類】
G06N 20/00 20190101AFI20250919BHJP
【ＦＩ】
G06N20/00 130
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2024038767
(22)【出願日】2024-03-13
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】齋藤 建志
(72)【発明者】
【氏名】小川 修平
(57)【要約】
【課題】モデルの学習精度を向上させる。
【解決手段】情報処理装置は、複数の学習モデルそれぞれについて、学習モデルの学習で使用されたデータセットを特定する第１の情報と、学習モデルの学習で使用された初期モデルを特定する第２の情報と、を管理するモデル管理手段と、複数の学習モデルそれぞれの第１の情報で特定される複数のデータセットに関する第３の情報を管理するデータ管理手段と、複数の学習モデルに含まれる所与の学習モデルを初期モデルとした追加学習の指示を受け付ける受付手段と、複数のデータセットから追加学習に使用するデータセットを決定する決定手段と、を備える。決定手段は、所与の学習モデルの初期モデルとして使用された１以上の学習モデルそれぞれに対して所与のデータセットを入力した際の評価精度が所定精度以上である学習モデルの学習に使用されたデータセットを追加学習に使用するデータセットとして決定する。
【選択図】図１
【解決手段】情報処理装置は、複数の学習モデルそれぞれについて、学習モデルの学習で使用されたデータセットを特定する第１の情報と、学習モデルの学習で使用された初期モデルを特定する第２の情報と、を管理するモデル管理手段と、複数の学習モデルそれぞれの第１の情報で特定される複数のデータセットに関する第３の情報を管理するデータ管理手段と、複数の学習モデルに含まれる所与の学習モデルを初期モデルとした追加学習の指示を受け付ける受付手段と、複数のデータセットから追加学習に使用するデータセットを決定する決定手段と、を備える。決定手段は、所与の学習モデルの初期モデルとして使用された１以上の学習モデルそれぞれに対して所与のデータセットを入力した際の評価精度が所定精度以上である学習モデルの学習に使用されたデータセットを追加学習に使用するデータセットとして決定する。
【選択図】図１
【特許請求の範囲】
【請求項1】
複数の学習モデルを管理する情報処理装置であって、
前記複数の学習モデルそれぞれについて、学習モデルの学習で使用されたデータセットを特定する第１の情報と、学習モデルの学習で使用された初期モデルを特定する第２の情報と、を管理するモデル管理手段と、
前記複数の学習モデルそれぞれの前記第１の情報で特定される複数のデータセットに関する第３の情報を管理するデータ管理手段と、
前記複数の学習モデルに含まれる所与の学習モデルを初期モデルとした追加学習の指示を受け付ける受付手段と、
前記第１の情報と前記第２の情報と前記第３の情報とに基づいて、前記複数のデータセットから前記追加学習に使用するデータセットを決定する決定手段と、
を備え、
前記決定手段は、前記所与の学習モデルの初期モデルとして使用された１以上の学習モデルそれぞれに対して所与のデータセットを入力して際の評価精度が所定精度以上である学習モデルの学習に使用されたデータセットを前記追加学習に使用するデータセットとして決定する
ことを特徴とする情報処理装置。
前記複数の学習モデルそれぞれについて、学習モデルの学習で使用されたデータセットを特定する第１の情報と、学習モデルの学習で使用された初期モデルを特定する第２の情報と、を管理するモデル管理手段と、
前記複数の学習モデルそれぞれの前記第１の情報で特定される複数のデータセットに関する第３の情報を管理するデータ管理手段と、
前記複数の学習モデルに含まれる所与の学習モデルを初期モデルとした追加学習の指示を受け付ける受付手段と、
前記第１の情報と前記第２の情報と前記第３の情報とに基づいて、前記複数のデータセットから前記追加学習に使用するデータセットを決定する決定手段と、
を備え、
前記決定手段は、前記所与の学習モデルの初期モデルとして使用された１以上の学習モデルそれぞれに対して所与のデータセットを入力して際の評価精度が所定精度以上である学習モデルの学習に使用されたデータセットを前記追加学習に使用するデータセットとして決定する
ことを特徴とする情報処理装置。
【請求項2】
前記モデル管理手段は、学習モデルの評価で使用されたデータセットを特定する第４の情報をさらに管理し、
前記所与のデータセットは、前記所与の学習モデルの評価で使用されたデータセットである
ことを特徴とする請求項１に記載の情報処理装置。
前記所与のデータセットは、前記所与の学習モデルの評価で使用されたデータセットである
ことを特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記所与のデータセットは、画像と該画像に対応する真値との１以上のペアを含む
ことを特徴とする請求項１に記載の情報処理装置。
ことを特徴とする請求項１に記載の情報処理装置。
【請求項4】
前記複数の学習モデルは物体検出モデルであり、
前記真値は、前記画像に含まれる検出対象物体のバウンディングボックス情報である
ことを特徴とする請求項３に記載の情報処理装置。
前記真値は、前記画像に含まれる検出対象物体のバウンディングボックス情報である
ことを特徴とする請求項３に記載の情報処理装置。
【請求項5】
前記複数の学習モデルは画像生成モデルであり、
前記真値は、前記画像に含まれる被写体を示す文字列である
ことを特徴とする請求項３に記載の情報処理装置。
前記真値は、前記画像に含まれる被写体を示す文字列である
ことを特徴とする請求項３に記載の情報処理装置。
【請求項6】
複数の学習モデルを管理する情報処理装置であって、
前記複数の学習モデルそれぞれについて、学習モデルの学習で使用されたデータセットを特定する第１の情報と、学習モデルの学習で使用された初期モデルを特定する第２の情報と、を管理するモデル管理手段と、
前記複数の学習モデルそれぞれの前記第１の情報で特定される複数のデータセットに関する第３の情報を管理するデータ管理手段と、
前記複数の学習モデルに含まれる所与の学習モデルを初期モデルとした追加学習の指示を受け付ける受付手段と、
前記第１の情報と前記第２の情報と前記第３の情報とに基づいて、前記複数のデータセットから前記追加学習に使用するデータセットを決定する決定手段と、
を備え、
前記決定手段は、前記所与の学習モデルの初期モデルとして使用された１以上の学習モデルそれぞれの学習に使用された１以上のデータセットのうち、前記所与の学習モデルの学習で使用された第１のデータセットとの類似度が所定値以上であるデータセットを前記追加学習に使用するデータセットとして決定する
ことを特徴とする情報処理装置。
前記複数の学習モデルそれぞれについて、学習モデルの学習で使用されたデータセットを特定する第１の情報と、学習モデルの学習で使用された初期モデルを特定する第２の情報と、を管理するモデル管理手段と、
前記複数の学習モデルそれぞれの前記第１の情報で特定される複数のデータセットに関する第３の情報を管理するデータ管理手段と、
前記複数の学習モデルに含まれる所与の学習モデルを初期モデルとした追加学習の指示を受け付ける受付手段と、
前記第１の情報と前記第２の情報と前記第３の情報とに基づいて、前記複数のデータセットから前記追加学習に使用するデータセットを決定する決定手段と、
を備え、
前記決定手段は、前記所与の学習モデルの初期モデルとして使用された１以上の学習モデルそれぞれの学習に使用された１以上のデータセットのうち、前記所与の学習モデルの学習で使用された第１のデータセットとの類似度が所定値以上であるデータセットを前記追加学習に使用するデータセットとして決定する
ことを特徴とする情報処理装置。
【請求項7】
前記決定手段は、前記１以上のデータセットを前記所与の学習モデルに入力して得られる特徴量と、前記第１のデータセットを前記所与の学習モデルに入力して得られる特徴量と、を比較することにより前記類似度を導出する
ことを特徴とする請求項６に記載の情報処理装置。
ことを特徴とする請求項６に記載の情報処理装置。
【請求項8】
複数の学習モデルを管理する情報処理装置の制御方法であって、
前記複数の学習モデルそれぞれについて、学習モデルの学習で使用されたデータセットを特定する第１の情報と、学習モデルの学習で使用された初期モデルを特定する第２の情報と、を取得するモデル情報取得工程と、
前記複数の学習モデルそれぞれの前記第１の情報で特定される複数のデータセットに関する第３の情報を取得するデータ情報取得工程と、
前記複数の学習モデルに含まれる所与の学習モデルを初期モデルとした追加学習の指示を受け付ける受付工程と、
前記第１の情報と前記第２の情報と前記第３の情報とに基づいて、前記複数のデータセットから前記追加学習に使用するデータセットを決定する決定工程と、
を含み、
前記決定工程では、前記所与の学習モデルの初期モデルとして使用された１以上の学習モデルそれぞれに対して所与のデータセットを入力した際の評価精度が所定精度以上である学習モデルの学習に使用されたデータセットを前記追加学習に使用するデータセットとして決定する
ことを特徴とする制御方法。
前記複数の学習モデルそれぞれについて、学習モデルの学習で使用されたデータセットを特定する第１の情報と、学習モデルの学習で使用された初期モデルを特定する第２の情報と、を取得するモデル情報取得工程と、
前記複数の学習モデルそれぞれの前記第１の情報で特定される複数のデータセットに関する第３の情報を取得するデータ情報取得工程と、
前記複数の学習モデルに含まれる所与の学習モデルを初期モデルとした追加学習の指示を受け付ける受付工程と、
前記第１の情報と前記第２の情報と前記第３の情報とに基づいて、前記複数のデータセットから前記追加学習に使用するデータセットを決定する決定工程と、
を含み、
前記決定工程では、前記所与の学習モデルの初期モデルとして使用された１以上の学習モデルそれぞれに対して所与のデータセットを入力した際の評価精度が所定精度以上である学習モデルの学習に使用されたデータセットを前記追加学習に使用するデータセットとして決定する
ことを特徴とする制御方法。
【請求項9】
複数の学習モデルを管理する情報処理装置の制御方法であって、
前記複数の学習モデルそれぞれについて、学習モデルの学習で使用されたデータセットを特定する第１の情報と、学習モデルの学習で使用された初期モデルを特定する第２の情報と、を取得するモデル情報取得工程と、
前記複数の学習モデルそれぞれの前記第１の情報で特定される複数のデータセットに関する第３の情報を取得するデータ情報取得工程と、
前記複数の学習モデルに含まれる所与の学習モデルを初期モデルとした追加学習の指示を受け付ける受付工程と、
前記第１の情報と前記第２の情報と前記第３の情報とに基づいて、前記複数のデータセットから前記追加学習に使用するデータセットを決定する決定工程と、
を含み、
前記決定工程では、前記所与の学習モデルの初期モデルとして使用された１以上の学習モデルそれぞれの学習に使用された１以上のデータセットのうち、前記所与の学習モデルの学習で使用された第１のデータセットとの類似度が所定値以上であるデータセットを前記追加学習に使用するデータセットとして決定する
ことを特徴とする制御方法。
前記複数の学習モデルそれぞれについて、学習モデルの学習で使用されたデータセットを特定する第１の情報と、学習モデルの学習で使用された初期モデルを特定する第２の情報と、を取得するモデル情報取得工程と、
前記複数の学習モデルそれぞれの前記第１の情報で特定される複数のデータセットに関する第３の情報を取得するデータ情報取得工程と、
前記複数の学習モデルに含まれる所与の学習モデルを初期モデルとした追加学習の指示を受け付ける受付工程と、
前記第１の情報と前記第２の情報と前記第３の情報とに基づいて、前記複数のデータセットから前記追加学習に使用するデータセットを決定する決定工程と、
を含み、
前記決定工程では、前記所与の学習モデルの初期モデルとして使用された１以上の学習モデルそれぞれの学習に使用された１以上のデータセットのうち、前記所与の学習モデルの学習で使用された第１のデータセットとの類似度が所定値以上であるデータセットを前記追加学習に使用するデータセットとして決定する
ことを特徴とする制御方法。
【請求項10】
請求項８または９に記載の制御方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習モデルおよび学習データの管理技術に関するものである。
【背景技術】
【0002】
近年、画像分類や物体検出、物体追尾といった画像認識技術は、ディープニューラルネットワーク（ＤＮＮ）の登場によって飛躍的にその精度が向上している。一般的に、ＤＮＮモデルを学習するためには、大量のデータが必要であるが、そのような大量のデータを個人が収集するのは難しい。そこで、あらかじめ大量のデータによって学習されたモデルを初期モデルとして、ＤＮＮモデルの層の一部のみを学習するファインチューニングと呼ばれる手法が行われることがある。また、ファイチューニングでは初期モデルのタスクで獲得した情報を忘却する傾向が知られている。そのため、初期モデルとは関係のない学習データによってファインチューニングが繰り返されるような状況が発生し得る。
【0003】
特許文献１では、ラベル同士の類似度を算出し、類似度が大きい場合は正事例とし類似度が小さい場合は負事例とすることで学習に有用なデータを選別する手法が開示されている。また、非特許文献１では、ＤＮＮモデルの各層の出力の一部に基づいて学習データの類似度を算出し、類似度に基づいて尤もらしいラベルとなるように学習データを修正していく手法が開示されている。これらの手法によって、学習データが間違った真値を含む場合でも、学習精度を向上させることができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２２－１７９１６２号公報
【非特許文献】
【0005】
【非特許文献1】Jiangfan Han, Ping Luo, Xiaogang Wang, "Deep Self-Learning From Noisy Labels", arXiv:1908.02160, ２０１９年
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献１に手法においては、ユーザによって恣意的にアノテーションされたデータが学習データ中に含まれる場合に学習精度が落ちやすいという課題がある。また、非特許文献１では、学習データを既存の学習済みモデルによって修正するため、恣意的にアノテーションされた一群が学習データ中に存在する場合には効果的に学習データを修正・選別することができないという課題がある。
【0007】
本発明は、このような問題に鑑みてなされたものであり、モデルの学習精度を向上可能とする技術を提供することを目的としている。
【課題を解決するための手段】
【0008】
上述の問題点を解決するため、本発明に係る情報処理装置は以下の構成を備える。すなわち、複数の学習モデルを管理する情報処理装置は、
前記複数の学習モデルそれぞれについて、学習モデルの学習で使用されたデータセットを特定する第１の情報と、学習モデルの学習で使用された初期モデルを特定する第２の情報と、を管理するモデル管理手段と、
前記複数の学習モデルそれぞれの前記第１の情報で特定される複数のデータセットに関する第３の情報を管理するデータ管理手段と、
前記複数の学習モデルに含まれる所与の学習モデルを初期モデルとした追加学習の指示を受け付ける受付手段と、
前記第１の情報と前記第２の情報と前記第３の情報とに基づいて、前記複数のデータセットから前記追加学習に使用するデータセットを決定する決定手段と、
を備え、
前記決定手段は、前記所与の学習モデルの初期モデルとして使用された１以上の学習モデルそれぞれに対して所与のデータセットを入力して際の評価精度が所定精度以上である学習モデルの学習に使用されたデータセットを前記追加学習に使用するデータセットとして決定する。
前記複数の学習モデルそれぞれについて、学習モデルの学習で使用されたデータセットを特定する第１の情報と、学習モデルの学習で使用された初期モデルを特定する第２の情報と、を管理するモデル管理手段と、
前記複数の学習モデルそれぞれの前記第１の情報で特定される複数のデータセットに関する第３の情報を管理するデータ管理手段と、
前記複数の学習モデルに含まれる所与の学習モデルを初期モデルとした追加学習の指示を受け付ける受付手段と、
前記第１の情報と前記第２の情報と前記第３の情報とに基づいて、前記複数のデータセットから前記追加学習に使用するデータセットを決定する決定手段と、
を備え、
前記決定手段は、前記所与の学習モデルの初期モデルとして使用された１以上の学習モデルそれぞれに対して所与のデータセットを入力して際の評価精度が所定精度以上である学習モデルの学習に使用されたデータセットを前記追加学習に使用するデータセットとして決定する。
【0009】
または、複数の学習モデルを管理する情報処理装置は、
前記複数の学習モデルそれぞれについて、学習モデルの学習で使用されたデータセットを特定する第１の情報と、学習モデルの学習で使用された初期モデルを特定する第２の情報と、を管理するモデル管理手段と、
前記複数の学習モデルそれぞれの前記第１の情報で特定される複数のデータセットに関する第３の情報を管理するデータ管理手段と、
前記複数の学習モデルに含まれる所与の学習モデルを初期モデルとした追加学習の指示を受け付ける受付手段と、
前記第１の情報と前記第２の情報と前記第３の情報とに基づいて、前記複数のデータセットから前記追加学習に使用するデータセットを決定する決定手段と、
を備え、
前記決定手段は、前記所与の学習モデルの初期モデルとして使用された１以上の学習モデルそれぞれの学習に使用された１以上のデータセットのうち、前記所与の学習モデルの学習で使用された第１のデータセットとの類似度が所定値以上であるデータセットを前記追加学習に使用するデータセットとして決定する。
前記複数の学習モデルそれぞれについて、学習モデルの学習で使用されたデータセットを特定する第１の情報と、学習モデルの学習で使用された初期モデルを特定する第２の情報と、を管理するモデル管理手段と、
前記複数の学習モデルそれぞれの前記第１の情報で特定される複数のデータセットに関する第３の情報を管理するデータ管理手段と、
前記複数の学習モデルに含まれる所与の学習モデルを初期モデルとした追加学習の指示を受け付ける受付手段と、
前記第１の情報と前記第２の情報と前記第３の情報とに基づいて、前記複数のデータセットから前記追加学習に使用するデータセットを決定する決定手段と、
を備え、
前記決定手段は、前記所与の学習モデルの初期モデルとして使用された１以上の学習モデルそれぞれの学習に使用された１以上のデータセットのうち、前記所与の学習モデルの学習で使用された第１のデータセットとの類似度が所定値以上であるデータセットを前記追加学習に使用するデータセットとして決定する。
【発明の効果】
【0010】
本発明によれば、モデルの学習精度を向上することのできる技術を提供することができる。
【図面の簡単な説明】
【0011】
【図1】情報処理装置の機能構成を示すブロック図である。
【図2】情報処理装置における処理の流れを示す図である。
【図3】情報処理装置における学習処理のフローチャートである。
【図4】モデルに付与される情報の例を示す図である。
【図5】データに付与される情報の例を示す図である。
【図6】トレーサビリティ情報の例を示す図である。
【図7】学習データの例を示す図である。
【図8】異なる対象による真値の違いを説明する図である。
【図9】情報処理装置における学習処理のフローチャートである（第２実施形態）。
【図10】学習データの例を示す図である（変形例）。
【図11】モデルに付与される情報の例を示す図である（変形例）。
【発明を実施するための形態】
【0012】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0013】
（第１実施形態）
本発明に係る情報処理装置の第１実施形態として、学習モデルおよび学習データそれぞれの履歴をトレーサビリティ情報として管理する情報処理装置を例に挙げて以下に説明する。
本発明に係る情報処理装置の第１実施形態として、学習モデルおよび学習データそれぞれの履歴をトレーサビリティ情報として管理する情報処理装置を例に挙げて以下に説明する。
【0014】
＜概要＞
学習モデル（学習済モデル）に対して学習データを利用して追加学習する場合、初期モデルが対象とするタスク（例：人物胴体）の情報が失われて新たなタスク（例：人物全身）へとシフトする傾向がある。このようなシフトは、破滅的忘却（catastrophic forgetting）と呼ばれる。
学習モデル（学習済モデル）に対して学習データを利用して追加学習する場合、初期モデルが対象とするタスク（例：人物胴体）の情報が失われて新たなタスク（例：人物全身）へとシフトする傾向がある。このようなシフトは、破滅的忘却（catastrophic forgetting）と呼ばれる。
【0015】
そこで本実施形態の情報処理装置は、モデルやデータが、過去どのような経緯を経て作成されたか（つまりモデルやデータの過去の履歴）を示したトレーサビリティ情報を管理する。そして、情報処理装置は、トレーサビリティ情報を辿って得られる各モデルに対して所与のデータセットを入力した際の評価精度に基づいて、追加学習に使用する学習データを選択する。これにより、追加学習時に、学習対象や真値の似た学習データを選定することができ、モデルの学習精度を向上させる。
【0016】
＜装置構成＞
図１は、情報処理装置１１の機能構成を示すブロック図である。情報処理装置１１は、「モデル」およびモデルの学習や評価に使用する「データ」を管理する。また、情報処理装置１１は、ユーザからの要求に応じてモデルの学習やデータの編集およびモデル情報の登録を行う。ここでは、モデルやデータは、学習モデル公開プラットフォームを介して第三者による利用が可能になっているものとする。すなわち、ユーザは、学習モデル公開プラットフォームの利用者である。
図１は、情報処理装置１１の機能構成を示すブロック図である。情報処理装置１１は、「モデル」およびモデルの学習や評価に使用する「データ」を管理する。また、情報処理装置１１は、ユーザからの要求に応じてモデルの学習やデータの編集およびモデル情報の登録を行う。ここでは、モデルやデータは、学習モデル公開プラットフォームを介して第三者による利用が可能になっているものとする。すなわち、ユーザは、学習モデル公開プラットフォームの利用者である。
【0017】
情報処理装置１１は、ローカルエリアネットワーク（ＬＡＮ）やインターネット等の通信ネットワークを介してユーザ端末１２及びユーザ端末１３と通信可能に接続されている。接続のされ方は特に限定されない。例えば、それぞれが別々に、有線で接続されていてもよいし、無線の通信を介して接続されていてもよい。なお、図１では、２台のユーザ端末が表記されているがこれに限るものではない。各ユーザ端末は、パーソナルコンピュータ（ＰＣ）、携帯電話、タブレット型端末装置などの情報端末が想定される。
【0018】
情報処理装置１１は、制御部１０および記憶部２０を含む。制御部１０は、例えば、中央処理装置（ＣＰＵ）が記憶部２０に格納された各種プログラムを実行することにより実現され得る。また、記憶部２０は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、あるいは、ハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）などの大容量記憶装置である。
【0019】
制御部１０は、モデル管理部１０１、データ管理部１０２、トレーサビリティ情報管理部１０３、関連モデル・データ管理受付部１０４、学習・評価部１０５、表示制御部１０７を含む。上述したように、これらの各機能部は、例えばＣＰＵが各種プログラムを実行することにより実現され得る。ただし、一部または全部を特定用途向け集積回路（ＡＳＩＣ）などのハードウェアにより実現してもよい。
【0020】
モデル管理部１０１は、情報処理装置１１に登録されたモデルを管理する。本実施形態において、モデルは、画像認識の一形態である物体検出を行うことを目的とした「物体検出モデル」であることを想定しているが、これに限るものではない。音声認識モデルや自然言語処理モデル、生成系人工知能（ＡＩ）モデルであってもよい。モデル管理部１０１は、モデルに対してモデル情報を付与して管理を行う。
【0021】
図４は、２つのモデルに付与されるモデル情報４０１，４０２の例を示す図である。モデル情報は、モデルの属性情報であり、モデルＩＤ、初期モデルＩＤ、学習データＩＤ、タグ、タスク、評価データＩＤ、評価結果の情報を含んでいる。すなわち、モデルの生成に利用した、初期モデルやデータを特定する識別情報（ＩＤ）を含んでいる。
【0022】
モデルＩＤは、それぞれのモデルを識別するためのモデル固有の識別情報（ＩＤ）である。初期モデルＩＤは、それぞれのモデルを学習する際の初期パラメータとなったモデルを指定するモデルＩＤである。
【0023】
図４において、モデル情報４０１では、モデルＩＤは「ｍ０００１」であり、初期モデルＩＤは「ｍ００００」である。また、モデル情報４０２では、モデルＩＤは「ｍ０００２」であり、初期モデルＩＤは「ｍ０００１」である。そのため、モデルＩＤが「ｍ０００２」のモデルは、モデルＩＤが「ｍ０００１」のモデルを初期モデルとして学習した結果得られたモデルであるということを示している。
【0024】
学習データＩＤは、それぞれのモデルを学習するために使用したデータセットを識別するための学習データ固有のＩＤである。タグは、それぞれのモデルが対象とする物体の情報や、ユーザがモデルを検索するために必要な情報などが記載される。タスクは、それぞれのモデルが対象としている処理の種類（物体検出や画像生成など）が記載される。評価データＩＤは、それぞれのモデルを評価する際に使用したデータセットを指定するデータＩＤである。評価結果は、評価の結果得られた数値などが記載される。
【0025】
図４に示されるように、モデル情報４０１，４０２は、何れも、物体検出モデル用のモデルのモデル情報である。例えば、モデルが他タイプのモデル（音声認識モデル等）の場合、モデル情報に含まれる項目は図４の例とは異なるものとなり得る。
【0026】
データ管理部１０２は、情報処理装置１１に登録されたデータを管理する。本実施形態のデータは、物体検出用の画像データである。データ管理部１０２は、ユーザからのデータセットの登録を受け付け、データセットに対してデータ情報を付与して管理を行う。
【0027】
図５は、データ（画像データセット）に付与されるデータ情報５０１，５０２の例を示す図である。データ情報は、データの属性情報であり、データＩＤ、初期データＩＤ、タグ、タスクの情報を含んでいる。
【0028】
データＩＤは、それぞれのデータを識別するためのデータ固有のＩＤである。初期データＩＤは、当該データを作成する元になった初期データセットのデータＩＤである。タグには、それぞれのデータが対象とする物体の情報や、ユーザがデータを検索するために必要な情報などが記載される。タスクは、それぞれのデータが対象としている処理の種類（物体検出や画像生成など）が記載される。
【0029】
例えば、データ情報５０２における初期データＩＤは「ｄ０００１」であるため、データ情報５０２に対応するデータは、データ情報５０１に対応するデータを初期データとして編集（作成）されたものであることを示している。編集の方法はアノテーションを変更する、画像を加工するなどの操作によって行われる。
【0030】
図５に示されるように、データ情報５０１，５０２は、何れも、物体検出モデル用のモデルに使用されるデータのデータ情報である。例えば、データが他タイプのモデル（音声認識モデル等）に使用されるデータの場合、データ情報に含まれる項目は図５の例とは異なるものとなり得る。
【0031】
トレーサビリティ情報管理部１０３は、モデルおよびデータのトレーサビリティ情報を管理する。ここで、トレーサビリティ情報とは、それぞれのモデルおよびそれぞれのデータが、過去どのような経緯を経て作成されたか（つまり過去の履歴）を示した情報である。
【0032】
図６は、トレーサビリティ情報の例を示す図である。図６において、実線矢印は、各モデル間および各データ間の派生関係を示している。すなわち、学習モデル公開プラットフォームで公開される複数の学習モデル間の関連性および複数のデータセット間の関連性を統合して管理している。また、図６において、点線矢印は、各モデルの学習に使用したデータを示している。さらに、モデルとデータのペアには評価データ（「ｅ００００」～「ｅ０００２」）が関連付けられている。上述したように、評価データとは、それぞれのモデルを評価する際に使用したデータセットである。
【0033】
例えば、モデル６０２（「ｍ０００２」）は、モデル６０１（「ｍ０００１」）を初期モデルとして、データ（「ｄ０００２」）を使用して追加学習することにより作成された派生モデルであることを示している。また、データ（「ｄ０００２」）は、データ（「ｄ０００１」）に基づいて作成（編集・追加）された派生データであることを示している。
【0034】
このように、トレーサビリティ情報は、それぞれのモデルおよびデータが過去に編集されてきた記録を示したものである。そのため、トレーサビリティ情報をたどることによって、それぞれのモデルを作成するために利用された１以上のモデルを特定することが可能となる。また、それぞれのデータを作成するために利用された１以上のデータを特定することが可能となる。
【0035】
関連モデル・データ管理部１０４は、ユーザからのモデルの取得指示に基づいて、関連するモデル、評価データ、学習データを取得する。関連モデル・データ管理部１０４の詳細については図３を参照して後述する。
【0036】
学習・評価部１０５は、使用可能なモデルやデータに基づいて、モデルの学習や評価を行う。なお、新たにモデルを学習した際には、モデルやデータに紐づいたモデル情報やデータ情報に基づいて、トレーサビリティ情報管理部１０３はトレーサビリティ情報を更新する。
【0037】
表示制御部１０７は、ユーザ端末１２、１３からの要求に対する情報処理装置１１の結果表示のための制御を行う。
【0038】
記憶部２０は、上述したＣＰＵが実行する各種プログラムを記憶するほか、上述した、モデル、モデル情報、データ、データ情報、評価データ、トレーサビリティ情報等を記憶する。
【0039】
＜装置の動作＞
本実施形態は、学習モデル公開プラットフォームにおいて、学習済モデルの履歴（初期モデル、学習データ、それらの修正履歴）がトレーサビリティ情報（図６）として登録されていることを想定する。そして、上述の学習済モデルに対して追加学習を行う場合に、より高い学習精度を実現する方法について説明を行う。具体的には、所定の評価データを用いてトレーサビリティ情報で紐づいた１以上のモデルを評価し、その評価値が高いモデルに紐づいた学習データを選択して追加学習（再学習）を行う。
本実施形態は、学習モデル公開プラットフォームにおいて、学習済モデルの履歴（初期モデル、学習データ、それらの修正履歴）がトレーサビリティ情報（図６）として登録されていることを想定する。そして、上述の学習済モデルに対して追加学習を行う場合に、より高い学習精度を実現する方法について説明を行う。具体的には、所定の評価データを用いてトレーサビリティ情報で紐づいた１以上のモデルを評価し、その評価値が高いモデルに紐づいた学習データを選択して追加学習（再学習）を行う。
【0040】
図２は、ユーザ端末からの要求に伴う情報処理装置における処理の流れを示す図である。図２の処理１～７は、既存のデータセットに対して新規のデータを追加し、モデルに対して追加学習を行う処理を例示的に示している。一方、図２の処理８～１５は、既存のデータセットの少なくとも一部に対して編集を行い、モデルに対して追加学習を行う処理を例示的に示している。
【0041】
以下の説明では、図２の処理１～７または処理８～１５を介して、モデル６００～６０２が予め登録されているものとする。ここでは、ユーザ０がモデル６００（「ｍ００００」）を登録し、ユーザ１がモデル６０１（「ｍ０００１」）を登録し、ユーザ２がモデル６０２（「ｍ０００２」）を登録しているものとする。各ユーザによるモデルの登録により、モデル６００～６０２は、記憶部１２に記憶される。また、上述のモデル情報（図４）、データ情報（図５）、トレーサビリティ情報（図６）が併せて登録される（ただし、モデル６０７および関連する情報はまだ登録されていない）。
【0042】
また、ここでは、ユーザ２は「人物全身」の検出を行いたいと考えていることを想定する。ただし、対象物体は何でもよく、対象物体を限定するものではない。人物の物体検出を行う目的は、例えば「カメラにおいて人物全身にピントを合わせる」ことである。また、ユーザ０は「犬」を、ユーザ１は「人物の胴体」を検出したいと考えていることを想定する。
【0043】
図３は、情報処理装置１１においてモデルを追加学習（再学習）する際のフローチャートである。ここでは、ユーザ２がモデル６０２に対して追加学習を行い、追加学習により得られたモデル６０７を登録する状況を例に説明する。具体的には、モデル６０２に対する学習精度を向上させる（すなわち、より適切に「人物全身」が検出される）方法について説明を行う。以下の処理は、情報処理装置１１が、ユーザ端末を介してユーザ２から所与のモデルとしてモデル６０２（「ｍ０００２」）に対する追加学習の指示を受け付けることにより開始される。
【0044】
Ｓ３０１では、関連モデル・データ管理部１０４は、モデル管理部１０１へモデル６０２（「ｍ０００２」）の取得を指示する。さらにモデル６０２に付与されたトレーサビリティ情報６０６を参照する。これにより、初期モデルとして紐づいたモデル６０１（「ｍ０００１」）を関連するモデルとして取得する。同様にして、さらに、モデル６０１において初期モデルとして紐づいたモデル６００（「ｍ００００」）を関連するモデルとして取得する。すなわち、モデル６０２に紐づいた１以上の関連モデル（モデル６０１、モデル６００）をトレーサビリティ情報６０６に基づいて取得（モデル情報取得）する。また、関連モデル・データ管理部１０４は、データ管理部１０２から、モデル６０２に対応する評価データ（「ｅ０００２」）を取得する。
【0045】
図７は、物体検出における学習または評価に用いるデータセットの例を示す図である。学習または評価に用いるデータセットは、画像７０１および真値７０４を含む。画像７０１は、ユーザが認識したい被写体が映っている画像である。ここでは、ユーザ２が認識したい被写体である人物７０２に加え、認識する必要のない被写体である犬７０３が含まれている。
【0046】
また、物体検出を学習するためには、画像だけでなく、真値（ＧＴ：Ground Truth）としての被写体情報が必要である。被写体情報とは、例えば、画像中の検出対象物体の位置やサイズの情報に対応するバウンディングボックス情報（ＢＢ情報）である。ＢＢ７０５は人物７０２に対応するＢＢである。すなわち、データセットは、画像と当該画像に対応する真値との１以上のペアを含む。
【0047】
Ｓ３０２では、学習・評価部１０５は、Ｓ３０１で取得した評価データ（「ｅ０００２」）を用いて関連モデル（モデル６００～６０２）に対する評価精度を示す評価値を取得する。例えば、評価値として、各モデルがどれだけ評価データ（「ｅ０００２」）に付与された真値に近いかを示す値を導出（算出）する。一例として、真値のＢＢとモデルが推定したＢＢがどれだけ近いかを示すＩｏＵ（Intersection over Union）を評価値として導出することが出来る。この場合、評価データに付与されたすべてのＢＢに対してＩｏＵが平均でどれほどになるかを算出するとよい。他にも、適合率（Precision）、再現率（Recall）、ＲＯＣ（Receiver Operating Characteristic curve）、ＡＯＵ（Area under an ROC curve）などを評価値として用いることが出来る。
【0048】
Ｓ３０３では、学習・評価部１０５は、各関連モデルから得られた評価値に基づいて、何れの学習データがモデル６０２（「ｍ０００２」）の精度を向上させるうえで有用であるか否かの判定を行う。例えば、ある関連モデルに対する評価値が所定精度以上の場合に、当該関連モデルの学習に用いられた学習データを有用であると判定する。ここで、評価値が高いものを有用であると判定する理由は、評価値が高いほど対応する関連モデルに使用された学習データが、現在学習しようとしている対象と同じ対象を真値としている可能性が高いためである。
【0049】
図８は、異なる対象による真値の違いを説明する図である。画像８０１はユーザ１によって付与された真値を例示的に示している。一方、画像８０２はユーザ０によって付与された真値を例示的に示している。すなわち、上述したように、ユーザ１は「人物の胴体」を検出したいと考えているため、画像８０１に対する真値８０３として「人物の胴体」に対応するＢＢを設定している。一方、ユーザ０は「犬」を検出したいと考えているため、画像８０２に対する真値８０４として「犬」に対応するＢＢを設定している。ただし、ユーザ２は「人物全身」（ＢＢ７０５に対応）を検出したいと考えている。
【0050】
このように、同じ学習データで同じ対象（ここでは人物）であっても、ユーザ（ここではユーザ１、２）によっては異なる真値を設定することがあり得る。さらに、真値８０４のように、ユーザ２が全く期待していない対象（ここでは犬）への真値が与えられていることも考えられる。一方、ユーザ２によって準備された評価データ（「ｅ０００２」）は学習データ（「ｄ０００２」）と同様に、ＢＢ７０５のような「人物全身」でつけられていることが多い。
【0051】
そのため、真値の範囲が異なるＢＢ８０３や、真値の対象物が異なるＢＢ８０４で学習されたモデル６００（「ｍ００００」）およびモデル６０１（「ｍ０００１」）に対する評価値は、低くなる傾向にある。ただし、範囲は異なるが同じ対象物（ここでは人物）に真値を付与しているＢＢ８０３とＢＢ７０５は包含関係にある。そのため、ＩｏＵなどの評価値においては、包含関係にある真値によって学習されたモデル（「ｍ０００１」）に対する評価値はある程度高くなる。しかし、包含関係にない真値によって学習されたモデル（「ｍ００００」）に対する評価値は低くなる。つまり、評価データ（「ｅ０００２」）の評価値が大きいモデルほど、同じ対象物（ここでは人物）に対する真値を学習している可能性が高いことを示している。同じ対象かつ定義の近い真値を持つ学習データが増えることによって学習データのバリエーションも増加させることができる。また、バリエーションの増加は過学習を抑制することができる。
【0052】
その他、トレーサビリティ情報６０６に基づいて、モデル６０２から順に初期モデルを辿り（さかのぼり）、所定精度以上の評価値を有するモデルを関連モデルとしてもよい。そして、評価値が所定精度以上となった関連モデルの学習に用いられた学習データを有用と判断し後述するＳ３０４の学習に使用する。これによって、同じ対象かつ定義の近い学習データを選択することが可能となる。
【0053】
また、トレーサビリティ情報を辿ることによるモデル毎の評価値の変動を調べ、ほぼ線形に推移する傾向がみられる場合には、カリキュラム学習のように学習順序によって精度向上の効果を得ていると判断してもよい。学習順序を保ったまま追加学習することで、モデル６０２の初回学習時の精度向上効果を保ちつつ、学習データのバリエーションを増やして学習精度を向上させることも出来る。
【0054】
Ｓ３０４では、学習・評価部１０５は、Ｓ３０３で有用と判断された１以上の学習データ（データセット）を取得（データ情報取得）して学習を行う。例えば、Ｓ３０３で学習データ（「ｄ０００１」）が有用と判断された場合、この学習データを学習データ（「ｄ０００２」）に追加して学習を実行する。なお、追加学習を行う対象のモデルはモデル６０２でもよいしモデル６０１でもよい。
【0055】
物体検出の学習方法に関しては、例えばニューラルネットワークを用いた手法が存在する。ニューラルネットワークを用いた物体検出の学習方法に関しては、文献Ａが詳しい。Ｓ３０３において学習・評価部１０５が実行する評価では、学習に使用したデータまたは任意のデータが使用され得る。
（文献Ａ）Tian et al., "FCOS: Fully Convolutional One-Stage Object Detection", arXiv:1904.01355, ２０１９年
（文献Ａ）Tian et al., "FCOS: Fully Convolutional One-Stage Object Detection", arXiv:1904.01355, ２０１９年
【0056】
Ｓ３０５では、学習・評価部１０５は、追加学習により得られたモデル６０７（「ｍ０００２’」）をモデル管理部１０１に登録／記憶する。
【0057】
Ｓ３０６では、トレーサビリティ情報管理部１０３は、トレーサビリティ情報を更新する。例えば、モデル６０２に対して学習データ（「ｄ０００２」および「ｄ０００１」）を用いて追加学習を行いモデル６０７が作成された場合。図６に示すようにトレーサビリティ情報を更新する。
【0058】
以上説明したとおり第１実施形態によれば、モデルを追加学習（再学習）する場合に使用する学習データを決定する際に、トレーサビリティ情報を利用して追加学習に使用するデータを決定する。トレーサビリティ情報は、それぞれのモデルおよびデータが過去に編集されてきた記録を示したものである。特に、学習対象のモデルの関連モデルから得られた評価値に基づいて、定義の近い真値を持つ学習データを使用して学習された関連モデルを判定する。判定された関連モデルの学習に用いられた学習データを使用してモデルを追加学習（再学習）することにより、学習データのバリエーションを増やした学習が可能となり、学習精度を向上させることが可能となる。
【0059】
なお、上述の説明においては、学習データとして画像と真値とのセットを例に挙げたが、必ずしも画像と真値とのセットである必要はない。例えば、音声やテキストと真値とのセットでもよいし、画像、音声、テキストのみであってもよい。また、画像とテキストの組み合わせでもよい。また、上述した物体検出のような画像認識だけでなく、時系列データの予測・認識や、テキスト分類などの自然言語処理に適用してもよい。なお、トレーサビリティ情報を、情報処理装置１１において一元管理する代わりに、ブロックチェーン技術などを用いて分散管理するよう構成してもよい。
【0060】
（第２実施形態）
第２実施形態では、トレーサビリティ情報で紐づいた学習データを中間特徴によって評価する形態について説明する。すなわち、学習・評価部１０５における評価方法が異なる点で第１実施形態と相違する。機能構成（図１）については第１実施形態と同様であるため説明は省略する。また、モデル情報（図４）、データ情報（図５）、トレーサビリティ情報（図６）についても第１実施形態と同様である場合について説明する。
第２実施形態では、トレーサビリティ情報で紐づいた学習データを中間特徴によって評価する形態について説明する。すなわち、学習・評価部１０５における評価方法が異なる点で第１実施形態と相違する。機能構成（図１）については第１実施形態と同様であるため説明は省略する。また、モデル情報（図４）、データ情報（図５）、トレーサビリティ情報（図６）についても第１実施形態と同様である場合について説明する。
【0061】
＜装置の動作＞
図９は、第２実施形態に係る情報処理装置における学習処理のフローチャートである。第１実施形態と同様に、ユーザ２がモデル６０２に対して追加学習を行い、追加学習により得られたモデル６０７を登録する状況を例に説明する。以下の処理は、情報処理装置１１が、ユーザ端末を介してユーザ２からモデル６０２（「ｍ０００２」）に対する追加学習の指示を受け付けることにより開始される。
図９は、第２実施形態に係る情報処理装置における学習処理のフローチャートである。第１実施形態と同様に、ユーザ２がモデル６０２に対して追加学習を行い、追加学習により得られたモデル６０７を登録する状況を例に説明する。以下の処理は、情報処理装置１１が、ユーザ端末を介してユーザ２からモデル６０２（「ｍ０００２」）に対する追加学習の指示を受け付けることにより開始される。
【0062】
Ｓ９０１では、関連モデル・データ管理部１０４は、第１実施形態と同様に、モデル６０２と、モデル６０２に紐づいた１以上の関連モデル（モデル６０１、モデル６００）と、をトレーサビリティ情報６０６に基づいて取得する。また、関連モデル・データ管理部１０４は、データ管理部１０２から、関連モデル（モデル６０１、モデル６００）の学習に用いられた学習データ（「ｄ０００１」「ｄ００００」）を取得する。
Ｓ９０２では、学習・評価部１０５は、Ｓ９０１で取得した学習データに関する特徴量の算出を行う。具体的には、Ｓ９０１で取得した学習データ（「ｄ０００１」「ｄ００００」）の一部または全部を、追加学習の対象であるモデル６０２（「ｍ０００２」）に入力し、その際にモデルが抽出した特徴量とする。ここで抽出される特徴量は、第１実施形態で説明した物体検出と同様のＤＮＮ系のモデルである場合、推論時に得られる各層の出力の一部（「中間特徴」）である。
Ｓ９０２では、学習・評価部１０５は、Ｓ９０１で取得した学習データに関する特徴量の算出を行う。具体的には、Ｓ９０１で取得した学習データ（「ｄ０００１」「ｄ００００」）の一部または全部を、追加学習の対象であるモデル６０２（「ｍ０００２」）に入力し、その際にモデルが抽出した特徴量とする。ここで抽出される特徴量は、第１実施形態で説明した物体検出と同様のＤＮＮ系のモデルである場合、推論時に得られる各層の出力の一部（「中間特徴」）である。
【0063】
学習・評価部１０５は、抽出された中間特徴を用いて、データ（「ｄ０００２」）と、それ以外のデータ（ここでは「ｄ００００」、「ｄ０００１」）それぞれの類似度を算出する。類似度の算出方法は、中間特徴同士が特徴空間上でどのような関係にあるかを定量的に測れるものであれば何でもよい。ここでは類似度の一例としてＣＯＳ類似度を用いることを想定する。ＤＮＮの中間特徴をＣＯＳ類似度によって比較する手法に関しては非特許文献１が詳しい。
【0064】
また、各学習データに含まれるデータが多い場合、それぞれの学習データからｍ個サンプリングしたデータを用いて学習データ間の類似度を算出してもよい。サンプリングの方法としては、母集団に対してバイアスの掛かりづらい手法（ランダムサンプリングなど）を用いることが好ましい。
【0065】
Ｓ９０３では、学習・評価部１０５は、Ｓ９０２で算出した類似度が所定値以上の学習データを、関連する学習データとして選択する。他にも各ＣＯＳ類似度の平均や分散に基づいて学習データ間の類似度求め、選択の基準とすることもできる。そうして選択された学習データを関連データとする。
【0066】
類似度比較の詳細について説明を行う。ここでは例としてデータ（「ｄ０００１」）とデータ（「ｄ０００２」）の類似度を比較する方法を説明する。まず、データ（「ｄ０００１」）からｍ個のサンプルを抽出し、データ（「ｄ０００２」）からもｍ個のサンプルを抽出する。このとき、それぞれのｍ個のサンプルについて、モデル６０２（「ｍ０００２」）を用いて中間特徴を算出する。これにより、データ（「ｄ０００１」）およびデータ（「ｄ０００２」）それぞれに対してｍ個の中間特徴が得られる。これらの中間特徴の、全ての組み合わせ（ｍ×ｍ通り）についてＣＯＳ類似度を算出し、全ての組み合わせに対するＣＯＳ類似度の総和を学習データ間の類似度とする。
【0067】
なお、サンプル数（ｍ個）が多くなると、サンプルの中にはずれ値が紛れる可能性も高くなる。そのため、全ての組み合わせ（ｍ×ｍ通り）についてＣＯＳ類似度を算出し、その中から尤もらしいより少数の代表値を選出してもよい。具体的な手法については非特許文献１に詳細に記載されている。
【0068】
以降、Ｓ９０４～Ｓ９０６においては、第１実施形態と同様にして、モデル６０２の追加学習を行い、得られたモデルを登録／記憶し、トレーサビリティ情報を更新する。
【0069】
以上説明したとおり第２実施形態によれば、モデルを追加学習（再学習）する場合に使用する学習データを決定する際に、トレーサビリティ情報を利用して追加学習に使用するデータを決定する。特に、学習対象のモデルの学習で使用された学習データと、関連モデルそれぞれの学習で使用された学習データとの類似度を算出する。より類似度の高い学習データを使用してモデルを追加学習（再学習）することにより、学習データのバリエーションを増やした学習が可能となり、学習精度を向上させることが可能となる。
【0070】
（変形例）
上述の実施形態では物体検出モデルの学習を例に説明したが、他タイプのモデルの学習に対しても同様に適用することが出来る。以下では変形例として、画像生成タスクで利用される画像生成モデルに適用した形態について説明する。画像生成ＡＩとは、文献Ｂに代表されるような画像生成技術である。
（文献Ｂ）Rombach et al., "High-Resolution Image Synthesis with Latent Diffusion Models", CVPR 2022, arXiv:2112.10752, ２０２１年
上述の実施形態では物体検出モデルの学習を例に説明したが、他タイプのモデルの学習に対しても同様に適用することが出来る。以下では変形例として、画像生成タスクで利用される画像生成モデルに適用した形態について説明する。画像生成ＡＩとは、文献Ｂに代表されるような画像生成技術である。
（文献Ｂ）Rombach et al., "High-Resolution Image Synthesis with Latent Diffusion Models", CVPR 2022, arXiv:2112.10752, ２０２１年
【0071】
【0072】
図１０は、変形例における学習データの例を示す図である。学習データは、画像１００１および真値１００２を含む。画像１００１は、ユーザが認識したい被写体（ここでは人物）が映っている画像である。また、画像生成タスクのモデルを学習するためには、画像だけでなく、真値（ＧＴ）としての被写体情報が必要である。被写体情報とは、例えば、画像中の被写体を表すテキストである。ここでは、真値１００２は、画像１００１に写る被写体に対応するテキストとして「人」が指定されている。
【0073】
図１１は、変形例におけるデータに付与される情報の例を示す図である。ここでは、ユーザ１が、初期モデル（「ｍ００００」）に対して図１０に示すようなデータ（「ｄ０００１」）を使用してモデル（「ｍ０００１」）を作成し、学習モデル公開プラットフォームで公開しているとする。その場合、学習モデル公開プラットフォームを利用するユーザ２は、公開されているモデル（「ｍ０００１」）に対して、自身が作成したデータ（「ｄ０００２」）を使用してモデル（「ｍ０００２」）を作成することが出来る。
【0074】
このように、変形例では、真値がＢＢでなく被写体を説明する文字列である。この場合、評価値として、誤差関数で算出した値や、各評価画像を所定の中間特徴（埋め込み表現）に変換してそれらの平均や分散を用いた値を用いることが出来る。例として、ＦＩＤ（Frechet Inception Distance）を用いて評価データに対するモデルの評価を行う方法について説明する。
【0075】
まず、評価データ（図１０）を学習済みモデル（ここでは「ｍ０００１」）に入力することで得られる埋め込み表現と、モデル（「ｍ０００２」）の出力した画像を学習済みモデルに入力して得られる埋め込み表現と、の２種類を算出する。そして、これらの埋め込み表現同士の埋め込み表現空間上の平均や分散を算出し、２種類の埋め込み表現の類似度を算出する。より尤もらしい画像を生成させるタスクの場合、ＦＩＤが低いほうがより高い評価値といえる。そして、第１実施形態と同様に、評価値が所定値より高いモデルに対して学習に使用された学習データを有用である判定し、モデル（「ｍ０００２」）の学習に使用する。
【0076】
また、第２実施形態と同様に、トレーサビリティ情報で紐づいた学習データの一部もしくは全部に対してモデル（「ｍ０００２」）を用いて類似度を算出することもできる。すなわち、関連モデルそれぞれについてｍ個のサンプルを抽出する。得られたサンプルからモデル（「ｍ０００２」）によって埋め込み表現を算出し、前述したＦＩＤなどの指標によって学習データ同士の類似度を算出する。類似度が高い学習データほど、すでに学習されたモデル（「ｍ０００２」）の性質に近い特徴を有しているといえる。そのため、類似度が所定値未満の場合に関連する学習データと判定する。モデル（「ｍ０００２」）の学習（Ｓ３０４）の詳細は、前述した文献Ｂに記載されている。
【0077】
本明細書の開示は、以下の情報処理装置、制御方法およびプログラムを含む。
（項目１）
複数の学習モデルを管理する情報処理装置であって、
前記複数の学習モデルそれぞれについて、学習モデルの学習で使用されたデータセットを特定する第１の情報と、学習モデルの学習で使用された初期モデルを特定する第２の情報と、を管理するモデル管理手段と、
前記複数の学習モデルそれぞれの前記第１の情報で特定される複数のデータセットに関する第３の情報を管理するデータ管理手段と、
前記複数の学習モデルに含まれる所与の学習モデルを初期モデルとした追加学習の指示を受け付ける受付手段と、
前記第１の情報と前記第２の情報と前記第３の情報とに基づいて、前記複数のデータセットから前記追加学習に使用するデータセットを決定する決定手段と、
を備え、
前記決定手段は、前記所与の学習モデルの初期モデルとして使用された１以上の学習モデルそれぞれに対して所与のデータセットを入力して際の評価精度が所定精度以上である学習モデルの学習に使用されたデータセットを前記追加学習に使用するデータセットとして決定する
ことを特徴とする情報処理装置。
（項目２）
前記モデル管理手段は、学習モデルの評価で使用されたデータセットを特定する第４の情報をさらに管理し、
前記所与のデータセットは、前記所与の学習モデルの評価で使用されたデータセットである
ことを特徴とする項目１に記載の情報処理装置。
（項目３）
前記所与のデータセットは、画像と該画像に対応する真値との１以上のペアを含む
ことを特徴とする項目１または２に記載の情報処理装置。
（項目４）
前記複数の学習モデルは物体検出モデルであり、
前記真値は、前記画像に含まれる検出対象物体のバウンディングボックス情報である
ことを特徴とする項目３に記載の情報処理装置。
（項目５）
前記複数の学習モデルは画像生成モデルであり、
前記真値は、前記画像に含まれる被写体を示す文字列である
ことを特徴とする項目３に記載の情報処理装置。
（項目６）
複数の学習モデルを管理する情報処理装置であって、
前記複数の学習モデルそれぞれについて、学習モデルの学習で使用されたデータセットを特定する第１の情報と、学習モデルの学習で使用された初期モデルを特定する第２の情報と、を管理するモデル管理手段と、
前記複数の学習モデルそれぞれの前記第１の情報で特定される複数のデータセットに関する第３の情報を管理するデータ管理手段と、
前記複数の学習モデルに含まれる所与の学習モデルを初期モデルとした追加学習の指示を受け付ける受付手段と、
前記第１の情報と前記第２の情報と前記第３の情報とに基づいて、前記複数のデータセットから前記追加学習に使用するデータセットを決定する決定手段と、
を備え、
前記決定手段は、前記所与の学習モデルの初期モデルとして使用された１以上の学習モデルそれぞれの学習に使用された１以上のデータセットのうち、前記所与の学習モデルの学習で使用された第１のデータセットとの類似度が所定値以上であるデータセットを前記追加学習に使用するデータセットとして決定する
ことを特徴とする情報処理装置。
（項目７）
前記決定手段は、前記１以上のデータセットを前記所与の学習モデルに入力して得られる特徴量と、前記第１のデータセットを前記所与の学習モデルに入力して得られる特徴量と、を比較することにより前記類似度を導出する
ことを特徴とする請求項６に記載の情報処理装置。
（項目８）
複数の学習モデルを管理する情報処理装置の制御方法であって、
前記複数の学習モデルそれぞれについて、学習モデルの学習で使用されたデータセットを特定する第１の情報と、学習モデルの学習で使用された初期モデルを特定する第２の情報と、を取得するモデル情報取得工程と、
前記複数の学習モデルそれぞれの前記第１の情報で特定される複数のデータセットに関する第３の情報を取得するデータ情報取得工程と、
前記複数の学習モデルに含まれる所与の学習モデルを初期モデルとした追加学習の指示を受け付ける受付工程と、
前記第１の情報と前記第２の情報と前記第３の情報とに基づいて、前記複数のデータセットから前記追加学習に使用するデータセットを決定する決定工程と、
を含み、
前記決定工程では、前記所与の学習モデルの初期モデルとして使用された１以上の学習モデルそれぞれに対して所与のデータセットを入力した際の評価精度が所定精度以上である学習モデルの学習に使用されたデータセットを前記追加学習に使用するデータセットとして決定する
ことを特徴とする制御方法。
（項目９）
複数の学習モデルを管理する情報処理装置の制御方法であって、
前記複数の学習モデルそれぞれについて、学習モデルの学習で使用されたデータセットを特定する第１の情報と、学習モデルの学習で使用された初期モデルを特定する第２の情報と、を取得するモデル情報取得工程と、
前記複数の学習モデルそれぞれの前記第１の情報で特定される複数のデータセットに関する第３の情報を取得するデータ情報取得工程と、
前記複数の学習モデルに含まれる所与の学習モデルを初期モデルとした追加学習の指示を受け付ける受付工程と、
前記第１の情報と前記第２の情報と前記第３の情報とに基づいて、前記複数のデータセットから前記追加学習に使用するデータセットを決定する決定工程と、
を含み、
前記決定工程では、前記所与の学習モデルの初期モデルとして使用された１以上の学習モデルそれぞれの学習に使用された１以上のデータセットのうち、前記所与の学習モデルの学習で使用された第１のデータセットとの類似度が所定値以上であるデータセットを前記追加学習に使用するデータセットとして決定する
ことを特徴とする制御方法。
（項目１０）
項目８または９に記載の制御方法をコンピュータに実行させるためのプログラム。
（項目１）
複数の学習モデルを管理する情報処理装置であって、
前記複数の学習モデルそれぞれについて、学習モデルの学習で使用されたデータセットを特定する第１の情報と、学習モデルの学習で使用された初期モデルを特定する第２の情報と、を管理するモデル管理手段と、
前記複数の学習モデルそれぞれの前記第１の情報で特定される複数のデータセットに関する第３の情報を管理するデータ管理手段と、
前記複数の学習モデルに含まれる所与の学習モデルを初期モデルとした追加学習の指示を受け付ける受付手段と、
前記第１の情報と前記第２の情報と前記第３の情報とに基づいて、前記複数のデータセットから前記追加学習に使用するデータセットを決定する決定手段と、
を備え、
前記決定手段は、前記所与の学習モデルの初期モデルとして使用された１以上の学習モデルそれぞれに対して所与のデータセットを入力して際の評価精度が所定精度以上である学習モデルの学習に使用されたデータセットを前記追加学習に使用するデータセットとして決定する
ことを特徴とする情報処理装置。
（項目２）
前記モデル管理手段は、学習モデルの評価で使用されたデータセットを特定する第４の情報をさらに管理し、
前記所与のデータセットは、前記所与の学習モデルの評価で使用されたデータセットである
ことを特徴とする項目１に記載の情報処理装置。
（項目３）
前記所与のデータセットは、画像と該画像に対応する真値との１以上のペアを含む
ことを特徴とする項目１または２に記載の情報処理装置。
（項目４）
前記複数の学習モデルは物体検出モデルであり、
前記真値は、前記画像に含まれる検出対象物体のバウンディングボックス情報である
ことを特徴とする項目３に記載の情報処理装置。
（項目５）
前記複数の学習モデルは画像生成モデルであり、
前記真値は、前記画像に含まれる被写体を示す文字列である
ことを特徴とする項目３に記載の情報処理装置。
（項目６）
複数の学習モデルを管理する情報処理装置であって、
前記複数の学習モデルそれぞれについて、学習モデルの学習で使用されたデータセットを特定する第１の情報と、学習モデルの学習で使用された初期モデルを特定する第２の情報と、を管理するモデル管理手段と、
前記複数の学習モデルそれぞれの前記第１の情報で特定される複数のデータセットに関する第３の情報を管理するデータ管理手段と、
前記複数の学習モデルに含まれる所与の学習モデルを初期モデルとした追加学習の指示を受け付ける受付手段と、
前記第１の情報と前記第２の情報と前記第３の情報とに基づいて、前記複数のデータセットから前記追加学習に使用するデータセットを決定する決定手段と、
を備え、
前記決定手段は、前記所与の学習モデルの初期モデルとして使用された１以上の学習モデルそれぞれの学習に使用された１以上のデータセットのうち、前記所与の学習モデルの学習で使用された第１のデータセットとの類似度が所定値以上であるデータセットを前記追加学習に使用するデータセットとして決定する
ことを特徴とする情報処理装置。
（項目７）
前記決定手段は、前記１以上のデータセットを前記所与の学習モデルに入力して得られる特徴量と、前記第１のデータセットを前記所与の学習モデルに入力して得られる特徴量と、を比較することにより前記類似度を導出する
ことを特徴とする請求項６に記載の情報処理装置。
（項目８）
複数の学習モデルを管理する情報処理装置の制御方法であって、
前記複数の学習モデルそれぞれについて、学習モデルの学習で使用されたデータセットを特定する第１の情報と、学習モデルの学習で使用された初期モデルを特定する第２の情報と、を取得するモデル情報取得工程と、
前記複数の学習モデルそれぞれの前記第１の情報で特定される複数のデータセットに関する第３の情報を取得するデータ情報取得工程と、
前記複数の学習モデルに含まれる所与の学習モデルを初期モデルとした追加学習の指示を受け付ける受付工程と、
前記第１の情報と前記第２の情報と前記第３の情報とに基づいて、前記複数のデータセットから前記追加学習に使用するデータセットを決定する決定工程と、
を含み、
前記決定工程では、前記所与の学習モデルの初期モデルとして使用された１以上の学習モデルそれぞれに対して所与のデータセットを入力した際の評価精度が所定精度以上である学習モデルの学習に使用されたデータセットを前記追加学習に使用するデータセットとして決定する
ことを特徴とする制御方法。
（項目９）
複数の学習モデルを管理する情報処理装置の制御方法であって、
前記複数の学習モデルそれぞれについて、学習モデルの学習で使用されたデータセットを特定する第１の情報と、学習モデルの学習で使用された初期モデルを特定する第２の情報と、を取得するモデル情報取得工程と、
前記複数の学習モデルそれぞれの前記第１の情報で特定される複数のデータセットに関する第３の情報を取得するデータ情報取得工程と、
前記複数の学習モデルに含まれる所与の学習モデルを初期モデルとした追加学習の指示を受け付ける受付工程と、
前記第１の情報と前記第２の情報と前記第３の情報とに基づいて、前記複数のデータセットから前記追加学習に使用するデータセットを決定する決定工程と、
を含み、
前記決定工程では、前記所与の学習モデルの初期モデルとして使用された１以上の学習モデルそれぞれの学習に使用された１以上のデータセットのうち、前記所与の学習モデルの学習で使用された第１のデータセットとの類似度が所定値以上であるデータセットを前記追加学習に使用するデータセットとして決定する
ことを特徴とする制御方法。
（項目１０）
項目８または９に記載の制御方法をコンピュータに実行させるためのプログラム。
【0078】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0079】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0080】
１０ 制御部； １１ 情報処理装置； ２０ 記憶部； １２，１３ ユーザ端末
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】