知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-10-03
(45)【発行日】2024-10-11
(54)【発明の名称】転移学習装置、転移学習方法、および転移学習プログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20241004BHJP
G06N 3/096 20230101ALI20241004BHJP
【ＦＩ】
G06N20/00 130
G06N3/096
【請求項の数】
5
(21)【出願番号】P 2024546376
(86)(22)【出願日】2022-12-22
(86)【国際出願番号】 JP2022047265
【審査請求日】2024-08-06
【早期審査対象出願】
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】110003166
【氏名又は名称】弁理士法人山王内外特許事務所
(72)【発明者】
【氏名】藤野 友也
【審査官】山本 俊介
(56)【参考文献】
【文献】特開２０２０－１６０８０４（ＪＰ，Ａ）
【文献】特開２０２２－１２８２５６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／００－９９／００
(57)【特許請求の範囲】
【請求項1】
第１の種類のデータに関する学習済みモデルに基づいて、前記第１の種類と異なる第２の種類のデータに関する学習データを用いて知識転移学習を行って、前記学習済みモデルから中間モデルを生成する知識転移学習部と、その生成された中間モデルにおいて、基準ラベルが付された学習データの基準尤度が、前記基準ラベル以外の非基準ラベルがそれぞれに付された複数の学習データの尤度よりも大きいかを多重比較検定により判定する知識転移進行度判定部と、
を備える転移学習装置。
【請求項2】
前記基準尤度が前記複数の学習データの尤度よりも大きいと判定されない場合に、前記基準尤度が前記複数の学習データの尤度よりも大きいと判定されないことに寄与している学習データを選定する学習データ選定部、を更に備える請求項１に記載された転移学習装置。
【請求項3】
前記基準尤度が前記複数の学習データの尤度よりも大きいと判定された場合に、前記知識転移学習を終了すると判定する知識転移反復判定部、を更に備える請求項１または２に記載された転移学習装置。
【請求項4】
知識転移学習部および知識転移進行度判定部を備える転移学習装置が行う転移学習方法であって、前記知識転移学習部が、第１の種類のデータに関する学習済みモデルに基づいて、前記第１の種類と異なる第２の種類のデータに関する学習データを用いて知識転移学習を行って、前記学習済みモデルから中間モデルを生成する知識転移学習を行うステップと、
知識転移進行度判定部が、その生成された中間モデルにおいて、基準ラベルが付された学習データの基準尤度が、前記基準ラベル以外の非基準ラベルがそれぞれに付された複数の学習データの尤度よりも大きいかを多重比較検定により判定する知識転移進行度を判定するステップと、
を備える転移学習方法。
【請求項5】
第１の種類のデータに関する学習済みモデルに基づいて、前記第１の種類と異なる第２の種類のデータに関する学習データを用いて知識転移学習を行って、前記学習済みモデルから中間モデルを生成する知識転移学習を行う機能と、その生成された中間モデルにおいて、基準ラベルが付された学習データの基準尤度が、前記基準ラベル以外の非基準ラベルがそれぞれに付された複数の学習データの尤度よりも大きいかを多重比較検定により判定する知識転移進行度を判定する機能と、
をコンピュータに実行させる転移学習プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、転移学習技術に関する。
【背景技術】
【0002】
あるモダリティ(データの種類)のデータを新規に扱うことになった際、そのモダリティと異なるモダリティについて機械学習により既に十分学習済みのモデル資産が存する場合、このモデル資産に関する知識を転移して活用したいことがある。特許文献１には、このような知識転移に関する技術が開示されている。より具体的には、特許文献１には、ラベルが付された学習データを学習し、損失関数として平均二乗平方根誤差（ＲＭＳＥ）を用い、終了条件として５エポック続けて損失が減らなかった場合には最大エポック数５０を待たずに学習を終了するとの条件を設定し、知識転移先のモダリティの精度を評価する評価指標として平均絶対誤差（ＭＡＥ）および決定係数（Ｒ２）を用いる手法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０２１－１３５７２６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に開示された手法によれば、知識転移先のモダリティの精度を評価する評価指標が用いられるので、評価指標に関する適当なしきい値を設定することにより知識転移の質を確保することができる。
【0005】
しかしながら、特許文献１等に記載された損失関数を用いて最小損失を探索する従来手法によれば、学習データは学習が十分になされたデータか否かに関わらず等価的に学習されるので、長い学習時間を要するという課題がある。
【0006】
本開示は、このような課題を解決するためになされたものであり、転移学習による学習時間を短縮可能な転移学習技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
本開示の実施形態による転移学習装置の一側面は、第１の種類のデータに関する学習済みモデルに基づいて、前記第１の種類と異なる第２の種類のデータに関する学習データを用いて知識転移学習を行って、前記学習済みモデルから中間モデルを生成する知識転移学習部と、その生成された中間モデルにおいて、基準ラベルが付された学習データの基準尤度が、前記基準ラベル以外の非基準ラベルがそれぞれに付された複数の学習データの尤度よりも大きいかを多重比較検定により判定する知識転移進行度判定部と、を備える。
【発明の効果】
【0008】
本開示の実施形態による転移学習装置によれば、転移学習による学習時間が短縮可能となる。
【図面の簡単な説明】
【0009】
【図1】実施の形態１による転移学習装置の構成例を示す図である。
【図2A】転移学習装置のハードウェアの構成例を示す図である。
【図2B】転移学習装置のハードウェアの構成例を示す図である。
【図3】転移学習の概略を示す図である。
【図4A】転移学習により生成される中間モデルによる、可視画像についての尤度の推移を示す尤度推移グラフである。
【図4B】転移学習により生成される中間モデルによる、深度画像についての尤度の推移を示す尤度推移グラフである。
【図5A】可視画像について作成するｐ値表の対象範囲を示す図である。
【図5B】深度画像について作成するｐ値表の対象範囲を示す図である。
【図6A】可視画像および深度画像についてのＳ１におけるｐ値表である。
【図6B】可視画像および深度画像についてのＳ２におけるｐ値表である。
【図6C】可視画像および深度画像についてのＳ３におけるｐ値表である。
【図7】実施の形態１による転移学習方法を示すフローチャートである。
【図8】実施の形態２による転移学習装置の構成例を示す図である。
【図9A】深度画像についてのｐ値表である。
【図9B】深度画像についてのｐ値表である。
【図9C】深度画像についてのｐ値表である。
【図10】実施の形態２による転移学習方法を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下、添付の図面を参照して、本開示における種々の実施形態について詳細に説明する。なお、図面において同一または類似の符号を付された構成要素は、同一または類似の構成または機能を有するものであり、そのような構成要素についての重複する説明は省略する。
【0011】
実施の形態１．
＜構成＞
図１から図６Ｃを参照して、本開示の実施の形態１による転移学習装置１について説明をする。図１は、実施の形態１による転移学習装置１の構成を示す図である。転移学習装置１は、転移元（ソース）に係る知識を転移先（ターゲット）に転移する転移学習を行う装置である。
＜構成＞
図１から図６Ｃを参照して、本開示の実施の形態１による転移学習装置１について説明をする。図１は、実施の形態１による転移学習装置１の構成を示す図である。転移学習装置１は、転移元（ソース）に係る知識を転移先（ターゲット）に転移する転移学習を行う装置である。
【0012】
図３を参照して説明すると、転移学習装置１は、例えば、可視画像に撮像されている対象が何であるかについて十分な学習がなされた可視画像のドメインに関するモデル１の知識を転移して、深度画像に撮像されている対象が何であるかを判定可能なモデル１’を生成する。換言すると、転移学習装置１は、特徴空間が異なりタスクが同一のヘテロジニアスな転移学習を行う装置である。
【0013】
図３に示された「知識転移前」のフェーズにおいて、モデル１は、可視画像について十分な学習がなされた学習済みモデルであるので、ある対象が撮像された可視画像ＶＩについては、その対象が何であるかを適切に判定できる。図３において、可視画像の正解ラベルの尤度は、灰色により示されている。可視画像の正解ラベルの尤度は、最大であるので、適切な判定がなされている（図中、「〇」で表示）。しかしながら、モデル１は、ある対象が撮像された深度画像ＤＩについては、その対象が何であるかを適切に判定できない。図３では、深度画像の正解ラベルの尤度は、ハッチングにより示されている。ハッチングで示された正解ラベルの尤度は、最大でないので、適切な判定がなされていない（図中、「×」で表示）。
【0014】
図３に示された「知識転移後」のフェーズにおいて、モデル１’は、モデル１をベースとして、深度画像を用いて転移学習により生成された学習済みモデルである。したがって、モデル１’は、ある対象が撮像された深度画像ＤＩについて、その対象が何であるかを適切に判定できる。ハッチングで示された正解ラベルの尤度は、最大であるので、適切な判定がなされている（図中、「〇」で表示）。他方、モデル１’は、深度画像向けにトレーニングされたことにより、図３に示されているように、ある対象が撮像された可視画像ＶＩについて、その対象が何であるかを適切に判定できなくなっている。可視画像の正解ラベルの尤度は、最大でないので、適切な判定がなされていない（図中、「×」で表示）。なお、知識転移元のドメインと知識転移先のドメインの類似性の程度により、モデル１’による知識転移元のドメインについての判定性能の程度は変わってくる。
【0015】
図３において、知識転移前と知識転移後の間の「知識転移中」のフェーズは、知識転移中の中間モデルによる判定結果が変化していく様子を示している。
【0016】
転移学習装置１は、知識転移元のドメインに関する複数のモデル１～３に基づいて、単一のモデル、例えばモデル１’を生成してもよい。
【0017】
以上のような転移学習を行うために、転移学習装置１は、図１に示されているように、知識転移学習部１１、知識転移進行度判定部１２、知識転移反復判定部１３、および知識転移結果出力部１４を備える。転移学習装置１は、知識転移元の知識に係るデータを記憶する記憶装置２、知識転移先の知識に係るデータを記憶する記憶装置３、および知識転移後の知識転移先の知識に係るデータを記憶する記憶装置４と接続されて転移学習システムを構成する。
【0018】
記憶装置２に記憶されるデータは、既に十分に学習がなされた学習済みモデルのデータである。例えば、可視画像に映っている対象が人なのか、車なのか等を判定するように十分に学習がなされた、ラベル付けされた可視画像ついての学習済みモデルのデータが記憶される。このような学習済みモデルの例には、ＩｍａｇｅＮｅｔが含まれる。学習済みモデルの対象は、可視画像以外の画像であってもよい。例えば、赤外線画像または熱画像であってもよい。また、学習済みモデルの対象は、画像に限られない。例えば、学習済みモデルの対象は、不図示のセンサを用いて計測される反射率、反射強度、または周波数等の２次元的に表された計測値または周波数分布であってもよい。
【0019】
記憶装置３に記憶されるデータは、知識転移先の学習用のデータである。例えば、人、車、建物等の深度画像についての学習用のデータが記憶される。各深度画像には、映っている対象が何であるかを示すラベルが付されている。深度画像とは、距離画像とも称され、画素値として距離値を有する画像である。記憶される学習データは、記憶装置２に記憶されるデータのモダリティと異なるものであれば、深度画像以外の画像であってもよいし、画像以外の２次元的に表された計測値または周波数分布であってもよい。
【0020】
記憶装置４に記憶されるデータは、知識転移後のモデルのデータを記憶する。例えば、記憶装置２に記憶される可視画像についての学習済みモデルの知識を記憶装置３に記憶される深度画像についての学習データを用いて新たなモデルを形成する場合、知識転移後のモデルは深度画像についての学習済みモデルである。
【0021】
（知識転移学習部）
以下、転移学習装置１の構成について、より詳細に説明をする。以下の説明は、記憶装置２に記憶されるデータは可視画像についての学習済みモデルデータであり、記憶装置３に記憶されるデータは深度画像についての学習データである場合に即して行う。
以下、転移学習装置１の構成について、より詳細に説明をする。以下の説明は、記憶装置２に記憶されるデータは可視画像についての学習済みモデルデータであり、記憶装置３に記憶されるデータは深度画像についての学習データである場合に即して行う。
【0022】
知識転移学習部１１は、第１の種類のデータに関する学習済みモデルに基づいて、第１の種類と異なる第２の種類のデータに関する学習データを用いて知識転移学習を行って、学習済みモデルから中間モデルを生成する機能部である。知識転移学習部１１は、このような学習を、学習済みモデルおよび学習データを初めて取得した場合、および知識転移反復判定部１３から知識転移学習を反復する旨の出力を受け付けた場合に行う。より具体的には、知識転移学習部１１は、記憶装置２から、知識転移元のモダリティ（データの種類）に係るデータとして、可視画像に関する学習済みモデルのニューラルネットワークの構造およびノードの重み係数データ等のデータを取得する。また、知識転移学習部１１は、記憶装置３から、知識転移先のモダリティに係るデータとして、深度画像に関する学習データを取得する。取得したこれらのデータを用いて、知識転移学習部１１は、可視画像に関する学習済みモデルに基づいて、深度画像に関する学習データを用いて、知識転移学習を行う。知識転移学習は、特許文献１等に記載された公知の技術を用いて行う。知識転移学習部１１は、知識転移学習を行うことにより、知識転移の途中の中間モデルを生成し、生成した中間モデルを出力する。出力された中間モデルは、不図示の記憶装置に一時的に保管されてもよい。
【0023】
転移学習により、生成される中間モデルは次第に知識転移先のモダリティに適合して行く。図４Ａおよび図４Ｂは、この変容の様子を示す図である。図４Ａは、転移学習により生成される中間モデルによる、可視画像についての尤度の推移を示す尤度推移グラフである。図４Ｂは、転移学習により生成される中間モデルによる、深度画像についての尤度の推移を示す尤度推移グラフである。正解ラベルは、知識転移元および知識転移先のいずれのいずれにおいてもｌａｂｅｌ１であると想定する。
【0024】
図４Ａにおいて、ベースとするモデルは可視画像についての学習済みモデルであるので、転移学習が開始された直後のフェーズ、例えばエポック数１～１０の段階では、生成された中間モデルは、入力された可視画像がｌａｂｅｌ１の画像であると高い尤度を以て判定している。しかしながら、転移学習が進むにつれて中間モデルは深度画像向けのモデルへと変容していくので、転移学習が開始されて暫く経ったフェーズ、例えばエポック数４１～５０の段階では、生成された中間モデルは、入力された可視画像がｌａｂｅｌ１の画像であると高い尤度を以て判定できなくなっている。
【0025】
このことの裏返しとして、図４Ｂに示されているように、中間モデルは、転移学習が開始された直後のフェーズでは、入力された深度画像がｌａｂｅｌ１の画像であると高い尤度を以て判定できていないが、転移学習が開始されて暫く経ったフェーズでは、入力された深度画像がｌａｂｅｌ１の画像であると高い尤度を以て判定できている。
【0026】
図４Ａおよび図４Ｂでは、ベースとするモデルは可視画像についての単一の学習済みモデルを想定しているが、ベースとするモデルとして可視画像についての複数の学習済みモデルを用いてもよい。ベースとする複数のモデルは、同じラベルが付されている可視画像であっても異なるデータセットにより学習されていることが一般的であるので、複数のモデルの知識を統合して転移することにより、生成される学習モデルの判定精度を高めることが可能となる。ベースとするモデルとして、モデル１、モデル２、およびモデル３があるとする。この場合、図４Ａおよび図４Ｂにおいて、エポック数１、４、７、１０、・・・をモデル１のエポックに割り当て、エポック数２、５、８、１１、・・・をモデル２のエポックに割り当て、エポック数３、６、９、１２、・・・をモデル３のエポックに割り当てて、連続する３エポック（エポック数１～３、４～６、７～９、１０～１２、・・・）を一単位として処理することにより、複数の学習済みモデルから知識を統合的に転移することが可能となる。
【0027】
（知識転移進行度判定部）
知識転移進行度判定部１２は、知識転移学習の進行度を判定する機能部である。より具体的には、知識転移進行度判定部１２は、知識転移学習部１１により生成された中間モデルにおいて、基準ラベルが付された学習データの基準尤度が、基準ラベル以外の非基準ラベルがそれぞれに付された複数の学習データの尤度よりも大きいかを多重比較検定により判定することにより、知識転移学習の進行度を判定する。尤度にどの程度の差があれば大小関係があると判断してよいかが不明確であるので、多重比較検定により、信頼率または信頼区間という共通的指標に基づき判定する。
知識転移進行度判定部１２は、知識転移学習の進行度を判定する機能部である。より具体的には、知識転移進行度判定部１２は、知識転移学習部１１により生成された中間モデルにおいて、基準ラベルが付された学習データの基準尤度が、基準ラベル以外の非基準ラベルがそれぞれに付された複数の学習データの尤度よりも大きいかを多重比較検定により判定することにより、知識転移学習の進行度を判定する。尤度にどの程度の差があれば大小関係があると判断してよいかが不明確であるので、多重比較検定により、信頼率または信頼区間という共通的指標に基づき判定する。
【0028】
多重比較検定とは、３群以上の複数の群について計測値が計測される場合において、どの群間に差があるのかを検定する手法である。多重比較検定を行う手法としては、例えば、次の非特許文献１に記載された、ダネットの多重比較検定を用いることができる。なお、多重比較検定の方式はダネット法に限られず、例えばウィリアムズ検定、テューキー（Ｔｕｋｅｙ）検定のような他の方式であってもよい。
非特許文献１：白石高章、杉浦洋著「多重比較法の理論と数値計算」共立出版株式会社、ｐｐ.７６－８１（２０１８）。
非特許文献１：白石高章、杉浦洋著「多重比較法の理論と数値計算」共立出版株式会社、ｐｐ.７６－８１（２０１８）。
【0029】
ダネットの多重比較検定では、計測値群の平均値に関する比較を行う際に、複数の試行の計測値群から「許容量」と呼ばれる値を信頼率ｐに応じて算出する。基準とする標本の平均値と、各標本の平均値に、この許容量を超えて大小関係がある場合に、信頼率ｐで大小関係が成立していると判断する。大小関係が成立するか、そうでないかの境界となるｐの値をｐ値と呼ぶ。
【0030】
知識転移進行度判定部１２は、知識転移学習部１１により出力された中間モデルにおいて、基準ラベルが付された学習データの基準尤度が、基準ラベル以外の非基準ラベルがそれぞれに付された複数の学習データの尤度よりも大きいかを多重比較検定により判定するために、中間モデルに対して入力される画像データの尤度から、ｐ値を算出する。エポック単位ではばらつきが生じるので、ｐ値は複数のエポックにおける画像データの尤度から算出する。
【0031】
図６Ａ～図６Ｃは、算出されるｐ値の例を示す表である。図６Ａは、可視画像の尤度遷移を示す図５ＡにおけるセクションＳ１のｐ値表、および深度画像の尤度遷移を示す図５ＢにおけるセクションＳ１のｐ値表を示す。また、図６Ｂは、可視画像の尤度遷移を示す図５ＢにおけるセクションＳ２のｐ値表、および深度画像の尤度遷移を示す図５ＢにおけるセクションＳ２のｐ値表を示す。また、図６Ｃは、可視画像の尤度遷移を示す図５ＣにおけるセクションＳ３のｐ値表、および深度画像の尤度遷移を示す図５ＢにおけるセクションＳ３のｐ値表を示す。なお、図５Ａの尤度遷移は図４Ａのそれと同一であり、図５Ｂの尤度遷移は図４Ｂのそれと同一である。また、セクションＳ１はエポック数１～１０のセクションであり、セクションＳ２はエポック数２１～３０のセクションであり、セクションＳ３はエポック数４１～５０のセクションである。１回の多重比較検定により、あるラベル（例えば、ｌａｂｅｌ１）を基準とした他の複数のラベル（例えば、ｌａｂｅｌ２～ｌａｂｅｌ６）との間での大小関係を評価でき、ｐ値表の１つのコラム（例えば、ｌａｂｅｌ１のコラム）の各セルのｐ値が算出される。基準とするラベルを別のラベル（例えば、ｌａｂｅｌ２）として多重比較検定を行うことにより、その別のラベル（例えば、ｌａｂｅｌ２）を基準とした他の複数のラベル（例えば、ｌａｂｅｌ１、およびｌａｂｅｌ３～ｌａｂｅｌ６）との間での大小関係を評価でき、ｐ値表の１つのコラム（例えば、ｌａｂｅｌ２のコラム）の各セルのｐ値が算出される。
【0032】
多重比較検定によれば、ｐ値表において、基準ラベル番号のコラムと基準ラベル以外の非基準ラベルの行が交差するセルのｐ値が０．０５以下であれば、９５％の信頼率で、基準ラベルよりも非基準ラベルのスコア値が小さいと結論付けられる。また、基準ラベル番号のコラムのすべてのセルのｐ値が０．０５以下であれば、基準ラベルが最大と言える。
【0033】
このような多重比較検定の手法を用いて、基準ラベルとして正解ラベルを設定することにより、知識転移進行度判定部１２は、知識転移学習部１１により出力された中間モデルにおいて、基準ラベル（即ち、正解ラベル）が付された学習データの基準尤度が、基準ラベル以外の非基準ラベルがそれぞれに付された複数の学習データの尤度よりも大きいかを判定し、判定の結果を出力する。なお、基準ラベルがｌａｂｅｌ１の場合、非基準ラベルにはｌａｂｅｌ２～ｌａｂｅｌ６が該当する。
【0034】
（知識転移反復判定部）
知識転移反復判定部１３は、知識転移進行度判定部１２から出力された判定結果に基づいて、知識転移学習を反復するかどうかを判定する。より具体的には、知識転移反復判定部１３は、基準ラベルの基準尤度が基準ラベル以外のすべての非基準ラベルの尤度よりも大きいことが示される場合には知識転移学習を反復しないと判定し、そうでない場合（大きいことが示されない場合）には知識転移学習を反復すると判定する。知識転移反復判定部１３は、知識転移学習を反復するかどうかの判定の結果を出力する。
知識転移反復判定部１３は、知識転移進行度判定部１２から出力された判定結果に基づいて、知識転移学習を反復するかどうかを判定する。より具体的には、知識転移反復判定部１３は、基準ラベルの基準尤度が基準ラベル以外のすべての非基準ラベルの尤度よりも大きいことが示される場合には知識転移学習を反復しないと判定し、そうでない場合（大きいことが示されない場合）には知識転移学習を反復すると判定する。知識転移反復判定部１３は、知識転移学習を反復するかどうかの判定の結果を出力する。
【0035】
（知識転移結果出力部）
知識転移結果出力部１４は、知識転移反復判定部１３により知識転移学習を反復しない旨の判定の結果を受け付けた場合、中間モデルを知識転移が完了した知識転移後の学習済みモデルとみなして、知識転移の結果である知識転移後の学習済みモデルのデータを記憶装置４へ出力する。
知識転移結果出力部１４は、知識転移反復判定部１３により知識転移学習を反復しない旨の判定の結果を受け付けた場合、中間モデルを知識転移が完了した知識転移後の学習済みモデルとみなして、知識転移の結果である知識転移後の学習済みモデルのデータを記憶装置４へ出力する。
【0036】
次に、図２Ａおよび図２Ｂを参照して、転移学習装置１のハードウェアの構成例について説明する。転移学習装置１の機能部は、処理回路（processing circuitry）により実現される。すなわち、転移学習装置１は、知識転移学習、知識転移進行度判定、知識転移反復判定、および知識転移結果出力等の種々の演算を行うための処理回路を備える。処理回路（processing circuitry）は、図２Ａに示されているような専用の処理回路（processing circuit）１００ａであっても、図２Ｂに示されているようなメモリ１００ｃに記憶されるプログラムを実行するプロセッサ１００ｂを備えたコンピュータであってもよい。
【0037】
処理回路（processing circuitry）が専用の処理回路１００ａである場合、専用の処理回路１００ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（application specific integrated circuit）、ＦＰＧＡ（field-programmable gate array）、またはこれらを組み合わせたものが該当する。知識転移学習部１１、知識転移進行度判定部１２、知識転移反復判定部１３、および知識転移結果出力部１４の各部の機能を別個の複数の処理回路（processing circuits）で実現してもよいし、各部の機能をまとめて単一の処理回路（processing circuit）で実現してもよい。
【0038】
処理回路（processing circuitry）がプロセッサ１００ｂの場合、知識転移学習部１１、知識転移進行度判定部１２、知識転移反復判定部１３、および知識転移結果出力部１４の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアおよびファームウェアはプログラムとして記述され、メモリ１００ｃに記憶される。プロセッサ１００ｂは、メモリに記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、知識転移学習を行うステップ、知識転移進行度判定を行うステップ、知識転移反復判定を行うステップ、知識転移結果出力を行うステップ等のステップが、結果的に実行されることになるプログラム（転移学習プログラム）を記憶するためのメモリ１００ｃを備える。ここで、メモリ１００ｃの例には、ＲＡＭ（random access memory）、ＲＯＭ（read-only memory）、フラッシュメモリ、ＥＰＲＯＭ（erasable programmable read only memory）、ＥＥＰＲＯＭ（electrically erasable programmable read-only memory）等の、不揮発性または揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤが含まれる。
【0039】
なお、知識転移学習部１１、知識転移進行度判定部１２、知識転移反復判定部１３、および知識転移結果出力部１４の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
【0040】
＜動作＞
次に、図７を参照して、転移学習装置１の動作について説明する。ステップＳ１において、知識転移学習部１１は、第１の種類のデータに関する学習済みモデルに基づいて、第１の種類と異なる第２の種類のデータに関する学習データを用いて知識転移学習を行って、学習済みモデルから中間モデルを生成する。
次に、図７を参照して、転移学習装置１の動作について説明する。ステップＳ１において、知識転移学習部１１は、第１の種類のデータに関する学習済みモデルに基づいて、第１の種類と異なる第２の種類のデータに関する学習データを用いて知識転移学習を行って、学習済みモデルから中間モデルを生成する。
【0041】
ステップＳ２において、知識転移進行度判定部１２は、知識転移学習部１１により生成された中間モデルにおいて、基準ラベルが付された学習データの基準尤度が、基準ラベル以外の非基準ラベルがそれぞれに付された複数の学習データの尤度よりも大きいかを多重比較検定により判定する。知識転移進行度判定部１２は、判定の結果を出力する。
【0042】
ステップＳ３において、知識転移反復判定部１３は、知識転移進行度判定部１２から出力された判定結果に基づいて、知識転移学習を反復するかどうかを判定する。より具体的には、知識転移反復判定部１３は、基準ラベルの基準尤度が基準ラベル以外のすべての非基準ラベルの尤度よりも大きいことが示される場合には知識転移学習を反復しないと判定し、そうでない場合（大きいことが示されない場合）には知識転移学習を反復すると判定する。反復する旨の判定がなされた場合には処理はステップＳ１へ戻り、反復しない旨の判定がなされた場合には処理はステップＳ４へ進む。
【0043】
ステップＳ４において、知識転移結果出力部１４は、知識転移反復判定部１３によりなされた反復しない旨の判定の結果を受け付けた場合、中間モデルを知識転移が完了した知識転移後の学習済みモデルとみなして、知識転移の結果である知識転移後の学習済みモデルのデータを出力する。
【0044】
以上で説明した転移学習装置１によれば、基準ラベルが付された学習データに対する複数の非基準ラベルが付された学習データの学習の進行の程度を、各非基準ラベルについて評価できる。したがって、転移学習の進行が遅れている学習データを同定することができ、転移学習の進行が遅れている学習データを重点的に学習するための基盤が提供される。したがって、転移学習による学習時間が短縮可能となる。
【0045】
実施の形態２．
＜構成＞
次に、図８～図９Ｃを参照して、本開示の実施の形態２による転移学習装置１’について説明する。実施の形態２による転移学習装置１’は、実施の形態１による転移学習装置１に対して学習データ選定部１５が追加された点で相違する。学習データ選定部１５が追加されたことに応じて、転移学習装置１’が備える知識転移進行度判定部１２’の機能が転移学習装置１の知識転移進行度判定部１２のそれと若干異なる。
＜構成＞
次に、図８～図９Ｃを参照して、本開示の実施の形態２による転移学習装置１’について説明する。実施の形態２による転移学習装置１’は、実施の形態１による転移学習装置１に対して学習データ選定部１５が追加された点で相違する。学習データ選定部１５が追加されたことに応じて、転移学習装置１’が備える知識転移進行度判定部１２’の機能が転移学習装置１の知識転移進行度判定部１２のそれと若干異なる。
【0046】
実施の形態２による転移学習装置１’においては、知識転移進行度判定部１２’は、知識転移の進行が遅れている学習データが存在するかどうかを判定することにより知識転移学習の進行度を判定する。そのような学習データが存在するかに関する判定は、多重比較検定の結果から、ｐ値が予め定められた値よりも小さい非基準ラベルを特定することにより行う。このようにして、知識転移進行度判定部１２’は、基準尤度が、非基準ラベルがそれぞれに付された複数の学習データの尤度よりも大きいと判定されない場合に、多重比較検定の結果から、ｐ値が予め定められた値よりも小さい非基準ラベルを特定する。
【0047】
学習データ選定部１５は、基準尤度が非基準ラベルがそれぞれに付された複数の学習データの尤度よりも大きいと判定されない場合に、基準尤度が複数の学習データの尤度よりも大きいと判定されないことに寄与している学習データを選定する機能部である。より具体的には、学習データ選定部１５は、記憶装置３から知識転移進行度判定部１２’により特定されたラベルが付された学習データを選定し（即ち、取得し）、選定した学習データを知識転移学習部１１へ供給する。知識転移学習部１１は、学習データ選定部１５により選定された学習データを用いて転移学習を行う。
【0048】
例えば、図９Ａを参照して説明すると、知識転移進行度判定部１２’は、エポック数２６～３５における深度画像の尤度から算出された図９Ａのｐ値表において、基準ラベル番号が１のコラムＣ１からｌａｂｅｌ６を特定する。ｌａｂｅｌ６の特定は、ｐ値の値が予め定められた値、例えば０．０５以下であるか否かにより行う。学習データ選定部１５は、記憶装置３からｌａｂｅｌ６が付された学習データを選定し、選定した学習データを知識転移学習部１１へ供給する。
【0049】
図９Ａにおいて、ｌａｂｅｌ１～ｌａｂｅｌ５のｐ値が予め定められた値以下であるということは、ｌａｂｅｌ１～ｌａｂｅｌ５についての学習が十分進行したことを示している。他方、ｌａｂｅｌ６のｐ値が予め定められた値よりも大きいということは、ｌａｂｅｌ６についての学習が十分には進行していないことを示す。そこで、他のラベルよりも学習の進行の程度が遅れているｌａｂｅｌ６について重点的に学習する。
【0050】
ｌａｂｅｌ６の深度画像について重点的に学習することにより、図９Ｂおよび図９Ｃに示されているように、ｌａｂｅｌ６のｐ値が劇的に低減する。図９Ｂはエポック数２７～３６における深度画像の尤度から算出されたｐ値表であり、図９Ｃはエポック数２８～３７における深度画像の尤度から算出されたｐ値表である。ｌａｂｅｌ６の深度画像について重点的に学習することにより、ｌａｂｅｌ６のｐ値は、図９ＢのコラムＣ２では０．３３に、図９ＣのコラムＣ３では０．００に低減している。
【0051】
このように、学習の進行の程度が遅れているデータについて重点的に学習することにより、学習の進行の程度が遅れているデータについての学習回数を低減することが可能となるので、転移学習の全体に要する学習時間を短縮することが可能となる。
【0052】
【0053】
【0054】
ステップＳ２’において、知識転移進行度判定部１２は、知識転移の進行が遅れている学習データが存在するかどうかを判定する。遅れている学習データが存在する場合、処理はステップＳ５へ進み、遅れている学習データが存在しない場合、処理はステップＳ３へ進む。
【0055】
ステップＳ５において、学習データ選定部１５は、知識転移進行度判定部１２により知識転移の進行が遅れていると判定された学習データを記憶装置３から選定し、選定した学習データを知識転移学習部１１へ供給する。その後、処理はステップＳ１へ戻る。
【0056】
なお、実施形態を組み合わせたり、各実施形態を適宜、変形、省略したりすることが可能である。
【産業上の利用可能性】
【0057】
本開示の転移学習装置は、機械学習により既に十分学習済みのモデル資産に関する知識を転移して活用するための装置として用いることができ、例えば映像分析等の技術分野において利用することができる。
【符号の説明】
【0058】
１（１'） 転移学習装置、２ 記憶装置、３ 記憶装置、４ 記憶装置、１１ 知識転移学習部、１２（１２'） 知識転移進行度判定部、１３ 知識転移反復判定部、１４ 知識転移結果出力部、１５ 学習データ選定部、１００ａ 処理回路、１００ｂ プロセッサ、１００ｃ メモリ。
【要約】
転移学習装置は、第１の種類のデータに関する学習済みモデルに基づいて、前記第１の種類と異なる第２の種類のデータに関する学習データを用いて知識転移学習を行って、前記学習済みモデルから中間モデルを生成する知識転移学習部（１１）と、その生成された中間モデルにおいて、基準ラベルが付された学習データの基準尤度が、前記基準ラベル以外の非基準ラベルがそれぞれに付された複数の学習データの尤度よりも大きいかを多重比較検定により判定する知識転移進行度判定部（１２；１２’）と、を備える。
【図1】
【図2A】
【図2B】
【図3】
【図4A】
【図4B】
【図5A】
【図5B】
【図6A】
【図6B】
【図6C】
【図7】
【図8】
【図9A】
【図9B】
【図9C】
【図10】