(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-04
(45)【発行日】2023-12-12
(54)【発明の名称】学習装置、学習済みモデル生成方法、及び、プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20231205BHJP
【ＦＩ】
G06T7/00 350B
【請求項の数】
7
(21)【出願番号】P 2022529202
(86)(22)【出願日】2020-06-03
(86)【国際出願番号】 JP2020021875
(87)【国際公開番号】W WO2021245819
(87)【国際公開日】2021-12-09
【審査請求日】2022-11-30
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100107331
【弁理士】
【氏名又は名称】中村 聡延
(74)【代理人】
【識別番号】100104765
【弁理士】
【氏名又は名称】江上 達夫
(74)【代理人】
【識別番号】100131015
【弁理士】
【氏名又は名称】三輪 浩誉
(72)【発明者】
【氏名】金子 智一
(72)【発明者】
【氏名】寺尾 真
【審査官】新井 則和
(56)【参考文献】
【文献】特開２０１６－２２４８２１（ＪＰ，Ａ）
【文献】国際公開第２０１９／１４６０５７（ＷＯ，Ａ１）
【文献】中国特許出願公開第１１１１２７３９０（ＣＮ，Ａ）
【文献】YAROSLAV, Ganin et al.，Domain-Adversarial Training of Neural Networks， [online] ，2015年05月28日，[retrieved on 2023.10.26], Retrieved from the Internet : <url: https://arxiv.org/pdf/1505.07818v1.pdf>
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
入力画像から画像特徴量を抽出する特徴抽出手段と、前記画像特徴量に基づいて、前記入力画像のクラスを識別し、クラス識別結果を生成するクラス識別手段と、
前記クラス識別結果に基づいて、クラス識別損失を計算するクラス識別損失計算手段と、
前記画像特徴量に基づいて、前記クラスが正常クラスであるか異常クラスであるかを識別し、正常／異常識別結果を生成する正常／異常識別手段と、
前記正常／異常識別結果に基づいて、ＡＵＣ損失を計算するＡＵＣ損失計算手段と、
前記クラス識別損失及び前記ＡＵＣ損失に基づいて、前記特徴抽出手段、前記クラス識別手段及び前記正常／異常識別手段のパラメータを更新する第１の学習手段と、
前記画像特徴量に基づいて、前記入力画像のドメインを識別し、ドメイン識別結果を生成するドメイン識別手段と、
前記ドメイン識別結果に基づいて、ドメイン識別損失を計算するドメイン識別損失計算手段と、
前記ドメイン識別損失に基づいて、前記特徴抽出手段及び前記ドメイン識別手段のパラメータを更新する第２の学習手段と、
を備える学習装置。
【請求項2】
前記クラス識別手段は、前記入力画像を２クラスに分類し、前記正常／異常識別手段は、前記クラス識別手段と同一のパラメータを有する請求項１に記載の学習装置。
【請求項3】
前記クラス識別手段は、前記入力画像を３クラス以上に分類し、前記正常／異常識別手段は、前記入力画像を３クラス以上に分類してクラス毎にクラス識別スコアを算出し、正常クラスのクラス識別スコアと、異常クラスのクラス識別スコアとを用いて、正常クラスらしさを示す正常／異常識別結果を生成する請求項１に記載の学習装置。
【請求項4】
前記正常／異常識別結果は、各入力画像の正常クラスらしさを示す値であり、前記ＡＵＣ損失計算手段は、各入力画像が正常クラスであるか異常クラスであるかを示す正常／異常正解ラベルを用いて、正常クラスの入力画像について計算された正常／異常識別結果と、異常クラスの入力画像について計算された正常／異常識別結果との差分を前記ＡＵＣ損失として計算する請求項１乃至３のいずれか一項に記載の学習装置。
【請求項5】
前記第１の学習手段は、前記ＡＵＣ損失が小さくなるように、前記特徴抽出手段、前記クラス識別手段及び前記正常／異常識別手段のパラメータを更新する請求項４に記載の学習装置。
【請求項6】
特徴抽出モデルを用いて入力画像から画像特徴量を抽出し、前記画像特徴量に基づいて、クラス識別モデルを用いて前記入力画像のクラスを識別してクラス識別結果を生成し、
前記クラス識別結果に基づいて、クラス識別損失を計算し、
前記画像特徴量に基づいて、正常／異常識別モデルを用いて前記クラスが正常クラスであるか異常クラスであるかを識別して正常／異常識別結果を生成し、
前記正常／異常識別結果に基づいてＡＵＣ損失を計算し、
前記クラス識別損失及び前記ＡＵＣ損失に基づいて、前記特徴抽出モデル、前記クラス識別モデル及び前記正常／異常識別モデルのパラメータを更新し、
前記画像特徴量に基づいて、ドメイン識別モデルを用いて前記入力画像のドメインを識別してドメイン識別結果を生成し、
前記ドメイン識別結果に基づいて、ドメイン識別損失を計算し、
前記ドメイン識別損失に基づいて、前記特徴抽出モデル及び前記ドメイン識別モデルのパラメータを更新する学習済みモデル生成方法。
【請求項7】
特徴抽出モデルを用いて入力画像から画像特徴量を抽出し、前記画像特徴量に基づいて、クラス識別モデルを用いて前記入力画像のクラスを識別してクラス識別結果を生成し、
前記クラス識別結果に基づいて、クラス識別損失を計算し、
前記画像特徴量に基づいて、正常／異常識別モデルを用いて前記クラスが正常クラスであるか異常クラスであるかを識別して正常／異常識別結果を生成し、
前記正常／異常識別結果に基づいてＡＵＣ損失を計算し、
前記クラス識別損失及び前記ＡＵＣ損失に基づいて、前記特徴抽出モデル、前記クラス識別モデル及び前記正常／異常識別モデルのパラメータを更新し、
前記画像特徴量に基づいて、ドメイン識別モデルを用いて前記入力画像のドメインを識別してドメイン識別結果を生成し、
前記ドメイン識別結果に基づいて、ドメイン識別損失を計算し、
前記ドメイン識別損失に基づいて、前記特徴抽出モデル及び前記ドメイン識別モデルのパラメータを更新する処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ドメイン適応を用いた画像識別手法に関する。
【背景技術】
【0002】
画像認識などにおいて、対象領域における十分な教師データが得られない場合に、ドメイン適応を用いて識別器を学習する手法が知られている。ドメイン適応とは、流用元（ソースドメイン）の教師データを用いて、流用先（ターゲットドメイン）の識別器を学習する手法である。ドメイン適応を用いて識別器を学習する手法が、特許文献１及び非特許文献１に記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１６－２２４８２１号公報
【文献】Yaroslav Ganin, Evgeniya Ustinova, Hana Ajakan, Pascal Germain, Hugo Larochelle, Francois Laviolette, Mario Marchand, and Victor Lempitsky. 2016. Domain-adversarial training of neural networks. J. Mach. Learn. Res. 17, 1 (January 2016), 2096‐2030.
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記の文献などに記載される手法は、ソースドメインとして、公開データセットなどの教師データが潤沢かつ均等に収集されたデータセットを用いることを前提としている。しかし、実用上は識別対象の全クラスについて潤沢かつ均等に教師データを用意できないことがある。特に、所定の異常クラスに分類されるクラスについては、画像自体の収集が困難な場合もある。異常クラスについての教師データが少ないと、ドメイン適応を用いて学習を行っても、識別器の学習が正常クラスに集中してしまい、学習により得られた識別器は異常クラスを正しく識別できなくなる。
【0005】
本発明の１つの目的は、ソースドメインの一部のクラスのサンプル数が少ない場合でも、ドメイン適応を用いて、精度の高い識別モデルを生成することが可能な学習装置を提供することにある。
【課題を解決するための手段】
【0006】
本発明の一つの観点では、学習装置は、
入力画像から画像特徴量を抽出する特徴抽出手段と、
前記画像特徴量に基づいて、前記入力画像のクラスを識別し、クラス識別結果を生成するクラス識別手段と、
前記クラス識別結果に基づいて、クラス識別損失を計算するクラス識別損失計算手段と、
前記画像特徴量に基づいて、前記クラスが正常クラスであるか異常クラスであるかを識別し、正常／異常識別結果を生成する正常／異常識別手段と、
前記正常／異常識別結果に基づいて、ＡＵＣ損失を計算するＡＵＣ損失計算手段と、
前記クラス識別損失及び前記ＡＵＣ損失に基づいて、前記特徴抽出手段、前記クラス識別手段及び前記正常／異常識別手段のパラメータを更新する第１の学習手段と、
前記画像特徴量に基づいて、前記入力画像のドメインを識別し、ドメイン識別結果を生成するドメイン識別手段と、
前記ドメイン識別結果に基づいて、ドメイン識別損失を計算するドメイン識別損失計算手段と、
前記ドメイン識別損失に基づいて、前記特徴抽出手段及び前記ドメイン識別手段のパラメータを更新する第２の学習手段と、を備える。
入力画像から画像特徴量を抽出する特徴抽出手段と、
前記画像特徴量に基づいて、前記入力画像のクラスを識別し、クラス識別結果を生成するクラス識別手段と、
前記クラス識別結果に基づいて、クラス識別損失を計算するクラス識別損失計算手段と、
前記画像特徴量に基づいて、前記クラスが正常クラスであるか異常クラスであるかを識別し、正常／異常識別結果を生成する正常／異常識別手段と、
前記正常／異常識別結果に基づいて、ＡＵＣ損失を計算するＡＵＣ損失計算手段と、
前記クラス識別損失及び前記ＡＵＣ損失に基づいて、前記特徴抽出手段、前記クラス識別手段及び前記正常／異常識別手段のパラメータを更新する第１の学習手段と、
前記画像特徴量に基づいて、前記入力画像のドメインを識別し、ドメイン識別結果を生成するドメイン識別手段と、
前記ドメイン識別結果に基づいて、ドメイン識別損失を計算するドメイン識別損失計算手段と、
前記ドメイン識別損失に基づいて、前記特徴抽出手段及び前記ドメイン識別手段のパラメータを更新する第２の学習手段と、を備える。
【0007】
本発明の他の観点では、学習済みモデル生成方法は、
特徴抽出モデルを用いて入力画像から画像特徴量を抽出し、
前記画像特徴量に基づいて、クラス識別モデルを用いて前記入力画像のクラスを識別してクラス識別結果を生成し、
前記クラス識別結果に基づいて、クラス識別損失を計算し、
前記画像特徴量に基づいて、正常／異常識別モデルを用いて前記クラスが正常クラスであるか異常クラスであるかを識別して正常／異常識別結果を生成し、
前記正常／異常識別結果に基づいてＡＵＣ損失を計算し、
前記クラス識別損失及び前記ＡＵＣ損失に基づいて、前記特徴抽出モデル、前記クラス識別モデル及び前記正常／異常識別モデルのパラメータを更新し、
前記画像特徴量に基づいて、ドメイン識別モデルを用いて前記入力画像のドメインを識別してドメイン識別結果を生成し、
前記ドメイン識別結果に基づいて、ドメイン識別損失を計算し、
前記ドメイン識別損失に基づいて、前記特徴抽出モデル及び前記ドメイン識別モデルのパラメータを更新する。
特徴抽出モデルを用いて入力画像から画像特徴量を抽出し、
前記画像特徴量に基づいて、クラス識別モデルを用いて前記入力画像のクラスを識別してクラス識別結果を生成し、
前記クラス識別結果に基づいて、クラス識別損失を計算し、
前記画像特徴量に基づいて、正常／異常識別モデルを用いて前記クラスが正常クラスであるか異常クラスであるかを識別して正常／異常識別結果を生成し、
前記正常／異常識別結果に基づいてＡＵＣ損失を計算し、
前記クラス識別損失及び前記ＡＵＣ損失に基づいて、前記特徴抽出モデル、前記クラス識別モデル及び前記正常／異常識別モデルのパラメータを更新し、
前記画像特徴量に基づいて、ドメイン識別モデルを用いて前記入力画像のドメインを識別してドメイン識別結果を生成し、
前記ドメイン識別結果に基づいて、ドメイン識別損失を計算し、
前記ドメイン識別損失に基づいて、前記特徴抽出モデル及び前記ドメイン識別モデルのパラメータを更新する。
【0008】
本発明のさらに他の観点では、プログラムは、
特徴抽出モデルを用いて入力画像から画像特徴量を抽出し、
前記画像特徴量に基づいて、クラス識別モデルを用いて前記入力画像のクラスを識別してクラス識別結果を生成し、
前記クラス識別結果に基づいて、クラス識別損失を計算し、
前記画像特徴量に基づいて、正常／異常識別モデルを用いて前記クラスが正常クラスであるか異常クラスであるかを識別して正常／異常識別結果を生成し、
前記正常／異常識別結果に基づいてＡＵＣ損失を計算し、
前記クラス識別損失及び前記ＡＵＣ損失に基づいて、前記特徴抽出モデル、前記クラス識別モデル及び前記正常／異常識別モデルのパラメータを更新し、
前記画像特徴量に基づいて、ドメイン識別モデルを用いて前記入力画像のドメインを識別してドメイン識別結果を生成し、
前記ドメイン識別結果に基づいて、ドメイン識別損失を計算し、
前記ドメイン識別損失に基づいて、前記特徴抽出モデル及び前記ドメイン識別モデルのパラメータを更新する処理をコンピュータに実行させる。
特徴抽出モデルを用いて入力画像から画像特徴量を抽出し、
前記画像特徴量に基づいて、クラス識別モデルを用いて前記入力画像のクラスを識別してクラス識別結果を生成し、
前記クラス識別結果に基づいて、クラス識別損失を計算し、
前記画像特徴量に基づいて、正常／異常識別モデルを用いて前記クラスが正常クラスであるか異常クラスであるかを識別して正常／異常識別結果を生成し、
前記正常／異常識別結果に基づいてＡＵＣ損失を計算し、
前記クラス識別損失及び前記ＡＵＣ損失に基づいて、前記特徴抽出モデル、前記クラス識別モデル及び前記正常／異常識別モデルのパラメータを更新し、
前記画像特徴量に基づいて、ドメイン識別モデルを用いて前記入力画像のドメインを識別してドメイン識別結果を生成し、
前記ドメイン識別結果に基づいて、ドメイン識別損失を計算し、
前記ドメイン識別損失に基づいて、前記特徴抽出モデル及び前記ドメイン識別モデルのパラメータを更新する処理をコンピュータに実行させる。
【発明の効果】
【0009】
本発明によれば、ソースドメインの一部のクラスのサンプル数が少ない場合でも、ドメイン適応を用いて、精度の高い識別モデルを生成することが可能となる。
【図面の簡単な説明】
【0010】
【図1】第１実施形態に係る学習装置の全体構成を示す。
【図2】学習装置のハードウェア構成を示すブロック図である。
【図3】学習装置の機能構成を示すブロック図である。
【図4】正常／異常識別部の構成例を示す。
【図5】正常／異常識別部の動作の一例を説明する図である。
【図6】学習装置による識別モデル生成処理のフローチャートである。
【図7】第２実施形態に係る学習装置の機能構成を示すブロック図である。
【発明を実施するための形態】
【0011】
以下、図面を参照して、本発明の好適な実施形態について説明する。
＜第１実施形態＞
まず、第１実施形態に係る学習装置について説明する。
［全体構成］
図１は、第１実施形態に係る学習装置の全体構成を示す。学習装置１００は、ドメイン適応を用いて、ターゲットドメインにおいて使用される識別モデルを学習する。学習装置１００は、教師データベース（以下、「データベース」を「ＤＢ」と記す。）に接続されている。教師ＤＢ２には、識別モデルの学習に使用する教師データが記憶されている。
＜第１実施形態＞
まず、第１実施形態に係る学習装置について説明する。
［全体構成］
図１は、第１実施形態に係る学習装置の全体構成を示す。学習装置１００は、ドメイン適応を用いて、ターゲットドメインにおいて使用される識別モデルを学習する。学習装置１００は、教師データベース（以下、「データベース」を「ＤＢ」と記す。）に接続されている。教師ＤＢ２には、識別モデルの学習に使用する教師データが記憶されている。
【0012】
［教師データ］
教師データは、識別モデルの学習のために予め用意されたデータであり、入力画像と、それに対する正解ラベルのペアである。「入力画像」は、ソースドメイン又はターゲットドメインにおいて得られた画像である。「正解ラベル」は、入力画像に対する正解を示すラベルである。本実施形態では、正解ラベルは、クラス正解ラベルと、正常／異常正解ラベルと、ドメイン正解ラベルとを含む。
教師データは、識別モデルの学習のために予め用意されたデータであり、入力画像と、それに対する正解ラベルのペアである。「入力画像」は、ソースドメイン又はターゲットドメインにおいて得られた画像である。「正解ラベル」は、入力画像に対する正解を示すラベルである。本実施形態では、正解ラベルは、クラス正解ラベルと、正常／異常正解ラベルと、ドメイン正解ラベルとを含む。
【0013】
具体的に、ソースドメインから得られた入力画像に対しては、クラス正解ラベルと正常／異常正解ラベルが用意される。「クラス正解ラベル」は、識別モデルによるクラス識別結果の正解、即ち、入力画像が示す物体などのクラスの正解を示すラベルである。「正常／異常正解ラベル」は、入力画像が示す物体などのクラスが、正常クラスであるか異常クラスであるかの正解を示すラベルである。なお、識別モデルが識別の対象とする各クラスは、予め正常クラスと異常クラスのいずれかに分類されており、正常／異常正解ラベルは、入力画像が示す物体のクラスが、正常クラスと異常クラスのいずれに属するかを示すラベルである。
【0014】
また、ソースドメイン及びターゲットドメインの両方から得られた入力画像について、ドメイン正解ラベルが用意される。「ドメイン正解ラベル」は、入力画像がソースドメインとターゲットドメインのいずれのドメインで得られた画像であるかを示すラベルである。
【0015】
次に、ドメイン、及び、正常／異常クラスの例を説明する。一例として、学習の対象となる識別モデルが商品画像から商品クラスを識別する商品識別モデルである場合、ソースドメインとしてＷｅｂ上のショッピングサイトから収集した商品画像を用い、ターゲットドメインとして実店舗で取り扱う商品画像を用いることができる。この場合、Ｗｅｂ上で取り扱いの少ない商品クラスは商品画像のサンプルが少ないため、異常クラスとみなすことができる。よって、識別対象となる複数の商品クラスのうち、Ｗｅｂ上で取り扱いの少ない商品クラスを異常クラスと設定し、それ以外の商品クラスを正常クラスと設定する。
【0016】
別の例として、監視カメラの撮影画像から物体や事象を認識する識別モデルを学習する場合、ある場所に設置されたカメラＡをソースドメインとし、別の場所に設置されたカメラＢをターゲットドメインとすることができる。ここで、特定の物体や事象が希少である場合、その物体や事象のクラスを異常クラスとみなすことができる。例えば、人物を識別する場合、消防士や警察官などの希少な人物属性を異常クラスと設定し、それ以外の人物属性を正常クラスと設定することができる。
【0017】
［ハードウェア構成］
図２は、学習装置１００のハードウェア構成を示すブロック図である。図示のように、学習装置１００は、インタフェース（以下、「ＩＦ」と記す。）１１と、プロセッサ１２と、メモリ１３と、記録媒体１４と、データベース（ＤＢ）１５とを備える。
図２は、学習装置１００のハードウェア構成を示すブロック図である。図示のように、学習装置１００は、インタフェース（以下、「ＩＦ」と記す。）１１と、プロセッサ１２と、メモリ１３と、記録媒体１４と、データベース（ＤＢ）１５とを備える。
【0018】
ＩＦ１１は、外部装置との間でデータの入出力を行う。具体的に、教師ＤＢ２に記憶されている教師データは、ＩＦ１１を介して学習装置１００に入力される。
【0019】
プロセッサ１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することにより、学習装置１００の全体を制御する。具体的に、プロセッサ１２は、後述する識別モデル生成処理を実行する。
【0020】
メモリ１３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより構成される。メモリ１３は、プロセッサ１２による各種の処理の実行中に作業メモリとしても使用される。
【0021】
記録媒体１４は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、学習装置１００に対して着脱可能に構成される。記録媒体１４は、プロセッサ１２が実行する各種のプログラムを記録している。学習装置１００が各種の処理を実行する際には、記録媒体１４に記録されているプログラムがメモリ１３にロードされ、プロセッサ１２により実行される。
【0022】
データベース１５は、ＩＦ１１を通じて入力された教師データを一時的に記憶する。また、データベース１５は、学習装置１００内の後述する各識別部の識別モデルを構成するニューラルネットワークなどのパラメータを記憶する。なお、学習装置１００は、使用者が指示や入力を行うためのキーボード、マウスなどの入力部、及び、液晶ディスプレイなどの表示部を備えていてもよい。
【0023】
［機能構成］
図３は、学習装置１００の機能構成を示すブロック図である。図示のように、学習装置１００は、特徴量抽出部２１と、クラス識別部２２と、正常／異常識別部２３と、ドメイン識別部２４と、クラス識別学習部２５と、クラス識別損失計算部２６と、ＡＵＣ（Area Under an ROC Curve）損失計算部２７と、ドメイン識別損失計算部２８と、ドメイン識別学習部２９と、を備える。
図３は、学習装置１００の機能構成を示すブロック図である。図示のように、学習装置１００は、特徴量抽出部２１と、クラス識別部２２と、正常／異常識別部２３と、ドメイン識別部２４と、クラス識別学習部２５と、クラス識別損失計算部２６と、ＡＵＣ（Area Under an ROC Curve）損失計算部２７と、ドメイン識別損失計算部２８と、ドメイン識別学習部２９と、を備える。
【0024】
特徴抽出部２１には、教師データの入力画像が入力される。特徴抽出部２１は、入力画像からＣＮＮ（Convolutional Neural Network）や、その他の方法で画像特徴量Ｄ１を抽出し、クラス識別部２２、正常／異常識別部２３及びドメイン識別部２４に出力する。
【0025】
クラス識別部２２は、画像特徴量Ｄ１に基づいて入力画像のクラスを識別し、クラス識別結果Ｄ２をクラス識別損失計算部２６へ出力する。クラス識別部２２は、各種の機械学習手法やニューラルネットワークなどを利用したクラス識別モデルを用いて、入力画像のクラスを識別する。クラス識別結果Ｄ２は、識別対象のクラス毎の信頼度スコアを含む。
【0026】
クラス識別損失計算部２６は、クラス識別結果Ｄ２と、教師データに含まれる、その入力画像に対するクラス正解ラベルとを用いて、クラス識別損失Ｄ３を計算し、クラス識別学習部２５へ出力する。クラス識別損失計算部２６は、クラス識別結果Ｄ２とクラス正解ラベルとを用いて、例えば交差エントロピーなどの損失を計算し、クラス識別損失Ｄ３としてクラス識別学習部２５へ出力する。
【0027】
正常／異常識別部２３は、画像特徴量Ｄ１に基づいて、入力画像が正常クラスであるか異常クラスであるかを示す正常／異常識別結果Ｄ５を生成し、ＡＵＣ損失計算部２７へ出力する。具体的に、正常／異常識別部２３は、入力画像の各サンプルｘごとに、以下の式により正常クラスらしさを示す正常／異常スコアｇＰ（ｘ）を計算し、正常／異常識別結果Ｄ５として出力する。
【0028】
【数1】
【0029】
図４（Ｂ）は、正常／異常識別部２３の構成の他の例を示す。図４（Ｂ）の例は、クラス識別部２２が３クラス以上の多クラス識別を行う場合の例である。この場合、正常／異常識別部２３は、多クラス識別を行うクラス識別部２３ａと、正常／異常スコア計算部２３ｂとを備える。なお、クラス識別部２３ａは、クラス識別部２２と同一の構成でよい。クラス識別部２３ａは、入力画像の各サンプルｘごとに信頼度スコアｐ∧（ｉ｜ｘ）を算出し、正常／異常スコア計算部２３ｂへ出力する。正常／異常スコア計算部２３ｂは、入力された信頼度スコアｐ∧（ｉ｜ｘ）に基づいて、入力画像の各サンプルｘごとに正常クラスらしさを示す正常／異常スコアｇＰ（ｘ）を算出し、正常／異常識別結果Ｄ５として出力する。
【0030】
図５は、図４（Ｂ）に示す正常／異常識別部２３の動作の一例を説明する図である。いま、クラス識別部２３ａが、クラスＡ～Ｅの５クラスの識別を行うとする。また、この５クラスのうち、クラスＡ～Ｃが正常クラス、クラスＤ～Ｅが異常クラスに設定されているものとする。クラス識別部２３ａは、入力画像のクラス識別を行い、各クラスの信頼度スコアＳａ～Ｓｅを算出し、正常／異常スコア計算部２３ｂへ出力する。なお、入力画像ｘに対する各クラスの信頼度スコアは全クラスの和が１となる。即ち、
Ｓａ＋Ｓｂ＋Ｓｃ＋Ｓｄ＋Ｓｅ＝１
となる。
Ｓａ＋Ｓｂ＋Ｓｃ＋Ｓｄ＋Ｓｅ＝１
となる。
【0031】
正常／異常スコア計算部２３ｂは、入力された各クラスの信頼度スコアに基づいて、その入力画像の正常クラスらしさのスコアを計算する。具体的に、正常／異常スコア計算部２３ｂは、正常クラスであるクラスＡ～Ｃの信頼度スコアを合計し、以下のように正常／異常スコアを算出する。
正常／異常スコア＝Ｓａ＋Ｓｂ＋Ｓｃ
正常／異常スコア＝Ｓａ＋Ｓｂ＋Ｓｃ
【0032】
そして、正常／異常スコア計算部２３ｂは、得られた正常／異常スコアを、正常／異常識別結果Ｄ５として出力する。このように、図４（Ｂ）の例では、クラス識別部２２が多クラス分類を行う場合であっても正常／異常識別結果を計算することができる。
【0033】
図３に戻り、ＡＵＣ損失計算部２７は、正常／異常識別結果Ｄ５と、教師データに含まれる正常／異常正解ラベルとに基づいて、ＡＵＣ損失を計算する。具体的には、ＡＵＣ損失計算部２７は、まず、入力画像の各サンプルｘの正常／異常正解ラベルを取得し、各サンプルｘを正常クラスと異常クラスとに分ける。次に、ＡＵＣ損失計算部２７は、正常クラスのサンプルｘＮと、異常クラスのサンプルｘＰとを取り出してペアを作る。次に、ＡＵＣ損失計算部２７は、各サンプルｘＮとｘＰの正常／異常スコアｇｐ（ｘＮ）とｇＰ（ｘＰ）の差分を用いて、以下の式によりＡＵＣ損失Ｒｓｐを計算し、クラス識別学習部２５へ出力する。
【0034】
【数2】
【0035】
【数3】
【0036】
ドメイン識別部２４は、画像特徴量Ｄ１に基づいて、入力画像のドメインを識別し、ドメイン識別結果Ｄ６をドメイン識別損失計算部２８へ出力する。ドメイン識別結果Ｄ６は、入力画像のソースドメインらしさ又はターゲットドメインらしさを示すスコアである。ドメイン識別損失計算部２８は、ドメイン識別結果Ｄ６と、教師データに含まれる、その入力画像のドメイン正解ラベルとに基づいて、ドメイン識別損失Ｄ７を計算し、ドメイン識別学習部２９へ出力する。
【0037】
ドメイン識別学習部２９は、ドメイン識別損失Ｄ７に基づいて、制御信号Ｄ８により、特徴抽出部２１及びドメイン識別部２４のパラメータを更新する。具体的には、ドメイン識別学習部２９は、特徴抽出部２１がドメインの識別をしにくくなるような画像特徴量Ｄ１を抽出し、かつ、ドメイン識別部２４が正しくドメインを識別できるように、特徴抽出部２１及びドメイン識別部２４のパラメータを更新する。
【0038】
このように、本実施形態では、ドメイン適応を用いたクラス識別モデルの学習において、ＡＵＣ損失Ｒｓｐを用いて特徴抽出部２１、クラス識別部２２及び正常／異常識別部２３のパラメータを更新するので、入力画像のクラス毎のサンプル数の不均衡により生じる悪影響を抑制することができる。よって、特定の異常クラスの入力画像が少ない状況においても、精度の高い識別が可能なクラス識別モデルを生成することができる。
【0039】
［識別モデル生成処理］
図６は、学習装置１００による識別モデル生成処理のフローチャートである。この処理は、図２に示すプロセッサ１２が、予め用意されたプログラムを実行し、図３に示す各要素として動作することにより実現される。
図６は、学習装置１００による識別モデル生成処理のフローチャートである。この処理は、図２に示すプロセッサ１２が、予め用意されたプログラムを実行し、図３に示す各要素として動作することにより実現される。
【0040】
まず、教師データに含まれる入力画像が特徴抽出部２１に入力され（ステップＳ１１）、特徴抽出部２１は、入力画像から画像特徴量Ｄ１を抽出する（ステップＳ１２）。次に、ドメイン識別部２４は、画像特徴量Ｄ１に基づいてドメインを識別し、ドメイン識別結果Ｄ６を出力する（ステップＳ１３）。次に、ドメイン識別結果計算部２８は、ドメイン識別結果Ｄ６とドメイン正解ラベルとに基づいて、ドメイン識別損失Ｄ７を計算する（ステップＳ１４）。次に、ドメイン識別学習部２９は、ドメイン識別損失Ｄ７に基づいて、特徴抽出部２１とドメイン識別部２４のパラメータを更新する（ステップＳ１５）。なお、ステップＳ１３～Ｓ１５を、「ドメイン混合処理」と呼ぶ。
【0041】
次に、クラス識別部２２は、画像特徴量Ｄ１に基づいて入力画像のクラスを識別し、クラス識別結果Ｄ２を生成する（ステップＳ１６）。次に、クラス識別損失計算部２６は、クラス識別結果Ｄ２とクラス正解ラベルとを用いて、クラス識別損失Ｄ３を計算する（ステップＳ１７）。なお、ステップＳ１６～Ｓ１７を、「クラス識別損失計算処理」と呼ぶ。
【0042】
次に、正常／異常識別部２３は、画像特徴量Ｄ１に基づいて、入力画像が正常クラスであるか異常クラスであるかを識別し、正常／異常識別結果Ｄ５を出力する（ステップＳ１８）。次に、ＡＵＣ損失計算部２７は、正常／異常識別結果Ｄ５に基づいて、ＡＵＣ損失Ｒｓｐを計算する（ステップＳ１９）。なお、ステップＳ１８～Ｓ１９を、「ＡＵＣ損失計算処理」と呼ぶ。
【0043】
そして、クラス識別学習部２５は、クラス識別損失Ｄ３とＡＵＣ損失Ｒｓｐとに基づいて、特徴抽出部２１、クラス識別部２２及び正常／異常識別部２３のパラメータを更新する（ステップＳ２０）。なお、ステップＳ１６～Ｓ２０を「クラス識別学習処理」と呼ぶ。
【0044】
次に、学習装置１００は、学習を終了するか否かを判定する（ステップＳ２１）。学習装置１００は、クラス識別損失、ＡＵＣ損失及びドメイン識別損失が所定範囲に収束した場合、学習を終了すると判定する。学習を終了しない場合（ステップＳ２１：Ｎｏ）、処理はステップＳ１１へ戻り、別の入力画像を用いてステップＳ１１～Ｓ２０の処理が繰り返される。一方、学習を終了する場合（ステップＳ２１：Ｙｅｓ）、処理は終了する。
【0045】
なお、上記の例では、ドメイン混合処理（ステップＳ１３～Ｓ１５）の後でクラス識別学習処理（ステップＳ１６～Ｓ２０）を行っているが、ドメイン混合処理とクラス識別学習処理の順序を逆にしてもよい。また、上記の例では、クラス識別損失計算処理（ステップＳ１６～Ｓ１７）の後でＡＵＣ損失計算処理（ステップＳ１８～１９）を行っているが、クラス識別損失計算処理とＡＵＣ損失計算処理の順序を逆にしてもよい。
【0046】
さらに、上記の例では、ステップＳ２０でクラス識別損失とＡＵＣ損失に基づいてパラメータ更新を行っているが、その代わりに、ステップＳ１７の後にクラス識別損失に基づいてパラメータ更新するステップを設け、ステップＳ２０ではＡＵＣ損失に基づいてパラメータ更新を行うようにしてもよい。
【0047】
＜第２実施形態＞
次に、本発明の第２実施形態について説明する。図７は、第２実施形態に係る学習装置７０の機能構成を示すブロック図である。図示のように、学習装置７０は、特徴抽出手段７１と、クラス識別手段７２と、正常／異常識別手段７３と、ドメイン識別手段７４と、第１の学習手段７５と、クラス識別損失計算手段７６と、ＡＵＣ損失計算手段７７と、ドメイン識別損失計算手段７８と、第２の学習手段７９と、を備える。
次に、本発明の第２実施形態について説明する。図７は、第２実施形態に係る学習装置７０の機能構成を示すブロック図である。図示のように、学習装置７０は、特徴抽出手段７１と、クラス識別手段７２と、正常／異常識別手段７３と、ドメイン識別手段７４と、第１の学習手段７５と、クラス識別損失計算手段７６と、ＡＵＣ損失計算手段７７と、ドメイン識別損失計算手段７８と、第２の学習手段７９と、を備える。
【0048】
特徴抽出手段７１は、入力画像から画像特徴量を抽出する。クラス識別手段７２は、画像特徴量に基づいて、入力画像のクラスを識別し、クラス識別結果を生成する。クラス識別損失計算手段７６は、クラス識別結果に基づいて、クラス識別損失を計算する。正常／異常識別手段７３は、画像特徴量に基づいて、クラスが正常クラスであるか異常クラスであるかを識別し、正常／異常識別結果を生成する。ＡＵＣ損失計算手段７７は、正常／異常識別結果に基づいて、ＡＵＣ損失を計算する。第１の学習手段７５は、クラス識別損失及びＡＵＣ損失に基づいて、特徴抽出手段、クラス識別手段及び正常／異常識別手段のパラメータを更新する。
【0049】
また、ドメイン識別手段７４は、画像特徴量に基づいて、入力画像のドメインを識別し、ドメイン識別結果を生成する。ドメイン識別損失計算手段７８は、ドメイン識別結果に基づいて、ドメイン識別損失を計算する。第２の学習手段７９は、ドメイン識別損失に基づいて、特徴抽出手段及び前記ドメイン識別手段のパラメータを更新する。
【0050】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0051】
（付記１）
入力画像から画像特徴量を抽出する特徴抽出手段と、
前記画像特徴量に基づいて、前記入力画像のクラスを識別し、クラス識別結果を生成するクラス識別手段と、
前記クラス識別結果に基づいて、クラス識別損失を計算するクラス識別損失計算手段と、
前記画像特徴量に基づいて、前記クラスが正常クラスであるか異常クラスであるかを識別し、正常／異常識別結果を生成する正常／異常識別手段と、
前記正常／異常識別結果に基づいて、ＡＵＣ損失を計算するＡＵＣ損失計算手段と、
前記クラス識別損失及び前記ＡＵＣ損失に基づいて、前記特徴抽出手段、前記クラス識別手段及び前記正常／異常識別手段のパラメータを更新する第１の学習手段と、
前記画像特徴量に基づいて、前記入力画像のドメインを識別し、ドメイン識別結果を生成するドメイン識別手段と、
前記ドメイン識別結果に基づいて、ドメイン識別損失を計算するドメイン識別損失計算手段と、
前記ドメイン識別損失に基づいて、前記特徴抽出手段及び前記ドメイン識別手段のパラメータを更新する第２の学習手段と、
を備える学習装置。
入力画像から画像特徴量を抽出する特徴抽出手段と、
前記画像特徴量に基づいて、前記入力画像のクラスを識別し、クラス識別結果を生成するクラス識別手段と、
前記クラス識別結果に基づいて、クラス識別損失を計算するクラス識別損失計算手段と、
前記画像特徴量に基づいて、前記クラスが正常クラスであるか異常クラスであるかを識別し、正常／異常識別結果を生成する正常／異常識別手段と、
前記正常／異常識別結果に基づいて、ＡＵＣ損失を計算するＡＵＣ損失計算手段と、
前記クラス識別損失及び前記ＡＵＣ損失に基づいて、前記特徴抽出手段、前記クラス識別手段及び前記正常／異常識別手段のパラメータを更新する第１の学習手段と、
前記画像特徴量に基づいて、前記入力画像のドメインを識別し、ドメイン識別結果を生成するドメイン識別手段と、
前記ドメイン識別結果に基づいて、ドメイン識別損失を計算するドメイン識別損失計算手段と、
前記ドメイン識別損失に基づいて、前記特徴抽出手段及び前記ドメイン識別手段のパラメータを更新する第２の学習手段と、
を備える学習装置。
【0052】
（付記２）
前記クラス識別手段は、前記入力画像を２クラスに分類し、
前記正常／異常識別手段は、前記クラス識別手段と同一のパラメータを有する付記１に記載の学習装置。
前記クラス識別手段は、前記入力画像を２クラスに分類し、
前記正常／異常識別手段は、前記クラス識別手段と同一のパラメータを有する付記１に記載の学習装置。
【0053】
（付記３）
前記クラス識別手段は、前記入力画像を３クラス以上に分類し、
前記正常／異常識別手段は、前記入力画像を３クラス以上に分類してクラス毎にクラス識別スコアを算出し、正常クラスのクラス識別スコアと、異常クラスのクラス識別スコアとを用いて、正常クラスらしさを示す正常／異常識別結果を生成する付記１に記載の学習装置。
前記クラス識別手段は、前記入力画像を３クラス以上に分類し、
前記正常／異常識別手段は、前記入力画像を３クラス以上に分類してクラス毎にクラス識別スコアを算出し、正常クラスのクラス識別スコアと、異常クラスのクラス識別スコアとを用いて、正常クラスらしさを示す正常／異常識別結果を生成する付記１に記載の学習装置。
【0054】
（付記４）
前記正常／異常識別結果は、各入力画像の正常クラスらしさを示す値であり、
前記ＡＵＣ損失計算手段は、各入力画像が正常クラスであるか異常クラスであるかを示す正常／異常正解ラベルを用いて、正常クラスの入力画像について計算された正常／異常識別結果と、異常クラスの入力画像について計算された正常／異常識別結果との差分を前記ＡＵＣ損失として計算する付記１乃至３のいずれか一項に記載の学習装置。
前記正常／異常識別結果は、各入力画像の正常クラスらしさを示す値であり、
前記ＡＵＣ損失計算手段は、各入力画像が正常クラスであるか異常クラスであるかを示す正常／異常正解ラベルを用いて、正常クラスの入力画像について計算された正常／異常識別結果と、異常クラスの入力画像について計算された正常／異常識別結果との差分を前記ＡＵＣ損失として計算する付記１乃至３のいずれか一項に記載の学習装置。
【0055】
（付記５）
前記第１の学習手段は、前記ＡＵＣ損失が小さくなるように、前記特徴抽出手段、前記クラス識別手段及び前記正常／異常識別手段のパラメータを更新する付記４に記載の学習装置。
前記第１の学習手段は、前記ＡＵＣ損失が小さくなるように、前記特徴抽出手段、前記クラス識別手段及び前記正常／異常識別手段のパラメータを更新する付記４に記載の学習装置。
【0056】
（付記６）
特徴抽出モデルを用いて入力画像から画像特徴量を抽出し、
前記画像特徴量に基づいて、クラス識別モデルを用いて前記入力画像のクラスを識別してクラス識別結果を生成し、
前記クラス識別結果に基づいて、クラス識別損失を計算し、
前記画像特徴量に基づいて、正常／異常識別モデルを用いて前記クラスが正常クラスであるか異常クラスであるかを識別して正常／異常識別結果を生成し、
前記正常／異常識別結果に基づいてＡＵＣ損失を計算し、
前記クラス識別損失及び前記ＡＵＣ損失に基づいて、前記特徴抽出モデル、前記クラス識別モデル及び前記正常／異常識別モデルのパラメータを更新し、
前記画像特徴量に基づいて、ドメイン識別モデルを用いて前記入力画像のドメインを識別してドメイン識別結果を生成し、
前記ドメイン識別結果に基づいて、ドメイン識別損失を計算し、
前記ドメイン識別損失に基づいて、前記特徴抽出モデル及び前記ドメイン識別モデルのパラメータを更新する学習済みモデル生成方法。
特徴抽出モデルを用いて入力画像から画像特徴量を抽出し、
前記画像特徴量に基づいて、クラス識別モデルを用いて前記入力画像のクラスを識別してクラス識別結果を生成し、
前記クラス識別結果に基づいて、クラス識別損失を計算し、
前記画像特徴量に基づいて、正常／異常識別モデルを用いて前記クラスが正常クラスであるか異常クラスであるかを識別して正常／異常識別結果を生成し、
前記正常／異常識別結果に基づいてＡＵＣ損失を計算し、
前記クラス識別損失及び前記ＡＵＣ損失に基づいて、前記特徴抽出モデル、前記クラス識別モデル及び前記正常／異常識別モデルのパラメータを更新し、
前記画像特徴量に基づいて、ドメイン識別モデルを用いて前記入力画像のドメインを識別してドメイン識別結果を生成し、
前記ドメイン識別結果に基づいて、ドメイン識別損失を計算し、
前記ドメイン識別損失に基づいて、前記特徴抽出モデル及び前記ドメイン識別モデルのパラメータを更新する学習済みモデル生成方法。
【0057】
（付記７）
特徴抽出モデルを用いて入力画像から画像特徴量を抽出し、
前記画像特徴量に基づいて、クラス識別モデルを用いて前記入力画像のクラスを識別してクラス識別結果を生成し、
前記クラス識別結果に基づいて、クラス識別損失を計算し、
前記画像特徴量に基づいて、正常／異常識別モデルを用いて前記クラスが正常クラスであるか異常クラスであるかを識別して正常／異常識別結果を生成し、
前記正常／異常識別結果に基づいてＡＵＣ損失を計算し、
前記クラス識別損失及び前記ＡＵＣ損失に基づいて、前記特徴抽出モデル、前記クラス識別モデル及び前記正常／異常識別モデルのパラメータを更新し、
前記画像特徴量に基づいて、ドメイン識別モデルを用いて前記入力画像のドメインを識別してドメイン識別結果を生成し、
前記ドメイン識別結果に基づいて、ドメイン識別損失を計算し、
前記ドメイン識別損失に基づいて、前記特徴抽出モデル及び前記ドメイン識別モデルのパラメータを更新する処理をコンピュータに実行させるプログラムを記録した記録媒体。
特徴抽出モデルを用いて入力画像から画像特徴量を抽出し、
前記画像特徴量に基づいて、クラス識別モデルを用いて前記入力画像のクラスを識別してクラス識別結果を生成し、
前記クラス識別結果に基づいて、クラス識別損失を計算し、
前記画像特徴量に基づいて、正常／異常識別モデルを用いて前記クラスが正常クラスであるか異常クラスであるかを識別して正常／異常識別結果を生成し、
前記正常／異常識別結果に基づいてＡＵＣ損失を計算し、
前記クラス識別損失及び前記ＡＵＣ損失に基づいて、前記特徴抽出モデル、前記クラス識別モデル及び前記正常／異常識別モデルのパラメータを更新し、
前記画像特徴量に基づいて、ドメイン識別モデルを用いて前記入力画像のドメインを識別してドメイン識別結果を生成し、
前記ドメイン識別結果に基づいて、ドメイン識別損失を計算し、
前記ドメイン識別損失に基づいて、前記特徴抽出モデル及び前記ドメイン識別モデルのパラメータを更新する処理をコンピュータに実行させるプログラムを記録した記録媒体。
【0058】
以上、実施形態及び実施例を参照して本発明を説明したが、本発明は上記実施形態及び実施例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【0059】
２ 教師データベース
２１ 特徴抽出部
２２ クラス識別部
２３ 正常／異常識別部
２４ ドメイン識別部
２５ クラス識別学習部
２６ クラス識別損失計算部
２７ ＡＵＣ損失計算部
２８ ドメイン識別損失計算部
２９ ドメイン識別学習部
１００ 学習装置
２１ 特徴抽出部
２２ クラス識別部
２３ 正常／異常識別部
２４ ドメイン識別部
２５ クラス識別学習部
２６ クラス識別損失計算部
２７ ＡＵＣ損失計算部
２８ ドメイン識別損失計算部
２９ ドメイン識別学習部
１００ 学習装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】