特許 7400972 認識器学習装置、認識器学習方法、および認識器学習プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-11

(45)【発行日】2023-12-19

(54)【発明の名称】認識器学習装置、認識器学習方法、および認識器学習プログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20231212BHJP

【ＦＩ】

G06N20/00 130

【請求項の数】 7

(21)【出願番号】P 2022531262

(86)(22)【出願日】2020-06-22

(86)【国際出願番号】 JP2020024412

(87)【国際公開番号】W WO2021260770

(87)【国際公開日】2021-12-30

【審査請求日】2022-11-21

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】村崎 和彦

(72)【発明者】

【氏名】安藤 慎吾

(72)【発明者】

【氏名】島村 潤

【審査官】多賀 実

(56)【参考文献】

【文献】特開２０１８－１９０１２８（ＪＰ，Ａ）

【文献】特開２０１８－１６０１７２（ＪＰ，Ａ）

【文献】国際公開第２０２０／１２１８６７（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

Ｇ０６Ｆ １６／００－１６／９５８

(57)【特許請求の範囲】

【請求項1】

学習用ラベルが与えられた複数の学習用データに基づいて、データのラベルを認識する認識器を学習する学習部と、
前記学習された認識器を用いて、前記複数の学習用データの各々について、前記認識器が出力するスコアを算出するスコア算出部と、
前記複数の学習用データの各々について算出されたスコアに基づいて得られる、真陽性率と偽陽性率との対応関係を表すＲＯＣ（Ｒｅｃｅｉｖｅｒ Ｏｐｅｒａｔｉｎｇ Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）曲線の形状に基づいて、ラベルを決定するための前記スコアに関する閾値を決定する閾値決定部と、
前記決定された閾値と、前記複数の学習用データの各々について算出されたスコアとに基づいて、前記認識器による認識が困難な前記学習用データを選択する選択部と、
を含み、
予め定められた反復終了条件を満たすまで、前記学習部による学習、前記スコア算出部による算出、前記閾値決定部による決定、および前記選択部による選択を繰り返し、
前記学習部は、前記選択部による前記学習用データの選択結果に応じた前記学習用データに基づいて、前記認識器を学習する
認識器学習装置。

【請求項2】

前記選択部は、
前記スコアが前記閾値以上であって、前記スコアが前記閾値以上である場合に認識されるラベルと前記学習用ラベルとが一致しない前記学習用データと、
前記スコアが前記閾値未満であって、前記スコアが前記閾値未満である場合に認識されるラベルと前記学習用ラベルとが一致しない前記学習用データとを、前記認識が困難な学習用データとして選択する請求項１記載の認識器学習装置。

【請求項3】

前記学習部は、
前記認識が困難な学習用データに対する前記認識器による認識結果と、前記学習用データの学習用ラベルとは異なる学習用ラベルが付与された、前記認識が困難な学習用データではない前記学習用データに対する前記認識器による認識結果とを比較した結果を用いて表される目的関数を最適化するように前記認識器を学習する請求項１または２記載の認識器学習装置。

【請求項4】

学習部が、学習用ラベルが与えられた複数の学習用データに基づいて、データのラベルを認識する認識器を学習し、
スコア算出部が、前記学習された認識器を用いて、前記複数の学習用データの各々について、前記認識器が出力するスコアを算出し、
閾値決定部が、前記複数の学習用データの各々について算出されたスコアに基づいて得られる、真陽性率と偽陽性率との対応関係を表すＲＯＣ（Ｒｅｃｅｉｖｅｒ Ｏｐｅｒａｔｉｎｇ Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）曲線の形状に基づいて、ラベルを決定するための前記スコアに関する閾値を決定し、
選択部が、前記決定された閾値と、前記複数の学習用データの各々について算出されたスコアとに基づいて、前記認識器による認識が困難な前記学習用データを選択する
ことを、予め定められた反復終了条件を満たすまで繰り返し、
前記学習部が学習することでは、前記選択部による前記学習用データの選択結果に応じた前記学習用データに基づいて、前記認識器を学習する
認識器学習方法。

【請求項5】

前記選択部が選択することでは、
前記スコアが前記閾値以上であって、前記スコアが前記閾値以上である場合に認識されるラベルと前記学習用ラベルとが一致しない前記学習用データと、
前記スコアが前記閾値未満であって、前記スコアが前記閾値未満である場合に認識されるラベルと前記学習用ラベルとが一致しない前記学習用データとを、前記認識が困難な学習用データとして選択する請求項４記載の認識器学習方法。

【請求項6】

前記学習部が学習することでは、前記認識が困難な学習用データに対する前記認識器による認識結果と、前記学習用データの学習用ラベルとは異なる学習用ラベルが付与された、前記認識が困難な学習用データではない前記学習用データに対する前記認識器による認識結果とを比較した結果を用いて表される目的関数を最適化するように前記認識器を学習する請求項４または５記載の認識器学習方法。

【請求項7】

学習用ラベルが与えられた複数の学習用データに基づいて、データのラベルを認識する認識器を学習し、
前記学習された認識器を用いて、前記複数の学習用データの各々について、前記認識器が出力するスコアを算出し、
前記複数の学習用データの各々について算出されたスコアに基づいて得られる、真陽性率と偽陽性率との対応関係を表すＲＯＣ（Ｒｅｃｅｉｖｅｒ Ｏｐｅｒａｔｉｎｇ Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）曲線の形状に基づいて、ラベルを決定するための前記スコアに関する閾値を決定し、
前記決定された閾値と、前記複数の学習用データの各々について算出されたスコアとに基づいて、前記認識器による認識が困難な前記学習用データを選択することを
予め定められた反復終了条件を満たすまで繰り返し、
前記学習することでは、前記学習用データの選択結果に応じた前記学習用データに基づいて、前記認識器を学習する
ことをコンピュータに実行させるための認識器学習プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の技術は、認識器学習装置、認識器学習方法、および認識器学習プログラムに関する。

【背景技術】

【0002】

画像や音声などのデジタルデータからその意味を自動で認識する技術として、機械学習のアプローチを用いた多数の手法が考案されている。近年では、深層学習による認識器の学習が、複雑なデータに対しても高い性能を示すことが知られている。深層学習による認識器の学習は、認識器の出力に対して特定の損失関数が最小化されるように行われている。カテゴリ識別のために頻繁に使われる損失関数として交差エントロピー誤差関数があげられる。交差エントロピー誤差関数によって学習が効率的に進むことが知られており、またカテゴリ数の増加に対する拡張も容易であるため広く使われている。しかし、対象とする各カテゴリに含まれるデータの数が偏っている場合、データ数の多いカテゴリに識別結果が偏るような学習がなされる。このため、実用上データ数の少ないカテゴリの認識精度を重視したい場合には、不適切な損失関数となっている。そのような場合に用いられる損失関数として受信者動作特性（Ｒｅｃｅｉｖｅｒ Ｏｐｅｒａｔｉｎｇ Ｃｈａｒａｃｔｅｒｉｓｔｉｃ：ＲＯＣ）曲線における曲線下面積（Ａｒｅａ Ｕｎｄｅｒ ｔｈｅ Ｃｕｒｖｅ： ＡＵＣ）があげられる。ＲＯＣ曲線とは真陽性率（Ｔｒｕｅ Ｐｏｓｉｔｉｖｅ Ｒａｔｅ： ＴＰＲ）と偽陽性率（Ｆａｌｓｅ Ｐｏｓｉｔｉｖｅ Ｒａｔｅ： ＦＰＲ）の対応関係をプロットした曲線である。その曲線が成す面積であるＡＵＣを最大化することでデータ数の少ないカテゴリに対してもバランスの良い認識器を学習することができる。

【0003】

しかし、高い認識性能が期待される深層学習を用いてＡＵＣを直接的に最大化することはできない。ＡＵＣは、ある閾値に対するデータの識別スコアの大小関係によって算出されるため、ランダムに選ばれる正例と負例のペアを用いてその大小関係を是正するように学習を進める手法が用いられる（非特許文献１、２）。

【先行技術文献】

【非特許文献】

【0004】

【文献】Ueda, Naonori, and Akinori Fujino. "Partial AUC Maximization via Nonlinear Scoring Functions." arXiv preprint arXiv:1806.04838 (2018).

【文献】Sakai, Tomoya, Gang Niu, and Masashi Sugiyama. "Semi-supervised AUC optimization based on positive-unlabeled learning." Machine Learning 107.4 (2018): 767-794.

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記非特許文献１、２の技術では、学習に用いられるペアによって学習の効果が異なるため、ペアの選定をランダムに行う場合、学習に時間がかかるという問題がある。

【0006】

開示の技術は、上記の点に鑑みてなされたものであり、効率的に認識器を学習することができる認識器学習装置、認識器学習方法、および認識器学習プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示の第１態様は、認識器学習装置であって、学習用ラベルが与えられた複数の学習用データに基づいて、データのラベルを認識する認識器を学習する学習部と、前記学習された認識器を用いて、前記複数の学習用データの各々について、前記認識器が出力するスコアを算出するスコア算出部と、前記複数の学習用データの各々について算出されたスコアに基づいて得られる、真陽性率と偽陽性率との対応関係を表すＲＯＣ（Ｒｅｃｅｉｖｅｒ Ｏｐｅｒａｔｉｎｇ Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）曲線の形状に基づいて、ラベルを決定するための前記スコアに関する閾値を決定する閾値決定部と、前記決定された閾値と、前記複数の学習用データの各々について算出されたスコアとに基づいて、前記認識器による認識が困難な前記学習用データを選択する選択部と、を含み、予め定められた反復終了条件を満たすまで、前記学習部による学習、前記スコア算出部による算出、前記閾値決定部による決定、および前記選択部による選択を繰り返し、前記学習部は、前記選択部による前記学習用データの選択結果に応じた前記学習用データに基づいて、前記認識器を学習する。

【0008】

本開示の第２態様は、認識器学習方法であって、学習部が、学習用ラベルが与えられた複数の学習用データに基づいて、データのラベルを認識する認識器を学習し、スコア算出部が、前記学習された認識器を用いて、前記複数の学習用データの各々について、前記認識器が出力するスコアを算出し、閾値決定部が、前記複数の学習用データの各々について算出されたスコアに基づいて得られる、真陽性率と偽陽性率との対応関係を表すＲＯＣ（Ｒｅｃｅｉｖｅｒ Ｏｐｅｒａｔｉｎｇ Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）曲線の形状に基づいて、ラベルを決定するための前記スコアに関する閾値を決定し、選択部が、前記決定された閾値と、前記複数の学習用データの各々について算出されたスコアとに基づいて、前記認識器による認識が困難な前記学習用データを選択することを、予め定められた反復終了条件を満たすまで繰り返し、前記学習部が学習することでは、前記選択部による前記学習用データの選択結果に応じた前記学習用データに基づいて、前記認識器を学習する。

【0009】

本開示の第３態様は、認識器学習プログラムであって、学習用ラベルが与えられた複数の学習用データに基づいて、データのラベルを認識する認識器を学習し、前記学習された認識器を用いて、前記複数の学習用データの各々について、前記認識器が出力するスコアを算出し、前記複数の学習用データの各々について算出されたスコアに基づいて得られる、真陽性率と偽陽性率との対応関係を表すＲＯＣ（Ｒｅｃｅｉｖｅｒ Ｏｐｅｒａｔｉｎｇ Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）曲線の形状に基づいて、ラベルを決定するための前記スコアに関する閾値を決定し、前記決定された閾値と、前記複数の学習用データの各々について算出されたスコアとに基づいて、前記認識器による認識が困難な前記学習用データを選択することを予め定められた反復終了条件を満たすまで繰り返し、前記学習することでは、前記学習用データの選択結果に応じた前記学習用データに基づいて、前記認識器を学習することをコンピュータに実行させるためのプログラムである。

【発明の効果】

【0010】

開示の技術によれば、効率的に認識器を学習することができる。

【図面の簡単な説明】

【0011】

【図1】ＲＯＣ曲線の一例を示す図である。

【図2】本実施形態の認識器学習装置として機能するコンピュータの一例の概略ブロック図である。

【図3】本実施形態の認識器学習装置の機能構成を表すブロック図である。

【図4】本実施形態の認識器学習処理の流れを表すフローチャートである。

【発明を実施するための形態】

【0012】

以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一または等価な構成要素および部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

【0013】

＜本実施形態の概要＞
本実施形態では、効率的なＡＵＣ最大化学習のため、認識器の学習状況に合わせて適応的に学習効果の高い学習用データを選定する。学習途中の認識器において誤認識されやすい学習用データを、学習効果の高い、認識が困難な学習用データであるとし、認識が困難な学習用データの設定とそれに基づく学習ペアの選定を行う。ラベルを決定するための閾値を、ＲＯＣ曲線の形状から決定し、決定した閾値によって誤認識する学習用データを、認識が困難な学習用データとして選び出す。選ばれた、認識が困難な学習用データを中心に学習ペアを構築することで、効率的な学習を実現する。

【0014】

図１に、本実施形態における閾値の決定方法の概念図を示す。学習用データに対する認識性能として図１のようなＲＯＣ曲線が得られている際に、ＲＯＣ曲線上において最も左上に得られる丸印で示される点を、認識が困難な学習用データを選択するための閾値として採用する。認識器が出力するスコアが閾値以下となる正例と、閾値よりも認識器が出力するスコアが大きい負例とが、認識が困難な学習用データとして選択される。なお、図１では、縦軸がＴＰＲを示し、横軸がＦＰＲを示すグラフにおいてＲＯＣ曲線を示す例を示している。また、灰色の部分が、ＡＵＣを示している。

【0015】

＜本実施形態に係る認識器学習装置の構成＞
図２は、本実施形態の認識器学習装置１０のハードウェア構成を示すブロック図である。

【0016】

図２に示すように、認識器学習装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６および通信インタフェース（Ｉ／Ｆ）１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。

【0017】

ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２またはストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２またはストレージ１４に記憶されているプログラムに従って、上記各構成の制御および各種の演算処理を行う。本実施形態では、ＲＯＭ１２またはストレージ１４には、認識器を学習するための認識器学習プログラムが格納されている。認識器学習プログラムは、１つのプログラムであっても良いし、複数のプログラムまたはモジュールで構成されるプログラム群であっても良い。

【0018】

ＲＯＭ１２は、各種プログラムおよび各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラムまたはデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、および各種データを格納する。

【0019】

入力部１５は、マウス等のポインティングデバイス、およびキーボードを含み、各種の入力を行うために使用される。

【0020】

入力部１５は、学習用ラベルが与えられた複数の学習用データの入力を受け付ける。ここで、学習用データとは、画像や音声のような一定の大きさにまとめられた多変量のデジタル信号である。また、学習用ラベルとは、各データに対応付けられた正あるいは負のラベルである。本実施形態では、学習される認識器が、入力されるデジタル信号に対して正あるいは負の認識結果を示すスコアを出力する場合を例に説明する。

【0021】

表示部１６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能しても良い。

【0022】

通信インタフェース１７は、他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。

【0023】

次に、認識器学習装置１０の機能構成について説明する。図３は、認識器学習装置１０の機能構成の例を示すブロック図である。

【0024】

認識器学習装置１０は、機能的には、図３に示すように、学習用データ記憶部２０、学習用ラベル記憶部２２、学習部２４、パラメータ記憶部２６、スコア算出部２８、閾値決定部３０、選択部３２、および選択データ記憶部３４を備えている。

【0025】

学習用データ記憶部２０は、入力された複数の学習用データを記憶する。

【0026】

学習用ラベル記憶部２２は、入力された複数の学習用データの各々に付与されている学習用ラベルを記憶する。

【0027】

学習部２４は、学習用ラベルが与えられた複数の学習用データに基づいて、ＡＵＣを最大化するように、データのラベルを認識する認識器のパラメータを学習し、パラメータ記憶部２６に格納する。このとき、学習部２４は、後述する選択部３２による、認識が困難な学習用データの選択結果に応じた学習用データに基づいて、認識が困難な学習用データに対する認識器による認識結果と、学習用データの学習用ラベルとは異なる学習用ラベルが付与された、認識が困難な学習用データではない学習用データに対する認識器による認識結果とを比較した結果を用いて表される目的関数を最適化するように認識器を学習する。

【0028】

具体的には、学習部２４は、学習用データ、学習用ラベル、認識が困難な学習用データの選択結果を用いて、目的関数を最小化することによりＡＵＣを最大化するように認識器の学習を行う。本実施形態では、認識器は深層ニューラルネットワーク（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ： ＤＮＮ）によって構築されているものとし、適切な目的関数のもとで誤差逆伝播法によってＤＮＮのパラメータを学習する場合を例に説明する。最小化すべき目的関数として以下のＥを用いる。

【0029】

【数1】

（１）

【数2】

（２）

【0030】

ここで、Ｌ（Ｐ，Ｎ）は学習用ラベルとして正のラベルが付与された学習用データである正例データの集合Ｐと、学習用ラベルとして負のラベルが付与された学習用データである負例データの集合Ｎとから算出される損失関数を示す。ｆ（ｘ）は入力データｘに対するＤＮＮの出力値を示し、ｌ（・）は０や負の値に対して損失を与えるような関数を設定する。例えば、上記非特許文献２において用いられているｌ（ｚ）＝（１－ｚ）^２を用いることができるが、それ以外の関数を用いても良い。ｘ_ｐ、ｘ_ｎはそれぞれ、正例データ、および負例データを示している。ｍ（・）は集合に含まれるデータの総数を示す。この目的関数はｆ（ｘ_ｐ）がｆ（ｘ_ｎ）よりも大きいと値が小さくなる関数であり、正例データであればＤＮＮの出力が高く、負例データであれば低くなるよう学習される。集合Ｐ_ｈ，Ｎ_ｈはそれぞれ、認識が困難な学習用データの正例データおよび負例データを示しており、Ｐ_ｅ，Ｎ_ｅは認識が困難な学習用データでない正例データおよび負例データを示している。認識器にとって見分けることが容易であるＰ_ｅとＮ_ｅとの比較を避け、認識が困難な学習用データを用いた比較を行うことで学習を効率的にする。なお、認識が困難な学習用データの選択処理が行われる前の初回の学習時には全ての学習用データが、認識が困難な学習用データであるとして学習が行われる。学習の反復終了条件には適当なものを採用して良い。例えば、予め決められた数のペアについて誤差逆伝播を適用しパラメータを更新したら学習の反復終了とする。

【0031】

また、目的関数Ｅについては以下のような式を用いても良い。

【0032】

【数3】

（３）

【0033】

パラメータ記憶部２６は、学習部２４によって学習された認識器のパラメータを記憶する。

【0034】

スコア算出部２８は、学習された認識器を用いて、複数の学習用データの各々について、認識器が出力するスコアを算出する。

【0035】

閾値決定部３０は、複数の学習用データの各々について算出されたスコアに基づいて得られる、真陽性率と偽陽性率との対応関係を表すＲＯＣ曲線の形状に基づいて、ラベルを決定するためのスコアに関する閾値を決定し、認識が困難な学習用データを選択するための閾値とする。

【0036】

具体的には、閾値決定部３０は、以下の指標Ａ（θ）の値を最小化するような閾値θを求める。指標Ａ（θ）は、（ＦＰＲ，ＴＰＲ）＝（０，１）の点から、ＲＯＣ曲線における閾値θに対応する点までのＬ１距離を示す。

【0037】

【数4】

（４）

【数5】

（５）

【数6】

（６）

【0038】

ここで、Ｈ（ｘ）はｘが０より大きいと１、それ以外を０とするステップ関数を示す。ＴＰＲは正例データのうち正しく正と判断されたものの割合を示すＴｒｕｅ Ｐｏｓｉｔｉｖｅ Ｒａｔｅを示す。ＦＰＲは負例データのうち誤って正と判断されたものの割合を示すＦａｌｓｅ Ｐｏｓｉｔｉｖｅ Ｒａｔｅを示す。閾値決定に用いる指標Ａの最小化は、ＴＰＲとＦＰＲが共に良好となるような値を選択することであり、認識が困難な学習用データを、正例データおよび負例データからバランス良く選定するのに適していると考えられる。閾値θを０から１まで探索し、Ａ（θ）が最も小さくなる^～θを閾値として用いる。また、指標Ａについて以下のようにＬ２距離を用いても良い。

【0039】

【数7】

（７）

【0040】

選択部３２は、決定された閾値と、複数の学習用データの各々について算出されたスコアとに基づいて、認識器による認識が困難な学習用データを選択し、選択データ記憶部３４に格納する。認識が困難な学習用データの選択結果を活用して更に学習部２４による学習が行われる。

【0041】

正例データＰについては

となる学習用データを、認識が困難な学習用データＰ_ｈとし、残りをＰ_ｅとする。負例データＮについては

となる学習用データを、認識が困難な学習用データＮ_ｈとし、残りをＮ_ｅとする。選択された学習用データの各集合Ｐ_ｈ、Ｐ_ｅ、Ｎ_ｈ、Ｎ_ｅを用いて再度、学習部２４による学習が行われる。

【0042】

予め定められた反復終了条件を満たすまで、学習部２４による学習、スコア算出部２８による算出、閾値決定部３０による決定、および選択部３２による選択を繰り返し、最終的に得られた認識器のパラメータが学習結果として出力される。

【0043】

このように、学習部２４による学習と選択部３２による認識が困難な学習用データの選択を十分に繰り返すことで、精度よく認識可能な認識器パラメータを高速に得ることができる。

【0044】

選択データ記憶部３４には、選択された学習用データの各集合Ｐ_ｈ、Ｐ_ｅ、Ｎ_ｈ、Ｎ_ｅが記憶される。

【0045】

＜本実施形態に係る認識器学習装置の作用＞
次に、認識器学習装置１０の作用について説明する。図４は、認識器学習装置１０による認識器学習処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２またはストレージ１４から認識器学習プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、認識器学習処理が行なわれる。また、認識器学習装置１０に、学習用ラベルが与えられた複数の学習用データの入力が入力される。

【0046】

ステップＳ１０１において、ＣＰＵ１１は、学習部２４として、後述するステップＳ１０４による、認識が困難な学習用データの選択結果に応じた学習用データに基づいて、目的関数を最適化するように、データのラベルを認識する認識器のパラメータを学習し、パラメータ記憶部２６に格納する。

【0047】

ステップＳ１０２において、ＣＰＵ１１は、スコア算出部２８として、学習された認識器を用いて、複数の学習用データの各々について、認識器が出力するスコアを算出する。

【0048】

ステップＳ１０３において、ＣＰＵ１１は、閾値決定部３０として、複数の学習用データの各々について算出されたスコアに基づいて得られるＲＯＣ曲線の形状に基づいて、ラベルを決定するためのスコアに関する閾値を決定し、認識が困難な学習用データを選択するための閾値とする。

【0049】

ステップＳ１０４において、ＣＰＵ１１は、選択部３２として、決定された閾値と、複数の学習用データの各々について算出されたスコアとに基づいて、認識器による認識が困難な学習用データを選択し、選択データ記憶部３４に格納する。

【0050】

ステップＳ１０５において、ＣＰＵ１１は、予め定められた反復終了条件を満たしたか否かを判定する。反復終了条件を満たさない場合には、上記ステップＳ１０１へ戻り、一方、反復終了条件を満たす場合には、認識器学習処理を終了する。

【0051】

以上説明したように、本実施形態に係る認識器学習装置は、学習用データの選択結果に応じた前記学習用データに基づいて、データのラベルを認識する認識器を学習し、学習された認識器を用いて、複数の学習用データの各々について、認識器が出力するスコアを算出し、複数の学習用データの各々について算出されたスコアに基づいて得られるＲＯＣ曲線の形状に基づいて、閾値を決定し、決定された閾値と、複数の学習用データの各々について算出されたスコアとに基づいて、認識器による認識が困難な学習用データを選択することを繰り返す。これにより、効率的に認識器を学習することができる。

【0052】

また、画像認識による設備劣化検知や音声認識による異常検知といった認識対象の出現数に偏りがあるような問題に対して効率的にＡＵＣ最大化学習を行うことができる。学習の効率化によって学習にかかる時間が大幅に低減され、また認識性能も向上することが期待される。

【0053】

なお、本発明は、上述した実施形態の装置構成および作用に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

【0054】

例えば、上記実施形態では認識するラベルが正負２種である場合を説明したが、３種以上のラベルに対しても容易に拡張可能である。各ラベルに対してそのラベルらしさが出力されるようなスコアを設定し、各スコアに対して対象ラベルを正例、その他のラベルを負例として目的関数を設定すれば良い。あるラベルｉの学習用データの集合をＤ^ｉ、その他の学習用データの集合をＤ^＼ｉと表すと、複数ラベルに対する目的関数Ｅは以下の式で表される。

【0055】

【数8】

（８）

【0056】

また、上記実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した各種処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、およびＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、認識器学習処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、およびＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

【0057】

また、上記各実施形態では、認識器学習プログラムがストレージ１４に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、およびＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0058】

以上の実施形態に関し、更に以下の付記を開示する。

【0059】

（付記項１）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
学習用ラベルが与えられた複数の学習用データに基づいて、データのラベルを認識する認識器を学習し、
前記学習された認識器を用いて、前記複数の学習用データの各々について、前記認識器が出力するスコアを算出し、
前記複数の学習用データの各々について算出されたスコアに基づいて得られる、真陽性率と偽陽性率との対応関係を表すＲＯＣ（Ｒｅｃｅｉｖｅｒ Ｏｐｅｒａｔｉｎｇ Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）曲線の形状に基づいて、ラベルを決定するための前記スコアに関する閾値を決定し、
前記決定された閾値と、前記複数の学習用データの各々について算出されたスコアとに基づいて、前記認識器による認識が困難な前記学習用データを選択することを
予め定められた反復終了条件を満たすまで繰り返し、
前記学習することでは、前記学習用データの選択結果に応じた前記学習用データに基づいて、前記認識器を学習する
認識器学習装置。

【0060】

（付記項２）
認識器学習処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
前記認識器学習処理は、
学習用ラベルが与えられた複数の学習用データに基づいて、データのラベルを認識する認識器を学習し、
前記学習された認識器を用いて、前記複数の学習用データの各々について、前記認識器が出力するスコアを算出し、
前記複数の学習用データの各々について算出されたスコアに基づいて得られる、真陽性率と偽陽性率との対応関係を表すＲＯＣ（Ｒｅｃｅｉｖｅｒ Ｏｐｅｒａｔｉｎｇ Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）曲線の形状に基づいて、ラベルを決定するための前記スコアに関する閾値を決定し、
前記決定された閾値と、前記複数の学習用データの各々について算出されたスコアとに基づいて、前記認識器による認識が困難な前記学習用データを選択することを
予め定められた反復終了条件を満たすまで繰り返し、
前記学習することでは、前記学習用データの選択結果に応じた前記学習用データに基づいて、前記認識器を学習する
非一時的記憶媒体。

【符号の説明】

【0061】

１０ 認識器学習装置
１５ 入力部
１６ 表示部
２０ 学習用データ記憶部
２２ 学習用ラベル記憶部
２４ 学習部
２６ パラメータ記憶部
２８ スコア算出部
３０ 閾値決定部
３２ 選択部
３４ 選択データ記憶部

【図1】

【図2】

【図3】

【図4】