ホーム > 特許ランキング > 国立大学法人電気通信大学
特開2023-90280誤分類出力検知・訂正システム、誤分類出力検知・訂正方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023090280
(43)【公開日】2023-06-29
(54)【発明の名称】誤分類出力検知・訂正システム、誤分類出力検知・訂正方法及びプログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20230622BHJP
【ＦＩ】
G06N20/00
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2021205164
(22)【出願日】2021-12-17
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （証明書１）発行日 令和２年１２月１８日 進化計算学会 進化計算シンポジウム２０２０講演論文集 （証明書２）公開日 令和２年１２月２０日 進化計算学会 進化計算シンポジウム２０２０（オンライン開催） （証明書３）発行日 令和３年６月２８日 ＩＥＥＥ Ｃｏｎｇｒｅｓｓ ｏｎ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｃｏｍｐｕｔａｔｉｏｎ ２０２１ Ｐａｐｅｒ Ａｂｓｔｒａｃｔｓ （証明書４）公開日 令和３年６月２９日 ＩＥＥＥ Ｃｏｎｇｒｅｓｓ ｏｎ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｃｏｍｐｕｔａｔｉｏｎ ２０２１（オンライン開催） （証明書５）発行日 令和３年７月１０日 ＧＥＣＣＯ ’２１：Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｇｅｎｅｔｉｃ ａｎｄ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｃｏｍｐｕｔａｔｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ ２０２１ （証明書６）公開日 令和３年７月１２日 ＧＥＣＣＯ ２０２１（Ｔｈｅ Ｇｅｎｅｔｉｃ ａｎｄ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｃｏｍｐｕｔａｔｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ ２０２１）（オンライン開催）
(71)【出願人】
【識別番号】504133110
【氏名又は名称】国立大学法人電気通信大学
(74)【代理人】
【識別番号】110000925
【氏名又は名称】弁理士法人信友国際特許事務所
(72)【発明者】
【氏名】▲高▼玉 圭樹
(72)【発明者】
【氏名】白石 洋輝
(57)【要約】
【課題】ＬＣＳの誤った出力(行動)を検知して訂正できるようにする。
【解決手段】入力データを、ｋ個に分類する分類器により分類された分類済出力結果の誤分類を検知すると共に、誤分類を正しいと思われる分類に訂正する。ここで、入力データと分類済出力結果とを受け取り、分類済出力結果を正解ラベルとして分類を行う誤判定用エンコーダと、ｋ個の正解ラベルのそれぞれで入力データの復元を行うｋ個のデコーダと、各デコーダの復元データの内で、分類済出力結果を正解ラベルとして使って得られた復元データと、他のデコーダで得られた復元データとに基づいて得た異常度から誤分類を検知する。
【選択図】図１
【解決手段】入力データを、ｋ個に分類する分類器により分類された分類済出力結果の誤分類を検知すると共に、誤分類を正しいと思われる分類に訂正する。ここで、入力データと分類済出力結果とを受け取り、分類済出力結果を正解ラベルとして分類を行う誤判定用エンコーダと、ｋ個の正解ラベルのそれぞれで入力データの復元を行うｋ個のデコーダと、各デコーダの復元データの内で、分類済出力結果を正解ラベルとして使って得られた復元データと、他のデコーダで得られた復元データとに基づいて得た異常度から誤分類を検知する。
【選択図】図１
【特許請求の範囲】
【請求項1】
入力データを、ｋ個に分類する分類器により分類された分類済出力結果の誤分類を検知すると共に、誤分類を正しいと思われる分類に訂正する誤分類出力検知・訂正システムであり、
前記入力データと前記分類済出力結果とを受け取り、前記分類済出力結果を正解ラベルとして分類を行う誤判定用エンコーダと、
前記誤判定用エンコーダの出力結果を受け取り、ｋ個の正解ラベルのそれぞれで前記入力データの復元を行うｋ個のデコーダと、
ｋ個の前記デコーダで得られた復元データの内で、前記分類済出力データと同じデータの正解ラベルを使って得られた復元データと、他の前記デコーダで得られた復元データとに基づいて得た異常度から、前記分類済出力結果の誤分類を検知する誤判定検知器と、を備える
誤分類出力検知・訂正システム。
前記入力データと前記分類済出力結果とを受け取り、前記分類済出力結果を正解ラベルとして分類を行う誤判定用エンコーダと、
前記誤判定用エンコーダの出力結果を受け取り、ｋ個の正解ラベルのそれぞれで前記入力データの復元を行うｋ個のデコーダと、
ｋ個の前記デコーダで得られた復元データの内で、前記分類済出力データと同じデータの正解ラベルを使って得られた復元データと、他の前記デコーダで得られた復元データとに基づいて得た異常度から、前記分類済出力結果の誤分類を検知する誤判定検知器と、を備える
誤分類出力検知・訂正システム。
【請求項2】
前記異常度は、前記入力データと他の前記デコーダで得られた復元データとの平均二乗誤差の中で最小値を分母とし、前記入力データと前記分類済出力結果を正解ラベルとして使って得られた復元データとの平均二乗誤差を分子として、求めた値が１以上のとき、異常度として誤分類と検知し、求めた値が１未満のとき正しい分類と検知する
請求項１に記載の誤分類出力検知・訂正システム。
請求項１に記載の誤分類出力検知・訂正システム。
【請求項3】
前記入力データと、他の前記デコーダで得られた復元データとの平均二乗誤差が最小値となる正解ラベルを、正しいと思われる分類として出力する訂正器をさらに備えた
請求項２に記載の誤分類出力検知・訂正システム。
請求項２に記載の誤分類出力検知・訂正システム。
【請求項4】
入力データを、ｋ個に分類する分類器により分類された分類済出力結果の誤分類を検知すると共に、誤分類を正しいと思われる分類に訂正する誤分類出力検知・訂正方法であり、
前記入力データと前記分類済出力結果とを受け取り、前記分類済出力結果を正解ラベルとして分類を行う誤判定用エンコード処理と、
前記誤判定用エンコード処理により得た出力結果を受け取り、ｋ個の正解ラベルのそれぞれで前記入力データの復元を行う、ｋ個のデコード処理と、
ｋ個の前記デコード処理によって得られた復元データの内で、前記分類済出力データと同じデータの正解ラベルを使って得られた復元データと、他の前記デコード処理で得られた復元データとに基づいて得た異常度から、前記分類済出力結果の誤分類を検知する誤判定検知処理と、を含む
誤分類出力検知・訂正方法。
前記入力データと前記分類済出力結果とを受け取り、前記分類済出力結果を正解ラベルとして分類を行う誤判定用エンコード処理と、
前記誤判定用エンコード処理により得た出力結果を受け取り、ｋ個の正解ラベルのそれぞれで前記入力データの復元を行う、ｋ個のデコード処理と、
ｋ個の前記デコード処理によって得られた復元データの内で、前記分類済出力データと同じデータの正解ラベルを使って得られた復元データと、他の前記デコード処理で得られた復元データとに基づいて得た異常度から、前記分類済出力結果の誤分類を検知する誤判定検知処理と、を含む
誤分類出力検知・訂正方法。
【請求項5】
入力データを、ｋ個に分類する分類器により分類された分類済出力結果の誤分類を検知すると共に、誤分類を正しいと思われる分類に訂正する誤分類出力検知・訂正を、コンピュータに実行させるプログラムであり、
前記入力データと前記分類済出力結果とを受け取り、前記分類済出力結果を正解ラベルとして分類を行う誤判定用エンコード処理と、
前記誤判定用エンコード処理により得た出力結果を受け取り、ｋ個の正解ラベルのそれぞれで前記入力データの復元を行う、ｋ個のデコード処理と、
ｋ個の前記デコード処理によって得られた復元データの内で、前記分類済出力データと同じデータの正解ラベルを使って得られた復元データと、他の前記デコード処理で得られた復元データとに基づいて得た異常度から、前記分類済出力データの誤分類を検知する誤判定検知処理と、をコンピュータに実行させる
プログラム。
前記入力データと前記分類済出力結果とを受け取り、前記分類済出力結果を正解ラベルとして分類を行う誤判定用エンコード処理と、
前記誤判定用エンコード処理により得た出力結果を受け取り、ｋ個の正解ラベルのそれぞれで前記入力データの復元を行う、ｋ個のデコード処理と、
ｋ個の前記デコード処理によって得られた復元データの内で、前記分類済出力データと同じデータの正解ラベルを使って得られた復元データと、他の前記デコード処理で得られた復元データとに基づいて得た異常度から、前記分類済出力データの誤分類を検知する誤判定検知処理と、をコンピュータに実行させる
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ニューラルネットワークや学習分類子システム、サポートベクターマシンなどの任意の分類モデルの誤りを検知して必要により訂正する、誤分類出力検知・訂正システム、誤分類出力検知・訂正方法及びプログラムに関する。
【背景技術】
【0002】
学習分類子システム(Learning Classifier System:ＬＣＳ)は、進化的なルールベースの機械学習として、データに埋め込まれた規則性を人間が理解しやすい「分類子」と呼ばれるＩＦ－ＴＨＥＮルールの形で生成することができるため、説明責任が問われる業務への応用が期待されている。
【0003】
しかしながら、ＬＣＳは交叉や突然変異操作などの進化過程にランダムな性質があるため、完全に「正しい」ルールに進化させることは保証できない。この問題に対して、正確性に基づく学習分類子システム(eXtended Classifier System:ＸＣＳ)では、不正確なルールを削除しつつ、正確なルールを保持することで、正しいルールを進化させることが試みられている。
非特許文献１には、ＸＣＳについての記載がある。
非特許文献１には、ＸＣＳについての記載がある。
【先行技術文献】
【特許文献】
【0004】
【非特許文献1】Stewart W Wilson.Classifier fitness based on accuracy.Evolutionary computation,Vol.3,No.2,pp.149-175,1995
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、ＸＣＳではまず正しいルールを進化させるための進化過程が必要である。またＸＣＳは、入力データの次元が大きくなるにつれて入力データの次元の組み合わせが増加するため、正しいルールを進化させることが困難になるという深刻な問題を引き起こしてしまう。これは、ＸＣＳが誤ったルールを進化させてしまうことを意味している。今日に至るまで、ＸＣＳはロボット工学、データマイニング、ネットワーク侵入検知などを含む多くの分野に適用されているものの、上述した正確性の問題から、自動運転や医療システムのように判断ミスが大きな問題となる実問題への適用は困難であった。
【0006】
なお、別の観点から問題点について述べると、従来の異常検知などを行う分類技術としては、入力した画像などのデータに対して、正常か異常かの２クラス分類を行うものが主流である。この２クラス分類の場合には、例えば異常検知を行うタスクに対して、教師なし学習手法であるＶＡＥに着目して、画像をＶＡＥに入力した際に算出される損失係数の値に基づいて、異常か正常かを判定するメカニズムが既に提案されている。
しかしながら、このメカニズムは、３クラス以上の分類問題に適用が困難である。
しかしながら、このメカニズムは、３クラス以上の分類問題に適用が困難である。
【0007】
本発明は、ＬＣＳの誤った出力(ＬＣＳでは行動に相当)を検知して訂正できる、誤分類出力検知・訂正システム、誤分類出力検知・訂正方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の誤分類出力検知・訂正システムは、入力データを、ｋ個に分類する分類器により分類された分類済出力結果の誤分類を検知すると共に、誤分類を正しいと思われる分類に訂正する誤分類出力検知・訂正システムである。
ここで、本発明の誤分類出力検知・訂正システムは、入力データと分類済出力データとを受け取り、分類済出力データを正解ラベルとして分類を行う誤判定用エンコーダと、誤判定用エンコーダの出力データを受け取り、ｋ個の正解ラベルのそれぞれで入力データの復元を行うｋ個のデコーダと、ｋ個のデコーダで得られた復元データの内で、分類済出力データと同じデータの正解ラベルを使って得られた復元データと、他のデコーダで得られた復元データとに基づいて得た異常度から、分類済出力データの誤分類を検知する誤判定検知器と、を備える。
ここで、本発明の誤分類出力検知・訂正システムは、入力データと分類済出力データとを受け取り、分類済出力データを正解ラベルとして分類を行う誤判定用エンコーダと、誤判定用エンコーダの出力データを受け取り、ｋ個の正解ラベルのそれぞれで入力データの復元を行うｋ個のデコーダと、ｋ個のデコーダで得られた復元データの内で、分類済出力データと同じデータの正解ラベルを使って得られた復元データと、他のデコーダで得られた復元データとに基づいて得た異常度から、分類済出力データの誤分類を検知する誤判定検知器と、を備える。
【0009】
また、本発明の誤分類出力検知・訂正方法は、入力データを、ｋ個に分類する分類器により分類された分類済出力データの誤分類を検知すると共に、誤分類を正しいと思われる分類に訂正する誤分類出力検知・訂正方法である。
ここで、本発明の誤分類出力検知・訂正方法は、入力データと分類済出力データとを受け取り、分類済出力データを正解ラベルとして分類を行う誤判定用エンコード処理と、誤判定用エンコード処理により得た出力データを受け取り、ｋ個の正解ラベルのそれぞれで入力データの復元を行う、ｋ個のデコード処理と、ｋ個デコード処理によって得られた復元データの内で、分類済出力データと同じデータの正解ラベルを使って得られた復元データと、他のデコード処理で得られた復元データとに基づいて得た異常度から、分類済出力データの誤分類を検知する誤判定検知処理と、を含む。
ここで、本発明の誤分類出力検知・訂正方法は、入力データと分類済出力データとを受け取り、分類済出力データを正解ラベルとして分類を行う誤判定用エンコード処理と、誤判定用エンコード処理により得た出力データを受け取り、ｋ個の正解ラベルのそれぞれで入力データの復元を行う、ｋ個のデコード処理と、ｋ個デコード処理によって得られた復元データの内で、分類済出力データと同じデータの正解ラベルを使って得られた復元データと、他のデコード処理で得られた復元データとに基づいて得た異常度から、分類済出力データの誤分類を検知する誤判定検知処理と、を含む。
【0010】
また、本発明のプログラムは、上記の誤分類出力検知・訂正方法の各処理を実行するプログラムをコンピュータに実行させるものである。
【発明の効果】
【0011】
本発明によれば、誤判定（誤分類）を引き起こす可能性のある判定結果を棄却して、正しい判定結果に訂正できるようになる。したがって、分類器の正確性を確保できるようになる。
【図面の簡単な説明】
【0012】
【図1】本発明の一実施の形態例による誤分類出力検知・訂正システムの構成例を示す図である。
【図2】本発明の一実施の形態例による誤分類出力検知・訂正システムによる誤判定検知の例（ＸＣＳＲの判定が誤りのとき）を示す図である。
【図3】本発明の一実施の形態例による誤分類出力検知・訂正システムによる誤判定検知の例（ＸＣＳＲの判定が正しいとき）を示す図である。
【図4】本発明の一実施の形態例による棄却されたＸＣＳＲの出力をＣＶＡＥによって正しいラベルに訂正した例を示す図である。
【図5】本発明の一実施の形態例によるデータセットの例を示す図である。
【図6】本発明の一実施の形態例による手書き数字の分類精度の推移を示す図である。
【図7】本発明の一実施の形態例を適用して実験した結果（ＭＤＣ／Ｃの性能）を示す図である。
【図8】本発明の一実施の形態例を適用して実験した結果（ＭＤＣ／Ｃの性能）を示す図である。
【図9】本発明の一実施の形態例による誤分類出力検知・訂正システムのハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【0013】
以下、本発明の一実施の形態例（以下、「本例」と称する）を、添付図面を参照して説明する。
【0014】
図１は、本例の誤分類出力検知・訂正システムの構成を示す。
まず、本例の誤分類出力検知・訂正システムに入力データ１を与える。
入力データ１を、分類器１０に供給して、分類済出力actを得る。
分類器１０は、ＣＶＡＥ(Conditional Variational Auto-Encoder)エンコーダ１２と、(実数値を扱う)学習分類子システム（ＸＣＳＲ：ＸＣＳ for Real Values）１３とを備える。
まず、本例の誤分類出力検知・訂正システムに入力データ１を与える。
入力データ１を、分類器１０に供給して、分類済出力actを得る。
分類器１０は、ＣＶＡＥ(Conditional Variational Auto-Encoder)エンコーダ１２と、(実数値を扱う)学習分類子システム（ＸＣＳＲ：ＸＣＳ for Real Values）１３とを備える。
【0015】
ＣＶＡＥエンコーダ１２は、条件付き変分オートエンコーダと称され、正解ラベル１１を入力する機構を有して、半教師あり学習機能を有して、指定されたラベルに基づいた次元削減を行うエンコーダである。例えば、７８４次元の入力データを、１０次元に削減する。
【0016】
入力データ１の一例を示すと、ここでは、入力データ１が画像データの場合を示す。
画像データとして、水平２８画素×垂直２８画素で構成されるとき、２８×２８＝７８４次元のデータになる。この入力画像データは、手書きされた０～９の１０種類の数字のいずれかであるとして、ＣＶＡＥエンコーダ１２で１０次元に削減される。
画像データとして、水平２８画素×垂直２８画素で構成されるとき、２８×２８＝７８４次元のデータになる。この入力画像データは、手書きされた０～９の１０種類の数字のいずれかであるとして、ＣＶＡＥエンコーダ１２で１０次元に削減される。
【0017】
ＣＶＡＥエンコーダ１２は、正解ラベルの入力を想定した半教師あり学習を行うため、正解ラベル１１を与える必要がある。但し、学習時には入力に対する正解を知っていても、学習後の新しい入力データを扱う際には正解ラベルを知ることはできない。
そこで、ＣＶＡＥエンコーダ１２の学習時に使用する訓練データの正解ラベルは、正しい正解ラベルを知っていても、入力データに拘らず全て同一のものを使用する。これによって、ＣＶＡＥエンコーダ１２は、正解ラベルを考慮しなくなるため、教師あり学習であるＣＶＡＥエンコーダ１２を、あたかも教師なし学習のエンコーダとして使用できる。
そこで、ＣＶＡＥエンコーダ１２の学習時に使用する訓練データの正解ラベルは、正しい正解ラベルを知っていても、入力データに拘らず全て同一のものを使用する。これによって、ＣＶＡＥエンコーダ１２は、正解ラベルを考慮しなくなるため、教師あり学習であるＣＶＡＥエンコーダ１２を、あたかも教師なし学習のエンコーダとして使用できる。
【0018】
通常、ＣＶＡＥエンコーダ１２の観測変数ｘの正解ラベルをｙとして扱う際は，ｙを1-of-K表現(成分のひとつだけが１，残りがすべて０となるｋ次元ベクトルで表現)にする。しかしながら、ここではクラスレベル（正解ラベル）なしで次元削減するため、学習時及び次元削減を行う使用時には、正解ラベルを表す1-of-K表現のベクトルを使用する代わりに、正解ラベル１１として、全データに対して０を入力する。
【0019】
ＣＶＡＥエンコーダ１２で得られた１０次元に削減されたデータは、学習分類子システム１３に供給される。
学習分類子システム（ＸＣＳＲ）１３は、ＣＶＡＥエンコーダ１２から受け取ったデータを、IF-THENルールで決められた数（ｋ個：ｋは任意の数）に分類する。例えば、手書きされた０～９の１０種類の数字のいずれかを分類する場合、１０個に分類することになる。
ＸＣＳＲである学習分類子システム１３では、学習分類子システム１３で分類された出力と、訓練データの正解ラベルが一致した場合、一定の報酬を環境から受け取る。ＸＣＳＲでは、この動作を繰り返すことで、正しい分類ができるIF-THENルールを学習する。
学習分類子システム（ＸＣＳＲ）１３は、ＣＶＡＥエンコーダ１２から受け取ったデータを、IF-THENルールで決められた数（ｋ個：ｋは任意の数）に分類する。例えば、手書きされた０～９の１０種類の数字のいずれかを分類する場合、１０個に分類することになる。
ＸＣＳＲである学習分類子システム１３では、学習分類子システム１３で分類された出力と、訓練データの正解ラベルが一致した場合、一定の報酬を環境から受け取る。ＸＣＳＲでは、この動作を繰り返すことで、正しい分類ができるIF-THENルールを学習する。
【0020】
入力データ１と分類器１０の出力（分類済出力）actとは、誤判定・訂正器２０に供給される。誤判定・訂正器２０は、ＭＤＣ／Ｃ(Misclassification Detection and Correction based on Conditional Variational Auto-Encoder)とも称される。
誤判定・訂正器２０は、誤判定用ＣＶＡＥエンコーダ（誤判定用エンコーダ）２１と、ｋ個のＣＶＡＥデコーダ２２～２６と、誤判定検知器２８と、誤判定訂正器２９とを備える。
誤判定・訂正器２０は、誤判定用ＣＶＡＥエンコーダ（誤判定用エンコーダ）２１と、ｋ個のＣＶＡＥデコーダ２２～２６と、誤判定検知器２８と、誤判定訂正器２９とを備える。
【0021】
誤判定用ＣＶＡＥエンコーダ２１では、誤判定用エンコード処理が行われる。この誤判定用ＣＶＡＥエンコーダ２１は、ＣＶＡＥエンコーダ１２と違って、学習時に使用する訓練データの正解ラベルｙは、入力ｘ（入力データ１）に対応したものになっている。これによって、任意のラベルに対応した出力である画像を生成できる。
【0022】
誤判定用ＣＶＡＥエンコーダ２１の出力Ｚは、ｋ個のＣＶＡＥデコーダ２２～２６に供給される。ここでは、０～９の１０個の数字を分類するため、ＣＶＡＥデコーダ２２～２６は１０個であり、ｋ個のＣＶＡＥデコーダ２２～２６に、それぞれ個別の正解ラベル０～９が供給される。例えば、ＣＶＡＥデコーダ２２には、「０」の正解ラベル２３が供給され、ＣＶＡＥデコーダ２４には、「１」の正解ラベル２５が供給される。以下、同様にして、「２」「３」「４」・・・の正解ラベルが、別のＣＶＡＥデコーダに供給され、末尾のＣＶＡＥデコーダ２６には、「９」の正解ラベル２７が供給される。
【0023】
したがって、ｋ個のＣＶＡＥデコーダ２２～２６からは、正解ラベル０の復元データｘ０（^）、正解ラベル１の復元データｘ１、・・・、正解ラベル９の復元データｘ９のｋ個（１０個）の復元データが得られる。（^）は、後述する数式で示すように、本来は「ｘ」の上に付与される記号であるが、表記上の制約のため、本明細書ではこのように示す。
このｋ個（１０個）の復元データは、誤判定検知器２８に供給される。誤判定検知器２８では、ｋ個の復元データの内で、分類器１０で得られた分類済出力actと同じ正解ラベルを使ってデコード処理を行った復元データｘactと、他の復元データとの比較で、異常度Ａを得る。異常度Ａについては、後述する。
そして、誤判定検知器２８は、得られた異常度Ａを判定用閾値と比較し、異常度Ａが判定用閾値より大きいとき、分類器１０で得られた分類済出力actが誤分類であると判定し、判定結果を誤判定訂正器２９に供給する。
また、誤判定検知器２８は、得られた異常度Ａを判定用閾値と比較し、異常度Ａが判定用閾値以下であるとき、分類器１０での分類を正しい分類と検知して、誤判定・訂正器２０は、分類器１０で得られた分類済出力actを、正しいと推測される出力データ２として出力する。
このｋ個（１０個）の復元データは、誤判定検知器２８に供給される。誤判定検知器２８では、ｋ個の復元データの内で、分類器１０で得られた分類済出力actと同じ正解ラベルを使ってデコード処理を行った復元データｘactと、他の復元データとの比較で、異常度Ａを得る。異常度Ａについては、後述する。
そして、誤判定検知器２８は、得られた異常度Ａを判定用閾値と比較し、異常度Ａが判定用閾値より大きいとき、分類器１０で得られた分類済出力actが誤分類であると判定し、判定結果を誤判定訂正器２９に供給する。
また、誤判定検知器２８は、得られた異常度Ａを判定用閾値と比較し、異常度Ａが判定用閾値以下であるとき、分類器１０での分類を正しい分類と検知して、誤判定・訂正器２０は、分類器１０で得られた分類済出力actを、正しいと推測される出力データ２として出力する。
【0024】
図２及び図３は、誤判定検知器２８での誤判定検知の詳細を示す。
図２は、入力画像ｘが「０」の手書き文字であり、分類器１０の分類出力が「１」で、誤分類を行った場合の例を示す。
ここで、ＣＶＡＥデコーダ２２には、正解ラベルとして分類器１０の分類出力「１」を与え、他の（ｋ－１）個のＣＶＡＥデコーダ２４～２６には、正解ラベルとして「１」以外のラベル「０」、「２」～「９」を与える。
図２は、入力画像ｘが「０」の手書き文字であり、分類器１０の分類出力が「１」で、誤分類を行った場合の例を示す。
ここで、ＣＶＡＥデコーダ２２には、正解ラベルとして分類器１０の分類出力「１」を与え、他の（ｋ－１）個のＣＶＡＥデコーダ２４～２６には、正解ラベルとして「１」以外のラベル「０」、「２」～「９」を与える。
【0025】
したがって、ｋ個（１０個）のＣＶＡＥデコーダ２２～２６の復元出力画像として、分類器１０の分類出力「１」で復元した出力画像ｘact（^）と、その他のラベル「０」、「２」～「９」で復元した複数の出力画像ｘとが得られる。
【0026】
そして、分類器１０の分類出力「１」で復元した出力画像ｘact（^）と、その他のラベル「０」、「２」～「９」で復元した各々の出力画像ｘとに基づいて、異常度Ａを算出する。異常度Ａは、次の［数１］式に示すように、入力データと他のデコーダで得られた復元データとの平均二乗誤差の中で最小値を分母とし、入力データと分類済出力結果を正解ラベルとして使って得られた復元データとの平均二乗誤差を分子とする。［数１］式において、ＭＳＥは平均二乗誤差である。
【0027】
【数1】
【0028】
誤判定検知器２８では、異常度Ａを求める処理を、分類器１０の分類出力「１」で復元した出力画像ｘact（^）と、各ラベル「０」、「２」～「９」で復元した各々の出力画像ｘとに基づいて行う。
そして、誤判定検知器２８は、異常度Ａとして、１．０を超える値のものがあるか否かを判断する。
例えば、図２の例では、分類器１０の分類出力が「１」が誤分類の場合であり、本来の正解ラベル「０」とで求めた異常度Ａが、［数２］式に示すように、１．０を超えた値１．２９５になる。
そして、誤判定検知器２８は、異常度Ａとして、１．０を超える値のものがあるか否かを判断する。
例えば、図２の例では、分類器１０の分類出力が「１」が誤分類の場合であり、本来の正解ラベル「０」とで求めた異常度Ａが、［数２］式に示すように、１．０を超えた値１．２９５になる。
【0029】
【数2】
【0030】
このように、誤判定検知器２８は、異常度Ａが判定用閾値１．０を超えたとき、分類器１０の分類出力「１」を誤分類と判定し、分類器１０の分類出力「１」を棄却する。
【0031】
図３は、入力画像ｘが「０」の手書き文字であり、分類器１０の分類出力が「０」で、正しい分類を行った場合の例を示す。
ここで、ＣＶＡＥデコーダ２２には、正解ラベルとして分類器１０の分類出力「０」を与え、他の（ｋ－１）個のＣＶＡＥデコーダ２４～２６には、正解ラベルとして「０」以外のラベル「１」～「９」を与える。
このときの異常度Ａは、例えば［数３］式に示すようになる。この［数３］式の例は、ラベル「１」～「９」で復元した各々の出力画像ｘの中で、入力画像ｘの「０」と一番ＭＳＥが小さかったラベル「９」のときのＭＳＥと比較した異常度Ａである。
ここで、ＣＶＡＥデコーダ２２には、正解ラベルとして分類器１０の分類出力「０」を与え、他の（ｋ－１）個のＣＶＡＥデコーダ２４～２６には、正解ラベルとして「０」以外のラベル「１」～「９」を与える。
このときの異常度Ａは、例えば［数３］式に示すようになる。この［数３］式の例は、ラベル「１」～「９」で復元した各々の出力画像ｘの中で、入力画像ｘの「０」と一番ＭＳＥが小さかったラベル「９」のときのＭＳＥと比較した異常度Ａである。
【0032】
【数3】
【0033】
このように、平均二乗誤差を使って得た異常度Ａが、判定用閾値１．０未満であるとき、誤判定検知器２８は、分類器１０の分類出力「０」を正しい分類と判定する。
このとき、分類器１０の分類出力「０」が、本例のシステムの出力データ２になる。
このとき、分類器１０の分類出力「０」が、本例のシステムの出力データ２になる。
【0034】
そして、誤判定検知器２８で分類器１０の分類出力「１」を誤分類と判定したとき、誤判定訂正器２９が、正しいと思われる分類結果を選択して出力する。
図４は、誤判定訂正器２９での処理の例を示す。
この図４の例では、入力画像が「７」の手書き文字画像であり、分類器１０の分類出力actの値「５」が、誤判定検知器２８で誤分類と判定した場合である。
このとき、誤判定訂正器２９では、誤判定検知器２８で得られた各ラベルでの異常度Ａを比較して、異常度Ａの値が最小となるラベルを、正解として選択する。図４の例では、ラベル「７」の異常度Ａが他のラベルの異常度Ａよりも小さい値になり、誤判定訂正器２９は、誤判定訂正ラベル（estimatedLabel）として、「７」を出力する。
図４は、誤判定訂正器２９での処理の例を示す。
この図４の例では、入力画像が「７」の手書き文字画像であり、分類器１０の分類出力actの値「５」が、誤判定検知器２８で誤分類と判定した場合である。
このとき、誤判定訂正器２９では、誤判定検知器２８で得られた各ラベルでの異常度Ａを比較して、異常度Ａの値が最小となるラベルを、正解として選択する。図４の例では、ラベル「７」の異常度Ａが他のラベルの異常度Ａよりも小さい値になり、誤判定訂正器２９は、誤判定訂正ラベル（estimatedLabel）として、「７」を出力する。
【0035】
次に、本例の誤分類出力検知・訂正システムで分類した場合の分類精度の例を、図５以降を参照して説明する。
ここでは、図５に示すように、「０」～「９」の手書き文字画像（垂直２８画素×水平２８画素＝７８４次元）のデータを分類して、分類手法による精度を比較したものである。
分類手法としては、次の手法（１）～（４）を用意する。
手法（１）は、ＸＣＳＲを使って、７８４次元で学習して分類したものである。
手法（２）は、ＣＶＡＥＸＣＳＲで、７８４次元を１０次元に圧縮した後、１０次元で学習して分類したものである。この手法（２）は、図１に示す分類器１０での分類に相当する。すなわち、手法（２）はＣＶＡＥ＋ＸＣＳＲであり、ＣＶＡＥで圧縮したデータを用いてＸＣＳＲが分類ルールを学習するものである。
手法（３）は、さらに、ＣＶＡＥＸＣＳＲによる出力を、本例の誤判定・訂正器２０の誤判定検知器２８で誤判定の検知を行って、異常出力を棄却した場合の分類結果である。
手法（４）は、さらに、ＣＶＡＥＸＣＳＲによる出力を誤判定検知器２８で誤判定の検知を行った後、異常出力を誤判定訂正器２９で訂正した場合の分類精度である。
ここでは、図５に示すように、「０」～「９」の手書き文字画像（垂直２８画素×水平２８画素＝７８４次元）のデータを分類して、分類手法による精度を比較したものである。
分類手法としては、次の手法（１）～（４）を用意する。
手法（１）は、ＸＣＳＲを使って、７８４次元で学習して分類したものである。
手法（２）は、ＣＶＡＥＸＣＳＲで、７８４次元を１０次元に圧縮した後、１０次元で学習して分類したものである。この手法（２）は、図１に示す分類器１０での分類に相当する。すなわち、手法（２）はＣＶＡＥ＋ＸＣＳＲであり、ＣＶＡＥで圧縮したデータを用いてＸＣＳＲが分類ルールを学習するものである。
手法（３）は、さらに、ＣＶＡＥＸＣＳＲによる出力を、本例の誤判定・訂正器２０の誤判定検知器２８で誤判定の検知を行って、異常出力を棄却した場合の分類結果である。
手法（４）は、さらに、ＣＶＡＥＸＣＳＲによる出力を誤判定検知器２８で誤判定の検知を行った後、異常出力を誤判定訂正器２９で訂正した場合の分類精度である。
【0036】
図６は、この４つの手法（１）～（４）で分類を実行した場合の正答率（縦軸）を示し、横軸は学習回数を示す。
図６に示す４つの手法の正解率の内で、最も下側の正答率の手法（１）の正答率は、１０％付近を推移している。
一方、下から２番目の正答率の手法（２）の正答率は、学習回数が少ない間は正答率が低いが、ある程度の学習回数以上で、８５％付近を推移している。
図６に示す４つの手法の正解率の内で、最も下側の正答率の手法（１）の正答率は、１０％付近を推移している。
一方、下から２番目の正答率の手法（２）の正答率は、学習回数が少ない間は正答率が低いが、ある程度の学習回数以上で、８５％付近を推移している。
【0037】
そして、下から３番目の正答率の手法（４）は、本例のシステムが備える誤判定検知器２８を使って誤判定を行い、その誤判定結果を誤判定訂正器２９で訂正した場合である。この手法（４）の場合には、正答率として９４％から９６％を推移している。
さらに、一番上の正答率の手法（３）は、本例のシステムが備える誤判定検知器２８を使って誤判定を行い、その誤判定結果を棄却した場合である。この手法（３）の場合には、正答率として９８％から９９％を推移している。
さらに、一番上の正答率の手法（３）は、本例のシステムが備える誤判定検知器２８を使って誤判定を行い、その誤判定結果を棄却した場合である。この手法（３）の場合には、正答率として９８％から９９％を推移している。
【0038】
図７は、本例の誤判定・訂正器２０の性能の例を示す。
図７の縦軸は、ＣＶＡＥＸＣＳＲによる判定結果を示し、横軸は誤判定・訂正器２０による誤判定検知結果を示す。この図７の例は、学習回数を３０００００回とした場合の結果である。
図７では、右下の数値が正しい判定結果を正しいと判定し、左上の数字が誤った判定結果を誤っていると判定しており、正解率９７．０％が得られる。
図７の縦軸は、ＣＶＡＥＸＣＳＲによる判定結果を示し、横軸は誤判定・訂正器２０による誤判定検知結果を示す。この図７の例は、学習回数を３０００００回とした場合の結果である。
図７では、右下の数値が正しい判定結果を正しいと判定し、左上の数字が誤った判定結果を誤っていると判定しており、正解率９７．０％が得られる。
【0039】
図８は、誤判定訂正器２９で訂正した場合の、誤判定訂正性能の例を示す。
図８の縦軸は正解ラベル（０～９の値）の数を示し、横軸は誤判定訂正器２９で値が修正されたラベルの数を示す。
図８の例の場合、誤判定訂正器２９での訂正により、正解率は８０．９％であることが示される。
図８の縦軸は正解ラベル（０～９の値）の数を示し、横軸は誤判定訂正器２９で値が修正されたラベルの数を示す。
図８の例の場合、誤判定訂正器２９での訂正により、正解率は８０．９％であることが示される。
【0040】
以上説明したように、本例の誤分類出力検知・訂正システムによると、誤判定（誤分類）を引き起こす可能性のある判定結果を棄却して、正しい判定結果が得られるようになる。
したがって、分類器の正確性を確保できるという格別な効果を有する。
したがって、分類器の正確性を確保できるという格別な効果を有する。
【0041】
なお、図１の構成では、各処理手段の機能構成を示したが、これらの各処理手段は、例えばコンピュータ装置に、該当するソフトウェアを実装することで実現することができる。
図９は、この場合のコンピュータ装置のハードウェア構成例を示す。
コンピュータ装置は、バスにそれぞれ接続されたＣＰＵ（Central Processing Unit：中央処理ユニット）１０１、主記憶部１０２、不揮発性ストレージ１０３、入力部１０４、及び出力部１０５を備える。
図９は、この場合のコンピュータ装置のハードウェア構成例を示す。
コンピュータ装置は、バスにそれぞれ接続されたＣＰＵ（Central Processing Unit：中央処理ユニット）１０１、主記憶部１０２、不揮発性ストレージ１０３、入力部１０４、及び出力部１０５を備える。
【0042】
ＣＰＵ１０１は、本例の誤分類出力検知・訂正システムとしての処理を実行するソフトウェアのプログラムコードを主記憶部１０２または不揮発性ストレージ１０３から読み出して実行する演算処理部である。主記憶部１０２には、誤分類出力検知・訂正システム用の処理を実行するプログラムが記録される。
また、主記憶部１０２には、ＣＰＵ１０１の制御でプログラムを実行することで、図１に示す各処理手段が構成される。例えば、主記憶部１０２には、図１に示すエンコーダ１２、２１、デコーダ２２、２４、２６、誤判定検知器２８、誤判定訂正器２９が構成される。
また、主記憶部１０２には、ＣＰＵ１０１の制御でプログラムを実行することで、図１に示す各処理手段が構成される。例えば、主記憶部１０２には、図１に示すエンコーダ１２、２１、デコーダ２２、２４、２６、誤判定検知器２８、誤判定訂正器２９が構成される。
【0043】
不揮発性ストレージ１０３は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの大容量情報記憶部である。不揮発性ストレージ１０３には、プログラムのデータの他に、学習したデータなどが保存される。
入力部１０４は、入力データを受付ける。出力部１０５は、出力データを出力する。
なお、本例の誤分類出力検知・訂正システムとしてコンピュータ装置を作動させるプログラムは、各種記録媒体に格納することができる。
入力部１０４は、入力データを受付ける。出力部１０５は、出力データを出力する。
なお、本例の誤分類出力検知・訂正システムとしてコンピュータ装置を作動させるプログラムは、各種記録媒体に格納することができる。
【0044】
また、ここまで説明した実施の形態例は、本発明を分かりやすく説明するために詳細に説明したものであり、説明した例に限定されるものではない。例えば、上述した実施の形態例では、手書き文字画像の分類に適用した例としたが、本発明は、その他の各種分類に適用が可能である。
また、上述した実施の形態例では、学習分類子システム（ＸＣＳＲ）１３の分類結果の誤判定と訂正に適用したが、本発明はこれに限定されず、分類器１０として、他の機械学習やディープラーニングを利用した分類器など、その他の分類器を適用して構成することが可能である。この場合において、データの事前の圧縮が不要な場合には、エンコーダの構成を省略することができる。さらに、エンコーダ、デコーダとして、分類器１０、誤判定・訂正器２０においてＣＶＡＥエンコーダ、ＣＶＡＥデコーダを利用しているが、このエンコーダやデコーダの構成についても、ＣＶＡＥに限定されず、他のエンコーダ、デコーダを適用して本発明を構成することができる。
また、上述した実施の形態例では、学習分類子システム（ＸＣＳＲ）１３の分類結果の誤判定と訂正に適用したが、本発明はこれに限定されず、分類器１０として、他の機械学習やディープラーニングを利用した分類器など、その他の分類器を適用して構成することが可能である。この場合において、データの事前の圧縮が不要な場合には、エンコーダの構成を省略することができる。さらに、エンコーダ、デコーダとして、分類器１０、誤判定・訂正器２０においてＣＶＡＥエンコーダ、ＣＶＡＥデコーダを利用しているが、このエンコーダやデコーダの構成についても、ＣＶＡＥに限定されず、他のエンコーダ、デコーダを適用して本発明を構成することができる。
【符号の説明】
【0045】
１…入力データ、２…出力データ、１０…分類器、１１…正解ラベル、１２…ＣＶＡＥエンコーダ、１３…学習分類子システム、２０…誤判定・訂正器、２１…誤判定用ＣＶＡＥエンコーダ、２２，２４，２６…ＣＶＡＥデコーダ、２３，２５，２７…正解ラベル、２８…誤判定検知器、２９…誤判定訂正器、１０１…ＣＰＵ、１０２…主記憶部、１０３…不揮発性ストレージ、１０４…入力部、１０５…出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】