特許 7270127 分類システム、分類方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-27

(45)【発行日】2023-05-10

(54)【発明の名称】分類システム、分類方法、及びプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20230428BHJP

   G06T 7/00 20170101ALI20230428BHJP

【ＦＩ】

G06N20/00

G06T7/00 300F

G06T7/00 350B

【請求項の数】 13

(21)【出願番号】P 2021550438

(86)(22)【出願日】2020-08-28

(86)【国際出願番号】 JP2020032539

(87)【国際公開番号】W WO2021070505

(87)【国際公開日】2021-04-15

【審査請求日】2021-12-21

(31)【優先権主張番号】P 2019184815

(32)【優先日】2019-10-07

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100106116

【弁理士】

【氏名又は名称】鎌田 健司

(74)【代理人】

【識別番号】100131495

【弁理士】

【氏名又は名称】前田 健児

(72)【発明者】

【氏名】フェルナンド ジェッフリー

(72)【発明者】

【氏名】村田 久治

(72)【発明者】

【氏名】本村 秀人

(72)【発明者】

【氏名】菅澤 裕也

【審査官】藤原 敬利

(56)【参考文献】

【文献】国際公開第２０１８／１７００２８（ＷＯ，Ａ１）

【文献】特開平０５－３４２２７２（ＪＰ，Ａ）

【文献】国際公開第２０１１／０８１１９２（ＷＯ，Ａ１）

【文献】特開２００２－１１７０４６（ＪＰ，Ａ）

【文献】特開２０１４－０９５９６７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００ － ３／１２

Ｇ０６Ｎ ７／０８ －９９／００

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ －２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６ 、４０／２０

(57)【特許請求の範囲】

【請求項1】

対象データの入力を受け付ける入力受付部と、
複数の分類器を有し、前記対象データを、複数のクラスのうちのいずれかのクラスに分類する分類部と、
前記対象データの特徴量を算出する算出部と、
前記分類部での分類結果、及び前記算出部で算出された前記対象データの特徴量に基づいて、前記対象データが前記複数のクラスとは異なる新規クラスに分類される可能性を判定する判定部と、を備え、
前記複数のクラスは、前記分類部の有する複数の分類器にそれぞれ対応する複数の対応クラスと、前記複数の分類器のいずれにも対応しない他クラスと、を含んでおり、
前記判定部は、前記対象データが前記他クラス及び前記新規クラスのいずれに分類されるかを区別して判定し、
前記対象データが前記複数の対応クラスのうちの２以上の対応クラスに分類され、かつ前記対象データの特徴量が特徴量空間にて前記２以上の対応クラスの間にある場合、前記判定部は、前記対象データを前記新規クラスに分類される候補とし、
前記２以上の対応クラスに対応する２以上の分類器のいずれかで、前記対象データの同じ箇所に注目していない場合、前記判定部は、前記対象データを前記候補から除外する、
分類システム。

【請求項2】

前記判定部にて前記対象データが前記新規クラスに分類される可能性があると判定した場合に、前記判定部の判定結果を提示する提示部と、を更に備える、
請求項１に記載の分類システム。

【請求項3】

前記分類部は、前記複数の分類器及びＮＯＲ回路により構成される、
請求項１または２に記載の分類システム。

【請求項4】

前記対象データが、前記他クラスに分類され、前記複数の対応クラスのいずれにおいても確信度が閾値よりも低く、かつ、前記対象データの特徴量が特徴量空間にて前記複数の対応クラスのいずれからも所定距離以上離れている場合、前記判定部は、前記対象データを前記新規クラスに分類される候補とする、
請求項１～３のいずれか１項に記載の分類システム。

【請求項5】

前記判定部は、前記候補とされた前記対象データの数が所定数を上回ると、前記対象データが前記新規クラスに分類される、と判定する、
請求項４に記載の分類システム。

【請求項6】

前記対象データと、前記対象データに対する前記判定部の前記判定結果と、を記憶する記憶部を更に備える、
請求項２に記載の分類システム。

【請求項7】

前記判定結果は、前記対象データの特徴量の類似度に応じたグループに紐付けられて前記記憶部に記憶される、
請求項６に記載の分類システム。

【請求項8】

前記提示部は、前記グループに属する前記対象データの数に応じた態様で前記判定結果を提示する、
請求項７に記載の分類システム。

【請求項9】

前記分類部は、前記判定部にて前記新規クラスに分類されると判定された前記対象データを教師データとして、再学習される、
請求項１～８のいずれか１項に記載の分類システム。

【請求項10】

前記提示部は、前記対象データの前記複数のクラスでの確信度と、特徴量空間と、を表示する、
請求項２、６～８のいずれか１項に記載の分類システム。

【請求項11】

複数の分類器に対象データを分類する分類方法であって、
前記対象データの入力を受け付ける入力受付ステップと、
前記対象データを、複数のクラスのうちのいずれかのクラスに分類する分類ステップと、
前記対象データの特徴量を算出する算出ステップと、
前記分類ステップでの分類結果、及び前記算出ステップで算出された前記対象データの特徴量に基づいて、前記対象データが前記複数のクラスとは異なる新規クラスに分類される可能性を判定する判定ステップと、を有し、
前記複数のクラスは、前記複数の分類器にそれぞれ対応する複数の対応クラスと、前記複数の分類器のいずれにも対応しない他クラスと、を含んでおり、
前記判定ステップにおいて、前記対象データが前記他クラス及び前記新規クラスのいずれに分類されるかを区別して判定し、
前記対象データが前記複数の対応クラスのうちの２以上の対応クラスに分類され、かつ前記対象データの特徴量が特徴量空間にて前記２以上の対応クラスの間にある場合、前記判定ステップにおいて前記対象データを前記新規クラスに分類される候補とし、
前記２以上の対応クラスに対応する２以上の分類器のいずれかで、前記対象データの同じ箇所に注目していない場合、前記判定ステップにおいて前記対象データを前記候補から除外する、
分類方法。

【請求項12】

前記判定ステップにて前記対象データが前記新規クラスに分類される可能性があると判定した場合に、前記判定ステップの判定結果を提示する提示ステップと、を更に有する
請求項１１に記載の分類方法。

【請求項13】

１以上のプロセッサに、請求項１１または１２に記載の分類方法を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に分類システム、分類方法、及びプログラムに関する。より詳細には、本開示は、入力データを分類する分類システム、分類方法、及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、ニューラルネットワークを用いて分類対象である入力パターンを分類結果である出力パターンに変換する分類方法が開示されている。この方法では、入力パターンに対するニューラルネットワークの出力パターンと、入力パターンについて後から出力される正解出力パターンとを比較し、比較結果を実行履歴として順次蓄積する。そして、蓄積された結果を監視して、結果の異常を検出する。他にも、分類方法としては、例えば特許文献２に開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平５－３５７０７号公報

【文献】米国特許出願公開第２０１７／００３９４６９号明細書

【発明の概要】

【0004】

特許文献１に記載の分類方法では、既存の出力パターン（クラス）にはない新規クラスに属し得る対象データが入力された場合に、対象データを適切に分類することができないという問題があった。

【0005】

本開示は、上記の点に鑑みてなされており、既存のクラスにはない新規クラスに属し得る対象データが入力された場合にも、対象データを適切に分類しやすい分類システム、分類方法、及びプログラムを提供することを目的とする。

【0006】

本開示の一態様に係る分類システムは、入力受付部と、分類部と、算出部と、判定部と、を備える。入力受付部は、対象データの入力を受け付ける。分類部は、対象データを、複数のクラスのうちのいずれかのクラスに分類する。算出部は、対象データの特徴量を算出する。判定部は、分類部での分類結果、及び算出部で算出された対象データの特徴量に基づいて、対象データが前記複数のクラスとは異なる新規クラスに分類される可能性を判定する。

【0007】

本開示の一態様に係る分類方法は、入力受付ステップと、分類ステップと、算出ステップと、判定ステップと、を有する。入力受付ステップは、対象データの入力を受け付けるステップである。分類ステップは、対象データを、複数のクラスのうちのいずれかのクラスに分類するステップである。算出ステップは、前記対象データの特徴量を算出するステップである。判定ステップは、分類ステップでの分類結果、及び算出ステップで算出された対象データの特徴量に基づいて、対象データが複数のクラスとは異なる新規クラスに分類される可能性を判定するステップである。

【0008】

本開示の一態様に係るプログラムは、１以上のプロセッサに、上記の分類方法を実行させる。

【0009】

本開示は、既存のクラスにはない新規クラスに属し得る対象データが入力された場合にも、対象データを適切に分類しやすい、という利点がある。

【図面の簡単な説明】

【0010】

【図1】図１は、本開示の一実施形態に係る分類システムの構成を示すブロック図である。

【図2】図２は、同上の分類システムに入力される対象データの一例を示す説明図である。

【図3】図３は、同上の分類システムにおける分類部の構成を示す説明図である。

【図4】図４は、同上の分類システムにおける判定部での第１判定動作の一例を示す説明図である。

【図5】図５は、同上の分類システムにおける判定部での第２判定動作の一例を示す説明図である。

【図6】図６は、同上の分類システムにおける判定部での第２判定動作の他の一例を示す説明図である。

【図7】図７は、同上の分類システムにおいて新規クラスの候補を示す特徴量空間の説明図である。

【図8】図８は、同上の分類システムの動作の一例を示すフローチャートである。

【発明を実施するための形態】

【0011】

（１）概要
本実施形態に係る分類システム１００は、対象データを複数のクラスのいずれかに分類するためのシステムである。本実施形態では、対象データは、対象画像Ａ１（図２参照）を表すデータである。対象画像Ａ１は、判定対象物２の画像である。判定対象物２は、一例として、缶である。図２に示す対象画像Ａ１は、正常な状態の缶の底面を表している。ここで、判定対象物２は、正常な状態と、複数種類の異常な状態と、のうち少なくとも１つの状態をとり得る。異常な状態は、一例として、判定対象物２に点打痕のある状態、線傷のある状態、円擦り傷のある状態、汚れが付着した状態、及び異物（液体等）が付着した状態を含み得る。つまり、分類システム１００は、判定対象物２を複数のクラス（ここでは、正常な状態及び複数種類の異常な状態）のいずれかに分類することになる。このため、分類システム１００は、判定対象物２の検査に利用され得る。

【0012】

分類システム１００は、図１に示すように、入力受付部１１と、分類部Ｆ１と、算出部Ｆ２と、判定部Ｆ３と、提示部（出力部）１２と、を備えている。

【0013】

入力受付部１１は、対象データの入力を受け付ける。本実施形態では、一例として、判定対象物２を撮像装置にて撮像することで得られた画像データが、対象データとして入力受付部１１に入力される。

【0014】

分類部Ｆ１は、対象データを、複数のクラスのうちのいずれかのクラスに分類する。本実施形態では、分類部Ｆ１は、あらかじめ対象データと分類結果との入出力関係を機械学習した学習済みモデルを利用して、対象データを分類する。つまり、複数のクラスは、あらかじめ機械学習により規定された既存のクラスに相当する。

【0015】

算出部Ｆ２は、対象データの特徴量を算出する。本実施形態では、特徴量は、一例として、対象データである画像データの特徴ベクトルと、基準となる画像データの特徴ベクトルとの差分に基づいて算出される。

【0016】

判定部Ｆ３は、分類部Ｆ１での分類結果、及び算出部Ｆ２で算出された対象データの特徴量に基づいて、対象データが複数のクラスとは異なる新規クラスに分類される可能性を判定する。つまり、判定部Ｆ３は、対象データが既存の複数のクラスのいずれかに分類されるよりも、新規クラスに分類されるべきであることの可能性を判定する。

【0017】

提示部１２は、判定部Ｆ３にて対象データが新規クラスに分類される可能性があると判定した場合に、判定部Ｆ３の判定結果を提示する。提示部１２は、一例として、液晶ディスプレイ等の表示装置により、分類システム１００のユーザに対して判定結果を提示する。

【0018】

上述のように、本実施形態では、分類システム１００は、判定部Ｆ３にて対象データが新規クラスに分類される可能性があると判定すると、自動的に分類部Ｆ１を再学習して対象データを新規クラスに分類するのではなく、新規クラスが必要であることをユーザに提示する。したがって、本実施形態では、既存のクラスにはない新規クラスに属し得る対象データが入力された場合にも、対象データを適切に分類しやすい、という利点がある。

【0019】

（２）詳細
以下、本実施形態に係る分類システム１００について図１を参照して説明する。分類システム１００は、入力受付部１１と、出力部１２と、記憶部１３と、処理部１４と、を備えている。

【0020】

入力受付部１１は、対象データの入力を受け付ける。つまり、入力受付部１１は、後述する入力受付ステップＳ１の実行主体である。本実施形態では、入力受付部１１は、他装置から有線通信又は無線通信により送信される信号を受信する通信インタフェースであって、対象データとして、撮像装置により撮像された判定対象物２の画像データの入力を受け付ける。対象データ（判定対象物２の画像データ）は、撮像装置から入力受付部１１に直接送信されてもよいし、中間媒体を介して間接的に送信されてもよい。入力受付部１１にて受け付けた対象データは、処理部１４に与えられる。

【0021】

処理部１４は、分類システム１００の全体的な制御、すなわち、入力受付部１１、出力部１２、及び記憶部１３を制御するように構成される。処理部１４は、１以上のプロセッサ及びメモリを有するコンピュータシステムを主構成とする。そのため、１以上のプロセッサがメモリに記録されているプログラムを実行することにより、処理部１４として機能する。プログラムはメモリに予め記録されていてもよいし、インターネット等の電気通信回線を通して提供されてもよく、メモリカード等の非一時的記録媒体に記録されて提供されてもよい。

【0022】

処理部１４は、分類部Ｆ１と、算出部Ｆ２と、判定部Ｆ３と、を備えている。図１において、分類部Ｆ１、算出部Ｆ２、及び判定部Ｆ３は、いずれも実体のある構成を示しているわけではなく、処理部１４によって実現される機能を示している。

【0023】

分類部Ｆ１は、対象データを、複数のクラスのうちのいずれかのクラスに分類するように構成されている。つまり、分類部Ｆ１は、後述する分類ステップＳ３の実行主体である。本実施形態では、分類部Ｆ１は、図３に示すように、複数の分類器Ｆ１１～Ｆ１ｎ（“ｎ”は２以上の整数）と、ＮＯＲ回路Ｆ１０と、を有している。

【0024】

各分類器Ｆ１１～Ｆ１ｎは、例えばＳＶＭ（Support Vector Machine）等の線形分類器の他、ニューラルネットワークを用いた分類器、又は多層ニューラルネットワークを用いた深層学習（ディープラーニング）により生成される分類器を含み得る。本実施形態では、各分類器Ｆ１１～Ｆ１ｎは、学習済みのニューラルネットワークを用いた分類器である。学習済みのニューラルネットワークは、例えばＣＮＮ（Convolutional Neural Network：畳み込みニューラルネットワーク）、又はＢＮＮ（Bayesian Neural Network：ベイズニューラルネットワーク）等を含み得る。各分類器Ｆ１１～Ｆ１ｎは、ＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field-Programmable Gate Array）等の集積回路に、学習済みのニューラルネットワークを実装することで実現され得る。

【0025】

本実施形態では、複数のクラスは、複数の対応クラス（第１クラス、第２クラス、…、第ｎクラス）と、他クラスと、を含んでいる。複数の対応クラスは、分類部Ｆ１の有する複数の分類器Ｆ１１～Ｆ１ｎにそれぞれ対応するクラスである。つまり、本実施形態では、対象データは、複数の分類器Ｆ１１～Ｆ１ｎにそれぞれ入力される。そして、複数の分類器Ｆ１１～Ｆ１ｎは、それぞれ入力された対象データが自身に対応する対応クラスに分類されるか否かを判定する。例えば、対象データが第ｎクラスに分類されるか否かは、第ｎ分類器Ｆ１ｎにより分類される。すなわち、第ｎ分類器Ｆ１ｎに対象データが入力された場合に、第ｎ分類器Ｆ１ｎの出力が「Ｈｉｇｈ」であれば、対象データが第ｎクラスに分類されると判定し、「Ｌｏｗ」であれば対象データが第ｎクラスに分類されないと判定したことになる。

【0026】

本実施形態では、各分類器Ｆ１１～Ｆ１ｎは、例えば確信度が閾値を上回れば「Ｈｉｇｈ」を出力し、確信度が閾値を下回れば「Ｌｏｗ」を出力する。本開示でいう「確信度」は、対象データが分類部Ｆ１にて分類されたクラスに属する確率をいう。例えば、第１分類器Ｆ１１での確信度が「１」であれば、対象データが第１クラスに属する確率が１００％である、と分類部Ｆ１が判定していることになる。また、例えば、第１分類器Ｆ１１での確信度が「０．８」であれば、対象データが第１クラスに属する確率が８０％であって、対象データが他のクラスに属する確率が２０％である、と分類部Ｆ１が判定したことになる。

【0027】

ＮＯＲ回路Ｆ１０には、複数の分類器Ｆ１１～Ｆ１ｎの出力が入力される。そして、ＮＯＲ回路Ｆ１０は、全ての分類器Ｆ１１～Ｆ１ｎの出力が「Ｌｏｗ」である場合に、「Ｈｉｇｈ」を出力する。ここで、他クラスは、複数の分類器Ｆ１１～Ｆ１ｎのいずれにも対応しないクラスである。つまり、他クラスに分類される対象データは、複数の対応クラスである第１クラス～第ｎクラスのいずれにも分類されないデータである。そして、本実施形態では、ＮＯＲ回路Ｆ１０が「Ｈｉｇｈ」を出力する場合、つまり、全ての分類器Ｆ１１～Ｆ１ｎの出力が「Ｌｏｗ」である場合に、対象データを他クラスに分類する。

【0028】

このように、本実施形態では、分類部Ｆ１は、複数の分類器Ｆ１１～Ｆ１ｎ及びＮＯＲ回路Ｆ１０により、入力受付部１１にて受け付けた対象データを複数のクラスのいずれかに分類する。なお、分類部Ｆ１は、基本的には対象データを複数のクラスのうちのいずれか１つのクラスに分類するが、対象データを複数の対応クラスのうち２以上の対応クラスに分類することもあり得る。

【0029】

算出部Ｆ２は、対象データの特徴量を算出するように構成されている。つまり、算出部Ｆ２は、後述する算出ステップＳ２の実行主体である。特徴量の算出には、対象データの基準となる基準データが用いられる。基準データは、対象データと同様に判定対象物２の画像である。本実施形態では、基準データは、正常な状態の判定対象物２の画像（基準画像）を示すデータである。ここで、図２に示す対象画像Ａ１は、正常な状態の判定対象物２の画像を表しており、基準画像Ａ２として利用され得る。本実施形態では、特徴量を算出するに当たっては、対象画像Ａ１は、判定対象物２の位置及びサイズが基準画像Ａ２における判定対象物２の位置及びサイズと一致するように正規化される。

【0030】

算出部Ｆ２は、一例として、特徴ベクトルを利用して対象データの特徴量を算出する。例えば、算出部Ｆ２は、対象画像Ａ１及び基準画像Ａ２に共通して設定される、１以上の画素を含む同じ大きさのブロックごとに特徴ベクトルを算出する。特徴ベクトルは、ブロックに含まれる画素の画素値を要素とする。そして、算出部Ｆ２は、対象画像Ａ１のブロックごとの特徴ベクトルと、基準画像Ａ２のブロックごとの特徴ベクトルと、の差分ベクトルを、対象データの特徴量として算出する。ここで算出された特徴量は、ブロック数及びブロックごとの画素数に基づく多次元のベクトルとして表される。

【0031】

本実施形態では、算出部Ｆ２は、上記のようにして算出した対象データの特徴量に対して、更にｔ－ＳＮＥ（t-distributed Stochastic Neighbor Embedding）等の適宜の変換処理を施す。これにより、算出部Ｆ２は、例えば図４に示すように、対象データの特徴量を二次元の特徴量空間ＦＳ１上の点Ｄ１として算出する。もちろん、対象データの特徴量は、三次元以上の多次元の特徴量空間上の点として表してもよい。

【0032】

判定部Ｆ３は、分類部Ｆ１での分類結果、及び算出部Ｆ２で算出された対象データの特徴量に基づいて、対象データが複数のクラスとは異なる新規クラスに分類される可能性を判定するように構成されている。つまり、判定部Ｆ３は、後述する判定ステップＳ４～Ｓ８の実行主体である。

【0033】

本実施形態では、判定部Ｆ３は、対象データが他クラス及び新規クラスのいずれに分類されるかを区別して判定する。つまり、本実施形態では、判定部Ｆ３は、分類部Ｆ１にて対象データが他クラスに分類されると、直ちに対象データを新規クラスに分類するのではなく、例えば更に所定の条件を満たした場合に、対象データを新規クラスの候補とする。そして、判定部Ｆ３は、所定の条件を満たさない場合には、対象データを他クラスに分類する。また、本実施形態では、判定部Ｆ３は、分類部Ｆ１にて対象データが２以上の対応クラスに分類された場合も、対象データが新規クラスの候補に該当するか否かを判定する。

【0034】

一例として、判定部Ｆ３は、分類部Ｆ１にて対象データが他クラスに分類された場合、対象データが「条件Ａ」を満たしていれば、対象データが新規クラスに分類される候補とする。一方、対象データが「条件Ａ」を満たしていなければ、対象データが他クラスに分類されると判定する。

【0035】

「条件Ａ」は、対象データの特徴量が特徴量空間ＦＳ１にて複数の対応クラスのいずれからも所定距離以上離れていることである。「条件Ａ」を満たした一例について図４を用いて説明する。図４において、「Ｃ１」～「Ｃ３」は、それぞれ特徴量空間ＦＳ１における過去に第１クラス～第３クラスに分類された対象データの特徴量の一群を表している。図４では、「Ｃ１」～「Ｃ３」のそれぞれで対象データの特徴量を互いに異なる模様で表している。また、図４において、「Ｄ１」は、特徴量空間ＦＳ１における分類部Ｆ１にて分類された対象データの特徴量を表している。なお、図４には示していないが、特徴量空間ＦＳ１には、第１クラス～第３クラス以外のクラスに過去に分類された対象データの特徴量の一群も含まれる。

【0036】

図４に示すように、「Ｄ１」は、「Ｃ１」～「Ｃ３」のいずれからも所定距離以上離れた位置にある。ここで、「所定距離以上離れている」とは、一例として、特徴量空間ＦＳ１において、各クラスの中心点を中心とする円の外側に「Ｄ１」が位置することをいう。また、「所定距離以上離れている」とは、一例として、特徴量空間ＦＳ１において、各クラスの対象データの特徴量のうち「Ｄ１」に最も近い位置にある特徴量と「Ｄ１」との距離が所定値よりも長いことをいう。

【0037】

また、一例として、判定部Ｆ３は、分類部Ｆ１にて対象データが複数の対応クラスのうち２以上の対応クラスに分類された場合、対象データが「条件Ｂ」を満たしていれば、対象データが新規クラスに分類される候補とする。一方、対象データが「条件Ｂ」を満たしていなければ、対象データが２以上の対応クラスに分類されると判定する。

【0038】

「条件Ｂ」は、「第１条件」と、「第２条件」と、を含んでいる。本実施形態では、判定部Ｆ３は、「第１条件」及び「第２条件」の両方を満たした場合に、「条件Ｂ」を満たしたと判定する。

【0039】

「第１条件」は、対象データの特徴量が特徴量空間ＦＳ１にて２以上の対応クラスの間にあることである。「第１条件」を満たした一例について図５を用いて説明する。図５において、「Ｃ１」及び「Ｃ２」は、それぞれ特徴量空間ＦＳ１における過去に第１クラス及び第２クラスに分類された対象データの特徴量の一群を表している。図５では、「Ｃ１」及び「Ｃ２」のそれぞれで対象データの特徴量を互いに異なる模様で表している。なお、図５において破線で囲まれる領域にある対象データの特徴量は、「Ｃ１」及び「Ｃ２」のいずれにも属している。また、図５において、「Ｄ１」は、特徴量空間ＦＳ１における分類部Ｆ１にて分類された対象データの特徴量を表している。なお、図５には示していないが、特徴量空間ＦＳ１には、第１クラス及び第２クラス以外のクラスに過去に分類された対象データの特徴量の一群も含まれる。

【0040】

図５に示すように、「Ｄ１」は、「Ｃ１」と「Ｃ２」との間に位置する。ここで、「２以上の対応クラスの間にある」とは、一例として、２以上の対応クラスの各中心点で規定される領域（２クラスであれば線分、３クラス以上であれば多角形）の中心点を中心とする円の内側に対象データが含まれることをいう。図５に示す例では、「Ｃ１」及び「Ｃ２」の各中心点で規定される線分Ｌ１の中心点を中心とする円の内側に「Ｄ１」が含まれている。

【0041】

「第２条件」は、２以上の対応クラスに対応する２以上の分類器Ｆ１１～Ｆ１ｎのいずれにおいても、対象データの同じ箇所に注目していることである。言い換えれば、２以上の対応クラスに対応する２以上の分類器Ｆ１１～Ｆ１ｎのいずれかで、対象データの同じ箇所に注目していない場合、判定部Ｆ３は、対象データを候補から除外する。「第２条件」を満たした一例について図６を用いて説明する。図６は、例えばＧｒａｄ－ＣＡＭ（Gradient-weighted Class Activation Mapping）等の適宜の視覚化処理を施した後の対象画像Ａ１を表している。また、図６では、２以上の分類器Ｆ１１～Ｆ１ｎのうち第１分類器Ｆ１１が対象データにおいて注目した第１範囲Ａ１１と、２以上の分類器Ｆ１１～Ｆ１ｎのうち第２分類器Ｆ１２が対象データにおいて注目した第２範囲Ａ１２と、を表している。図６に示す例では、第１範囲Ａ１１と第２範囲Ａ１２とが重なっており、２以上の分類器Ｆ１１，Ｆ１２が対象データの同じ箇所に注目している。

【0042】

本実施形態では、判定部Ｆ３は、上記のように新規クラスの候補とされた対象データの数が所定数を上回ると、対象データが新規クラスに分類される、と判定する。つまり、判定部Ｆ３は、対象データを新規クラスの候補とした段階では、対象データを新規クラスには分類されるとは判定せず、候補の数が所定数（例えば、数十）を上回ると、初めて対象データの候補群が新規クラスに分類される、と判定する。

【0043】

記憶部１３は、１以上の記憶装置を有している。記憶装置は、例えば、ＲＡＭ（Random Access Memory）、又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等である。記憶部１３は、対象データと、対象データに対する判定部Ｆ３の判定結果と、を記憶する。本実施形態では、記憶部１３は、入力受付部１１に入力された対象データを全て記憶するのではなく、判定部Ｆ３にて新規クラスに分類される可能性があると判定された対象データ（つまり、新規クラスの候補）と、その対象データに対する判定結果と、を記憶する。

【0044】

本実施形態では、判定部Ｆ３の判定結果は、対象データの特徴量の類似度に応じたグループＧ０に紐付けられて記憶部１３に記憶される。対象データの特徴量を複数のグループＧ１、Ｇ２、Ｇ３に分類した一例について図７を用いて説明する。図７において、グループＧ１～Ｇ３は、それぞれ特徴量空間ＦＳ１における新規クラスの候補となる対象データの特徴量の一群を表している。グループＧ１～Ｇ３の各々において、複数の対象データの特徴量は、互いに類似している。また、グループＧ１～Ｇ３は、それぞれ互いに特徴量空間ＦＳ１において離れた位置にある、つまり互いに非類似である。さらに、グループＧ１～Ｇ３は、それぞれ対象データの候補の数が所定数を上回れば、判定部Ｆ３により新規クラスと判定され得る。

【0045】

出力部１２は、処理部１４で処理された情報を出力するように構成されている。本実施形態では、出力部１２は、データの出力のためのポート、及び情報を表示するための画像表示装置を備える。画像表示装置は、一例として、液晶ディスプレイ又は有機ＥＬ（Electro-Luminescence）ディスプレイ等の薄型のディスプレイ装置を含み得る。

【0046】

本実施形態では、出力部１２は、提示部１２を兼ねている。提示部１２は、判定部Ｆ３にて対象データが新規クラスに分類される可能性があると判定した場合に、判定部Ｆ３の判定結果を分類システム１００のユーザに提示するように構成されている。つまり、提示部１２は、後述する提示ステップＳ９の実行主体である。ここでは、提示部１２は、画像表示装置に判定結果を表示することにより、判定結果をユーザに提示する。本実施形態では、記憶部１３に判定結果が記憶されているので、提示部１２は、処理部１４により記憶部１３から読み出された判定結果を提示する。例えば、提示部１２は、対象画像Ａ１と、対象画像Ａ１が新規クラスに分類され得ることを表すメッセージ等と、を判定結果として画像表示装置に表示する。

【0047】

本実施形態では、提示部１２は、グループＧ０に属する対象データの数に応じた態様で判定結果を提示する。一例として、提示部１２は、「条件Ｃ」を満たさない場合は、判定部Ｆ３の判定結果を提示する。この場合、提示部１２は、１以上のグループＧ０の各々に属する対象データの候補の数を画像表示装置に表示してもよい。そして、提示部１２は、「条件Ｃ」を満たした場合、判定部Ｆ３の判定結果と共に、ユーザに分類部Ｆ１の再学習を促す画像等を画像表示装置に表示する。「条件Ｃ」は、１以上のグループＧ０のいずれかにおいて、判定部Ｆ３にて新規クラスの候補とされた対象データの数が所定数を上回ることである。

【0048】

また、本実施形態では、提示部１２は、対象データの複数のクラスでの確信度と、特徴量空間ＦＳ１と、を表示する。一例として、分類部Ｆ１にて対象データが他クラスに分類され、かつ「条件Ａ」を満たした場合、提示部１２は、図４に示すような特徴量空間ＦＳ１と、各クラスでの確信度の一覧と、を画像表示装置に表示する。また、一例として、分類部Ｆ１にて対象データが複数の対応クラスのうち２以上の対応クラスに分類され、かつ「条件Ｂ」を満たした場合、提示部１２は、図５に示すような特徴量空間ＦＳ１と、各クラスでの確信度の一覧と、を画像表示装置に表示する。

【0049】

（３）動作
以下、本実施形態の分類システムの動作の一例について、図８を用いて説明する。まず、入力受付部１１にて対象データの入力を受け付けると（Ｓ１）、算出部Ｆ２は、入力受付部１１にて受け付けた対象データの特徴量を算出する（Ｓ２）。そして、分類部Ｆ１は、学習済みモデルを利用して、入力受付部１１にて受け付けた対象データを分類する（Ｓ３）。なお、算出部Ｆ２による対象データの特徴量の算出処理と、分類部Ｆ１による対象データの分類処理とは、順番が逆であってもよい。

【0050】

次に、判定部Ｆ３は、分類部Ｆ１での分類結果、及び算出部Ｆ２で算出された対象データの特徴量に基づいて、対象データが新規クラスに分類される可能性を判定する。判定部Ｆ３は、分類部Ｆ１にて対象データが他クラスに分類された場合（Ｓ４：Ｙｅｓ）、対象データが「条件Ａ」を満たしていれば（Ｓ５：Ｙｅｓ）、対象データを新規クラスの候補とする（Ｓ６）。一方、判定部Ｆ３は、分類部Ｆ１にて対象データが他クラスに分類されず（Ｓ４：Ｎｏ）、複数の対応クラスのうち２以上の対応クラスに分類され（Ｓ７：Ｙｅｓ）、かつ「条件Ｂ」を満たしていれば（Ｓ８：Ｙｅｓ）、対象データを新規クラスの候補とする（Ｓ６）。

【0051】

そして、判定部Ｆ３にて対象データが新規クラスの候補とされる、つまり、対象データが新規クラスに分類される可能性があると判定されると、提示部１２は、判定部Ｆ３の判定結果を提示する（Ｓ９）。ここで、提示部１２は、「条件Ｃ」を満たしていれば（Ｓ１０：Ｙｅｓ）、判定部Ｆ３の判定結果と共に、ユーザに分類部Ｆ１の再学習を促す画像等を画像表示装置に表示することにより、分類部Ｆ１を再学習すべき旨を通知する（Ｓ１１）。

【0052】

再学習すべき旨の通知を受けたユーザは、例えば処理部１４に対する操作を受け付けるインタフェースを用いて、再学習の実行を許可する所定の操作を行う。すると、処理部１４では、新規クラスに分類されると判定された対象データの一群を教師データとして、分類部Ｆ１の学習済みモデルの再学習を実行する。このように、本実施形態では、分類部Ｆ１は、判定部Ｆ３にて新規クラスに分類されると判定された対象データを教師データとして、再学習される。本実施形態では、分類部Ｆ１の再学習は、新規クラスを追加することに相当する。また、「新規クラスを追加する」とは、分類部Ｆ１において、入力された対象データが新規クラスに分類されるか否かを判定する新規の分類器を追加することに相当する。

【0053】

（４）利点
上述のように、本実施形態では、分類システム１００は、判定部Ｆ３にて対象データが新規クラスに分類される可能性があると判定すると、自動的に分類部Ｆ１を再学習して対象データを新規クラスに分類するのではなく、新規クラスが必要であることをユーザに提示する。したがって、本実施形態では、既存のクラスにはない新規クラスに属し得る対象データが入力された場合にも、対象データを適切に分類しやすい、という利点がある。

【0054】

ここで、分類部Ｆ１の各分類器Ｆ１１～Ｆ１ｎの学習が不十分である場合、対象データが複数のクラスのうちのいずれかのクラスに分類されるのが正しい場合であっても、判定部Ｆ３にて誤って新規クラスに分類される可能性があると判定される可能性がある。そこで、本実施形態では、提示部１２が判定部Ｆ３の判定結果を提示することにより、対象データが新規クラスに分類されるか否かの判断をユーザに委ねることができ、対象データが新規クラスに分類されることの確実性を向上することができる、という利点がある。

【0055】

（５）変形例
上述の実施形態は、本開示の様々な実施形態の一つに過ぎない。上述の実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、上述の実施形態に係る分類システム１００と同様の機能は、分類方法、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的記録媒体等で具現化されてもよい。

【0056】

一態様に係る分類方法は、入力受付ステップＳ１と、分類ステップＳ３と、算出ステップＳ２と、判定ステップＳ４～Ｓ８と、提示ステップＳ９と、を有する。入力受付ステップＳ１は、対象データの入力を受け付けるステップである。分類ステップＳ３は、対象データを、複数のクラスのうちのいずれかのクラスに分類するステップである。算出ステップＳ２は、対象データの特徴量を算出するステップである。判定ステップＳ４～Ｓ８は、分類ステップＳ３での分類結果、及び算出ステップＳ２で算出された対象データの特徴量に基づいて、対象データが複数のクラスとは異なる新規クラスに分類される可能性を判定するステップである。提示ステップＳ９は、判定ステップＳ４～Ｓ８にて対象データが新規クラスに分類される可能性があると判定した場合に、判定ステップＳ４～Ｓ８の判定結果を提示するステップである。一態様に係る（コンピュータ）プログラムは、１以上のプロセッサに、上記の分類方法を実行させる。

【0057】

以下、上述の実施形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。

【0058】

本開示における分類システム１００は、例えば、処理部１４等に、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における分類システム１００としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１ないし複数の電子回路で構成される。ここでいうＩＣ又はＬＳＩ等の集積回路は、集積の度合いによって呼び方が異なっており、システムＬＳＩ、ＶＬＳＩ（Very Large Scale Integration）、又はＵＬＳＩ（Ultra Large Scale Integration）と呼ばれる集積回路を含む。さらに、ＬＳＩの製造後にプログラムされる、ＦＰＧＡ（Field-Programmable Gate Array）、又はＬＳＩ内部の接合関係の再構成若しくはＬＳＩ内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、１以上のプロセッサ及び１以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む１ないし複数の電子回路で構成される。

【0059】

また、分類システム１００における複数の機能が、１つの筐体内に集約されていることは分類システム１００に必須の構成ではなく、分類システム１００の構成要素は、複数の筐体に分散して設けられていてもよい。さらに、分類システム１００の少なくとも一部の機能がクラウド（クラウドコンピューティング）等によって実現されてもよい。

【0060】

上述の実施形態において、提示部１２は、判定部Ｆ３にて判定結果が得られる度に判定結果をユーザに提示するのではなく、対象データが新規クラスに分類されると判定された場合にのみ、判定結果をユーザに提示してもよい。つまり、提示部１２は、判定部Ｆ３にて対象データが新規クラスに分類される候補であると判定されただけでは、判定結果をユーザに提示しなくてもよい。

【0061】

上述の実施形態において、新規クラスに分類されると判定された対象データを教師データとして分類部Ｆ１を再学習する場合、対象データに付される正解ラベルは、ユーザにより決定されてもよいし、処理部１４により自動的に決定されてもよい。

【0062】

上述の実施形態において、ユーザは、提示部１２にて提示された対象データの一群から新規クラスに該当しないと考えられる対象データを除外した上で、分類部Ｆ１を再学習させてもよい。

【0063】

上述の実施形態において、対象データは、判定対象物２の画像データに限らず、判定対象物２の発する音声データであってもよい。この場合、判定部Ｆ３における「第２条件」は、２以上の対応クラスに対応する２以上の分類器Ｆ１１～Ｆ１ｎのいずれにおいても、対象データの同じ箇所（時系列変化）に注目していることである。

【0064】

上述の実施形態において、判定部Ｆ３にて対象データが新規クラスに分類される可能性があるか否かを判定するに当たって、「条件Ｂ」の「第１条件」及び「第２条件」のうち「第２条件」は採用されてなくてもよい。つまり、判定部Ｆ３は、対象データが２以上の対応クラスに分類され、かつ、対象データの特徴量が特徴量空間ＦＳ１にて２以上の対応クラスの間にあるという条件を満たすだけでも、対象データを新規クラスに分類される候補としてもよい。

【0065】

上述の実施形態において、提示部１２は、例えばスピーカ等により判定部Ｆ３の判定結果を音声にて出力してもよい。この場合、提示部１２は、音声の出力と共に、判定部Ｆ３の判定結果を画像表示装置に表示してもよい。

【0066】

（まとめ）
以上述べたように、第１の態様に係る分類システム（１００）は、入力受付部（１１）と、分類部（Ｆ１）と、算出部（Ｆ２）と、判定部（Ｆ３）と、を備える。入力受付部（１１）は、対象データの入力を受け付ける。分類部（Ｆ１）は、対象データを、複数のクラスのうちのいずれかのクラスに分類する。算出部（Ｆ２）は、対象データの特徴量を算出する。判定部（Ｆ３）は、分類部（Ｆ１）での分類結果、及び算出部（Ｆ２）で算出された対象データの特徴量に基づいて、対象データが複数のクラスとは異なる新規クラスに分類される可能性を判定する。

【0067】

この態様によれば、既存のクラスにはない新規クラスに属し得る対象データが入力された場合にも、対象データを適切に分類しやすい、という利点がある。

【0068】

第２の態様に係る分類システム（１００）では、第１の態様において、提示部（１２）をさらに備える。提示部（１２）は、判定部（Ｆ３）にて対象データが新規クラスに分類される可能性があると判定した場合に、判定部（Ｆ３）の判定結果を提示する。

【0069】

第３の態様に係る分類システム（１００）では、第１または第２の態様において、複数のクラスは、分類部（Ｆ１）の有する複数の分類器（Ｆ１１～Ｆ１ｎ）にそれぞれ対応する複数の対応クラスと、複数の分類器（Ｆ１１～Ｆ１ｎ）のいずれにも対応しない他クラスと、を含んでいる。判定部（Ｆ３）は、対象データが他クラス及び新規クラスのいずれに分類されるかを区別して判定する。

【0070】

この態様によれば、分類部（Ｆ１）の学習が十分でない場合において、対象データが新規クラスに分類される可能性があると誤って判定されにくくすることができる、という利点がある。

【0071】

第４の態様に係る分類システム（１００）では、第３の態様において、判定部（Ｆ３）は、以下の条件を満たす場合、対象データを新規クラスに分類される候補とする。上記条件は、対象データが、他クラスに分類され、複数の対応クラスのいずれにおいても確信度が閾値よりも低く、かつ、対象データの特徴量が特徴量空間（ＦＳ１）にて複数の対応クラスのいずれからも所定距離以上離れていることである。

【0072】

この態様によれば、分類部（Ｆ１）の学習が十分でない場合において、対象データが新規クラスに分類される可能性があると誤って判定されにくくすることができる、という利点がある。

【0073】

第５の態様に係る分類システム（１００）では、第３の態様において、判定部（Ｆ３）は、以下の条件を満たす場合、対象データを新規クラスに分類される候補とする。上記条件は、対象データが複数の対応クラスのうちの２以上の対応クラスに分類され、かつ、対象データの特徴量が特徴量空間（ＦＳ１）にて２以上の対応クラスの間にあることである。

【0074】

この態様によれば、分類部（Ｆ１）の学習が十分でない場合において、対象データが新規クラスに分類されないと誤って判定されにくくすることができる、という利点がある。

【0075】

第６の態様に係る分類システム（１００）では、第５の態様において、判定部（Ｆ３）は、以下の条件を満たす場合、対象データを候補から除外する。上記条件は、２以上の対応クラスに対応する２以上の分類器（Ｆ１１～Ｆ１ｎ）のいずれかで、対象データの同じ箇所に注目していないことである。

【0076】

この態様によれば、対象データが新規クラスに分類される可能性があるか否かの判定精度を向上しやすい、という利点がある。

【0077】

第７の態様に係る分類システム（１００）では、第４～第６のいずれかの態様において、判定部（Ｆ３）は、候補とされた対象データの数が所定数を上回ると、対象データが新規クラスに分類される、と判定する。

【0078】

この態様によれば、対象データが新規クラスに分類されるか否かの判定精度を向上しやすい、という利点がある。

【0079】

第８の態様に係る分類システム（１００）は、第２の態様において、記憶部（１３）を更に備える。記憶部（１３）は、対象データと、対象データに対する判定部（Ｆ３）の判定結果と、を記憶する。

【0080】

この態様によれば、提示部（１２）が記憶部（１３）に記憶された過去の判定結果を提示することができる、という利点がある。

【0081】

第９の態様に係る分類システム（１００）では、第８の態様において、判定結果は、対象データの特徴量の類似度に応じたグループ（Ｇ０）に紐付けられて記憶部（１３）に記憶される。

【0082】

この態様によれば、１つのグループ（Ｇ０）に紐付けて記憶する場合と比較して、対象データを適切な新規クラスに分類しやすくなる、という利点がある。

【0083】

第１０の態様に係る分類システム（１００）では、第９の態様において、提示部（１２）は、グループ（Ｇ０）に属するデータの数に応じた態様で判定結果を提示する。

【0084】

この態様によれば、提示部（１２）により提示された情報を確認することにより、対象データが新規クラスに分類される可能性の度合いをユーザが把握しやすい、という利点がある。

【0085】

第１１の態様に係る分類システム（１００）では、第１～第１０のいずれかの態様において、分類部（Ｆ１）は、判定部（Ｆ３）にて新規クラスに分類されると判定された対象データを教師データとして、再学習される。

【0086】

この態様によれば、分類部（Ｆ１）に新規クラスを追加することができ、分類部（Ｆ１）による対象データの分類精度の向上が期待できる、という利点がある。

【0087】

第１２の態様に係る分類システム（１００）では、第２または第８～第１０のいずれかの態様において、提示部（１２）は、対象データの複数のクラスでの確信度と、特徴量空間（ＦＳ１）と、を表示する。

【0088】

この態様によれば、提示部（１２）により表示された画像を見ることにより、ユーザが判定部（Ｆ３）の判定結果を把握しやすい、という利点がある。

【0089】

第１３の態様に係る分類方法は、入力受付ステップ（Ｓ１）と、分類ステップ（Ｓ３）と、算出ステップ（Ｓ２）と、判定ステップ（Ｓ４～Ｓ８）と、を有する。入力受付ステップ（Ｓ１）は、対象データの入力を受け付けるステップである。分類ステップ（Ｓ３）は、対象データを、複数のクラスのうちのいずれかのクラスに分類するステップである。算出ステップ（Ｓ２）は、対象データの特徴量を算出するステップである。判定ステップ（Ｓ４～Ｓ８）は、分類ステップ（Ｓ３）での分類結果、及び算出ステップ（Ｓ２）で算出された対象データの特徴量に基づいて、対象データが複数のクラスとは異なる新規クラスに分類される可能性を判定するステップである。

【0090】

この態様によれば、既存のクラスにはない新規クラスに属し得る対象データが入力された場合にも、対象データを適切に分類しやすい、という利点がある。

【0091】

第１４の態様に係る分類方法は、第１３の態様において、提示ステップ（Ｓ９）は、判定ステップ（Ｓ４～Ｓ８）にて対象データが新規クラスに分類される可能性があると判定した場合に、判定ステップ（Ｓ４～Ｓ８）の判定結果を提示するステップである。

【0092】

第１５の態様に係るプログラムは、１以上のプロセッサに、第１３または第１４の態様に係る分類方法を実行させる。

【0093】

この態様によれば、既存のクラスにはない新規クラスに属し得る対象データが入力された場合にも、対象データを適切に分類しやすい、という利点がある。

【0094】

第２～第１２の態様に係る構成については、分類システム（１００）に必須の構成ではなく、適宜省略可能である。

【産業上の利用可能性】

【0095】

本開示の分類システム、分類方法、及びプログラムは、既存のクラスにはない新規クラスに属し得る対象データが入力された場合にも、対象データを適切に分類しやすい、という利点がある。そのため、本開示の分類システム、分類方法、及びプログラムは、対象物の検査等に利用でき、産業上有用である。

【符号の説明】

【0096】

１１ 入力受付部
１２ 出力部（提示部）
１３ 記憶部
１００ 分類システム
Ｆ１ 分類部
Ｆ１１～Ｆ１ｎ 分類器
Ｆ２ 算出部
Ｆ３ 判定部
ＦＳ１ 特徴量空間
Ｇ０、Ｇ１、Ｇ２、Ｇ３ グループ
Ｓ１ 入力受付ステップ
Ｓ２ 算出ステップ
Ｓ３ 分類ステップ
Ｓ４～Ｓ８ 判定ステップ
Ｓ９ 提示ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】