(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023112250
(43)【公開日】2023-08-14
(54)【発明の名称】データ処理装置、データ処理システム、及び、データ処理方法
(51)【国際特許分類】
G06N 20/00 20190101AFI20230804BHJP
【FI】
G06N20/00 130
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022013908
(22)【出願日】2022-02-01
(71)【出願人】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(71)【出願人】
【識別番号】317011920
【氏名又は名称】東芝デバイス&ストレージ株式会社
(74)【代理人】
【識別番号】110004026
【氏名又は名称】弁理士法人iX
(72)【発明者】
【氏名】菅原 克也
(72)【発明者】
【氏名】山田 健一郎
(72)【発明者】
【氏名】前田 知幸
(57)【要約】
【課題】精度の向上が可能なデータ処理装置、データ処理システム、及び、データ処理方法を提供する。
【解決手段】実施形態によれば、データ処理装置は、処理部を含む。処理部は、第1分類ラベルに対応する複数の第1特徴量と、第2分類ラベルに対応する複数の第2特徴量と、を取得する。処理部は、複数の第1特徴量から複数の第1特徴量の少なくとも一部を選ぶ。複数の第2特徴量から複数の第2特徴量の少なくとも一部を選ぶ。処理部は、第1動作を実施する。第1動作において、選ばれた複数の第1特徴量の少なくとも一部の第1数は、選ばれた複数の第2特徴量の少なくとも一部の第2数の1.1倍以上2倍以下である。処理部は、選ばれた前記複数の第1特徴量の少なくとも一部、及び、選ばれた複数の第2特徴量の少なくとも一部と、に基づく第1教師データに基づいて、第1機械学習モデルを生成する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
処理部を備え、
前記処理部は、第1分類ラベルに対応する複数の第1特徴量と、第2分類ラベルに対応する複数の第2特徴量と、を取得可能であり、
前記処理部は、前記複数の第1特徴量から前記複数の第1特徴量の少なくとも一部を選ぶことが可能であり、前記複数の第2特徴量から前記複数の第2特徴量の少なくとも一部を選ぶことが可能であり、前記処理部は、第1動作を実施可能であり、前記第1動作において、前記選ばれた前記複数の第1特徴量の前記少なくとも一部の第1数は、前記選ばれた前記複数の第2特徴量の前記少なくとも一部の第2数の1.1倍以上2倍以下であり、
前記処理部は、前記選ばれた前記複数の第1特徴量の前記少なくとも一部、及び、前記選ばれた前記複数の第2特徴量の前記少なくとも一部と、に基づく第1教師データに基づいて、第1機械学習モデルを生成可能である、データ処理装置。
【請求項2】
前記処理部は、前記第1分類ラベルに対応する複数の第3特徴量と、前記第2分類ラベルに対応する複数の第4特徴量と、を取得することがさらに可能であり、
前記処理部は、前記複数の第3特徴量から前記複数の第3特徴量の少なくとも一部を選ぶことが可能であり、前記複数の第4特徴量から前記複数の第4特徴量の少なくとも一部を選ぶことが可能であり、前記処理部は、第2動作を実施可能であり、前記第2動作において、前記選ばれた前記複数の第3特徴量の前記少なくとも一部の第3数は、前記選ばれた前記複数の第4特徴量の前記少なくとも一部の第4数の0.1倍以上0.9倍以下であり、
前記処理部は、前記選ばれた前記複数の第3特徴量の前記少なくとも一部、及び、前記選ばれた前記複数の第4特徴量の前記少なくとも一部と、に基づく第2教師データに基づいて、第2機械学習モデルをさらに生成可能である、請求項1に記載のデータ処理装置。
【請求項3】
対象とする複数の事象は、前記第1分類ラベルに対応する複数の第3事象と、前記第2分類ラベルに対応する複数の第4事象と、を含み、
前記第2動作において、前記複数の事象における前記複数の第3事象の第3発生率は、前記複数の事象における前記複数の第4事象の第4発生率よりも低い、請求項2に記載のデータ処理装置。
【請求項4】
前記第2動作において、前記第3発生率は、対象物の正常品の発生率に対応し、前記第4発生率は、前記対象物の非正常品の発生率に対応する、請求項3に記載のデータ処理装置。
【請求項5】
対象とする複数の事象は、前記第1分類ラベルに対応する複数の第1事象と、前記第2分類ラベルに対応する複数の第2事象と、を含み、
前記第1動作において、前記複数の事象における前記複数の第1事象の第1発生率は、前記複数の事象における前記複数の第2事象の第2発生率よりも高い、請求項1または2に記載のデータ処理装置。
【請求項6】
前記第1動作において、前記第1発生率は、対象物の正常品の発生率に対応し、前記第2発生率は、前記対象物の非正常品の発生率に対応する、請求項5に記載のデータ処理装置。
【請求項7】
前記第1教師データは、前記複数の第1特徴量を特徴量スケーリング処理して得られる複数の量、及び、前記複数の第2特徴量を特徴量スケーリング処理して得られる複数の量と、に基づく、請求項1~6のいずれか1つに記載のデータ処理装置。
【請求項8】
前記処理部は、分類動作がさらに可能であり、
前記分類動作において、前記処理部は、前記第1機械学習モデルに基づいて、別の特徴量を前記第1分類ラベルまたは前記第2分類ラベルに分類する、請求項1~7のいずれか1つに記載のデータ処理装置。
【請求項9】
1または複数の処理部を備え、
前記処理部は、第1分類ラベルに対応する複数の第1特徴量と、第2分類ラベルに対応する複数の第2特徴量と、を取得可能であり、
前記処理部は、前記複数の第1特徴量から前記複数の第1特徴量の少なくとも一部を選ぶことが可能であり、前記複数の第2特徴量から前記複数の第2特徴量の少なくとも一部を選ぶことが可能であり、前記処理部は、第1動作を実施可能であり、前記第1動作において、前記選ばれた前記複数の第1特徴量の前記少なくとも一部の第1数は、前記選ばれた前記複数の第2特徴量の前記少なくとも一部の第2数の1.1倍以上2倍以下であり、
前記処理部は、前記選ばれた前記複数の第1特徴量の前記少なくとも一部、及び、前記選ばれた前記複数の第2特徴量の前記少なくとも一部と、に基づく第1教師データに基づいて、第1機械学習モデルを生成可能である、データ処理システム。
【請求項10】
処理部に、第1分類ラベルに対応する複数の第1特徴量と、第2分類ラベルに対応する複数の第2特徴量と、を取得させ、
前記処理部に、前記複数の第1特徴量から前記複数の第1特徴量の少なくとも一部を選ばせ、前記複数の第2特徴量から前記複数の第2特徴量の少なくとも一部を選ばせ、前記処理部に、第1動作を実施させ、前記第1動作において、前記選ばれた前記複数の第1特徴量の前記少なくとも一部の第1数は、前記選ばれた前記複数の第2特徴量の前記少なくとも一部の第2数の1.1倍以上2倍以下であり、
前記処理部に、前記選ばれた前記複数の第1特徴量の前記少なくとも一部、及び、前記選ばれた前記複数の第2特徴量の前記少なくとも一部と、に基づく第1教師データに基づいて、第1機械学習モデルを生成させる、データ処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、データ処理装置、データ処理システム、及び、データ処理方法に関する。
【背景技術】
【0002】
例えば、処理されたデータに基づいて機械学習モデルが生成される。機械学習モデルに基づいて、各種の事象の分類などが行われる。データ処理の精度の向上が望まれる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明の実施形態は、精度の向上が可能なデータ処理装置、データ処理システム、及び、データ処理方法を提供する。
【課題を解決するための手段】
【0005】
本発明の実施形態によれば、データ処理装置は、処理部を含む。前記処理部は、第1分類ラベルに対応する複数の第1特徴量と、第2分類ラベルに対応する複数の第2特徴量と、を取得可能である。前記処理部は、前記複数の第1特徴量から前記複数の第1特徴量の少なくとも一部を選ぶことが可能である。前記複数の第2特徴量から前記複数の第2特徴量の少なくとも一部を選ぶことが可能である。前記処理部は、第1動作を実施可能である。前記第1動作において、前記選ばれた前記複数の第1特徴量の前記少なくとも一部の第1数は、前記選ばれた前記複数の第2特徴量の前記少なくとも一部の第2数の1.1倍以上2倍以下である。前記処理部は、前記選ばれた前記複数の第1特徴量の前記少なくとも一部、及び、前記選ばれた前記複数の第2特徴量の前記少なくとも一部と、に基づく第1教師データに基づいて、第1機械学習モデルを生成可能である。
【図面の簡単な説明】
【0006】
【
図1】
図1は、第1実施形態に係るデータ処理装置を例示する模式的断面図である。
【
図2】
図2(a)及び
図2(b)は、第1実施形態に係るデータ処理装置の動作を例示するフローチャートである。
【
図3】
図3は、第1実施形態に係るデータ処理装置の動作を例示するフローチャートである。
【
図4】
図4(a)~
図4(c)は、データ処理装置の特性を例示するグラフである。
【
図5】
図5(a)~
図5(c)は、データ処理装置の特性を例示するグラフである。
【
図6】
図6(a)及び
図6(b)は、データ処理装置の特性を例示するグラフである。
【発明を実施するための形態】
【0007】
以下に、本発明の実施形態について図面を参照しつつ説明する。本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
【0008】
(第1実施形態)
図1は、第1実施形態に係るデータ処理装置を例示する模式的断面図である。
図1に示すように、実施形態に係るデータ処理装置110は、処理部70を含む。データ処理装置110に含まれる複数の要素が複数の異なる場所に設けられても良い。データ処理装置110は、データ処理システム210の一部でも良い。データ処理システム210は、例えば、複数の処理部70を含んでも良い。複数の処理部70の一部が、複数の処理部70の別の一部と異なる場所に設けられても良い。
【0009】
処理部70は、例えば、CPU(Central Processing Unit)などを含んで良い。処理部70は、例えば電子回路などを含む。
【0010】
この例では、データ処理装置110は、取得部78を含む。取得部78は、例えば、種々のデータを取得可能である。取得部78は、例えば、I/Oポートなどを含む。取得部78は、インタフェースである。取得部78は、出力部の機能を有しても良い。取得部78は、例えば、通信機能を有しても良い。
【0011】
この例では、データ処理装置110は、記憶部79aを含む。記憶部79aは、種々のデータを保持可能である。記憶部79aは、例えば、メモリで良い。記憶部79aは、ROM(Read Only Memory)及びRAM(Random Access Memory)の少なくともいずれかを含んでも良い。
【0012】
データ処理装置110は、表示部79b及び入力部79cなどを含んでも良い。表示部79bは、各種のディスプレイを含んで良い。入力部79cは、例えば、操作機能を有する装置(例えばキーボート、マウス、タッチ式入力パネル、または音声認識入力装置など)を含む。
【0013】
データ処理装置110に含まれる複数の要素において、無線及び有線の少なくともいずれかの方法により、互いに通信可能である。データ処理装置110に含まれる複数の要素が設けられる場所が、互いに異なっても良い。データ処理装置110として、例えば、汎用コンピュータが用いられても良い。データ処理装置110として、例えば、互いに接続された複数のコンピュータが用いられても良い。データ処理装置110の少なくとも一部(例えば、処理部70など)として、専用の回路が用いられても良い。データ処理装置110として、例えば、互いに接続された複数の回路が用いられても良い。
【0014】
以下、データ処理装置110(例えば、データ処理システム210)における処理部70の動作の例について説明する。
【0015】
図2(a)及び
図2(b)は、第1実施形態に係るデータ処理装置の動作を例示するフローチャートである。
これらの図は、処理部70の動作を例示している。これらの図は、処理部70で行われる学習動作の例を示している。
【0016】
図2(a)に示すように、処理部70は、データを取得可能である(ステップS10)。例えば、データが、取得部78(I/Oポートなど、
図1参照)に供給される。取得部78が取得したデータが、処理部70に供給される。
データは、例えば、第1分類ラベルに対応する複数の第1特徴量と、第2分類ラベルに対応する複数の第2特徴量と、を含む。第1分類ラベルは、例えば、第1クラス分類ラベルである。第2分類ラベルは、第2クラス分類ラベルである。複数の第1特徴量は、例えば、複数の第1特徴量ベクトルである。複数の第2特徴量は、例えば、複数の第2特徴量ベクトルである。複数の第1特徴量のそれぞれは、複数の要素を含んで良い。複数の第2特徴量のそれぞれは、複数の要素を含んで良い。
【0017】
図2(a)に示すように、処理部70は、複数の第1特徴量から複数の第1特徴量の少なくとも一部を選ぶことが可能であり、複数の第2特徴量から複数の第2特徴量の少なくとも一部を選ぶことが可能である(ステップS20)。
【0018】
選ぶ際に、処理部70は、第1動作OP1を実施可能である。第1動作OP1において、選ばれた複数の第1特徴量の上記の少なくとも一部の第1数は、選ばれた複数の第2特徴量の上記の少なくとも一部の第2数の1.1倍以上2倍以下である。
【0019】
図2(a)に示すように、処理部70は、第1教師データに基づいて、第1機械学習モデルを生成可能である(ステップS30)。第1教師データは、選ばれた複数の第1特徴量の上記の少なくとも一部、及び、選ばれた複数の第2特徴量の上記の少なくとも一部と、に基づく。
【0020】
例えば、データ処理装置110は、複数の事象に関するデータを対象とする。対象とする複数の事象は、例えば、第1分類ラベルに対応する複数の第1事象と、第2分類ラベルに対応する複数の第2事象と、を含む。複数の第1事象は、例えば、対象物の正常品(良品)に対応する。複数の第2事象は、例えば、対象物の非正常品(不良品)に対応する。
【0021】
例えば、正常品に分類される対象物に関する各種のデータが、複数の第1特徴量に対応する。例えば、非正常品に分類される対象物に関する各種のデータが、複数の第2特徴量に対応する。このような、複数の第1特徴量及び複数の第2特徴量を教師データとして機械学習モデルが生成される。
【0022】
一般に、教師データを生成する際に、複数の第1特徴量の数は、複数の第2特徴量の数と同じされる。同じ数の複数の第1特徴量及び複数の第2特徴量を用いて、例えば、ハイパーパラメータなどを調整することで、機械学習モデルが生成される。機械学習モデルの生成は、例えば、識別関数の導出に対応する。
【0023】
後述するように、発明者の検討によると、同じ数の複数の第1特徴量及び複数の第2特徴量を用いる場合には、高い精度の機械学習モデルの生成が困難であることが分かった。例えば、例えば、ハイパーパラメータなどを調整したとしても、高い精度の識別関数の導出が困難であることが分かった。
【0024】
実施形態においては、同じ数の複数の第1特徴量及び複数の第2特徴量を用いない。実施形態においては、複数の第1特徴量の数を複数の第2特徴量の数とは異ならせる。異なる数になるように、複数の第1特徴量の少なくとも一部を選び、複数の第2特徴量の少なくとも一部を選ぶ。換言すると、取得したデータ(選ぶ前の複数の第1特徴量、及び、選ぶ前の複数の第2特徴量)の一部を教師データとして使わない。
【0025】
第1動作OP1においては、選ばれた複数の第1特徴量の上記の少なくとも一部の第1数は、選ばれた複数の第2特徴量の上記の少なくとも一部の第2数の1.1倍以上2倍以下である。
【0026】
このように、異なる数のデータを教師データとして用いることで、高い精度の機械学習モデルが得られる。例えば、高い精度の識別関数が得られる。実施形態によれば、例えば、精度の向上が可能なデータ処理装置及びデータ処理システムを提供できる。
【0027】
既に説明したように、対象とする複数の事象は、例えば、第1分類ラベルに対応する複数の第1事象と、第2分類ラベルに対応する複数の第2事象と、を含む。例えば、複数の事象における複数の第1事象の第1発生率は、複数の事象における複数の第2事象の第2発生率よりも高い。例えば、第1事象(正常品)の第1発生率が、第2事象(非正常品)の第2発生率よりも高い。
【0028】
例えば、このような状況において、例えば、第1動作OP1が実施される。すなわち、第1動作OP1において、複数の第1事象の第1発生率は、複数の事象における数の第2事象の第2発生率よりも高い。第1動作OP1において、第1数(選ばれた複数の第1特徴量の数)は、第2数(選ばれた複数の第2特徴量の数)よりも大きい。このような第1動作OP1により、高い精度が得られる。
【0029】
1つの例において、第1動作OP1において、第1発生率は、対象物の正常品の発生率に対応し、第2発生率は、対象物の非正常品の発生率に対応する。
【0030】
上記の第1動作OP1による第1機械学習モデルによれば、例えば、「正常」を高い精度で「正常」と判断できる。例えば、高い精度の真陰性率(TN:True Negative)が得られる。
【0031】
図2(a)に示すように、処理部70は、特徴量スケーリングを行っても良い(ステップS25)。例えば、第1教師データは、前記複数の第1特徴量を特徴量スケーリング処理して得られる複数の量、及び、前記複数の第2特徴量を特徴量スケーリング処理して得られる複数の量と、に基づく。複数の量は、例えば、複数のベクトルである。特徴量スケーリング処理して得られる複数の量に基づいて、第1機械学習モデルの生成(ステップS30)が行われる。特徴量スケーリング処理は、例えば、正規化及び標準化の少なくともいずれかを含んで良い。
【0032】
図2(a)に示すように、第1機械学習モデルの生成(ステップS30)は、選ばれた複数の第1特徴量の上記も少なくとも一部(例えば特徴量スケーリング処理された量でも良い)と、複数の第2特徴量の上記の少なくとも一部(例えば特徴量スケーリング処理された量でも良い)と、の特徴空間への写像演算(ステップS31)を含んで良い。
【0033】
写像演算は、例えば、カーネル関数及びニューラルネットワーク関数の少なくともいずれかの演算を含んで良い。写像演算は、例えば、カーネル関数、t-SNE(t-Distributed Stochastic Neighbor Embedding)、及び、UMAP(Uniform Manifold Approximation and Projection)の少なくともいずれかを含んで良い。
【0034】
上記のカーネル関数は、例えば、線形カーネル、多項式カーネル、ガウスカーネル、シグモイドカーネル、ラプラスカーネル、及び、Maternカーネルの少なくともいずれかを含んで良い。
【0035】
図2(a)に示すように、第1機械学習モデルの生成(ステップS30)は、写像演算された後の量の第1識別関数の導出(ステップS32)を含んで良い。第1識別関数は、第1分類ラベル及び第2分類ラベルに関する識別関数である。
【0036】
第1識別関数の導出は、例えば、SVM(Support Vector Machine)及びニューラルネットワーク(NN)、SDG(Stochastic Gradient Descent) Classifier、kNN(k-Nearest Neighbor)Classifier、及び、ナイーブベイズ分類器の少なくともいずれかに基づいて良い。例えば、SVM及びNNの少なくともいずれかにより、第1識別関数が導出可能である。
【0037】
データ処理装置110(及びデータ処理システム210)において、上記の第1動作OP1と異なる動作が実施されて良い。
【0038】
図2(b)に示すように、処理部70は、データを取得可能である(ステップS10A)。データは、例えば、第1分類ラベルに対応する複数の第3特徴量と、第2分類ラベルに対応する複数の第4特徴量と、を含む。複数の第3特徴量は、例えば、複数の第3特徴量ベクトルである。複数の第4特徴量は、例えば、複数の第4特徴量ベクトルである。複数の第3特徴量のそれぞれは、複数の要素を含んで良い。複数の第4特徴量のそれぞれは、複数の要素を含んで良い。このように、処理部70は、第1分類ラベルに対応する複数の第3特徴量と、第2分類ラベルに対応する複数の第4特徴量と、を取得することがさらに可能である(ステップS10A)。
【0039】
図2(b)に示すように、処理部70は、複数の第3特徴量から複数の第3特徴量の少なくとも一部を選ぶことが可能であり、複数の第4特徴量から複数の第4特徴量の少なくとも一部を選ぶことが可能である(ステップS20A)。この際に、処理部70は、第2動作OP2を実施可能である。第2動作OP2において、選ばれた複数の第3特徴量の上記の少なくとも一部の第3数は、選ばれた複数の第4特徴量の上記の少なくとも一部の第4数の0.1倍以上0.9倍以下である。このように第2動作OP2においては、第1分類ラベルに対応する選ばれた複数の第3特徴量の数(第3数)が、第2分類ラベルに対応する選ばれた複数の第4特徴量の数(第4数)よりも小さい。
【0040】
処理部70は、第2教師データに基づいて、第2機械学習モデルをさらに生成可能である(ステップS30A)。第2教師データは、選ばれた複数の第3特徴量の上記の少なくとも一部、及び、選ばれた複数の第4特徴量の上記の少なくとも一部と、に基づく。
【0041】
例えば、対象とする複数の事象は、第1分類ラベルに対応する複数の第3事象と、第2分類ラベルに対応する複数の第4事象と、を含む。複数の第3事象は、例えば、正常品に対応する。複数の第4事象は、例えば、非正常品に対応する。
【0042】
第2動作OP2において、複数の事象における複数の第3事象の発生率(第3発生率)は、例えば、複数の事象における複数の第4事象の発生率(第4発生率)よりも低い。例えば、第2動作OP2において、第3発生率は、対象物の正常品の発生率に対応する。第4発生率は、対象物の非正常品の発生率に対応する。
【0043】
例えば、生産の初期段階において、正常品の発生率が非正常品の発生率よりも低い場合がある。このような場合、発生率が低い正常品(第3事象)に対応する複数の第3特徴量の数(第3数)と、発生率が高い非正常品(第4事象)に対応する複数の第4特徴量の数(第4数)よりも小さくする。これにより、より高い精度の機械学習モデルが生成できる。
【0044】
上記の第2動作OP2による第2機械学習モデルによれば、例えば、「異常」を高い精度で「異常」と判断できる。例えば、高い精度の真陽性率(TP:True Positive)が得られる。
【0045】
図2(b)に示すように、処理部70は、特徴量スケーリングを行っても良い(ステップS25A)。例えば、第2教師データは、前記複数の第3特徴量を特徴量スケーリング処理して得られる複数の量、及び、前記複数の第4特徴量を特徴量スケーリング処理して得られる複数の量と、に基づく。複数の量は、例えば、複数のベクトルである。特徴量スケーリング処理して得られる複数の量に基づいて、第2機械学習モデルの生成(ステップS30A)が行われる。特徴量スケーリング処理は、例えば、正規化及び標準化の少なくともいずれかを含んで良い。
【0046】
図2(b)に示すように、第2機械学習モデルの生成(ステップS30A)は、選ばれた複数の第3特徴量の上記も少なくとも一部(例えば特徴量スケーリング処理された量でも良い)と、複数の第4特徴量の上記の少なくとも一部(例えば特徴量スケーリング処理された量でも良い)と、の特徴空間への写像演算(ステップS31A)を含んで良い。
【0047】
写像演算は、例えば、カーネル関数及びニューラルネットワーク関数の少なくともいずれかの演算を含んで良い。写像演算は、カーネル関数、t-SNE(t-Distributed Stochastic Neighbor Embedding)、及び、UMAP(Uniform Manifold Approximation and Projection)の少なくともいずれかを含んで良い。
【0048】
上記のカーネル関数は、例えば、線形カーネル、多項式カーネル、ガウスカーネル、シグモイドカーネル、ラプラスカーネル、及び、Maternカーネルの少なくともいずれかを含んで良い。
【0049】
図2(b)に示すように、第2機械学習モデルの生成(ステップS30A)は、写像演算された後の量の第2識別関数の導出(ステップS32A)を含んで良い。第2識別関数は、第1分類ラベル及び第2分類ラベルに関する識別関数である。
【0050】
第2識別関数の導出は、例えば、SVM(Support Vector Machine)及びニューラルネットワーク(NN)、SDG(Stochastic Gradient Descent) Classifier、kNN(k-Nearest Neighbor)Classifier、及び、ナイーブベイズ分類器の少なくともいずれかに基づいて良い。例えば、SVM及びNNの少なくともいずれかにより、第2識別関数が導出可能である。
【0051】
第1機械学習モデルの生成、及び、第2機械学習モデルの生成の少なくともいずれかは、ハイパーパラメータの調整を含んでも良い。
【0052】
このような第1動作OP1及び第2動作OP2が切り替えられて実施されて良い。
【0053】
図3は、第1実施形態に係るデータ処理装置の動作を例示するフローチャートである。
図3は、処理部70で行われる別の動作の例を示している。
図3は、例えば、分類動作(または予測動作)を例示している。
【0054】
処理部70は、分類動作がさらに可能である。分類動作において、別のデータ(別の特徴量)を取得可能である(ステップS50)。別の特徴量は、学習動作とは別に取得される新たな特徴量である。別の特徴量は、例えば、未知の特徴量である。別の特徴量は、例えば、別の特徴ベクトルである。別の特徴量は、例えば、複数の要素を含んで良い。
【0055】
処理部70は、学習動作で導出した第1識別関数に基づいて、別の特徴量を第1分類ラベルまたは第2分類ラベルに分類する(ステップS60)。このように、処理部70は、分類動作において、第1機械学習モデルに基づいて、別の特徴量を第1分類ラベルまたは第2分類ラベルに分類可能である。
【0056】
図3に示すように、上記の別の特徴量は、処理部70が入手した新たなデータを特徴量スケーリングする(ステップS65)ことにより得られても良い。
【0057】
実施形態においては、上記の第1動作OP1または第2動作OP2に基づく教師データにより、機械学習モデル(例えば識別関数)により、新たな別の特徴量が分類される。高い精度の分類が可能である。
【0058】
実施形態において、複数の第1特徴量、及び、複数の第2特徴量は、磁気記録装置の特性に関する特徴量でも良い。例えば、分類動作における「別の特徴量」は、磁気記録装置の特性に関する特徴量でも良い。磁気記録装置の特性に関する特徴量は、例えば、Signal-Noise Ratio(SNR)、Bit Error Rate(BER)、Fringe BER、Erase Width at AC erase(EWAC)、Magnetic write track width(MWW)、Overwrite(OW)、及び、Soft Viterbi Algorithm-BER(SOVA-BER)、Viterbi Metric Margin(VMM)、Repeatable RunOut(RRO)、及び、Non-Repeatable RunOut(NRRO)の少なくともいずれかを含んで良い。
【0059】
例えば、磁気記録装置において、記録特性不良が発生する磁気ヘッドがある。磁気ヘッドに関する試験データに基づいて、磁気ヘッドの特性を高い精度で予測することが望まれる。このような予測に機械学習が用いられる。一般的な機械学習の予測モデルでは、互いに同じ数の、正常品に関するデータ及び非正常に関するデータを教師データとして用いて、機械学習が行われる。そして、予測モデルの特性(性能)は、ハイパーパラメータ調整で行われる。
【0060】
実施形態においては、上記のように、正常品に関するデータの数は、非正常に関するデータの数とは異なる。このようなデータを教師データとして用いた機械学習モデルが生成される。これにより、高い精度の予測が可能になる。
【0061】
以下、データ処理装置における特性の例について説明する。
図4(a)~
図4(c)は、データ処理装置の特性を例示するグラフである。
これらの図の横軸は、複数のデータの番号N0(名前)に対応する。これらの図の横軸は、例えば、ハイパーパラメータの調整の値に対応する。これらの図の縦軸は、評価パラメータP1に対応する。これらの図は、真陰性率(TN)に関する。評価パラメータP1が1であることは、全ての正常品が正しく正常と判断されていることに対応する。評価パラメータP1が1よりも小さいときは、偽陽性(FP:False Positive、正常を誤って異常と判断)が発生していることに対応する。
【0062】
図4(a)において、第1数は、第2数の0.5倍である。既に説明したように、第1数は、選ばれた複数の第1特徴量の少なくとも一部の数である。第2数は、選ばれた複数の第2特徴量の少なくとも一部の数である。
【0063】
図4(b)において、第1数は、第2数と同じである。
図4(c)において、第1数は、第2数の2倍である。
図4(b)は、一般的な機械学習におけるハイパーパラメータ調整で得られる真陰性率(TN)に対応する。
図4(c)は、評価パラメータP1が1となり、FPが発生しない予測モデルが構築できる場合に対応する。
【0064】
図4(c)に示すように、第1数が第2数の2倍である場合、ハイパーパラメータの調整の値を大きくすることで、評価パラメータP1が1となる。FPが発生することなく正常品が正しく正常と判断される。
【0065】
これに対して、
図4(b)に示すように、第1数が第2数と同じ場合、評価パラメータP1は、約0.7程度である。第1数が第2数と同じ場合は、ハイパーパラメータを調整しても、高い精度を得ることは困難である。
【0066】
実施形態において、第1数が第2数よりも大きい(例えば2倍)ときに、1の評価パラメータP1が得られるのは、以下に基づくと考えられる。例えば、予測モデルが正常品に関するデータを誤判定した際に、損失関数が大きくなる可能性が高い。第1数が第2数よりも大きい場合に、第1数が第2数と同じ場合と比べて、正常品の正答率が損失低下に寄与する程度がより大きくなる。これにより、第1数が第2数よりも大きい(例えば2倍)ときに、1の評価パラメータP1が得られると考えられる。
【0067】
図5(a)~
図5(c)は、データ処理装置の特性を例示するグラフである。
これらの図の横軸は、複数のデータの番号N0(名前)に対応する。これらの図の横軸は、例えば、ハイパーパラメータの調整の値に対応する。これらの図の縦軸は、評価パラメータP2に対応する。これらの図は、真陽性率(TP)に関する。評価パラメータP2が1であることは、非正常品が正しく非正常と判断されていることに対応する。評価パラメータP2が1よりも小さいときは、偽陰性が発生していることに対応する。
【0068】
図5(a)において、第1数は、第2数の0.5倍である。
図5(c)において、第1数は、第2数と同じである。
図5(b)において、第1数は、第2数の2倍である。
図5(c)は、一般的な機械学習におけるハイパーパラメータ調整で得られる真陽性率(TP)に対応する。
【0069】
図5(a)に示すように、第1数が第2数の0.5倍である場合、ハイパーパラメータの調整と組み合わせることで、評価パラメータP2が1となる。非正常品が正しく非正常と判断される。
【0070】
これに対して、
図5(c)に示すように、第1数が第2数と同じ場合、評価パラメータP2の最大値は、約0.7~0.8程度である。第1数が第2数と同じ場合は、ハイパーパラメータを調整しても、高い精度を得ることは困難である。
【0071】
例えば、第1数が第2数と同じ場合、ハイパーパラメータ調整では、真陰性率(TN)及び真陽性率(TP)共に、パラメータP1及びP2は0.6~0.8程度である。第1数及び第2数を互いに異ならせることで、高い精度の真陰性率(TN)TNまたは真陽性率(TP)が得られる。
【0072】
実施形態において、第1数が第2数よりも小さい(例えば0.5倍)ときに、1の評価パラメータP2が得られるのは、以下に基づくと考えられる。例えば、予測モデルが異常品に関するデータを誤判定した際に損失関数が大きくなる可能性が高い。第1数が第2数よりも小さい場合に、第1数が第2数と同じ場合と比べて、異常品の正答率が損失低下に寄与する程度がより大きくなると考えられる。これにより、第1数が第2数よりも小さいときに、1の評価パラメータP2が得られると考えられる。
【0073】
図6(a)及び
図6(b)は、データ処理装置の特性を例示するグラフである。
第1数をN1とする。第2数をN2とする。
図6は、第1数の第2数に対する比(N1/N2)を変化させたときの特性を例示している。これらの図の横軸は、比(N1/N2)である。
図6(a)の縦軸は、パラメータCN1である。パラメータCN1は、過学習を起こさない有効なハイパーパラメータの範囲内での真陰性率(TN)の平均値である。
図6(b)の縦軸は、パラメータCP1である。パラメータCP1は、過学習を起こさない有効なハイパーパラメータの範囲内での真陽性率(TP)の平均値である。
【0074】
例えば、正常品の発生率が高い場合において、真陰性率(TN)は、0.9以上であることが好ましい。これにより、例えば、機械学習による故障検知後の歩留まりを向上し易くなる。
図6(a)に示すように、比(N1/N2)が1.1以上2.0以下のときに、0.9以上の高いパラメータCN1が得られる。実施形態に係る1つの例において、第1数は、第2数の1.1倍以上2倍以下であることが好ましい。0.9以上の高い真陰性率(TN)が得られる。
【0075】
例えば、異常品の発生率が高い場合において、真陽性率(TP)は、0.9以上であることが好ましい。
図6(b)に示すように、比(N1/N2)が0.1以上0.9以下のときに、0.9以上のパラメータCP1が得られる。実施形態に係る1つの例において、第1数は、第2数の0.1倍以上0.9倍以下であることが好ましい。0.9以上の高い真陽性率(TP)が得られる。
【0076】
一般的な機械学習(参考例)では、第1数は第2数と同じである。この場合、真陽性率(TP)及び真陰性率(TN)の両方が、0.7~0.8程度である。第1数を第2数と同じとする参考例は、正常品の発生率が非正常品の発生率と同等程度の場合に適用されるのが適していると考えられる。
【0077】
例えば、正常品の発生率が非正常品の発生率の1000倍以上である場合に、1.1以上2.0以下の比(N1/N2)を適用するのが良いと考えられる。例えば、正常品の発生率が非正常品の発生率の1000倍未満である場合に、0.1以上0.9以下の比(N1/N2)を適用するのが良いと考えられる。
【0078】
実施形態において、例えば、クラス分類ラベルと、特徴量スケーリングされた特徴量ベクトルと、を含む組みを含む複数のデータを教師データとして、機械学習モデルが生成される。この際、第1クラスに対応する第1特徴量ベクトルの数が、第2クラスに対応する複数の第2特徴量ベクトルの量の数とは異ならせる。例えば、複数の特徴量ベクトルは、特徴空間に線形写像または非線形写像されて良い。生成された機械学習モデルにおいて生成された識別関数を用いて、別のデータ(別の特徴量)のクラス分類が予測される。このような動作が処理部70において実施される。
【0079】
実施形態に係るデータ処理装置110(及びデータ処理システム210)は、例えば、機械学習による分類問題(故障予知)に適用できる。実施形態において、教師データとなるデータの数がクラス間で異ならせる。数のクラス間比率が1:1ではない。数のクラス間比率が調整される。これにより、予測モデルの真陽性率及び真陰性率が調整可能である。実施形態において、ハイパーパラメータ調整による予測モデルの真陽性率及び真陰性率の調整が行われても良い。実施形態においては、ハイパーパラメータ調整だけでは得られない、高い精度の真陽性率及び真陰性率が得られる。
【0080】
実施形態に係るデータ処理システム210(
図1参照)は、1または複数の処理部70(
図1参照)を含む。データ処理システム210における処理部70は、データ処理装置110に関して説明した上記の動作を実施可能である。
【0081】
(第2実施形態)
第2実施形態は、プログラムに係る。プログラムは、処理部70(コンピュータ)に、第1分類ラベルに対応する複数の第1特徴量と、第2分類ラベルに対応する複数の第2特徴量と、を取得させる。プログラムは、処理部70に、複数の第1特徴量から複数の第1特徴量の少なくとも一部を選ばせ、複数の第2特徴量から複数の第2特徴量の少なくとも一部を選ばせる。プログラムは、処理部70に、第1動作OP1を実施させる。第1動作において、選ばれた複数の第1特徴量の上記の少なくとも一部の第1数は、選ばれた複数の第2特徴量の上記の少なくとも一部の第2数の1.1倍以上2倍以下である。プログラムは、処理部70に、選ばれた複数の第1特徴量の上記の少なくとも一部、及び、選ばれた複数の第2特徴量の上記の少なくとも一部と、に基づく第1教師データに基づいて、第1機械学習モデルを生成させる。
【0082】
実施形態は、上記のプログラムが記憶された記憶媒体を含んでも良い。
【0083】
(第3実施形態)
第3実施形態は、データ処理方法に係る。データ処理方法は、処理部70に、第1分類ラベルに対応する複数の第1特徴量と、第2分類ラベルに対応する複数の第2特徴量と、を取得させる。データ処理方法は、処理部70に、複数の第1特徴量から複数の第1特徴量の少なくとも一部を選ばせ、複数の第2特徴量から複数の第2特徴量の少なくとも一部を選ばせる。データ処理方法は、処理部70に、第1動作OP1を実施させる。第1動作OP1において、選ばれた複数の第1特徴量の上記の少なくとも一部の第1数は、選ばれた複数の第2特徴量の上記の少なくとも一部の第2数の1.1倍以上2倍以下である。データ処理方法は、処理部70に、選ばれた複数の第1特徴量の上記の少なくとも一部、及び、選ばれた複数の第2特徴量の上記の少なくとも一部と、に基づく第1教師データに基づいて、第1機械学習モデルを生成させる。
【0084】
実施形態は、以下の構成(例えば技術案)を含んで良い。
(構成1)
処理部を備え、
前記処理部は、第1分類ラベルに対応する複数の第1特徴量と、第2分類ラベルに対応する複数の第2特徴量と、を取得可能であり、
前記処理部は、前記複数の第1特徴量から前記複数の第1特徴量の少なくとも一部を選ぶことが可能であり、前記複数の第2特徴量から前記複数の第2特徴量の少なくとも一部を選ぶことが可能であり、前記処理部は、第1動作を実施可能であり、前記第1動作において、前記選ばれた前記複数の第1特徴量の前記少なくとも一部の第1数は、前記選ばれた前記複数の第2特徴量の前記少なくとも一部の第2数の1.1倍以上2倍以下であり、
前記処理部は、前記選ばれた前記複数の第1特徴量の前記少なくとも一部、及び、前記選ばれた前記複数の第2特徴量の前記少なくとも一部と、に基づく第1教師データに基づいて、第1機械学習モデルを生成可能である、データ処理装置。
【0085】
(構成2)
前記処理部は、前記第1分類ラベルに対応する複数の第3特徴量と、前記第2分類ラベルに対応する複数の第4特徴量と、を取得することがさらに可能であり、
前記処理部は、前記複数の第3特徴量から前記複数の第3特徴量の少なくとも一部を選ぶことが可能であり、前記複数の第4特徴量から前記複数の第4特徴量の少なくとも一部を選ぶことが可能であり、前記処理部は、第2動作を実施可能であり、前記第2動作において、前記選ばれた前記複数の第3特徴量の前記少なくとも一部の第3数は、前記選ばれた前記複数の第4特徴量の前記少なくとも一部の第4数の0.1倍以上0.9倍以下であり、
前記処理部は、前記選ばれた前記複数の第3特徴量の前記少なくとも一部、及び、前記選ばれた前記複数の第4特徴量の前記少なくとも一部と、に基づく第2教師データに基づいて、第2機械学習モデルをさらに生成可能である、構成1に記載のデータ処理装置。
【0086】
(構成3)
対象とする複数の事象は、前記第1分類ラベルに対応する複数の第3事象と、前記第2分類ラベルに対応する複数の第4事象と、を含み、
前記第2動作において、前記複数の事象における前記複数の第3事象の第3発生率は、前記複数の事象における前記複数の第4事象の第4発生率よりも低い、構成2に記載のデータ処理装置。
【0087】
(構成4)
前記第2動作において、前記第3発生率は、対象物の正常品の発生率に対応し、前記第4発生率は、前記対象物の非正常品の発生率に対応する、構成3に記載のデータ処理装置。
【0088】
(構成5)
対象とする複数の事象は、前記第1分類ラベルに対応する複数の第1事象と、前記第2分類ラベルに対応する複数の第2事象と、を含み、
前記第1動作において、前記複数の事象における前記複数の第1事象の第1発生率は、前記複数の事象における前記複数の第2事象の第2発生率よりも高い、構成1または2に記載のデータ処理装置。
【0089】
(構成6)
前記第1動作において、前記第1発生率は、対象物の正常品の発生率に対応し、前記第2発生率は、前記対象物の非正常品の発生率に対応する、構成5に記載のデータ処理装置。
【0090】
(構成7)
前記第1教師データは、前記複数の第1特徴量を特徴量スケーリング処理して得られる複数の量、及び、前記複数の第2特徴量を特徴量スケーリング処理して得られる複数の量と、に基づく、構成1~6のいずれか1つに記載のデータ処理装置。
【0091】
(構成8)
前記特徴量スケーリング処理は、正規化及び標準化の少なくともいずれかを含む、構成7に記載のデータ処理装置。
【0092】
(構成9)
前記第1機械学習モデルの前記生成は、前記選ばれた前記複数の第1特徴量の前記少なくとも一部と、前記複数の第2特徴量の前記少なくとも一部と、の特徴空間への写像演算を含む、構成1~8のいずれか1つに記載のデータ処理装置。
【0093】
(構成10)
前記写像演算は、カーネル関数、t-SNE(t-Distributed Stochastic Neighbor Embedding)、及び、UMAP(Uniform Manifold Approximation and Projection)の少なくともいずれかの演算を含む、構成9に記載のデータ処理装置。
【0094】
(構成11)
前記カーネル関数は、線形カーネル、多項式カーネル、及び、ガウスカーネル、シグモイドカーネル、ラプラスカーネル、及び、Maternカーネルの少なくともいずれかを含む、構成10に記載のデータ処理装置。
【0095】
(構成12)
前記第1機械学習モデルの前記生成は、前記写像演算された後の量の、前記第1分類ラベル及び前記第2分類ラベルに関する第1識別関数の導出を含む、構成9または10に記載のデータ処理装置。
【0096】
(構成13)
前記第1識別関数の前記導出は、SVM(Support Vector Machine)及びニューラルネットワーク(NN)、SDG(Stochastic Gradient Descent) Classifier、kNN(k-Nearest Neighbor)Classifier、及び、ナイーブベイズ分類器の少なくともいずれかかに基づく、構成12に記載のデータ処理装置。
【0097】
(構成14)
前記処理部は、分類動作がさらに可能であり、
前記分類動作において、前記処理部は、前記第1識別関数に基づいて、別の特徴量を前記第1分類ラベルまたは前記第2分類ラベルに分類する、構成12または13に記載のデータ処理装置。
【0098】
(構成15)
前記処理部は、分類動作がさらに可能であり、
前記分類動作において、前記処理部は、前記第1機械学習モデルに基づいて、別の特徴量を前記第1分類ラベルまたは前記第2分類ラベルに分類する、構成1~13のいずれか1つに記載のデータ処理装置。
【0099】
(構成16)
前記別の特徴量は、前記処理部が入手した新たなデータを特徴量スケーリングすることにより得られた、構成14または15に記載のデータ処理装置。
【0100】
(構成17)
前記第1機械学習モデルの前記生成は、ハイパーパラメータの調整を含む、構成1~16のいずれか1つに記載のデータ処理装置。
【0101】
(構成18)
前記複数の第1特徴量、及び、前記複数の第2特徴量は、磁気記録装置の特性に関する、構成1~17のいずれか1つに記載のデータ処理装置。
【0102】
(構成19)
1または複数の処理部を備え、
前記処理部は、第1分類ラベルに対応する複数の第1特徴量と、第2分類ラベルに対応する複数の第2特徴量と、を取得可能であり、
前記処理部は、前記複数の第1特徴量から前記複数の第1特徴量の少なくとも一部を選ぶことが可能であり、前記複数の第2特徴量から前記複数の第2特徴量の少なくとも一部を選ぶことが可能であり、前記処理部は、第1動作を実施可能であり、前記第1動作において、前記選ばれた前記複数の第1特徴量の前記少なくとも一部の第1数は、前記選ばれた前記複数の第2特徴量の前記少なくとも一部の第2数の1.1倍以上2倍以下であり、
前記処理部は、前記選ばれた前記複数の第1特徴量の前記少なくとも一部、及び、前記選ばれた前記複数の第2特徴量の前記少なくとも一部と、に基づく第1教師データに基づいて、第1機械学習モデルを生成可能である、データ処理システム。
【0103】
(構成20)
処理部に、第1分類ラベルに対応する複数の第1特徴量と、第2分類ラベルに対応する複数の第2特徴量と、を取得させ、
前記処理部に、前記複数の第1特徴量から前記複数の第1特徴量の少なくとも一部を選ばせ、前記複数の第2特徴量から前記複数の第2特徴量の少なくとも一部を選ばせ、前記処理部に、第1動作を実施させ、前記第1動作において、前記選ばれた前記複数の第1特徴量の前記少なくとも一部の第1数は、前記選ばれた前記複数の第2特徴量の前記少なくとも一部の第2数の1.1倍以上2倍以下であり、
前記処理部に、前記選ばれた前記複数の第1特徴量の前記少なくとも一部、及び、前記選ばれた前記複数の第2特徴量の前記少なくとも一部と、に基づく第1教師データに基づいて、第1機械学習モデルを生成させるプログラムが記憶された、記憶媒体。
【0104】
(構成21)
処理部に、第1分類ラベルに対応する複数の第1特徴量と、第2分類ラベルに対応する複数の第2特徴量と、を取得させ、
前記処理部に、前記複数の第1特徴量から前記複数の第1特徴量の少なくとも一部を選ばせ、前記複数の第2特徴量から前記複数の第2特徴量の少なくとも一部を選ばせ、前記処理部に、第1動作を実施させ、前記第1動作において、前記選ばれた前記複数の第1特徴量の前記少なくとも一部の第1数は、前記選ばれた前記複数の第2特徴量の前記少なくとも一部の第2数の1.1倍以上2倍以下であり、
前記処理部に、前記選ばれた前記複数の第1特徴量の前記少なくとも一部、及び、前記選ばれた前記複数の第2特徴量の前記少なくとも一部と、に基づく第1教師データに基づいて、第1機械学習モデルを生成させる、プログラム。
【0105】
(構成22)
処理部に、第1分類ラベルに対応する複数の第1特徴量と、第2分類ラベルに対応する複数の第2特徴量と、を取得させ、
前記処理部に、前記複数の第1特徴量から前記複数の第1特徴量の少なくとも一部を選ばせ、前記複数の第2特徴量から前記複数の第2特徴量の少なくとも一部を選ばせ、前記処理部に、第1動作を実施させ、前記第1動作において、前記選ばれた前記複数の第1特徴量の前記少なくとも一部の第1数は、前記選ばれた前記複数の第2特徴量の前記少なくとも一部の第2数の1.1倍以上2倍以下であり、
前記処理部に、前記選ばれた前記複数の第1特徴量の前記少なくとも一部、及び、前記選ばれた前記複数の第2特徴量の前記少なくとも一部と、に基づく第1教師データに基づいて、第1機械学習モデルを生成させる、データ処理方法。
【0106】
実施形態によれば、精度の向上が可能なデータ処理装置、データ処理システム、及び、データ処理方法が提供できる。
【0107】
以上、例を参照しつつ、本発明の実施の形態について説明した。しかし、本発明は、これらの例に限定されるものではない。例えば、データ処理装置に含まれる処理部などの構成に関しては、当業者が公知の範囲から適宜選択することにより本発明を同様に実施し、同様の効果を得ることができる限り、本発明の範囲に包含される。
【0108】
各例のいずれか2つ以上の要素を技術的に可能な範囲で組み合わせたものも、本発明の要旨を包含する限り本発明の範囲に含まれる。
【0109】
本発明の実施の形態として上述したデータ処理装置、データ処理システム、及び、データ処理方法を基にして、当業者が適宜設計変更して実施し得る全てのデータ処理装置、データ処理システム、及び、データ処理方法も、本発明の要旨を包含する限り、本発明の範囲に属する。
【0110】
本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の範囲に属するものと了解される。
【0111】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0112】
70…処理部、 78…取得部、 79a…記憶部、 79b…表示部、 79c…入力部、 110…データ処理装置、 210…データ処理システム、 CN1、CP1…パラメータ、 N0…番号、 OP1、OP2…第1、第2動作、P1、P2…第1、第2評価パラメータ