特許 7570452 機械学習判定モデル、機械学習判定モデル生成方法及び機械学習判定モデル生成用プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-10

(45)【発行日】2024-10-21

(54)【発明の名称】機械学習判定モデル、機械学習判定モデル生成方法及び機械学習判定モデル生成用プログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241011BHJP

【ＦＩ】

G06N20/00 130

【請求項の数】 18

(21)【出願番号】P 2023049834

(22)【出願日】2023-03-27

(65)【公開番号】P2024139050

(43)【公開日】2024-10-09

【審査請求日】2023-06-16

(73)【特許権者】

【識別番号】391016358

【氏名又は名称】東芝情報システム株式会社

(74)【代理人】

【識別番号】100156199

【弁理士】

【氏名又は名称】神崎 真

(74)【代理人】

【識別番号】100124497

【弁理士】

【氏名又は名称】小倉 洋樹

(74)【代理人】

【識別番号】100074147

【弁理士】

【氏名又は名称】本田 崇

(72)【発明者】

【氏名】小川 肇

(72)【発明者】

【氏名】佐野 貴章

(72)【発明者】

【氏名】富樫 政寛

【審査官】大倉 崚吾

(56)【参考文献】

【文献】中国特許出願公開第１１５３０８５６２（ＣＮ，Ａ）

【文献】韓国公開特許第１０－２０１９－０１３４３０８（ＫＲ，Ａ）

【文献】米国特許出願公開第２０２１／０２８７０８６（ＵＳ，Ａ１）

【文献】特表２０２２－５５４３０６（ＪＰ，Ａ）

【文献】特開２０１６－０２３９６４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２２／０３００８０５（ＵＳ，Ａ１）

【文献】国際公開第２０１４／０６５０３２（ＷＯ，Ａ１）

【文献】特開２００７－３２２４１５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２２／０１９８３０４（ＵＳ，Ａ１）

【文献】三上哲平 ほか，"系列モデルを対象とする説明可能ＡＩ技術を用いた野球投手の配球分析"，情報処理学会研究報告，情報処理学会，2023年03月03日，Vol. 2023-ICS-210，No. 9，p. 1-5

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

Ｇ０１Ｒ ３１／２６－３１／３１９３

Ｈ０１Ｌ ２１／６６

(57)【特許請求の範囲】

【請求項1】

コンピュータを、入力信号が与えられた場合に、複数の特性に対応する画像信号と複数の特性に対応する数値信号とを出力する評価対象電子デバイスから前記画像信号と前記数値信号を測定装置部を介してデータとして取得し、機械学習を行って前記評価対象電子デバイスの良否評価を行う機械学習判定モデルとして機能させる機械学習判定モデル用プログラムであって、
前記コンピュータを、前記取得した前記画像信号と前記数値信号の時系列信号毎のデータ毎に、パス（ＰＡＳＳ）の評価またはフェイル（ＦＡＩＬ）の評価の説明を付加して、良否評価を出力するＸＡＩを実現する手段として機能させることを特徴とする機械学習判定モデル用プログラム。

【請求項2】

前記コンピュータを、前記ＸＡＩを実現する手段として、
パス（ＰＡＳＳ）の割合（パーセント）とフェイル（ＦＡＩＬ）の割合（パーセント）を評価の説明として付加して、良否評価を出力するように機能させることを特徴とする請求項１に記載の機械学習判定モデル用プログラム。

【請求項3】

前記コンピュータを、前記ＸＡＩを実現する手段として、
「パス（ＰＡＳＳ）の割合（パーセント）と、パス（ＰＡＳＳ）が何番目の時系列信号であるかを示す表記」と
「フェイル（ＦＡＩＬ）の割合（パーセント）、フェイル（ＦＡＩＬ）と何番目の時系列信号であるかを示す表記」と
を評価の説明として付加して、良否評価を出力するように機能させることを特徴とする請求項２に記載の機械学習判定モデル用プログラム。

【請求項4】

前記コンピュータを、機械学習を行って前記評価対象電子デバイスの良否評価を行う機械学習判定モデルとして、
前記評価対象電子デバイスから前記測定装置部を介して取得した信号のデータに基づき予測を行って予測信号のデータを得て、前記取得した信号及び前記予測信号のデータを用いて機械学習を行い、前記評価対象電子デバイスの良否評価を行うように機能させることを特徴とする請求項１に記載の機械学習判定モデル用プログラム。

【請求項5】

評価対象電子デバイスに入力信号を与えたときに出力される出力信号を測定装置部において捕らえ、前記評価対象電子デバイスの仕様書に記載されたリファレンスデータを入力して、これら出力信号及びリファレンスデータを前記評価対象電子デバイスの評価情報と対応付けて学習データを生成し、
この学習データを用いて機械学習判定モデルを生成することを特徴とする機械学習判定モデル生成方法。

【請求項6】

前記出力信号と前記評価対象電子デバイスの評価情報と対応付けて学習データを生成する際には、出力信号を正の出力信号と負の出力信号に分けて前記評価対象電子デバイスの評価情報と対応付けて学習データを生成することを特徴とする請求項５に記載の機械学習判定モデル生成方法。

【請求項7】

評価対象電子デバイスに入力信号を与えたときに出力される出力信号を測定装置部において捕らえたときに、１画面に複数の出力信号が含まれている場合には、複数の出力信号を１づつに分割して、１つの出力信号毎に前記評価対象電子デバイスの評価情報と対応付けて学習データを生成することを特徴とする請求項５に記載の機械学習判定モデル生成方法。

【請求項8】

評価対象電子デバイスに入力信号を与えたときに出力される出力信号を測定装置部において捕らえたときに、前記出力信号に基づき予測を行って予測信号を得て、前記取得した信号及び前記予測信号を用いて一連の出力信号の疑似データとして、この一連の出力信号の疑似データに前記評価対象電子デバイスの評価情報と対応付けて学習データを生成することを特徴とする請求項５に記載の機械学習判定モデル生成方法。

【請求項9】

評価対象電子デバイスに与えた入力信号に基づき、前記評価対象電子デバイスから測定装置部を介して出力を得て、この出力を用いて機械学習を行い、前記評価対象電子デバイスの良否評価を行う現用機械学習判定モデルを用いて、実際の評価対象電子デバイスの良否評価を行い、得られた結果に基づく機械学習データを、前記現用機械学習判定モデルの生成に用いた機械学習データを記憶した学習データＤＢへ格納し、この学習データＤＢに格納されたデータを用いて機械学習を行い新たな判定モデルを生成することを特徴とする請求項５に記載の機械学習判定モデル生成方法。

【請求項10】

実際の評価対象電子デバイスの良否評価を行い、得られた結果に基づき、そのときの評価対象の出力信号と、評価結果とを対応付けて学習データとし、学習データＤＢへ格納することを特徴とする請求項９に記載の機械学習判定モデル生成方法。

【請求項11】

評価対象電子デバイスに入力信号を与えたときに出力される出力信号を測定装置部において捕らえたときに、複数の出力信号が含まれている一連の出力信号に対して１つの評価情報を与える場合に、複数の出力信号のそれぞれについてpass要因であるかfail要因であるかの説明を出力するＸＡＩを用いて、１つの評価結果がpassとなる疑似データとfailとなる疑似データを生成することを特徴とする請求項５に記載の機械学習判定モデル生成方法。

【請求項12】

コンピュータを、評価対象電子デバイスに入力信号を与えたときに測定装置部から出力される出力信号を捕らえ、前記評価対象電子デバイスの仕様書に記載されたリファレンスデータを取得する生成用データ取得手段、
これら出力信号及びリファレンスデータを前記評価対象電子デバイスの評価情報と対応付けて学習データを生成する学習データ生成手段、前記学習データを用いて機械学習判定モデルを生成する機械学習判定モデル生成手段として機能させることを特徴とする機械学習判定モデル生成用プログラム。

【請求項13】

前記コンピュータを前記学習データ生成手段として、前記出力信号と前記評価対象電子デバイスの評価情報と対応付けて学習データを生成する際には、出力信号を正の出力信号と負の出力信号に分けて前記評価対象電子デバイスの評価情報と対応付けて学習データを生成するように機能させることを特徴とする請求項１２に記載の機械学習判定モデル生成用プログラム。

【請求項14】

前記コンピュータを前記学習データ生成手段として、評価対象電子デバイスに入力信号を与えたときに出力される出力信号を測定装置部において捕らえたときに、１画面に複数の出力信号が含まれている場合には、複数の出力信号を１づつに分割して、１つの出力信号毎に前記評価対象電子デバイスの評価情報と対応付けて学習データを生成するように機能させることを特徴とする請求項１２に記載の機械学習判定モデル生成用プログラム。

【請求項15】

前記コンピュータを前記学習データ生成手段として、評価対象電子デバイスに入力信号を与えたときに出力される出力信号を測定装置部において捕らえたときに、前記出力信号に基づき予測を行って予測信号を得て、前記取得した信号及び前記予測信号を用いて一連の出力信号として、この一連の出力信号に前記評価対象電子デバイスの評価情報と対応付けて学習データ用の疑似データを生成するように機能させることを特徴とする請求項１２に記載の機械学習判定モデル生成用プログラム。

【請求項16】

評価対象電子デバイスに与えた入力信号に基づき、前記評価対象電子デバイスから測定装置部を介して出力を得て、この出力を用いて機械学習を行い、前記評価対象電子デバイスの良否評価を行う現用機械学習判定モデルを用いて、実際の評価対象電子デバイスの良否評価を行い、得られた結果に基づく学習データを、前記現用機械学習判定モデルの生成に用いた学習データを記憶した学習データＤＢへ格納するシステムに適用される前記コンピュータが前記機械学習判定モデル生成手段として機能する場合において、
前記コンピュータを前記機械学習判定モデル生成手段として、前記学習データＤＢに格納されたデータを用いて機械学習を行い新たな判定モデルを生成するように機能させることを特徴とする請求項１２に記載の機械学習判定モデル生成用プログラム。

【請求項17】

前記システムでは、実際の評価対象電子デバイスの良否評価を行い、得られた結果に基づき、そのときの評価対象の出力信号と、評価結果とを対応付けて学習データとし、学習データＤＢへ格納することを特徴とする請求項１６に記載の機械学習判定モデル生成用プログラム。

【請求項18】

前記コンピュータを学習データ生成手段として、
評価対象電子デバイスに入力信号を与えたときに出力される出力信号を測定装置部において捕らえたときに、複数の出力信号が含まれている一連の出力信号に対して１つの評価情報を与える場合に、複数の出力信号のそれぞれについてpass要因であるかfail要因であるかの説明情報を出力するＸＡＩから説明情報を得て、
１つの評価結果がpassとなる疑似データとfailとなる疑似データを生成するように機能させることを特徴とする請求項１２に記載の機械学習判定モデル生成用プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、機械学習判定モデル、機械学習判定モデル生成方法及び機械学習判定モデル生成用プログラムに関するものである。

【背景技術】

【0002】

従来の評価対象電子デバイスの良否評価においては、数値データを機械的に良否判定するには、閾値でしか判定できないものであった。また、動作が怪しいものであっても閾値内であれば、良品としてパスしてしまうことになった。また、オシロスコープ等の画像データを使った良品判断は、機械的に判定できず、人の目で判定することが多く、熟練した検査者が必要となるものであった。

【0003】

ＡＩを用いた評価も行われるようになっているものの、機械学習で使用する判定モデルの作成には過去データを使用するのが一般的であり、この場合には、過去データは機械学習用にラベリングされたものとはなっておらず、判定モデル作成には人手による労力が膨大になるものであった。また、機械学習において数値データに正負の符号データが存在すると、学習効率が低下するという問題もあった。更に、全ての測定が終わらなければ、判定処理ができないという問題もあった。

【0004】

特許文献１の装置は、次の問題点を解決しようとしている。労働人口の減少が進む中、熟練の保守作業員によって行われていた点検や検査などの作業を、画像認識技術で支援又は自動化したいという要求が高まっている。画像認識では、現場で収集した大量の学習用画像を用いて識別器などの学習を行うことで、認識精度を向上させる必要がある。しかし、一般に、異常な状態は発生頻度が低いため、十分な量の学習用画像を収集することが難しい。

【0005】

そこで、特許文献１の異常検知装置は、取得部、異常度算出部、正常度算出部、特定部及び出力部を有する。取得部は入力データを取得するものであり、異常度算出部は、入力データの異常度を算出する識別モデルを有し、取得した入力データを識別モデルに入力することで、その入力データの異常度を算出する構成を有する。また、正常度算出部は、入力データの正常度を算出する正常モデルを有し、取得した入力データを正常モデルに入力することで、その入力データの正常度を算出する。特定部は、入力データの異常さに関する特定を行う特定モデルを有し、異常度及び正常度を特定モデルに入力することで、取得した入力データの異常さに関する特定を行う。そして、上記特定の結果に基づく出力情報を出力部から出力する。

【0006】

特許文献２では、所定の学習データは、例えば、画像データ、音データ、数値データ、テキストデータ、その他センサにより得られる測定データ等であり、個々の現場では、
生成モデルを訓練するための多様な学習データを収集するのは困難であることに鑑み、多様なデータを生成可能な生成モデルを構築するための技術を提供するとしている。

【0007】

特許文献２に記載のモデル生成装置は、生成モデルを用いて、データを生成する生成部と、ローカル学習データを使用した機械学習により、与えられたデータがローカル学習データか否かを識別する能力をそれぞれ獲得した複数の学習済みの識別モデルそれぞれに生成されたデータを送信し、各識別モデルにデータに対する識別を実行させる送信部を備える。また、送信されたデータに対する各識別モデルによる識別の結果を受信する受信部と、受信された識別の結果を使用した機械学習により、複数の識別モデルのうちの少なくともいずれか一つの識別モデルの識別性能を低下させるようなデータを生成するように生成モデルを訓練する学習処理部と、を備える。

【0008】

更に、特許文献３では、学習モデルの精度を向上させるためには、正常及び異常双方に関する大量の訓練データが必要となるという問題があることに鑑み、異常訓練データの準備負担を軽減することが可能な学習モデルの生成方法等を提供するとしている。

【0009】

そこで、特許文献３の学習モデルの生成方法は、正常と判断された時系列データを取得し、取得した時系列データに基づいて異常データを生成し、正常と判断された時系列データ及び前記時系列データに対しラベル付けされた正常ラベルと、生成した異常データ及び前記異常データに対しラベル付けされた異常ラベルとに基づき、時系列データを入力した場合に、異常に関する情報を出力する学習モデルを生成する処理を実行させる構成を有している。

【先行技術文献】

【特許文献】

【0010】

【文献】特許第７１３６３２９号公報

【文献】特許第７０２０４３８号公報

【文献】特許第７０１５４０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0011】

上記のように、従来の機械学習判定モデルや機械学習判定モデル生成方法では、人が目で見て判断するような曖昧さを含めた判定ができ難いものであった。
また、機械学習で使用する学習モデルは、大量の学習データとして過去データを必要とし、機械学習の判定を行うものであった。

【0012】

本発明は、上記のような従来の機械学習判定モデルや機械学習判定モデル生成方法に鑑みなされたもので、その目的は、人が目で見て判断するような曖昧さを含めた判定が可能な機械学習判定モデルを提供することである。また、大量の学習データとして過去データを必要としない機械学習判定モデル生成方法を提供することを目的とする。

【課題を解決するための手段】

【0013】

本発明に係る機械学習判定モデル用プログラムは、コンピュータを、入力信号が与えられた場合に、複数の特性に対応する画像信号と複数の特性に対応する数値信号とを出力する評価対象電子デバイスから前記画像信号と前記数値信号を測定装置部を介してデータとして取得し、機械学習を行って前記評価対象電子デバイスの良否評価を行う機械学習判定モデルとして機能させる機械学習判定モデル用プログラムであって、前記コンピュータを、前記取得した前記画像信号と前記数値信号の時系列信号毎のデータ毎に、パス（ＰＡＳＳ）の評価またはフェイル（ＦＡＩＬ）の評価の説明を付加して、良否評価を出力するＸＡＩを実現する手段として機能させることを特徴とする。

【0014】

本発明において、良否評価とは、パス（ＰＡＳＳ）の評価又はフェイル（ＦＡＩＬ）の評価のような、２パターンに限定されない。パス（ＰＡＳＳ）の評価又はフェイル（ＦＡＩＬ）の評価は複数の状態に分別した幅を有してもよい。例えば、それぞれＦａｉｌやＰａｓｓをさらに区分けして、ＦＡＩＬ１、ＦＡＩＬ２、ＰＡＳＳ１、ＰＡＳＳ２のように多種類を判定することも可能である。
より具体的に述べるならば、ＰＡＳＳ分類は品質分け（最高品質、良品質、通常品質）を含めたものとすることができる。また、ＦＡＩＬ分類は、不良モードで分ける「データ飛び」や「異常波形出力」等不良モードの内容で分けることもできる。この実施形態は、本発明が、pass要因であるかfail要因であるかの説明情報を出力するＸＡＩを用いるものであることによって、このＸＡＩから説明情報を得て良否判定に用いることができることを意味する。

【0015】

本発明に係る機械学習判定モデル用プログラムでは、前記コンピュータを、前記ＸＡＩを実現する手段として、パス（ＰＡＳＳ）の割合（パーセント）とフェイル（ＦＡＩＬ）の割合（パーセント）を評価の説明として付加して、良否評価を出力するように機能させることを特徴とする。

【0016】

本発明に係る機械学習判定モデル用プログラムでは、前記コンピュータを、前記ＸＡＩを実現する手段として、「パス（ＰＡＳＳ）の割合（パーセント）と、パス（ＰＡＳＳ）が何番目の時系列信号であるかを示す表記」と、「フェイル（ＦＡＩＬ）の割合（パーセント）、フェイル（ＦＡＩＬ）と何番目の時系列信号であるかを示す表記」とを評価の説明として付加して、良否評価を出力するように機能させることを特徴とする。

【0017】

本発明に係る機械学習判定モデル用プログラムでは、前記コンピュータを、機械学習を行って前記評価対象電子デバイスの良否評価を行う機械学習判定モデルとして、前記評価対象電子デバイスから前記測定装置部を介して取得した信号のデータに基づき予測を行って予測信号のデータを得て、前記取得した信号及び前記予測信号のデータを用いて機械学習を行い、前記評価対象電子デバイスの良否評価を行うように機能させることを特徴とする。

【0018】

本発明に係る機械学習判定モデル生成方法は、評価対象電子デバイスに入力信号を与えたときに出力される出力信号を測定装置部において捕らえ、前記評価対象電子デバイスの仕様書に記載されたリファレンスデータを入力して、これら出力信号及びリファレンスデータを前記評価対象電子デバイスの評価情報と対応付けて学習データを生成し、この学習データを用いて機械学習判定モデルを生成することを特徴とする。

【0019】

本発明に係る機械学習判定モデル生成方法では、前記出力信号と前記評価対象電子デバイスの評価情報と対応付けて学習データを生成する際には、出力信号を正の出力信号と負の出力信号に分けて前記評価対象電子デバイスの評価情報と対応付けて学習データを生成することを特徴とする。

【0020】

本発明に係る機械学習判定モデル生成方法では、評価対象電子デバイスに入力信号を与えたときに出力される出力信号を測定装置部において捕らえたときに、１画面に複数の出力信号が含まれている場合には、複数の出力信号を１づつに分割して、１つの出力信号毎に前記評価対象電子デバイスの評価情報と対応付けて学習データを生成することを特徴とする。

【0021】

本発明に係る機械学習判定モデル生成方法では、評価対象電子デバイスに入力信号を与えたときに出力される出力信号を測定装置部において捕らえたときに、前記出力信号に基づき予測を行って予測信号を得て、前記取得した信号及び前記予測信号を用いて一連の出力信号の疑似データとして、この一連の出力信号の疑似データに前記評価対象電子デバイスの評価情報と対応付けて学習データを生成することを特徴とする。

【0022】

本発明に係る機械学習判定モデル生成方法では、評価対象電子デバイスに与えた入力信号に基づき、前記評価対象電子デバイスから測定装置部を介して出力を得て、この出力を用いて機械学習を行い、前記評価対象電子デバイスの良否評価を行う現用機械学習判定モデルを用いて、実際の評価対象電子デバイスの良否評価を行い、得られた結果に基づく機械学習データを、前記現用機械学習判定モデルの生成に用いた機械学習データを記憶した学習データＤＢへ格納し、この学習データＤＢに格納されたデータを用いて機械学習を行い新たな判定モデルを生成することを特徴とする。

【0023】

本発明に係る機械学習判定モデル生成方法では、実際の評価対象電子デバイスの良否評価を行い、得られた結果に基づき、そのときの評価対象の出力信号と、評価結果とを対応付けて学習データとし、学習データＤＢへ格納することを特徴とする。

【0024】

本発明に係る機械学習判定モデル生成方法では、評価対象電子デバイスに入力信号を与えたときに出力される出力信号を測定装置部において捕らえたときに、複数の出力信号が含まれている一連の出力信号に対して１つの評価情報を与える場合に、複数の出力信号のそれぞれについてpass要因であるかfail要因であるかの説明を出力するＸＡＩを用いて、１つの評価結果がpassとなる疑似データとfailとなる疑似データを生成することを特徴とする。

【0025】

本発明に係る機械学習判定モデル生成プログラムは、コンピュータを、評価対象電子デバイスに入力信号を与えたときに測定装置部から出力される出力信号を捕らえ、前記評価対象電子デバイスの仕様書に記載されたリファレンスデータを取得する生成用データ取得手段、これら出力信号及びリファレンスデータを前記評価対象電子デバイスの評価情報と対応付けて学習データを生成する学習データ生成手段、前記学習データを用いて機械学習判定モデルを生成する機械学習判定モデル生成手段として機能させることを特徴とする。

【0026】

本発明に係る機械学習判定モデル生成プログラムでは、前記コンピュータを前記学習データ生成手段として、評価対象電子デバイスに入力信号を与えたときに出力される出力信号を測定装置部において捕らえたときに、１画面に複数の出力信号が含まれている場合には、複数の出力信号を１づつに分割して、１つの出力信号毎に前記評価対象電子デバイスの評価情報と対応付けて学習データを生成するように機能させることを特徴とする。

【0027】

本発明に係る機械学習判定モデル生成プログラムでは、前記コンピュータを前記学習データ生成手段として、評価対象電子デバイスに入力信号を与えたときに出力される出力信号を測定装置部において捕らえたときに、前記出力信号に基づき予測を行って予測信号を得て、前記取得した信号及び前記予測信号を用いて一連の出力信号として、この一連の出力信号に前記評価対象電子デバイスの評価情報と対応付けて学習データ用の疑似データを生成するように機能させることを特徴とする。

【0028】

本発明に係る機械学習判定モデル生成プログラムでは、評価対象電子デバイスに与えた入力信号に基づき、前記評価対象電子デバイスから測定装置部を介して出力を得て、この出力を用いて機械学習を行い、前記評価対象電子デバイスの良否評価を行う現用機械学習判定モデルを用いて、実際の評価対象電子デバイスの良否評価を行い、得られた結果に基づく学習データを、前記現用機械学習判定モデルの生成に用いた学習データを記憶した学習データＤＢへ格納するシステムに適用される前記コンピュータが前記機械学習判定モデル生成手段として機能する場合において、前記コンピュータを前記機械学習判定モデル生成手段として、前記学習データＤＢに格納されたデータを用いて機械学習を行い新たな判定モデルを生成するように機能させることを特徴とする。

【0029】

本発明に係る機械学習判定モデル生成プログラムでは、前記システムでは、実際の評価対象電子デバイスの良否評価を行い、得られた結果に基づき、そのときの評価対象の出力信号と、評価結果とを対応付けて学習データとし、学習データＤＢへ格納することを特徴とする。

【0030】

本発明に係る機械学習判定モデル生成プログラムでは、前記コンピュータを学習データ生成手段として、評価対象電子デバイスに入力信号を与えたときに出力される出力信号を測定装置部において捕らえたときに、複数の出力信号が含まれている一連の出力信号に対して１つの評価情報を与える場合に、複数の出力信号のそれぞれについてpass要因であるかfail要因であるかの説明情報を出力するＸＡＩから説明情報を得て、１つの評価結果がpassとなる疑似データとfailとなる疑似データを生成するように機能させることを特徴とする。

【図面の簡単な説明】

【0031】

【図1】本発明の実施形態に係る機械学習判定モデルを用いて構成した電子デバイス評価システムの構成図。

【図2】本発明の実施形態に係る機械学習判定モデルを実現するコンピュータの構成図。

【図3】本発明の本実施形態に係る電子デバイス評価システムの動作を示すフローチャート。

【図4】評価対象電子デバイスについて、複数の特性に対応する画像信号と複数の特性に対応する数値信号を取り込む場合の構成を示す図。

【図5】本発明の実施形態に係る機械学習判定モデルにより行われる予測の一例を示す図。

【図6】本発明の実施形態に係る機械学習判定モデルがＸＡＩ３１を備えていることを示す図。

【図7】本発明の実施形態に係る機械学習判定モデルが備えているＸＡＩ３１による動作の一例を示す図。

【図8】本実施形態の機械学習判定モデル生成用プログラムが、コンピュータを、いくつかの手段として機能させることを示すブロック図。

【図9】本実施形態の機械学習判定モデル生成用プログラムが、コンピュータを、いくつかの手段として機能させることを示す説明図。

【図9D】本実施形態の機械学習判定モデル生成用プログラムが、コンピュータを、学習データ生成手段として機能させる場合における処理の一例を示す説明図。

【図9E】本実施形態の機械学習判定モデル生成用プログラムが、コンピュータを、学習データ生成手段として機能させる場合における、図９Ｄとは別の処理の一例を示す説明図。

【図10】本実施形態の機械学習判定モデル生成用プログラムが、コンピュータを、学習データ生成手段として機能させる場合における、第２の実施形態の処理を示す説明図。

【図11】本実施形態の機械学習判定モデル生成用プログラムが、コンピュータを、学習データ生成手段として機能させる場合における、第３の実施形態の処理を示す説明図。

【図12】本実施形態の機械学習判定モデル生成用プログラムが、コンピュータを、学習データ生成手段として機能させる場合における、第４の実施形態の処理を示す説明図。

【図13】本実施形態の機械学習判定モデル生成用プログラムが、コンピュータを、機械学習判定モデル生成手段として機能させる場合における処理を示す説明図。

【図14】本実施形態の機械学習判定モデル生成用プログラムが、コンピュータを、ＸＡＩ３１から説明情報を得て、学習データ生成手段として機能させる場合における第１番目の処理を示す説明図。

【図15】本実施形態の機械学習判定モデル生成用プログラムが、コンピュータを、ＸＡＩ３１から説明情報を得て、学習データ生成手段として機能させる場合における第２番目の処理を示す説明図。

【図16】本実施形態の機械学習判定モデル生成用プログラムが、コンピュータを、ＸＡＩ３１から説明情報を得て、学習データ生成手段として機能させる場合における第３番目の処理を示す説明図。

【発明を実施するための形態】

【0032】

以下、添付図面を参照して本発明の実施形態に係る機械学習判定モデル、機械学習判定モデル生成方法及び機械学習判定モデル生成用プログラムを説明する。各図において同一の構成要素には同一の符号を付して重複する説明を省略する。

【0033】

図１に、本発明の実施形態に係る機械学習判定モデルを用いて構成した電子デバイス評価システムの構成図である。電子デバイス評価システムは、入力装置部１、測定装置部２、機械学習判定処理部３、閾値判定処理部４、選別処理部５、評価結果表示装置部６を備えている。
入力装置部１は、評価対象電子デバイス７を稼働状態とするための装置であり、直流電圧源や入力信号発生器等により構成することができ、電子デバイス評価のシーケンスをプログラミングできることが望ましい。即ち、測定開始ステップでは、いかなる電源電圧等を与え、入力信号としてはどこに如何なる数値の信号を何秒与え、次のステップでは、いかなる電源電圧等を与え、入力信号としてはどこに如何なる数値の信号を何秒与え、・・・というようにプログラミングできることが望ましい。測定装置部２は、電流や電圧等を検出するマルチメータやオシロスコープ等により構成することができ、評価対象電子デバイス７に与えた入力信号に基づき、上記評価対象電子デバイス７から測定装置部２を介して出力を得るために用いられる。測定装置部２を介して出力される測定データは、数値データや画像ファイルである。測定装置部２の出力は、機械学習判定処理部３と閾値判定処理部４へ送られる。

【0034】

本実施形態では、測定器から取得したデータは測定データとしている(複数の信号を分割して1つデータにしたものも測定データ)。仕様書から読み取ったデータは、リファレンスデータという(リファレンスデータは、実測である必要はない)。測定データやリファレンスデータに補正して新たに作成したデータを疑似データと称する。機械学習判定モデルを生成するときに、上記すべてのデータをまとめて言う場合は学習データと称する。

【0035】

機械学習判定処理部３は、機械学習判定モデル３０を中核として構成されたものであり、評価対象電子デバイス７に与えた入力信号に基づき、上記評価対象電子デバイス７から測定装置部２を介して出力を得て、この出力を用いて機械学習を行い、上記評価対象電子デバイス７の良否評価を行うものである。本実施形態では、機械学習判定モデル３０は、上記評価対象電子デバイス７から取得する出力として画像信号と数値信号とを含み、この画像信号と数値信号とを用いて機械学習を行い、上記評価対象電子デバイス７の良否評価を行う。

【0036】

閾値判定処理部４は、評価対象電子デバイス７の各特性対応、出力信号毎に予め定められた閾値を保持しており、各特性対応の出力信号が測定装置部２から得られる毎に、出力信号と対応する閾値を比較して評価対象電子デバイス７の評価を行う。

【0037】

選別処理部５は、閾値判定処理部４と機械学習判定処理部３の評価結果から評価対象電子デバイス７の最終良品判定を行う。例えば、閾値判定処理部４と機械学習判定処理部３とは、それぞれ良否評価をパーセントなどの割合で結果出力するものとし、選別処理部５は、これらを単純に和算して半分に分けて最終結果とする（単純平均法という）ことができる。もしくは、閾値判定処理部４と機械学習判定処理部３とは、それぞれ良否評価をパーセントなどの割合で結果出力するものとし、選別処理部５は、これらにそれぞれ重み付けして、重み付けした結果を和算して半分に分けて最終結果とする（重み付け平均法という）ことができる。その他の手法を用いても良い。また閾値判定処理部４は使用せず機械学習判定処理部３の結果のみを採用するでも良い。

【0038】

評価結果表示装置部６は、上記選別処理部５により作成された評価結果を表示し、また測定装置部２から得られる出力信号を表示し、また、閾値判定処理部４や機械学習判定処理部３による各種判定処理結果および良品判定結果を表示することができる。

【0039】

以上の構成の本発明の実施形態に係る機械学習判定モデルは、図２に示されるように、コンピュータを用いて構成することができる。即ち、ＣＰＵ１０が主メモリ１１内のプログラムやデータを用いて電子デバイス評価システムを構成するものである。ＣＰＵ１０には、バス１２を介して外部記憶インタフェース１３、入力インタフェース１４、表示インタフェース１５、データ入力インタフェース１６が接続されている。

【0040】

外部記憶インタフェース１３には、外部記憶装置２３が接続されている。外部記憶装置２３には、このシステムが動作を行うためのプログラムやデータが記憶されており、これらはＣＰＵ１０が主メモリ１１に適宜読み出して使用することができる。このため、外部記憶装置２３には、閾値判定処理部４と機械学習判定処理部３、機械学習判定モデル３０及び選別処理部５を実現するプロブラムが記憶されているものである。入力インタフェース１４には、キーボードやタッチパネル等の入力装置２４とマウス等のポインティングデバイス２２が接続されている。表示インタフェース１５には、ＬＣＤ等の画面を有する表示装置２５が接続され、表示装置２５は、上記評価結果表示装置部６を実現している。データ入力インタフェース１６には、測定部２６－１～２６－ｍが接続されており、これら測定部２６－１～２６－ｍは、評価対象電子デバイス７を稼働状態とするための入力装置部１として機能し、及び測定装置部２として機能する。測定部２６－１～２６－ｍの数は任意である。測定部２６－１～２６－ｍにより得られた信号はデータ入力インタフェース１６によりＣＰＵ１０や表示インタフェース１５などの所要の部位に取り込まれる。

【0041】

以上のように構成された本実施形態に係る電子デバイス評価システムにおいては、図３に示されるフローチャートに対応したプログラムにより動作することができる。以下、フローチャートを参照して動作の説明を行う。まず、測定部２６－１～２６－ｍにおいて、電子デバイス評価のシーケンスをプログラミングする（Ｓ１１）。次に、測定部２６－１～２６－ｍにおいて測定を行い、出力信号を取り込む（Ｓ１２）。次に、機械学習判定処理部３において（特に、機械学習判定モデル３０において）上記測定された画像信号と数値信号とを含む出力信号を用いて機械学習を行い、上記評価対象電子デバイス７の良否評価を行う（Ｓ１３）。

【0042】

このステップＳ１３においては、取得する出力は、複数の特性に対応する画像信号と複数の特性に対応する数値信号である。図２の測定部２６－１～２６－ｍを、例えば、図４に示すように特性毎に入力側の測定部＃１、＃２、＃３、・・・と、入力側の測定部＃１、＃２、＃３、・・・に対応する出力側の測定部＃Ｎ、＃Ｎ＋１、＃Ｎ＋２、・・・により構成されるものとする。すると、ステップ１３では、出力側の測定部＃Ｎ、＃Ｎ＋１、＃Ｎ＋２、・・・から複数の特性に対応する画像信号と複数の特性に対応する数値信号を取り込み、これらを用いて機械学習を行い、上記評価対象電子デバイス７の良否評価を行うものである。出力側の測定部＃Ｎ、＃Ｎ＋１、＃Ｎ＋２、・・・からの出力信号を機械学習判定モデル３０へ与えるものとしたが、それ以外に表示装置２５へ与えて表示を行うようにしても良い。

【0043】

機械学習判定モデル３０は、上記評価対象電子デバイス７から上記測定装置部２（或いは、測定部２６－１～２６－ｍ）を介して取得した信号に基づき予測を行って予測信号を得て、上記取得した信号及び上記予測信号を用いて機械学習を行い、上記評価対象電子デバイス７の良否評価を行うことも可能である。

【0044】

即ち、図５に示すように、測定装置部２（或いは、測定部２６－１～２６－ｍ）を介して取得した信号が、Ｒにより示す場合には、機械学習判定モデル３０が予測信号Ｉを予測して、取得した信号Ｒ及び上記予測信号Ｉを用いて機械学習を行い、前記評価対象電子デバイスの良否評価を行う。予測方法は、最小二乗法を使った近似や機械学習を使った予測によることができる。

【0045】

以上のように本実施形態では、予測を行う機能を有しているため、実際に測定結果が得られるまでに時間を要するような場合において、予測したデータを用いて評価結果を得ることができ、時間の短縮を図ることが可能である。また、測定によっては所望個数のデータが得られない場合や、測定によっては所定時間の内の一部分の時間のデータしか得られない場合に、予測を行って全体として所望の個数や長さのデータを得て機械学習を行うことにより適切な評価結果を得ることができる。

【0046】

次に述べる実施形態では、図６に示すように機械学習判定モデル３０がＸＡＩ３１を備えている。ＸＡＩ３１は、上記評価対象電子デバイス７から上記測定装置部２を介して取得する出力として画像信号と数値信号との時系列信号毎に、パス（ＰＡＳＳ）の評価またはフェイル（ＦＡＩＬ）の評価の説明を付加して、良否評価を出力するものである。

【0047】

具体的には、図７に示すように、グラフに測定データのポイントと、Fail要因１、Fail要因２がいずれのポイントであるかを示す。また、最終的な判定結果として、「Pass(Pass60%,Fail40%)」と表示し、Ｐａｓｓであったことを示す。更に、ＸＡＩ３１による出力であることを「XAI出力」と示し、「Pass要因60%：１、３、４、６番目のデータ」と共に「Fail要因40%：２、４番目のデータ」と表示して、どこがＰａｓｓであって、どこがＦａｉｌであったかを示す。斯くして、評価結果についての説明がなされる。

【0048】

以上のように図３のフローチャートにおけるステップＳ１３における処理が行われ、次に、閾値判定処理部４による閾値判定処理による上記評価対象電子デバイス７の良否評価を行う（Ｓ１４）。これに続いて、選別処理部５は、既に説明したように、閾値判定処理部４と機械学習判定処理部３との結果を単純平均法や重み付け平均法などにより、最終の評価を行い（Ｓ１５）、表示などの出力を行う（Ｓ１６）。

【0049】

上記のように図２に示したコンピュータの外部記憶装置２３には、機械学習判定モデル３０とＸＡＩ３１を含む機械学習判定処理部３、閾値判定処理部４、選別処理部５を実現するプログラムが格納されている。

【0050】

上記のように図２に示した本実施形態のコンピュータの外部記憶装置２３には、上記の、機械学習判定モデル３０とＸＡＩ３１を含む機械学習判定処理部３、閾値判定処理部４、選別処理部５を実現するプログラムの他、機械学習判定モデル生成用プログラムが格納されている。以下に、この機械学習判定モデル生成用プログラムの実施形態とこの機械学習判定モデル生成用プログラムの実施形態により実現される機械学習判定モデル生成方法の実施形態を説明する。

【0051】

本実施形態の機械学習判定モデル生成用プログラムは、例えば図２のコンピュータを、図８に示すように、生成用データ取得手段４１、学習データ生成手段４２、機械学習判定モデル生成手段４３として機能させるものである。本実施形態の機械学習判定モデル生成用プログラムを用いて機械学習判定モデル３０を生成することができる。

【0052】

第１の実施形態に係る機械学習判定モデル生成用プログラムは、図９（ａ）に示すように、コンピュータを、評価対象電子デバイス７に入力信号を与えたときに測定装置部２から出力される出力信号を捕らえ、上記評価対象電子デバイス７の仕様書に記載されたリファレンスデータを取得する生成用データ取得手段４１として機能させる。また、第１の実施形態に係る機械学習判定モデル生成用プログラムは、図９（ｂ）に示すように、これら出力信号及びリファレンスデータを上記評価対象電子デバイス７の評価情報と対応付けて学習データを生成する学習データ生成手段４２として機能させる。このようにして複数の学習データを蓄積して学習データＤＢ４４とすることができる。更に、第１の実施形態に係る機械学習判定モデル生成用プログラムは、図９（ｃ）に示すように、上記学習データを用いて機械学習判定モデル３０を生成する機械学習判定モデル生成手段４３として機能させる。

【0053】

学習データとしては、図９Ｄに示すようにリファレンスデータまたは出力信号から正解データを取り出したものと、この正解データから良否判定閾値上限と良否判定閾値下限との間に正解データから作成したＮＧの疑似データを作成したものとをまとめて格納したものであっても良い。或いは図９Ｅに示すように、正解データ画像がリファレンスデータまたは出力信号から正解データから取り出された場合、位相がズレたＯＫのデータと、ノイズが重畳したＮＧのデータを生成して学習データを蓄積して学習データＤＢ４４とすることができる。

【0054】

第２の実施形態に係る機械学習判定モデル生成用プログラムは、図１０に示すように、上記コンピュータを上記学習データ生成手段４２として、上記出力信号と上記評価対象電子デバイス７の評価情報と対応付けて学習データを生成する際には、出力信号を正の出力信号と負の出力信号に分けて上記評価対象電子デバイス７の評価情報と対応付けて学習データを生成するように機能させる。

【0055】

第３の実施形態に係る機械学習判定モデル生成用プログラムは、上記コンピュータを前記学習データ生成手段４２として、評価対象電子デバイス７に入力信号を与えたときに出力される出力信号を測定装置部２において捕らえたときに、１画面に複数の出力信号が含まれている場合には、複数の出力信号を１づつに分割して、１つの出力信号毎に上記評価対象電子デバイス７の評価情報と対応付けて学習データを生成するように機能させる。

【0056】

図１１の一段目に示すように、単に分割して評価情報を対応付けて学習データを生成することも可能である。図１１の二段目に示すように、分割して出力信号を補正（形状の変更やノイズの負荷など）し、これに評価情報を対応付けて学習データを生成することも可能である。

【0057】

第４の実施形態に係る機械学習判定モデル生成用プログラムは、上記コンピュータを上記学習データ生成手段４２として、評価対象電子デバイス７に入力信号を与えたときに出力される出力信号を測定装置部２において捕らえたときに、上記出力信号に基づき予測を行って予測信号を得て、上記取得した信号及び上記予測信号を用いて一連の出力信号として、この一連の出力信号に上記評価対象電子デバイス７の評価情報と対応付けて学習データを生成するように機能させる。

【0058】

図１２の例では、図５と同様に機械学習判定モデル３０が予測信号Ｉを予測して、取得した信号Ｒ及び上記予測信号Ｉを一連の出力信号として、学習データ生成手段４２が、この一連の出力信号に上記評価対象電子デバイス７の評価情報と対応付けて学習データを生成する。

【0059】

第５の実施形態に係る機械学習判定モデル生成用プログラムは、評価対象電子デバイス７に与えた入力信号に基づき、上記評価対象電子デバイス７から測定装置部２を介して出力を得て、この出力を用いて機械学習を行い、上記評価対象電子デバイスの良否評価を行う現用機械学習判定モデルを用いて、実際の評価対象電子デバイス７の良否評価を行い、得られた結果に基づく機械学習の学習データを、上記現用機械学習判定モデルの生成に用いた機械学習の学習データを記憶した学習データＤＢへ格納するシステムに適用される前記コンピュータが上記機械学習判定モデル生成手段として機能する。

【0060】

上記の場合において、本実施形態に係る機械学習判定モデル生成用プログラムは、上記コンピュータを上記機械学習判定モデル生成手段４３として、上記学習データＤＢに格納されたデータを用いて機械学習を行い新たな機械学習判定モデル３０を生成するように機能させるものである。

【0061】

具体例としては、図９（ｃ）に示した如く、学習データを蓄積して学習データＤＢ４４とするシステムである。本実施形態のシステムでは、学習データＤＢ４４に、図１３に示す如く、インデックスと、データＮｏ、最終判定（選別処理部５による判定）、機械学習判定、測定データが対応付けられて記憶されている。この学習データＤＢに格納されたデータを用いて機械学習判定モデル生成手段４３が機械学習を行い新たな機械学習判定モデル３０を生成する。

【0062】

上記システムでは、実際の評価対象電子デバイス７の良否評価を行い、得られた結果に基づき、そのときの評価対象の出力信号と、評価結果とを対応付けて機械学習データとし、学習データＤＢ４４へ格納しているものである。

【0063】

第６の実施形態に係る機械学習判定モデル生成用プログラムは、上記コンピュータを学習データ生成手段４２として、ＸＡＩ３１から説明情報を得て、１つの評価結果がpassとなる疑似データとfailとなる疑似データを生成するように機能させるものである。ここに、上記ＸＡＩは、評価対象電子デバイス７に入力信号を与えたときに出力される出力信号を測定装置部２において捕らえたときに、複数の出力信号が含まれている一連の出力信号に対して１つの評価情報を与える場合に、複数の出力信号のそれぞれについてpass要因であるかfail要因であるかの説明情報を出力するものであり、具体例は図７に説明した通りである。即ち、説明情報は図７に示した如くである。

【0064】

上記のように、ＸＡＩ３１から説明情報を得て、１つの評価結果がpassとなる疑似データを生成する。即ち、図７のデータにおいて、Fail要因１、Fail要因２が示されているため、これらを「Pass要因60%：１、３、４、６番目のデータ」と一体化させて図１４に示される学習データ（ＯＫ）を生成する。

【0065】

また、ＸＡＩ３１から説明情報を得て、１つの評価結果がとfailとなる疑似データを生成する。即ち、図７のデータにおいて、Fail要因１が示されているため、Fail要因１のポイントから、図１５に示すように、ここではFail要因１の上下方向に１ポイントづつの合計２ポイントの学習データ（ＮＧ）を生成する。なお、図１５に図示されているが、「Pass要因60%：１、３、４、６番目のデータ」は、学習データ（ＮＧ）ではない。また、図７のデータにおいて、Fail要因２が示されているため、Fail要因２のポイントから、図１６に示すように、ここではFail要因２の下方向に２ポイントの合計２ポイントの学習データ（ＮＧ）を生成する。なお、図１６に図示されているが、「Pass要因60%：１、３、４、６番目のデータ」は、学習データ（ＮＧ）ではない。これらの学習データを使用することでより精度が高い機械学習判定モデルを生成することができる。なおFail要因の学習データのポイント数や上下左右追加方向は限定しない。

【符号の説明】

【0066】

１ 入力装置部
２ 測定装置部
３ 機械学習判定処理部
４ 閾値判定処理部
５ 選別処理部
６ 評価結果表示装置部
７ 評価対象電子デバイス
１０ ＣＰＵ
１１ 主メモリ
１２ バス
１３ 外部記憶インタフェース
１４ 入力インタフェース
１５ 表示インタフェース
１６ データ入力インタフェース
２２ ポインティングデバイス
２３ 外部記憶装置
２４ 入力装置
２５ 表示装置
２６－１～２６－ｍ 測定部
３０ 機械学習判定モデル
３１ ＸＡＩ
４１ 生成用データ取得手段
４２ 学習データ生成手段
４３ 機械学習判定モデル生成手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図9D】

【図9E】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】