特開2022-21858教師データの修正方法、その装置及びそのコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022021858
(43)【公開日】2022-02-03
(54)【発明の名称】教師データの修正方法、その装置及びそのコンピュータプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20220127BHJP
【ＦＩ】
G06T7/00 350B
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2020125717
(22)【出願日】2020-07-22
(71)【出願人】
【識別番号】519117709
【氏名又は名称】株式会社テクムズ
(74)【代理人】
【識別番号】100095577
【弁理士】
【氏名又は名称】小西 富雅
(74)【代理人】
【識別番号】100100424
【弁理士】
【氏名又は名称】中村 知公
(72)【発明者】
【氏名】鈴木 孝昌
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA03
5L096CA02
5L096DA02
5L096EA39
5L096FA35
5L096GA30
5L096HA08
5L096JA03
5L096JA11
5L096KA04
(57)【要約】
【課題】機械学習型の判別装置に用いる教師データを修正する。これにより、判別装置の判別精度を向上させる。
【解決手段】教師データのセットで学習させた判別装置に判別対象として各教師データを構成する一次データを入力し、その判別結果と一次データに付されていた教師データのラベルとを比較することにより、不正確なラベルの付された、即ち信用のおけない教師データ（不信教師データ）を抽出できる。このように抽出された不信教師データを修正作業の対象とする。
【選択図】 図４
【解決手段】教師データのセットで学習させた判別装置に判別対象として各教師データを構成する一次データを入力し、その判別結果と一次データに付されていた教師データのラベルとを比較することにより、不正確なラベルの付された、即ち信用のおけない教師データ（不信教師データ）を抽出できる。このように抽出された不信教師データを修正作業の対象とする。
【選択図】 図４
【特許請求の範囲】
【請求項1】
第１ラベル又は第２ラベルが付された一次データを教師データとして準備する第1教師データ準備ステップと、
学習機能を備えた判別装置へ前記教師データのセットを入力して学習させる第1学習ステップと、
学習済の前記判別装置へ前記教師データのセットの各前記一次データを入力して、該各一次データの判別結果を出力させる第1出力ステップと、
前記教師データでは前記第１ラベルが付されていた前記一次データであって前記第1出力ステップでは前記第２ラベル側に判別されたもの、及び／又は、前記教師データでは前記第２ラベルが付されていた前記一次データであって前記第1出力ステップでは前記第１ラベル側に判別されたもの、を所定のルールに基づき抽出する、第1データ抽出ステップと、
該第1データ抽出ステップで抽出された一次データのラベルを再評価する第1教師データ再評価ステップと、を実行する教師データの修正方法。
学習機能を備えた判別装置へ前記教師データのセットを入力して学習させる第1学習ステップと、
学習済の前記判別装置へ前記教師データのセットの各前記一次データを入力して、該各一次データの判別結果を出力させる第1出力ステップと、
前記教師データでは前記第１ラベルが付されていた前記一次データであって前記第1出力ステップでは前記第２ラベル側に判別されたもの、及び／又は、前記教師データでは前記第２ラベルが付されていた前記一次データであって前記第1出力ステップでは前記第１ラベル側に判別されたもの、を所定のルールに基づき抽出する、第1データ抽出ステップと、
該第1データ抽出ステップで抽出された一次データのラベルを再評価する第1教師データ再評価ステップと、を実行する教師データの修正方法。
【請求項2】
前記第１教師データ再評価ステップで再評価されたラベルが付された教師データを用いて、請求項１で規定する前記第１出力ステップ、前記第１データ抽出ステップ及び第１教師データ再評価ステップを実行する、請求項１に記載の教師データの修正方法。
【請求項3】
前記第１教師データ再評価ステップにおいて、前記第１データ抽出ステップにて抽出された一次データに付されたラベルを再評価したとき、その再評価結果のラベルが教師データに予め付されたラベルと異なるラベルとなった一次データを特定し、
該特定された一次データについて教師データとして付されるラベルを変更するとともに、該変更されるラベルを変調してこれが学習されるときに重み付けされるようにする請求項１又は２に記載の教師データの修正方法。
該特定された一次データについて教師データとして付されるラベルを変更するとともに、該変更されるラベルを変調してこれが学習されるときに重み付けされるようにする請求項１又は２に記載の教師データの修正方法。
【請求項4】
前記第１データ抽出ステップで抽出された一次データを前記出力ステップの判別結果と併せてモニタに表示する表示ステップが、更に実行される請求項１～３の何れかに記載の教師データの修正方法。
【請求項5】
前記一次データに付されたラベルの変更を許容する入力エリアが前記モニタに表示される、請求項５に記載の教師データの修正方法。
【請求項6】
前記一次データは画像データであり、
前記表示ステップでは、前記一次データとしての画像を表示するとともに、前記判別結果を導き出した画像の領域を拡大表示する、請求項４又は５に記載の教師データの修正方法。
前記表示ステップでは、前記一次データとしての画像を表示するとともに、前記判別結果を導き出した画像の領域を拡大表示する、請求項４又は５に記載の教師データの修正方法。
【請求項7】
請求項１～６のいずれかに記載の教師データの修正方法により修正された教師データを用いて、学習機能を備えた判別装置に学習させる、判別装置の学習方法。
【請求項8】
請求項７に記載の学習済の前記判別装置に検査対象の一次データを入力して、該入力された一次データの判別結果を出力する、一次データの判別方法。
【請求項9】
第１ラベル又は第２ラベルが付された一次データを教師データとして保存する教師データ保存部と、
学習機能を備え、前記教師データのセットが入力された学習済の判別装置であって、前記一次データが入力されて、該一次データの判別結果を出力する判別装置と、
前記教師データでは前記第１ラベルが付されていた前記一次データであって前記判別装置では前記第２ラベル側に判別されたもの、及び／又は前記教師データでは前記第２ラベルが付されていた前記一次データであって前記判別装置では前記第１ラベル側に判別されたもの、を所定のルールに基づき抽出する、データ抽出部と、を備える教師データの修正装置。
学習機能を備え、前記教師データのセットが入力された学習済の判別装置であって、前記一次データが入力されて、該一次データの判別結果を出力する判別装置と、
前記教師データでは前記第１ラベルが付されていた前記一次データであって前記判別装置では前記第２ラベル側に判別されたもの、及び／又は前記教師データでは前記第２ラベルが付されていた前記一次データであって前記判別装置では前記第１ラベル側に判別されたもの、を所定のルールに基づき抽出する、データ抽出部と、を備える教師データの修正装置。
【請求項10】
請求項１０に記載の修正装置において、前記データ抽出部が抽出した一次データを前記教師データから削除する教師データ削除部が更に備えられる、請求項１０に記載の教師データ修正装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は教師データの修正方法、その装置及びその装置に適用されるコンピュータプログラムの改良に関する。
【背景技術】
【0002】
工業用の精密部品の表面に小さな傷、凹凸その他の変形（以下、欠陥と総称する）があるとその性能が著しく低下する。
そこで従来では、精密部品を出荷する前に、画像処理技術を利用してその欠陥の有無を判別していた。画像処理の一例として、ニューラルネットワーク等を利用した所謂ＡＩ技術である機械学習型判別装置を用いることが提案されている。
かかる学習型判別装置に用いられる教師データは、撮影した画像と該画像を目視等で評価して得た欠陥の有無のラベル（ＯＫラベル、ＮＧラベル）との組合せからなる。判別装置の判別精度には、判別装置が備えるＡＩソフトばかりでなく、教師データ自体の正確さも関係している。
学習型判別装置を製造若しくは使用するユーザからみて、ＡＩソフト自体に修正を加えることは極めて困難である。そこで一般的に判別精度を向上するため、教師データを追加することが行われている（特許文献１参照）。
そこで従来では、精密部品を出荷する前に、画像処理技術を利用してその欠陥の有無を判別していた。画像処理の一例として、ニューラルネットワーク等を利用した所謂ＡＩ技術である機械学習型判別装置を用いることが提案されている。
かかる学習型判別装置に用いられる教師データは、撮影した画像と該画像を目視等で評価して得た欠陥の有無のラベル（ＯＫラベル、ＮＧラベル）との組合せからなる。判別装置の判別精度には、判別装置が備えるＡＩソフトばかりでなく、教師データ自体の正確さも関係している。
学習型判別装置を製造若しくは使用するユーザからみて、ＡＩソフト自体に修正を加えることは極めて困難である。そこで一般的に判別精度を向上するため、教師データを追加することが行われている（特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－２１２０７３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、教師データの追加には手間がかかる。
そこで、既存の教師データのみを使って判別精度を向上することが求められている。
しかしながら、一般的に多数の教師データの一つ一つの正確さ、即ち画像データに正確にＯＫラベルや、ＮＧラベルが付されているか否かを再評価することは現実的ではない。
仮に、当該再評価を実行したとしても、人が行う評価に一定の誤差が含まれることは避けられない。
そこで、既存の教師データのみを使って判別精度を向上することが求められている。
しかしながら、一般的に多数の教師データの一つ一つの正確さ、即ち画像データに正確にＯＫラベルや、ＮＧラベルが付されているか否かを再評価することは現実的ではない。
仮に、当該再評価を実行したとしても、人が行う評価に一定の誤差が含まれることは避けられない。
【課題を解決するための手段】
【0005】
本発明者は、かかる課題を解決すべく鋭意検討を重ねてきた結果、教師データのセットで学習させた判別装置に判別対象として各教師データを構成する画像データを入力し、その判別結果と画像データに付されていた教師データのラベルとを比較することにより、不正確なラベルの付された、即ち信用のおけない教師データ（不信教師データ）を抽出できることに気が付いた。
抽出された不信教師データに再評価作業を集中することでその修正作業の工数を軽減できる。
以上、画像データの判別について論を進めてきたが、教師データとして画像データ以外のデータ、例えば波形データやテキストデータを対象とすることもできる。
抽出された不信教師データに再評価作業を集中することでその修正作業の工数を軽減できる。
以上、画像データの判別について論を進めてきたが、教師データとして画像データ以外のデータ、例えば波形データやテキストデータを対象とすることもできる。
【0006】
以上より、この発明の第１の局面は次のように規定される。
第１ラベル（以下「ＯＫラベル」で代表させることあり）又は第２ラベル（以下「ＮＧラベル」で代表させることあり）が付された一次データ(以下「画像データ」で代表させることあり)を教師データとして準備する第1教師データ準備ステップと、
学習機能を備えた判別装置（以下「判別装置」で代表させることあり）として前記教師データのセットを入力して学習させる第1学習ステップと、
学習済の前記判別装置へ教師データのセットの各前記一次データ（画像データ）を入力して、該各一次データ（画像データ）の判別結果を出力させる第1出力ステップと、
前記教師データでは前記第１ラベル（ＯＫラベル）が付されていた前記一次データ（画像データ）であって前記第1出力ステップでは前記第２ラベル（ＮＧラベル）側に判別されたもの、及び／又は、前記教師データでは前記第２ラベル（ＮＧラベル）が付されていた前記一次データ（画像データ）であって前記第1出力ステップでは前記第１ラベル（ＯＫデータ）側に判別されたもの、を所定のルールに基づき抽出する、第1データ抽出ステップと、
該第1データ抽出ステップで抽出された一次データ（画像データ）のラベルを再評価する第1教師データ再評価ステップと、を実行する教師データの修正方法。
第１ラベル（以下「ＯＫラベル」で代表させることあり）又は第２ラベル（以下「ＮＧラベル」で代表させることあり）が付された一次データ(以下「画像データ」で代表させることあり)を教師データとして準備する第1教師データ準備ステップと、
学習機能を備えた判別装置（以下「判別装置」で代表させることあり）として前記教師データのセットを入力して学習させる第1学習ステップと、
学習済の前記判別装置へ教師データのセットの各前記一次データ（画像データ）を入力して、該各一次データ（画像データ）の判別結果を出力させる第1出力ステップと、
前記教師データでは前記第１ラベル（ＯＫラベル）が付されていた前記一次データ（画像データ）であって前記第1出力ステップでは前記第２ラベル（ＮＧラベル）側に判別されたもの、及び／又は、前記教師データでは前記第２ラベル（ＮＧラベル）が付されていた前記一次データ（画像データ）であって前記第1出力ステップでは前記第１ラベル（ＯＫデータ）側に判別されたもの、を所定のルールに基づき抽出する、第1データ抽出ステップと、
該第1データ抽出ステップで抽出された一次データ（画像データ）のラベルを再評価する第1教師データ再評価ステップと、を実行する教師データの修正方法。
【0007】
このように規定される第１の局面の教師データの修正方法によれば、予め取得した教師データのセットを用いて判別装置を学習させる。教師データは一次データと該一次データに付されたラベルとからなる。この教師データのセットは、例えば数千～数万個に及ぶ。全教師データ若しくは大多数の教師データについて、その一次データを学習済の判別装置に入力して、各一次データを判別させる。判別結果として、例えばラベルに属する指標が出力される。
例えば、精密部品の判別装置の場合、ＯＫラベルに判別される指標（スカラ）が1～３、ＮＧラベルに判別される指標が５以上として表されることがある。この場合、教師データとしてＯＫラベルが付されていた画像データであっても、学習済の判別装置から５以上の指標が出力されることがある。即ち、予め教師データに付されたラベルと判別装置の出力とが一致しないことがある。この明細書では、かかる教師データを不信教師データと名付ける。
例えば、精密部品の判別装置の場合、ＯＫラベルに判別される指標（スカラ）が1～３、ＮＧラベルに判別される指標が５以上として表されることがある。この場合、教師データとしてＯＫラベルが付されていた画像データであっても、学習済の判別装置から５以上の指標が出力されることがある。即ち、予め教師データに付されたラベルと判別装置の出力とが一致しないことがある。この明細書では、かかる教師データを不信教師データと名付ける。
【0008】
不信教師データはそのラベル付けが不正確である可能性があるので、当該教師データのラベルについて再評価を行う。再評価の結果を教師データに反映させることで、即ち教師データがより正しいもの、即ち正確なラベル付けのなされたものに修正される。また、かかる不信教師データを削除し、正確な可能性の高い教師データのみからなる教師データのセットを判別装置に再学習させることで、判別装置の判別精度が向上する。ここに、正確な可能性が高い教師データは予め教師データに付されたラベルと学習済判別装置の判別結果とが一致するものである。
【0009】
この発明の第２の局面は次のように規定される。即ち、第１の局面に規定の修正方法において、前記第１教師データ再評価ステップで再評価されたラベルを付された教師データのセットを用いて、前記第１出力ステップ、前記第１データ抽出ステップ及び第１教師データ再評価ステップをそれぞれ第２出力ステップ、第２データ抽出ステップ及び第２教師データ再評価ステップとして実行する。
このように規定される第２の局面の修正方法によれば、修正した教師データのセットを用いて、第１の局面の各ステップを再度実行して、更に教師データの修正を繰り返す。これにより、教師データの修正がより徹底される。よって、教師データの全体の精度が向上し、もって、判別の精度が向上する。
このように規定される第２の局面の修正方法によれば、修正した教師データのセットを用いて、第１の局面の各ステップを再度実行して、更に教師データの修正を繰り返す。これにより、教師データの修正がより徹底される。よって、教師データの全体の精度が向上し、もって、判別の精度が向上する。
【0010】
この発明の第３の局面は次のように規定される。即ち、第１又は第２の局面に規定される教師データの修正方法において、
前記第１教師データ再評価ステップにおいて、前記第１データ抽出ステップにて抽出された一次データに付されたラベルを再評価したとき、その再評価結果のラベルが教師データに予め付されたラベルと異なるラベルとなった一次データを特定し、
該特定された一次データについて教師データとして付されるラベルを変更するとともに、該変更されるラベルを変調してこれが学習されるときに重み付けされるようにする。
前記第１教師データ再評価ステップにおいて、前記第１データ抽出ステップにて抽出された一次データに付されたラベルを再評価したとき、その再評価結果のラベルが教師データに予め付されたラベルと異なるラベルとなった一次データを特定し、
該特定された一次データについて教師データとして付されるラベルを変更するとともに、該変更されるラベルを変調してこれが学習されるときに重み付けされるようにする。
【0011】
第１データ抽出ステップにて抽出される一次データは、教師データとして予め付されたラベルと学習済判別装置の判別結果が示すラベルとが異なるものである。このような一次データであっても、再度詳細に評価した結果、教師データとして予め付されたラベルが正しいとされることがある。その一方で、判別装置の判別結果が正しいとされる場合もある。
再評価の結果は尊重されて、再評価された結果をもって教師データを修正すべきである。
例えば、画像データの僅かな欠陥を評価する場合、かかる画像データは一見すると（最初の教師データの準備において）ＮＧラベルと付されたものの、学習済判別装置にかけたところ、その判別結果はＯＫラベルを示すことがある。ここに食い違いが生じるので、当該画像データを、例えばオペレータが、再度目視で評価したところ、判別結果であるＯＫラベルが正しいとされた場合である。かかる画像データについては、教師データに付されていたＮＧラベルが間違いであったので、そのラベルをＯＫラベルに変更する。このとき、ＯＫラベルを変調してこれに重み付けをしてこれの学習結果に対する影響力を大きくする。
再評価の結果は尊重されて、再評価された結果をもって教師データを修正すべきである。
例えば、画像データの僅かな欠陥を評価する場合、かかる画像データは一見すると（最初の教師データの準備において）ＮＧラベルと付されたものの、学習済判別装置にかけたところ、その判別結果はＯＫラベルを示すことがある。ここに食い違いが生じるので、当該画像データを、例えばオペレータが、再度目視で評価したところ、判別結果であるＯＫラベルが正しいとされた場合である。かかる画像データについては、教師データに付されていたＮＧラベルが間違いであったので、そのラベルをＯＫラベルに変更する。このとき、ＯＫラベルを変調してこれに重み付けをしてこれの学習結果に対する影響力を大きくする。
【0012】
かかる画像データは、オペレータによるラベル付けに間違いが生じやすい。換言すれば、かかる画像データと類似した他の教師データにも間違ったラベルが付されているおそれがある。このように間違ったラベルの付された画像データについてそのラベル間違いが学習済判別装置で完璧に指摘される保証はない。そこで、かかる画像データへ再定義されたラベルを付与しつつ、これに重み付けをすることにより、オペレータによるラベル付け間違いが生じやすい画像データを含む教師データの影響を小さくする。
このようにして修正した教師データのセットを判別装置へ入力して学習させる。
このようにして修正した教師データのセットを判別装置へ入力して学習させる。
【0013】
この発明の第４の局面は次のように規定される。即ち、第１～３の何れか局面に規定の教師データの修正方法において、前記第１データ抽出ステップで抽出された一次データを前記出力ステップの判別結果と併せてモニタに表示する表示ステップが、更に実行される。
第１データ抽出ステップで抽出された一次データに付されたラベルは不正確な可能性が高い、そこで、該第１データ抽出ステップで抽出された一次データをモニタに表示するとともに、第１出力ステップの判別結果を当該モニタに表示する。
第１データ抽出ステップで抽出された一次データに付されたラベルは不正確な可能性が高い、そこで、該第１データ抽出ステップで抽出された一次データをモニタに表示するとともに、第１出力ステップの判別結果を当該モニタに表示する。
【0014】
例えば、抽出された一次データが画像データの場合、当該画像データから構成される画像をモニタの比較的大きなウインドウに表示するとともに、学習済判別装置の判別結果を他の比較的小さなウインドウに出力する。なお、この判別結果は、抽出された画像データに教師データとして予め付されたラベルと異なるものを示しているので、オペレータは注意をもって、一次データのラベルを再評価できる。
このとき、比較的大きなウインドウに表示した画像において、学習済判別装置の判別結果を導きだした領域を、強調表示することが好ましい。更には、当該領域を他のウインドウに拡大表示することもできる。オペレータによる再評価をサポートするためである。
更には、該当する教師データのラベルの変更を許容する入力エリアを設けることができる。オペレータによる再評価作業を効率化するためである。
このとき、比較的大きなウインドウに表示した画像において、学習済判別装置の判別結果を導きだした領域を、強調表示することが好ましい。更には、当該領域を他のウインドウに拡大表示することもできる。オペレータによる再評価をサポートするためである。
更には、該当する教師データのラベルの変更を許容する入力エリアを設けることができる。オペレータによる再評価作業を効率化するためである。
【図面の簡単な説明】
【0015】
【発明を実施するための形態】
【0016】
以下、本発明の実施例を説明する。
図１、図４はコンピュータ装置１をこの発明の実施形態の教師データ修正装置（学習モード）として機能させたときのブロック図である。このコンピュータ装置１は、図１に示すようにメモリ部２、データ処理部５及びディスプレイ７を少なくとも備える。勿論、必要な動作コマンドやパラメータ等を入力するためのキーボードやマウスなどの入力装置、コンピュータ装置全体を制御する制御プログラムを保存するＲＯＭ等のメモリ、及びその他通信用のインターフェースを備えることはいうまでもない。
図１、図４はコンピュータ装置１をこの発明の実施形態の教師データ修正装置（学習モード）として機能させたときのブロック図である。このコンピュータ装置１は、図１に示すようにメモリ部２、データ処理部５及びディスプレイ７を少なくとも備える。勿論、必要な動作コマンドやパラメータ等を入力するためのキーボードやマウスなどの入力装置、コンピュータ装置全体を制御する制御プログラムを保存するＲＯＭ等のメモリ、及びその他通信用のインターフェースを備えることはいうまでもない。
【0017】
メモリ部２には教師データ保存領域３が備えられる。教師データは画像データと当該画像データに付された２種類のラベル（ＯＫラベル、ＮＧラベル）との組合せからなるので、教師データ保存領域３にはそれらに応じて画像データ保存領域３Ａとラベル保存領域３Ｂとが備えられる。メモリ部２にはフラグ保存領域４も備えられる。このフラグ保存領域には、学習時に取り込まれるべきか除外されるべきかを定義する、有効／無効フラグや、画像データの種類（処理対象である精密部品の画像であるか、他の物の画像であるか）を識別する画像フラグが保存される。
【0018】
本実施形態では、精密部品の画像データ（図２参照）を処理対象としており、教師データ保存領域３にはＯＫラベルの付された正常品の画像５００００枚、ＮＧラベルの付された異常品の画像３０００枚、同じくＮＧラベルの付された精密部品以外の物の画像３０００枚が保存されている。
予め正常／異常が判別されている数百個の精密部品を図示しないカメラで撮影して、正常品の教師データ及び異常品の教師データを得る。さらにこれらをいわゆる水増し処理して、ＡＩ処理に適したそれぞれ５００００枚及び３０００枚とする。
予め正常／異常が判別されている数百個の精密部品を図示しないカメラで撮影して、正常品の教師データ及び異常品の教師データを得る。さらにこれらをいわゆる水増し処理して、ＡＩ処理に適したそれぞれ５００００枚及び３０００枚とする。
【0019】
データ処理部５の機械学習を行うＡＩプログラムとしてメトリックラーニングを用いることが好ましい。中でも、トリプレットロス法を用いることが好ましい。正常品の画像データと異常品の画像データとの違いを表す距離（指標）を顕著に表現できるからである。
もちろん、他のＡＩプログラムも利用可能である。
もちろん、他のＡＩプログラムも利用可能である。
【0020】
ディスプレイ７には３つのウインドウ７Ａ，７Ｂ及び７Ｃが備えられる。第１ウインドウ７Ａには、画像データが画像化されて表示され、第２ウインドウ７Ｂには判別結果を導きだした画像データの注目領域が拡大して表示される。なお、この注目領域は第１ウインドウ７Ａにおいて強調表示されている。強調表示の例としてこの強調領域を破線枠で囲むことが挙げられる。第３ウインドウ７Ｃにはウインドウ７Ａに表紙される画像データが属する教師データのＩＤとそのラベル等が表示される。第３ウインドウ７Ｃにおいて当該教師データの修正を可能とする。
ディスプレイ７には、学習済の判別装置で教師データのセットの各画像データを処理したときの出力結果のヒストグラムを表示させることもできる。
ディスプレイ７には、学習済の判別装置で教師データのセットの各画像データを処理したときの出力結果のヒストグラムを表示させることもできる。
【0021】
以下、図３のフローチャートに従いながら、判別装置１の動作を説明し、もって、この発明の教師データ修正装置の機能を明らかにする。
ステップＳ１において教師データが準備される。教師データの生成方法は既述の通りである。その結果下記表１に示す教師データのセットが生成される。表１のデータはメモリ部２に保存される。
ステップＳ１において教師データが準備される。教師データの生成方法は既述の通りである。その結果下記表１に示す教師データのセットが生成される。表１のデータはメモリ部２に保存される。
【表1】
【0022】
表１において、学習モードにおいて有効に利用される教師データには「１」を、無視される教師データには「０」のフラグを付すものとする。最初の、即ち修正前の教師データはその全部が学習モードにおいて利用されるので、全てに「１」のフラグが付されている。勿論、所定のルールに従って、「０」フラグを付すこともできる。
データＮｏ．１及びＮｏ．ｃの教師データには画像フラグとして「１」が付されている。これらの画像データは精密部品以外の物の画像データである。画像フラグ「１」は、教師データの有効／無効フラグの固定を意味する。精密部品以外の物の画像データを修正した教師データにおいてもそのまま利用できるようにする。
データＮｏ．１及びＮｏ．ｃの教師データには画像フラグとして「１」が付されている。これらの画像データは精密部品以外の物の画像データである。画像フラグ「１」は、教師データの有効／無効フラグの固定を意味する。精密部品以外の物の画像データを修正した教師データにおいてもそのまま利用できるようにする。
【0023】
ステップ２では、メモリ部３に保存されている教師データ（画像データとそのラベル）のセットをデータ処理部５へ入力して学習させる（図１参照）。
このデータ処理部５として次のスペックのものを利用する。
ＰＣ：ドスパラ社製ＢＴＯパソコン（Ｃｏｒｅ－ｉ９－９９４０Ｘ，メモリ６４ＧＢ，ＧＰＵ：Ｎｖｉｄｉａ社製 ＧｅＦｏｒｃｅ ＲＴＸ ２０８０Ｔｉ）
ＡＩソフト：テクムズ社 ＤＥＥＰＳ ＡＩ Ｉｎｓｐｅｃｔｉｏｎ
上記ＡＩソフトはトリプレットロスの技法を利用するものである。
これにより、判別装置１の学習モードは終了する。
このデータ処理部５として次のスペックのものを利用する。
ＰＣ：ドスパラ社製ＢＴＯパソコン（Ｃｏｒｅ－ｉ９－９９４０Ｘ，メモリ６４ＧＢ，ＧＰＵ：Ｎｖｉｄｉａ社製 ＧｅＦｏｒｃｅ ＲＴＸ ２０８０Ｔｉ）
ＡＩソフト：テクムズ社 ＤＥＥＰＳ ＡＩ Ｉｎｓｐｅｃｔｉｏｎ
上記ＡＩソフトはトリプレットロスの技法を利用するものである。
これにより、判別装置１の学習モードは終了する。
【0024】
このようにして機械学習の終了したデータ処理部５は、運用モードにおいて、図４に示すコンピュータ装置１０に組み込まれる。
ここに、学習モードで用いたコンピュータ装置のデータ処理部５をそのまま運用モードにおいても用いることができるし、機械学習の終了したデータ処理部５のプログラム内容をコピーして、物理的に他のコンピュータ装置のデータ処理装置にインストールして、かかるコンピュータ装置を運用モードの判別装置として用いることもできる。
ステップ３では、このように準備されたメモリ部２の画像データ保存領域３Ａに保存されている画像データを学習済のデータ処理部５へ入力してラベルの判別をさせる。
データ処理部５の出力結果において、３．０以下のスカラを示すものはＯＫラベルを示し、５．０以上のスカラを示すものはＮＧラベルを示すものとする。
判別結果は判別結果保存部１３に保存される。
ここに、学習モードで用いたコンピュータ装置のデータ処理部５をそのまま運用モードにおいても用いることができるし、機械学習の終了したデータ処理部５のプログラム内容をコピーして、物理的に他のコンピュータ装置のデータ処理装置にインストールして、かかるコンピュータ装置を運用モードの判別装置として用いることもできる。
ステップ３では、このように準備されたメモリ部２の画像データ保存領域３Ａに保存されている画像データを学習済のデータ処理部５へ入力してラベルの判別をさせる。
データ処理部５の出力結果において、３．０以下のスカラを示すものはＯＫラベルを示し、５．０以上のスカラを示すものはＮＧラベルを示すものとする。
判別結果は判別結果保存部１３に保存される。
【0025】
判別結果を表２に示す。
【表2】
【0026】
mage eとimage ｇでは、教師データに付されたラベルと判別結果の示すラベルとが同じであった。image ｉ，ｋ，ｍ，ｓについては、教師データに付されたラベルと判別結果の示すラベルとが異なっている。
データ処理装置５は、判別結果保存部１３に保存された各教師データの判別結果を読み出し、これを処理して図５のヒストグラムを作成し、ディスプレイ７に表示する。図５において、横軸は出力結果のスカラ（指標）を示し、縦軸は教師データ数を示す。曲線はそれぞれＯＫラベル、ＮＧラベルの付された教師データを示している。
データ処理装置５は、判別結果保存部１３に保存された各教師データの判別結果を読み出し、これを処理して図５のヒストグラムを作成し、ディスプレイ７に表示する。図５において、横軸は出力結果のスカラ（指標）を示し、縦軸は教師データ数を示す。曲線はそれぞれＯＫラベル、ＮＧラベルの付された教師データを示している。
【0027】
ステップ３では、教師データに付されたラベルと判別結果とを比較して、両者が異なる教師データを抽出する。表２の例では、Ｎｏｓ．ｉ，ｋ，ｍ，ｓが抽出される。図５のヒストグラムではハッチされた部分が該当する。
かかる教師データのラベルは信用度が低い。判定結果と異なるからである。このようにして抽出された教師データを不信教師データと名付ける。
この例では、教師データに付されたラベルと判別結果とが異なる場合を全て不信教師データとしたが、不信教師データの定義はこれに限定されない。
たとえば、教師データに付されたラベルと判別結果とが異なる場合であって、さらに、図５のグラフの下端から所定の範囲(例えば３σ)に含まれるものに限定することができる。更には、教師データに付されたラベルと判別結果との比較を行わずに、単に、図５のグラフの下端から所定の範囲（例えば３σ）に含まれるものを不信教師データとすることもできる。
かかる教師データのラベルは信用度が低い。判定結果と異なるからである。このようにして抽出された教師データを不信教師データと名付ける。
この例では、教師データに付されたラベルと判別結果とが異なる場合を全て不信教師データとしたが、不信教師データの定義はこれに限定されない。
たとえば、教師データに付されたラベルと判別結果とが異なる場合であって、さらに、図５のグラフの下端から所定の範囲(例えば３σ)に含まれるものに限定することができる。更には、教師データに付されたラベルと判別結果との比較を行わずに、単に、図５のグラフの下端から所定の範囲（例えば３σ）に含まれるものを不信教師データとすることもできる。
【0028】
ステップ７では、かかる不信教師データの割合を検定する。不信教師データの数の割合が全体数の０．０１％以下であれば、教師データ保存領域３に保存されている教師データは信頼にたるものとして、その変更は行わない（ステップ７：Ｙ）。
他方、不信教師データの数の割合が全体数の０．０１％を超えるときは、ステップ９に進む。
他方、不信教師データの数の割合が全体数の０．０１％を超えるときは、ステップ９に進む。
【0029】
ステップ９では、ステップ５で抽出された不信教師データについて再評価を行う。
この例では、不信教師データについては自動的に削除することとした。そのため、ラベル書換部１５は、ステップ１０において、表３に示すように、不信教師データについて教師データの有効／無効フラグを書き換える。例えば、教師データにはＮＧラベルが付されていた教師データＮｏ．ｉの判定結果はＯＫラベルとなったので、当該教師データＮｏ．ｉの有効／無効フラグは１から０に変更される。
その結果、表３に示される修正された教師データにおいて、Ｎｏｓ．ｉ，ｋ，ｍ，ｓは教師データとして学習モードに供されなくなる。
この例では、不信教師データについては自動的に削除することとした。そのため、ラベル書換部１５は、ステップ１０において、表３に示すように、不信教師データについて教師データの有効／無効フラグを書き換える。例えば、教師データにはＮＧラベルが付されていた教師データＮｏ．ｉの判定結果はＯＫラベルとなったので、当該教師データＮｏ．ｉの有効／無効フラグは１から０に変更される。
その結果、表３に示される修正された教師データにおいて、Ｎｏｓ．ｉ，ｋ，ｍ，ｓは教師データとして学習モードに供されなくなる。
【表3】
【0030】
このようにして修正された教師データは、学習モードにあるコンピュータ装置のメモリ部２の教師データ保存領域３に書き込まれる。以後、ステップ２～ステップ１０を繰り返す。この動作は自動的に行われる。
修正された教師データを使って学習モードを実行する場合、未学習のデータ処理部５を用いることが好ましい。学習済のデータ処理部５へ更に修正された教師データを読み込ませて学習を行わせることもできる。
修正された教師データを使って学習モードを実行する場合、未学習のデータ処理部５を用いることが好ましい。学習済のデータ処理部５へ更に修正された教師データを読み込ませて学習を行わせることもできる。
【0031】
修正済の教師データを用いて学習を行わせた結果を図６に示す。
図６ではハッチの部分、即ち不信教師データの存在がみられるので（ステップ７Ｎ）、修正された教師データを、前記と同様に更に修正して、ステップ２～ステップ５を実行する。
その結果を図７に示す。図７において、ハッチの部分の面積が全体の０．１％以下になったので、処理が終了する（ステップ７：Ｙ）。
部品検査の現場では、この状態の学習済データ処理部５が用いられる。
図６ではハッチの部分、即ち不信教師データの存在がみられるので（ステップ７Ｎ）、修正された教師データを、前記と同様に更に修正して、ステップ２～ステップ５を実行する。
その結果を図７に示す。図７において、ハッチの部分の面積が全体の０．１％以下になったので、処理が終了する（ステップ７：Ｙ）。
部品検査の現場では、この状態の学習済データ処理部５が用いられる。
【0032】
本発明者らの検討によれば、上記のアルゴリズムを実行したとき、教師データを３回修正することにより、不信教師データ数が全数の０．１％以下となった。
【0033】
学習済のデータ処理部５は、運用モードにおいて、図８に示すようにコンピュータ装置２０へ組み込むこともできる。
図８において図４と同様な機能を奏する要素には同一の符号を付してその説明を省略できる。
図８のコンピュータ装置２０では、ラベル修正部２１に再評価入力部２２と再評価結果保存部２３とが備えられる。
再評価入力部２２を使ってオペレータは再評価の結果を入力する。入力された再評価の結果は再評価結果保存部２３に保存される。
図８において図４と同様な機能を奏する要素には同一の符号を付してその説明を省略できる。
図８のコンピュータ装置２０では、ラベル修正部２１に再評価入力部２２と再評価結果保存部２３とが備えられる。
再評価入力部２２を使ってオペレータは再評価の結果を入力する。入力された再評価の結果は再評価結果保存部２３に保存される。
【0034】
図９のフローチャート用いて、この再評価入力部２２の動作の説明をする。
ステップ３１において、不信教師データの中から、ＮＧレベルが付されていた教師データであって出力結果がＯＫレベルになったものを抽出する。
ステップ３５において、抽出された教師データをディスプレイ７に表示する。具体的には、画像データから再生される画像を第１ディスプレイＡに表示する。第１ディスプレイＡにおいて要注意領域を破線で囲む。第２ディスプレイＢには破線で囲まれた領域を拡大表示する。破線で囲まれた領域に欠陥が生じている。換言すれば、判別時に注目された領域が破線でかこまれているので、当該領域を拡大表示することでオペレータによる再評価作業をアシストする。
ステップ３１において、不信教師データの中から、ＮＧレベルが付されていた教師データであって出力結果がＯＫレベルになったものを抽出する。
ステップ３５において、抽出された教師データをディスプレイ７に表示する。具体的には、画像データから再生される画像を第１ディスプレイＡに表示する。第１ディスプレイＡにおいて要注意領域を破線で囲む。第２ディスプレイＢには破線で囲まれた領域を拡大表示する。破線で囲まれた領域に欠陥が生じている。換言すれば、判別時に注目された領域が破線でかこまれているので、当該領域を拡大表示することでオペレータによる再評価作業をアシストする。
【0035】
第３ディスプレイＣには判別結果が表示される。オペレータによる教師データ変更入力はこの第３ディスプレイＣを介して許容される。
即ち、ステップ３７において、ディスプレイに表示された不信教師データ（判別結果はＯＫレベル）が、例えば、スコアの小さいものから順に表示される。表示された不信教師データの画像をオペレータが目視で再評価した結果、判別結果（ＯＫレベル）を維持する場合は再評価フラグを１とする。同様に、判別結果（ＯＫレベル）を否定して予め付されていたＮＧレベルと評価したときは再評価フラグを２とする。ディスプレイ上の情報だけではＯＫレベルかＮＧレベルかの判断が困難なときには再評価フラグを３とする。
即ち、ステップ３７において、ディスプレイに表示された不信教師データ（判別結果はＯＫレベル）が、例えば、スコアの小さいものから順に表示される。表示された不信教師データの画像をオペレータが目視で再評価した結果、判別結果（ＯＫレベル）を維持する場合は再評価フラグを１とする。同様に、判別結果（ＯＫレベル）を否定して予め付されていたＮＧレベルと評価したときは再評価フラグを２とする。ディスプレイ上の情報だけではＯＫレベルかＮＧレベルかの判断が困難なときには再評価フラグを３とする。
【0036】
次に、ステップ３９において、不信教師データの中から、ＯＫレベルが付されていた教師データであって出力結果がＮＧレベルになったものを抽出する。
ステップ４１において、ステップ３５と同様に、抽出された教師データをディスプレイ７に表示する。
ステップ４１において、ステップ３５と同様に、抽出された教師データをディスプレイ７に表示する。
【0037】
ステップ４３において、ディスプレイに表示された不信教師データ（判別結果はＮＧレベル）が、例えば、スコアの小さいものから順に表示される。表示された不信教師データの画像をオペレータが目視で再評価した結果、判別結果（ＮＧレベル）を維持する場合は再評価フラグを１とする。同様に、出力結果（ＮＧレベル）を否定して予め付されていたＯＫレベルと評価したときは再評価フラグを２とする。ディスプレイ上の情報だけではＯＫレベルかＮＧレベルかの判断が困難なときには再評価フラグを３とする。
ステップ３７及びステップ４３の結果は表４のようにまとめられて、再評価結果保存部２３に保存される。
ステップ３７及びステップ４３の結果は表４のようにまとめられて、再評価結果保存部２３に保存される。
【表4】
【0038】
ラベル書換部３５は、表５に示すように、再評価結果保存部２３に保存された再評価結果が反映されるように教師データを修正する。ここに、再評価の結果、再評価フラグ１の付されたもの、即ち学習済みの判別装置の出力が正しかったとき（判別結果と再評価結果が等しいとき）、教師データのラベルを再評価結果のものに修正するともに、その評価結果（ラベル）を変調してこれに重み付けをする。表５では有効フラグを１→１０とした。このように修正された教師データは学習モードで他の教師データより学習結果に大きな影響を与える。例えば、有効フラグ１０のものについては、教師データのコピーを１０個作成し、このコピーされた教師データも学習モードにおいて利用されるようにする。
【0039】
再評価の結果、再評価フラグ２の付されたもの。即ち、学習済みの判別装置の出力が誤りであったとき（判別結果と再評価結果が異なったとき）、教師データのレベルとして再評価結果を採用する。表５では有効フラグは有効１のままで、ラベルは維持される。
ラベルの再評価が困難のもの(フラグ３)については、学習モードにおいて入力されないように、無効フラグを立てる（１→０）。
ラベルの再評価が困難のもの(フラグ３)については、学習モードにおいて入力されないように、無効フラグを立てる（１→０）。
【表5】
【0040】
再評価を反映して、上記のように修正された教師データを用いて学習をさせた結果、一度の再評価により、ステップ５で抽出される不信教師データは０．１％以下となった。
【0041】
図１０に教師データ修正装置のハード構成を示す。
演算部３００はＣＰＵ３０１、ＲＯＭ３０３及びＲＡＭ３０５を備え、システム全体の制御をつかさどる。それとともに、データ処理部５、ラベル書換部１５、２５及びディスプレイ７のドライバとして機能する。ＲＯＭ３０３は、演算部３００を制御する制御プログラム等が格納された図示しない不揮発性メモリを含む。ＲＡＭ３０５は、キーボード等の入力装置３３０を介して利用者により予め設定された各種設定値を読み出し可能に格納したり、ＣＰＵ３０１に対してワーキングエリアを提供したりする。演算部３００を制御する制御プログラムはＲＯＭ３０３に限らずＲＡＭ３０５や第１記憶装置３１１及び第２記憶装置３１３に格納されていてもよい。
ＣＰＵ３０１はＡＩ処理に用いるニュートラルネットワーク処理に適したものが好ましく、ＲＯＭ３０３若しくは第１及び第２記憶装置３１１，３１３はディープラーニング時に用いる大量のデータを保存できる容量を持つものとする。
演算部３００はＣＰＵ３０１、ＲＯＭ３０３及びＲＡＭ３０５を備え、システム全体の制御をつかさどる。それとともに、データ処理部５、ラベル書換部１５、２５及びディスプレイ７のドライバとして機能する。ＲＯＭ３０３は、演算部３００を制御する制御プログラム等が格納された図示しない不揮発性メモリを含む。ＲＡＭ３０５は、キーボード等の入力装置３３０を介して利用者により予め設定された各種設定値を読み出し可能に格納したり、ＣＰＵ３０１に対してワーキングエリアを提供したりする。演算部３００を制御する制御プログラムはＲＯＭ３０３に限らずＲＡＭ３０５や第１記憶装置３１１及び第２記憶装置３１３に格納されていてもよい。
ＣＰＵ３０１はＡＩ処理に用いるニュートラルネットワーク処理に適したものが好ましく、ＲＯＭ３０３若しくは第１及び第２記憶装置３１１，３１３はディープラーニング時に用いる大量のデータを保存できる容量を持つものとする。
【0042】
第１記憶装置３１１は教師データ保存領域３、フラグ保存領域４として機能する。第２記憶装置３１３は判別結果保存部１１及び再評価結果保存部２１として機能する。
これら第１及び第２の記憶装置３１１，３１３はハードメモリやフラッシュメモリなど、サーバシステムのメモリ装置の一部の領域を利用することが好ましい。
なお、データを一時的に保存する、いわゆるバッファメモリには、演算部のＲＡＭの一部領域を利用できる。
出力装置３２０はディスプレイ７や音声出力装置であり、入力装置３３０は音声入力部や、ディスプレイに重ねて配置されるタッチパネル式のキーボートやマウスなどが該当する。また、入力装置３３０はＡＩ処理のための教師データ（画像データ）を入力できるものとする。
コンピュータを構成する各装置はシステムバス３４０で連結されている。
これら第１及び第２の記憶装置３１１，３１３はハードメモリやフラッシュメモリなど、サーバシステムのメモリ装置の一部の領域を利用することが好ましい。
なお、データを一時的に保存する、いわゆるバッファメモリには、演算部のＲＡＭの一部領域を利用できる。
出力装置３２０はディスプレイ７や音声出力装置であり、入力装置３３０は音声入力部や、ディスプレイに重ねて配置されるタッチパネル式のキーボートやマウスなどが該当する。また、入力装置３３０はＡＩ処理のための教師データ（画像データ）を入力できるものとする。
コンピュータを構成する各装置はシステムバス３４０で連結されている。
【0043】
上記においては、２つのラベルを持つ教師データに基づき発明の説明をしてきた。３つ以上のラベルについても、同様にその修正をすることができる。
上記の例では、学習済の判別装置へ教師データの各一次データを入力して得られた判別結果につき、第１ラベルと第２ラベルのそれぞれについて再評価し、もって教師データを修正していたが、いずれか一方のラベルについてのみ再評価してその結果を教師データの修正に反映させてもよい。
この発明は、上記発明の実施形態の説明に何ら限定されるものではない。特許請求の範囲の記載を逸脱せず、当業者が容易に想到できる範囲で種々の変形態様もこの発明に含まれる。
上記の例では、学習済の判別装置へ教師データの各一次データを入力して得られた判別結果につき、第１ラベルと第２ラベルのそれぞれについて再評価し、もって教師データを修正していたが、いずれか一方のラベルについてのみ再評価してその結果を教師データの修正に反映させてもよい。
この発明は、上記発明の実施形態の説明に何ら限定されるものではない。特許請求の範囲の記載を逸脱せず、当業者が容易に想到できる範囲で種々の変形態様もこの発明に含まれる。
【符号の説明】
【0044】
１ 学習モードの判別装置（判別装置）
２ メモリ部
３ 教師データ保存領域
５ データ処理部
７ ディスプレイ
１０、２０ 運用モードの判別装置（判別装置）
１１、２１ ラベル修正部
２ メモリ部
３ 教師データ保存領域
５ データ処理部
７ ディスプレイ
１０、２０ 運用モードの判別装置（判別装置）
１１、２１ ラベル修正部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
