特許 7527172 判定装置、機械学習装置、判定方法、機械学習方法、プログラム、及び構造体の製造方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-25

(45)【発行日】2024-08-02

(54)【発明の名称】判定装置、機械学習装置、判定方法、機械学習方法、プログラム、及び構造体の製造方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240726BHJP

   G05B 19/418 20060101ALI20240726BHJP

【ＦＩ】

G06T7/00 610Z

G05B19/418 Z

【請求項の数】 14

(21)【出願番号】P 2020167955

(22)【出願日】2020-10-02

(65)【公開番号】P2021128751

(43)【公開日】2021-09-02

【審査請求日】2023-06-28

(31)【優先権主張番号】P 2020023448

(32)【優先日】2020-02-14

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000005186

【氏名又は名称】株式会社フジクラ

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】渡部 和宏

(72)【発明者】

【氏名】黒澤 公紀

【審査官】山田 辰美

(56)【参考文献】

【文献】国際公開第２０２０／１７８９４５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０５Ｂ １９／４１８

(57)【特許請求の範囲】

【請求項1】

機械学習により構築された学習済モデルを記憶する単一又は複数のメモリと、
数値列を表すグラフを含む画像データを生成する生成処理、及び、前記学習済モデルを用いて前記数値列の正常／異常判定を行う判定処理を実行する単一又は複数のプロセッサと、を備えており、
前記学習済モデルは、数値列を表すグラフを含む画像データを入力とし、その数値列の正常／異常判定の結果を出力とする学習済モデルであり、
前記数値列は、数値の時系列であり、前記グラフは、時間に対応する軸と前記数値に対応する軸とを有するグラフである、
ことを特徴とする判定装置。

【請求項2】

前記数値列は、センサにより検出された数値、又は、その数値から導出された数値の時系列である、
ことを特徴とする請求項１に記載の判定装置。

【請求項3】

前記画像データには、ガイド線が含まれている、
ことを特徴とする請求項１又は２に記載の判定装置。

【請求項4】

前記学習済モデルは、異なる数値列を表す複数のグラフを含む画像データを入力とし、それらの数値列からなる数値列群の正常／異常判定の結果を出力とする学習済モデルである、
ことを特徴とする請求項１～３の何れか一項に記載の判定装置。

【請求項5】

前記画像データにおいて、前記複数のグラフは、振幅が予め定められた下限値以上且つ予め定められた上限値以下になるように正規化されている、
ことを特徴とする請求項４に記載の判定装置。

【請求項6】

前記画像データにおいて、前記複数のグラフのうち少なくとも２つのグラフは、異なる色をそれぞれ有している、
ことを特徴とする請求項４又は５に記載の判定装置。

【請求項7】

前記画像データにおいて、前記複数のグラフのうち少なくとも２つのグラフは、そのグラフに対応する数値列が属するクラスに応じた色をそれぞれ有している、
ことを特徴とする請求項４～６の何れか一項に記載の判定装置。

【請求項8】

前記画像データは、前記数値列を表すグラフに加えて、又は、前記数値列を表すグラフに代えて、特定の変換規則を用いて記号列から得られた数値列を表すグラフを含む、
ことを特徴とする請求項１～７の何れか一項に記載の判定装置。

【請求項9】

学習用データセットが格納された単一又は複数のストレージと、
前記学習用データセットを用いた機械学習によって、学習済モデルを構築する構築処理を実行する単一又は複数のプロセッサと、を備え、
前記学習済モデルは、数値列を表すグラフを含む画像データを入力とし、その数値列の正常／異常判定の結果を出力とする学習済モデルであり、
前記学習用データセットは、数値列を表すグラフを含む画像データに、その数値列の正常／異常判定の結果を示すラベルを付した教師データの集合であり、
前記画像データは、数値の大きさに対応する第１の方向と、時間の変化に対応する第２の方向と、を有する二次元画像のデータであり、
前記グラフは、前記二次元画像上に、前記数値列中の数値を結ぶ線として表される、
ことを特徴とする機械学習装置。

【請求項10】

単一又は複数のプロセッサが、数値列を表すグラフを含む画像データを生成する生成処理と、
前記プロセッサが、単一又は複数のメモリに記憶された学習済モデルであって、機械学習により構築された学習済モデルを用いて、前記数値列の正常／異常判定を行う判定処理と、を含み、
前記学習済モデルは、数値列を表すグラフを含む画像データを入力とし、その数値列の正常／異常判定の結果を出力とする学習済モデルであり、
前記画像データは、数値の大きさに対応する第１の方向と、時間の変化に対応する第２の方向と、を有する二次元画像のデータであり、
前記グラフは、前記二次元画像上に、前記数値列中の数値を結ぶ線として表される、
ことを特徴とする判定方法。

【請求項11】

単一又は複数のプロセッサが、単一又は複数のストレージに格納された学習用データセットを用いた機械学習によって、学習済モデルを構築する構築処理を含み、
前記学習済モデルは、数値列を表すグラフを含む画像データを入力とし、その数値列の正常／異常判定の結果を出力とする学習済モデルであり、
前記学習用データセットは、数値列を表すグラフを含む画像データに、その数値列の正常／異常判定の結果を示すラベルを付した教師データの集合であり、
前記画像データは、数値の大きさに対応する第１の方向と、時間の変化に対応する第２の方向と、を有する二次元画像のデータであり、
前記グラフは、前記二次元画像上に、前記数値列中の数値を結ぶ線として表される、
ことを特徴とする機械学習方法。

【請求項12】

請求項１～８の何れか一項に記載の判定装置としてコンピュータを動作させるためのプログラムであって、前記生成処理及び判定処理を前記コンピュータに実行させるプログラム。

【請求項13】

請求項９に記載の機械学習装置としてコンピュータを動作させるためのプログラムであって、前記構築処理を前記コンピュータに実行させるプログラム。

【請求項14】

製造装置を用いた構造体の製造方法であって、
材料、中間生成物、及び前記構造体の状態を表す数値列、並びに、前記製造装置の状態を表す数値列の正常／異常判定を、請求項１～８の何れか一項に記載の判定装置を用いて実施する工程を含んでいる、ことを特徴とする構造体の製造方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習済モデルを用いて数値列の正常／異常判定を行う判定装置及び判定方法に関する。また、本発明は、そのような学習済モデルを構築する機械学習装置及び機械学習方法に関する。また、そのような判定装置としてコンピュータを動作させるためのプログラム、及び、そのような機械学習装置としてコンピュータを動作させるプログラムに関する。また、そのような判定装置を用いた正常／異常判定を実施する工程を含む、構造体の製造方法に関する。

【背景技術】

【0002】

製造業においては、製造物の品質を担保するために、例えば、各種センサを用いた正常／異常判定が行われている。例えば、各種センサにて検出された数値の時系列を表すグラフを紙に印刷した、又は、ディスプレイに表示したものを用いた、検査員の目視による正常／異常判定が行われている。

【0003】

しかしながら、グラフの目視による正常／異常判定には、熟練した検査員が必要であるという問題、判定に時間が掛かるという問題、検査員の体調等によって判定結果にばらつきが生じるという問題などがある。そこで、グラフの目視による正常／異常判定を、コンピュータを用いて自動化することが求められている。

【0004】

特許文献１には、各種センサにて検出された数値の時系列を入力とする学習済モデルを用いて、監視対象設備の状態を予測する技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１９－６７１３９号

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、各種センサにて検出された数値の時系列を入力とする学習済モデルを用いた正常／異常判定では、それらの時系列を表すグラフの目視による正常／異常判定の結果を精度良く再現することが困難であった。なお、各種センサを用いる特許文献１に記載の技術に限らず、ＲＦＩＤタグリーダ、ＩＣタグリーダ、ＱＲコード（登録商標）リーダ、バーコードリーダなどのセンサ以外にて検出されたデータを入力とする学習済モデルを用いた正常／異常判定においても同様の問題が生じ得る。

【0007】

本発明の一態様は、上記の問題に鑑みてなされたものであり、数値列を表すグラフの目視による正常／異常判定の結果を精度良く再現することが容易な技術を実現することを目的とする。

【課題を解決するための手段】

【0008】

本発明の態様１に係る判定装置においては、機械学習により構築された学習済モデルを記憶する単一又は複数のメモリと、数値列を表すグラフを含む画像データを生成する生成処理、及び、前記学習済モデルを用いて前記数値列の正常／異常判定を行う判定処理を実行する単一又は複数のプロセッサと、を備えており、前記学習済モデルは、数値列を表すグラフを含む画像データを入力とし、その数値列の正常／異常判定の結果を出力とする学習済モデルである、という構成が採用されている。

【0009】

なお、正常／異常判定は、正常及び異常の種類を識別しない二値判定であってもよいし、正常及び／又は異常の種類を識別する多値判定であってもよい。二値判定の場合、正常又は異常の何れかを判定結果としてもよいし、正常である確率及び異常である確率の一方又は両方を判定結果としてもよい。多値判定の場合、正常１、正常２、…、正常ｎ、異常１、異常２、…、異常ｍの何れかを判定結果としてもよいし、正常１である確率、正常２である確率、…、正常ｎである確率、異常１である確率、異常２である確率、…、異常ｍである確率の一部又は全部を判定結果としてもよい。ここで、ｎ及びｍのうち、一方は、１以上の自然数であり、他方は、２以上の自然数である。更に、判定結果に、「判定保留」など、正常でも異常でもないもの（又はその確率）が含まれていてもよい。

【0010】

本発明の態様２に係る判定装置においては、本発明の態様１に係る判定装置の構成に加えて、前記数値列は、センサにより検出された数値、又は、その数値から導出された数値の時系列である、という構成が採用されている。

【0011】

本発明の態様３に係る判定装置においては、本発明の態様１又は２に係る判定装置の構成に加えて、前記画像データには、ガイド線が含まれている、という構成が採用されている。

【0012】

本発明の態様４に係る判定装置においては、本発明の態様１～３の何れか一態様に係る判定装置の構成に加えて、前記学習済モデルは、異なる数値列を表す複数のグラフを含む画像データを入力とし、それらの数値列からなる数値列群の正常／異常判定の結果を出力とする学習済モデルである、という構成が採用されている。

【0013】

本発明の態様５に係る判定装置においては、本発明の態様４様に係る判定装置の構成に加えて、前記画像データにおいて、前記複数のグラフは、振幅が一致するように正規化されている、という構成が採用されている。

【0014】

本発明の態様６に係る判定装置においては、本発明の態様４又は５に係る判定装置の構成に加えて、前記画像データにおいて、前記複数のグラフは、異なる色を有している、という構成が採用されている。

【0015】

本発明の態様７に係る判定装置においては、本発明の態様４～６の何れか一態様に係る判定装置の構成に加えて、前記画像データにおいて、前記複数のグラフの各々は、そのグラフに対応する数値列が属するクラスに応じた色を有している、という構成が採用されている。

【0016】

本発明の態様８に係る機械学習装置においては、本発明の態様１～７の何れか一態様に係る判定装置の構成に加えて、前記画像データは、前記数値列を表すグラフに加えて、又は、前記数値列を表すグラフに代えて、特定の変換規則を用いて記号列から得られた数値列を表すグラフを含む、という構成が採用されている。

【0017】

本発明の態様９に係る機械学習装置においては、学習用データセットが格納された単一又は複数のストレージと、前記学習用データセットを用いた機械学習によって、学習済モデルを構築する単一又は複数のプロセッサと、を備え、前記学習済モデルは、数値列を表すグラフを含む画像データを入力とし、その数値列の正常／異常判定の結果を出力とする学習済モデルであり、前記学習用データセットは、数値列を表すグラフを含む画像データに、その数値列の正常／異常判定の結果を示すラベルを付した教師データの集合である、という構成が採用されている。

【0018】

なお、画像データに判定結果を示すラベルを付すとは、画像データに判定結果を（例えばメタデータとして）埋め込む態様に限らず、画像データと判定結果とを任意の方法で関連付けることを指す。画像データと判定結果を関連付ける方法としては、例えば、画像データと判定結果との対応関係を示すテーブルを作成する方法や、判定結果に対応するディレクトリに画像データを格納する方法などが挙げられる。

【0019】

本発明の態様１０に係る判定方法においては、単一又は複数のプロセッサが、数値列を表すグラフを含む画像データを生成する生成処理と、前記プロセッサが、単一又は複数のメモリに記憶された学習済モデルであって、機械学習により構築された学習済モデルを用いて、前記数値列の正常／異常判定を行う判定処理と、を含み、前記学習済モデルは、数値列を表すグラフを含む画像データを入力とし、その数値列の正常／異常判定の結果を出力とする学習済モデルである、という手法が採用されている。

【0020】

本発明の態様１１に係る機械学習方法においては、単一又は複数のプロセッサが、単一又は複数のストレージに格納された学習用データセットを用いた機械学習によって、学習済モデルを構築する構築処理を含み、前記学習済モデルは、数値列を表すグラフを含む画像データを入力とし、その数値列の正常／異常判定の結果を出力とする学習済モデルであり、前記学習用データセットは、数値列を表すグラフを含む画像データに、その数値列の正常／異常判定の結果を示すラベルを付した教師データの集合である、という手法が採用されている。

【0021】

本発明の態様１２に係るプログラムは、本発明の態様１～８の何れか一態様に係る判定装置としてコンピュータを動作させるためのプログラムであって、前記生成処理及び判定処理を前記コンピュータに実行させるプログラムである。

【0022】

本発明の態様１３に係るプログラムは、本発明の態様９に係る機械学習装置としてコンピュータを動作させるためのプログラムであって、前記構築処理を前記コンピュータに実行させるプログラムである。

【0023】

本発明の態様１４に係る構造体の製造方法は、製造装置を用いた構造体の製造方法であって、材料、中間生成物、及び前記構造体の状態を表す数値列、並びに、前記製造装置の状態を表す数値列の正常／異常判定を、本発明の態様１～８の何れか一態様に係る判定装置を用いて実施する工程を含んでいる。

【発明の効果】

【0024】

本発明の一態様によれば、数値列を表すグラフの目視による正常／異常判定の結果を精度良く再現することができる。

【図面の簡単な説明】

【0025】

【図1】本発明の一実施形態に係る判定装置の構成を示すブロック図である。

【図2】図１に示す判定装置によって実行される判定方法の流れを示すフローチャートである。

【図3】図１に示す判定装置において生成される画像データの具体例を示す図である。

【図4】図３に示す画像データの拡大図である。

【図5】本発明の一実施形態に係る機械学習装置の構成を示すブロック図である。

【図6】図１に示す判定装置と図５に示す機械学習装置とを含む検査システムの構成を示すブロック図である。

【図7】図６に示す検査システムに含まれる判定装置が異常１を検出したときに、学習済モデルに入力された画像データをヒートマップ表示した図である。

【図8】図６に示す検査システムに含まれる判定装置が異常２を検出したときに、学習済モデルに入力された画像データをヒートマップ表示した図である。

【図9】図６に示す検査システムに含まれる判定装置が異常３を検出したときに、学習済モデルに入力された画像データをヒートマップ表示した図である。

【図10】図１に示す判定装置において生成される画像データの具体例を示す図である。

【図11】図１に示す判定装置において生成される画像データの具体例を示す図である。

【発明を実施するための形態】

【0026】

（判定装置の構成）
本発明の一実施形態に係る判定装置１の構成について、図１を参照して説明する。図１は、判定装置１の構成を示すブロックである。

【0027】

判定装置１は、数値列の正常／異常判定を行う装置である。判定装置１は、図１に示すように、メモリ１１と、プロセッサ１２と、ストレージ１３と、を備えている。メモリ１１、プロセッサ１２、及びストレージ１３は、不図示のバスを介して互いに接続されている。このバスには、更に、不図示の入出力インタフェース、及び、不図示の通信インタフェースが接続されていてもよい。この入出力インタフェースは、例えば、外部装置（例えば、センサ）から判定装置１に数値列を入力するため、或いは、判定装置１から外部装置（例えば、ディスプレイ）に判定結果を出力するために利用される。また、この通信インタフェースは、例えば、外部装置（例えば、後述する機械学習装置２）から学習済モデルＭを取得するために利用される。

【0028】

メモリ１１は、機械学習により構築された学習済モデルＭを記憶するための構成である。学習済モデルＭは、数値列を表すグラフを含む画像データを入力とし、その数値列の正常／異常判定の結果を出力とするアルゴリズムである。なお、メモリ１１としては、例えば、半導体ＲＡＭ（Random Access Memory）等を用いることができる。また、学習済モデルＭとしては、例えば、ＣＮＮ（Convolutional Neural Network）を用いることができる。また、ロジスティック回帰モデル、サポートベクトルマシン、又は判別分析など、画像分類に利用可能な任意の機械学習アルゴリズムを学習済モデルＭとして利用することができる。

【0029】

プロセッサ１２は、メモリ１１に記憶された学習済モデルＭを用いて、後述する判定方法Ｓ１を実行するための構成である。プロセッサ１２としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、マイクロプロセッサ、デジタルシグナルプロセッサ、マイクロコントローラ、ＴＰＵ（Tensor Processing Unit）等のＡＳＩＣ（Application Specific Integrated Circuit）又は、これらの組み合わせ等を用いることができる。

【0030】

ストレージ１３は、上述した学習済モデルＭを格納（不揮発保存）するための構成である。プロセッサ１２は、正常／異常判定を行う際にストレージ１３に格納された学習済モデルＭをメモリ１１上に展開して利用する。なお、ストレージ１３としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせ等を用いることができる。

【0031】

なお、本明細書において、「数値列」とは、数値又はその組み合わせの１次元配列のことを指す。数値列を構成する数値は、整数型であってもよいし、実数型であってもよいし、ブーリアン型であってもよい。数値の組み合わせの例としては、例えば、上限値と下限値との組み合わせや、代表値（中央値や平均値など）と変動幅（上限値と下限値との差など）との組み合わせが挙げられる。数値列の具体例としては、例えば、センサにより検出された数値、又は、その数値から導出された数値の時系列が挙げられる。また、本明細書において、「画像データ」とは、画素値の２次元配列のことを指す。モノクロ画像を表す画像データにおける画素値は、例えば、輝度に対応する１つの数値であり、カラー画像を表す画像データにおける画素値は、例えば、ＲＧＢ、ＣＭＹ、ＹＵＶ等のフォーマットに対応した３つ又は４つの数値である。上述した学習済モデルＭに入力される画像データは、数値列を表すグラフを、背景とは画素値の異なる画素の集合として含む画像データである。

【0032】

また、判定装置１が行う正常／異常判定は、正常及び異常の種類を識別しない二値判定であってもよいし、正常及び／又は異常の種類を識別する多値判定であってもよい。二値判定の場合、判定結果は、正常又は異常の何れかであり、例えば、ブーリアン型の数値によって表現される。この場合、正常である確率及び異常である確率の一方又は両方を表す実数型の数値又はその組み合わせを判定結果としてもよい。多値判定の場合、ｎ種類の正常及びｍ種類の異常が識別可能であるとすると、判定結果は、正常１、正常２、…、正常ｎ、異常１、異常２、…、異常ｍの何れかであり、例えば、整数型の数値によって表現することができる。この場合、正常１である確率、正常２である確率、…、正常ｎである確率、異常１である確率、異常２である確率、…、及び異常ｍである確率の一部又は全部を表す実数型の数値又はその組み合わせを判定結果としてもよい。ここで、ｎ及びｍのうち、一方は、１以上の自然数であり、他方は、２以上の自然数である。更に、判定結果に、「判定保留」など、正常でも異常でもないもの（又はその確率）が含まれていてもよい。

【0033】

なお、判定装置１は、単一の数値列の正常／異常判定を行うように構成することもできるし、複数の数値列の正常／異常判定を行うように構成することもできる。後者の場合であっても、判定装置１は、単一の判定結果を出力する。すなわち、複数の数値列の各々についての個別的な正常／異常判定を行うのではなく、複数の数値列全体についての包括的な正常／異常判定を行う。別の言い方をすると、複数の数値列からなる数値列群についての正常／異常判定を行う。

【0034】

なお、ここでは、判定方法Ｓ１を単一のコンピュータに設けられた単一のプロセッサ１２が実行する構成について説明したが、これに限定されない。すなわち、判定方法Ｓ１を単一のコンピュータに設けられた、或いは、複数のコンピュータに分散して設けられた複数のプロセッサが共同して実行する構成を採用することも可能である。

【0035】

また、ここでは、学習済モデルＭを単一のコンピュータに設けられた単一のメモリ１１に記憶させる構成について説明したが、これに限定されない。すなわち、学習済モデルＭを単一のコンピュータに設けられた、或いは、複数のコンピュータに分散して設けられた複数のメモリに分散して記憶させる構成を採用することも可能である。

【0036】

なお、プロセッサ１２に判定方法Ｓ１を実行させるためのプログラムは、例えば、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されている。プロセッサ１２は、このプログラムに含まれる命令を実行することによって、判定方法Ｓ１を実行する。この記録媒体は、メモリ１１であってもよいし、ストレージ１３であってもよいし、その他の記録媒体であってもよい。例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路が、その他の記録媒体として利用可能である。

【0037】

（判定方法の流れ）
判定装置１により実行される判定方法Ｓ１の流れについて、図２を参照して説明する。図２は、判定方法Ｓ１の流れを示すフローチャートである。

【0038】

判定方法Ｓ１は、数値列の正常／異常判定を行う方法であり、図２に示すように、生成処理Ｓ１１と判定処理Ｓ１２とを含んでいる。

【0039】

生成処理Ｓ１１は、プロセッサ１２が、判定装置１に入力された数値列から、その数値列を表すグラフを含む画像データを生成する処理である。なお、判定装置１に単一の数値列が入力される場合、生成処理Ｓ１１において、その数値を表す単一のグラフを含む単一の画像が生成される。一方、判定装置１に複数の数値列が入力される場合、生成処理Ｓ１１において、それらの数値列の各々を表す複数のグラフを含む単一の画像が生成される。何れの場合においても、生成処理Ｓ１１にて生成される画像データは単一である。

【0040】

判定処理Ｓ１２は、プロセッサ１２が、生成処理Ｓ１１にて生成された画像データを学習済モデルＭに入力することによって、判定装置１に入力された数値列の正常／異常判定を行う処理である。なお、判定装置１に単一の数値列が入力される場合、判定処理Ｓ１２において、その数値列の正常／異常判定が行われる。一方、判定装置１に複数の数値列が入力される場合、判定処理Ｓ１２において、それらの数値列からなる数値列群の正常／異常判定が行われる。何れの場合においても、判定処理Ｓ１２にて得られる判定結果は単一である。

【0041】

なお、判定方法Ｓ１は、生成処理Ｓ１１に先行する処理として、分割処理を含んでいてもよい。ここで、分割処理とは、判定装置１に入力された数値列を、複数の数値列に分割する処理のことを指す。この場合、生成処理Ｓ１１及び判定処理Ｓ１２は、分割処理にて得られた複数の数値列の各々に対して実行される。例えば、１０万個の数値により構成された数値列を、それぞれ５０００個の数値により構成される２０個の数値列に分割する分割処理を行った場合、生成処理Ｓ１１及び判定処理Ｓ１２は、これら２０個の数値列の各々に対して実行される。判定装置１に入力される数値列の長さが長くなると（数値列の有する情報量が画像データの有する情報量を超えると）、グラフ化に際して消失する情報量が増大して判定精度に悪影響を与えるという問題や、単一のグラフの中に複数の異常が混在して個々の異常の種別判定が困難になるという問題などを生じ得る。上述した分割処理を行えば、このような問題が生じる可能性を低減することができる。なお、分割処理は、前後の数値列が予め定められた個数の数値を重複して含むように行ってもよい。これにより、分割の境界において異常がある場合に、正常／異常判定においてこれを見落とすリスクを低減することができる。

【0042】

なお、数値列の末尾を表すグラフを含む画像データにおいては、グラフが画像の端（左端からプロットを始める場合は右端）まで到達しない場合がある。このような場合、グラフのスケールを変更して、グラフを画像の端に余白を残さない構成を採用することもできるし、グラフのスケールを変更せず、グラフを画像の端に余白を残す構成を採用することもできるが、後者の構成を採用することが好ましい。前者の構成を採用した場合、学習済モデルＭの汎化能力が及ばない（したがって、判定精度が低下する）可能性が高いが、後者の構成を採用した場合、そのような可能性が低いからである（余白がある場合にどのような判定を行うべきかについて、学習済モデルＭは機械学習により習得することが可能である）。なお、上述したように、分割処理において前後の数値列が予め定められた個数の数値を重複して含むようにする構成を採用すれば、余白の大きさを適宜制限することも可能である。

【0043】

判定装置１によれば、数値列を表すグラフを含む画像データを用いて正常／異常判定が行われる。このグラフは、従来、紙に印刷して、或いは、ディスプレイに表示して、検査員が目視検査を行っていたものである。したがって、判定装置１によれば、数値列を表すグラフの目視による正常／異常判定の結果を精度良く再現することができるという効果を奏する。また、数値列における異常の開始位置及び終了位置を検査員等が特定する必要がないので、手間を掛けずに正常／異常判定を行うことができる。判定装置１を用いて実施される判定方法Ｓ１、及び、コンピュータを判定装置１として動作させるプログラムについても、同様のことが言える。

【0044】

特に、本実施形態に係る判定装置１においては、異なる数値列を表す複数のグラフを含む単一の画像データを学習済モデルＭに入力することにより判定処理Ｓ１２を行う構成が採用されているが、本発明はこれに限定されない。例えば、異なる数値列を表すグラフをそれぞれ含む複数の画像データを学習済モデルＭに入力することにより判定処理Ｓ１２を行う構成を採用してもよい。何れの構成であっても、異なる数値列の挙動を総合的に勘案した正常／異常判定を行うことができる。なお、後者の構成を採用する場合、オーバーヘッドの削減によりプログラムの実行スピードが速くなる、又は、複雑な学習・推論への対応が可能となるといった効果を得ることができる。

【0045】

なお、本実施形態に係る判定装置１においては、１回の判定処理Ｓ１２において、１回の生成処理Ｓ１１にて生成された単一の画像データを学習済モデルＭに入力する構成が採用されているが、本発明はこれに限定されない。例えば、１回の判定処理Ｓ１２において、複数回の生成処理Ｓ１１にて生成された複数の画像データを学習済モデルＭに入力する構成を採用してもよい。前者の構成を採用する場合、生成処理Ｓ１１及び判定処理Ｓ１２を繰り返し実行すると、生成処理Ｓ１１によって複数（繰り返し回数と同数）の画像データが得られ、判定処理Ｓ１２によって複数（繰り返し返し同数）の判定結果が得られる。この場合、判定処理Ｓ１２にて得られた複数の判定結果から、ルールベースで最終的な判定結果を導出する構成（例えば、所定の回数「保留」が続いたら「異常」と判定する構成など）を併せて採用してもよい。

【0046】

（画像データの具体例）
生成処理Ｓ１１にて生成される画像データの一具体例について、図３及び図４を参照して説明する。図３は、生成処理Ｓ１１にて生成される画像データ（の表す画像）の一具体例を示す図であり、図４は、図３に示す画像データ（の表す画像）の拡大図である。

【0047】

本具体例に係る画像データＩｍｇは、判定装置１に６個の数値列Ｄ１，Ｄ２，…，Ｄ６が入力されたときに、生成処理Ｓ１１にて生成される画像データである。

【0048】

画像データＩｍｇは、図３に示すように、３つの領域Ａ１～Ａ３に分割されている。領域Ａ１には、数値列Ｄ１を表すグラフＧ１が含まれている。また、領域Ａ２には、数値列Ｄ２を表すグラフＧ２が含まれている。また、領域Ａ３には、数値列Ｄ３～Ｄ６を表すグラフＧ３～Ｇ６が含まれている。グラフＧ１は、数値列Ｄ１におけるｘ番目の数値をｙとすると、ｘを横軸とし、ｙを縦軸とするグラフである。数値列Ｄ１がセンサにより検出された検出値の時系列である場合、グラフＤ１は、時刻を横軸とし、検出値を縦軸とするグラフになる。グラフＧ２～Ｇ６も同様である。

【0049】

本具体例に係る画像データＩｍｇには、図３に示すように、ガイド線Ｌ１～Ｌ２が含まれている。グラフＧ１と共に領域Ａ１に含まれる２本のガイド線Ｌ１は、図４に示すように、数値列Ｄ１を構成する数値の許容範囲の上限値及び下限値を表すものであり、グラフＧ１の横軸と平行に引かれている。これらのガイド線Ｌ１を画像データＩｍｇに含めることによって、数値列Ｄ１を構成する数値とその許容範囲との関係を、学習済モデルＭが画像データＩｍｇから読み取ることが可能になる。グラフＧ２と共に領域Ａ２に含まれる２本のガイド線Ｌ２についても、同様のことが言える。このため、学習済モデルＭを用いた正常／異常判定の判定精度が向上する。

【0050】

なお、本具体例においては、ガイド線Ｌ１～Ｌ２として、数値列Ｄ１～Ｄ２の各々の許容範囲の上限値及び下限値を表すガイド線を用いているが、これに限定されない。すなわち、ガイド線Ｌ１～Ｌ２の表す数値は、予め定められた任意の数値であり得る。例えば、ガイド線Ｌ１～Ｌ２の表す数値は、数値列Ｄ１～Ｄ２の平均値や中央値などの代表値である得る。ガイド線Ｌ１～Ｌ２の表す数値がどのような数値であっても、数値列Ｄ１～Ｄ２を構成する数値とガイド線Ｌ１～Ｌ２の表す数値との関係を、学習済みモデルＭが画像データＩｍｇから読み取ることが可能になる。これにより、学習済モデルＭを用いた正常／異常判定の判定精度が向上する。また、本具体例においては、ガイド線Ｌ１～Ｌ２として、グラフＧ１～Ｇ２の横軸と平行な直線を用いているが、これに限定されない。例えば、ガイド線Ｌ１～Ｌ２として、グラフＧ１～Ｇ２の縦軸に平行な直線を用いることができる。この場合、数値列Ｄ１～Ｄ２の変動のスケール（数値列Ｄ１～Ｄ２が時系列データである場合は時間スケール）を、学習済モデルＭが画像データＩｍｇから読み取ることが可能になる。これにより、学習済モデルＭを用いた正常／異常判定の判定精度が向上する。

【0051】

また、本具体例に係る画像データＩｍｇにおいて、グラフＧ１～Ｇ６は、それぞれの振幅が一致するように正規化されている。これにより、他の数値列と比べて変動範囲の極端に小さい数値列が正常／異常判定に及ぼす影響力が小さくなり過ぎたり、逆に、他の数値列と比べて変動範囲の極端に大きい数値列が正常／異常判定に及ぼす影響力が大きくなり過ぎたりすることが抑制される。その結果、学習済モデルＭを用いた正常／異常判定の判定精度が向上する。なお、グラフＧ１～Ｇ６は、それぞれの振幅が予め定められた数値範囲に収まるように正規化されていていればよい。この場合であっても、上記と同様の効果が得られる。なお、この数値範囲は、例えば、（１）閾値があるものについては、プロットされた全範囲のうち、５０％の範囲が閾値の上限と下限の範囲内に収まるように、（２）閾値がないものについては、異常が出た場合に十分認識できる程度（例えば、作業員の良不良正解率が９５％以上になる程度）に所定の値の範囲内に収まるように設定すればよい。

【0052】

なお、カラー画像を表す画像データＩｍｇにおいては、グラフＧ１～Ｇ６が異なる色をそれぞれ有していることが好ましい。これにより、グラフの位置の情報だけでなく、グラフの色の情報を参照してグラフＧ１～Ｇ６を識別することが可能になる。その結果、学習済モデルＭを用いた正常／異常判定の判定精度が向上する。なお、必ずしもグラフＧ１～Ｇ６の全てが異なる色をそれぞれ有している必要はない。グラフＧ１～Ｇ６のうち少なくとも２つのグラフが異なる色をそれぞれ有していれば、上記と同様の効果が得られる。

【0053】

また、数値列Ｄ１～Ｄ６が複数のクラスに分類可能である場合、カラー画像を表す画像データＩｍｇにおいては、各グラフＧｉ（ｉ＝１，２，…，６）は、対応する数値列Ｄｉの属するクラスに応じた色をそれぞれ有していることが好ましい。これにより、各数値列Ｄｉが属するクラスを考慮に入れた正常／異常判定を行うことが可能になる。その結果、学習済モデルＭを用いた正常／異常判定の判定精度が向上する。なお、必ずしもグラフＧ１～Ｇ６の全てが対応する数値列Ｄｉが属するクラスに応じた色をそれぞれ有している必要はない。グラフＧ１～Ｇ６のうち少なくとも２つのグラフが異なる色をそれぞれ有していれば、上記と同様の効果が得られる。また、各グラフＧｉの色は、クラス間の関係を考慮して決定してもよい。例えば、クラスＡに属する数値列Ｄ１とクラスＢに属する数値列Ｄ２とが「一方の変化に応じて他方が変化する」関係にある場合、グラフＧ１とグラフＧ２とを同系統の色（例えば、色相環において近接する色）にする方法などが考えられる。

【0054】

それぞれのデータが関連性の高いものを選択して、それらのデータがそれぞれ同色、同輝度系統の異なる色や輝度で表されていてもよい。ここで、関連性の高いものの具体例としては、例えば、構造が似通っている物、物理現象が似通っている物、工程が似通っている物等を選択することが考えられる。

【0055】

なお、本実施形態においては、数値列｛ａ（１），ａ（２），…，ａ（ｔ），…｝について、ｔを横軸としａ（ｔ）を縦軸とするグラフを含む画像データを生成する構成について説明したが、本発明はこれに限定されない。例えば、２個の数値列｛ａ（１），ａ（２），…，ａ（ｔ），…｝及び数値列｛ｂ（１），ｂ（２），…，ｂ（ｔ），…｝について、ａ（ｔ）を横軸としｂ（ｔ）を縦軸とする２次元グラフを含む画像データを生成する構成を採用してもよい。或いは、３個の数値列｛ａ（１），ａ（２），…，ａ（ｔ），…｝、数値列｛ｂ（１），ｂ（２），…，ｂ（ｔ），…｝、及び数値列｛ｃ（１），ｃ（２），…，ｃ（ｔ），…｝について、ａ（ｔ）を横軸としｂ（ｔ）を縦軸としｃ（ｔ）を高さ軸とする３次元グラフ（の２次元射影）を含む画像データを生成する構成を採用してもよい。より一般に、Ｎ個の数値列について、Ｎ次元グラフ（の２次元射影）を含む画像データを作成してもよい。この場合、生成処理Ｓ１１においては、異なる複数の数値列を表す単一のグラフが生成されることになる。

【0056】

（機械学習装置の構成）
本発明の一実施形態に係る機械学習装置２の構成について、図５を参照して説明する。図５は、機械学習装置２の構成を示すブロックである。

【0057】

機械学習装置２は、学習済モデルＭを構築するための機械学習方法を実施する装置である。機械学習装置２は、図５に示すように、ストレージ２１と、プロセッサ２２と、メモリ２３と、を備えている。ストレージ２１、プロセッサ２２、及びメモリ２３は、不図示のバスを介して互いに接続されている。このバスには、更に、不図示の入出力インタフェース及び不図示の通信インタフェースが接続されていてもよい。この入出力インタフェースは、例えば、外部装置（例えば、センサ及びキーボード）から機械学習装置２に教師データを入力するために利用される。また、この通信インタフェースは、例えば、外部装置（例えば、前述した判定装置１）に学習済モデルＭを提供するために利用される。

【0058】

ストレージ２１は、学習用データセットＤＳを格納するための構成である。学習用データセットＤＳは、数値列を表すグラフを含む画像データに、その数値列の正常／異常判定の結果（例えば人間の行った正常／異常判定の結果）を表すラベルを付した教師データの集合である。ここで、画像データに判定結果を示すラベルを付すとは、画像データに判定結果を（例えばメタデータとして）埋め込む態様に限らず、画像データと判定結果とを任意の方法で関連付けることを指す。画像データと判定結果を関連付ける方法としては、例えば、画像データと判定結果との対応関係を示すテーブルを作成する方法や、判定結果に対応するディレクトリに画像データを格納する方法などが挙げられる。なお、ストレージ２１としては、例えば、フラッシュメモリ、ＨＤＤ、ＳＳＤ、又は、これらの組み合わせ等を用いることができる。

【0059】

プロセッサ２２は、ストレージ２１に格納された学習用データセットＤＳをメモリ２３上に展開し、この学習用データセットＤＳを用いた機械学習によって、学習済モデルＭを構築する構築処理を実行するための構成である。学習済モデルＭは、上述したとおり、数値列を表すグラフを入力とし、その数値列の正常／異常判定の結果を出力とするアルゴリズムである。プロセッサ２２としては、例えば、ＣＰＵ、ＧＰＵ、マイクロプロセッサ、デジタルシグナルプロセッサ、マイクロコントローラ、ＴＰＵ等のＡＳＩＣ、又は、これらの組み合わせ等を用いることができる。

【0060】

メモリ２３は、プロセッサ２２が構築処理を実行することにより得られた学習済モデルＭを記憶するための構成である。メモリ２３としては、例えば、半導体ＲＡＭを用いることができる。メモリ２３に記憶された学習済モデルＭは、上述したストレージ２１に格納（不揮発保存）されてもよい。

【0061】

なお、ここでは、学習済モデルＭを構築する構築処理を含む機械学習方法を単一のコンピュータに設けられた単一のプロセッサ２２が実施する構成について説明したが、これに限定されない。すなわち、この機械学習方法を単一のコンピュータに設けられた、或いは、複数のコンピュータに分散して設けられた複数のプロセッサが共同して実行する構成を採用することも可能である。

【0062】

また、ここでは、学習用データセットＤＳを単一のコンピュータに設けられた単一のストレージ２１に格納する構成について説明したが、これに限定されない。すなわち、学習用データセットＤＳを、単一のコンピュータに設けられた、或いは、複数のコンピュータに分散して設けられた複数のストレージに分散して格納する構成を採用することも可能である。また、データセットＤＳは、プロセッサ２２及びメモリ２３と共にコンピュータに内蔵されたストレージ２１に格納されている必要はなく、そのコンピュータとネットワークを介して通信可能に構成されたクラウドサーバに格納されていてもよい。

【0063】

また、ここでは、学習済モデルＭを単一のコンピュータに設けられた単一のメモリ２３に記憶させる構成について説明したが、これに限定されない。すなわち、学習済モデルＭを単一のコンピュータに設けられた、或いは、複数のコンピュータに分散して設けられた複数のメモリに分散して記憶させる構成を採用することも可能である。

【0064】

なお、プロセッサ２２に機械学習方法を実行させるためのプログラムは、例えば、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されている。プロセッサ２２は、このプログラムに含まれる命令を実行することによって、判定方法Ｓ１を実行する。この記録媒体は、ストレージ２１であってもよいし、メモリ２３であってもよいし、その他の記録媒体であってもよい。例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路が、その他の記録媒体として利用可能である。

【0065】

機械学習装置２によれば、上述した判定装置１が利用する学習済モデルＭを構築することができる。しかも、機械学習に用いる教師用データは、数値列を表すグラフを含む画像データに、その数値列の正常／異常判定の結果を表すラベルを付したものである。このグラフは、従来、紙に印刷して、或いは、ディスプレイに表示して、検査員が目視検査を行っていたものである。したがって、教師データの作成に際し、検査員が容易に正常／異常判定を行うことができる。或いは、既に蓄積されている目視検査の結果を、教師用データとして利用することができる。したがって、機械学習装置２によれば、精度の高い教師用データを容易に作成することが可能になるという効果を奏する。機械学習装置２を用いて実施される機械学習方法、及び、コンピュータを機械学習装置２として動作させるプログラムについても、同様のことが言える。

【0066】

なお、本実施形態においては、学習済モデルＭを構築する機械学習方法と学習済モデルＭを用いて正常／異常判定を行う判定方法とを、２つの装置においてそれぞれ実施する態様について説明したが、本発明はこれに限定されない。すなわち、学習済モデルＭを構築する機械学習方法と学習済モデルＭを用いて正常／異常判定を行う判定方法とを、１つの装置において実施する態様も本発明の範疇に含まれる。

【0067】

（判定装置及び機械学習装置の適用例）
判定装置１及び機械学習装置２は、例えば、構造体の検査システムに適用することができる。図６は、本適用例に係る検査システム１００の構成を示すブロック図である。

【0068】

検査システム１００は、製造装置１０１と、記録計１０２と、印刷器１０３と、判定装置１と、機械学習装置２と、を備えている。

【0069】

製造装置１０１は、構造体を製造する装置である。製造装置１０１の各部には、各種センサが設けられており、これらのセンサにより検出された数値から、材料、中間生成物、及び最終生成物（構造体）の状態を表す数値、並びに、製造装置１０１の状態を表す数値の全部又は一部を特定することができるようになっている。

【0070】

記録計１０２は、各種センサから取得した数値の時系列を構成する。学習済モデルＭを構築する学習フェーズにおいて、記録計１０２は、これらの時系列からなる時系列群を、印刷器１０３及び機械学習装置２に出力する。一方、学習済モデルＭを用いて正常／異常判定を行う推論フェーズにおいて、記録計１０２は、これらの時系列からなる時系列群を、判定装置１に出力する。

【0071】

学習フェーズにおいて、印刷器１０３は、記録計１０２から取得した時系列群を構成する各時系列のグラフを紙に印刷する。検査員は、この紙に印刷されたグラフを見て時系列群が正常であるか異常であるかを判定し、判定結果を機械学習装置２に入力する。判定結果は、例えば、正常、異常１、異常２、異常３の何れかである。機械学習装置２は、記録計１０２から取得した時系列群と検査員から取得した判定結果とを組み合わせた教師データをストレージ２１に蓄積する。そして、機械学習装置２は、ストレージ２１に蓄積された教師データを用いた機械学習によって学習済モデルＭを構築する。機械学習装置２は、構築した学習済モデルＭを判定装置１に提供する。推論フェーズにおいて、判定装置１は、機械学習装置２から取得した学習済モデルＭを用いて、記録計１０２から取得した時系列群の正常／異常判定を行う。これにより、判定装置１は、検査員が行うのと同様の正常／異常判定を、記録計１０２から取得した時系列群に対して行うことができる。

【0072】

なお、検査システム１００においては、構造体を複数の検査単位に分割して正常／異常判定を行うことが好ましい。この場合、異常の取りこぼしが生じないよう、例えば、各検査単位の冒頭１０％を前の検査単位の末尾１０％と重複させると共に、各検査単位の末尾１０％を後の検査単位の冒頭１０％と重複させることが好ましい。

【0073】

このように、時系列群を複数の検査単位に分割して正常／異常判定を行う場合、検査単位が小さすぎると、単一の欠陥に起因して時系列群に異常が生じる範囲が一つの検査単位の中に収まらないという問題が生じる。逆に、検査単位が大きすぎると、異なる欠陥に起因する時系列群の異常が一つの検査単位の中で混在してしまうという問題が生じる。これに対して、検査単位を適当なサイズとすれば、これらの問題が生じる可能性を十分に小さく抑えることができる。

【0074】

以上のように構成された検査システム１００を用いて１９１８９サンプルの構造体の検査を行った。その結果、検査員が正常と判定し、且つ、判定装置１が異常と判定したものは１８３２７サンプルであった。また、検査員が異常と判定し、且つ、ＡＩが異常と判定したものは５９３サンプルであった。これにより、判定装置１の判定精度（良・不良判定率）は、（１８３２７＋５９３）／１９１８９×１００≒９８．６０％であった。

【0075】

図７は、判定装置１が異常１を検出したときに、学習済モデルＭに入力された画像データをヒートマップ表示した図である。図７においては、当該画像データにおいて学習済モデルＭが特に注目した領域を円で囲って示している。紙に印刷された同じ時系列群を検査した検査員への聞き取りを行ったところ、学習済モデルＭが注目した領域と検査員が注目した領域とは一致していた。

【0076】

図８は、判定装置１が異常２を検出したときに、学習済モデルＭに入力された画像データをヒートマップ表示した図である。図８においては、当該画像データにおいて学習済モデルＭが特に注目した領域を円で囲って示している。紙に印刷された同じ時系列群を検査した検査員への聞き取りを行ったところ、学習済モデルＭが注目した領域と検査員が注目した領域とは一致していた。

【0077】

図９は、判定装置１が異常３を検出したときに、学習済モデルＭに入力された画像データをヒートマップ表示した図である。図９においては、当該画像データにおいて学習済モデルＭが特に注目した領域を円で囲って示している。紙に印刷された同じ時系列群を検査した検査員への聞き取りを行ったところ、学習済モデルＭが注目した領域と検査員が注目した領域とは一致していた。

【0078】

これらの結果は、画像データにおいて学習済モデルＭの注目する領域と検査員が注目する領域とが一致していることを示している。すなわち、学習済モデルＭを用いた正常／異常検査は、検査員が行う正常／異常検査を良く模倣したものであることを示している。

【0079】

以上のように、判定装置１を用いた正常／異常判定は、製造装置１０１を用いた構造体の製造方法に適用することができる。すなわち、材料、中間生成物、及び最終生成物（構造体）の状態を表す数値列、並びに、前記製造装置の状態を表す数値列の一部又は全部の正常／異常判定を、判定装置１を用いて実施する工程を含んでいる構造体の製造方法は、本発明の範疇に含まれる。このような製造方法によれば、異常のある構造体を出荷する可能性を低減することができる。

【0080】

（変形例）
なお、上述した実施形態においては、数値又はその組み合わせからなる数値列を表すグラフの目視による正常／異常判定の結果を精度良く再現することを目的として、そのような数値列の正常／異常判定を、その数値列を表すグラフを含む画像を学習済モデルに入力することにより行う形態について説明した。この形態は、例えば、以下のように変形することができる。すなわち、少なくとも１つの記号（文字を含む）からなる記号列（文字列を含む）を含む画像の目視による正常／異常判定の結果を精度良く再現することを目的として、そのような記号列の正常／異常判定を、その記号列を表すグラフを含む画像を学習済モデルに入力することにより行う形態に変形することができる。ここで、記号列を表すグラフとは、特定の変換規則を用いて、判定装置１に入力された記号列から得られた数値列を表すグラフのことを指す。記号列を構成する記号としては、例えば、装置の設定を表す記号（例えば、「Ａ」、「Ｂ」、「Ｃ」）、或いは、装置の状態を表す記号（例えば、「○」、「△」、「×」）などを用いることができる。また、これらの形態を組み合わせ、数値列を表すグラフと記号列を表すグラフとを含む画像を学習済モデルに入力する形態を採用することもできる。

【0081】

以下、数値列を表すグラフと記号列を表すグラフとを含む画像を学習済モデルに入力する形態について、図１０及び図１１を参照して説明する。

【0082】

このような形態を採用する場合、判定装置１には、数値列と記号列とが入力される。この場合、プロセッサ１２は、図２に示す生成処理Ｓ１１において、以下の工程を実行する。

【0083】

（１）記号列から数値列への変換
プロセッサ１２は、判定装置１に入力された記号列を、特定の変換規則に従って数値列に変換する。変換規則は、例えば、記号から数値へのマッピングとして与えられる。このマッピングは、Ａ→１．０、Ｂ→０．８、Ｃ→０．６や、○→１、△→０、×－１などのように、ユーザにより定められた変換規則であってもよいし、文字から文字コードへのマッピングのように、予め定められた変換規則であってもよい。プロセッサ１２は、この変換規則に従って記号列を構成する各記号を数値に変換し、得られた数値を結合することによって数値列を作る。例えば、記号列｛Ａ，Ｃ，Ｃ，Ｂ，Ａ｝が与えられた場合、プロセッサ１２は、記号Ａ，Ｃ，Ｃ，Ｂ，Ａをそれぞれ数値１．０，０．６，０．６，０．８，１．０に変換し、得られた数値１．０，０．６，０．６，０．８，１．０を結合することによって、数値列｛１．０，０．６，０．６，０．８，１．０｝を作る。

【0084】

（２）グラフを含む画像の生成
プロセッサ１２は、判定装置１に入力された数値列を表すグラフと、上述した変換規則を用いて、判定装置１に入力された記号列から得られた数値列を表すグラフと、を含む画像データを生成する。数値列をグラフ化する方法については、上述したとおりであるため、ここではその説明を割愛する。

【0085】

このようにして生成される画像データの具体例を図１０及び図１１に示す。図１０に示す画像データＩｍｇ２及び図１１に示す画像データＩｍｇ３は、それぞれ、判定装置１に６個の数値列Ｄ１，Ｄ２，…，Ｄ６、及び、１個の記号列Ｓ７が入力されたときに、生成処理Ｓ１１にて生成される画像データである。ここで、記号列Ｓ７は、製造装置の設定を示す記号の時系列である。また、数値列Ｄ１～Ｄ６は、それぞれ、その製造装置に製造される構造体の状態を示す数値であって、センサにより検出された数値の時系列である。画像データＩｍｇ２及び画像データＩｍｇ３は、それぞれ、４つの領域Ａ１～Ａ４に分割されている。領域Ａ１～Ａ３には、数値列Ｄ１～Ｄ６を表すグラフＧ１～Ｇ６が含まれている。一方、領域Ａ４には、記号列Ｓ７を表すグラフＧ７が含まれている。ここで、記号列Ｓ７を表すグラフＧ７とは、上述したとおり、特定の変換規則を用いて記号列Ｓ７から得られた数値列を表すグラフのことを指す。グラフＧ７は、記号列Ｓ７におけるｘ番目の記号に対応する数値をｙとすると、ｘを横軸とし、ｙを縦軸とするグラフである。

【0086】

図１０に示す画像データＩｍｇ２においてグラフＧ１及びグラフＧ７に注目すると、グラフＧ１のみがｘ＝ｘ１において変化を示している。これは、製造装置の設定が変更されていないにも関わらず、センサにより検出された数値が急激に変化したことを示している。この場合、製造された構造体に異常が発生している可能性が高い。一方、図１１に示す画像データＩｍｇ３においてグラフＧ１及びグラフＧ７に注目すると、グラフＧ１及びグラフＧ７の両方がｘ＝ｘ１において変化を示している。これは、製造装置の設定の変化に伴って、センサにより検出された数値が急激に変化したことを示している。この場合、センサにより検出された数値の急減な変化は、製造装置の設定変更に伴うノイズ等に起因するものであり、製造された構造体に異常が発生している可能性は低い。

【0087】

機械学習装置２のプロセッサ２２は、学習済モデルＭを構築する際に、図１０に示す画像データＩｍｇ２に異常を表すラベルを付した教師データ、及び、図１１の画像データＩｍｇ３に正常を表すラベルを付した教師データを用いて学習済モデルＭを構築する。そのようにして機械学習装置２が構築した学習済モデルＭを用いて判定装置１が判定処理を行うことにより、製造装置の設定状況を考慮した正常／異常判定を行うことが可能になる。

【0088】

なお、上述した本変形例に係る判定装置１では、学習済モデルＭに入力される画像データが、数値列Ｄ１～Ｄ６を表すグラフＧ１～Ｇ６に加えて、特定の変換規則を用いて記号列Ｓ７から得られた数値列を表すグラフＧ７を含む例を説明したが、本変形例はこれに限らず、本変形例に係る判定装置１では、学習済モデルＭに入力される画像データが、数値列を表すグラフに代えて、特定の変換規則を用いて記号列から得られた数値列を表すグラフを含んでいてもよい。

【0089】

以上のように、本変形例に係る判定装置１において、学習済モデルＭに入力される画像データは、数値列Ｄ１～Ｄ６を表すグラフＧ１～Ｇ６に加えて、又は、数値列を表すグラフＧ１～Ｇ６に代えて、特定の変換規則を用いて記号列Ｓ７から得られた数値列を表すグラフＧ７を含む。したがって、本変形例に係る判定装置１によれば、以下の効果を奏する。

【0090】

すなわち、数値列では設定が困難な装置や構造体等の状態を記号列により画像データに別途設定することができる。これにより、数値列の正常／異常判定の精度を一層向上させる事が可能となる。さらに画像データが、判定装置１に入力された数値列を表すグラフと、上述した変換規則を用いて判定装置１に入力された記号列から得られた数値列を表すグラフと、を含む場合、数値列特有の装置や構造体等の状態及び記号列特有の装置や構造体等の状態をそれぞれ設定できる。このため、判定装置１に入力された数値列を表すグラフまたは、上述した変換規則を用いて判定装置１に入力された記号列から得られた数値列を表すグラフのいずれかのグラフのみの場合と比べ、数値列の正常／異常判定の精度をより一層向上させる事が可能となる。

【0091】

（付記事項）
本発明は、上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。上述した実施形態に開示された各技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。

【符号の説明】

【0092】

１ 判定装置
１１ メモリ
１２ プロセッサ
Ｓ１ 判定方法
Ｓ１１ 生成処理
Ｓ１２ 判定処理
２ 機械学習装置
２１ ストレージ
２２ プロセッサ
２３ メモリ
Ｍ 学習済モデル
ＤＳ 学習用データセット

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】