特許 7088871 検査装置、検査システム、及びユーザインタフェース

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-13

(45)【発行日】2022-06-21

(54)【発明の名称】検査装置、検査システム、及びユーザインタフェース

(51)【国際特許分類】

   G06N 20/00 20190101AFI20220614BHJP

   G06F 3/0484 20220101ALI20220614BHJP

【ＦＩ】

G06N20/00 130

G06F3/0484

【請求項の数】 11

(21)【出願番号】P 2019065700

(22)【出願日】2019-03-29

(65)【公開番号】P2020166499

(43)【公開日】2020-10-08

【審査請求日】2020-08-19

(73)【特許権者】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】110001151

【氏名又は名称】あいわ特許業務法人

(72)【発明者】

【氏名】渡邉 光徳

(72)【発明者】

【氏名】渡邊 桂祐

【審査官】金田 孝之

(56)【参考文献】

【文献】特開２０１４－１６７４５０（ＪＰ，Ａ）

【文献】特開２０１４－１４２８７１（ＪＰ，Ａ）

【文献】特開２０１６－１３３８９５（ＪＰ，Ａ）

【文献】特開２００１－１５６１３５（ＪＰ，Ａ）

【文献】中村惇志 ほか，ビル空調電力ＦａｓｔＡＤＲ制御用ニューラルネットの訓練条件ゾーン分類機械学習，電気学会研究会資料 システム研究会 テーマ「機械学習研究の最新動向」，日本，一般社団法人電気学会，2016年，pp. 29-34

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００－２０／２０

Ｇ０６Ｆ ３／０４８－３／０４８９

Ｇ０６Ｎ ３／０２－３／１０

(57)【特許請求の範囲】

【請求項1】

複数のサンプルを学習用データと評価用データに分割したグループデータを作成するグループデータ作成部と、
前記グループのそれぞれに分割されたサンプルに対して統計的な処理を実行し、該グループの間で所定のデータ項目の統計的状態を示すデータを算出する統計的状態算出部と、
前記統計的状態算出部が算出した前記グループの間での所定のデータ項目の統計的状態を示すデータに基づいて、前記グループの間での統計的状態を把握できる表示形式で表示するユーザインタフェース部と、
前記サンプルの分割先のグループを調整するデータ調整部と、
を備え、
前記ユーザインタフェース部は、前記グループの間で単一または複数のサンプルの分割先の変更操作を受け付け、
前記データ調整部は、前記ユーザインタフェース部に対する前記変更操作に従って、該変更操作の対象となるサンプルの分割先のグループを調整する、
検査装置。

【請求項2】

複数のサンプルを学習用データと評価用データに分割したグループデータを作成するグループデータ作成部と、
前記グループのそれぞれに分割されたサンプルに対して統計的な処理を実行し、該グループの間で所定のデータ項目の統計的状態を示すデータを算出する統計的状態算出部と、
前記統計的状態算出部が算出した前記グループの間での所定のデータ項目の統計的状態を示すデータに基づいて、前記グループの間での統計的状態を把握できる表示形式で表示するユーザインタフェース部と、
前記サンプルの分割先のグループを調整するデータ調整部と、
を備え、
前記ユーザインタフェース部は、単一又は複数の入力サンプル群の選択操作と、分割先の複数の出力グループの選択操作を受け付け、
前記データ調整部は、選択された前記入力サンプル群を、前記出力グループに対して自動的に分割する、
検査装置。

【請求項3】

前記ユーザインタフェース部は、前記グループの間での所定のデータ項目の統計的状態を示すデータを、サンプルのソート操作又はフィルタリング操作が可能なリスト形式で一覧表示する、
請求項１または２に記載の検査装置。

【請求項4】

前記ユーザインタフェース部は、前記グループの間での所定のデータ項目の統計的状態を示すデータをグラフ形式で表示する、
請求項１または２に記載の検査装置。

【請求項5】

前記ユーザインタフェース部は、複数の前記グループに係る同一形式の表示を上下又は左右に並べて或いは重畳させて表示する、
請求項１または２に記載の検査装置。

【請求項6】

前記ユーザインタフェース部は、複数の前記グループに係る同一形式の表示に対する表示操作を同期する、
請求項５に記載の検査装置。

【請求項7】

前記ユーザインタフェース部は、前記データ調整部が前記入力サンプル群に含まれるサンプルを分割する際に優先となる所定のデータ項目を単一又は複数指定する操作を受け付け、
前記データ調整部は、指定された優先となる所定のデータ項目を考慮して、選択された前記入力サンプル群を、前記出力グループに対して自動的に分割する、
請求項２に記載の検査装置。

【請求項8】

前記ユーザインタフェース部は、前記データ調整部によるサンプルの分割先のグループの調整後における前記グループの間での所定のデータ項目の統計的状態の変化を事前に確認できる表示を行う、
請求項１又は２に記載の検査装置。

【請求項9】

前記複数のグループに含まれるサンプルを用いて機械学習を行う機械学習装置をさらに備える、
請求項１または２に記載の検査装置。

【請求項10】

複数のサンプルを学習用データと評価用データに分割したグループデータを作成するグループデータ作成部と、
前記グループのそれぞれに分割されたサンプルに対して統計的な処理を実行し、該グループの間で所定のデータ項目の統計的状態を示すデータを算出する統計的状態算出部と、
前記統計的状態算出部が算出した前記グループの間での所定のデータ項目の統計的状態を示すデータに基づいて、前記グループの間での統計的状態を把握できる表示形式で表示するユーザインタフェース部と、
前記サンプルの分割先のグループを調整するデータ調整部と、
を備え、
前記ユーザインタフェース部は、前記グループの間で単一または複数のサンプルの分割先の変更操作を受け付け、
前記データ調整部は、前記ユーザインタフェース部に対する前記変更操作に従って、該変更操作の対象となるサンプルの分割先のグループを調整する、
検査システム。

【請求項11】

複数のサンプルを学習用データと評価用データに分割したグループデータを作成するグループデータ作成部と、
前記グループのそれぞれに分割されたサンプルに対して統計的な処理を実行し、該グループの間で所定のデータ項目の統計的状態を示すデータを算出する統計的状態算出部と、
前記統計的状態算出部が算出した前記グループの間での所定のデータ項目の統計的状態を示すデータに基づいて、前記グループの間での統計的状態を把握できる表示形式で表示するユーザインタフェース部と、
前記サンプルの分割先のグループを調整するデータ調整部と、
を備え、
前記ユーザインタフェース部は、単一又は複数の入力サンプル群の選択操作と、分割先の複数の出力グループの選択操作を受け付け、
前記データ調整部は、選択された前記入力サンプル群を、前記出力グループに対して自動的に分割する、
検査システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検査装置、検査システム、及びユーザインタフェースに関する。

【背景技術】

【0002】

工場等の製造現場では、製造された製品の良品／不良品検査や、ラインを流れてくる製品の物体検出等が行われている。このような様々な検査作業は、従来は経験を積んだ作業者が目視で、又はセンサが検知した値を参照しながら行っていた。しかしながら、人手による検査作業では、各作業者の経験の違いに基づく判断基準の違いや、体調変化により集中力を欠いたりする等の理由で、その検出精度にブレが生じるという問題が生じる。そのため、多くの製造現場では様々な検査作業に、センサ等により検知した対象物の画像等のデータに基づいて機械学習の技術を用いて自動判定する検査装置を導入している。

【0003】

機械学習では、学習のために収集したデータを用いた学習により学習モデルを生成し、生成した学習モデルを用いて対象物のデータに基づく推論処理を行うことで、対象物の検査等を行う。機械学習で良い学習モデルを生成するためには、良質なデータで学習を行い、良質なデータで評価を行うことが必要である。また、機械学習で生成された学習モデルの質は評価用のデータを用いた推論結果を分析することで行うことができるが、その際に、学習に用いるデータと評価に用いるデータを同一のものとした場合、過学習（過剰適合）等の問題が生じて汎化性能が失われてしまい、学習モデルの質が悪化してしまう。そのため、学習に用いるデータと評価に用いるデータは別のデータとすることが望ましい。つまり、収集したデータを学習用データと評価用データに分割する必要がある。

【0004】

なお、特許文献１，２には、機械学習装置に用いる良質のデータを取得する従来技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１３－２１８７２５号公報

【文献】特開２００８－０５９０８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

機械学習に用いるデータをクラウドやＷｅｂサイト等の利用者から取得する等、自動的に膨大な量のデータが取得可能な場合には、乱数を用いる等の単純な手法でデータを学習用データと評価用データとに分割すれば、偏りが少ない良質の学習用データと評価用データとを作成することができる。しかしながら、例えば工場等の限られた領域内で取得したデータを利用する場合、当該工場での生産個数や工数の関係で膨大な量のデータの取得が難しい場合がある。そのため、単純なデータ分割の手法では学習用データと評価用データとに偏りができてしまい、最終的に生成されるモデルに悪影響が生じてしまうという課題がある。

【0007】

工場で取得されるデータは膨大ではないものの、人力で操作を行うにはデータ数が非常に多く、通常のファイルシステムでの作業には多大な工数が必要となる。また、１つのデータサンプルが多次元のデータを含む場合、人力での調整には多くの労力が必要となり、確認不足で偏りのある状態で学習に使用してしまうリスクもある。

【0008】

そのため、取得したデータを学習用データと評価用データとに偏りが生じないように分割することを支援する検査装置、検査システム、及びユーザインタフェースが望まれている。

【課題を解決するための手段】

【0009】

本発明の一態様による検査装置では、機械学習のために取得したデータを分割したデータのグループを統計的且つ視覚的な表示を行うことにより、利用者に対してデータ分割の状況を効率的に示し、偏ったデータ分割の利用を防ぐことにより、上記課題を解決する。本発明の一態様による検査装置で扱われるデータは、工場等の環境で取得されるような膨大ではないもののそれなりの量があるデータであることを想定しており、このようなデータをソート／フィルタリング／統計グラフ等で利用者に対して示して視認性を高めることで、データの偏りを認識しやすくし、また、複数のデータのグループで同形式／同基準の情報を表示することで、グループ間の比較を容易にする。

【0010】

そして、本発明の一態様は、複数のサンプルを学習用データと評価用データに分割したグループデータを作成するグループデータ作成部と、前記グループのそれぞれに分割されたサンプルに対して統計的な処理を実行し、該グループの間で所定のデータ項目の統計的状態を示すデータを算出する統計的状態算出部と、前記統計的状態算出部が算出した前記グループの間での所定のデータ項目の統計的状態を示すデータに基づいて、前記グループの間での統計的状態を把握できる表示形式で表示するユーザインタフェース部と、前記サンプルの分割先のグループを調整するデータ調整部と、を備え、前記ユーザインタフェース部は、前記グループの間で単一または複数のサンプルの分割先の変更操作を受け付け、前記データ調整部は、前記ユーザインタフェース部に対する前記変更操作に従って、該変更操作の対象となるサンプルの分割先のグループを調整する、検査装置である。
本発明の他の態様は、複数のサンプルを学習用データと評価用データに分割したグループデータを作成するグループデータ作成部と、前記グループのそれぞれに分割されたサンプルに対して統計的な処理を実行し、該グループの間で所定のデータ項目の統計的状態を示すデータを算出する統計的状態算出部と、前記統計的状態算出部が算出した前記グループの間での所定のデータ項目の統計的状態を示すデータに基づいて、前記グループの間での統計的状態を把握できる表示形式で表示するユーザインタフェース部と、前記サンプルの分割先のグループを調整するデータ調整部と、を備え、前記ユーザインタフェース部は、単一又は複数の入力サンプル群の選択操作と、分割先の複数の出力グループの選択操作を受け付け、前記データ調整部は、選択された前記入力サンプル群を、前記出力グループに対して自動的に分割する、検査装置である。

【0011】

複数のサンプルを学習用データと評価用データに分割したグループデータを作成するグループデータ作成部と、前記グループのそれぞれに分割されたサンプルに対して統計的な処理を実行し、該グループの間で所定のデータ項目の統計的状態を示すデータを算出する統計的状態算出部と、前記統計的状態算出部が算出した前記グループの間での所定のデータ項目の統計的状態を示すデータに基づいて、前記グループの間での統計的状態を把握できる表示形式で表示するユーザインタフェース部と、前記サンプルの分割先のグループを調整するデータ調整部と、を備え、前記ユーザインタフェース部は、前記グループの間で単一または複数のサンプルの分割先の変更操作を受け付け、前記データ調整部は、前記ユーザインタフェース部に対する前記変更操作に従って、該変更操作の対象となるサンプルの分割先のグループを調整する、検査システムである。
本発明の他の態様は、複数のサンプルを学習用データと評価用データに分割したグループデータを作成するグループデータ作成部と、前記グループのそれぞれに分割されたサンプルに対して統計的な処理を実行し、該グループの間で所定のデータ項目の統計的状態を示すデータを算出する統計的状態算出部と、前記統計的状態算出部が算出した前記グループの間での所定のデータ項目の統計的状態を示すデータに基づいて、前記グループの間での統計的状態を把握できる表示形式で表示するユーザインタフェース部と、前記サンプルの分割先のグループを調整するデータ調整部と、を備え、前記ユーザインタフェース部は、単一又は複数の入力サンプル群の選択操作と、分割先の複数の出力グループの選択操作を受け付け、前記データ調整部は、選択された前記入力サンプル群を、前記出力グループに対して自動的に分割する、検査システムである。

【発明の効果】

【0013】

本発明の一態様による検査装置では、上記したデータの分割支援の下で、利用者は画面上で各グループ間のデータの調整を行えば偏りのないデータ分割を完了させることができるようになる。

【図面の簡単な説明】

【0014】

【図1】一実施形態による検査装置の概略的なハードウェア構成図である。

【図2】第１実施形態による検査装置の概略的な機能ブロック図である。

【図3】画像認識による部品の外観検査において取得される画像データの例を示す図である。

【図4】傷種類のグループ間の統計的状態をヒストグラム形式で表示する例を示す図である。

【図5】画像識別番号の種類のグループ間の統計的状態をヒストグラム形式で表示する例を示す図である。

【図6】傷画像数及び傷種類のグループ間の統計的状態をリスト形式で表示する例を示す図である。

【図7】傷種類のグループ間の統計的状態をヒストグラム形式で表示する変形例を示す図である。

【図8】第２実施形態による検査装置の概略的な機能ブロック図である。

【図9】指定したサンプルが分割されているグループを変更する操作用のインタフェースの例を示す図である。

【図10】指定したサンプルが分割されているグループを変更する操作用のインタフェースの他の例を示す図である。

【図11】指定したサンプルが分割されているグループを変更する操作用のインタフェースの他の例を示す図である。

【図12】所定数のサンプルについて、分割されているグループを変更する操作用のインタフェースの例を示す図である。

【図13】所定のデータ項目の統計的状態の変化の表示例を示す図である。

【図14】第３実施形態による検査装置の概略的な機能ブロック図である。

【図15】検査装置とユーザインタフェース部とを切り離した検査システムの例を示す図である。

【図16】産業機械の例を示す図である。

【発明を実施するための形態】

【0015】

以下、本発明の実施形態を図面と共に説明する。
図１は一実施形態による機械学習装置を備えた検査装置の要部を示す概略的なハードウェア構成図である。本実施形態の検査装置１は、例えば搬送機械やロボット等の産業機械２を制御する制御装置上に実装することができる。また、本実施形態の検査装置１は、搬送機械やロボット等の産業機械２を制御する制御装置と併設されたパソコンや、該制御装置と有線／無線のネットワークを介して接続されたエッジコンピュータ、フォグコンピュータ、クラウドサーバ等のコンピュータとして実装することができる。本実施形態では、検査装置１を、搬送機械やロボット等の産業機械２を制御する制御装置に有線／無線のネットワークを介して接続されたコンピュータとして実装した場合の例を示す。

【0016】

本実施形態による検査装置１が備えるＣＰＵ１１は、検査装置１を全体的に制御するプロセッサである。ＣＰＵ１１は、ＲＯＭ１２に格納されたシステム・プログラムをバス２０を介して読み出し、該システム・プログラムに従って検査装置１全体を制御する。ＲＡＭ１３には一時的な計算データ、入力装置７１を介して作業者が入力した各種データ等が一時的に格納される。

【0017】

不揮発性メモリ１４は、例えば図示しないバッテリでバックアップされたメモリやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等で構成され、検査装置１の電源がオフされても記憶状態が保持される。不揮発性メモリ１４には、検査装置１の動作に係る設定情報が格納される設定領域や、入力装置７１から入力されたデータ、産業機械２から取得されるデータ（画像データ、音声データ、時系列データ、数値データ、文字データ等）、機械学習装置１００から取得したデータ、図示しない外部記憶装置やネットワークを介して読み込まれたデータ等が記憶される。不揮発性メモリ１４に記憶されたプログラムや各種データは、実行時／利用時にはＲＡＭ１３に展開されても良い。また、ＲＯＭ１２には、各種データを解析するための公知の解析プログラム等を含むシステム・プログラムが予め書き込まれている。

【0018】

産業機械２は、例えば工作機械、搬送機械、ロボット、鉱山機械、木工機械、農業機械、建設機械等を対象とすることができる。産業機械２は原動機等の各部の動作に係る情報を取得する事ができるように構成されており、また、別途撮像センサや音声センサ等のセンサ等を取り付けて該産業機械２の動作に必要とされる情報が取得できるように構成される。例えば、図１６に例示されるように、撮像センサが取り付けられたロボット及び該ロボットを制御するロボットコントローラとして扱い、撮像センサで撮像されたワーク等の対象物の画像データを取得すること等が想定される。産業機械２が取得した情報は、有線／無線のネットワーク５及びインタフェース１６を介して検査装置１に取得され、ＲＡＭ１３、不揮発性メモリ１４等に格納される。また、検査装置１は、必要に応じて産業機械２に対して所定の制御信号をインタフェース１６及びネットワーク５を介して出力する。

【0019】

表示装置７０には、メモリ上に読み込まれた各データ、プログラム等が実行された結果として得られたデータ、後述する機械学習装置１００から出力されたデータ等がインタフェース１７を介して出力されて表示される。また、キーボードやポインティングデバイス等から構成される入力装置７１は、作業者による操作に基づく指令，データ等をインタフェース１８を介してＣＰＵ１１に渡す。

【0020】

インタフェース２１は、検査装置１と機械学習装置１００とを接続するためのインタフェースである。機械学習装置１００は、産業機械２等の動作環境において取得された特徴量を用いた機械学習を行うことにより、例えば該特徴量に対して所定の推論結果を関連付けた学習モデルを生成して記憶し、該学習モデルを用いた推論処理を実行する装置である。機械学習装置１００は、機械学習装置１００全体を統御するプロセッサ１０１と、システム・プログラム等を記憶したＲＯＭ１０２、機械学習に係る各処理における一時的な記憶を行うためのＲＡＭ１０３、及び学習モデル等の記憶に用いられる不揮発性メモリ１０４を備える。機械学習装置１００は、インタフェース２１を介して検査装置１で取得可能な各情報（例えば、産業機械２から取得された画像データ、音声データ、時系列データ、数値データ、文字データ、学習モデルを用いた推論結果を示すデータ等）を観測することができる。また、検査装置１は、機械学習装置１００から出力される処理結果をインタフェース２１を介して取得し、取得した結果を記憶したり、表示したり、他の装置に対してネットワーク５等を介して送信する。

【0021】

図２は、第１実施形態による検査装置１及び機械学習装置１００の概略的な機能ブロック図である。図２に示した各機能ブロックは、図１に示した検査装置１が備えるＣＰＵ１１、及び機械学習装置１００のプロセッサ１０１が、それぞれのシステム・プログラムを実行し、検査装置１及び機械学習装置１００の各部の動作を制御することにより実現される。

【0022】

本実施形態の検査装置１は、データ取得部３０、グループデータ作成部３２、統計的状態算出部３４、ユーザインタフェース部３８を備える。また、不揮発性メモリ１４上には、データ取得部３０が取得したデータを記憶するサンプル記憶部５０が設けられている。

【0023】

データ取得部３０は、産業機械２、及び入力装置７１等から各種データを取得する機能手段である。データ取得部３０は、例えば、産業機械２に備え付けられたセンサから取得された検出対象の画像データ、音声データ、温度分布データ、産業機械２の動作音や電動機の電圧値／電流値の時系列データ、各々の該データに対して作業者が付与したラベル（数値データ、文字データ等）等を取得し、取得した１まとまりのデータをサンプルとしてサンプル記憶部５０に記憶する。データ取得部３０は、図示しない外部記憶装置や有線／無線のネットワーク５を介して他の装置からデータを取得するようにしても良い。

【0024】

グループデータ作成部３２は、サンプル記憶部５０に記憶されたサンプルを複数のグループへと分割したグループデータを作成する機能手段である。グループデータ作成部３２は、例えば予め定めた所定の数又は所定の割合のサンプルを学習用データのグループへと分割し、その他のサンプルを評価用データのグループへと分割する。各サンプルのそれぞれのグループに対する分割情報は、例えばファイルやデータのディレクトリ構造で保持するようにしても良いし、ＪＳＯＮ（ＪａｖａＳｃｒｉｐｔ Ｏｂｊｅｃｔ Ｎｏｔａｉｏｎ，ＪａｖａＳｃｒｉｐｔは登録商標）形式等のような所定のデータ構造で保持するようにしても良い。グループデータ作成部３２は、予め定められた分割ルールに基づいて自動的に複数のサンプルを複数のグループへと分割したグループデータを作成しても良い。また、グループデータ作成部３２は、ユーザインタフェース部３８を介して入力された作業者による入力装置７１の操作に基づいて複数のサンプルを複数のグループへと分割したグループデータを作成しても良い。それぞれのグループに含まれるサンプルは偏りが起きにくいように分割されることが望ましいが、後に作業者が偏りの調整を行うことを想定しているため、グループデータ作成部３２による取得データの分割の段階では例えば乱数などによりサンプルの分割先のグループを決定する等すれば良く、必ずしも厳密に偏りが起きにくい分割方法を取る必要はない。

【0025】

統計的状態算出部３４は、各グループに含まれるそれぞれのサンプル群に対して統計的な処理を実行し、グループ間での所定のデータ項目の統計的状態を示すデータを作成する機能手段である。統計的状態算出部３４が作成する所定のデータ項目の統計的状態を示すデータは、例えば各グループに含まれるサンプル群について、所定のデータ項目が取り得るデータ値毎の該データ値を取るサンプル数、所定のデータ項目が取り得るデータ値毎の該データ値を取るサンプル数の全サンプル数に対する割合、所定のデータ項目が取り得るデータ値毎の取得データ数の統計値（分散値等）等を把握できる形式であって良い。統計的状態算出部３４が作成するグループ間での所定のデータ項目の統計的状態を示すデータは、ユーザインタフェース部３８により、グループ間での所定のデータ項目の統計的な分布が把握できる表示形式（例えば、所定のリスト形式、所定のグラフ形式、所定のデータ分布図等）で表示装置７０へと表示される。

【0026】

ユーザインタフェース部３８は、グループデータ作成部３２が作成したグループデータ、グループデータに含まれるサンプル群に関するグループ間での所定のデータ項目の統計的状態を示すデータに基づいて、グループ間での統計的状態を作業者が把握できる表示形式で表示装置７０に表示する機能手段である。ユーザインタフェース部３８は、例えば所定のリスト形式、所定のグラフ形式により、複数のグループに含まれるそれぞれのサンプル群の統計値をグループ間で対比可能に表示することで、グループ間での所定のデータ項目の統計的状態を表示装置７０に対して表示するようにしても良い。ユーザインタフェース部３８は、例えば複数のグループについて、それぞれのグループデータや、それぞれの所定のデータ項目の統計的状態を示すデータを、同じ表示形式（同じリスト形式、同じグラフ形式等）で画面上に上下乃至左右に並べて表示することにより、グループ間での所定のデータ項目の統計的状態を把握できるように表示しても良い。

【0027】

ユーザインタフェース部３８は、グループデータや統計的状態を示すデータを表示する際に、各データの詳細表示やデータの並びを変更するための表示操作用のインタフェースを提供するようにしても良い。ユーザインタフェース部３８は、例えば、グループデータや統計的状態を示すデータを所定のリスト形式で表示した際に、リストの上で所定のデータ項目のカラム名を選択することで該カラム名に対応するデータ項目に基づいて昇順乃至降順でデータを並び替え（ソート）できるようにしても良い。また、ユーザインタフェース部３８は、例えば、グループデータや統計的状態を示すデータを所定のリスト形式で表示した際に、所定のデータ項目に対してデータ値を指定することで、該データ項目について指定したデータ値を取るデータのみを表示するフィルタリング表示を行えるようにしても良い。なお、これらの表示操作は、複数のグループについて同時にグループデータや統計的状態を示すデータを表示している場合には、所定のグループのデータに対して行われた表示操作を、すべてのグループに対して同期して適用するようにしても良い。例えば、ユーザインタフェース部３８は、グループＡとグループＢのデータを同時にリスト形式で画面上に表示している際に、一方のグループのリストの上でソート乃至フィルタリング表示の操作を行った場合に、他方のグループのリストにおいても同様のソート乃至フィルタリング表示が行われるようにしても良い。

【0028】

ユーザインタフェース部３８は、グループデータや統計的状態を示すデータを表示する際に、リスト形式やグラフ形式の表示の拡大乃至縮小、上下左右へ移動等の表示操作用のインタフェースを提供するようにしても良い。なお、これらの表示操作は、複数のグループについて同時にグループデータや統計的状態を示すデータを表示している場合には、所定のグループのデータに対して行われた表示操作を、すべてのグループに対して同期して適用するようにしても良い。例えば、ユーザインタフェース部３８は、グループＡとグループＢのデータを同時にヒストグラム形式で画面上に表示している際に、一方のグループのヒストグラム上で拡大乃至縮小、上下左右への移動等の操作を行った場合に、他方のグループのリストにおいても同様の拡大乃至縮小、上下左右への移動等の操作が行われるようにしても良い。

【0029】

ここで、グループデータ作成部３２，統計的状態算出部３４、及びユーザインタフェース部３８の動作について、画像認識による部品の外観検査において取得された取得データを扱う場合を実施例として説明する。本実施例の画像認識による部品の外観検査とは、カメラ等の撮像装置を用いて部品から生成された画像データを用いて、部品の傷や汚れ、欠損等を検出する検査である。近年では、このような検査において単なる画像認識以外に深層学習等の機械学習を用いた手法が有効であることが知られている（例：１サンプル毎に単一または複数の画像データと傷の有無を教師データとして与えて学習を行い、学習によって得られたモデルを用いて傷の検出を行う等）。

【0030】

図３は、画像認識による部品の外観検査において取得される画像データの例を示す図である。図３に示す例では、検査対象となる部品１個が１つのサンプルであり１つのサンプルから取得された複数のデータが１つのサンプルとして管理される。このように、１つのサンプルには、１つのサンプルから取得された複数の画像データが含まれる。１つのサンプルに含まれる複数の画像データには、例えば異なる撮像位置（例えば、図３中の撮像位置Ａ～Ｄ）から撮像して得られた画像データ、異なる撮像方法（例えば、光源位置を変更した撮像や、赤外線サーモグラフィを利用した撮像等）で撮像して得られた画像データ、異なる画像処理（例えば、エッジ検出やレベル調整等）が施された画像データ等を含み得る。また、各画像データは、所定の解析処理乃至作業者による目視検査により判定された傷の有無や傷の種類等を示すデータ項目が関連付けられている。サンプル内の画像データには、該サンプル内で画像データを一意に識別可能な画像識別番号が関連付けられている。また、各サンプル間で、同じ撮像位置、同じ撮像方法、同じ画像処理が為された同一形式の画像データには、同じ画像識別番号が付与されているものとする。

【0031】

本実施例では、グループデータ作成部３２は、サンプル記憶部５０に記憶された複数のサンプルを、グループＡ（学習用データのグループ）及びグループＢ（評価用データのグループ）へと分割する。グループデータ作成部３２は、例えばサンプル記憶部５０に記憶された複数のサンプルの内で、ランダムに選定された予め定められた所定数（学習モデルの生成に必要な数）のサンプルをグループＡへ、残りのサンプルをグループＢへと分割する。

【0032】

次に、統計的状態算出部３４は、各グループに含まれるそれぞれのサンプル群に対して所定の統計処理を実行し、該グループに含まれるサンプル群に関する所定のデータ項目の統計的状態を示すデータを算出する。統計的状態算出部３４は、各サンプルに含まれている画像データに関連付けられたデータ項目から、グループ毎に、例えば以下のようなデータ項目毎の統計的状態を示すデータを算出するようにしても良い。
・グループに属している傷有無毎の画像数
・グループに属している傷種類毎の画像数
・グループに属している画像識別番号毎の傷有りの画像数

【0033】

そして、ユーザインタフェース部３８は、統計的状態算出部３４が作成した所定のデータ項目の統計的状態を示すデータを、所定のリスト形式や所定のグラフ形式（ヒストグラム、円グラフ、折れ線グラフ等）等の所定の形式で表示装置７０へと表示する。

【0034】

図４は、それぞれのグループに属しているサンプルに含まれる画像データについて、傷種類毎の傷画像数をヒストグラム形式で表示した例を示している。また、図５は、それぞれのグループに属しているサンプルに含まれる画像データについて、画像識別番号毎の傷画像数をヒストグラム形式で表示した例を示している。更に、図６は、それぞれのグループに属しているサンプル毎に、傷画像数及び傷種類をリスト形式で表示した例を示している。

【0035】

この様なリスト形式乃至グラフ形式で各グループに含まれるサンプル群に関する所定のデータ項目の統計的状態を表示装置７０上に表示することにより、それぞれのグループに所定のデータ項目におけるデータ値がバランスよく分布しているか、特定のデータ値に偏りがあるか、等といったことを、作業者は一見して把握することができるようになる。例えば、図４のグラフ形式の表示を見れば、傷種類のデータ項目について、データ値としての擦り傷、汚れが関連付けられている画像データを備えたサンプルがグループＡに多く分割され、また、データ値としての錆びが関連付けられている画像データを備えたサンプルがグループＢに多く分割されていることが把握できる。一般に、機械学習においては、学習用データのグループと、評価用データのグループとでは、あらゆるデータ項目がとるデータ値が特定の値に偏ること無くそれぞれのグループにバランスよく分布していることが望ましいが、統計的状態算出部３４が作成したデータに基づく表示装置７０へのリスト形式乃至グラフ形式の表示により、作業者は、全てのデータ項目について、グループ間のデータ数の偏りを是正する必要があるのかを容易に認識することができる。

【0036】

一方、機械学習装置１００は、状態観測部１０６、学習部１１０、推論部１２０を備える。また、不揮発性メモリ１０４上には、学習部１１０による学習の結果として生成された学習モデルを記憶する学習モデル記憶部１３０が設けられている。

【0037】

状態観測部１０６は、機械学習装置１００が学習モードで動作する際に、グループデータ作成部３２により複数のグループに分割された各サンプルの情報を学習用の特徴量としてサンプル記憶部５０から取得する。また、状態観測部１０６は、学習部１１０が行う学習の形態に応じて、サンプル記憶部５０から各サンプルのラベルデータ等の学習に必要となるデータを取得する。
一方、状態観測部１０６は、機械学習装置１００が推論モードで動作する際に、グループデータ作成部３２により複数のグループに分割されたサンプルを推論用の特徴量として取得する。

【0038】

学習部１１０は、状態観測部１０６が取得した学習用の特徴量、及び必要に応じてラベルデータ等の学習に必要とされるデータを用いた機械学習を行う。学習部１１０は、教師なし学習、教師あり学習の公知の機械学習の手法により、状態観測部１０６が取得したデータを用いた機械学習を行うことで学習モデルを生成し、生成した学習モデルを学習モデル記憶部１３０に記憶する。学習部１１０が行う教師なし学習の手法としては、例えばａｕｔｏｅｎｃｏｄｅｒ法、ｋ－ｍｅａｎｓ法等が、教師あり学習の手法としては、例えばｍｕｌｔｉｌａｙｅｒ ｐｅｒｃｅｐｔｒｏｎ法、ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ法、ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ法、ランダムフォレスト法等が挙げられる。

【0039】

推論部１２０は、状態観測部１０６が取得した推論用の特徴量に基づいて、学習モデル記憶部１３０に記憶された学習モデルを用いた推論処理を行う。本実施形態の推論部１２０では、学習部１１０により生成された（パラメータが決定された）学習モデルに対して、状態観測部１０６から入力された特徴量を入力することで、該特徴量に対する所定の推論結果を算出する。

【0040】

この様な構成を備えた機械学習装置１００は、グループ間での統計的状態を把握できるようにユーザインタフェース部３８が表示装置７０に表示した内容を確認した作業者が、サンプル記憶部５０に記憶されたサンプルの分割先のグループを適宜変更して調整を行った後の、調整後の学習用グループに含まれるサンプルを用いた機械学習を行う。また、そのようにして生成された学習モデルに対して、調整後の評価用グループに含まれるサンプルを用いた推論処理の結果を用いて、該学習モデルの妥当性を検証することが可能となる。

【0041】

本実施形態による検査装置１の一変形例として、ユーザインタフェース部３８は、複数のグループについて、それぞれのグループデータや、それぞれの所定のデータ項目の統計的状態を示すデータを同時に画面上に表示するに際して、それぞれのグループ間で対応する項目について、近傍に表示したり重畳表示したりするようにしても良い。図７は、図４の傷種類毎の傷画像数をヒストグラム形式で表示したグラフを、グループ間で対応する項目を重畳表示した例である。この様な表示を行うことで、作業者はグループ間でデータの比較をさらに容易に行うことができるようになる。

【0042】

図８は、第２実施形態による検査装置１及び機械学習装置１００の概略的な機能ブロック図である。図８に示した各機能ブロックは、図１に示した検査装置１が備えるＣＰＵ１１、及び機械学習装置１００のプロセッサ１０１が、それぞれのシステム・プログラムを実行し、検査装置１及び機械学習装置１００の各部の動作を制御することにより実現される。

【0043】

本実施形態による検査装置１は、第１実施形態による検査装置１が備える各機能手段に加えて、更にデータ調整部３６を備えている。
データ調整部３６は、グループデータ作成部３２が作成したグループデータについて、各サンプルが属しているグループを変更（調整）する機能手段である。データ調整部３６は、例えばユーザインタフェース部３８を介して入力された作業者による入力装置７１の操作に基づいてサンプルが属しているグループを変更（調整）するようにしても良い。また、データ調整部３６は、所定の調整ルールに基づいて自動的にサンプルが属しているグループを変更（調整）するようにしても良い。

【0044】

本実施形態によるユーザインタフェース部３８は、第１実施形態によるユーザインタフェース部３８の機能に加えて、更に、各グループに属しているサンプルについて、該サンプルが属しているグループを変更するための操作用のインタフェースを表示装置７０に表示する。ユーザインタフェース部３８が表示する操作用のインタフェースは、各グループに属している１乃至複数のサンプルを特定して、該サンプルが属しているグループを変更する操作用のインタフェースであっても良い。また、ユーザインタフェース部３８が表示する操作用のインタフェースは、所定のルールに従ってそれぞれのグループに属している複数のサンプルの分割先を同時に変更する操作用のインタフェースであっても良い。ユーザインタフェース部３８は、作業者による入力装置７１を介した操作用のインタフェースに対する入力を検出すると、該入力に応じたデータ調整のための指令をデータ調整部３６へと通知する。

【0045】

以下では、図９～図１１を用いて、データ調整部３６が、ユーザインタフェース部３８を介して入力された作業者による入力装置７１の操作に基づいてサンプルが属しているグループを変更する例を示す。
図９は、それぞれのグループに属しているサンプル毎に、傷画像数及び傷種類をリスト形式で表示している画面において、指定したサンプルが属しているグループを変更する操作用のインタフェースの例を示す図である。図９に例示される画面上では、作業者はカーソル４００を入力装置７１を介して操作することにより各グループのサンプルを選択する（カーソル４００を選択したいサンプルに合わせてスペースキーを押す等）事が可能であり、また、所定のサンプルが選択されている状態において、グループ変更ボタン４１０乃至４２０を選択することで、選択したサンプルが属するグループを変更することができる。図９の例において、複数のサンプルを同時に選択できる場合には、これら選択された複数のサンプルが属するグループを同時に変更できるようにしても良い。

【0046】

図１０は、それぞれのグループに属しているサンプル毎に、傷画像数及び傷種類をリスト形式で表示している画面において、指定したサンプルが属しているグループを変更する操作用のインタフェースの他の例を示す図である。図１０に例示される画面上では、作業者はカーソル４００を入力装置７１としてのポインティングデバイスを介して操作することにより各グループのサンプルを選択する（カーソル４００を選択したいサンプルに合わせてポインティングデバイスのボタンを押す等）事が可能であり、また、選択したサンプルが選択されている状態において、カーソル４００を他のグループのリストへと移動させる（サンプルを選択した状態でポインティングデバイスのボタンを押したままカーソルを他のグループのリストへと移動させて、ポインティングデバイスのボタンを放す等、ドラッグ＆ドロップ操作）ことで、選択したサンプルが属するグループを移動先のグループへと変更することができる。図１０の例において、複数のサンプルを同時に選択できる場合には、これら選択された複数のサンプルが属するグループを同時に変更できるようにしても良い。

【0047】

図１１は、それぞれのグループに属しているサンプルに含まれる画像データについて、傷種類毎の傷画像数をヒストグラム形式で表示している画面において、指定したサンプルが属しているグループを変更する操作用のインタフェースの例を示す図である。図１１に例示される画面上では、作業者はカーソル４００を入力装置７１としてのポインティングデバイスを介して操作することにより各グループのヒストグラムの柱（サンプルの集合）を選択することで、ヒストグラムの柱に含まれる全てのサンプルを一度に選択することができる。先述したグループ変更ボタン４１０乃至４２０の選択やポインティングデバイスのドラッグ＆ドロップ操作により、選択した全てのサンプルが属するグループを一度に変更することができる。

【0048】

なお、図９～１１では、それぞれリスト形式、グラフ形式でのサンプルの分割先のグループの変更の操作例を示したが、リスト形式の表示とグラフ形式の表示とを併用してサンプルの分割先のグループの変更操作が行えるようにしても良い。例えば、同一の画面上に各グループにおける統計的状態を示すグラフとサンプルのリストを同時に表示しておき、グラフ上で調整したいサンプルの集合を選択すると、リスト上で対応するサンプルが選択（例えば、反転表示等）され、その後、リスト上で分割先を変更するデータ以外を選択解除する等の調整を行ってから、サンプルの分割先を変更することで、効率的にサンプルの分割先の変更が行えるようになる。

【0049】

この様なインタフェースを提供することにより、作業者は現状のサンプルの分割の状況を確認した後、目的の基準に到達していない場合に、ユーザインタフェースを介してデータの分割を調整することができるようになる。そして、作業者が質の良いサンプルの分割を行うことで、質の良い機械学習等を行うことができるようになる。

【0050】

以下では、データ調整部３６が、所定の調整ルールに基づいて自動的にサンプルが属しているグループを変更（調整）する例を説明する。
サンプルの分割先のグループを調整するに際して、特定のグループから個別のサンプルを指定しないで所定数のサンプルを他のグループへ属するように変更する（例えば、図１１において、グループＡに属している汚れが検出された画像データを含むサンプルを１２件無作為にグループＢに属するように変更したい等）、特定のグループに属している複数のサンプルを他の複数のグループに分割する、新たに取得された取得データから未分割のサンプルを複数のグループに分割する、といったような作業が必要になることがある。

【0051】

この様な場合、作業者が入力装置７１を操作して、ユーザインタフェース部３８から入力側となるサンプル群（入力サンプル群）と、出力側となるグループ（出力グループ、複数のグループでも良い）を選択し、入力サンプル群に含まれるサンプルの分割先を出力グループへと変更するようにデータ調整部３６へと指令する。一例として、図１２に示されるように、所定のヒストグラムの柱が選択されている状態において移動量入力欄４５０に数量乃至所定の母集団に対する割合を入力して、グループ変更ボタン４３０乃至４４０を選択する操作がこれに該当する。なお、図１２の例では、所定の母集団とは表示画面上で選択したヒストグラムの柱に対応するサンプル群である。

【0052】

しかしながら、データの統計的状態を考慮せずに無作為にサンプルの分割先のグループを決定するとグループ間での各データ項目が取るデータ値の統計的状態に偏りが生じ、後の調整が大変になる。かといって、作業者が統計的状態を全て把握しながら分割先を変更するサンプルを選択することは困難である。このような問題を解決するためには、データ調整部３６に対してサンプルの自動分割機能を持たせる必要がある。

【0053】

例えば、図１２の例では、グループＡに属しているサンプルには、汚れが検出された画像データが３５件含まれているが、１つのサンプル内に１枚の汚れの画像データが含まれている場合もあれば、複数枚の汚れ画像データが含まれている場合もある。また、汚れの画像データが含まれているサンプル内には、他の傷が検出された画像データも含まれている可能性がある。そして、画像データの分割先を他のグループに変更する際には、サンプル単位で分割先のグループを変更する事となる。そのため、汚れの画像データを１２件グループＢへと移動させることで、各グループに属する切り傷や擦り傷、錆びが検出された画像データの枚数にも影響が出る。

【0054】

そこで、作業者がユーザインタフェース部３８から入力サンプル群に含まれるサンプルの分割先を出力グループへと変更するようにデータ調整部３６へと指令する際に、所定の調整ルールを指定すると、データ調整部３６は、指定された調整ルールに従って自動的に入力サンプル群に含まれる各サンプルの分割先のグループを決定する。図１２の例では、汚れの検出された画像データを含むサンプルの中から１２件のサンプルの分割先をグループＢに変更するが、これは、汚れの検出された画像データを含む３５件のサンプルの内で、２３件をグループＡに、１２件をグループＢに分割（再分割）することを意味し、データ調整部３６は、この処理を指定された調整ルールに従って行う。

【0055】

例えばユーザインタフェース部３８は、所定の調整ルールの例として作業者に自動分割の際に優先するデータ項目を指定させるようにしても良く、このような調整ルールが指定された場合、データ調整部３６は、優先するデータ項目が取るデータ値を取るサンプルの数がグループ間で均等になるように、各サンプルの分割先のグループを決定するようにしても良い。この様な調整ルールを指定できるようにする場合、優先するデータ項目は単独で指定できるようにしても良いし、複数の優先するデータ項目に優先度の差をつけて指定できるようにしても良い。この様な調整ルールが指定されると、データ調整部３６は、例えば、最初は乱数を用いてランダムに各サンプルの分割先のグループを仮決定し、その後、優先するデータ項目の要素に偏りがある場合には、グループ間でサンプルを入れ替えて対応する。複数の優先するデータ項目に優先度の差をつけて指定されている場合には、このような入れ替えプロセスを複数回実施する。その際、２回目以降の入れ替えでは、前回までの入れ替えで基準としたキーの割合に影響を与えないように行う。なお、入れ替えが後になるデータ項目（優先度が低く設定されたデータ項目）では制約が生じて目標を達成できない可能性があるが、その場合には、作業者は結果を見た上で改めて優先度の付け方を検討すれば良い。

【0056】

また、特定のグループに属している複数のサンプルを他の複数のグループに分割する場合は、入力サンプル群として特定のグループに属している複数のサンプルを選択し、出力グループとして他の複数のグループを選択することで、上記した例と同様の自動分割を行うことができる。
更に、新たに取得された取得データから未分割のサンプルを複数のグループに分割する場合においても、入力サンプル群として新たに取得された取得データから未分割のサンプルを選択し、出力グループとして分割先としての複数のグループを選択することで、上記した例と同様の自動分割を行うことができる。

【0057】

このように、作業者はサンプルをグループに対して自動分割する際の基準を調整ルールの形で指定することができるので、ある程度作業者の意図に近い自動分割を行わせることができる。

【0058】

本実施形態による検査装置１の一変形例として、作業者によるユーザインタフェースの操作に基づいてサンプルの属するグループを変更する前に、サンプルの属するグループを変更することで所定のデータ項目の統計的状態がどのように変化するのかを確認できるようにしても良い。例えば、作業者の操作に基づいてサンプルの分割先が変更される際に、図１３に例示されるように、所定のデータ項目の統計状態がどのように変化するのかを、ヒストグラムの柱の高さの変化等を表示して作業者に示し、作業者がその変更を受け入れる選択をした場合にサンプルの属するグループの変更が実行されるようにすれば良い。１つのサンプルには様々なデータが含まれており、サンプルの属するグループを変更することで、作業者が意図していたものとは異なる統計的状態の変化を招くこともあり、場合によっては複数回の再調整を強いられることもある。また、１つのサンプルが多次元のデータを含んでいる場合、サンプルの分割先の変更による全ての影響を人力で事前に正しく予測することは困難である。そこで、事前に様々な観点でグループにおける所定のデータ項目の統計的状態の変化を確認することで、調整を効率的に行うことが可能となる。

【0059】

本実施形態による検査装置１の他の変形例として、本実施形態で導入したデータ調整部３６の自動分割の手法を、グループデータ作成部３２による初期のサンプルのグループへの分割時に用いるようにしても良い。このようにすることで、グループデータを作成した段階である程度作業者が想定したようにサンプルが複数のグループへと分割されるので、再調整の工程を少なくすることが可能となる。

【0060】

図１４は、第３実施形態による検査装置１及び機械学習装置１００の概略的な機能ブロック図である。図１４に示した各機能ブロックは、図１に示した検査装置１が備えるＣＰＵ１１、及び機械学習装置１００のプロセッサ１０１が、それぞれのシステム・プログラムを実行し、検査装置１及び機械学習装置１００の各部の動作を制御することにより実現される。

【0061】

本実施形態による検査装置１は、第２実施形態による検査装置１が備える各機能手段に加えて、更に検証部４０を備えている。
検証部４０は、サンプル記憶部５０に記憶されているサンプルに基づいて機械学習装置１００が機械学習した結果として生成された学習モデルについて、その妥当性を検証する機能手段である。検証部４０は、例えばグループデータ作成部３２が学習用データのグループ及び評価用データのグループを作成し、データ調整部３６が各グループに分割されたサンプルの分布を調整した後に、該学習用データのグループを用いた機械学習が行われた結果として生成された学習モデルを、評価用データのグループを用いてその妥当性について公知の検証手法により検証（学習モデルを評価）する。公知の検証手法の例としては、例えば、評価用データのグループに含まれるサンプルに学習モデルを適用した際の精度を評価する方法などが挙げられる。また、他の例として、検証部４０は、例えばグループデータ作成部３２がサンプルを５グループに分割し、データ調整部３６が各グループに分割されたサンプルの分布を調整した後に、４つのグループを学習用データのグループ、１つのグループを評価用データのグループとした公知の検証手法（例えば、交差検証法等）により検証（学習モデルを評価）する。検証部４０による検証結果は、ユーザインタフェース部３８を介して表示装置７０に表示される。

【0062】

以上、本発明の実施の形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。
例えば、上記した実施形態では検査装置１と機械学習装置１００が異なるＣＰＵ（プロセッサ）を有する装置として説明しているが、機械学習装置１００は検査装置１が備えるＣＰＵ１１と、ＲＯＭ１２に記憶されるシステム・プログラムにより実現するようにしても良い。

【0063】

また、上記した実施形態では検査装置１が機械学習装置１００を備えているものとして説明しているが、例えば機械学習装置１００は、検査装置１とは別体で構成しておき、検査装置と機械学習装置１００とをネットワーク５を介して接続する構成としても良い。

【0064】

更に、上記した実施形態では検査装置１上で作成されたサンプルの複数のグループを機械学習に利用する例を示しているが、本発明による検査装置１上で作成されたサンプルのグループは、例えば、データの偏りを防ぐために計測時期等の周辺データをサンプルに紐付けておく、といった機械学習以外の利用にも用いることができる。

【0065】

上記した実施形態では検査装置１上にユーザインタフェース部３８を設けているが、図１５に例示されるように、ユーザインタフェース部３８を切り離した検査装置１’と、該ユーザインタフェース部３８を実装したサーバ４をネットワーク５を介して接続して成る検査システム７として構築することも可能である。この場合、サーバ４として、例えばウェブサーバ等の公知のサーバ装置を利用することができる。

【0066】

上記した実施形態では、検査装置１を産業機械２と接続し、該産業機械２から取得したデータを用いた検査装置１の実施例を示したが、本願発明の検査装置１、検査システム７、及びユーザインタフェースの用途はこれに限定されるものではなく、例えば、過去の産業機械２等から取得されたデータをクラウドサーバ等の上に保存しておき、保存されたデータを用いて上記した解析処理等を行うようにしても良い。また、本願発明で対象とするデータとしては、特に産業機械２から取得されたデータに限定されることなく、機械学習における学習や推論に用いられるデータ群に対して適宜利用することが可能である。

【0067】

上記した実施形態では、検査装置１により各グループに分割されたサンプル群を、機械学習による学習と推論（検証）に用いる実施例を示したが、例えば、サンプル群をＡ，Ｂ，Ｃの３グループに分割し、グループＡで学習する際のハイパーパラメータを、グループＡで学習して生成されたモデルをグループＢへ適用した際の評価で決定し、ハイパーパラメータを決定した後にグループＡで学習して生成されたモデルの評価をグループＣで行う等、様々な用途に利用することが出来る。

【0068】

上記した実施形態では、機械学習装置１００による学習／推論の結果をユーザインタフェース部３８へと出力する実施例を示したが、機械学習装置１００による学習／推論の結果は、例えば検査装置１が備える不揮発性メモリ１４上に設けられた記憶領域に記憶したり、図示しないネットワーク等を介してクラウドサーバやホストコンピュータ、他の検査装置等に対して出力して活用するようにしても良い。

【符号の説明】

【0069】

１，１’ 検査装置
２ 産業機械
４ サーバ
５ ネットワーク
７ 検査システム
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ 不揮発性メモリ
１６，１７，１８ インタフェース
２０ バス
２１ インタフェース
３０ データ取得部
３２ グループデータ作成部
３４ 統計的状態算出部
３６ データ調整部
３８ ユーザインタフェース部
４０ 検証部
７０ 表示装置
７１ 入力装置
１００ 機械学習装置
１０１ プロセッサ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 不揮発性メモリ
１０６ 状態観測部
１１０ 学習部
１２０ 推論部
１３０ 学習モデル記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】