特開 2024-18792 検査装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024018792

(43)【公開日】2024-02-08

(54)【発明の名称】検査装置及び方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240201BHJP

   G06V 10/82 20220101ALI20240201BHJP

【ＦＩ】

G06T7/00 600

G06T7/00 350C

G06V10/82

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022122335

(22)【出願日】2022-07-29

(71)【出願人】

【識別番号】502129933

【氏名又は名称】株式会社日立産機システム

(74)【代理人】

【識別番号】110002365

【氏名又は名称】弁理士法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】若菜 裕紀

(72)【発明者】

【氏名】根尾 敦

(72)【発明者】

【氏名】山崎 正裕

(72)【発明者】

【氏名】尾島 正禎

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA03

5L096CA02

5L096GA51

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

【課題】検査対象の検査に用いる機械学習モデルに関する処理の負荷を低減する。
【解決手段】それぞれ機械学習モデルであるエンコーダモデル及びデコーダモデルが検査対象の検査に用いられる。エンコーダモデルは、検査対象のデータを入力とし検査対象の異常度を出力とするモデルである。デコーダモデルは、検査対象が正常か異常かを表す値であるＯＫ／ＮＧ値と、検査対象のデータの特徴量とを入力とし、当該入力されたＯＫ／ＮＧ値が異常を表す場合に当該入力された特徴量を基に検査対象の復元されたデータを出力とするモデルである。
【選択図】図２

【特許請求の範囲】

【請求項1】

検査対象のデータを受け付けるインターフェース装置と、
それぞれ機械学習モデルであるエンコーダモデル及びデコーダモデルが格納された記憶装置と、
前記インターフェース装置及び前記記憶装置に接続されたプロセッサと
を備え、
前記プロセッサは、前記エンコーダモデル及び前記デコーダモデルを学習することを含む学習処理と、学習済のエンコーダモデル及びデコーダモデルを用いて前記検査対象の検査を行うことを含む推論処理とを行うようになっており、
前記エンコーダモデルは、前記検査対象のデータを入力とし前記検査対象の異常度を出力とするモデルであり、
前記デコーダモデルは、前記検査対象が正常か異常かを表し前記異常度を基に決定された値であるＯＫ／ＮＧ値と、前記検査対象のデータの特徴量とを入力とし、当該入力されたＯＫ／ＮＧ値が異常を表す場合に当該入力された特徴量を基に前記検査対象の復元されたデータを出力とするモデルである、
検査装置。

【請求項2】

前記推論処理において、前記プロセッサが、前記エンコーダモデルから出力された異常度が閾値以上か否かを表す値を、前記検査対象が正常か異常かを表す値として出力する、
請求項１に記載の検査装置。

【請求項3】

前記学習処理において、
複数の正常データがそれぞれ前記エンコーダモデルに入力され、
前記複数の正常データの各々は、正常な対象のデータであり、
前記プロセッサは、前記複数の正常データの各々について前記エンコーダモデルから出力された異常度についてのばらつきに基づく指標を基に、異常度の閾値を決定し、
当該決定された閾値が、前記推論処理における前記閾値である、
請求項２に記載の検査装置。

【請求項4】

前記指標は、第１の距離であり、
前記第１の距離は、正常データについての異常度の分散の中央値からの、正常データについての異常度までの最大距離である、
請求項３に記載の検査装置。

【請求項5】

前記推論処理後の前記学習処理において、
フィードバック値に基づき、前記閾値が更新され、
前記フィードバック値は、前記推論処理において前記エンコーダモデルに入力されたデータが正常データであるにも関わらず前記ＯＫ／ＮＧ値が異常を表す値となった場合の当該正常データに対応した製品の異常度である、
請求項３に記載の検査装置。

【請求項6】

前記インターフェース装置に表示デバイスが接続されており、
前記推論処理において、前記プロセッサは、前記エンコーダモデルから前記復元されたデータが出力された場合、当該復元されたデータと、当該復元されたデータに対応し前記エンコーダモデルに入力されたデータとの差分を算出し、当該差分に基づく検査結果を前記表示デバイスに表示し、当該検査結果に対する回答をユーザから受け付け、
当該回答が、製品が正常であることを表している場合、前記フィードバック値は、当該入力されたデータに対応した製品の異常度である、
請求項５に記載の検査装置。

【請求項7】

前記検査対象のデータは、前記検査対象の撮影画像のデータである、
請求項６に記載の検査装置。

【請求項8】

前記エンコーダモデルは、シーケンシャルな複数の中間層を含むニューラルネットワークであり、
前記学習処理において、前記デコーダモデルに入力される特徴量は、前記複数の中間層のうちの最終層から出力された特徴量である、
請求項１に記載の検査装置。

【請求項9】

前記インターフェース装置が、一つ又は複数の制御対象装置を制御するコントロール装置に接続され、
前記コントロール装置は、制御プログラムと情報プログラムを実行し、前記制御プログラム及び前記情報プログラムの共有メモリを有し、
前記制御プログラムは、当該制御プログラムについて定められた制御周期毎に、制御対象装置を制御する処理でありリアルタイム性を有する処理であるスキャン処理を当該制御周期内に行うプログラムであり、
前記情報プログラムは、当該情報プログラムについて定められた情報処理を行うプログラムであり、
前記共有メモリは、前記制御プログラムからデータが書き込まれる領域である制御領域と、前記情報プログラムからデータが書き込まれる領域である情報領域とを有し、
前記情報領域は前記制御領域よりも小さく、
前記プロセッサが、前記インターフェース装置を通じて前記ＯＫ／ＮＧ値を前記コントロール装置に出力し、
前記コントロール装置において、
前記情報プログラムが、前記ＯＫ／ＮＧ値を、前記情報領域に書き込み、
前記制御プログラムが、前記情報領域から前記ＯＫ／ＮＧ値を読み出し、当該ＯＫ／ＮＧ値を基に、少なくとも一つの制御対象装置を制御する、
請求項１に記載の検査装置。

【請求項10】

前記エンコーダモデルの学習パラメータと前記デコーダモデルの学習パラメータは異なり、
学習パラメータ毎に、学習パラメータは、パラメータ項目及びパラメータ値の組であり、
学習パラメータが異なることは、パラメータ項目が異なること、及び／又は、パラメータ項目が同じであるがパラメータ値が異なることである、
請求項１に記載の検査装置。

【請求項11】

前記プロセッサは、前記第１の距離が第２の距離未満の場合に、前記エンコーダモデルの学習を終了し、
前記第２の距離は、異常データについての異常度の分散の中央値からの、異常データについての異常度までの最大距離である、
請求項４に記載の検査装置。

【請求項12】

それぞれ機械学習モデルであるエンコーダモデル及びデコーダモデルを学習することを含む学習処理と、
学習済のエンコーダモデル及びデコーダモデルを用いて検査対象の検査を行うことを含む推論処理と
を行い、
前記エンコーダモデルは、前記検査対象のデータを入力とし前記検査対象の異常度を出力とするモデルであり、
前記デコーダモデルは、前記検査対象が正常か異常かを表す値であるＯＫ／ＮＧ値と、前記検査対象のデータの特徴量とを入力とし、当該入力されたＯＫ／ＮＧ値が異常を表す場合に当該入力された特徴量を基に前記検査対象の復元されたデータを出力とするモデルである、
検査方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、概して、製品のような検査対象の検査に関する。

【背景技術】

【0002】

例えば、検査対象のデータ（例えば撮影画像データ）を入力とし製品の検査結果を出力とする機械学習モデルを用いて、製品の検査を行う方法が知られている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－８１８１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１によれば、エンコーダモデル及びデコーダモデルがあり、エンコーダモデルに入力された全てのデータが、デコーダモデルを用いたデコード処理の対象である。このため、処理の負荷が大きい。

【課題を解決するための手段】

【0005】

それぞれ機械学習モデルであるエンコーダモデル及びデコーダモデルが検査対象の検査に用いられる。エンコーダモデルは、検査対象のデータを入力とし検査対象の異常度を出力とするモデルである。デコーダモデルは、検査対象が正常か異常かを表す値であるＯＫ／ＮＧ値と、検査対象のデータの特徴量とを入力とし、当該入力されたＯＫ／ＮＧ値が異常を表す場合に当該入力された特徴量を基に検査対象の復元されたデータを出力とするモデルである。

【発明の効果】

【0006】

本発明によれば、検査対象の検査に用いる機械学習モデルに関する処理の負荷を低減することができる。

【図面の簡単な説明】

【0007】

【図1】第１の実施形態に係る検査装置を含むシステム全体の構成例を示す。

【図2】推論処理のフローの概要を示す。

【図3】正常品と異常品の異常度の分布の例を示す。

【図4】判定部の処理フローを示す。

【図5】第２の実施形態に係る検査装置を含むシステム全体の構成例を示す。

【発明を実施するための形態】

【0008】

以下の説明では、「インターフェース装置」は、一つ以上のインターフェースデバイスでよい。当該一つ以上のインターフェースデバイスは、下記のうちの少なくとも一つでよい。
・一つ以上のＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インターフェースデバイスであるＩ／Ｏインターフェース装置。Ｉ／Ｏインターフェースデバイスは、Ｉ／Ｏデバイスと遠隔の表示用計算機とのうちの少なくとも一つに対するインターフェースデバイスである。表示用計算機に対するＩ／Ｏインターフェースデバイスは、通信インターフェースデバイスでよい。少なくとも一つのＩ／Ｏデバイスは、ユーザインターフェースデバイス、例えば、キーボード及びポインティングデバイスのような入力デバイスと、表示デバイスのような出力デバイスとのうちのいずれでもよい。
・一つ以上の通信インターフェースデバイスである通信インターフェース装置。一つ以上の通信インターフェースデバイスは、一つ以上の同種の通信インターフェースデバイス（例えば一つ以上のＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ））であってもよいし二つ以上の異種の通信インターフェースデバイス（例えばＮＩＣとＨＢＡ（Ｈｏｓｔ Ｂｕｓ Ａｄａｐｔｅｒ））であってもよい。

【0009】

また、以下の説明では、「メモリ」は、一つ以上のメモリデバイスであり、典型的には主記憶デバイスでよい。メモリにおける少なくとも一つのメモリデバイスは、揮発性メモリデバイスであってもよいし不揮発性メモリデバイスであってもよい。

【0010】

また、以下の説明では、「永続記憶装置」は、一つ以上の永続記憶デバイスである。永続記憶デバイスは、典型的には、不揮発性の記憶デバイス（例えば補助記憶デバイス）であり、具体的には、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）である。

【0011】

また、以下の説明では、「記憶装置」は、メモリと永続記憶装置の少なくともメモリでよい。

【0012】

また、以下の説明では、「プロセッサ」は、一つ以上のプロセッサモジュールである。少なくとも一つのプロセッサモジュールは、典型的には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のようなマイクロプロセッサデバイスであるが、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のような他種のプロセッサデバイスでもよい。少なくとも一つのプロセッサデバイスは、シングルコアでもよいしマルチコアでもよい。少なくとも一つのプロセッサモジュールは、プロセッサコアでもよい。

【0013】

また、以下の説明では、プログラムを主語として処理を説明する場合があるが、プログラムは、プロセッサによって実行されることで、定められた処理を、適宜に記憶装置及び／又はインターフェース装置等を用いながら行うため、処理の主語が、プロセッサ（或いは、そのプロセッサを有するコントローラのようなデバイス）とされてもよい。プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバ又は計算機が読み取り可能な（例えば非一時的な）記録媒体であってもよい。また、以下の説明において、二つ以上のプログラムが一つのプログラムとして実現されてもよいし、一つのプログラムが二つ以上のプログラムとして実現されてもよい。

【0014】

また、以下の説明では、機能を主語として処理を説明する場合があるが、機能は、一つ以上のコンピュータプログラムがプロセッサによって実行されることで実現されてよい。プログラムがプロセッサによって実行されることで機能が実現される場合、定められた処理が、適宜に記憶装置及び／又はインターフェース装置等を用いながら行われるため、機能はプロセッサの少なくとも一部とされてもよい。機能を主語として説明された処理は、プロセッサあるいはそのプロセッサを有する装置が行う処理としてもよい。各機能の説明は一例であり、複数の機能が一つの機能にまとめられたり、一つの機能が複数の機能に分割されたりしてもよい。

【0015】

また、様々な物又はサービスを「検査対象」とすることができるが、以下の実施形態では、検査対象は、物の一例としての製品であるとする。

【0016】

また、「検査対象のデータ」は、典型的には多次元データであり、具体的には、例えば、画像データや音データである。以下の実施形態では、「検査対象のデータ」は、製品の画像データ、特に、製品の外観の画像データであるとし、このため、以下の実施形態に係る検査装置は、外観検査装置であるとする。

【0017】

図１は、第１の実施形態に係る検査装置を含むシステム全体の構成例を示す。

【0018】

検査装置１１０は、インターフェース装置１３１、記憶装置１３２及びそれらに接続されたプロセッサ１３３を備える。検査装置１１０は、複数のエッジ装置（例えばクライアント）と通信可能なコア装置（例えばサーバ装置）でもよいが（例えば、クラウド基盤に基づくクラウドコンピューティングシステムでもよいが）、本実施形態では、検査装置１１０は、エッジ装置（例えば、パーソナルコンピュータのような情報処理端末）である。学習処理の負荷が低いため、検査装置１１０がエッジ装置であっても、製品の検査を含む推論処理に加えて、機械学習モデルの学習処理も、エッジ装置により行うことができる。

【0019】

インターフェース装置１３１は、データソース１０１から製品の画像データを受け付ける。画像データは、プロセッサ１３３により記憶装置１３２に格納される。データソース１０１は、本実施形態ではカメラでよいが、マイクロフォンでもよいし、カメラやマイクロフォンのようなセンシングデバイスが接続された情報処理端末でもよい。

【0020】

検査装置１１０は、表示デバイス１０２及び入力デバイス１０３（例えば、キーボード及びポインティングデバイス）を備え、それらのデバイス１０２及び１０３はインターフェース装置１３１に接続される。

【0021】

記憶装置１３２には、エンコーダモデル１４１及びデコーダモデル１４２が格納される。エンコーダモデル１４１及びデコーダモデル１４２は、いずれも機械学習モデルである。エンコーダモデル１４１及びデコーダモデル１４２は、例えば、いずれも深層学習モデルであり、具体的には、ニューラルネットワーク（特にＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ））である。

【0022】

また、記憶装置１３２には、管理データ１４３が格納される。管理データ１４３は、学習及び推論に関する種々のデータ、例えば、下記のうちの少なくとも一部を含んでよい。
・エンコーダモデル１４１及びデコーダモデル１４２の各々について、使用される一種類以上の学習パラメータと、学習の終了条件とを表すデータ。
・閾値を表すデータ。当該閾値は、後述のＯＫ／ＮＧ値を正常品（ＯＫ）と異常品（ＮＧ）のいずれを表す値とするかのために製品の異常度と比較される値。
・推論処理において検査対象とされた製品毎に（例えば、異常品と判定された製品毎に）、エンコーダモデル１４１に入力された画像データ、エンコーダモデル１４１の中間層から出力された特徴量、エンコーダモデル１４１から出力された異常度、デコーダ２０３により復元された画像データ、差分算出部２０４により生成された差分画像データ。

【0023】

記憶装置１３２には、一つ以上のコンピュータプログラムが格納される。それらのコンピュータプログラムがプロセッサ１３３に実行されることで、学習部１５１、推論部１５２、エンコーダ２０１、判定部２０２、デコーダ２０３、差分算出部２０４及び目視確認部２０５といった機能が実現される。学習部１５１が、エンコーダモデル１４１及びデコーダモデル１４２の学習を含む学習処理を行う。推論部１５２が、学習済のエンコーダモデル１４１及びデコーダモデル１４２を用いた推論処理を行う。エンコーダ２０１が、エンコーダモデル１４１を用いてエンコード処理を行う。判定部２０２が、製品の異常度から製品が正常品か異常品かを判定する。デコーダ２０３が、デコーダモデル１４２を用いてデコード処理を行う。差分算出部２０４が、入力された画像データと復元された画像データの差分を表す画像データを生成する。目視確認部２０５が、当該データが表す画像の目視確認をユーザに実行させる。

【0024】

エンコーダモデル１４１は、製品の画像データ（検査対象のデータの一例）を入力とし当該製品の異常度を出力とするモデルである。デコーダモデル１４２は、製品が正常か異常かを表す値であるＯＫ／ＮＧ値と、製品の画像データの特徴量とを入力とし、当該入力されたＯＫ／ＮＧ値が異常を表す場合に当該入力された特徴量を基に当該製品の復元されたデータを出力とするモデルである。このように、エンコーダモデル１４１とデコーダモデル１４２の学習を、それぞれ独立した異なる学習とすることができ、また、エンコーダモデル１４１に入力された全ての画像データについて復元が行われるわけではないため、製品の検査に用いる機械学習モデルに関する処理の負荷を低減することができる。なお、学習パラメータは、学習率、各更新の学習率減衰、バッチサイズ、エポック数、及び、バッチサイズなどが有り、学習時にはそのうちの少なくとも一つ以上を用いる。エンコーダモデル１４１の学習パラメータとデコーダモデル１４２の学習パラメータは異なってよい。「学習パラメータ」とは、パラメータ項目及びパラメータ値の組でよい。従って、「学習パラメータが異なる」とは、パラメータ項目が異なることでもよいし、パラメータ項目が同じであってパラメータ値が異なることでもよいし、それらが混在してもよい。

【0025】

図２は、推論処理のフローの概要を示す。

【0026】

エンコーダモデル１４１は、入力層２１１と、シーケンシャルな二つの中間層２１３Ａ及び２１３Ｂと、出力層２１５とを備える。中間層２１３の数は、２より多くても少なくてもよい。デコーダモデル１４２も、図示しないが、入力層、一つ以上の中間層及び出力層を備える。また、推論処理において、当該推論処理において検査対象とされた製品毎に、エンコーダモデル１４１に入力された画像データ、エンコーダモデル１４１の中間層２１３（本実施形態では中間層２１３Ｂ）から出力された特徴量、及び、エンコーダモデル１４１から出力された異常度が、管理データ１４３に含められてよい。

【0027】

推論部１５２は、製品の画像データ２１０を入力する。エンコーダ２０１が、エンコーダモデル１４１を用いてエンコード処理を行う。エンコード処理は、画像データ２１０を入力層２１１に入力することと、画像データ２１０の特徴量を中間層２１３Ａ及び２１３Ｂにおいて算出することと、最終の中間層２１３Ｂから出力された特徴量を基に出力層２１５から当該製品の異常度を出力することとを含む。

【0028】

判定部２０２が、エンコーダ２０１から出力された異常度が、管理データ１４３が表す閾値以上か否かを判定する。判定部２０２が、この判定結果を表す値を、ＯＫ／ＮＧ値として出力する。異常度が閾値以上であれば、ＯＫ／ＮＧ値は、“１”であり（ＮＧを表し）、異常度が閾値未満であれば、ＯＫ／ＮＧ値は、“０”である（ＯＫを表す）。

【0029】

デコーダ２０３が、デコーダモデル１４２を用いてデコード処理を行う。デコード処理は、ＯＫ／ＮＧ値をデコーダモデル１４２に入力することと、最終の中間層２１３Ｂから出力された特徴量をデコーダモデル１４２に入力することと、入力されたＯＫ／ＮＧ値がＮＧを表していれば入力された特徴量を基に製品の画像データを復元し復元された画像データを出力することとを含む。デコーダ２０３は、デコーダモデル１４２に入力されたＯＫ／ＮＧ値がＯＫを表していれば、入力された特徴量を基に画像データを復元することを行わない。

【0030】

差分算出部２０４が、入力された画像データ２１０と復元された画像データ（デコーダ２０３から出力された画像データ）の差分を表す画像データである差分画像データ（差分を表す差分データの一例）を生成する。例えば、画像データは、製品の外観の撮影画像のデータであり、差分画像データは、製品の傷等の異常箇所が強調された画像データである。具体的には、例えば、デコーダモデル１４２は、異常品の画像データの特徴量から正常品の画像データを復元するよう学習されているため、推論処理に置いて、異常品の画像データの特徴量を基に復元された画像データは、正常品の画像データに類似した画像データである。このため、異常品の入力された画像データと復元された画像データを比較した場合、入力された画像データが表す画像に傷等の異常箇所がある場合、当該異常箇所が差分として検出され、結果として、異常箇所を強調とした差分画像データを生成することができる。

【0031】

目視確認部２０５が、生成された差分画像データが表す差分画像に基づく検査結果を表示デバイス１０２に表示し、当該検査結果に対する回答をユーザから受け付ける。例えば、目視確認部２０５が、検査結果と正常品か否かの回答受付とを表示したＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示デバイス１０２に表示し、当該ＵＩを介して、製品が正常品か否かの回答を受け付ける。表示された検査結果は、差分画像を含んでよく、更に、入力画像（入力された画像データが表す画像）も含んでよい。ユーザは、表示された検査結果を目視確認し、製品が正常品か否かの回答をＵＩに入力する。当該回答が、製品が正常品であることを表している場合、推論処理後の学習処理において、目視確認部２０５が、当該製品に対応した異常度を、例えば管理データ１４３から特定する。推論処理後の学習処理において、判定部２０２が、当該特定された異常度（正常品の異常度）を、フィードバック値として判定部２０２に入力する。

【0032】

エンコーダモデル１４１は、シーケンシャルな複数の中間層２１３を含むニューラルネットワークである。学習部１５１が学習処理を行うが、当該学習処理では、デコーダモデル１４２に入力される特徴量は、複数の中間層２１３のうちの最終層から出力された特徴量である。複数の中間層２１３のうちの最終層の特徴量が、最もデータサイズの小さい特徴量であるため、デコーダモデル１４２の学習の負荷を低減することができる。

【0033】

また、デコーダモデル１４２に入力されたＯＫ／ＮＧ値がＮＧを表す場合に限り画像データが復元されるようになっている。これにより、推論処理の負荷が低減する。また、ユーザが目視確認しなければならない頻度が減り、結果として、ユーザにとっての負担も低減する。

【0034】

本実施形態での学習の一例は、下記の通りである。

【0035】

エンコーダモデル１４１の学習では、一つ以上のＤＮＮで構成される。エンコーダモデル１４１の生成（学習）において、複数の画像（例えば、複数の正常画像と、複数の異常画像（正常画像ではない画像））の各々の画像のデータが、当該学習の訓練データとして使用される。当該学習の一つ又は複数の学習パラメータ（パラメータ項目及びパラメータ値）は、十分な精度が得られることや、過学習の発生が避けられる等の要件に応じて、ユーザにより決定される。例えば、エポック数、学習率、及び、各更新の学習率減衰のパラメータ値は、要件により異なってよい。バッチサイズは、検査装置１１０のハードウェアスペックに応じて決定されてよい。

【0036】

デコーダモデル１４２の生成（学習）では、エンコーダモデル１４１の中間層２１３からの特徴量（デコーダモデル１４２に入力された訓練データの特徴量）が、訓練データとして使用される。訓練データとしての特徴量は、デコーダモデル１４２に入力された正常画像データの特徴量でよい。当該特徴量から画像復元のためのデコーダモデル１４２が生成（学習）される。デコーダモデル１４２の学習に使用される訓練データの数（特徴量データの数）は、エンコーダモデル１４１の学習に使用される訓練データの数と同じでよいし異なっていてもよい。また、エンコーダモデル１４１と同様に、デコーダモデル１４２の一つ以上の学習パラメータは、要件や検査装置１１０のハードウェアスペックに応じて決められてよい。また、エンコーダモデル１４１とデコーダモデル１４２はそれぞれ独立した学習が可能であるため、それらのモデル１４１及び１４２の学習の学習パラメータ（例えば、学習率及びエポック数のそれぞれのパラメータ値、或いは、他の学習パラメータ）が異なってよい。

【0037】

エンコーダモデル１４１は、製品の異常度を出力するモデルであり、デコーダモデル１４２は、製品の異常度を基に決定されたＯＫ／ＮＧ値が異常を表す場合に当該製品の画像データを復元し出力するモデルである。このため、エンコーダモデル１４１に入力された全ての画像データについて復元が行われることに比べて、処理負荷が低減する。

【0038】

異常度が判定部２０２に入力され当該異常度に基づくＯＫ／ＮＧ値は判定部２０２から出力される。異常度とＯＫ／ＮＧ値の関係は、異常度と比較される閾値に依存する。学習処理において、閾値は、図３及び図４を参照して説明する通りに決定される。

【0039】

図３は、正常品と異常品の異常度の分布の例を示す。図４は、判定部２０２の処理フローを示す。

【0040】

学習処理において、訓練データとして、正常品の複数の画像データと、異常品の複数の画像データが、エンコーダモデル１４１に入力される。正常品の画像データが、正常データの一例であり、異常品の画像データが、異常データの一例である。学習処理における「異常品」は、異常箇所を持つ製品に限らず、製品以外の対象であってもよい。

【0041】

正常品と異常品のいずれについても異常度はばらつくものの、全体として、正常品の方が異常品よりも異常度は低い。

【0042】

異常度の閾値は、正常品の異常度の統計値の一例としての平均値ベースに決定されてもよいが、本実施形態では、次のように決定される。

【0043】

すなわち、学習処理において、学習部１５１が、正常品の画像データ毎に、異常度とその頻度の統計を、管理データ１４３に含める。また、学習処理において、学習部１５１が、異常品の画像データ毎に、異常度とその頻度の統計を、管理データ１４３に含める。

【0044】

学習処理において、判定部２０２は、正常品について、異常度と頻度との関係から、異常度の分散の中央値を算出し、当該中央値からの距離としての値であるＤＴを算出する。ＤＴは、第１の距離の一例であり、正常品の異常度の中央値と、正常品の異常度との最大距離である。判定部２０２は、ＤＴを基に、異常度の閾値を決定し、当該閾値を管理データ１４３に含める。

【0045】

推論処理では、判定部２０２は、エンコーダモデル１４１（エンコーダ２０１）から出力された異常度が閾値以上か否かを表す値を、ＯＫ／ＮＧ値としてデコーダモデル１４２（デコーダ２０３）へ出力する。

【0046】

このように、エンコーダモデル１４１からの出力値（ここでは異常度といった高次元特徴量）がそのままデコーダモデル１４２の入力値となるのではなく、エンコーダモデル１４１からの出力値がＯＫ／ＮＧ値といった１ビットで表現可能なスカラ値に変換されてデコーダモデル１４２へ出力される。これは、エンコーダモデル１４１とデコーダモデル１４２を別々に学習し以って学習処理の負荷を低減することに寄与する。

【0047】

また、学習処理において、判定部２０２は、正常品の複数の画像データの各々についてエンコーダモデル１４１から出力された異常度についてのばらつきに基づく指標を算出し、当該指標を基に、異常度の閾値を決定する。このため、閾値が適切な値となることが期待される。

【0048】

閾値が未設定（未学習）の場合、ＯＫ／ＮＧ値は、異常度がゼロ以上ならばＮＧ値（ＮＧを表す値）となり、異常度がゼロ未満ならばＯＫ値（ＯＫを表す値）となる。つまり、正常品の異常度はゼロ以下となる。本実施形態では、閾値のベースとなる指標は、正常品の異常度の分散の中央値からの、正常品の異常度までの最大距離ＤＴである。これにより、正常値の分布の中央値が異常度分布においてどの位置にあるかに応じて閾値が適切な値となる。なお、正常品の異常度の最小値及び／又は最大値は、予め定義された値でもよいし、学習処理において得られる異常度の分布（異常度の統計）を基に判定部２０２により決定された値でもよい（異常品の異常度の最小値及び／又は最大値についても同様でよい）。

【0049】

推論処理では、例えば、ＮＧを表すＯＫ／ＮＧ値が判定部２０２から出力される都度に、閾値と比較された異常度、復元された画像データ、及び、目視確認の回答（正常品か異常品かの回答）を表すデータが、管理データ１４３に含められる。本実施形態では、ＯＫ／ＮＧ値がＮＧを表す場合に限り目視確認がされるが、目視確認の結果として、正常品であるとの回答が入力され得る。推論処理後の学習処理では、上述したように、判定部２０２が、製品が正常品であるとの回答に対応した異常度を管理データ１４３から特定し、特定された異常度（正常品の異常度）を、フィードバック値として判定部２０２に入力する。すなわち、フィードバック値は、推論処理においてエンコーダモデルに入力された画像データが正常品の画像データであるにも関わらずＯＫ／ＮＧ値がＮＧを表す値となった場合の当該正常製品の異常度である。判定部２０２は、このフィードバック値を基に、ＤＴを算出し、算出されたＤＴを基に閾値を更新する。これにより、推論処理におけるフィードバック値を基に、閾値をより適切な値とすることができる。なお、フィードバック値は、ＤＴの算出に代えて又は加えて、閾値それ自体の更新に使用されてもよい。言い換えれば、閾値は、フィードバック値を基に、直接的に更新されてもよいし（フィードバック値を基にＤＴのような指標が計算されること無しに更新されてもよいし）、間接的に更新されてもよい（フィードバック値を基にＤＴのような指標が計算され、当該計算された指標を基に閾値が更新されてもよい）。

【0050】

また、判定部２０２は、学習処理において、異常品について、異常品の複数の画像データの各々についてエンコーダモデル１４１から出力された異常度についてのばらつきに基づく指標の一例として、ＤＦを算出してよい。ＤＦは、第２の距離の一例であり、異常品について、異常度の分散の中央値から異常度の最大距離としての値である。学習処理において、学習部１５１は、エンコーダモデル１４１の学習の終了条件として、ＤＴ＜ＤＦ（ＤＴがＤＦより小さいこと）を採用してよい。エンコーダモデル１４１についてＤＴ＜ＤＦの条件が満たされたことが、エンコーダモデル１４１が正しく生成（学習）されたことを意味する。このため、学習処理において、出力される異常度が適切であることが期待され、故に、適切な閾値が設定されることが期待される。結果として、異常品が正常品として誤判定される頻度の低減が期待される。なお、ＤＴ＜ＤＦが満たされたか否かの判定は、所定数の画像データを用いた学習が行われた後に行われてもよい。

【0051】

また、判定部２０２で使用される閾値が、適切な値となるよう上述の通り学習されるため、検査対象が正常品であるにも関わらず推論処理においてＯＫ／ＮＧ値が誤ってＮＧを表す値となる可能性が低減する。故に、デコーダ２０３により画像データが復元される可能性が低減し、結果として、処理負荷が低減することが期待される。
［第２の実施形態］

【0052】

第２の実施形態を説明する。その際、第１の実施形態との相違点を主に説明し、第１の実施形態との共通点については説明を省略又は簡略する。

【0053】

図５は、第２の実施形態に係る検査装置を含むシステム全体の構成例を示す。

【0054】

検査装置１１０のインターフェース装置１３１が、一つ又は複数の制御対象装置を制御するコントロール装置５０１（コントロール装置５０１のインターフェース装置５１１）に接続される。検査装置１１０とコントロール装置５０１間は、例えばＴＣＰ／ＩＰで通信されてよい。

【0055】

コントロール装置５０１は、インターフェース装置５１１、共有メモリ５１２を含む記憶装置、当該インターフェース装置５１１及び記憶装置に接続されたプロセッサ５１３を有する。制御対象装置として、製品５５０の搬送装置（例えば、搬送ベルト５３３を駆動する装置）を採用することができる。

【0056】

コントロール装置５０１のインターフェース装置５１１には、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）装置５０２が接続される。Ｉ／Ｏ装置５０２に、周辺装置や、周辺装置又は他の制御対象装置といった装置が接続される。それらの装置に対し、Ｉ／Ｏ装置５０２経由で、コントロール装置５０１から入出力がされる。周辺装置は、製品５５０を撮影するためのカメラ５３１や製品５５０を検出するための光学センサ５３２Ａ及び５３２Ｂといった装置でよい。検査装置１１０は、コントロール装置のインターフェース装置５１１に代えて又は加えて、Ｉ／Ｏ装置５０２に接続されてもよい。カメラ５３１に検査装置１１０が接続されてもよい。

【0057】

コントロール装置５０１のプロセッサ５１３は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）５６３を実行し、且つ、ＯＳ５６３上で動作する制御プログラム５６１と情報プログラム５６２を実行する。ＯＳ５６３は、リアルタイム汎用ＯＳ（情報処理向けの汎用ＯＳの系統ではあるものの必要とされるリアルタイム性を提供できるリアルタイム機能を持ったＯＳ）でよく、制御プログラム５６１や情報プログラム５６２の実行タイミングは、リアルタイム汎用ＯＳにより制御されてよい。或いは、制御プログラム５６１や情報プログラム５６２の実行タイミングは、ランタイムソフトウェアにより制御されてよい。

【0058】

制御プログラム５６１は、当該制御プログラム５６１について定められた制御周期毎に、制御対象装置を制御する処理でありリアルタイム性を有する処理であるスキャン処理を当該制御周期内に行うプログラムである。情報プログラム５６２は、当該情報プログラム５６２について定められた情報処理を行うプログラムである。

【0059】

共有メモリ５１２は、制御プログラム５６１及び情報プログラム５６２の共有メモリであり、制御プログラム５６１からデータが書き込まれる領域である制御領域と、情報プログラム５６２からデータが書き込まれる領域である情報領域とを有する。情報領域は制御領域よりも小さい。

【0060】

第２の実施形態では、例えば以下の処理が行われる。

【0061】

制御プログラム５６１が、搬送ベルト５３３上の製品５５０を光学センサ５３２Ａ及び５３２Ｂを通じて検出すると、カメラ５３１に撮影を実行させる。これにより、光学センサ５３２Ａ及び５３２Ｂを通じて検出された製品５５０の画像が撮影され、その撮影画像のデータが、カメラ５３１からコントロール装置５０１経由で又は非経由で検査装置１１０に入力される。検査装置１１０の推論部１５２が、当該画像データについて推論処理を行う。推論処理において、判定部２０２が、ＯＫ／ＮＧ値を、デコーダ２０３の他に加えてコントロール装置５０１にも出力する。情報プログラム５６２が、ＯＫ／ＮＧ値を受けて、共有メモリ５１２の情報領域に書き込む。ＯＫ／ＮＧ値は小サイズなので、ＯＫ／ＮＧ値の書込み先が、制御領域に比べてサイズの小さい情報領域であることに問題は生じない。制御プログラム５６１が、当該情報領域から当該ＯＫ／ＮＧ値を読み出し、当該ＯＫ／ＮＧ値を基に、少なくとも一つの制御対象装置を制御する。例えば、制御対象装置として、撮影された製品５５０を搬送ベルト５３３から除外する装置である除外装置があり、制御プログラム５６１は、読み出したＯＫ／ＮＧ値がＮＧを表している場合、除外装置に、撮影された製品５５０を搬送ベルト５３３から除外させる。ＯＫ／ＮＧ値に基づく制御として、製品５５０の除外に代えて又は他の処理が行われてよい。

【0062】

コントロール装置５０１は、産業用のコントロール装置でよい。制御対象装置は、例えば、産業用モータやコンプレッサのような産業機器でよい。コントロール装置５０１が、コントロールシステムのメインの演算装置でよく、検査装置１１０が、コントロールシステムにおける拡張装置としての演算装置でもよい。拡張装置としての演算装置において情報プログラムが実行されることで、上述した学習部１５１、推論部１５２、エンコーダ２０１、判定部２０２、デコーダ２０３、差分算出部２０４及び目視確認部２０５といった機能が実現されてもよい。

【0063】

以上、幾つかの実施形態を説明したが、これらは本発明の説明のための例示であって、本発明の範囲をこれらの実施形態にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実施することが可能である。

【符号の説明】

【0064】

１１０…検査装置、１３１…インターフェース装置、１３２…記憶装置、１３３…プロセッサ、１４１…エンコーダモデル、１４２…デコーダモデル

【図1】

【図2】

【図3】

【図4】

【図5】