ホーム > 特許ランキング > ブラザー工業株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023168966
(43)【公開日】2023-11-29
(54)【発明の名称】コンピュータプログラム、および、検査装置
(51)【国際特許分類】
G06V 10/42 20220101AFI20231121BHJP
G06V 10/70 20220101ALI20231121BHJP
G06T 7/00 20170101ALI20231121BHJP
【ＦＩ】
G06V10/42
G06V10/70
G06T7/00 300F
G06T7/00 350B
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2022080384
(22)【出願日】2022-05-16
(71)【出願人】
【識別番号】000005267
【氏名又は名称】ブラザー工業株式会社
(74)【代理人】
【識別番号】110001058
【氏名又は名称】鳳国際弁理士法人
(72)【発明者】
【氏名】櫻井 孝一
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA03
5L096FA02
5L096JA03
5L096JA11
5L096KA04
(57)【要約】
【課題】機械学習モデルを用いて検査対象の物体と比較対象の物体との差異を検出する。
【解決手段】コンピュータプログラムは、検査対象の物体を含む対象画像を示す対象画像データを画像生成モデルに入力することによって、再現画像を示す第１再現画像データを生成する第１生成機能と、対象画像データと再現画像データとを用いて、対象画像と再現画像との差分を示す差分画像データを生成する第２生成機能と、差分画像データを特徴抽出モデルに入力することによって、差分画像データの特徴を示す第１特徴データを生成する第３生成機能と、第１特徴データを用いて、検査対象の物体と比較対象の物体との差異を検出する検出機能と、をコンピュータに実現させる。
【選択図】 図１８
【特許請求の範囲】
【請求項1】
コンピュータプログラムであって、
検査対象の物体を含む対象画像を示す対象画像データを画像生成モデルに入力することによって、前記対象画像に対応する第１再現画像を示す第１再現画像データを生成する第１生成機能であって、前記対象画像データは、イメージセンサを用いて生成される画像データであり、前記画像生成モデルは、入力される画像データの特徴を抽出するエンコーダと、抽出された特徴に基づいて画像データを生成するデコーダと、を含む機械学習モデルである、前記第１生成機能と、
前記対象画像データと前記第１再現画像データとを用いて、前記対象画像と前記第１再現画像との差分を示す第１差分画像データを生成する第２生成機能と、
前記第１差分画像データを特徴抽出モデルに入力することによって、前記第１差分画像データの特徴を示す第１特徴データを生成する第３生成機能であって、前記特徴抽出モデルは、入力される画像データの特徴を抽出するエンコーダを含む機械学習モデルである、前記第３生成機能と、
前記第１特徴データを用いて、前記検査対象の物体と比較対象の物体との差異を検出する検出機能と、
をコンピュータに実現させるコンピュータプログラム。
検査対象の物体を含む対象画像を示す対象画像データを画像生成モデルに入力することによって、前記対象画像に対応する第１再現画像を示す第１再現画像データを生成する第１生成機能であって、前記対象画像データは、イメージセンサを用いて生成される画像データであり、前記画像生成モデルは、入力される画像データの特徴を抽出するエンコーダと、抽出された特徴に基づいて画像データを生成するデコーダと、を含む機械学習モデルである、前記第１生成機能と、
前記対象画像データと前記第１再現画像データとを用いて、前記対象画像と前記第１再現画像との差分を示す第１差分画像データを生成する第２生成機能と、
前記第１差分画像データを特徴抽出モデルに入力することによって、前記第１差分画像データの特徴を示す第１特徴データを生成する第３生成機能であって、前記特徴抽出モデルは、入力される画像データの特徴を抽出するエンコーダを含む機械学習モデルである、前記第３生成機能と、
前記第１特徴データを用いて、前記検査対象の物体と比較対象の物体との差異を検出する検出機能と、
をコンピュータに実現させるコンピュータプログラム。
【請求項2】
請求項１に記載のコンピュータプログラムであって、
前記検出機能は、前記第１特徴データと、前記比較対象の物体を含む比較画像を示す比較画像データを用いて生成される第２特徴データに基づく参照データと、を用いて、前記検査対象の物体と前記比較対象の物体との差異を検出し、
前記第２特徴データは、第２差分画像データを前記特徴抽出モデルに入力することによって生成され、前記第２差分画像データは、前記比較画像と、前記比較画像に対応する第２再現画像との差分を示す画像データであり、
前記第１特徴データは、前記第１差分画像データについて、画像内の単位領域ごとに算出される第１特徴ベクトルを含み、
前記第１特徴ベクトルは、前記第１差分画像データを前記特徴抽出モデルに入力することによって得られる複数個の特徴マップのそれぞれに基づく値を要素とするベクトルであり、
前記第２特徴データは、複数個の前記第２差分画像データのそれぞれについて、画像内の単位領域ごとに算出される第２特徴ベクトルを含み、
前記第２特徴ベクトルは、前記第２差分画像データを前記特徴抽出モデルに入力することによって得られる複数個の特徴マップのそれぞれに基づく値を要素とするベクトルであり、
前記参照データは、前記単位領域ごとに算出される前記複数個の第２特徴ベクトルの平均ベクトルおよび共分散行列を示すデータであり、
前記検出機能は、
前記第１特徴ベクトルと前記参照データとを用いて前記単位領域ごとにマハラノビス距離を算出し、
前記マハラノビス距離に基づいて、前記対象画像と前記比較画像との差異を検出する、コンピュータプログラム。
前記検出機能は、前記第１特徴データと、前記比較対象の物体を含む比較画像を示す比較画像データを用いて生成される第２特徴データに基づく参照データと、を用いて、前記検査対象の物体と前記比較対象の物体との差異を検出し、
前記第２特徴データは、第２差分画像データを前記特徴抽出モデルに入力することによって生成され、前記第２差分画像データは、前記比較画像と、前記比較画像に対応する第２再現画像との差分を示す画像データであり、
前記第１特徴データは、前記第１差分画像データについて、画像内の単位領域ごとに算出される第１特徴ベクトルを含み、
前記第１特徴ベクトルは、前記第１差分画像データを前記特徴抽出モデルに入力することによって得られる複数個の特徴マップのそれぞれに基づく値を要素とするベクトルであり、
前記第２特徴データは、複数個の前記第２差分画像データのそれぞれについて、画像内の単位領域ごとに算出される第２特徴ベクトルを含み、
前記第２特徴ベクトルは、前記第２差分画像データを前記特徴抽出モデルに入力することによって得られる複数個の特徴マップのそれぞれに基づく値を要素とするベクトルであり、
前記参照データは、前記単位領域ごとに算出される前記複数個の第２特徴ベクトルの平均ベクトルおよび共分散行列を示すデータであり、
前記検出機能は、
前記第１特徴ベクトルと前記参照データとを用いて前記単位領域ごとにマハラノビス距離を算出し、
前記マハラノビス距離に基づいて、前記対象画像と前記比較画像との差異を検出する、コンピュータプログラム。
【請求項3】
請求項１に記載のコンピュータプログラムであって、
前記画像生成モデルは、複数個の第１訓練画像データを用いて訓練されており、
前記複数個の第１訓練画像データは、前記物体を示す元画像データであって前記物体の作成に用いられる前記元画像データに対して画像処理を実行して得られる画像データである、コンピュータプログラム。
前記画像生成モデルは、複数個の第１訓練画像データを用いて訓練されており、
前記複数個の第１訓練画像データは、前記物体を示す元画像データであって前記物体の作成に用いられる前記元画像データに対して画像処理を実行して得られる画像データである、コンピュータプログラム。
【請求項4】
請求項３に記載のコンピュータプログラムであって、
前記第２再現画像を示す第２再現画像データは、前記複数個の第１訓練画像データを用いて訓練された前記画像生成モデルに前記比較画像データを入力することによって生成される、コンピュータプログラム。
前記第２再現画像を示す第２再現画像データは、前記複数個の第１訓練画像データを用いて訓練された前記画像生成モデルに前記比較画像データを入力することによって生成される、コンピュータプログラム。
【請求項5】
請求項３に記載のコンピュータプログラムであって、
前記特徴抽出モデルは、複数個の訓練差分画像データを用いて訓練されており、
前記複数個の訓練差分画像データは、前記元画像データに対して画像処理を実行することによって生成される第１画像データと、前記第１画像データを前記画像生成モデルに入力することによって生成される第２画像データと、の間の差分を示す画像データである、コンピュータプログラム。
前記特徴抽出モデルは、複数個の訓練差分画像データを用いて訓練されており、
前記複数個の訓練差分画像データは、前記元画像データに対して画像処理を実行することによって生成される第１画像データと、前記第１画像データを前記画像生成モデルに入力することによって生成される第２画像データと、の間の差分を示す画像データである、コンピュータプログラム。
【請求項6】
請求項５に記載のコンピュータプログラムであって、
前記第１画像データは、複数種類の欠陥のいずれかを画像に擬似的に付加する付加処理を含む画像処理を前記元画像データに対して実行することによって生成される欠陥付加画像データを含み、
前記特徴抽出モデルは、前記欠陥付加画像データを用いて生成される前記訓練差分画像データが入力される場合に、前記欠陥付加画像データによって示される画像に含まれる前記欠陥の種類を識別するように訓練される、コンピュータプログラム。
前記第１画像データは、複数種類の欠陥のいずれかを画像に擬似的に付加する付加処理を含む画像処理を前記元画像データに対して実行することによって生成される欠陥付加画像データを含み、
前記特徴抽出モデルは、前記欠陥付加画像データを用いて生成される前記訓練差分画像データが入力される場合に、前記欠陥付加画像データによって示される画像に含まれる前記欠陥の種類を識別するように訓練される、コンピュータプログラム。
【請求項7】
請求項１に記載のコンピュータプログラムであって、
前記参照データは、複数個の前記第２差分画像データのそれぞれについて算出される複数個の前記第２特徴データを用いて算出される統計データであり、
前記検出機能は、
前記第１特徴データと前記統計データとを用いて特定の算出処理を実行することによって、前記対象画像と前記比較画像との差異の程度を示す第１評価値を算出し、
複数個の前記第２特徴データを含む複数個の特徴データのそれぞれについて前記特徴データと前記統計データとを用いて前記特定の算出処理を実行することによって算出される第２評価値の最大値と最小値と、前記第１評価値と、を用いて、前記対象画像と前記比較画像との差異を検出する、コンピュータプログラム。
前記参照データは、複数個の前記第２差分画像データのそれぞれについて算出される複数個の前記第２特徴データを用いて算出される統計データであり、
前記検出機能は、
前記第１特徴データと前記統計データとを用いて特定の算出処理を実行することによって、前記対象画像と前記比較画像との差異の程度を示す第１評価値を算出し、
複数個の前記第２特徴データを含む複数個の特徴データのそれぞれについて前記特徴データと前記統計データとを用いて前記特定の算出処理を実行することによって算出される第２評価値の最大値と最小値と、前記第１評価値と、を用いて、前記対象画像と前記比較画像との差異を検出する、コンピュータプログラム。
【請求項8】
請求項１に記載のコンピュータプログラムであって、さらに、
検査対象の物体を含む原画像を示す原画像データであってイメージセンサを用いて生成される前記原画像データを物体検出モデルに入力することによって、前記原画像内の前記物体を含む物体領域を特定する特定機能と、
前記原画像データを用いて、特定された前記物体領域を含む前記対象画像であって前記原画像の一部である前記対象画像を示す前記対象画像データを生成する第４生成機能と、
をコンピュータに実現させ、
前記第１生成機能は、前記第４生成機能によって生成される前記対象画像データを前記画像生成モデルに入力することによって、前記第１再現画像データを生成し、
前記物体検出モデルは、前記物体を含む訓練画像を示す第２訓練画像データと、前記訓練画像内の前記物体が位置する領域を示す領域情報と、を用いて訓練された機械学習モデルであり、
前記第２訓練画像データは、物体画像を示す物体画像データと、背景画像を示す背景画像データと、を用いて生成される画像データであり、前記背景画像に前記物体画像を合成して得られる前記訓練画像を示す画像データであり、
前記物体画像データは、前記物体を示す元画像データであって前記物体の作成に用いられる前記元画像データに基づく画像データであり、
前記領域情報は、前記背景画像に前記物体画像を合成する際に用いられる前記物体画像の合成位置を示す位置情報に基づいて生成される情報である、コンピュータプログラム。
検査対象の物体を含む原画像を示す原画像データであってイメージセンサを用いて生成される前記原画像データを物体検出モデルに入力することによって、前記原画像内の前記物体を含む物体領域を特定する特定機能と、
前記原画像データを用いて、特定された前記物体領域を含む前記対象画像であって前記原画像の一部である前記対象画像を示す前記対象画像データを生成する第４生成機能と、
をコンピュータに実現させ、
前記第１生成機能は、前記第４生成機能によって生成される前記対象画像データを前記画像生成モデルに入力することによって、前記第１再現画像データを生成し、
前記物体検出モデルは、前記物体を含む訓練画像を示す第２訓練画像データと、前記訓練画像内の前記物体が位置する領域を示す領域情報と、を用いて訓練された機械学習モデルであり、
前記第２訓練画像データは、物体画像を示す物体画像データと、背景画像を示す背景画像データと、を用いて生成される画像データであり、前記背景画像に前記物体画像を合成して得られる前記訓練画像を示す画像データであり、
前記物体画像データは、前記物体を示す元画像データであって前記物体の作成に用いられる前記元画像データに基づく画像データであり、
前記領域情報は、前記背景画像に前記物体画像を合成する際に用いられる前記物体画像の合成位置を示す位置情報に基づいて生成される情報である、コンピュータプログラム。
【請求項9】
請求項８に記載のコンピュータプログラムであって、
前記物体検出モデルは、第１種の物体と第２種の物体との両方を特定可能に訓練された１つの機械学習モデルであり、
前記画像生成モデルは、第１画像生成モデルと、第２画像生成モデルと、を含み、
前記第１画像生成モデルは、前記第１種の物体を含む画像を示す画像データが入力される場合に、前記第１種の物体を含む画像に対応する再現画像を示す再現画像データを生成するように訓練された機械学習モデルであり、
前記第２画像生成モデルは、前記第２種の物体を含む画像を示す画像データが入力される場合に、前記第２種の物体を含む画像に対応する再現画像を示す再現画像データを生成するように訓練された機械学習モデルであり、
前記特定機能は、検査対象の前記物体が前記第１種の物体である場合と、検査対象の前記物体が前記第２種の物体である場合と、の両方の場合に、１つの前記物体検出モデルを用いて、前記物体領域を特定し、
前記第１生成機能は、
検査対象の前記物体が前記第１種の物体である場合に、前記第１画像生成モデルを用いて前記第１再現画像データを生成し、
検査対象の前記物体が前記第２種の物体である場合に、前記第２画像生成モデルを用いて前記第１再現画像データを生成する、コンピュータプログラム。
前記物体検出モデルは、第１種の物体と第２種の物体との両方を特定可能に訓練された１つの機械学習モデルであり、
前記画像生成モデルは、第１画像生成モデルと、第２画像生成モデルと、を含み、
前記第１画像生成モデルは、前記第１種の物体を含む画像を示す画像データが入力される場合に、前記第１種の物体を含む画像に対応する再現画像を示す再現画像データを生成するように訓練された機械学習モデルであり、
前記第２画像生成モデルは、前記第２種の物体を含む画像を示す画像データが入力される場合に、前記第２種の物体を含む画像に対応する再現画像を示す再現画像データを生成するように訓練された機械学習モデルであり、
前記特定機能は、検査対象の前記物体が前記第１種の物体である場合と、検査対象の前記物体が前記第２種の物体である場合と、の両方の場合に、１つの前記物体検出モデルを用いて、前記物体領域を特定し、
前記第１生成機能は、
検査対象の前記物体が前記第１種の物体である場合に、前記第１画像生成モデルを用いて前記第１再現画像データを生成し、
検査対象の前記物体が前記第２種の物体である場合に、前記第２画像生成モデルを用いて前記第１再現画像データを生成する、コンピュータプログラム。
【請求項10】
請求項９に記載のコンピュータプログラムであって、
前記特徴抽出モデルは、第１特徴抽出モデルと、第２特徴抽出モデルと、を含み、
前記第１特徴抽出モデルは、前記第１種の物体を含む画像を示す画像データと、前記第１種の物体を含む画像に対応する再現画像を示す再現画像データと、を用いて生成される差分画像データが入力される場合に、前記入力される差分画像データの特徴を示す特徴データを生成するように訓練された機械学習モデルであり、
前記第２特徴抽出モデルは、前記第２種の物体を含む画像を示す画像データと、前記第２種の物体を含む画像に対応する再現画像を示す再現画像データと、を用いて生成される差分画像データが入力される場合に、前記入力される差分画像データの特徴を示す特徴データを生成するように訓練された機械学習モデルであり、
前記第３生成機能は、
検査対象の前記物体が前記第１種の物体である場合に、前記第１特徴抽出モデルを用いて前記第１特徴データを生成し、
検査対象の前記物体が前記第２種の物体である場合に、前記第２画像生成モデルを用いて前記第１特徴データを生成する、コンピュータプログラム。
前記特徴抽出モデルは、第１特徴抽出モデルと、第２特徴抽出モデルと、を含み、
前記第１特徴抽出モデルは、前記第１種の物体を含む画像を示す画像データと、前記第１種の物体を含む画像に対応する再現画像を示す再現画像データと、を用いて生成される差分画像データが入力される場合に、前記入力される差分画像データの特徴を示す特徴データを生成するように訓練された機械学習モデルであり、
前記第２特徴抽出モデルは、前記第２種の物体を含む画像を示す画像データと、前記第２種の物体を含む画像に対応する再現画像を示す再現画像データと、を用いて生成される差分画像データが入力される場合に、前記入力される差分画像データの特徴を示す特徴データを生成するように訓練された機械学習モデルであり、
前記第３生成機能は、
検査対象の前記物体が前記第１種の物体である場合に、前記第１特徴抽出モデルを用いて前記第１特徴データを生成し、
検査対象の前記物体が前記第２種の物体である場合に、前記第２画像生成モデルを用いて前記第１特徴データを生成する、コンピュータプログラム。
【請求項11】
請求項８に記載のコンピュータプログラムであって、
前記画像生成モデルは、前記第２訓練画像データの生成に用いられる前記物体画像データを用いて訓練されており、
前記特徴抽出モデルは、前記第２訓練画像データの生成に用いられる前記物体画像データを用いて生成される差分画像データを用いて訓練されている、コンピュータプログラム。
前記画像生成モデルは、前記第２訓練画像データの生成に用いられる前記物体画像データを用いて訓練されており、
前記特徴抽出モデルは、前記第２訓練画像データの生成に用いられる前記物体画像データを用いて生成される差分画像データを用いて訓練されている、コンピュータプログラム。
【請求項12】
検査装置であって、
検査対象の物体を含む対象画像を示す対象画像データを画像生成モデルに入力することによって、前記対象画像に対応する第１再現画像を示す第１再現画像データを生成する第１生成部であって、前記対象画像データは、イメージセンサを用いて生成される画像データであり、前記画像生成モデルは、入力される画像データの特徴を抽出するエンコーダと、抽出された特徴に基づいて画像データを生成するデコーダと、を含む機械学習モデルである、前記第１生成部と、
前記対象画像データと前記第１再現画像データとを用いて、前記対象画像と前記第１再現画像との差分を示す第１差分画像データを生成する第２生成部と、
前記第１差分画像データを特徴抽出モデルに入力することによって、前記第１差分画像データの特徴を示す第１特徴データを生成する第３生成部であって、前記特徴抽出モデルは、入力される画像データの特徴を抽出するエンコーダを含む機械学習モデルである、前記第３生成部と、
前記第１特徴データと、比較画像を示す比較画像データを用いて生成される第２特徴データに基づく参照データと、を用いて、前記対象画像と前記比較画像との差異を検出する検出部であって、前記第２特徴データは、第２差分画像データを前記特徴抽出モデルに入力することによって生成され、前記第２差分画像データは、前記比較画像と、前記比較画像に対応する第２再現画像との差分を示す画像データである、前記検出部と、
を備える検査装置。
検査対象の物体を含む対象画像を示す対象画像データを画像生成モデルに入力することによって、前記対象画像に対応する第１再現画像を示す第１再現画像データを生成する第１生成部であって、前記対象画像データは、イメージセンサを用いて生成される画像データであり、前記画像生成モデルは、入力される画像データの特徴を抽出するエンコーダと、抽出された特徴に基づいて画像データを生成するデコーダと、を含む機械学習モデルである、前記第１生成部と、
前記対象画像データと前記第１再現画像データとを用いて、前記対象画像と前記第１再現画像との差分を示す第１差分画像データを生成する第２生成部と、
前記第１差分画像データを特徴抽出モデルに入力することによって、前記第１差分画像データの特徴を示す第１特徴データを生成する第３生成部であって、前記特徴抽出モデルは、入力される画像データの特徴を抽出するエンコーダを含む機械学習モデルである、前記第３生成部と、
前記第１特徴データと、比較画像を示す比較画像データを用いて生成される第２特徴データに基づく参照データと、を用いて、前記対象画像と前記比較画像との差異を検出する検出部であって、前記第２特徴データは、第２差分画像データを前記特徴抽出モデルに入力することによって生成され、前記第２差分画像データは、前記比較画像と、前記比較画像に対応する第２再現画像との差分を示す画像データである、前記検出部と、
を備える検査装置。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書は、機械学習モデルを用いて検査対象の物体と比較対象の物体との差異を検出するコンピュータプログラム、および、検査装置に関する。
【背景技術】
【0002】
画像データを生成する機械学習モデルである画像生成モデルを用いた異常検出が知られている。非特許文献１に開示された技術では、正常な製品を撮像して得られる複数個の撮像画像データが学習済みのＣＮＮ（Convolutional Neural Network）に入力されて、複数個の撮像画像データのそれぞれについて複数個の特徴マップが生成される。そして、複数個の特徴マップからランダムで選択される所定個数の特徴マップに基づいて正常な製品の特徴を示すガウシアンパラメータのマトリクスが生成される。検査時には、検査対象の製品を撮像して得られる撮像画像がＣＮＮに入力されて、特徴マップが生成され、該特徴マップに基づいて検査品の特徴を示す特徴ベクトルが生成される。正常な製品のマトリクスと、検査対象の製品の特徴ベクトルと、を用いて、検査品の異常検出が行われる。
【先行技術文献】
【特許文献】
【0003】
【非特許文献1】T. Defard, A. Setkov, A. Loesch, and R. Audigier, “Padim: a patch distribution modeling framework for anomaly detection and localization”,arXiv:2011.08785(2020),https://arxiv.org/abs/2011.08785,投稿日17 Nov 2020
【発明の概要】
【発明が解決しようとする課題】
【0004】
このように、機械学習モデルを用いて、検査対象の物体と比較対象の物体との差異（例えば、検査対象の製品と正常な製品との差異）を検出する技術が求められていた。
【0005】
本明細書は、機械学習モデルを用いて検査対象の物体と比較対象の物体との差異を検出する新たな技術を開示する。
【課題を解決するための手段】
【0006】
本明細書に開示された技術は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の適用例として実現することが可能である。
【0007】
［適用例１］コンピュータプログラムであって、検査対象の物体を含む対象画像を示す対象画像データを画像生成モデルに入力することによって、前記対象画像に対応する第１再現画像を示す第１再現画像データを生成する第１生成機能であって、前記対象画像データは、イメージセンサを用いて生成される画像データであり、前記画像生成モデルは、入力される画像データの特徴を抽出するエンコーダと、抽出された特徴に基づいて画像データを生成するデコーダと、を含む機械学習モデルである、前記第１生成機能と、前記対象画像データと前記第１再現画像データとを用いて、前記対象画像と前記第１再現画像との差分を示す第１差分画像データを生成する第２生成機能と、前記第１差分画像データを特徴抽出モデルに入力することによって、前記第１差分画像データの特徴を示す第１特徴データを生成する第３生成機能であって、前記特徴抽出モデルは、入力される画像データの特徴を抽出するエンコーダを含む機械学習モデルである、前記第３生成機能と、前記第１特徴データを用いて、前記検査対象の物体と比較対象の物体との差異を検出する検出機能と、をコンピュータに実現させるコンピュータプログラム。
【0008】
上記構成によれば、対象画像と第１再現画像との差分を示す第１差分画像データを特徴抽出モデルに入力することによって生成される第１特徴データを用いて、検査対象の物体と比較対象の物体との差異が検出される。この結果、機械学習モデルを用いて検査対象の物体と比較対象の物体との差異を検出することができる。例えば、対象画像がノイズを含む場合や検査対象の物体と比較対象の物体との差異が小さい場合に、検査対象の物体と比較対象の物体との差異を精度良く検出し得る。
【0009】
［適用例２］コンピュータプログラムであって、
検査対象の物体を含む原画像を示す原画像データであってイメージセンサを用いて生成される前記原画像データを物体検出モデルに入力することによって、前記原画像内の前記物体を含む物体領域を特定する特定機能と、
前記原画像データを用いて、特定された前記物体領域を含む対象画像であって前記原画像の一部である前記対象画像を示す対象画像データを生成する生成機能と、
前記対象画像データを用いて、前記検査対象の物体と比較対象の物体との差異を検出する検出機能と、
をコンピュータに実現させ、
前記物体検出モデルは、前記物体を含む訓練画像を示す訓練画像データと、前記訓練画像内の前記物体が位置する領域を示す領域情報と、を用いて訓練された機械学習モデルであり、
前記訓練画像データは、物体画像を示す物体画像データと、背景画像を示す背景画像データと、を用いて生成される画像データであり、前記背景画像に前記物体画像を合成して得られる前記訓練画像を示す画像データであり、
前記物体画像データは、前記物体を示す元画像データであって前記物体の作成に用いられる前記元画像データに基づく画像データであり、
前記領域情報は、前記背景画像に前記物体画像が合成する際に用いられる前記物体画像の合成位置を示す位置情報に基づいて生成される情報である、コンピュータプログラム。
検査対象の物体を含む原画像を示す原画像データであってイメージセンサを用いて生成される前記原画像データを物体検出モデルに入力することによって、前記原画像内の前記物体を含む物体領域を特定する特定機能と、
前記原画像データを用いて、特定された前記物体領域を含む対象画像であって前記原画像の一部である前記対象画像を示す対象画像データを生成する生成機能と、
前記対象画像データを用いて、前記検査対象の物体と比較対象の物体との差異を検出する検出機能と、
をコンピュータに実現させ、
前記物体検出モデルは、前記物体を含む訓練画像を示す訓練画像データと、前記訓練画像内の前記物体が位置する領域を示す領域情報と、を用いて訓練された機械学習モデルであり、
前記訓練画像データは、物体画像を示す物体画像データと、背景画像を示す背景画像データと、を用いて生成される画像データであり、前記背景画像に前記物体画像を合成して得られる前記訓練画像を示す画像データであり、
前記物体画像データは、前記物体を示す元画像データであって前記物体の作成に用いられる前記元画像データに基づく画像データであり、
前記領域情報は、前記背景画像に前記物体画像が合成する際に用いられる前記物体画像の合成位置を示す位置情報に基づいて生成される情報である、コンピュータプログラム。
【0010】
上記構成によれば、物体検出モデルは、背景画像に物体画像を合成して得られる訓練画像を示す訓練画像データと、訓練画像内の物体が位置する領域を示す領域情報を用いて訓練されている。そして、領域情報は、背景画像に物体画像が合成する際に用いられる物体画像の合成位置を示す位置情報に基づいて生成される情報である。この結果、ラベル情報は、例えば、オペレータが指定した領域を示す情報が用いられる場合と比較して、物体が位置する領域を精度良く示し得る。したがって、物体検出モデルは、物体検出モデルＡＮは、物体が位置する領域を精度良く検出できるように、訓練される。このために、検査対象の物体と比較対象の物体との差異を精度良く検出し得る。
【0011】
［適用例３］適用例２に記載のコンピュータプログラムであって、
前記検出機能は、
前記対象画像データを特定の機械学習モデルに入力することによって前記対象画像データに対応する対応データを生成し、
前記対応データを用いて、前記検査対象の物体と比較対象の物体との差異を検出し、
前記特定の機械学習モデルは、第１機械学習モデルと、第２機械学習モデルと、を含み、
前記第１機械学習モデルは、第１種の物体を含む画像を示す画像データが入力される場合に、前記第１種の物体を含む画像に対応する対応データを生成するように訓練された機械学習モデルであり、
前記第２機械学習モデルは、前記第２種の物体を含む画像を示す画像データが入力される場合に、前記第２種の物体を含む画像に対応する対応データを生成するように訓練された機械学習モデルであり、
前記特定機能は、検査対象の前記物体が前記第１種の物体である場合と、検査対象の前記物体が前記第２種の物体である場合と、の両方の場合に、１つの前記物体検出モデルを用いて、前記物体領域を特定し、
前記検出機能は、
検査対象の前記物体が前記第１種の物体である場合に、前記第１機械学習モデルを用いて前記対応データを生成し、
検査対象の前記物体が前記第２種の物体である場合に、前記第２機械学習モデルを用いて前記対応データを生成する、コンピュータプログラム。
前記検出機能は、
前記対象画像データを特定の機械学習モデルに入力することによって前記対象画像データに対応する対応データを生成し、
前記対応データを用いて、前記検査対象の物体と比較対象の物体との差異を検出し、
前記特定の機械学習モデルは、第１機械学習モデルと、第２機械学習モデルと、を含み、
前記第１機械学習モデルは、第１種の物体を含む画像を示す画像データが入力される場合に、前記第１種の物体を含む画像に対応する対応データを生成するように訓練された機械学習モデルであり、
前記第２機械学習モデルは、前記第２種の物体を含む画像を示す画像データが入力される場合に、前記第２種の物体を含む画像に対応する対応データを生成するように訓練された機械学習モデルであり、
前記特定機能は、検査対象の前記物体が前記第１種の物体である場合と、検査対象の前記物体が前記第２種の物体である場合と、の両方の場合に、１つの前記物体検出モデルを用いて、前記物体領域を特定し、
前記検出機能は、
検査対象の前記物体が前記第１種の物体である場合に、前記第１機械学習モデルを用いて前記対応データを生成し、
検査対象の前記物体が前記第２種の物体である場合に、前記第２機械学習モデルを用いて前記対応データを生成する、コンピュータプログラム。
【0012】
上記構成によれば、物体領域の特定は、第１種の物体と第２種の物体との両方に共通の物体検出モデルを用いて行われ、検査対象の物体と比較対象の物体との差異の検出は、第１種の物体と第２種の物体とでそれぞれ異なる機械学習モデルを用いて行われる。この結果、物体検出モデルや機械学習モデルの訓練の負担や、物体検出モデルや機械学習モデルのデータ量が過度に大きくなることを抑制しつつ、検査対象の物体と比較対象の物体との差異を十分な精度で検出し得る。
【0013】
［適用例４］適用例２に記載のコンピュータプログラムであって、
前記検出機能は、
前記対象画像データを特定の機械学習モデルに入力することによって前記対象画像データに対応する対応データを生成し、
前記対応データを用いて、前記検査対象の物体と比較対象の物体との差異を検出し、
前記特定の機械学習モデルは、前記第２訓練画像データの生成に用いられる前記物体画像データを用いて訓練されている、コンピュータプログラム。
前記検出機能は、
前記対象画像データを特定の機械学習モデルに入力することによって前記対象画像データに対応する対応データを生成し、
前記対応データを用いて、前記検査対象の物体と比較対象の物体との差異を検出し、
前記特定の機械学習モデルは、前記第２訓練画像データの生成に用いられる前記物体画像データを用いて訓練されている、コンピュータプログラム。
【0014】
上記構成によれば、訓練のための画像データを準備するための負担を軽減できる。
【0015】
なお、本明細書に開示される技術は、他の種々の形態で実現することが可能であり、例えば、物体検出モデル、物体検出モデルの訓練装置、訓練方法、検査装置、検査方法、これらの装置および方法を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、等の形態で実現することができる。
【図面の簡単な説明】
【0016】
【図1】実施例の検査システム１０００の構成を示すブロック図。
【図2】製品３００の説明図。
【図3】検査準備処理のフローチャート。
【図4】訓練データ生成処理のフローチャート。
【図5】本実施例で用いられる画像の一例を示す図。
【図6】正常画像データ生成処理のフローチャート。
【図7】異常画像データ生成処理のフローチャート。
【図8】合成画像データ生成処理のフローチャート。
【図9】合成画像データ生成処理の説明図。
【図10】教師データ生成処理のフローチャート。
【図11】物体検出モデルＡＮの説明図。
【図12】画像生成モデルＧＮの説明図。
【図13】訓練差分画像データ生成処理のフローチャート。
【図14】画像識別モデルＤＮの説明図。
【図15】ＰａＤｉＭデータ生成処理のフローチャート。
【図16】ＰａＤｉＭデータ生成処理の第１の説明図。
【図17】ＰａＤｉＭデータ生成処理の第２の説明図。
【図18】検査処理のフローチャート。
【図19】検査処理の説明図。
【発明を実施するための形態】
【0017】
Ａ．実施例
Ａ－１．検査装置の構成
次に、実施の形態を実施例に基づき説明する。図１は、実施例の検査システム１０００の構成を示すブロック図である。検査システム１０００は、検査装置１００と、撮像装置４００と、を含んでいる。検査装置１００と撮像装置４００とは、通信可能に接続されている。
Ａ－１．検査装置の構成
次に、実施の形態を実施例に基づき説明する。図１は、実施例の検査システム１０００の構成を示すブロック図である。検査システム１０００は、検査装置１００と、撮像装置４００と、を含んでいる。検査装置１００と撮像装置４００とは、通信可能に接続されている。
【0018】
検査装置１００は、例えば、パーソナルコンピュータなどの計算機である。検査装置１００は、検査装置１００のコントローラとしてのＣＰＵ１１０と、ＧＰＵ１１５と、ＲＡＭなどの揮発性記憶装置１２０と、ハードディスクドライブなどの不揮発性記憶装置１３０と、マウスやキーボードなどの操作部１５０と、液晶ディスプレイなどの表示部１４０と、通信部１７０と、を備えている。通信部１７０は、外部機器、例えば、撮像装置４００と通信可能に接続するための有線または無線のインタフェースを含む。
【0019】
ＧＰＵ（Graphics Processing Unit）１１５は、ＣＰＵ１１０の制御に従って、３次元グラフィックスなどの画像処理のための計算処理を行うプロセッサである。本実施例では、機械学習モデルの演算処理を実行するために利用される。
【0020】
揮発性記憶装置１２０は、ＣＰＵ１１０が処理を行う際に生成される種々の中間データを一時的に格納するバッファ領域を提供する。不揮発性記憶装置１３０には、検査装置用のコンピュータプログラムＰＧと、背景画像データ群ＢＤと、版下画像データＲＤ１、ＲＤ２と、が格納されている。背景画像データ群ＢＤ、および、版下画像データＲＤ１、ＲＤ２については、後述する。
【0021】
コンピュータプログラムＰＧは、複数個の機械学習モデルの機能をＣＰＵ１１０とＧＰＵ１１５とが協働して実現させるコンピュータプログラムをモジュールとして含んでいる。コンピュータプログラムＰＧは、例えば、検査装置１００の製造者によって提供される。コンピュータプログラムＰＧは、例えば、サーバからダウンロードされる形態で提供されても良く、ＤＶＤ－ＲＯＭなどに格納される形態で提供されてもよい。ＣＰＵ１１０は、コンピュータプログラムＰＧを実行することにより、後述する検査準備処理や検査処理を実行する。
【0022】
複数個の機械学習モデルは、物体検出モデルＡＮと、画像生成モデルＧＮ１、ＧＮ２と、画像識別モデルＤＮ１、ＤＮ２と、を含んでいる。これらのモデルの構成と利用方法については後述する。
【0023】
撮像装置４００は、二次元イメージセンサを用いて被写体を撮像することによって被写体を表す画像データ（撮像画像データとも呼ぶ）を生成するデジタルカメラである。撮像画像データは、複数個の画素を含む画像を示すビットマップデータであり、具体的には、ＲＧＢ値によって画素ごとの色を表すＲＧＢ画像データである。ＲＧＢ値は、３個の色成分の階調値（以下、成分値とも呼ぶ）、すなわち、Ｒ値、Ｇ値、Ｂ値を含むＲＧＢ表色系の色値である。Ｒ値、Ｇ値、Ｂ値は、例えば、所定の階調数（例えば、２５６）の階調値である。撮像画像データは、画素ごとの輝度を表す輝度画像データであっても良い。
【0024】
撮像装置４００は、検査装置１００の制御に従って、撮像画像データを生成し、検査装置１００に送信する。本実施例では、撮像装置４００は、検査処理の検査対象であるラベルＬが貼付された製品３００を撮像して、撮像画像を示す撮像画像データを生成するために用いられる。
【0025】
図２は、製品３００の説明図である。図２（Ａ）には、製品３００の斜視図が示されている。製品３００は、本実施例では、略直方体の筐体３０を有するプリンタである。製造工程において、筐体３０の前面３１（＋Ｄｙ側の面）には、矩形のラベルＬが所定の貼付位置に貼付される。
【0026】
図２（Ｂ）には、ラベルＬの一例として、２種のラベルＬ１、Ｌ２が示されている。ラベルＬ１は、例えば、背景Ｂ１と、製造者や製品のブランドロゴ、型番、ロット番号等の各種の情報を示す文字Ｘ１と、マークＭ１と、を含んでいる。同様に、ラベルＬ２は、例えば、背景Ｂ２と、文字Ｘ２と、マークＭ２と、を含んでいる。２種のラベルＬ１、Ｌ２は、例えば、互いに異なる製品に貼付されるラベルであり、文字やマークの少なくとも一部が互いに異なっている。本実施例では、２種のラベルＬ１、Ｌ２が検査対象となる。
【0027】
Ａ－２．検査準備処理
検査準備処理は、ラベルＬを検査する検査処理（後述）に先立って実行される。検査準備処理では、検査処理にて用いられる機械学習モデル（物体検出モデルＡＮ、画像生成モデルＧＮ１、ＧＮ２、画像識別モデルＤＮ１、ＤＮ２）の訓練と、正常なラベルＬ（以下、正常品とも呼ぶ）の特徴を示すガウシアンマトリクスＧＭ（後述）の生成と、が行われる。図３は、検査準備処理のフローチャートである。
検査準備処理は、ラベルＬを検査する検査処理（後述）に先立って実行される。検査準備処理では、検査処理にて用いられる機械学習モデル（物体検出モデルＡＮ、画像生成モデルＧＮ１、ＧＮ２、画像識別モデルＤＮ１、ＤＮ２）の訓練と、正常なラベルＬ（以下、正常品とも呼ぶ）の特徴を示すガウシアンマトリクスＧＭ（後述）の生成と、が行われる。図３は、検査準備処理のフローチャートである。
【0028】
Ｓ１０では、ＣＰＵ１１０は、訓練データ生成処理を実行する。訓練データ生成処理は、版下画像データＲＤ１、ＲＤ２を用いて、機械学習モデルの訓練に用いられる画像データと、教師データと、を生成する処理である。図４は、訓練データ生成処理のフローチャートである。
【0029】
Ｓ１００では、ＣＰＵ１１０は、不揮発性記憶装置１３０から版下画像を示す版下画像データＲＤ１、ＲＤ２を取得する。版下画像データＲＤ１、ＲＤ２は、撮像画像データと同様のビットマップデータ、本実施例では、ＲＧＢ画像データである。版下画像データＲＤ１は、ラベルＬ１の作成に用いられるデータであり、版下画像データＲＤ２は、ラベルＬ２の作成に用いられるデータである。例えば、ラベルＬ１は、ラベル用のシートに版下画像データＲＤ１によって示される版下画像ＤＩ１（後述）を印刷することによって作成される。以下では、版下画像データＲＤ１を用いて実行される訓練データ生成処理について説明するが、版下画像データＲＤ２を用いても同様の訓練データ生成処理が実行される。
【0030】
図５は、本実施例で用いられる画像の一例を示す図である。図５（Ａ）の版下画像ＤＩ１は、ラベルＢＬ１を示している。このように版下画像ＤＩ１に示されるラベルを、実物のラベルＬ１と区別するために符号「ＢＬ１」を付す。ラベルＢＬ１は、実物のラベルＬを表現したＣＧ（コンピュータグラフィックス）画像であり、文字ＢＸ１とマークＢＭ１と、を含む。
【0031】
ＣＧ画像は、コンピュータによって生成される画像であり、例えば、オブジェクトを描画するための描画コマンドを含むベクタデータのレンダリング（ラスタライズとも呼ばれる）によって、生成される。
【0032】
本実施例では、版下画像ＤＩ１は、ラベルＢＬ１のみを含み、背景を含んでいない。また、版下画像ＤＩ１においてラベルＢＬ１は傾いていない。すなわち、版下画像ＤＩ１の矩形の四辺と、矩形のラベルＢＬ１の四辺とは一致している。
【0033】
Ｓ１１０では、ＣＰＵ１１０は、正常画像データ生成処理を実行する。正常画像データ生成処理は、版下画像データＲＤ１を用いて、欠陥を含まない正常品の画像（以下、正常画像とも呼ぶ）を示す正常画像データを生成する処理である。図６は、正常画像データ生成処理のフローチャートである。
【0034】
Ｓ２０５では、ＣＰＵ１１０は、版下画像データＲＤ１に対して明度補正処理を実行する。明度補正処理は、画像の明度を変更する処理である。例えば、明度補正処理は、各画素のＲＧＢ値の３個の成分値（Ｒ値、Ｇ値、Ｂ値）のそれぞれを、ガンマカーブを用いて変換することによって、行われる。ガンマカーブのγ値は、例えば、０．７～１．３の範囲内でランダムに決定される。γ値は、明度補正の程度を決定付けるパラメータである。γ値が１未満である場合には、補正によって（Ｒ値、Ｇ値、Ｂ値）が大きくなるので明度は高くなる。γ値が１より大きい場合には、補正によって（Ｒ値、Ｇ値、Ｂ値）が小さくなるので明度は低くなる。
【0035】
Ｓ２１０では、ＣＰＵ１１０は、明度補正処理済みの版下画像データＲＤ１に対して、平滑化処理を実行する。平滑化処理は、画像を平滑化する処理である。平滑化処理によって、画像内のエッジがぼける。平滑化処理には、例えば、ガウシアンフィルタを用いる平滑化処理が用いられる。例えば、ガウシアンフィルタのパラメータである標準偏差σは、０～３の範囲内でランダムに決定される。これによって、エッジのぼけ方にバラツキを持たせることができる。なお、変形例では、ラプラシアンフィルタやメディアンフィルタを用いる平滑化処理が用いられても良い。
【0036】
Ｓ２１５では、ＣＰＵ１１０は、平滑化処理済みの版下画像データＲＤ１に対して、ノイズ付加処理を実行する。ノイズ付加処理は、画像に対して、例えば、正規分布に従うノイズであり、例えば全ての画素に対して平均０、分散１０のパラメータによって生成される正規分布乱数によるノイズを付加する処理である。
【0037】
Ｓ２２０では、ＣＰＵ１１０は、ノイズ付加処理済みの版下画像データＲＤ１に対して回転処理を実行する。回転処理は、特定の回転角度で画像を回転させる処理である。特定の回転角度は、例えば、－３度～＋３度の範囲内でランダムに決定される。例えば、正の回転角度は時計回りの回転を示し、負の回転角度は反時計回りの回転を示す。回転は、例えば、版下画像ＤＩ１の重心を中心として実行される。
【0038】
Ｓ２２５では、ＣＰＵ１１０は、回転処理後の版下画像データＲＤ１に対して、シフト処理を実行する。シフト処理は、画像内のラベルの部分をシフト量分だけずらす処理である。縦方向のシフト量は、例えば、版下画像ＤＩ１の縦方向の画素数の数％の範囲、本実施例では、－２０～＋２０画素の範囲内でランダムに決定される。同様に、横方向のシフト量は、例えば、横方向の画素数の数％の範囲でランダムに決定される。
【0039】
Ｓ２３０では、ＣＰＵ１１０は、Ｓ２０５～Ｓ２３０の処理が実行された後の処理済みの版下画像データＲＤ１を正常画像データとして保存する。例えば、処理済みの版下画像データＲＤ１は、正常画像を示す識別情報と対応付けて不揮発性記憶装置１３０に格納される。図５（Ｂ）には、正常画像データによって示される正常画像ＤＩ２が示されている。正常画像ＤＩ２のラベルＢＬ２では、版下画像ＤＩ１のラベルＢＬ１（図５（Ｂ））と比較して、例えば、全体の明るさ、傾き、重心の位置、マークＢＭ２や文字ＢＸ２のぼけの程度が異なっている。また、上述した回転処理およびシフト処理によって、正常画像ＤＩ２の４辺と、ラベルＢＬ２の４辺と、の間には、隙間ｎｔが生じている。隙間ｎｔの領域は、所定の色、例えば、白色の画素によって埋められている。
【0040】
Ｓ２３５では、ＣＰＵ１１０は、所定数（例えば、数百～数千）の正常画像データが生成されたか否かを判断する。所定数の正常画像データが生成されていない場合には（Ｓ２３５：ＮＯ）、ＣＰＵ１１０は、Ｓ２０５に戻る。所定数の正常画像データが生成された場合には（Ｓ２３５：ＹＥＳ）、ＣＰＵ１１０は、正常画像データ生成処理を終了する。
【0041】
なお、正常画像データ生成処理に含められる画像処理（シフト処理、回転処理、ノイズ付加処理、明度補正処理、平滑化処理）は、一例であり、適宜に省略され得るとともに、適宜に他の画像処理が追加され得る。例えば、版下画像ＤＩ１内の一部の構成要素（例えば、文字やマーク）の色や形状を適宜に置換や改変する処理が追加されても良い。
【0042】
正常画像データ生成処理後の図４のＳ１２０では、ＣＰＵ１１０は、生成された正常画像データを用いて異常画像データ生成処理を実行する。異常画像データ生成処理は、欠陥を含む異常品の画像（以下、異常画像とも呼ぶ）を示す異常画像データを生成する処理である。図７は、異常画像データ生成処理のフローチャートである。
【0043】
Ｓ２５０では、ＣＰＵ１１０は、図４のＳ１１０の正常画像データ生成処理にて生成済みの複数個の正常画像データの中から、１個の処理対象の正常画像データを選択する。この選択は、例えば、ランダムに行われる。
【0044】
Ｓ２５５では、ＣＰＵ１１０は、処理対象の正常画像データに対して、欠陥付加処理を実行する。欠陥付加処理は、キズ、汚れなどの欠陥を、正常画像ＤＩ２に対して疑似的に付加する処理である。
【0045】
異常画像データによって示される異常画像は、疑似的な欠陥を含むラベルを示す画像である。例えば、図５（Ｃ）の異常画像ＤＩ４ａのラベルＢＬ４ａは、文字ＢＸ４やマークＢＭ４に加えて、疑似的な欠陥として、線状のキズを疑似的に示す画像（以下、線状キズｄｆ４ａとも呼ぶ）を含んでいる。線状キズｄｆ４ａは、例えば、ベジエ曲線やスプライン曲線などの曲線である。例えば、ＣＰＵ１１０は、ベジエ曲線の制御点の位置や個数、線の太さ、線の色を、所定の範囲内でランダムに決定することによって、線状キズｄｆ４ａを生成する。ＣＰＵ１１０は、生成された線状キズｄｆ４ａを正常画像ＤＩ２に合成する。これによって、異常画像ＤＩ４ａを示す異常画像データが生成される。なお、本実施例では、線状キズに加えて、疑似的な汚れと、円状のキズ（以下、円状キズとも呼ぶ）と、が合成された異常画像データも生成される。例えば、図５（Ｄ）の異常画像ＤＩ４ｂのラベルＢＬ４ｂは、文字ＢＸ４やマークＢＭ４に加えて、疑似的な欠陥として、汚れを疑似的に示す画像（以下、汚れｄｆ４ｂとも呼ぶ）を含んでいる。汚れｄｆ４ｂは、例えば、微小な多数の点を所定の領域に配置することによって生成される。変形例では、疑似的な欠陥は、該欠陥を撮像して得られる画像から該欠陥部分を抜き出すことによって生成されても良い。変形例では、疑似的な欠陥は、他の種類の欠陥、例えば、文字やマークの欠けや潰れ、ラベルの角部の折れを含んでも良い。
【0046】
Ｓ２６０では、ＣＰＵ１１０は、欠陥付加処理済みの正常画像データを異常画像データとして保存する。例えば、欠陥付加処理済みの正常画像データは、付加された欠陥の種類（本実施例では、線状キズ、汚れ、円状キズの３種のうちのいずれか）を示す識別情報と対応付けて不揮発性記憶装置１３０に格納される。
【0047】
Ｓ２６５では、ＣＰＵ１１０は、Ｓ２５５、Ｓ２６０の処理がＭ回（Ｍは２以上の整数）繰り返されたか否かを判断する。換言すれば、１個の正常画像データに基づいてＭ個の互いに異なる異常画像データが生成されたか否かが判断される。Ｓ２５５、Ｓ２６０の処理がＭ回繰り返されていない場合には（Ｓ２６５：ＮＯ）、ＣＰＵ１１０は、Ｓ２５５に戻る。ＳＳ２５５、Ｓ２６０の処理がＭ回繰り返された場合には（Ｓ２６５：ＹＥＳ）、ＣＰＵ１１０は、Ｓ２７０に処理を進める。Ｍは、例えば、１～５の範囲の値である。
【0048】
Ｓ２７０では、ＣＰＵ１１０は、所定数の異常画像データが生成されたか否かを判断する。本実施例では、線状キズ、汚れ、円状キズの３種の欠陥が付加された異常画像データが、それぞれ、数百～数千ずつ生成された場合に、所定数の異常画像データが生成されたと判断される。所定数の異常画像データが生成されていない場合には（Ｓ２７０：ＮＯ）、ＣＰＵ１１０は、Ｓ２５０に戻る。所定数の異常画像データが生成された場合には（Ｓ２７０：ＹＥＳ）、ＣＰＵ１１０は、異常画像データ生成処理を終了する。
【0049】
異常画像データ生成処理後の図４のＳ１３０では、ＣＰＵ１１０は、生成された正常画像データと、背景画像データと、を用いて合成画像データ生成処理を実行する。合成画像データ生成処理は、背景画像にラベルの画像（本実施例では正常画像ＤＩ２）を合成して得られる合成画像を示す合成画像データを生成する処理である。図８は、合成画像データ生成処理のフローチャートである。図９は、合成画像データ生成処理の説明図である。
【0050】
Ｓ３００では、ＣＰＵ１１０は、図４のＳ１１０の正常画像データ生成処理にて生成済みの複数個の正常画像データの中から、１個の処理対象の正常画像データを選択する。この選択は、例えば、ランダムに行われる。
【0051】
Ｓ３０５では、ＣＰＵ１１０は、背景画像データ群ＢＤの中から、１個の処理対象の背景画像データを選択する。図９（Ａ）には、背景画像データによって示される背景画像ＢＩの一例が示されている。背景画像データ群ＢＤに含まれる各背景画像データは、例えば、デジタルカメラを用いて、様々な被写体（例えば、風景、室内、プリンタなどのデバイス）を撮像して得られる撮像画像データである。これに限らず、背景画像データは、例えば、スキャナを用いて、絵や写真などの原稿を読み取って得られるスキャンデータを含んでも良い。背景画像データ群ＢＤに含まれる背景画像データの個数は、例えば、数１０～数千である。背景画像ＢＩのサイズ（図９のＸ方向およびＹ方向の画素数）は、後述する物体検出モデルＡＮの入力画像のサイズに調整されている。
【0052】
Ｓ３１０では、ＣＰＵ１１０は、背景画像ＢＩに対して、正常画像ＤＩ２を合成するための合成情報を生成する。例えば、合成情報は、正常画像ＤＩ２を合成する合成位置を示す位置情報と、合成時の拡大率と、を含む。拡大率は、正常画像ＤＩ２を拡大または縮小する程度を示す値であり、所定の範囲（例えば、０．７～１．３）内でランダムに決定される。位置情報は、例えば、背景画像ＢＩの左上の頂点Ｐｏを原点とする座標系において、合成時に正常画像ＤＩ２の重心Ｃｐが位置すべき座標（ｘ、ｙ）を示す。正常画像ＤＩ２の重心Ｃｐが位置すべき座標（ｘ、ｙ）は、例えば、正常画像ＤＩ２の全体が背景画像ＢＩ内に位置する範囲内でランダムに決定される。該合成情報は、後述する教師データ生成処理においても用いられる。
【0053】
Ｓ３１５では、ＣＰＵ１１０は、選択された背景画像データと、選択された正常画像データと、を用いて、合成画像ＣＩを示す合成画像データを生成する。具体的には、ＣＰＵ１１０は、正常画像データに対して、合成情報に含まれる拡大率に従って、正常画像ＤＩ２を拡大または縮小するサイズ調整処理を実行する。ＣＰＵ１１０は、サイズ調整処理済みの正常画像ＤＩ２を背景画像ＢＩに合成する合成処理を実行する。合成処理では、ＣＰＵ１１０は、正常画像ＤＩ２の複数個の画素のそれぞれについて、透過率αを規定する情報であるアルファチャンネルを生成する。正常画像ＤＩ２（図５（Ｂ））のラベルＢＬ２を構成する画素の透過率αは、１（１００％）に設定され、隙間ｎｔを構成する画素の透過率αは、０（１００％）に設定される。ＣＰＵ１１０は、合成情報に含まれる位置情報に従って、背景画像ＢＩ上に正常画像ＤＩ２を配置した場合に、正常画像ＤＩ２のラベルＢＬ２を構成する画素（透過率αが１に設定された画素）と重なる背景画像ＢＩ上の画素を特定する。ＣＰＵ１１０は、特定された背景画像ＢＩの複数個の画素の値を、正常画像ＤＩ２の対応する複数個の画素の値に置換する。これによって、背景画像ＢＩを背景とし、正常画像ＤＩ２を前景として、背景画像ＢＩと正常画像ＤＩ２とが合成された合成画像ＣＩ（図９（Ｂ））を示す合成画像データが生成される。
【0054】
Ｓ３２０では、ＣＰＵ１１０は、生成された合成画像データを不揮発性記憶装置１３０に保存する。例えば、ＣＰＵ１１０は、合成画像データを、合成画像データの生成に用いられた正常画像ＤＩ２によって示されるラベルＢＬ２の種類（例えば、ラベルＬ１、Ｌ２のいずれか）を示す識別情報と対応付けて、不揮発性記憶装置１３０に格納する。
【0055】
Ｓ３２５では、ＣＰＵ１１０は、全ての背景画像データを処理したか否かを判断する。未処理の背景画像データがある場合には（Ｓ３２５：ＮＯ）、ＣＰＵ１１０は、Ｓ３０５に戻る。全ての背景画像データが処理された場合には（Ｓ３２５：ＹＥＳ）、ＣＰＵ１１０は、Ｓ３３０に処理を進める。
【0056】
Ｓ３３０では、ＣＰＵ１１０は、所定数（例えば、数千～数万）の合成画像データが生成されたか否かを判断する。所定数の合成画像データが生成されていない場合には（Ｓ３３０：ＮＯ）、ＣＰＵ１１０は、Ｓ３００に戻る。所定数の合成画像データが生成された場合には（Ｓ３３０：ＹＥＳ）、ＣＰＵ１１０は、合成画像データ生成処理を終了する。
【0057】
合成画像データ生成処理後の図４のＳ１４０では、ＣＰＵ１１０は、教師データ生成処理を実行する。教師データ生成処理は、後述する物体検出モデルＡＮの訓練処理にて用いられる教師データを生成する処理である。図１０は、教師データ生成処理のフローチャートである。
【0058】
Ｓ３５０では、ＣＰＵ１１０は、図４のＳ１３０の教師データ生成処理にて生成済みの複数個の合成画像データの中から、１個の処理対象の合成画像データを選択する。
【0059】
Ｓ３５５では、ＣＰＵ１１０は、処理対象の合成画像データの生成時に生成された合成情報に基づいて、合成画像ＣＩ内のラベルＢＬ２が配置された領域を示すラベル領域情報を生成する。具体的には、合成画像ＣＩにおいて正常画像ＤＩ２が合成された領域の幅（Ｘ方向の長さ）Ｗｏと高さ（Ｙ方向の長さ）Ｈｏと、合成画像ＣＩにおいて正常画像ＤＩ２が合成された領域の重心Ｃｐの座標Ｃｐ（ｘ、ｙ）と、を含むラベル領域情報が生成される。領域の幅Ｗｏと高さＨｏとは、合成前の正常画像ＤＩ２の幅と高さと、合成情報に含まれる拡大率と、を用いて算出される。座標Ｃｐ（ｘ、ｙ）は、合成情報に含まれる位置情報に従って決定される。
【0060】
Ｓ３６０では、ＣＰＵ１１０は、Ｓ３５０にて生成されたラベル領域情報と、ラベルの種別（クラスとも呼ぶ）を示すクラス情報と、を含む教師データを生成して保存する。クラス情報は、処理対象の合成画像データの生成に用いられた正常画像ＤＩ２に示されるラベルＢＬ２の種別（本実施例ではラベルＬ１、Ｌ２のいずれか）を示す。教師データは、処理対象の合成画像データと対応付けて、不揮発性記憶装置１３０に格納される。この教師データは、物体検出モデルＡＮの出力データＯＤと対応している。このために、物体検出モデルＡＮについて後述する際に、この教師データについても補足説明する。
【0061】
Ｓ３６５では、ＣＰＵ１１０は、全ての合成画像データを処理したか否かを判断する。未処理の合成画像データがある場合には（Ｓ３６５：ＮＯ）、ＣＰＵ１１０は、Ｓ３５０に戻る。全ての合成画像データが処理された場合には（Ｓ３６５：ＹＥＳ）、ＣＰＵ１１０は、教師データ生成処理を終了する。教師データ生成処理が終了されると、図４の訓練データ生成処理は終了される。
【0062】
訓練データ生成処理後の図３のＳ２０では、ＣＰＵ１１０は、Ｓ２０Ａの物体検出モデルＡＮの訓練処理と、Ｓ２０Ｂの画像生成モデルＧＮ１の訓練処理と、Ｓ２０Ｃの画像生成モデルＧＮ２の訓練処理と、を並列に実行する。これらの訓練処理を並列に実行することで、検査準備処理の全体の処理時間を低減できる。以下では、これらの機械学習モデルの概要と訓練処理とを説明する。
【0063】
図１１は、物体検出モデルＡＮの説明図である。図１１（Ａ）は、物体検出モデルＡＮの構成の例を示す概略図である。物体検出モデルＡＮとしては、種々のオブジェクト検出モデルを採用可能である。本実施例では、物体検出モデルＡＮは、ＹＯＬＯ（You only look once）と呼ばれるオブジェクト検出モデルである。ＹＯＬＯは、例えば、論文「Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi, "You Only Look Once: Unified, Real-Time Object Detection", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 779-788」に開示されている。ＹＯＬＯモデルは、畳込ニューラルネットワークを用いて、画像内のオブジェクトが位置する領域と、該領域に位置するオブジェクトの種別と、を予測する。
【0064】
図１１（Ａ）に示すように、物体検出モデルＡＮは、ｍ個（ｍは１以上の整数）の畳込層ＣＶ１１－ＣＶ１ｍと、畳込層ＣＶ１１－ＣＶ１ｍに続くｎ個（ｎは１以上の整数）の全結合層ＣＮ１１－ＣＮ１ｎと、を有している（ｍは、例えば、２４。ｎは、例えば、２）。ｍ個の畳込層ＣＶ１１－ＣＶ１ｍのうちの１以上の畳込層の直後には、プーリング層が設けられる。
【0065】
畳込層ＣＶ１１－ＣＶ１ｍは、入力されるデータに対して、畳込処理とバイアスの加算処理とを含む処理を実行する。畳込処理は、入力されたデータに対して、ｔ個のフィルタを順次に適用し、入力されたデータとフィルタとの相関を示す相関値を算出する処理である（ｔは、１以上の整数）。フィルタを適用する処理では、フィルタをスライドさせながら複数個の相関値が順次に算出される。バイアスの加算処理は、算出された相関値に、バイアスを加算する処理である。バイアスは、１個のフィルタに対して１個ずつ準備されている。フィルタの次元とフィルタの数ｔとは、通常は、ｍ個の畳込層ＣＶ１１－ＣＶ１ｍの間で異なっている。畳込層ＣＶ１１－ＣＶ１ｍは、複数のフィルタの複数の重みと複数のバイアスとを含むパラメータセットを、それぞれ有している。
【0066】
プーリング層は、直前の畳込層から入力されたデータに対して、データの次元数を削減する処理を実行する。プーリングの処理としては、平均プーリング、最大プーリングなど、種々の処理を利用可能である。本実施例では、プーリング層は、最大プーリングを行う。最大プーリングは、所定サイズ（例えば、２×２）のウィンドウを所定のストライド（例えば、２）でスライドさせつつ、ウィンドウ内の最大値を選択することによって次元数を削減する。
【0067】
全結合層ＣＮ１１－ＣＮ１ｎは、直前の層から入力されたｆ次元のデータ（すなわち、ｆ個の値。ｆは２以上の整数）を用いて、ｇ次元のデータ（すなわち、ｇ個の値。ｇは２以上の整数）を出力する。出力されるｇ個の値のそれぞれは、入力されるｆ個の値で構成されるベクトルとｆ個の重みで構成されるベクトルとの内積に、バイアスを加えた値である。入力データの次元数ｆと出力データの次元数ｇとは、通常は、ｎ個の全結合層ＣＮ１１－ＣＮ１ｎの間で異なっている。全結合層ＣＮ１１－ＣＮ１ｎは、複数の重みと複数のバイアスとを含むパラメータセットを、それぞれ有している。
【0068】
なお、畳込層ＣＶ１１－ＣＶ１ｍと全結合層ＣＮ１１－ＣＮ１ｎとのそれぞれによって生成されるデータは、活性化関数に入力されて変換される。活性化関数としては、種々の関数を利用可能である。本実施例では、最後の層（ここでは、全結合層ＣＮ１ｎ）には、線形活性化関数（linear activation function）が用いられ、他の層には、漏洩正規化線形ユニット（Leaky Rectified Linear Unit：LReLU）が用いられる。
【0069】
物体検出モデルＡＮの動作の概要を説明する。物体検出モデルＡＮには、入力画像データＩＩａが入力される。本実施例では、訓練処理において、入力画像データＩＩａとして合成画像ＣＩ（図９（Ｂ））を示す合成画像データが入力される。
【0070】
物体検出モデルＡＮは、入力画像データＩＩａが入力されると、入力画像データＩＩａに対して上述したパラメータセットを用いた演算処理を実行して、出力データＯＤを生成する。出力データＯＤは、Ｓ×Ｓ×（Ｂｎ×５＋Ｃ）個の予測値を含むデータである。各予測値は、オブジェクト（本実施例ではラベル）が位置すると予測される予測領域（バウンディングボックスとも呼ばれる）を示す予測領域情報と、該予測領域に存在するオブジェクトの種別（クラスとも呼ばれる）を示すクラス情報と、を含む。
【0071】
予測領域情報は、入力画像（例えば、合成画像ＣＩ）をＳ×Ｓ（Ｓは２以上の整数。Ｓは、例えば、７）に分割して得られる（Ｓ×Ｓ）個のセルに対して、Ｂｎ（Ｂｎは１以上の整数、例えば、２）個ずつ設定される。そして、各予測領域情報は、セルに対する予測領域の中心座標（Ｘｐ、Ｙｐ）と幅Ｗｐと高さＨｐと、確信度Ｖｃと、の５個の値を含む。確信度Ｖｃは、予測領域にオブジェクトが存在する確率を示す情報である。クラス情報は、セルに存在するオブジェクトの種別を種別ごとの確率で示す情報である。クラス情報は、オブジェクトの種別をＣ種（Ｃは１以上の整数、本実施例では、２）に分類する場合に、Ｃ個の確率を示す値を含む。このために、出力データＯＤは、上述のように、Ｓ×Ｓ×（Ｂｎ×５＋Ｃ）個の予測値を含む。
【0072】
上述した図１０のＳ３６０にて生成される教師データは、出力データＯＤと対応している。具体的には、教師データは、対応する合成画像データが物体検出モデルＡＮに入力される場合に、出力されるべき理想的な出力データＯＤを示す。すなわち、教師データは、Ｓ×Ｓ×（Ｂｎ×５＋Ｃ）個の予測値のうち、合成画像ＣＩ（図９（Ｂ））におけるラベルＢＬ２（正常画像ＤＩ２）の中心が位置するセルに対応する理想的な予測値として、上述したラベル領域情報と、最大の確信度Ｖｃ（例えば、１）と、ラベルの種別を示す上述したクラス情報と、を含む。また、教師データは、ラベルＢＬ２の中心が位置しないセルに対応する予測値として、最小の確信度Ｖｃ（例えば、０）を含む。
【0073】
次に、物体検出モデルＡＮの訓練処理（図３のＳ２０Ａ）について説明する。図１１（Ｂ）は、物体検出モデルＡＮの訓練処理のフローチャートである。物体検出モデルＡＮは、出力データＯＤが入力画像（例えば、合成画像ＣＩ）の適切なラベル領域と適切なラベルの種別とを示すように、訓練される。訓練によって、物体検出モデルＡＮの演算に用いられる複数の演算パラメータ（複数の層ＣＶ１１－ＣＶ１ｍ、ＣＮ１１－ＣＮ１ｎのそれぞれの演算に用いられる複数の演算パラメータを含む）が、調整される。訓練処理前は、複数の演算パラメータは、乱数値などの初期値に設定されている。
【0074】
Ｓ４１０では、ＣＰＵ１１０は、不揮発性記憶装置１３０からバッチサイズ分の複数個の合成画像データを取得する。Ｓ４２０では、ＣＰＵ１１０は、複数個の合成画像データを物体検出モデルＡＮに入力し、複数個の合成画像データに対応する複数個の出力データＯＤを生成する。
【0075】
Ｓ４３０では、複数個の出力データＯＤと、複数個の出力データＯＤに対応する複数個の教師データと、を用いて、損失値を算出する。ここで、出力データＯＤに対応する教師データは、図１０のＳ３６０にて、該出力データＯＤに対応する合成画像データに対応付けて保存された教師データを意味する。損失値は、合成画像データごとに算出される。
【0076】
損失値の算出には、損失関数が用いられる。損失関数は、出力データＯＤと教師データとの間の差分に応じた損失値を算出する種々の関数であってよい。本実施例では、ＹＯＬＯの上記の論文に開示されている損失関数が用いられる。この損失関数は、例えば、領域損失項と、オブジェクト損失項と、クラス損失項と、を含む。領域損失項は、教師データに含まれるラベル領域情報と、出力データＯＤに含まれる対応する予測領域情報と、の差分が小さいほど小さな損失値を算出する項である。ラベル領域情報に対応する予測領域情報は、出力データＯＤに含まれる複数個の予測領域情報のうち、ラベル領域情報が対応付けられたセルに対応付けられた予測領域情報である。オブジェクト損失項は、各予測領域情報の確信度Ｖｃについて、教師データの値（０または１）と出力データＯＤの値との差分が小さいほど小さな値を算出する項である。クラス損失項は、教師データに含まれるクラス情報と、出力データＯＤに含まれる対応するクラス情報と、の差分が小さいほど小さな損失値を算出する項である。出力データＯＤに含まれる対応するクラス情報は、出力データＯＤに含まれる複数個のクラス情報のうち、教師データのクラス情報が対応付けられたセルに対応付けられたクラス情報である。各項の具体的な損失関数には、差分に応じた損失値を算出するための公知の損失関数、例えば、二乗誤差、クロスエントロピー誤差、絶対誤差が用いられる。
【0077】
Ｓ４４０では、ＣＰＵ１１０は、算出された損失値を用いて、物体検出モデルＡＮの複数の演算パラメータを調整する。具体的には、ＣＰＵ１１０は、合成画像データごとに算出される損失値の合計が小さくなるように、所定のアルゴリズムに従って演算パラメータを調整する。所定のアルゴリズムとしては、例えば、誤差逆伝播法と勾配降下法とを用いたアルゴリズムが用いられる。
【0078】
Ｓ４５０では、ＣＰＵ１１０は、訓練の終了条件が満たされるか否かを判断する。訓練終了条件は、種々の条件であってよい。訓練終了の条件は、例えば、損失値が基準値以下になったことや、損失値の変化量が基準値以下になったことや、Ｓ４４０の演算パラメータの調整が繰り返された回数が所定数以上になったことである。
【0079】
訓練の終了条件が満たされない場合には（Ｓ４５０：ＮＯ）、ＣＰＵ１１０は、Ｓ４１０に戻って、訓練を継続する。訓練の終了条件が満たされた場合には（Ｓ４５０：ＹＥＳ）、ＣＰＵ１１０は、Ｓ４６０にて、調整済の演算パラメータを含む訓練済みの物体検出モデルＡＮのデータを、不揮発性記憶装置１３０に格納して、訓練処理を終了する
【0080】
訓練済みの物体検出モデルＡＮによって生成される出力データＯＤは、以下の特徴を有している。出力データＯＤにおいて、入力画像内のラベルの中心を含むセルに対応付けられた予測領域情報の１つは、入力画像内のラベルの領域を適切に示す情報と、高い確信度Ｖｃ（１に近い確信度Ｖｃ）と、を含む。また、出力データＯＤにおいて、入力画像内のラベルの中心を含むセルに対応付けられたクラス情報は、ラベルの種別を適切に示す。出力データＯＤに含まれる他の予測領域情報は、ラベルの領域とは異なる領域を示す情報と、低い確信度Ｖｃ（０に近い確信度Ｖｃ）と、を含む。従って、高い確信度Ｖｃを含む予測領域情報を用いて、入力画像内のラベルの領域を特定できる。
【0081】
次に画像生成モデルＧＮ１、ＧＮ２の構成と、画像生成モデルＧＮ１、ＧＮ２の訓練処理（図３のＳ２０Ｂ、Ｓ２０Ｃ）について説明する。図１２は、画像生成モデルＧＮの説明図である。画像生成モデルＧＮ１、ＧＮ２の構成は同じであるので、画像生成モデルＧＮの構成として説明する。図１２（Ａ）は、画像生成モデルＧＮの構成の例を示す概略図である。本実施例では、画像生成モデルＧＮは、いわゆるオートエンコーダであり、エンコーダＶｅと、デコーダＶｄと、を備えている。
【0082】
エンコーダＶｅは、オブジェクトの画像を表す入力画像データＩＩｇに対して次元削減処理を実行して、入力画像データＩＩｇによって表される入力画像（例えば、図５（Ｂ）の正常画像ＤＩ２）の特徴を抽出して特徴データを生成する。本実施例では、エンコーダＶｅは、ｐ個（ｍは１以上の整数）の畳込層Ｖｅ２１－Ｖｅ２ｐを有している。各畳込層の直後には、プーリング層が設けられる（例えば、最大プーリング層）。ｐ個の畳込層のそれぞれの活性化関数は、例えば、ＲｅＬＵである。
【0083】
デコーダＶｄは、特徴データに対して次元復元処理を実行して、出力画像データＯＩｇを生成する。出力画像データＯＩｇは、特徴データに基づいて再構成された画像を表している。出力画像データＯＩｇの画像サイズと各画素の色値の色成分とは、入力画像データＩＩｇのものと同じである。
【0084】
本実施例では、デコーダＶｄは、ｑ個（ｑは１以上の整数）の畳込層Ｖｄ２１－Ｖｄ２ｑを有している。最後の畳込層Ｖｄ２ｑを除いた残りの畳込層のそれぞれの直後には、アップサンプリング層が設けられる。最後の畳込層Ｖｄ２ｑの活性化関数は、出力画像データＯＩｇの生成に適した関数（例えば、Sigmoid関数、または、Tanh関数）である。他の畳込層のそれぞれの活性化関数は、例えば、ＲｅＬＵである。
【0085】
畳込層Ｖｅ２１－Ｖｅ２ｐ、Ｖｄ２１－Ｖｄ２ｑは、入力されるデータに対して、畳込処理とバイアスの加算処理とを含む処理を実行する。これらの畳込層は、畳込処理に用いられる複数のフィルタの複数の重みと複数のバイアスとを含むパラメータセットを、それぞれ有している。
【0086】
次に、画像生成モデルＧＮの訓練処理（図３のＳ２０Ｂ、２０Ｃ）について説明する。図１２（Ｂ）は、画像生成モデルＧＮの訓練処理のフローチャートである。訓練によって、画像生成モデルＧＮの演算に用いられる複数の演算パラメータ（畳込層Ｖｅ２１－Ｖｅ２ｐ、Ｖｄ２１－Ｖｄ２ｑのそれぞれの演算に用いられる複数の演算パラメータを含む）が、調整される。訓練処理前は、複数の演算パラメータは、乱数値などの初期値に設定されている。
【0087】
Ｓ５１０では、ＣＰＵ１１０は、不揮発性記憶装置１３０からバッチサイズ分の複数個の正常画像データを取得する。ここで、画像生成モデルＧＮ１は、ラベルＬ１用の画像生成モデルＧＮであるので、画像生成モデルＧＮ１の訓練処理では、ラベルＬ１を示す正常画像データが取得される。画像生成モデルＧＮ２は、ラベルＬ２用の画像生成モデルＧＮであるので、画像生成モデルＧＮ２の訓練処理では、ラベルＬ２を示す正常画像データが取得される。これによって、画像生成モデルＧＮ１は、ラベルＬ１用に訓練され、画像生成モデルＧＮ２は、ラベルＬ２用に訓練される。Ｓ５２０では、ＣＰＵ１１０は、複数個の正常画像データを画像生成モデルＧＮに入力し、複数個の正常画像データに対応する複数個の出力画像データＯＩｇを生成する。
【0088】
Ｓ５３０では、ＣＰＵ１１０は、複数個の正常画像データと、複数個の正常画像データに対応する複数個の出力画像データＯＩｇと、を用いて、損失値を算出する。具体的には、ＣＰＵ１１０は、正常画像データと、対応する出力画像データＯＩｇと、の間の差分を示す評価値を、正常画像データごとに算出する。損失値は、例えば、画素毎、色成分毎の成分値の交差エントロピー誤差の合計値である。損失値の算出には、成分値の差分に応じた損失値を算出するための他の公知の損失関数、例えば、二乗誤差、絶対誤差が用いられても良い。
【0089】
Ｓ５４０では、ＣＰＵ１１０は、算出された損失値を用いて、画像生成モデルＧＮの複数の演算パラメータを調整する。具体的には、ＣＰＵ１１０は、正常画像データごとに算出される損失値の合計が小さくなるように、所定のアルゴリズムに従って演算パラメータを調整する。所定のアルゴリズムとしては、例えば、誤差逆伝播法と勾配降下法とを用いたアルゴリズムが用いられる。
【0090】
Ｓ５５０では、ＣＰＵ１１０は、訓練終了条件が満たされるか否かを判断する。訓練終了条件は、図１１（Ｂ）のＳ４５０と同様に、種々の条件、例えば、損失値が基準値以下になったことや、損失値の変化量が基準値以下になったことや、Ｓ５４０の演算パラメータの調整が繰り返された回数が所定数以上になったこと、が用いられる。
【0091】
訓練の終了条件が満たされない場合には（Ｓ５５０：ＮＯ）、ＣＰＵ１１０は、Ｓ５１０に戻って、訓練を継続する。訓練の終了条件が満たされた場合には（Ｓ５５０：ＹＥＳ）、ＣＰＵ１１０は、Ｓ５６０にて、調整済の演算パラメータを含む訓練済みの画像生成モデルＧＮのデータを、不揮発性記憶装置１３０に格納して、訓練処理を終了する。
【0092】
訓練済みの画像生成モデルＧＮによって生成される出力画像データＯＩｇは、入力画像としての正常画像ＤＩ２の特徴を再構成して再現した再現画像ＤＩ５（図５（Ｅ））を示す。このために、訓練済みの画像生成モデルＧＮによって生成される出力画像データＯＩｇを、再現画像ＤＩ５を示す再現画像データとも呼ぶ。図５（Ｅ）の再現画像ＤＩ５は、図５（Ｂ）正常画像ＤＩ２とほぼ同様の画像である。なお、訓練済みの画像生成モデルＧＮは、正常画像ＤＩ２の特徴のみを再構成するように訓練される。このために、異常画像ＤＩ４ａ（図５（Ｃ））や異常画像ＤＩ４ｂ（図５（Ｄ））を示す異常画像データが訓練済みの画像生成モデルＧＮに入力される場合に生成される再現画像データは、正常画像ＤＩ２を示すことが期待できる。すなわち、異常画像データが訓練済みの画像生成モデルＧＮに入力される場合に生成される再現画像データは、異常画像ＤＩ４ａ、ＤＩ４ｂに含まれる欠陥（線状キズｄｆ４ａや汚れｄｆ４ｂ）を含まない再現画像ＤＩ５を示す。換言すれば、画像生成モデルＧＮに、正常画像データが入力される場合も異常画像データが入力される場合も、再現画像ＤＩ５は、図５（Ｅ）に示すように、正常画像ＤＩ２を再現した画像になる。
【0093】
図３のＳ２０の訓練処理後のＳ３０では、ＣＰＵ１１０は、訓練差分画像データ生成処理を実行する。訓練差分画像データ生成処理は、後述する画像識別モデルＤＮ１、ＤＮ２の訓練処理に用いる差分画像データを生成する処理である。図１３は、訓練差分画像データ生成処理のフローチャートである。
【0094】
Ｓ６１０では、ＣＰＵ１１０は、不揮発性記憶装置１３０に格納済みの正常画像データ群と異常画像データ群との中から、１個の注目画像データを選択する。Ｓ６２０では、ＣＰＵ１１０は、注目画像データを訓練済みの画像生成モデルＧＮに入力し、注目画像データに対応する再現画像データを生成する。なお、注目画像データがラベルＬ１の版下画像データＲＤ１を用いて生成された画像データ（正常画像データまたは異常画像データ）である場合には、ラベルＬ１用の画像生成モデルＧＮ１が用いられる。注目画像データがラベルＬ２の版下画像データＲＤ２を用いて生成された画像データである場合には、ラベルＬ２用の画像生成モデルＧＮ２が用いられる。
【0095】
Ｓ６３０では、ＣＰＵ１１０は、注目画像データと、注目画像データに対応する再現画像データと、を用いて差分画像データを生成する。例えば、ＣＰＵ１１０は、注目画像データによって示される画像の画素の成分値ｖ１と、対応する再現画像の画素の成分値ｖ２と、の差分値（ｖ１－ｖ２）を算出し、該差分値を０～１の範囲の値に正規化する。ＣＰＵ１１０は、画素毎、色成分ごとに、当該差分値を算出し、該差分値を画素の色値とする差分画像データを生成する。
【0096】
図５（Ｆ）の差分画像ＤＩ６ｎは、注目画像データが正常画像ＤＩ２（図５（Ｂ））を示す正常画像データである場合に生成される差分画像データによって示される。この場合には、図５（Ｅ）の再現画像ＤＩ５と図５（Ｂ）の正常画像ＤＩ２とは、ほぼ同じ画像であるので、差分画像ＤＩ６ｎの各画素値は、０に近い値になる。ただし、図５（Ｅ）の再現画像ＤＩ５と図５（Ｂ）の正常画像ＤＩ２とは、完全に同じではないので、差分画像ＤＩ６ｎの各画素値は、完全に０ではなく、画素ごとに異なり得る値であり、画素ごとにバラツキを有する値となる。以下では、差分画像ＤＩ６ｎを正常差分画像ＤＩ６ｎとも呼び、正常差分画像ＤＩ６ｎを示す差分画像データを正常差分画像データとも呼ぶ。
【0097】
図５（Ｇ）の差分画像ＤＩ６ａは、注目画像データが異常画像ＤＩ４ａ（図５（Ｃ））を示す異常画像データである場合に生成される差分画像データによって示される。この場合には、図５（Ｅ）の再現画像ＤＩ５は、線状キズを含まないが、図５（Ｃ）の異常画像ＤＩ４ａは、線状キズｄｆ４ａを含む。このために、差分画像ＤＩ６ａには、異常画像ＤＩ４ａの線状キズｄｆ４ａと同様の線状キズｄｆ６ａが現れる。差分画像ＤＩ６ａの線状キズｄｆ６ａを除く部分の各画素の値は、正常差分画像ＤＩ６ｎと同様に、０に近い値となる。
【0098】
図５（Ｈ）の差分画像ＤＩ６ｂは、注目画像データが異常画像ＤＩ４ｂ（図５（Ｄ））を示す異常画像データである場合に生成される差分画像データによって示される。この場合には、図５（Ｅ）の再現画像ＤＩ５は、線状キズを含まないが、図５（Ｄ）の異常画像ＤＩ４ａは、汚れｄｆ４ｂを含む。このために、差分画像ＤＩ６ｂには、異常画像ＤＩ４ｂの汚れｄｆ４ｂと同様の汚れｄｆ６ｂが現れる。差分画像ＤＩ６ｂの汚れｄｆ６ｂを除く部分の各画素の値は、正常差分画像ＤＩ６ｎと同様に、０に近い値となる。以下では、差分画像ＤＩ６ａ、ＤＩ６ｂを異常差分画像ＤＩ６ａ、ＤＩ６ｂとも呼び、異常差分画像ＤＩ６ａ、ＤＩ６ｂを示す差分画像データを異常差分画像データとも呼ぶ。
【0099】
Ｓ６４０では、ＣＰＵ１１０は、注目画像データに対応付けられた識別情報を取得する。識別情報は、注目画像データによって示される画像に含まれる欠陥に関する種類を示す情報である。欠陥に関する種類は、本実施例では、正常（欠陥無し）、線状キズ、汚れ、円状キズのいずれかである。
【0100】
Ｓ６５０では、ＣＰＵ１１０は、生成された差分画像データと、取得された識別情報と、を、対応付けて不揮発性記憶装置１３０に保存（格納）する。識別情報は、後述する画像識別モデルＤＮ１、ＤＮ２の訓練処理において教師データとして用いられる。
【0101】
Ｓ６６０では、ＣＰＵ１１０は、格納済みの正常画像データ群と異常画像データ群に含まれる全ての画像データを処理したか否かを判断する。未処理の画像データがある場合には（Ｓ６６０：ＮＯ）、ＣＰＵ１１０は、Ｓ６１０に戻る。全ての画像データが処理された場合には（Ｓ６６０：ＹＥＳ）、ＣＰＵ１１０は、訓練差分画像データ生成処理を終了する。訓練データ生成処理によって生成される正常差分画像データ、異常差分画像データを総称して、訓練差分画像データとも呼ぶ。
【0102】
訓練差分画像データ生成処理後の図３のＳ４０では、ＣＰＵ１１０は、Ｓ２０Ａの画像識別モデルＤＮ１の訓練処理と、Ｓ４０Ｂの画像識別モデルＤＮ２の訓練処理と、を並列に実行する。これらの訓練処理を並列に実行することで、検査準備処理の全体の処理時間を低減できる。以下では、これらの機械学習モデルの概要と訓練処理とを説明する。
【0103】
図１４は、画像識別モデルＤＮの説明図である。画像識別モデルＤＮ１、ＤＮ２の構成は同じであるので、画像識別モデルＤＮの構成として説明する。図１４（Ａ）は、画像識別モデルＤＮの構成の例を示す概略図である。画像識別モデルＤＮは、入力画像データＩＩｄに対して、複数個の演算パラメータを用いる演算処理を実行して、入力画像データＩＩｄに対応する出力データＯＤｄを生成する。本実施例では、入力画像データＩＩｄとして、差分画像データが用いられる。本実施例では、出力データＯＤｄは、差分画像データの生成に用いられた画像内のラベルの欠陥に関する種類（本実施例では正常、線状キズ、汚れ、円状キズのいずれか）を識別した識別結果を示す。
【0104】
本実施例の画像識別モデルＤＮには、ＲｅｓＮｅｔ１８と呼ばれる公知のモデルが用いられている。このモデルは、例えば、論文「K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” in ICML, 2016.」に開示されている。画像識別モデルＤＮは、エンコーダＥＣと、分類部ＦＣと、を含む。エンコーダＥＣは、入力画像データＩＩｄに対して次元削減処理を実行して、入力画像データＩＩｄによって表される入力画像（例えば、図５（Ｆ）－（Ｈ）の差分画像ＤＩ６ｎ、ＤＩ６ａ、ＤＩ６ｂ）の特徴を示す特徴マップを生成する。
【0105】
エンコーダＥＣは、複数のレイヤＬＹ１～ＬＹ４を備えている。各レイヤは、複数個の畳込層を含むＣＮＮ（Convolutional Neural Network）である。各畳込層は、所定サイズのフィルタを用いて畳込処理(convolution)を実行して特徴マップを生成する。各畳込処理の算出値は、バイアスが加算されたうえで、所定の活性化関数に入力されて変換される。各畳込層から出力される特徴マップは次の処理層（次の畳込層やレイヤ）に入力される。活性化関数には、いわゆるReLU（Rectified Linear Unit）等の公知の関数が用いられる。畳込処理に用いられるフィルタの重みおよびバイアスとは、後述する訓練処理によって調整される演算パラメータである。なお、各レイヤＬＹ１～ＬＹ４から出力される特徴マップは、後述するＰａＤｉｍ用データ生成処理にて用いられるので、これらの特徴マップについては、ＰａＤｉｍ用データ生成処理において補足説明する。
【0106】
分類部ＦＣは、１以上の全結合層を含む。分類部ＦＣは、エンコーダＥＣから出力される特徴マップの次元数を削減して、出力データＯＤｄを生成する。分類部ＦＣの全結合層の演算に用いられる重みおよびバイアスは、後述する訓練処理によって調整される演算パラメータである。
【0107】
次に、画像識別モデルＤＮの訓練処理（図３のＳ４０Ａ、４０Ｂ）について説明する。図１４（Ｂ）は、画像識別モデルＤＮの訓練処理のフローチャートである。訓練によって、画像識別モデルＤＮの演算に用いられる複数の演算パラメータ（畳込層、および、全結合層のそれぞれの演算に用いられる複数の演算パラメータを含む）が、調整される。訓練処理前は、複数の演算パラメータは、乱数値などの初期値に設定されている。
【0108】
Ｓ７１０では、ＣＰＵ１１０は、不揮発性記憶装置１３０からバッチサイズ分の複数個の訓練差分画像データを取得する。ここで、バッチサイズ分の複数個の訓練差分画像データは、上述した異常差分画像データと正常差分画像データとの両方が含まれるように取得される。画像識別モデルＤＮ１は、ラベルＬ１用の画像識別モデルＤＮであるので、画像識別モデルＤＮ１の訓練処理では、ラベルＬ１を示す正常画像データおよび異常画像データを用いて生成された訓練差分画像データが取得される。画像識別モデルＤＮ２は、ラベルＬ２用の画像識別モデルＤＮであるので、画像識別モデルＤＮ２の訓練処理では、ラベルＬ２を示す正常画像データおよび異常画像データを用いて生成された訓練差分画像データが取得される。これによって、画像識別モデルＤＮ１は、ラベルＬ１用に訓練され、画像識別モデルＤＮ２は、ラベルＬ２用に訓練される。Ｓ７２０では、ＣＰＵ１１０は、複数個の訓練差分画像データを画像識別モデルＤＮに入力し、複数個の訓練差分画像データに対応する複数個の出力データＯＤｄを生成する。
【0109】
Ｓ７３０では、ＣＰＵ１１０は、複数個の出力データＯＤｄと、複数個の出力データＯＤｄに対応する複数個の教師データと、を用いて、損失値を算出する。ここで、出力データＯＤｄに対応する教師データは、図１３のＳ６５０にて、該出力データＯＤｄに対応する訓練差分画像データに対応付けて保存された識別情報である。具体的には、ＣＰＵ１１０は、複数個の出力データＯＤｄのそれぞれについて、出力データＯＤｄと、該出力データＯＤに対応する教師データと、の間の差分を示す損失値を算出する。
【0110】
損失値の算出には、所定の損失関数、例えば、二乗誤差が用いられる。損失値の算出には、出力データＯＤｄと教師データとの差分に応じた損失値を算出するための他の公知の損失関数、例えば、交差エントロピー誤差、絶対誤差が用いられても良い。
【0111】
Ｓ７４０では、ＣＰＵ１１０は、算出された損失値を用いて、画像識別モデルＤＮの複数の演算パラメータを調整する。具体的には、ＣＰＵ１１０は、出力データＯＤｄごとに算出される損失値の合計が小さくなるように、所定のアルゴリズムに従って演算パラメータを調整する。所定のアルゴリズムとしては、例えば、誤差逆伝播法と勾配降下法とを用いたアルゴリズムが用いられる。
【0112】
Ｓ７５０では、ＣＰＵ１１０は、訓練終了条件が満たされるか否かを判断する。訓練終了条件は、図１１（Ｂ）のＳ４５０と同様に、種々の条件、例えば、損失値が基準値以下になったことや、損失値の変化量が基準値以下になったことや、Ｓ７４０の演算パラメータの調整が繰り返された回数が所定数以上になったこと、が用いられる。
【0113】
訓練の終了条件が満たされない場合には（Ｓ７５０：ＮＯ）、ＣＰＵ１１０は、Ｓ７１０に戻って、訓練を継続する。訓練の終了条件が満たされた場合には（Ｓ７５０：ＹＥＳ）、ＣＰＵ１１０は、Ｓ７６０にて、調整済の演算パラメータを含む訓練済みの画像識別モデルＤＮのデータを、不揮発性記憶装置１３０に格納して、訓練処理を終了する。
【0114】
訓練済みの画像識別モデルＤＮによって生成された出力データＯＤｄは、上述のように、差分画像データの生成に用いられた画像内のラベルの欠陥に関する種類（本実施例では正常、線状キズ、汚れ、円状キズのいずれか）を識別した識別結果を示す。ただし、後述する検査処理では、該出力データＯＤｄは用いられない。このために、出力データＯＤｄが欠陥に関する種類を精度良く識別できるまで画像識別モデルＤＮが訓練される必要はない。検査処理では、画像識別モデルＤＮのエンコーダＥＣによって生成される特徴マップ（詳細は後述）が用いられる。このために、画像識別モデルＤＮは、画像識別モデルＤＮのエンコーダＥＣが差分画像データの特徴を十分に反映した特徴マップを生成できる程度に、訓練されることが好ましい。
【0115】
画像識別モデルＤＮの訓練処理後の図３のＳ５０では、ＣＰＵ１１０は、Ｓ５０ＡのラベルＬ１用のＰａＤｉＭデータ生成処理と、Ｓ５０ＢのラベルＬ２用のＰａＤｉＭデータ生成処理と、を並列に実行する。これらの処理を並列に実行することで、検査準備処理の全体の処理時間を低減できる。ラベルＬ１用のＰａＤｉＭデータ生成処理と、ラベルＬ２用のＰａＤｉＭデータ生成処理とは、基本的な処理内容は同一であるので、異なる部分を適宜指摘しつつ、ＰａＤｉＭデータ生成処理について説明する。
【0116】
ＰａＤｉＭ（a Patch Distribution Modeling Framework for Anomaly Detection and Localization）は、機械学習モデルを用いた異常検出の仕組みであり、論文「T. Defard, A. Setkov, A. Loesch, and R. Audigier, “Padim: a patch distribution modeling framework for anomaly detection and localization”,arXiv:2011.08785(2020),https://arxiv.org/abs/2011.08785,投稿日17 Nov 2020」に開示されている。ＰａＤｉＭデータ生成処理は、Ｐａｄｉｍのためのデータ（例えば、後述するガウシアンマトリクスＧＭ）を生成する処理である。図１５は、ＰａＤｉＭデータ生成処理のフローチャートである。図１６、図１７は、ＰａＤｉＭデータ生成処理の説明図である。
【0117】
Ｓ８１０では、ＣＰＵ１１０は、不揮発性記憶装置１３０から所定個数（Ｋ個とする）の正常差分画像データを取得する。正常差分画像データの個数Ｋは、例えば、１以上の整数、例えば、１０～１００程度である。ここで、ラベルＬ１用のＰａＤｉＭデータ生成処理では、ラベルＬ１を示す正常画像データを用いて生成された正常差分画像データの中から取得される。ラベルＬ２用のＰａＤｉＭデータ生成処理では、ラベルＬ２を示す正常画像データを用いて生成された正常差分画像データの中から取得される。取得されるＫ個の正常差分画像データは、生成済みの数百～数千の正常差分画像データの中から、例えば、ランダムに選択される。変形例では、生成済みの数百～数千の正常差分画像データの類似性が、例えば、ヒストグラムデータを用いて比較され、互いに類似しないＫ個の正常差分画像データが選択されても良い。
【0118】
Ｓ８２０では、ＣＰＵ１１０は、取得された各正常差分画像データを、入力画像データＩＩｄとして、画像識別モデルＤＮのエンコーダＥＣに入力して、Ｎ個の特徴マップｆｍを取得する。ラベルＬ１用のＰａＤｉＭデータ生成処理では、Ｎ個の特徴マップｆｍを取得するために、ラベルＬ１用の画像識別モデルＤＮ１のエンコーダＥＣ１が用いられる。ラベルＬ２用のＰａＤｉＭデータ生成処理では、Ｎ個の特徴マップｆｍを取得するために、ラベルＬ２用の画像識別モデルＤＮ２のエンコーダＥＣ２が用いられる。
【0119】
【0120】
第１レイヤＬＹ１は、ｎ１個の特徴マップｆｍ１（図１６（Ｂ））を生成する。該ｎ１個の特徴マップｆｍ１は、第２レイヤＬＹ２に入力される。各特徴マップｆｍ１は、例えば、３２画素×３２画素の画像データである。特徴マップｆｍ１の個数ｎ１（チャンネル数とも呼ぶ）は、例えば、６４である。
【0121】
第２レイヤＬＹ２は、ｎ２個の特徴マップｆｍ２（図１６（Ｂ））を生成する。該ｎ２個の特徴マップｆｍ２は、第３レイヤＬＹ３に入力される。各特徴マップｆｍ２は、例えば、１６画素×１６画素の画像データである。特徴マップｆｍ２のチャンネル数ｎ２は、例えば、１２８である。
【0122】
第３レイヤＬＹ３は、ｎ３個の特徴マップｆｍ３（図１６（Ｂ））を生成する。該ｎ３個の特徴マップｆｍ３は、第４レイヤＬＹ４に入力される。各特徴マップｆｍ３は、例えば、８画素×８画素の画像データである。特徴マップｆｍ３のチャンネル数ｎ３は、例えば、２５６である。
【0123】
第４レイヤＬＹ４は、ｎ４個の特徴マップｆｍ４を生成する。各特徴マップｆｍ４は、例えば、４画素×４画素の画像データである。ｎ４個の特徴マップｆｍ４は、ＰａＤｉＭデータ生成処理には用いられない。本ステップでは、レイヤＬＹ１～レイヤＬＹ３によって生成される合計Ｎ個（Ｎは３以上の整数）の特徴マップｆｍ１～ｆｍ３が取得される（Ｎ＝ｎ１＋ｎ２＋ｎ３、本実施例では、Ｎ＝４４８）。
【0124】
Ｓ８２０では、ＣＰＵ１１０は、Ｎ個の特徴マップｆｍを用いて、正常差分画像（例えば、（図５（Ｆ）の正常差分画像ＤＩ６ｎ）の特徴マトリクスＦＭを生成する。
【0125】
具体的には、ＣＰＵ１１０は、生成済みの特徴マップｆｍのサイズ（縦方向および横方向の画素数）を調整して、全ての特徴マップｆｍのサイズを同じにする。本実施例では、Ｎ個の特徴マップｆｍのうち、第１レイヤＬＹ１にて生成される特徴マップｆｍ１のサイズが最も大きい（図１６（Ｂ））。このために、本実施例では、ＣＰＵ１１０は、第２レイヤＬＹ２にて生成される特徴マップｆｍ２に公知の拡大処理を実行して、特徴マップｆｍ１と同じサイズの特徴マップｆｍ２ｒを生成する（図１６（Ｃ））。同様に、ＣＰＵ１１０は、第３レイヤＬＹ３にて生成される特徴マップｆｍ３に拡大処理を実行して、特徴マップｆｍ１と同じサイズの特徴マップｆｍ３ｒを生成する（図１６（Ｃ））。
【0126】
ＣＰＵ１１０は、１つの正常差分画像データを用いて生成されたサイズ調整後のＮ個の特徴マップｆｍの中から、特徴マトリクスＦＭの生成に用いるべきＲ個の使用マップＵｍを選択する（図１６（Ｄ））。使用マップＵｍの個数Ｒは、１以上Ｎ以下の整数であり、例えば、５０～２００程度である。Ｒ個の使用マップＵｍは、例えば、ランダムに選択される。
【0127】
ＣＰＵ１１０は、選択されたＲ個の使用マップＵｍを用いて、１つの正常差分画像の特徴マトリクスＦＭを生成する。特徴マトリクスＦＭは、サイズ調整後の特徴マップｆｍの各画素と一対一で対応する特徴ベクトルＶ（ｉ、ｊ）を要素とするマトリクスである。（ｉ、ｊ）は、特徴マップｆｍの対応する画素の座標を示す。特徴ベクトルは、Ｒ個の使用マップＵｍにおける座標（ｉ、ｊ）の画素の値を要素とするベクトルである。図１６（Ｅ）に示すように、１つの特徴ベクトルは、Ｒ次元のベクトル（要素数がＲのベクトル）である。
【0128】
ここで、正常差分画像の特徴マトリクスＦＭは、正常差分画像ごと（正常差分画像データごと）に生成される。本実施例では、使用される正常差分画像データの個数はＫ個であるから、正常差分画像のＫ個の特徴マトリクスＦＭ１～ＦＭＫが生成される（図１７（Ａ））。
【0129】
Ｓ８２５では、ＣＰＵ１１０は、正常差分画像のＫ個の特徴マトリクスＦＭ１～ＦＭＫを用いて、正常差分画像のガウシアンマトリクスＧＭを生成する。正常差分画像のガウシアンマトリクスＧＭは、サイズ調整後の特徴マップｆｍの各画素と一対一で対応するガウシアンパラメータを要素とするマトリクスである。座標（ｉ、ｊ）の画素に対応するガウシアンパラメータは、平均ベクトルμ（ｉ、ｊ）と、共分散行列Σ（ｉ、ｊ）と、を含む。平均ベクトルμ（ｉ、ｊ）は、正常差分画像のＫ個の特徴マトリクスＦＭ１～ＦＭＫの特徴ベクトルＶ（ｉ、ｊ）の平均である。共分散行列Σ（ｉ、ｊ）は、正常差分画像のＫ個の特徴マトリクスＦＭ１～ＦＭＫの特徴ベクトルＶ（ｉ、ｊ）の共分散行列である。平均ベクトルμ（ｉ、ｊ）と、共分散行列Σ（ｉ、ｊ）は、Ｋ個の特徴ベクトルＶ（ｉ、ｊ）を用いて算出される統計データである。Ｋ個の正常差分画像データに対して、１つのガウシアンマトリクスＧＭが生成される。
【0130】
Ｓ８３０では、ＣＰＵ１１０は、不揮発性記憶装置１３０から複数個の異常差分画像データを取得する。本実施例では、３種（線状キズ、汚れ、円状キズ）の欠陥を示す異常差分画像データが、それぞれ、Ｋ個ずつランダムに取得される。したがって、合計で（３×Ｋ）個の異常差分画像データが取得される。ラベルＬ１用のＰａＤｉＭデータ生成処理では、ラベルＬ１を示す異常画像データを用いて生成された異常差分画像データの中から取得される。ラベルＬ２用のＰａＤｉＭデータ生成処理では、ラベルＬ２を示す異常画像データを用いて生成された異常差分画像データの中から取得される。
【0131】
Ｓ８３５では、ＣＰＵ１１０は、取得された各異常差分画像データを、入力画像データＩＩｄとして、画像識別モデルＤＮのエンコーダＥＣに入力して、Ｎ個の特徴マップｆｍを取得する。ラベルＬ１用のＰａＤｉＭデータ生成処理では、Ｎ個の特徴マップｆｍを取得するために、ラベルＬ１用の画像識別モデルＤＮ１のエンコーダＥＣ１が用いられる。ラベルＬ２用のＰａＤｉＭデータ生成処理では、Ｎ個の特徴マップｆｍを取得するために、ラベルＬ２用の画像識別モデルＤＮ２のエンコーダＥＣ２が用いられる。
【0132】
Ｓ８４０では、ＣＰＵ１１０は、取得されたＮ個の特徴マップｆｍを用いて、異常差分画像（例えば、図５（Ｇ）、（Ｈ）の異常差分画像ＤＩ６ａ、ＤＩ６ｂ）の特徴マトリクスＦＭを生成する。特徴マトリクスＦＭの生成処理は、上述したＳ８２０にて説明した処理と同様である。本実施例では、使用される異常差分画像データの個数は（３×Ｋ）個であるから、異常差分画像の（３×Ｋ）個の特徴マトリクスＦＭが生成される。
【0133】
Ｓ８４５では、ＣＰＵ１１０は、生成された各特徴マトリクスＦＭと、ガウシアンマトリクスＧＭと、を用いて、各差分画像の異常度マップＡＭを生成する。この時点までに、Ｓ８２０とＳ８４０にて、Ｋ個の正常差分画像と（３×Ｋ）個の異常差分画像とを含む（４×Ｋ）個の差分画像のそれぞれについて、特徴マトリクスＦＭが生成されている。ＣＰＵ１１０は、（４×Ｋ）個の差分画像のそれぞれを注目差分画像（図１７（Ｃ））として、各差分画像の異常度マップＡＭ（図１７（Ｄ））を生成する。
【0134】
図１７（Ｄ）異常度マップＡＭは、サイズ調整後の特徴マップｆｍと同じサイズの画像データである。異常度マップＡＭの各画素の値は、マハラノビス距離である。座標（ｉ、ｊ）におけるマハラノビス距離Ｄ（ｉ、ｊ）は、注目差分画像の特徴マトリクスＦＭの特徴ベクトルＶ（ｉ、ｊ）と、正常画像のガウシアンマトリクスＧＭの平均ベクトルμ（ｉ、ｊ）および共分散行列Σ（ｉ、ｊ）と、を用いて、公知の式に従う算出処理を実行することによって算出される。マハラノビス距離Ｄ（ｉ、ｊ）は、座標（ｉ、ｊ）におけるＫ個の正常差分画像と注目差分画像との間の差異の程度を示す評価値である。このために、マハラノビス距離Ｄ（ｉ、ｊ）は、座標（ｉ、ｊ）における注目差分画像の異常度を示す値であると、言うことができる。Ｋ個の正常差分画像と注目差分画像との間の差異は、Ｋ個の正常差分画像の元になったＫ個の正常画像と、注目差分画像の元になった画像（正常画像や異常画像）と、の間の差異を反映している。このために、マハラノビス距離Ｄ（ｉ、ｊ）は、座標（ｉ、ｊ）におけるＫ個の正常画像と注目差分画像の元になった画像との間の差異の程度を示す評価値である、とも言うことができる。
【0135】
本実施例では、（４×Ｋ）個の差分画像（差分画像データ）が用いられるので、（４×Ｋ）個の異常度マップＡＭが生成される。
【0136】
Ｓ８５０では、ＣＰＵ１１０は、（４×Ｋ）個の異常度マップＡＭの異常度の最大値Ａｍａｘと最小値Ａｍｉｎとを特定する。すなわち、（４×Ｋ）個の異常度マップＡＭの全ての画素の値の最大値と最小値とが、異常度の最大値Ａｍａｘと最小値Ａｍｉｎとして特定される。
【0137】
Ｓ８５５では、ＣＰＵ１１０は、正常差分画像のガウシアンマトリクスＧＭと、異常度の最大値Ａｍａｘと最小値Ａｍｉｎとを、ＰａＤｉＭデータとして、不揮発性記憶装置１３０に格納して、ＰａＤｉＭデータ生成処理を終了する。Ｓ５０ＡのラベルＬ１用のＰａＤｉＭデータ生成処理にて、ラベルＬ１用のＰａＤｉＭデータが生成され、Ｓ５０ＢのラベルＬ２用のＰａＤｉＭデータ生成処理にて、ラベルＬ２用のＰａＤｉＭデータが生成される。ＰａＤｉＭデータ生成処理が終了されると、図３の検査準備処理は終了される。
【0138】
Ａ－３．検査処理
図１８は、検査処理のフローチャートである。図１９は、検査処理の説明図である。検査処理は、検査すべきラベルＬ（本実施例では、図２（Ｂ）のラベルＬ１またはラベルＬ２）が欠陥等を含む異常品であるか、欠陥等を含まない正常品であるかを検査する処理である。検査処理は、ラベルＬごとに実行される。検査処理は、ユーザ（例えば、検査の作業者）が処理の開始指示を、操作部１５０を介して検査装置１００に入力した場合に、開始される。例えば、ユーザは、検査すべきラベルＬが貼り付けられた製品３００を、撮像装置４００を用いて撮像するための所定の位置に配置した状態で、検査処理の開始指示を入力する。
図１８は、検査処理のフローチャートである。図１９は、検査処理の説明図である。検査処理は、検査すべきラベルＬ（本実施例では、図２（Ｂ）のラベルＬ１またはラベルＬ２）が欠陥等を含む異常品であるか、欠陥等を含まない正常品であるかを検査する処理である。検査処理は、ラベルＬごとに実行される。検査処理は、ユーザ（例えば、検査の作業者）が処理の開始指示を、操作部１５０を介して検査装置１００に入力した場合に、開始される。例えば、ユーザは、検査すべきラベルＬが貼り付けられた製品３００を、撮像装置４００を用いて撮像するための所定の位置に配置した状態で、検査処理の開始指示を入力する。
【0139】
Ｓ９００では、ＣＰＵ１１０は、検査すべきラベルＬ（以下、検査品とも呼ぶ）を含む撮像画像を示す撮像画像データを取得する。例えば、ＣＰＵ１１０は、撮像装置４００に撮像指示を送信して、撮像装置４００に撮像画像データを生成させ、撮像装置４００から撮像画像データを取得する。この結果、例えば、図１９（Ａ）の撮像画像ＦＩを示す撮像画像データが取得される。
【0140】
撮像画像ＦＩは、製品の前面Ｆ３１と、前面Ｆ３１上に貼付されたラベルＦＬとを示す画像である。このように撮像画像ＦＩに示される製品の前面およびラベルを、実物の前面３１およびラベルＬ（図２）と区別するために符号の先頭に「Ｆ」を付した符号を用いて、前面Ｆ３１、ラベルＦＬとする。
【0141】
Ｓ９０５では、ＣＰＵ１１０は、取得された撮像画像データを物体検出モデルＡＮに入力して、撮像画像ＦＩ内のラベルＦＬが位置するラベル領域ＬＡと、ラベルＦＬの種別（ラベルＬ１、Ｌ２のいずれか）を特定する。具体的には、ＣＰＵ１１０は、撮像画像データを、入力画像データＩＩａ（図１１（Ａ））として物体検出モデルＡＮに入力して、撮像画像データに対応する出力データＯＤ（図１１（Ａ））を生成する。ＣＰＵ１１０は、出力データＯＤに含まれる（Ｓ×Ｓ×Ｂｎ）個の予測領域情報のうち、所定の閾値ＴＨａ以上の確信度Ｖｃを含む予測領域情報を特定し、該予測領域情報によって示される予測領域をラベル領域ＬＡとして特定する。互いに重なる２以上のラベル領域ＬＡが特定される場合には、例えば、「Non-maximal suppression」と呼ばれる公知の処理が行われて、２以上のラベル領域から１つのラベル領域ＬＡが特定される。例えば、図１９（Ａ）の例では、撮像画像ＦＩ内において、ラベルＦＬの全体を含み、ラベルＦＬにほぼ外接するラベル領域ＬＡが特定されている。ＣＰＵ１１０は、出力データＯＤに含まれるクラス情報のうち、ラベル領域ＬＡに対応するクラス情報に基づいて、ラベル領域ＬＡ内のラベルＦＬの種別を特定する。
【0142】
Ｓ９１０では、ＣＰＵ１１０は、撮像画像データを用いて、検証画像ＴＩを示す検証画像データを生成する。具体的には、ＣＰＵ１１０は、撮像画像ＦＩからラベル領域ＬＡを切り出して、検証画像データを生成する。図１９（Ａ）の検証画像ＴＩは、ラベル領域ＬＡ内の画像（すなわち、ラベルＦＬの画像）を示している。なお、図１９（Ａ）の検証画像ＴＩのラベルＦＬは、キズなどの欠陥を含んでいないが、キズなどの欠陥を含む場合もある。
【0143】
Ｓ９１２では、ＣＰＵ１１０は、特定されたラベルＦＬの種別に基づいて、使用すべき機械学習モデル（画像生成モデルＧＮおよび画像識別モデルＤＮ）と、ＰａＤｉＭデータ（ガウシアンマトリクスＧＭと異常度の最大値Ａｍａｘ、最小値Ａｍｉｎ）を決定する。ラベルＦＬがラベルＬ１であると特定された場合には、使用すべき機械学習モデルは、ラベルＬ１用の画像生成モデルＧＮ１および画像識別モデルＤＮ１に決定され、使用すべきＰａＤｉＭデータは、ラベルＬ１用のＰａＤｉＭデータに決定される。ラベルＦＬがラベルＬ２であると特定された場合には、使用すべき機械学習モデルは、ラベルＬ２用の画像生成モデルＧＮ２および画像識別モデルＤＮ２に決定され、使用すべきＰａＤｉＭデータは、ラベルＬ２用のＰａＤｉＭデータに決定される。
【0144】
Ｓ９１５では、ＣＰＵ１１０は、検証画像データを、使用すべき画像生成モデルＧＮに入力し、検証画像データに対応する再現画像データを生成する。再現画像データによって示される再現画像は、例えば、図５（Ｅ）を参照して説明したように、入力された検証画像のラベルＦＬを再現した画像である。そして、検証画像のラベルＦＬにキズなどの欠陥が含まれる場合であっても再現画像には、該欠陥が含まれない。
【0145】
Ｓ９２０では、ＣＰＵ１１０は、検証画像データと再現画像データとを用いて、差分画像データを生成する。差分画像データを生成する処理は、図１３のＳ６３０にて説明した、注目画像データと再現画像データとを用いて差分画像データを生成する処理と同様である。本ステップにて生成される再現画像データを検証差分画像データとも呼び、検証差分画像データによって示される画像を検証差分画像とも呼ぶ。検証差分画像は、検証画像のラベルＦＬが欠陥を含まない場合には、図５（Ｆ）の正常差分画像ＤＩ６ｎと同様に欠陥を含まない画像となる。検証差分画像は、検証画像のラベルＦＬが欠陥を含む場合には、図５（Ｇ）、（Ｈ）の異常差分画像ＤＩ６ａ、ＤＩ６ｂと同様に、欠陥を含む画像となる。
【0146】
Ｓ９２５では、ＣＰＵ１１０は、取得された検証差分画像データを、使用すべき画像識別モデルＤＮのエンコーダＥＣに入力することによって、検証差分画像データに対応するＮ個の特徴マップｆｍを生成する（図１６（Ｂ））。
【0147】
Ｓ９３０では、ＣＰＵ１１０は、Ｎ個の特徴マップｆｍを用いて検証差分画像の特徴マトリクスＦＭを生成する。具体的には、ＣＰＵ１１０は、Ｎ個の特徴マップのうち、画像識別モデルＤＮの訓練時に選択されたＲ個の使用マップＵｍ（図１６（Ｄ））を用いて、検証差分画像の特徴マトリクスＦＭを生成する（図１６（Ｅ））。
【0148】
Ｓ９３５では、ＣＰＵ１１０は、使用すべきガウシアンマトリクスＧＭ（図１７（Ｂ））と、検証差分画像の特徴マトリクスＦＭと、を用いて、異常度マップＡＭ（図１７（Ｄ））を生成する。異常度マップＡＭの生成方法は、図１７（Ｂ）～（Ｄ）を参照して説明した図１５のＳ８４５における異常度マップＡＭの生成方法と同じである。
【0149】
Ｓ９３７では、異常度の最大値Ａｍａｘと最小値Ａｍｉｎとを用いて、異常度マップＡＭを正規化する。異常度の最大値Ａｍａｘと最小値Ａｍｉｎは、上述したＰａＤｉＭデータ生成処理の図１５のＳ８５０にて特定された値である。異常度マップＡＭの正規化は、異常度マップＡＭの複数個の画素の値（すなわち、異常度）を、正規化前の異常度Ａｏから正規化後の異常度Ａｓに変換することによって行われる。正規化後の異常度Ａｓは、正規化前の異常度Ａｏと、最大値Ａｍａｘと、最小値Ａｍｉｎと、を用いて、以下の式（１）に従って算出される。正規化後の異常度マップＡＭでは、各画素の異常度は、０～１の範囲の値になる。
【0150】
Ａｓ＝（Ａｓ－Ａｍｉｎ）／（Ａｍａｘ－Ａｍｉｎ） …（１）
【0151】
図１９（Ｃ）の異常度マップＡＭｎは、例えば、検査品が正常品である場合に生成される異常度マップの例である。図１９（Ｄ）の異常度マップＡＭａは、例えば、検査品が線状キズを有する異常品である場合に生成される異常度マップの例である。図１９（Ｅ）の異常度マップＡＭｂは、例えば、検査品が汚れを有する異常品である場合に生成される異常度マップの例である。図１９（Ｃ）の異常度マップＡＭｎには、異常画素は含まれていない。図１９（Ｄ）の異常度マップＡＭａには、複数個の異常画素で構成される線状キズｄｆａが現れている。図１９（Ｅ）の異常度マップＡＭｂには、複数個の異常画素で構成される汚れｄｆｂが現れている。異常画素は、例えば、異常度が閾値ＴＨ１以上である画素である。このように、異常度マップＡＭを参照することで、検証画像に含まれるキズなどの欠陥の位置、大きさ、形状を特定することができる。検証画像にキズなどの欠陥が含まれない場合には、異常度マップＡＭにおいても、欠陥の領域は特定されない。
【0152】
Ｓ９４０では、ＣＰＵ１１０は、異常度マップＡＭにおける異常画素の個数が閾値ＴＨ２以上であるか否かを判断する。異常画素の個数が閾値ＴＨ２未満である場合には（Ｓ９４０：ＮＯ）、Ｓ９５０にて、ＣＰＵ１１０は、検査品としてのラベルは正常品であると判定する。異常画素の個数が閾値ＴＨ２以上である場合には（Ｓ９４０：ＹＥＳ）、Ｓ９４５にて、ＣＰＵ１１０は、検査品としてのラベルは異常品であると判定する。Ｓ９５５では、ＣＰＵ１１０は、検査結果を表示部１４０に表示して、検査処理を終了する。このように機械学習モデルＡＮ、ＧＮ、ＤＮを用いて、検査品が正常品であるか異常品であるかを判定することができる。
【0153】
以上説明した本実施例によれば、検査装置１００のＣＰＵ１１０は、検査対象のラベルＦＬを含む検証画像ＴＩを示す検証画像データを画像生成モデルＧＮに入力することによって、再現画像データを生成する（図１８のＳ９１５）。ＣＰＵ１１０は、検証画像データと再現画像データとを用いて、検証差分画像データを生成する（図１８のＳ９２０）。ＣＰＵ１１０は、検証差分画像データを画像識別モデルＤＮのエンコーダＥＣに入力することによって、検証差分画像データの特徴を示す特徴マトリクスＦＭを生成する（図１８のＳ９２５、Ｓ９３０）。ＣＰＵ１１０は、該特徴マトリクスＦＭを用いて、検査対象のラベルと正常なラベルとの差異（具体的には欠陥）を検出する。この結果、画像識別モデルＤＮ（エンコーダＥＣ）を用いて検査対象のラベルと正常なラベルとの差異を検出することができる。
【0154】
例えば、検証画像がノイズを含む場合や、検査対象のラベルと正常なラベルとの差異が比較的小さい場合には、仮に、検証画像データや正常画像データをそのまま画像識別モデルＤＮ（エンコーダＥＣ）に入力して特徴マトリクスＦＭを生成したとしても、検証画像データと正常画像データの差異の有無（例えば、欠陥の有無）が該特徴マトリクスＦＭに反映され難い場合がある。この場合には、これらの特徴マトリクスＦＭを用いて、検査対象のラベルと正常なラベルとの差異を検出しようとしても、当該差異を精度良く検出できない場合がある。これに対して、差分画像では、検証画像と正常画像との差異がより強調される、換言すれば、検査対象のラベルと正常なラベルとの差異がより強調される。このために、本実施例では、検証差分画像データをエンコーダＥＣに入力して特徴マトリクスＦＭを生成している。この結果、これらの特徴マトリクスＦＭを用いて、検査対象のラベルと正常なラベルとの差異を精度良く検出し得る。
【0155】
より具体的には、ＣＰＵ１１０は、検証差分画像データの特徴を示す特徴マトリクスＦＭと、ガウシアンマトリクスＧＭとを用いて、検査対象のラベルと正常なラベルとの差異を検出する（図１８のＳ９３５～Ｓ９５０）。ガウシアンマトリクスＧＭは、正常差分画像データを画像識別モデルＤＮ（エンコーダＥＣ）に入力することによって生成される特徴マトリクスＦＭに基づくデータである（図１５のＳ８１５～Ｓ８２５）。正常差分画像データは、正常差分画像データは、正常画像ＤＩ２（図５（Ｂ））と、正常画像ＤＩ２に対応する再現画像ＤＩ５（図５（Ｅ））との差分を示す画像データである（図１３の６１０～Ｓ６３０）。したがって、検証差分画像データの特徴マトリクスＦＭと、正常差分画像データの特徴マトリクスＦＭと、の比較によって、検査対象のラベルと正常なラベルとの差異を精度良く検出し得る。
【0156】
さらに、本実施例によれば、検証差分画像データや正常差分画像データの特徴マトリクスＦＭは、検証差分画像データについて、画像内の単位領域（特徴マップｆｍの１画素に対応する領域）ごとに算出される特徴ベクトルＶ（ｉ、ｊ）を含む。特徴ベクトルＶ（ｉ、ｊ）は、検証差分画像データや正常差分画像データをエンコーダＥＣに入力することによって得られる複数個の特徴マップｆｍのそれぞれに基づく値を要素とするベクトルである（図１６（Ｅ））。ガウシアンマトリクスＧＭは、複数個の正常差分画像データについて、画像内の単位領域ごとに算出される複数個の特徴ベクトルＶ（ｉ、ｊ）の平均ベクトルおよび共分散行列を示すデータである（図１７（Ｂ））。ＣＰＵ１１０は、検証差分画像データの特徴マトリクスＦＭとガウシアンマトリクスＧＭとを用いて画像内の単位領域ごとに異常度（具体的にはマハラノビス距離）を算出して得られる異常度マップＡＭを生成する（図１８のＳ９３５、図１７（Ｄ））。ＣＰＵ１１０は、該異常度マップＡＭに基づいて、検査対象のラベルと正常なラベルとの差異（例えば、欠陥）を検出する（図１９のＳ９４０～Ｓ９５０）。この結果、特徴マトリクスＦＭとガウシアンマトリクスＧＭとを用いて、異常度としてのマハラノビス距離を算出することで得られる異常度マップＡＭを用いて、検査対象のラベルと正常なラベルとの差異を精度良く検出し得る。また、異常度マップＡＭを用いることで、例えば、欠陥が存在する位置や範囲も容易に特定できる。
【0157】
さらに、本実施例によれば、画像生成モデルＧＮの訓練処理に用いられる複数個の正常画像データは、ラベルＬの作成に用いられる版下画像データＲＤ１、ＲＤ２に対して画像処理を実行して得られる画像データである（図６）。この結果、複数個の正常画像データを容易に準備することができるので、画像生成モデルＧＮを訓練するための負担を軽減できる。例えば、複数個の正常画像データとして、撮像画像データが用いられる場合には、ユーザが正常なラベルＬを撮像する必要があるので、ユーザの負担が増大する。特に、必要な正常画像データの個数が多い場合には、ユーザの負担が過度に増大する可能性がある。版下画像データＲＤ１、ＲＤ２は、ラベルＬを作成に用いられる画像データであるので、ユーザは画像生成モデルＧＮの訓練処理のためだけに画像データを用意する必要がない。このために、ユーザの負担が軽減できる。
【0158】
さらに、本実施例によれば、正常差分画像データの生成に用いられる再現画像データは、検証差分画像データの生成に用いられる再現画像データと同様に、正常画像データを用いて訓練された画像生成モデルＧＮを用いて生成される。このように、正常差分画像データが、検証差分画像データの生成と同じ画像生成モデルＧＮを用いて生成されるので、正常差分画像データと検証差分画像データとの両方に、同じ画像生成モデルＧＮの特性が反映される。この結果、正常差分画像データと検証差分画像データとの差異を、画像生成モデルＧＮの特性に起因する差異ではなく、検査対象のラベルと正常なラベルとの差異との差異（例えば、欠陥の有無）に起因する差異となるように、適切に正常差分画像データを生成できる。したがって、適切な正常差分画像データを用いて、画像識別モデルＤＮの訓練処理やＰａＤｉＭデータの生成を行うことができる。したがって、正常画像と検証画像との差異を適切に反映するように、特徴マトリクスＦＭやガウシアンマトリクスＧＭを生成できるので、検証画像と正常画像との差異をさらに精度良く検出し得る。
【0159】
さらに、本実施例によれば、画像識別モデルＤＮの訓練処理に用いられる複数個の訓練差分画像データは、版下画像データＲＤ１、ＲＤ２に対して画像処理を実行することによって生成される第１画像データ（正常画像データおよび異常画像データ）と、第１画像データを画像生成モデルＧＮに入力することによって生成される第２画像データ（正常画像および異常画像を再現した再現画像データ）と、の間の差分を示す画像データである（図１３のＳ６１０～Ｓ６３０）。この結果、画像識別モデルＤＮのエンコーダＥＣが検証差分画像データや正常差分画像データの特徴を抽出できるように、適切に画像識別モデルＤＮを訓練することができる。
【0160】
さらに、本実施例によれば、上述の第１画像データは、複数種類の欠陥（本実施例では、線状キズ、汚れ、円状キズ）のいずれかを画像に擬似的に付加する欠陥付加処理（図７のＳ２５５）を含む画像処理を版下画像データＲＤ１、ＲＤ２に対して実行することによって生成される異常画像データを含む。画像識別モデルＤＮは、異常画像データを用いて生成される異常差分画像データが入力される場合に、異常画像データによって示される異常画像（例えば、図５（Ｃ）、（Ｄ）の異常画像ＤＩ４ａ、ＤＩｂ）に含まれる欠陥の種類を識別するように訓練される（図１３のＳ６４０、Ｓ６５０、図１４（Ｂ）のＳ７３０）。例えば、欠陥の有無だけでなく、欠陥の種類も識別するタスクは、欠陥の有無だけを識別するタスクよりも高度である。また、欠陥の種類（キズ、汚れなど）によって欠陥の特徴は大きく異なる。このために、より高度なタスクを達成できるように画像識別モデルＤＮを訓練することで、様々な欠陥の特徴を精度良く抽出できるように画像識別モデルＤＮを訓練できる。この結果、画像識別モデルＤＮのエンコーダＥＣが異常差分画像データに含まれる欠陥の特徴を適切に抽出できるように画像識別モデルＤＮを訓練することができる。したがって、該画像識別モデルＤＮを用いて生成される特徴マトリクスＦＭやガウシアンマトリクスＧＭを利用して検証画像と正常画像との差異をさらに精度良く検出し得る。
【0161】
さらに、本実施例によれば、ＣＰＵ１１０は、複数個の正常差分画像データのそれぞれについて算出される複数個の特徴マトリクスＦＭを用いて算出される統計データであるガウシアンマトリクスＧＭと、検証差分画像データの特徴マトリクスＦＭと、を用いて、検証差分画像の異常度マップＡＭを算出する（図１５のＳ８４５）。そして、ＣＰＵ１１０は、複数個の正常差分画像データと複数個の異常差分画像データとのそれぞれについて同様に算出される異常度マップＡＭにおける異常度の最大値Ａｍａｘと最小値Ａｍｉｎと、検証差分画像の異常度マップＡＭとを用いて、検査対象のラベルと正常なラベルとの差異を検出する（図１８のＳ９３７～Ｓ９５０）。この結果、例えば、複数個の正常差分画像データと複数個の異常差分画像データとのそれぞれについて同様に算出される異常度マップＡＭにおける異常度のバラツキ等を考慮して、適切な基準で異常度マップＡＭを評価できる。したがって、検査対象のラベルと正常なラベルとの差異を適切に検出できる。例えば、本実施例では、ＣＰＵ１１０は、異常度マップＡＭを最大値Ａｍａｘと最小値Ａｍｉｎとを用いて正規化し、正規化された異常度マップＡＭを用いて、検証画像内のラベルが異常品であるか正常品であるかを判断している。正規化前の異常度マップＡＭは、異常度が取り得る値の範囲がどの程度の範囲となるかが不明である。このために、仮に、正規化前の異常度マップＡＭを用いる場合には、例えば、異常画素か否かを判断するための閾値ＴＨ１を適切に定めることは比較的困難であった。これに対して、本実施例では、比較的多数の異常度マップＡＭのサンプルに基づく最大値Ａｍａｘと最小値Ａｍｉｎを用いて、異常度が０～１の範囲に収まるように、異常度マップＡＭが正規化される。このために、１つの固定された閾値ＴＨ１を用いて、検証画像内のラベルが異常品であるか正常品であるかを適切に判断できる。例えば、検査処理ごとに判断基準がばらつくことを抑制し、安定した判断基準に基づいて、検証画像内のラベルが異常品であるか正常品であるかを判断できる。
【0162】
さらに、本実施例によれば、ＣＰＵ１１０は、検査対象のラベルＦＬを含む撮像画像ＦＩ（図１９（Ａ））を示す撮像画像データを物体検出モデルＡＮに入力することによって、撮像画像ＦＩ内のラベル領域ＬＡを特定する（図１８のＳ９０５）。ＣＰＵ１１０は、撮像画像データを用いて、ラベル領域ＬＡを含む検証画像ＴＩを示す検証画像データを生成する（図１８のＳ９１０）。物体検出モデルＡＮは、合成画像ＣＩ（図９（Ｂ））を示す合成画像データと、合成画像ＣＩ内のラベルＢＬが位置する領域を示すラベル領域情報と、を用いて訓練された機械学習モデルである（図１１（Ｂ））。合成画像データは、正常画像ＤＩ２を示す正常画像データと背景画像ＢＩを示す背景画像データとを用いて、背景画像ＢＩに正常画像ＤＩ２を合成して得られる合成画像ＣＩを示す。正常画像データは、版下画像データＲＤ１、ＲＤ２に基づく画像データである（図６、図５（Ｂ））。ラベル領域情報は、背景画像ＢＩに正常画像ＤＩ２を合成する際に用いられる合成情報に基づいて生成される（図１０のＳ３５５）。ＤＩ前記物体画像の合成位置を示す位置情報に基づいて生成される（図１０のＳ３５５）。合成情報は、正常画像ＤＩ２の合成位置を示す位置情報を含む。この結果、ラベル領域情報は、例えば、ユーザがオペレータとして指定した領域を示す情報が用いられる場合と比較して、ラベルＢＬ２が位置する領域を精度良く示し得る。したがって、物体検出モデルＡＮは、ラベル領域を精度良く検出できるように、訓練される。ラベル領域を精度良く検出できると、検証画像ＴＩに過度に多くの背景が含まれることや、検証画像ＴＩにラベルの一部が含まれないことを、抑制できるので、適切な検証画像データを生成できる。適切な検証画像データを用いることで、例えば、検査処理において、検査対象のラベルの欠陥の有無を精度良く検出できる。また、訓練時に、ユーザがラベル領域を指定する必要がないので、ユーザの負担を軽減できる。
【0163】
さらに、本実施例では、物体検出モデルＡＮは、ラベルＬ１とラベルＬ２との両方を特定可能に訓練された１つの機械学習モデルである（図３のＳ２０Ａ等）。そして、画像生成モデルＧＮは、ラベルＬ１用の画像生成モデルＧＮ１と、ラベルＬ２用の画像生成モデルＧＮ２と、を含む。画像生成モデルＧＮ１は、ラベルＬ１を示す正常画像データに対応する再現画像データを生成するように訓練された機械学習モデルである（図３のＳ３０Ｂ）。画像生成モデルＧＮ２は、ラベルＬ２を示す正常画像データに対応する再現画像データを生成するように訓練された機械学習モデルである（図３のＳ３０Ｃ）。検査処理において、ＣＰＵ１１０は、検査対象のラベルＬがラベルＬ１である場合とラベルＬ２である場合との両方の場合に、１つの物体検出モデルＡＮを用いて、ラベル領域ＬＡを特定する（図１８のＳ９０５）。ＣＰＵ１１０は、検査対象のラベルＬがラベルＬ１である場合に、ラベルＬ１用の画像生成モデルＧＮ１を用いて、再現画像データを生成し、検査対象のラベルＬがラベルＬ２である場合に、ラベルＬ２用の画像生成モデルＧＮ２を用いて、再現画像データを生成する（図１８のＳ９１２、Ｓ９１５）。
【0164】
ラベルの領域を特定するタスクは、ラベル内の細部の構成自体とは関係が薄いために、複数種のラベルを１つの物体検出モデルＡＮを用いて特定しても十分な精度で特定できる。これに対して、ラベルの再現画像を生成するタスクは、ラベルの構成を細部まで十分に再現し、かつ、ラベルの欠陥は再現しないようにする必要があるために、ラベルの種別ごとに専用の画像生成モデルＧＮを訓練することが好ましい。本実施例では、ラベルの種別に拘わらずに共通の１つの物体検出モデルＡＮと、ラベルの種別ごとに専用の画像生成モデルＧＮを用いて、検査処理を実行する。この結果、機械学習モデルの訓練の負担や機械学習モデルのデータ量が過度に大きくなることを抑制しつつ、十分な精度で正常なラベルと欠陥を含むラベルとの差異を検出できる。
【0165】
さらに、本実施例によれば、画像識別モデルＤＮは、ラベルＬ１用の画像識別モデルＤＮ１と、ラベルＬ２用の画像識別モデルＤＮ２と、を含む。画像識別モデルＤＮ１は、ラベルＬ１を示す画像データ（正常画像データおよび異常画像データ）を用いて生成される差分画像データの特徴を示す特徴マップｆｍを生成するように訓練された機械学習モデルである（図３のＳ４０Ａ）。画像識別モデルＤＮ２は、ラベルＬ２を示す画像データ（正常画像データおよび異常画像データ）を用いて生成される差分画像データの特徴を示す特徴マップｆｍを生成するように訓練された機械学習モデルである（図３のＳ４０Ｂ）。検査処理において、ＣＰＵ１１０は、検査対象のラベルＬがラベルＬ１である場合に、ラベルＬ１用の画像識別モデルＤＮ１を用いて、特徴マップｆｍおよび特徴マトリクスＦＭを生成し、検査対象のラベルＬがラベルＬ２である場合に、ラベルＬ２用の画像識別モデルＤＮ２を用いて、特徴マップｆｍおよび特徴マトリクスＦＭを生成する（図１８のＳ９１２、Ｓ９２５、Ｓ９３０）。
【0166】
差分画像データを用いてラベルやラベルの欠陥の特徴を抽出するタスクは、ラベル自体の特徴と欠陥の特徴とを区別できるように抽出する必要があるために、ラベルの種別ごとに専用の画像生成モデルＧＮを訓練することが好ましい。本実施例では、ラベルの種別ごとに専用の画像識別モデルＤＮを用いて、検査処理を実行する。この結果、十分な精度で正常なラベルと欠陥を含むラベルとの差異を検出できる。
【0167】
さらに、本実施例によれば、画像生成モデルＧＮは、合成画像データの生成に用いられる正常画像データを用いて訓練されている（図１２（Ｂ））。画像識別モデルＤＮは、合成画像データの生成に用いられる正常画像データを用いて生成される正常差分画像データを用いて訓練されている（図１４（Ｂ））。この結果、物体検出モデルＡＮと画像生成モデルＧＮと画像識別モデルＤＮとの訓練は、それぞれ、正常画像データ、あるいは、正常画像データを用いて生成される合成画像データや差分画像データを用いて実行される。この結果、複数個の機械学習モデルの訓練処理のための画像データを準備するための負担を低減できる。特に、正常画像データは、版下画像データＲＤ１、ＲＤ２を用いて容易に生成できるので、例えば、撮像によって生成される画像データを用いる場合と比較して、訓練処理のための画像データを準備するための負担を大幅に低減できる。
【0168】
本実施例の検証差分画像データは、第１差分画像データの例であり、正常差分画像データは、第２差分画像データの例である。本実施例の検証画像データは、対象画像データの例であり、正常画像データは、比較画像データおよび第１訓練画像データの例であり、異常画像データは、欠陥付加画像データの例であり、合成画像データは、第２訓練画像データの例である。本実施例の画像識別モデルＤＮ（エンコーダＥＣ）は、特徴抽出モデルの例であり、特徴マトリクスＦＭは、第１特徴データおよび第２特徴データの例であり、ガウシアンマトリクスＧＭは、参照データおよび統計データの例である。本実施例の版下画像データＲＤ１、ＲＤ２は、元画像データの例であり、撮像画像データは、原画像データの例である。
【0169】
Ｂ．変形例
（１）上記実施例では、ＣＰＵ１１０は、ＰａＤｉＭの仕組みを用いて、検査対象のラベルの欠陥を検出している。これに代えて、他の仕組みを用いて、検査対象のラベルの欠陥を検出しても良い。例えば、検証差分画像データを画像識別モデルＤＮに入力して得られる特徴マップｆｍを公知のGrad-CAMやGuided Grad-CAMの仕組みを用いて解析することで、検査対象のラベルの欠陥が検出されても良い。
（１）上記実施例では、ＣＰＵ１１０は、ＰａＤｉＭの仕組みを用いて、検査対象のラベルの欠陥を検出している。これに代えて、他の仕組みを用いて、検査対象のラベルの欠陥を検出しても良い。例えば、検証差分画像データを画像識別モデルＤＮに入力して得られる特徴マップｆｍを公知のGrad-CAMやGuided Grad-CAMの仕組みを用いて解析することで、検査対象のラベルの欠陥が検出されても良い。
【0170】
（２）検査対象の物体は、製品（例えば、複合機、ミシン、カッティングマシン、携帯端末など）に貼られるラベルに限らず、任意の物であってよい。検査対象の物体は、例えば、製品に印刷されるラベル画像であってよい。また、検査対象の物体は、製品そのものであっても良いし、製品に取り付けられる札、付属品、部品、刻印など、製品の任意の一部分であってよい。検査対象の物体に応じて、例えば、正常画像データや異常画像データは、版下画像データＲＤに代えて、製品の作成に用いられる設計図面データを用いて、生成されても良い。
【0171】
（３）上記実施例で用いられる機械学習モデルＡＮ、ＧＮ、ＤＮの構成は一例であり、他のモデルであってもよい。
【0172】
例えば、物体検出モデルＡＮ、ＹＯＬＯモデルに代えて、他の任意のモデルであってよい。物体検出モデルは、例えば、「YOLO v3」「YOLO v4」「YOLO v5」などの改良されたYOLOモデルであってよい。また、SSD、R-CNN、Fast R-CNN, Faster R-CNN、Mask R-CNNなどの、他のモデルが使用されてよい。
【0173】
画像生成モデルＧＮは、例えば、通常のオートエンコーダに限らず、ＶＱ－ＶＡＥ（Vector Quantized Variational Auto Encoder）、ＶＡＥ（Variational Autoencoder）が用いられても良いし、いわゆるＧＡＮ（Generative Adversarial Networks）に含まれる画像生成モデルが用いられても良い。
【0174】
画像識別モデルＤＮは、ＣＮＮ含むエンコーダを少なくとも含む任意の画像識別モデル、例えば、ＶＧＧ１６、ＶＧＧ１９が用いられても良い。
【0175】
どのような機械学習生成モデルが用いられる場合であっても、畳込層、転置畳込層などの具体的な層の構成や層数は、適宜に変更されて良い。また、機械学習モデルの各層で出力された値に対して実行される後処理も適宜に変更され得る。例えば、後処理に用いられる活性化関数は、任意の関数、例えば、ＲｅＬＵ、ＬｅａｋｙＲｅＬＵ、ＰＲｅＬＵ、ソフトマックス、シグモイドが用いられ得る。
【0176】
（４）上記実施例で用いられる機械学習モデルＡＮ、ＧＮ、ＤＮの訓練処理は一例であり、適宜に変更されて良い。
【0177】
例えば、画像生成モデルＧＮの訓練処理に用いられる正常画像データや異常画像データは、版下画像データＲＤ１、ＲＤ２を用いて生成される画像データに代えて、実際に、正常なラベルや欠陥を含むラベルを撮像して得られる撮像画像データから切り出された画像データであっても良い。画像識別モデルＤＮの訓練処理に用いられる差分画像データの生成に用いられる正常画像データや異常画像データも同様である。
【0178】
物体検出モデルＡＮの訓練処理に用いられる合成画像データに代えて、実際にラベルが貼付された製品を撮像して得られる撮像画像データが用いられても良い。あるいは、ラベルを撮像して得られる撮像画像データと、背景画像データと、を合成して得られる画像データが用いられても良い。
【0179】
上記実施例では、画像識別モデルＤＮの訓練処理に用いられる差分画像データは、正常画像データと、画像生成モデルＧＮに該正常画像データを入力して得られる再現画像データと、を用いて生成される。これに代えて、例えば、差分画像データは、検査処理に用いられる画像生成モデルＧＮとは別の画像生成モデルを用いて生成される再現画像データを用いて、生成されても良い。また、異常差分画像データは、例えば、正常差分画像データによって示される差分画像に疑似的に欠陥を付加して得られる画像データであっても良い。
【0180】
上記実施例では、画像識別モデルＤＮは、欠陥の種類を識別するように訓練されているが、欠陥の有無だけを識別するように訓練されても良い。
【0181】
また、上記実施例では、物体検出モデルＡＮと画像生成モデルＧＮ１、ＧＮ２との訓練処理は、１つの検査装置１００によって並列に実行される。これに代えて、物体検出モデルＡＮと画像生成モデルＧＮ１、ＧＮ２との訓練処理とは、１つの検査装置によって、順次に１つずつ実行されても良いし、互いに異なる装置によって実行されても良い。画像識別モデルＤＮ１、ＤＮ２の訓練処理についても同様である。ラベルＬ１用のＰａＤｉＭデータ生成処理とラベルＬ２用のＰａＤｉＭデータ生成処理とについても同様である。
【0182】
（５）特徴マトリクスＦＭを生成するための特徴抽出モデルとして、上記実施例では、画像識別モデルＤＮが用いられている。これに代えて、例えば、画像生成モデルＧＮと同様のオートエンコーダを、正常差分画像データや異常差分画像データが入力される場合に、該正常差分画像データや異常差分画像データを再現するように訓練し、該オートエンコーダに含まれるエンコーダを用いて特徴マトリクスＦＭが生成されても良い。あるいは、ＧＡＮの仕組みを用いて正常差分画像データを異常差分画像データにスタイル変換するように訓練された画像生成モデルに含まれるエンコーダを用いて特徴マトリクスＦＭが生成されても良い。
【0183】
（６）図１８の検査処理は、一例であり、適宜に変更される。例えば、検査対象とされるラベルの種別は、２種に限らず、１種、もしくは、３種以上の任意の種別数であっても良い。ラベルの種別の個数に応じて、用いられる画像識別モデルＤＮや画像生成モデルＧＮの個数は変更される。
【0184】
検査対象のラベルの撮像時の配置や撮像装置４００の設置位置を調整することで、検証画像ＴＩと同様の撮像画像を示す撮像画像データが取得可能な場合などには、物体検出モデルＡＮを用いる領域特定や撮像画像の切り出し（図１８のＳ９０５、Ｓ９１０）は省略されても良い。
【0185】
図１８のＳ９３７の異常度マップＡＭの正規化が省略されても良い。この場合は、正規化前の異常度マップＡＭを用いて、欠陥の有無が判定されても良い。この場合には、ＰａＤｉＭデータ生成処理において、図１５のＳ８３０～Ｓ８５０は省略されても良い。
【0186】
上記実施例では、正常差分画像と検証差分画像との差異を示すデータとして、マハラノビス距離を要素とする異常度マップＡＭが採用されている。差異を示すデータは、他の手法を用いて生成されるデータであっても良い。例えば、差異を示すデータは、正常画像の平均ベクトルμ（ｉ、ｊ）と、検証画像の特徴ベクトルＶ（ｉ、ｊ）と、のユークリッド距離を要素とするマップであっても良い。
【0187】
検査処理において、ラベルの欠陥を検出する方法も適宜に変更されて良い。例えば、ＣＰＵ１１０は、ＰａＤｉＭの手法を用いることなく、欠陥の有無を判定しても良い。具体的には、ＣＰＵ１１０は、検証画像データと、検証画像データを画像生成モデルＧＮに入力して得られる再現画像データと、を用いて得られる検証差分画像データを用いて、差分画像を構成する画素のうち、差分が基準以上である画素を異常画素として特定しても良い。
【0188】
ＣＰＵ１１０は、検証差分画像データを用いることなく、欠陥の有無を判定しても良い。具体的には、ＣＰＵ１１０は、検証画像データを画像識別モデルＤＮに入力することによって、検証画像データの特徴マトリクスＦＭを生成し、該特徴マトリクスＦＭを用いてＰａＤｉＭの手法に従って、欠陥の有無を判定しても良い。この場合には、ＰａＤｉＭデータ生成処理にて、ガウシアンマトリクスＧＭは、正常差分画像データに代えて、正常画像データを画像識別モデルＤＮに入力することによって、正常画像データの特徴マトリクスＦＭを生成し、該特徴マトリクスＦＭを用いガウシアンマトリクスＧＭを生成する。
【0189】
上記実施例では、物体検出モデルＡＮは、撮像画像ＦＩ内の１つのラベル領域ＬＡを特定することが想定されている。これに代えて、物体検出モデルＡＮは、撮像画像ＦＩ内の複数個のラベル領域を特定しても良い。この場合には、各ラベル領域の画像を示す複数個の検証画像データが生成され、複数個の検証画像データを用いて、複数個のラベルの検査が行われても良い。
【0190】
上記実施例では、物体検出モデルＡＮは、ラベルＬ１とラベルＬ２との両方のラベル領域を特定できるように訓練される。これに代えて、物体検出モデルＡＮは、ラベルＬ１用の物体検出モデルと、ラベルＬ２用の物体検出モデルと、を含んでも良い。この場合には、検査処理において、ラベルＬ１を検査する際には、ラベルＬ１用の物体検出モデルを用いてラベル領域が特定され、ラベルＬ２を検査する際には、ラベルＬ２用の物体検出モデルを用いてラベル領域が特定される。
【0191】
上記実施例では、画像生成モデルＧＮは、ラベルＬ１とラベルＬ２との両方の正常画像を再現できるように、訓練されても良い。この場合には、検査処理において、ラベルＬ１を検査する場合とラベルＬ２を検査する場合との両方で、１つの共通の画像生成モデルＧＮが用いられる。同様に、画像識別モデルＤＮは、ラベルＬ１とラベルＬ２との両方の差分画像データの特徴を抽出できるように、訓練されても良い。この場合には、検査処理において、ラベルＬ１を検査する場合とラベルＬ２を検査する場合との両方で、１つの共通の画像識別モデルＤＮが用いられる。また、ＰａＤｉＭデータ生成処理において、ラベルＬ１用のガウシアンマトリクスＧＭとラベルＬ２用のガウシアンマトリクスＧＭとは、１つの共通の画像識別モデルＤＮが用いて生成される。
【0192】
（７）上記実施例の検査処理は、欠陥などの異常検出のために用いられる。これに限らず、検査対象の物体と比較対象の物体との差異を検出する様々な処理に用いられ得る。例えば、監視カメラの画像において、撮像中の部屋と、無人の部屋と、の差異を検出することで、侵入者の有無を検出する処理や、現在と物体と、過去の物体と、の差異を検出することで、に基づいて、物体の経時変化や動作を検出する処理などに、本実施例の検査処理が用いられてもよい。
【0193】
（８）上記実施例では、検査準備処理と検査処理とは、図１の検査装置１００によって実行されている。これに代えて、検査準備処理と検査処理とは、それぞれ、別の装置によって実行されても良い。この場合には、例えば、検査準備処理によって訓練された機械学習モデルＡＮ、ＤＮ、ＧＮ、および、ＰａＤｉＭデータは、検査処理を実行する装置の記憶装置に格納される。また、検査準備処理と検査処理との全部または一部は、ネットワークを介して互いに通信可能な複数個の計算機（例えば、いわゆるクラウドサーバ）によって実行されても良い。また、検査処理を行うコンピュータプログラムと、検査準備処理を行うコンピュータプログラムとは、異なるコンピュータプログラムであっても良い。
【0194】
（９）上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、検査準備処理と検査処理との全部または一部は、ASIC（Application Specific Integrated Circuit）等のハードウェア回路によって実行されてよい。
【0195】
以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。
【符号の説明】
【0196】
１００…検査装置,１０００…検査システム,１１０…ＣＰＵ,１２０…揮発性記憶装置,１３０…不揮発性記憶装置,１４０…表示部,１５０…操作部,１７０…通信部,３０…筐体,３００…製品,４００…撮像装置,ＡＭ…異常度マップ,ＡＮ…物体検出モデル,ＢＤ…背景画像データ群,ＢＩ…背景画像,ＣＩ…合成画像,ＤＩ１…版下画像,ＤＩ２…正常画像,ＤＩ４ａ,ＤＩ４ｂ…異常画像,ＤＩ５…再現画像,ＤＩ６ａ,ＤＩ６ｂ,ＤＩ６ｎ…差分画像,ＤＮ…画像識別モデル,ＥＣ…エンコーダ,ＦＩ…撮像画像,ＦＭ…特徴マトリクス,ＧＭ…ガウシアンマトリクス,ＧＮ…画像生成モデル,Ｌ１,Ｌ２…ラベル,ＬＡ…ラベル領域,ＰＧ…コンピュータプログラ,ＲＤ１,ＲＤ２…版下画像データ,ＴＩ…検証画像,像,Ｕｍ…使用マップ,ｆｍ…特徴マップ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】