特開 2023-179333 コンピュータプログラム、処理方法、および、処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023179333

(43)【公開日】2023-12-19

(54)【発明の名称】コンピュータプログラム、処理方法、および、処理装置

(51)【国際特許分類】

   G06V 10/72 20220101AFI20231212BHJP

   G06T 7/00 20170101ALI20231212BHJP

【ＦＩ】

G06V10/72

G06T7/00 350B

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022092607

(22)【出願日】2022-06-07

(71)【出願人】

【識別番号】000005267

【氏名又は名称】ブラザー工業株式会社

(74)【代理人】

【識別番号】110001058

【氏名又は名称】鳳国際弁理士法人

(72)【発明者】

【氏名】田中 良幸

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA08

5L096EA06

5L096FA67

5L096GA10

5L096GA41

5L096HA11

5L096KA04

5L096KA15

5L096MA03

(57)【要約】

【課題】機械学習モデルに入力するための画像データを準備するための負担を軽減する。
【解決手段】コンピュータプログラムは、物体を含む対象画像を示す対象画像データを取得する機能と、マスク画像を示すマスク画像データを生成する機能と、対象画像データに対して、マスク画像データを用いる調整処理含む処理を実行して、入力画像を示す入力画像データを生成する機能と、入力画像データと機械学習モデルとを用いて特定処理を実行する機能と、を実現させる。マスク画像は、特定の変動パターンに従って規定される明るさを示す。特定の変動パターンは、特定の位置から特定方向に離れるに連れて明るさが低下するパターンである。調整処理は、対象画像内の画素の明るさをマスク画像の対応する画素の値に基づいて調整する処理である。特定処理は、入力画像データを機械学習モデルに入力することによって出力データを生成する処理を含む。
【選択図】 図６

【特許請求の範囲】

【請求項1】

コンピュータプログラムであって、
物体を含む対象画像を示す対象画像データを取得する取得機能であって、前記対象画像は、２次元の座標空間に並ぶ複数個の画素によって構成される２次元の画像である、前記取得機能と、
前記対象画像の複数個の画素に対応する複数個の画素を含む２次元のマスク画像を示すマスク画像データを生成する第１生成機能であって、前記マスク画像の複数個の画素の値は、特定の変動パターンに従って規定される明るさを示し、前記特定の変動パターンは、特定の位置から特定方向に離れるに連れて前記明るさが低下するパターンである、前記第１生成機能と、
前記対象画像データに対して、前記マスク画像データを用いる調整処理を含む処理を実行して、入力画像を示す入力画像データを生成する第２生成機能であって、前記調整処理は、前記対象画像内の複数個の画素の明るさを前記マスク画像の対応する画素の値に基づいて調整する処理である、前記第２生成機能と、
前記入力画像データと機械学習モデルとを用いて特定処理を実行する特定処理機能であって、前記特定処理は、前記入力画像データを前記機械学習モデルに入力することによって出力データを生成する処理を含む、前記特定処理機能と、
をコンピュータに実現させる、コンピュータプログラム。

【請求項2】

請求項１に記載のコンピュータプログラムであって、
前記特定の変動パターンは、前記特定の位置を含む複数個の円または多角形を用いて決定される領域ごとに明るさを規定するパターンである、コンピュータプログラム。

【請求項3】

請求項１に記載のコンピュータプログラムであって、
生成すべき前記入力画像は、前記物体と、前記物体の外側に位置する背景と、を含み、
前記第１生成機能は、前記マスク画像データとして、前記物体が位置する物体領域のための第１マスク画像を示す第１マスク画像データと、前記背景が位置する背景領域のための第２マスク画像を示す第２マスク画像データと、を生成し、
前記第２生成機能は、前記対象画像データに対して、前記第１マスク画像データと前記第２マスク画像データとを用いる前記調整処理を実行して、前記入力画像データを生成し、
前記第１マスク画像データは、第１変動パターンに従って規定される明るさを示し、
前記第２マスク画像データは、前記第１変動パターンとは異なる第２変動パターンに従って規定される明るさを示す、コンピュータプログラム。

【請求項4】

請求項３に記載のコンピュータプログラムであって、
前記物体の光学特性と前記背景を構成する被写体の光学特性とは互いに異なり、
前記第１変動パターンは、前記物体の光学特性に対応するパターンであり、
前記第２変動パターンは、前記背景を構成する被写体の光学特性に対応するパターンである、コンピュータプログラム。

【請求項5】

請求項３に記載のコンピュータプログラムであって、
前記第１生成機能は、生成すべき前記入力画像内の前記物体の配置に応じて異なる前記第１マスク画像データを生成する、コンピュータプログラム。

【請求項6】

請求項５に記載のコンピュータプログラムであって、
前記第１生成機能は、生成すべき前記入力画像内の前記物体の位置と角度との少なくとも１つに応じて異なる前記第１マスク画像データを生成する、コンピュータプログラム。

【請求項7】

請求項３に記載のコンピュータプログラムであって、
前記第１生成機能は、
前記入力画像の全体に対応する前記第２マスク画像を示す前記第２マスク画像データを生成し、
前記第２マスク画像データを用いて、前記第２マスク画像のうちの前記物体領域に対応する部分画像を示す部分画像データを生成し、
前記部分画像データを用いて、前記第１マスク画像データを生成する、コンピュータプログラム。

【請求項8】

請求項３に記載のコンピュータプログラムであって、
前記取得機能は、複数個の前記対象画像データを取得し、
前記第２生成機能は、複数個の前記対象画像データに対して、共通の１つの前記第２マスク画像データを用いる前記調整処理を実行して、複数個の前記入力画像データを生成する、コンピュータプログラム。

【請求項9】

請求項１に記載のコンピュータプログラムであって、
前記対象画像データは、前記物体を示す元画像データであって前記物体の作成に用いられる前記元画像データに基づく画像データである、コンピュータプログラム。

【請求項10】

請求項１に記載のコンピュータプログラムであって、
前記特定処理は、複数個の前記入力画像データを用いて、前記機械学習モデルを訓練する訓練処理である、コンピュータプログラム。

【請求項11】

処理方法であって、
物体を含む対象画像を示す対象画像データを取得する取得工程であって、前記対象画像は、２次元の座標空間に並ぶ複数個の画素によって構成される２次元の画像である、前記取得工程と、
前記対象画像の複数個の画素に対応する複数個の画素を含む２次元のマスク画像を示すマスク画像データを生成する第１生成工程であって、前記マスク画像の複数個の画素の値は、特定の変動パターンに従って規定される明るさを示し、前記特定の変動パターンは、特定の位置から特定方向に離れるに連れて前記明るさが低下するパターンである、前記第１生成工程と、
前記対象画像データに対して、前記マスク画像データを用いる調整処理を含む処理を実行して、入力画像を示す入力画像データを生成する第２生成工程であって、前記調整処理は、前記対象画像内の複数個の画素の明るさを前記マスク画像の対応する画素の値に基づいて調整する処理である、前記第２生成工程と、
前記入力画像データと機械学習モデルとを用いて特定処理を実行する特定処理工程であって、前記特定処理は、前記入力画像データを前記機械学習モデルに入力することによって出力データを生成する処理を含む、前記特定処理工程と、
を備える、処理方法。

【請求項12】

処理装置であって、
物体を含む対象画像を示す対象画像データを取得する取得部であって、前記対象画像は、２次元の座標空間に並ぶ複数個の画素によって構成される２次元の画像である、前記取得部と、
前記対象画像の複数個の画素に対応する複数個の画素を含む２次元のマスク画像を示すマスク画像データを生成する第１生成部であって、前記マスク画像の複数個の画素の値は、特定の変動パターンに従って規定される明るさを示し、前記特定の変動パターンは、特定の位置から特定方向に離れるに連れて前記明るさが低下するパターンである、前記第１生成部と、
前記対象画像データに対して、前記マスク画像データを用いる調整処理を含む処理を実行して、入力画像を示す入力画像データを生成する第２生成部であって、前記調整処理は、前記対象画像内の複数個の画素の明るさを前記マスク画像の対応する画素の値に基づいて調整する処理である、前記第２生成部と、
前記入力画像データと機械学習モデルとを用いて特定処理を実行する特定処理部であって、前記特定処理は、前記入力画像データを前記機械学習モデルに入力することによって出力データを生成する処理を含む、前記特定処理部と、
を備える、処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、機械学習モデルを用いて特定処理を実行するためのコンピュータプログラム、処理方法、および、処理装置に関する。

【背景技術】

【0002】

特許文献１には、３ＤＣＧモデルデータを用いて大量の顔画像を生成し、該顔画像を用いて顔識別器を機械学習する技術が開示されている。この技術では、照射方向、光源の強度などの照明パラメータを決定し、該照明パラメータに基づいて顔画像が生成される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－２１６９４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記技術では、３ＤＣＧモデルデータを準備する必要があり、また、３ＤＣＧモデルデータを用いる処理は相応の処理時間を要する。このために、上記技術を実行する負担は、必ずしも軽いとは言えなかった。

【0005】

本明細書は、機械学習モデルに入力するための画像データを準備するための負担を軽減する新たな技術を開示する。

【課題を解決するための手段】

【0006】

本明細書に開示された技術は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の適用例として実現することが可能である。

【0007】

［適用例１］コンピュータプログラムであって、物体を含む対象画像を示す対象画像データを取得する取得機能であって、前記対象画像は、２次元の座標空間に並ぶ複数個の画素によって構成される２次元の画像である、前記取得機能と、前記対象画像の複数個の画素に対応する複数個の画素を含む２次元のマスク画像を示すマスク画像データを生成する第１生成機能であって、前記マスク画像の複数個の画素の値は、特定の変動パターンに従って規定される明るさを示し、前記特定の変動パターンは、特定の位置から特定方向に離れるに連れて前記明るさが低下するパターンである、前記第１生成機能と、前記対象画像データに対して、前記マスク画像データを用いる調整処理を含む処理を実行して、入力画像を示す入力画像データを生成する第２生成機能であって、前記調整処理は、前記対象画像内の複数個の画素の明るさを前記マスク画像の対応する画素の値に基づいて調整する処理である、前記第２生成機能と、前記入力画像データと機械学習モデルとを用いて特定処理を実行する特定処理機能であって、前記特定処理は、前記入力画像データを前記機械学習モデルに入力することによって出力データを生成する処理を含む、前記特定処理機能と、をコンピュータに実現させる、コンピュータプログラム。

【0008】

上記構成によれば、２次元の対象画像データと、２次元のマスク画像データと、を用いて、機械学習モデルに入力するための入力画像データが生成される。この結果、入力画像データを容易に生成し得る。したがって、例えば、３次元のＣＧデータを用いる場合と比較して、機械学習モデルに入力するための入力画像データを準備するための負担を軽減することができる。

【0009】

なお、本明細書に開示される技術は、他の種々の形態で実現することが可能であり、例えば、処理方法、処理装置、機械学習モデルの訓練方法、訓練装置、これらの装置および方法を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、等の形態で実現することができる。

【図面の簡単な説明】

【0010】

【図1】本実施例の検査システム１０００の構成を示すブロック図。

【図2】製品３００の説明図。

【図3】検査準備処理のフローチャート。

【図4】訓練画像データ生成処理のフローチャート。

【図5】検査準備処理にて用いられる画像の一例を示す図。

【図6】光源追加処理のフローチャート。

【図7】光源パラメータテーブルＰＴの一例を示す図。

【図8】マスク画像の説明図。

【図9】画像生成モデルＧＮの説明図。

【図10】検査処理のフローチャート。

【図11】検査処理のフローチャート。

【図12】変形例のマスク画像ＭＩＢ、ＭＩＣの説明図。

【0011】

Ａ．実施例
Ａ－１．検査装置の構成
次に、実施の形態を実施例に基づき説明する。図１は、本実施例の検査システム１０００の構成を示すブロック図である。検査システム１０００は、処理装置１００と、撮像装置４００と、を含んでいる。処理装置１００と撮像装置４００とは、通信可能に接続されている。

【0012】

処理装置１００は、例えば、パーソナルコンピュータなどの計算機である。処理装置１００は、処理装置１００のコントローラとしてのＣＰＵ１１０と、ＧＰＵ１１５と、ＲＡＭなどの揮発性記憶装置１２０と、ハードディスクドライブなどの不揮発性記憶装置１３０と、マウスやキーボードなどの操作部１５０と、液晶ディスプレイなどの表示部１４０と、通信部１７０と、を備えている。通信部１７０は、外部機器、例えば、撮像装置４００と通信可能に接続するための有線または無線のインタフェースを含む。

【0013】

ＧＰＵ（Graphics Processing Unit）１１５は、ＣＰＵ１１０の制御に従って、３次元グラフィックスなどの画像処理のための計算処理を行うプロセッサである。本実施例では、後述する画像生成モデルＧＮの演算処理を実行するために利用される。

【0014】

揮発性記憶装置１２０は、ＣＰＵ１１０が処理を行う際に生成される種々の中間データを一時的に格納するバッファ領域を提供する。不揮発性記憶装置１３０には、コンピュータプログラムＰＧと、光源パラメータテーブルＰＴと、版下画像データＲＤと、が格納されている。光源パラメータテーブルＰＴと版下画像データＲＤとは、後述する訓練画像データ生成処理において用いられる。光源パラメータテーブルＰＴと版下画像データＲＤについては後述する。

【0015】

コンピュータプログラムＰＧは、後述する画像生成モデルＧＮの機能をＣＰＵ１１０とＧＰＵ１１５とが協働して実現させるコンピュータプログラムをモジュールとして含んでいる。コンピュータプログラムＰＧは、例えば、処理装置１００の製造者によって提供される。コンピュータプログラムＰＧは、例えば、サーバからダウンロードされる形態で提供されても良く、ＤＶＤ－ＲＯＭなどに格納される形態で提供されてもよい。ＣＰＵ１１０は、コンピュータプログラムＰＧを実行することにより、後述する検査処理や検査準備処理を実行する。

【0016】

撮像装置４００は、二次元イメージセンサを用いて被写体を撮像することによって被写体を表す画像データ（撮像画像データとも呼ぶ）を生成するデジタルカメラである。撮像画像データは、複数個の画素を含む画像を示すビットマップデータであり、具体的には、ＲＧＢ値によって画素ごとの色を表すＲＧＢ画像データである。ＲＧＢ値は、３個の色成分の階調値（以下、成分値とも呼ぶ）、すなわち、Ｒ値、Ｇ値、Ｂ値を含むＲＧＢ表色系の色値である。Ｒ値、Ｇ値、Ｂ値は、例えば、所定の階調数（例えば、２５６）の階調値である。撮像画像データは、画素ごとの輝度を表す輝度画像データであっても良い。ＲＧＢ画像データによって示される画像は、縦方向および横方向の２次元の座標空間に並ぶ複数個の画素によって構成される２次元の画像である。

【0017】

撮像装置４００は、処理装置１００の制御に従って、撮像画像データを生成し、処理装置１００に送信する。本実施例では、撮像装置４００は、検査処理の検査対象であるラベルＬが貼付された製品３００を撮像して、検査用の撮像画像を示す撮像画像データを生成するために用いられる。撮像装置４００は、上述した素材画像データを生成するために用いられても良い。

【0018】

図２は、製品３００の説明図である。図２（Ａ）には、製品３００の斜視図が示されている。製品３００は、本実施例では、略直方体の筐体３０を有するプリンタである。製造工程において、筐体３０の前面３１（＋Ｙ側の面）には、矩形のラベルＬが所定の貼付位置に貼付される。

【0019】

図２（Ｂ）には、ラベルＬが示されている。ラベルＬは、例えば、背景Ｂと、製造者や製品のブランドロゴ、型番、ロット番号等の各種の情報を示す文字ＴＸやマークＭＫと、を含んでいる。

【0020】

Ａ－２．検査準備処理
検査準備処理は、ラベルＬを検査する検査処理（後述）に先立って実行される。検査準備処理では、検査処理にて用いられる画像生成モデルＧＮの訓練が行われる。図３は、検査準備処理のフローチャートである。

【0021】

Ｓ１０では、ＣＰＵ１１０は、訓練画像データ生成処理を実行する。訓練画像データ生成処理は、版下画像データＲＤを用いて、機械学習モデルの訓練に用いられる画像データである訓練画像データを生成する処理である。図４は、訓練画像データ生成処理のフローチャートである。

【0022】

Ｓ２０５では、ＣＰＵ１１０は、不揮発性記憶装置１３０から版下画像データＲＤを取得する。図５は、検査準備処理にて用いられる画像の一例を示す図である。図５（Ａ）には、版下画像データＲＤによって示されるＲＩが例示されている。版下画像ＲＩは、ラベルＢＬを示す画像である。版下画像ＲＩに示されるラベルを、実物のラベルＬと区別するために符号「ＢＬ」を付す。ラベルＢＬは、実物のラベルＬを表現したＣＧ（コンピュータグラフィックス）画像である。版下画像データＲＤは、撮像画像データと同様のビットマップデータ、本実施例では、ＲＧＢ画像データである。版下画像データＲＤは、ラベルＬの作成に用いられるデータである。例えば、ラベルＬは、ラベル用のシートに版下画像データＲＤによって示される版下画像ＲＩを印刷することによって作成される。ただし、本実施例の版下画像ＲＩは、印刷用のサイズとは異なるサイズに調整されていても良い。本実施例では、版下画像ＲＩのサイズ（縦方向および横方向の画素数）は、画像生成モデルＧＮの入力画像のサイズの７０％～８０％のサイズに調整されている。

【0023】

Ｓ２１０では、ＣＰＵ１１０は、版下画像データＲＤに対して、平滑化処理を実行する。平滑化処理は、画像を平滑化する処理である。平滑化処理によって、画像内のエッジがぼける。平滑化処理には、例えば、ガウシアンフィルタを用いる平滑化処理が用いられる。例えば、ガウシアンフィルタのパラメータである標準偏差σは、０～３の範囲内でランダムに決定される。これによって、エッジのぼけ方にバラツキを持たせることができる。なお、変形例では、ラプラシアンフィルタやメディアンフィルタを用いる平滑化処理が用いられても良い。

【0024】

Ｓ２１５では、ＣＰＵ１１０は、平滑化処理済みの版下画像データＲＤに対して、ノイズ付加処理を実行する。ノイズ付加処理は、画像に対して、例えば、正規分布に従うノイズであり、例えば全ての画素に対して平均０、分散１０のパラメータによって生成される正規分布乱数によるノイズを付加する処理である。

【0025】

Ｓ２２０では、ＣＰＵ１１０は、ノイズ付加処理済みの版下画像データＲＤに対して回転処理を実行する。回転処理は、特定の回転角度で画像を回転させる処理である。特定の回転角度は、例えば、－３度～＋３度の範囲内でランダムに決定される。例えば、正の回転角度は時計回りの回転を示し、負の回転角度は反時計回りの回転を示す。回転は、例えば、版下画像ＤＩ１の重心を中心として実行される。

【0026】

Ｓ２１０～Ｓ２２０の画像処理済みの版下画像データＲＤを、以下では、ラベル画像データとも呼ぶ。そして、Ｓ２１０～Ｓ２２０の画像処理済みの版下画像データＲＤによって示される画像を、以下では、ラベル画像ＬＩとも呼ぶ。図５（Ｂ）には、ラベル画像ＬＩの一例が示されている。これらの画像処理と、後述する光源追加処理は、ＣＧ画像である版下画像ＲＩを、撮影されたラベルのような見栄えの画像に調整するための処理である。上述した回転処理によって、ラベル画像ＬＩの４辺と、ラベルＢＬ２の４辺と、の間には、隙間ｎｔが生じている。隙間ｎｔの領域は、所定の色、例えば、白色の画素によって埋められている。

【0027】

Ｓ２３０では、ＣＰＵ１１０は、背景画像ＢＩを示す背景画像データを生成する。図５（Ｄ）には、背景画像ＢＩの一例が示されている。本実施例の背景画像ＢＩは、ラベル画像ＬＩのラベルＢＬ２の色とは異なる背景色を有する単色の画像に、ノイズを付加した画像である。背景色は、例えば、ラベルＢＬ２の色とは異なる色相を有する所定の色範囲において、ランダムに決定される。付加されるノイズには、例えば、上述したノイズ付加処理と同様に、正規分布に従うノイズ、あるいは、ごま塩ノイズが用いられる。背景画像ＢＩのサイズ（縦方向および横方向の画素数）は、画像生成モデルＧＮの入力画像のサイズである。背景画像データは、ラベル画像データと同様にＲＧＢ画像データである。

【0028】

Ｓ２４０では、ＣＰＵ１１０は、ラベル画像データに対して光源追加処理を実行する。光源追加処理は、画像内のオブジェクトが所定の光源から光の照射を受けている状態を表現するための処理である。図６は、光源追加処理のフローチャートである。

【0029】

Ｓ３００では、ＣＰＵ１１０は、光源パラメータを設定するか否かを判断する。光源パラメータは、疑似的に光の照射を表現するための光源のパラメータである。初回の光源追加処理では、設定済みの光源パラメータがないので、必ず光源パラメータを設定すると判断される。２回目以降の光源追加処理では、設定済みの光源パラメータを変更する場合に、光源パラメータを設定すると判断され、設定済みの光源パラメータを変更しない場合に、光源パラメータを設定しないと判断される。光源パラメータの変更は、例えば、所定回数（例えば、数回～数１０回）に一度程度の割合で行われる。

【0030】

光源パラメータを設定すると判断される場合には（Ｓ３００：ＹＥＳ）、ＣＰＵ１１０は、Ｓ３０５にて、光源パラメータを新たに設定する。光源パラメータは、中心ＣＰの座標（Ｘｃ、Ｙｃ）と、初期半径Ｒｓと、差分半径Ｒｄと、初期ラベル明度ｂｌｓと、差分ラベル明度ｂｌｄと、初期背景明度ｂｂｓと、差分背景明度ｂｂｄと、を含む。

【0031】

中心ＣＰの座標（Ｘｃ、Ｙｃ）は、例えば、生成すべき背景画像ＢＩ内の１つの点の座標にランダムに決定される。初期半径Ｒｓと差分半径Ｒｄとは、例えば、所定範囲（例えば、ラベル画像ＬＩの幅の５～３０％の範囲）内の値にランダムに決定される。

【0032】

初期ラベル明度ｂｌｓと、差分ラベル明度ｂｌｄと、初期背景明度ｂｂｓと、差分背景明度ｂｂｄとは、光源パラメータテーブルＰＴ（図１）を参照して決定される。図７は、光源パラメータテーブルＰＴの一例を示す図である。光源パラメータテーブルＰＴは、ラベル用テーブルＰＴ１と、背景用テーブルＰＴ２と、を含んでいる。

【0033】

ラベル用テーブルＰＴ１には、複数種類のラベルの素材（図７の例では、金属Ａ、プラスチックＡ、紙Ａ）のそれぞれに対応付けて、初期ラベル明度ｂｌｓと、差分ラベル明度ｂｌｄと、が記録されている。背景用テーブルＰＴ２には、複数種類の背景の素材（図７の例では、金属Ｂ、プラスチックＢ、紙Ｂ）のそれぞれに対応付けて、初期背景明度ｂｂｓと、差分背景明度ｂｂｄと、が記録されている。

【0034】

初期ラベル明度ｂｌｓ、差分ラベル明度ｂｌｄ、初期背景明度ｂｂｓ、差分背景明度ｂｂｄは、素材の光学特性（反射、吸収、透過などの特性）に応じて決定されている。例えば、金属の反射強度は、プラスチックの反射強度より高く、プラスチックの反射強度は、紙の反射強度より高い。このために、金属の初期ラベル明度ｂｌｓや差分ラベル明度ｂｌｄは、プラスチックの初期ラベル明度ｂｌｓや差分ラベル明度ｂｌｄより高く、プラスチックの初期ラベル明度ｂｌｓや差分ラベル明度ｂｌｄは、紙の初期ラベル明度ｂｌｓや差分ラベル明度ｂｌｄより高く設定されている（bls_1＞bls_2＞bls_3、bld_1＞bld_2＞bld_3）。初期背景明度ｂｂｓ、差分背景明度ｂｂｄについても同様である（bbs_1＞bbs_2＞bbs_3、bbd_1＞bbd_2＞bbd_3）。このように、ラベルの素材や背景を構成する被写体の素材（例えば、製品３００の前面３１の素材）として想定される素材は異なるところ、これらの素材の光学特性も互いに異なる。本実施例では、ラベルや背景の素材の光学特性に対応する光源パラメータを用いることで、後述するラベルマスク画像ＬＭＩや背景マスク画像ＢＭＩにおいて、ラベルや背景の素材の光学特性に対応する明るさの変動パターンを実現できる。

【0035】

ＣＰＵ１１０は、複数個のラベルの素材の中から、１個の素材をランダムに選択し、ラベル用テーブルＰＴ１を参照して、選択された素材に対応付けられた初期ラベル明度ｂｌｓと差分ラベル明度ｂｌｄとを、設定すべき光源パラメータとして決定する。ＣＰＵ１１０は、複数個の背景の素材の中から、１個の素材をランダムに選択し、背景用テーブルＰＴ２を参照して、選択された素材に対応付けられた初期背景明度ｂｂｓと差分背景明度ｂｂｄとを、設定すべき光源パラメータとして決定する。

【0036】

Ｓ３１０では、ＣＰＵ１１０は、設定された光源パラメータを用いて、背景マスク画像データを生成する。図８は、マスク画像の説明図である。図８（Ａ）には、マスク画像の概念図が示されている。図８（Ａ）のマスク画像ＭＩは、例えば、電球などの１点の光源から照射される光を表現している。マスク画像ＭＩを示すデータは、画素ごとに明度を示す明度データである。マスク画像ＭＩは、設定された中心ＣＰを有する複数個の円Ｃ１～Ｃ７によって規定される。最小の円Ｃ１の半径は、光源パラメータの１つである初期半径Ｒｓである。図８（Ａ）の円Ｃｎ（ｎは２以上７以下の整数）の半径は、初期半径Ｒｓと、{（ｎ－１）×Ｒｄ｝と、の和である。すなわち、差分半径Ｒｄは、円Ｃ（ｎ＋１）の半径と、円Ｃｎの半径と、の差である。

【0037】

これらの円Ｃ１～Ｃ７によって、マスク画像ＭＩは、領域Ａ０１～Ａ６７に区分される。領域Ａ０１は、中心ＣＰを含む円Ｃ１内の領域である。領域Ａｎ（ｎ＋１）は、円Ｃｎと円Ｃ（ｎ＋１）との間の領域である。領域Ａ０１～Ａ６７は、領域ごとに明度が異なる。領域Ａ０１の明度は、初期明度である。領域Ａｎ（ｎ＋１）の明度は、内側に接する領域Ａ（ｎ－１）ｎの明度から差分明度を減算した値である。初期明度は、背景マスク画像ＢＭＩ（後述）では、初期背景明度ｂｂｓであり、ラベルマスク画像ＬＭＩ（後述）では、初期ラベル明度ｂｌｓである。背景明度は、背景マスク画像ＢＭＩ（後述）では、差分背景明度ｂｂｄであり、ラベルマスク画像ＬＭＩ（後述）では、差分ラベル明度ｂｌｄである。以上の説明から解るように、領域Ａ０１～Ａ６７の明度は、中心ＣＰを含む領域Ａ０１の明度が最も高く、中心ＣＰから離れた領域ほど明度が段階的に低くなるように設定される。すなわち、本実施例のマスク画像ＭＩ（背景マスク画像ＢＭＩやラベルマスク画像ＬＭＩ）は、中心ＣＰの近傍が最も明るく、中心ＣＰから離れるほど段階的に暗くなる。このように、本実施例のマスク画像ＭＩは、特定の位置（本実施例では、中心ＣＰ）から特定方向（本実施例では円Ｃ１～Ｃ７の半径方向）に離れるに連れて明るさが低下する変動パターンに従って規定される明るさを示している。

【0038】

図８（Ｂ）には、背景マスク画像ＢＭＩの一例が示されている。背景マスク画像ＢＭＩのサイズは、上述した背景画像ＢＩと同じサイズである。ＣＰＵ１１０は、光源パラメータとして決定された座標（Ｘｃ、Ｙｃ）に中心ＣＰが位置するように、背景画像ＢＩと同じサイズの画像内に、図８（Ａ）のマスク画像ＭＩを形成する。これによって、図８（Ｂ）の背景マスク画像ＢＭＩを示す背景マスク画像データを生成する。換言すれば、図８（Ａ）に示すマスク画像ＭＩのうち、図８（Ａ）の矩形領域ＢＡ内の画像が、図８（Ｂ）の背景マスク画像ＢＭＩに相当する。

【0039】

光源パラメータを設定しない場合には（Ｓ３００：ＮＯ）、ＣＰＵ１１０は、Ｓ３１５にて前回の光源追加処理にて使用した背景マスク画像データをメモリ（不揮発性記憶装置１３０または揮発性記憶装置１２０）から取得する。すなわち、光源パラメータを変更しない場合には、前回の光源追加処理にて使用されたマスク画像データが再利用される。

【0040】

Ｓ３１８では、背景マスク画像ＢＭＩ内に、ラベル部分領域ＬＰＡを決定する。ラベル部分領域ＬＰＡは、上述した（図５（Ｂ））ラベル画像ＬＩと同じサイズの領域である。ラベル部分領域ＬＰＡは、ラベル部分領域ＬＰＡの全体が背景マスク画像ＢＭＩ内に位置するように、背景マスク画像ＢＭＩ内にランダムに決定される。

【0041】

Ｓ３２０では、ＣＰＵ１１０は、背景マスク画像ＢＭＩからラベル部分領域ＬＰＡ内の画像を切り出す。これによって、切出画像ＴＭＩを示す切出画像データが生成される。図８（Ｃ）には、切出画像ＴＭＩが図示されている。

【0042】

Ｓ３２５では、ＣＰＵ１１０は、切出画像データを用いて、ラベルマスク画像ＬＭＩを示すラベルマスク画像データを生成する。具体的には、切出画像ＴＭＩ内の領域Ａ０１～Ａ６７内の画素の値（明度）を、初期背景明度ｂｂｓと差分背景明度ｂｂｄとに基づく値から、初期ラベル明度ｂｌｓと差分ラベル明度ｂｌｄとに基づく値に置換する。図８（Ｄ）に示すように、ラベルマスク画像ＬＭＩにおける中心ＣＰおよび領域Ａ０１～Ａ６７の配置は、切出画像ＴＭＩと同じであるが、ラベルマスク画像ＬＭＩにおける領域Ａ０１～Ａ６７の明度は、切出画像ＴＭＩとは異なっている。このように、背景マスク画像ＢＭＩとラベルマスク画像ＬＭＩとでは、光源パラメータのうちの一部である初期明度と差分明度とが異なっているので、明るさの変動パターン（例えば、中心ＣＰ近傍の明度や、中心ＣＰから離れるに従って明度が低下する程度）が異なっている。すなわち、ラベルマスク画像ＬＭＩは、第１変動パターンに従って規定される明るさを示し、背景マスク画像ＢＭＩは、第１変動パターンとは異なる第２変動パターンに従って規定される明るさを示している。

【0043】

ラベルマスク画像データおよび背景マスク画像データは、いずれも明度を画素ごとに示すビットマップデータである。このために、ラベルマスク画像ＬＭＩおよび背景マスク画像ＢＭＩは、いずれも、ラベル画像ＬＩおよび背景マスク画像ＢＭＩと同様に、縦方向および横方向の２次元の座標空間に並ぶ複数個の画素によって構成される２次元の画像である。

【0044】

Ｓ３３０では、ＣＰＵ１１０は、背景画像ＢＩ（図５（Ｄ））を示す背景画像データと、背景マスク画像ＢＭＩ（図８（Ｂ））を示す背景マスク画像データと、を用いて、マスク処理を実行する。これよって、マスク処理済みの背景画像ＢＩｓを示す処理済背景画像データが生成される。背景画像ＢＩと背景マスク画像ＢＭＩとはサイズが同じであるので、背景画像ＢＩ内の複数個の画素と、背景マスク画像ＢＭＩ内の複数個の画素と、は、一対一で対応している。マスク処理前の背景画像ＢＩの画素の値（ＲＧＢ値）を（Ｒｂ、Ｇｂ、Ｂｂ）とし、背景マスク画像ＢＭＩの対応する画素の値（明度）をＶｂとすると、マスク処理済みの背景画像ＢＩｓの画素の値（Ｒｂｓ、Ｇｂｓ、Ｂｂｓ）は、以下の式によって示される。ここで、（Ｒｂ、Ｇｂ、Ｂｂ）、Ｖｂは、いずれも０～１の範囲の値を取るものとする。
Ｒｂｓ＝１－（１－Ｒｂ）（１－Ｖｂ）
Ｇｂｓ＝１－（１－Ｇｂ）（１－Ｖｂ）
Ｂｂｓ＝１－（１－Ｂｂ）（１－Ｖｂ）

【0045】

図５（Ｅ）には、マスク処理済みの背景画像ＢＩｓの一例が図示されている。マスク処理済みの背景画像ＢＩｓは、背景画像ＢＩに光源から光が照射された状態を疑似的に表現した画像になる。

【0046】

Ｓ３３５では、ＣＰＵ１１０は、ラベル画像ＬＩ（図５（Ｂ））を示すラベル画像データと、ラベルマスク画像ＬＭＩ（図８（Ｄ））を示すラベルマスク画像データと、を用いて、マスク処理を実行する。これよって、マスク処理済みのラベル画像ＬＩｓを示す処理済ラベル画像データが生成される。ラベル画像ＬＩとラベルマスク画像ＬＭＩとはサイズが同じであるので、ラベル画像ＬＩ内の複数個の画素と、ラベルマスク画像ＬＭＩ内の複数個の画素と、は、一対一で対応している。マスク処理前のラベル画像ＬＩの画素の値（ＲＧＢ値）を（Ｒｌ、Ｇｌ、Ｂｌ）とし、ラベルマスク画像ＬＭＩの対応する画素の値（明度）をＶｌとすると、マスク処理済みのラベル画像ＬＩｓの画素の値（Ｒｌｓ、Ｇｌｓ、Ｂｌｓ）は、以下の式によって示される。ここで、（Ｒｌ、Ｇｌ、Ｂｌ）、Ｖｌは、いずれも０～１の範囲の値を取るものとする。
Ｒｌｓ＝１－（１－Ｒｌ）（１－Ｖｌ）
Ｇｌｓ＝１－（１－Ｇｌ）（１－Ｖｌ）
Ｂｌｓ＝１－（１－Ｂｌ）（１－Ｖｌ）

【0047】

図５（Ｃ）には、マスク処理済みのラベル画像ＬＩｓの一例が図示されている。マスク処理済みのラベル画像ＬＩｓは、ラベル画像ＬＩに光源から光が照射された状態を疑似的に表現した画像になる。上記の式から解るように、本実施例のマスク処理は、処理対象の画像内の複数個の画素の明るさをマスク画像の対応する画素の値（ＶｂやＶｌ）に基づいて調整する処理である。

【0048】

図４のＳ２４０の光源追加処理後のＳ２４５では、ＣＰＵ１１０は、処理済背景画像データと処理済ラベル画像データとを合成する合成処理を実行して、訓練画像ＳＩｂ（合成画像）を示す訓練画像データを生成する。

【0049】

合成処理では、ＣＰＵ１１０は、マスク処理済みのラベル画像ＬＩｓの複数個の画素のそれぞれについて、不透明度αを規定する情報であるアルファチャンネルを生成する。ラベル画像ＬＩｓ（図５（Ｃ））のラベルＢＬ２を構成する画素の不透明度αは、１（１００％）に設定され、隙間ｎｔを構成する画素の不透明度αは、０（０％）に設定される。

【0050】

ＣＰＵ１１０は、マスク処理済みの背景画像ＢＩｓ上の合成位置にラベル画像ＬＩｓを配置した場合に、ラベル画像ＬＩｓのラベルＢＬ２を構成する画素（不透明度αが１に設定された画素）と重なる背景画像ＢＩｓ上の画素を特定する。ＣＰＵ１１０は、特定された背景画像ＢＩｓの複数個の画素の値を、ラベル画像ＬＩｓの対応する複数個の画素の値に置換する。

【0051】

なお、背景画像ＢＩｓに対するラベル画像ＬＩｓの合成位置は、図６のＳ３１８にて、背景マスク画像ＢＭＩ内に決定されたラベル部分領域ＬＰＡの位置である。したがって、図６のＳ３１８は、背景画像ＢＩｓに対するラベル画像ＬＩｓの合成位置を決定する処理である、とも言うことができる。

【0052】

合成処理によって、背景画像ＢＩｓを背景とし、ラベル画像ＬＩｓ（ラベルＢＬ２）を前景として、背景画像ＢＩｓとラベル画像ＬＩｓとが合成された訓練画像ＳＩ（図５（Ｆ））を示す訓練画像データが生成される。訓練画像ＳＩは、光源から光が照射された状態のラベルＬと背景とを撮像して得られる撮像画像を疑似的に表現した画像になる。

【0053】

Ｓ２５０では、ＣＰＵ１１０は、生成された訓練画像データを不揮発性記憶装置１３０に保存（格納）する。Ｓ２５５では、ＣＰＵ１１０は、所定数（例えば、数百～数万）の訓練画像データが生成されたか否かを判断する。所定数の訓練画像データが生成されていない場合には（Ｓ２５５：ＮＯ）、ＣＰＵ１１０は、Ｓ２１０に戻る。所定数の訓練画像データが生成された場合には（Ｓ２５５：ＹＥＳ）、ＣＰＵ１１０は、訓練画像データ生成処理を終了する。

【0054】

図３のＳ１０の訓練画像データ生成処理後のＳ２０では、ＣＰＵ１１０は、画像生成モデルＧＮの訓練処理を実行する。以下では、画像生成モデルＧＮの概要と訓練処理とを説明する。

【0055】

図９は、画像生成モデルＧＮの説明図である。図９（Ａ）は、画像生成モデルＧＮの構成の例を示す概略図である。本実施例では、画像生成モデルＧＮは、いわゆるオートエンコーダであり、エンコーダＶｅと、デコーダＶｄと、を備えている。

【0056】

エンコーダＶｅは、オブジェクトの画像を表す入力画像データＩＩｇに対して次元削減処理を実行して、入力画像データＩＩｇによって表される入力画像（例えば、図５（Ｆ）の訓練画像ＳＩ）の特徴を抽出して特徴データを生成する。本実施例では、エンコーダＶｅは、ｐ個（ｍは１以上の整数）の畳込層Ｖｅ２１－Ｖｅ２ｐを有している。各畳込層の直後には、プーリング層が設けられる（例えば、最大プーリング層）。ｐ個の畳込層のそれぞれの活性化関数は、例えば、ＲｅＬＵである。

【0057】

デコーダＶｄは、特徴データに対して次元復元処理を実行して、出力画像データＯＩｇを生成する。出力画像データＯＩｇは、特徴データに基づいて再構成された画像を表している。出力画像データＯＩｇの画像サイズと各画素の色値の色成分とは、入力画像データＩＩｇのものと同じである。

【0058】

本実施例では、デコーダＶｄは、ｑ個（ｑは１以上の整数）の畳込層Ｖｄ２１－Ｖｄ２ｑを有している。最後の畳込層Ｖｄ２ｑを除いた残りの畳込層のそれぞれの直後には、アップサンプリング層が設けられる。最後の畳込層Ｖｄ２ｑの活性化関数は、出力画像データＯＩｇの生成に適した関数（例えば、Sigmoid関数、または、Tanh関数）である。他の畳込層のそれぞれの活性化関数は、例えば、ＲｅＬＵである。

【0059】

畳込層Ｖｅ２１－Ｖｅ２ｐ、Ｖｄ２１－Ｖｄ２ｑは、入力されるデータに対して、畳込処理とバイアスの加算処理とを含む処理を実行する。これらの畳込層は、畳込処理に用いられる複数のフィルタの複数の重みと複数のバイアスとを含む演算パラメータを、それぞれ有している。

【0060】

次に、画像生成モデルＧＮの訓練処理（図３のＳ２０）について説明する。図９（Ｂ）は、画像生成モデルＧＮの訓練処理のフローチャートである。訓練によって、画像生成モデルＧＮの演算に用いられる複数の演算パラメータ（畳込層Ｖｅ２１－Ｖｅ２ｐ、Ｖｄ２１－Ｖｄ２ｑのそれぞれの演算に用いられる複数の演算パラメータを含む）が、調整される。訓練処理前は、複数の演算パラメータは、乱数値などの初期値に設定されている。

【0061】

Ｓ５１０では、ＣＰＵ１１０は、不揮発性記憶装置１３０からバッチサイズ分の複数個の訓練画像データを取得する。Ｓ５２０では、ＣＰＵ１１０は、複数個の訓練画像データを画像生成モデルＧＮに入力し、複数個の訓練画像データに対応する複数個の出力画像データＯＩｇを生成する。

【0062】

Ｓ５３０では、ＣＰＵ１１０は、複数個の訓練画像データと、複数個の訓練画像データに対応する複数個の出力画像データＯＩｇと、を用いて、損失値を算出する。具体的には、ＣＰＵ１１０は、訓練画像データと、対応する出力画像データＯＩｇと、の間の差分を示す評価値を、訓練画像データごとに算出する。損失値は、例えば、画素毎、色成分毎の成分値の交差エントロピー誤差の合計値である。損失値の算出には、成分値の差分に応じた損失値を算出するための他の公知の損失関数、例えば、二乗誤差、絶対誤差が用いられても良い。

【0063】

Ｓ５４０では、ＣＰＵ１１０は、算出された損失値を用いて、画像生成モデルＧＮの複数の演算パラメータを調整する。具体的には、ＣＰＵ１１０は、訓練画像データごとに算出される損失値の合計が小さくなるように、所定のアルゴリズムに従って演算パラメータを調整する。所定のアルゴリズムとしては、例えば、誤差逆伝播法と勾配降下法とを用いたアルゴリズムが用いられる。

【0064】

Ｓ５５０では、ＣＰＵ１１０は、訓練終了条件が満たされるか否かを判断する。訓練終了条件は、図９（Ｂ）のＳ４５０と同様に、種々の条件、例えば、損失値が基準値以下になったことや、損失値の変化量が基準値以下になったことや、Ｓ５４０の演算パラメータの調整が繰り返された回数が所定数以上になったこと、が用いられる。

【0065】

訓練の終了条件が満たされない場合には（Ｓ５５０：ＮＯ）、ＣＰＵ１１０は、Ｓ５１０に戻って、訓練を継続する。訓練の終了条件が満たされた場合には（Ｓ５５０：ＹＥＳ）、ＣＰＵ１１０は、Ｓ５６０にて、調整済の演算パラメータを含む訓練済みの画像生成モデルＧＮのデータを、不揮発性記憶装置１３０に格納して、訓練処理を終了する。

【0066】

訓練済みの画像生成モデルＧＮによって生成される出力画像データＯＩｇは、入力画像としての訓練画像ＳＩの特徴を再構成して再現した再現画像（図示省略）を示す。このために、訓練済みの画像生成モデルＧＮによって生成される出力画像データＯＩｇを、再現画像を示す再現画像データとも呼ぶ。再現画像は、入力画像（例えば、訓練画像ＳＩ）とほぼ同様の画像である。なお、訓練済みの画像生成モデルＧＮは、正常なラベルＬを示す訓練画像ＳＩの特徴のみを再構成するように訓練される。このために、キズや汚れなどの欠陥を含むラベルの画像（後述）を示す入力画像データが訓練済みの画像生成モデルＧＮに入力される場合に生成される再現画像データは、正常なラベルの画像を示すことが期待できる。換言すれば、画像生成モデルＧＮに、正常なラベルを示す画像データが入力される場合も、欠陥を含む異常なラベルを示す画像データが入力される場合も、再現画像は、正常なラベル再現した画像になる。

【0067】

Ａ－３.検査処理
図１０は、検査処理のフローチャートである。図１１は、検査処理の説明図である。検査処理は、検査対象のラベルＬが欠陥等を含む異常品であるか、欠陥等を含まない正常品であるかを検査する処理である。検査処理は、ラベルＬごとに実行される。検査処理は、ユーザ（例えば、検査の作業者）が処理の開始指示を、操作部１５０を介して処理装置１００に入力した場合に、開始される。例えば、ユーザは、検査すべきラベルＬが貼り付けられた製品３００を、撮像装置４００を用いて撮像するための所定の位置に配置した状態で、検査処理の開始指示を入力する。

【0068】

Ｓ９００では、ＣＰＵ１１０は、検査すべきラベルＬ（以下、検査品とも呼ぶ）を示すＴＩ含む撮像画像を示す撮像画像データを取得する。例えば、ＣＰＵ１１０は、撮像装置４００に撮像指示を送信して、撮像装置４００に撮像画像データを生成させ、撮像装置４００から撮像画像データを取得する。この結果、例えば、図１１（Ａ）の撮像画像ＦＩを示す撮像画像データが取得される。撮像画像ＦＩは、製品の前面Ｆ３１と、前面Ｆ３１上に貼付されたラベルＦＬとを示す画像である。このように撮像画像ＦＩに示される製品の前面およびラベルを、実物の前面３１およびラベルＬ（図２）と区別するために符号の先頭に「Ｆ」を付した符号を用いて、前面Ｆ３１、ラベルＦＬとする。ラベルＦＬ内のラベルＦＬは、キズなどの欠陥を含む場合もある。

【0069】

Ｓ９０５では、ＣＰＵ１１０は、撮像画像ＦＩ内の一部の領域であり、ラベルＦＬを含む領域であるラベル領域ＬＡを特定する。ラベル領域ＬＡの特定方法な任意の方法が採用される。ラベル領域ＬＡの特定には、ＹＯＬＯなどの物体検出モデルを用いる手法が用いられても良いし、パターンマッチングなどの公知の手法が用いられても良い。ラベル領域ＬＡの特定は、オペレータが撮像画像ＦＩ内のラベル領域ＬＡを指定することによって行われても良い。

【0070】

Ｓ９１０では、ＣＰＵ１１０は、撮像画像データを用いて、検証画像ＴＩを示す検証画像データを生成する。具体的には、ＣＰＵ１１０は、撮像画像ＦＩからラベル領域ＬＡを切り出して、検証画像ＴＩを示す検証画像データを生成する。ＣＰＵ１１０は、必要に応じて検証画像ＴＩを拡大または縮小するサイズ調整処理を実行して、検証画像ＴＩのサイズを画像生成モデルＧＮの入力画像のサイズに調整する。図１１（Ｂ）、（Ｃ）の検証画像ＴＩは、ラベル領域ＬＡ内の画像（すなわち、ラベルＦＬの画像）を示している。なお、図１１（Ｂ）の検証画像ＴＩａのラベルＦＬａは、正常品であり、キズなどの欠陥を含んでいない。図１１（Ｃ）の検証画像ＴＩｂのラベルＦＬｂは、異常品であり、線状のキズｄｆを含んでいる。

【0071】

Ｓ９１５では、ＣＰＵ１１０は、検証画像データを、訓練済みの画像生成モデルＧＮに入力し、検証画像データに対応する再現画像データを生成する。再現画像データによって示される再現画像は、上述したように、入力された検証画像ＴＩのラベルＦＬを再現した画像である。例えば、入力された検証画像ＴＩが図１１（Ｂ）、（Ｃ）の検証画像ＴＩａ、ＴＩｂのいずれであっても、生成される再現画像は、図１１（Ｂ）の検証画像ＴＩａのように欠陥を含まない画像になる。

【0072】

Ｓ９２０では、ＣＰＵ１１０は、検証画像データと再現画像データとを用いて、差分画像ＤＩを示す差分画像データを生成する。例えば、ＣＰＵ１１０は、検証画像ＴＩの画素の成分値ｖ１と、対応する再現画像の画素の成分値ｖ２と、の差分値（ｖ１－ｖ２）を算出し、該差分値を０～１の範囲の値に正規化する。ＣＰＵ１１０は、画素ごと、色成分ごとに、当該差分値を算出し、該差分値を画素の色値とする差分画像データを生成する。

【0073】

図１１（Ｄ）、（Ｅ）には、差分画像ＤＩの一例が示されている。図１１（Ｄ）の差分画像ＤＩａは、入力画像が図１１（Ｂ）の正常品を示す検証画像ＴＩａである場合に生成される差分画像である。差分画像ＤＩａは、キズなどの欠陥を含まない。図１１（Ｅ）の差分画像ＤＩｂは、入力画像が図１１（Ｃ）の異常品を示す検証画像ＴＩｂである場合に生成される差分画像である。差分画像ＤＩｂは、検証画像ＴＩｂに含まれるキズｄｆに対応するキズｄｆｄを含んでいる。このために、差分画像ＤＩを参照することで、例えば、検証画像ＴＩに含まれる欠陥の有無、位置、大きさ、形状を特定することができる。

【0074】

Ｓ９２５では、ＣＰＵ１１０は、差分画像データを用いて、差分画像ＤＩに含まれる異常画素を特定する。異常画素は、例えば、差分画像ＤＩに含まれる複数個の画素のうち、ＲＧＢ値の少なくとも１つの成分値が閾値ＴＨ１以上である画素である。例えば、図１１（Ｄ）の差分画像ＤＩａが処理対象である場合には、異常画素は特定されない。図１１（Ｅ）の差分画像ＤＩｂが処理対象である場合には、キズｄｆｄを構成する複数個の画素が異常画素として特定される。

【0075】

Ｓ９４０では、ＣＰＵ１１０は、差分画像ＤＩにおいて特定された異常画素の個数が閾値ＴＨ２以上であるか否かを判断する。異常画素の個数が閾値ＴＨ２未満である場合には（Ｓ９４０：ＮＯ）、Ｓ９５０にて、ＣＰＵ１１０は、検査品としてのラベルは正常品であると判定する。異常画素の個数が閾値ＴＨ２以上である場合には（Ｓ９４０：ＹＥＳ）、Ｓ９４５にて、ＣＰＵ１１０は、検査品としてのラベルは異常品であると判定する。Ｓ９５５では、ＣＰＵ１１０は、検査結果を表示部１４０に表示して、検査処理を終了する。このように画像生成モデルＧＮを用いて、検査品が正常品であるか異常品であるかを判定することができる。

【0076】

以上説明した本実施例によれば、ＣＰＵ１１０は、対象画像データとして、ラベルＢＬ２を含むラベル画像ＬＩ（図５（Ｂ））を示すラベル画像データと背景画像データと、を取得する（図４のＳ２０５～Ｓ２３０）。ＣＰＵ１１０は、マスク画像データ（本実施例ではラベルマスク画像データと背景ラベル画像データ）を生成する（図６のＳ３１０、Ｓ３２５）。ＣＰＵ１１０は、対象画像データ（本実施例ではラベル画像データと背景画像データ）に対して、マスク画像データ（本実施例ではラベルマスク画像データと背景ラベル画像データ）を用いるマスク処理（図６のＳ３３０、Ｓ３３５）を含む処理（図６のＳ３３０、Ｓ３３５、図４のＳ２４５）実行して、画像生成モデルＧＮへの入力画像データＩＩｇとして用いられる訓練画像データを生成する。ＣＰＵ１１０は、訓練画像データと画像生成モデルＧＮとを用いて訓練処理を実行する（図３のＳ２０、図９（Ｂ））。この結果、訓練画像データを容易に生成し得る。例えば、３次元のＣＧデータを用いて光源が照射された状態を表現する画像データを生成する場合と比較して、画像生成モデルＧＮなどの機械学習モデルに入力するための画像データを準備するための負担を軽減することができる。したがって、画像生成モデルＧＮの訓練処理のための負担を軽減することができる。

【0077】

また、画像生成モデルＧＮ用の訓練画像データは、画像生成モデルＧＮを適切に訓練するために、多様な照明下で撮像された撮像画像を疑似的に表現した多様な画像データを含むことが好ましい。これによって、検査処理において、多様な照明下で撮像された撮像画像データに基づく検証画像データが画像生成モデルＧＮに入力された場合に、適切な再現画像データを生成できるように、画像生成モデルＧＮを訓練できる。本実施例では、例えば、光源パラメータをランダムに変更しながら、マスク処理を実行することで、多様な訓練画像データを容易に生成することができる。

【0078】

本実施例において、背景マスク画像ＢＭＩやラベルマスク画像ＬＭＩに表現される明るさの変動パターンは、中心ＣＰを含む複数個の円Ｃ１～Ｃ７を用いて決定される領域Ａ０１～領域Ａ６７ごとに明るさを規定するパターンである（図８（Ａ）～（Ｄ））。このように、単純な形状に基づいてマスク画像データが生成されるので、例えば、複雑な形状のマスク画像データを生成する場合と比較してマスク画像データを生成する処理の負荷を軽減し得る。

【0079】

さらに、本実施例の対象画像データは、ラベルＢＬ２を含むラベル画像ＬＩを示すラベル画像データと、訓練画像ＳＩにおいてラベルの外側に位置すべき背景画像ＢＩを示す背景画像データと、を含んでいる。ＣＰＵ１１０は、マスク画像データとして、訓練画像ＳＩにおいてラベルＢＬが位置するラベル領域（ラベル画像ＬＩに対応する領域）のためのラベルマスク画像ＬＭＩを示すラベルマスク画像データと、背景が位置する背景領域（背景画像ＢＩに対応する領域）のための背景マスク画像ＢＭＩを示す背景マスク画像データと、を生成する（図６のＳ３２５、Ｓ３１０）。ＣＰＵ１１０は、対象画像データに対して、ラベルマスク画像データと背景マスク画像データとを用いるマスク処理（Ｓ３３０、Ｓ３３５）を実行して、訓練画像データを生成する。この結果、本実施例では、訓練画像ＳＩにおいて、ラベルＢＬ２の明るさと背景の明るさとをそれぞれ別個に調整することができる。

【0080】

さらに、本実施例によれば、上述したように、ラベルの素材や背景を構成する被写体の素材（例えば、製品３００の前面３１の素材）として想定される素材ごとに異なる光源パラメータ（初期明度や差分明度）を用いている。すなわち、ラベルマスク画像ＬＭＩにおける明るさの変動パターンは、ラベルＬの光学特性に対応するパターンであり、背景マスク画像ＢＭＩにおける明るさの変動パターンは、背景を構成する被写体の光学特性に対応するパターンである。この結果、ラベルや背景の光学特性に応じて、訓練画像ＳＩにおいてラベルの明るさと背景の明るさとをそれぞれ別個に調整することができる。

【0081】

さらに、本実施例によれば、背景画像ＢＩに対してラベル画像ＬＩが合成される領域に対応するラベル部分領域ＬＰＡ内の画像を、背景マスク画像ＢＭＩから切り出すことで、ラベルマスク画像ＬＭＩが生成されている（図８（Ｂ）～（Ｄ）、図６のＳ３２０、Ｓ３２５）。背景画像ＢＩに対するラベル部分領域ＬＰＡの配置が変動すれば、生成されるラベルマスク画像ＬＭＩも異なることが解る。このことから解るように、訓練画像ＳＩ内におけるラベルＢＬ２の配置（ラベルＢＬの位置や角度）に応じて異なるラベルマスク画像ＬＭＩが生成される。この結果、生成される訓練画像ＳＩにおけるラベルＢＬ２の配置に応じて、ラベルＢＬ２の明るさをマスク処理によって適切に調整することができる。したがって、撮像されたラベルを疑似的により適切に表現した訓練画像ＳＩを生成できる。

【0082】

さらに、本実施例によれば、ＣＰＵ１１０は、生成すべき訓練画像ＳＩの全体に対応する背景マスク画像ＢＭＩを示す背景マスク画像データを生成する（図６のＳ３１０）。ＣＰＵ１１０は、背景マスク画像データを用いて、背景マスク画像ＢＭＩのうちのラベル部分領域ＬＰＡに対応する切出マスク画像を示す切出マスク画像データを生成する（図６のＳ３２０）。ＣＰＵ１１０は、切出マスク画像データを用いて、ラベルマスク画像ＬＭＩを示すラベルマスク画像データを生成する。この結果、訓練画像ＳＩにおけるラベルＢＬ２における配置に応じて異なるラベルマスク画像データを容易に生成できる。

【0083】

さらに、本実施例によれば、ＣＰＵ１１０は、図４のＳ２１０～Ｓ２２０の画像処理をランダムに決定されるパラメータを用いて繰り返し実行する（図４のＳ２５５等）ことで、互いに異なる複数個のラベル画像データを生成する。そして、ＣＰＵ１１０は、複数個のラベル画像データを用いて、複数個の互いに異なる訓練画像データを生成する。その際に、ＣＰＵ１１０は、光源追加処理において、背景マスク画像データを変更することなく、前回の背景マスク画像データを再利用する（図６のＳ３１５）。すなわち、ＣＰＵ１１０は、複数個のラベル画像データに対して、共通の１つの背景マスク画像データを用いるマスク処理を実行して、複数個の訓練画像データを生成する。この結果、共通の１つの背景マスク画像データを用いて、複数個の訓練画像データを生成できるので、複数個の訓練画像データを生成するための処理負荷を軽減することができる。

【0084】

さらに、本実施例では、ラベル画像データは、版下画像データＲＤを用いて生成される（図４のＳ２０５～Ｓ２２０）。すなわち、訓練画像データの生成に用いられるラベル画像データは、実際にラベルＬの作成に用いられる版下画像データＲＤに基づく画像データである。この結果、例えば、複数個の多様なラベル画像データを、版下画像データＲＤに基づいて容易に生成できるので、多様な訓練画像データを生成するための負担をさらに軽減することができる。

【0085】

以上の説明から解るように、本実施例のラベル画像データと背景画像データとの全体は、対象画像データの例であり、訓練画像データは、入力画像データの例である。また、ラベルマスク画像データは、第１マスク画像データの例であり、背景マスク画像データは、第２マスク画像データの例である。また、画像生成モデルＧＮの訓練処理は、特定処理の例である。

【0086】

Ｂ．変形例
（１）上記実施例の光源追加処理で用いられるマスク画像ＭＩ（背景マスク画像ＢＭＩおよびラベルマスク画像ＬＭＩ）は、円Ｃ１～Ｃ７によって明るさの変動パターンが規定されている（図８（Ａ）～（Ｄ））。これに代えて、他の態様のマスク画像が用いられても良い。図１２は、変形例のマスク画像ＭＩＢ、ＭＩＣの説明図である。

【0087】

図１２（Ａ）のマスク画像ＭＩＢでは、例えば、光源パラメータとして、中心ＣＰの座標と、初期幅Ｗｓと、初期高さＨｓと、差分幅Ｗｄと、差分高さＨｄと、傾斜角θａと、初期明度（初期ラベル明度と初期背景明度）と、差分明度（初期ラベル明度と初期背景明度）とが、設定される。マスク画像ＭＩＢは、設定された中心ＣＰを有する複数個の四角形ＳＱ１～ＳＱ７によって規定される。最小の四角形ＳＱ１の幅および高さは、初期幅Ｗｓおよび初期高さＨｓである。四角形ＳＱｎ（ｎは２以上７以下の整数）の幅は、初期幅Ｗｓと、{（ｎ－１）×Ｗｄ｝と、の和である。すなわち、差分幅Ｗｄは、四角形ＳＱ（ｎ＋１）の幅と、四角形ＳＱｎの幅と、の差である。四角形ＳＱｎ（ｎは２以上７以下の整数）の高さは、初期高さＨｓと、{（ｎ－１）×Ｈｄ｝と、の和である。すなわち、差分高さＨｄは、四角形ＳＱ（ｎ＋１）の高さと、四角形ＳＱｎの高さと、の差である。傾斜角θａは、四角形ＳＱ１の下辺と、画像の横方向と、の間の角度である。

【0088】

これらの四角形ＳＱ１～ＳＱ７によって、マスク画像ＭＩＡは、領域ＳＡ０１～ＳＡ６７に区分される。領域ＳＡ０１は、中心ＣＰを含む四角形ＳＱ１内の領域である。領域ＳＡｎ（ｎ＋１）は、四角形ＳＱｎと四角形ＳＱ（ｎ＋１）との間の領域である。領域ＳＡ０１～Ａ６７は、領域ごとに明度が異なる。領域ＳＡ０１の明度は、初期明度である。領域ＡＳｎ（ｎ＋１）の明度は、内側に接する領域Ａ（ｎ－１）ｎの明度から差分明度を減算した値である。以上の説明から解るように、領域ＳＡ０１～Ａ６７の明度は、中心ＣＰを含む領域ＳＡ０１の明度が最も高く、中心ＣＰから離れた領域ほど明度が段階的に低くなるように設定される。すなわち、図１２（Ａ）のマスク画像ＭＩは、中心ＣＰの近傍が最も明るく、中心ＣＰから四角形ＳＱ１の各辺と垂直な４方向に離れるほど段階的に暗くなる。このように、本実施例のマスク画像ＭＩは、特定の位置（本実施例では、中心ＣＰ）から特定方向（本実施例では四角形ＳＱ１の各辺と垂直な４方向）に離れるに連れて明るさが低下する変動パターンに従って規定される明るさを示している。例えば、図１２（Ａ）の矩形領域ＢＡ内の部分が、本変形例の背景マスク画像として用いられる。

【0089】

図１２（Ｂ）のマスク画像ＭＩＢでは、例えば、光源パラメータとして、中心ＣＰの座標と、初期間隔Ｄｓと、差分間隔Ｄｄと、傾斜角θｂと、初期明度（初期ラベル明度と初期背景明度）と、差分明度（初期ラベル明度と初期背景明度）とが、設定される。マスク画像ＭＩＣは、互いに平行な複数本の線Ｌ１１～Ｌ１７、Ｌ２１～Ｌ２７と、によって規定される。これらの線Ｌ１１～Ｌ１７、Ｌ２１～Ｌ２７と、によって、マスク画像ＭＩＢは、領域ＬＡ１１～ＬＡ１７、ＬＡ２２～ＬＡ２７に区分される。中心ＣＰを含む領域Ｌ１１を区分する２本の線Ｌ１１、Ｌ２１の間隔は、初期間隔Ｄｓである。他の領域ＬＡ１２～ＬＡ１７、ＬＡ２２～ＬＡ２７を区分する２本の線の間隔は、差分間隔Ｄｄである。傾斜角θｂは、複数本の線Ｌ１１～Ｌ１７、Ｌ２１～Ｌ２７と垂直な方向と、画像の横方向と、の間の角度である。

【0090】

領域ＬＡ１１～ＬＡ１７では、領域ごとに明度が異なり、領域ＬＡ２２～ＬＡ２７では、領域ごとに明度が異なる。領域ＬＡ１１の明度は、初期明度である。他の領域の明度は、中心ＣＰ側に接する領域の明度から差分明度を減算した値である。以上の説明から解るように、領域ＬＡ１１～ＬＡ１７、ＬＡ２２～ＬＡ２７の明度は、中心ＣＰを含む領域ＬＡ１の明度が最も高く、中心ＣＰから離れた領域ほど明度が段階的に低くなるように設定される。すなわち、図１２（Ｂ）のマスク画像ＭＩは、中心ＣＰの近傍が最も明るく、中心ＣＰから線Ｌ１１と垂直な方向に離れるほど段階的に暗くなる。このように、本実施例のマスク画像ＭＩは、特定の位置（本実施例では、中心ＣＰ）から特定方向（本実施例では領域Ｌ１１と垂直な方向）に離れるに連れて明るさが低下する変動パターンに従って規定される明るさを示している。例えば、図１２（Ｂ）の矩形領域ＢＡ内の部分が、本変形例の背景マスク画像として用いられる。これらマスク画像ＭＩＡ、ＭＩＢは、例えば、棒状の蛍光灯などの棒状の光源から照射される光を表現している。

【0091】

また、マスク画像は、上記図８および図１２のマスク画像ＭＩ、ＭＩＡ、ＭＩＢとは、異なっていても良い。例えば、マスク画像は、複数個の五角形や楕円で区分される領域を含んでもよいし、星形などのより複雑な形状で区分される領域を含んでも良い。

【0092】

（２）上記実施例では、ＣＰＵ１１０は、対象画像データとして、背景画像データとラベル画像データとを取得し、背景画像データとラベル画像データとのそれぞれに別個のマスク画像データを用いてマスク処理を実行して、処理済背景画像データと処理済ラベル画像データと、を生成する。そして、ＣＰＵ１１０は、処理済背景画像データと処理済ラベル画像データと、を合成して、訓練画像データを生成している。これに代えて、ＣＰＵ１１０は、背景とラベルとを含む１つの画像を示す１つの対象画像データを取得し、１つの対象画像データに対して、１つのマスク画像データを用いてマスク処理を実行して、訓練画像データを生成しても良い。この場合には、例えば、１つのマスク画像データによって示されるマスク画像は、背景に対応する領域と、ラベルに対応する領域と、のそれぞれで異なる光源パラメータを用いて生成された画像であっても良い。あるいは、マスク画像は、背景とラベルとを区別することなく、１組の光源パラメータを用いて生成された画像であっても良い。

【0093】

（３）上記実施例では、ＣＰＵ１１０は、版下画像ＲＩに回転処理や平滑化処理やノイズ付加処理を実行してラベル画像ＬＩを生成した後に、該ラベル画像ＬＩにマスク処理を実行している（図４のＳ２１０～Ｓ２４０）。これに代えて、ＣＰＵ１１０は、背景画像ＢＩに版下画像ＲＩを所定の角度および位置に合成した後に、合成画像の背景領域に対して、背景マスク画像データを用いたマスク処理を実行し、さらに、版下画像ＲＩに対して、ラベルマスク画像データを用いたマスク処理を実行しても良い。この場合には、例えば、背景マスク画像ＢＭＩからラベル部分領域ＬＰＡを切り出す際に、版下画像ＲＩが合成された角度および位置にラベル部分領域ＬＰＡが設定される。これによって、版下画像ＲＩが合成された角度および位置に応じたラベルマスク画像データが生成できる。ＣＰＵ１１０は、マスク処理済みの合成画像の全体もしくは版下画像ＲＩの部分に、平滑化処理やノイズ付加処理を実行して、訓練画像データを生成しても良い。

【0094】

（４）上記実施例では、背景マスク画像データを生成する光源パラメータを、所定個数の訓練画像データを生成するごとに変更している（図６のＳ３００～Ｓ３１５）。これに代えて、光源パラメータは、訓練画像データを生成する度に毎回変更されても良い。

【0095】

（５）上記実施例では、ラベル画像データは、版下画像データＲＤを用いて生成されている。これに代えて、ラベル画像データは、撮像装置４００を用いてラベルＬを撮影して得られる撮像画像データであっても良い。この場合であっても、該ラベル画像データに対してマスク処理を実行することで、１個のラベル画像データから多様な複数個のラベルを示すラベル画像データを生成できる。

【0096】

（６）上記実施例の訓練画像データは、画像生成モデルＧＮの訓練処理に用いられている。これに限らず、訓練画像データは、例えば、画像内のラベルが位置するラベル領域を特定するための物体検出モデルの訓練処理に用いられても良い。物体検出モデルには、例えば、例えば、物体検出モデルには、例えば、YOLO（You only look once）と呼ばれるオブジェクト検出モデルが用いられても良いし、SSD、R-CNN、Fast R-CNN, Faster R-CNN、Mask R-CNNなどの、他のモデルが用いられても良い。

【0097】

（７）上記実施例の画像生成モデルＧＮは、例えば、通常のオートエンコーダに限らず、ＶＱ－ＶＡＥ（Vector Quantized Variational Auto Encoder）、ＶＡＥ（Variational Autoencoder）であっても良いし、いわゆるＧＡＮ（Generative Adversarial Networks）に含まれる画像生成モデルであっても良い。

【0098】

（８）上記実施例の検査処理では、ＣＰＵ１１０は、検証画像データと再現画像データとを用いて、差分画像データを生成し、該差分画像データを用いて、ラベルの検査を実行している（図１０のＳ９２０～Ｓ９５０）。これに限らず、ラベルの検査方法は他の方法が用いられても良い。例えば、ＣＰＵ１１０は、ＰａＤｉＭと呼ばれる手法を用いて、ラベルの検査を実行しても良い。ＰａＤｉＭの手法では、例えば、ＣＰＵ１１０は、画像生成モデルＧＮのエンコーダＶｅに検証画像データを入力して、検証画像データの特徴データを生成する。そして、ＣＰＵ１１０は、検証画像データの特徴データと、複数個の正常なラベルの画像データの特徴データと、の間のマハラノビス距離を算出することで、ラベルの検査を実行する。複数個の正常なラベルの画像データの特徴データは、例えば、検査準備処理にて、画像生成モデルＧＮのエンコーダＶｅに複数個の正常なラベルの画像データを入力することで、予め生成される。ＰａＤｉＭの手法は、例えば、論文「T. Defard, A. Setkov, A. Loesch, and R. Audigier, “Padim: a patch distribution modeling framework for anomaly detection and localization”,arXiv:2011.08785(2020),https://arxiv.org/abs/2011.08785,投稿日17 Nov 2020」に開示されている。

【0099】

そして、ＰａＤｉＭの手法が用いられる場合には、複数個の正常なラベルの画像データとして、本実施例にて画像生成モデルＧＮのための訓練画像データとして生成される複数個の画像データが用いられても良い。すなわち、上記実施例では、生成される入力画像データは訓練画像データであり、該入力画像データを用いて実行される特定処理は、訓練処理であるが、これに限られない。例えば、該入力画像データを用いて実行される特定処理は、ＰａＤｉＭの手法が用いられる場合に、複数個の正常なラベルの画像データの特徴データを生成する処理であっても良い。

【0100】

なお、ＰａＤｉＭの手法が用いられる場合には、画像生成モデルＧＮに代えて、ＲｅｓＮｅｔ、ＶＧＧ１６、ＶＧＧ１９などの画像識別モデルが用いられても良い。

【0101】

（９）検査対象の物体は、製品（例えば、複合機、ミシン、カッティングマシン、携帯端末など）に貼られるラベルに限らず、任意の物であってよい。検査対象の物体は、例えば、対、製品に印刷されるラベル画像であってよい。また、検査対象の物体は、製品そのものであっても良いし、製品に取り付けられる札、付属品、部品、刻印など、製品の任意の一部分であってよい。

【0102】

（１０）また、本実施例の訓練画像データを用いて訓練された機械学習モデルは、物体の検査処理とは異なる目的で使用されても良い。例えば、本実施例の訓練画像データを複数種類のラベルについて生成して、画像識別モデルを訓練する場合には、該画像識別モデルは、例えば、ラベルの種類を識別するために用いられても良い。

【0103】

（１１）上記実施例では、検査準備処理と検査処理とは、図１の処理装置１００によって実行されている。これに代えて、検査準備処理と検査処理とは、それぞれ、別の装置によって実行されても良い。この場合には、例えば、検査準備処理によって訓練された画像生成モデルＧＮは、検査処理を実行する装置の記憶装置に格納される。また、検査準備処理と検査処理との全部または一部は、ネットワークを介して互いに通信可能な複数個の計算機（例えば、いわゆるクラウドサーバ）によって実行されても良い。また、検査処理を行うコンピュータプログラムと、検査準備処理を行うコンピュータプログラムとは、異なるコンピュータプログラムであっても良い。

【0104】

（１２）上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、検査準備処理と検査処理との全部または一部は、ASIC（Application Specific Integrated Circuit）等のハードウェア回路によって実行されてよい。

【0105】

以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

【符号の説明】

【0106】

１０００…検査システム,１００…処理装置,１１０…ＣＰＵ,１２０…揮発性記憶装置,１３０…不揮発性記憶装置,１４０…表示部,１５０…操作部,１７０…通信部,３００…製品,４００…撮像装置,ＢＩ…背景画像,ＢＭＩ…背景マスク画像,ＤＩ…差分画像,ＦＩ…撮像画像,ＧＮ…画像生成モデル,ＩＩｇ…入力画像データ,ＬＩ…ラベル画像,ＬＭＩ…ラベルマスク画像,ＯＩｇ…出力画像データ,ＰＧ…コンピュータプログラム,ＰＴ…光源パラメータテーブル,ＰＴ１…ラベル用テーブル,ＰＴ２…背景用テーブル,ＲＤ…版下画像データ,ＲＩ…版下画像,ＴＩ…検証画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】