特開 2024-168483 プログラム、および、画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024168483

(43)【公開日】2024-12-05

(54)【発明の名称】プログラム、および、画像処理装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241128BHJP

   G06T 1/00 20060101ALI20241128BHJP

   G06T 5/40 20060101ALI20241128BHJP

   G06T 5/50 20060101ALI20241128BHJP

【ＦＩ】

G06T7/00 610Z

G06T7/00 350B

G06T1/00 300

G06T5/40

G06T5/50

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023085200

(22)【出願日】2023-05-24

(71)【出願人】

【識別番号】000005267

【氏名又は名称】ブラザー工業株式会社

(74)【代理人】

【識別番号】110001058

【氏名又は名称】鳳国際弁理士法人

(72)【発明者】

【氏名】田中 良幸

【テーマコード（参考）】

5B057

5L096

【Ｆターム（参考）】

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CE06

5B057CH09

5B057DA16

5B057DB02

5B057DB06

5B057DB09

5B057DC19

5B057DC32

5B057DC40

5L096AA02

5L096AA06

5L096BA03

5L096CA02

5L096CA17

5L096EA16

5L096EA35

5L096EA39

5L096FA16

5L096FA32

5L096FA33

5L096FA34

5L096FA35

5L096FA59

5L096FA60

5L096FA64

5L096FA66

5L096FA67

5L096FA69

5L096GA08

5L096GA30

5L096GA40

5L096GA41

5L096GA51

5L096GA55

5L096HA11

5L096JA03

5L096KA04

(57)【要約】

【課題】 画像の明るさに応じて処理を進行する。
【解決手段】
注目オブジェクトを表す入力画像の対象色成分の強度分布を表す第１ヒストグラムを生成する。外観の異常を有するオブジェクトを表す画像データから外観の異常の無いオブジェクトを表す画像データを生成するように訓練済の生成モデルに、入力画像のデータを入力することによって、再構成画像のデータを生成する。再構成画像の対象色成分の強度分布を表す第２ヒストグラムを生成する。第１ヒストグラムと第２ヒストグラムとの間の差異が差異閾値以上である場合に、特定の処理を実行する。
【選択図】 図８

【特許請求の範囲】

【請求項1】

プログラムであって、
注目オブジェクトを表す入力画像の対象色成分の強度分布を表す第１ヒストグラムを生成する第１生成機能と、
外観の異常を有するオブジェクトを表す画像データから外観の異常の無いオブジェクトを表す画像データを生成するように訓練済の生成モデルに、前記入力画像のデータを入力することによって、再構成画像のデータを生成する画像生成機能と、
前記再構成画像の前記対象色成分の強度分布を表す第２ヒストグラムを生成する第２生成機能と、
前記第１ヒストグラムと前記第２ヒストグラムとの間の差異が差異閾値以上である場合に、特定の処理を実行する実行機能と、
をコンピュータに実現させる、プログラム。

【請求項2】

請求項１に記載のプログラムであって、
前記対象色成分は、輝度である、
プログラム。

【請求項3】

請求項２に記載のプログラムであって、さらに、
前記入力画像の特定の有彩色の色成分の強度分布を表す第３ヒストグラムを生成する第３生成機能と、
前記再構成画像の前記特定の有彩色の色成分の強度分布を表す第４ヒストグラムを生成する第４生成機能と、
をコンピュータに実現させ、
前記実行機能は、前記第１ヒストグラムと前記第２ヒストグラムとの間の前記差異が前記差異閾値以上である場合と、前記第３ヒストグラムと前記第４ヒストグラムとの間の差異が有彩差異閾値以上である場合と、を含む特定の場合に、前記特定の処理を実行する、
プログラム。

【請求項4】

請求項１から３のいずれかに記載のプログラムであって、さらに、
前記第１ヒストグラムと前記第２ヒストグラムとの間の前記差異が前記差異閾値未満であることを含む許容条件が満たされる場合に、前記注目オブジェクトが外観の異常を有するか否かを、前記入力画像と前記再構成画像とを使用して判定する異常判定機能を、コンピュータに実現させる、プログラム。

【請求項5】

請求項１から３のいずれかに記載のプログラムであって、さらに、
前記差異閾値は、前記生成モデルの訓練のために前記生成モデルに入力された訓練画像データと、前記訓練画像データを前記訓練済の生成モデルに入力することによって生成される生成画像データと、を使用して決定されている、
プログラム。

【請求項6】

請求項１から３のいずれかに記載のプログラムであって、さらに、
前記注目オブジェクトの撮影画像のデータを使用して、前記撮影画像の明るさが許容範囲内か否かを判定する明るさ判定機能と、
前記撮影画像の前記明るさが前記許容範囲内であると判定される場合に、前記撮影画像から、前記注目オブジェクトを表す部分である前記入力画像を検出する検出機能と、
前記撮影画像の前記明るさが前記許容範囲外であると判定される場合に、前記入力画像の検出をキャンセルするキャンセル機能と、
をコンピュータに実現させる、プログラム。

【請求項7】

請求項６に記載のプログラムであって、
前記明るさ判定機能は、前記撮影画像のデータと、予め準備される基準画像に対応付けられる基準データと、を使用して、前記撮影画像の前記明るさが前記許容範囲内か否かを判定する、
プログラム。

【請求項8】

画像処理装置であって、
注目オブジェクトを表す入力画像の対象色成分の強度分布を表す第１ヒストグラムを生成する第１生成部と、
外観の異常を有するオブジェクトを表す画像データから外観の異常の無いオブジェクトを表す画像データを生成するように訓練済の生成モデルに、前記入力画像のデータを入力することによって、再構成画像のデータを生成する画像生成部と、
前記再構成画像の前記対象色成分の強度分布を表す第２ヒストグラムを生成する第２生成部と、
前記第１ヒストグラムと前記第２ヒストグラムとの間の差異が差異閾値以上である場合に、特定の処理を実行する実行部と、
を備える、画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、オブジェクトを表す画像を処理する技術に関する。

【背景技術】

【0002】

従来から、外観検査などのオブジェクトの外観に関する処理に、オブジェクトを表す画像データが使用されている。画像データとしては、撮影により得られる画像データが、使用され得る。ここで、適切な照明パターンを設計するための以下の技術が提案されている。すなわち、光源を複数の評価用発光パターンで発光させ、複数の評価用発光パターンで照明された少なくとも１つのワークに関する複数の評価用ワーク画像をカメラによって撮影し、複数の評価用ワーク画像に基づいて、連続値のパラメータを変化させることで発光パターンをシミュレートし、ワークの状態を識別するための発光パターンを表すパラメータを算出する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－４９８７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

画像の明るさに応じて処理を進行する点については、工夫の余地があった。

【0005】

本明細書は、画像の明るさに応じて処理を進行する新たな技術を開示する。

【課題を解決するための手段】

【0006】

本明細書に開示された技術は、以下の適用例として実現することが可能である。

【0007】

［適用例１］プログラムであって、注目オブジェクトを表す入力画像の対象色成分の強度分布を表す第１ヒストグラムを生成する第１生成機能と、外観の異常を有するオブジェクトを表す画像データから外観の異常の無いオブジェクトを表す画像データを生成するように訓練済の生成モデルに、前記入力画像のデータを入力することによって、再構成画像のデータを生成する画像生成機能と、前記再構成画像の前記対象色成分の強度分布を表す第２ヒストグラムを生成する第２生成機能と、前記第１ヒストグラムと前記第２ヒストグラムとの間の差異が差異閾値以上である場合に、特定の処理を実行する実行機能と、をコンピュータに実現させる、プログラム。

【0008】

この構成によれば、入力画像の対象色成分の強度分布を表す第１ヒストグラムと、再構成画像の対象色成分の強度分布を表す第２ヒストグラムと、の間の差異が差異閾値以上である場合に、特定の処理が実行されるので、入力画像の明るさに応じて処理を進行できる。

【0009】

なお、本明細書に開示の技術は、種々の態様で実現することが可能であり、例えば、画像処理方法および画像処理装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体（例えば、一時的ではない記録媒体）、等の形態で実現することができる。

【図面の簡単な説明】

【0010】

【図1】一実施例としてのデータ処理装置を示す説明図である。

【図2】（Ａ）は、製品３００の斜視図である。（Ｂ）は、ラベルＬの例を示す図である。（Ｃ）は、撮影画像の例を示す図である。（Ｄ）は、ラベル部分画像の例を示す図である。

【図3】（Ａ）－（Ｃ）は、撮影画像と再構成画像と差分画像との例を示す図である。

【図4】（Ａ）－（Ｃ）は、ラベルの明るさと差分画像との例を示す図である。

【図5】画像生成モデルＭ２の構成の例を示すブロック図である。

【図6】画像生成モデルＭ２の訓練処理の例を示すフローチャートである。

【図7】ラベルＬの検査処理の例を示すフローチャートである。

【図8】画像判定処理の例を示すフローチャートである。

【図9】（Ａ）－（Ｃ）は、ヒストグラムの例を示す図である。

【図10】（Ａ）は、相関ｃの算出式の例を示す図である。（Ｂ）は、合計差分ｄの算出式の例を示す図である。

【図11】異常部分検出処理の例を示すフローチャートである。

【図12】（Ａ）は、ヒートマップ画像の例を示す図である。（Ｂ）は、抽出される異常画素の例を示す図である。（Ｃ）は、抽出される異常部分の例を示す図である。

【図13】画像判定処理の別の実施例を示すフローチャートである。

【図14】画像判定処理の別の実施例を示すフローチャートである。

【図15】画像判定処理の別の実施例を示すフローチャートである。

【図16】差異閾値の決定処理の例を示すフローチャートである。

【発明を実施するための形態】

【0011】

Ａ．第１実施例：
Ａ１．装置構成：
図１は、一実施例としてのデータ処理装置を示す説明図である。データ処理装置１００は、例えば、パーソナルコンピュータである。本実施例では、製品３００（例えば、複合機）に、ラベルＬが貼付されている。データ処理装置１００は、ラベルＬの外観の検査のために、ラベルＬの外観を表す画像データを処理する。データ処理装置１００は、注目オブジェクト（本実施例では、ラベルＬ）の外観を表す画像データを処理する画像処理装置の例である。

【0012】

データ処理装置１００は、プロセッサ１１０と、記憶装置１１５と、表示部１４０と、操作部１５０と、通信インタフェース１７０と、ＧＰＵ１９０と、を備えている。これらの要素は、バスを介して互いに接続されている。記憶装置１１５は、揮発性記憶装置１２０と、不揮発性記憶装置１３０と、を含んでいる。

【0013】

プロセッサ１１０は、データを処理するように構成された装置である。プロセッサ１１０は、例えば、ＣＰＵ（Central Processing Unit）、または、ＳｏＣ（System on a chip）であってよい。揮発性記憶装置１２０は、例えば、ＤＲＡＭであり、不揮発性記憶装置１３０は、例えば、フラッシュメモリである。不揮発性記憶装置１３０は、プログラム１３１、１３２と、物体検出モデルＭ１と、画像生成モデルＭ２と、版下画像Ｄ１と、背景画像群Ｄ２と、のそれぞれのデータを格納している。これらのデータの詳細については、後述する。なお、第３プログラム１３３と基準ヒストグラムＤ３とは、後述する他の実施例で使用される。

【0014】

表示部１４０は、液晶ディスプレイ、有機ＥＬディスプレイなどの、画像を表示するように構成された装置である。操作部１５０は、ボタン、レバー、表示部１４０上に重ねて配置されたタッチパネルなどの、ユーザによる操作を受け取るように構成された装置である。ユーザは、操作部１５０を操作することによって、種々の指示をデータ処理装置１００に入力可能である。通信インタフェース１７０は、他の装置と通信するためのインタフェースである。通信インタフェース１７０は、例えば、ＵＳＢインタフェース、有線ＬＡＮインタフェース、IEEE802.11の無線インタフェース、産業用カメラのインタフェース（例えば、CameraLink、CoaXPressなど）、のうちの１種以上を含む。通信インタフェース１７０には、撮影装置４００が接続されている。

【0015】

ＧＰＵ（Graphics Processing Unit）１９０は、画像処理、機械学習などの種々の数値演算を実行するように構成された演算装置である。本実施例では、後述するように、プロセッサ１１０とＧＰＵ１９０とが協働して、種々の演算を実行する。なお、ＧＰＵ１９０を制御するためのドライバプログラム（図示省略）は、ＧＰＵ１９０の製造者によって提供され得る。

【0016】

撮影装置４００は、二次元イメージセンサを用いて被写体を撮影することによって、被写体を表す画像データ（撮影画像データとも呼ぶ）を生成する。本実施例では、撮影装置４００は、デジタルカメラである。撮影画像データは、複数個の画素を含む画像を表すビットマップデータである。本実施例では、撮影画像データは、赤Ｒと緑Ｇと青Ｂとの３色成分の階調値によって画素ごとの色を表すＲＧＢ画像データである。Ｒ値、Ｇ値、Ｂ値は、例えば、ゼロから２５５までの２５６階調で表される。なお、撮影画像データは、他の色成分（例えば、輝度）の階調値によって画素毎の色を表してよい。

【0017】

撮影装置４００は、ラベルＬが貼付された製品３００を撮影して、製品３００のうちのラベルＬを含む部分の撮影画像を表す撮影画像データを生成する。撮影画像データは、ラベルＬの外観の異常（例えば、傷、汚れなど）の検出に使用される。なお、製品３００の撮影時には、光源５００（例えば、発光ダイオード、白熱灯、蛍光灯など）が、製品３００（ひいては、ラベルＬ）を照らす。適切な処理のためには、撮影画像が、ラベルＬを適切な明るさで表すことが好ましい（すなわち、撮影時のラベルＬの明るさが、適切な明るさであることが好ましい）。データ処理装置１００は、撮影画像データを使用して、撮影画像中のラベルＬの明るさが適切であるか否かを判定する（詳細は後述）。

【0018】

Ａ２．ラベルと撮影画像：
図２（Ａ）は、製品３００の斜視図である。本実施例では、製品３００は、略直方体の複合機である。製品３００の製造工程において、製品３００の外面の所定の位置にラベルＬが貼付される。そして、ラベルＬの外観の検査のために、撮影装置４００は、製品３００上のラベルＬを撮影する。ラベルＬの撮影時には、撮影装置４００の撮影範囲ＣＶ内にラベルＬが位置するように、製品３００に対する撮影装置４００の相対的な位置と向きとが調整される。

【0019】

図２（Ｂ）は、ラベルＬの例を示す図である。本実施例では、ラベルＬは、矩形状のシートである。ラベルＬは、製造者名、製造者のロゴ、ブランドロゴ、認証マークなど、種々の情報を表し得る。ラベルＬによって表されるべき適切な情報は、製品３００に予め対応付けられている。なお、ラベルＬの形状は、矩形に代えて、他の種々の形状であってよい（例えば、円形、楕円形、多角形など）。

【0020】

図２（Ｃ）は、撮影画像の例を示す図である。撮影画像ｉ１は、製品３００のうちのラベルＬを含む一部分を表している。プロセッサ１１０は、このような撮影画像から、ラベルＬを表す部分を取得する（取得される部分画像を、「ラベル部分画像」とも呼ぶ）。図２（Ｄ）は、取得されるラベル部分画像の例を示す図である。ラベル部分画像ｉ２中では、撮影画像ｉ１中と比べて、ラベルＬ以外の部分の割合が小さい。また、図２（Ｄ）の例では、ラベル部分画像ｉ２は、ラベルＬの全体を表している。ラベル部分画像は、ラベルＬの外観の異常検出に使用される。

【0021】

本実施例では、撮影画像ｉ１とラベル部分画像ｉ２は、第１方向Ｄｘに平行な２辺と、第１方向Ｄｘに垂直な第２方向Ｄｙに平行な２辺と、を有する矩形状の画像である。画像ｉ１、ｉ２は、第１方向Ｄｘと第２方向Ｄｙとに沿ってマトリクス状に並ぶ複数の画素のそれぞれの色値によって、表されている。本実施例では、ラベル部分画像ｉ２の各画素の色値は、撮影画像ｉ１の各画素の色値と同様に、赤Ｒ、緑Ｇ、青Ｂの３個の階調値で表される。各階調値は、例えば、０から２５５までの２５６段階で表されている。なお、ラベル部分画像は、他の色成分（例えば、輝度）の階調値によって画素毎の色を表してよい。

【0022】

Ａ３．外観の異常検出の概要：
プロセッサ１１０（図１）は、ラベルＬの撮影画像であるラベル部分画像と、画像生成モデルＭ２の演算によってラベル部分画像から生成されるラベルＬの再構成画像と、を使用して、ラベルＬの外観の異常を検出する。画像生成モデルＭ２は、外観の異常を有するラベルの画像から外観の異常の無い同じラベルの画像を生成する種々の機械学習モデルであってよい。本実施例では、画像生成モデルＭ２は、いわゆる変分オートエンコーダ（Variational auto-encoder : VAE）である。画像生成モデルＭ２の詳細については、後述する。

【0023】

図３（Ａ）－図３（Ｃ）は、撮影画像と再構成画像と差分画像との例を示す図である。図３（Ａ）のラベル部分画像ｉ２ａは、外観の異常の無いラベルＬａを表している。プロセッサ１１０は、ラベル部分画像ｉ２ａを使用する画像生成モデルＭ２の演算によって、外観の異常の無いラベルＬａｇを表す再構成画像ｉ２ａｇを生成する。差分画像ｉ２ａｄは、ラベル部分画像ｉ２ａと再構成画像ｉ２ａｇとの間の差分を示している。差分画像ｉ２ａｄの各画素の色値は、ラベル部分画像ｉ２ａと再構成画像ｉ２ａｇとの間の対応する画素の階調値の差分（例えば、輝度値の差分の絶対値）を示している。ラベル部分画像ｉ２ａのラベルＬａが外観の異常を有しない場合、再構成画像ｉ２ａｇとラベル部分画像ｉ２ａとの間の差は小さい。差分画像ｉ２ａｄの各画素の階調値（すなわち、差分）は、ゼロに近い。ただし、再構成画像ｉ２ａｇは、ラベル部分画像ｉ２ａと同一ではない。従って、差分画像ｉ２ａｄの各画素の階調値は、画素毎に、異なり得る。

【0024】

図３（Ｂ）のラベル部分画像ｉ２ｂは、傷Ｄｂを有するラベルＬｂを表している。画像生成モデルＭ２の演算によってラベル部分画像ｉ２ｂから生成される再構成画像ｉ２ｂｇは、外観の異常の無いラベルＬｂｇを表している。これらの画像ｉ２ｂ、ｉ２ｂｇの間の差分画像ｉ２ｂｄは、傷Ｄｂと同様の傷Ｄｂｄを表している。差分画像ｉ２ｂｄのうち傷Ｄｂｄ以外の部分では、各画素の階調値（すなわち、差分）は、ゼロに近い。

【0025】

図３（Ｃ）のラベル部分画像ｉ２ｃは、汚れＤｃを有するラベルＬｃを表している。画像生成モデルＭ２の演算によってラベル部分画像ｉ２ｃから生成される再構成画像ｉ２ｃｇは、外観の異常の無いラベルＬｃｇを表している。これらの画像ｉ２ｃ、ｉ２ｃｇの間の差分画像ｉ２ｃｄは、汚れＤｃと同様の汚れＤｃｄを表している。差分画像ｉ２ｃｄのうち汚れＤｃｄ以外の部分では、各画素の階調値（すなわち、差分）は、ゼロに近い。

【0026】

このように、ラベル部分画像と再構成画像との間の差分画像は、ラベルの外観の異常（傷や汚れなど）を表し得る。なお、撮影画像中のラベルの明るさ（すなわち、撮影時のラベルの明るさ）が暗い、または、明るい場合、画像生成モデルＭ２の演算は、適切な再構成画像を生成できない場合がある。図４（Ａ）－図４（Ｃ）は、ラベルの明るさと差分画像との例を示す図である。図４（Ａ）は、撮影画像中のラベルの明るさ（すなわち、撮影時のラベルの明るさ）が適切である場合を示している。ラベル部分画像ｉ２ａと再構成画像ｉ２ａｇと差分画像ｉ２ａｄとは、図３（Ａ）のものと、それぞれ同じである。再構成画像ｉ２ａｇは、外観の異常の無いラベルＬａｇを、適切に表している。

【0027】

図４（Ｂ）は、撮影画像中のラベルの明るさ（すなわち、撮影時のラベルの明るさ）が暗い場合を示している。プロセッサ１１０は、製品３００の撮影画像ｉ１ｘから、ラベルＬａを表すラベル部分画像ｉ２ｘを取得する。ラベル部分画像ｉ２ｘ中では、ラベルＬａが暗く映っている。光源５００の光量不足など、種々の原因によって、ラベルＬａは暗く映り得る。ラベル部分画像ｉ２ｘから、再構成画像ｉ２ｘｇが生成される。画像生成モデルＭ２に入力される画像ｉ２ｘ中のラベルＬａが暗い場合、画像生成モデルＭ２は、ラベルＬａを適切に再構成できない場合がある。例えば、再構成画像ｉ２ｘｇによって表されるラベルＬａｘ上では、ロゴや文字などの情報が、ぼやけ得る。ラベルＬａの外観に異常が無い場合であっても、ラベル部分画像ｉ２ｘと再構成画像ｉ２ｘｇとの間の差分画像ｉ２ｘｄは、広い範囲で大きな差分を示し得る。

【0028】

図４（Ｃ）は、撮影画像中のラベルの明るさ（すなわち、撮影時のラベルの明るさ）が明るい場合を示している。製品３００の撮影画像ｉ１ｚから、ラベルＬａを表すラベル部分画像ｉ２ｚが取得される。ラベル部分画像ｉ２ｚ中では、ラベルＬａが明るく映っている。光源５００の光量過多など、種々の原因によって、ラベルＬａは明るく映り得る。ラベル部分画像ｉ２ｚから、再構成画像ｉ２ｚｇが生成される。ラベル部分画像ｉ２ｚ中のラベルＬａが明るい場合、画像生成モデルＭ２は、ラベルＬａを適切に再構成できない場合がある。例えば、再構成画像ｉ２ｚｇによって表されるラベルＬａｚ上では、ロゴや文字などの情報が、ぼやけ得る。従って、ラベルＬａの外観に異常が無い場合であっても、ラベル部分画像ｉ２ｚと再構成画像ｉ２ｚｇとの間の差分画像ｉ２ｚｄは、広い範囲で大きな差分を示し得る。

【0029】

このように、撮影時のラベルの明るさ、すなわち、撮影画像中のラベルの明るさは、画像処理に影響を与え得る。例えば、画像生成モデルＭ２によって不適切な再構成画像が生成される可能性は、撮影画像中のラベルの明るさに応じて、変化する。本実施例では、プロセッサ１１０は、不適切な再構成画像の使用の可能性を低減するための処理を実行する（詳細は、後述）。以下、先ずは画像生成モデルＭ２について説明し、続いて、検査処理について説明する。

【0030】

Ａ４．画像生成モデルＭ２：
図５は、画像生成モデルＭ２の構成の例を示すブロック図である。本実施例では、画像生成モデルＭ２は、いわゆる変分オートエンコーダである。変分オートエンコーダは、例えば、以下の論文に開示されている。
Diederik P. Kingma, Max Welling, "Auto-Encoding Variational Bayes", arXiv:1312.6114, https://arxiv.org/abs/1312.6114

【0031】

画像生成モデルＭ２は、エンコーダＶｅとデコーダＶｄとを有している。エンコーダＶｅは、入力画像ＩＩｇのデータの次元削減処理を実行することによって、入力画像ＩＩｇの特徴を表す潜在変数ベクトルｚを生成する。変分オートエンコーダでは、潜在変数ベクトルｚの各要素が確率分布（例えば、正規分布）に従うことが、想定されている。デコーダＶｄは、潜在変数ベクトルｚの次元復元処理を実行することによって、潜在変数ベクトルｚによって表される特徴を有する再構成画像ＯＩｇのデータを生成する。後述するように、画像生成モデルＭ２の訓練では、外観の異常の無いラベルＬ（図２（Ａ））を表す入力画像ＩＩｇのデータが画像生成モデルＭ２に入力される。そして、外観の異常の無い同じラベルＬを表す再構成画像ＯＩｇのデータが生成されるように、画像生成モデルＭ２が訓練される。訓練済の画像生成モデルＭ２は、図３（Ａ）－図３（Ｃ）で説明したように、外観の異常を有するラベルの画像から、外観の異常の無いラベルの再構成画像を生成可能である。

【0032】

エンコーダＶｅの構成は、入力画像ＩＩｇのデータから潜在変数ベクトルｚを算出する種々の構成であってよい。本実施例では、エンコーダＶｅは、畳込層Ｖｅ２１、Ｖｅ２２と、全結合層Ｖｅ２３、Ｖｅ２４と、演算層Ｖｅ２５と、を有している。

【0033】

入力画像ＩＩｇのデータは、第１畳込層Ｖｅ２１に入力される。第１畳込層Ｖｅ２１から出力されるデータは、第２畳込層Ｖｅ２２に入力される。畳込層Ｖｅ２１、Ｖｅ２２は、入力されるデータに対して、畳込処理とバイアスの加算処理とを含む処理を実行する。畳込層Ｖｅ２１、Ｖｅ２２は、畳込処理に用いられる複数のフィルタの複数の重みと複数のバイアスとを含む演算パラメータのセットを、それぞれ有している。畳込層Ｖｅ２１、Ｖｅ２２のそれぞれの活性化関数は、例えば、Ｒｅｌｕ（Rectified Linear Unit）である。

【0034】

第１全結合層Ｖｅ２３は、第２畳込層Ｖｅ２２から出力されるデータを使用して、潜在変数ベクトルｚの複数の要素のそれぞれの確率分布の平均を示す平均ベクトルμを生成する。第２全結合層Ｖｅ２４は、第２畳込層Ｖｅ２２から出力されるデータを使用して、潜在変数ベクトルｚの複数の要素のそれぞれの確率分布の標準偏差を示す標準偏差ベクトルσを生成する。全結合層Ｖｅ２３、Ｖｅ２４は、それぞれ、入力されるデータによって表されるベクトルと重みベクトルとの内積とバイアスとの和を活性化関数に入力することによって、出力用のデータを生成する。全結合層Ｖｅ２３、Ｖｅ２４は、それぞれ、重みベクトルとバイアスとを含む演算パラメータのセットを有している。全結合層Ｖｅ２３、Ｖｅ２４のそれぞれの活性化関数は、例えば、Ｒｅｌｕである。

【0035】

演算層Ｖｅ２５は、平均ベクトルμと標準偏差ベクトルσとによって定められる複数の確率分布に基づいて、潜在変数ベクトルｚの複数の要素を決定する。ここで、上記の論文で説明されている「再パラメータ化トリック（reparameterization trick）」と呼ばれる技術に従って、潜在変数ベクトルｚが決定される。本実施例では、演算層Ｖｅ２５は、ゼロの平均と１の分散とによって定められる正規分布（Ｎ（０，１））に基づく複数の乱数値で構成されるノイズベクトルを生成する。演算層Ｖｅ２５は、ノイズベクトルと標準偏差ベクトルσとの積（ここでは、要素毎の積）に、平均ベクトルμを加算することによって、潜在変数ベクトルｚを算出する。

【0036】

デコーダＶｄの構成は、潜在変数ベクトルｚから再構成画像ＯＩｇを生成する種々の構成であってよい。本実施例では、デコーダＶｄは、全結合層Ｖｄ２１と、全結合層Ｖｄ２１の下流側に直列に接続される転置畳込層Ｖｄ２２、Ｖｄ２３と、を有している。

【0037】

エンコーダＶｅからの潜在変数ベクトルｚは、全結合層Ｖｄ２１に入力される。全結合層Ｖｄ２１は、潜在変数ベクトルｚと重みベクトルとの内積とバイアスとの和を活性化関数に入力することによって、出力用のデータを生成する。全結合層Ｖｄ２１は、重みベクトルとバイアスとを含む演算パラメータのセットを有している。全結合層Ｖｄ２１の活性化関数は、例えば、Ｒｅｌｕである。

【0038】

転置畳込層Ｖｄ２２、Ｖｄ２３は、入力されるデータに対して、転置畳込処理とバイアスの加算処理とを含む処理を実行する。転置畳込処理は、入力されるデータに対して、ストライドとパディングとに応じて適宜に要素（例えばゼロを示す要素）を追加して要素数を増加させた後に、フィルタを用いる畳込み演算を行う処理である。最後の転置畳込層Ｖｄ２３から出力されるデータは、再構成画像ＯＩｇを表している。転置畳込層Ｖｄ２２、Ｖｄ２３は、転置畳込処理に用いられる複数のフィルタの複数の重みと複数のバイアスとを含む演算パラメータのセットを、それぞれ有している。最後の転置畳込層Ｖｄ２３の活性化関数は、再構成画像ＯＩｇの生成に適した関数（例えば、Sigmoid関数、または、Tanh関数）である。他の転置畳込層Ｖｄ２２の活性化関数は、例えば、Ｒｅｌｕである。

【0039】

なお、各層Ｖｅ２１－Ｖｅ２５、Ｖｄ２１－Ｖｄ２３の入力データの構成と出力データの構成とは、種々の構成であってよい。本実施例では、入力画像ＩＩｇと再構成画像ＯＩｇとは、それぞれ、赤Ｒ、緑Ｇ、青Ｂの３チャンネルで各画素の色を示すカラービットマップデータである。入力画像ＩＩｇのデータの要素数（ここでは、高さ＊幅＊チャンネル数）は、２５６＊５１２＊３であってよい。ＲＧＢのそれぞれの色値は、ゼロから２５５までの２５６階調で表されてよい。なお、高さは、第２方向Ｄｙ（図４（Ａ））の画素数を示し、幅は、第１方向Ｄｘの画素数を示している。エンコーダＶｅは、高さに相当する要素数と幅に相当する要素数とを低減してよい。例えば、畳込層Ｖｅ２１、Ｖｅ２２は、データの要素数を、「２５６＊５１２＊３」から、「１２８＊２５６＊６４」、「６４＊１２８＊１２８」の順に、変化させてよい。全結合層Ｖｅ２３、Ｖｅ２４は、それぞれ、データの要素数を、「６４＊１２８＊１２８」から「３２（すなわち、１＊１＊３２）」に変化させてよい。このように、平均ベクトルμと標準偏差ベクトルσと潜在変数ベクトルｚとは、それぞれ、３２個の要素で構成されてよい。デコーダＶｄは、高さに相当する要素数と幅に相当する要素数とを増大してよい。例えば、デコーダＶｄの全結合層Ｖｄ２１は、データの要素数を、「３２」から「６４＊１２８＊１２８」に変化させてよい。転置畳込層Ｖｄ２２、Ｖｄ２３は、データの要素数を、「６４＊１２８＊１２８」から、「１２８＊２５６＊６４」、「２５６＊５１２＊３」の順に変化させてよい。いずれの場合も、再構成画像ＯＩｇのデータ構成（具体的には、高さ＊幅＊チャンネル数）は、入力画像ＩＩｇのものと同じに設定される。

【0040】

画像生成モデルＭ２の複数の演算パラメータは、後述する訓練処理によって、調整される。

【0041】

Ａ５．画像生成モデルＭ２の訓練処理：
図６は、画像生成モデルＭ２の訓練処理の例を示すフローチャートである。データ処理装置１００（図１）のプロセッサ１１０は、第１プログラム１３１を実行することによって、画像生成モデルＭ２を訓練する。訓練前には、画像生成モデルＭ２の複数の演算パラメータは、乱数値などの初期値に設定されている。

【0042】

Ｓ１１０では、プロセッサ１１０（図１）は、不揮発性記憶装置１３０から版下画像Ｄ１のデータを取得する。版下画像Ｄ１は、外観の異常の無いラベルＬ（図２（Ｂ））を表す画像であり、ラベルＬの製造のために予め準備されている。製品３００の製造工程では、版下画像Ｄ１がシートに印刷されることによって、ラベルＬが形成される。

【0043】

Ｓ１２０では、プロセッサ１１０は、版下画像Ｄ１のデータの拡張処理を実行する。データ拡張処理は、画像処理によって画像データを増やす処理である。画像処理は、版下画像Ｄ１から外観の異常の無いラベルＬを表す他の画像を生成する種々の処理であってよい。本実施例では、プロセッサ１１０は、リサイズ処理、回転処理、明度変更処理、色変更処理、ぼかし処理、ノイズ付加処理から乱数を使用して１以上の画像処理を選択する。プロセッサ１１０は、選択された１以上の画像処理を版下画像Ｄ１のデータに対して実行することによって、処理済の版下画像のデータを生成する。

【0044】

リサイズ処理は、画像中のラベルＬの大きさ（すなわち、画素数）を変更する種々の処理であってよい。例えば、プロセッサ１１０は、乱数を使用して決定される比率に従って画像中のラベルＬのサイズを変更してよい。比率は、例えば、０．８以上、１．２以下の範囲内で決定されてよい。

【0045】

回転処理は画像中のラベルＬの回転位置を変更する種々の処理であってよい。例えば、プロセッサ１１０は、乱数を使用して決定される回転角度に従って画像中のラベルＬをラベルＬの重心を中心に回転してよい。回転角度は、例えば、－３度以上、＋３度以下の範囲内で決定されてよい（正の回転角度は、時計回りの回転を示し、負の回転角度は、反時計回りの回転を示す）。

【0046】

なお、リサイズ処理と回転処理とによる各画素の色値の決定方法は、種々の方法であってよい（例えば、ニアレストネイバ、バイリニア、バイキュービックなど）。

【0047】

明度変更処理は、画像の全体の明るさを変更する種々の処理であってよい。例えば、プロセッサ１１０は、乱数を使用して決定されるガンマ値によって表されるガンマカーブを使用して、Ｒ、Ｇ、Ｂのそれぞれの階調値を調整してよい。ガンマ値は、例えば、０．７以上、１．３以下の範囲内で決定されてよい。

【0048】

色変更処理は、画像の色を変更する種々の処理であってよい。例えば、プロセッサ１１０は、Ｒ、Ｇ、Ｂのそれぞれの階調値に、色成分毎に乱数を使用して決定される変更量を加算してよい。変更量は、例えば、－１０以上、＋１０以下の範囲内で決定されてよい。

【0049】

ぼかし処理は、画像中のラベルＬをぼかす種々の処理であってよい。ぼかし処理は、平滑化とも呼ばれる。例えば、プロセッサ１１０は、平滑化フィルタ（例えば、中央値フィルタ）を使用するフィルタ処理を実行してよい。

【0050】

ノイズ付加処理は、画像にノイズを付加する種々の処理であってよい。例えば、プロセッサ１１０は、乱数を使用して選択される複数の画素のＲ、Ｇ、Ｂのそれぞれの階調値に、色成分毎に乱数を使用して決定される変更量を加算してよい。変更量は、画素毎に決定されてよい。

【0051】

データ拡張処理は、これらの処理に加えて、他の画像処理（例えば、位置をシフトする処理）を含んでよい。また、データ拡張処理は、これらの処理の全部または一部に代えて、他の画像処理を含んでよい。

【0052】

Ｓ１３０では、プロセッサ１１０（図１）は、不揮発性記憶装置１３０の背景画像群Ｄ２のデータから１個の処理対象の背景画像のデータを取得する。本実施例では、背景画像群Ｄ２の各背景画像は、様々な被写体（例えば、風景、装置（例えば、複合機）など）をデジタルカメラを用いて撮影して得られる撮影画像である。これに限らず、背景画像は、絵や写真などの原稿をスキャナによって読み取って得られる読取画像を含んでよく、イラストなどのコンピュータによって生成された画像を含んでよい。

【0053】

Ｓ１４０では、プロセッサ１１０は、Ｓ１３０で取得された背景画像のデータと、Ｓ１２０で生成された処理済の版下画像のデータと、を使用して、合成画像のデータを生成する。合成画像は、背景画像上に処理済の版下画像を重畳して得られる画像を表している。プロセッサ１１０は、背景画像上の処理済の版下画像の重畳位置を、乱数を使用して決定する。例えば、重畳位置は、処理済の版下画像の全体が背景画像内に位置する範囲内で決定される。

【0054】

Ｓ１５０では、プロセッサ１１０は、合成画像のデータの拡張処理を実行する。拡張処理は、Ｓ１２０の拡張処理と同様に、１以上の画像処理から選択される。プロセッサ１１０は、乱数を使用して１以上の画像処理を選択し、選択された１以上の画像処理を合成画像のデータに対して実行することによって、処理済の合成画像のデータを生成する。なお、プロセッサ１１０は、画像生成モデルＭ２に受け入れられるデータ構成（ここでは、高さ＊幅＊チャンネル数）を有する処理済の合成画像のデータを生成する。Ｓ１２０、Ｓ１５０の拡張処理（例えば、回転処理やリサイズ処理など）によって隙間（すなわち、色値が定義されていない部分）が生じる場合、プロセッサ１１０は、隙間の画素の色を所定の色（例えば、白色）に設定してよい。

【0055】

Ｓ１７０では、プロセッサ１１０は、処理済の合成画像のデータを、訓練画像データとして、記憶装置１１５（例えば、不揮発性記憶装置１３０）に格納する。訓練画像データによって表される訓練画像は、版下画像Ｄ１と同様に外観の異常の無いラベルＬを表している。ただし、訓練画像と版下画像Ｄ１との間では、画像の全体の明るさ、画像中のラベルＬの傾き、画像中のラベルＬの大きさ、画像中のラベルＬの位置、ラベルＬのボケの度合い、などのラベルＬの表現に関する種々のパラメータが異なっている。

【0056】

Ｓ１８０では、プロセッサ１１０は、訓練画像データの生成を終了するための生成終了条件が満たされるか否かを判定する。生成終了条件は、画像生成モデルＭ２の訓練のための複数の訓練画像データが生成済であることを示す種々の条件であってよい。本実施例では、生成終了条件は、生成済の訓練画像データの総数が所定の閾値（例えば、数百、数千程度）以上であることである。

【0057】

生成終了条件が満たされない場合（Ｓ１８０：Ｎｏ）、プロセッサ１１０は、Ｓ１２０へ移行して、新たな訓練画像データを生成する。生成終了条件が満たされる場合（Ｓ１８０：Ｙｅｓ）、プロセッサ１１０は、Ｓ２１０へ移行する。

【0058】

Ｓ２１０では、プロセッサ１１０は、Ｓ１２０－Ｓ１７０で生成済の複数の訓練画像データから、未処理の複数の訓練画像データで構成されるサブセットを選択する。サブセットの画像データの総数は、予め決められている。

【0059】

Ｓ２２０では、プロセッサ１１０は、サブセットに含まれる訓練画像データを画像生成モデルＭ２に入力することによって、画像データを生成する（生成画像データと呼ぶ）。プロセッサ１１０は、訓練画像データを使用して、画像生成モデルＭ２の演算を進行する。プロセッサ１１０は、画像生成モデルＭ２の演算の一部、または、全部を、ＧＰＵ１９０に実行させてよい。

【0060】

Ｓ２３０では、プロセッサ１１０は、訓練画像データと生成画像データとを使用して、評価値を算出する。評価値の算出は、訓練画像データ毎に行われる。そして、プロセッサ２１０は、サブセットに含まれる複数の訓練画像データから算出される複数の評価値を使用して、損失を算出する。損失は、例えば、複数の評価値の合計値であってよい。

【0061】

評価値の算出方法は、画像生成モデルＭ２の訓練に適する任意の方法であってよい。評価値は、訓練画像と生成画像との間の差の大きさを示すことが好ましい。本実施例では、評価値は、変分オートエンコーダの上記の論文で説明されている再構成誤差と正則化項との和である。再構成誤差は、例えば、訓練画像と生成画像との間のクロスエントロピーロスであってよい。正則化項は、例えば、潜在変数の確率分布と、正規分布（平均＝ゼロ、標準偏差＝１）と、の一致の度合いを示すカルバック・ライブラー・ダイバージェンスを使用して算出されてよい。本実施例では、潜在変数ベクトルｚ（図５）の各要素が、潜在変数を示している。各潜在変数の確率分布は、平均ベクトルμと標準偏差ベクトルσとの対応する要素によって表される平均と標準偏差とによって定められる。

【0062】

Ｓ２４０では、プロセッサ１１０は、損失を使用して画像生成モデルＭ２の複数の演算パラメータを調整する。本実施例では、プロセッサ１１０は、損失が小さくなるように、複数の演算パラメータを調整する。調整方法は、任意の方法であってよい。例えば、誤差逆伝播法と勾配降下法とを使用する方法が、採用されてよい。ここで、プロセッサ１１０は、いわゆるＡｄａｍの最適化を行ってよい。プロセッサ１１０は、複数の演算パラメータを調整するための演算の一部、または、全部を、ＧＰＵ１９０に実行させてよい。

【0063】

Ｓ２５０では、プロセッサ１１０は、画像生成モデルＭ２の訓練を終了するための訓練終了条件が満たされるか否かを判定する。訓練終了条件は、画像生成モデルＭ２が適切に訓練されたことを示す任意の条件であってよい。訓練終了条件は、例えば、Ｓ２３０で算出される損失が所定の損失閾値以下であることであってよい。これに代えて、訓練終了条件は、繰り返されるＳ２３０で算出される損失の変化量が所定の変化量閾値以下であること、または、Ｓ２４０の繰り返しの回数が所定の回数閾値以上であること、であってよい。

【0064】

訓練終了条件が満たされない場合（Ｓ２５０：Ｎｏ）、プロセッサ１１０は、Ｓ２１０へ移行し、新たなサブセットの処理を実行する。訓練終了条件が満たされる場合（Ｓ２５０：Ｙｅｓ）、Ｓ２６０で、プロセッサ１１０は、訓練済の画像生成モデルＭ２を表すデータを、記憶装置１１５（ここでは、不揮発性記憶装置１３０）に格納する。そして、プロセッサ１１０は、図６の処理を終了する。

【0065】

以上のように、画像生成モデルＭ２は、外観の異常の無いラベルＬの画像データから、外観の異常の無い同じラベルの画像データを生成するように訓練される。すなわち、画像生成モデルＭ２は、外観の異常の無いラベルＬの画像の特徴を再構成するように、訓練される。従って、画像生成モデルＭ２に入力される画像データが外観の異常を有するラベルＬｂ、Ｌｃ（図３（Ｂ）、図３（Ｃ））を表す場合であっても、訓練済の画像生成モデルＭ２によって生成される画像データは、外観の異常の無いラベルＬｂｇ、Ｌｃｇを表すことが可能である。このように、画像生成モデルＭ２は、画像生成モデルＭ２に入力される画像中のラベルが外観の異常を有するか否かに拘わらずに、外観の異常の無いラベルを表す画像データを生成するように、訓練される。

【0066】

また、画像生成モデルＭ２は、画像生成モデルＭ２に入力される訓練画像と同じ再構成画像を生成するように、訓練される。従って、画像生成モデルＭ２に入力される画像のラベルの明るさが、画像生成モデルＭ２の訓練に使用される訓練画像のラベルの明るさと同程度である場合、画像生成モデルＭ２は、適切な再構成画像を生成できる。画像生成モデルＭ２の訓練に使用される複数の訓練画像のラベルの明るさの分布範囲は、適切な再構成画像を生成するためのラベルの適切な明るさの範囲を示している。画像中のラベルの明るさが訓練画像中のラベルの明るさと大きく異なる場合、図４（Ｂ）、図４（Ｃ）で説明したように、画像生成モデルＭ２は、不適切な再構成画像を生成し得る。

【0067】

Ａ６．検査処理：
図７は、製品３００（図２（Ａ））のラベルＬの検査処理の例を示すフローチャートである。データ処理装置１００（図１）のプロセッサ１１０は、第２プログラム１３２を実行することによって、検査処理を実行する。図２（Ａ）で説明したように、検査のために、製品３００と撮影装置４００との間の相対的な配置が調整される。本実施例では、機械（ベルトコンベア、または、ターンテーブルなど）によって製品３００の位置と向きとが調整される。製品３００の配置の後、検査処理の開始指示が、データ処理装置１００に入力される。本実施例では、作業者は、操作部１５０を操作することによって、開始指示を入力する。プロセッサ１１０は、開始指示に応じて、検査処理を開始する。なお、製品３００の配置は、作業者によって調整されてよい。製品３００の位置と向きとに代えて、撮影装置４００の位置と向きとが調整されてよい。開始指示は、データ処理装置１００とは異なる他の装置によって、通信インタフェース１７０を介して、データ処理装置１００に入力されてよい。図７の処理は、１個の製品３００の検査処理を示している。プロセッサ１１０は、複数個の製品３００のそれぞれを検査するために、図７の処理を繰り返す。

【0068】

Ｓ３１０では、プロセッサ１１０は、撮影指示を撮影装置４００に供給する。撮影装置４００は、撮影指示に応じて、製品３００のうちのラベルＬを含む部分を撮影し、撮影画像のデータを生成する。プロセッサ１１０は、撮影装置４００から、撮影画像のデータを取得する。この撮影画像は、図２（Ｃ）の撮影画像ｉ１のように、製品３００のうちのラベルＬを含む部分を表している。

【0069】

Ｓ３２０では、プロセッサ１１０は、判定実行条件が満たされるか否かを判定する。判定実行条件は、後述する画像判定処理を実行するための条件である。本実施例では、判定実行条件は、現行の検査処理が、画像判定処理を伴う最後の検査処理から数えて１００回目の検査処理であることである。すなわち、１００回に１回の割合で、判定実行条件が満たされる。

【0070】

判定実行条件が満たされる場合（Ｓ３２０：Ｙｅｓ）、Ｓ３３０で、プロセッサ１１０は、画像判定処理を実行する。図８は、画像判定処理の例を示すフローチャートである。Ｓ４６０では、プロセッサ１１０は、撮影画像からラベルＬ（図２（Ｂ））を表す部分画像（すなわち、ラベル部分画像）を検出し、ラベル部分画像のデータを取得する。図２（Ｄ）のラベル部分画像ｉ２は、図２（Ｃ）の撮影画像ｉ１から検出されるラベル部分画像の例である。

【0071】

ラベルＬを表す部分の検出方法は、任意の方法であってよい。本実施例では、プロセッサ１１０は、ラベルＬを検出するように訓練済の物体検出モデルＭ１を使用して、ラベルＬを検出する。物体検出モデルＭ１は、種々の物体検出モデルであってよい。本実施例では、物体検出モデルＭ１は、ＹＯＬＯｖ４と呼ばれる機械学習モデルである。ＹＯＬＯｖ４は、例えば、以下の論文に開示されている。
Alexey Bochkovskiy, Chien-Yao Wang, Hong-Yuan Mark Liao, "YOLOv4: Optimal Speed and Accuracy of Object Detection", arXiv:2004.10934, https://arxiv.org/abs/2004.10934

【0072】

ＹＯＬＯｖ４モデルは、オブジェクト（本実施例では、ラベルＬ）を表す領域（バウンディングボックスとも呼ばれる）を予測する。物体検出モデルＭ１の訓練方法は、ラベルＬを表すバウンディングボックスを検出するように物体検出モデルＭ１を訓練する任意の方法であってよい。例えば、上記論文に記載の訓練方法が採用されてよい。

【0073】

Ｓ４６０（図８）では、プロセッサ１１０は、撮影画像データを使用して物体検出モデルＭ１の演算を進行することによって、ラベルＬを表すバウンディングボックスを検出する。図２（Ｃ）のバウンディングボックスＢＢは、撮影画像ｉ１から検出されるバウンディングボックスの例である。バウンディングボックスＢＢは、ラベルＬを囲んでいる。なお、プロセッサ１１０は、物体検出モデルＭ１の演算の一部、または、全部を、ＧＰＵ１９０に実行させてよい。

【0074】

プロセッサ１１０は、撮影画像のデータに対するトリミング処理を実行することによって、撮影画像のうちのバウンディングボックスを含む領域を抽出する。図２（Ｃ）の領域ＥＡは、撮影画像ｉ１から抽出される領域の例である。領域ＥＡは、バウンディングボックスＢＢを含んでいる。

【0075】

バウンディングボックスのアスペクト比（ここでは、高さと幅の比率）は、画像生成モデルＭ２に受け入れられるアスペクト比である処理アスペクト比と異なる場合がある。この場合、プロセッサ１１０は、バウンディングボックスを含むとともに処理アスペクト比を有する領域を、抽出する。ここで、プロセッサ１１０は、バウンディングボックスを含む最小領域を抽出してよい。なお、ラベルＬの一部は、バウンディングボックスの外にはみ出得る。プロセッサ１１０は、バウンディングボックスと、バウンディングボックスを囲む周辺領域（例えば、所定幅の領域）と、を含む最小領域を抽出してよい。バウンディングボックスと周辺領域を含む領域は、ラベルＬの全体を含むことができる。バウンディングボックスに対する抽出される領域の位置は、種々の位置であってよい。例えば、抽出される領域の重心位置は、バウンディングボックスの重心位置に配置されてよい。

【0076】

プロセッサ１１０は、抽出された領域の画像に対する解像度変換処理を実行することによって、ラベル部分画像のデータを取得する。ラベル部分画像のデータは、画像生成モデルＭ２（図５）に受け入れられるデータ構成（具体的には、高さ＊幅＊チャンネル数）を有している。図２（Ｄ）のラベル部分画像ｉ２は、撮影画像ｉ１（図２（Ｃ））から抽出される領域ＥＡの画像を、表している。解像度変換処理による各画素の色値の決定方法は、種々の方法であってよい（例えば、ニアレストネイバ、バイリニア、バイキュービックなど）。

【0077】

Ｓ５０５（図８）では、プロセッサ１１０は、ラベル部分画像のデータを使用して、画像生成モデルＭ２の演算を進行することによって、再構成画像のデータを生成する。図３（Ａ）－図３（Ｃ）に示すように、ラベルが外観の異常を有するか否かに拘わらずに、再構成画像は、外観の異常の無いラベルを表し得る。ただし、図４（Ｂ）、図４（Ｃ）に示すように、ラベル部分画像中のラベルの明るさが不適切である場合、再構成画像は、不適切なラベルを表し得る。なお、プロセッサ１１０は、画像生成モデルＭ２の演算の一部、または、全部を、ＧＰＵ１９０に実行させてよい。

【0078】

Ｓ５１０（図８）では、プロセッサ１１０は、ラベル部分画像の各画素の輝度Ｖを取得する。本実施例では、プロセッサ１１０は、元の色値（本実施例では、ＲＧＢの３色成分の階調値）と輝度Ｖとの予め決められた対応関係を使用して、輝度Ｖを算出する。対応関係は、例えば、ＲＧＢ色空間とＨＳＶ色空間との対応関係であってよい。

【0079】

Ｓ５１５では、プロセッサ１１０は、再構成画像の各画素の輝度Ｖを取得する。輝度Ｖの取得方法は、Ｓ５１０での輝度Ｖの取得方法と同じである。

【0080】

Ｓ５２０では、プロセッサ１１０は、ラベル部分画像の輝度ＶのヒストグラムＨＩを生成する。Ｓ５２５では、プロセッサ１１０は、再構成画像の輝度ＶのヒストグラムＨＲを生成する。図９（Ａ）－図９（Ｃ）は、ヒストグラムの例を示す図である。図９（Ａ）－図９（Ｃ）には、ラベル部分画像ｉ２ａ、ｉ２ｘ、ｉ２ｚと、再構成画像ｉ２ａｇ、ｉ２ｘｇ、ｉ２ｚｇと、グラフと、が示されている。グラフには、ラベル部分画像のヒストグラムＨＩ（入力ヒストグラムＨＩと呼ぶ）と再構成画像のヒストグラムＨＲ（再構成ヒストグラムＨＲと呼ぶ）とが重ねて示されている。横軸は、輝度Ｖを示し、縦軸は、頻度Ｆを示している。

【0081】

図９（Ａ）は、図４（Ａ）のラベル部分画像ｉ２ａと再構成画像ｉ２ａｇとから得られるグラフの例を示している。ラベル部分画像ｉ２ａが適切な明るさのラベルＬａを表す場合、再構成画像ｉ２ａｇは、ラベル部分画像ｉ２ａのラベルＬａの明るさと同程度の明るさでラベルＬａｇを表し得る。再構成ヒストグラムＨＲは、入力ヒストグラムＨＩに類似する。

【0082】

図９（Ｂ）は、図４（Ｂ）のラベル部分画像ｉ２ｘと再構成画像ｉ２ｘｇとから得られるグラフの例を示している。図６で説明したように、画像生成モデルＭ２は、訓練画像のラベルの明るさと同程度の明るさのラベルを表す画像を生成するように、訓練される。従って、ラベル部分画像ｉ２ｘのラベルＬａが過度に暗い場合、画像生成モデルＭ２は、訓練画像のラベルの明るさと同程度の明るさのラベルを表す画像、すなわち、ラベル部分画像ｉ２ｘのラベルＬａの明るさよりも明るいラベルＬａｘを表す再構成画像ｉ２ｘｇを生成する。グラフに示すように、再構成ヒストグラムＨＲと入力ヒストグラムＨＩとの間の差は、大きい。具体的には、高い輝度Ｖの範囲では、再構成ヒストグラムＨＲの頻度Ｆは大きく、入力ヒストグラムＨＩの頻度Ｆは小さい。

【0083】

図９（Ｃ）は、図４（Ｃ）のラベル部分画像ｉ２ｚと再構成画像ｉ２ｚｇとから得られるグラフの例を示している。ラベル部分画像ｉ２ｚのラベルＬａが過度に明るい場合、画像生成モデルＭ２は、訓練画像のラベルの明るさと同程度の明るさのラベルを表す画像、すなわち、ラベル部分画像ｉ２ｚのラベルＬａの明るさよりも暗いラベルＬａｚを表す再構成画像ｉ２ｚｇを生成する。グラフに示すように、再構成ヒストグラムＨＲと入力ヒストグラムＨＩとの間の差は、大きい。具体的には、高い輝度Ｖの範囲では、再構成ヒストグラムＨＲの頻度Ｆは小さく、入力ヒストグラムＨＩの頻度Ｆは大きい。

【0084】

Ｓ５３０（図８）では、プロセッサ１１０は、ラベル部分画像の入力ヒストグラムＨＩと再構成画像の再構成ヒストグラムＨＲとの間の差異の指標値を算出する（入力指標値とも呼ぶ）。入力指標値は、入力ヒストグラムＨＩと再構成ヒストグラムＨＲとの間の差の大きさを表す種々の値であってよい。本実施例では、プロセッサ１１０は、入力ヒストグラムＨＩと再構成ヒストグラムＨＲとの相関を、入力指標値として算出する。図１０（Ａ）は、相関ｃの算出式の例を示す図である。この相関ｃは、ピアソンの積率相関係数である。ピアソンの積率相関係数は、２個のデータセットの間の線形相関を表す尺度である。ピアソンの積率相関係数は、２個のデータセットの共分散を標準偏差の積で除算することによって、算出される。本実施例では、ヒストグラムＨＩ、ＨＲが、１番からｎ番までのｎ個の区間（ビンとも呼ばれる）のそれぞれの頻度Ｆを示すこととする。すなわち、輝度Ｖの全範囲は、ｎ個の区間に分割される。図１０（Ａ）において、頻度ＨＩ＿ｋは、入力ヒストグラムＨＩのｋ番目の区間の頻度である。頻度ＨＲ＿ｋは、再構成ヒストグラムＨＲのｋ番目の区間の頻度である。平均ＨＩ＿ｍは、入力ヒストグラムＨＩのｎ個の頻度Ｆの平均である。平均ＨＲ＿ｍは、再構成ヒストグラムＨＲのｎ個の頻度Ｆの平均である。

【0085】

図９（Ａ）のように、再構成ヒストグラムＨＲが入力ヒストグラムＨＩに類似する場合、相関ｃは、大きくなる。図９（Ｂ）、図９（Ｃ）のように、ヒストグラムＨＲ、ＨＩの間の差が大きい場合、相関ｃは小さくなる。

【0086】

Ｓ５４０（図８）では、プロセッサ１１０は、入力指標値を使用して、ヒストグラムＨＩ、ＨＲの間の差異が差異閾値以上であるか否かを判定する。本実施例では、プロセッサ１１０は、相関ｃが所定の第１判定閾値以下である場合に、差異が差異閾値以上であると判定する。図９（Ａ）のヒストグラムＨＩ、ＨＲが処理される場合、相関ｃが第１判定閾値より大きい（すなわち、ヒストグラムの差異が差異閾値未満である）と判定される。図９（Ｂ）、図９（Ｃ）のヒストグラムＨＩ、ＨＲが処理される場合、相関ｃが第１判定閾値以下である（すなわち、ヒストグラムの差異が差異閾値以上である）と判定される。ヒストグラムの図示を省略するが、図３（Ｂ）、図３（Ｃ）のラベル部分画像ｉ２ｂ、ｉ２ｃと再構成画像ｉ２ｂｇ、ｉ２ｃｇとが処理される場合、ヒストグラムの差異が差異閾値未満であると判定される。差異閾値（ここでは、第１判定閾値）は、ラベル部分画像のラベルの明るさが適切である場合に、ヒストグラムＨＩ、ＨＲの間の差異が差異閾値未満であり、かつ、ラベル部分画像のラベルの明るさが不適切である場合に、ヒストグラムＨＩ、ＨＲの間の差異が差異閾値以上であるように、予め実験的に決定される。

【0087】

Ｓ５４０の判定結果がＹｅｓである場合（すなわち、ヒストグラムＨＩ、ＨＲの間の差が閾値以上である場合）、Ｓ５５０で、プロセッサ１１０は、第１判定結果処理を実行する。第１判定結果処理は、Ｓ５４０の判定結果（ここでは、Ｙｅｓ）に対応付けられる任意の処理であってよい。本実施例では、第１判定結果処理は、Ｓ５５２、Ｓ５５４、Ｓ５５６を含んでいる。Ｓ５５２では、プロセッサ１１０は、画像判定の結果を「明るさ異常」に決定する。Ｓ５５４では、プロセッサ１１０は、画像判定の結果を、作業者に報知する。報知の方法は、作業者に画像判定の結果を伝達可能な任意の方法であってよい。例えば、プロセッサ１１０は、画像判定の結果を示す情報を、表示部１４０に表示してよい。Ｓ５５６では、プロセッサ１１０は、画像判定の結果を示す結果データを、記憶装置１１５（例えば、不揮発性記憶装置１３０）に格納する。Ｓ５５０の後、プロセッサ１１０は、図８の処理、すなわち、図７のＳ３３０の処理を終了する。

【0088】

なお、本実施例では、画像判定の結果が「明るさ異常」である場合、Ｓ５５４で結果の報知を受けた作業者は、次の検査処理の開始前に（例えば、Ｓ５５０の後のＳ５５９で）、光源５００の光量を適切な光量に調整する。これにより、次の検査処理では、撮影装置４００は、適切な明るさでラベルを表す撮影画像を生成可能である。

【0089】

Ｓ５４０（図８）の判定結果がＮｏである場合（すなわち、ヒストグラムＨＩ、ＨＲの間の差が閾値未満である場合）、Ｓ５６０で、プロセッサ１１０は、第２判定結果処理を実行する。第２判定結果処理は、Ｓ５４０の判定結果（ここでは、Ｎｏ）に対応付けられる任意の処理であってよい。本実施例では、第２判定結果処理は、Ｓ５６２、Ｓ５６４、Ｓ５６６を含んでいる。Ｓ５６２では、プロセッサ１１０は、画像判定の結果を「明るさ正常」に決定する。Ｓ５６４、Ｓ５６６は、Ｓ５５０に含まれるＳ５５４、Ｓ５５６と、それぞれ同じである。Ｓ５６０の後、プロセッサ１１０は、図８の処理、すなわち、図７のＳ３３０の処理を終了する。

【0090】

Ｓ３４０（図７）では、プロセッサ１１０は、画像判定の結果が「明るさ正常」であるか否かを判定する。結果が「明るさ正常」である場合（Ｓ３４０：Ｙｅｓ）、Ｓ３６０で、プロセッサ１１０は、ラベル部分画像と再構成画像とを使用して、異常部分検出処理を実行する。

【0091】

図１１は、異常部分検出処理の例を示すフローチャートである。Ｓ３６２では、プロセッサ１１０は、ラベル部分画像によって表されるラベルの外観の異常の可能性を示すヒートマップ画像のデータを生成する。図１２（Ａ）は、ヒートマップ画像の例を示す図である。本実施例では、ヒートマップ画像は、ラベル部分画像と再構成画像との間の差分を示す差分画像である。図中の差分画像ｉ２ｂｄは、図３（Ｂ）のラベル部分画像ｉ２ｂと再構成画像ｉ２ｂｇとから生成される差分画像の例を示している。上述したように、再構成画像は、ラベル部分画像と同一ではない。従って、差分画像は、ラベルの外観の異常に限らず、種々のノイズを示し得る。例えば、差分画像ｉ２ｂｄは、傷Ｄｂｄに加えて、複数のノイズ部分Ｄ２１、Ｄ２２、Ｄ２３を、示し得る（図３（Ｂ）では、ノイズ部分Ｄ２１、Ｄ２２、Ｄ２３の図示は省略されている）。

【0092】

差分画像の各画素の色値は、ラベル部分画像と再構成画像との対応する画素の色値の差の大きさを示す種々の値であってよい。本実施例では、差分画像の画素の色値は、輝度Ｖの差分の絶対値を示している。なお、差分画像の色値は、複数の色成分（例えば、ＲＧＢ）のそれぞれの階調値（例えば、差分の絶対値）を示してよい。

【0093】

Ｓ３６４（図１１）では、プロセッサ１１０は、差分画像から、所定の階調閾値以上の階調値を有する異常画素を抽出する。図１２（Ｂ）の画像ｉ２ｂｐは、差分画像ｉ２ｂｄ（図１２（Ａ））から抽出される異常画素の例を示している。傷Ｄｂｄとノイズ部分Ｄ２１、Ｄ２２を示す画素が、抽出されている。ノイズ部分Ｄ２３（図１２（Ａ））は、抽出されていない。小さい差分を示すノイズは、除去される。階調閾値は、ノイズを示す画素の階調値（すなわち差分）が階調閾値より小さく、かつ、異常を示す画素の階調値が階調閾値よりも大きいように、予め実験的に決定される。

【0094】

Ｓ３６６（図１１）では、プロセッサ１１０は、所定の面積閾値以上の面積を有する連続領域を、異常部分として抽出する。連続領域は、複数の異常画素が連続する領域である。面積としては、例えば、画素数が使用される。図１２（Ｃ）の画像ｉ２ｂｎは、図１２（Ｂ）の画像ｉ２ｂｐから抽出される異常部分の例を示している。傷Ｄｂｄを示す連続領域が、異常部分として抽出され、小さいノイズ部分Ｄ２１、Ｄ２２（図１２（Ｂ））は抽出されていない。面積の小さいノイズは、除去される。面積閾値は、ノイズを示す連続領域の面積が面積閾値より小さく、かつ、異常を示す連続領域の面積が面積閾値よりも大きいように、予め実験的に決定される。

【0095】

図３（Ａ）に示すようにラベルＬａに外観の異常が無い場合、異常部分の無い差分画像ｉ２ａｄが生成され得る。このような差分画像ｉ２ａｄからは、異常部分は検出されない。

【0096】

Ｓ３６６（図１１）の後、プロセッサ１１０は、図１１の処理、すなわち、図７のＳ３６０の処理を、終了する。

【0097】

Ｓ３７０では、プロセッサ１１０は、異常部分が検出されるか否かを判定する。異常部分が検出されない場合（Ｓ３７０：Ｎｏ）、Ｓ３８０で、プロセッサ１１０は、第１検査結果処理を実行する。第１検査結果処理は、異常部分が検出されない場合に対応付けられる任意の処理であってよい。本実施例では、プロセッサ１１０は、検査結果が正常であることを示す検査結果データを記憶装置１１５（例えば、不揮発性記憶装置１３０）に格納する。Ｓ３８０の後、プロセッサ１１０は、検査処理を終了する。

【0098】

異常部分が検出される場合（Ｓ３７０：Ｙｅｓ）、Ｓ３９０で、プロセッサ１１０は、第２検査結果処理を実行する。第２検査結果処理は、異常部分が検出される場合に対応付けられる任意の処理であってよい。本実施例では、プロセッサ１１０は、検査結果が異常であることを示す検査結果データを記憶装置１１５（例えば、不揮発性記憶装置１３０）に格納する。Ｓ３９０の後、プロセッサ１１０は、検査処理を終了する。

【0099】

Ｓ３４０で、画像判定の結果が「明るさ正常」とは異なる場合（Ｓ３４０：Ｎｏ）、プロセッサ１１０は、ラベルの外観の検査を実行せずに、図７の処理を終了する。従って、図４（Ｂ）、図４（Ｃ）の再構成画像ｉ２ｘｇ、ｉ２ｚｇのような不適切な再構成画像を使用して検査が行われる可能性は、低減する。

【0100】

判定実行条件が満たされない場合（図７：Ｓ３２０：Ｎｏ）、Ｓ３５０で、プロセッサ１１０は、ラベル検出処理を実行する。Ｓ３５０の処理は、図８のＳ４６０の処理と同じである。Ｓ３５０の後、Ｓ３５５で、プロセッサ１１０は、再構成画像のデータを生成する。Ｓ３５５の処理は、図８のＳ５０５の処理と同じである。Ｓ３５５の後、プロセッサ１１０は、Ｓ３６０へ移行する。このように、判定実行条件が満たされない場合には、プロセッサ１１０は、画像判定処理をスキップする。Ｓ５５０、Ｓ５５９（図８）で説明したように、本実施列では、画像判定の結果が「明るさ異常」である場合、作業者は、光源５００の光量を適切な光量に調整する。従って、画像判定処理が実行される場合、その後のしばらくの間（猶予期間と呼ぶ）は、撮影装置４００は適切な明るさでラベルを表す撮影画像のデータを生成できると推定される（すなわち、猶予期間では、画像判定処理は不要と推定される）。判定実行条件は、猶予期間中には満たされず、猶予期間の経過後に満たされるように、予め決定される。本実施例では、猶予期間は、９９回の検査処理が行われる期間である。猶予期間は、検査処理の回数に代えて、時間（例えば、日、時など）によって定められてよい。ラベル部分画像中のラベルの明るさは、光源５００の光量の変化などの環境の変化に起因して変化し得る。猶予期間は、ラベル部分画像中のラベルの明るさが適切な範囲内に維持される期間に、予め、実験的に決定されてよい。

【0101】

以上のように、本実施例では、プロセッサ１１０は、以下の処理を実行する。図３（Ａ）－図３（Ｃ）、図９（Ａ）－図９（Ｃ）で説明したように、Ｓ５２０（図８）では、プロセッサ１１０は、ラベル部分画像（例えば、ラベル部分画像ｉ２ａ－ｉ２ｃ、ｉ２ｘ、ｉ２ｚ）の輝度ＶのヒストグラムＨＩを生成する（以下、ヒストグラムＨＩを、第１ヒストグラムＨＩとも呼ぶ）。第１ヒストグラムＨＩは、輝度Ｖの強度分布を表している。輝度Ｖは、ヒストグラムＨＩによって表される強度分布の色成分である対象色成分の例である。ラベル部分画像は、処理対象の画像である入力画像の例である。本実施例では、ラベル部分画像は、ラベルを表している（例えば、ラベルＬａ－Ｌｃ（図３（Ａ）－図３（Ｂ）、図９（Ａ）－図９（Ｃ））。ラベルは、注目しているオブジェクトである注目オブジェクトの例である。

【0102】

図３（Ａ）－図３（Ｃ）に示すように、Ｓ５０５（図８）では、プロセッサ１１０は、画像生成モデルＭ２にラベル部分画像（例えば、ラベル部分画像ｉ２ａ－ｉ２ｃ、ｉ２ｘ、ｉ２ｚ）のデータを入力することによって、再構成画像（例えば、再構成画像ｉ２ａｇ－ｉ２ｃｇ、ｉ２ｘｇ、ｉ２ｚｇ）のデータを生成する。図３（Ａ）－図３（Ｃ）、図６で説明したように、画像生成モデルＭ２は、外観の異常を有するラベル（例えば、ラベルＬｂ、Ｌｃ）を表す画像データから外観の異常の無いラベル（例えば、Ｌｂｇ、Ｌｃｇ）を表す画像データを生成するように訓練済である。

【0103】

図９（Ａ）－図９（Ｃ）で説明したように、Ｓ５２５（図８）では、プロセッサ１１０は、再構成画像（例えば、再構成画像ｉ２ａｇ、ｉ２ｘｇ、ｉ２ｚｇ）の輝度ＶのヒストグラムＨＲを生成する（以下、ヒストグラムＨＲを、第２ヒストグラムＨＲとも呼ぶ）。第２ヒストグラムＨＲは、輝度Ｖの強度分布を表している。

【0104】

Ｓ５４０、Ｓ５５０（図８）では、プロセッサ１１０は、相関ｃが第１判定閾値以下である場合に（Ｓ５４０：Ｙｅｓ）、第１判定結果処理（Ｓ５５０）を実行する。Ｓ５４０、図１０（Ａ）で説明したように、相関ｃは、第１ヒストグラムＨＩと第２ヒストグラムＨＲとの間の相関を表している。相関ｃは、第１ヒストグラムＨＩと第２ヒストグラムＨＲとの類似度を示している。相関ｃが第１判定閾値以下であることは、第１ヒストグラムＨＩと第２ヒストグラムＨＲとの間の差異が差異閾値以上であることを示している（第１判定閾値は、差異閾値を示すパラメータの例である）。第１判定結果処理は、第１ヒストグラムＨＩと第２ヒストグラムＨＲとの間の差異が差異閾値以上である場合に対応付けられる特定の処理の例である。

【0105】

このように、プロセッサ１１０は、第１ヒストグラムＨＩと第２ヒストグラムＨＲとの間の差異が差異閾値以上である場合に第１判定結果処理を実行するので、ラベル部分画像の明るさに応じて処理を進行できる。

【0106】

ここで、第１判定結果処理は、ヒストグラムＨＩ、ＨＲの差異が差異閾値未満である場合（Ｓ５４０：Ｎｏ）には実行されない処理を含むことが好ましい（例えば、図８のＳ５５２）。これにより、プロセッサ１１０は、ヒストグラムＨＩ、ＨＲの間の差異が差異閾値以上である場合に、ヒストグラムＨＩ、ＨＲの間の差異が差異閾値未満である場合の処理とは異なる処理を実行できる。

【0107】

また、複数のラベルが処理される場合、複数のラベル部分画像の間で、明るさや画像内のラベルの位置などのラベルの表現が異なり得る。本実施例では、プロセッサ１１０は、ラベル部分画像のデータと画像生成モデルＭ２を使用して、ラベル部分画像に適する再構成画像のデータを生成する。従って、未知のラベル部分画像の第１ヒストグラムＨＩとの比較に適する第２ヒストグラムＨＲ（ひいては、第２ヒストグラムＨＲの生成に使用すべき基準の画像）の事前の準備は、省略される。このように、ヒストグラムＨＩ、ＨＲを使用する判定処理の負担は、軽減される。

【0108】

また、図９（Ａ）－図９（Ｃ）で説明したように、ヒストグラムＨＩ、ＨＲは、輝度Ｖの強度分布を表している。従って、プロセッサ１１０は、ラベルの色に拘わらずに、ラベル部分画像の明るさに応じて処理を進行できる。

【0109】

また、Ｓ５４０、Ｓ５６０（図８）では、プロセッサ１１０は、相関ｃが第１判定閾値よりも大きい場合に（Ｓ５４０：Ｎｏ）、画像判定の結果を「明るさ正常」に決定する（Ｓ５６０）。相関ｃが第１判定閾値よりも大きいことは、第１ヒストグラムＨＩと第２ヒストグラムＨＲとの間の差異が差異閾値未満であることを示している。そして、Ｓ３４０、Ｓ３６０－Ｓ３９０（図７）で説明したように、画像判定の結果が「明るさ正常」である場合（Ｓ３４０：Ｙｅｓ）、すなわち、ヒストグラムＨＩ、ＨＲの間の差異が差異閾値未満である場合、プロセッサ１１０は、Ｓ３６０－Ｓ３９０の処理を実行する。Ｓ３６０－Ｓ３９０では、プロセッサ１１０は、ラベル部分画像と再構成画像とを使用して、ラベルが外観の異常を有するか否かを判定する。本実施例では、Ｓ３６０で、プロセッサ１１０は、ラベル部分画像と再構成画像とを使用して、ラベルの異常部分を検出する。異常部分が検出される場合（Ｓ３７０：Ｙｅｓ）、Ｓ３９０で、プロセッサ１１０は、検査結果が異常であると判定する、すなわち、ラベルが外観の異常を有すると判定する。異常部分が検出されない場合（Ｓ３７０：Ｎｏ）、Ｓ３８０で、プロセッサ１１０は、検査結果が正常であると判定する、すなわち、ラベルが外観の異常を有していないと判定する。

【0110】

ここで、ラベルが外観の異常を有するか否かの判定を、異常判定と呼ぶ。第１ヒストグラムＨＩと第２ヒストグラムＨＲとの間の差異が差異閾値未満であるという条件を、ヒストグラム条件と呼ぶ。ラベル部分画像と再構成画像とを使用する異常判定の実行が許容される条件を、許容条件と呼ぶ。本実施例では、許容条件は、ヒストグラム条件を含んでいる。具体的には、Ｓ３４０（図７）に示すように、許容条件は、ヒストグラム条件と同じである。ヒストグラム条件を含む許容条件が満たされる場合（図７：Ｓ３４０：Ｙｅｓ）、プロセッサ１１０は、適切な明るさでラベルを表すラベル部分画像と、そのラベル部分画像を使用して生成される再構成画像と、を使用して、適切な異常判定を実行できる。ヒストグラム条件を含む許容条件が満たされない場合（図７：Ｓ３４０：Ｎｏ）、プロセッサ１１０は、異常判定を実行せずに、検査処理を終了する。従って、プロセッサ１１０は、不適切な明るさでラベルを表すラベル部分画像を使用する不適切な異常判定を、回避可能である。

【0111】

Ｂ．第２実施例：
図１３、図１４は、画像判定処理の別の実施例を示すフローチャートである。図１４は、図１３の処理の続きの処理を示している。本実施例の画像判定処理は、図８の処理に代えて、Ｓ３３０（図７）で実行される。

【0112】

Ｓ４１０では、プロセッサ１１０は、Ｓ３１０（図７）で取得される撮影画像の各画素の輝度Ｖを取得する。輝度Ｖの取得方法は、Ｓ５１０（図８）での輝度Ｖの取得方法と同じである。

【0113】

Ｓ４２０では、プロセッサ１１０は、撮影画像の輝度Ｖのヒストグラムを生成する（撮影ヒストグラムと呼ぶ）。図示を省略するが、撮影ヒストグラムは、図９（Ａ）－図９（Ｃ）のヒストグラムＨＩ、ＨＲと同様に、輝度Ｖの強度分布を表している。

【0114】

Ｓ４３０では、プロセッサ１１０は、撮影ヒストグラムと基準ヒストグラムＤ３（図１）との間の差異の指標値を算出する（撮影指標値とも呼ぶ）。基準ヒストグラムＤ３は、予め準備される基準画像の輝度Ｖのヒストグラムである。基準画像は、撮影画像の基準を示す画像であり、撮影画像（例えば、図２（Ｃ）の撮影画像ｉ１）と同様に製品３００のうちのラベルＬを含む部分を表している。基準画像は、外観の異常の無いラベルＬを適切な明るさで表している。基準画像のデータは、予め準備されている。基準ヒストグラムＤ３のデータは、基準画像のデータを使用して、予め準備されている。本実施例では、基準ヒストグラムＤ３のデータは、予め、不揮発性記憶装置１３０に格納されている。

【0115】

撮影指標値の算出式は、ヒストグラムＨＩ、ＨＲに代えて、撮影ヒストグラムと基準ヒストグラムＤ３が使用される点を除いて、Ｓ５３０（図８）の入力指標値の算出式と同じである。本実施例では、プロセッサ１１０は、相関（図１０（Ａ））を算出する。

【0116】

なお、基準ヒストグラムＤ３のデータに代えて、基準画像のデータが記憶装置１１５（例えば、不揮発性記憶装置１３０）に予め格納されてよい。Ｓ４３０では、プロセッサ１１０は、基準画像のデータを使用して基準ヒストグラムを生成してよい。

【0117】

Ｓ４４０では、プロセッサ１１０は、撮影画像の明るさが許容範囲内か否かを判定する。上述したように、基準画像は、適切な明るさでラベルＬを表している。基準ヒストグラムは、適切な明るさでラベルＬを表す撮影画像のヒストグラムの例を示している。撮影画像の明るさが適切である場合、撮影ヒストグラムと基準ヒストグラムとの間の差は小さい。そこで、本実施例では、プロセッサ１１０は、撮影ヒストグラムと基準ヒストグラムとの間の差異が閾値以下である場合に、撮影画像の明るさが許容範囲内であると判定する。

【0118】

本実施例では、プロセッサ１１０は、撮影指標値（ここでは、相関）が所定の第１撮影閾値以上である場合に、ヒストグラムの差が閾値以下であると判定する、すなわち、撮影画像の明るさが許容範囲内であると判定する。第１撮影閾値は、撮影画像の明るさが適切である場合に、ヒストグラムの相関が第１撮影閾値以上であり、撮影画像の明るさが不適切である場合に、ヒストグラムの相関が第１撮影閾値未満であるように、予め実験的に決定される。

【0119】

図３（Ａ）－図３（Ｃ）のラベル部分画像ｉ２ａ－ｉ２ｃは、いずれも、適切な明るさでラベルＬａ－Ｌｃを表している。このようなラベル部分画像ｉ２ａ－ｉ２ｃを含む撮影画像（図示省略）が処理される場合、Ｓ４４０の判断結果は、Ｙｅｓであり得る。図４（Ｂ）、図４（Ｃ）の撮影画像ｉ１ｘ、ｉ１ｚは、いずれも、不適切な明るさでラベルＬａを表している。このような撮影画像ｉ１ｘ、ｉ１ｚが処理される場合、Ｓ４４０の判断結果は、Ｎｏであり得る。

【0120】

Ｓ４４０の判定結果がＮｏである場合、Ｓ４５０で、プロセッサ１１０は、第１前段処理を実行する。第１前段処理は、Ｓ４４０の判定結果（ここではＮｏ）に対応付けられる任意の処理であってよい。本実施例では、第１前段処理は、Ｓ４５２、Ｓ４５４、Ｓ４５６を含んでいる。Ｓ４５２、Ｓ４５４、Ｓ４５６は、図８のＳ５５０に含まれるＳ５５２、Ｓ５５４、Ｓ５５６と、それぞれ同じである。Ｓ４５０の後、プロセッサ１１０は、図１３の処理、すなわち、図７のＳ３３０の処理を終了する。Ｓ４５４で結果の報知を受けた作業者は、次の検査処理の開始前に（例えば、Ｓ４５０の後のＳ４５９で）、光源５００の光量を適切な光量に調整する。これにより、次の検査処理では、撮影装置４００は、適切な明るさでラベルを表す撮影画像を生成可能である。

【0121】

Ｓ４４０の判定結果がＹｅｓである場合、Ｓ４６０で、プロセッサ１１０は、ラベル検出処理を実行する。Ｓ４６０の処理は、図８のＳ４６０の処理と同じである。Ｓ４７０では、プロセッサ１１０は、ラベルが検出されるか否かを判定する。

【0122】

ラベルが検出されない場合（Ｓ４７０：Ｎｏ）、Ｓ４８０で、プロセッサ１１０は、第２前段処理を実行する。第２前段処理は、Ｓ４７０の判定結果（ここでは、Ｎｏ）に対応付けられる任意の処理であってよい。本実施例では、第２前段処理は、Ｓ４８２、Ｓ４８４、Ｓ４８６を含んでいる。Ｓ４８２では、プロセッサ１１０は、画像判定の結果を「不検出」に決定する。Ｓ４８４、Ｓ４８６は、Ｓ４５０に含まれるＳ４５４、Ｓ４５６と、それぞれ同じである。Ｓ４８４では、プロセッサ１１０は、画像判定の結果（ここでは、「不検出」）を、作業者に報知する。Ｓ４８０の後、プロセッサ１１０は、図１３の処理、すなわち、図７のＳ３３０の処理を終了する。画像判定の結果が「不検出」である場合、図７のＳ３４０の判定結果は「Ｎｏ」である。プロセッサ１１０は、ラベルＬの外観の検査を実行せずに、図７の処理を終了する。従って、ラベルＬが検出されない撮影画像を使用して検査が行われる可能性は、低減する。

【0123】

ラベルが検出される場合（Ｓ４７０：Ｙｅｓ）、プロセッサ１１０は、図１４のＳ５０５へ移行する。図１４のＳ５０５－Ｓ５６６は、図８のＳ５０５－Ｓ５６６と、それぞれ同じである。Ｓ５０５－Ｓ５４０では、プロセッサ１１０は、ラベル部分画像の入力ヒストグラムＨＩと再構成画像の再構成ヒストグラムＨＲとの間の差異が差異閾値以上であるか否かを判定する。そして、プロセッサ１１０は、この判定の結果に対応付けられる処理（Ｓ５５０、または、Ｓ５６０）を実行する。そして、プロセッサ１１０は、図１３の処理、すなわち、図７のＳ３３０の処理を終了する。

【0124】

以上のように、本実施例の画像判定処理（図１３、図１４）は、図８の処理を含んでいる。従って、本実施例は、図８の実施例のものと同じ種々の利点を有する。例えば、プロセッサ１１０は、第１ヒストグラムＨＩと第２ヒストグラムＨＲとの間の差異が差異閾値以上である場合に（Ｓ５４０：Ｙｅｓ）、第１判定結果処理（Ｓ５５０）を実行するので、ラベル部分画像の明るさに応じて処理を進行できる。また、ヒストグラムＨＩ、ＨＲは、輝度Ｖの強度分布を表しているので、プロセッサ１１０は、ラベルの色に拘わらずに、ラベル部分画像の明るさに応じて処理を進行できる。

【0125】

また、Ｓ４１０－Ｓ４４０（図１３）では、プロセッサ１１０は、ラベルの撮影画像のデータを使用して、撮影画像の明るさが許容範囲内か否かを判定する。撮影画像の明るさが許容範囲内であると判定される場合（Ｓ４４０：Ｙｅｓ）、Ｓ４６０で、プロセッサ１１０は、撮影画像から、ラベルを表す部分であるラベル部分画像を検出する（例えば、図３（Ａ）－図３（Ｃ）のラベル部分画像ｉ２ａ－ｉ２ｃ）。撮影画像の明るさが許容範囲外であると判定される場合（Ｓ４４０：Ｎｏ）、プロセッサ１１０は、ラベル部分画像の検出（Ｓ４６０）をキャンセルする。本実施例では、プロセッサ１１０は、ラベル部分画像の検出（Ｓ４６０）に代えて、予め決められた処理（Ｓ４５０）を実行する。このように、撮影画像の明るさが許容範囲外であると判定される場合（Ｓ４４０：Ｎｏ）、ラベル部分画像の検出がキャンセルされるので、不適切なラベル部分画像を使用する処理の可能性は低減する。例えば、撮影画像ｉ１ｘ（図４（Ｂ））のように暗い撮影画像に対してラベル部分画像の検出処理が実行される場合、ラベルＬａを表す部分とは異なる部分が検出され得る。このような不適切な部分画像を使用して処理（例えば、検査処理）が進行する可能性は、低減する。

【0126】

また、本実施例では、プロセッサ１１０は、Ｓ４１０－Ｓ４２０（図１３）で、撮影画像のデータを使用して撮影ヒストグラムを生成する。プロセッサ１１０は、Ｓ４３０－Ｓ４４０で、撮影ヒストグラムと基準ヒストグラムＤ３とを使用して、撮影画像の明るさが許容範囲内か否かを判定する。このように、プロセッサ１１０は、撮影画像のデータと基準ヒストグラムＤ３のデータとを使用して、撮影画像の明るさが許容範囲内か否かを判定する。基準ヒストグラムＤ３は、予め準備される基準画像に対応付けられる基準データの例である。プロセッサ１１０は、このような基準画像に対応付けられる基準データを使用して、撮影画像の明るさが許容範囲内か否かを適切に判定できる。

【0127】

Ｃ．第３実施例：
図１５は、画像判定処理の別の実施例を示すフローチャートである。図中には、画像判定処理の一部であるＳ５３２、Ｓ５３４、Ｓ５３６、Ｓ５４０ｃが示されている。プロセッサ１１０は、これらの処理Ｓ５３２、Ｓ５３４、Ｓ５３６、Ｓ５４０ｃを、Ｓ５４０（図８、図１４）の代わりに実行する。

【0128】

Ｓ５３０（図８、図１４）の後、Ｓ５３２（図１５）で、プロセッサ１１０は、ラベル部分画像（例えば、ラベル部分画像ｉ２ａ、ｉ２ｘ、ｉ２ｚ（図９（Ａ）－図９（Ｃ）））の複数の有彩色成分（ここでは、Ｒ、Ｇ、Ｂ）のそれぞれのヒストグラムを生成する（入力ヒストグラムと呼ぶ）。Ｓ５３４では、プロセッサ１１０は、再構成画像（例えば、再構成画像ｉ２ａｇ、ｉ２ｘｇ、ｉ２ｚｇ（図９（Ａ）－図９（Ｃ）））の複数の有彩色成分（ここでは、Ｒ、Ｇ、Ｂ）のそれぞれのヒストグラムを生成する（再構成ヒストグラムと呼ぶ）。同じ色成分に対応する入力ヒストグラムと再構成ヒストグラムとの間では、ヒストグラムの構成（例えば、区間の総数）は同じである。

【0129】

Ｓ５３６では、プロセッサ１１０は、同じ色成分に対応する入力ヒストグラムと再構成ヒストグラムとの間の差異の指標値を算出する（入力指標値とも呼ぶ）。Ｒ、Ｇ、Ｂのそれぞれの入力指標値の算出方法は、Ｓ５３０（図８、図１４）での輝度Ｖの入力指標値の算出方法と同じである。

【0130】

Ｓ５４０ｃでは、プロセッサ１１０は、入力ヒストグラムと再構成ヒストグラムとの間の差異が差異閾値以上であるか否かを判定する。この判定は、Ｖ、Ｒ、Ｇ、Ｂの色成分毎に行われる。判定方法は、Ｓ５４０（図８、図１４）の判定方法と同じである。差異閾値（ここでは、第１判定閾値）は、Ｖ、Ｒ、Ｇ、Ｂの色成分毎に、予め決められている。差異閾値は、ラベル部分画像のラベルの明るさが適切である場合にヒストグラムの差異が差異閾値未満であり、ラベル部分画像のラベルの明るさが不適切である場合にヒストグラムの差異が差異閾値以上であるように、予め実験的に決定される。

【0131】

プロセッサ１１０は、Ｖ、Ｒ、Ｇ、Ｂのうちの１以上の色成分の差異が対応する差異閾値以上であるか否か（本実施例では、１以上の色成分の相関が、対応する第１判定閾値以下であるか否か）を判定する。１以上の色成分の差異が差異閾値以上である場合（Ｓ５４０ｃ：Ｙｅｓ）、プロセッサ１１０は、Ｓ５５０（図８、図１４）に移行する。全ての色成分の差異が差異閾値未満である場合（Ｓ５４０ｃ：Ｎｏ）、プロセッサ１１０は、Ｓ５６０（図８、図１４）に移行する。

【0132】

以上のように、本実施例では、Ｓ５３２（図１５）で、プロセッサ１１０は、ラベル部分画像（例えば、ラベル部分画像ｉ２ａ－ｉ２ｃ、ｉ２ｘ、ｉ２ｚ（図３（Ａ）－図３（Ｃ）、図９（Ａ）－図９（Ｃ）））の特定の有彩色の色成分（例えば、赤Ｒ）の入力ヒストグラムを生成する（第３ヒストグラムと呼ぶ）。第３ヒストグラムは、特定の有彩色の色成分の強度分布を表している。Ｓ５３４で、プロセッサ１１０は、再構成画像（例えば、再構成画像ｉ２ａｇ－ｉ２ｃｇ、ｉ２ｘｇ、ｉ２ｚｇ）の特定の有彩色の色成分の再構成ヒストグラムを生成する（第４ヒストグラムと呼ぶ）。第４ヒストグラムは、特定の有彩色の色成分の強度分布を表している。

【0133】

Ｓ５４０ｃ（図１５）、Ｓ５５０（図８、図１４）では、プロセッサ１１０は、Ｖ、Ｒ、Ｇ、Ｂのうちの１以上の色成分の差異が、その色成分に対応する差異閾値以上である場合に、第１判定結果処理（Ｓ５５０）を実行する。すなわち、第１判定結果処理（Ｓ５５０）は、以下の特定の場合に、実行される。特定の場合は、輝度Ｖの第１ヒストグラムと第２ヒストグラムとの間の差異が輝度Ｖに対応する差異閾値以上である場合と、特定の有彩色の色成分（例えば、赤Ｒ）の第３ヒストグラムと第４ヒストグラムとの間の差異が特定の有彩色の色成分に対応する差異閾値（有彩差異閾値と呼ぶ）以上である場合と、を含んでいる。本実施例では、特定の場合は、さらに、有彩色の他の色成分（例えば、緑Ｇ、または、青Ｂ）のヒストグラムの差異がその色成分に対応する差異閾値以上である場合と、Ｖ、Ｒ、Ｇ、Ｂのうちの２以上の色成分の差異が差異閾値以上である場合と、を含んでいる。

【0134】

撮影時にラベルを照らす光の色は、変化し得る。例えば、光源５００の光の色は、時間の経過によって、変化し得る。また、部屋の窓を通して外部からの光（例えば太陽光）がラベルを照らす場合、その光の色は時間に応じて変化し得る。撮影時にラベルを照らす光の色が意図される色（例えば、白色）からずれている場合、ラベル部分画像によって表されるラベルの色が不適切であり得、そして、画像生成モデルＭ２によって不適切な再構成画像が生成され得る（例えば、ラベルに外観の異常が無い場合であっても、再構成画像は、ラベルの異常を示し得る）。このようなラベル部分画像と再構成画像との間では、有彩色の色成分の強度分布が異なり得る。本実施例では、特定の有彩色の色成分の第３ヒストグラムと第４ヒストグラムとの間の差異が差異閾値以上である場合（図１５：Ｓ５４０ｃ：Ｙｅｓ）、プロセッサ１１０は、第１判定結果処理（図８、図１４：Ｓ５５０）を実行する。このように、プロセッサ１１０は、ラベル部分画像の色に応じて処理を進行できる。

【0135】

なお、特定の有彩色の色成分は、ラベルを照らす光の色（例えば、光源５００の光の色）に適する任意の色成分であってよい。例えば、光源５００の光の色が意図せずに緑色に変化し易い場合、特定の有彩色の色成分として、緑Ｇが採用されてよい。ヒストグラムの差異の判定に使用される有彩色の色成分の総数は、３に限らず、１、２、または、４以上であってよい。有彩色の色成分は、Ｒ、Ｇ、Ｂから選択される色成分に限らず、シアンＣ、マゼンタＭ、または、イエローＹなどの、種々の色成分であってよい。

【0136】

また、Ｓ５４０ｃ（図１５）、Ｓ５６０（図８、図１４）では、プロセッサ１１０は、色成分Ｖ、Ｒ、Ｇ、Ｂのそれぞれの相関が、対応する色成分の第１判定閾値よりも大きい場合、すなわち、色成分Ｖ、Ｒ、Ｇ、Ｂのそれぞれのヒストグラムの差異が、対応する色成分の差異閾値未満である場合（Ｓ５４０ｃ：Ｎｏ）、画像判定の結果を「明るさ正常」に決定する（Ｓ５６０）。そして、Ｓ３４０、Ｓ３６０－Ｓ３９０（図７）で説明したように、画像判定の結果が「明るさ正常」である場合（Ｓ３４０：Ｙｅｓ）、すなわち、色成分Ｖ、Ｒ、Ｇ、Ｂのそれぞれのヒストグラムの差異が対応する差異閾値未満である場合、プロセッサ１１０は、Ｓ３６０－Ｓ３９０の処理を実行する。Ｓ３６０－Ｓ３９０では、プロセッサ１１０は、ラベル部分画像と再構成画像とを使用して、ラベルが外観の異常を有するか否かを判定する。このように、異常判定の実行が許容される許容条件は、輝度Ｖのヒストグラムの差異が輝度Ｖに対応する差異閾値未満であるという条件と、他の色成分（ここでは、Ｒ、Ｇ、Ｂ）のそれぞれのヒストグラムの差異が、対応する差異閾値未満であるという条件と、を含んでいる。許容条件が満たされる場合（Ｓ３４０：Ｎｏ）、プロセッサ１１０は、適切な明るさと適切な色とでラベルを表すラベル部分画像と、そのラベル部分画像を使用して生成される再構成画像と、を使用して、適切な異常判定を実行できる。許容条件が満たされない場合（Ｓ３４０：Ｎｏ）、プロセッサ１１０は、異常判定を実行せずに、検査処理を終了する。従って、プロセッサ１１０は、不適切な明るさ、または、不適切な色でラベルを表すラベル部分画像を使用する不適切な異常判定を、回避可能である。

【0137】

Ｄ．第４実施例：
図１６は、差異閾値の決定処理の例を示すフローチャートである。この処理は、Ｓ５４０（図８、図１４）で使用される差異閾値（ここでは、第１判定閾値）を決定するための処理である。データ処理装置１００（図１）のプロセッサ１１０は、第３プログラム１３３に従って、図１６の処理を実行する。

【0138】

Ｓ６０５、Ｓ６１０、Ｓ６１５、Ｓ６２０、Ｓ６２５、Ｓ６３０は、ラベル部分画像の代わりに訓練画像が使用される点を除いて、図８、図１４のＳ５０５、Ｓ５１０、Ｓ５１５、Ｓ５２０、Ｓ５２５、Ｓ５３０と、それぞれ同じである。Ｓ６０５では、プロセッサ１１０は、外観の異常の無いラベルＬを表す訓練画像のデータを、訓練済の画像生成モデルＭ２に入力することによって、再構成画像のデータを生成する（生成される再構成画像を、生成画像とも呼ぶ）。訓練画像のデータは、画像生成モデルＭ２の訓練処理（図６）で使用されたデータである。プロセッサ１１０は、Ｓ６１０－Ｓ６３０を実行することによって、訓練画像の輝度Ｖのヒストグラムと、生成画像の輝度Ｖのヒストグラムと、の間の差異の指標値を算出する（参考指標値とも呼ぶ）。参考指標値の算出式は、ヒストグラムＨＩ、ＨＲに代えて、訓練画像のヒストグラムと生成画像のヒストグラムが使用される点を除いて、Ｓ５３０（図８、図１４）の入力指標値の算出式と同じである。本実施例では、プロセッサ１１０は、相関（図１０（Ａ））を算出する。

【0139】

図６で説明したように、画像生成モデルＭ２の訓練には、複数の訓練画像が使用される。複数の訓練画像は、互いに異なる明るさでラベルを表す複数の訓練画像を含んでいる。図１６の処理では、訓練に使用された複数の訓練画像のうちの一部の複数の訓練画像が使用される。図１６で使用される複数の訓練画像は、互いに異なる明るさでラベルを表す複数の訓練画像を含んでいる。プロセッサ１１０は、複数の訓練画像のそれぞれに対してＳ６０５－Ｓ６３０の処理を実行することによって、複数の参考指標値を算出する。複数の訓練画像から得られる複数の参考指標値のそれぞれは、適切な明るさでラベルを表すラベル部分画像から算出され得る入力指標値（図８：Ｓ５３０）を示している。なお、図１６の処理では、訓練に使用された複数の訓練画像の全てが、使用されてよい。

【0140】

Ｓ６４０では、プロセッサ１１０は、複数の参考指標値を使用して、差異閾値を決定する。本実施例では、プロセッサ１１０は、参考指標値を使用してＳ５４０（図８、図１４）の判定が行われると仮定する場合に、複数の参考指標値のそれぞれの判定結果が「差異が差異閾値未満である」となるように、差異閾値を決定する。これにより、適切な明るさでラベルを表すラベル部分画像の判定結果が「差異が差異閾値以上である」となる可能性は低減する。

【0141】

指標値が相関ｃ（１０（Ａ））を示す場合、指標値が小さいほど、ヒストグラムの差異が大きい。プロセッサ１１０は、複数の参考指標値よりも小さい値に差異閾値（ここでは、第１判定閾値）を決定する。例えば、第１判定閾値は、複数の参考指標値のうちの最小の参考指標値に、１未満の係数（例えば、０．８）を乗じた値に設定される。

【0142】

Ｓ６５０では、プロセッサ１１０は、決定した差異閾値を示すデータを、記憶装置１１５（例えば、不揮発性記憶装置１３０）に格納する。そして、プロセッサ１１０は、図１６の処理を終了する。Ｓ５４０（図８、図１４）では、プロセッサ１１０は、図１６の処理で決定された差異閾値を使用する。

【0143】

以上のように、本実施例では、プロセッサ１１０は、画像生成モデルＭ２の訓練のために画像生成モデルＭ２に入力された訓練画像データと、訓練画像データを訓練済の画像生成モデルＭ２に入力することによって生成される生成画像データと、を使用して差異閾値を決定する。従って、プロセッサ１１０は、画像生成モデルＭ２に適する差異閾値を決定できる。例えば、プロセッサ１１０は、訓練画像のヒストグラムと生成画像のヒストグラムとの間の差異が差異閾値未満であるように、差異閾値を決定してよい。この場合、ラベル部分画像が、訓練画像のラベルの明るさと同程度の明るさでラベルを表す場合に、プロセッサ１１０は、ヒストグラムの差異が差異閾値未満であると判定できる。なお、外観の異常を有するラベルの画像が差異閾値の決定に使用される場合、その画像に起因して、不適切な差異閾値が決定される可能性がある。差異閾値の決定には、外観の異常の無いラベルを表す訓練画像が使用されることが好ましい。

【0144】

なお、プロセッサ１１０は、複数の参考指標値のうちの一部の複数の参考指標値（例えば、最も大きい差異を示す複数の参考指標値）からは「ヒストグラムの差異が差異閾値以上である」という判定結果が得られるように、差異閾値を決定してよい。例えば、プロセッサ１１０は、第１判定閾値を、複数の参考指標値のうちの最小の参考指標値に１より大きい係数（例えば、１．２）を乗じた値に設定してよい。この場合、不適切な再構成画像が生成される場合に、「ヒストグラムの差異が差異閾値未満である」という判定結果が得られる可能性は、低減する。また、第１判定閾値は、最小の参考指標値と同じ値に設定されてよい。

【0145】

本実施例の閾値決定処理は、図１５の実施例に適用されてよい。図１５の実施例では、差異閾値は、色成分毎に決定される。プロセッサ１１０は、色成分毎に図１６の処理を実行することによって、各色成分の差異閾値を決定してよい。ここで、Ｓ６１０、Ｓ６１５では、処理対象の色成分の階調値が取得される。Ｓ６２０、Ｓ６２５では、処理対象の色成分のヒストグラムが生成される。

【0146】

Ｅ．変形例：
（１）画像判定処理は、図８、図１３－図１４、図１５の処理に代えて、他の種々の処理であってよい。例えば、ヒストグラムＨＩ、ＨＲの色成分である対象色成分は、輝度Ｖに代えて、他の種々の色成分であってよい。例えば、赤Ｒ、緑Ｇ、青Ｂのいずれかが、採用されてよい。対象色成分は、入力画像中のラベルの明るさと相関を有する色成分であることが好ましい。このような対象色成分の階調値は、入力画像中のラベルの明るさに応じて変化する。従って、プロセッサ１１０は、ヒストグラムＨＩ、ＨＲの差異を使用することによって、入力画像のラベルの明るさが適切であるか否かを、適切に判定できる。明るさと相関を有する色成分としては、例えば、白に対応する階調値（例えば、２５５のような最大階調値）と黒に対応する階調値（例えば、ゼロ）との間で変化する色成分を採用可能である。

【0147】

（２）ヒストグラムの差異の指標値は、相関ｃ（図１０（Ａ））に代えて、ヒストグラムの差異の大きさを示す種々の値であってよい。例えば、プロセッサ１１０は、２つのヒストグラムの間の合計差分を、指標値として算出してよい。図１０（Ｂ）は、合計差分ｄの算出式の例を示す図である。合計差分ｄは、ｎ個の区間のそれぞれの頻度ＨＩ＿ｋ、ＨＲ＿ｋの差分の２乗の合計値である。図９（Ａ）のように、再構成ヒストグラムＨＲが入力ヒストグラムＨＩに類似する場合、合計差分ｄは小さくなる。図９（Ｂ）、図９（Ｃ）のように、再構成ヒストグラムＨＲと入力ヒストグラムＨＩとの間の差が大きい場合、合計差分ｄは大きくなる。Ｓ５４０（図８、図１４）では、プロセッサ１１０は、合計差分ｄが所定の第２判定閾値以上である場合に、ヒストグラムの差異が差異閾値以上であると判定してよい。

【0148】

第２判定閾値は、図１６の処理によって決定されてよい。Ｓ６３０では、プロセッサ１１０は、参考指標値として、合計差分を算出する。Ｓ６４０では、プロセッサ１１０は、複数の参考指標値よりも大きい値に第２判定閾値を決定してよい。例えば、プロセッサ１１０は、第２判定閾値を、複数の参考指標値のうちの最大の参考指標値に１より大きい係数（例えば、１．２）を乗じた値に設定してよい。これに代えて、プロセッサ１１０は、第２判定閾値を、複数の参考指標値のうちの最大の参考指標値に１より小さい係数（例えば、０．８）を乗じた値に設定してよい。また、第２判定閾値は、最大の参考指標値と同じ値に設定されてよい。

【0149】

図１５の実施例においても、相関に代えて合計差分が使用されてよい。この場合、差分閾値（ここでは、第２判定閾値）は、色成分毎に決定される。図１３のＳ４３０、Ｓ４４０においても、相関に代えて合計差分が使用されてよい。Ｓ４４０では、プロセッサ１１０は、合計差分が所定の第２撮影閾値以下である場合に、ヒストグラムの差が閾値以下であると判定する、すなわち、撮影画像の明るさが許容範囲内であると判定する。

【0150】

（３）差異閾値の決定方法は、図１６の方法に代えて、他の種々の方法であってよい。例えば、図１６の処理において、訓練画像に代えて、適切な明るさでラベルを表す複数の撮影画像が使用されてよい。

【0151】

（４）ラベル部分画像（すなわち、入力画像）のヒストグラムと再構成画像のヒストグラムとの間の差異が差異閾値以上である場合に実行される特定の処理は、Ｓ５５０（図８、図１４）の処理に限らず、種々の処理であってよい。例えば、プロセッサ１１０は、光源５００の光量を調整する処理を実行してよい。ラベル部分画像が再構成画像と比べて明るい場合には、プロセッサ１１０は、光源５００の光量を低減してよい。ラベル部分画像が再構成画像と比べて暗い場合には、プロセッサ１１０は、光源５００の光量を増大してよい。プロセッサ１１０は、光量の変更と、変更済の光量に基づくヒストグラムの差異の算出（例えば、図８のＳ４６０、Ｓ５０５－Ｓ５３０の処理と同じ処理）とを、ヒストグラムの差異が差異閾値よりも小さくなるまで繰り返すことによって、光量を調整してよい。ここで、光源５００は、データ処理装置１００（例えば、通信インタフェース１７０）に接続されてよい。

【0152】

（５）ラベル部分画像と再構成画像とを使用する異常判定の実行が許容される許容条件は、第１ヒストグラムＨＩと第２ヒストグラムＨＲとの間の差異が差異閾値未満であるというヒストグラム条件を含む種々の条件であってよい。許容条件は、例えば、ラベル部分画像中の最高輝度が所定の上限以下であることを含んでよい。

【0153】

（６）ラベルの外観の異常を検出する処理は、図１１で説明した処理に代えて、異常を検出可能な任意の処理であってよい。例えば、プロセッサ１１０は、異常を有する画像と異常の無い画像とのいずれかにラベル部分画像を分類するように訓練済の機械学習モデルを使用して、ラベルの外観の異常の有無を判定してよい。また、プロセッサ１１０は、CFLOW-ADと呼ばれる技術を使用して、ラベルの外観の異常を検出してよい。CFLOW-ADは、以下の論文に開示されている。
Denis Gudovskiy, Shun Ishizaka and Kazuki Kozuka (2022), "CFLOW-AD: Real-Time Unsupervised Anomaly Detection with Localization via Conditional Normalizing Flows", 2022 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 1819-1828. https://doi.org/10.1109/WACV51458.2022.00188

【0154】

また、図１１のＳ３６２では、プロセッサ１１０は、異常の可能性を示すヒートマップ画像のデータを、機械学習モデルを使用して生成してよい。ここで、ＰａＤｉＭ（a Patch Distribution Modeling Framework for Anomaly Detection and Localization）と呼ばれる技術が採用されてよい。ＰａＤｉＭは、機械学習モデルを使用して異常を検出する技術であり、論文「T. Defard, A. Setkov, A. Loesch, and R. Audigier, “Padim: a patch distribution modeling framework for anomaly detection and localization”, arXiv:2011.08785(2020), https://arxiv.org/abs/2011.08785, 投稿日17 Nov 2020」に開示されている。

【0155】

ＰａＤｉＭでは、注目オブジェクト（以下、注目オブジェクトがラベルであることとする）を表す画像を識別するように訓練済の畳込ニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）が使用される。ＣＮＮとしては、例えば、ＲｅｓＮｅｔ１８と呼ばれる公知のモデルが、使用される。このＣＮＮは、それぞれが１以上の畳込層を含む複数の畳込処理部と、全結合層を含む分類処理部と、を備えている。

【0156】

異常検出に先立って、ガウシアンマトリクスが生成される。以下、プロセッサ１１０がガウシアンマトリクスを生成することとして、説明する。プロセッサ１１０は、外観の異常の無いラベルの画像（正常画像と呼ぶ）を使用して、ガウシアンマトリクスを生成する。ガウシアンマトリクスの生成には、Ｎ枚の正常画像が使用される（Ｎは、１以上の整数。Ｎは、例えば、数十、または、数百程度）。正常画像は、ラベルＬ（図２（Ｂ））の撮影画像を含んでよい。また、正常画像は、図６の訓練画像のようにコンピュータによって合成された画像を含んでよい。

【0157】

プロセッサ１１０は、正常画像のデータをＣＮＮに入力することによって、複数の畳込処理部のそれぞれによる特徴マップを算出する。プロセッサ１１０は、最初の３個の畳込処理部の複数の特徴マップから予め選択されたＬ枚（Ｌは、１以上の整数）の特徴マップを使用することによって、パッチ毎の特徴ベクトルを算出する。パッチは、最大の特徴マップの画素に対応する。以下、パッチの位置が、座標（ｉ，ｊ）で表されることとする（ｉは、第１方向Ｄｘの画素位置であり、ｊは、第２方向Ｄｙの画素位置である）。特徴マップの解像度がＣＮＮに入力される画像の解像度よりも低いので、１個のパッチ（ｉ，ｊ）には、画像の複数の画素が対応付けられる（換言すれば、画像は、複数のパッチに分割される）。

【0158】

パッチ（ｉ，ｊ）に対応付けられる特徴ベクトル（ｉ，ｊ）は、Ｌ個の要素を有するＬ次元ベクトルである。プロセッサ１１０は、Ｌ個の要素を、上記のＬ枚の特徴マップを使用して取得する。ここで、プロセッサ１１０は、解像度が最大の特徴マップの解像度と同じになるように、各特徴マップを公知の拡大処理によって拡大する。特徴ベクトル（ｉ，ｊ）のＬ個の要素は、同じ解像度を有するＬ枚の特徴マップにおける座標（ｉ，ｊ）に対応するＬ個の画素のＬ個の値である。なお、１枚の正常画像からは、複数のパッチのそれぞれの特徴ベクトルが、算出される。Ｎ枚の正常画像からは、パッチ毎に、Ｎ個の特徴ベクトルが算出される。

【0159】

ガウシアンマトリクスは、各パッチのガウシアンパラメータを表している。ガウシアンパラメータ（ｉ，ｊ）は、平均ベクトル（ｉ，ｊ）と共分散行列（ｉ，ｊ）とを含んでいる。平均ベクトル（ｉ，ｊ）は、Ｎ個の特徴ベクトル（ｉ，ｊ）の平均である。共分散行列（ｉ，ｊ）は、Ｎ個の特徴ベクトル（ｉ，ｊ）の共分散行列である。プロセッサ１１０は、各パッチのＮ個の特徴ベクトルを使用して、各パッチのガウシアンパラメータを算出する。プロセッサ１１０は、ＣＮＮのデータとガウシアンマトリクスを表すデータとを、記憶装置１１５（例えば、不揮発性記憶装置１３０）に格納する。

【0160】

図１１のＳ３６２では、プロセッサ１１０は、ラベル部分画像とガウシアンマトリクスを使用して、ヒートマップ画像を生成する。プロセッサ１１０は、ラベル部分画像のデータをＣＮＮに入力することによって、ＣＮＮの複数の畳込処理部のそれぞれによる特徴マップを算出する。プロセッサ１１０は、算出される複数の特徴マップのうちの上記のＬ枚の特徴マップを使用して、複数のパッチのそれぞれの特徴ベクトルを算出する（テスト特徴ベクトルと呼ぶ）。プロセッサ１１０は、テスト特徴ベクトル（ｉ，ｊ）と、ガウシアンパラメータ（ｉ，ｊ）と、を使用して、パッチ（ｉ，ｊ）の異常スコア（ｉ，ｊ）を算出する。異常スコアとしては、いわゆるマハラノビス距離が採用される。パッチ（ｉ，ｊ）のマハラノビス距離（ｉ，ｊ）は、パッチ（ｉ，ｊ）におけるＮ個の正常画像とラベル部分画像との間の差異の程度を示す評価値である、従って、マハラノビス距離（ｉ、ｊ）は、座標（ｉ、ｊ）におけるラベル部分画像の異常度を示す値であると、いうことができる。プロセッサ１１０は、ＰａＤｉＭの上記の論文に記載の計算式に従って、各パッチのマハラノビス距離、すなわち、異常スコアを算出する。プロセッサ１１０は、パッチ（すなわち、画素）毎の異常スコアを表す画像のデータを生成する。生成される画像は、ヒートマップ画像の例である。

【0161】

なお、プロセッサ１１０は、異常スコアを、予め決められた範囲（例えば、ゼロ以上、１以下の範囲）で表されるように、正規化してよい。正規化は、例えば、予め決められた最小値と最大値とを使用して行われてよい。最小値と最大値とは、外観の異常を有するラベルの複数の画像と、複数の正常画像とを、ＣＮＮに入力して算出される正規化されていない複数の異常スコアを使用して、予め決定されてよい。最大値は、複数の正規化されていない異常スコアの最大値に設定されてよい。最小値は、複数の正規化されていない異常スコアの最小値に設定されてよい。プロセッサ１１０は、正規化された異常スコアＡｓを、正規化されていない異常スコアＡｏと、最大値Ａｍａｘと、最小値Ａｍｉｎと、を使用して、以下の式に従って算出してよい。
Ａｓ＝（Ａｏ－Ａｍｉｎ）／（Ａｍａｘ－Ａｍｉｎ）

【0162】

また、ＰａＤｉＭによるヒートマップ画像の生成では、ラベルの画像に代えて、ラベルの画像から得られる差分画像が使用されてよい。具体的には、ＣＮＮの訓練には、複数の正常差分画像と複数の異常差分画像とが使用される。正常差分画像は、正常画像のデータを画像生成モデルＭ２に入力することによって得られる再構成画像と、正常画像と、の間の差分を表している（例えば、図３（Ａ）の差分画像ｉ２ａｄ）。異常差分画像は、外観の異常を有するラベルの画像である異常画像を画像生成モデルＭ２に入力することによって得られる再構成画像と、異常画像と、の間の差分を表している（例えば、図３（Ｂ）、図３（Ｃ）の差分画像ｉ２ｂｄ、ｉ２ｃｄ）。ＣＮＮは、画像の種類（例えば、正常、傷、汚れ、など）を識別するように、訓練される。プロセッサ１１０は、複数の正常差分画像のデータをＣＮＮに入力することによって、ガウシアンマトリクスを決定する。上述したように、正常差分画像の各画素の階調値（すなわち、差分）は、ゼロに近い。ただし、再構成画像は、正常画像と同一ではない。従って、正常差分画像の各画素の階調値は、画素毎に、異なり得る。Ｓ３６２（図１１）では、プロセッサ１１０は、ラベル部分画像から得られる差分画像とガウシアンマトリクスを使用して、ヒートマップ画像を生成する。図３（Ｂ）、図３（Ｃ）のラベルＬｂ、Ｌｃのように、ラベルが外観の異常を有する場合、差分画像は、ラベルの外観の異常を表す。この場合、ヒートマップ画像中の異常部分に対応する部分では、異常スコアが大きい。図３（Ａ）のラベルＬａのように、ラベルが外観の異常を有していない場合、差分画像は、ラベルの外観の異常を表さない。この場合、ヒートマップ画像の全体に亘って、異常スコアは小さい。ＰａＤｉＭによるヒートマップ画像の生成に差分画像が使用される場合、ラベルの画像が使用される場合と比べて、ラベル部分画像と正常画像との間の差異が、より強調され得る。

【0163】

（７）撮影画像の明るさが許容範囲内か否かを判定する処理は、図１３のＳ４１０－Ｓ４４０の処理に代えて、他の種々の処理であってよい。プロセッサ１１０は、輝度Ｖのヒストグラムに代えて、輝度Ｖの分布の特徴を表す種々の統計量（平均値、中央値など）を使用してよい。例えば、プロセッサ１１０は、撮影画像の輝度Ｖの中央値が予め決められた許容範囲内である場合に、撮影画像の明るさが許容範囲内であると判定してよい。輝度Ｖの中央値の許容範囲は、外観の異常の無いラベルを適切な明るさで表す基準画像を使用して、予め決定されてよい。例えば、許容範囲は、基準画像の輝度Ｖの中央値を含む所定幅の範囲であってよい。許容範囲を示すデータは、記憶装置１１５（例えば、不揮発性記憶装置１３０）に予め格納される。プロセッサ１１０は、撮影画像のデータと許容範囲のデータとを使用して、撮影画像の明るさが許容範囲内か否かを判定してよい。許容範囲のデータは、予め準備される基準画像に対応付けられる基準データの例である。なお、輝度Ｖの中央値の許容範囲は、基準画像とは独立に決定されてよい。また、基準データは、基準画像のデータであってよい。プロセッサ１１０は、基準画像のデータを分析することによって、撮影画像の明るさの許容範囲を決定してよい。また、この判定には、輝度Ｖに代えて、他の色成分（例えば、緑Ｇ）が使用されてよい。

【0164】

（９）画像生成モデルＭ２は、変分オートエンコーダに限らず、外観の異常を有するラベルを表す画像データから外観の異常の無いラベルを表す画像データを生成する任意の機械学習モデルであってよい。画像生成モデルＭ２は、例えば、VQ-VAE（Vector Quantised-Variational AutoEncoder）と呼ばれるモデルであってよい。VQ-VAEは、以下の論文に開示されている。
「Aaron van den Oord, Oriol Vinyals and Koray Kavukcuoglu. “Neural Discrete Representation Learning.” arXiv, May 30, 2018, http://arxiv.org/abs/1711.00937」
いずれの場合も、モデルの具体的な構成（例えば、各層の具体的な構成（データの次元、活性化関数など）、層の数など）は、適宜に変更されてよい。

【0165】

（１０）画像生成モデルＭ２の訓練処理は、図６で説明した処理に代えて、外観の異常を有するラベルを表す画像データから外観の異常の無いラベルを表す画像データを生成するように画像生成モデルＭ２を訓練する任意の処理であってよい。例えば、訓練画像は、外観の異常を有するラベルを表す画像を含んでよい。外観の異常を有するラベルを表す訓練画像を使用して生成される再構成画像と、訓練画像から異常を除去して得られる正常画像と、の間の差異が小さくなるように、画像生成モデルＭ２の演算パラメータが調整されてよい。画像生成モデルＭ２の訓練は、データ処理装置１００によって実行されてよく、データ処理装置１００とは異なる別の装置によって実行されてよい。

【0166】

（１０）物体検出モデルＭ１は、ＹＯＬＯｖ４に代えて、注目オブジェクト（例えば、ラベル）を検出する任意の機械学習モデルであってよい。物体検出モデルＭ１は、SSD、R-CNN、Fast R-CNN, Faster R-CNN、Mask R-CNNのいずれかであってよい。物体検出モデルＭ１の訓練は、データ処理装置１００によって実行されてよく、データ処理装置１００とは異なる別の装置によって実行されてよい。

【0167】

（１１）撮影画像から注目オブジェクト（例えば、ラベル）を表す部分を検出する処理（Ｓ３５０（図７）、Ｓ４６０（図８、図１３））は、物体検出モデルＭ１を使用する処理に代えて、他の種々の処理であってよい。例えば、プロセッサ１１０は、予め準備されたラベルのテンプレート画像を使用するテンプレートマッチングによって、ラベルを表す部分を検出してよい。

【0168】

（１２）画像判定処理（図８、図１３－図１４、図１５）は、検査処理（図７）に代えて、他の種々の処理で実行されてよい。例えば、プロセッサ１１０は、注目オブジェクト（例えば、ラベル）の撮影のために光源５００の光量を調整する処理で、画像判定処理を実行してよい。プロセッサ１１０は、Ｓ５４０、Ｓ５４０ｃの判定結果がＮｏとなるように、光量を調整してよい。

【0169】

（１３）検査処理と画像判定処理とは、上記の処理に代えて、他の種々の処理であってよい。例えば、図７のＳ３２０、Ｓ３５０は省略されてよい。すなわち、Ｓ３３０、Ｓ３４０は、毎回実行されてよい。ラベルの撮影（Ｓ３１０）が省略され、プロセッサ１１０は、他のデータ処理装置から撮影画像のデータを取得してよい。プロセッサ１１０は、他のデータ処理装置からラベル部分画像（すなわち、入力画像）のデータを取得してよい。この場合、ラベル検出処理（Ｓ３５０（図７）、Ｓ４６０（図８、図１３））は、省略されてよい。図７のＳ３８０、Ｓ３９０では、プロセッサ１１０は、ヒートマップ画像を表示部１４０に表示してよい。

【0170】

（１４）処理対象のオブジェクトである注目オブジェクトは、ラベルシート（例えば、ラベルＬ（図２（Ｂ））に限らず、任意のオブジェクトであってよい。注目オブジェクトは、製品（例えば、複合機）に設けられるオブジェクトであってよい。注目オブジェクトは、ラベルシートと、立体的な銘と、塗装された模様と、を含む複数の要素から選択される１以上の要素を含んでよい。立体的な銘と塗装された模様とは、それぞれ、製造者名、製造者のロゴ、ブランドロゴ、認証マークなど、製品に関する種々の情報を示してよい。製品は、複合機に限らず、ミシン、カッティングマシン、工作機械、携帯端末など、任意の製品であってよい。

【0171】

（１５）ヒストグラムを使用する画像処理を実行する画像処理装置は、上述したデータ処理装置１００（図１）に代えて、他の種々の装置（例えば、デジタルカメラ、スマートフォン）であってよい。ネットワークを介して互いに通信可能な複数の装置（例えば、コンピュータ）が、画像処理装置による画像処理の機能を一部ずつ分担して、全体として、画像処理の機能を提供してもよい（これらの装置を備えるシステムが画像処理装置に対応する）。

【0172】

上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、画像生成モデルＭ２を使用する再構成画像の生成の機能（Ｓ５０５（図８、図１４）、Ｓ６０５（図１６））を、専用のハードウェア回路によって実現してもよい。

【0173】

また、本開示の機能の一部または全部がコンピュータプログラムで実現される場合には、そのプログラムは、コンピュータ読み取り可能な記録媒体（例えば、一時的ではない記録媒体）に格納された形で提供することができる。プログラムは、提供時と同一または異なる記録媒体（コンピュータ読み取り可能な記録媒体）に格納された状態で、使用され得る。「コンピュータ読み取り可能な記録媒体」は、メモリーカードやＣＤ－ＲＯＭのような携帯型の記録媒体に限らず、各種ＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスクドライブ等のコンピュータに接続されている外部記憶装置も含み得る。

【0174】

上記の実施例と変形例とは、適宜に組み合わせることができる。また、上記の実施例と変形例とは、本開示の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

【符号の説明】

【0175】

１００…データ処理装置、１１０…プロセッサ、１１５…記憶装置、１２０…揮発性記憶装置、１３０…不揮発性記憶装置、１３１…第１プログラム、１３２…第２プログラム、１３３…第３プログラム、１４０…表示部、１５０…操作部、１７０…通信インタフェース、２１０…プロセッサ、３００…製品、４００…撮影装置、５００…光源、Ｌ…ラベル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】