特許 7615639 取得方法、取得システム、および、コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-08

(45)【発行日】2025-01-17

(54)【発明の名称】取得方法、取得システム、および、コンピュータプログラム

(51)【国際特許分類】

   G06T 7/90 20170101AFI20250109BHJP

   G06T 7/00 20170101ALI20250109BHJP

【ＦＩ】

G06T7/90 D

G06T7/00 350C

G06T7/00 610C

【請求項の数】 9

(21)【出願番号】P 2020199165

(22)【出願日】2020-11-30

(65)【公開番号】P2022086893

(43)【公開日】2022-06-09

【審査請求日】2023-11-17

(73)【特許権者】

【識別番号】000005267

【氏名又は名称】ブラザー工業株式会社

(74)【代理人】

【識別番号】110001058

【氏名又は名称】鳳国際弁理士法人

(72)【発明者】

【氏名】近藤 真樹

【審査官】藤原 敬利

(56)【参考文献】

【文献】特開２０１９－０９１２４９（ＪＰ，Ａ）

【文献】特開２０２０－０２７４２４（ＪＰ，Ａ）

【文献】特開２０１２－１１９８１６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４－２１／９５８

Ｇ０６Ｔ ７／００－ ７／９０

Ｇ０６Ｖ １０／００－２０／９０

(57)【特許請求の範囲】

【請求項1】

対象物の外観の不具合に関するデータの取得方法であって、
色の基準を示す色補正パラメータを用いて、注目対象物の撮影画像を示す注目撮影画像データの色を補正する補正工程と、
対象物の撮影画像を示す撮影画像データと前記対象物の外観の不具合に関する不具合データとの関係を示すようにトレーニングされた機械学習モデルに、補正済の注目撮影画像データを入力することによって、前記注目対象物の外観の不具合に関する注目不具合データを前記トレーニングされた機械学習モデルから取得する取得工程と、
を備え、
前記トレーニングされた機械学習モデルは、複数のパラメータを含み、
前記トレーニングされた機械学習モデルの前記複数のパラメータは、複数の学習用撮影画像データを前記機械学習モデルに入力することによって取得される複数の不具合データを用いて、調整されており、
前記色補正パラメータは、前記複数の学習用撮影画像データを用いて算出されている、
取得方法。

【請求項2】

請求項１に記載の取得方法であって、
前記色補正パラメータを用いて補正された複数の確認用撮影画像データを調整済の複数のパラメータを有する前記機械学習モデルに入力することによって取得される複数の不具合データと、前記複数の確認用撮影画像データにそれぞれ対応付けられた複数の教師データと、の間の差を示す損失が基準以下であることを含む条件が満たされるように、前記トレーニングされた機械学習モデルの前記複数のパラメータは調整されている、
取得方法。

【請求項3】

対象物の外観の不具合に関するデータの取得方法であって、
色の基準を示す色補正パラメータを用いて、注目対象物の撮影画像を示す注目撮影画像データの色を補正する補正工程と、
対象物の撮影画像を示す撮影画像データと前記対象物の外観の不具合に関する不具合データとの関係を示すようにトレーニングされた機械学習モデルに、補正済の注目撮影画像データを入力することによって、前記注目対象物の外観の不具合に関する注目不具合データを前記トレーニングされた機械学習モデルから取得する取得工程と、
を備え、
前記色補正パラメータは、予め決められており、
前記トレーニングされた機械学習モデルは、複数のパラメータを含み、
前記トレーニングされた機械学習モデルの前記複数のパラメータは、前記色補正パラメータを用いて補正された複数の学習用撮影画像データを前記機械学習モデルに入力することによって取得される複数の不具合データを用いて、調整されている、
取得方法。

【請求項4】

請求項１から３のいずれかに記載の取得方法であって、
前記色補正パラメータは、明度基準と、ホワイトバランス基準と、を示し、
前記補正工程は、
前記注目撮影画像データの明度を前記明度基準に近づける明度補正処理を行う工程と、
前記注目撮影画像データのホワイトバランスを前記ホワイトバランス基準に近づけるホワイトバランス補正処理を行う工程と、
を含む、取得方法。

【請求項5】

請求項４に記載の取得方法であって、
前記明度基準は、ＣＩＥＬＡＢ色空間のＬ＊成分の基準を示し、
前記ホワイトバランス基準は、前記ＣＩＥＬＡＢ色空間のａ＊成分の基準とｂ＊成分の基準とを示し、
前記明度補正処理は、前記注目撮影画像データの前記Ｌ＊成分を前記Ｌ＊成分の前記基準を用いて補正する処理を含み、
前記ホワイトバランス補正処理は、
前記注目撮影画像データの前記ａ＊成分を前記ａ＊成分の前記基準を用いて補正する処理と、
前記注目撮影画像データの前記ｂ＊成分を前記ｂ＊成分の前記基準を用いて補正する処理と、
を含む、取得方法。

【請求項6】

対象物の外観の不具合に関するデータの取得する取得システムであって、
色の基準を示す色補正パラメータを用いて、注目対象物の撮影画像を示す注目撮影画像データの色を補正する補正部と、
対象物の撮影画像を示す撮影画像データと前記対象物の外観の不具合に関する不具合データとの関係を示すようにトレーニングされた機械学習モデルに、補正済の注目撮影画像データを入力することによって、前記注目対象物の外観の不具合に関する注目不具合データを前記トレーニングされた機械学習モデルから取得する取得部と、
を備え、
前記トレーニングされた機械学習モデルは、複数のパラメータを含み、
前記トレーニングされた機械学習モデルの前記複数のパラメータは、複数の学習用撮影画像データを前記機械学習モデルに入力することによって取得される複数の不具合データを用いて、調整されており、
前記色補正パラメータは、前記複数の学習用撮影画像データを用いて算出されている、
取得システム。

【請求項7】

対象物の外観の不具合に関するデータの取得する取得システムであって、
色の基準を示す色補正パラメータを用いて、注目対象物の撮影画像を示す注目撮影画像データの色を補正する補正部と、
対象物の撮影画像を示す撮影画像データと前記対象物の外観の不具合に関する不具合データとの関係を示すようにトレーニングされた機械学習モデルに、補正済の注目撮影画像データを入力することによって、前記注目対象物の外観の不具合に関する注目不具合データを前記トレーニングされた機械学習モデルから取得する取得部と、
を備え、
前記色補正パラメータは、予め決められており、
前記トレーニングされた機械学習モデルは、複数のパラメータを含み、
前記トレーニングされた機械学習モデルの前記複数のパラメータは、前記色補正パラメータを用いて補正された複数の学習用撮影画像データを前記機械学習モデルに入力することによって取得される複数の不具合データを用いて、調整されている、
取得システム。

【請求項8】

対象物の外観の不具合に関するデータの取得するコンピュータのためのコンピュータプログラムであって、
色の基準を示す色補正パラメータを用いて、注目対象物の撮影画像を示す注目撮影画像データの色を補正する補正機能と、
対象物の撮影画像を示す撮影画像データと前記対象物の外観の不具合に関する不具合データとの関係を示すようにトレーニングされた機械学習モデルに、補正済の注目撮影画像データを入力することによって、前記注目対象物の外観の不具合に関する注目不具合データを前記トレーニングされた機械学習モデルから取得する取得機能と、
をコンピュータに実現させ、
前記トレーニングされた機械学習モデルは、複数のパラメータを含み、
前記トレーニングされた機械学習モデルの前記複数のパラメータは、複数の学習用撮影画像データを前記機械学習モデルに入力することによって取得される複数の不具合データを用いて、調整されており、
前記色補正パラメータは、前記複数の学習用撮影画像データを用いて算出されている、
コンピュータプログラム。

【請求項9】

対象物の外観の不具合に関するデータの取得するコンピュータのためのコンピュータプログラムであって、
色の基準を示す色補正パラメータを用いて、注目対象物の撮影画像を示す注目撮影画像データの色を補正する補正機能と、
対象物の撮影画像を示す撮影画像データと前記対象物の外観の不具合に関する不具合データとの関係を示すようにトレーニングされた機械学習モデルに、補正済の注目撮影画像データを入力することによって、前記注目対象物の外観の不具合に関する注目不具合データを前記トレーニングされた機械学習モデルから取得する取得機能と、
をコンピュータに実現させ、
前記色補正パラメータは、予め決められており、
前記トレーニングされた機械学習モデルは、複数のパラメータを含み、
前記トレーニングされた機械学習モデルの前記複数のパラメータは、前記色補正パラメータを用いて補正された複数の学習用撮影画像データを前記機械学習モデルに入力することによって取得される複数の不具合データを用いて、調整されている、
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、対象物の外観の不具合に関するデータを取得する技術に関する。

【背景技術】

【0002】

従来から、撮影画像が種々の処理に利用されている。例えば、特許文献１は、以下の技術を提案している。移動環境に配置されたマーカを撮影し、そのマーカを用いて移動体の現在位置を取得する。また、撮影画像を学習器に適用することによって、基準照明条件で撮影されたように補正された撮影画像を取得する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－１２９２４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、機械学習モデルは、プリンタやスキャナなどの種々の製品の外観の検査にも用いられる。例えば、検査の対象物の撮影画像データが、機械学習モデルに入力される。機械学習モデルは、対象物の外観の不具合に関する不具合データを出力する。不具合データは、例えば、良否の判定結果、検出された傷の画像、などを示している。ここで、対象物の撮影環境は、種々に変化し得るので、種々の撮影画像データが生成され得る。この結果、撮影画像データによっては、機械学習モデルから適切な不具合データを取得できない場合があった。

【0005】

本明細書は、適切な不具合データを取得する技術を開示する。

【課題を解決するための手段】

【0006】

本明細書に開示された技術は、以下の適用例として実現することが可能である。

【0007】

［適用例１］対象物の外観の不具合に関するデータの取得方法であって、色の基準を示す色補正パラメータを用いて、注目対象物の撮影画像を示す注目撮影画像データの色を補正する補正工程と、対象物の撮影画像を示す撮影画像データと前記対象物の外観の不具合に関する不具合データとの関係を示すようにトレーニングされた機械学習モデルに、補正済の注目撮影画像データを入力することによって、前記注目対象物の外観の不具合に関する注目不具合データを前記トレーニングされた機械学習モデルから取得する取得工程と、を備える、取得方法。

【0008】

この構成によれば、色の基準を示す色補正パラメータを用いて注目撮影画像データの色が補正され、補正済の注目撮影画像データが機械学習モデルに入力されるので、注目撮影画像データの色が基準からずれ得る場合に、適切な不具合データを取得できる。
［適用例２］
適用例１に記載の取得方法であって、
前記トレーニングされた機械学習モデルは、複数のパラメータを含み、
前記トレーニングされた機械学習モデルの前記複数のパラメータは、複数の学習用撮影画像データを前記機械学習モデルに入力することによって取得される複数の不具合データを用いて、調整されており、
前記色補正パラメータは、前記複数の学習用撮影画像データを用いて算出されている、
取得方法。
［適用例３］
適用例２に記載の取得方法であって、
前記色補正パラメータを用いて補正された複数の確認用撮影画像データを調整済の複数のパラメータを有する前記機械学習モデルに入力することによって取得される複数の不具合データと、前記複数の確認用撮影画像データにそれぞれ対応付けられた複数の教師データと、の間の差を示す損失が基準以下であることを含む条件が満たされるように、前記トレーニングされた機械学習モデルの前記複数のパラメータは調整されている、
取得方法。
［適用例４］
適用例１に記載の取得方法であって、
前記色補正パラメータは、予め決められており、
前記トレーニングされた機械学習モデルは、複数のパラメータを含み、
前記トレーニングされた機械学習モデルの前記複数のパラメータは、前記色補正パラメータを用いて補正された複数の学習用撮影画像データを前記機械学習モデルに入力することによって取得される複数の不具合データを用いて、調整されている、
取得方法。
［適用例５］
適用例１から４のいずれかに記載の取得方法であって、
前記色補正パラメータは、明度基準と、ホワイトバランス基準と、を示し、
前記補正工程は、
前記注目撮影画像データの明度を前記明度基準に近づける明度補正処理を行う工程と、
前記注目撮影画像データのホワイトバランスを前記ホワイトバランス基準に近づけるホワイトバランス補正処理を行う工程と、
を含む、取得方法。
［適用例６］
適用例５に記載の取得方法であって、
前記明度基準は、ＣＩＥＬＡＢ色空間のＬ＊成分の基準を示し、
前記ホワイトバランス基準は、前記ＣＩＥＬＡＢ色空間のａ＊成分の基準とｂ＊成分の基準とを示し、
前記明度補正処理は、前記注目撮影画像データの前記Ｌ＊成分を前記Ｌ＊成分の前記基準を用いて補正する処理を含み、
前記ホワイトバランス補正処理は、
前記注目撮影画像データの前記ａ＊成分を前記ａ＊成分の前記基準を用いて補正する処理と、
前記注目撮影画像データの前記ｂ＊成分を前記ｂ＊成分の前記基準を用いて補正する処理と、
を含む、取得方法。
［適用例７］
対象物の外観の不具合に関するデータの取得する取得システムであって、
色の基準を示す色補正パラメータを用いて、注目対象物の撮影画像を示す注目撮影画像データの色を補正する補正部と、
対象物の撮影画像を示す撮影画像データと前記対象物の外観の不具合に関する不具合データとの関係を示すようにトレーニングされた機械学習モデルに、補正済の注目撮影画像データを入力することによって、前記注目対象物の外観の不具合に関する注目不具合データを前記トレーニングされた機械学習モデルから取得する取得部と、
を備える、取得システム。
［適用例８］
対象物の外観の不具合に関するデータの取得するコンピュータのためのコンピュータプログラムであって、
色の基準を示す色補正パラメータを用いて、注目対象物の撮影画像を示す注目撮影画像データの色を補正する補正機能と、
対象物の撮影画像を示す撮影画像データと前記対象物の外観の不具合に関する不具合データとの関係を示すようにトレーニングされた機械学習モデルに、補正済の注目撮影画像データを入力することによって、前記注目対象物の外観の不具合に関する注目不具合データを前記トレーニングされた機械学習モデルから取得する取得機能と、
をコンピュータに実現させる、コンピュータプログラム。

【0009】

なお、本明細書に開示の技術は、種々の態様で実現することが可能であり、例えば、機械学習モデルのトレーニング方法およびトレーニングを実行するトレーニング装置、撮影画像データとトレーニングされた機械学習モデルを用いる不具合データの生成方法および生成装置、撮影画像データとトレーニングされた機械学習モデルを用いる不具合の判断方法および判断装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体（例えば、一時的ではない記録媒体）、等の形態で実現することができる。

【図面の簡単な説明】

【0010】

【図1】一実施例としての情報処理装置を示す説明図である。

【図2】（Ａ）、（Ｂ）は、撮影画像の例を示す概略図である。（Ｃ）－（Ｅ）は、撮影環境と撮影画像との説明図である。

【図3】機械学習モデル２３８の例を示すブロック図である。

【図4】トレーニング処理の例を示すフローチャートである。

【図5】（Ａ）は、平均明度値ＴＬの算出式の例を示す説明図である。（Ｂ）は、第１平均ホワイトバランス値Ｔａの算出式を示す説明図である。（Ｃ）は、第２平均ホワイトバランス値Ｔｂの算出式を示す説明図である。（Ｄ）は、学習ロスの算出式の例を示す説明図である。（Ｅ）は、画像明度値ＰＶｉＬの算出式の例を示す説明図である。（Ｆ）は、平均値ＰＶｉａの算出式の例を示す説明図である。（Ｇ）は、平均値ＰＶｉｂの算出式の例を示す説明図である。（Ｈ）は、確認ロスの算出式の例を示す説明図である。

【図6】（Ａ）は、補正処理の例を示すフローチャートである。（Ｂ）は、Ｌ＊値の補正処理の例を示すグラフである。（Ｃ）は、補正式Ｅａ、Ｅｂを示す説明図である。

【図7】検査処理の例を示すフローチャートである。

【図8】取得処理の例を示すフローチャートである。

【図9】トレーニング処理の第２実施例を示すフローチャートである。

【図10】取得処理の第２実施例を示すフローチャートである。

【発明を実施するための形態】

【0011】

Ａ．第１実施例：
Ａ１．装置構成：
図１は、一実施例としての情報処理装置を示す説明図である。本実施例では、情報処理装置２００は、例えば、パーソナルコンピュータである。情報処理装置２００は、検査の対象物（例えば、プリンタなどの製品）の撮影画像を用いて、対象物の不具合に関するデータを取得する。情報処理装置２００は、プロセッサ２１０と、記憶装置２１５と、表示部２４０と、操作部２５０と、通信インタフェース２７０と、を備えている。これらの要素は、バスを介して互いに接続されている。記憶装置２１５は、揮発性記憶装置２２０と、不揮発性記憶装置２３０と、を含んでいる。

【0012】

プロセッサ２１０は、データ処理を行うように構成された装置であり、例えば、ＣＰＵである。揮発性記憶装置２２０は、例えば、ＤＲＡＭであり、不揮発性記憶装置２３０は、例えば、フラッシュメモリである。不揮発性記憶装置２３０は、プログラム２３１、２３２と、補正パラメータデータ２３７と、機械学習モデル２３８と、を格納している。

【0013】

機械学習モデル２３８は、対象物の撮影画像データを用いて対象物の不具合に関するデータを予測する予測モデルである。本実施例では、機械学習モデル２３８は、プログラムモジュールである。第１プログラム２３１は、機械学習モデル２３８のトレーニング処理のためのプログラムである。第２プログラム２３２は、対象物の撮影画像を用いて、対象物の不具合に関するデータを取得するためのプログラムである。補正パラメータデータ２３７は、撮影画像を補正するための補正パラメータを示している。プロセッサ２１０は、プログラム２３１、２３２の実行に使用される種々の中間データを、記憶装置２１５（例えば、揮発性記憶装置２２０、不揮発性記憶装置２３０のいずれか）に、一時的に格納する。プログラム２３１、２３２と、補正パラメータデータ２３７と、機械学習モデル２３８と、の詳細については、後述する。

【0014】

表示部２４０は、液晶ディスプレイ、有機ＥＬディスプレイなどの、画像を表示するように構成された装置である。操作部２５０は、ボタン、レバー、表示部２４０上に重ねて配置されたタッチパネルなどの、ユーザによる操作を受け取るように構成された装置である。ユーザは、操作部２５０を操作することによって、種々の要求と指示を情報処理装置２００に入力可能である。通信インタフェース２７０は、他の装置と通信するためのインタフェースである（例えば、ＵＳＢインタフェース、有線ＬＡＮインタフェース、IEEE802.11の無線インタフェース）。通信インタフェース２７０には、デジタルカメラ１００が接続されている。デジタルカメラ１００は、検査の対象物ＤＶを撮影することによって、撮影画像の撮影画像データを生成する。対象物ＤＶの撮影は、光源ＬＳの下で行われる。以下、対象物ＤＶがプリンタであることとする（対象物ＤＶを、プリンタＤＶとも呼ぶ）。

【0015】

Ａ２．撮影画像：
図２（Ａ）、図２（Ｂ）は、撮影画像の例を示す概略図である。撮影画像ＩＭａ、ＩＭｂは、第１方向Ｄｘと、第１方向Ｄｘに垂直な第２方向Ｄｙと、に沿ってマトリクス状に並ぶ複数の画素のそれぞれの色値によって、表されている。幅Ｗ１は、第１方向Ｄｘの画素数であり、高さＨ１は、第２方向Ｄｙの画素数である。本実施例では、色値は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３個の成分値で表されている。

【0016】

図２（Ａ）の第１撮影画像ＩＭａは、不具合の無い第１プリンタＤＶａを示している。具体的には、第１プリンタＤＶａには、ラベルＬＢが貼られており、第１撮影画像ＩＭａは、ラベルＬＢの画像を含んでいる。図２（Ｂ）の第２撮影画像ＩＭｂは、不具合を有する第２プリンタＤＶｂを示している。具体的には、第２プリンタＤＶｂには、ラベルＬＢが貼られておらず、第２撮影画像ＩＭｂは、ラベルＬＢの画像を含んでいない。このように、本実施例では、プリンタにラベルＬＢが貼られているか否かが、検査される。

【0017】

図２（Ｃ）－図２（Ｅ）は、撮影環境と撮影画像との説明図である。図２（Ｃ）－図２（Ｅ）は、それぞれ、同じプリンタＤＶの撮影画像ＩＭｘ、ＩＭｙ、ＩＭｚを示している。これらの撮影画像ＩＭｘ、ＩＭｙ、ＩＭｚの間では、撮影時の光源ＬＳｘ、ＬＳｙ、ＬＳｚの状況が異なっている。以下に説明するように、複数の撮影画像の間で光源の状況が異なる場合、複数の撮影画像の間で撮影画像中のプリンタＤＶの色が異なり得る。例えば、蛍光ランプ、白熱ランプ、発光ダイオードのように、光源ＬＳｘ、ＬＳｙ、ＬＳｚの種類が互いに異なり得る。光源の光の分光分布は、光源の種類によって異なっている。従って、撮影画像ＩＭｘ、ＩＭｙ、ＩＭｚの間で、プリンタＤＶの色が異なり得る。また、光源ＬＳｘ、ＬＳｙ、ＬＳｚの間で、光源の種類が同じであるものの、総点灯時間が互いに異なり得る。光源の光の分光分布は、総点灯時間の増大に応じて、変化し得る。従って、撮影画像ＩＭｘ、ＩＭｙ、ＩＭｚの間で、プリンタＤＶの色が異なり得る。

【0018】

機械学習モデル２３８のトレーニング用の撮影画像の撮影時と、プリンタの検査用の撮影画像の撮影時と、の間で光源ＬＳの状況が異なる場合、トレーニング用の撮影画像と検査用の撮影画像との間で、プリンタの色が異なり得る。このような色の違いに起因して、機械学習モデル２３８による予測の精度が低下し得る。そこで、本実施例では、光源ＬＳの状況の違いに起因するプリンタの色の違いの影響が緩和されるように、機械学習モデル２３８のトレーニングと機械学習モデル２３８による予測とが行われる。

【0019】

Ａ３．機械学習モデルの構成：
図３は、機械学習モデル２３８の例を示すブロック図である。機械学習モデル２３８には、プリンタＤＶの撮影画像ＩＭを示す撮影画像データＤｉｎが入力される。撮影画像ＩＭとしては、図２（Ａ）－図２（Ｅ）のように、光源の種々の状況の下で撮影されたプリンタＤＶの画像が用いられる。撮影画像データＤｉｎは、（Ｈ１×Ｗ１）個の画素のそれぞれの３個の成分値（Ｒ値、Ｇ値、Ｂ値）を示すビットマップデータ、すなわち、（Ｈ１×Ｗ１×３）個の値を示すデータである。

【0020】

機械学習モデル２３８は、入力された撮影画像データＤｉｎを用いて、プリンタＤＶの外観の不具合に関する不具合データＤｏｕｔを予測する。本実施例では、不具合データＤｏｕｔは、合格を示す第１値（ここでは、１）と、不合格を示す第２値（ここでは、ゼロ）と、のいずれかを示す２値のデータである。

【0021】

本実施例では、機械学習モデル２３８は、ＣＮＮ（Convolutional Neural Network）と呼ばれる人工ニューラルネットワークである。機械学習モデル２３８は、第１畳込層５１０と、第１プーリング層５２０と、第２畳込層５３０と、第２プーリング層５４０と、第１全結合層５５０と、第２全結合層５６０と、第３全結合層５７０と、判定部５８０と、を有している。これらの層５１０－５８０は、この順番に、接続されている。

【0022】

撮影画像データＤｉｎは、第１畳込層５１０に入力される。

【0023】

畳込層５１０、５３０は、入力されるデータに対して、畳込処理とバイアスの加算処理とを含む処理を実行する。畳込処理は、直前の層から入力されたデータに対して、（ｐ×ｑ×ｒ）次元のｓ個のフィルタを順次に適用し、入力されたデータとフィルタとの相関を示す相関値を算出する処理である（ｐ、ｑ、ｒ、ｓは、１以上の整数）。各フィルタを適用する処理では、フィルタをスライドさせながら複数個の相関値が順次に算出される。１個のフィルタは、（ｐ×ｑ×ｒ）個の重みを含んでいる。バイアスの加算処理は、算出された相関値に、バイアスを加算する処理である。バイアスは、１個のフィルタに対して１個ずつ準備されている。なお、フィルタの次元（ｐ×ｑ×ｒ）とフィルタの数ｓとは、通常は、複数の畳込層５１０、５３０の間で異なっている。畳込層５１０、５３０は、複数のフィルタの複数の重みと複数のバイアスとを含むパラメータセットＰ１ｓ、Ｐ２ｓを、それぞれ有している。

【0024】

畳込層５１０、５３０によって生成されるデータは、活性化関数に入力されて変換された後に、次の層（プーリング層５２０、５４０）に入力される。本実施例では、活性化関数として、ReLU（Rectified Linear Unit）が用いられる。

【0025】

プーリング層５２０、５４０は、直前の畳込層から入力されたデータに対して、マックスプーリング（MaxPooling）を行って、データの次元数を削減する。マックスプーリングは、いわゆるダウンサンプリングによって次元数を削減する処理であり、所定サイズ（例えば、２×２）のウィンドウを所定のストライド（例えば、２）でスライドさせつつ、ウィンドウ内の最大値を選択することによって次元数を削減する。プーリング層５２０、５４０によって生成されるデータは、そのまま、次の層（層５３０、５５０）に入力される。

【0026】

全結合層５５０、５６０、５７０は、直前の層から入力されたｍ次元のデータ（すなわち、ｍ個の値。ｍは２以上の整数）を用いて、ｎ次元のデータ（すなわち、ｎ個の値。ｎは１以上の整数）を出力する。出力されるｎ個の値のそれぞれは、入力されるｍ個の値で構成されるベクトルとｍ個の重みで構成されるベクトルとの内積に、バイアスを加えた値（内積＋バイアス）である。全結合層５５０、５６０、５７０は、（ｍ×ｎ）個の重みとｎ個のバイアスとを用いて、ｎ次元のデータを出力する。なお、入力データの次元数ｍと出力データの次元数ｎとは、通常は、複数の全結合層５５０、５６０、５７０の間で異なっている。本実施例では、上流側の全結合層５６０、５７０から出力されるデータの次元数ｎは、２以上であり、第３全結合層５７０から出力されるデータの次元数ｎは、１である。全結合層５５０、５６０、５７０は、複数の重みと複数のバイアスとを含むパラメータセットＰ３ｓ、Ｐ４ｓ、Ｐ５ｓを、それぞれ有している。

【0027】

上流側の全結合層５５０、５６０によって生成される各値は、活性化関数に入力されて変換された後に、次の層（全結合層５６０、５７０）に入力される。活性化関数としては、例えば、ReLUが用いられる。

【0028】

第３全結合層５７０よって生成されたデータは、活性化関数に入力されて変換される。活性化関数としては、例えば、Sigmoidが用いられる。Sigmoidは、実数の全体を、ゼロ以上、１以下の範囲内の値に変換する。

【0029】

判定部５８０は、直前の第３全結合層５７０から入力された値を判定閾値と比較することによって、２つのクラスのいずれかを示す不具合データＤｏｕｔを出力する。本実施例では、２つのクラスは、プリンタＤＶが不具合を有していないことを示す第１クラスＣＬ１（合格クラスＣＬ１とも呼ぶ）と、プリンタＤＶが不具合を有していることを示す第２クラスＣＬ２（不合格クラスＣＬ２とも呼ぶ）と、で構成されている。具体的には、合格クラスＣＬ１は、プリンタＤＶの撮影画像がラベルＬＢの画像を含んでいることを示し、不合格クラスＣＬ２は、プリンタＤＶの撮影画像がラベルＬＢの画像を含んでいないことを示している。判定部５８０は、入力された値が判定閾値以上である場合には、「１」の不具合データＤｏｕｔを出力し、入力された値が判定閾値未満である場合には、「ゼロ」の不具合データＤｏｕｔを出力する。「１」の不具合データＤｏｕｔが合格クラスＣＬ１を示し、「ゼロ」の不具合データＤｏｕｔが不合格クラスＣＬ２を示している。判定部５８０は、判定閾値を含むパラメータセットＰ６ｓを有している。

【0030】

機械学習モデル２３８は、出力される不具合データＤｏｕｔが適切なクラスを示すように、トレーニングされる。トレーニングされた機械学習モデル２３８の第３全結合層５７０からの出力値は、撮影画像ＩＭのクラスが合格クラスＣＬ１であることの確信度を示している。確信度は、合格クラスＣＬ１が正解である確率と相関を有している。

【0031】

なお、図３において、各層の左側の数値（例えば、Ｈ１×Ｗ１×Ｄ１）は、その層に入力されるデータの次元数を示している。各層の右側の数値（例えば、Ｈ２×Ｗ２×Ｄ１）は、その層から出力されるデータの次元数を示している。各データの次元数は、種々の値であってよい。例えば、Ｈ１＝Ｗ１＝５００、Ｄ１＝８、Ｈ２＝Ｗ２＝５０、Ｄ２＝１６、Ｈ３＝Ｗ３＝２５、Ｄ３＝５１２、Ｄ４＝６４であってよい。

【0032】

Ａ４．トレーニング処理：
図４は、機械学習モデル２３８（図３）のトレーニング処理の例を示すフローチャートである。機械学習モデル２３８は、不具合データＤｏｕｔが撮影画像ＩＭのプリンタＤＶの適切なクラスを示すように、トレーニングされる。トレーニングによって、複数の層５１０－５８０のそれぞれの演算に用いられる複数の演算パラメータ（パラメータセットＰ１ｓ－Ｐ６ｓを含む）が、調整される。なお、プロセッサ２１０は、第１プログラム２３１に従って、トレーニングを行う。

【0033】

Ｓ１１０では、プロセッサ２１０は、ラベル付データセットを生成する。まず、作業者は、デジタルカメラ１００を用いて、プリンタを撮影する。これにより、デジタルカメラ１００は、撮影画像データを生成する。本実施例では、ラベルＬＢを有するプリンタである第１種プリンタの撮影により、第１種撮影画像データが生成され、ラベルＬＢを有さないプリンタである第２種プリンタの撮影により、第２種撮影画像データが生成される。適切なトレーニングのために、多数の第１種撮影画像データと多数の第２種撮影画像データとが生成される。２つのクラスＣＬ１、ＣＬ２の間の偏りを抑制するために、同数の第１種撮影画像データと第２種撮影画像データとが生成されてよい。例えば、５００個の第１種撮影画像データと５００個の第２種撮影画像データとが生成されてよい。ここで、作業者は、複数の第１種プリンタと複数の第２種プリンタとを撮影してよい。また、作業者は、１つの第１種プリンタを複数回に亘って撮影し、１つの第２種プリンタを複数回に亘って撮影してよい。

【0034】

プロセッサ２１０は、デジタルカメラ１００から撮影画像データを取得する。また、プロセッサ２１０は、撮影画像データに対応するクラスを示すクラス情報を、作業者に入力させる。そして、プロセッサ２１０は、撮影画像データと、撮影画像データに対応するクラス情報を示すデータ（ラベルデータ、または、教師データとも呼ぶ）と、を関連付けて、記憶装置２１５（例えば、不揮発性記憶装置２３０）に格納する。本実施例では、ラベルデータは、不具合データＤｏｕｔの目標値（すなわち、正解）を示している。具体的には、第１種撮影画像データに対応付けられたラベルデータは、合格クラスＣＬ１を示す「１」であり、第２種撮影画像データに対応付けられたラベルデータは、不合格クラスＣＬ２を示す「ゼロ」である。以下、互いに関連付けられた撮影画像データとラベルデータとの全体を、ラベル付データとも呼ぶ。また、複数のラベル付データの全体を、ラベル付データセットとも呼ぶ。

【0035】

なお、いわゆるデータオーギュメンテーションによって、複数の撮影画像データが追加されてよい。また、撮影画像データの生成とクラス情報の入力（ひいては、Ｓ１１０）は、トレーニング処理の開始よりも前に、予め行われてよい。

【0036】

Ｓ１２０では、プロセッサ２１０は、第１クラスＣＬ１のラベル付データセットと第２クラスＣＬ２のラベル付データセットとのそれぞれを、学習用データセットと確認用データセットとに分割する。例えば、プロセッサ２１０は、ランダムに選択した７０％のラベル付データセットを、学習用データセットとして採用し、残りの３０％のラベル付データセットを、確認用データセットとして採用する。第１クラスＣＬ１のラベル付データセットの分割と、第２クラスＣＬ２のラベル付データセットの分割とは、独立に行われる。以下、学習用データセットのラベル付データの総数がＮｔ個であり、確認用データセットのラベル付データの総数がＮｖ個であることとする（Ｎｔ、Ｎｖは、いずれも、２以上の整数）。以下、学習用データセットに含まれる撮影画像データを、学習用撮影画像データとも呼び、学習用撮影画像データによって示される画像を、学習用撮影画像とも呼ぶ。また、確認用データセットに含まれる撮影画像データを、確認用撮影画像データとも呼び、確認用撮影画像データによって示される画像を、確認用撮影画像とも呼ぶ。

【0037】

Ｓ１３０では、プロセッサ２１０は、学習用データセットの平均明度値ＴＬと平均ホワイトバランス値Ｔａ、Ｔｂとを算出する。本実施例では、プロセッサ２１０は、まず、学習用データセットの複数の撮影画像データの複数の画素のそれぞれの色値（Ｒ、Ｇ、Ｂ）を、ＣＩＥＬＡＢ色空間の色値（Ｌ＊、ａ＊、ｂ＊）に変換する。ＣＩＥＬＡＢ色空間は、国際照明委員会（ＣＩＥ）によって１９７６年に勧告された色空間であり、ＣＩＥ １９７６ Ｌ＊ａ＊ｂ＊色空間とも呼ばれる。撮影画像データの色値を表す色空間が装置非依存な色空間（例えば、ｓＲＧＢ色空間）である場合、色値の変換式としては、２つの色空間の間の対応関係を定める公知の変換式が用いられる。撮影画像データの色値を表す色空間が装置依存な色空間である場合、色値の変換式は、デジタルカメラ１００の特性を考慮して、予め実験的に決定される。

【0038】

プロセッサ２１０は、色値（Ｌ＊、ａ＊、ｂ＊）を用いて、平均明度値ＴＬと平均ホワイトバランス値Ｔａ、Ｔｂとを算出する。図５（Ａ）は、平均明度値ＴＬの算出式の例を示す説明図である。プロセッサ２１０は、撮影画像毎にＬ＊値の平均値ＰＳｉＬ（画像明度値ＰＳｉＬとも呼ぶ）を算出する。そして、プロセッサ２１０は、Ｎｔ個の撮影画像の画像明度値ＰＳｉＬの平均値である平均明度値ＴＬを算出する。図５（Ａ）中のＰＳｉ（ｘ、ｙ）Ｌは、ｉ番の撮影画像の座標（ｘ、ｙ）の画素のＬ＊値である。座標値ｘは、第１方向Ｄｘ（図２（Ａ））の画素の位置を示し、座標値ｙは、第２方向Ｄｙの画素の位置を示している。座標値ｘ、ｙは、それぞれ、方向Ｄｘ、Ｄｙに向かって昇順に並ぶように、１から順番に割り当てられている。ＰＳｉｗは、ｉ番目の撮影画像の第１方向Ｄｘの画素数であり、幅Ｗ１（図２（Ａ））と同じである。ＰＳｉｈは、ｉ番目の撮影画像の第２方向Ｄｙの画素数であり、高さＨ１（図２（Ａ））と同じである。画像明度値ＰＳｉＬは、ｉ番目の撮影画像の全ての画素（ＰＳｉｈ×ＰＳｉｗ個の画素）のＬ＊値の平均である。平均明度値ＴＬは、Ｎｔ個の画像明度値ＰＳｉＬの平均である。

【0039】

平均ホワイトバランス値Ｔａ、Ｔｂの算出方法は、Ｌ＊に代えてａ＊、ｂ＊が用いられる点を除いて、平均明度値ＴＬの算出方法と同じである。図５（Ｂ）は、第１平均ホワイトバランス値Ｔａの算出式を示す説明図である。図５（Ｂ）中のＰＳｉ（ｘ、ｙ）ａは、ｉ番の撮影画像の座標（ｘ、ｙ）の画素のａ＊値である。画像第１値ＰＳｉａは、ｉ番目の撮影画像の全ての画素のａ＊値の平均である。第１平均ホワイトバランス値Ｔａは、Ｎｔ個の画像第１値ＰＳｉａの平均である。図５（Ｃ）は、第２平均ホワイトバランス値Ｔｂの算出式を示す説明図である。図５（Ｃ）中のＰＳｉ（ｘ、ｙ）ｂは、ｉ番の撮影画像の座標（ｘ、ｙ）の画素のｂ＊値である。画像第２値ＰＳｉｂは、ｉ番目の撮影画像の全ての画素のｂ＊値の平均である。第２平均ホワイトバランス値Ｔｂは、Ｎｔ個の画像第２値ＰＳｉｂの平均である。

【0040】

平均明度値ＴＬは、学習用データセットの複数の撮影画像の平均的な明るさを示している。また、ａ＊値とｂ＊値とは、無彩色からのズレの大きさを示している。従って、平均ホワイトバランス値Ｔａ、Ｔｂは、学習用データセットの複数の撮影画像のホワイトバランスの平均的な偏りを示している。これらの値ＴＬ、Ｔａ、Ｔｂは、撮影時の光源ＬＳの状況に応じて、異なり得る。

【0041】

Ｓ１４０（図４）では、プロセッサ２１０は、値ＴＬ、Ｔａ、Ｔｂを示すデータである補正パラメータデータ２３７を、記憶装置２１５（例えば、不揮発性記憶装置２３０）に格納する。値ＴＬ、Ｔａ、Ｔｂは、後述する色補正処理で用いられる。以下、値ＴＬ、Ｔａ、Ｔｂを、色補正パラメータＴＬ、Ｔａ、Ｔｂとも呼ぶ。

【0042】

Ｓ１５０では、プロセッサ２１０は、機械学習モデル２３８の複数の演算パラメータ（パラメータセットＰ１ｓ－Ｐ６ｓを含む）を初期化する。例えば、各演算パラメータは、乱数値に設定される。

【0043】

Ｓ１５８では、プロセッサ２１０は、Ｎｖ個の確認用撮影画像データのそれぞれの色を補正する補正処理を実行する。図６（Ａ）は、補正処理の例を示すフローチャートである。図６（Ａ）の補正処理は、１個の撮影画像データの補正処理を示している。プロセッサ２１０は、Ｎｖ個の確認用撮影画像データのそれぞれに関して、図６（Ａ）の補正処理を実行する。

【0044】

Ｓ５１０では、プロセッサ２１０は、処理対象の確認用撮影画像データの複数の画素のそれぞれの色値（Ｒ、Ｇ、Ｂ）を、ＣＩＥＬＡＢ色空間の色値（Ｌ＊、ａ＊、ｂ＊）に変換する。色値の変換処理は、Ｓ１３０で説明した変換処理と同じである。

【0045】

Ｓ５２０では、プロセッサ２１０は、確認用撮影画像の明度を補正する明度補正処理を行う。本実施例では、Ｌ＊値が補正される。図６（Ｂ）は、Ｌ＊値の補正処理の例を示すグラフである。横軸は、補正前のＬ＊値である入力値Ｌｉｎを示し、縦軸は、補正後のＬ＊値である出力値Ｌｏｕｔを示している。図中のＬｍａｘは、Ｌ＊の最大値である。入力値Ｌｉｎと出力値Ｌｏｕｔとの対応関係を示すカーブＴＣｉは、トーンカーブとも呼ばれる。

【0046】

本実施例では、プロセッサ２１０は、Ｌ＊値のガンマ補正処理を行う。プロセッサ２１０は、処理対象の確認用撮影画像データの補正前のＬ＊値の平均である画像明度値ＰＶｉＬを算出する。プロセッサ２１０は、画像明度値ＰＶｉＬが平均明度値ＴＬに変換されるように、ガンマ補正処理のためのトーンカーブＴＣｉを決定する。そして、プロセッサ２１０は、確認用撮影画像データの複数の画素のそれぞれのＬ＊値を、トーンカーブＴＣｉに基づいて補正する。このように、色補正パラメータＴＬは、Ｌ＊値の基準を示している。

【0047】

図５（Ｅ）は、画像明度値ＰＶｉＬの算出式の例を示す説明図である。図５（Ｅ）中のＰＶｉ（ｘ、ｙ）Ｌは、ｉ番の確認用撮影画像の座標（ｘ、ｙ）の画素のＬ＊値である。ＰＶｉｗは、ｉ番目の確認用撮影画像の第１方向Ｄｘの画素数であり、幅Ｗ１（図２（Ａ））と同じである。ＰＶｉｈは、ｉ番目の確認用撮影画像の第２方向Ｄｙの画素数であり、高さＨ１（図２（Ａ））と同じである。画像明度値ＰＶｉＬは、ｉ番目の確認用撮影画像の全ての画素（ＰＶｉｈ×ＰＶｉｗ個の画素）のＬ＊値の平均である。

【0048】

Ｓ５３０（図６（Ａ））では、プロセッサ２１０は、処理対象の確認用撮影画像のホワイトバランスを補正するホワイトバランス補正処理を行う。本実施例では、Ｓ５３０は、ａ＊値を補正する処理Ｓ５３３と、ｂ＊値を補正する処理Ｓ５３６と、を含んでいる。図６（Ｃ）は、ａ＊の補正式Ｅａと、ｂ＊の補正式Ｅｂと、を示す説明図である。本実施例では、補正後のａ＊値の平均値が第１平均ホワイトバランス値Ｔａに近くなり、補正後のｂ＊値の平均値が第２平均ホワイトバランス値Ｔｂに近くなるように、各画素のａ＊値とｂ＊値とが補正される。このように、第１平均ホワイトバランス値Ｔａは、ａ＊値の基準を示し、第２平均ホワイトバランス値Ｔｂは、ｂ＊値の基準を示している。

【0049】

具体的には、以下の通りである。第１補正式ＥａのＰＶｉ（ｘ、ｙ）ａは、ｉ番の確認用撮影画像の座標（ｘ、ｙ）の画素のａ＊値である。左辺のＰＶｉ（ｘ、ｙ）ａは、補正後のａ＊値を示し、右辺のＰＶｉ（ｘ、ｙ）ａは、補正前のａ＊を示している。ＰＶｉａは、ｉ番目の確認用撮影画像の全ての画素のａ＊値の平均である（図５（Ｆ）参照）。このように、プロセッサ２１０は、処理対象の撮影画像データのａ＊値の平均値ＰＶｉａを算出し、そして、各画素のａ＊値を、第１平均ホワイトバランス値Ｔａから平均値ＰＶｉａを減算して得られる差分を加算することによって、補正する。これにより、補正後のａ＊値の平均値は、第１平均ホワイトバランス値Ｔａに近くなる。

【0050】

ｂ＊値のための第２補正式Ｅｂも、同様に決められている。ＰＶｉ（ｘ、ｙ）ｂは、ｉ番の確認用撮影画像の座標（ｘ、ｙ）の画素のｂ＊値である。左辺のＰＶｉ（ｘ、ｙ）ｂは、補正後のｂ＊値を示し、右辺のＰＶｉ（ｘ、ｙ）ｂは、補正前のｂ＊を示している。ＰＶｉｂは、ｉ番目の確認用撮影画像の全ての画素のｂ＊値の平均である（図５（Ｇ）参照）。プロセッサ２１０は、処理対象の撮影画像データのｂ＊値の平均値ＰＶｉｂを算出し、そして、各画素のｂ＊値を、第２平均ホワイトバランス値Ｔｂから平均値ＰＶｉｂを減算して得られる差分を加算することによって、補正する。これにより、補正後のｂ＊値の平均値は、第２平均ホワイトバランス値Ｔｂに近くなる。

【0051】

Ｓ５４０（図６（Ａ））では、プロセッサ２１０は、補正された色値（Ｌ＊、ａ＊、ｂ＊）を、元の色空間の色値（Ｒ、Ｇ、Ｂ）に変換する。この色変換処理は、Ｓ５１０の色変換処理とは逆方向の変換処理である。以上により、プロセッサ２１０は、補正済の確認用撮影画像データを生成する。プロセッサ２１０は、Ｎｖ個の確認用撮影画像データのそれぞれに、図６（Ａ）の補正処理を実行することによって、Ｎｖ個の補正済の確認用撮影画像データを生成する。そして、図６（Ａ）の処理、すなわち、図４のＳ１５８が、終了する。以後、プロセッサ２１０は、補正済の確認用撮影画像データと対応するラベルデータとの全体を、補正済のラベル付データとして利用する。また、Ｎｖ個の補正済のラベル付データのセットを、補正済の確認用データセットとして利用する。

【0052】

Ｓ１６０では、プロセッサ２１０は、学習用データセットを用いて、学習ロスを算出する。具体的には、プロセッサ２１０は、Ｎｔ個の学習用撮影画像データを機械学習モデル２３８に入力し、Ｎｔ個の不具合データＤｏｕｔを生成する。そして、プロセッサ２１０は、Ｎｔ個の不具合データＤｏｕｔと、Ｎｔ個の学習用撮影画像データに対応付けられたＮｔ個のラベルデータと、を用いて、学習ロスを算出する。図５（Ｄ）は、学習ロスの算出式（損失関数とも呼ばれる）の例を示す説明図である。Ｏｉは、ｉ番の学習用撮影画像データを用いて出力された不具合データＤｏｕｔの値である（予測値Ｏｉとも呼ぶ）。Ｔｉは、ｉ番の学習用撮影画像データに対応付けられたラベルデータの値である（教師値Ｔｉとも呼ぶ）。学習ロスＬｏｓｓ＿ｓは、これらの値Ｏｉ、Ｔｉの差分の二乗の平方根の平均値である。このような学習ロスＬｏｓｓ＿ｓは、値Ｏｉ、Ｔｉの差分の絶対値の平均値を示している。上述したように、これらの値Ｏｉ、Ｔｉは、１またはゼロを示している。予測値Ｏｉが正しい場合、値Ｏｉ、Ｔｉの差分の絶対値は、ゼロである。予測値Ｏｉが誤りである場合、値Ｏｉ、Ｔｉの差分の絶対値は、１である。学習ロスＬｏｓｓ＿ｓは、Ｎｔ個の予測値Ｏｉのうちの正しい予測値Ｏｉの割合が多いほど、小さくなる。

【0053】

Ｓ１７０（図４）では、プロセッサ２１０は、学習ロスＬｏｓｓ＿ｓを用いて、機械学習モデル２３８の複数の演算パラメータ（パラメータセットＰ１ｓ－Ｐ６ｓを含む）を調整する。具体的には、プロセッサ２１０は、学習ロスＬｏｓｓ＿ｓが小さくなるように、所定のアルゴリズムに従って演算パラメータを調整する。所定のアルゴリズムとしては、例えば、誤差逆伝播法と勾配降下法とを用いたアルゴリズムが用いられる。

【0054】

Ｓ１９０では、プロセッサ２１０は、補正済の確認用データセットを用いて、確認ロスを算出する。確認ロスの算出方法は、学習用撮影画像データの代わりに補正済の確認用撮影画像データを用いる点を除いて、Ｓ１６０で説明した学習ロスＬｏｓｓ＿ｓの算出方法と同じである。具体的には、プロセッサ２１０は、Ｎｖ個の補正済の確認用撮影画像データを、Ｓ１７０で更新された演算パラメータを有する機械学習モデル２３８に入力し、Ｎｖ個の不具合データＤｏｕｔを生成する。そして、プロセッサ２１０は、Ｎｖ個の不具合データＤｏｕｔと、Ｎｖ個の補正済の確認用撮影画像データに対応付けられたＮｖ個のラベルデータと、を用いて、確認ロスを算出する。図５（Ｈ）は、確認ロスの算出式（損失関数とも呼ばれる）の例を示す説明図である。Ｏｉは、ｉ番の補正済の確認用撮影画像データを用いて出力された不具合データＤｏｕｔの値である（すなわち、予測値Ｏｉ）。Ｔｉは、ｉ番の補正済の確認用撮影画像データに対応付けられたラベルデータの値である（すなわち、教師値Ｔｉ）。確認ロスＬｏｓｓ＿ｖは、これらの値Ｏｉ、Ｔｉの差分の二乗の平方根の平均値である。

【0055】

Ｓ２００（図４）では、プロセッサ２１０は、トレーニングが完了したか否かを判断する。トレーニング完了の条件は、種々の条件であってよい。本実施例では、トレーニング完了の条件は、学習ロスＬｏｓｓ＿ｓと確認ロスＬｏｓｓ＿ｖとの両方が、所定の基準値（例えば、０．００００１）以下であることである。なお、トレーニング完了の条件は、学習ロスＬｏｓｓ＿ｓと確認ロスＬｏｓｓ＿ｖとの両方が小さいことを示す種々の条件であってよい。例えば、学習ロスＬｏｓｓ＿ｓの基準値は、確認ロスＬｏｓｓ＿ｖの基準と異なっていてよい。

【0056】

トレーニングが完了していない場合（Ｓ２００：Ｎｏ）、プロセッサ２１０は、Ｓ１６０へ移行して、トレーニングを継続する。トレーニングが完了した場合（Ｓ２００：Ｙｅｓ）、Ｓ２１０で、プロセッサ２１０は、調整済の演算パラメータを含む機械学習モデル２３８を、トレーニング済モデルとして、記憶装置２１５（ここでは、不揮発性記憶装置２３０）に格納する。そして、プロセッサ２１０は、図４の処理を終了する。

【0057】

Ａ５．検査処理：
図７は、対象物の検査処理の例を示すフローチャートである。本実施例では、プリンタＤＶ（図２（Ａ））にラベルＬＢが貼られているか否かが検査される。なお、プロセッサ２１０は、第２プログラム２３２に従って、検査処理を行う。

【0058】

Ｓ７１０では、プロセッサ２１０は、不具合データＤｏｕｔの取得処理を行う。図８は、取得処理の例を示すフローチャートである。Ｓ３１０では、プロセッサ２１０は、検査対象のプリンタである注目プリンタの撮影画像データを取得する。本実施例では、注目プリンタが、デジタルカメラ１００（図１）の撮影範囲に配置されていることとする。プロセッサ２１０は、デジタルカメラ１００に撮影指示を供給する。デジタルカメラ１００は、指示に応じて、注目プリンタを撮影し、撮影画像データを生成する。プロセッサ２１０は、デジタルカメラ１００から、撮影画像データを取得する。以下、注目プリンタの撮影画像データを、注目撮影画像データとも呼ぶ。

【0059】

Ｓ３２０では、プロセッサ２１０は、記憶装置２１５から、補正パラメータデータ２３７を取得する。Ｓ３３０では、プロセッサ２１０は、注目撮影画像データの色を補正する補正処理を実行する。この補正処理は、処理対象の画像データが確認用撮影画像データではなく注目撮影画像データである点を除いて、図４のＳ１５８、図６（Ａ）の補正処理と同じである。この補正処理により、補正済の注目撮影画像データのＬ＊、ａ＊、ｂ＊の平均値は、色補正パラメータＴＬ、Ｔａ、Ｔｂに、それぞれ近くなる。

【0060】

Ｓ３４０では、プロセッサ２１０は、補正済の注目撮影画像データを、トレーニングされた機械学習モデル２３８に入力することによって、注目プリンタの不具合データＤｏｕｔを機械学習モデル２３８から取得する（以下、注目不具合データＤｏｕｔとも呼ぶ）。Ｓ３５０では、プロセッサ２１０は、注目不具合データＤｏｕｔを記憶装置２１５（例えば、不揮発性記憶装置２３０）に格納する。以上により、図８の処理、すなわち、図７のＳ７１０が、終了する。なお、図８の処理を実行する情報処理装置２００（図１）は、不具合データＤｏｕｔを取得する取得システムの例である。

【0061】

Ｓ７２０では、プロセッサ２１０は、検査結果を出力する。そして、プロセッサ２１０は、図７の処理を終了する。検査結果は、注目不具合データＤｏｕｔを用いて特定される注目プリンタの不具合の検査結果である。本実施例では、検査結果は、「合格」と「不合格」とのいずれかであり、注目不具合データＤｏｕｔによって示される情報と同じである。検査結果の出力方法は、任意の方法であってよい。例えば、プロセッサ２１０は、検査結果を示す検査結果データを、記憶装置（例えば、不揮発性記憶装置２３０、または、情報処理装置２００に接続された図示しない外部記憶装置）に出力してよい（これにより、検査結果データが、記憶装置に格納される）。また、プロセッサ２１０は、検査結果を示す画像データを、表示部２４０に出力してよい（これにより、検査結果が表示部２４０に表示される）。検査結果の出力（Ｓ７２０）の完了に応じて、プロセッサ２１０は、図７処理を終了する。

【0062】

以上のように、本実施例では、プロセッサ２１０は、図８の処理を実行することによって、不具合データを取得する。具体的には、Ｓ３３０で、プロセッサ２１０は、色の基準を示す色補正パラメータＴＬ、Ｔａ、Ｔｂを用いて、注目プリンタの撮影画像を示す注目撮影画像データの色を補正する（図６（Ａ）参照）。Ｓ３４０では、プロセッサ２１０は、トレーニングされた機械学習モデル２３８に、補正済の注目撮影画像データを入力することによって、トレーニングされた機械学習モデル２３８から注目不具合データＤｏｕｔを取得する。図２（Ａ）、図２（Ｂ）、図３で説明したように、注目不具合データＤｏｕｔは、注目プリンタの外観の不具合に関する情報を示している。また、図３、図４で説明したように、機械学習モデル２３８は、プリンタの撮影画像を示す撮影画像データとプリンタの外観の不具合に関する不具合データとの関係を示すようにトレーニングされている。

【0063】

このような構成により、プロセッサ２１０は、注目撮影画像データの色が基準からずれ得る場合に、適切な注目不具合データＤｏｕｔを取得できる。例えば、注目プリンタの撮影は、トレーニング用の撮影画像データのための撮影とは異なる日に行われ得る。従って、注目プリンタの撮影時の光源ＬＳの状況は、トレーニングのための撮影時の光源ＬＳの状況と、異なり得る。この結果、注目撮影画像データの色は、機械学習モデル２３８のトレーニングに用いられた撮影画像データの色から、ずれ得る。ずれた色を有する注目撮影画像データが機械学習モデル２３８に入力される場合、不適切な注目不具合データＤｏｕｔが生成され得る。本実施例では、補正済の注目撮影画像データが機械学習モデル２３８に入力されるので、適切な注目不具合データＤｏｕｔを取得できる。

【0064】

また、図３で説明したように、トレーニングされた機械学習モデル２３８は、複数のパラメータ（具体的には、パラメータセットＰ１ｓ－Ｐ６ｓ）を含んでいる。図４のＳ１６０、Ｓ１７０で説明したように、トレーニングされた機械学習モデル２３８の複数のパラメータ（パラメータセットＰ１ｓ－Ｐ６ｓを含む）は、Ｎｔ個の学習用撮影画像データを機械学習モデル２３８に入力することによって取得されるＮｔ個の不具合データＤｏｕｔを用いて、調整されている。そして、Ｓ１３０で説明したように、色補正パラメータＴＬ、Ｔａ、Ｔｂは、Ｎｔ個の学習用撮影画像データを用いて算出されている。従って、注目撮影画像データの色の補正（図８：Ｓ３３０）は、補正済の注目撮影画像データの色と、複数の学習用撮影画像データを用いて算出される基準（本実施例では、色補正パラメータＴＬ、Ｔａ、Ｔｂ）と、の間のズレを低減可能である。この結果、図８の取得処理では、プロセッサ２１０は、注目撮影画像データの色が複数の学習用撮影画像データを用いて算出される基準からずれ得る場合に、適切な注目不具合データＤｏｕｔを取得できる。

【0065】

また、図４のＳ１５８で説明したように、プロセッサ２１０は、色補正パラメータＴＬ、Ｔａ、Ｔｂを用いてＮｖ個の確認用撮影画像データの色を補正することによって、Ｎｖ個の補正済の確認用撮影画像データを生成する。Ｓ１９０では、プロセッサ２１０は、Ｎｖ個の補正済の確認用撮影画像データを、Ｓ１７０で調整された演算パラメータを有する機械学習モデル２３８に入力し、Ｎｖ個の不具合データＤｏｕｔを生成する。プロセッサ２１０は、Ｎｖ個の不具合データＤｏｕｔと、Ｎｖ個の確認用撮影画像データにそれぞれ対応付けられたＮｖ個のラベルデータ（すなわち、教師データ）と、を用いて、Ｎｖ個の不具合データＤｏｕｔとＮｖ個の教師データとの間の差を示す確認ロスＬｏｓｓ＿ｖを算出する。Ｓ２００では、プロセッサ２１０は、確認ロスＬｏｓｓ＿ｖが基準値以下であることを含む条件が満たされる場合に、トレーニングを終了する。すなわち、確認ロスＬｏｓｓ＿ｖが基準以下であることを含む条件が満たされるように、トレーニングされた機械学習モデル２３８の複数のパラメータ（パラメータセットＰ１ｓ－Ｐ６ｓを含む）は、調整されている。

【0066】

このように、機械学習モデル２３８は、色補正パラメータＴＬ、Ｔａ、Ｔｂを用いて補正された確認用撮影画像データが機械学習モデル２３８に入力される場合に適切な不具合データＤｏｕｔを出力するように、トレーニングされている。すなわち、機械学習モデル２３８の複数のパラメータ（パラメータセットＰ１ｓ－Ｐ６ｓを含む）は、色補正パラメータＴＬ、Ｔａ、Ｔｂを用いて補正された複数の確認用撮影画像データに適するように調整されている。従って、機械学習モデル２３８は、色補正パラメータＴＬ、Ｔａ、Ｔｂを用いて補正された種々の注目撮影画像データに対して、適切な注目不具合データＤｏｕｔを出力できる。取得処理（図８）では、プロセッサ２１０は、このような機械学習モデル２３８を用いることによって、適切な注目不具合データＤｏｕｔを取得できる。

【0067】

また、図４のＳ１３０、図６（Ａ）－図６（Ｃ）で説明したように、色補正パラメータＴＬ、Ｔａ、Ｔｂは、明度の基準を示す値ＴＬ（明度基準ＴＬとも呼ぶ）と、ホワイトバランスの基準を示す値Ｔａ、Ｔｂ（ホワイトバランス基準Ｔａ、Ｔｂとも呼ぶ）と、を示している。そして、注目撮影画像データの補正処理（図８：Ｓ３３０、図６（Ａ））は、明度補正処理（図６（Ａ）：Ｓ５２０）と、ホワイトバランス補正処理（図６（Ａ）：Ｓ５３０）と、を含んでいる。明度補正処理は、図６（Ｂ）で説明したように、注目撮影画像データの明度を明度基準ＴＬに近づける処理である。具体的には、補正済の注目撮影画像データのＬ＊の平均値が、明度基準ＴＬに近づく。また、ホワイトバランス補正処理は、図６（Ｃ）で説明したように、注目撮影画像データのホワイトバランスをホワイトバランス基準Ｔａ、Ｔｂに近づける処理である。具体的には、補正済の注目撮影画像データのホワイトバランスを示すａ＊の平均値とｂ＊の平均値が、ホワイトバランス基準Ｔａ、Ｔｂに近づく。以上により、図８の取得処理では、プロセッサ２１０は、注目プリンタの撮影時の光源の状況が変化し得る場合に、適切な注目不具合データＤｏｕｔを取得できる。

【0068】

また、図４のＳ１３０、図６（Ａ）で説明したように、明度基準ＴＬは、ＣＩＥＬＡＢ色空間のＬ＊成分の基準を示している。ホワイトバランス基準Ｔａ、Ｔｂは、ＣＩＥＬＡＢ色空間のａ＊成分の基準とｂ＊成分の基準とを、それぞれ、示している。明度補正処理（図６（Ａ）：Ｓ５２０）は、注目撮影画像データのＬ＊成分をＬ＊成分の基準ＴＬを用いて補正する処理を含んでいる。ホワイトバランス補正処理（図６（Ａ）：Ｓ５３０）は、注目撮影画像データのａ＊成分をａ＊成分の基準Ｔａを用いて補正する処理（Ｓ５３３）と、注目撮影画像データのｂ＊成分をｂ＊成分の基準Ｔｂを用いて補正する処理（Ｓ５３６）と、を含んでいる。以上により、プロセッサ２１０は、注目撮影画像データの明度とホワイトバランスとを適切に補正できるので、適切な不具合データを取得できる。

【0069】

Ｂ．第２実施例：
Ｂ１．トレーニング処理：
図９は、機械学習モデル２３８（図３）のトレーニング処理の第２実施例を示すフローチャートである。図４の実施例との差異は、色補正パラメータＴＬ、Ｔａ、Ｔｂの代わりに、予め決められた色補正パラメータＴＬ２、Ｔａ２、Ｔｂ２が用いられる点と、学習用撮影画像データの代わりに補正済の学習用撮影画像データが用いられる点と、である。以下、第１実施例の色補正パラメータＴＬ、Ｔａ、Ｔｂを、第１種補正パラメータＴＬ、Ｔａ、Ｔｂとも呼び、第２実施例の色補正パラメータＴＬ２、Ｔａ２、Ｔｂ２を、第２種補正パラメータＴＬ２、Ｔａ２、Ｔｂ２とも呼ぶ。本実施例では、第２種補正パラメータＴＬ２、Ｔａ２、Ｔｂ２に適するように機械学習モデル２３８をトレーニングするために、確認用撮影画像データに加えて、学習用撮影画像データも、第２種補正パラメータＴＬ２、Ｔａ２、Ｔｂ２を用いて補正される。トレーニング処理を実行する情報処理装置の構成は、図１の情報処理装置２００の構成と同じである。第２種補正パラメータＴＬ２、Ｔａ２、Ｔｂ２を示す補正パラメータデータ２３７は、記憶装置２１５（例えば、不揮発性記憶装置２３０）に予め格納される。なお、第２種補正パラメータＴＬ２、Ｔａ２、Ｔｂ２の決定方法は、種々の方法であってよい。例えば、第２種補正パラメータＴＬ２、Ｔａ２、Ｔｂ２の決定のために、プリンタＤＶが撮影されてよい。そして、この撮影により取得された撮影画像データのＬ＊、ａ＊、ｂ＊の代表値（例えば、平均値、中央値など、複数の画素の色値と相関を有する値）が、第２種補正パラメータＴＬ２、Ｔａ２、Ｔｂ２として用いられてよい。

【0070】

図９のＳ１１０、Ｓ１２０は、図４のＳ１１０、Ｓ１２０と、それぞれ同じである。続くＳ１５０は、図４のＳ１５０と同じである。

【0071】

Ｓ１５４ａでは、プロセッサ２１０は、Ｎｔ個の学習用撮影画像データのそれぞれの色を補正する補正処理を実行する。この補正処理は、第１種補正パラメータＴＬ、Ｔａ、Ｔｂの代わりに第２種補正パラメータＴＬ２、Ｔａ２、Ｔｂ２が用いられる点と、処理対象の画像データが確認用撮影画像データではなく学習用撮影画像データである点と、を除いて、図４のＳ１５８、図６（Ａ）の補正処理と同じである。プロセッサ２１０は、記憶装置２１５から、第２種補正パラメータＴＬ２、Ｔａ２、Ｔｂ２を示す補正パラメータデータ２３７を取得する。そして、プロセッサ２１０は、Ｎｔ個の学習用撮影画像データのそれぞれに対して補正処理を実行することによって、Ｎｔ個の補正済の学習用撮影画像データを生成する。この補正処理により、補正済の学習用撮影画像データのＬ＊、ａ＊、ｂ＊の平均値は、第２種補正パラメータＴＬ２、Ｔａ２、Ｔｂ２に、それぞれ近くなる。以後、プロセッサ２１０は、補正済の学習用撮影画像データと対応するラベルデータとの全体を、補正済の学習用ラベル付データとして利用する。また、プロセッサ２１０は、Ｎｔ個の補正済の学習用ラベル付データのセットを、補正済の学習用データセットとして利用する。

【0072】

Ｓ１５８ａでは、プロセッサ２１０は、Ｎｖ個の確認用撮影画像データのそれぞれの色を補正する補正処理を実行する。この補正処理は、第１種補正パラメータＴＬ、Ｔａ、Ｔｂの代わりに第２種補正パラメータＴＬ２、Ｔａ２、Ｔｂ２が用いられる点を除いて、図４のＳ１５８、図６（Ａ）の補正処理と同じである。プロセッサ２１０は、記憶装置２１５から、第２種補正パラメータＴＬ２、Ｔａ２、Ｔｂ２を示す補正パラメータデータ２３７を取得する。そして、プロセッサ２１０は、Ｎｖ個の確認用撮影画像データのそれぞれに対して補正処理を実行することによって、Ｎｖ個の補正済の確認用撮影画像データを生成する。この補正処理により、補正済の確認用撮影画像データのＬ＊、ａ＊、ｂ＊の平均値は、第２種補正パラメータＴＬ２、Ｔａ２、Ｔｂ２に、それぞれ近くなる。以後、プロセッサ２１０は、補正済の確認用撮影画像データと対応するラベルデータとの全体を、補正済の確認用ラベル付データとして利用する。また、プロセッサ２１０は、Ｎｖ個の補正済の確認用ラベル付データのセットを、補正済の確認用データセットとして利用する。

【0073】

Ｓ１６０ａでは、プロセッサ２１０は、補正済の学習用データセットを用いて、学習ロスＬｏｓｓ＿ｓを算出する。学習ロスＬｏｓｓ＿ｓの算出処理は、未補正の学習用データセットの代わりに補正済の学習用データセットが用いられる点を除いて、図４のＳ１６０の処理と同じである。

【0074】

Ｓ１７０、Ｓ１９０、Ｓ２００は、図４のＳ１７０、Ｓ１９０、Ｓ２００と、それぞれ同じである。トレーニングが完了していない場合（Ｓ２００：Ｎｏ）、プロセッサ２１０は、Ｓ１６０ａへ移行して、トレーニングを継続する。トレーニングが完了した場合（Ｓ２００：Ｙｅｓ）、Ｓ２１０で、プロセッサ２１０は、調整済の演算パラメータを含む機械学習モデル２３８を、トレーニング済モデルとして、記憶装置２１５（ここでは、不揮発性記憶装置２３０）に格納する。そして、プロセッサ２１０は、図９の処理を終了する。

【0075】

Ｂ２．特定処理：
図１０は、取得処理の第２実施例を示すフローチャートである。この取得処理は、第１種補正パラメータＴＬ、Ｔａ、Ｔｂの代わりに第２種補正パラメータＴＬ２、Ｔａ２、Ｔｂ２が用いられる点を除いて、図８の特定処理と同じである。具体的には、図１０の特定処理は、図８の特定処理のＳ３２０、Ｓ３３０を、第２種補正パラメータＴＬ２、Ｔａ２、Ｔｂ２を用いるＳ３２０ａ、Ｓ３３０ａにそれぞれ置換して得られる処理である。Ｓ３２０ａでは、プロセッサ２１０は、記憶装置２１５から、第２種補正パラメータＴＬ２、Ｔａ２、Ｔｂ２を示す補正パラメータデータ２３７を取得する。Ｓ３３０ａでは、プロセッサ２１０は、注目撮影画像データの色を補正する（図６（Ａ）参照）。ここで、第１種補正パラメータＴＬ、Ｔａ、Ｔｂに代えて、第２種補正パラメータＴＬ２、Ｔａ２、Ｔｂ２が用いられる。

【0076】

以上のように、本実施例では、色補正パラメータＴＬ２、Ｔａ２、Ｔｂ２は、予め決められている。そして、図９のＳ１５４ａで説明したように、プロセッサ２１０は、色補正パラメータＴＬ２、Ｔａ２、Ｔｂ２を用いてＮｔ個の学習用撮影画像データの色を補正することによって、Ｎｔ個の補正済の学習用撮影画像データを生成する。Ｓ１６０ａでは、プロセッサ２１０は、Ｎｔ個の補正済の学習用撮影画像データを機械学習モデル２３８に入力することによって、Ｎｔ個の不具合データＤｏｕｔを取得する。Ｓ１６０ａ、Ｓ１７０では、プロセッサ２１０は、Ｎｔ個の不具合データＤｏｕｔを用いて、機械学習モデル２３８の複数の演算パラメータ（パラメータセットＰ１ｓ－Ｐ６ｓを含む）を調整する。このように、トレーニングされた機械学習モデル２３８の複数の演算パラメータは、複数の不具合データＤｏｕｔを用いて、調整されている。複数の不具合データＤｏｕｔは、複数の補正済の学習用撮影画像データを機械学習モデル２３８に入力することによって取得される。複数の補正済の学習用撮影画像データは、色補正パラメータＴＬ２、Ｔａ２、Ｔｂ２を用いて補正されている。このように、機械学習モデル２３８の複数の演算パラメータは、色補正パラメータＴＬ２、Ｔａ２、Ｔｂ２に適するように調整されている。従って、機械学習モデル２３８は、色補正パラメータＴＬ２、Ｔａ２、Ｔｂ２を用いて補正された種々の注目撮影画像データに対して、適切な注目不具合データＤｏｕｔを出力できる。取得処理（図１０）では、プロセッサ２１０は、このような機械学習モデル２３８を用いることによって、適切な注目不具合データＤｏｕｔを取得できる。

【0077】

また、第２実施例のトレーニング処理と特定処理とは、第１種補正パラメータＴＬ、Ｔａ、Ｔｂの代わりに第２種補正パラメータＴＬ２、Ｔａ２、Ｔｂ２が用いられる点と、学習用撮影画像データの代わりに補正済の学習用撮影画像データが用いられる点と、を除いて、第１実施例のトレーニング処理と特定処理とそれぞれ同じである。従って、第２実施例は、第１実施例と同じ種々の利点を実現可能である。

【0078】

Ｃ．変形例：
（１）不具合データＤｏｕｔの取得の対象物は、プリンタに限らず、スキャナ、複合機、デジタルカメラ、カッティングマシン、携帯端末、などの任意の製品であってよい。また、製品を収容するケースが対象物であってよい。

【0079】

（２）機械学習モデル（例えば、図３の機械学習モデル２３８）のトレーニングと不具合データの取得とに用いられる撮影画像データは、対象物の撮影画像を示す種々の画像データであってよい。例えば、撮影画像データの色空間は、ＲＧＢに代えて、ＣＭＹＫ色空間などの他の色空間であってよい。また、撮影画像データは、輝度値によって画像を表現してよい。また、撮影画像データは、デジタルカメラ１００によって生成された画像データに対して、解像度変換処理、トリミング処理などの種々の画像処理を実行することによって、生成されてよい。

【0080】

（３）撮影画像データの色を補正する処理は、図６（Ａ）等で説明した処理に代えて、他の種々の処理であってよい。例えば、補正に用いられる色成分は、Ｌ＊、ａ＊、ｂ＊に代えて、他の色成分であってよい。例えば、Ｙ、Ｃｂ、Ｃｒの３個の色成分が補正されてよい。Ｙ値は、Ｌ＊値と同様に、明度を示す色値である。従って、Ｙ値の補正は、明度を補正できる。Ｙ値は、Ｌ＊の補正と同様に、ガンマ補正処理によって、補正されてよい。また、Ｃｒ値とＣｂ値とは、ａ＊値とｂ＊値と同様に、無彩色からのズレの大きさを示している。従って、Ｃｒ値とＣｂ値との補正は、ホワイトバランスを補正できる。Ｃｒ値とＣｂ値とは、例えば、Ｌ＊の補正と同様に、ガンマ補正によって補正されてよい。

【0081】

また、Ｒ、Ｇ、Ｂの３個の色成分が補正されてよい。Ｒ、Ｇ、Ｂの３個の色成分は、全体として、明度とホワイトバランスとを示している。従って、Ｒ値とＧ値とＢ値との補正は、明度とホワイトバランスとを補正できる。Ｒ値とＧ値とＢ値とは、例えば、Ｌ＊の補正と同様に、ガンマ補正によって補正されてよい。

【0082】

また、ホワイトバランスの補正が省略されて、明度が補正されてよい。これに代えて、明度の補正が省略されて、ホワイトバランスが補正されてよい。

【0083】

いずれの場合も、補正処理は、図６（Ｂ）のようなガンマ補正処理と、図６（Ｃ）のような代表値と基準との差分を加算する処理と、に代えて、色の基準を示す色補正パラメータを用いて色を補正する種々の処理であってよい。例えば、補正処理は、撮影画像データの補正対象の色成分の代表値を、基準に近づける種々の処理であってよい。図６（Ｂ）、図６（Ｃ）の実施例では、代表値として平均値が用いられている（具体的には、画像明度値ＰＶｉＬと平均値ＰＶｉａ、ＰＶｉｂ）。代表値は、平均値に限らず、撮影画像データの複数の画素の色値を用いて算出される種々の値（例えば、平均値、中央値、積算値など複数の画素の色値と相関を有する値）であってよい。代表値は、予め決められた算出式に従って算出されてよい。基準は、代表値の目標値であってよい。補正処理は、比率（基準／代表値）を色値に乗じる処理であってもよい

【0084】

（４）機械学習モデル２３８（図３）は、ラベルＬＢの有無に代えて、他の種々の不具合の有無を予測するようにトレーニングされてよい。例えば、機械学習モデル２３８は、対象物の撮影画像データを用いて、対象物に装着される部品の有無を予測してよい。また、対象物が部品を収容するケースであってよい。機械学習モデル２３８は、対象物の撮影画像データを用いて、ケースに収容される部品の有無を予測してよい。いずれの場合も、機械学習モデルの構成は、図３の構成に代えて、撮影画像を２つのクラスに分類する任意の構成であってよい。例えば、畳込層とプーリング層と全結合層とのそれぞれの総数は、適宜に変更されてよい。また、畳込層とプーリング層とが省略され、機械学習モデルは、複数の全結合層によって構成されてよい。また、機械学習モデルは、ＶＧＧ１６と呼ばれるＣＮＮであってよい。また、ランダムフォレスト、または、サポートベクターマシンが、採用されてよい。

【0085】

また、機械学習モデルは、不具合の有無を示す２値の不具合データＤｏｕｔを出力するモデルに代えて、対象物の外観の不具合に関する不具合データを出力する種々のモデルであってよい。例えば、機械学習モデルは、撮影画像中の対象物の傷を検出する物体検出モデルであってよい。物体検出モデルとしては、例えば、ＹＯＬＯ（You only look once）と呼ばれるモデルや、ＳＳＤ(Single Shot Detector)と呼ばれるモデルなど、種々のモデルを採用可能である。このような物体検出モデルは、例えば、傷などの物体を示す領域（バウンディングボックスとも呼ばれる）と、物体の種類毎の確信度と、を示すデータを出力する。

【0086】

いずれの機械学習モデルも、図４、または、図９の処理によって、トレーニング可能である。ここで、教師データとしては、機械学習モデルから出力されるデータの正解（すなわち、目標値）を示すデータが用いられる。例えば、傷を検出する物体検出モデルをトレーニングする場合には、傷を有する対象物の学習用撮影画像データが用いられる。そして、教師データとしては、傷を示す正しい領域と、傷に対応付けられた高い確信度と、他の種類の物体に対応付けられた低い確信度と、を示すデータが用いられる。

【0087】

また、機械学習モデルのトレーニング方法は、図４、図９で説明した方法に代えて、機械学習モデルに適する種々の方法であってよい。例えば、図４、図９の実施例において、ロスの算出に用いられる損失関数は、図５（Ｄ）、図５（Ｈ）の関数に代えて、２乗和誤差、交差エントロピー誤差など、他の種類の損失を算出する関数であってよい。一般的には、損失関数は、機械学習モデルから出力されるデータと教師データとの間の差の評価値を算出する種々の関数であってよい。例えば、物体検出モデルが用いられる場合には、損失関数は、物体を示す領域の誤差と、物体の種類毎の確信度の誤差と、に相関を有する誤差を算出する種々の関数であってよい。

【0088】

また、機械学習モデルに含まれる演算パラメータを調整する方法は、誤差逆伝播法に代えて、目標値を伝播させる方法（Target Propagationとも呼ばれる）など、他の種々の方法であってよい。また、トレーニング完了の条件は、機械学習モデルから出力されるデータと、教師データと、の間の差が小さいことを示す種々の条件であってよい。例えば、確認ロスＬｏｓｓ＿ｖは、トレーニング完了の条件から省略されてよい。この場合、図４、図９の処理において、全てのラベル付データセットが、学習用データセットとして用いられてよい。また、プロセッサ２１０は、作業者から完了指示が入力された場合にトレーニングが完了したと判断し、トレーニングの継続指示が入力された場合にトレーニングが完了していないと判断してもよい。作業者は、例えば、確認用撮影画像データを用いて出力される不具合データを参照して、トレーニングを終了するか否かを判断してよい。これに代えて、トレーニング完了の条件は、学習ロス（例えば、学習ロスＬｏｓｓ＿ｓ）の算出と演算パラメータの更新（例えば、Ｓ１６０－Ｓ１７０、Ｓ１６０ａ－Ｓ１７０）が、所定回数、繰り返されたことであってよい。

【0089】

（５）検査処理（図７）のＳ７２０で出力される検査結果は、不具合の有無に限らず、機械学習モデルから出力される不具合データを用いて特定される種々の情報であってよい。例えば、機械学習モデルが物体検出モデルである場合、プロセッサ２１０は、検出された物体を示す画像データを、表示部２４０に出力してよい（これにより、物体の画像が表示部２４０に表示される）。作業者は、表示部２４０を観察することによって、検出された物体（例えば、傷）を、容易に確認できる。また、プロセッサ２１０は、検出された物体を示す画像データを、記憶装置（例えば、不揮発性記憶装置２３０、または、情報処理装置２００に接続された図示しない外部記憶装置）に出力してよい（画像データが記憶装置に格納される）。

【0090】

（６）機械学習モデルのトレーニング処理（例えば、図４、図９の処理）と、不具合データの取得処理（例えば、図８、図１０の処理）と、検査結果の出力処理（図７：Ｓ７２０）とは、それぞれ、互いに異なる情報処理装置によって実行されてよい。これらの処理から任意に選択された処理が、ネットワークを介して互いに通信可能な複数の装置（例えば、コンピュータなどの情報処理装置）によって分担されてよい。例えば、不具合データの取得処理は、複数の情報処理装置を含む情報処理システム（取得システムの例）によって、実行されてよい。

【0091】

上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、図１の機械学習モデル２３８の機能を、専用のハードウェア回路によって実現してもよい。

【0092】

また、本発明の機能の一部または全部がコンピュータプログラムで実現される場合には、そのプログラムは、コンピュータ読み取り可能な記録媒体（例えば、一時的ではない記録媒体）に格納された形で提供することができる。プログラムは、提供時と同一または異なる記録媒体（コンピュータ読み取り可能な記録媒体）に格納された状態で、使用され得る。「コンピュータ読み取り可能な記録媒体」は、メモリーカードやＣＤ－ＲＯＭのような携帯型の記録媒体に限らず、各種ＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスクドライブ等のコンピュータに接続されている外部記憶装置も含み得る。

【0093】

以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

【符号の説明】

【0094】

１００…デジタルカメラ、２００…情報処理装置、２１０…プロセッサ、２１５…記憶装置、２２０…揮発性記憶装置、２３０…不揮発性記憶装置、２３１…第１プログラム、２３２…第２プログラム、２３７…補正パラメータデータ、２３８…機械学習モデル、２４０…表示部、２５０…操作部、２７０…通信インタフェース、５１０…第１畳込層、５２０…第１プーリング層、５３０…第２畳込層、５４０…第２プーリング層、５５０…第１全結合層、５６０…第２全結合層、５７０…第３全結合層、５８０…判定部、Ｐ１ｓ－Ｐ６ｓ…パラメータセット、ｘ…座標値、ｙ…座標値、Ｌｏｓｓ＿ｓ…学習ロス、Ｌｏｓｓ＿ｖ…確認ロス、Ｄｏｕｔ…不具合データ、Ｗ１…幅、Ｈ１…高さ、ＬＢ…ラベル、ＬＳ…光源、ＤＶ…対象物（プリンタ）、Ｄｘ…第１方向、Ｄｙ…第２方向、ＴＣｉ…トーンカーブ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】