特開 2023-173059 物体検出モデル、および、物体検出モデルの訓練方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023173059

(43)【公開日】2023-12-07

(54)【発明の名称】物体検出モデル、および、物体検出モデルの訓練方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231130BHJP

【ＦＩ】

G06T7/00 350B

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022085051

(22)【出願日】2022-05-25

(71)【出願人】

【識別番号】000005267

【氏名又は名称】ブラザー工業株式会社

(74)【代理人】

【識別番号】110001058

【氏名又は名称】鳳国際弁理士法人

(72)【発明者】

【氏名】宮澤 雅史

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096BA03

5L096FA34

5L096FA59

5L096FA62

5L096FA64

5L096FA69

5L096GA08

5L096GA30

5L096GA40

5L096GA51

5L096GA55

5L096HA11

5L096KA04

5L096MA07

(57)【要約】

【課題】検出すべき物体が、物体検出モデルによって特定される物体領域からはみ出ることを抑制する。
【解決手段】物体検出モデルの訓練処理は、訓練画像を示す訓練画像データを物体検出モデルに入力して、出力データを生成し、出力データと、正解領域情報を含む教師データと、を用いて、損失関数に従って損失値を算出し、損失値を用いて物体検出モデルの演算パラメータを調整する。損失関数は、出力データによって示される物体領域が正解領域の全体を含むか否かに応じて損失値を調整する調整パラメータと、を含む。あるいは、正解領域より広く、正解領域の全体を含む調整正解領域を示す調整正解領域情報が生成され、該調整正解領域情報を含む教師データを用いて、損失値が算出される。
【選択図】 図７

【特許請求の範囲】

【請求項1】

物体を含む入力画像を示す入力画像データが入力される場合に少なくとも物体領域を示す出力データを生成する訓練済みの物体検出モデルであって、
前記物体領域は、前記入力画像内の一部の領域であり、かつ、前記物体を含む領域であり、
前記物体検出モデルの訓練処理は、
物体を含む訓練画像を示す訓練画像データを前記物体検出モデルに入力して、前記出力データを生成する生成処理と、
前記出力データと、前記出力データが前記物体領域として示すべき正解領域を示す正解領域情報を含む教師データと、を用いて、損失関数に従って損失値を算出する損失算出処理と、
前記損失値を用いて前記出力データと前記教師データとの差異が小さくなるように前記物体検出モデルの演算パラメータを調整するパラメータ調整処理と、
を含み、
前記損失関数は、前記物体領域と前記正解領域との差異に応じて前記損失値を変動させる特定部分と、前記出力データによって示される前記物体領域が前記正解領域の全体を含むか否かに応じて前記損失値を調整する調整パラメータと、を含み、
前記調整パラメータは、第１パラメータと第２パラメータとのうちのいずれかであり、
前記第１パラメータは、前記特定部分が、前記物体領域と前記正解領域との差異が小さいほど前記損失値を小さくする部分である場合に用いられる前記調整パラメータであって、前記物体領域が前記正解領域の全体を含む場合に前記損失値が小さくなり、前記物体領域が前記正解領域の全体を含まない場合に前記損失値が大きくなるように、前記損失値を調整する前記調整パラメータであり、
前記第２パラメータは、前記特定部分が、前記物体領域と前記正解領域との差異が小さいほど前記損失値を大きくする部分である場合に用いられる前記調整パラメータであって、前記物体領域が前記正解領域の全体を含む場合には前記損失値が大きくなり、前記物体領域が前記正解領域の全体を含まない場合には前記損失値が小さくなるように、前記損失値を調整する前記調整パラメータである、物体検出モデル。

【請求項2】

請求項１に記載の物体検出モデルであって、
前記第１パラメータは、前記物体領域が前記正解領域の全体を含まない場合には、前記物体領域が前記正解領域の全体を含む場合よりも大きな値を加算する項であり、
前記第２パラメータは、前記物体領域が前記正解領域の全体を含まない場合には、前記物体領域が前記正解領域の全体を含む場合よりも小さな値を加算する項である、物体検出モデル。

【請求項3】

請求項１に記載の物体検出モデルであって、
前記第１パラメータは、前記特定部分に乗算される係数であって、前記物体領域が前記正解領域の全体を含まない場合には、前記物体領域が前記正解領域の全体を含む場合よりも前記損失値を大きくする度合が大きな値に設定される係数であり、
前記第２パラメータは、前記特定部分に乗算される係数であって、前記物体領域が前記正解領域の全体を含まない場合には、前記物体領域が前記正解領域の全体を含む場合よりも前記損失値を小さくする度合が大きな値に設定される係数である、物体検出モデル。

【請求項4】

請求項１に記載の物体検出モデルであって、
前記第１パラメータと前記第２パラメータは、前記出力データによって示される前記物体領域が第１物体領域である場合に前記特定部分にて算出される調整前の第１損失値と、前記出力データによって示される前記物体領域が第２物体領域である場合に前記特定部分にて算出される調整前の第２損失値と、が等しい場合であっても、調整後の前記第１損失値と調整後の前記第２損失値と、が異なるように調整するパラメータであり、
前記第１物体領域は、前記正解領域の全体を含まない前記物体領域であり、
前記第２物体領域は、前記正解領域の全体を含む前記物体領域であり、
前記第１パラメータは、調整後の前記第１損失値が調整後の前記第２損失値より大きくなるように調整するパラメータであり、
前記第２パラメータは、調整後の前記第１損失値が調整後の前記第２損失値より小さくなるように調整するパラメータである、物体検出モデル。

【請求項5】

請求項１に記載の物体検出モデルであって、
前記出力データによって示される前記物体領域と前記正解領域とは、多角形の領域であり、
前記調整パラメータは、多角形の前記物体領域の複数個の辺のうち、前記正解領域の中心から見て前記正解領域の対応する辺より内側に位置する辺の数が多いほど、前記損失値を調整する度合が大きくなるように設定される、物体検出モデル。

【請求項6】

請求項１に記載の物体検出モデルであって、
前記調整パラメータは、前記正解領域に含まれ、かつ、前記出力データによって示される前記物体領域に含まれない領域の面積が大きいほど、前記損失値を調整する度合が大きくなるように設定される、物体検出モデル。

【請求項7】

物体を含む入力画像を示す入力画像データが入力される場合に少なくとも物体領域を示す出力データを生成する訓練済みの物体検出モデルであって、
前記物体領域は、前記入力画像内の一部の領域であり、かつ、前記物体を含む領域であり、
前記物体検出モデルの訓練処理は、
物体を含む訓練画像を示す訓練画像データを前記物体検出モデルに入力して、前記出力データを生成する生成処理と、
前記出力データが前記物体領域として示すべき正解領域を示す正解領域情報を調整して、前記正解領域より広く、前記正解領域の全体を含む調整正解領域を示す調整正解領域情報を生成する調整処理と、
前記出力データと、前記調整正解領域情報を含む教師データと、を用いて、損失関数に従って損失値を算出する損失算出処理と、
前記損失値を用いて前記出力データと前記教師データとの差異が小さくなるように前記物体検出モデルの演算パラメータを調整するパラメータ調整処理と、
を含む、物体検出モデル。

【請求項8】

請求項７に記載の物体検出モデルであって、
前記出力データによって示される前記物体領域と前記正解領域とは、矩形の領域であり、
前記調整正解領域の中心は、前記正解領域の中心と同一であり、
前記調整正解領域の一辺に沿う第１方向の長さは、前記正解領域の前記第１方向の長さよりも長く、
前記調整正解領域の前記第１方向と直交する第２方向の長さは、前記正解領域の前記第２方向の長さよりも長い、物体検出モデル。

【請求項9】

請求項１～８のいずれかに記載の物体検出モデルを用いるコンピュータプログラムであって、
検査対象の前記物体を含む対象画像を示す対象画像データを前記物体検出モデルに入力して、前記対象画像内の前記物体を含む前記物体領域を特定する特定機能と、
前記対象画像データを用いて、前記物体領域内の画像を示す物体画像データを生成する生成機能と、
前記物体画像データを用いて、前記物体の異常を検出する検出機能と、
をコンピュータに実現させるコンピュータプログラム。

【請求項10】

物体を含む入力画像を示す入力画像データが入力される場合に少なくとも物体領域を示す出力データを生成する物体検出モデルの訓練方法であって、
前記物体領域は、前記入力画像内の一部の領域であり、かつ、前記物体を含む領域であり、
前記訓練方法は、
物体を含む訓練画像を示す訓練画像データを前記物体検出モデルに入力して、前記出力データを生成する生成工程と、
前記出力データと、前記出力データが前記物体領域として示すべき正解領域を示す正解領域情報を含む教師データと、を用いて、損失関数に従って損失値を算出する損失算出工程と、
前記損失値を用いて前記出力データと前記教師データとの差異が小さくなるように前記物体検出モデルの演算パラメータを調整するパラメータ調整工程と、
を備え、
前記損失関数は、前記物体領域と前記正解領域との差異に応じて前記損失値を変動させる特定部分と、前記出力データによって示される前記物体領域が前記正解領域の全体を含むか否かに応じて前記損失値を調整する調整パラメータと、を含み、
前記調整パラメータは、第１パラメータと第２パラメータとのうちのいずれかであり、
前記第１パラメータは、前記特定部分が、前記物体領域と前記正解領域との差異が小さいほど前記損失値を小さくする部分である場合に用いられる前記調整パラメータであって、前記物体領域が前記正解領域の全体を含む場合に前記損失値が小さくなり、前記物体領域が前記正解領域の全体を含まない場合に前記損失値が大きくなるように、前記損失値を調整する前記調整パラメータであり、
前記第２パラメータは、前記特定部分が、前記物体領域と前記正解領域との差異が小さいほど前記損失値を大きくする部分である場合に用いられる前記調整パラメータであって、前記物体領域が前記正解領域の全体を含む場合には前記損失値が大きくなり、前記物体領域が前記正解領域の全体を含まない場合には前記損失値が小さくなるように、前記損失値を調整する前記調整パラメータである、訓練方法。

【請求項11】

物体を含む入力画像を示す入力画像データが入力される場合に少なくとも物体領域を示す出力データを生成する物体検出モデルの訓練方法であって、
前記物体領域は、前記入力画像内の一部の領域であり、かつ、前記物体を含む領域であり、
前記訓練方法は、
物体を含む訓練画像を示す訓練画像データを前記物体検出モデルに入力して、前記出力データを生成する生成工程と、
前記出力データが前記物体領域として示すべき正解領域を示す正解領域情報を調整して、前記正解領域より広く、前記正解領域の全体を含む調整正解領域を示す調整正解領域情報を生成する調整工程と、
前記出力データと、前記調整正解領域情報を含む教師データと、を用いて、損失関数に従って損失値を算出する損失算出工程と、
前記損失値を用いて前記出力データと前記教師データとの差異が小さくなるように前記物体検出モデルの演算パラメータを調整するパラメータ調整工程と、
を備える、訓練方法。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、画像内の物体を検出するための物体検出モデル、および、物体検出モデルの訓練方法に関する。

【背景技術】

【0002】

非特許文献１に開示された物体検出モデルは、画像内の物体の検出と、物体の識別（クラス分類）と、を実行する。物体の検出結果は、物体が存在する矩形領域を示す情報として出力される。

【先行技術文献】

【特許文献】

【0003】

【非特許文献1】J. Redmon, and A. Farhadi,“YOLOv3: An Incremental Improvement”,arXiv:1804.02767(2018),https://arxiv.org/abs/1804.02767,投稿日8 Apr 2018

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、画像内の検出すべき物体が、物体検出モデルによる検出結果として出力される矩形領域からはみ出る場合があった。この場合には、例えば、物体の全体を含む画像を切り出したい場合には、切り出した画像において、物体の一部が欠けてしまう問題があった。

【0005】

本明細書は、画像内の検出すべき物体が、物体検出モデルによって特定される物体領域からはみ出ることを抑制する技術を開示する。

【課題を解決するための手段】

【0006】

本明細書に開示された技術は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の適用例として実現することが可能である。

【0007】

［適用例１］物体を含む入力画像を示す入力画せ像データが入力される場合に少なくとも物体領域を示す出力データを生成する訓練済みの物体検出モデルであって、前記物体領域は、前記入力画像内の一部の領域であり、かつ、前記物体を含む領域であり、前記物体検出モデルの訓練処理は、物体を含む訓練画像を示す訓練画像データを前記物体検出モデルに入力して、前記出力データを生成する生成処理と、前記出力データと、前記出力データが前記物体領域として示すべき正解領域を示す正解領域情報を含む教師データと、を用いて、損失関数に従って損失値を算出する損失算出処理と、前記損失値を用いて前記出力データと前記教師データとの差異が小さくなるように前記物体検出モデルの演算パラメータを調整するパラメータ調整処理と、を含み、前記損失関数は、前記物体領域と前記正解領域との差異に応じて前記損失値を変動させる特定部分と、前記出力データによって示される前記物体領域が前記正解領域の全体を含むか否かに応じて前記損失値を調整する調整パラメータと、を含み、前記調整パラメータは、第１パラメータと第２パラメータとのうちのいずれかであり、前記第１パラメータは、前記特定部分が、前記物体領域と前記正解領域との差異が小さいほど前記損失値を小さくする部分である場合に用いられる前記調整パラメータであって、前記物体領域が前記正解領域の全体を含む場合に前記損失値が小さくなり、前記物体領域が前記正解領域の全体を含まない場合に前記損失値が大きくなるように、前記損失値を調整する前記調整パラメータであり、前記第２パラメータは、前記特定部分が、前記物体領域と前記正解領域との差異が小さいほど前記損失値を大きくする部分である場合に用いられる前記調整パラメータであって、前記物体領域が前記正解領域の全体を含む場合には前記損失値が大きくなり、前記物体領域が前記正解領域の全体を含まない場合には前記損失値が小さくなるように、前記損失値を調整する前記調整パラメータである、物体検出モデル。

【0008】

上記構成によれば、損失関数は、出力データによって示される物体領域が正解領域の全体を含むか否かに応じて損失値を調整する調整パラメータを含んでいる。この結果、物体検出モデルは、正解領域の全体を含む物体領域を示す出力データを出力するように訓練されている。したがって、画像内の検出すべき物体が、物体検出モデルによって特定される物体領域からはみ出ることを抑制することができる。

【0009】

［適用例２］物体を含む入力画像を示す入力画像データが入力される場合に少なくとも物体領域を示す出力データを生成する訓練済みの物体検出モデルであって、前記物体領域は、前記入力画像内の一部の領域であり、かつ、前記物体を含む領域であり、前記物体検出モデルの訓練処理は、物体を含む訓練画像を示す訓練画像データを前記物体検出モデルに入力して、前記出力データを前記物体検出モデルに生成させる生成処理と、前記出力データが前記物体領域として示すべき正解領域を示す正解領域情報を調整して、前記正解領域より広く、前記正解領域の全体を含む調整正解領域を示す調整正解領域情報を生成する調整処理と、前記出力データと、前記調整正解領域情報を含む教師データと、を用いて、損失関数に従って損失値を算出する損失算出処理と、前記損失値を用いて前記出力データと前記教師データとの差異が小さくなるように前記物体検出モデルの演算パラメータを調整するパラメータ調整処理と、を含む、物体検出モデル。

【0010】

上記構成によれば、正解領域より広く、正解領域の全体を含む調整正解領域を示す調整正解領域情報に、出力データにて示される物体領域が近づくように、物体検出モデルが訓練されている。この結果、正解領域の全体を含む物体領域を示す出力データが出力されるように物体検出モデルが訓練されている。したがって、画像内の検出すべき物体が、物体検出モデルによって特定される物体領域からはみ出ることを抑制することができる。

【0011】

なお、本明細書に開示される技術は、他の種々の形態で実現することが可能であり、例えば、物体検出モデルの訓練方法、物体検出モデルを用いる検査装置、検査方法、これらの装置および方法を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、等の形態で実現することができる。

【図面の簡単な説明】

【0012】

【図1】本実施例の検査システム１０００の構成を示すブロック図。

【図2】製品３００の説明図。

【図3】物体検出モデルＡＮの構成を示すブロック図。

【図4】物体検出モデルＡＮの動作の説明図。

【図5】物体検出モデルＡＮの訓練処理のフローチャート。

【図6】訓練画像ＴＩの一例を示す図。

【図7】第１実施例の損失関数Ｌtotalの説明図。

【図8】検査処理のフローチャート。

【図9】検査処理の説明図。

【図10】第２実施例の損失関数Ｌtotalの説明図。

【図11】第３実施例の損失関数Ｌtotalの説明図。

【図12】第４実施例の損失関数Ｌtotalの説明図。

【図13】第５実施例の物体検出モデルＡＮの訓練処理のフローチャート。

【図14】第５実施例の損失関数Ｌtotalの説明図。

【0013】

Ａ．第１実施例
Ａ－１．検査装置の構成
次に、実施の形態を実施例に基づき説明する。図１は、本実施例の検査システム１０００の構成を示すブロック図である。検査システム１０００は、処理装置１００と、撮像装置４００と、を含んでいる。処理装置１００と撮像装置４００とは、通信可能に接続されている。

【0014】

処理装置１００は、例えば、パーソナルコンピュータなどの計算機である。処理装置１００は、処理装置１００のコントローラとしてのＣＰＵ１１０と、ＧＰＵ１１５と、ＲＡＭなどの揮発性記憶装置１２０と、ハードディスクドライブなどの不揮発性記憶装置１３０と、マウスやキーボードなどの操作部１５０と、液晶ディスプレイなどの表示部１４０と、通信部１７０と、を備えている。通信部１７０は、外部機器、例えば、撮像装置４００と通信可能に接続するための有線または無線のインタフェースを含む。

【0015】

ＧＰＵ（Graphics Processing Unit）１１５は、ＣＰＵ１１０の制御に従って、３次元グラフィックスなどの画像処理のための計算処理を行うプロセッサである。本実施例では、後述する物体検出モデルＡＮや画像生成モデルＧＮの演算処理を実行するために利用される。

【0016】

揮発性記憶装置１２０は、ＣＰＵ１１０が処理を行う際に生成される種々の中間データを一時的に格納するバッファ領域を提供する。不揮発性記憶装置１３０には、検査装置用のコンピュータプログラムＰＧと、訓練画像データ群ＬＧと、教師データ群ＴＧと、が格納されている。訓練画像データ群ＬＧは、複数個（例えば、数百～数万個）の訓練画像データを含んでいる。教師データ群ＴＧは、複数個の訓練画像データに対応する複数個の教師データを含んでいる。訓練画像データと教師データとは、後述する物体検出モデルＡＮの訓練処理において用いられる。

【0017】

コンピュータプログラムＰＧは、後述する物体検出モデルＡＮや画像生成モデルＧＮの機能をＣＰＵ１１０とＧＰＵ１１５とが協働して実現させるコンピュータプログラムをモジュールとして含んでいる。コンピュータプログラムＰＧは、例えば、処理装置１００の製造者によって提供される。コンピュータプログラムＰＧは、例えば、サーバからダウンロードされる形態で提供されても良く、ＤＶＤ－ＲＯＭなどに格納される形態で提供されてもよい。ＣＰＵ１１０は、コンピュータプログラムＰＧを実行することにより、後述する検査処理や訓練処理を実行する。

【0018】

撮像装置４００は、二次元イメージセンサを用いて被写体を撮像することによって被写体を表す画像データ（撮像画像データとも呼ぶ）を生成するデジタルカメラである。撮像画像データは、複数個の画素を含む画像を示すビットマップデータであり、具体的には、ＲＧＢ値によって画素ごとの色を表すＲＧＢ画像データである。ＲＧＢ値は、３個の色成分の階調値（以下、成分値とも呼ぶ）、すなわち、Ｒ値、Ｇ値、Ｂ値を含むＲＧＢ表色系の色値である。Ｒ値、Ｇ値、Ｂ値は、例えば、所定の階調数（例えば、２５６）の階調値である。撮像画像データは、画素ごとの輝度を表す輝度画像データであっても良い。

【0019】

撮像装置４００は、処理装置１００の制御に従って、撮像画像データを生成し、処理装置１００に送信する。本実施例では、撮像装置４００は、検査処理の検査対象であるラベルＬが貼付された製品３００を撮像して、撮像画像を示す撮像画像データを生成するために用いられる。

【0020】

図２は、製品３００の説明図である。図２（Ａ）には、製品３００の斜視図が示されている。製品３００は、本実施例では、略直方体の筐体３０を有するプリンタである。製造工程において、筐体３０の前面３１（＋Ｙ側の面）には、矩形のラベルＬが所定の貼付位置に貼付される。

【0021】

図２（Ｂ）には、ラベルＬが示されている。ラベルＬは、例えば、背景Ｂと、製造者や製品のブランドロゴ、型番、ロット番号等の各種の情報を示す文字ＴＸやマークＭＫと、を含んでいる。

【0022】

Ａ－２．物体検出モデルＡＮの構成
図３は、物体検出モデルＡＮの構成を示すブロック図である。物体検出モデルＡＮとしては、種々のオブジェクト検出モデルを採用可能である。本実施例では、物体検出モデルＡＮは、ＹＯＬＯ（You only look once）と呼ばれるオブジェクト検出モデルである。ＹＯＬＯは、例えば、論文「Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi, "You Only Look Once: Unified, Real-Time Object Detection", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 779-788」に開示されている。ＹＯＬＯモデルは、畳込ニューラルネットワークを用いて、画像内のオブジェクトが位置する領域と、該領域に位置するオブジェクトの種別と、を予測する。

【0023】

図３に示すように、物体検出モデルＡＮは、ｍ個（ｍは１以上の整数）の畳込層ＣＶ１１－ＣＶ１ｍと、畳込層ＣＶ１１－ＣＶ１ｍに続くｎ個（ｎは１以上の整数）の全結合層ＣＮ１１－ＣＮ１ｎと、を有している（ｍは、例えば、２４。ｎは、例えば、２）。ｍ個の畳込層ＣＶ１１－ＣＶ１ｍのうちの１以上の畳込層の直後には、プーリング層が設けられる。

【0024】

畳込層ＣＶ１１－ＣＶ１ｍは、入力されるデータに対して、畳込処理とバイアスの加算処理とを含む処理を実行する。畳込処理は、入力されたデータに対して、ｔ個のフィルタを順次に適用し、入力されたデータとフィルタとの相関を示す相関値を算出する処理である（ｔは、１以上の整数）。フィルタを適用する処理では、フィルタをスライドさせながら複数個の相関値が順次に算出される。バイアスの加算処理は、算出された相関値に、バイアスを加算する処理である。バイアスは、１個のフィルタに対して１個ずつ準備されている。フィルタの次元とフィルタの数ｔとは、通常は、ｍ個の畳込層ＣＶ１１－ＣＶ１ｍの間で異なっている。畳込層ＣＶ１１－ＣＶ１ｍは、複数のフィルタの複数の重みと複数のバイアスとを含むパラメータセットを、それぞれ有している。

【0025】

プーリング層は、直前の畳込層から入力されたデータに対して、データの次元数を削減する処理を実行する。プーリングの処理としては、平均プーリング、最大プーリングなど、種々の処理を利用可能である。本実施例では、プーリング層は、最大プーリングを行う。最大プーリングは、所定サイズ（例えば、２×２）のウィンドウを所定のストライド（例えば、２）でスライドさせつつ、ウィンドウ内の最大値を選択することによって次元数を削減する。

【0026】

全結合層ＣＮ１１－ＣＮ１ｎは、直前の層から入力されたｆ次元のデータ（すなわち、ｆ個の値。ｆは２以上の整数）を用いて、ｇ次元のデータ（すなわち、ｇ個の値。ｇは２以上の整数）を出力する。出力されるｇ個の値のそれぞれは、入力されるｆ個の値で構成されるベクトルとｆ個の重みで構成されるベクトルとの内積に、バイアスを加えた値である。入力データの次元数ｆと出力データの次元数ｇとは、通常は、ｎ個の全結合層ＣＮ１１－ＣＮ１ｎの間で異なっている。全結合層ＣＮ１１－ＣＮ１ｎは、複数の重みと複数のバイアスとを含むパラメータセットを、それぞれ有している。

【0027】

なお、畳込層ＣＶ１１－ＣＶ１ｍと全結合層ＣＮ１１－ＣＮ１ｎとのそれぞれによって生成されるデータは、活性化関数に入力されて変換される。活性化関数としては、種々の関数を利用可能である。本実施例では、最後の層（ここでは、全結合層ＣＮ１ｎ）には、線形活性化関数（linear activation function）が用いられ、他の層には、漏洩正規化線形ユニット（Leaky Rectified Linear Unit：LReLU）が用いられる。

【0028】

図４は、物体検出モデルＡＮの動作の説明図である。物体検出モデルＡＮには、入力画像データＩＤａが入力される。本実施例では、入力画像データＩＤａとして、詳細は後述する撮像画像データが入力される。

【0029】

物体検出モデルＡＮは、入力画像データＩＤａが入力されると、入力画像データＩＤａに対して上述したパラメータセットを用いた演算処理を実行して、出力データＯＤを生成する。出力データＯＤは、Ｓ×Ｓ×（Ｂ×５＋Ｃ）個の予測値を含むデータである。各予測値は、画像内のオブジェクト（本実施例ではラベル）が位置すると予測される予測領域ＢＢ（バウンディングボックスとも呼ばれる）を示す予測領域情報と、該予測領域ＢＢに存在するオブジェクトの種別（クラスとも呼ばれる）を示すクラス情報と、を含む。

【0030】

図４（Ａ）には、入力画像データＩＤａによって示される入力画像ＩＩａが示されている。予測領域は、入力画像ＩＩａをＳ×Ｓ（Ｓは２以上の整数。図４（Ａ）の例では、Ｓ＝５）に分割して得られる（Ｓ×Ｓ）個のセルＣＬに対して、Ｂ（Ｂは１以上の整数、例えば、２）個ずつ設定される。図４（Ａ）には、ハッチングされたセルＣＬに対して設定された１個の予測領域ＢＢが例示されている。予測領域ＢＢの中心Ｃｂは、該予測領域ＢＢが設定されたセルＣＬ内に位置する。

【0031】

図４（Ｂ）には、図４（Ａ）の予測領域ＢＢの拡大図が示されている。各予測領域情報は、セルＣＬに対する予測領域ＢＢの中心座標（Ｘｂ、Ｙｂ）と、幅（方向Ｄｘの長さ）Ｗｂと、高さ（方向Ｄｙの長さ）Ｈｂと、予測領域の確信度Ｖｃと、の５個の値を含む。確信度Ｖｃは、予測領域ＢＢにオブジェクトが存在する確率を示す情報である。クラス情報は、セルＣＬに存在するオブジェクトの種別を種別ごとの確率で示す情報である。クラス情報は、オブジェクトの種別をＣ種（Ｃは１以上の整数）に分類する場合に、Ｃ個の確率を示す値を含む。本実施例では、Ｃ＝１であり、オブジェクトがラベルであるか否かを識別する。このために、出力データＯＤは、上述のように、Ｓ×Ｓ×（Ｂ×５＋Ｃ）個の予測値を含む。

【0032】

Ａ－３．物体検出モデルＡＮの訓練処理
図５は、物体検出モデルＡＮの訓練処理のフローチャートである。図６は、訓練画像ＴＩの一例を示す図である。訓練処理は、物体検出モデルＡＮを、以下の目的（１）～（３）を実現するように訓練する処理である。
（１）入力画像ＩＩａがオブジェクトとしてラベルを含む場合に、該ラベルが位置するラベル領域を示す予測領域ＢＢの予測領域情報を含む出力データＯＤを出力する。
（２）ラベル領域を示す予測領域ＢＢの確信度Ｖｃを最大値（例えば、１）に近い確信度とし、ラベル領域とは異なる領域を示す予測領域の確信度Ｖｃを最小値（例えば、０）に近い確信度とする。
（３）ラベル領域を示す予測領域ＢＢが対応付けられたセルＣＬのクラス情報は、オブジェクトがラベルであることを示す。

【0033】

この結果、物体検出モデルＡＮは、出力データＯＤが入力画像（例えば、図６（Ａ）の訓練画像ＴＩ）の適切なラベル領域を示すように、訓練される。訓練によって、物体検出モデルＡＮの演算に用いられる複数の演算パラメータ（複数の層ＣＶ１１－ＣＶ１ｍ、ＣＮ１１－ＣＮ１ｎのそれぞれの演算に用いられる複数の演算パラメータを含む）が、調整される。訓練処理前は、複数の演算パラメータは、乱数値などの初期値に設定されている。

【0034】

Ｓ４１０では、ＣＰＵ１１０は、不揮発性記憶装置１３０に格納された訓練画像データ群ＬＧと教師データ群ＴＧから、バッチサイズ分の複数個（例えば、数百個）の訓練画像データと、該複数個の訓練画像データに対応する複数個の教師データと、を取得する。図６に示すように、訓練画像ＴＩは、背景ＢＩと、ラベルＴＬと、を含んでいる。このように訓練画像ＴＩに示されるラベルを、実物のラベルＬ（図２）と区別するために符号の先頭に「Ｔ」を付した符号を用いて、ラベルＴＬとする。図６の訓練画像ＴＩは、製品３００に貼付されたラベルＬを、デジタルカメラを用いて撮像することによって、生成された画像データである。このために、背景ＢＩは、製品３００の一部を示す画像となっている。これに限らず、複数個の訓練画像ＴＩは、撮像された撮像画像に、ラベルＴＬを示す画像を前景として合成して得られる画像を含んでも良い。複数個の訓練画像ＴＩは、多様な大きさのラベルＴＬが、多様な位置および角度で配置された画像を含む。

【0035】

教師データは、対応する合成画像データが物体検出モデルＡＮに入力される場合に、出力されるべき理想的な出力データＯＤを示す。例えば、教師データは、Ｓ×Ｓ×（Ｂ×５＋Ｃ）個の予測値のうち、訓練画像ＴＩ（図６）におけるラベルＴＬの中心Ｃｔが位置するセルＣＬに対応する理想的な予測値として、正解領域情報と、最大の確信度Ｖｃ（例えば、１）と、ラベルを示すクラス情報と、を含む。また、教師データは、ラベルＴＬの中心Ｃｔが位置しないセルＣＬに対応する予測値として、最小の確信度Ｖｃ（例えば、０）を含む。

【0036】

正解領域情報は、正解領域ＴＢ（図６）を示す情報である。正解領域ＴＢは、訓練済みの物体検出モデルＡＮの出力データＯＤが示すべきラベル領域ＬＡ（後述）である。正解領域ＴＢは、訓練画像ＴＩ内のラベルＴＬが配置された領域であり、例えば、ラベルＴＬに外接する矩形の領域である。なお、図４（Ａ）～図４（Ｃ）にも、図６の正解領域ＴＢが図示されている。正解領域ＴＢは、正解領域ＴＢの中心Ｃｔが位置するセルＣＬに対応付けられる。正解領域情報は、正解領域ＴＢを定義する情報であり、正解領域ＴＢに対応するセルＣＬに対する正解領域ＴＢの中心座標（Ｘｔ、Ｙｔ）と、幅（方向Ｄｘの長さ）Ｗｔと、高さ（方向Ｄｙの長さ）Ｈｔと、を含む。

【0037】

教師データは、例えば、以下のように予め作成される。例えば、処理装置１００は、訓練画像ＴＩを表示部１４０に表示して正解領域ＴＢの指定を受け付ける。オペレータは、訓練画像ＴＩを見ながら訓練画像ＴＩ内のラベルＴＬを特定し、該ラベルＴＬに外接する正解領域ＴＢを指定する。正解領域ＴＢの指定は、例えば、マウスのポインティングデバイスを用いた操作によって、行われる。処理装置１００は、指定された正解領域ＴＢに基づいて、上述した教師データを生成し、訓練画像ＴＩを示す訓練画像データと対応付けて、不揮発性記憶装置１３０に格納する。

【0038】

Ｓ４２０では、ＣＰＵ１１０は、複数個の訓練画像データを物体検出モデルＡＮに入力し、複数個の訓練画像データに対応する複数個の出力データＯＤを生成する。

【0039】

Ｓ４３０では、複数個の出力データＯＤと、複数個の出力データＯＤに対応する複数個の教師データと、を用いて、損失値を算出する。

【0040】

損失値の算出には、出力データＯＤと教師データとの間の差異に応じた損失値を算出する損失関数Ｌtotalが用いられる。本実施例の損失関数Ｌtotalは、出力データＯＤと教師データとの間の差異が小さいほど、小さな損失値を算出する。図７は、第１実施例の損失関数Ｌtotalの説明図である。図７（Ａ）に示すように、損失関数Ｌtotalは、領域損失項Ｌbbと、オブジェクト損失項Ｌobjと、クラス損失項Ｌclassと、の和である。

【0041】

領域損失項Ｌbbは、教師データによって示される正解領域ＴＢと、出力データＯＤによって示される対応する予測領域ＢＢと、の差に応じた損失値を算出する。本実施例では、領域損失項Ｌbbは、正解領域ＴＢと予測領域ＢＢとの差が小さいほど小さな損失値を算出する。領域損失項Ｌbbは、上記の目的（１）を実現するための項である。

【0042】

図７（Ｂ）には、領域損失項Ｌbbの式が示されている。図７（Ｂ）の式において、ｉは、（Ｓ×Ｓ）個のセルＣＬを識別する識別番号であり、１≦ｉ≦Ｓ^２を満たす整数である。ｊは、１個のセルＣＬに対応するＢ個の予測領域を識別する識別番号であり、１≦ｊ≦Ｂを満たす整数である。換言すれば、ｉとｊの組み合わせ（ｉ、ｊ）は、（Ｓ×Ｓ×Ｂ）個の予測領域を識別する識別情報である。Ｍ（ｉ、ｊ）は、１または０の値を取る。（ｉ、ｊ）が、（Ｓ×Ｓ×Ｂ）個の予測領域のうち、正解領域ＴＢに対応する予測領域ＢＢを示す場合には、Ｍ（ｉ、ｊ）は１である。（ｉ、ｊ）が、（Ｓ×Ｓ×Ｂ）個の予測領域のうち、正解領域ＴＢに対応しない予測領域を示す場合には、Ｍ（ｉ、ｊ）は０である。λは、所定の係数である。Ｘｔ、Ｙｔは、上述したように、正解領域ＴＢの中心Ｃｔの座標であり、Ｗｔ、Ｈｔは、正解領域ＴＢの幅と高さである。Ｘｂ、Ｙｂは、正解領域ＴＢに対応する予測領域ＢＢの中心Ｃｂの座標である。Ｗｂ、Ｈｂは、正解領域ＴＢに対応する予測領域ＢＢの幅と高さである。

【0043】

図７（Ｂ）の式において、カギ括弧の中の特定部分ＳＰは、予測領域ＢＢを定義する値（Ｘｂ、Ｙｂ、Ｗｂ、Ｈｂ）のそれぞれと、正解領域ＴＢを定義する値（Ｘｔ、Ｙｔ、Ｗｔ、Ｈｔ）のそれぞれと、の二乗誤差の和である。このように、特定部分ＳＰは、予測領域ＢＢと正解領域ＴＢとの差異に応じて変動する部分である。調整パラメータＰＡは、特定部分ＳＰに乗算される調整係数であり、例えば、１以上の値（本実施例では、１またはα）を取る（図７（Ｂ））。調整パラメータＰＡが大きな値であるほど、領域損失項Ｌbbひいては損失関数Ｌtotalによって算出される損失値を大きくする度合が大きい。

【0044】

調整パラメータＰＡは、図７（Ｃ）の式で示される。（Ｘ１ｂ、Ｙ１ｂ）は、予測領域ＢＢの左上の頂点Ｐ１ｂの座標である（図４（Ｂ））。（Ｘ２ｂ、Ｙ２ｂ）は、予測領域ＢＢの右下の頂点Ｐ２ｂの座標である（図４（Ｂ））。（Ｘ１ｔ、Ｙ１ｔ）は、正解領域ＴＢの左上の頂点Ｐ１ｔの座標である（図４（Ｂ））。（Ｘ２ｔ、Ｙ２ｔ）は、正解領域ＴＢの右下の頂点Ｐ２ｔの座標である（図４（Ｂ））。

【0045】

予測領域ＢＢの頂点Ｐ１ｂの座標（Ｘ１ｂ、Ｙ１ｂ）は、予測領域ＢＢの中心Ｃｂの座標（Ｘｂ、Ｙｂ）と、予測領域ＢＢの幅Ｗｂおよび高さＨｂと、を用いて、以下のように算出される。
Ｘ１ｂ＝Ｘｂ－（Ｗｂ／２）
Ｙ１ｂ＝Ｙｂ－（Ｈｂ／２）

【0046】

予測領域ＢＢの頂点Ｐ２ｂの座標（Ｘ２ｂ、Ｙ２ｂ）は、予測領域ＢＢの中心Ｃｂの座標（Ｘｂ、Ｙｂ）と、予測領域ＢＢの幅Ｗｂおよび高さＨｂと、を用いて、以下のように算出される。
Ｘ２ｂ＝Ｘｂ＋（Ｗｂ／２）
Ｙ２ｂ＝Ｙｂ＋（Ｈｂ／２）

【0047】

正解領域ＴＢの頂点Ｐ１ｔの座標（Ｘ１ｔ、Ｙ１ｔ）は、正解領域ＴＢの中心Ｃｔの座標（Ｘｔ、Ｙｔ）と、正解領域ＴＢの幅Ｗｔおよび高さＨｔと、を用いて、以下のように算出される。
Ｘ１ｔ＝Ｘｔ－（Ｗｔ／２）
Ｙ１ｔ＝Ｙｔ－（Ｈｔ／２）

【0048】

正解領域ＴＢの頂点Ｐ２ｔの座標（Ｘ２ｔ、Ｙ２ｔ）は、正解領域ＴＢの中心Ｃｔの座標（Ｘｔ、Ｙｔ）と、正解領域ＴＢの幅Ｗｔおよび高さＨｔと、を用いて、以下のように算出される。
Ｘ２ｔ＝Ｘｔ＋（Ｗｔ／２）
Ｙ２ｔ＝Ｙｔ＋（Ｈｔ／２）

【0049】

調整パラメータＰＡは、上述のように１またはαの値をとる。αは、１よりも大きな値であり（１＜α）、例えば、１０である。調整パラメータＰＡは、予測領域ＢＢが正解領域ＴＢの全体を含む場合、すなわち、Ｘ１ｂ≦Ｘ１ｔ、かつ、Ｙ１ｂ≦Ｙ１ｔ、かつ、Ｘ２ｂ≧Ｘ２ｔ、かつ、Ｘ２ｂ≧Ｘ２ｔが満たされる場合には、１である。調整パラメータＰＡは、予測領域ＢＢが正解領域ＴＢの全体を含まない場合、すなわち、Ｘ１ｂ＞Ｘ１ｔ、または、Ｙ１ｂ＞Ｙ１ｔ、または、Ｘ２ｂ＜Ｘ２ｔ、または、Ｘ２ｂ＜Ｘ２ｔが満たされる場合には、αである。換言すれば、調整パラメータＰＡは、予測領域ＢＢが正解領域ＴＢの全体を含まない場合、すなわち、正解領域ＴＢの少なくとも一部が予測領域ＢＢの外側にある場合に、損失値にペナルティを付与するものである。これによって、予測領域ＢＢが正解領域ＴＢの全体を含む場合に損失値が小さくなり、予測領域ＢＢが正解領域ＴＢの全体を含まない場合に損失値が大きくなるように、損失値が調整される。

【0050】

例えば、図４（Ｃ）に示すように、２つの予測領域ＢＢ、すなわち、第１予測領域ＢＢ１と、第２予測領域ＢＢ２と、を仮定する。第１予測領域ＢＢ１は、正解領域ＴＢの全体を含まない予測領域ＢＢである。第２予測領域ＢＢ２は、正解領域ＴＢの全体を含む予測領域ＢＢである。

【0051】

第１予測領域ＢＢ１の中心Ｃｂ１は、正解領域ＴＢの中心Ｃｔと同一である。第１予測領域ＢＢ１の幅Ｗｂ１は、正解領域ＴＢの幅Ｗｔよりも（２×ΔＷ）だけ短い。第１予測領域ＢＢ１の高さＨｂ１は、正解領域ＴＢの高さＨｔよりも（２×ΔＨ）だけ短い。

【0052】

第２予測領域ＢＢ２の中心Ｃｂ２は、正解領域ＴＢの中心Ｃｔと同一である。第２予測領域ＢＢ２の幅Ｗｂ２は、正解領域ＴＢの幅Ｗｔよりも（２×ΔＷ）だけ長い。第２予測領域ＢＢ２の高さＨｂ２は、正解領域ＴＢの高さＨｔよりも（２×ΔＨ）だけ長い。

【0053】

予測領域ＢＢが第１予測領域ＢＢ１である場合に、図７（Ｂ）の特定部分ＳＰによって算出される第１損失値は、予測領域ＢＢが第２予測領域ＢＢ２である場合に、特定部分ＳＰによって算出される第２損失値と等しい。すなわち、仮に、調整パラメータＰＡがない場合には、予測領域ＢＢが第１予測領域ＢＢ１であっても第２予測領域ＢＢ２であっても、領域損失項Ｌbbによって算出される損失値は等しい。

【0054】

本実施例では、特定部分ＳＰに調整パラメータＰＡが乗算されることによって、予測領域ＢＢが第１予測領域ＢＢ１である場合に領域損失項Ｌbbによって算出される損失値は、予測領域ＢＢが第２予測領域ＢＢ２である場合に領域損失項Ｌbbによって算出される損失値よりも大きな値に調整される。

【0055】

オブジェクト損失項Ｌobjは、予測領域の確信度Ｖｃについて、教師データの値（０または１）と出力データＯＤの値との差異が小さいほど小さな値を算出する項である。例えば、オブジェクト損失項Ｌobjは、正解領域ＴＢと対応する予測領域ＢＢの確信度Ｖｃが最大値（例えば、１）であり、かつ、正解領域ＴＢと対応しない予測領域の確信度Ｖｃが最小値（例えば、０）である場合に、最小の損失値を算出する項である。オブジェクト損失項Ｌobjは、上記の目的（２）を実現するための項である。

【0056】

クラス損失項Ｌclassは、教師データに含まれるクラス情報と、出力データＯＤに含まれる対応するクラス情報と、の差異が小さいほど小さな損失値を算出する項である。出力データＯＤに含まれる対応するクラス情報は、出力データＯＤに含まれる複数個のクラス情報のうち、教師データに含まれるクラス情報が対応付けられたセルＣＬに対応付けられたクラス情報である。クラス損失項Ｌclassは、上記の目的（３）を実現するための項である。

【0057】

オブジェクト損失項Ｌobjとクラス損失項Ｌclassの詳細は省略するが、これらの項の具体的な損失関数には、差異に応じた損失値を算出するための公知の損失関数、例えば、二乗誤差、クロスエントロピー誤差、絶対誤差が用いられる。

【0058】

Ｓ４４０では、ＣＰＵ１１０は、算出された損失値を用いて、物体検出モデルＡＮの複数の演算パラメータを調整する。具体的には、ＣＰＵ１１０は、訓練画像データごとに算出される損失値の合計が小さくなるように、所定のアルゴリズムに従って演算パラメータを調整する。所定のアルゴリズムとしては、例えば、誤差逆伝播法と勾配降下法とを用いたアルゴリズムが用いられる。これによって、出力データと教師データとの差異が小さくなるように物体検出モデルＡＮの演算パラメータが調整される。

【0059】

Ｓ４５０では、ＣＰＵ１１０は、訓練の終了条件が満たされるか否かを判断する。訓練終了条件は、種々の条件であってよい。訓練終了の条件は、例えば、損失値が基準値以下になったことや、損失値の変化量が基準値以下になったことや、Ｓ４４０の演算パラメータの調整が繰り返された回数が所定数以上になったことである。

【0060】

訓練の終了条件が満たされない場合には（Ｓ４５０：ＮＯ）、ＣＰＵ１１０は、Ｓ４１０に戻って、訓練を継続する。訓練の終了条件が満たされた場合には（Ｓ４５０：ＹＥＳ）、ＣＰＵ１１０は、Ｓ４６０にて、調整済の演算パラメータを含む訓練済みの物体検出モデルＡＮのデータを、不揮発性記憶装置１３０に格納して、訓練処理を終了する。

【0061】

Ａ－４.画像生成モデルＧＮの構成と訓練処理
画像生成モデルＧＮは、いわゆるオートエンコーダであり、エンコーダとデコーダとを備えている（図示省略）。エンコーダは、入力画像データに対して次元削減処理を実行して、入力画像データによって表される入力画像の特徴を抽出して特徴データを生成する。デコーダは、特徴データに対して次元復元処理を実行して、出力画像を示す出力画像データを生成する。出力画像のサイズは、入力画像のサイズと同じである。

【0062】

画像生成モデルＧＮは、出力画像が、ラベルを示す入力画像の特徴を再構成して再現した再現画像を示すように訓練されている。このために、訓練済みの画像生成モデルＧＮによって生成される出力画像データを、再現画像を示す再現画像データとも呼ぶ。再現画像は、入力画像とほぼ同様の画像である。なお、訓練済みの画像生成モデルＧＮは、正常なラベルの特徴のみを再構成するように訓練される。このために、例えば、欠陥を含むラベルを示す画像データが訓練済みの画像生成モデルＧＮに入力される場合に生成される再現画像データは、欠陥のない正常なラベルの画像を示すことが期待できる。換言すれば、画像生成モデルＧＮに、正常なラベルの画像データが入力される場合も、欠陥を含むラベルの画像データが入力される場合も、再現画像は、正常なラベルを再現した画像になる。

【0063】

Ａ－５.検査処理
図８は、検査処理のフローチャートである。図９は、検査処理の説明図である。検査処理は、検査対象のラベルＬが欠陥等を含む異常品であるか、欠陥等を含まない正常品であるかを検査する処理である。検査処理は、ラベルＬごとに実行される。検査処理は、ユーザ（例えば、検査の作業者）が処理の開始指示を、操作部１５０を介して処理装置１００に入力した場合に、開始される。例えば、ユーザは、検査すべきラベルＬが貼り付けられた製品３００を、撮像装置４００を用いて撮像するための所定の位置に配置した状態で、検査処理の開始指示を入力する。

【0064】

Ｓ９００では、ＣＰＵ１１０は、検査すべきラベルＬ（以下、検査品とも呼ぶ）を含む撮像画像を示す撮像画像データを取得する。例えば、ＣＰＵ１１０は、撮像装置４００に撮像指示を送信して、撮像装置４００に撮像画像データを生成させ、撮像装置４００から撮像画像データを取得する。この結果、例えば、図９（Ａ）の撮像画像ＦＩを示す撮像画像データが取得される。撮像画像ＦＩは、製品の前面Ｆ３１と、前面Ｆ３１上に貼付されたラベルＦＬとを示す画像である。このように撮像画像ＦＩに示される製品の前面およびラベルを、実物の前面３１およびラベルＬ（図２）と区別するために符号の先頭に「Ｆ」を付した符号を用いて、前面Ｆ３１、ラベルＦＬとする。ラベルＦＬ内のラベルＦＬは、キズなどの欠陥を含む場合もある。

【0065】

Ｓ９０５では、ＣＰＵ１１０は、取得された撮像画像データを物体検出モデルＡＮに入力して、撮像画像ＦＩ内の一部の領域であり、ラベルＦＬを含む領域であるラベル領域ＬＡを特定する。具体的には、ＣＰＵ１１０は、撮像画像データを、入力画像データＩＤａ（図３）として物体検出モデルＡＮに入力して、撮像画像データに対応する出力データＯＤ（図３）を生成する。ＣＰＵ１１０は、出力データＯＤによって示される（Ｓ×Ｓ×Ｂ）個の予測領域ＢＢのうち、対応する確信度Ｖｃが所定の閾値ＴＨａ以上であり、かつ、対応するクラス情報によって領域内のオブジェクトがラベルであると予測される予測領域ＢＢを特定する。ＣＰＵ１１０は、該予測領域ＢＢをラベル領域ＬＡとして特定する。互いに重なる２以上のラベル領域ＬＡが特定される場合には、例えば、「Non-maximal suppression」と呼ばれる公知の処理が行われて、２以上のラベル領域から１つのラベル領域ＬＡが特定される。例えば、図９（Ａ）の例では、撮像画像ＦＩ内において、ラベルＦＬの全体を含み、ラベルＦＬにほぼ外接するラベル領域ＬＡが特定されている。

【0066】

Ｓ９１０では、ＣＰＵ１１０は、撮像画像データを用いて、検証画像ＳＩを示す検証画像データを生成する。具体的には、ＣＰＵ１１０は、撮像画像ＦＩからラベル領域ＬＡを切り出して、検証画像ＳＩを示す検証画像データを生成する。ＣＰＵ１１０は、必要に応じて検証画像ＳＩを拡大または縮小するサイズ調整処理を実行して、検証画像ＳＩのサイズを画像生成モデルＧＮの入力画像のサイズに調整する。図９（Ｂ）、（Ｃ）の検証画像ＳＩは、ラベル領域ＬＡ内の画像（すなわち、ラベルＦＬの画像）を示している。なお、図９（Ｂ）の検証画像ＳＩａのラベルＦＬａは、正常品であり、キズなどの欠陥を含んでいない。図９（Ｃ）の検証画像ＳＩｂのラベルＦＬｂは、異常品であり、線状のキズｄｆを含んでいる。

【0067】

Ｓ９１５では、ＣＰＵ１１０は、検証画像データを、訓練済みの画像生成モデルＧＮに入力し、検証画像データに対応する再現画像データを生成する。再現画像データによって示される再現画像は、上述したように、入力された検証画像ＳＩのラベルＦＬを再現した画像である。例えば、入力された検証画像ＳＩが図９（Ｂ）、（Ｃ）の検証画像ＳＩａ、ＳＩｂのいずれであっても、生成される再現画像は、図９（Ｂ）の検証画像ＳＩａのように欠陥を含まない画像になる。

【0068】

Ｓ９２０では、ＣＰＵ１１０は、検証画像データと再現画像データとを用いて、差分画像ＤＩを示す差分画像データを生成する。例えば、ＣＰＵ１１０は、検証画像ＳＩの画素の成分値ｖ１と、対応する再現画像の画素の成分値ｖ２と、の差分値（ｖ１－ｖ２）を算出し、該差分値を０～１の範囲の値に正規化する。ＣＰＵ１１０は、画素ごと、色成分ごとに、当該差分値を算出し、該差分値を画素の色値とする差分画像データを生成する。

【0069】

図９（Ｄ）、（Ｅ）には、差分画像ＤＩの一例が示されている。図９（Ｄ）の差分画像ＤＩａは、入力画像が図９（Ｂ）の正常品を示す検証画像ＳＩａである場合に生成される差分画像である。差分画像ＤＩａは、キズなどの欠陥を含まない。図９（Ｅ）の差分画像ＤＩｂは、入力画像が図９（Ｃ）の異常品を示す検証画像ＳＩｂである場合に生成される差分画像である。差分画像ＤＩｂは、検証画像ＳＩｂに含まれるキズｄｆに対応するキズｄｆｄを含んでいる。このために、差分画像ＤＩを参照することで、例えば、検証画像ＳＩに含まれる欠陥の有無、位置、大きさ、形状を特定することができる。

【0070】

Ｓ９２５では、ＣＰＵ１１０は、差分画像データを用いて、差分画像ＤＩに含まれる異常画素を特定する。異常画素は、例えば、差分画像ＤＩに含まれる複数個の画素のうち、ＲＧＢ値の少なくとも１つの成分値が閾値ＴＨ１以上である画素である。例えば、図９（Ｄ）の差分画像ＤＩａが処理対象である場合には、異常画素は特定されない。図９（Ｅ）の差分画像ＤＩｂが処理対象である場合には、キズｄｆｄを構成する複数個の画素が異常画素として特定される。

【0071】

Ｓ９４０では、ＣＰＵ１１０は、差分画像ＤＩにおいて特定された異常画素の個数が閾値ＴＨ２以上であるか否かを判断する。異常画素の個数が閾値ＴＨ２未満である場合には（Ｓ９４０：ＮＯ）、Ｓ９５０にて、ＣＰＵ１１０は、検査品としてのラベルは正常品であると判定する。異常画素の個数が閾値ＴＨ２以上である場合には（Ｓ９４０：ＹＥＳ）、Ｓ９４５にて、ＣＰＵ１１０は、検査品としてのラベルは異常品であると判定する。Ｓ９５５では、ＣＰＵ１１０は、検査結果を表示部１４０に表示して、検査処理を終了する。このように機械学習モデルＡＮ、ＧＮを用いて、検査品が正常品であるか異常品であるかを判定することができる。

【0072】

以上説明した本実施例の物体検出モデルＡＮの訓練処理（図５）では、ＣＰＵ１１０は、訓練画像データを物体検出モデルＡＮに入力して、出力データＯＤを生成する（Ｓ４２０）。ＣＰＵ１１０は、出力データＯＤと、正解領域情報を含む教師データと、を用いて、損失関数Ｌtotal（図７）に従って損失値を算出する（図５のＳ４３０）。ＣＰＵ１１０は、損失値を用いて物体検出モデルＡＮの演算パラメータを調整する（図５のＳ４４０）。損失関数Ｌtotalのうちの領域損失項Ｌbbは、出力データＯＤによって示されるラベル領域、すなわち、予測領域ＢＢ（図４（Ａ）～図４（Ｃ））と正解領域ＴＢとの差異に応じて損失値を変動させる特定部分ＳＰと、調整パラメータＰＡと、を含む（図７（Ｂ））。調整パラメータＰＡは、予測領域ＢＢが正解領域ＴＢの全体を含むか否かに応じて損失値を調整する。本実施例では、上述したように、領域損失項Ｌbbは、予測領域ＢＢと正解領域ＴＢとの差異が小さいほど損失値を小さくする項である。このために、本実施例の調整パラメータＰＡは、予測領域ＢＢが正解領域ＴＢの全体を含む場合に損失値が小さくなり、予測領域ＢＢが正解領域ＴＢの全体を含まない場合に損失値が大きくなるように、損失値を調整する（図７（Ｃ））。

【0073】

上記構成によれば、損失関数は、予測領域ＢＢが正解領域ＴＢの全体を含むか否かに応じて損失値を調整する調整パラメータＰＡを含んでいる。この結果、物体検出モデルＡＮは、正解領域ＴＢの全体を含む予測領域ＢＢを示す出力データＯＤを出力するように訓練される。

【0074】

より具体的には、調整パラメータＰＡによって、損失値は、予測領域ＢＢが正解領域ＴＢの全体を含む場合に損失値が小さくなり、予測領域ＢＢが正解領域ＴＢの全体を含まない場合に損失値が大きくなるように調整される。したがって、損失値を用いて物体検出モデルＡＮの演算パラメータを調整する際に、予測領域ＢＢが正解領域ＴＢの全体を含むように、演算パラメータが調整されやすい。したがって、撮像画像ＦＩ内の検出すべきラベルＦＬが、物体検出モデルＡＮによって特定されるラベル領域ＬＡからはみ出ることを抑制することができる。

【0075】

仮に、検査処理において、検出すべきラベルＦＬが、物体検出モデルＡＮによって特定されるラベル領域ＬＡからはみ出る場合には、検証画像ＳＩ（図９（Ｂ）、（Ｃ））にラベルＦＬの一部分が含まれない。この場合には、ラベルＦＬの一部分が検査の対象にならないので、検査の対象にならない一部分に欠陥が含まれる場合には、該欠陥が検出されない。本実施例では、このような不都合を抑制して、欠陥の検出精度の低下を抑制できる。

【0076】

さらに、本実施例によれば、調整パラメータＰＡは、領域損失項Ｌbbの特定部分ＳＰに乗算される調整係数である（図７（Ｂ））。調整パラメータＰＡは、予測領域ＢＢが正解領域ＴＢの全体を含まない場合には、予測領域ＢＢが正解領域ＴＢの全体を含む場合よりも損失値を大きくする度合が大きな値に設定される係数である（図７（Ｃ））。この結果、特定部分ＳＰに乗算される調整パラメータＰＡによって、出力データＯＤによって示される予測領域ＢＢが正解領域ＴＢの全体を含むか否かに応じて損失値が調整される。したがって、物体検出モデルＡＮは、出力される予測領域ＢＢが正解領域ＴＢの全体を含むように、物体検出モデルＡＮを適切に訓練し得る。

【0077】

さらに、本実施例によれば、図４（Ｃ）を参照して説明したように、調整パラメータＰＡによって、予測領域ＢＢが第１予測領域ＢＢ１である場合に特定部分ＳＰにて算出される調整前の第１損失値と、予測領域ＢＢが第１予測領域ＢＢ１である場合に特定部分ＳＰにて算出される調整前の第２損失値と、が等しい場合であっても、調整後の第１損失値が調整後の第２損失値より大きくなるように、調整される。この結果、訓練時において、予測領域ＢＢが正解領域ＴＢの全体を含む方向に、損失値を適切に調整できる。したがって、物体検出モデルＡＮは、出力される予測領域ＢＢが正解領域ＴＢの全体を含むように、物体検出モデルＡＮを適切に訓練し得る。

【0078】

さらに、本実施例の検査処理では、ＣＰＵ１１０は、検査対象のラベルＦＬを含む撮像画像ＦＩを示す撮像画像データを物体検出モデルＡＮに入力して、撮像画像ＦＩ内のラベル領域ＬＡを特定する（図８のＳ９０５）。ＣＰＵ１１０は、撮像画像データを用いて、ラベル領域ＬＡ内の画像を示す検証画像データを生成する（図８のＳ９１０）。ＣＰＵ１１０は、検証画像データを用いて、ラベルＬの欠陥などの異常を検出する（図８のＳ９１５～Ｓ９５０）。この結果、撮像画像ＦＩ内の検出すべきラベルＦＬが、物体検出モデルＡＮによって特定されるラベル領域ＬＡからはみ出ることが抑制される。この結果、ラベルＬの一部が検査の対象から外れることを抑制できるので、ラベルＬの異常の検出精度を向上し得る。

【0079】

以上の説明から解るように、本実施例のラベル領域ＬＡおよび予測領域ＢＢは、物体領域の例であり、本実施例の調整パラメータＰＡは、第１パラメータの例である。

【0080】

Ｂ.第２実施例
第２実施例では、損失関数Ｌtotalが第１実施例とは異なる。第２実施例の他の構成は、第１実施例と同様である。図１０は、第２実施例の損失関数Ｌtotalの説明図である。第２実施例の損失関数Ｌtotalでは、図７（Ｂ）の領域損失項Ｌbbに代えて、図１０（Ｂ）の領域損失項Ｌbb2が用いられる。

【0081】

第２実施例の領域損失項Ｌbb2では、調整パラメータＰＡに代えて、調整パラメータＰＢが用いられる。具体的には、図１０（Ｂ）に示すように、領域損失項Ｌbb2では、特定部分ＳＰに、調整パラメータＰＢが加算される。調整パラメータＰＢが大きな値であるほど、領域損失項Ｌbb2ひいては損失関数Ｌtotalによって算出される損失値を大きくする度合が大きい。

【0082】

図１０（Ｃ）に示すように、調整パラメータＰＢは、０またはβの値をとる。αは、０よりも大きな正の値であり（０＜β）、例えば、１０である。調整パラメータＰＢは、予測領域ＢＢが正解領域ＴＢの全体を含む場合、すなわち、Ｘ１ｂ≦Ｘ１ｔ、かつ、Ｙ１ｂ≦Ｙ１ｔ、かつ、Ｘ２ｂ≧Ｘ２ｔ、かつ、Ｘ２ｂ≧Ｘ２ｔが満たされる場合には、０である。調整パラメータＰＡは、予測領域ＢＢが正解領域ＴＢの全体を含まない場合、すなわち、Ｘ１ｂ＞Ｘ１ｔ、または、Ｙ１ｂ＞Ｙ１ｔ、または、Ｘ２ｂ＜Ｘ２ｔ、または、Ｘ２ｂ＜Ｘ２ｔが満たされる場合には、βである。第１実施例の調整パラメータＰＡと同様に、調整パラメータＰＢは、予測領域ＢＢが正解領域ＴＢの全体を含まない場合に、損失値にペナルティを付与するものである。これによって、予測領域ＢＢが正解領域ＴＢの全体を含む場合に損失値が小さくなり、予測領域ＢＢが正解領域ＴＢの全体を含まない場合に損失値が大きくなるように、損失値が調整される。

【0083】

以上説明した第２実施例によれば、調整パラメータＰＢは、予測領域ＢＢが正解領域ＴＢの全体を含まない場合には、予測領域ＢＢが正解領域ＴＢの全体を含む場合よりも大きな値を加算する調整項である。この結果、特定部分ＳＰに加算される調整パラメータＰＢによって、出力データＯＤによって示される予測領域ＢＢが正解領域ＴＢの全体を含むか否かに応じて損失値が調整される。したがって、物体検出モデルＡＮは、出力される予測領域ＢＢがラベル領域ＬＡの全体を含むように適切に訓練され得る。

【0084】

Ｃ.第３実施例
第３実施例では、損失関数Ｌtotalが第１、第２実施例とは異なる。第３実施例の他の構成は、第１、第２実施例と同様である。図１１は、第３実施例の損失関数Ｌtotalの説明図である。第３実施例の損失関数Ｌtotalでは、図１０（Ｂ）の領域損失項Ｌbb2に代えて、図１１（Ｂ）の領域損失項Ｌbb3が用いられる。

【0085】

第３実施例の領域損失項Ｌbb3では、第２実施例の調整パラメータＰＢに代えて、調整パラメータＰＢ２が用いられる。図１１（Ｂ）に示すように、調整パラメータＰＢ２は、調整パラメータＰＢと同様に、特定部分ＳＰに加算される。調整パラメータＰＢ２が大きな値であるほど、領域損失項Ｌbb3ひいては損失関数Ｌtotalによって算出される損失値を大きくする度合が大きい。

【0086】

調整パラメータＰＢ２は、０、γ、２γ、３γ、４γの５種の値のいずれかをとる。γは、０よりも大きな正の値であり（０＜γ）、例えば、１０である。調整パラメータＰＢ２は、矩形（四角形）の予測領域ＢＢの４個の辺Ｅｂｒ、Ｅｂｌ、Ｅｂｕ、Ｅｂｂのうち、正解領域ＴＢの中心Ｃｔから見て正解領域ＴＢの対応する辺Ｅｔｒ、Ｅｔｌ、Ｅｔｕ、Ｅｔｂより内側に位置する辺の数（内側辺数とも呼ぶ）ＥＮが多いほど、大きな値を取る。内側辺数ＥＮは、０≦ＥＮ≦４を満たす５つの整数のいずれかである。

【0087】

図１１（Ｄ）に示すように、内側辺数ＥＮが０である場合は、予測領域ＢＢの４個の辺Ｅｂｒ、Ｅｂｌ、Ｅｂｕ、Ｅｂｂの全てが、正解領域ＴＢの対応する辺Ｅｔｒ、Ｅｔｌ、Ｅｔｕ、Ｅｔｂより外側に位置している。換言すれば、内側辺数ＥＮが０である場合は、予測領域ＢＢが正解領域ＴＢの全体を含む場合である。この場合には、調整パラメータＰＢ２は、最小の値０を取る（図１１（Ｃ））。

【0088】

図１１（Ｅ）～図１１（Ｈ）に示すように、内側辺数ＥＮが１以上である場合は、予測領域ＢＢの４個の辺Ｅｂｒ、Ｅｂｌ、Ｅｂｕ、Ｅｂｂのうちの少なくとも１つが、正解領域ＴＢの対応する辺Ｅｔｒ、Ｅｔｌ、Ｅｔｕ、Ｅｔｂより内側に位置している。換言すれば、内側辺数ＥＮが１以上である場合は、予測領域ＢＢが正解領域ＴＢの全体を含まない場合である。この場合には、調整パラメータＰＢ２は、０より大きな値を取る（図１１（Ｃ））。

【0089】

図１１（Ｅ）の例では、予測領域ＢＢの１個の辺Ｅｂｒが正解領域ＴＢの対応する辺Ｅｔｒより内側に位置している。また、予測領域ＢＢの３個の辺Ｅｂｌ、Ｅｂｕ、Ｅｂｂが正解領域ＴＢの対応する辺Ｅｔｌ、Ｅｔｕ、Ｅｔｂより外側に位置している。したがって、この例では、内側辺数ＥＮは１であり、調整パラメータＰＢ２の値は、γである（図１１（Ｃ））。

【0090】

図１１（Ｆ）の例では、予測領域ＢＢの２個の辺Ｅｂｒ、Ｅｂｂが正解領域ＴＢの対応する辺Ｅｔｒ、Ｅｔｂより内側に位置している。また、予測領域ＢＢの２個の辺Ｅｂｌ、Ｅｂｕが正解領域ＴＢの対応する辺Ｅｔｌ、Ｅｔｕより外側に位置している。したがって、この例では、内側辺数ＥＮは２であり、調整パラメータＰＢ２の値は、２γである（図１１（Ｃ））。

【0091】

図１１（Ｇ）の例では、予測領域ＢＢの３個の辺Ｅｂｒ、Ｅｂｌ、Ｅｂｕが正解領域ＴＢの対応する辺Ｅｔｒ、Ｅｔｌ、Ｅｔｕより内側に位置している。また、予測領域ＢＢの１個の辺Ｅｂｂが正解領域ＴＢの対応する辺Ｅｔｂより外側に位置している。したがって、この例では、内側辺数ＥＮは３であり、調整パラメータＰＢ２の値は、３γである（図１１（Ｃ））。

【0092】

図１１（Ｈ）の例では、予測領域ＢＢの４個の辺Ｅｂｒ、Ｅｂｌ、Ｅｂｕ、Ｅｂｂの全てが、正解領域ＴＢの対応する辺Ｅｔｒ、Ｅｔｌ、Ｅｔｕ、Ｅｔｂより内側に位置している。したがって、この例では、内側辺数ＥＮは４であり、調整パラメータＰＢ２の値は、最大の値４γである（図１１（Ｃ））。

【0093】

以上説明した第３実施例によれば、調整パラメータＰＡは、多角形（本実施例では四角形）の予測領域ＢＢの複数個の辺のうち、正解領域ＴＢの中心Ｃｔから見て正解領域ＴＢの対応する辺より内側に位置する辺の数である内側辺数ＥＮが多いほど、損失値を調整する度合が大きくなるように設定されている。この結果、内側辺数ＥＮがなるべく少なくなるように、物体検出モデルＡＮが訓練される。したがって、物体検出モデルＡＮは、予測領域ＢＢが正解領域ＴＢの全体を含むように訓練されるので、出力される予測領域ＢＢがラベル領域ＬＡの全体を含むように適切に訓練され得る。

【0094】

Ｄ.第４実施例
第４実施例では、損失関数Ｌtotalが第１～第３実施例とは異なる。第４実施例の他の構成は、第１～第３実施例と同様である。図１２は、第４実施例の損失関数Ｌtotalの説明図である。第４実施例の損失関数Ｌtotalでは、図１１（Ｂ）の領域損失項Ｌbb3に代えて、図１２（Ｂ）の領域損失項Ｌbb4が用いられる。

【0095】

第４実施例の領域損失項Ｌbb4では、第１～第３実施例の領域損失項の特定部分ＳＰに代えて、図１２（Ｂ）の特定部分ＳＰｂが用いられる。特定部分ＳＰｂは、（１－ＩｏＵ）である。ＩｏＵ（Intersection over Union）は、図１２（Ｃ）に示すように、重複面積ＡＩを総面積ＡＵで除して得られる値である。重複面積ＡＩは、予測領域ＢＢと正解領域ＴＢとの間で重なり合う部分の面積である。図１２（Ｅ）の例では、重複面積ＡＩは、ハッチングされた領域の面積である。総面積ＡＵは、重複面積ＡＩと、予測領域ＢＢのうち、正解領域ＴＢと重ならない部分の面積と、正解領域ＴＢのうち、予測領域ＢＢと重ならない部分の面積と、の合計である。図１２（Ｆ）の例では、総面積ＡＵは、ハッチングされた領域の面積である。ＩｏＵは、０以上１以下の値を取る。ＩｏＵは、予測領域ＢＢと正解領域ＴＢとが完全に一致する場合に最大の値１を取り、予測領域ＢＢと正解領域ＴＢとが重ならない場合に最小の値０を取る。このように、ＩｏＵは、予測領域ＢＢと正解領域ＴＢとの差異に応じて変動する値であり、予測領域ＢＢと正解領域ＴＢとの差異が小さいほど大きな値となる。このために、（１－ＩｏＵ）は、予測領域ＢＢと正解領域ＴＢとの差異が小さいほど小さな値となる。

【0096】

第４実施例では、第３実施例の調整パラメータＰＢ２に代えて、調整パラメータＰＢｐが用いられる。図１２（Ｄ）に示すように、調整パラメータＰＢｐは、外側面積ＡＯを総面積ＡＵで除して得られる値である。外側面積ＡＯは、正解領域ＴＢのうち、予測領域ＢＢよりも外側にある領域の面積、換言すれば、正解領域ＴＢに含まれ、かつ、予測領域ＢＢに含まれない領域の面積である。図１２（Ｂ）の例では、外側面積ＡＯは、ハッチングされた領域の面積である。調整パラメータＰＢｐは、特定部分ＳＰｂに加算される。調整パラメータＰＢｐが大きな値であるほど、領域損失項Ｌbb4ひいては損失関数Ｌtotalによって算出される損失値を大きくする度合が大きい。

【0097】

調整パラメータＰＢｐは、予測領域ＢＢが正解領域ＴＢの全体を含む場合に、最小の値０を取る。調整パラメータＰＢｐは、予測領域ＢＢが正解領域ＴＢの全体を含まない場合に、０より大きな値を取る。調整パラメータＰＢｐは、予測領域ＢＢの面積が一定である場合には、外側面積ＡＯが大きいほど大きくなる。

【0098】

以上説明した第４実施例によれば、調整パラメータＰＢｐは、正解領域ＴＢに含まれ、かつ、予測領域ＢＢに含まれない領域の面積（外側面積ＡＯ）が大きいほど、損失値を調整する度合が大きくなるように設定される。この結果、物体検出モデルＡＮは、外側面積ＡＯが小さくなるように訓練される。したがって、物体検出モデルＡＮは、予測領域ＢＢが正解領域ＴＢの全体を含むように訓練されるので、出力される予測領域ＢＢがラベル領域ＬＡの全体を含むように適切に訓練され得る。

【0099】

Ｅ.第５実施例
第５実施例では、物体検出モデルＡＮの訓練処理が、図４の他の実施例（例えば、第１実施例）の訓練処理とは異なる。第５実施例では、損失関数Ｌtotalが他の実施例（例えば、第１実施例）とは異なる。第５実施例の他の構成は、第１実施例と同様である。図１３は、第５実施例の物体検出モデルＡＮの訓練処理のフローチャートである。図１４は、第５実施例の損失関数Ｌtotalの説明図である。

【0100】

図１３の訓練処理では、図５のＳ４３０に代えて、図１３のＳ４２５Ｂ、Ｓ４３０Ｂが実行される。図１３の訓練処理の他の処理は、図５の同符号の処理と同一である。

【0101】

図１３のＳ４２５Ｂでは、ＣＰＵ１１０は、調整された正解領域を示す修正教師データを生成する。図１４（Ｃ）には、正解領域ＴＢと、調整正解領域ＴＢａと、が図示されている。調整正解領域ＴＢａの中心Ｃｔａは、調整前の正解領域ＴＢの中心Ｃｔと同一である。調整正解領域ＴＢａの幅Ｗｔａは、調整前の正解領域ＴＢの幅Ｗｔよりも長い。調整正解領域ＴＢａの高さＨｔａは、調整前の正解領域ＴＢの高さＨｔよりも長い。調整正解領域ＴＢａの幅Ｗｔａおよび高さＨｔａは、例えば、調整前の正解領域ＴＢの幅Ｗｔおよび高さＨｔの１．０５～１．３倍程度の値である。このように、調整正解領域ＴＢａは、正解領域ＴＢを横方向（方向Ｄｘ）および縦方向（方向Ｄｙ）に拡大して得られる領域である。また、調整正解領域ＴＢａは、正解領域ＴＢよりも広く、かつ、正解領域ＴＢの全体を含む領域である。

【0102】

ＣＰＵ１１０は、教師データに含まれる正解領域情報を調整して、正解領域ＴＢを示す情報から調整正解領域ＴＢａを示す情報に変更することによって、修正教師データを生成する。

【0103】

Ｓ４３０Ｂでは、ＣＰＵ１１０は、複数個の出力データＯＤと、複数個の出力データＯＤに対応する複数個の修正教師データと、を用いて、損失値を算出する。

【0104】

損失値の算出には、出力データＯＤと修正教師データとの間の差異に応じた損失値を算出する図１４（Ａ）の損失関数Ｌtotalが用いられる。第５実施例の損失関数Ｌtotalでは、例えば、図７（Ｂ）の領域損失項Ｌbbに代えて、図１４（Ｂ）の領域損失項Ｌbb5が用いられる。図１４（Ｂ）の領域損失項Ｌbb5は、図７（Ｂ）の領域損失項Ｌbbとは異なり、調整パラメータ（例えば、図７（Ｂ）の調整パラメータＰＡ）を含まない。図１４（Ｂ）の領域損失項Ｌbb5は、図７（Ｂ）の特定部分ＳＰに代えて、特定部分ＳＰｃを含んでいる。図１４（Ｂ）の特定部分ＳＰｃでは、図７（Ｂ）の特定部分ＳＰにおけるＷｔおよびＨｔに代えて、ＷｔａおよびＨｔａが用いられている。これは、第５実施例の修正教師データは、正解領域ＴＢの幅Ｗｔおよび高さＨｔに代えて、調整正解領域ＴＢａの幅Ｗｔａおよび高さＨｔａを含んでいるためである。

【0105】

以上説明した第５実施例の物体検出モデルＡＮの訓練処理（図１３）では、ＣＰＵ１１０は、訓練画像データを物体検出モデルＡＮに入力して、出力データＯＤを生成する（図１３のＳ４２０）。ＣＰＵ１１０は、調整正解領域ＴＢａを示す調整正解領域情報を含む修正教師データを生成し（図１３のＳ４２５Ｂ）、出力データＯＤと、修正教師データと、を用いて、損失関数Ｌtotal（図１４）に従って損失値を算出する（図１３のＳ４３０Ｂ）。ＣＰＵ１１０は、損失値を用いて物体検出モデルＡＮの演算パラメータを調整する（図１３のＳ４４０）。この結果、正解領域ＴＢより広く、正解領域ＴＢの全体を含む調整正解領域ＴＢａに、予測領域ＢＢ（すなわち、特定されるラベル領域ＬＡ）が近づくように、物体検出モデルＡＮが訓練される。この結果、正解領域ＴＢの全体を含むラベル領域を示す出力データＯＤが出力されるように物体検出モデルＡＮが訓練される。したがって、撮像画像ＦＩ内の検出すべきラベルＦＬが、物体検出モデルＡＮによって特定されるラベル領域ＬＡからはみ出ることを抑制することができる。

【0106】

さらに、本実施例では、調整正解領域ＴＢａの中心Ｃｔａは、正解領域ＴＢの中心Ｃｔと同一である（図１４（Ｃ））。そして、調整正解領域ＴＢａの一辺に沿う方向Ｄｘの長さ（すなわち、幅Ｗｔａ）は、正解領域ＴＢの方向Ｄｘの長さ（すなわち、幅Ｗｔ）よりも長い（図１４（Ｃ））。また、調整正解領域の方向Ｄｘと直交する方向Ｄｙの長さ（すなわち、高さＨｔａ）は、正解領域ＴＢの方向Ｄｙの長さ（すなわち、高さＨｔ）よりも長い（図１４（Ｃ））。したがって、正解領域ＴＢより広く、正解領域ＴＢの全体を含む適切な調整正解領域ＴＢａが設定できる。この結果、正解領域ＴＢの全体を含む予測領域ＢＢ（ラベル領域ＬＡ）を示す出力データＯＤが出力されるように物体検出モデルＡＮを適切に訓練し得る。

【0107】

Ｆ.変形例
（１）上記各実施例にて例示した損失関数（図７、図１０～図１２、図１４）は、一例であり、これに限られない。例えば、領域損失項の特定部分ＳＰ、ＳＰｂ、ＳＰｃには、二乗誤差に限らず、クロスエントロピー誤差や絶対誤差などの他の誤差が用いられても良い。また、特定部分ＳＰ、ＳＰｂ、ＳＰｃには、改良されたＩｏＵ誤差、例えば、ＧＩｏＵ（generalized IoU）誤差、ＤＩｏＵ（Distance-IoU）誤差、ＣＩｏＵ（Complete IoU）誤差が用いられても良い。

【0108】

（２）上記各実施例では、領域損失項の特定部分ＳＰ、ＳＰｂ、ＳＰｃは、予測領域ＢＢと正解領域ＴＢとの差異が小さいほど損失値を小さくする式である。このために、調整パラメータとしては、予測領域ＢＢが正解領域ＴＢの全体を含む場合に損失値が小さくなり、予測領域ＢＢが正解領域ＴＢの全体を含まない場合に損失値が大きくなるように、損失値を調整するパラメータが採用されている。

【0109】

これに代えて、領域損失項の特定部分は、予測領域ＢＢと正解領域ＴＢとの差異が小さいほど損失値を大きくする式であっても良い。例えば、図７（Ｂ）の特定部分ＳＰは、二乗誤差であるが、これに代えて、二乗誤差に負の係数を乗じたものが採用されても良い。あるいは、図１２（Ｂ）の特定部分ＳＰｂは、（１－ＩｏＵ）であるが、これに代えて、ＩｏＵが採用されても良い。この場合には、図５や図１３のＳ４４０では、損失値が大きくなるように、物体検出モデルＡＮの演算パラメータが調整される。したがって、この場合には、調整パラメータとしては、予測領域ＢＢが正解領域ＴＢの全体を含む場合に損失値が大きくなり、予測領域ＢＢが正解領域ＴＢの全体を含まない場合に損失値が小さくなるように、損失値を調整するパラメータが採用される。例えば、この場合には、第１実施例の調整パラメータＰＡとしては、例えば、予測領域ＢＢが正解領域ＴＢの全体を含まない場合には、予測領域ＢＢが正解領域ＴＢの全体を含む場合よりも損失値を小さくする度合が大きな値に設定される係数が採用される。また、第２～第４実施例の調整パラメータＰＢ、ＰＢ２、ＰＢｐとしては、例えば、予測領域ＢＢが正解領域ＴＢの全体を含まない場合には、予測領域ＢＢが正解領域ＴＢの全体を含む場合よりも小さな値を加算する項が採用される。

【0110】

以上の説明から解るように、上記各実施例の調整パラメータは、第１パラメータの例であり、本変形例の調整パラメータは、第２パラメータの例である。なお、上記実施例と本変形例から解るように、１つの実施態様では、第１パラメータと第２パラメータのいずれか一方が用いられていれば良く、第１パラメータと第２パラメータとの両方が用いられる必要はない。

【0111】

（３）上記各実施例で用いられる物体検出モデルＡＮの構成は一例であり、他のモデルであってもよい。例えば、物体検出モデルＡＮ、ＹＯＬＯモデルに代えて、他の任意のモデルであってよい。物体検出モデルは、例えば、「YOLO v3」「YOLO v4」「YOLO v5」などの改良されたYOLOモデルであってよい。また、SSD、R-CNN、Fast R-CNN, Faster R-CNN、Mask R-CNNなどの、他のモデルが使用されてよい。いずれのモデルが採用される場合であっても、訓練時に用いられ領域損失項の特定部分に、上記第１～第４実施例のように、調整パラメータが加算または乗算されることによって、損失値が調整されることが好ましい。あるいは、上記第５実施例のように、拡大された正解領域を示す調整正解領域情報を含む教師データを用いて、物体検出モデルが訓練されることが好ましい。これによって、正解領域ＴＢの全体を含むラベル領域を示す出力データが出力されるように物体検出モデルを適切に訓練し得る。

【0112】

（４）上記各実施例で用いられる予測領域ＢＢおよび正解領域ＴＢは、矩形の領域であるが、これに限らず、円形、あるいは、矩形とは異なる多角形（例えば、六角形や八角形）の領域であっても良い。

【0113】

（５）上記第５実施例において、図１４（Ｃ）の調整正解領域ＴＢａは一例であり、これに限られない。例えば、調整正解領域ＴＢａは、正解領域ＴＢより広く、かつ、正解領域ＴＢの全体を含めば良く、調整正解領域ＴＢａの中心Ｃｔａと正解領域ＴＢの中心Ｃｔとは、ずれていても良い。

【0114】

（６）検査対象の物体は、製品（例えば、複合機、ミシン、カッティングマシン、携帯端末など）に貼られるラベルに限らず、任意の物であってよい。検査対象の物体は、例えば、対、製品に印刷されるラベル画像であってよい。また、検査対象の物体は、製品そのものであっても良いし、製品に取り付けられる札、付属品、部品、刻印など、製品の任意の一部分であってよい。

【0115】

（７）上記各実施例の物体検出モデルＡＮは、ラベルＬの検査処理において、ラベル領域ＬＡを特定するために用いられている。これに限らず、物体検出モデルＡＮは、他の目的のために用いられても良い。例えば、物体検出モデルＡＮは、撮像画像内の顔領域に対して所定の画像処理（例えば、肌色補正）を行うために、撮像画像内の顔領域を特定するために用いられても良い。この場合であっても、本実施例によれば、撮像画像内の顔部分の全体を漏れなく含むような顔領域が特定できるように、物体検出モデルＡＮを訓練できるので、顔部分の全体に漏れなく所定の画像処理を施すことができる。

【0116】

（８）上記実施例では、訓練処理と検査処理とは、図１の処理装置１００によって実行されている。これに代えて、訓練処理と検査処理とは、それぞれ、別の装置によって実行されても良い。この場合には、例えば、訓練処理によって訓練された物体検出モデルＡＮは、検査処理を実行する装置の記憶装置に格納される。また、訓練処理と検査処理との全部または一部は、ネットワークを介して互いに通信可能な複数個の計算機（例えば、いわゆるクラウドサーバ）によって実行されても良い。また、検査処理を行うコンピュータプログラムと、訓練処理を行うコンピュータプログラムとは、異なるコンピュータプログラムであっても良い。

【0117】

（９）上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、訓練処理と検査処理との全部または一部は、ASIC（Application Specific Integrated Circuit）等のハードウェア回路によって実行されてよい。

【0118】

以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

【符号の説明】

【0119】

１０００…検査システム,１００…処理装置,１１０…ＣＰＵ,１２０…揮発性記憶装置,１３０…不揮発性記憶装置,１４０…表示部,１５０…操作部,１７０…通信部,３０…筐体,３００…製品,３１…前面,４００…撮像装置,ＡＮ…物体検出モデル,ＢＢ…予測領域,ＤＩ…差分画像,ＦＩ…撮像画像,ＧＮ…画像生成モデル,Ｌ…ラベル,ＰＡ,ＰＢ,ＰＢ２,ＰＢｐ…調整パラメータ,ＰＧ…コンピュータプログラム,ＳＩ…検証画像,ＳＰ,ＳＰｂ,ＳＰｃ…特定部分,ＴＢ…正解領域,ＴＢａ…調整正解領域,ＴＩ…訓練画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】