特開 2023-162652 学習用画像生成プログラム、学習用画像生成装置、及び学習用画像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023162652

(43)【公開日】2023-11-09

(54)【発明の名称】学習用画像生成プログラム、学習用画像生成装置、及び学習用画像生成方法

(51)【国際特許分類】

   G06V 10/774 20220101AFI20231101BHJP

   G06T 7/00 20170101ALI20231101BHJP

【ＦＩ】

G06V10/774

G06T7/00 350B

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022073139

(22)【出願日】2022-04-27

(71)【出願人】

【識別番号】390010308

【氏名又は名称】東芝デベロップメントエンジニアリング株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100075672

【弁理士】

【氏名又は名称】峰 隆司

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100162570

【弁理士】

【氏名又は名称】金子 早苗

(72)【発明者】

【氏名】石過 壮

(72)【発明者】

【氏名】宮沢 智之

(72)【発明者】

【氏名】林 紀善

(72)【発明者】

【氏名】佐々木 雅恵

(72)【発明者】

【氏名】長谷 和彦

(72)【発明者】

【氏名】柳原 訓雄

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096CA02

5L096DA01

5L096FA14

5L096FA15

5L096FA16

5L096FA67

5L096FA69

5L096GA51

5L096HA11

5L096KA04

(57)【要約】

【課題】検出精度の向上を可能にする学習データを生成する学習用画像生成プログラムを提供する。
【解決手段】一実施形態に係る学習用画像生成プログラムは、被写体と前記被写体の影とを含む被写体画像と背景を含む背景画像を合成して合成画像を生成する画像合成手段、及び前記合成画像に前記被写体を囲む教師枠を設定する教師枠設定手段としてコンピュータを機能させる。前記教師枠設定手段は、前記合成画像における前記被写体、前記影、及び前記背景の特徴量に基づいて、前記教師枠の大きさを決定する。前記特徴量は、明るさ又は色である。
【選択図】図１０

【特許請求の範囲】

【請求項1】

被写体と前記被写体の影とを含む被写体画像と背景を含む背景画像を合成して合成画像を生成する画像合成手段、及び
前記合成画像に前記被写体を囲む教師枠を設定する教師枠設定手段
としてコンピュータを機能させ、
前記教師枠設定手段は、前記合成画像における前記被写体、前記影、及び前記背景の特徴量に基づいて、前記教師枠の大きさを決定し、
前記特徴量は、明るさ又は色である、学習用画像生成プログラム。

【請求項2】

前記教師枠設定手段は、前記影の前記特徴量と前記背景の前記特徴量との差が前記被写体の前記特徴量と前記影の前記特徴量との差よりも大きい場合に、前記被写体と前記影の組み合わせに外接する第１の矩形枠よりも大きい第２の矩形枠を前記教師枠とし、前記被写体の前記特徴量と前記影の前記特徴量との差が前記影の前記特徴量と前記背景の前記特徴量との差よりも大きい場合に、前記被写体に外接する第３の矩形枠よりも大きい第４の矩形枠を前記教師枠とする、
請求項１に記載の学習用画像生成プログラム。

【請求項3】

前記第２の矩形枠の大きさは前記第１の矩形枠の大きさの定数倍であり、前記第４の矩形枠の大きさは前記第３の矩形枠の大きさの前記定数倍であり、前記定数は１を超える値である、
請求項２に記載の学習用画像生成プログラム。

【請求項4】

前記被写体の前記特徴量及び前記影の前記特徴量を検出する検出手段として前記コンピュータをさらに機能させ、
前記検出手段は、前記被写体と前記影との境界に隣接する前記被写体の部分における画素値に基づいて、前記被写体の前記特徴量を算出し、前記被写体と前記影との境界に隣接する前記影の部分における画素値に基づいて、前記影の前記特徴量を算出する、
請求項１に記載の学習用画像生成プログラム。

【請求項5】

前記背景画像を生成する背景画像取得手段として前記コンピュータをさらに機能させ、
前記背景画像取得手段は、３Ｄ仮想空間において実際の環境における光源の配置に応じた位置に仮想光源を設定し、前記仮想光源に基づいて前記影を生成する、
請求項１に記載の学習用画像生成プログラム。

【請求項6】

被写体と前記被写体の影とを含む被写体画像と背景を含む背景画像を合成して合成画像を生成する画像合成部と、
前記合成画像に前記被写体を囲む教師枠を設定する教師枠設定部と、
を備え、
前記教師枠設定部は、前記合成画像における前記被写体、前記影、及び前記背景の特徴量に基づいて、前記教師枠の大きさを決定し、
前記特徴量は、明るさ又は色である、学習用画像生成装置。

【請求項7】

学習用画像生成装置により実行される学習用画像生成方法であって、
被写体と前記被写体の影とを含む被写体画像と背景を含む背景画像を合成して合成画像を生成することと、
前記合成画像に前記被写体を囲む教師枠を設定することと、
を備え、
前記教師枠を設定することは、前記合成画像における前記被写体、前記影、及び前記背景の特徴量に基づいて、前記教師枠の大きさを決定することを含み、
前記特徴量は、明るさ又は色である、学習用画像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、学習用画像生成プログラム、学習用画像生成装置、及び学習用画像生成方法に関する。

【背景技術】

【0002】

画像からあらかじめ定められた物体（被写体）を検出する物体検出においては、ディープラーニングを用いた手法が使用されるようになり、検出精度が大きく向上している。

【0003】

特許文献１には、背景画像と被写体を示す画像を含むＣＧ（Computer Graphics）データとを重畳させることで、ディープニューラルネットワーク（ＤＮＮ）の学習に使用する教師データを生成する技術が開示されている。特許文献１に開示される技術では、影領域の誤検出を防止するために、被写体に対する照明の位置を意図的に変更して様々な方向の影を設定した画像を生成している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１８－１２４９３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に開示される技術において、被写体の位置を正確に検出できるようにするには、様々な方向の影を設定した画像を使用して学習を行う必要がある。影の方向が偏った画像だけで学習を行った場合は、被写体の位置を正確に検出することができない。

【課題を解決するための手段】

【0006】

一実施形態に係る学習用画像生成プログラムは、被写体と前記被写体の影とを含む被写体画像と背景を含む背景画像を合成して合成画像を生成する画像合成手段、及び前記合成画像に前記被写体を囲む教師枠を設定する教師枠設定手段としてコンピュータを機能させる。前記教師枠設定手段は、前記合成画像における前記被写体、前記影、及び前記背景の特徴量に基づいて、前記教師枠の大きさを決定する。前記特徴量は、明るさ又は色である。

【発明の効果】

【0007】

本発明によれば、検出精度の向上を可能にする学習データを生成することができる学習用画像生成プログラム、学習用画像生成装置、及び学習用画像生成方法が提供される。

【図面の簡単な説明】

【0008】

【図1】実施形態に係る外観検査を説明する図。

【図2】実施形態に係る検査装置を示す機能ブロック図。

【図3】図２に示した学習用画像生成部を示す機能ブロック図。

【図4】実施形態に係る製品の影を生成する方法を説明する図。

【図5】図３に示した被写体画像取得部により取得された被写体画像を示す図。

【図6】図３に示した教師枠設定部による処理を説明する図。

【図7】図３に示した教師枠設定部による処理を説明する図。

【図8】図２に示した学習用画像生成部により生成される学習用画像を示す図。

【図9】図２の検査装置のハードウェア構成例を示すブロック図。

【図10】実施形態に係る学習用画像生成方法を示すフローチャート。

【図11】実施形態に係る検査方法を示すフローチャート。

【図12】関連技術に係る学習データを示す図。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら実施形態を説明する。

【0010】

実施形態は、工場などで行われる外観検査などの用途に適用可能な技術に関する。外観検査は、例えば製品の品質を担保する目的で行われ、製品が良品であるか不良品であるかを判定するために、製品の外観を検査するものである。例えば、製品は、傷や汚れなどの欠陥が存在しない場合又は欠陥が存在したとしてもそれが許容範囲内のものである場合に良品と判定され、許容範囲外の欠陥が存在する場合に不良品と判定される。外観検査では、図１に示すように、検査対象となる製品１０を台１１の上に置き、光源としての照明装置１２を用いて製品１０に照明を当て、カメラ１３で製品１０を撮影し、コンピュータ１４において画像に基づく検査を行う。このような検査環境では、照明装置１２及びカメラ１３の配置は台１１に対してあらかじめ固定されており、照明の色及び明るさ並びに台１１の色もあらかじめ決められている。したがって、製品１０の影１５が発生する方向は一方向に限定されており、影１５の明るさ及び色は、照明の色及び明るさ並びに台の色からほぼ決まる。

【0011】

図１及び他の図では、検査対象となる製品として蓋付きのビンが示されている。さらに、検査対象を撮影した画像には、背景として、検査対象が置かれる台のみが含まれるものとする。

【0012】

図２は、一実施形態に係る検査装置２０を概略的に示している。図２に示す検査装置２０は上述した外観検査に使用され得る。例えば、図示しない機械装置が検査対象となる製品を台上に置き、検査装置２０が外観検査により製品が良品であるか不良品であるかを判定する。機械装置は判定結果に応じて製品を仕分ける。具体的には、機械装置は、検査装置２０が製品を良品と判定した場合は製品を第１コンベアに載せ、検査装置２０が製品を不良品と判定した場合は製品を第２コンベアに載せる。この操作を繰り返すことにより、製品が次々に外観検査される。

【0013】

図２に示すように、検査装置２０は、学習用画像生成部２１、学習用画像記憶部２２、学習部２３、モデル記憶部２４、撮像部２５、及び検査部２６を備える。図２に示す例では、学習用画像生成部２１、学習部２３、及び検査部２６が単一の装置（例えばコンピュータ）に実装されている場合を想定している。代替として、学習用画像生成部２１、学習部２３、及び検査部２６は、別個の装置に実装されていてもよい。学習用画像生成部２１を含む装置を学習用画像生成装置と称する。例えば、学習用画像生成部２１及び学習部２３が第１装置に実装され、検査部２６が第２装置に実装される場合、第１装置が学習用画像生成装置である。

【0014】

学習用画像生成部２１は、検査部２６が使用する検出モデルを学習するために使用される学習用画像を生成し、学習用画像を学習用画像記憶部２２に格納する。検出モデルは、検査対象となる製品を含む画像（製品が写っている画像）を入力とし、製品が良品であるか不良品であるか（すなわち製品に許容範囲外の欠陥が存在するか否か）を検出するように構成される。検出モデルは、例えば、製品が良品である確からしさを示す検査情報を出力する。例えば、値が０～１の範囲をとり、値が０に近いほど製品が良品である可能性が高いことを示すように、検査情報を定義する。検出モデルとしては、例えば、Ｒ－ＣＮＮ（Region Convolutional Neural Network）又はＳＳＤ（Single Shot MultiBox Detector）などのディープニューラルネットワーク（ＤＮＮ；Deep Neural Network）を利用することができる。

【0015】

学習部２３は、学習用画像記憶部２２に格納されている学習用画像学習データとして使用して検出モデルの機械学習を行い、検出モデルを構成するパラメータを算出する。学習部２３は、機械学習により得られたパラメータ値を含む検出モデルをモデル記憶部２４に格納する。

【0016】

撮像部２５は、カメラなどの撮像装置を含み、台に置かれた製品を被写体として撮影し、製品を含む画像を生成する。撮像部２５は、図１に示したカメラ１３に相当する。

【0017】

検査部２６は、撮像部２５から画像を受け取り、画像に基づいて製品の外観を検査する。具体的には、検査部２６は、モデル記憶部２４から検出モデルを呼び出し、検出モデルに画像を入力し、検出モデルから出力される検査情報を得る。検査部２６は、検出モデルから出力された検査情報に基づいて製品が良品であるか否かを判定する。例えば、検査部２６は、検査情報が所定の閾値を下回る場合に製品を良品と判定し、検査情報が所定の閾値以上である場合に製品を不良品と判定する。検査部２６は、図１に示したコンピュータ１４に相当する。

【0018】

検出モデルを生成する学習フェーズについて詳細に説明する。

【0019】

図３は、学習用画像生成部２１の機能構成を概略的に示している。図３に示すように、学習用画像生成部２１は、被写体画像取得部２１１、明るさ検出部２１２、背景画像取得部２１３、明るさ検出部２１４、画像合成部２１５、及び教師枠設定部２１６を備える。

【0020】

被写体画像取得部２１１は、被写体と被写体の影とを含む被写体画像を取得する。被写体は、検査対象となる製品と同等の製品（サンプル）である。例えば、被写体画像取得部２１１は、ＣＧを使用して製品と製品の影とを含む合成画像を被写体画像として生成する。具体的には、被写体画像取得部２１１は、製品の画像にＣＧで影を加えることにより、被写体画像を得る。製品の画像は、実際の製品をカメラで撮影した画像から製品に対応する領域を切り出すことにより得てもよく、ＣＧを用いて作成してもよい。

【0021】

製品の画像をＣＧで作成する場合、被写体画像取得部２１１は、カメラで実際の製品を撮影した２Ｄ（２次元）画像と製品の３Ｄ（３次元）データとに基づいて製品の画像を生成することができる。製品の３Ｄデータは、多視点から実際の製品を撮影した画像から作成したものであってもよく、製品の設計データから作成したものであってもよく、他の方法で作成したものであってもよい。３Ｄデータと２Ｄ画像は点ごとの対応付けがなされており、３Ｄデータを回転させて２Ｄ平面に投影することにより製品の画像を生成することができる。

【0022】

実際の検査環境では、製品が置かれる台と製品に照明を当てる光源との位置関係は定まっている。製品に影を加える際には、図４に示すように、３Ｄ仮想空間において実際の検査環境における光源の配置に応じた位置に仮想の光源４０が設定される。具体的には、実際の検査環境における台と光源との位置関係に応じて、３Ｄデータに基づく台４３に対して仮想の光源４０が設定される。台４３の上に３Ｄデータに基づく製品４１を配置し、光源４０から製品４１の外縁に接する光線４４を引き、光線４４と台４３の交点４５を製品４１の影４２と台４３との境界とする。この操作を、影４２の輪郭が完全に現れるまで繰り返し行い、それにより影４２の領域を決定する。影４２の明るさは、実際に台に製品を置いて製品に照明を当てた状態で製品を撮影することにより得られる画像に含まれる製品の影の明るさと同じ明るさ又はそれに近い明るさを設定し、影４２に対応する領域をその明るさに変える。例えば、影４２に対応する領域は、実際に台に製品を置いて製品に照明を当てた状態で製品を撮影することにより得られる画像に含まれる影の領域における平均の画素値（例えばＲＧＢ値）と同じ画素値に設定される。実際の検査では、照明の光は周辺の構造物で乱反射して台を照らすため、製品の影は真っ暗にはならないので、上記のようにして影の明るさを設定する。被写体画像取得部２１１は、３Ｄ仮想空間における製品４１及び影４２を、実際の検査環境におけるカメラの配置に応じた２Ｄ仮想平面に投影することにより、被写体画像を得る。

【0023】

被写体画像取得部２１１は複数の被写体画像を生成し、生成された被写体画像には、製品に欠陥が存在する複数の被写体画像が含まれる。例えば、カメラで欠陥のある製品を撮影した画像から欠陥に対応する領域を切り出し、切り出しにより得られた欠陥の画像を加工して（例えば大きさ及び／又は色を変更して）製品の画像上に配置することにより、画像上で製品に疑似的な欠陥を付与する。また、想定される欠陥を人工的に作成して製品の画像上に配置することにより、画像上で製品に疑似的な欠陥を付与してもよい。各被写体画像には、良品か不良品かを示すラベルが付与される。ラベルは欠陥の程度に応じて決定される。

【0024】

ここでは、被写体画像取得部２１１が被写体画像を生成するものとして説明したが、被写体画像は図示しない外部装置で生成され、被写体画像取得部２１１が外部装置から被写体画像を受信してもよい。

【0025】

図５は、被写体画像取得部２１１により生成される被写体画像の一例である被写体画像５０を概略的に示している。図５に示すように、被写体画像５０は、製品５１及び製品５１の影５２を含む。

【0026】

明るさ検出部２１２は、被写体画像取得部２１１により取得された被写体画像から製品の明るさ及び影の明るさを検出する。例えば、明るさ検出部２１２は、図５に示すように、製品５１とその影５２との境界に隣接する製品５１の部分領域５３における平均の明るさを製品の明るさとして算出する。明るさは画素値に基づいている。例えば、明るさはＲ値、Ｇ値、及びＢ値の加重平均として算出される。一例として、明るさをｌとすると、ｌ＝０．３×Ｒ＋０．６×Ｇ＋０．１×Ｂである。なお、ＹＵＶ表色系が使用される場合のように、画像が輝度信号を含むときには、明るさの算出に輝度信号を使用する。例えば、明るさ検出部２１２は、製品５１と影５２との境界に隣接する影５２の部分領域における平均の明るさを影の明るさとして算出する。

【0027】

背景画像取得部２１３は、背景の画像である背景画像を取得する。本実施形態では、背景は製品が置かれる台である。例えば、背景画像取得部２１３は、各画素が実際の台の色並びに実際の照明の色及び明るさに応じて定められる画素値を有する画像を背景画像として生成する。

【0028】

明るさ検出部２１４は、背景画像取得部２１３により取得された背景画像から背景の明るさを検出する。例えば、明るさ検出部２１４は、背景画像から１つの画素を抽出し、抽出した画素の画素値から背景の明るさを算出する。背景画像が明るさが均一でない場合、例えば、明るさ検出部２１４は、影と背景との境界に隣接する背景の部分領域における平均の明るさを背景の明るさとして算出する。

【0029】

画像合成部２１５は、被写体画像取得部２１１により取得された被写体画像と背景画像取得部２１３により取得された背景画像とを合成して合成画像を生成する。具体的には、画像合成部２１５は、被写体画像を背景画像に重畳することにより合成画像を得る。

【0030】

教師枠設定部２１６は、合成画像における背景の明るさと製品の明るさと影の明るさとに基づいて、画像合成部２１５により生成された合成画像に教師枠を設定する。合成画像における背景の明るさは、明るさ検出部２１４により検出された背景の明るさに一致し、合成画像における製品及び影の明るさは、明るさ検出部２１２により検出された製品及び影の明るさに一致する。教師枠は、教示したい部分を指し示す枠である。教師枠は、少なくとも製品全体が教師枠内に収まるように設定される。言い換えると、教師枠は、合成画像において製品を囲む枠である。教師枠設定部２１６は、背景の明るさと製品の明るさと影の明るさとの関係から教師枠の大きさを決定する。

【0031】

教師枠設定部２１６は、製品の明るさと影の明るさが異なり、影の明るさと背景の明るさが近い場合に、製品が教師枠に収まるように教師枠を設定する。一例では、教師枠設定部２１６は、製品の明るさと影の明るさとの差が影の明るさと背景の明るさとの差よりも大きい場合に、製品を囲む枠を教師枠とする。背景の明るさをＩ_Ｂ、製品の明るさをＩ_Ａ、影の明るさをＩ_Ｓとすると、この条件は下記式（１）で表される。
｜Ｉ_Ａ－Ｉ_Ｓ｜＞｜Ｉ_Ｓ－Ｉ_Ｂ｜ ・・・（１）
ここで、｜ｘ｜はｘの絶対値を意味する。

【0032】

他の例では、教師枠設定部２１６は、製品の明るさと影の明るさとの差が閾値よりも大きく、影の明るさと背景の明るさとの差が閾値よりも小さい場合に、製品を囲む枠を教師枠とする。閾値をαとすると、この条件は、下記式（２）、（３）で表される。
｜Ｉ_Ａ－Ｉ_Ｓ｜＞α ・・・（２）
｜Ｉ_Ｓ－Ｉ_Ｂ｜＜α ・・・（３）

【0033】

式（２）、（３）が満たされる場合、式（１）も満たされる。なお、式（３）において閾値αとは異なる閾値α′（α＞α′）を使用してもよい。

【0034】

教師枠設定部２１６は、製品に外接する四角形（矩形枠）に対して１０％から２０％程度大きい四角形を教師枠とする。具体的には、教師枠設定部２１６は、製品に外接する四角形をｋ倍した四角形を教師枠とし、ここで、ｋは、あらかじめ定められ、１．１～１．２の範囲内の値であり得る。教師枠の中心は、製品に外接する四角形の中心に一致してよい。

【0035】

図６は、教師枠が設定された合成画像の一例である合成画像６０を概略的に示している。図６に示す合成画像６０では、製品６１は比較的明るく、影６２と背景６３はともに暗く、上記式（１）を満たす。この場合、教師枠６５の大きさは、製品６１に外接する矩形枠６４の大きさのｋ倍とする。それにより、教師枠６５内での輪郭が鮮明になる。具体的には、教師枠６５内において、製品６１と影６２との境界及び製品６１と背景６３との境界が明確になる。

【0036】

教師枠設定部２１６は、製品の明るさと影の明るさが近く、影の明るさと背景の明るさが異なる場合に、製品と影の組み合わせが教師枠に収まるように教師枠を設定する。一例では、教師枠設定部２１６は、影の明るさと背景の明るさとの差が製品の明るさと影の明るさよりも大きい場合に、製品と影の組み合わせを含む枠を教師枠とする。この条件は下記式（４）で表される。
｜Ｉ_Ａ－Ｉ_Ｓ｜＜｜Ｉ_Ｓ－Ｉ_Ｂ｜ ・・・（４）

【0037】

他の例では、教師枠設定部２１６は、影の明るさと背景の明るさとの差が閾値よりも大きく、製品の明るさと影の明るさとの差が閾値よりも小さい場合に、製品と影の組み合わせを囲む枠を教師枠とする。この条件は、下記式（５）、（６）で表される。
｜Ｉ_Ｓ－Ｉ_Ｂ｜＞α ・・・（５）
｜Ｉ_Ａ－Ｉ_Ｓ｜＜α ・・・（６）

【0038】

式（５）、（６）が満たされる場合、式（４）も満たされる。なお、式（５）において閾値αとは異なる閾値α′（α＞α′）を使用してもよい。

【0039】

教師枠設定部２１６は、製品と影の組み合わせに外接する四角形に対して１０％から２０％程度大きい四角形を教師枠とする。具体的には、教師枠設定部２１６は、製品と影の組み合わせに外接する四角形をｋ倍した四角形を教師枠とし、ここで、ｋは、あらかじめ定められ、１．１～１．２の範囲内の値であり得る。教師枠の中心は、製品と影の組み合わせに外接する四角形の中心に一致してよい。

【0040】

図７は、教師枠が設定された合成画像の一例である合成画像７０を概略的に示している。図７に示す合成画像７０では、製品７１と影７２はともに暗く、背景７３は比較的に明るく、上記式（４）を満たす。この場合、教師枠７５の大きさは、製品７１と影７２の組み合わせに外接する矩形枠７４の大きさのｋ倍とする。これにより、教師枠７５内での輪郭は鮮明となる。具体的には、教師枠７５内において、製品６１と影６２の組み合わせと背景６３との境界が明確である。

【0041】

下記式（７）に示すように製品の明るさと影の明るさとの差が影の明るさと背景の明るさとの差と略同じである場合には、実際に背景（本例では台）を構成する部材の明るさを変えるなどの処置を施してよい。
｜Ｉ_Ａ－Ｉ_Ｓ｜≒｜Ｉ_Ｓ－Ｉ_Ｂ｜ ・・・（７）

【0042】

教師枠を示す教師枠情報が付与された合成画像は、学習用画像として学習用画像記憶部２２に記憶される。教師枠情報は教師枠の四隅の座標を含んでよい。代替として、教師枠情報は、教師枠の中心座標と教師枠の幅及び高さを示す値とを含んでよい。

【0043】

図８は、学習用画像記憶部２２に格納される学習用画像データ８０を概略的に示している。図８に示すように、学習用画像データ８０は、複数の学習用画像８１、８２、８３、８４を含む。各学習用画像は、画像を構成する画素値、教師枠を示す教師枠情報、及び正解を示すラベルを含む。学習用画像８１、８２のラベルは不良品を示す値（例えば１）に設定され、学習用画像８３、８４のラベルは良品を示す値（例えば０）に設定される。

【0044】

図９は、検査装置２０のハードウェア構成例を概略的に示している。図９に示すように、検査装置２０は、ハードウェア構成要素として、撮像装置９１及びコンピュータ９２を備える。

【0045】

撮像装置９１は例えばカメラである。撮像装置９１は、図２に示した撮像部２５として機能する。

【0046】

コンピュータ９２は、プロセッサ９２１、ＲＡＭ（Random Access Memory）９２２、プログラムメモリ９２３、ストレージデバイス９２４、入出力インタフェース９２５、及びバス９２６を備える。プロセッサ９２１は、バス９２６を介して、ＲＡＭ９２２、プログラムメモリ９２３、ストレージデバイス９２４、及び入出力インタフェース９２５と信号をやり取りする。

【0047】

プロセッサ９２１は、典型的には、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）などの汎用回路を含む。ＲＡＭ９２２はワーキングメモリとしてプロセッサ９２１により使用される。ＲＡＭ９２２はＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などの揮発性メモリを含む。プログラムメモリ９２３は、学習用画像生成プログラム、学習プログラム、及び検査プログラムなど、プロセッサ９２１により実行されるプログラムを記憶する。プログラムメモリ９２３として、例えば、ＲＯＭ（Read-Only Memory）が使用される。代替として、ストレージデバイス９２４の一部領域がプログラムメモリ９２３として使用されもよい。プロセッサ９２１は、プログラムメモリ９２３に記憶されたプログラムをＲＡＭ９２２に展開し、プログラムを解釈及び実行する。学習用画像生成プログラムは、プロセッサ９２１により実行されたときに、学習用画像生成部２１に関して説明する処理をプロセッサ９２１に実行させる。言い換えると、プロセッサ９２１は、学習用画像生成プログラムに従って、学習用画像生成部２１として機能する。学習プログラムは、プロセッサ９２１により実行されたときに、学習部２３に関して説明する処理をプロセッサ９２１に実行させる。検査プログラムは、プロセッサ９２１により実行されたときに、検査部２６に関して説明する処理をプロセッサ９２１に実行させる。

【0048】

学習用画像生成プログラムなどのプログラムは、コンピュータで読み取り可能な記憶媒体に記憶された状態でコンピュータ９２に提供されてよい。この場合、例えば、コンピュータ９２は、記憶媒体からデータを読み出すドライブを備え、記憶媒体からプログラムを取得する。記憶媒体の例は、磁気ディスク、光ディスク（ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ－ＲＯＭ、ＤＶＤ－Ｒなど）、光磁気ディスク（ＭＯなど）、半導体メモリを含む。また、プログラムをネットワーク上のサーバに格納し、コンピュータ９２がサーバからプログラムをダウンロードするようにしてもよい。

【0049】

ストレージデバイス９２４はデータを記憶する。ストレージデバイス９２４は、ハードディスクドライブ（ＨＤＤ）又はソリッドステートドライブ（ＳＳＤ）などの不揮発性メモリを含む。ストレージデバイス９２４は学習用画像記憶部２２及びモデル記憶部２４として機能する。

【0050】

入出力インタフェース９２５は、外部装置と通信するためのインタフェースである。入出力インタフェース９２５は、ＬＡＮ（Local Area Network）ケーブルなどのケーブルで撮像装置９１に接続され、撮像装置９１から画像を受信する。なお、入出力インタフェース９２５が無線モジュールを含んでよく、コンピュータ９２は撮像装置９１と無線接続されてもよい。

【0051】

なお、プロセッサ９２１は、汎用回路に代えて又は追加して、ＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field Programmable Gate Array）などの専用回路を含んでよく、学習用画像生成部２１、学習部２３、及び検査部２６に関して説明する処理の少なくとも一部は、専用回路により実現されてよい。

【0052】

次に、検査装置２０の動作について説明する。

【0053】

図１０は、実施形態に係る、検査装置２０により実行される学習用画像生成方法を概略的に示している。

【0054】

図１０のステップＳ１００１において、被写体画像取得部２１１は、被写体としての製品と製品の影とを含む被写体画像を生成する。例えば、被写体画像取得部２１１は、３Ｄデータに基づく台を３Ｄ仮想空間に配置し、実際の検査環境における台と光源との配置関係に応じて、台に対する仮想光源の位置及び向き（角度）を設定する。被写体画像取得部２１１は、３Ｄデータに基づく製品を台上に配置し、光源からの光により台上に生じる製品の影を決定して配置する。被写体画像取得部２１１は、製品の影を決定する際に、影の明るさを所定値に設定する。被写体画像取得部２１１は、３Ｄ仮想空間における製品及びその影を２Ｄ仮想平面に投影することにより、被写体画像を得る。被写体画像取得部２１１は、被写体画像において製品に疑似的な欠陥を付加してよく、被写体画像にラベルを付与する。

【0055】

ステップＳ１００２において、明るさ検出部２１２は、被写体画像から製品の明るさ及び影の明るさを検出する。例えば、明るさ検出部２１２は、製品に対応する画像領域から１又は複数の画素を抽出し、抽出した画素の画素値から製品の明るさを算出する。明るさ検出部２１２は、製品に対応する画像領域のうち影に隣接する部分における平均の明るさを製品の明るさとして算出してよい。例えば、明るさ検出部２１２は、影に対応する画像領域から１又は複数の画素を抽出し、抽出した画素の画素値から影の明るさを算出する。明るさ検出部２１２は、影に対応する画像領域のうち製品に隣接する部分における平均の明るさを影の明るさとして算出してよい。

【0056】

ステップＳ１００３において、背景画像取得部２１３は、背景としての台を含む背景画像を生成する。例えば、背景画像取得部２１３は、台の３Ｄデータに基づいてＣＧで背景画像を生成する。

【0057】

ステップＳ１００４において、明るさ検出部２１４は、背景画像から背景の明るさを検出する。例えば、明るさ検出部２１４は、背景画像から１又は複数の画素を抽出し、抽出した画素の画素値から背景の明るさを算出する。

【0058】

ステップＳ１００５において、画像合成部２１５は、被写体画像取得部２１１により生成された被写体画像と背景画像取得部２１３により生成された背景画像を合成した合成画像を生成する。例えば、画像合成部２１５は、被写体画像を背景画像に重畳する。

【0059】

ステップＳ１００６において、教師枠設定部２１６は、合成画像における製品の明るさ、影の明るさ、及び背景の明るさの関係に基づいて、少なくとも製品を囲む教師枠を合成画像に設定する。例えば、教師枠設定部２１６は、製品の明るさと影の明るさとの差が影の明るさと背景の明るさとの差よりも小さい場合には、製品の全体及び影の全体を囲む教師枠を設定し、製品の明るさと影の明るさとの差が影の明るさと背景の明るさとの差よりも大きい場合には、製品の全体を囲む教師枠を設定する。

【0060】

教師枠が設定された合成画像は、学習用画像として学習用画像記憶部２２に格納される。学習用画像記憶部２２では、学習用画像は、画像を構成する各画素値、教師枠を示す教師枠情報、及び正解を示すラベルを含む。

【0061】

学習用画像生成部２１は、ステップＳ１００１からステップＳ１００６に示す処理を繰り返し行って複数の学習用画像を生成する。

【0062】

ステップＳ１００７において、学習部２３は、学習用画像生成部２１により生成された複数の学習用画像を学習データとして使用して、検査対象となる製品を含む画像を入力とし、製品が良品であるか不良品であるかを検出するように構成された検出モデルの学習を行う。

【0063】

このようにして、学習用画像生成部２１及び学習部２３により検出モデルが生成される。

【0064】

図１１は、実施形態に係る、検査装置２０により実行される検査方法を概略的に示している。図１１に示す検査方法では、図１０に関して説明した処理で生成された検出モデルが使用される。

【0065】

図１１のステップＳ１１０１において、撮像部２５は、台上に置かれている、検査対象となる製品を撮影して画像を生成する。ステップＳ１１０２において、検査部２６は、検出モデルを使用して、撮像部２５で得られた画像に基づいて製品を検査する。例えば、検査部２６は、画像を検出モデルに入力し、検出モデルから出力される検査情報を得て、検査情報に基づいて製品が良品か不良品かを判定する。

【0066】

このようにして、撮像部２５及び検査部２６により製品に対する外観検査が行われる。

【0067】

以上のように、本実施形態では、学習用画像生成部２１は、製品と製品の影とを含む被写体画像を生成し、台を含む背景画像を取得し、被写体画像と背景画像を合成した合成画像を生成し、合成画像に対して製品を囲む教師枠を設定する。学習用画像生成部２１は、合成画像における製品、影、及び背景の明るさに基づいて、教師枠の大きさを決定する。例えば、学習用画像生成部２１は、影の明るさと背景の明るさとの差が製品の明るさと影の明るさとの差よりも大きい場合に、製品と影の組み合わせに外接する矩形枠よりも大きい矩形枠を教師枠とし、製品の明るさと影の明るさとの差が影の明るさと背景の明るさとの差よりも大きい場合に、製品に外接する矩形枠よりも大きい矩形枠を教師枠としてよい。これにより、最適な教師枠を合成画像に設定することが可能となる。具体的には、教師枠内での輪郭が鮮明になるように合成画像に教師枠を設定することが可能となる。教師枠内での輪郭が鮮明な合成画像を学習用画像として使用して検出モデルの学習を行うことにより、検出精度の高い検出モデルを得ることができる。よって、学習用画像生成部２１は、検出精度の向上を可能にする学習データを生成することができる。

【0068】

学習用画像生成部２１は、被写体画像を生成する際に、３Ｄ仮想空間において実際の検査環境における光源の配置に応じた位置に仮想光源を設定し、当該仮想光源に基づいて製品の影を生成する。実際の検査環境における光源及び撮像部２５（撮像装置９１）の配置が固定である場合には、製品の影が発生する方向は一定であり、よって、撮像部２５で得られる画像における製品の影の方向も一定である。このため、学習用画像としては、製品の影が特定の方向に向いている画像を用意すればよい。３Ｄ仮想空間において実際の検査環境における光源の配置に応じた位置に仮想光源を設定することにより、製品の影が特定の方向に向いている学習用画像を生成することが可能となる。その結果、学習データの量を少なくすることができ、学習に要する時間などのリソースを節約することができる。

【0069】

図１２は、関連技術に係る学習データを概略的に示している。図１２に示す学習用画像の各々では、教師枠１２０５は被写体としての製品１２０１がちょうど収まる範囲に設定されている。製品１２０１の影１２０２の明るさが製品１２０１の明るさと近いため、製品１２０１と影１２０２との境界が不明瞭となっている。製品１２０１と背景１２０３との境界は明瞭である。製品１２０１の位置を正確に検出できるようにするには、様々な方向の影が設定された学習用画像を用意し、それらを使用して学習を行わなければならない。図１２には、４方向の影が設定された４枚の学習用画像が例示されている。多数の画像を含む学習データについて学習を行うには多くの時間がかかる。また、影の方向が偏った画像だけで学習を行うと、製品の位置を正確に検出することができなくなる。本実施形態では、３Ｄ仮想空間において実際の検査環境における光源の配置に応じた位置に仮想光源を設定して、製品の影が特定の方向に向いている学習用画像を生成する。それにより、学習時間を短縮でき、製品の位置を正確に検出できるモデルを生成することができる。

【0070】

上述した実施形態では、特徴量として明るさを使用している。明るさに代えて、色を特徴量として使用してもよい。色を特徴量として使用する場合、２つの色の差は、色空間におけるユークリッド距離であってよい。例えば、色空間がＲＧＢで規定される場合において、合成画像における製品の色をＲ_Ａ、Ｇ_Ａ、Ｂ_Ａ、合成画像における影の色をＲ_Ｓ、Ｇ_Ｓ、Ｂ_Ｓとすると、製品の色と影の色との差Ｄは、下記式（８）で表すことができる。

【数1】

【0071】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0072】

１０…製品、１１…台、１２…照明装置、１３…カメラ、１４…コンピュータ、１５…影、２０…検査装置、２１…学習用画像生成部、２１１…被写体画像取得部、２１２…検出部、２１３…背景画像取得部、２１４…検出部、２１５…画像合成部、２１６…教師枠設定部、２２…学習用画像記憶部、２３…学習部、２４…モデル記憶部、２５…撮像部、２６…検査部、９１…撮像装置、９２…コンピュータ、９２１…プロセッサ、９２２…ＲＡＭ、９２３…プログラムメモリ、９２４…ストレージデバイス、９２５…入出力インタフェース、９２６…バス。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】