特許 7532206 画像認識方法、画像認識装置、検査方法、検査装置、プログラム、記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-02

(45)【発行日】2024-08-13

(54)【発明の名称】画像認識方法、画像認識装置、検査方法、検査装置、プログラム、記録媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240805BHJP

【ＦＩ】

G06T7/00 610

G06T7/00 350B

【請求項の数】 15

(21)【出願番号】P 2020179433

(22)【出願日】2020-10-27

(65)【公開番号】P2022070392

(43)【公開日】2022-05-13

【審査請求日】2023-10-11

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003133

【氏名又は名称】弁理士法人近島国際特許事務所

(72)【発明者】

【氏名】浦邉 展矢

【審査官】淀川 滉也

(56)【参考文献】

【文献】特開２０１７－０４０５９８（ＪＰ，Ａ）

【文献】特開２０１７－０４０６１２（ＪＰ，Ａ）

【文献】国際公開第２０２０／０７１２３４（ＷＯ，Ａ１）

【文献】特開２００９－１６９７４０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

対象物と光源の相対位置を変化させながら、カメラで複数の画像を撮像し、
前記複数の画像を学習済モデルに入力して、前記複数の画像の中から前記対象物に映り込んだ静的映り込み像を抽出し、
抽出した前記静的映り込み像を前記複数の画像から除去し、
前記静的映り込み像を除去した前記複数の画像から、前記対象物と前記光源の相対位置を変化させると位置が変化する動的映り込み像を抽出する、
ことを特徴とする画像認識方法。

【請求項2】

前記学習済モデルは、前記対象物と同種のサンプルと前記光源の相対位置を変化させながら前記カメラで複数の画像を撮像し、該複数の画像にアノテーション処理をしてアノテーション画像を作成し、前記アノテーション画像を教師データとするディープラーニングにより生成された学習済モデルである、
ことを特徴とする請求項１に記載の画像認識方法。

【請求項3】

対象物を照明する光源と、
前記対象物を撮像可能なカメラと、
前記対象物に映る映り込み像の中で、前記対象物と前記光源の相対位置を変化させても位置が変化しない静的映り込み像を、予め機械学習した学習済モデルと、
コンピュータと、を備え、
前記コンピュータは、
前記対象物と前記光源の相対位置を変化させながら、前記カメラで複数の画像を撮像し、
前記複数の画像を前記学習済モデルに入力して、前記複数の画像の中から前記対象物に映り込んだ静的映り込み像を抽出し、
抽出した前記静的映り込み像を前記複数の画像から除去し、
前記静的映り込み像を除去した前記複数の画像から、前記対象物と前記光源の相対位置を変化させると位置が変化する動的映り込み像を抽出する、処理を実行する、
ことを特徴とする画像認識装置。

【請求項4】

前記学習済モデルは、前記対象物と同種のサンプルと前記光源の相対位置を変化させながら前記カメラで複数の画像を撮像し、該複数の画像にアノテーション処理をしてアノテーション画像を作成し、前記アノテーション画像を教師データとするディープラーニングにより生成された学習済モデルである、
ことを特徴とする請求項３に記載の画像認識装置。

【請求項5】

検査対象物と光源の相対位置を変化させながら、カメラで複数の画像を撮像し、
前記複数の画像を学習済モデルに入力して、前記複数の画像の中から前記検査対象物に映り込んだ静的映り込み像を抽出し、
抽出した前記静的映り込み像を前記複数の画像から除去し、
前記複数の画像から、前記検査対象物と前記光源の相対位置を変化させると位置が変化する動的映り込み像を抽出する、
ことを特徴とする検査方法。

【請求項6】

前記学習済モデルは、前記検査対象物と同種のサンプルと前記光源の相対位置を変化させながら前記カメラで複数の画像を撮像し、該複数の画像にアノテーション処理をしてアノテーション画像を作成し、前記アノテーション画像を教師データとするディープラーニングにより生成された学習済モデルである、
ことを特徴とする請求項５に記載の検査方法。

【請求項7】

前記静的映り込み像と前記動的映り込み像を除去した前記複数の画像を用いて、前記検査対象物の欠陥の有無を検査する、
ことを特徴とする請求項５または６に記載の検査方法。

【請求項8】

前記動的映り込み像を抽出する際に、
前記複数の画像のそれぞれから、欠陥候補領域を特定し、特定された前記欠陥候補領域からそれぞれ特徴点を抽出し、
前記それぞれ抽出した特徴点が、異なる位置に存在する前記欠陥候補領域を、前記動的映り込み像として抽出する、
ことを特徴とする請求項５乃至７のいずれか１項に記載の検査方法。

【請求項9】

前記動的映り込み像を抽出する際に、
前記複数の画像のそれぞれから、欠陥候補領域を特定し、特定された前記欠陥候補領域から特徴点を抽出し、
前記特徴点を抽出した前記複数の画像それぞれに対して前記特徴点の画像領域を拡大する膨張処理し、
前記膨張処理された特徴点を抽出した前記複数の画像それぞれにおいて、前記膨張処理された特徴点の画像に重なり領域が存在する前記欠陥候補領域は、前記動的映り込み像として抽出しない、
ことを特徴とする請求項５乃至８のいずれか１項に記載の検査方法。

【請求項10】

検査対象物を照明する光源と、
前記検査対象物を撮像可能なカメラと、
前記検査対象物に映る映り込み像の中で、前記検査対象物と前記光源の相対位置を変化させても位置が変化しない静的映り込み像を、予め機械学習した学習済モデルと、
コンピュータと、を備え、
前記コンピュータは、
前記検査対象物と前記光源の相対位置を変化させながら、前記カメラで複数の画像を撮像し、
前記複数の画像を前記学習済モデルに入力して、前記複数の画像の中から前記検査対象物に映り込んだ静的映り込み像を抽出し、
抽出した前記静的映り込み像を前記複数の画像から除去し、
前記複数の画像から、前記検査対象物と前記光源の相対位置を変化させると位置が変化する動的映り込み像を抽出し、
前記静的映り込み像と前記動的映り込み像を除去した前記複数の画像を用いて、前記検査対象物の欠陥の有無を検査する、処理を実行する、
ことを特徴とする検査装置。

【請求項11】

前記コンピュータは、
前記動的映り込み像を、
前記複数の画像のそれぞれから、欠陥候補領域を特定し、特定された前記欠陥候補領域からそれぞれ特徴点を抽出し、
前記それぞれ抽出した特徴点が、異なる位置に存在する前記欠陥候補領域を、前記動的映り込み像として抽出する、
ことを特徴とする請求項１０に記載の検査装置。

【請求項12】

前記コンピュータは、
前記動的映り込み像を抽出する際に、
前記複数の画像のそれぞれから、欠陥候補領域を特定し、特定された前記欠陥候補領域からそれぞれ特徴点を抽出し、
前記特徴点を抽出した前記複数の画像それぞれに対して前記特徴点の画像領域を拡大する膨張処理し、
前記膨張処理された特徴点を抽出した前記複数の画像それぞれにおいて、前記膨張処理された特徴点の画像に重なり領域が存在する前記欠陥候補領域は、前記動的映り込み像として抽出しない、
ことを特徴とする請求項１０または１１に記載の検査装置。

【請求項13】

前記学習済モデルは、前記検査対象物と同種のサンプルと前記光源の相対位置を変化させながら前記カメラで複数の画像を撮像し、該複数の画像にアノテーション処理をしてアノテーション画像を作成し、前記アノテーション画像を教師データとするディープラーニングにより生成された学習済モデルである、
ことを特徴とする請求項１０乃至１２のいずれか一項に記載の検査装置。

【請求項14】

請求項１０乃至１３のいずれか一項に記載の検査装置が備える前記コンピュータが、前記処理を実行するためのプログラム。

【請求項15】

請求項１４に記載のプログラムを記録したコンピュータ読み取り可能な非一時的な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象物が撮像された画像の中から、対象物に映り込んだ照明光等の映り込みを認識する画像認識方法に関する。さらに、係る画像認識方法を適用して物品を検査する検査方法、等に関する。

【背景技術】

【0002】

近年、カメラによって撮像された画像の中から対象物を認識する画像認識がいろいろな分野で活用されている。例えば、車載カメラの分野では、撮像された画像の中から、路上の人物等を認識することが行われている。また、ファクトリーオートメーション（ＦＡ）の分野では、部品等を撮影した画像の中から、部品を認識する処理が行われている。

【0003】

認識しようとする対象物を確実に撮像するためには、照明装置を用いて対象物を照明したり、カメラの撮像感度を高める必要がある。そうすると、照明光や、対象物の周囲から反射される照明光や、物品内部で多重反射した照明光が、対象物の表面に映り込み易くなる。対象物の表面にこうした映り込みが存在すると、撮影画像を用いて対象物を認識する際に、認識処理の正確性が低下することになる。

【0004】

特許文献１は、ウィンドガラスを通して車両前方をカメラで撮像して車両外に存在する人等の対象物を検出する装置において、ウィンドガラスに映り込んだ車両の固定物が撮像されてしまうことを問題としている。そこで、特許文献１には、車両の固定物が映り込む条件下でウィンドガラスを撮像した画像を、映り込み画像として予め記憶しておき、処理対象画像と映り込み画像との差分画像を生成する方法が開示されている。

【0005】

また、特許文献２は、例えばカラーフィルタなどの周期パターンを有するガラス基板におけるスジ状ムラ欠陥を、光の干渉を利用して検査する装置において、照明光の多重反射による映り込み（ゴースト）が発生してしまうことを問題としている。そこで、特許文献２では、照明の角度や位置を変化させた際に、映り込み（ゴースト）の位置は移動するが、欠陥の位置は変化しないことを利用して、複数の検査画像を用いて映り込み（ゴースト）とスジ状ムラ欠陥とを分離している。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１０－７９７０６号公報

【文献】特開２００９－１３９２０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、従来の方法では、対象物の表面に映り込みが存在する際に、認識処理の正確性を十分に高くできない場合があった。
特許文献１に開示された方法は、検出しようとする対象物（車両外に存在する人等）への映り込みではなく、カメラと対象物の間に介在するウィンドガラスへの映り込みを問題にしているので、直接的な解決策にはならない。また、特許文献１では、記憶した映り込み画像と処理対象画像の画素間の輝度値を比較している。このため、処理対象画像に含まれる対象物の輝度が、予め記憶した映り込み画像に含まれる車両の固定物の輝度と近似していた場合には、対象物を映り込みと誤認識してしまう可能性がある。

【0008】

また、特許文献２に開示された方法では、光の干渉を利用して周期パターンを検査する装置において、映り込みに対してテンプレート画像を作成し、複数の画像間で映り込みをパターンマッチングで追跡している。特許文献２の技術は、検査対象がカラーフィルタ等の平板である場合はよいが、複雑な形状を有する検査対象には適用が困難であった。検査対象が曲面や凹凸を有する複雑な形状であると、光の干渉を利用して周期パターンを検査するのはそもそも困難であり、スジ状ムラ欠陥と照明の映り込みを適切に認識できない場合がある。
そこで、複雑な形状の対象物を撮影した場合でも、撮影した画像の中から、対象物への映り込みを精度よく識別できる画像認識方法が求められていた。

【課題を解決するための手段】

【0009】

本発明の第１の態様は、対象物と光源の相対位置を変化させながら、カメラで複数の画像を撮像し、前記複数の画像を学習済モデルに入力して、前記複数の画像の中から前記対象物に映り込んだ静的映り込み像を抽出し、抽出した前記静的映り込み像を前記複数の画像から除去し、前記静的映り込み像を除去した前記複数の画像から、前記対象物と前記光源の相対位置を変化させると位置が変化する動的映り込み像を抽出する、ことを特徴とする画像認識方法である。

【0010】

また、本発明の第２の態様は、対象物を照明する光源と、前記対象物を撮像可能なカメラと、前記対象物に映る映り込み像の中で、前記対象物と前記光源の相対位置を変化させても位置が変化しない静的映り込み像を、予め機械学習した学習済モデルと、コンピュータと、を備え、前記コンピュータは、前記対象物と前記光源の相対位置を変化させながら、前記カメラで複数の画像を撮像し、前記複数の画像を前記学習済モデルに入力して、前記複数の画像の中から前記対象物に映り込んだ静的映り込み像を抽出し、抽出した前記静的映り込み像を前記複数の画像から除去し、前記静的映り込み像を除去した前記複数の画像から、前記対象物と前記光源の相対位置を変化させると位置が変化する動的映り込み像を抽出する、処理を実行する、ことを特徴とする画像認識装置である。

【0011】

また、本発明の第３の態様は、検査対象物と光源の相対位置を変化させながら、カメラで複数の画像を撮像し、前記複数の画像を学習済モデルに入力して、前記複数の画像の中から前記検査対象物に映り込んだ静的映り込み像を抽出し、抽出した前記静的映り込み像を前記複数の画像から除去し、前記複数の画像から、前記検査対象物と前記光源の相対位置を変化させると位置が変化する動的映り込み像を抽出する、ことを特徴とする検査方法である。

【0012】

また、本発明の第４の態様は、検査対象物を照明する光源と、前記検査対象物を撮像可能なカメラと、前記検査対象物に映る映り込み像の中で、前記検査対象物と前記光源の相対位置を変化させても位置が変化しない静的映り込み像を、予め機械学習した学習済モデルと、コンピュータと、を備え、前記コンピュータは、前記検査対象物と前記光源の相対位置を変化させながら、前記カメラで複数の画像を撮像し、前記複数の画像を前記学習済モデルに入力して、前記複数の画像の中から前記検査対象物に映り込んだ静的映り込み像を抽出し、抽出した前記静的映り込み像を前記複数の画像から除去し、前記複数の画像から、前記検査対象物と前記光源の相対位置を変化させると位置が変化する動的映り込み像を抽出し、前記静的映り込み像と前記動的映り込み像を除去した前記複数の画像を用いて、前記検査対象物の欠陥の有無を検査する、処理を実行する、ことを特徴とする検査装置である。

【発明の効果】

【0013】

本発明によれば、複雑な形状の対象物を撮影した場合でも、撮影した画像の中から、対象物への映り込みを精度よく識別できる画像認識方法を提供できる。

【図面の簡単な説明】

【0014】

【図1】実施形態に係る検査装置の概略構成を示す模式図。

【図2】実施形態に係る学習済モデルの作成方法を示すフローチャート。

【図3】（ａ）実施形態に係るモデル用画像の一例。（ｂ）実施形態に係る自動アノテーションの一例。（ｃ）実施形態に係るアノテーション領域修正の一例。（ｄ）実施形態に係る修正後アノテーション領域合成画像の一例。

【図4】実施形態に係る検査方法を示すフローチャート。

【図5】（ａ）Ｎフレーム目の撮像画像の一例。（ｂ）Ｎ＋１フレーム目の撮像画像。

【図6】（ａ）Ｎフレーム目の検査用画像の一例。（ｂ）Ｎ＋１フレーム目の検査用画像の一例。（ｃ）Ｎフレーム目の検査用画像の特徴点を膨張処理した例。（ｄ）Ｎ＋１フレーム目の検査用画像の特徴点を膨張処理した例。（ｅ）膨張後の特徴点の積を示す例。

【発明を実施するための形態】

【0015】

図面を参照して、本発明の実施形態について説明する。まず最初に、実施形態に係る検査装置、および当該検査装置が備える学習済みモデルを作成する方法について述べ、さらに実施形態に係る検査方法（画像認識方法）等について説明してゆく。
尚、以下の実施形態及び実施例の説明において参照する図面では、特に但し書きがない限り、同一の参照番号を付して示す要素は、同様の機能を有するものとする。

【0016】

［検査装置］
図１は、本発明の実施形態に係る検査装置の概略構成を示す模式図である。検査装置１０１は、ワークＷ（検査対象物）を保持する台座１０２と、光源１０３と、光源１０３を移動させる移動装置１０４と、撮像装置としてのカメラ１０５と、コンピュータ１０６と、表示装置１０７と、を備えている。

【0017】

本実施形態では、ワークＷは光学部品であるレンズとし、検査装置１０１は、レンズ表面のキズ、汚れ等をその外観に基づいて検査する。尚、レンズは検査対象物の一例であり、ワークＷは、他の光学部品でもよいし、それ以外の部品でもよい。実施形態の検査装置は、照明位置を変更した際に映り込みの状態が変化するような検査対象物、例えば曲面形状や凹凸形状を有する検査対象物に対して、高い信頼性の検査処理を実行することができる。ここで、検査対象物への映り込みとは、照明光源自身の映り込み像、周辺の構造物で反射した照明光に起因する反射像、照明光が検査対象物の内部で多重反射することに起因する像を含む。また、ここでいう照明光は、検査装置１０１が備える光源１０３だけではなく、蛍光灯などの外部光源の光も含んでいる。
ワークＷは、カメラ１０５から撮像可能な位置・姿勢で、台座１０２に保持される。台座１０２は、不図示の架台等に固定されている。

【0018】

光源１０３は、ワークＷに照明光を照射する照明装置である。カメラ１０５が検査に必要な輝度やコントラストでワークＷを撮像できるように、光源１０３は適宜の光量の光をワークＷに照射する。光源１０３に用いる発光デバイスの種類は特に限定されるわけではなく、例えばＬＥＤやハロゲンランプ等を用いることができる。光源１０３の発光形状は、リング照明やバー照明など、適宜の発光形状でよい。また、光源１０３の一部に拡散板やレンズ等の光学素子を設けて、照明光の配向特性を調整してもよい。

【0019】

移動装置１０４は、光源１０３を移動可能に支持する装置であり、光源１０３を直接支持する台座と、台座を移動させる移動機構（駆動モータ等）とを備える。ここで、移動装置１０４は、照明光の光軸がワークＷに対して一定の角度を維持するように光源１０３を支持しながら移動可能であることが望ましい。移動装置１０４は、例えば直動ステージや多関節ロボットにより構成することができる。

【0020】

移動装置１０４が光源１０３を移動させる方向は、光源１０３を移動させることにより検査対象における傷等の欠陥が検出されやすくなる方向が望ましいが、移動により対象物への映り込みが変化する方向であっても構わない。図１に例示するワークＷのように、ワークＷの形状の対称性が高い場合に、光源１０３としてライン状発光部のバー照明を用いるなら、ワークＷの対称軸（図１の垂直方向）と交差する方向（図１の水平方向）に沿って光源１０３を移動させるのが好ましい。また、光源１０３としてリング状発光部のリング照明を用いる場合には、ワークＷの対称軸と平行な方向（図１の垂直方向）に沿って光源１０３を移動させるのが望ましい。このように、ワークＷの形状、使用する光源の発光部形状、ワークで観察される映り込みや欠陥の形状、等に応じて光源１０３を移動させる方向を適宜設定することで、後述する検査工程における映り込みの識別性を高めることができる。

【0021】

カメラ１０５は、ワークＷを撮像して画像データを出力するデジタルカメラである。例えば、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等のエリアセンサを備えたデジタルカメラが好適に用いられる。

【0022】

コンピュータ１０６は、検査装置１０１の動作を制御するコンピュータであり、処理部としてのＣＰＵと、データの読み出し／書き込みが可能な記憶部と、各種の入出力インターフェースやマンマシンインターフェースを備える。コンピュータ１０６は、処理部として画像処理専用のＧＰＵを備えていてもよい。コンピュータ１０６は、記憶部として、フレキシブルディスク、光ディスク、光磁気ディスク、磁気テープ、ＵＳＢメモリ等の不揮発性メモリ、ＳＳＤ等の記録媒体を備えることができる。また、マンマシンインターフェースとして、例えばキーボード、ジョグダイアル、マウス、ポインティングデバイス、音声入力機などの入力デバイスを備えることができる。コンピュータ１０６は、検査装置１０１の各部の動作を制御するだけでなく、カメラ１０５で撮像された撮像画像に対して画像処理を行うことができる。コンピュータ１０６は、カメラ１０５で撮像した画像を用いディープラーニング用の教師データを作成したり、検査用の撮影画像に対して画像処理を行い対象物中の欠陥を検出する処理を行う。また、コンピュータ１０６の一部領域に、学習済モデルを形成することもできる。

【0023】

表示装置１０７は、検査装置１０１の表示部として動作可能である。例えば、カメラ１０５により撮像された画像や、コンピュータ１０６で処理された処理画像を表示し、作業者が座標値やパラメータ等を設定する作業を容易に行えるようにする。表示装置１０７は、例えば液晶ディスプレイや有機ＥＬディスプレイなどの表示デバイスを用いて構成される。

【0024】

本実施形態では、カメラ１０５は、台座１０２にセットされたワークＷとの相対位置が変化しないように、架台その他の構造物に固定されている。検査装置１０１は、光源１０３を移動させることで、光源１０３とワークＷの相対位置を変化させることができる。すなわち、移動装置１０４により光源１０３を移動させることで、光源１０３からワークＷを照射する照射位置を相対的に変更することができる。

【0025】

尚、光の照射位置を変更する方法として、移動装置１０４を用いて光源１０３を移動させる構成について説明するが、これに限定されるものではない。複数の光源を各々異なる位置に配置しておき、各光源を順次点灯させて各照射位置から順にワークＷを照射するように構成してもよい。
また、図１では、ワークＷを挟んでカメラ１０５と反対側に光源１０３を設置して透過照明をする構成について説明するが、光源１０３をワークＷに対してカメラ１０５と同じ側に設置して直接照明するような構成でもよい。光源のレイアウトは、ワークＷの性質（透明か不透明か等）に応じて、適宜設定することができる。

【0026】

［学習済みモデルの作成方法］
次に、実施形態に係る学習済モデルの作成方法について説明する。図２は、実施形態に係る学習済モデルの作成方法を説明するためのフローチャートである。
本実施形態では、画像中に含まれる静的映り込み領域を推論によって抽出する学習済モデルを、ディープラーニングの手法を用いて作成する。ここで、静的映り込み領域とは、欠陥の無い対象物に映り込んだ映り込み像の中で、光源１０３を移動（照明位置を変更）させても変化が小さな（静的な）映り込みが存在する領域を指す。

【0027】

対象物に傷等の欠陥がないかを検査するために撮像された画像には、傷等の欠陥像（もし、存在する場合）と、対象物への照明の映り込み像が含まれている。傷等の欠陥の有無を高精度に判定するためには、傷等の欠陥と照明の映り込みを適切に判別できることが重要である。
傷等の欠陥像と照明の映り込み像については、次のような性質がある。対象物とカメラの相対位置が固定されていれば、照明位置を変更して複数の画像を撮像した時に、傷等の欠陥像は、画像どうしの間で位置が変化しにくい。一方、対象物への照明の映り込み像に関しては、前述と同様に撮像した場合に、画像どうしの間で位置が変化する動的映り込み像と、位置が変化しない静的映り込み像とが存在する。特に、対象物が非球面レンズ等のように複雑な形状を有し、粗面加工を施された部品の場合に、両者は顕著に存在する。

【0028】

動的映り込み像については、複数の撮像画像を用いて相関解析などを行うことにより、移動する映り込み部分を特定することができるため、傷等の欠陥像と区別することができる。他方、静的映り込み像については、照明位置を変更して複数の検査用画像を撮像したとしても、傷等の欠陥像と同様に、画像どうしの間では位置が変化しないため、傷等の欠陥像と区別することが困難である。

【0029】

一般に、傷等の欠陥像は、欠陥の種類や形状に応じてバリエーションが非常に多いため、機械学習で学習済モデルを作成しようとしても、膨大な教師データの収集が必要になり、学習済モデルを作成するのは容易ではない。その点、静的映り込み像は、照明位置を変更させても画像中での変化が小さいものであるため、機械学習用の教師データを比較的容易に収集することが可能である。
そこで、実施形態では、図２のフローチャートに従って、画像中に静的映り込み像が存在する領域（静的映り込み領域）を推論によって抽出する学習済モデルを作成する。

【0030】

まず、ステップＳ２０１にて、学習済モデル作成用の教師ワークを、検査装置１０１の台座１０２にセットする。ここでは、検査対象となるワークＷと同種のワークの中から、傷等の欠陥がないワーク（サンプル）を予め選定して教師ワークとして用いる。検査対象となるワークＷの形状ばらつき等を考慮し、教師ワークは複数準備しておくのが望ましい。教師ワークは、検査時にワークＷがセットされるのと同様の位置姿勢で、台座１０２にセットされる。すなわち、カメラ１０５により撮像された時に、ワークの被検査面が映る位置姿勢である。

【0031】

次に、ステップＳ２０２にて、コンピュータ１０６は、移動装置１０４に指令を送り、光源１０３を所定の照明位置まで移動させる。後述するように、検査時には光源１０３を複数の照明位置に順次移動させ、各照明位置毎にカメラ１０５で検査用画像を撮像するが、ステップＳ２０２においては、検査時に用いる複数の照明位置のいずれかに光源１０３を移動させる。
次に、ステップＳ２０３にて、コンピュータ１０６は、光源１０３から照明された教師ワークをカメラ１０５に撮像させ、モデル用画像として画像データをコンピュータ１０６の記憶部に取り込む。

【0032】

次に、ステップＳ２０４にて、コンピュータ１０６は、台座１０２にセットされている教師ワークについて、検査時に用いる複数の照明位置の全てについて教師ワークの撮像が完了したかを判定する。
検査時に用いる複数の照明位置の全てについての撮像が完了していない場合（ステップＳ２０４：ＮＯ）には、ステップＳ２０２に戻り、コンピュータ１０６は、複数の照明位置のうち未だ移動していない位置に光源１０３を移動させる。以後、セットされている教師ワークについて、検査時に用いる複数の照明位置の全てについての撮像が完了するまで、ステップＳ２０２～ステップＳ２０４を繰り返し実行する。

【0033】

セットされている教師ワークについて、検査時に用いる複数の照明位置の全てについての撮像が完了している場合（ステップＳ２０４：ＹＥＳ）には、ステップＳ２０５に進み、準備された複数の教師ワークの全てについての撮像が完了したかを判定する。
全ての教師ワークについての撮像が完了していない場合（ステップＳ２０５：ＮＯ）には、ステップＳ２０１に戻り、未だ撮像されていない教師ワークを台座１０２にセットし、上述と同様のステップを繰り返す。
尚、ワークを台座１０２にセットする度にワークの位置・姿勢にばらつきが生じる場合には、機械学習用の教師データを豊富化するため、同じ教師ワークを何度も台座１０２にセットし直して、その度に上述した撮像を実施するフローにしてもよい。

【0034】

全ての教師ワークについて、必要な撮像が完了した場合（ステップＳ２０５：ＹＥＳ）には、ステップＳ２０６に進み、コンピュータ１０６は記憶したモデル用画像に対して自動的にアノテーション処理を実行する。
自動アノテーション処理では、予め選択された特徴量に基づいた特徴量を算出し、所定の特徴量閾値を用いて、映り込み領域が明画素となるように二値化処理を行う。特徴量は映り込みのみが抽出できる特徴量を選び、二値化処理で用いる閾値は映り込み領域が十分に抽出できる値を設定する。本実施形態では、特徴量として標準編差を用いている。

【0035】

注目画素から一定距離の画素内にある全画素の標準偏差を求め、注目画素の標準偏差値とし、モデル用画像の各画素において標準偏差値を求める。照明の明るさが十分に明るい場合には、検査画像上は輝度が飽和しているため、映り込みのエッジ画素が抽出される。映り込みのエッジ部分は閉領域となるため、閉領域を塗りつぶしアノテーション領域とする。

【0036】

映り込みのエッジ部分について、モデル用画像上の画素の隣接画素を調べ、輝度が一定以上の画素を再度エッジ画素とすることを繰り返すことで、閉領域を塗りつぶすことができる。その際には、一般的な閉領域の塗りつぶしアルゴリズムを用いることができる。尚、特徴量は、標準偏差と同様の手法で平均値を求めたもの、モデル用画像を一定区画毎に区切り、区画毎に同時生起行列を求め、同時生起行列からコントラスト、エントロピーを算出したものの中から選択する。また、特徴量を算出せずに、輝度閾値を用いて二値化を行ってもよい。また、自動アノテーションによる映り込みのエッジ部分の情報をより多くモデルに反映させるために、アノテーション領域を膨張させ、実際の映り込みより数画素分広く設定したアノテーション画像にしてもよい。

【0037】

自動アノテーション処理を実行したら、ステップＳ２０７に進み、コンピュータ１０６は、自動アノテーション処理の結果を表示装置１０７に表示する。自動アノテーション処理の結果は、作業者（モデル作成者）が、モデル用画像とアノテーション領域を比較し易いように表示する。例えば、モデル用画像と、モデル用画像のアノテーション領域を塗りつぶしたアノテーション領域合成画像を、モデル作成者が画面で任意に切り替えて表示できるようにする。また、アノテーション領域を画像化したアノテーション画像を作成し、モデル用画像とアノテーション画像を並列表示してもよいし、モデル用画像とアノテーション領域をレイヤー合成し、１枚の画像で比較できるように表示してもよい。

【0038】

次に、ステップＳ２０８において、モデル作成者は、表示装置１０７に表示された自動アノテーション処理の結果を確認し、自動アノテーション結果が実際の映り込み領域と異なる場合には、アノテーション領域の修正を行う。モデル作成者は、例えばマウス操作により、映り込み領域の除去、再入力など必要な編集作業を行う。尚、アノテーション領域の修正は、タッチパネル等のデバイスを用いて行ってもよい。

【0039】

図３（ａ）～図３（ｄ）は、ステップＳ２０７におけるアノテーション領域の表示から、ステップＳ２０８における修正処理までの一連の工程を説明するための模式図である。
図３（ａ）は、撮像されたモデル用画像の一例であり、教師用ワーク３０１と、教師用ワーク３０１に映り込んだ映り込み像３０２が図示されている。
図３（ｂ）には、ステップＳ２０６の自動アノテーション処理における自動アノテーション領域３０３が示されている。自動アノテーション領域３０３を任意の色で塗りつぶし、モデル用画像に埋め込むことで、図３（ｃ）に示すアノテーション領域合成画像を作成することができる。

【0040】

表示装置１０７に表示されたアノテーション領域合成画像から、実際の映り込み像３０２と自動アノテーション領域３０３に相違があることをモデル作成者が認識すると、ステップＳ２０８にて修正する。モデル作成者は、相違がある領域を自動アノテーション領域と同色で塗りつぶすように修正し、教師データとして、図３（ｄ）に示す修正済アノテーション領域合成画像を作成する。尚、３０６は修正済アノテーション領域である。

【0041】

次に、ステップＳ２０９に進み、教師データを用いてディープラーニングを行い、学習済モデルを作成する。モデル用画像と、モデル用画像に対応したアノテーション領域を対応付けした教師データを用いて、例えば全層畳み込みネットワークの一種であるＵ－ＮＥＴに機械学習させる。そして、照明位置を変更しても位置が変化しない映り込みである静的映り込み像が存在する領域を機械学習させて学習済モデルを作成する。学習済モデルは、コンピュータ１０６内の記憶部、あるいは他の記憶部に保存される。尚、より多くの映り込みの状態をモデルに反映させるために、アフィン変換等の画像変換処理を用いて、モデル用画像とアノテーション領域のセットを平行移動、回転移動、拡大、縮小等を行い、教師データを豊富化してディープラーニングさせてもよい。
以上のようにして、撮影画像の中から静的映り込み像が存在する領域を特定することが可能な学習済モデルが形成される。

【0042】

［検査方法］
次に、実施形態に係る検査方法（画像認識方法）について説明する。検査対象物としてのワークＷを複数の照明位置から照明してカメラで撮像し、複数の検査用画像を取得する。そして、学習済モデルを用いて検査用画像中の静的映り込み像を抽出（推定）して、これを検査用画像中から除外する。さらに、静的映り込みを除外した複数の検査用画像に含まれる像から特徴点を抽出し、各特徴点について、複数の検査用画像間における移動の有無を検出する。特徴点が移動する場合にはその像を動的映り込み像と推定し、移動しない特徴点が検出された場合には、その像を欠陥（候補）として抽出する。

【0043】

図４は、実施形態に係る検査方法を示すフローチャートである。
まず、ステップＳ５０１にて、検査対象物であるワークＷを、検査装置１０１の台座１０２にセットする。ワークＷは、学習済モデル作成時に教師ワークがセットされたのと同様の位置・姿勢で、台座１０２にセットされる。すなわち、カメラ１０５により撮像された時に、撮像された画像にワークＷの被検査面が映る位置・姿勢である。

【0044】

次に、ステップＳ５０２にて、コンピュータ１０６は、移動装置１０４に指令を送り、光源１０３を所定の照明位置まで移動させる。検査時には光源１０３を複数の照明位置に順次移動させ、各照明位置毎にカメラ１０５で検査用画像を撮像するが、ステップＳ５０２においては、複数の照明位置のいずれかに光源１０３を移動させる。

【0045】

次に、ステップＳ５０３にて、コンピュータ１０６は、光源１０３から照明されたワークＷをカメラ１０５に撮像させ、検査用画像データとして画像をコンピュータ１０６内の記憶部に取り込む。

【0046】

次に、ステップＳ５０４にて、コンピュータ１０６は、台座１０２にセットされているワークＷについて、複数の照明位置の全てについてワークＷの撮像が完了したかを判定する。
複数の照明位置の全てについての撮像が完了していない場合（ステップＳ５０４：ＮＯ）には、ステップＳ５０２に戻り、コンピュータ１０６は、複数の照明位置のうち未だ移動していない位置に光源１０３を移動させる。以後、検査対象のワークＷについて、複数の照明位置の全てについての撮像が完了するまで、ステップＳ５０２～ステップＳ５０４を繰り返し実行する。

【0047】

セットされている検査対象のワークＷについて、複数の照明位置の全てについての撮像が完了している場合（ステップＳ５０４：ＹＥＳ）には、ステップＳ５０５に進む。
ステップＳ５０５では、学習済モデルに検査用画像を処理させ、検査用画像中の静的映り込み像が存在する領域（静的映り込み領域）を推論させる。そして、検査用画像から静的映り込み領域を除外した欠陥候補抽出領域の画像データを抽出する。欠陥候補抽出領域には、動的映り込み像と、（存在する場合には）欠陥像が含まれている可能性がある。

【0048】

次に、ステップＳ５０６では、欠陥候補抽出領域の画像データを、予め設定された輝度閾値を用いて２値化する。欠陥候補抽出領域の中から、欠陥が映っている可能性がある画素（欠陥候補画素）を抽出するためである。２値化処理で用いる閾値は、欠陥を十分に抽出できる程度の輝度値に設定する。尚、輝度を閾値として欠陥候補画素を抽出する代わりに、バンドパスフィルタを用いて特定の空間周波数を検出することにより、欠陥候補画素を抽出してもよい。２値化の結果については、便宜的に、例えば欠陥候補画素を明画素、欠陥候補以外の画素を暗画素として表示することができる。

【0049】

次に、ステップＳ５０７では、欠陥候補画素（欠陥候補領域）の中から特徴点を抽出する。
まず、欠陥候補画素群のうち、一つの像を構成する画素に、同一のラベルを付与するラベリング処理を行い、同一ラベルの欠陥候補画素の数をカウントし、欠陥候補の面積を算出する。任意のラベル中心から等距離の円領域内に存在するラベルをラベル連結して、同一ラベルの欠陥候補を統合する。尚、欠陥候補の面積を用いる代わりに、例えば、欠陥候補の縦横の長さ、欠陥候補の座標上の点群における輝度平均値、輝度最大値もしくは輝度最小値などを用いて欠陥候補を統合してもよい。尚、この段階では、統合された欠陥候補は、動的映り込み像である可能性もあるし、欠陥像である可能性もある。

【0050】

次に、統合された欠陥候補の重心点を、特徴点として抽出する。ここでは統合された欠陥候補に対する特徴点が１つの場合について説明するが、特徴点は複数であってもよい。また、ステップＳ５０６において、カメラ１０５により撮像された検査画像について画像処理（２値化）を施した画像から特徴点を抽出する場合について説明したが、これに限定するものではない。つまり、検査画像から直接特徴点を抽出してもよく、例えば、特徴点としてＨａｒｒｉｓのコーナー検出によって導き出されるコーナー座標値を算出してもよい。

【0051】

次に、ステップＳ５０８では、統合された欠陥候補の特徴点が、照明位置を変えて撮像した画像において移動しているか否かを識別する。特徴点が移動しているか否かを識別することにより、欠陥候補の中から動的映り込み像を抽出することができる。図５（ａ）と図５（ｂ）を参照して、特徴点の移動の有無を識別をすることにより、動的映り込み像を抽出できることを説明する。

【0052】

図５（ａ）は、光源１０３を移動させながら連続撮影した画像中のＮフレーム目の撮像画像であり、第１の欠陥候補６０１と第２の欠陥候補６０２の像が映っている。６０３は、第１の欠陥候補６０１の特徴点（例えば重心）であり、６０４は、第２の欠陥候補６０２の特徴点（例えば重心）である。図５（ａ）からだけでは、各々の欠陥候補が欠陥像なのか動的映り込み像なのかを識別することはできない。

【0053】

図５（ｂ）は、光源１０３を移動させながら連続撮影した画像中のＮ＋１フレーム目の撮像画像であり、第１の欠陥候補６０１と第２の欠陥候補６０２が映っている。６０３は、第１の欠陥候補６０１の特徴点（例えば重心）であり、６０４は、第２の欠陥候補６０２の特徴点（例えば重心）である。

【0054】

図５（ａ）と図５（ｂ）を比較すると、第１の欠陥候補６０１の特徴点６０３は移動しているが、第２の欠陥候補６０２の特徴点６０４は移動していないことがわかる。これにより、第１の欠陥候補６０１は動的映り込み像であると判定することができる。ここでは、連続した２フレームを例に挙げたが、更に多数の撮像画像を用いて特徴点を追跡することにより、動的映り込み像と欠陥像の判別精度を高めることが可能である。例えば、連続撮影した複数枚の画像において、所定枚数以上の連続する画像において同一の特徴点が移動していない場合には、その像は動的映り込み像ではないと判定する。

【0055】

尚、例えば２値化処理における量子化誤差や、欠陥候補画素を統合する処理で発生する誤差の影響などにより、画像間で特徴点の位置が微小に変化する場合がある。特徴点の位置が微小にしか動かない場合にも、これを動的映り込みであると判定するならば、欠陥像を動的映り込み像だと誤判定してしまう可能性がある。そこで、実施形態では、画像間で特徴点の位置が変化していたとしても、変化量が微小な場合には、動的映り込み像ではないと判定する処理を用いる場合がある。

【0056】

図６（ａ）～図６（ｅ）を参照して、この処理について説明する。図６（ａ）はＮフレーム目の検査用画像、図６（ｂ）はＮ＋１フレーム目の検査用画像を示している。この例では、同一の欠陥候補についての特徴点７０１と特徴点７０２の位置が数画素ずれている。数画素程度の微小なずれを吸収するために、膨張処理（画像領域の拡大）を行う。図６（ｃ）の領域７０３、図６（ｄ）の領域７０４は、それぞれＮフレーム目、Ｎ＋１フレーム目の検査用画像の特徴点を膨張処理したものである。また、図６（ｅ）は、図６（ｃ）、図６（ｄ）における膨張処理後の同一欠陥候補の特徴点の論理積を示している。積領域７０５が存在するとき、特徴点７０１、７０２は移動していないとみなし、この欠陥候補は動的映り込みではないと推定する。図６（ａ）～図６（ｅ）では、特徴点の周囲１画素の範囲で膨張処理した例を示したが、膨張処理する範囲は１画素に限らず、適宜範囲を設定することは可能である。

【0057】

図４に戻り、ステップＳ５０９では、欠陥候補の中からステップＳ５０８で動的映り込み像と判定したものを除外する。
そして、ステップＳ５１０では、残った欠陥候補を、欠陥として判定する。ただし、製品規格等により、欠陥として取り扱う必要がない傷の形状や大きさが定められている場合には、残った欠陥候補の中で該当するものを欠陥判定から除外してもよい。
そして、ステップＳ５１１では、コンピュータ１０６は、ステップＳ５１０で欠陥として判定されたものの数や大きさと、ワークについて予め登録された良否判定基準とを比較して、検査対象のワークＷについての良否判定を行う。

【0058】

以上説明したように、実施形態に係る画像認識方法によれば、検査対象物が、例えば非球面レンズのように複雑な形状を有するワークであっても、撮影した画像の中から、ワークへの映り込み像を精度よく自動的に識別することができる。このため、検査対象物を撮影した画像から映り込み像を容易に除去することができ、傷等の欠陥の有無を画像に基づいて高精度に検査することができる。

【0059】

［他の実施形態］
なお、本発明は、以上説明した実施形態や実施例に限定されるものではなく、本発明の技術的思想内で多くの変形が可能である。
上述した学習済モデルの作成方法や検査方法を実行可能な制御プログラム、制御プログラムを格納したコンピュータ読み取り可能な非一時的な記録媒体も、本発明の実施形態に含まれる。

【0060】

また、実施形態に係る検査装置や検査方法は、非球面レンズ等の光学部品をはじめ、意匠性のある外装部品など、照明の映り込みが発生しやすい複雑な形状を有する物品の検査に好適に適用することができる。

【0061】

本発明は、実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0062】

１０１・・・検査装置／１０２・・・台座／１０３・・・光源／１０４・・・移動装置／１０５・・・カメラ／１０６・・・コンピュータ／１０７・・・表示装置／３０１・・・教師用ワーク／３０２・・・映り込み像／３０３・・・自動アノテーション領域／３０６・・・修正済アノテーション領域／６０１・・・第１の欠陥候補／６０２・・・第２の欠陥候補／６０３・・・第１の欠陥候補の特徴点／６０４・・・第２の欠陥候補の特徴点／７０１、７０２・・・特徴点／７０３、７０４・・・膨張処理した特徴点／７０５・・・積領域／Ｗ・・・ワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】