特開 2022-123733 検査装置、検査方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022123733

(43)【公開日】2022-08-24

(54)【発明の名称】検査装置、検査方法、およびプログラム

(51)【国際特許分類】

   G01N 21/88 20060101AFI20220817BHJP

   G06T 7/00 20170101ALI20220817BHJP

【ＦＩ】

G01N21/88 J

G06T7/00 610B

G06T7/00 350C

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2021021238

(22)【出願日】2021-02-12

(71)【出願人】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(71)【出願人】

【識別番号】502178001

【氏名又は名称】学校法人梅村学園

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】武藤 功樹

(72)【発明者】

【氏名】宮永 裕介

(72)【発明者】

【氏名】市川 尋信

(72)【発明者】

【氏名】戸田 昌孝

(72)【発明者】

【氏名】青木 公也

(72)【発明者】

【氏名】山腰 朋城

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA07

2G051AB02

2G051BA20

2G051CA04

2G051CA20

2G051DA08

2G051EA01

2G051EA20

2G051EB05

2G051FA02

5L096BA03

5L096EA26

5L096FA67

5L096GA08

5L096GA34

5L096HA11

5L096KA04

(57)【要約】

【課題】検査対象物について撮影画像を用いて高精度に欠陥を検査するとともに使用するデータ量を少なく抑える。
【解決手段】実施形態の検査装置は、一例として、検査対象物を複数の角度から撮影して得られた複数の撮影画像を取得する取得部と、撮影画像のそれぞれに対して、対応する角度に応じたラベルを付与する付与部と、入力画像としての撮影画像および対応するラベルを入力して潜在変数を生成するエンコーダ、ならびに、ラベルおよび潜在変数を入力して復元画像を生成するデコーダを含むニューラルネットワークを、入力画像と復元画像が同じになるように学習する学習処理部と、検査対象物の検査時に、検査画像としての撮影画像および対応するラベルをニューラルネットワークに入力することによって得られた復元画像である復元検査画像と、検査画像と、の差分に基づいて、検査対象物の欠陥の検査処理を行う検査処理部と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

検査対象物を複数の角度から撮影して得られた複数の撮影画像を取得する取得部と、
前記撮影画像のそれぞれに対して、対応する前記角度に応じたラベルを付与する付与部と、
入力画像としての前記撮影画像および対応する前記ラベルを入力して潜在変数を生成するエンコーダ、ならびに、前記ラベルおよび前記潜在変数を入力して復元画像を生成するデコーダを含むニューラルネットワークを、前記入力画像と前記復元画像が同じになるように学習する学習処理部と、
前記検査対象物の検査時に、検査画像としての前記撮影画像および対応する前記ラベルを前記ニューラルネットワークに入力することによって得られた前記復元画像である復元検査画像と、前記検査画像と、の差分に基づいて、前記検査対象物の欠陥の検査処理を行う検査処理部と、
を備える検査装置。

【請求項2】

前記取得部によって取得された前記撮影画像を複数のブロック画像に分割する画像分割部を、さらに備え、
前記付与部は、前記ブロック画像のそれぞれに対して、対応する前記角度と、ブロック位置と、に応じたラベルを付与する、請求項１に記載の検査装置。

【請求項3】

前記付与部は、前記ブロック画像のそれぞれに対して、対応する前記角度と、ブロック位置と、前記検査対象物の設計時のＣＡＤ（Computer-aided Design）情報に基づく三次元情報と、に応じたラベルを付与する、請求項２に記載の検査装置。

【請求項4】

前記検査処理部は、前記検査処理を行う場合に、欠陥候補画素を特定し、
前記検査装置は、
前記三次元情報に基づいて前記欠陥候補画素を三次元座標系に投影する投影処理部と、
前記投影処理部により投影された前記三次元座標系を所定サイズ単位で分割したボクセルごとに欠陥判定を行う判定部と、をさらに備える、請求項３に記載の検査装置。

【請求項5】

検査対象物を複数の角度から撮影して得られた複数の撮影画像を取得する取得ステップと、
前記撮影画像のそれぞれに対して、対応する前記角度に応じたラベルを付与する付与ステップと、
入力画像としての前記撮影画像および対応する前記ラベルを入力して潜在変数を生成するエンコーダ、ならびに、前記ラベルおよび前記潜在変数を入力して復元画像を生成するデコーダを含むニューラルネットワークを、前記入力画像と前記復元画像が同じになるように学習する学習処理ステップと、
前記検査対象物の検査時に、検査画像としての前記撮影画像および対応する前記ラベルを前記ニューラルネットワークに入力することによって得られた前記復元画像である復元検査画像と、前記検査画像と、の差分に基づいて、前記検査対象物の欠陥の検査処理を行う検査処理ステップと、
を含む検査方法。

【請求項6】

前記取得ステップによって取得された前記撮影画像を複数のブロック画像に分割する画像分割ステップを、さらに含み、
前記付与ステップは、前記ブロック画像のそれぞれに対して、対応する前記角度と、ブロック位置と、に応じたラベルを付与する、請求項５に記載の検査方法。

【請求項7】

前記付与ステップは、前記ブロック画像のそれぞれに対して、対応する前記角度と、ブロック位置と、前記検査対象物の設計時のＣＡＤ情報に基づく三次元情報と、に応じたラベルを付与する、請求項６に記載の検査方法。

【請求項8】

前記検査処理ステップは、前記検査処理を行う場合に、欠陥候補画素を特定し、
前記検査方法は、
前記三次元情報に基づいて前記欠陥候補画素を三次元座標系に投影する投影処理ステップと、
前記投影処理ステップにより投影された前記三次元座標系を所定サイズ単位で分割したボクセルごとに欠陥判定を行う判定ステップと、をさらに含む、請求項７に記載の検査方法。

【請求項9】

コンピュータを、
検査対象物を複数の角度から撮影して得られた複数の撮影画像を取得する取得部と、
前記撮影画像のそれぞれに対して、対応する前記角度に応じたラベルを付与する付与部と、
入力画像としての前記撮影画像および対応する前記ラベルを入力して潜在変数を生成するエンコーダ、ならびに、前記ラベルおよび前記潜在変数を入力して復元画像を生成するデコーダを含むニューラルネットワークを、前記入力画像と前記復元画像が同じになるように学習する学習処理部と、
前記検査対象物の検査時に、検査画像としての前記撮影画像および対応する前記ラベルを前記ニューラルネットワークに入力することによって得られた前記復元画像である復元検査画像と、前記検査画像と、の差分に基づいて、前記検査対象物の欠陥の検査処理を行う検査処理部と、
して機能させるためのプログラム。

【請求項10】

前記コンピュータを、さらに、
前記取得部によって取得された前記撮影画像を複数のブロック画像に分割する画像分割部として機能させ、
前記付与部は、前記ブロック画像のそれぞれに対して、対応する前記角度と、ブロック位置と、に応じたラベルを付与する、請求項９に記載のプログラム。

【請求項11】

前記付与部は、前記ブロック画像のそれぞれに対して、対応する前記角度と、ブロック位置と、前記検査対象物の設計時のＣＡＤ情報に基づく三次元情報と、に応じたラベルを付与する、請求項１０に記載のプログラム。

【請求項12】

前記検査処理部は、前記検査処理を行う場合に、欠陥候補画素を特定し、
前記コンピュータを、さらに、
前記三次元情報に基づいて前記欠陥候補画素を三次元座標系に投影する投影処理部と、
前記投影処理部により投影された前記三次元座標系を所定サイズ単位で分割したボクセルごとに欠陥判定を行う判定部として機能させる、請求項１１に記載のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、検査装置、検査方法、およびプログラムに関する。

【背景技術】

【0002】

近年、工業製品等の検査対象物の欠陥（バリ、打痕、キズ、変形、汚れ等）を検査する場合に、画像処理を用いる手法がある。具体的には、例えば、検査対象物の撮影画像を良品画像と比較することで、欠陥を発見することができる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかしながら、上述の従来技術では、例えば、検査対象物の形状が複雑な場合、所定の検査精度を実現するためには、多くの異なる角度から撮影した高解像度の複数の撮影画像を使用する必要が生じるので、使用するデータ量の点で改善の余地がある。

【0004】

そこで、実施形態の課題の一つは、検査対象物について撮影画像を用いて高精度に欠陥を検査するとともに使用するデータ量を少なく抑えることができる検査装置、検査方法、およびプログラムを提供することである。

【課題を解決するための手段】

【0005】

実施形態の検査装置は、一例として、検査対象物を複数の角度から撮影して得られた複数の撮影画像を取得する取得部と、前記撮影画像のそれぞれに対して、対応する前記角度に応じたラベルを付与する付与部と、入力画像としての前記撮影画像および対応する前記ラベルを入力して潜在変数を生成するエンコーダ、ならびに、前記ラベルおよび前記潜在変数を入力して復元画像を生成するデコーダを含むニューラルネットワークを、前記入力画像と前記復元画像が同じになるように学習する学習処理部と、前記検査対象物の検査時に、検査画像としての前記撮影画像および対応する前記ラベルを前記ニューラルネットワークに入力することによって得られた前記復元画像である復元検査画像と、前記検査画像と、の差分に基づいて、前記検査対象物の欠陥の検査処理を行う検査処理部と、を備える。
このような構成により、撮影画像と、撮影角度に応じたラベルと、ニューラルネットワークと、を用いることで、検査対象物について撮影画像を用いて高精度に欠陥を検査するとともに使用するデータ量を少なく抑えることができる。

【0006】

また、実施形態の検査装置は、一例として、前記取得部によって取得された前記撮影画像を複数のブロック画像に分割する画像分割部を、さらに備え、前記付与部は、前記ブロック画像のそれぞれに対して、対応する前記角度と、ブロック位置と、に応じたラベルを付与する。
このような構成により、撮影画像を複数のブロック画像に分割して用いることで、ニューラルネットワークを用いた学習処理と検査処理をより高精度に行うことができる。

【0007】

また、実施形態の検査装置は、一例として、前記付与部は、前記ブロック画像のそれぞれに対して、対応する前記角度と、ブロック位置と、前記検査対象物の設計時のＣＡＤ情報に基づく三次元情報と、に応じたラベルを付与する。
このような構成により、ラベルにＣＡＤ情報に基づく三次元情報を含めることで、より高精度な検査を実現できる。

【0008】

また、実施形態の検査装置は、一例として、前記検査処理部は、前記検査処理を行う場合に、欠陥候補画素を特定し、前記検査装置は、前記三次元情報に基づいて前記欠陥候補画素を三次元座標系に投影する投影処理部と、前記投影処理部により投影された前記三次元座標系を所定サイズ単位で分割したボクセルごとに欠陥判定を行う判定部と、をさらに備える。
このような構成により、欠陥候補画素を三次元座標系に投影してボクセルごとに欠陥判定を行うことで、より高精度な検査を実現できる。

【0009】

実施形態の検査方法は、一例として、検査対象物を複数の角度から撮影して得られた複数の撮影画像を取得する取得ステップと、前記撮影画像のそれぞれに対して、対応する前記角度に応じたラベルを付与する付与ステップと、入力画像としての前記撮影画像および対応する前記ラベルを入力して潜在変数を生成するエンコーダ、ならびに、前記ラベルおよび前記潜在変数を入力して復元画像を生成するデコーダを含むニューラルネットワークを、前記入力画像と前記復元画像が同じになるように学習する学習処理ステップと、前記検査対象物の検査時に、検査画像としての前記撮影画像および対応する前記ラベルを前記ニューラルネットワークに入力することによって得られた前記復元画像である復元検査画像と、前記検査画像と、の差分に基づいて、前記検査対象物の欠陥の検査処理を行う検査処理ステップと、を含む。
このような構成により、撮影画像と、撮影角度に応じたラベルと、ニューラルネットワークと、を用いることで、検査対象物について撮影画像を用いて高精度に欠陥を検査するとともに使用するデータ量を少なく抑えることができる。

【0010】

実施形態のプログラムは、一例として、コンピュータを、検査対象物を複数の角度から撮影して得られた複数の撮影画像を取得する取得部と、前記撮影画像のそれぞれに対して、対応する前記角度に応じたラベルを付与する付与部と、入力画像としての前記撮影画像および対応する前記ラベルを入力して潜在変数を生成するエンコーダ、ならびに、前記ラベルおよび前記潜在変数を入力して復元画像を生成するデコーダを含むニューラルネットワークを、前記入力画像と前記復元画像が同じになるように学習する学習処理部と、前記検査対象物の検査時に、検査画像としての前記撮影画像および対応する前記ラベルを前記ニューラルネットワークに入力することによって得られた前記復元画像である復元検査画像と、前記検査画像と、の差分に基づいて、前記検査対象物の欠陥の検査処理を行う検査処理部と、して機能させるためのプログラムである。
このような構成により、撮影画像と、撮影角度に応じたラベルと、ニューラルネットワークと、を用いることで、検査対象物について撮影画像を用いて高精度に欠陥を検査するとともに使用するデータ量を少なく抑えることができる。

【図面の簡単な説明】

【0011】

【図1】図１は、実施形態の検査システムの概要を示す全体構成図である。

【図2】図２は、実施形態の検査装置の機能構成を示すブロック図である。

【図3】図３は、実施形態で用いるＣＶＡＥモデルの概要を示す図である。

【図4】図４は、実施形態における検査対象物の撮影画像とＣＡＤ情報に基づく法線ベクトル画像の例である。

【図5】図５は、実施形態における撮影画像等の例である。

【図6】図６は、実施形態の検査装置による学習処理を示すフローチャートである。

【図7】図７は、実施形態の検査装置による第１の検査処理を示すフローチャートである。

【図8】図８は、実施形態の検査装置による第２の検査処理を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によって実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも１つを得ることが可能である。

【0013】

まず、図１、図２を参照して、実施形態の検査システムＳの構成や検査対象物５（以下、「部品」ともいう。）などについて説明する。図１は、実施形態の検査システムＳの概要を示す全体構成図である。図２は、実施形態の検査装置４の機能構成を示すブロック図である。

【0014】

本実施形態における検査対象物５は、例えば、複雑な立体形状を有する大型金属部品である。検査対象物５は、例として、自動車の動力伝達機構であるトランスミッションを収容するトランスミッションケースである。このトランスミッションケースは、例えば、約４００ｍｍ角の大型ダイキャスト部品であり、複雑な立体形状（凹凸）を有する。このようなトランスミッションケースに対して、欠陥（バリ、打痕、キズ、変形、汚れ等）を全面に渡って検査する必要がある。

【0015】

以下、従来技術についてあらためて詳述する。製造現場において外観検査工程は必要不可欠である。一般的に、外観検査は、検査員による目視検査と、画像処理技術をコアとする自動検査と、に分類される。検査員は高い検査能力を有する場合があるが、検査能力に個人差があることや、熟練した検査員の確保が困難である等の課題があり、自動検査のニーズは高い。自動検査ではセンサ（産業用カメラ等）で検査対象物を撮影し、画像処理やＡＩ（Artificial Intelligence）技術を用いて欠陥識別を行う。しかし、大型でかつ複雑な立体形状を有する検査対象物の場合、例えば、以下の課題１～４を解決する必要がある。

【0016】

（課題１）
単一の撮影条件では、安定して欠陥を可視化する（撮影画像に欠陥信号が含まれるようにする）ことが困難である。特に、金属部品表面に発生する凹凸欠陥は、カメラと照明位置によって視認性が変化する。また、検査対象物が複雑な立体形状を有すると、カメラに対して凹凸によって遮蔽される領域は検査できない。つまり、様々な方向から撮影する必要がある。従来も、複数視点を使った検査手法は提案されているが、基本的に凸形状部品や比較的シンプルな形状の部品を対象にしている場合が多く、上述のトランスミッションケースのように凹凸が複雑に入り組む形状の検査対象物への対応は困難である。

【0017】

（課題２）
検査対象物が大型で、かつ、欠陥が微小である場合、全面検査のために検査対象物の全体を視野に収めるように撮影すると、相対的に欠陥像は微小になる。一方、画像中の欠陥サイズが識別に充分な大きさとなるように撮影すると、カメラ台数、あるいは撮影回数が増大し、検査時間が問題となる。高解像度かつ広視野で撮影すれば、検査対象物をある方向から撮影した場合は、画像中の欠陥サイズを保ちつつ、撮影回数を減らすことができるが、大サイズ画像となる。さらに上記の課題１と合わせて考えると、多枚数の画像が必要であり、一つの検査対象物を検査するための画像容量は大きくなる。つまり、大サイズ画像が多枚数必要となる。

【0018】

（課題３）
検査対象物が大型になるほど、検査時の位置決め精度を維持することが困難となる。つまり、良品との単純な比較検査が困難となる。

【0019】

（課題４）
以上に加えて、検査対象物がダイキャスト製品であると、素形材である。素形材は素材であるため、外観表面の素地模様のバラつきが大きく、欠陥はそれに紛れて存在するため、一般的に画像処理難度が高い。外観検査の基本技法として、良品画像との比較検査がある。良品の見え方のバラつき（位置ズレや素地）をモデル化し、良品テンプレートを生成するための工夫については、多くの手法が提案されている。しかし、処理対象が大サイズ画像×多枚数となると、そのテンプレート、モデルデータも大容量となってしまう。つまり、そもそもの画像処理難度が高く、ただし領域を限れば従来手法の適用も可能であるが、データ容量や速度の面でそれを全面検査に適用することは困難である。

【0020】

そこで、以下において、検査対象物について撮影画像を用いて高精度に欠陥を検査するとともに使用するデータ量を少なく抑えることができる技術について説明する。

【0021】

図１に示すように、検査システムＳは、照明装置１と、回転機構２と、カメラ３と、検査装置４と、を備える。

【0022】

回転機構２は、検査対象物５に関して多数視点からの画像を取得するための機構であり、ＸＹＺの三方向に回転可能である。照明装置１は、回転機構２に保持された検査対象物５の直上の位置に配置されている。検査対象物５は、回転機構２の特殊な回転テーブルに固定されている。撮影時、検査対象物５は回転機構２によってＸＹＺの三方向に回転し、設定されたタイミングで、照明装置１による照明と連動してカメラ３によって撮影される。これらの一連の制御は例えば検査装置４が行う。

【0023】

検査装置４は、コンピュータ装置であり、図２に示すように、処理部４１と、記憶部４２と、入力部４３と、表示部４４と、通信部４５と、を備える。

【0024】

記憶部４２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）等によって実現される。記憶部４２は、例えば、処理部４１の動作プログラム、検査対象物５の撮影画像、各種演算用データ、各種演算結果データ等を記憶する。

【0025】

処理部４１は、例えば、ＣＰＵ（Central Processing Unit）によって実現される。処理部４１は、例えば、機能構成として、取得部４１１と、画像分割部４１２と、ラベル付与部４１３（付与部）と、学習処理部４１４と、検査処理部４１５と、投影処理部４１６と、判定部４１７と、制御部４１８と、を備える。

【0026】

取得部４１１は、各種情報を取得する。取得部４１１は、例えば、検査対象物５を複数の角度から撮影して得られた複数の撮影画像をカメラ３から取得する。例えば、一つの検査対象物５を検査するのに、カメラ３によって、５４７２×３６４６画素サイズの画像が６４８枚撮影される。これで、全面検査を可能とする画像データが得られる。つまり、ある視点では検査対象物５において凹凸によって遮蔽される箇所や、撮影方向によって視認性が異なる欠陥についても、何れかの撮影画像においては充分に可視化されている。ただし、この大容量データ（大サイズ画像×多枚数）を処理する手法が必要となる。

【0027】

ここで、本実施形態で用いるニューラルネットワークについて説明する。本実施形態では、ニューラルネットワークによるモデルとしてＡＥ（Autoencoders）モデルを拡張したＶＡＥ（Variational Autoencoders）モデルを使用する。また、ＶＡＥモデルを拡張したＣＶＡＥConditional ＶＡＥ）モデルを使用する。なお、ＡＥモデルの拡張については、この限りではない。

【0028】

図３は、実施形態で用いるＣＶＡＥモデルの概要を示す図である。ＣＶＡＥモデルは、エンコーダと、デコーダと、を含む。エンコーダは、入力画像としての撮影画像および対応するラベルを入力して、畳み込み演算等を実行して、多変量ガウス分布のパラメータであるμ（平均）とσ（分散）を推定し、μ（平均）とσ（分散）に基づいて潜在変数（データの特徴を少ない次元で表した特徴量）を生成する。また、デコーダは、ラベルおよび潜在変数を入力して復元画像を生成する。

【0029】

大サイズ画像をそのままＣＶＡＥモデルに適用することは困難であるため、撮影画像をブロック分割する。つまり、画像分割部４１２は、取得部４１１によって取得された撮影画像のそれぞれを複数のブロック画像に分割する。本実施形態では、素地の状態は似通ってはいるが、立体形状は異なる全てのブロック画像の復元を単一のＣＶＡＥモデルで実現した。ＶＡＥモデルは基本的には教師なし学習（良品のみを学習する）であるが、ＣＶＡＥモデルは学習時に正解情報ラベルを付与する点が異なる。

【0030】

つまり、ラベル付与部４１３は、ブロック画像のそれぞれに対して、対応する撮影角度（以下、「姿勢」、「部品姿勢」などともいう。）と、ブロック位置と、に応じたラベルを付与する。具体的には、以下の通りである。

【0031】

ラベルとして、入力画像の撮影時の部品姿勢とブロック位置を付与する。つまり、検査対象物５の初期姿勢の撮影画像を格子状に分割した左上隅のブロックから、最終姿勢の右下隅のブロックについて、任意の入力ブロック画像が何番目のブロックであるかの情報をラベルとして付与する。本実施形態ではこの正解情報ラベルを角度情報ラベルともという。これによって、単一のＣＶＡＥモデルのみで良品画像を復元することができる。

【0032】

ＣＶＡＥモデルにおいて、上記の通り、角度情報ラベルを付与することとしたが、さらに任意のブロック画像と対応する三次元情報（デプス（凹凸）画像や法線ベクトル画像）を付与してもよい。この三次元情報には、例えば、検査対象物５の設計時のＣＡＤ（Computer-aided Design）情報を用いる。その場合、ラベル付与部４１３は、ブロック画像のそれぞれに対して、対応する角度と、ブロック位置と、検査対象物の設計時のＣＡＤ情報に基づく三次元情報と、に応じたラベルを付与する。

【0033】

検査対象物５は素形材であり、かつ撮影時の検査対象物５の位置決めには多少のばらつきが存在するため、撮影画像と三次元ＣＡＤのレンダリング画像は、設定上の部品姿勢を同一にしても完全には一致しないことがある。ただし、ＣＶＡＥモデルの学習時に、データ拡張によってシフト画像（撮影画像を少しずらした画像）を準備したり、角度分解能を上げて撮影した撮影画像を用いたりすることにより、姿勢のバラつきに対応することができる。

【0034】

ここで、図４は、実施形態における検査対象物５についての、（ａ）撮影画像と、（ｂ）ＣＡＤ情報に基づく法線ベクトル画像と、の例である。角度情報ラベルにこのような三次元情報を追加することにより、特に検査対象物５の凹凸の輪郭部をより適切に復元できる場合がある。なお、三次元情報を正解情報ラベルとして付与するのではなく、ＣＶＡＥモデルの学習時の損失値計算に使用してもよい。

【0035】

図２に戻って、学習処理部４１４は、入力画像としての撮影画像および対応するラベルを入力して潜在変数を生成するエンコーダ、ならびに、ラベルおよび潜在変数を入力して復元画像を生成するデコーダを含むＣＶＡＥモデルを、入力画像と復元画像が同じになるように学習する（図３参照）。このように学習されたＣＶＡＥモデルによれば、入力画像から、その中に欠陥像があった場合もなかった場合もそれが良品であった場合の画像（良品画像：復元画像）を復元することができる。

【0036】

検査処理部４１５は、検査対象物５の検査時に、検査画像としての撮影画像および対応するラベルをＣＶＡＥモデルに入力することによって得られた復元画像（復元検査画像）と、検査画像（入力画像）と、の差分（例えば各画素の輝度の差分）に基づいて、検査対象物５の欠陥の検査処理を行う。つまり、復元画像と入力画像を比較することにより、入力画像に欠陥像が存在する場合はそれが検出される。具体的には、例えば、復元画像と入力画像を比較し、輝度の差分が閾値以上の画素を欠陥箇所であると判定する。

【0037】

ただし、欠陥の見逃しを防止するように感度設定すると、特に検査対象物５の凹凸部のエッジにおいて過検出を完全に無くすことは困難である。そこで、多視点画像での検出結果を三次元的に統合することもできる。任意の撮影画像中の任意の画素に対応する検査対象物５の部分は、他の視点の複数の撮影画像にも含まれている。例えば、図１の検査システムＳによって、検査対象物５における任意の一ヵ所が７０～３００視点の撮影画像に含まれている。写っている撮影画像数が異なるのは、当然、凸部より凹部のほうが見えにくいからである。

【0038】

例えば、検査処理部４１５は、復元画像と入力画像を比較し、両者の差分に基づいて、欠陥候補画素を特定する。そして、投影処理部４１６は、６４０枚の二次元画像中の検出された欠陥候補画素を、検査システムＳの設計仕様と検査対象物５のＣＡＤデータに応じて、検査対象物５の初期姿勢を基準とする三次元座標系に投影する。

【0039】

具体的には、先ず、欠陥候補画素を検査システムＳの仕様に従って仮想的に設置した検査対象物５の三次元ＣＡＤデータにプロットする。これによって、その視点における欠陥候補画素の三次元座標を推定する。一方、基準とする三次元座標系を任意サイズのボクセル（立方体）で分割し、欠陥候補画素の三次元座標を基準座標に変換して、どのボクセル内に投影されるかを算出する。最後にボクセルごとに投影された画素の個数をカウントする。カウントの際には、そのボクセルの可視点数や投影する検出画素の異常度（例えば、入力画像と復元画像の輝度差が大きいほど異常度が大きい）も考慮する。つまり、判定部４１７は、三次元座標系を所定サイズ単位で分割したボクセルごとに欠陥判定を行う。

【0040】

各二次元画像における部品凹凸による過検出の異常度は、欠陥の異常度より相対的に低いと考えられる。加えて、二次元画像中の部品凹凸によるエッジは、検査対象物５と背景の境界であり、つまり、その視点の撮影画像においてのみ写っている情報である。また、その他のノイズ信号は、一般的には積算処理によって減衰する。したがって、上述のように三次元統合することによって、欠陥と過検出のＳＮ（Signal-Noise ratio）が向上すると考えられる。

【0041】

また、図５は、実施形態における撮影画像等の例である。（ａ）は撮影画像、（ｂ）はＣＶＡＥモデルによる復元画像、（ｃ）は欠陥の検出結果画像である。（ａ）の撮影画像には検査対象物５の欠陥（図中の丸印の部分）があるが、（ｂ）の復元画像にはその欠陥がない。そして、（ａ）の撮影画像と（ｂ）の復元画像を比較することで、（ｃ）に示すように欠陥（図中の丸印の部分）を検出することができる。

【0042】

また、最終的な検査結果は、検査対象物５のＣＡＤモデル上で可視化することができる。例えば、検査対象物５のＣＡＤモデル上に、欠陥部分を白い丸印等で重畳表示させることができる。また、三次元統合後の結果を、二次元の撮影画像に再度投影することにより、各視点での撮影画像において過検出を抑制した状態の検出結果を表示させることもできる。

【0043】

図２に戻って、制御部４１８は、各部４１１～４１７による処理以外の処理を実行する。例えば、制御部４１８は、照明装置１による照明動作、回転機構２による回転動作、カメラ３による撮影動作等を制御する。

【0044】

入力部４３は、ユーザによる情報入力の手段であり、例えばキーボードやマウスによって実現される。

【0045】

表示部４４は、情報表示の手段であり、例えば、ＬＣＤ（Liquid Crystal Display）によって実現される。

【0046】

通信部４５は、照明装置１、回転機構２、カメラ３などとの通信を行うための通信インタフェースである。

【0047】

次に、図６を参照して、実施形態の検査装置４による学習処理について説明する。図６は、実施形態の検査装置４による学習処理を示すフローチャートである。

【0048】

まず、ステップＳ１１において、取得部４１１は、検査対象物５を複数の角度から撮影して得られた複数の撮影画像をカメラ３から取得する。

【0049】

次に、ステップＳ１２において、画像分割部４１２は、ステップＳ１１において取得された撮影画像のそれぞれを複数のブロック画像に分割する。

【0050】

次に、ステップＳ１３において、ラベル付与部４１３は、ブロック画像のそれぞれに対して、対応する撮影角度と、ブロック位置と、に応じたラベルを付与する。

【0051】

次に、ステップＳ１４において、学習処理部４１４は、入力画像としての撮影画像および対応するラベルを入力して潜在変数を生成するエンコーダ、ならびに、ラベルおよび潜在変数を入力して復元画像を生成するデコーダを含むＣＶＡＥモデル（ニューラルネットワーク）を、入力画像と復元画像が同じになるように学習する（図３参照）。このような学習を、複数の検査対象物５の撮影画像を用いて行う。

【0052】

次に、図７を参照して、実施形態の検査装置４による第１の検査処理について説明する。図７は、実施形態の検査装置４による第１の検査処理を示すフローチャートである。この第１の検査処理では、上述の三次元座標系を用いない。

【0053】

まず、ステップＳ２１において、取得部４１１は、検査対象物５を複数の角度から撮影して得られた複数の撮影画像をカメラ３から取得する。

【0054】

次に、ステップＳ２２において、画像分割部４１２は、ステップＳ２１において取得された撮影画像のそれぞれを複数のブロック画像に分割する。

【0055】

次に、ステップＳ２３において、ラベル付与部４１３は、ブロック画像のそれぞれに対して、対応する撮影角度と、ブロック位置と、に応じたラベルを付与する。

【0056】

次に、ステップＳ２４において、検査処理部４１５は、撮影画像および対応するラベルをＣＶＡＥモデル（ニューラルネットワーク）に入力することによって復元画像を取得する（図３参照）。

【0057】

次に、ステップＳ２５において、検査処理部４１５は、撮影画像と復元画像の差分に基づいて、検査対象物５の欠陥を判定する。

【0058】

次に、ステップＳ２６において、制御部４１８は、ステップＳ２５における判定結果を表示部４４に表示する。

【0059】

次に、図８を参照して、実施形態の検査装置４による第２の検査処理について説明する。図８は、実施形態の検査装置４による第２の検査処理を示すフローチャートである。この第２の検査処理では、上述の三次元座標系を用いる。

【0060】

まず、ステップＳ３１において、取得部４１１は、検査対象物５を複数の角度から撮影して得られた複数の撮影画像をカメラ３から取得する。

【0061】

次に、ステップＳ３２において、画像分割部４１２は、ステップＳ３１において取得された撮影画像のそれぞれを複数のブロック画像に分割する。

【0062】

次に、ステップＳ３３において、ラベル付与部４１３は、ブロック画像のそれぞれに対して、対応する角度と、ブロック位置と、検査対象物の設計時のＣＡＤ情報に基づく三次元情報と、に応じたラベルを付与する。

【0063】

次に、ステップＳ３４において、検査処理部４１５は、撮影画像および対応するラベルをＣＶＡＥモデル（ニューラルネットワーク）に入力することによって復元画像を取得する（図３参照）。

【0064】

次に、ステップＳ３５において、検査処理部４１５は、撮影画像と復元画像の差分に基づいて、検査対象物５の欠陥候補画素を特定する。

【0065】

次に、ステップＳ３６において、投影処理部４１６は、二次元画像中の欠陥候補画素を、検査システムＳの設計仕様と検査対象物５のＣＡＤデータに応じて、検査対象物５の初期姿勢を基準とする三次元座標系に投影する。

【0066】

次に、ステップＳ３７において、判定部４１７は、三次元座標系のボクセルごとに検査対象物５の欠陥を判定する。

【0067】

次に、ステップＳ３８において、制御部４１８は、ステップＳ３７における判定結果を表示部４４に表示する。

【0068】

このように実施形態の検査システムＳによれば、撮影画像と、撮影角度に応じたラベルと、ＣＶＡＥモデルと、を用いることで、検査対象物５について撮影画像を用いて高精度に欠陥を検査するとともに使用するデータ量を少なく抑えることができる。

【0069】

また、撮影画像を複数のブロック画像に分割して用いることで、ＣＶＡＥモデルを用いた学習処理と検査処理をより高精度に行うことができる。

【0070】

また、ラベルにＣＡＤ情報に基づく三次元情報を含めるようにすれば、より高精度な検査を実現できる。

【0071】

また、欠陥候補画素を三次元座標系に投影してボクセルごとに欠陥判定を行うようにすれば、より高精度な検査を実現できる。

【0072】

以下、従来技術との差異についてさらに説明する。従来技術でも、自動車部品素形材の全面検査装置は開発されているが、対象部品の三次元形状は比較的シンプルである。一方、上述のトランスミッションケースのような大型部品でかつ複雑な三次元形状を有する部品の全面検査の自動化は他に類を見ない。本実施形態により、従来は検査員による目視検査や部分的な自動検査に留まっていた検査工程について、全面自動検査を実現できる。なお、本実施形態は、自動車部品以外の物体の検査にも応用できる。

【0073】

また、こういった大容量データ（大サイズ画像×多枚数）を効率的に、かつ効果的に使用した外観検査手法は他に類を見ない。本実施形態では、ＣＶＡＥモデルにおいて独自の角度情報・デプス情報・法線情報等を正解情報ラベルとして付与する方法や、損失値の計算に三次元情報を利用する方法によって、良好な復元画像を得ることを可能にした。また、各種パラメータの設定にもよるが、実験では、従来の良品テンプレートモデルを使用する場合に比べて、運用時に保持しておく必要があるデータ容量を１００分の１程度にすることができた。また、二次元と三次元の画像処理を組み合わせることにより検出性能を高め、かつ部品の検査結果を三次元で可視化することを可能にした。

【0074】

なお、検査装置４で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、メモリカード、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供されるようにしてもよい。また、当該プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、当該プログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。

【0075】

以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0076】

例えば、撮影画像を分割せずに用いてもよい。その場合、ラベル付与部４１３は、撮影画像のそれぞれに対して、対応する撮影角度に応じたラベルを付与する。

【符号の説明】

【0077】

１…照明装置、２…回転機構、３…カメラ、４…検査装置、５…検査対象物、４１…処理部、４２…記憶部、４３…入力部、４４…表示部、４５…通信部、４１１…取得部、４１２…画像分割部、４１３…ラベル付与部、４１４…学習処理部、４１５…検査処理部、４１６…投影処理部、４１７…判定部、４１８…制御部、Ｓ…検査システム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】