特開 2025-17130 画像検査装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025017130

(43)【公開日】2025-02-05

(54)【発明の名称】画像検査装置

(51)【国際特許分類】

   G01N 21/88 20060101AFI20250129BHJP

【ＦＩ】

G01N21/88 J

【審査請求】未請求

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2023120032

(22)【出願日】2023-07-24

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】椿 裕太

【テーマコード（参考）】

2G051

【Ｆターム（参考）】

2G051AA07

2G051AB01

2G051AB02

2G051AC21

2G051ED01

(57)【要約】

【課題】ワークを撮影した撮影画像に対するマスクの範囲の再設定を自動的に行って検査を行う。
【解決手段】画像検査装置は、ワークを撮影して撮影画像を取得する画像取得部１１と、複数のマスク画像をあらかじめ記憶する記憶部１２と、画像取得部１１で取得された撮影画像に対応するマスク画像において、撮影画像にマスク処理を行う優先度が高いマスク部２１と、マスク処理を行う優先度が低いマスク候補部２２と、を設定した優先度画像を生成する優先度設定部１３と、画像取得部で取得された撮影画像においてハレーションが発生している範囲を抽出した前処理画像を生成する前処理部１４と、優先度設定部１３で設定されたマスク候補部２２の範囲に、前処理画像で抽出されているハレーションが発生している範囲がある場合に、ハレーションが発生している範囲をマスク部２１として設定するマスク追加部１７と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

ワークを撮影して撮影画像を取得する画像取得部と、
複数のマスク画像をあらかじめ記憶する記憶部と、
前記画像取得部で取得された撮影画像に対応する前記マスク画像において、前記撮影画像にマスク処理を行う優先度が高いマスク部と、マスク処理を行う優先度が低いマスク候補部と、を設定した優先度画像を生成する優先度設定部と、
前記画像取得部で取得された撮影画像においてハレーションが発生している範囲を抽出した前処理画像を生成する前処理部と、
前記優先度設定部で設定されたマスク候補部の範囲に、前記前処理画像で抽出されているハレーションが発生している範囲がある場合に、前記ハレーションが発生している範囲を優先度が高い前記マスク部として設定するマスク追加部と、を備える、
画像検査装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像検査装置に関する。

【背景技術】

【0002】

近年、ＡＩを利用した画像検査を活用して、車両への付着物やキズを検査する需要が高まっている。例えば、このようなＡＩを利用した画像検査を行う画像検査装置では、対象物に対して照明を照射した状態で画像を取得し、その後に判定処理を行うことができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平５－２０３５８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、ＡＩや機械学習（ＭＬ）を利用した画像検査には、検査対象のワークは特徴量が十分なものでなければ適用できない。特に、ワークが２色以上で構成されていたり、ワークに線が設けられている等の特徴がない場合には、ワークの位置がずれた際に、基準の位置合わせが難しくなるという問題がある。

【0005】

また、このような検査装置において、撮影画像中に照明や環境光によって撮影画像にハレーションが生じている場合には、ワークが不良品であるものと誤検知される場合がある。

【0006】

ここで、照明等のハレーションによる誤検知を抑制する方法の一つとして、撮影画像のマスク処理がある。すなわち特許文献１に記載されているように、検査装置では、撮影画像に対してマスク処理を行うことで、ハレーションを取り除いた画像を用意しておき、ＡＩを利用した画像検査を行うことが可能となる。

【0007】

しかしながら、ワークの搬送の際の搭載ずれ等により、ワークに対するマスクの位置がずれてしまう場合には、ハレーションに起因する誤検知の改善ができなくなる場合があり、マスクの位置を再設定する必要がある。この場合には、作業者による作業工数が増加することから、コストが増加することとなる。そのため、ワークを撮影した撮影画像に対するマスクの範囲の再設定を、自動的に行うことが望まれていた。

【0008】

本開示は、ワークを撮影した撮影画像に対するマスクの範囲の再設定を自動的に行って検査を行う画像検査装置を提供するものである。

【課題を解決するための手段】

【0009】

本開示にかかる画像検査装置は、ワークを撮影して撮影画像を取得する画像取得部と、複数のマスク画像をあらかじめ記憶する記憶部と、前記画像取得部で取得された撮影画像に対応する前記マスク画像において、前記撮影画像にマスク処理を行う優先度が高いマスク部と、マスク処理を行う優先度が低いマスク候補部と、を設定した優先度画像を生成する優先度設定部と、前記画像取得部で取得された撮影画像においてハレーションが発生している範囲を抽出した前処理画像を生成する前処理部と、前記優先度設定部で設定されたマスク候補部の範囲に、前記前処理画像で抽出されているハレーションが発生している範囲がある場合に、前記ハレーションが発生している範囲を優先度が高い前記マスク部として設定するマスク追加部と、を備える。
これにより、複数定めたマスク範囲に優先順位を設け、検査結果からマスク範囲を自動的に再設定することができる。

【発明の効果】

【0010】

本開示よれば、ワークを撮影した撮影画像に対するマスクの範囲の再設定を自動的に行って検査を行う画像検査装置を提供することができる。

【図面の簡単な説明】

【0011】

【図1】実施の形態１にかかる画像検査装置の構成の一例を示すブロック図である。

【図2】実施の形態１にかかる画像検査装置で取得される撮影画像や生成されるマスク画像の例を示す図である。

【図3】実施の形態１にかかる画像検査装置の動作フローの一例を示す図である。

【発明を実施するための形態】

【0012】

実施の形態１
以下、図面を参照して本実施の形態に係る画像検査装置について説明する。図１は、画像検査装置１の構成の一例を示した図である。

【0013】

画像検査装置１は、ワークを撮影して撮影画像を取得する画像取得部１１と、複数の撮影画像や複数のマスク画像を記憶する記憶部１２と、撮影画像に対して検査エリアの優先度を設定する優先度設定部１３と、ＡＩを利用した画像検査に必要な前処理を行う前処理部１４と、撮影画像または撮影画像を前処理した前処理画像に対して、ＡＩを利用した画像検査を行い、検出対象物を検出したか否かを判定する判定する検出判定部１５と、マスク画像と前処理画像の差分を算出する差分算出部１６と、差分算出部１６により算出された差分の箇所における優先度設定部１３で設定された優先度に応じて、マスク範囲を自動的に追加するマスク追加部１７と、検出判定部１５の判定結果を出力する出力部１８と、を備える。ここで、画像検査装置１は、コンベア上で搬送される車両のパーツ等のワークの撮影を行い、ワークへの付着物やキズを検査する装置であるものとして説明する。

【0014】

画像取得部１１は、コンベア上で搬送されるワークを撮影する。ここでは、画像取得部１１には、静止画を撮影するカメラを利用するものとして説明する。画像取得部１１で撮影された撮影画像は、記憶部１２に記憶される。具体的には、ワークを搬送するコンベアは、ワークがコンベア上の所定の位置まで搬送された際に信号を送信し、画像取得部１１では、コンベアから送信された信号の受信に応じて撮影を行うことができる。

【0015】

なお、画像取得部１１は画像取得用の機器に設けるものとし、その他の構成部は別体の検査機器に設けるものとした場合に、画像取得部１１で取得した画像を、画像取得用の機器から検査機器に送ることとしても良い。

【0016】

記憶部１２は、画像取得部１１で取得された撮影画像等を記憶することができる記憶媒体である。具体的には、記憶部１２では、画像取得部１１であらかじめ撮影された複数の撮影画像や、後述する前処理部１４で撮影画像に対してマスクの優先度を設定した画像、撮影画像に対してマスク処理をかけるためのマスク画像等を記憶する。なお、記憶部１２では、これら以外の情報を記憶していても良い。

【0017】

優先度設定部１３は、ワークの撮影画像に対するマスク画像を作成する際に、作業者がマスク画像上に任意に優先度の設定を行う設定部である。例えば図２（ａ）は、画像取得部１１で取得した撮影画像であり、図２（ｂ）は、撮影画像に対応するマスク範囲を設定したマスク画像の一例である。

【0018】

ここで図２（ｂ）に示すように、マスク画像において、部品が上から組み付くなどの理由により検査対象でない箇所として実際にマスクを行う範囲を、マスク部２１として黒色で示している。すなわちマスク部２１は、マスクの優先度が高い範囲である。一方で、搬送によって発生するボデーのずれ分のバッファーとなる部分については、マスク処理を行う優先度が低いマスク候補部２２とする。ここではマスク候補部２２はマスク画像中に青色で着色するものとして説明するが、図２（ｂ）ではマスク候補部２２は斜線で示す。なお、図２（ｂ）において、マスク部２１でもマスク候補部２２でもない範囲は白色で示している。以下では、この優先度設定がなされたマスク画像を優先度画像とする。

【0019】

前処理部１４は、撮影画像に対する判定を検出判定部１５で行うための前処理等を行う。例えば、前処理部１４は、撮影画像の背景分離を行う。ここでは特に、前処理部１４は、後述する検出判定部１５による機械学習（以下、ＡＩ）を用いた判定により不良品であると判定された複数の撮影画像に対して、マスク画像との差分を算出し、背景分離を行うことができる。

【0020】

具体的には、前処理部１４では、ワークにおいて、塗料が塗られている箇所を白色、背景の箇所が黒色になるように閾値処理を行う。ここでは特に前処理部１４では、閾値処理を行った場合に、撮影画像においてハレーションを起こしている箇所が白く残ることとなる。前処理部１４では、処理結果からハレーションを起こして白く残って抽出された箇所（ハレーション部２３）を、記憶部１２で記憶されて選択されるマスク画像上において赤色で着色する。なお、このハレーション部２３を赤色で着色したマスク画像を、前処理画像とする。図２（ｃ）では、図を判りやすくするために、ハレーション部２３を破線で示すか、又はハレーション部２３が複数発生した箇所を点線で囲んで示している。

【0021】

なお、前処理部１４では、この他にも検出判定部１５において、ＡＩを利用した画像検査を行うために必要な前処理を行うことができ、この処理内容は適宜変更可能である。

【0022】

検出判定部１５は、マスクされた撮影画像に対してＡＩを利用して画像検査を行い、ワークの表面上に付着物やキズなどを検出したか否かを判定する。なお、このとき利用されるマスクされた撮影画像とは、マスク部２１の範囲がマスクされた撮影画像である。検出判定部１５は、判定結果を出力部１８に出力する。

【0023】

差分算出部１６は、優先度設定部１３で生成される優先度画像と、前処理部１４で生成された前処理画像と、の比較を行う。より具体的には、差分算出部１６では、前処理部１４で生成された前処理画像で、ハレーションが発生している箇所を示した赤色の箇所が、優先度設定部１３で設定された優先度画像中に青色で着色されたマスク候補部２２にあるか否かを算出する。

【0024】

マスク追加部１７は、優先度画像中のマスク候補部２２にある範囲において前処理画像の赤色の箇所を、そのマスク画像における新しいマスク部２１の範囲として追加する。図２（ｄ）は、対象となるマスク画像に対して、前処理画像の赤色の箇所と優先度画像中の青色の範囲の関係から、新しいマスク部２１を追加したマスク画像の一例である。

【0025】

出力部１８は、検出判定部１５による判定結果を出力する。例えば、出力部１８には、ディスプレイやスピーカーを利用することができるが、出力機器はこれらに限られない。

【0026】

次に、図３を参照して、画像検査装置１において、ワークに対する画像検査を実行するとともに、画像検査に用いるマスクの再設定を実行する動作フローの一例について説明する。ここで画像検査についてステップＳ１～Ｓ８で示し、マスクの再設定をステップＳ１１～Ｓ１３に示す。

【0027】

最初に、事前準備として、作業者は記憶部１２に複数のマスク画像を登録する（ステップＳ１）。

【0028】

搬送路であるコンベア上において、ワークが搬送される。そして、画像取得部１１による撮影を実行するためのトリガをＯＮの状態とする（ステップＳ２）。ここでは例えば、ワークが、コンベア上の所定の位置を通過することにより、画像取得部１１として設けられたカメラでワークを撮影する（ステップＳ３）。なお、撮影画像は、対象となる車種や部品の種類、コンベア上を搬送されて画像取得部１１の前を通過する際の撮影実行を連射した場合の撮影Ｎｏごとに設定しておき、記憶部１２に記憶しておくことができる。

【0029】

画像検査装置１は、画像取得部１１により撮影された撮影画像にあわせて、記憶部１２に記憶されている複数のマスク画像から最適なマスク画像を選択する（ステップＳ４）。

【0030】

画像検査装置１は、選択されたマスク画像を用いて、撮影画像のマスク処理を行う（ステップＳ５）。さらに前処理部１４は、検出判定部１５がＡＩを利用して検出判定を行いやすくなるように、撮影画像の前処理を行う（ステップＳ６）。なお、前処理部１４で前処理する撮影画像は、ステップＳ５で設定されたマスク処理された撮影画像としてもよい。

【0031】

検出判定部１５は、前処理部１４で処理されたマスクされた撮影画像に対して、ＡＩを利用して画像検査を行い、ワークの表面上に付着物やキズなどを検出したか否かを判定する（ステップＳ７）。なお上述のように、このマスクされた撮影画像とは、マスク部２１の箇所がマスクされている撮影画像である。ここで、検出判定部１５による判定結果は、出力部１８により出力できる。

【0032】

検出判定部１５による判定により、ワークが良品であると判定された場合には（ステップＳ８で良品）、撮影画像に対してマスクの範囲が適している状態であるものとする。この場合には、特にマスク画像に対する処理を行わずにステップＳ２に戻り、画像検査装置１では、次のワークに対する画像検査の処理を開始する。

【0033】

一方で、検出判定部１５による判定により、ワークが不良品であると判定された場合には（ステップＳ８で不良品）、撮影画像に対してマスクの範囲が不適切である可能性があるため、ステップＳ１１に進み、マスクの再設定を行う。

【0034】

差分算出部１６は、優先度設定部１３で生成した優先度画像と、前処理部１４で生成した前処理画像の差分を算出する（ステップＳ１１）。

【0035】

具体的には、前処理部１４は、ワークにおいて塗料が塗られている箇所を白色、背景の箇所が黒色になるように閾値処理を行う。さらにこのとき、前処理部１４では、このとき白色として残るハレーションの範囲を、ステップＳ４で選択されたマスク画像に赤色で表示するように処理を行う。

【0036】

さらに作業者は、優先度設定部１３を用いて、マスク画像の優先度設定を行う。ここでは、優先度設定部１３は、優先度画像中のマスクの優先度が低い箇所として、図２の斜線部分であるマスク候補部２２が設定される。

【0037】

そして差分算出部１６では、前処理画像の赤色の範囲が、優先度画像中のマスク候補部２２にある否かを算出して判定する。前処理画像でハレーションを示す赤色の範囲が、優先度画像中のマスク候補部２２に無いと判定された場合には（ステップＳ１２でマスク再設定不要）、ステップＳ２に戻り、画像検査を続行する。一方で、ハレーションを示す赤色の範囲がマスク候補部２２にあると判定された場合（ステップＳ１２でマスク再設定必要）には、ステップＳ１３に進む。

【0038】

マスク追加部１７は、優先度画像中のマスク候補部２２の範囲内で、前処理画像中でハレーションを示す赤色の箇所を、新しいマスク部２１としてマスク画像に追加する更新を行う（ステップＳ１３）。図２（ｅ）は、マスク候補部２２の範囲内にあったハレーション部２３が、新しくマスク部２１として追加されたマスク画像の一例を示す図である。その後、ステップＳ２に戻り、画像検査を続行する。

【0039】

このようにして、画像検査装置１では、画像検査を実行するとともに、撮影画像の状態にあわせて、マスク画像内のマスク部２１の再設定を実行することができる。特に、画像検査装置１では、マスクの優先度設定の低い範囲としてマスク候補部２２を設定し、この範囲内にハレーションが発生している状態であることに基づいてマスク部２１の再設定を行うことができる。すなわち、マスク画像中において、マスク候補部２２として設定した領域の一部を、実際に撮影画像に対してマスクする新しいマスク部２１として再設定できる。これにより、従来のようにＡＩを利用した画像検査による誤検出を抑制するための必要以上に広い範囲のマスクは不要となり、誤検出を抑制しつつ、撮影画像中の広い範囲でＡＩを利用した画像検査を実行できる。

【0040】

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。すなわち上記の記載は、説明の明確化のため、適宜、省略及び簡略化がなされており、当業者であれば、実施形態の各要素を、本発明の範囲において容易に変更、追加、変換することが可能である。

【0041】

図３のフローチャートでは、撮影画像を取得して画像検査を行うごとにマスクの再設定を行うように記載したが、これに限られず、マスクの再設定は１日に１回等に纏めて行うことが可能である。例えば、この場合には、記憶部１２に記憶されている撮影画像のうち、不良品であると判定された複数の撮影画像について、対応するマスク画像を設定するとともに、マスク画像ごとに優先度設定を行ってマスク部２１とマスク候補部２２を設定し、また、撮影画像ごとにハレーション部２３の位置を設定して、マスク画像においてマスク候補部２２の範囲内でハレーション部２３がある箇所に、新しいマスク部２１の再設定を行うことができる。

【符号の説明】

【0042】

１ 画像検査装置
１１ 画像取得部
１２ 記憶部
１３ 優先度設定部
１４ 前処理部
１５ 検出判定部
１６ 差分算出部
１７ マスク追加部
１８ 出力部
２１ マスク部
２２ マスク候補部
２３ ハレーション部

【図1】

【図2】

【図3】