特許 7522376 画像検査方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-07-17

(45)【発行日】2024-07-25

(54)【発明の名称】画像検査方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240718BHJP

   G01N 21/88 20060101ALI20240718BHJP

【ＦＩ】

G06T7/00 610Z

G01N21/88 J

【請求項の数】 4

(21)【出願番号】P 2023146838

(22)【出願日】2023-09-11

【審査請求日】2024-01-19

【早期審査対象出願】

(73)【特許権者】

【識別番号】518232168

【氏名又は名称】ダイトロン株式会社

(74)【代理人】

【識別番号】110003395

【氏名又は名称】弁理士法人蔦田特許事務所

(72)【発明者】

【氏名】北田 啓順

(72)【発明者】

【氏名】山口 達也

(72)【発明者】

【氏名】立澤 拓也

(72)【発明者】

【氏名】土本 倖輔

【審査官】新井 則和

(56)【参考文献】

【文献】特開２０１４－１３５００７（ＪＰ，Ａ）

【文献】特開２００８－００３０６３（ＪＰ，Ａ）

【文献】特開２０２３－００８３７９（ＪＰ，Ａ）

【文献】特開２００６－０７８４５２（ＪＰ，Ａ）

【文献】特開２０００－３３４８１２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０１Ｎ ２１／８８

(57)【特許請求の範囲】

【請求項1】

被検査画像をコンピュータによって検査する方法であって、
前記被検査画像に基づいてマスター画像を生成するマスター画像生成ステップと、
前記被検査画像と前記マスター画像とを対応する画素ごとに差分する差分画像を生成する差分画像生成ステップと、
前記差分画像に基づいて、前記被検査画像の異常を評価する異常評価ステップと、を含み、
前記マスター画像生成ステップは、前記被検査画像がカラー画像であると、各カラーチャンネルのうち輝度値の平均値が高いカラーチャンネルに基づいて前記マスター画像を生成する、画像検査方法。

【請求項2】

前記マスター画像生成ステップは、前記被検査画像から輝度値が所定範囲内にある画素からなる領域を背景領域として取得する処理と、前記背景領域に基づいて前記マスター画像を生成する処理と、を含む、請求項１に記載の画像検査方法。

【請求項3】

前記マスター画像生成ステップは、前記被検査画像の少なくとも一部に対してノイズ除去処理及び平滑化処理の少なくとも一方を実行するデジタルフィルタを適用する処理を含む、請求項１又は２に記載の画像検査方法。

【請求項4】

前記マスター画像生成ステップは、前記被検査画像の少なくとも一部における画素の輝度値の割合に関する統計情報に基づいて、前記マスター画像の画素の輝度値を決定する処理を含む、請求項１又は２に記載の画像検査方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被検査画像をコンピュータによって検査する画像検査方法に関する。

【背景技術】

【0002】

従来より、検査対象のワークを撮像した被検査画像を、あらかじめ用意してあるマスター画像と比較してワークの検査を行う画像検査方法が知られている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０００－３３４８１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、撮影箇所の色味の変化や、ワークを照明する照明装置の経時的な性能変化等の様々な要因により被検査画像の色味が変化することがある。これによって、ワークに異常がないにもかかわらず被検査画像とマスター画像との差分が大きくなってしまい、異常があると誤認する可能性がある。

【0005】

本発明は、上記の点に鑑みてなされたものであり、被検査画像の色味の変化の影響を受けにくく、被検査画像の異常を精度よく検出することができる画像検査方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明は以下に示される実施形態を含む。

【0007】

［１］ 被検査画像をコンピュータによって検査する方法であって、前記被検査画像に基づいてマスター画像を生成するマスター画像生成ステップと、前記被検査画像と前記マスター画像とを対応する画素ごとに差分した差分画像を生成する差分画像生成ステップと、前記差分画像に基づいて、前記被検査画像の異常を評価する異常評価ステップと、を含み、前記マスター画像生成ステップは、前記被検査画像がカラー画像であると、各カラーチャンネルのうち輝度値の平均値が高いカラーチャンネルに基づいて前記マスター画像を生成する、画像検査方法。

【0008】

［２］ 前記マスター画像生成ステップは、前記被検査画像から輝度値が所定範囲内にある画素からなる領域を背景領域として取得する処理と、前記背景領域に基づいて前記マスター画像を生成する処理と、を含む、上記［１］に記載の画像検査方法。

【0009】

［３］ 前記マスター画像生成ステップは、前記被検査画像の少なくとも一部に対してノイズ除去処理及び平滑化処理の少なくとも一方を実行するデジタルフィルタを適用する処理を含む、上記［１］又は［２］に記載の画像検査方法。

【0010】

［４］ 前記マスター画像生成ステップは、前記被検査画像の少なくとも一部における画素の輝度値の割合に関する統計情報に基づいて、前記マスター画像の画素の輝度値を決定する処理を含む、上記［１］又は［２］に記載の画像検査方法。

【発明の効果】

【0012】

本発明によれば、被検査画像に基づいてマスター画像を生成するため、被検査画像の色味の変化の影響を受けにくく、精度よく異常を検出することができる。

【図面の簡単な説明】

【0013】

【図1】本発明の第１実施形態の画像検査方法を実施する検査装置の概略構成を示す図

【図2】本発明の第１実施形態の画像検査方法を示すフロー図

【図3】本発明の変更例５の画像検査方法におけるマスター画像の生成手順を示すフロー図

【図4】本発明の変更例８にかかる画像検査方法の撮影ステップを示すフロー図

【発明を実施するための形態】

【0014】

１．第１実施形態
以下、本発明の第１実施形態について図面を参照して説明する。

【0015】

（１）検査装置１の構成
まず、本実施形態の画像検査方法を実施する検査装置１の構成について図１に基づいて説明する。

【0016】

検査装置１は、ステージ２と、撮像装置３と、照明装置４と、制御装置５とを備え、ステージ２に載置されたワークＷを撮像装置３が撮影し、撮影して得られた画像に基づいてワークＷを検査する装置である。

【0017】

ステージ２は、検査対象となるワークＷを保持し、撮像装置３の撮影位置に位置合わせするための機構である。撮像装置３は、所望の撮影範囲を撮影可能な視野を有するものであればよく、ＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（ComplementaryMetal Oxide Semiconductor）カメラなどの任意の公知技術を採用することができる。照明装置４は、ステージ２に載置されたワークＷに対して照明光を照射する。

【0018】

制御装置５は、コンピュータからなる処理装置５１と、メモリーなどの記憶装置５２とを有しており、記憶装置５２に記憶されているプログラムを処理装置５１が読み込んで実行することにより、装置制御部５３、データ取得部５４、マスター画像生成部５５、差分画像生成部５６、及び評価部５７として機能する。

【0019】

装置制御部５３は、撮像装置３の撮影制御や照明装置４の点灯及び調光制御等を行う。装置制御部５３は、照明装置４によってワークＷに照明光を照射しながら、撮像装置３によってワークＷを撮像して被検査画像Ｐｓを取得する。

【0020】

データ取得部５４は、撮像装置３で撮像された被検査画像Ｐｓのデータを取得し、取得した被検査画像Ｐｓを記憶装置５２に記憶する。

【0021】

マスター画像生成部５５は、記憶装置５２に記憶された被検査画像Ｐｓからマスター画像Ｐｍを生成し、生成したマスター画像Ｐｍを記憶装置５２に記憶する。

【0022】

差分画像生成部５６は、被検査画像Ｐｓとマスター画像Ｐｍとの輝度値の差分を示す差分画像Ｐｄを生成する。差分画像生成部５６は、生成した差分画像Ｐｄを記憶装置５２に記憶する。

【0023】

評価部５７は、差分画像Ｐｄに基づいてワークＷに欠陥が含まれているか否か、被検査画像Ｐｓの異常を評価する。

【0024】

（２）マスター画像生成部５５における処理
次に、図２に基づいて、本実施形態において、マスター画像生成部５５がマスター画像を生成する手順を説明する。

【0025】

マスター画像生成部５５は、記憶装置５２から被検査画像Ｐｓを読み込み、被検査画像Ｐｓにおいて輝度値が所定範囲内（閾値内）にある画素からなる領域を背景領域ｒｂに設定し、背景領域ｒｂ以外の領域を非背景領域ｒｃに設定する。

【0026】

例えば、輝度値が０～２５５の２５６段階で表される場合に、マスター画像生成部５５は、被検査画像Ｐｓの中で輝度値が５０～２００の画素からなる領域を、ワークＷの中で正常である背景領域ｒｂに設定する。また、被検査画像Ｐｓの中で輝度値が５０未満の画素からなる領域及び２００より大きい画素からなる領域を、ゴミや汚れ等の異物があったり、ワークＷの破損があったりする等、ワークＷの中で何らかの障害が生じている非背景領域ｒｃに設定する。

【0027】

次に、マスター画像生成部５５は、非背景領域ｒｃの輝度値を背景領域ｒｂの輝度値に置換してマスター画像Ｐｍを生成する。なお、背景領域ｒｂの画素の輝度値が複数ある場合、非背景領域ｒｃの輝度値を、背景領域ｒｂの輝度値の平均値に置換してマスター画像Ｐｍを生成してもよい。

【0028】

（３）画像検査方法の流れ
次に、図２に基づいて、検査装置１で行われる画像検査方法の流れについて説明する。

【0029】

まず、照明装置４によってステージ２に載置されたワークＷに照明光を照射した状態で、撮像装置３がワークＷを撮像し被検査画像Ｐｓを取得する（ステップＳ１）。

【0030】

次いで、マスター画像生成部５５は、被検査画像Ｐｓの中に背景領域ｒｂと非背景領域ｒｃとを設定する。そして、マスター画像生成部５５は、非背景領域ｒｃの輝度値を、背景領域ｒｂの輝度値に置換したマスター画像Ｐｍを生成する（ステップＳ２）。マスター画像生成部５５は、被検査画像Ｐｓ毎に被検査画像Ｐｓに基づいてマスター画像Ｐｍを生成するため、被検査画像Ｐｓの色味の変化に追従したマスター画像Ｐｍを生成することができる。

【0031】

次いで、差分画像生成部５６は、被検査画像Ｐｓとマスター画像Ｐｍとの輝度値の差分を示す差分画像Ｐｄを生成する（ステップＳ３）。

【0032】

このようにして得られた差分画像Ｐｄは、被検査画像Ｐｓの色味の変化に応じて変化するマスター画像Ｐｍと被検査画像Ｐｓとの差分を示しているため、被検査画像Ｐｓの色味の変化に影響を受けずワークＷの異常の有無を反映する。

【0033】

なお、差分画像生成部５６は、被検査画像Ｐｓとマスター画像Ｐｍとで対応する画素の輝度値を差分した後、全ての画素に所定量の輝度値（例えば、１２８）を加えたオフセット画像を差分画像Ｐｄとして生成してもよい。

【0034】

次いで、評価部５７は、差分画像Ｐｄに基づいてワークＷに欠陥が含まれているか否か、被検査画像Ｐｓの異常を評価する（ステップＳ４）。

【0035】

（４）効果
本実施形態の画像検査方法では、被検査画像Ｐｓ毎に被検査画像Ｐｓに基づいてマスター画像Ｐｍを生成するため、被検査画像Ｐｓの色味の変化や照明装置４等の経時的な性能変化に影響を受けずワークＷの異常を精度よく検出することができる。

【0036】

本実施形態では、輝度値が所定範囲内にある画素からなる背景領域ｒｂを被検査画像Ｐｓの中に設定し、被検査画像Ｐｓの一部に設けた背景領域ｒｂに基づいてマスター画像Ｐｍを生成する。そのため、ワークＷの汚れや破損等の障害が生じている非背景領域ｒｃの影響を受けることなく、マスター画像Ｐｍを生成することができ、ワークＷの異常をさらに精度よく検出することができる。

【0037】

（５）変更例
上記の実施形態に対して、以下に説明する複数の変更例のうちいずれか１つを適用しても良いし、以下に説明する変更例のうちいずれか２つ以上を組み合わせて適用しても良い。なお、以下の変更例の他にも様々な変更が可能である。

【0038】

（５－１）変更例１
上記した実施形態において、マスター画像生成部５５は、背景領域ｒｂに対して収縮フィルタを適用して背景領域を修正してもよい。

【0039】

具体的には、マスター画像生成部５５は、背景領域ｒｂに対して収縮フィルタを適用して背景領域ｒｂにおける非背景領域ｒｃとの境界近傍を背景領域ｒｂから除いた領域を修正背景領域ｒｂ’に設定し、修正背景領域ｒｂ’以外の領域を修正非背景領域ｒｃ’に設定する。

【0040】

そして、マスター画像生成部５５が、修正非背景領域ｒｃ’の輝度値を修正背景領域ｒｂ’の輝度値に置換してマスター画像Ｐｍ’を生成してもよい。

【0041】

本変更例では、背景領域ｒｂに対して収縮フィルタを適用して非背景領域ｒｃとの境界近傍が背景領域ｒｂから取り除かれているため、より一層、ワークＷの中で生じている障害の影響を受けることなく、マスター画像Ｐｍを生成することができる。

【0042】

（５－２）変更例２
上記した実施形態において、非背景領域ｒｃの輝度値を、背景領域ｒｂにおける画素の輝度値の割合に関する統計情報（色ヒストグラム）のピーク値（最頻値）に変換してマスター画像Ｐｍを生成してもよい。また、上記した変更例１では、修正非背景領域ｒｃの輝度値を、修正背景領域ｒｂにおける色ヒストグラムのピーク値（最頻値）に変換してマスター画像Ｐｍを生成してもよい。

【0043】

（５－３）変更例３
上記した実施形態において、マスター画像生成部５５は、被検査画像Ｐｓの背景領域ｒｂに対して平均化フィルタやメディアンフィルタやガウシアンフィルタやオープニングフィルタやクロージングフィルタなどのノイズ除去処理や平滑化処理を行ってもよい。また、上記した変更例１では、修正背景領域ｒｂ’に対してノイズ除去処理や平滑化処理を行ってもよい。

【0044】

本変更例では、背景領域ｒｂや修正背景領域ｒｂ’に対してノイズ除去処理や平滑化処理を行うことで、背景領域ｒｂや修正背景領域ｒｂ’に残存するワークWの小さな異物や色味のムラを均一化してからマスター画像Ｐｍを生成することができ、ワークＷの異常をさらに精度よく検出することができる。

【0045】

（５－４）変更例４
上記の実施形態では、マスター画像生成部５５が被検査画像Ｐｓの一部に設定した背景領域ｒｂに基づいてマスター画像を生成したが、被検査画像Ｐｓの全体に対して平均化フィルタやメディアンフィルタなどのノイズ除去処理や平滑化処理を行って色味を均一化した画像をマスター画像Ｐｍとしてもよい。

【0046】

本変更例では、被検査画像Ｐｓに背景領域ｒｂ及び非背景領域ｒｃを設定することなく被検査画像Ｐｓ毎に被検査画像Ｐｓに基づいてマスター画像Ｐｍを生成することができ、被検査画像Ｐｓの色味の変化や照明装置４等の経時的な性能変化の影響を受けずワークＷの異常を精度よく検出することができる。

【0047】

（５－５）変更例５
マスター画像生成部５５は、上記した実施形態のように被検査画像Ｐｓの一部に設定した背景領域ｒｂに基づいてマスター画像Ｐｍを生成する代わりに、図３に示すような手順でマスター画像Ｐｍを生成してもよい。

【0048】

具体的には、マスター画像生成部５５が、被検査画像Ｐｓの全体に対して平均化フィルタやメディアンフィルタなどのノイズ除去処理や平滑化処理を行って色味を均一化した均一化画像Ｐｎを作成する（ステップＳ２１）。

【0049】

次いで、マスター画像生成部５５は、均一化画像Ｐｎに位置が異なる複数の領域を設定し、設定した各領域にある画素の輝度値の平均を領域ごとに算出する（ステップＳ２２）。

【0050】

例えば、マスター画像生成部５５は、均一化画像Ｐｎの所定位置に左側領域、中央領域、及び右側領域を設定し、各領域にある画素の輝度値の平均を左側領域、中央領域及び右側領域でそれぞれ算出する。

【0051】

次いで、マスター画像生成部５５は、算出した各領域における輝度値の平均値の中から、最も大きい平均値を基準輝度値に選定し（ステップＳ２３）、全ての画素を基準輝度値に置換してマスター画像Ｐｍを生成する（ステップＳ２４）。

【0052】

本変更例では、ワークＷの汚れや破損等の影響を避けてマスター画像Ｐｍを生成することができ、被検査画像Ｐｓの色味の変化や照明装置４等の経時的な性能変化に影響を受けずに、ワークＷの異常を精度よく検出することができる。

【0053】

（５－６）変更例６
上記した実施形態において、被検査画像Ｐｓがカラー画像の場合、マスター画像生成部５５は、各カラーチャンネルのうち輝度値の平均値が最も高い１つのカラーチャンネルを選定し、選定した１つのカラーチャンネルに基づいて背景領域ｒｂと非背景領域ｒｃとを設定してマスター画像Ｐｍを生成してもよい。

【0054】

本変更例では、被検査画像Ｐｓを単色化するため、処理速度を向上させることができる。また、輝度値の平均値が最も大きいカラーチャンネルに被検査画像Ｐｓを単色化するため、異物との輝度差が大きくなり、ワークＷの障害箇所を含まないように背景領域ｒｂを設定しやすくなる。

【0055】

（５－７）変更例７
上記した実施形態において、マスター画像生成部５５は、被検査画像Ｐｓにおける画素の輝度値の割合に関する統計情報（色ヒストグラム）に基づいてマスター画像Ｐｍの輝度値を決定してもよい。

【0056】

例えば、全ての画素の輝度値を、被検査画像Ｐｓの色ヒストグラムのピーク値とする画像をマスター画像Ｐｍとしてもよい。

【0057】

なお、マスター画像生成部５５は、被検査画像Ｐｓを構成する全ての画素から被検査画像Ｐｓの色ヒストグラムを作成してもよく、また、被検査画像Ｐｓから抽出した複数の代表画素から色ヒストグラムを作成してもよい。被検査画像Ｐｓから抽出した代表画素から色ヒストグラムを作成する場合、色ヒストグラムの精度を確保するために所定の画素ピッチごとに代表画素を抽出することが好ましい。

【0058】

（５－８）変更例８
上記した実施形態の画像検査方法において、マスター画像生成部５５が背景領域ｒｂを設定することができるように、つまり、輝度値が閾値内にある画素が被検査画像Ｐｓの中に所定の割合以上存在するように、不図示のゲイン調整部が照明装置４のゲインを調整するゲイン調整処理を行っても良い。なお、記憶装置５２に記憶されているプログラムを処理装置５１が読み込んで実行することにより、制御装置５が後述するようなゲイン調整部として機能する。

【0059】

具体的には、図４に示すように、ゲイン調整部は、ゲイン調整処理を開始してからワークＷを撮像した回数が規定回数（例えば、３回）に達しているか否かを判断する（ステップＳ３１）。

【0060】

撮像回数が規定回数に達している場合には、ステップＳ３２に進み、ゲイン調整部は、警報を発報して使用者に異常を報知するとともにゲイン調整処理を終了する。撮像回数が規定回数に達していない場合には、ステップＳ３３に進む。

【0061】

ステップＳ３３では、照明装置４によってステージ２に載置されたワークＷに照明光を照射した状態で、撮像装置３がワークＷを撮像し被検査画像Ｐｓを取得する。

【0062】

ステップＳ３４において、ゲイン調整部は、輝度値が閾値内にある画素が被検査画像Ｐｓの中に所定の割合（例えば、５割）以上存在するか否か判断する。閾値内の輝度値の画素が所定の割合以上存在する場合には、被検査画像Ｐｓの中に背景領域を設定することができるとしてゲイン調整処理を終了し、マスター画像生成部５５が被検査画像Ｐｓに基づいてマスター画像Ｐｍを生成する。

【0063】

閾値内の輝度値の画素が所定の割合未満しか存在しない場合には、ステップＳ３５に進み、照明装置４のゲインを変更する。ゲインの変更方法としては、例えば、被検査画像Ｐｓを構成する全画素の輝度値の平均値と閾値との差分に所定の補正係数を乗じた値だけゲインを変更することができる。

【0064】

そして、ゲインを変更した後、ステップＳ３１に戻り、その後の処理を繰り返す。これにより、所定範囲内の輝度値の画素が被検査画像Ｐｓの中に所定の割合以上存在するように、マスター画像生成部５５が背景領域ｒｂを設定することができる。

【0065】

（５－９）他の変更例
以上、本発明の実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することを意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の趣旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0066】

１…検査装置
２…ステージ
３…撮像装置
４…照明装置
５…制御装置
５１…処理装置
５２…記憶装置
５３…装置制御部
５４…データ取得部
５５…マスター画像生成部
５６…差分画像生成部
５７…評価部

【要約】      （修正有）

【課題】被検査画像の色味の変化の影響を受けにくく、精度よく異常を検出することができる画像検査方法を提供する。
【解決手段】本発明の画像検査方法は、被検査画像Ｐｓをコンピュータによって検査する方法であって、被検査画像Ｐｓに基づいてマスター画像Ｐｍを生成するマスター画像生成ステップと、被検査画像Ｐｓとマスター画像Ｐｍとを対応する画素ごとに差分する差分画像Ｐｄを生成する差分画像生成ステップと、差分画像Ｐｄに基づいて、被検査画像Ｐｓの異常を評価する異常評価ステップと、を含む方法である。
【選択図】図２

【図1】

【図2】

【図3】

【図4】