特開 2024-111922 画像処理システム及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024111922

(43)【公開日】2024-08-20

(54)【発明の名称】画像処理システム及び画像処理方法

(51)【国際特許分類】

   G01N 21/958 20060101AFI20240813BHJP

   G01N 21/88 20060101ALI20240813BHJP

   G06T 7/00 20170101ALI20240813BHJP

【ＦＩ】

G01N21/958

G01N21/88 J

G06T7/00 610B

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023016651

(22)【出願日】2023-02-07

(11)【特許番号】

(45)【特許公報発行日】2023-06-26

(71)【出願人】

【識別番号】722003657

【氏名又は名称】株式会社シュヴァルベル

(72)【発明者】

【氏名】大橋 智樹

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AB02

2G051BB07

2G051CA04

2G051CB03

2G051EA08

2G051EA16

2G051EB01

2G051EC01

5L096AA03

5L096BA03

5L096CA03

5L096DA02

5L096EA05

5L096EA43

5L096GA08

5L096GA51

5L096HA08

5L096KA04

(57)【要約】

【課題】光源装置を複雑にせず、かつ撮像画像の枚数を増やすことなく高速に透明な検査物の欠陥の有無を判定する画像処理システムを提供する。
【解決手段】本願発明に係る画像処理システムは、明部と暗部とからなる光を透明物に投影する光源と、前記透明物を透過する光とともに前記透明物を撮像画像として撮像する撮像部と、画像処理部であって、前記撮像画像に含まれる前記明部若しくは前記暗部の領域に基づいて、または前記撮像画像の各画素の輝度値に基づいて第１の画像を生成し、前記第１の画像および前記撮像画像において対応する位置関係にある画素について輝度値の差分の絶対値に基づいて第２の画像を生成する画像処理部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

明部と暗部とからなる光を透明物に投影する光源と、
前記透明物を透過する光とともに前記透明物を撮像画像として撮像する撮像部と、
画像処理部であって、
前記撮像画像に含まれる前記明部若しくは前記暗部の領域に基づいて、または前記撮像画像の各画素の輝度値に基づいて第１の画像を生成し、
前記第１の画像および前記撮像画像において対応する位置関係にある画素について輝度値の差分の絶対値に基づいて第２の画像を生成する画像処理部と、
を備える画像処理システム。

【請求項2】

前記透明物には、前記明部と前記暗部とが交互に並んだ光が投影される、
請求項１に記載の画像処理システム。

【請求項3】

前記画像処理部が、前記撮像画像に含まれる前記明部または前記暗部の境界の方向が水平方向または垂直方向に対し略直角となるように補正する処理をさらに実行する、
請求項１に記載の画像処理システム。

【請求項4】

前記第１の画像は、前記撮像画像における前記明部または前記暗部に相当する領域を前記撮像画像の端から削除するようにして生成される、請求項１に記載の画像処理システム。

【請求項5】

前記撮像画像は２５６階調のグレースケール画像であり、
前記第１の画像は、前記撮像画像の画素の輝度値から２５５を引いた値の絶対値が輝度値となるようにして生成される、請求項１に記載の画像処理システム。

【請求項6】

前記画像処理部は、前記第２の画像に基づいて、前記透明物の欠陥部分を白画素または黒画素とした二値画像を生成する、請求項１に記載の画像処理システム。

【請求項7】

局所的な閾値処理により前記二値画像を生成する、請求項６に記載の画像処理システム。

【請求項8】

前記局所的な閾値処理において、前記撮像画像における前記明部と前記暗部との境界の方向と垂直に交わる方向の幅を１ピクセルとする、請求項７に記載の画像処理システム。

【請求項9】

光源から投影される明部と暗部とからなる光であって、透明物を透過する前記光とともに前記透明物を撮像した撮像画像に含まれる前記明部若しくは前記暗部の領域に基づいて、または前記撮像画像の各画素の輝度値に基づいて第１の画像を生成し、
前記第１の画像および前記撮像画像において対応する位置関係にある画素について輝度値の差分の絶対値に基づいて第２の画像を生成する、
ことを備える画像処理方法。

【請求項10】

光源から投影される明部と暗部とからなる光であって、透明物を透過する前記光とともに前記透明物を撮像した撮像画像を教師データとし、
前記教師データを用い、前記撮像画像を入力、前記撮像画像における前記透明物の欠陥を出力とする学習モデルを生成する、
学習モデル生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理システム、画像処理方法および学習モデル生成方法に関する。

【背景技術】

【0002】

外観検査において、黒白の周期性パターンを検査物に照射しつつ検査物を撮像し、得られた画像を用いて検査物の欠陥の有無を判定する画像処理方法が知られている（例えば、特許文献１参照。）。

【0003】

引用文献１には、ガラス等の鏡面性または光透過性を有する物体の微小凹凸等の欠点を検査する方法が記載されている。具体的には、ガラス等の被検査物の表面に対し回転機構を備えた光源を用いて光を照射し、その反射光を撮像した撮像画像に基づいて画像処理を行って検査する。この光源の周面は黒白のストライプ模様のフィルムで覆われており、撮像画像は光源による黒白のストライプパターンの位相が徐々にずれた画像となる。これら複数の撮像画像における同じ位置の輝度の差分値を求めることにより、凹凸等の欠点を特定することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０００－０１８９３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の方法では、特許文献１の図１または図７に示すような回転駆動装置を備えた回転光源が必要となり、装置構成が煩雑になる恐れがある。また、位相をずらした複数の画像を用いて欠陥を判別しており、そのような光源を用意できない場合は欠陥を判定できず、あるいは検査物を連続して検査したい場合に逐次光源の位相を変更する必要があるため検査時間がかかってしまうといった課題がある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明に係る画像処理システムは、明部と暗部とからなる光を透明物に投影する光源と、前記透明物を透過する光とともに前記透明物を撮像画像として撮像する撮像部と、画像処理部であって、前記撮像画像に含まれる前記明部若しくは前記暗部の領域に基づいて、または前記撮像画像の各画素の輝度値に基づいて第１の画像を生成し、前記第１の画像および前記撮像画像において対応する位置関係にある画素について輝度値の差分の絶対値に基づいて第２の画像を生成する画像処理部と、を備える。

【0007】

また、上記課題を解決するために、本発明に係る画像処理方法は、光源から投影される明部と暗部とからなる光であって、透明物を透過する前記光とともに前記透明物を撮像した撮像画像に含まれる前記明部若しくは前記暗部の領域に基づいて、または前記撮像画像の各画素の輝度値に基づいて第１の画像を生成し、前記第１の画像および前記撮像画像において対応する位置関係にある画素について輝度値の差分の絶対値に基づいて第２の画像を生成する、ことを備える。

【発明の効果】

【0008】

本発明は、上記課題に鑑みてなされたものであり、光源装置を複雑にせず、かつ撮像画像の枚数を増やすことなく高速に透明な検査物の欠陥の有無を判定することができる。

【図面の簡単な説明】

【0009】

【図1】本発明に係る画像処理システムを示す図である。

【図2】本発明に係る背景画像を示す図である。

【図3】（Ａ）は表面に線キズを有する検査物、（Ｂ）は線キズを有する検査物を背景画像とともに撮像した撮像画像をグレースケール化したグレースケール化した撮像画像を示す図である。

【図4】本発明に係る画像処理方法を示すフロー図である。

【図5】（Ａ）はグレースケール化した撮像画像であり、（Ｂ）は本願発明に係る右ずれ画像、（Ｃ）は本願発明に係る左ずれ画像である。

【図6】本発明に係る反転画像を示す図である。

【図7】（Ａ）は本発明に係る差分画像であり、（Ｂ）はノイズあり差分画像である。

【図8】（Ａ）は本発明に係るノイズあり差分画像であり、（Ｂ）は適応的な閾値処理を説明するための図である。

【図9】本発明に係る二値画像を示す図である。

【図10】本発明に係る実施例の撮像画像を示す図である。

【図11】（Ａ）は本発明に係る実施例の撮像画像であり、（Ｂ）～（Ｄ）は欠陥を説明するための図である。

【図12】本発明に係る実施例の差分画像を示す図である。

【図13】本発明に係る実施例の別の差分画像を示す図である。

【図14】（Ａ）は本発明に係る実施例の二値画像であり、（Ｂ）はノイズ処理後の二値画像である。

【図15】（Ａ）は本発明に係る実施例の別の二値画像であり、（Ｂ）はノイズ処理後の二値画像である。

【図16】（Ａ）は本発明に係る別の実施例の欠陥特定画像であり、（Ｂ）は別の欠陥特定画像である。

【発明を実施するための形態】

【0010】

以下、図面を参照しつつ本発明の実施形態について詳細に説明する。なお、以下の説明では、同様の構成要素には同一の参照番号を付す。

【0011】

図１は、本発明に係る画像処理システム１００を示す図である。画像処理システム１００は、透明な検査物ＷＫにキズ等の欠陥があるかどうかを判別するものである。画像処理システム１００は、撮像装置１０と、画像処理装置２０と、光源装置３０と、を備える。撮像装置１０は、光学素子、プロセッサー、撮像素子等を備え、撮像により画像を取得する。なお、透明な検査物は、光源装置３０からの光を所定の光量以上を透過するものであればよい。

【0012】

画像処理装置２０は、ＣＰＵ（Central Processing Unit：中央演算処理装置）と、メモリと、ハードディスクドライブ、ＳＳＤ等のストレージと、マウス、キーボード等の入力装置と、ディスプレイ、プリンタ等の出力装置と、通信ネットワークと接続するための通信装置とを備えており、これらがバスを介して接続されている構成とすることができる。

【0013】

このような構成を備えることにより、画像処理装置２０は、画像処理や各種の情報処理を実行することができる。また、画像処理装置２０は撮像装置１０に接続されており、撮像装置１０により撮像された画像を取得して画像を処理する。なお、撮像装置１０が撮像画像を外部記憶素子等に記録し、画像処理装置２０に、この外部記憶素子に記憶された撮像画像を読み込ませて画像を処理するようにしてもよい。出力装置に画像処理結果を出力させ、入力装置を介してユーザー設定等を画像処理方法に反映させることも可能である。

【0014】

光源装置３０は、明部と暗部とからなる光を発する装置であり、例えば、画像を表示することができる液晶表示装置等の表示装置であり、図２に示す背景画像２００を表示することがきる。検査物ＷＫには、背景画像２００と同様の模様が投影される。なお、光源装置３０は、液晶表示装置等に限らず、平板の白色光源上に黒白のストライプ模様のフィルムを貼り付けて、背景画像２００と同様の暗部と明部とからなる光が検査物ＷＫに投影されるようにしてもよい。

【0015】

図１に示す検査物ＷＫは、光源装置３０の直上に配置される。撮像装置１０は、光源装置３０が表示する背景画像２００とともに検査物ＷＫを撮像する。

【0016】

図２は、本発明に係る背景画像２００を示す図である。背景画像２００は、白色画素と黒色画素とから構成される。背景画像２００において、白色画素は白帯２１０のように白色画素群を形成し、黒色画素は黒帯２２０のように黒色画素群を形成している。これにより、明部と暗部とからなる光が、透明物である透明な検査物ＷＫに投影される。背景画像２００は、白帯２１０及び黒帯２２０を複数有し、白帯２１０及び黒帯２２０はそれぞれ同サイズであり交互に配置される。

【0017】

例えば、図２に示す背景画像２００のように、白帯２１０及び黒帯２２０はそれぞれ横方向にストライプ状で配置されている。なお、白帯２１０と黒帯２２０の幅は、後の画像処理においてノイズの影響を少なくするために同じ幅であることが好ましいが、０．９５対１．０５または１．０５対０．９５ほどのずれであれば本発明に係る画像処理方法を実行することができ、例えばノイズ処理も適切に行うことができる。

【0018】

次に、画像処理装置２０が実行する画像処理方法について説明する。なお、透明な検査物ＷＫは、図３（Ａ）に示すように表面に線キズ３１０を有するものとする。この場合、撮像装置１０は、図３（Ｂ）に示すような撮像画像３００を取得する。そして、画像処理装置２０は、この撮像画像３００をグレースケール化した後に画像処理を行う。

【0019】

撮像画像３００は、検査物ＷＫを透過した背景画像２００を含んでおり、明部を反映した白色画素と、暗部を反映した黒画素を含んでいる。また、検査物ＷＫが有する線キズ３１０も、撮像画像３００において線キズ３５０のように、欠陥の影響を受けて灰色の中間色で表される。

【0020】

画像処理装置２０は、撮像装置１０から撮像画像３００を取得し、図４に示す画像処理方法のフローに従って画像処理を行う。

【0021】

まず、Ｓ４１０において、撮像画像３００をグレースケース化し、２５６階調でグレースケール化した撮像画像５００に変換する。グレースケース化したことにより、輝度値が「２５５」を示す画素は白色画素であり、輝度値が「０」を示す画素は黒色画素となる。なお、取得した撮像画像が既にグレースケール化されている場合、当該処理は不要である。また、Ｓ４１０において、必要に応じて傾き補正の処理を行う。傾き補正の処理とは、グレースケール化した撮像画像５００に含まれる、背景画像２００を取り込んだことによる黒帯５０１－１～６及び白帯５０２－１～６の並びの方向が画像の水平方向に対して上向きに傾いている場合に、水平方向になるように補正することである。あるいは、傾き補正は、黒帯５０１－１～６及び白帯５０２－１～６の境界の方向が、画像の水平方向に対して垂直となるように補正することである。この補正は、例えば、画素の輝度値の変化に基づいて境界線を特定し、その境界線の角度を求めることによって傾きを何度補正すればよいかを決定することができる。

【0022】

次に、Ｓ４２０において、グレースケール化した撮像画像５００に基づいて、ずれ画像または反転画像を生成する。

【0023】

ずれ画像は、グレースケール化した撮像画像に含まれる黒帯または白帯の横幅に相当する横幅と、グレースケール化した撮像画像の縦幅とからなる領域を、グレースケール化した撮像画像の右端または左端を基準にして削除した画像である。右端を基準にして削除したものは「右ずれ画像」とし、左端を基準にして削除したものは「左ずれ画像」とする。ずれ画像を生成する場合、右ずれ画像または左ずれ画像の少なくとも１つを生成し、または双方とも生成することとなる。

【0024】

図５は、グレースケール化した撮像画像５００に基づいて、ずれ画像である右ずれ画像５１０または左ずれ画像５２０を生成する方法を説明するための図である。グレースケール化した撮像画像５００は、黒帯５０１－１～６及び白帯５０２－１～６のように背景画像２００を取り込んでいる。また、グレースケール化した撮像画像５００は、検査部ＷＫが有するキズとして線キズ５０３を含んでいる。

【0025】

右ずれ画像５１０は、グレースケール化した撮像画像５００から、縦幅と、黒帯５０１又は白帯５０２の横幅とからなるサイズの領域を右端から削除するようにして作成される。この領域に相当するのが領域５１２である。領域５１２は、縦幅Ｈと横幅Ｗとからなる。縦幅Ｈは、グレースケール化した撮像画像５００の縦幅と同一の大きさである。横幅Ｗは、例えば、グレースケール化した撮像画像の左端から右端までを走査して輝度値の変化に基づいて白帯及び黒帯の本数を特定し、グレースケール化した撮像画像の横幅の画素数を、特定した本数で割ってその画素数を丸めて求めた数を横幅Ｗとすることができる。縦幅Ｈは、グレースケール化した撮像画像５００の縦幅である。

【0026】

横幅Ｗと縦幅Ｈとからなる領域５１２は、グレースケール化した撮像画像５００における黒帯５０１－１と略同一の大きさを有する。よって、グレースケール化した撮像画像５００の右端を基準に領域５１２を削除すると、黒帯５０１－１を削除することになり、その結果、右ずれ画像５１０を生成することができる。

【0027】

左ずれ画像５２０は、グレースケール化した撮像画像５００から、グレースケール化した撮像画像５００の縦幅と、黒帯５０１又は白帯５０２の横幅とからなるサイズの領域を左端から削除するようにして作成される。この領域に相当するのが領域５２１である。領域５２１は、縦幅Ｈと横幅Ｗとからなる。縦幅Ｈは、グレースケール化した撮像画像５００の縦幅と同一の大きさである。横幅Ｗおよび縦幅Ｈは、上記の右ずれ画像５１０の生成に関して説明した内容と同じである。

【0028】

横幅Ｗと縦幅Ｈとからなる領域５２１は、グレースケール化した撮像画像５００における白帯５０２－６と略同一の大きさを有する。よって、グレースケール化した撮像画像５００の左端を基準に領域５２１を削除すると、白帯５０２－６を削除することになり、その結果、左ずれ画像５２０を生成することができる。

【0029】

なお、ずれ画像に関し、黒帯または白帯をグレースケール化した撮像画像５００から削除する例を説明しているが、グレースケール化した撮像画像５００の右端または左端において黒帯または白帯の一部が起点となっていたとしても、削除されるのは黒帯または白帯と同じ大きさの領域となる。

【0030】

一方、反転画像は、グレースケール化した撮像画像５００の注目画素の輝度値から２５５を引いた値の絶対値を、反転画像における注目画素の値とするものである。例えば、グレースケール化した撮像画像５００の白画素は輝度値が２５５であるから、２５５を引くと０になり、反転画像においては黒画素となる。また、グレースケール化した撮像画像の黒画素は輝度値が０であるから、２５５を引くと―２５５になり、その絶対値は２５５であるから反転画像においては白画素となる。

【0031】

図６に示す反転画像６００は、グレースケール化した撮像画像５００に基づいて作成されたものである。グレースケール化した撮像画像５００と反転画像６００を対比すると、グレースケール化した撮像画像５００の黒帯５０１－１～６の位置にある画素は、反転画像６００において白画素からなる白帯６０１－１～６となっている。また、グレースケール化した撮像画像５００の白帯５０２－１～６の位置にある画素は、反転画像６００において黒画素からなる黒帯６０２－１～６となっている。グレースケール化した撮像画像５００の線キズ５０３の画素に関し、その輝度値が中間値近辺にあり、その値を１２７とすれば、２５５を引くと－１２８となり、その絶対値は１２８であるから反転画像においても同様の輝度値を示す画素となる。従って、反転画像６００のように、線キズ６０３は中間値を示している。

【0032】

次に、Ｓ４３０において差分画像を生成する。差分画像は、グレースケール化した撮像画像の注目画素の輝度値と、ずれ画像または反転画像の注目画素の輝度値との差分の絶対値に基づいて生成される。

【0033】

まず、反転画像６００とグレースケール化した撮像画像５００とに基づいて差分画像を作成する処理の例について説明する。なお、反転画像６００とグレースケール化した撮像画像５００とは同サイズの画像であるため、それぞれの注目画素が同じ位置関係にある。反転画像６００における白画素は、グレースケール化した撮像画像５００において黒画素となり、反転画像６００における黒画素は、グレースケール化した撮像画像５００において白画素となる。例えば、反転画像６００における白帯６０１－１の位置には、グレースケール化した撮像画像５００では黒帯５０１－１になっている。このように、それぞれの注目画素が白画素と黒画素との関係にあり、差分の絶対値は「２５５」となるため、差分画像７００において白画素となる。

【0034】

一方、注目画素がキズ６０３のように中間値を示す輝度値を示す画素である場合、グレースケール化した撮像画像５００においてもキズ５０３のように中間値を示す輝度値を示す画素である。よってこれらの輝度値の差分を求めるとおおよそ「０」に近い値となり、差分画像７００においては黒色または黒色に近い灰色となる。

【0035】

次に、右ずれ画像５１０とグレースケール化した撮像画像５００とに基づいて差分画像を作成する処理について説明する。まず、右ずれ画像５１０とグレースケール化した撮像画像５００との画素の対応関係を設定する。具体的には、右ずれ画像の右上端点５１３とグレースケール化した撮像画像５００の右上端点５０４とが一致し、右ずれ画像の右下端点５１４とグレースケール化した撮像画像５００の右上端点５０６とが一致するようにそれぞれの画像の位置関係を設定する。

【0036】

この位置関係の設定後に、右ずれ画像５１０とグレースケール化した撮像画像５００とで対応関係のある注目画素について輝度値の差分の絶対値を求め、その値を差分画像の画素の輝度値とする。なお、領域５１２分だけ右ずれ画像５１０はグレースケール化した撮像画像５００よりも小さいため、右ずれ画像５１０とグレースケール化した撮像画像５００とが重なり合わない領域については差分を求めないこととする。この重なり合わない領域はおおよそグレースケール化した撮像画像５００の白帯５０２－６である。よって、差分画像の大きさは、右ずれ画像５１０と同じ大きさとなる。

【0037】

輝度値の差分の絶対値を求める際、右ずれ画像５１０のキズ５１２と、グレースケール化した撮像画像５００のキズ５０４が重なっている画素がある場合、その重なりあっている画素の輝度値の差分の絶対値はおおよそ０になる。よって、差分画像において、その画素は黒色または黒色に近い灰色となっている。キズ５１２とキズ５０４が重なりあわない画素については、キズを示す画素の輝度値と白色又は黒色の輝度値との差分の絶対値となり、その画素はおおよそ中間近辺の灰色を示す輝度値となる。

【0038】

グレースケール化した撮像画像５００の黒帯５０１－１は、右ずれ画像５１０の白帯５１２－１と同じ位置にある。従って、その差分の絶対値は２５５であり、差分画像における黒帯５０１－１及び白帯５１２－１の位置にある各画素は白色となる。例えば、図７（Ａ）に示すように、右ずらし画像に基づく差分画像７００では、領域７０１にある、黒帯５０１－１及び白帯５１２－１の位置に相当する各画素は白色である。

【0039】

左ずれ画像５２０とグレースケール化した撮像画像５００とに基づいて差分画像を作成する処理も上記で説明した、右ずれ画像５１０とグレースケール化した撮像画像５００とに基づいて差分画像を作成する処理と同様である。なお、位置の基準は、左ずれ画像５２０の左上端点５２２とグレースケール化した撮像画像５００の左上端点５０５とが一致し、左ずれ画像５２０の左下端点５２３とグレースケール化した撮像画像５００の左下端点５０７とが一致するように設定される。

【0040】

図７（Ａ）に、差分画像７００を示す。差分画像７００では、グレースケール化した撮像画像５００に含まれていた黒帯５０１－１～６や白帯５０２－１～６に関し、差分を求めたことにより注目画素が白画素になるため、黒帯を含まない画像となっている。また差分画像は、キズ７０１が黒色または灰色で示されるため、キズを特定できるような画像となっている。

【0041】

以上のようにして差分画像を求めるが、差分画像にノイズが発生することがある。例えば、図７（Ｂ）に示す差分画像７１０のように、複数の線７１１が現われることがある。これは、撮像環境やカメラの性能の影響により、撮像画像において黒帯と白帯の幅が異なる、あるいは白帯と黒帯の境界付近において輝度値がゆるやかに変化していることに起因している。このように、背景画像が映り込んだ撮像画像に基づいて差分画像を生成する場合、黒帯及び白帯の境界の位置に縦線のようなノイズが発生しうる。なお、線７１１の輝度値は０から、中間値である１２８付近の値をとりうる。

【0042】

差分画像７００であってもノイズあり差分画像７１０であっても、グレースケール化した撮像画像５００と対比すると、グレースケール化した撮像画像５００に含まれていた黒帯５０１が消去されているので、人の目で見たときに線キズ７０１または線キズ７１２を視認しやすくなり、検査物ＷＫの欠陥の有無を判定しやすくすることができる。

【0043】

以上のように差分画像を生成するものであり、グレースケール化した撮像画像において黒帯及び白帯の周期的な配置により人の目により視認しづらかった線キズが、差分画像では黒帯が消去されるので、人の目により線キズを視認しやすくできる。

【0044】

次に、Ｓ４４０において、差分画像に含まれるノイズを除去しつつ、キズ等の欠陥を識別できるような二値画像を生成するための二値化処理を行う。

【0045】

図８は、ノイズあり差分画像に対する二値化処理の一例を説明するための図である。二値化処理においては適応的な閾値処理を行う。なお、図８（Ａ）に示すノイズあり差分画像７１０の領域８０１における処理を例にして説明する。この適応的な閾値処理（Adaptive Threshold）についてはＮｉｂｌａｃｋ法を採用することができるが、これに限定されず、Ｓａｕｖｏｌａ法やその他の処理を用いてもよい。

【0046】

図８（Ｂ）は領域８０１を拡大した図である。図８（Ｂ）に示すように、適応的な閾値処理にあたり、注目画素８１２を中心とした所定のサイズの枠８１１が設定される。枠８１１の大きさは、例えば、横１ピクセル×縦５０ピクセルである。ここで、枠８１１の横幅を１ピクセルとしているが、キズ等の欠陥を示す画素が含まれる場合に縦成分の輝度の変化を的確に判別するために狭い値に設定している。そして、枠８１１内に含まれる画素の輝度値の平均値や標準偏差に基づいて閾値が定められ、この閾値に基づいて注目画素が「０」または「１」に設定される。なお、縦の大きさは、好ましくは、想定されるキズの大きさの少なくとも２倍程度の画素サイズとすればよい。

【0047】

そして、矢印８１３で示す方向のように枠８１１を右方向へスライドさせながら、注目画素について「０」または「１」が設定される。なお枠８１３が再右端まで移動している場合には注目画素８１２を一画素分下にずらして最左端から同様にして処理を進める。

【0048】

Ｓ４４０における二値化処理により、図９に示す二値画像９００を得る。二値画像９００のように、キズ部分が白色画素で表されている。

【0049】

次に、Ｓ４５０において、二値画像からキズ等の欠陥を特定する。キズの特定は、例えば公知のラベリング処理等を用いて所定の大きさを有する白色画素からなる領域が存在する場合に、これをキズ等の欠陥として扱うことができる。

【0050】

＜変形例１＞
上記の発明の実施形態において、Ｓ４４０で二値画像を生成し、Ｓ４５０でこの二値画像に基づいてキズ等の欠陥を特定している。このプロセスとは異なり、学習モデルを利用してキズ等の欠陥を特定するようにしてもよい。

【0051】

学習モデルは、グレースケール化した撮像画像を教師データとして構築されたものである。この教師データを用い、グレースケール化した撮像画像を入力し、透明物の欠陥を示した撮像画像を出力とする学習モデルを生成する。なお、教師データとして用いるグレースケール化した撮像画像は、キズ等の欠陥を含まない検査物を撮像した撮像画像が好ましい。しかし、キズ等の欠陥を含んだ検査物を撮像した撮像画像であっても、キズ等の欠陥を示さない領域をグレースケール化した撮像画像から抽出し、これを教師データとして用いてもよい。

【0052】

＜変形例２＞
上記の発明の実施形態において、Ｓ４２０でずれ画像を生成する場合、Ｓ４３０でずれ画像とグレースケール化した撮像画像とに基づいて差分画像を生成している。この場合、例えば右ずれ画像であれば、キズが右にずれる分だけ差分画像においてキズが撮像画像よりも大きくなりうる。そこで、Ｓ４３０で右ずれ画像と左ずれ画像の双方を作成し、右ずれ画像とグレースケール化した撮像画像とに基づいて第１の差分画像を生成する。また、左ずれ画像とグレースケール化した撮像画像とに基づいて第２の差分画像を生成する。

【0053】

次に、Ｓ４４０で、第１の差分画像に基づいた第１の二値画像と、第２の差分画像に基づいた第２の二値画像とを生成する。この第１の二値画像と第２の二値画像との対応する画素について論理積による第３の二値画像を生成し、この第３の二値画像に基づいて、Ｓ４５０においてキズ等の欠陥を特定する。このような処理を行うことにより、ずれ画像を用いた差分画像について、撮像画像と比して大きなキズとならないように抑制できる。なお、第３の二値画像の生成において、第１の二値画像は撮像画像における右端に合わせ、第２の二値画像は左端に合わせるように画素の対応関係を設定する。

【0054】

＜変形例３＞
上記の発明の実施形態において、撮像画像３００に関し、白帯と黒帯が交互に横方向に並ぶようにして撮像されている。このような撮像画像が取得される場合に、背景画像２００も白帯と黒帯が交互に横方向に並ぶような画像であれば、これを９０°回転させて、白帯と黒帯が交互に縦方向に並ぶような画像を表示させてもよい。

【0055】

これにより、撮像画像は、白帯と黒帯が交互に縦方向に並ぶような画像となる。この場合、Ｓ４２０でずれ画像を生成するときに、グレースケール化した撮像画像の白帯または黒帯に相当する領域を上端から削除した上ずれ画像、または下端から削除した下ずれ画像を生成する。Ｓ４４０で局所的な閾値処理を実行する際には、枠を横５０ピクセル×縦１ピクセルのように設定する。これはノイズが横方向に発生するためである。

【0056】

上記の変形例１～３を複数組み合わせて実施の形態の変形として実施することも可能である。例えば、変形例３で撮像した撮像画像を用いて変形例１を実施し、透明物の欠陥を示した撮像画像を取得するようにしてもよい。

【0057】

＜実施例＞
以下、実施例について説明する。光源装置３０として、１３インチのＬＣＤ表示装置を用いた。背景画像２００を光源装置３０に表示させたときに、黒帯及び白帯の幅は１ｍｍであった。撮像装置１０としては、携帯電話機に搭載のカメラ（２４ｍｍ焦点距離、フルＨＤ）を用いた。

【0058】

検査物ＷＫは、材質：ポリプロピレン、６．５ｍｍ×９ｍｍ、厚さ０．２ｍｍのものを用いた。この検査物ＷＫは３つの欠陥があり、長さ約２３ｍｍ、約１ｍｍ、約０．８ｍｍであり、幅が約０．３ｍｍの線キズである。光源装置３０と検査物ＷＫとの距離は１２ｃｍであり、検査物ＷＫと撮像装置１０までの距離は２５ｃｍである。

【0059】

図１０は、撮像画像をグレースケール変換したグレースケール化した撮像画像１０００を示す。グレースケール化した撮像画像１０００に関し、背景画像とともに検査物ＷＫが有する３つのキズが映り込んでいることが確認できる。具体的には、図１１に示すグレースケール化した撮像画像１０００上の３つの領域１１０１、１１０２、１１０３において確認できる。図１１（Ｂ）は領域１１０１を拡大したものであり、輝度値の中間値を示す画素が横方向に連なっていることが確認できる。図１１（Ｃ）は、領域１１０２を拡大したものであり、図１１（Ｄ）は領域１１０３を拡大したものである。同様に、輝度値の中間値を示す画素が横方向に連なっていることが確認できる。

【0060】

次に、Ｓ４２０において、ずれ画像または反転画像を生成する。そして、Ｓ４３０で差分画像を生成する。図１２に示す差分画像１２００は、グレースケール化した撮像画像１０００と、グレースケール化した撮像画像１０００に基づいて所定の大きさだけ削除した右ずれ画像とに基づいて作成したものである。

【0061】

図１３に示す差分画像１３００は、グレースケール化した撮像画像１０００と、グレースケール化した撮像画像１０００に基づいて作成した反転画像とに基づいて作成したものである。

【0062】

差分画像１２００または差分画像１３００のいずれにおいても、線キズがグレースケール化した撮像画像１０００と比して視認しやすくなっていることがわかる。

【0063】

次に、Ｓ４４０において、二値画像を生成する。図１４に示す二値画像１４００は、差分画像１２００に対し、適応的な閾値処理により生成した二値画像である。適応的な閾値処理にあたり、横１ピクセル×縦５０ピクセルを枠として設定している。

【0064】

次に、二値画像１４００から、ノイズ除去及び膨張処理を実施し、二値画像１４１０を生成する。ノイズ除去においては、白画素の塊について、横１ピクセル以下、縦４ピクセル以下、または面積４９ピクセル以下の塊については黒画素に書き換えている。膨張処理については、白画素の塊について縦横それぞれ２ピクセル分膨張させている。

【0065】

一方、Ｓ４４０において、差分画像１３００に基づいて二値画像を生成したものが図１５に示す二値画像１５００である。二値画像１５００は、差分画像１３００に対し、適応的な閾値処理により生成した二値画像である。適応的な閾値処理にあたり、横１ピクセル×縦５０ピクセルを枠として設定している。

【0066】

次に、二値画像１５００から、ノイズ除去及び膨張処理を実施し、二値画像１５１０を生成する。ノイズ除去においては、白画素の塊について、横１ピクセル以下、縦４ピクセル以下、または面積４９ピクセル以下の塊については黒画素に書き換えている。膨張処理については、白画素の塊について縦横それぞれ２ピクセル分膨張させている。

【0067】

次に、Ｓ４５０において、キズを特定する。例えば、図１４に示す二値画像１４１０または図１５に示す二値画像１５１０の白画素群をキズ等の欠陥として特定する。ユーザーに知覚させるために、この白画素群を矩形で囲み、二値画像上に表示させ、あるいは矩形の位置に合わせて撮像画像上に合成して表示させる等の処理も可能である。

【0068】

なお、背景画像２００のような画像を表示させることなく、透明の検査物ＷＫを撮像画像として撮像し本発明に係る画像処理方法を実施したところ、検査物ＷＫにおいてハレーションの影響があり、キズの検出ができなかった。背景画像２００を表示させて撮像したところハレーションの影響はなかったので、背景画像２００を表示させることによりハレーションの抑制効果があることも分かった。

【0069】

次に、上記の変形例１で示した学習モデルを生成し、学習モデルを利用してキズ等の欠陥を特定した例について説明する。図１６（Ａ）に示す画像１６００は、グレースケール化した撮像画像を教師データとして構築した学習モデルに、キズ等の欠陥を含んだ透明な検査物を撮像したグレースケール化した撮像画像を入力し、検査物の欠陥を示した撮像画像を出力させたものである。

【0070】

図１６（Ｂ）に示す画像１６１０は、ずれ画像に基づいた差分画像を教師データとして構築した学習モデルに、差分画像を入力し、検査物の欠陥を示した撮像画像を出力させたものである。画像１６００と画像１６１０を比較すると、画像１６００を作成した学習モデルの方がより検査物の欠陥を抽出できていることが分かった。

【0071】

なお、学習モデルの構築は、ＭＶＴｅｃ社（ドイツ）製の画像解析ソフトＨＡＬＣＯＮを用いたが、その他の画像解析ソフトを用いて学習モデルを構築することも可能である。

【符号の説明】

【0072】

１０ 撮像装置
２０ 画像処理装置
３０ 光源装置
１００ 画像処理システム
２００ 背景画像
３００ 撮像画像
５００ グレースケール化した撮像画像
５１０ 右ずれ画像
５２０ 左ずれ画像
６００ 反転画像
７００ 差分画像
７１０ ノイズあり差分画像
９００ 二値画像
１０００ グレースケール化した撮像画像
１２００ 差分画像
１３００ 差分画像
１４００ 二値画像
１４１０ 二値画像
１５００ 二値画像
１５１０ 二値画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【手続補正書】

【提出日】2023-04-19

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

明部と暗部とからなる光を透明物に投影する光源と、
前記透明物を透過する光とともに前記透明物を撮像画像として撮像する撮像部と、
画像処理部であって、
前記撮像画像の各画素について輝度値を反転処理した第１の画像、または前記撮像画像における前記明部または前記暗部に相当する領域を前記撮像画像の端から削除した第１の画像を生成し、
前記第１の画像および前記撮像画像において対応する位置関係にある画素について輝度値の差分の絶対値に基づいて第２の画像を生成する画像処理部と、
を備える画像処理システム。

【請求項2】

前記透明物には、前記明部と前記暗部とが交互に並んだ光が投影される、
請求項１に記載の画像処理システム。

【請求項3】

前記画像処理部が、前記撮像画像に含まれる前記明部または前記暗部の境界の方向が水平方向または垂直方向に対し略直角となるように補正する処理をさらに実行する、
請求項１に記載の画像処理システム。

【請求項4】

前記画像処理部は、前記第２の画像に基づいて、前記透明物の欠陥部分を白画素または黒画素とした二値画像を生成する、請求項１に記載の画像処理システム。

【請求項5】

局所的な閾値処理により前記二値画像を生成する、請求項４に記載の画像処理システム。

【請求項6】

前記局所的な閾値処理において、前記撮像画像における前記明部と前記暗部との境界の方向と垂直に交わる方向の局所領域の幅を１ピクセルとする、請求項５に記載の画像処理システム。

【請求項7】

光源から投影される明部と暗部とからなる光であって、透明物を透過する前記光とともに前記透明物を撮像した撮像画像の各画素について輝度値を反転処理した第１の画像、または前記撮像画像における前記明部または前記暗部に相当する領域を前記撮像画像の端から削除した第１の画像を生成し、
前記第１の画像および前記撮像画像において対応する位置関係にある画素について輝度値の差分の絶対値に基づいて第２の画像を生成する、
ことを備える画像処理方法。

【請求項8】

前記第２の画像に基づいて、前記透明物の欠陥部分を白画素または黒画素とした二値画像を生成することをさらに備える、請求項７に記載の画像処理方法。

【請求項9】

局所的な閾値処理により前記二値画像を生成する、請求項８に記載の画像処理方法。

【請求項10】

前記局所的な閾値処理において、前記撮像画像における前記明部と前記暗部との境界の方向と垂直に交わる方向の局所領域の幅を１ピクセルとする、請求項９に記載の画像処理方法。

【手続補正書】

【提出日】2023-04-19

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

明部と暗部とからなる光を透明物に投影する光源と、
前記透明物を透過する光とともに前記透明物を撮像画像として撮像する撮像部と、
画像処理部であって、
前記撮像画像の各画素について輝度値を反転処理した第１の画像、または前記撮像画像における前記明部または前記暗部に相当する領域を前記撮像画像の端から削除した第１の画像を生成し、
前記第１の画像および前記撮像画像において対応する位置関係にある画素について輝度値の差分の絶対値に基づいて第２の画像を生成する画像処理部と、
を備える画像処理システム。

【請求項2】

前記透明物には、前記明部と前記暗部とが交互に並んだ光が投影される、
請求項１に記載の画像処理システム。

【請求項3】

前記画像処理部が、前記撮像画像に含まれる前記明部または前記暗部の境界の方向が水平方向または垂直方向に対し略直角となるように補正する処理をさらに実行する、
請求項１に記載の画像処理システム。

【請求項4】

前記画像処理部は、前記第２の画像に基づいて、前記透明物の欠陥部分を白画素または黒画素とした二値画像を生成する、請求項１に記載の画像処理システム。

【請求項5】

局所的な閾値処理により前記二値画像を生成する、請求項４に記載の画像処理システム。

【請求項6】

前記局所的な閾値処理において、前記撮像画像における前記明部と前記暗部との境界の方向と垂直に交わる方向の局所領域の幅を１ピクセルとする、請求項５に記載の画像処理システム。

【請求項7】

光源から投影される明部と暗部とからなる光であって、透明物を透過する前記光とともに前記透明物を撮像した撮像画像の各画素について輝度値を反転処理した第１の画像、または前記撮像画像における前記明部または前記暗部に相当する領域を前記撮像画像の端から削除した第１の画像を生成し、
前記第１の画像および前記撮像画像において対応する位置関係にある画素について輝度値の差分の絶対値に基づいて第２の画像を生成する、
ことを備える画像処理方法。

【請求項8】

前記第２の画像に基づいて、前記透明物の欠陥部分を白画素または黒画素とした二値画像を生成することをさらに備える、請求項７に記載の画像処理方法。

【請求項9】

局所的な閾値処理により前記二値画像を生成する、請求項８に記載の画像処理方法。

【請求項10】

前記局所的な閾値処理において、前記撮像画像における前記明部と前記暗部との境界の方向と垂直に交わる方向の局所領域の幅を１ピクセルとする、請求項９に記載の画像処理方法。