(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に開示されている画像処理装置では、画素ごとにエッジの存否を判別して、エッジ点の個数を計数する。しかし、画素ごとにエッジの存否を判別しているので、実際には同一の長さを有するエッジであっても、エッジの方向(角度)によっては計数されたエッジ点の個数が異なるおそれがあった。そのため、エッジ点の個数の大小により検査対象物の良否判定を行う処理では、同一の検査対象物であっても、撮像する姿勢によってエッジ点の個数が変動するので、良否判定を高い精度で行うことが困難であるという問題点があった。
【0006】
本発明は、上記問題点に鑑みてなされたものであり、エッジ点の個数の大小で検査対象物の良否判定を行う場合であっても、高い精度で良否判定を行うことができる画像処理センサ、該画像処理センサで実行することが可能な画像処理方法及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために第1発明に係る画像処理センサは、検査対象物を撮像する撮像手段と、該撮像手段で撮像された画像を表示する表示手段と、該表示手段で表示された画像からエッジを抽出して、抽出されたエッジに基づいて画像処理を行う画像処理手段と、該画像処理手段の処理結果に基づいて、検査対象物の良否判定を行う良否判定手段と、該良否判定手段の判定結果を外部へ出力する出力手段とを有する画像処理センサにおいて、前記画像処理手段は、撮像された検査対象物の画像からエッジを抽出するエッジ抽出手段と、抽出されたエッジを構成するエッジ画素の特徴量を算出する特徴量算出手段と、抽出されたエッジ角度を画素ごとに算出する角度算出手段と、算出されたエッジ角度に基づいて、算出された特徴量を補正する特徴量補正手段とを備えることを特徴とする。
【0008】
また、第2発明に係る画像処理センサは、第1発明において、エッジの幅を細線化する細線化手段を備え、前記特徴量算出手段は、細線化されたエッジを構成するエッジ画素の個数を算出することを特徴とする。
【0009】
また、第3発明に係る画像処理センサは、第1又は第2発明において、エッジ角度ごとの補正係数を記憶しておき、前記特徴量補正手段は、記憶されているエッジ角度に基づいて特定された補正係数を用いて、算出された特徴量を補正することを特徴とする。
【0010】
また、第4発明に係る画像処理センサは、第1又は第2発明において、エッジ角度に基づいて補正係数を算出する計算式を記憶しておき、前記特徴量補正手段は、記憶されている計算式に基づいて、算出された特徴量を補正することを特徴とする。
【0011】
また、第5発明に係る画像処理センサは、第1乃至第4発明のいずれか1つにおいて、良否判定の基準となる基準画像の指定を受け付ける指定受付手段と、指定を受け付けた基準画像に対して、エッジの抽出領域を設定する抽出領域設定手段とを備え、前記画像処理手段は、設定されたエッジの抽出領域内の特徴量を算出することを特徴とする。
【0012】
また、第6発明に係る画像処理センサは、第1乃至第5発明のいずれか1つにおいて、エッジ角度の頻度分布を記憶しておき、前記特徴量補正手段は、エッジ角度の頻度を減少させることを特徴とする。
【0013】
次に、上記目的を達成するために第7発明に係る画像処理方法は、検査対象物を撮像する撮像手段と、該撮像手段で撮像された画像を表示する表示手段とを備え、該表示手段で表示された画像からエッジを抽出して、抽出されたエッジに基づいて画像処理を行い、画像処理の処理結果に基づいて、検査対象物の良否判定を行い、良否判定の判定結果を外部へ出力する画像処理センサで実行することが可能な画像処理方法において、前記画像処理センサは、撮像された検査対象物の画像からエッジを抽出するステップと、抽出されたエッジを構成するエッジ画素の特徴量を算出するステップと、抽出されたエッジ角度を画素ごとに算出するステップと、算出されたエッジ角度に基づいて、算出された特徴量を補正するステップとを含むことを特徴とする。
【0014】
また、第8発明に係る画像処理方法は、第7発明において、前記画像処理センサは、エッジの幅を細線化するステップを含み、細線化されたエッジを構成するエッジ画素の個数を算出することを特徴とする。
【0015】
また、第9発明に係る画像処理方法は、第7又は第8発明において、前記画像処理センサは、エッジ角度ごとの補正係数を記憶しておき、記憶されているエッジ角度に基づいて特定された補正係数を用いて、算出された特徴量を補正することを特徴とする。
【0016】
また、第10発明に係る画像処理方法は、第7又は第8発明において、前記画像処理センサは、エッジ角度に基づいて補正係数を算出する計算式を記憶しておき、記憶されている計算式に基づいて、算出された特徴量を補正することを特徴とする。
【0017】
また、第11発明に係る画像処理方法は、第7乃至第10発明のいずれか1つにおいて、前記画像処理センサは、良否判定の基準となる基準画像の指定を受け付けるステップと、指定を受け付けた基準画像に対して、エッジの抽出領域を設定するステップとを含み、設定されたエッジの抽出領域内の特徴量を算出することを特徴とする。
【0018】
また、第12発明に係る画像処理方法は、第7乃至第11発明のいずれか1つにおいて、前記画像処理センサは、エッジ角度の頻度分布を記憶しておき、エッジ角度の頻度を減少させることを特徴とする。
【0019】
次に、上記目的を達成するために第13発明に係るコンピュータプログラムは、検査対象物を撮像する撮像手段と、該撮像手段で撮像された画像を表示する表示手段と、該表示手段で表示された画像からエッジを抽出して、抽出されたエッジに基づいて画像処理を行う画像処理手段と、該画像処理手段の処理結果に基づいて、検査対象物の良否判定を行う良否判定手段と、該良否判定手段の判定結果を外部へ出力する出力手段とを有する画像処理センサで実行することが可能なコンピュータプログラムにおいて、前記画像処理手段を、撮像された検査対象物の画像からエッジを抽出するエッジ抽出手段、抽出されたエッジを構成するエッジ画素の特徴量を算出する特徴量算出手段、抽出されたエッジ角度を画素ごとに算出する角度算出手段、及び算出されたエッジ角度に基づいて、算出された特徴量を補正する特徴量補正手段として機能させることを特徴とする。
【0020】
第1発明、第7発明及び第13発明では、検査対象物の画像からエッジを抽出し、抽出されたエッジを構成するエッジ画素の特徴量を算出する。抽出されたエッジ角度を画素ごとに算出し、算出されたエッジ角度に基づいて、算出された特徴量を補正する。補正された特徴量に基づいて検査対象物の良否判定を行うことにより、撮像された検査対象物の傾斜角度が相違している場合であっても、同じ長さのエッジであれば略同一のエッジ点の個数として計数することができ、検査対象物の良否判定を高い精度で行うことが可能となる。
【0021】
第2発明及び第8発明では、エッジの幅を細線化し、細線化されたエッジを構成するエッジ画素の個数を算出するので、エッジ点の個数の計数誤差がより小さくなり、検査対象物の良否判定をより高い精度で行うことが可能となる。
【0022】
第3発明及び第9発明では、エッジ角度ごとの補正係数を記憶しておき、記憶されているエッジ角度に基づいて特定された補正係数を用いて、算出された特徴量を補正するので、抽出されたエッジ角度に応じて特徴量を補正することができ、撮像された検査対象物の傾斜角度が相違している場合であっても、同じ長さのエッジであれば略同一のエッジ点の個数として計数することができ、検査対象物の良否判定を高い精度で行うことが可能となる。
【0023】
第4発明及び第10発明では、エッジ角度に基づいて補正係数を算出する計算式を記憶し、記憶されている計算式に基づいて、算出された特徴量を補正するので、抽出されたエッジ角度に応じて特徴量を補正することができ、撮像された検査対象物の傾斜角度が相違している場合であっても、同じ長さのエッジであれば略同一のエッジ点の個数として計数することができ、検査対象物の良否判定を高い精度で行うことが可能となる。
【0024】
第5発明及び第11発明では、良否判定の基準となる基準画像の指定を受け付け、指定を受け付けた基準画像に対して、エッジの抽出領域を設定する。設定されたエッジの抽出領域内の特徴量を算出するので、抽出領域内にて抽出されたエッジ角度に応じて特徴量を算出することができ、撮像された検査対象物の傾斜角度が相違している場合であっても、同じ長さのエッジであれば略同一のエッジ点の個数として計数できるよう補正することができ、検査対象物の良否判定を高い精度で行うことが可能となる。
【0025】
第6発明及び第12発明では、エッジ角度の頻度分布を記憶し、エッジ角度の頻度を減少させるので、抽出されたエッジ角度に応じて特徴量を補正することができ、撮像された検査対象物の傾斜角度が相違している場合であっても、同じ長さのエッジであれば略同一のエッジ点の個数として計数することができ、検査対象物の良否判定を高い精度で行うことが可能となる。
【発明の効果】
【0026】
本発明では、補正された特徴量に基づいて検査対象物の良否判定を行うことにより、撮像された検査対象物の傾斜角度が相違している場合であっても、同じ長さのエッジであれば略同一のエッジ点の個数として計数することができ、検査対象物の良否判定を高い精度で行うことが可能となる。
【発明を実施するための形態】
【0028】
以下、本発明の実施の形態に係る画像処理センサについて、図面を参照して説明する。なお、本実施の形態の説明で参照する図面を通じて、同一又は同様の構成又は機能を有する要素については、同一又は同様の符号を付して、詳細な説明を省略する。
【0029】
図1は、本発明の実施の形態に係る画像処理センサの構成を示す模式図である。
図1に示すように、本実施の形態に係る画像処理センサは、撮像装置(撮像手段)1と、撮像装置1とデータ通信することが可能に接続ケーブル3で接続されている表示装置(表示手段)2とで構成されている。もちろん、表示装置2の代わりに、ディスプレイを有する外部コンピュータであっても良い。なお、撮像装置1と表示装置2とが一体として構成されていても良い。
【0030】
撮像装置1は、内部に画像処理を実行するFPGA、DSP等を備えており、検査対象物を撮像する撮像素子を有するカメラモジュールと、検査対象物に対して光を照射する照明部とを備えている。撮像装置1をコンパクトにするべく、例えば
図1に示すように、撮像装置1の正面の中央近傍にレンズ12を配置し、レンズ12の周囲を囲むように、照明部として複数のLED11を配置してある。なお、撮像装置1とは別に外部照明(リング照明等)を設けても良い。
【0031】
図2は、本発明の実施の形態に係る画像処理センサの撮像装置1の構成を示す外形図である。
図2(a)は、本発明の実施の形態に係る画像処理センサの撮像装置1の構成を示す正面図を、
図2(b)は、本発明の実施の形態に係る画像処理センサの撮像装置1の構成を示す平面図を、
図2(c)は、本発明の実施の形態に係る画像処理センサの撮像装置1の構成を示す背面図を、それぞれ示している。
【0032】
図2(a)に示すように、撮像装置1はレンズ12を正面の中央近傍に配置しており、レンズ12の周囲を囲むように複数のLED11を配置してある。撮像時には、複数のLED11を点灯させることにより、検査対象物に光を照射し、検査対象物を明瞭に撮像することができる。
【0033】
ここで、光源を内蔵する撮像装置1を用いて外観検査を行う場合、検査対象物からの正反射を防ぐために、撮像装置1を検査対象物の真上ではなく斜め上に配置することがある。検査対象物の斜め上に配置した場合、撮像装置1により撮像された画像は、上方と下方と(又は左方と右方と)で明るさが異なる。
【0034】
例えば、撮像装置1を、水平に載置された検査対象物の手前上方に配置した場合、検査対象物の手前部分から撮像装置1までの距離よりも、検査対象物の奥部分から撮像装置1までの距離の方が長くなるため、検査対象物を撮像した画像上で上方部分が暗くなり、下方部分が明るくなる。もちろん、撮像装置1を真上に配置した場合であっても、撮像領域の中央付近が明るく、端へ向かうにつれて暗くなる。このように、光源を内蔵する撮像装置1を用いて外観検査を行う場合、検査対象物を撮像した画像上に色ムラが発生することがある。しかし、後述する画像処理方法によれば、このような色ムラが発生した場合であっても、色の抽出範囲を簡易な作業で設定することができる。
【0035】
図2(b)及び
図2(c)に示すように、撮像装置1の背面には、外部の電源から電力の供給を受ける電源ケーブルを接続する電源コネクタ102と、表示装置2とデータ通信する接続ケーブル3を接続することが可能な接続コネクタ103とを備えている。また、手動でフォーカスを調整することができるフォーカス調整ネジ101も背面に備えている。
【0036】
図3は、本発明の実施の形態に係る画像処理センサの撮像装置1のハードウェア構成を示すブロック図である。
図3において、コネクタ基板16は、電源インタフェース161に設けてある電源コネクタ102(
図2(b)及び
図2(c)参照)を介して、外部の電源から電力の供給を受ける。電源基板18は、供給された電力を各基板に供給する。本実施の形態では、カメラモジュール14にはメイン基板13を介して電力を供給している。電源基板18のモータドライバ181は、カメラモジュール14のモータ141に駆動電力を供給し、オートフォーカスを実現している。
【0037】
通信基板17は、メイン基板13から出力された欠陥を検出したか否かで検査対象物の良否を示すOK/NG信号(判定信号)、画像データ等を表示装置2へ送信する。判定信号を受信した表示装置2は、判定結果を表示する。なお、本実施の形態では、通信基板17を介してOK/NG信号(判定信号)を出力する構成にしているが、例えばコネクタ基板16を介してOK/NG信号(判定信号)を出力する構成にしても良い。
【0038】
照明基板15は、検査対象物を撮像する撮像領域に光を照射する、複数のLED11が設けてあり、図示しないリフレクタはLED11の前方に設けてある。また、レンズ12は、短距離用又は長距離用のレンズユニットとして交換可能となっている。
【0039】
カメラモジュール(撮像手段)14は、モータ141が駆動することにより、オートフォーカス動作の制御を行うことができる。メイン基板13からの撮像指示信号に応じて検査対象物を撮像する。本実施の形態では、撮像素子としてCMOS基板142を備えており、撮像されたカラー画像は、CMOS基板142にてダイナミックレンジを広げる変換特性に基づいてHDR画像に変換され、メイン基板13のFPGA131へ出力される。
【0040】
メイン基板13は、接続してある各基板の動作を制御する。例えば照明基板15に対しては、複数のLED11の点灯/消灯を制御する制御信号を、LEDドライバ151へ送信する。LEDドライバ151は、FPGA131からの制御信号に応じて、例えばLED11の点灯/消灯、光量等を調整する。また、カメラモジュール14のモータ141に対しては、電源基板18のモータドライバ181を介してオートフォーカス動作を制御する制御信号を、CMOS基板142に対しては、撮像指示信号等を、それぞれ送信する。
【0041】
なお、メイン基板13には可搬型ディスクドライブ19が接続されていても良い。可搬型ディスクドライブ19を介して、DVD−ROM等の可搬型記録媒体90から各種の設定ファイル100をダウンロードすることもできる。
【0042】
メイン基板13のFPGA131は、照明制御、撮像制御をするとともに、取得した画像データに対する画像処理を実行する(画像処理手段)。また、メイン基板13のDSP132は、画像データについて、エッジ検出処理、パターン検索処理等を実行する。パターン検索処理の結果として、欠陥を検出したか否かで検査対象物の良否を示すOK/NG信号(判定信号)を通信基板17へ出力する(良否判定手段、出力手段)。演算処理結果等はメモリ133に記憶される。なお、本実施の形態では、FPGA131が照明制御、撮像制御等を実行するが、DSP132が実行しても良い。また、FPGA131とDSP132とが一体となった回路、すなわち主制御回路(主制御部)を設けても良い。要するに、複数のLED11の点灯/消灯を制御する制御信号をLEDドライバ151へ送信したり、オートフォーカス動作を制御する制御信号をカメラモジュール14のモータ141へ送信したり、撮像指示信号等をCMOS基板142へ送信したり、FPGA131及びDSP132の双方の機能を有する主制御部を設けても良い。
【0043】
図4は、本発明の実施の形態に係る画像処理センサの表示装置(表示手段)2の構成を示す正面図である。
図4に示すように、表示装置2の前面の中央部分にはタッチパネル21が設けてあり、撮像した検査対象物のカラー画像を画面に表示するとともに、ユーザによる選択入力を受け付ける。
【0044】
また、表示装置2は、外部の電源から電力が供給される電源ケーブルを接続する電源コネクタ24と、撮像装置1とデータ通信する接続ケーブル3を接続することが可能な接続コネクタ25とを備えている。さらにUSBメモリ等と接続することが可能なUSBポート22を前面に設けてある。
【0045】
ユーザは、表示装置2のタッチパネル21の画面に表示されているボタンを選択することにより、画像処理センサの動作を制御する。そして、検査対象物の検査を実行する「検査モード」と、画像処理センサの条件設定を行う「設定モード」との切り替えを行うこともできる。言い換えると、本実施の形態に係る画像処理センサは、検査対象物の良否を判定する検査モード(Runモード)と、検査に用いる各種パラメータ(撮像パラメータ、照明パラメータ、画像処理パラメータ等)の設定を行う設定モード(非Runモード)とを切り替えるためのモード切替部を有している。
図5は、本発明の実施の形態に係る画像処理センサの表示装置2のモード切り替え画面の例示図である。
【0046】
図5(a)は、「検査モード」の画面表示の例示図である。
図5(a)に示すように、検査対象物表示領域51に、撮像装置1が撮像した検査対象物の画像を表示する。左下の「センサ設定」ボタン52がモード切替部として機能し、「センサ設定」ボタン52が選択された場合、「設定モード」へと切り替わり、
図5(b)に示す画面へと画面遷移する。
【0047】
図5(b)は、「設定モード」の画面表示の例示図である。
図5(b)に示すように、プログラム選択領域53にて、検査対象物の種類又は検査環境を選択する。ここで、「プログラム」とは、検査対象物の種類又は検査環境に応じて設定された一連のデータ群(パラメータ値の組み合わせ)を意味しており、検査対象物の種類又は検査環境ごとに異なるデータ群をプログラムとして記憶することができる。
【0048】
また、検査対象物と比較する基準となるマスタ画像(基準画像)が記憶されている場合、マスタ画像表示領域54にマスタ画像が表示される。「設定ナビ」ボタン55が選択された場合、詳細な設定を行う設定画面に画面遷移する。左下の「運転開始」ボタン56はモード切替部として機能し、「運転開始」ボタン56が選択された場合、「検査モード」へと切り替わり、
図5(a)に示す画面へと画面遷移する。
【0049】
図6は、特徴量としてエッジ点の個数を計数する場合、従来のエッジ点の個数の計数処理の問題点を示す例示図である。
図6(a)に示すような直角二等辺三角形のエッジが抽出された場合、互いに直交する辺61、62の方向が、それぞれ画面上に配列されている画素の縦方向、横方向と一致している。したがって、辺61、62については、縦方向、横方向の画素数がエッジ点の個数として計数される。
【0050】
それに対して斜めの辺63は、画面上に配列されている画素の縦方向、横方向とは異なる方向であるので、線幅の平均値が1画素以上となり、エッジ点の個数が余分に計数される。
図6(a)の例では、エッジ点の個数は、辺61について22点、辺62について21点、辺63について39点として、それぞれ計数されており、エッジ点の個数の総計は82点として計数されている。
【0051】
一方、全く同一の直角二等辺三角形の傾斜角度を変更した場合を
図6(b)に示している。
図6(b)では、辺63の方向が、画面上に配列されている画素の横方向と一致している。したがって、辺63については、横方向の画素数がエッジ点の個数として計数される。
【0052】
それに対して他の二辺61、62は、画面上に配列されている画素の縦方向、横方向とは異なる方向であるので、線幅の平均値が1画素以上となり、エッジ点の個数が余分に計数される。
図6(b)の例では、エッジ点の個数は、辺61について29点、辺62について29点、辺63について31点として、それぞれ計数されており、総計89点として計数されている。
【0053】
このように、全く同一の形状を有するエッジが抽出された場合であっても、抽出されたエッジ角度によって計数されるエッジ点の個数が相違しており、エッジ点の個数の大小により検査対象物の良否判定を行っている場合には、しきい値次第では良品を不良品であると誤判定するおそれがあるという問題点が生じていた。
【0054】
そこで、本発明の実施の形態に係る画像処理センサでは、抽出されたエッジ角度を検出して、エッジ角度に応じて計数されたエッジ点の個数を補正することにより、エッジ角度によらず高い精度で良否判定を行うことができるよう工夫した。
【0055】
図7は、本発明の実施の形態に係る画像処理センサの機能ブロック図である。
図7において、カラー画像取得部701は、カメラモジュール(撮像手段)14のCMOS基板142で撮像されたカラー画像の画素値(色成分値)を取得する。また、撮像された画像は表示装置2に表示される。
【0056】
指定受付部702は、良否判定の基準となる基準画像の指定を受け付ける。もちろん、事前に基準画像を記憶しておいても良い。抽出領域設定部703は、指定を受け付けた基準画像に対して、エッジの抽出領域を設定する。
【0057】
図8は、本発明の実施の形態に係る画像処理センサの、各種設定を受け付ける画面の例示図である。設定モードにおいて、
図8(a)に示す設定画面には、撮像された検査対象物の画像が表示されている。良否判定のための演算ツールを追加する「ツール追加」ボタン81の選択を受け付けた場合、
図8(b)のツール選択画面へと遷移する。
【0058】
図8(b)に示すツール選択画面では、例えばエッジ点の個数を計数するツールである「エッジピクセル」ボタン82の選択を受け付ける。「エッジピクセル」ボタン82の選択を受け付けた場合、エッジ点の個数を計数するのに必要となる情報の設定を行う
図8(c)の設定画面へと遷移する。
【0059】
図8(c)は、「エッジピクセル」ボタン82の選択受付時の設定画面の例示図である。ここでは、「ウインドウ編集」ボタン83、「エッジ感度調整」ボタン84、「しきい値調整」ボタン85が準備されている。
【0060】
「ウインドウ編集」ボタン83の選択を受け付けた場合、
図8(d)に示す設定画面へと遷移し、抽出領域86の設定を受け付ける。これにより、検査対象物の画像を確実に含む領域をエッジの抽出領域として設定することができる。
【0061】
「エッジ感度調整」ボタン84の選択を受け付けた場合、
図8(e)、(f)に示す設定画面へと遷移し、「感度設定」ボタン87により、エッジの検出感度を設定することができる。
図8(e)に示すように「標準」の選択を受け付けた場合には感度を標準に設定し、
図8(f)に示すように「高感度」の選択を受け付けた場合には感度を高感度に設定する。
【0062】
「しきい値調整」ボタン85の選択を受け付けた場合、
図8(g)に示す設定画面へと遷移し、良品であると判定するエッジ点の個数の下限値と上限値とを設定することができる。例えば下限値設定領域88に下限値を、上限値設定領域89に上限値を、それぞれ設定することにより、良品であると判定するエッジ点の個数の範囲を設定することができる。
図8(g)の例では、例えば基準画像におけるエッジ点の個数を100%とした場合、計数したエッジ点の個数が基準画像におけるエッジ点の個数の90%(下限値)以上110%(上限値)以下である場合には良品であると判定するよう設定している。
【0063】
図7に戻って、エッジ抽出部704は、撮像された検査対象物の画像からエッジを抽出する。エッジの抽出領域が設定されている場合には、設定されたエッジの抽出領域内においてエッジを抽出する。
【0064】
特徴量算出部705は、抽出されたエッジを構成するエッジ画素の特徴量を算出する。本実施の形態では、特徴量としてエッジを構成するエッジ点の個数(エッジ画素数)を計数する。
【0065】
角度算出部706は、抽出されたエッジのエッジ角度を画素ごとに算出する。エッジ角度は、画面上に配列されている画素の縦方向を0度として、配列されている画素の縦方向からの傾きとして算出する。
【0066】
図9は、本発明の実施の形態に係る画像処理センサの、エッジ抽出によるエッジ強度画像及びエッジ角度画像の例示図である。
図9(a)に示す検査対象物の画像に対してエッジの抽出を行い、
図9(b)に示すエッジ強度画像及び
図9(c)に示すエッジ角度画像を生成する。
【0067】
図9(b)に示すエッジ強度画像では、濃淡又は色によりエッジ強度の強弱を画素ごとに表示している。
図9(c)に示すエッジ角度画像では、矢印によりエッジ角度を画素ごとに表示している。エッジ角度は、エッジの延伸方向に直交する方向である。
【0068】
なお、本実施の形態では、特徴量がエッジ点の個数であるので、
図7に示すエッジの幅を細線化する細線化部707を設けて、抽出されたエッジを構成するエッジ画素の特徴量及びエッジ角度をより高い精度で算出することができるようにしている。例えば本実施の形態では特徴量がエッジ点の個数であるので、エッジの幅が狭いほど細線化されたエッジを構成するエッジ画素の個数(エッジ点の個数)の計数誤差が少なくなる。もちろん、特徴量が他の特徴量、例えばエッジ角度ごとの強度和である場合等には、細線化部707は必要ないことは言うまでもない。
【0069】
図10は、本発明の実施の形態に係る画像処理センサの細線化処理の内容の説明図である。
図10(a)は、
図9に示す検査対象物について、枠91内のエッジ強度を数値化して示している。エッジ強度が‘0’である部分は、エッジが存在していない領域であることを示している。
【0070】
図9(c)を見ればわかるように、枠91内のエッジについてはエッジ角度が180度(下向き)であることから、上下方向のエッジ強度と比較してエッジ強度が最大である画素のみを残していく。例えば画素92については、エッジ強度が‘180’であり、上下の画素のエッジ強度が、それぞれ‘52’、‘76’であるので、画素92は残す。一方、画素93については、エッジ強度が‘79’であり、上下の画素のエッジ強度が、それぞれ‘180’、‘0’であることから、画素93は削除する。
【0071】
上述した処理を、エッジ角度に応じて画素ごとに行った結果を
図10(b)に示している。これにより、エッジ角度方向に最大のエッジ強度を有する画素のみで構成され、エッジの幅が細線化された細線を生成することができる。
【0072】
図11は、本発明の実施の形態に係る画像処理センサの、細線化された状態でのエッジ強度画像及びエッジ角度画像の例示図である。
図11(a)、(b)は、
図9に示す検査対象物について、
図10に示す細線化処理を行った後の、エッジ強度画像及びエッジ角度画像をそれぞれ示している。
【0073】
図9と比較しても明らかなように、画面上に配列されている画素の縦方向、横方向に対して傾斜している斜めの辺についても、余分な画素が排除されていることがわかる。
図12は、本発明の実施の形態に係る画像処理センサの、細線化された状態でのエッジ点の個数のヒストグラムである。
図12に示すように、エッジ角度が0度、90度、225度において、エッジ点の個数が累積されている。
【0074】
なお、説明を簡単にするために、上下方向のエッジ強度と比較して細線化する場合について説明しているが、エッジ角度に基づいて隣接する画素のエッジ強度と比較して細線化処理を行えば良い。
図13は、比較対象となるエッジ画素の例示図である。
【0075】
エッジ角度が上下方向である場合、
図13(a)の○印で示すように対象画素1301の上下に隣接する画素のエッジ強度と比較してエッジの幅の細線化処理を行う。同様に、エッジ角度が左右方向である場合、
図13(c)の○印で示すように対象画素1301の左右に隣接する画素のエッジ強度と比較してエッジの幅の細線化処理を行う。また、エッジ角度が傾斜している場合、エッジ角度に応じて
図13(b)又は(d)のいずれかを選択して、対象画素1301の周辺に位置する画素のエッジ強度と比較してエッジの幅の細線化処理を行う。
【0076】
図7に戻って、特徴量補正部708は、算出されたエッジ角度に基づいて、算出された特徴量を補正する。具体的には、エッジ角度ごとの補正係数を記憶装置に記憶しておき、特徴量補正部708は、記憶されている補正係数をエッジ角度に基づいて読み出し、算出された特徴量を補正する。本実施の形態では、エッジ角度ごとに、特徴量であるエッジ点の個数を補正する補正係数を記憶している。
図14は、本発明の実施の形態に係る画像処理センサのエッジ幅の例示図である。
図14では、
図6(a)に示す検査対象物について、エッジ角度とエッジ幅との関係を示している。
【0077】
図14(a)は、検査対象物の画像から抽出された3つの辺(エッジ)61、62、63を示している。
図14(a)からも分かるように、エッジ角度が45度である斜めの辺63については、エッジ幅が√2と大きくなる。これは
図14(b)に示すように、エッジ角度が存在する場合には、エッジ角度をθとしてエッジ幅が(sinθ+cosθ)となる。
【0078】
したがって、エッジ幅を画面上に配列されている画素の縦方向あるいは横方向と同一となるように補正するには、エッジ幅が大きくなった割合の逆数を乗算すれば良い。
図15は、本発明の実施の形態に係る画像処理センサの補正係数の例示図である。
図15では、
図6(a)に示す検査対象物について、エッジ角度と補正係数との関係を示している。
【0079】
図15では、エッジ角度ごとの補正係数を示しており、
図14(b)に示すエッジ幅の逆数として求めている。したがって、エッジ角度が存在する場合には、エッジ角度をθとして補正係数は1/(sinθ+cosθ)となる。これにより、エッジ角度が0度、90度以外の角度についてはエッジ点の個数が減少する。
【0080】
図16は、本発明の実施の形態に係る画像処理センサの、細線化された状態でのエッジ点の個数のヒストグラムである。
図16では、
図12に示すヒストグラムから、エッジ角度が225度について、累積されるエッジ点の個数が減少している。
【0081】
つまり、エッジ点の個数を計数した時点で、エッジ角度の頻度分布としてヒストグラムを記憶装置に記憶しておき、特徴量補正部708は、エッジ角度が0度、90度以外のエッジ角度について、エッジ角度の頻度(エッジ点の個数)を減少させる。これにより、検査対象物の画像が傾斜角度を有している場合であっても、抽出されたエッジのエッジ点の個数が増加することがない。
【0082】
例えば
図6(a)に示すような直角二等辺三角形のエッジが抽出された場合、エッジ点の個数は、辺61について22点、辺62について21点、辺63について39点として、それぞれ計数されており、エッジ点の個数の総計は82点として計数されていた。それに対して、今回の補正係数を乗算することで、辺61について22点、辺62について21点であるのに対して、辺63については(39/√2)=28点として計数される。したがって、エッジ点の個数の総計は71点として計数される。
【0083】
一方、全く同一の直角二等辺三角形の傾斜角度を変更した
図6(b)の場合、エッジ点の個数は、辺61について29点、辺62について29点、辺63について31点として、それぞれ計数されており、総計89点として計数されていた。それに対して、今回の補正係数を乗算することで、辺61については(29/√2)=20.5点、辺62についても(29/√2)=20.5点であるのに対して、辺63については31点として計数される。したがって、エッジ点の個数の総計は72点として計数されるので、傾斜角度が変更された場合であってもエッジ点の個数に大きなばらつきが生じていないことが分かる。したがって、良否判定の安定性が高く、識別性能の向上を図ることができる。
【0084】
なお、エッジ角度ごとの補正係数を記憶装置に記憶しておくことに限定されるものではなく、計算式として記憶装置に記憶しておいても良い。この場合、特徴量補正部708は、記憶されている補正係数の計算式をエッジ角度に基づいて読み出し、算出された特徴量を補正する。例えばエッジ角度をθとして、計算式(補正係数=1/(sinθ+cosθ))を記憶しておけば良い。
【0085】
もちろん、細線化処理は、上述した処理に限定されるものではない。
図17は、比較対象となるエッジ画素の他の例示図である。
【0086】
図17に示すように、エッジ角度に応じて、
図17(a)の○印で示すように対象画素1301の上下に隣接する画素のエッジ強度と比較してエッジの幅の細線化処理を行うか、あるいは
図17(b)の○印で示すように対象画素1301の左右に隣接する画素のエッジ強度と比較してエッジの幅の細線化処理を行う。これにより、
図13に示すパターンで細線化処理を行った場合よりも、よりエッジの幅を細線化することができる。
【0087】
図18は、細線化処理の違いによるエッジパターンの例示図である。
図18に示すように、
図13に示すパターンで細線化処理を行った場合、ハッチング画素1801が残留した状態で細線化処理される。それに対して、
図17に示すパターンで細線化処理を行った場合、ハッチング画素1801は確実に消去され、
図13に示すパターンでエッジの幅の細線化処理を行った場合よりも細くなるようエッジの幅の細線化処理を行うことが可能となる。
【0088】
図19は、本発明の実施の形態に係る画像処理センサの細線化処理結果の比較図である。
図19(a)は、
図13に示すパターンでエッジの幅の細線化処理を行った場合の処理結果を、
図19(b)は、
図17に示すパターンでエッジの幅の細線化処理を行った場合の処理結果を、それぞれ示している。
図19(b)の方が、斜めの辺を示す画素がより細かく表示されていることがわかる。
【0089】
なお、特徴量がエッジ点の個数である場合には細線化することは必要ですが、他の特徴量である場合には必ずしも必要ではない。例えば特徴量がエッジ強度和である場合、エッジ角度ごとのエッジ強度和のヒストグラムを生成すれば良い。
【0090】
図20は、本発明の実施の形態に係る画像処理センサの細線化処理を行わない場合のエッジ抽出結果の例示図である。
図20(a)は、エッジ強度を、
図20(b)は、エッジ角度を、それぞれ示している。
【0091】
細線化処理を行っていないので、
図20(c)に示すように、ヒストグラムにおいてエッジ強度和が分布するエッジ角度に幅が生じる。これは、エッジ角度に応じてエッジ強度に差がでやすいからである。
【0092】
図21は、本発明の実施の形態に係る画像処理センサの撮像装置1のメイン基板13のDSP132の、特徴量補正処理の手順を示すフローチャートである。本実施の形態では、エッジ点の個数の補正処理の手順を示している。
【0093】
図21において、撮像装置1のメイン基板13のDSP132は、
図7における、カラー画像取得部701と同様、撮像されたカラー画像の画素値(色成分値)を取得し(ステップS2101)、撮像された画像を表示装置2に表示する(ステップS2102)。
【0094】
DSP132は、良否判定の基準となる基準画像の指定を受け付ける(ステップS2103)。もちろん、事前に記憶してある基準画像を読み出しても良い。DSP132は、指定を受け付けた基準画像に対して、エッジの抽出領域の設定を受け付ける(ステップS2104)。
【0095】
DSP132は、撮像された検査対象物の画像からエッジを抽出する(ステップS2105)。エッジの抽出領域が設定されている場合には、設定されたエッジの抽出領域内においてエッジを抽出する。
【0096】
DSP132は、抽出されたエッジを構成するエッジ画素の特徴量を算出し(ステップS2106)、抽出されたエッジの画素ごとのエッジ角度を算出する(ステップS2107)。エッジ角度は、画面上に配列されている画素の縦方向を0度として、配列されている画素の縦方向からの傾きとして算出する。
【0097】
DSP132は、抽出されたエッジの幅を細線化し(ステップS2108)、算出されたエッジ角度に基づいて、算出された特徴量を補正する(ステップS2109)。具体的には、エッジ角度ごとの補正係数を記憶装置に記憶しておき、DSP132は、記憶されている補正係数をエッジ角度に基づいて読み出し、算出された特徴量を補正する。
【0098】
図22は、本発明の実施の形態に係る画像処理センサの良否判定結果の例示図である。
図22(a)と
図22(b)とでは、同一の検査対象物に対して撮像されている角度が相違している。
【0099】
従来の方法であれば、エッジ点の個数に差が生じるため、しきい値の設定によってはいずれかが「不良品(NG)」であると判定されるおそれがあった。しかし、本実施の形態によれば、計数されるエッジ点の個数が補正されることで、検査対象物が撮像される角度の相違によるエッジ点の個数の変動を抑制することができる。したがって、いずれも「良品(OK)」であると判定されている。
【0100】
以上のように本実施の形態によれば、補正された特徴量に基づいて検査対象物の良否判定を行うことにより、撮像された検査対象物の傾斜角度が相違している場合であっても、同じ長さのエッジであれば略同一のエッジ点の個数として計数することができ、検査対象物の良否判定を高い精度で行うことが可能となる。
【0101】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。例えば撮像装置1と表示装置2とは、接続ケーブル3で直結されている形態に限定されるものではなく、LAN、WAN等のネットワーク網を介して接続されていても良いことは言うまでもない。また、本実施の形態では撮像装置1と表示装置2とは別体となっているが、両者が一体として構成された画像処理センサであっても良い。
【0102】
また、細線化処理についても、上述した実施例に記載された方法に限定されるものではなく、周知の方法であれば何でも良い。例えば、角度によりエッジ幅が大きくなるか否か、補正係数が上述した式で表されるか否か等は、どのような細線化の手法を採用するかに依存する。