(58)【調査した分野】(Int.Cl.,DB名)
前記波形解析処理では、正規化二乗差関数、平均振幅差関数、フーリエ変換のいずれかを用いて前記リード認識対象領域を特定することを特徴とする請求項1に記載のリード画像認識方法。
前記画像認識処理では、AdaBoostとHaar-Like 特徴を用いた検出器を使用して前記リードを画像認識することを特徴とする請求項1又は2に記載のリード画像認識方法。
前記波形解析処理では、前記ラインに沿って平均振幅差関数で計算した波形を微分し、それに対して正規化二乗差関数を取る処理を含むことを特徴とする請求項1乃至3のいずれかに記載のリード画像認識方法。
前記波形解析手段は、正規化二乗差関数、平均振幅差関数、フーリエ変換のいずれかを用いて前記リード認識対象領域を特定することを特徴とする請求項5に記載のリード画像認識装置。
【発明の概要】
【発明が解決しようとする課題】
【0004】
一般的なリード付き部品は、2辺又は4辺に複数のリードが等ピッチ(等間隔)で配列され、リードと紛らわしい金属部分が存在しない簡単な構造であるため、従来の画像認識方法でも、
図2、
図3に示すように、撮像した画像からリードを比較的精度良く認識できるが、近年、リードと紛らわしい形状の金属部分等が存在する複雑な構造のリード付き部品が増えつつある。例えば、
図4に示すリード付き部品を従来の画像認識方法で認識すると、撮像した画像に写ったコイルの一部をリードと誤認識する場合がある。また、
図5に示すリード付きコネクタ部品を従来の画像認識方法で認識すると、撮像した画像に写った止め金具をリードと誤認識する場合がある。このように、従来の画像認識方法では、リードと紛らわしい形状の金属部分等が存在するリード付き部品を画像認識する際に、リードと紛らわしい形状の金属部分等をリードと区別できない可能性があり、リードの誤認識率が高くなるという問題が生じている。
【0005】
そこで、本発明が解決しようとする課題は、リードと紛らわしい形状の金属部分等が存在するリード付き部品を画像認識する場合でも、リードと紛らわしい形状の金属部分等をリードと誤認識することを防止できて、リードの認識精度を向上できるようにすることである。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明は、同一形状のリードが等ピッチで1列又は複数列に配列された部品をカメラで撮像した画像を処理して前記リードを認識する場合に、前記画像の縦、横、又は斜め方向に設定した複数のラインに沿って輝度(画素値)の変化パターンを波形解析して輝度が周期的に変化する領域を前記リードが存在する可能性のあるリード認識対象領域として特定した後、そのリード認識対象領域内で前記リードを画像認識することを第1の特徴とし、更に、前記輝度の変化パターンの周期性から検出された前記リードのピッチ、前記リード認識対象領域の平均投影輝度及び
検出された前記ピッチで投影された投影輝度の標準偏差に基づいて前記リードの列の開始及び終了の座標を取得することを第2の特徴とするものである。
【0007】
一般に、リード付きの部品は、同一形状のリードが等ピッチで1列又は複数列に配列されているため、該部品を撮像した画像内のリードの列と重なるラインに沿った輝度の変化パターンは、リードのピッチに相当する長さを1波長とする周期的な波形パターンとなるが、リードの列に重ならないラインに沿った輝度の変化パターンは周期的な波形パターンとならない。
【0008】
この点に着目して、本発明は、画像の複数のラインに沿って輝度の変化パターンを波形解析して輝度が周期的に変化する領域をリードが存在する可能性のあるリード認識対象領域として特定した後、そのリード認識対象領域内でリードを画像認識するようにしたものである。このようにすれば、リード認識対象領域以外の領域にリードと紛らわしい形状の金属部分等が存在しても、その金属部分等をリードと誤認識することを防止でき、リードの認識精度を向上させることができる。
【0009】
この場合、波形解析は、正規化二乗差関数、平均振幅差関数、フーリエ変換のいずれかを用いて行えば良く、要は、輝度変化の周期性を評価するのに適した関数や解析手法を用いて、リード認識対象領域を特定する波形解析を行えば良い。
また、前記画像認識を行う際に、AdaBoostとHaar-Like 特徴を用いた検出器を使用して前記リードを画像認識するようにしても良い。更に、前記ラインに沿って平均振幅差関数で計算した波形を微分し、それに対して正規化二乗差関数を取る処理を含むようにしても良い。
【0010】
また、部品実装機で実装するリード付きの部品を画像認識する際に使用する画像処理用部品データを作成する場合は、上述した本発明のリード画像認識方法で画像認識したリードの認識結果を用いて、リード位置、リード本数、リード間隔、リード幅、リード長さのうちの少なくとも1つのデータを含む画像処理用部品データを作成するようにすれば良い。上述したように、本発明のリード画像認識方法を用いれば、リードと紛らわしい形状の金属部分等をリードと誤認識することを防止できるため、従来よりも信頼性の高い画像処理用部品データを自動作成することができる。
【図面の簡単な説明】
【0011】
【
図1】
図1は本発明の一実施例の画像処理用部品データ作成装置の構成を示すブロック図である。
【
図2】
図2は2辺にリードの列が形成された部品を撮像した画像の一例を示す図である。
【
図3】
図3は4辺にリードの列が形成された部品を撮像した画像の一例を示す図である。
【
図4】
図4はリードの列とコイルが設けられた部品を撮像した画像の一例を示す図である。
【
図5】
図5はリード付きコネクタ部品を撮像した画像の一例を示す図である。
【
図6】
図6はリード付きの部品を撮像した画像に波形解析のラインを設定する方法を説明する図である。
【
図7】
図7は各ラインL1,L2に沿った輝度の変化パターンを平均振幅差関数で計算した波形を示す図である。
【
図8】
図8は各ラインL1,L2に沿って平均振幅差関数で計算した波形を微分した波形を示す図である。
【
図9】
図9は各ラインL1,L2に沿って正規化二乗差関数で計算した波形を示す図である。
【
図10】
図10は周期性のあるラインを抽出する処理を説明する図である。
【
図12】
図12(a)、(b)は本実施例のリード画像認識方法と従来のリード画像認識方法とのリードの認識率、誤認識率を比較する実験結果を示す図である。
【発明を実施するための形態】
【0012】
以下、本発明を実施するための形態を具体化した一実施例を説明する。
図1に示すように、画像処理用部品データ作成装置は、パーソナルコンピュータ等のコンピュータ11と、画像処理用部品データの作成対象となる部品を撮像してグレースケール画像を取得するCMOSセンサ等のイメージセンサを内蔵するカメラ12と、キーボード、マウス、タッチパネル等の入力装置13と、液晶ディスプレイ、CRT等の表示装置14と、後述するリード画像認識と画像処理用部品データ作成のためのプログラムや各種のデータ等を記憶する記憶装置15とを備えた構成となっている。
【0013】
画像処理用部品データ作成装置は、部品実装機の制御システムを利用して構成しても良いし、或は、部品実装機の制御システムとは別に構成した専用の画像処理用部品データ作成装置(例えば卓上撮像装置とパーソナルコンピュータとの組み合わせ)を用いても良い。部品実装機の制御システムを利用して画像処理用部品データ作成装置を構成する場合には、カメラ12は、部品実装機の吸着ノズルに吸着した部品をその下方から撮像するカメラ(いわゆるパーツカメラ)を使用すれば良い。
【0014】
コンピュータ11は、カメラ12で撮像した画像の縦、横(上下左右)方向に設定した複数のラインに沿って輝度(画素値)の変化パターンを波形解析して輝度が周期的に変化する領域をリードが存在する可能性のあるリード認識対象領域として特定する波形解析手段として機能すると共に、前記波形解析処理で特定したリード認識対象領域内でリードを画像認識する画像認識手段として機能し、更に、画像認識したリードの認識結果を用いて、リード位置、リード本数、リード間隔、リード幅、リード長さのうちの少なくとも1つのデータを含む画像処理用部品データを作成する画像処理用部品データ作成手段としても機能する。以下、これらの機能について説明する。
【0015】
一般に、リード付きの部品は、同一形状のリードが等ピッチで1列又は複数列に配列されているため、
図6に示すように、該部品を撮像した画像内のリードの列と重なるラインL1に沿った輝度の変化パターンは、リードのピッチに相当する長さを1波長とする周期的な波形パターンとなるが、リードの列に重ならないラインL2に沿った輝度の変化パターンは周期的な波形パターンとならない。
【0016】
この点に着目して、本実施例では、コンピュータ11によって、リード付き部品を撮像した画像の複数のラインに沿って輝度の変化パターンを波形解析して輝度が周期的に変化する領域をリードが存在する可能性のあるリード認識対象領域として特定した後、そのリード認識対象領域内でリードを画像認識するようにしている。
【0017】
まず、波形解析処理について説明する。本実施例では、平均振幅差関数又は正規化二乗差関数を用いる波形解析処理を説明する。
[平均振幅差関数を用いる波形解析処理]
平均振幅差関数(AMDF:Average Magnitude Difference Function )は、信号の周期性の強さを現す関数であり、音声認識の分野ではピッチの検出のための手法の一つとして用いられている。この平均振幅差関数は、下記の[数1]の式によって定義される。
【0019】
上記[数1]の式において、D(τ)は遅れτにおける平均振幅差関数であり、Wは波形解析する窓のサイズであり、xは画像のX座標(水平方向であるX方向に解析する場合)である。
【0020】
上記[数1]の式により計算したD(τ)の値が大きいほど、輝度の変化パターンの周期性が強いことを意味する。
【0021】
[正規化二乗差関数を用いる波形解析処理]
正規化二乗差関数(NSDF:Normalized Square Difference Function )は、下記の[数2]の式によって定義される。
【0023】
上記[数2]の式において、n'(τ) は遅れτにおける正規化二乗差関数であり、m'(τ) は後述する[数8]の式で定義される関数であり、r'(τ) は後述する[数4]の式で定義される自己相関関数(ACF :Autocorrelation Function )である。
【0024】
上記[数2]の式により計算した正規化二乗差関数n'(τ) の値が大きいほど、輝度の変化パターンの周期性が強いことを意味する。
自己相関関数は主に2種類あり、それらをタイプ1とタイプ2に分類すると、タイプ1の自己相関関数は、下記の[数3]の式によって定義される。
【0026】
上記[数3]の式において、r(τ)は遅れτにおける自己相関関数であり、Wは波形解析する窓のサイズの初期値である。
タイプ2の自己相関関数は、下記の[数4]の式によって定義される。
【0028】
上記[数4]の式によって定義されるタイプ2の自己相関関数r'(τ) は、τが増加するにつれて積分範囲が減少する特徴がある。
前記[数2]の式の右辺に含まれるm'(τ) は二乗差関数(SDF :Square Difference Function )によって求められる。この二乗差関数も、自己相関関数と同様に、2種類あり、それらをタイプ1とタイプ2に分類すると、タイプ1の二乗差関数は、下記の[数5]の式によって定義される。
【0030】
上記[数5]の式において、d(τ)は遅れτにおけるタイプ1の二乗差関数であり、Wは窓のサイズの初期値である。
同様に、タイプ2の二乗差関数は、下記の[数6]の式によって定義される。
【0032】
上記[数6]の式において、d'(τ) は遅れτにおけるタイプ2の二乗差関数であり、前述したタイプ2の自己相関関数r'(τ) と同様に、τが増加するにつれて積分範囲が減少することを示している。タイプ1とタイプ2のどちらの二乗差関数においても、τ=0の時に最小値を取り、これに対し、自己相関関数では、τ=0の時に最大値を取る。
前記[数5]の式を展開すると、下記の[数7]の式に示すように、二乗差関数の式の中に、自己相関関数の式が含まれていることが分かる。
【0034】
ここで、下記の[数8]の式によりm'(τ) の式を定義する。
【0035】
【数8】
前記[数7]の式の右辺に[数8]の式と[数4]の式を代入すると、下記の式が導き出される。
d'(τ) =m'(τ) −2r'(τ)
【0036】
次に、正規化二乗差関数を用いてリード認識対象領域を特定する方法について説明する。一般に、リード付きの部品は、同一形状のリードが等ピッチで水平方向又は垂直方向に配列されたものが多い。この点を考慮して、本実施例では、リード付きの部品を撮像した画像の垂直・水平方向(縦・横方向)の輝度の変化パターンを信号の波形と捉え、まず、画像の各ライン毎に正規化二乗差関数の値を計算する。以下、説明を簡単化するために、
図6に示すように、リード付きの部品を撮像した画像の水平方向に複数の波形解析のラインL1,L2を設定して、水平方向の輝度の変化パターンを波形解析する場合について説明する。
【0037】
図6において、ラインL1は、画像に写ったリードの列と重なるラインであり、ラインL2は、画像内のリードの列と重ならないラインである。
図7は、各ラインL1,L2に沿った輝度の変化パターンを平均振幅差関数で計算した波形を示している。
図8は、各ラインL1,L2に沿って平均振幅差関数で計算した波形を微分した波形を示している。
図9は、各ラインL1,L2に沿って正規化二乗差関数で計算した波形を示している。
【0038】
平均振幅差関数は、波形をずらした際の差の絶対値を取るため、常にその値は正となる(
図7参照)。これに対し、正規化二乗差関数は、負の相関が負値とならないため、都合が悪い。そこで、本実施例では、各ラインL1,L2に沿って平均振幅差関数で計算した波形(
図7参照)を微分し(
図8参照)、それに対して、正規化二乗差関数を取ることで正の相関が高い箇所を判定した(
図9参照)。
【0039】
リードの列と重なったラインL1における平均振幅差関数は何らかの周期性を持っているが、リードの列と重ならないラインL2では周期性が無いことを観察できる。この平均振幅差関数の波形を微分した波形が
図8に示されている。この微分波形でも、リードの列と重なったラインL1の波形の周期性を当然確認できる。この微分波形に対して正規化二乗差関数を得たものが
図9に表される結果である。リードの列と重なったラインL1においては、1ピッチ目のところに非常に相関性の高いピーク値が得られていることが分かる。以上のようにして、輝度が周期的に変化するラインを特定できるが、まだリードの列の開始のX座標、終了のX座標を決定できていない。以下に、リードの列の開始、終了のX座標を得る手法を説明する。
まず、上記波形解析により周期性があると判定した領域に対して、X方向(水平方向)への輝度の投影を行う。平均投影輝度T(x)は、下記の[数9]の式で表される。
【0041】
上記[数9]の式において、I(x,y)は座標(x,y)における画像の輝度であり、y
1 ,y
2 はそれぞれ連続して周期性があると判断した領域の開始及び終了のY座標である。この領域は既に周期性があると判断されており、ピッチも検出できている領域であるため、検出されたピッチで投影した波形データの標準偏差S(x)を取ると、リードの列が存在する領域では標準偏差S(x)が高く、そうでない領域では標準偏差S(x)が低く得られる。この標準偏差S(x)は下記の[数10]の式で定義される。
【0043】
上記[数10]の式において、pは検出されたピッチであり、Tav(x)はピッチpの区間平均投影輝度である。Tav(x)は下記の[数11]の式で定義される。
【0045】
図11は
図10に示す(A)の領域の平均投影輝度と標準偏差を示すグラフである。標準偏差が高い領域だけを抽出することで、リードの列の開始及び終了の座標x
1 、x
2 を取得できる。
【0046】
図2に示すリード付き部品では、リードが部品の左右方向(X方向)にのみ延びているため、上述した波形解析処理は、左右方向(X方向)にのみ行えば良いが、
図3に示すリード付き部品では、リードが部品の上下左右方向(X方向及びY方向)に延びているため、同様の処理を画像の縦横両方向(X方向及びY方向)に対して行い、垂直方向(Y方向)のリードの列が存在する領域と水平方向(X方向)のリードの列が存在する領域をそれぞれ抽出する。
【0047】
以上のようにして、リード付きの部品を撮像した画像内の輝度が周期的に変化する領域をリードが存在する可能性のあるリード認識対象領域として特定した後、そのリード認識対象領域内でリードを画像認識する。この際、リードの画像認識は、顔検出でよく用いられるAdaBoostとHaar-Like 特徴を用いた検出器を使用する。他に、HOG 特徴を用いた画像認識を用いても良いが、リード先端は輝度勾配の特徴よりも領域の輝度差による特徴があるため、HOG 特徴を使用した画像認識では、Haar-Like 特徴を用いた方法に比べて、リードの認識率が低い傾向がある。リードの画像認識は、これらの方法に限定されず、例えば、特開2007−142039号公報、特許第2941617号公報等に記載された方法を使用しても良い。
【0048】
本発明者らは、リード付きの部品を撮像した画像の中からリード認識対象領域を特定してリードを画像認識する本実施例の方法と、画像全体からリードを画像認識する従来方法について、リードの認識率、誤認識率を比較する実験を行ったので、その実験結果を
図12に示す。ここで、リードの認識率とは、部品全体の合計リード本数に対して正しく認識できたリード本数の割合であり、リードの誤認識率とは、リードではないものをリードと誤って認識した割合である。実験に使用した画像サンプルは、
図4、
図5に示すリードと紛らわしい形状の金属部分等が存在するリード付き部品の画像サンプルを使用した。
【0049】
本実施例のリードの認識率は、従来のリードの認識率とあまり差がないものの、誤認識率は、24.5%から2.4%に大きく削減できていることが確認された。一方、認識率は、96.8%から95.7%と僅かに低下したが、この原因は、1部品で1〜2本だけといった周期性を持たないリードが存在し、これらのリードが周期性による領域特定を行うことで除外されてしまったためと考えられる。全体としては、1〜2本だけのリード付き部品は、簡単な形状の定形部品である場合が多く、従来方法を用いてリードを画像認識すれば良い。
【0050】
本実施例のリードの認識結果を用いて、リード位置、リード本数、リード間隔、リード幅、リード長さを計測して、これらのうちの少なくとも1つのデータを含む画像処理用部品データを作成する。
【0051】
以上説明した本実施例では、画像の複数のラインに沿って輝度の変化パターンを波形解析して輝度が周期的に変化する領域をリードが存在する可能性のあるリード認識対象領域として特定した後、そのリード認識対象領域内でリードを画像認識するようにしたので、リード認識対象領域以外の領域にリードと紛らわしい形状の金属部分等が存在しても、その金属部分等をリードと誤認識することを防止でき、リードの認識精度を向上させることができる。
【0052】
しかも、本実施例のリードの認識結果を用いて画像処理用部品データを作成するようにしているため、リードと紛らわしい形状の金属部分等をリードと誤認識して画像処理用部品データを自動作成することを防止でき、従来よりも信頼性の高い画像処理用部品データを自動作成することができる。
【0053】
尚、画像にリードの列が斜め方向に写っている場合の対策として、周期性の波形解析を行うラインを画像の斜め方向(例えば画像の対角方向、或は水平方向から45°傾いた方向)に設定するようにしても良い。
【0054】
また、ラインに沿った周期性の波形解析は、正規化二乗差関数、平均振幅差関数を用いるものに限定されず、フーリエ変換等を用いても良く、要は、輝度変化の周期性を評価するのに適した関数や解析手法を用いて、リード認識対象領域を特定するようにすれば良い。