特表 2025-501823 単一カメラによるテンプレートマーク検出方法およびテンプレート位置補正方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-01-24

(54)【発明の名称】単一カメラによるテンプレートマーク検出方法およびテンプレート位置補正方法

(51)【国際特許分類】

   G06T 7/13 20170101AFI20250117BHJP

   G06T 7/33 20170101ALI20250117BHJP

   G06T 7/60 20170101ALI20250117BHJP

【ＦＩ】

G06T7/13

G06T7/33

G06T7/60 200G

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023579756

(86)(22)【出願日】2022-12-27

(85)【翻訳文提出日】2023-12-26

(86)【国際出願番号】 CN2022142311

(87)【国際公開番号】W WO2024130762

(87)【国際公開日】2024-06-27

(31)【優先権主張番号】202211651503.6

(32)【優先日】2022-12-21

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】510232360

【氏名又は名称】中国科学院光電技術研究所

【氏名又は名称原語表記】Ｔｈｅ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｏｐｔｉｃｓ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ， Ｔｈｅ Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓ

【住所又は居所原語表記】Ｐ．Ｏ．Ｂｏｘ ３５０， Ｓｈｕａｎｇｌｉｕ， Ｃｈｅｎｇｄｕ， Ｓｉｃｈｕａｎ ６１０２０９， Ｐ．Ｒ．Ｃｈｉｎａ

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】羅先剛

(72)【発明者】

【氏名】李成文利

(72)【発明者】

【氏名】劉明剛

(72)【発明者】

【氏名】閻剣

(72)【発明者】

【氏名】王長涛

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA05

5L096CA02

5L096DA02

5L096EA43

5L096FA03

5L096FA06

5L096FA10

5L096FA24

5L096FA67

5L096GA55

5L096MA03

(57)【要約】

本開示は、単一カメラによるテンプレートマーク検出方法およびテンプレート位置補正方法を提供する。下記のステップを含む。ステップＳ１：単一カメラによりテンプレートにおけるマークに対して画像取得を行い、前処理により二値化画像を得る。ステップＳ２：二値化画像に対してエッジジャギーコーナー検出を行い、エッジジャギーコーナー集合を得る。ステップＳ３：二値化画像に対してエッジ検出、直線検出を順に行い、粗検出エッジ線分集合を得る。ステップＳ４：粗検出エッジ線分集合をチェックし、判断して共線的線分を残し、粗検出共線的線分集合を得る。ステップＳ５：エッジジャギーコーナー集合をチェックして、粗検出共線的線分集合における線分と点、線共線性判定を行い、精確検出点、線集合を得る。ステップＳ６：精確検出点、線集合に対して直線フィッティングを行い、そしてアークタンジェント関数により各直線の傾斜角度を算出し、マークの検出を終わらせる。さらに、テンプレートの位置に対して補正を行う。
【選択図】図１

【特許請求の範囲】

【請求項1】

単一カメラによりテンプレートにおけるマークに対して画像取得を行い、前処理により二値化画像を得るステップＳ１と、
前記二値化画像に対してエッジジャギーコーナー検出を行い、エッジジャギーコーナー集合を得るステップＳ２と、
前記二値化画像に対してエッジ検出、直線検出を順に行い、粗検出エッジ線分集合を得るステップＳ３と、
前記粗検出エッジ線分集合をチェックし、判断して共線的線分を残し、粗検出共線的線分集合を得るステップＳ４と、
前記エッジジャギーコーナー集合をチェックして、前記粗検出共線的線分集合における線分と点、線共線性判定を行い、精確検出点、線集合を得るステップＳ５と、
前記精確検出点、線集合に対して直線フィッティングを行い、そしてアークタンジェント関数により各前記直線の傾斜角度を算出し、前記マークの検出を終わらせるステップＳ６と、を含む。
ことを特徴とする単一カメラによるテンプレートマーク検出方法。

【請求項2】

前記ステップＳ１は、
単一カメラによりテンプレートにおけるマークに対して画像取得を行い、初期画像を得るステップＳ１１と、
前記初期画像をグレースケール画像に変換してフィルタリングを行うステップＳ１２と、
前記ステップＳ１２で得た画像に対して二値化処理を行い、二値化画像を得るステップＳ１３と、を含む
ことを特徴とする請求項１に記載の単一カメラによるテンプレートマーク検出方法。

【請求項3】

前記ステップＳ２は、前記二値化画像における画素点に対してＳｈｉ－Ｔｏｍａｓｉコーナー応答関数による検出を行い、エッジジャギーコーナー集合を得ることを含む
ことを特徴とする請求項１に記載の単一カメラによるテンプレートマーク検出方法。

【請求項4】

前記ステップＳ３は、
前記二値化画像に対してＣａｎｎｙエッジ検出を行い、エッジパターンを得るステップと、
前記エッジパターンに基づいて累積確率的ハフ変換により前記マークにおける複数のエッジ線分を得、前記複数のエッジ線分からなる前記粗検出エッジ線分集合を得るステップと、を含む
ことを特徴とする請求項１に記載の単一カメラによるテンプレートマーク検出方法。

【請求項5】

前記ステップＳ４は、
前記粗検出エッジ線分集合から２本の線分を任意に選択し、４つの端点を得るステップＳ４１と、
前記４つの端点で構成される四角形の面積を算出し、そのうちの１本の線分の傾き、１本の線分の２つの端点と他の１本の線分の２つの端点とがそれぞれ結んでなした線分の傾きを算出するステップＳ４２と、
四角形の面積が第１所定閾値未満でありかつ前記傾きの差がいずれも第２所定閾値未満である場合、前記２本の線分が共線的であると判断するステップＳ４３と、
前記粗検出エッジ線分集合をチェックし、そのうちの共線的線分を残し、粗検出共線的線分集合を得るステップＳ４４と、を含む
ことを特徴とする請求項１に記載の単一カメラによるテンプレートマーク検出方法。

【請求項6】

前記ステップＳ５は、
前記エッジジャギーコーナー集合から１つのコーナーを任意に選択し、前記コーナーと前記粗検出共線的線分集合における線分とがそれぞれ三角形を構成するステップＳ５１と、
前記三角形の面積を算出するステップＳ５２と、
前記三角形の面積が第３所定閾値未満である場合、前記コーナーと前記線分とは点、線が共線的であると判断するステップＳ５３と、
前記エッジジャギーコーナー集合をチェックして、点、線が共線的であるコーナーと線分を統合して精確検出点、線集合を得るステップＳ５４と、を含む
ことを特徴とする請求項１に記載の単一カメラによるテンプレートマーク検出方法。

【請求項7】

前記ステップＳ５は、前記精確検出点、線集合における同じ共線的線分を特定し、そのうちの任意の１本を残し、重複のその他の線分を除去するステップＳ５５をさらに含む
ことを特徴とする請求項６に記載の単一カメラによるテンプレートマーク検出方法。

【請求項8】

前記ステップＳ６は、
前記精確検出点、線集合における点、線が共線的であるコーナーと相応の線分の２つの端点とに対して直線フィッティングを行い、直線の方程式を得るステップＳ６１と、
前記直線の方程式に基づいてアークタンジェント関数を利用して各前記直線の傾斜角度を算出するステップＳ６２と、を含む
ことを特徴とする請求項１に記載の単一カメラによるテンプレートマーク検出方法。

【請求項9】

前記テンプレートにおけるマークは、「米」字形、「十」字形のうちの１種を含む
ことを特徴とする請求項１に記載の単一カメラによるテンプレートマーク検出方法。

【請求項10】

単一カメラによりテンプレートにおけるマークに対して画像取得を行い、前処理により二値化画像を得るステップＳ１と、
前記二値化画像に対してエッジジャギーコーナー検出を行い、エッジジャギーコーナー集合を得るステップＳ２と、
前記二値化画像に対してエッジ検出、直線検出を順に行い、粗検出エッジ線分集合を得るステップＳ３と、
前記粗検出エッジ線分集合をチェックし、判断して共線的線分を残し、粗検出共線的線分集合を得るステップＳ４と、
前記エッジジャギーコーナー集合をチェックして、前記粗検出共線的線分集合における線分と点、線共線性判定を行い、精確検出点、線集合を得るステップＳ５と、
前記精確検出点、線集合に対して直線フィッティングを行い、そしてアークタンジェント関数により各前記直線の傾斜角度を算出するステップＳ６と、
各前記直線の傾斜角度と標準角度との差に基づいて、前記テンプレートの位置に対して補正を行うステップＳ７と、を含む
ことを特徴とする単一カメラに基づくテンプレート位置補正方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、光学的検出技術の分野に属し、具体的に、単一カメラによるテンプレートマーク検出方法およびテンプレート位置補正方法に関する。

【0002】

（関係出願の相互参照）
本開示は、２０２２年１２月２１日に提出された、出願番号が２０２２１１６５１５０３．６である中国出願に基づいて優先権を主張し、その内容のすべては本開示に参照として取り込まれる。

【背景技術】

【0003】

ロボットによりテンプレートを搬送する過程において位置の補正が必要であり、一般的に、２つのＰＳＤ（Ｐｏｓｉｔｉｏｎ Ｓｅｎｓｉｔｉｖｅ Ｄｅｔｅｃｔｏｒ）を使用して光学的補正を行いまたは２つのカメラを使用して画像補正を行うが、テンプレート吸盤の上方および下方のスペースが限られている場合、ＰＳＤおよびカメラを取り付けるためのスペースが十分ではない。光学的方法により位置マークに対して直線検出を行うとき、一つの直線は傾きが一定であり、傾きを修正することが困難であるため、直線検出により得たマークの傾きの精度が低い。また、グレースケール画像では隣接する画素点の画素値は差が比較的小さいため、グレースケール画像のコーナー検出により得られるコーナーの数が比較的少なく、得られるコーナーを利用してマークの位置情報を確定することができない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記の問題に対して、本開示は、従来の方法における、検出装置の取付が制限され、得られるマークの傾斜角度の精度が低いなどの技術的課題を解決する単一カメラによるテンプレートマーク検出方法およびテンプレート位置補正方法を提供する。

【課題を解決するための手段】

【0005】

本開示の一局面は、単一カメラによるテンプレートマーク検出方法を提供する。単一カメラによるテンプレートマーク検出方法は、単一カメラによりテンプレートにおけるマークに対して画像取得を行い、前処理により二値化画像を得るステップＳ１と、二値化画像に対してエッジジャギーコーナー検出を行い、エッジジャギーコーナー集合を得るステップＳ２と、二値化画像に対してエッジ検出、直線検出を順に行い、粗検出エッジ線分集合を得るステップＳ３と、粗検出エッジ線分集合をチェックし、判断して共線的線分を残し、粗検出共線的線分集合を得るステップＳ４と、エッジジャギーコーナー集合をチェックして、粗検出共線的線分集合における線分と点、線共線性判定を行い、精確検出点、線集合を得るステップＳ５と、精確検出点、線集合に対して直線フィッティングを行い、そしてアークタンジェント関数により各直線の傾斜角度を算出し、マークの検出を終わらせるステップＳ６と、を含む。

【0006】

さらに、ステップＳ１は、単一カメラによりテンプレートにおけるマークに対して画像取得を行い、初期画像を得るステップＳ１１と、初期画像をグレースケール画像に変換してフィルタリングを行うステップＳ１２と、ステップＳ１２で得た画像に対して二値化処理を行い、二値化画像を得るステップＳ１３と、を含む。

【0007】

さらに、ステップＳ２は、二値化画像における画素点に対してＳｈｉ－Ｔｏｍａｓｉコーナー応答関数による検出を行い、エッジジャギーコーナー集合を得ることを含む。

【0008】

さらに、ステップＳ３は、二値化画像に対してＣａｎｎｙエッジ検出を行い、エッジパターンを得るステップと、エッジパターンに基づいて累積確率的ハフ変換によりマークにおける複数のエッジ線分を得、複数のエッジ線分からなる粗検出エッジ線分集合を得るステップと、を含む。

【0009】

さらに、ステップＳ４は、粗検出エッジ線分集合から２本の線分を任意に選択し、４つの端点を得るステップＳ４１と、４つの端点で構成される四角形の面積を算出し、そのうちの１本の線分の傾き、１本の線分の２つの端点と他の１本の線分の２つの端点とがそれぞれ結んでなした線分の傾きを算出するステップＳ４２と、四角形の面積が第１所定閾値未満でありかつ傾きの差がいずれも第２所定閾値未満である場合、２本の線分が共線的であると判断するステップＳ４３と、粗検出エッジ線分集合をチェックし、そのうちの共線的線分を残し、粗検出共線的線分集合を得るステップＳ４４と、を含む。

【0010】

さらに、ステップＳ５は、エッジジャギーコーナー集合から１つのコーナーを任意に選択し、コーナーと粗検出共線的線分集合における線分とがそれぞれ三角形を構成するステップＳ５１と、三角形の面積を算出するステップＳ５２と、三角形の面積が第３所定閾値未満である場合、コーナーと線分とは点、線が共線的であると判断するステップＳ５３と、エッジジャギーコーナー集合をチェックして、点、線が共線的であるコーナーと線分を統合して精確検出点、線集合を得るステップＳ５４と、を含む。

【0011】

さらに、ステップＳ５は、精確検出点、線集合における同じ共線的線分を特定し、そのうちの任意の１本を残し、重複のその他の線分を除去するステップＳ５５をさらに含む。

【0012】

さらに、ステップＳ６は、精確検出点、線集合における点、線が共線的であるコーナーと相応の線分の２つの端点とに対して直線フィッティングを行い、直線の方程式を得るステップＳ６１と、直線の方程式に基づいてアークタンジェント関数を利用して各直線の傾斜角度を算出するステップＳ６２と、を含む。

【0013】

さらに、テンプレートにおけるマークは、「米」字形、「十」字形のうちの１種を含む。

【0014】

本開示の他の局面は、単一カメラに基づくテンプレート位置補正方法を提供する。単一カメラに基づくテンプレート位置補正方法は、単一カメラによりテンプレートにおけるマークに対して画像取得を行い、前処理により二値化画像を得るステップＳ１と、二値化画像に対してエッジジャギーコーナー検出を行い、エッジジャギーコーナー集合を得るステップＳ２と、二値化画像に対してエッジ検出、直線検出を順に行い、粗検出エッジ線分集合を得るステップＳ３と、粗検出エッジ線分集合をチェックし、判断して共線的線分を残し、粗検出共線的線分集合を得るステップＳ４と、エッジジャギーコーナー集合をチェックして、粗検出共線的線分集合における線分と点、線共線性判定を行い、精確検出点、線集合を得るステップＳ５と、精確検出点、線集合に対して直線フィッティングを行い、そしてアークタンジェント関数により各直線の傾斜角度を算出するステップＳ６と、各直線の傾斜角度と標準角度との差に基づいて、テンプレートの位置に対して補正を行うステップＳ７と、を含む。

【発明の効果】

【0015】

本開示に係る単一カメラによるテンプレートマーク検出方法およびテンプレート位置補正方法は、単一カメラを使用して画像取得を行うため、ステーションのスペースへの使用が減少し、検出装置の取付が制限される問題を解決できる。さらに、画像の二値化を利用してより多くかつ精確なエッジコーナーを得、さらにテンプレートマークの連通部分の両側の共線的直線を利用し、直線フィッティングを行ってより精確な直線の傾斜角度を得、マークの精確な位置情報を確定することにより、テンプレートマークに対する高精度の検出を実現し、該検出方法で得られたマークの位置情報に基づいてテンプレートの位置の補正を行うことができる。

【図面の簡単な説明】

【0016】

【図1】本開示の実施例による単一カメラによるテンプレートマーク検出方法の模式的フローチャートである。

【図2】本開示の実施例による検出方法に使用する装置のステーションの模式的構成図である。

【図3】本開示の実施例による、マーク画像に対してフィルタリングを行ったあとのパターンの模式図である。

【図4】本開示の実施例による、グレースケール画像に対して二値化処理を行ったあとのパターンの模式図である。

【図5】本開示の実施例による、二値化画像に対してエッジジャギーコーナー検出を行った結果の模式図である。

【図6】本開示の実施例による、二値化画像に対してエッジ検出、直線検出を行った結果の模式図である

【図7】本開示の実施例による、共線性判定を行うときの夾角を示す模式図である。

【図8】本開示の実施例による、精確検出点、線集合に対して直線フィッティングを行った結果の模式図である。

【図9】本開示の実施例による、単一カメラに基づくテンプレートマーク検出の処理の模式的フローチャートである。

【図10】本開示の実施例１による、５回のテンプレート配置のそれぞれに関する二値化処理結果の模式図である。

【図11】本開示の実施例１による、５回のテンプレート配置のそれぞれに関する二値化画像に対するエッジジャギーコーナー検出の結果の模式図である。

【図12】本開示の実施例１による、５回のテンプレート配置のそれぞれに関する二値化画像に対するエッジ検出、直線検出の結果の模式図である。

【図13】本開示の実施例１による、５回のテンプレート配置のそれぞれに関する精確検出点、線集合に対する直線フィッティングの結果の模式図である。

【発明を実施するための形態】

【0017】

本開示の目的、技術案および利点をより明瞭にするため、以下、具体的な実施例を用いて図面を参照しながら、本開示をさらに詳細に説明する。

【0018】

ここで使用される用語は、具体的な実施例を説明するためのものにすぎず、本開示を限定するものではない。ここで使用される、「含む」、「含んでなる」などの用語は、該当する特徴、ステップ、操作および部材の少なくとも一つの存在を表すものであるが、１つまたは複数の他の特徴、ステップ、操作または部材が存在したり、添加されたりすることを排除するのではない。

【0019】

本開示の実施例において方向指向が記載される場合、該方向指向は、ある特定の姿勢での各部材の相対的位置関係、運動状況などを示すものにすぎず、該特定の姿勢が変化すると、該方向指向もそれに応じて変化する。

【0020】

明細書および特許請求の範囲に使用される、「第１」、「第２」、「第３」などの序数は、相応の部品を修飾するためのものであり、該当部品が序数を有することを意味したり、ある部品と他の部品の順序、製造方法における順序を表すものではない。これらの序数は、名前が同じである部品を明確に区別するためのものにすぎない。

【0021】

本開示は、単一カメラによるテンプレートマーク検出方法を提供する。図１に示すように、単一カメラによるテンプレートマーク検出方法は、下記のステップを含む。ステップＳ１：単一カメラによりテンプレートにおけるマークに対して画像取得を行い、前処理により二値化画像を得る。ステップＳ２：二値化画像に対してエッジジャギーコーナー検出を行い、エッジジャギーコーナー集合を得る。ステップＳ３：二値化画像に対してエッジ検出、直線検出を順に行い、粗検出エッジ線分集合を得る。ステップＳ４：粗検出エッジ線分集合をチェックし、判断して共線的線分を残し、粗検出共線的線分集合を得る。ステップＳ５：エッジジャギーコーナー集合をチェックして、粗検出共線的線分集合における線分と点、線共線性判定を行い、精確検出点、線集合を得る。ステップＳ６：精確検出点、線集合に対して直線フィッティングを行い、そしてアークタンジェント関数により各直線の傾斜角度を算出し、マークの検出を終わらせる。

【0022】

該検出方法に使用する装置のステーションの模式図は、図２である。前記装置は、光源とレンズ群とＣＣＤカメラとを備え、仕事過程が下記の通りである。ロボットによりテンプレートをＣＣＤカメラの下方のテンプレートステーションに搬送し、光源からの光がレンズ群を経由してテンプレートにおけるマークに到着し、マーク情報を持つ反射光がさらにレンズ群を経由してＣＣＤカメラに到着し、そして、ＣＣＤカメラで収集した画像を処理する。本方法は、単一のＣＣＤカメラを使用して画像取得を行うため、ステーションのスペースへの使用が減少し、検出装置の取付が制限される問題を解決できる。テンプレートステーションの四周に挟持用四角形溝が設けられているため、四角形溝におけるテンプレートの回動範囲が０．５°以下であり、移動範囲が±０．５ｍｍ以下であり、この範囲であれば、該単一のＣＣＤカメラにより取得した画像マークの位置特定の精度が高くなり、後の位置補正後のテンプレートの位置精度もそれに応じて高くなる。

【0023】

具体的に、まず、取得した画像に対して前処理、二値化を行い、二値化後の画像にエッジジャギーが生じ、この特徴を利用すれば、コーナー検出時により多くかつ精確なエッジジャギーコーナーを得ることができる。そして、エッジジャギーコーナー検出と直線検出を並行して行い（ステップＳ２およびステップＳ３の実行は、同時であってもよく同時でなくてもよく、実行の順序が限定されない）、得た粗検出エッジ線分に対して共線検出を行い、共線的線分を２本以上残し、粗検出共線的線分集合を得る。そして、エッジジャギーコーナー集合をチェックして、粗検出共線的線分集合において点、線共線性判定を行い、共線的エッジジャギーコーナーを残し、精確検出点、線集合を得る。さらに、精確検出点、線集合に対して直線フィッティングおよび逆三角関数演算を行って、より精確な直線の傾斜角度を得る。上記の処理プロセスによれば、テンプレートマークに対する高精度の検出を実現できる。すなわち、本開示は、画像の二値化を利用してより多くかつ精確なエッジコーナーを得、さらにテンプレートマークの連通部分の両側の共線的直線を使用し、直線フィッティングを行ってより精確な直線の傾斜角度を得、マークのより精確な位置情報を得ることができる。

【0024】

上記の実施例において、ステップＳ１は、下記のステップを含む。ステップＳ１１：単一カメラによりテンプレートにおけるマークに対して画像取得を行い、初期画像を得る。ステップＳ１２：初期画像をグレースケール画像に変換してフィルタリングを行う。ステップＳ１３：ステップＳ１２で得た画像に対して二値化処理を行い、二値化画像を得る。

【0025】

ＣＣＤカメラによりテンプレートにおけるマークに対して画像取得を行い、初期画像を得る。該初期画像をグレースケール画像に変換してフィルタリングを行い、フィルタリングブロックのサイズが可変であり、その結果が図３に示されている（「米」字形マークで例示する）。ここでフィルタリングを行う原因として、画像のエッジがノイズの干渉を非常に受けやすいので、エッジ情報の誤検出を防止するには、画像に対してフィルタリングを行ってノイズを除去する必要がある。フィルタリングの目的は、テクスチャが比較的弱い非エッジ領域を平滑化してより精確なエッジを得るためである。

【0026】

そして、グレースケール画像におけるすべての画素点をチェックし、このグレースケール画像の画素中央値を算出し、画素中央値に基づいてすべての画素値に対して二値化を行う。例えば、中央値より小さい画素値を２５５にし、中央値より大きい画素値を０にする。無論、他の値にしてもよいが、選択される２つの値の差を、画像と空白領域とを区別できるほど十分大きくすればよい。一般的に、画像の二値化（Ｉｍａｇｅ Ｂｉｎａｒｉｚａｔｉｏｎ）とは、画像上の画素点のグレースケール値を０または２５５にすることである。結果が図４に示されており、図面から分かるように、二値化処理後のアライメントマークパターンエッジに、図４における丸印で示した複数のジャギーが形成される。

【0027】

上記の実施例において、ステップＳ２は、二値化画像における画素点に対してＳｈｉ－Ｔｏｍａｓｉコーナー応答関数による検出を行い、エッジジャギーコーナー集合を得ることを含む。

【0028】

二値化画像に対してエッジジャギーコーナー検出を行い、画像Ｓｈｉ－Ｔｏｍａｓｉコーナー検出データを得、画像のエッジジャギーコーナー集合｛ｓｐ_１，ｓｐ_２，ｓｐ_３，…ｓｐ_ｍ｝を得、エッジジャギーコーナー検出の結果が図５に示されている。十分な点を得るため、Ｓｈｉ－Ｔｏｍａｓｉコーナー応答関数における質量係数をできるだけ小さくする。

【0029】

上記の実施例において、ステップＳ３は、二値化画像に対してＣａｎｎｙエッジ検出を行い、エッジパターンを得るステップと、エッジパターンに基づいて累積確率的ハフ変換によりマークにおける複数のエッジ線分を得、複数のエッジ線分からなる粗検出エッジ線分集合を得るステップと、を含む。

【0030】

二値化画像に対して一般的なＣａｎｎｙエッジ検出アルゴリズムによりエッジ検出を行い、Ｃａｎｎｙエッジ検出アルゴリズムにおける具体的な数値の選択原理として、エッジを取得する過程において、いくつかの弱いエッジが取得され、これらの弱いエッジは、実画像によるものもあれば、ノイズによるものもあり、ノイズによる弱いエッジを除去する必要がある。現在エッジの画素の勾配と２つの閾値との関係に基づいて現在エッジの属性を判断し、現在エッジの画素の勾配が第２エッジ閾値以上である場合、現在エッジの画素を強いエッジとマークし、すなわち、該エッジが実画像によるものである。現在エッジの画素の勾配が第２エッジ閾値と第１エッジ閾値との間の値である場合、現在エッジの画素を弱いエッジとマークする（この段階まだ残す）。現在エッジの画素の勾配が第１エッジ閾値以下である場合、現在エッジを棄却する。上記の処理により弱いエッジを得たあと、弱いエッジが強いエッジと接続されているか否かを判断することにより、該弱いエッジが実画像によるものであるかノイズによるものであるかを確定する。弱いエッジが強いエッジと接続されている場合、該弱いエッジが実画像によるものである。弱いエッジが強いエッジと接続されていない場合、該弱いエッジがノイズによるものである。第１エッジ閾値および第２エッジ閾値の具体的な値は、必要に応じて選択することができる。

【0031】

Ｃａｎｎｙエッジ検出後の画像に対して一般的な累積確率的ハフ変換により直線検出を行い、Ｃａｎｎｙエッジ検出により得たエッジパターン（該エッジパターンが曲線部分を有する場合がある）に基づいて、画像マークにおけるエッジ線分を得る。直線検出後、粗検出エッジ線分集合｛ｄ_１，ｄ_２，ｄ_３，…ｄ_ｎ｝を得、粗検出エッジ線分の検出結果が図６に示されている。図６における四角形に囲まれた部分から分かるように、累積確率的ハフ変換の後、同一の位置から複数本のエッジ線分を検出することがある。

【0032】

上記の実施例において、ステップＳ４は、下記のステップを含む。ステップＳ４１：粗検出エッジ線分集合から２本の線分を任意に選択し、４つの端点を得る。ステップＳ４２：４つの端点で構成される四角形の面積を算出し、そのうちの１本の線分の傾き、１本の線分の２つの端点と他の１本の線分の２つの端点とがそれぞれ結んでなした線分の傾きを算出する。ステップＳ４３：四角形の面積が第１所定閾値未満でありかつ傾きの差がいずれも第２所定閾値未満である場合、２本の線分が共線的であると判断する。ステップＳ４４：粗検出エッジ線分集合をチェックし、そのうちの共線的線分を残し、粗検出共線的線分集合を得る。

【0033】

得た粗検出エッジ線分集合｛ｄ_１，ｄ_２，ｄ_３，…ｄ_ｎ｝において線分のチェックを行い、共線的線分を統合し、ここでの統合は粗検出共線的線分集合に統合することを意味し、ここで共線的線分に対する重複除去を行わなく、粗検出共線的線分集合｛ｃｌ_１，ｃｌ_２，ｃｌ_３，…ｃｌ_ｋ｝を得、すなわち、該粗検出共線的線分集合における各元素がいずれも共線的集合である。

【0034】

共線性を判断するには多くの方法があり、以下、本開示に係る共線性判定の過程を説明する。粗検出エッジ線分集合｛ｄ_１，ｄ_２，ｄ_３，…ｄ_ｎ｝から２本の線分を任意に選択し、２本の線分の端点がそれぞれ（Ｐ_１，Ｐ_２）および（Ｐ_３，Ｐ_４）であり、共線性の判定条件をΨ_１およびΨ_２とし、２つの条件がすべて満たされた場合共線的であると判断される。

【0035】

Ψ_１は、４つの端点で構成される四角形の面積が第１所定閾値未満であるか否かを判断する。本開示では、ヘロンの公式を利用して、三角形の３辺の長さに基づいて三角形の面積を直接求める。四角形の面積が２つの三角形の面積の和に等しく、下記の式（１）を参照する。

【0036】

Ｓ_１が三角形Ｐ_１Ｐ_２Ｐ_３の面積を表し、ｈ_１が三角形Ｐ_１Ｐ_２Ｐ_３の半周長を表し、Ｌ_ｐｉｐｊが点Ｐ_ｉと点Ｐ_ｊ点とを結ぶ線分の長さを表し、Ｓ_２が三角形Ｐ_２Ｐ_３Ｐ_４の面積を表し、ｈ_２が三角形Ｐ_２Ｐ_３Ｐ_４の半周長を表し、ηが第１所定閾値であり、例えば、η＝４００。ｈ_１、ｈ_２およびＬ_ｐｉｐｊの計算式が下記の式（２）および式（３）を参照する。

【0037】

Ψ_２は、１本の線分の傾き、１本の線分の２つの端点と他の１本の線分の２つの端点とがそれぞれ結んでなした線分の傾きの差が第２所定閾値未満であるか否かを判断する。説明便宜の上、本開示では傾きを、線分とｘ軸のなす角に変換して示す。アークタンジェント関数により、傾きを、端点Ｐ_１および端点Ｐ_２が位置する直線とｘ軸のなす角θ_１、端点Ｐ₁および端点Ｐ_３が位置する直線とｘ軸のなす角θ_２、端点Ｐ_２および端点Ｐ_４が位置する直線とｘ軸のなす角θ_３に変換することができる。図７を参照できる。傾斜角がすべて弧度法で表され、下記の式（４）を参照する。

【0038】

例えば、第２所定閾値δ＝０．１６、傾斜角θ_１、θ_２およびθ_３の計算式が下記の式（５）を参照する。

【0039】

上記の実施例において、ステップＳ５は、下記のステップを含む。ステップＳ５１：エッジジャギーコーナー集合から１つのコーナーを任意に選択し、コーナーと粗検出共線的線分集合における線分とがそれぞれ三角形を構成する。ステップＳ５２：三角形の面積を算出する。ステップＳ５３：三角形の面積が第３所定閾値未満である場合、コーナーと線分とは点、線が共線的であると判断する。ステップＳ５４：エッジジャギーコーナー集合をチェックして、点、線が共線的であるコーナーと線分を統合して精確検出点、線集合を得る。

【0040】

エッジジャギーコーナー集合をチェックして、粗検出共線的線分集合において点、線共線性判定を行い、共線的なコーナーと線分を同一の粗検出共線的線分集合に統合し、精確検出点、線集合

を得る。

【0041】

点、線共線性判定の条件がΨ_３である。Ψ_３は、コーナーｓｐ_ｋと粗検出共線的線分集合における線分の２つの端点（Ｐ_ｉ，Ｐ_ｊ）とにより形成される三角形の面積が第３所定閾値未満であるか否かを判断する。例えば、第３所定閾値η_ｓ＝３００、Ψ_３の計算方法は、Ψ_１における三角形の面積の計算式と同じである。

【0042】

上記の実施例において、ステップＳ５は、下記のステップをさらに含む。ステップＳ５５：精確検出点、線集合における同じ共線的線分を特定し、そのうちの任意の１本を残し、重複のその他の線分を除去する。

【0043】

このとき、精確検出点、線集合における同じ共線的線分における重複の線分を除去し、各組の同じ共線的線分のうちの１本のみを残す。図６における四角形に囲まれた部分に示すように、同一の位置に、互いの距離がとても近い線分が複数本存在することがあり、これらの線分同士、またはこれらの線分と他の線分に対してステップＳ５４の共線性判定を行ったあと、傾きが同じである２本の線分が得られることがありかつこの２本の線分がいずれもステップＳ４において粗検出共線的線分集合に保存され、重複の余計データを除去するため、このステップにおいて線分の和集合を求める演算により、同一の粗検出共線的線分を含む線分グループにおける重複の粗検出線分を除去する。

【0044】

上記の実施例に基づいて、ステップＳ６は、下記のステップを含む。ステップＳ６１：精確検出点、線集合における点、線が共線的であるコーナーと相応の線分の２つの端点とに対して直線フィッティングを行い、直線の方程式を得る。ステップＳ６２：直線の方程式に基づいてアークタンジェント関数を利用して各直線の傾斜角度を算出する。
精確検出点、線集合における点、線が共線的であるコーナーと相応の線分とに対して直線フィッティングを行い、例えば最小二乗法を利用して直線フィッティングを行う。１本の線分がその２つの端点で表されることができるので、精確検出点、線集合におけるすべての点の個数をＮとする場合、方程式が下記の式（６）となり、精確検出点、線のフィッティング結果は、図８に示すように、ｙ＝ａｘ＋ｂの形の直線の方程式が得られ、アークタンジェント関数の演算を行って精確な直線傾斜角度βを得、式（７）を参照する。

【0045】

上記の技術案において、検出方法の検出偏差を計算することができる。ステップＳ８は、下記のステップを含む。ステップＳ８１：各直線の標準偏差角度と偏差角度との減算により、各直線の検出誤差を得る。ステップＳ８２：検出誤差の平均を求めることによりテンプレート搬送の偏向誤差を得る。ステップＳ８３：複数の標準偏差角度に対応する偏向誤差に対して平均値および標準偏差を求めることにより、この方法の検出精度の偏差を推算することができる。

【0046】

ロボットによりテンプレートを配置するとき、テンプレートにおけるマークを標準位置から所定角度ずれるようにし、ずれた該角度を標準偏差角度とし、各直線の傾斜角度と標準角度との減算により各直線の偏差角度を得、したがって、検出誤差＝標準偏差角度－直線の偏差角度であり、検出誤差の平均を求めることにより偏向誤差を得る。複数の標準偏差角度に対応する偏向誤差に対して平均値および標準偏差を求めることにより、この方法の検出偏差を推算することができる。

が偏向誤差であり、ｍが各画像の精確検出点、線集合の個数であり、

が標準偏差角度としてのロボットの回動角度であり、

が各直線の傾斜角度と標準角度との減算により得る直線の偏差角度である。

【0047】

上記の実施例において、テンプレートにおけるマークは、「米」字形、「十」字形のうちの１種を含む。

【0048】

本開示に係る検出方法は、「米」字形マークだけでなく、「十」字形マークにも適用できる。交差する直線で構成されかつ曲線がないマークであれば、本開示に係る検出方法を利用してテンプレートマーク検出を行うことができる。

【0049】

本開示は、単一カメラに基づくテンプレート位置補正方法をさらに提供する。単一カメラに基づくテンプレート位置補正方法は、下記のステップを含む。ステップＳ１：単一カメラによりテンプレートにおけるマークに対して画像取得を行い、前処理により二値化画像を得る。ステップＳ２：二値化画像に対してエッジジャギーコーナー検出を行い、エッジジャギーコーナー集合を得る。ステップＳ３：二値化画像に対してエッジ検出、直線検出を順に行い、粗検出エッジ線分集合を得る。ステップＳ４：粗検出エッジ線分集合をチェックし、判断して共線的線分を残し、粗検出共線的線分集合を得る。ステップＳ５：エッジジャギーコーナー集合をチェックして、粗検出共線的線分集合における線分と点、線共線性判定を行い、精確検出点、線集合を得る。ステップＳ６：精確検出点、線集合に対して直線フィッティングを行い、そしてアークタンジェント関数により各直線の傾斜角度を算出する。ステップＳ７：各直線の傾斜角度と標準角度との差に基づいて、テンプレートの位置に対して補正を行う。

【0050】

上記のマーク検出方法のステップＳ１～ステップＳ６を利用し、さらに、マーク検出により得た傾斜角度と標準角度との差に基づいて、テンプレートの位置に対してより精確な補正を行う。

【0051】

本開示は、アライメントマークの特徴に基づいて、連通部分の両側の共線的直線を利用すればより精確な傾きを得ることができ、グレースケール画像のコーナー検出により得たコーナー情報が比較的少なく、二値化後の画像にエッジジャギーが生じ、この特徴を利用すれば、コーナー検出時により多くかつ精確なエッジコーナーを得ることができる。本開示では、２線とエッジジャギーコーナーとによりテンプレート搬送位置の偏向誤差検出を行い、誤差検出の精度が比較的高い。

【0052】

以下、具体的な実施形態を用いて本開示をさらに説明する。下記の実施例において、単一カメラによるテンプレートマーク検出方法およびテンプレート位置補正方法を具体的に説明する。ただし、下記の実施例は、本開示を例示するためのものにすぎず、本開示の範囲を限定するものではない。

【0053】

図９に示すように、本開示に係る単一カメラによるテンプレートマーク検出方法およびテンプレート位置補正方法は、順番に実行される下記のステップを含む。

【0054】

ステップ１：単一のＣＣＤカメラにより画像取得を行い、原画像（初期画像）を得、取得した原画像をグレースケール画像に変換し、フィルタリングおよび二値化を行い、二値化画像を得る。これは上記のステップＳ１に相当する。

【0055】

ステップ２：二値化画像に対してエッジジャギーコーナー検出を行い、画像のコーナー検出データを得、画像のエッジジャギーコーナー集合｛ｓｐ_１，ｓｐ_２，ｓｐ_３，…ｓｐ_ｍ｝を得る。これは上記のステップＳ２に相当する。

【0056】

ステップ３：二値化画像に対してエッジ検出を行い、エッジ検出後の画像に対して直線検出を行い、粗検出エッジ線分集合｛ｄ_１，ｄ_２，ｄ_３，…ｄ_ｎ｝を得る。これは、上記のステップＳ３に相当する。

【0057】

ステップ４：粗検出エッジ線分集合｛ｄ_１，ｄ_２，ｄ_３，…ｄ_ｎ｝において線分のチェックを行い、共線的線分を粗検出共線的線分集合に統合し、粗検出共線的線分集合｛ｃｌ_１，ｃｌ_２，ｃｌ_３，…ｃｌ_ｋ｝を得る。これは上記のステップＳ４に相当する。

【0058】

ステップ５：エッジジャギーコーナー集合をチェックして、粗検出共線的線分集合において点、線共線性判定を行い、共線的なコーナーと線分を同一の粗検出共線的線分集合に統合し、精確検出点、線集合

を得る。これは上記のステップＳ５に相当する。

【0059】

ステップ６：精確検出点、線集合に対して直線フィッティングおよび逆三角関数演算を行って、テンプレートマークにおける各直線のより精確な傾斜角度を得る。これは上記のステップＳ６に相当する。

【0060】

ステップ７：各直線の傾斜角度と標準角度との差に基づいて、テンプレートの位置に対して補正を行う。これは上記のステップＳ７に相当する。

【0061】

上記のステップ１～ステップ７に基づいて、以下、具体的な一実施例を提供する。

【0062】

実施例１
本実施例による単一カメラによるテンプレートマーク検出方法の実施ステップは、下記の通りである。

【0063】

ステップ１１：テンプレートにおけるマークが「米」字形であり、５回配置し、テンプレートのパターンマークに対して５回の検出を行い、単一のＣＣＤカメラにより取得した初期画像をグレースケール画像に変換してＢｌｕｒフィルタリングを行い、フィルタリングブロックのサイズが可変である。本実施例では、５×５画素のものでフィルタリングを行う。また、３×３画素、７×７画素のフィルタリングブロックも試したが、結果として、この場合、検出したマークの直線の傾斜角度の精度が低下したが、比較的精確なマークの直線の傾斜角度を得ることができる。

【0064】

ステップ１２：画像におけるすべての画素点をチェックし、このグレースケール画像の画素中央値を算出し、画素中央値に基づいてすべての画素値に対して二値化を行い、二値化画像を得る。本実施例では、中央値より小さい画素値を２５５にし、中央値より大きい画素値を０にする（ｏｐｅｎｃｖで０が黒、２５５が白である）。結果が図１０に示されている。図１０における（ａ）～（ｅ）は５回のテンプレート配置後の二値化処理結果にそれぞれ対応する。図１０から分かるように、二値化処理後のアライメントマークパターンに複数のジャギーが形成されている。

【0065】

ステップ１３：二値化画像に対してエッジジャギーコーナー検出を行い、画像に対するＳｈｉ－Ｔｏｍａｓｉコーナー検出のデータを得、エッジジャギーコーナー集合｛ｓｐ_１，ｓｐ_２，ｓｐ_３，…ｓｐ_ｍ｝を得、エッジジャギーコーナー検出の結果が図１１に示されている。図１１における（ａ）～（ｅ）は５回のテンプレート配置後のエッジジャギーコーナー検出結果にそれぞれ対応する。十分な点を得るため、Ｓｈｉ－Ｔｏｍａｓｉコーナー検出アルゴリズムにおける質量係数をできるだけ小さくする。本実施例では、質量係数を０．０１にし、コーナーの間の最小ユークリッド距離を２０にし、これが、最後に残すコーナーの間の最小距離が２０画素であることを意味する。導関数自己相関行列を計算するときに指定された隣域範囲が３である。図１１から分かるように、Ｓｈｉ－Ｔｏｍａｓｉコーナー検出により座標系で傾斜した直線上のコーナーを検出することができない。

【0066】

ステップ１４：二値化画像に対してＣａｎｎｙエッジ検出を行う。本実施例では、「米」字形には曲線や異形状の突起がなく、パターンが簡単できれいであるため、選択した第１エッジ閾値が１であり、第２エッジ閾値が１０である。比較的小さい閾値によれば、より多くのエッジ情報を取得できる。Ｃａｎｎｙエッジ検出後の画像に対して累積確率的ハフ変換を行う。本実施例では、選択した共線閾値が８０であり、すなわち、極座標系で、一点で交わる曲線の数が８０を超えると、これらの８０本以上の曲線に対応するデカルト座標系でのエッジ点が共線的であると判断され、これらの共線的エッジ点が合わせてエッジ直線を形成する。また、データが多すぎるのを避けるため、エッジ直線の長さの最小値を５０にし、この長さ未満の線分が残されなく表示されない。２つの点の結びを許すユークリッド距離（直線距離）を１０画素にする。粗検出エッジ線分集合｛ｄ_１，ｄ_２，ｄ_３，…ｄ_ｎ｝を得、粗検出エッジ線分の検出結果が図１２に示されている。図１２における（ａ）～（ｅ）は５回のテンプレート配置後のＣａｎｎｙエッジ検出、直線検出の結果にそれぞれ対応する。

【0067】

ステップ１５：得た粗検出エッジ線分集合｛ｄ_１，ｄ_２，ｄ_３，…ｄ_ｎ｝において線分のチェックを行い、共線的線分を粗検出共線的線分集合に統合し、粗検出共線的線分集合｛ｃｌ_１，ｃｌ_２，ｃｌ_３，…ｃｌ_ｋ｝を得る。

【0068】

粗検出エッジ線分集合｛ｄ_１，ｄ_２，ｄ_３，…ｄ_ｎ｝から２本の線分を任意に選択し、２本の線分の端点がそれぞれ（Ｐ_１，Ｐ_２）および（Ｐ_３，Ｐ_４）であり、共線性の判定条件をΨ_１およびΨ_２とし、２つの条件がすべて満たされた場合共線的であると判断する。Ψ_１は、４つの端点で構成される四角形の面積が第１所定閾値未満であるか否かを判断する。本実施例では、ヘロンの公式を利用して、三角形の３辺の長さに基づいて三角形の面積を直接求める。Ψ_２は、１本の線分の傾き、１本の線分の２つの端点と他の１本の線分の２つの端点とがそれぞれ結んでなした線分の傾きの差が第２所定閾値未満であるか否かを判断する。本実施例では、第１所定閾値η＝４００、第２所定閾値δ＝０．１６である。

【0069】

ステップ１６：エッジジャギーコーナー集合をチェックして、粗検出共線的線分集合において点、線共線性判定を行い、共線的なコーナーと線分を同一の粗検出共線的線分集合に統合し、精確検出点、線集合

を得る。点、線共線性判定の条件がΨ_３である。Ψ_３はコーナーｓｐ_ｋと粗検出共線的線分集合における線分の２つの端点（Ｐ_ｉ，Ｐ_ｊ）とにより形成される三角形の面積が第３所定閾値未満であるか否かを判断する。本実施例では、第３所定閾値η_ｓ＝３００、Ψ_３の計算方法は、Ψ_１における三角形の面積の計算式と同じである。

【0070】

ステップ１７：精確検出点、線集合における点、線が共線的であるコーナーと相応の線分とに対して直線フィッティングを行い、例えば最小二乗法を利用して直線フィッティングを行う。精確検出点、線のフィッティング結果が図１３に示されており、図１３における（ａ）～（ｅ）が５回の配置後の直線フィッティング結果にそれぞれ対応し、各画像からそれぞれｙ＝ａｘ＋ｂの形の直線の方程式が複数得られ、アークタンジェント関数の演算により精確な直線傾斜角度βを得る。

【0071】

ステップ１８：該ステップは、上記の検出方法に存在する検出偏差を検証する。検出した各直線の傾斜角度と標準角度（テンプレートの配置後の所望角度）との減算により、直線の偏差角度を得、テンプレートの配置後の実際の位置の各直線の傾斜角度と標準角度（テンプレートの配置後の所望角度）との減算により標準偏差角度を得、したがって、検出誤差＝標準偏差角度－直線の偏差角度、検出誤差の平均を求めることにより偏向誤差を得る。複数の標準偏差角度に対応する偏向誤差に対して平均値および標準偏差を求めることにより、この方法の検出偏差を推算することができる。検出誤差および偏向誤差は、表１に示されている。表１から分かるように、検出誤差の平均値が偏向誤差である。

【表1】

【0072】

検出された複数の偏向誤差に対して平均値および標準偏差を求めることにより、この方法の検出偏差を推算することができる。表２に示すように、この方法の検出偏差が［－０．００３８１±０．０１２５９］であるため、テンプレート搬送の精度要求を満たしている。

【表2】

【0073】

上記の方法によりテンプレートマークの各直線の傾斜角度を得たあと、該マークの、標準角度からずれた角度に基づいて、テンプレートに対して角度の補正を行ってテンプレートマークを所望の配置位置に位置させ、これによって、テンプレートが所望の配置位置に配置されることができる。

【0074】

上記のように、本開示は、取得した画像をグレースケール画像に変換してＢｌｕｒフィルタリングおよび二値化を行い、そして、エッジジャギーコーナー検出と直線検出を並行して行い、得た粗検出線分に対して共線検出を行い、共線的線分を２本以上残し、粗検出共線的線分集合を得、そして、コーナーデータをチェックし、粗検出共線的線分集合において点、線共線性判定を行い、共線的コーナーを統合し、精確検出点、線集合を得、そして、各精確検出点、線集合に対して直線フィッティングおよび逆三角関数演算を行って、より精確な直線の傾斜角度を得、各直線の傾斜角度と標準角度との差に基づいて、テンプレートの位置に対して高精度の補正を行う。

【0075】

上記の具体的な実施例は、本開示の目的、技術案および有益な効果をさらに詳しく説明した。上記は、本開示の具体的な実施例にすぎず、本開示を限定するものではない。本開示の精神および原理から逸脱しない限り、行った如何なる変更、均等置換、改良なども本開示の保護範囲内に属する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【国際調査報告】