特許 7578965 検査のために適用される自動目標画像捕捉及び校正システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-29

(45)【発行日】2024-11-07

(54)【発明の名称】検査のために適用される自動目標画像捕捉及び校正システム

(51)【国際特許分類】

   G01N 21/84 20060101AFI20241030BHJP

【ＦＩ】

G01N21/84 B

G01N21/84 C

【請求項の数】 10

(21)【出願番号】P 2023133430

(22)【出願日】2023-08-18

(65)【公開番号】P2024031875

(43)【公開日】2024-03-07

【審査請求日】2023-08-21

(31)【優先権主張番号】111131924

(32)【優先日】2022-08-24

(33)【優先権主張国・地域又は機関】TW

(73)【特許権者】

【識別番号】520273991

【氏名又は名称】開必拓數據股▲分▼有限公司

(73)【特許権者】

【識別番号】522454998

【氏名又は名称】孫逢佐

(73)【特許権者】

【識別番号】522455009

【氏名又は名称】葉怡▲テイ▼

(73)【特許権者】

【識別番号】522455010

【氏名又は名称】孫逢佑

(74)【代理人】

【識別番号】100201329

【弁理士】

【氏名又は名称】山口 真二郎

(74)【代理人】

【識別番号】100167601

【弁理士】

【氏名又は名称】大島 信之

(74)【代理人】

【識別番号】100220917

【弁理士】

【氏名又は名称】松本 忠大

(72)【発明者】

【氏名】孫逢佐

(72)【発明者】

【氏名】葉怡▲テイ▼

(72)【発明者】

【氏名】孫逢佑

(72)【発明者】

【氏名】黄俊堂

(72)【発明者】

【氏名】張榮華

(72)【発明者】

【氏名】田宜湘

(72)【発明者】

【氏名】沈孟澤

【審査官】橘 皇徳

(56)【参考文献】

【文献】特開２０１９－１１９０２７（ＪＰ，Ａ）

【文献】特開２０１８－０５９８３０（ＪＰ，Ａ）

【文献】特開２０１７－０１５３９６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／００８０９４４（ＵＳ，Ａ１）

【文献】中国特許出願公開第１０５４１４０４２（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４ － Ｇ０１Ｎ ２１／９５８

Ｈ０１Ｌ ２１／６７ － Ｈ０１Ｌ ２１／６８３

(57)【特許請求の範囲】

【請求項1】

検査のために適用され、かつ第１ロボットアームと、前記第１ロボットアームと近接するように設置される第１ビデオカメラと、少なくとも１つの第２ロボットアームと、電子機器とを備える自動目標画像捕捉及び校正システムであって、
前記第１ロボットアームは、第１搬送ベルトと第２搬送ベルトとに同時に近接するように設置され、前記第１搬送ベルトにより複数個の物品を搬送し、かつ当該物品の少なくとも１面の表面に識別特徴が設置され、
前記少なくとも１つの第２ロボットアームは、前記第２搬送ベルトと近接するように設置され、かつ各当該第２ロボットアームは、第２ビデオカメラを把持し、
前記電子機器は、前記第１ロボットアームと、前記第１ビデオカメラと、前記少なくとも１つの第２ロボットアームと、少なくとも１つの前記第２ビデオカメラとに電気接続され、かつマイクロプロセッサと、メモリとを含み、前記メモリ内には、プログラミング言語を利用して編集される応用プログラムが格納されることによって、前記マイクロプロセッサは、前記メモリへのアクセスを介して当該応用プログラムを実行するに従って、以下の機能を始動させる、
前記第１ロボットアームは、前記第１搬送ベルトから１個の当該物品を挟み上げると共に、当該物品を挟持して前記第１ビデオカメラの第１画像捕捉範囲内に移動させ、次に裏返し順序に沿って当該物品を反転させるように制御する機能と、
当該物品を当該裏返し順序に沿って反転させる過程において、前記第１ビデオカメラは、順次当該物品の複数個の２次元映像を撮影するように制御する機能と、
複数個の当該２次元映像に対してラベル認識処理を実行して、識別特徴画像を含む少なくとも１個の当該２次元映像を見つけ出す機能と、
少なくとも１個の当該識別特徴画像を含む複数個の当該２次元映像に応じて、当該物品の相対位置と相対３次元座標とを確認すると共に、前記第１ロボットアームは、当該物品を挟持して前記第２搬送ベルトの上に移動させるように制御する機能と、
当該第２ロボットアームは、前記第２ビデオカメラを複数回に分けて移動させることによって、当該物品の複数個の当該表面が複数回に分けて前記第２ビデオカメラの第２画像捕捉範囲内に入るように制御する機能と、
当該第２ロボットアームが複数回に分けて前記第２ビデオカメラを移動させる過程において、前記第２ビデオカメラは、当該物品の複数個の当該表面の中のＮ個（Ｎは所定の正整数）からＮ個の物品映像を対応して取得するように制御する機能と、
当該物品映像に対して特徴抽出処理を行って対応の特徴画像を獲得し、次に各当該特徴画像と特徴テンプレートとの特徴マッチングプロセスを行うに従って、各当該物品映像において少なくとも１つの瑕疵が含有されるか否かを確定する機能とを動的に遂行することを特徴とする、
自動目標画像捕捉及び校正システム。

【請求項2】

前記電子機器に電気接続され、かつ前記第１ビデオカメラと近接するように設置されるに従って、前記電子機器からの制御に応じて第１検査光を供給して前記第１画像捕捉範囲を明るく照らす第１光源と、前記電子機器に電気接続され、かつ前記第２ビデオカメラと近接するように設置されるに従って、前記電子機器からの制御に応じて第２検査光を供給して当該第２画像捕捉範囲を明るく照らす少なくとも１つの第２光源とをさらに備えることを特徴とする、請求項１に記載の自動目標画像捕捉及び校正システム。

【請求項3】

前記識別特徴は、ラベルであり、かつ前記ラベルは、２次元バーコードタグ（２Ｄ ｂａｒｃｏｄｅ ｔａｇ）、ＱＲコード（登録商標）タグ（ＱＲ ｃｏｄｅ ｔａｇ）、マトリックスバーコードタグ（ｍａｔｒｉｘ ｂａｒｃｏｄｅ ｔａｇ）、図形模様入りタグ（ｔａｇ ｃｏｎｔａｉｎｉｎｇ ｇｒａｐｈｉｃ ｐａｔｔｅｒｎｓ）、テキストメッセージ入りタグ（ｔａｇ ｃｏｎｔａｉｎｉｎｇ ｔｅｘｔ ｍｅｓｓａｇｅｓ）、アルファベット入りタグ（ｔａｇ ｃｏｎｔａｉｎｉｎｇ ａｌｐｈａｂｅｔｓ）及び数字桁入りタグ（ｔａｇ ｃｏｎｔａｉｎｉｎｇ ｎｕｍｅｒｉｃ ｆｉｇｕｒｅｓ）からなる群より選択される任意の一つであることを特徴とする、請求項１に記載の自動目標画像捕捉及び校正システム。

【請求項4】

前記識別特徴は、当該物品上の認識可能な特徴の一つであることを特徴とする、請求項１に記載の自動目標画像捕捉及び校正システム。

【請求項5】

前記ラベルに搭載された当該物品の複数個の基本情報は、ベンダー識別番号（Ｖｅｎｄｏｒ ＩＤ，ＶＩＤ）と、プロダクト識別番号（Ｐｒｏｄｕｃｔ ＩＤ，ＰＩＤ）と、ロット番号と、シリアル番号とを含むことを特徴とする、請求項３に記載の自動目標画像捕捉及び校正システム。

【請求項6】

前記電子機器は、映像処理プログラムを動作させるに従って、少なくとも１個の当該識別特徴画像を含む複数個の当該２次元映像に応じて当該物品の１次元映像または３次元映像を再構築し、次に当該物品の前記相対位置と前記相対３次元座標とを確認することを特徴とする、請求項１に記載の自動目標画像捕捉及び校正システム。

【請求項7】

当該映像処理プログラムは、ドロネー三角形分割アルゴリズム（Ｄｅｌａｕｎａｙ ｔｒｉａｎｇｕｌａｔｉｏｎ ａｌｇｏｒｉｔｈｍ）、クラスト三角形分割アルゴリズム（Ｃｒｕｓｔ ｔｒｉａｎｇｕｌａｔｉｏｎ ａｌｇｏｒｉｔｈｍ）及び不規則三角形ネットワーク（Ｔｒｉａｎｇｕｌａｔｅｄ Ｉｒｒｅｇｕｌａｒ Ｎｅｔｗｏｒｋ，ＴＩＮ）アルゴリズムからなる群より選択される１つの映像処理アルゴリズムを含むことを特徴とする、請求項６に記載の自動目標画像捕捉及び校正システム。

【請求項8】

前記応用プログラムは、複数個のサブプログラムを含み、かつ前記複数個のサブプログラムは、前記第１ロボットアームにて、前記第１搬送ベルトから１個の当該物品を拾い上げると共に、当該物品を挟持して前記第１ビデオカメラの前記第１画像捕捉範囲内に移動させ、次に当該裏返し順序に沿って当該物品を反転させるように制御するために用いられる第１機構制御プログラムと、前記第１ビデオカメラにて、当該物品を当該裏返し順序に沿って反転させるときに、当該物品に対して画像を捕捉して前記複数個の２次元映像を獲得するように制御するために用いられる第１ビデオカメラ制御プログラムと、複数個の当該２次元映像に対して当該ラベル認識処理を実行して、当該識別特徴画像を含む少なくとも１個の当該２次元映像を見つけ出すために用いられるラベル認識プログラムと、少なくとも１個の当該識別特徴画像を含む複数個の当該２次元映像に応じて当該物品の前記３次元映像を再構築し、次に当該物品の前記相対位置と前記相対３次元座標とを確認することによって、前記第１ロボットアームにて、次に当該物品を挟持して前記第２搬送ベルトの上への移動を可能にさせるために用いられる当該映像処理プログラムと、前記第２ロボットアームにて、前記第２ビデオカメラを複数回に分けて移動させることによって、当該物品の複数個の当該表面が複数回に分けて前記第２ビデオカメラの第２画像捕捉範囲内に入るように制御するために用いられる第２機構制御プログラムと、前記第２ビデオカメラにて、前記第２ロボットアームが複数回に分けて前記第２ビデオカメラを移動させる過程において、当該物品に対して画像を捕捉して前記Ｎ個の物品映像を獲得するように制御するために用いられる第２ビデオカメラ制御プログラムと、Ｎ個の当該物品映像に対して当該特徴抽出処理を行ってＮ個の当該特徴画像を獲得し、次に各当該特徴画像と特徴テンプレートとの当該特徴マッチングプロセスを行うために用いられる瑕疵認識プログラムとを含むことを特徴とする、請求項６に記載の自動目標画像捕捉及び校正システム。

【請求項9】

前記電子機器は、前記第１搬送ベルトと前記第２搬送ベルトとを制御するための機台制御装置と情報連結されることを特徴とする、請求項８に記載の自動目標画像捕捉及び校正システム。

【請求項10】

前記電子機器は、前記第１搬送ベルトと前記第２搬送ベルトとを制御するための機台制御装置の中に整合され、かつ前記機台制御装置は、自動化生産ラインの中に含まれることを特徴とする、請求項８に記載の自動目標画像捕捉及び校正システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マシンビジョンの技術分野に係り、特に、検査のために適用される自動目標画像捕捉及び校正システムに関するものである。

【背景技術】

【0002】

一般的に、工業技術を利用して生産製造される半完成品または完成品は、工業標準に合致するか否かを判断するために、それらに対して品質検証を行う必要があり、その内、品質検証は、外観（ｃｏｓｍｅｔｉｃ）検査と、機能テストとを含む。一般的に、１個の工業製品は、６個の表面、つまり上表面、下表面、前表面、後表面、左表面及び右表面を含む。外観検査を行うときに、品質検査員は、関連検査規定に準拠して前記工業製品の６個の表面のうちのいくつかの表面に対して最も詳細な外観検査を実行する。しかしながら、実際の経験によると、品質検査員が工業製品の外観検査を行うときに、しばしば検査漏れや誤検査が発生する事情がある。
以上に鑑み、マシンビジョン（ｍａｃｈｉｎｅ ｖｉｓｉｏｎ）技術を利用した自動光学検査（Ａｕｔｏｍａｔｅｄ ｏｐｔｉｃａｌ ｉｎｓｐｅｃｔｉｏｎ，ＡＯＩ）システムが、自動化生産ラインに開発されて導入され、人間の労力の代わりとして工業半完成品または完成品に対して外観検査を実行するために用いられる。

【0003】

例を挙げて言えば、図１は、従来技術に係るねじ瑕疵検査システム１ａを模式的に示す斜視図である。図１に示すように、前記ねじ瑕疵検査システム１ａは、運搬プラットフォーム１１ａと、複数台の撮影機器１２ａと、映像処理装置１３ａとを備え、その内、各当該撮影機器１２ａは、いずれも調整可能な支持機構１４ａの上に設置される。
前記調整可能な支持機構１４ａを手動調整することによって、各当該撮影機器１２ａに設置高度と設置角度とを有させることができると共に、前記運搬プラットフォーム１１ａと互いに撮像距離を隔てて配置されることが理解されるべきである。この配置によって、前記ねじ瑕疵検査システム１ａは、型番Ａのねじの６個の表面のうちのいくつかの表面に対して外観検査を行うことができる。

【0004】

瑕疵検査システムの開発製造に熟練したＡＯＩ技術者であれば、前記ねじ瑕疵検査システム１ａが、当該型番Ａのねじに対して外観検査を行うために用いられる場合、技術者は、必ず各個撮影機器１２ａの設置高度、設置角度及び撮像距離をチューニングしなければならないことが分かる。この他、必要があれば、技術者は、光源を設計する必要もある。言い換えれば、製造メーカーは、それが型番Ｂのねじに対して外観検査を行うために用いることができるように、前記ねじ瑕疵検査システム１ａの設備パラメータの変更をＡＯＩ技術者に要求し、その場合、技術者は、当該設置高度、当該設置角度、当該撮像距離及び当該光源のチューニングを完了まで繰り返し行う必要がある。

【0005】

実務経験によると、設置高度、設置角度、撮像距離及び光源のチューニング作業は、容易とは言えず、完了するためには、相当な労力と時間を費やす必要がある場合がある。
以上に鑑み、指定の工業製品に応じて撮影機器の設置高度、設置角度及び撮像距離の自動変更と、光源強度の調整と、工業製品の反転による撮影機器の目標画像捕捉とが可能な新型自動光学検査システムの開発が考慮されるべきである。

【発明の概要】

【発明が解決しようとする課題】

【0006】

前述の説明から分かるように、工業製品に対して外観検証を行うために用いられる従来の自動光学検査システムでは、依然として不具合があり、改善が望まれている。
以上に鑑み、本発明の発明者は、鋭意研究考案した結果、遂に本発明に係る検査のために適用される自動目標画像捕捉及び校正システムを研究開発して完成させた。

【0007】

本発明の主要な目的は、検査のために適用される自動目標画像捕捉及び校正システムを提供することである。本発明の設計によれば、電子機器は、第１ロボットアームが反転順序に沿って物品を反転させるように制御すると共に、第１ビデオカメラが当該物品を反転させる過程において、順次に複数個の２次元映像を取得するように制御する。継続的に、前記複数個の２次元映像から識別特徴（例えば、レーザーラベルまたは当該物品の認識可能な特徴）を含む少なくとも１個の当該２次元映像を見つけ出した後、前記電子機器は、複数個の当該２次元映像に応じて当該物品の相対位置と相対３次元座標とを確認し、次に第２ロボットアームは、第２ビデオカメラを挟持すると共に、前記第２ビデオカメラを複数回に分けて移動させることによって、それを複数回に分けて当該物品の多数個の表面に対面させるに従って、当該物品の多数個の表面の中のＮ個からＮ個の物品映像を対応して取得するように制御する。最終的に、前記電子機器は、当該物品映像に対して瑕疵検査を行い、各当該物品映像において少なくとも１つの瑕疵が含有されるか否かを確定する。

【0008】

簡単に言えば、本発明は、レーザーラベルを識別する方式を用いて物品の相対位置と相対３次元座標とを確立し、このことから、後続的に１個のロボットアームによる１個のビデオカメラの持ち運び移動を制御するだけで、前記ビデオカメラを当該物品の被検査面に正確に対面させることができ、当該物品の自動目標画像捕捉を実現させ、瑕疵検査精度が保証される。なおかつ、本発明の瑕疵検査システムを、その他の物品に対して瑕疵検査を行うために適用するときに、技術者は、ビデオカメラの設置高度と設置角度とを手動調整する必要がなく、光源方向と強度とをチューニングする必要もない。

【課題を解決するための手段】

【0009】

上記の目的を達成するために、本発明によって、自動目標画像捕捉及び校正システムの一実施例が提出される。それは、第１ロボットアームと、第１ビデオカメラと、少なくとも１つの第２ロボットアームと、電子機器とを備え、第１ロボットアームは、第１搬送ベルトと第２搬送ベルトとに同時に近接するように設置され、その内、前記第１搬送ベルトにより複数個の物品を搬送し、かつ当該物品の少なくとも１面の表面に識別特徴が設置され、第１ビデオカメラは、前記第１ロボットアームと近接するように設置され、少なくとも１つの第２ロボットアームは、前記第２搬送ベルトと近接するように設置され、かつ各当該第２ロボットアームは、第２ビデオカメラを把持し、電子機器は、前記第１ロボットアームと、前記第１ビデオカメラと、前記少なくとも１つの第２ロボットアームと、前記少なくとも１つの第２ビデオカメラとに電気接続され、かつマイクロプロセッサと、メモリとを含み、その内、前記メモリ内には、プログラミング言語を利用して編集される応用プログラムが格納されることによって、前記マイクロプロセッサは、前記メモリへのアクセスを介して当該応用プログラムを実行するに従って、以下の機能を始動させる場合に、前記第１ロボットアームは、前記第１搬送ベルトから１個の当該物品を挟み上げると共に、当該物品を挟持して前記第１ビデオカメラの第１画像捕捉範囲内に移動させ、次に裏返し順序に沿って当該物品を反転させるように制御する機能と、前記第１ビデオカメラは、当該物品を当該裏返し順序に沿って反転させるときに、順次に当該物品の複数個の２次元映像を撮影するように制御する機能と、複数個の当該２次元映像に対してラベル認識処理を実行して、識別特徴画像を含む少なくとも１個の当該２次元映像を見つけ出す機能と、少なくとも１個の当該識別特徴画像を含む複数個の当該２次元映像に応じて、当該物品の相対位置と相対３次元座標とを確認すると共に、第１ロボットアームは、当該物品を挟持して前記第２搬送ベルトの上に移動させるように制御する機能と、前記第２ロボットアームは、前記第２ビデオカメラを複数回に分けて移動させることによって、当該物品の複数個の当該表面が複数回に分けて前記第２ビデオカメラの第２画像捕捉範囲内に入るように制御する機能と、前記第２ロボットアームが複数回に分けて前記第２ビデオカメラを移動させる過程において、前記第２ビデオカメラは、当該物品の複数個の当該表面の中のＮ個（Ｎは所定の正整数）からＮ個の物品映像を対応して取得するように制御する機能と、当該物品映像に対して特徴抽出処理を行って対応の特徴画像を獲得し、次に各当該特徴画像と特徴テンプレートとの特徴マッチングプロセスを行うに従って、各当該物品映像において少なくとも１つの瑕疵が含有されるか否かを確定する機能とを動的に遂行する。

【0010】

実行可能な実施例において、前述した本発明の自動目標画像捕捉及び校正システムは、前記電子機器に電気接続され、かつ前記第１ビデオカメラと近接するように設置されるに従って、前記電子機器からの制御に応じて第１検査光を供給して前記第１画像捕捉範囲を明るく照らす第１光源と、前記電子機器に電気接続され、かつ当該第２ビデオカメラと近接するように設置されるに従って、前記電子機器からの制御に応じて第２検査光を供給して当該第２画像捕捉範囲を明るく照らす少なくとも１つの第２光源とをさらに備える。

【0011】

一実行可能な実施例において、前記識別特徴は、ラベルであり、かつ前記ラベルは、２次元バーコードタグ（２Ｄ ｂａｒｃｏｄｅ ｔａｇ）、ＱＲコード（登録商標）タグ（ＱＲ ｃｏｄｅ ｔａｇ）、マトリックスバーコードタグ（ｍａｔｒｉｘ ｂａｒｃｏｄｅ ｔａｇ）、図形模様入りタグ（ｔａｇ ｃｏｎｔａｉｎｉｎｇ ｇｒａｐｈｉｃ ｐａｔｔｅｒｎｓ）、テキストメッセージ入りタグ（ｔａｇ ｃｏｎｔａｉｎｉｎｇ ｔｅｘｔ ｍｅｓｓａｇｅｓ）、アルファベット入りタグ（ｔａｇ ｃｏｎｔａｉｎｉｎｇ ａｌｐｈａｂｅｔｓ）及び数字桁入りタグ（ｔａｇ ｃｏｎｔａｉｎｉｎｇ ｎｕｍｅｒｉｃ ｆｉｇｕｒｅｓ）からなる群より選択される任意の一つである。

【0012】

一実施例において、前記ラベルに搭載された当該物品の複数個の基本情報は、ベンダー識別番号（Ｖｅｎｄｏｒ ＩＤ，ＶＩＤ）と、プロダクト識別番号（Ｐｒｏｄｕｃｔ ＩＤ，ＰＩＤ）と、ロット番号と、シリアル番号とを含む。

【0013】

別の実施例において、前記識別特徴は、当該物品上の認識可能な特徴の一つである。

【0014】

一実施例において、前記電子機器は、映像処理プログラムを動作させるに従って、少なくとも１個の当該識別特徴画像を含む複数個の当該２次元映像に応じて当該物品の３次元映像を再構築し、次に当該物品の前記相対位置と前記相対３次元座標とを確認する。

【0015】

一実施例において、前記映像処理プログラムは、ドロネー三角形分割アルゴリズム（Ｄｅｌａｕｎａｙ ｔｒｉａｎｇｕｌａｔｉｏｎ ａｌｇｏｒｉｔｈｍ）、クラスト三角形分割アルゴリズム（Ｃｒｕｓｔ ｔｒｉａｎｇｕｌａｔｉｏｎ ａｌｇｏｒｉｔｈｍ）及び不規則三角形ネットワーク（Ｔｒｉａｎｇｕｌａｔｅｄ Ｉｒｒｅｇｕｌａｒ Ｎｅｔｗｏｒｋ，ＴＩＮ）アルゴリズムからなる群より選択される１つの映像処理アルゴリズムを含む。

【0016】

一実施例において、前記応用プログラムは、複数個のサブプログラムを含み、かつ前記複数個のサブプログラムは、前記第１ロボットアームにて、前記第１搬送ベルトから１個の当該物品を拾い上げると共に、当該物品を挟持して前記第１ビデオカメラの前記第１画像捕捉範囲内に移動させ、次に当該裏返し順序に沿って当該物品を反転させるように制御するために用いられる第１機構制御プログラムと、前記第１ビデオカメラにて、当該物品を当該裏返し順序に沿って反転させるときに、当該物品に対して画像を捕捉して前記複数個の２次元映像を獲得するように制御するために用いられる第１ビデオカメラ制御プログラムと、複数個の当該２次元映像に対して当該ラベル認識処理を実行して、当該識別特徴画像を含む少なくとも１個の当該２次元映像を見つけ出すために用いられるラベル認識プログラムと、少なくとも１個の当該識別特徴画像を含む複数個の当該２次元映像に応じて当該物品の前記３次元映像を再構築し、次に当該物品の前記相対位置と前記相対３次元座標とを確認することによって、前記第１ロボットアームにて、次に当該物品を挟持して前記第２搬送ベルトの上への移動を可能にさせるために用いられる当該映像処理プログラムと、前記第２ロボットアームにて、前記第２ビデオカメラを複数回に分けて移動させることによって、当該物品の複数個の当該表面が複数回に分けて前記第２ビデオカメラの第２画像捕捉範囲内に入るように制御するために用いられる第２機構制御プログラムと、前記第２ビデオカメラにて、前記第２ロボットアームが複数回に分けて前記第２ビデオカメラを移動させる過程において、当該物品に対して画像を捕捉して前記Ｎ個の物品映像を獲得するように制御するために用いられる第２ビデオカメラ制御プログラムと、Ｎ個の当該物品映像に対して当該特徴抽出処理を行ってＮ個の当該特徴画像を獲得し、次に各当該特徴画像と特徴テンプレートとの当該特徴マッチングプロセスを行うために用いられる瑕疵認識プログラムとを含む。

【0017】

一実行可能な実施例において、前記電子機器は、前記第１搬送ベルトと前記第２搬送ベルトとを制御するための機台制御装置と情報連結される。

【0018】

別の実行可能な実施例において、前記電子機器は、前記第１搬送ベルトと前記第２搬送ベルトとを制御するための機台制御装置の中に整合され、かつ前記機台制御装置は、自動化生産ラインの中に含まれる。

【発明の効果】

【0019】

本発明によれば、レーザーラベルを識別する方式を用いて物品の相対位置と相対３次元座標とを確立し、このことから、後続的に１個のロボットアームによる１個のビデオカメラの持ち運び移動を制御するだけで、前記ビデオカメラを当該物品の被検査面に正確に対面させることができ、当該物品の自動目標画像捕捉を実現させ、瑕疵検査精度が保証される。なおかつ、本発明の瑕疵検査システムを、その他の物品に対して瑕疵検査を行うために適用するときに、技術者は、ビデオカメラの設置高度と設置角度とを手動調整する必要がなく、光源方向と強度とをチューニングする必要もない。

【図面の簡単な説明】

【0020】

【図1】従来技術に係るねじ瑕疵検査システムを模式的に示す斜視図である。

【図2A】本発明に係る検査のために適用される自動目標画像捕捉及び校正システムの第１斜視図である。

【図2B】本発明の自動目標画像捕捉及び校正システムの第２斜視図である。

【図3】図２Ｂに示す第１ロボットアーム、第１ビデオカメラ、第２ロボットアーム、第２ビデオカメラ及び電子機器のブロック図である。

【図4】本発明の検査のために適用される自動目標画像捕捉及び校正システムの第３斜視図である。

【発明を実施するための形態】

【0021】

本発明が提出した検査のために適用される自動目標画像捕捉及び校正システムをより明瞭に記述するために、添付図面を参照しながら、本発明の好適な実施例を以下に詳述する。

【0022】

それぞれ本発明に係る検査のために適用される自動目標画像捕捉及び校正システム１の第１斜視図及び第２斜視図を示す図２Ａ及び図２Ｂを参照する。
図２Ａ及び図２Ｂに示すように、本発明の自動目標画像捕捉及び校正システム１は、第１ロボットアーム１１と、第１ビデオカメラ１２と、少なくとも１つの第２ロボットアーム１３と、少なくとも１つの第２ビデオカメラ１４と、電子機器１５とを備える。本発明の設計によれば、前記第１ロボットアーム１１は、第１搬送ベルト１Ｆと第２搬送ベルト１Ｐとに同時に近接するように設置され、その内、前記第１搬送ベルト１Ｆにより複数個の物品２を搬送し、かつ当該物品２の少なくとも１面の表面に識別特徴２１が設置される。
一実行可能な実施例において、前記識別特徴２１は、ラベルであり、例えば、２次元バーコードタグ（２Ｄ ｂａｒｃｏｄｅ ｔａｇ）、ＱＲコードタグ（ＱＲ ｃｏｄｅ ｔａｇ）、マトリックスバーコードタグ（ｍａｔｒｉｘ ｂａｒｃｏｄｅ ｔａｇ）、図形模様入りタグ（ｔａｇ ｃｏｎｔａｉｎｉｎｇ ｇｒａｐｈｉｃ ｐａｔｔｅｒｎｓ）、テキストメッセージ入りタグ（ｔａｇ ｃｏｎｔａｉｎｉｎｇ ｔｅｘｔ ｍｅｓｓａｇｅｓ）、アルファベット入りタグ（ｔａｇ ｃｏｎｔａｉｎｉｎｇ ａｌｐｈａｂｅｔｓ）または数字桁入りタグ（ｔａｇ ｃｏｎｔａｉｎｉｎｇ ｎｕｍｅｒｉｃ ｆｉｇｕｒｅｓ）であってもよい。その内、かかるラベルは、レーザー彫刻技術を利用して当該物品２の一表面の上に作製されるレーザーラベルであってもよく、また、ラベルステッカーであってもよい。

【0023】

別の実行可能な実施例において、前記識別特徴２１は、当該物品２上の認識可能な特徴の一つである。具体的には、もしかかる識別特徴２１をレーザーラベルとする場合であれば、前記レーザーラベル（すなわち、前記識別特徴２１）に同時に搭載可能な当該物品２の複数個の基本情報は、ベンダー識別番号（Ｖｅｎｄｏｒ ＩＤ，ＶＩＤ）と、プロダクト識別番号（Ｐｒｏｄｕｃｔ ＩＤ，ＰＩＤ）と、ロット番号と、シリアル番号とを含む。なおかつ、本発明の技術において、前記識別特徴２１は、当該物品２の物体角度を同時に認識するために用いられる。

【0024】

図２Ａ及び図２Ｂに示すように、前記第１ビデオカメラ１２は、前記第１ロボットアーム１１と近接するように設置される。より詳細に説明すると、前記少なくとも１つの第２ロボットアーム１３は、前記第２搬送ベルト１Ｐと近接するように設置され、かつ各当該第２ロボットアーム１３は、第２ビデオカメラ１４を把持する。
さらに、図３は、図２Ｂに示す第１ロボットアーム１１、第１ビデオカメラ１２、第２ロボットアーム１３、第２ビデオカメラ１４及び電子機器１５のブロック図である。
図２Ａ、図２Ｂ及び図３に示すように、前記電子機器１５は、前記第１ロボットアーム１１と、前記第１ビデオカメラ１２と、前記少なくとも１つの第２ロボットアーム１３と、前記少なくとも１つの第２ビデオカメラ１４とに電気接続され、かつマイクロプロセッサ１５Ｐと、メモリ１５Ｍとを含む。
本発明の設計によれば、前記メモリ１５Ｍ内には、プログラミング言語を利用して編集される応用プログラムが格納され、かつデータベース１５７を同時に含有する。本発明の自動目標画像捕捉及び校正システム１の正常稼働時に、前記マイクロプロセッサ１５Ｐは、前記メモリ１５Ｍへのアクセスを介して当該応用プログラムを実行することが理解されるべきである。より詳細に説明すると、前記応用プログラムは、複数個のサブプログラムを含み、かつ前記複数個のサブプログラムは、第１機構制御プログラム１５１と、第１ビデオカメラ制御プログラム１５２と、ラベル認識プログラム１５３と、映像処理プログラム１５０と、第２機構制御プログラム１５４と、第２ビデオカメラ制御プログラム１５５と、瑕疵認識プログラム１５６とを含む。

【0025】

正常稼働時に、前記マイクロプロセッサ１５Ｐは、当該第１機構制御プログラム１５１を実行するに従って、前記第１ロボットアーム１１は、前記第１搬送ベルト１Ｆから１個の当該物品２を挟み上げると共に、当該物品２を挟持して前記第１ビデオカメラ１２の第１画像捕捉範囲内に移動させ、次に裏返し順序に沿って当該物品２を反転させるように制御する。
当該物品２を当該裏返し順序に沿って反転させる過程において、前記マイクロプロセッサ１５Ｐは、当該第１ビデオカメラ制御プログラム１５２を同時に実行するに従って、前記第１ビデオカメラ１２は、順次に当該物品２の複数個の２次元映像を撮影するように制御する。継続的に、前記マイクロプロセッサ１５Ｐは、当該ラベル認識プログラム１５３を実行するに従って、複数個の当該２次元映像に対してラベル認識処理を実行して、識別特徴画像を含む少なくとも１個の当該２次元映像を見つけ出す。言い換えれば、物品２を第１搬送ベルト１Ｆに送り込んだ後、本発明の自動目標画像捕捉及び校正システム１は、直ちに当該物品２を反転させて前記識別特徴２１を見つけることで、当該物品２の物体角度を確認する。

【0026】

図２Ａ、図２Ｂ及び図３に示すように、当該物品２を反転させることを介して前記識別特徴２１を見つけた後、当該物品２の物体角度と空間位置が直ちに確認される。次に、前記マイクロプロセッサ１５Ｐは、当該映像処理プログラム１５０を実行するに従って、少なくとも１個の当該識別特徴画像を含む複数個の当該２次元映像に応じて当該物品２の１次元映像または３次元映像を再構築し、次に当該物品２の相対位置と相対３次元座標とを確認する。一実施例において、当該映像処理プログラム１５０は、映像処理アルゴリズムを含み、かつ前記映像処理アルゴリズムは、例えば、ドロネー三角形分割アルゴリズム（Ｄｅｌａｕｎａｙ ｔｒｉａｎｇｕｌａｔｉｏｎ ａｌｇｏｒｉｔｈｍ）、クラスト三角形分割アルゴリズム（Ｃｒｕｓｔ ｔｒｉａｎｇｕｌａｔｉｏｎ ａｌｇｏｒｉｔｈｍ）または不規則三角形ネットワーク（Ｔｒｉａｎｇｕｌａｔｅｄ Ｉｒｒｅｇｕｌａｒ Ｎｅｔｗｏｒｋ，ＴＩＮ）アルゴリズムであってもよいが、これらに限定されない。

【0027】

物品２の相対位置と相対３次元座標とを把握した後、前記第１ロボットアーム１１は、前記マイクロプロセッサ１５Ｐからの制御に応じて当該物品２を前記第２搬送ベルト１Ｐの上に移動させて載置する。その後、前記マイクロプロセッサ１５Ｐは、当該第２機構制御プログラム１５４を実行するに従って、前記第２ロボットアーム１３は、前記第２ビデオカメラ１４を複数回に分けて移動させることによって、当該物品２の複数個の当該表面が複数回に分けて前記第２ビデオカメラ１４の第２画像捕捉範囲内に入るように制御する。言い換えれば、前記第２ロボットアーム１３は、制御されて前記第２ビデオカメラ１４を複数回に分けて移動させることによって、前記第２ビデオカメラ１４を複数回に分けて当該物品２の多数個の表面に対面させる。

【0028】

前記第２ロボットアーム１３が複数回に分けて前記第２ビデオカメラ１４を移動させる過程において、前記マイクロプロセッサ１５Ｐが、当該第２ビデオカメラ制御プログラム１５５を実行するに従って、前記第２ビデオカメラ１４は、当該物品２の複数個の当該表面の中のＮ個からＮ個の物品映像を対応して取得するように制御する。Ｎは所定の正整数である。一般的に、１個の工業製品（すなわち、物品２）は、上表面、下表面、前表面、後表面、左表面及び右表面を含む６個の表面を有する。外観検査を行うときに、関連検査規定に準拠して前記工業製品の６個の表面のうちのいくつかの表面に対して最も詳細な外観検査を実行する。このため、前記工業製品は、Ｎ個の被検面を有すると称することができる。こうして、当該物品２が前記第２搬送ベルト１Ｐに載置された後、前記マイクロプロセッサ１５Ｐは、直ちに前記第２ロボットアーム１３が前記第２ビデオカメラ１４を複数回に分けて移動させることによって、前記第２ビデオカメラ１４を複数回に分けて当該物品２のＮ個の被検面に対面させると共に、前記Ｎ個の受検面からＮ個の物品映像を対応して取得するように制御することが理解され得る。

【0029】

最終的に、前記マイクロプロセッサ１５Ｐは、当該瑕疵認識プログラム１５６を実行するに従って、当該物品映像に対して特徴抽出処理を行って対応の特徴画像を獲得し、次に各当該特徴画像と特徴テンプレートとの特徴マッチングプロセスを行うに従って、各当該物品映像において少なくとも１つの瑕疵が含有されるか否かを確定する。当該瑕疵認識プログラム１５６は、少なくとも１つの事前に訓練された（Ｐｒｅ－ｔｒａｉｎｅｄ）物品瑕疵認識モデルを含み、当該物品瑕疵認識モデルは、前記特徴画像と前記特徴テンプレートとの特徴マッチングを完了させると共に、前記特徴画像に含有される瑕疵の種類を確認することが理解されるべきである。

【0030】

図４は、本発明の検査のために適用される自動目標画像捕捉及び校正システム１の第３斜視図である。
図４に示すように、実行可能な実施例において、本発明の自動目標画像捕捉及び校正システム１は、第１光源１６と、少なくとも１つの第２光源１７とをさらに備えてもよい。その内、前記第１光源１６は、前記電子機器１５に電気接続され、かつ前記第１ビデオカメラ１２と近接するように設置されるに従って、前記電子機器１５からの制御に応じて第１検査光を供給して前記第１画像捕捉範囲を明るく照らす。一方、当該第２光源１７は、前記電子機器１５に電気接続され、かつ当該第２ビデオカメラ１４と近接するように設置されるに従って、前記電子機器１５からの制御に応じて第２検査光を供給して当該第２画像捕捉範囲を明るく照らす。

【0031】

補足説明すると，本発明の自動目標画像捕捉及び校正システム１の電子機器１５は、前記第１搬送ベルト１Ｆと前記第２搬送ベルト１Ｐとを制御するための機台制御装置と情報連結され、前記機台制御装置は、自動化生産ラインの中に含まれる。あるいは、前記電子機器１５を、前記第１搬送ベルト１Ｆと前記第２搬送ベルト１Ｐとを制御するための前記機台制御装置の中に直接的に整合させることも可能である。

【0032】

以上、本発明に係る検査のために適用される自動目標画像捕捉及び校正システムを既に十分かつ明瞭に説明してきた。しかしながら、強調すべき点は、上記の詳細な説明は、本発明の実行可能な実施例を具体的に説明したものであるが、本発明の権利範囲はこれらの実施例に限定されるものではなく、本発明の技術的精神を逸脱しない限り、その等効果実施または変更は、なお、本願の特許請求の範囲内に含まれるとする点である。

【符号の説明】

【0033】

＜従来技術＞
１ａ ねじ瑕疵検査システム
１１ａ 運搬プラットフォーム
１２ａ 撮影機器
１３ａ 映像処理装置
１４ａ 調整可能な支持機構
＜本発明＞
１ 自動目標画像捕捉及び校正システム
１１ 第１ロボットアーム
１Ｆ 第１搬送ベルト
１Ｐ 第２搬送ベルト
１２ 第１ビデオカメラ
１３ 第２ロボットアーム
１４ 第２ビデオカメラ
１５ 電子機器
１５Ｐ マイクロプロセッサ
１５Ｍ メモリ
１５０ 映像処理プログラム
１５１ 第１機構制御プログラム
１５２ 第１ビデオカメラ制御プログラム
１５３ ラベル認識プログラム
１５４ 第２機構制御プログラム
１５５ 第２ビデオカメラ制御プログラム
１５６ 瑕疵認識プログラム
１５７ データベース
１６ 第１光源
１７ 第２光源
２ 物品
２１ 識別特徴

【図1】

【図2A】

【図2B】

【図3】

【図4】