特開 2024-119748 自動視覚検査システムの柔軟で直感的な配置システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024119748

(43)【公開日】2024-09-03

(54)【発明の名称】自動視覚検査システムの柔軟で直感的な配置システム

(51)【国際特許分類】

   G06Q 50/04 20120101AFI20240827BHJP

【ＦＩ】

G06Q50/04

【審査請求】有

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2024010974

(22)【出願日】2024-01-29

(31)【優先権主張番号】112106428

(32)【優先日】2023-02-22

(33)【優先権主張国・地域又は機関】TW

(71)【出願人】

【識別番号】520273991

【氏名又は名称】開必拓數據股▲分▼有限公司

(71)【出願人】

【識別番号】522454998

【氏名又は名称】孫逢佐

(71)【出願人】

【識別番号】522455009

【氏名又は名称】葉怡▲テイ▼

(71)【出願人】

【識別番号】522455010

【氏名又は名称】孫逢佑

(74)【代理人】

【識別番号】100201329

【弁理士】

【氏名又は名称】山口 真二郎

(74)【代理人】

【識別番号】100167601

【弁理士】

【氏名又は名称】大島 信之

(74)【代理人】

【識別番号】100220917

【弁理士】

【氏名又は名称】松本 忠大

(72)【発明者】

【氏名】孫逢佐

(72)【発明者】

【氏名】葉怡▲テイ▼

(72)【発明者】

【氏名】孫逢佑

(72)【発明者】

【氏名】黄俊堂

(72)【発明者】

【氏名】張榮華

(72)【発明者】

【氏名】田宜湘

(72)【発明者】

【氏名】沈孟澤

(72)【発明者】

【氏名】周博翰

(57)【要約】      （修正有）

【課題】自動視覚検査システムの柔軟で直感的な配置システムを提供する。
【解決手段】柔軟で直感的な配置システム１において、電子装置１１は、自動視覚検査システムの主制御電子装置２３と電気接続されることにより、自動視覚検査システムのＮ個の撮像機及びＮ個のロボットアーム２１と情報連結される。まず、各ロボットアームに対してアーム設置操作を行うと共に、ロボットアームで把持された撮像機２２に対して撮像機設置操作を行い、その後、撮像機によって指定の物品を撮影するように制御する。該システムには、撮像機及びロボットアームの配置パラメータが対応して記録されており、かつ、物品の複数枚の物品映像を遠隔電子装置にアップロードする。遠隔電子装置は、複数枚の物品映像を利用して物品瑕疵識別モデルを生成する。物品瑕疵識別モデルを主制御電子装置にインストールすることにより、物品に対して自動化瑕疵検査を行わせる。
【選択図】図１

【特許請求の範囲】

【請求項1】

自動視覚検査システムに対して設定操作を行うために用いられることにより、前記自動視覚検査システムは、物品に対して自動化瑕疵検査を行わせることへの応用に適している柔軟で直感的な配置システムであって、
前記自動視覚検査システムは、搬送設備と、Ｎ個のロボットアームと、それぞれ前記Ｎ個のロボットアームで把持されたＮ個の撮像機及び主制御電子装置とを備え、かつＮが少なくとも１以上の正の整数であり、前記柔軟で直感的な配置システムは、前記主制御電子装置と電気接続されるに従い、前記主制御電子装置を通じて前記Ｎ個の撮像機及び前記Ｎ個のロボットアームと情報連結され、第１プロセッサと、第１メモリとを含む電子装置を備え、前記第１メモリ内に第１応用プログラムを格納することにより、前記第１プロセッサは、前記第１メモリへのアクセスを介して前記第１応用プログラムを実行するに従い、以下の機能を有効にし、
前記ロボットアームが操作されることで、前記撮像機をＫ回移動させるに従い、前記撮像機は、毎回の移動後にいずれも撮像高さと、撮像角度と、撮像距離とを有する過程において、前記撮像機は、毎回の移動後に１個の前記撮像高さ、１個の前記撮像角度及び１個の前記撮像距離を１組の外部撮像パラメータとして記録するに従い、Ｋ組の前記外部撮像パラメータを合計して獲得し、Ｋが少なくとも１以上の正の整数であり、
前記撮像機は、毎回の移動後にまた続けて撮像機調整操作を受け付けて絞り値（Ａｐｅｒｔｕｒｅ）と、被写界深度（Ｄｅｐｔｈ ｏｆ ｆｉｅｌｄ）と、シャッター速度（Ｓｈｕｔｔｅｒ ｓｐｅｅｄ）と、感光度（ＩＳＯ）と、焦点距離（Ｆｏｃｕｓ）とを有する場合には、１個の前記絞り値、１個の前記被写界深度、１個の前記シャッター速度、１個の前記感光度及び１個の前記焦点距離を１組の内部撮像パラメータとして記録するに従い、前記撮像機をＫ回移動させた後にＫ組の前記内部撮像パラメータを合計して獲得し、
前記撮像機は、前記搬送設備で運搬される物品（Ａｒｔｉｃｌｅ）から撮影を行うことで、定常的な特徴を有する複数枚の第１物品映像及び瑕疵特徴を有する複数枚の第２物品映像を獲得した後、前記複数枚の第１物品映像及び前記複数枚の第２物品映像を遠隔電子装置にアップロードし、
前記遠隔電子装置は、前記複数枚の第１物品映像及び前記複数枚の第２物品映像を利用して少なくとも１つの更新モジュールを生成した後、前記更新モジュールを利用して前記主制御電子装置内にインストールされている第１物品瑕疵識別モデルに対してモデル更新操作を行うか、又は前記更新モジュールを利用して前記主制御電子装置内に第２物品瑕疵識別モデルをインストールすることを特徴とする、柔軟で直感的な配置システム。

【請求項2】

前記電子装置は、スマートフォン、タブレットコンピュータ、デスクトップ型コンピュータ、一体型（Ａｌｌ－ｉｎ－ｏｎｅ）コンピュータ及びノート型コンピュータからなる群より選択される任意の一つであることを特徴とする、請求項１に記載の柔軟で直感的な配置システム。

【請求項3】

前記撮像機は、携帯電子装置中に含まれ、かつ前記携帯電子装置は、スマートフォン及びタブレットコンピュータからなる群より選択される任意の一つであることを特徴とする、請求項１に記載の柔軟で直感的な配置システム。

【請求項4】

前記携帯電子装置は、慣性計測ユニット（ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ：ＩＭＵ）と、レーザー画像検出と測距（Ｌａｓｅｒ ｉｍａｇｉｎｇ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ：ＬｉＤＡＲ）ユニットとを含み、前記撮像機は、毎回の移動後に三次元移動データと、三次元計測データとを取得すると共に、前記携帯電子装置を介して前記三次元移動データと、前記三次元計測データとを前記電子装置に伝送するために用いられることで、前記電子装置は、前記三次元移動データ及び前記三次元計測データを前記外部撮像パラメータにおいて整合させることを特徴とする、請求項３に記載の柔軟で直感的な配置システム。

【請求項5】

前記携帯電子装置は、慣性計測ユニット（ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ：ＩＭＵ）を含むと共に、前記ロボットアームに連接された治具上に設置され、かつレーザー画像検出と測距（Ｌａｓｅｒ ｉｍａｇｉｎｇ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ：ＬｉＤＡＲ）ユニットは、前記治具上に設置されると共に、前記携帯電子装置に電気的に接続されることを特徴とする、請求項３に記載の柔軟で直感的な配置システム。

【請求項6】

前記撮像機は、毎回の移動後に前記慣性計測ユニットと、前記レーザー画像検出と測距ユニットとは、それぞれ三次元移動データと、三次元計測データとを獲得し、かつ前記携帯電子装置は、前記三次元移動データと、前記三次元計測データとを前記電子装置に伝送することで、前記電子装置は、前記三次元移動データ及び前記三次元計測データを前記外部撮像パラメータにおいて整合させることを特徴とする、請求項５に記載の柔軟で直感的な配置システム。

【請求項7】

前記第１プロセッサは、Ｎ個の前記ロボットアームに対応する複数組の前記外部撮像パラメータを前記第１メモリ中に記録して格納し、かつＮ個の前記撮像機に対応する複数組の前記内部撮像パラメータを前記第１メモリ中に記録して格納することを特徴とする、請求項１に記載の柔軟で直感的な配置システム。

【請求項8】

前記第１プロセッサは、前記第１応用プログラムを実行した後に、前記電子装置の表示器には操作インタフェースを表示させ、ユーザは、前記操作インタフェースを操作するに従い、前記複数枚の第１物品映像及び前記複数枚の第２物品映像に対してラベル処理を行うことが可能となり得ることを特徴とする、請求項１に記載の柔軟で直感的な配置システム。

【請求項9】

前記搬送設備は、搬送ベルト機構と、前記搬送ベルト機構を駆動するために用いられるモータと、距離センサとを含み、かつ前記第１プロセッサは、前記第１応用プログラムを実行するに従い、さらに以下の機能を有効にし、
前記モータを回転率で動作させるように設定されるに従い、前記搬送ベルト機構を駆動する場合には、前記回転率をモータ制御パラメータとして記録し、
前記搬送ベルト機構で前記物品を運搬するに従い、それがｊ台目の前記撮像機の撮像範囲内に入っている場合に、ｊ番目の移動距離を物品位置決めパラメータとして記録し、ｊ∈Ｎを満たし、
前記モータ制御パラメータと、Ｎ個の前記物品位置決めパラメータとに基づいて前記主制御電子装置内にインストールされている装置制御ソフトウェアに対してパラメータの更新操作を行うことを特徴とする、請求項１に記載の柔軟で直感的な配置システム。

【請求項10】

前記自動視覚検査システムは、Ｎ個の光源をさらに含み、かつ前記第１プロセッサは、前記第１応用プログラムを実行するに従い、以下の機能を有効にし、
前記光源は、光源調整操作を経由して光照射範囲と、光強度と、色温度と、光色とを有する場合には、前記光照射範囲、前記光強度、前記色温度及び前記光色を１組の照明パラメータとして記録し、
前記照明パラメータに基づいて前記主制御電子装置にインストールされている前記装置制御ソフトウェアに対して前記パラメータの更新操作を行うことを特徴とする、請求項９に記載の柔軟で直感的な配置システム。

【請求項11】

前記主制御電子装置は、第２プロセッサと、第２メモリとを含み、前記第２メモリ内に第２応用プログラムを格納することにより、前記第２プロセッサは、前記第２メモリへのアクセスを介して前記第２応用プログラムを実行するに従い、以下の機能を有効にし、
前記ロボットアームは、それに対応する前記外部撮像パラメータに基づいて作動を行うように制御するに従い、前記撮像機を対応して移動させ、
前記光源は、それに対応する前記照明パラメータに基づいて提供された検査光を前記物品に向けて射光するように制御し、
前記撮像機は、それに対応する前記内部撮像パラメータに基づいて前記物品から物品映像を撮り得るように制御し、
前記物品瑕疵識別モデルを利用して前記物品映像に対して瑕疵識別操作を実行するに従い、前記物品に少なくとも１つの瑕疵を有するか否かを確定することを特徴とする、請求項１０に記載の柔軟で直感的な配置システム。

【請求項12】

前記自動視覚検査システムは、前記搬送設備の材料出口近傍に設置される少なくとも１つの材料排出装置をさらに含み、かつ前記第１プロセッサは、前記第１応用プログラムを実行するに従い、さらに以下の機能を有効にし、
１個の前記物品を前記搬送ベルト機構にてＮ個の移動距離を移動させると共に、次いでＮ＋１番目の移動距離を移動させた後、前記Ｎ＋１番目の移動距離を材料排出パラメータとして記録し、
前記材料排出装置が操作されることで、１個の前記物品の材料を集積ボックスに排出する場合には、前記物品は、初期高さと、置き角度と、終末高さとを有し、前記初期高さ、前記置き角度及び前記終末高さを１組の材料排出装置パラメータとして記録し、
前記材料排出パラメータと、Ｎ個の前記材料排出装置パラメータとに基づいて前記主制御電子装置内にインストールされている前記装置制御ソフトウェアに対して前記パラメータの更新操作を行うことを特徴とする、請求項１１に記載の柔軟で直感的な配置システム。

【請求項13】

前記自動視覚検査システムは、前記搬送設備の材料給口近傍に設置される少なくとも１つの物品載置装置をさらに含み、かつ前記第１プロセッサは、前記第１応用プログラムを実行するに従い、さらに以下の機能を有効にし、
前記物品載置装置が操作されることで、１個の前記物品を前記搬送設備上に載置する場合には、前記物品は、初期高さと、置き角度と、終末高さとを有し、前記初期高さ、前記置き角度及び前記終末高さを物品載置装置パラメータとして記録し、
前記物品載置装置パラメータに基づいて前記主制御電子装置内にインストールされている前記装置制御ソフトウェアに対して前記パラメータの更新操作を行うことを特徴とする、請求項１２に記載の柔軟で直感的な配置システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マシンビジョンの技術分野に係り、特に、自動視覚検査システムの柔軟で直感的な配置システムに関するものである。

【背景技術】

【0002】

一般的に言えば、工業技術を利用して生産製造される半完成品又は完成品は、工業標準に合致するか否かを判断するために、それらに対して品質検証を行う必要があり、その内、品質検証は、外観（ｃｏｓｍｅｔｉｃ）検査と、機能テストとを含む。実際の経験によると、品質検査員が工業製品の外観検査を行う時に、しばしば検査漏れや誤検査が発生する事がある。これに鑑み、マシンビジョン（ｍａｃｈｉｎｅ ｖｉｓｉｏｎ）技術を利用した自動視覚検査（Ａｕｔｏｍａｔｅｄ ｖｉｓｕａｌ ｉｎｓｐｅｃｔｉｏｎ）システムは、自動化生産ラインに開発されて導入され、人間の労力の代わりとして工業半完成品又は完成品の利用に対して外観検査を実行するために用いられる。例を挙げて言えば、特許文献１には、ナットや歯車などに対して瑕疵検査を行うために用いられる自動視覚検査システムが開示されており、かつ前記自動視覚検査システムは、主に光源と、少なくとも１つの撮像機と、処理装置（あるいは、電子装置と称する）とを備える。

【0003】

一般的に言うと、１個の工業製品を工場から出荷する前に、外観上、製品自体をカバーする数多くある角度から異常の有無を検証する必要がある。同時に、工業製品の市場動向に伴い、少量多様化が要求され、かつプロダクトライフサイクルの短縮化を図る傾向にある。このため、異なる型番の工業製品は、外観上の変化速度が速く、生産ライン上の自動視覚検査システムは、その設置頻度に随伴して製品の外観を速く変えることが必要になる場合もあり、その結果、頻繁に変動するような状況においては、人員の介入による設置が必要となる場合がある。歯車（ｇｅａｒ）に対して瑕疵検査を行うことを例示すると、品質検査員は、関連検査規定に準拠して前記歯車のいくつかの表面に対して検証を行い、前記歯車の模様に異物付着、凹み痕、スクラッチ傷、色違い、タップなし（すなわち、ねじ孔内での内ねじ山をなくす）が存在するか否かを確認する。このため、前記自動視覚検査システムは、輸送ベルトで運搬される１ロットの歯車に対して正確な瑕疵検査を施すことが可能となるように、システムの製造メーカーは、通常、前記電子装置内にデータベースと、瑕疵識別ソフトウェアとを設置することがある。説明に値するのは、前記データベースに複数枚のラベル化瑕疵歯車映像及び正常品映像（Ｇｏｌｄｅｎ Ｓａｍｐｌｅ）が予め格納され、かつ予め分類されたこれらの歯車映像は、それぞれ異物付着あり、凹み痕、スクラッチ傷、色違いやタップなしなどの複数個の参照欠陥特徴画像として処理される点である。この設置に準じて、前記撮像機は、１個の歯車から少なくとも１つの歯車映像を撮影して獲得した後に、前記瑕疵識別ソフトウェアは、まず、前記歯車映像に対して特徴抽出処理を行って歯車特徴画像を獲得する。次いで、前記瑕疵識別ソフトウェアは、前記歯車特徴画像及び前記データベース内に格納された少なくとも１個の参照欠陥特徴画像に対して特徴対比を行うに従い、現時点の被検歯車に関連検査規定によって定義される瑕疵が存在するか否かを確定する。

【0004】

瑕疵検査に応用される自動視覚検査システムの開発製造に熟練した技術者であれば、前記自動視覚検査システムによって型番Ａの歯車に対して正確な瑕疵検査及び識別を施そうとする可能性がある場合、技術者は、個々の撮像機ごとの設置高度、設置角度、撮像距離や絞り値の大小などの撮像パラメータをチューニングする必要があるほか、同時に光源の光照射範囲及び光強度をチューニングする必要もあることが分かるはずである。さらに複雑なことは、歯車の製造メーカーの品質検査員が生産過程上に新形態の瑕疵を発見する時に、瑕疵の位置又は所望の光学条件の相違に起因して、必ずしも事前に技術者は、既にチューニング完了した視覚システムのパラメータを使用して映像を採取できるとは限らない。このため、品質検査員は、一番早い時刻に新タイプの欠陥特徴付きの多数枚の歯車映像の提供を促進することができず、技術者は、予め分類された前述の歯車映像を作製することが可能となる。いかなる瑕疵に対しても、予めパラメータの配置を完了した撮像機による撮影が円滑に行えると仮定している。次いで、技術者は、機械学習（Ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）技術を利用して瑕疵識別ソフトウェア中に包含されている瑕疵識別モデルを構築することができる。前記瑕疵識別モデルは、以下のステップａ～ｅを利用して生成される。ステップａにて、複数個のサンプル画像を機械学習モデルに入力し、各前記サンプル画像の予測種別情報を獲得し、その内、前記複数個のサンプル画像は、複数個の歯車画像と、瑕疵特徴付きの複数個の歯車画像とを含み、かつ各前記サンプル画像は、いずれも種別ラベル付き（すなわち、ｌａｂｅｌｅｄ）のものである。ステップｂにて、前記サンプル画像の前記予測種別情報と前記種別ラベルとの間の差異に基づいて、前記機械学習モデルのモデルパラメータを調整するに従い、調整後の機械学習モデルを獲得する。ステップｃにて、調整後の機械学習モデルを利用して複数個のテスト画像に対して分類を行い、分類精度を獲得し、その内、前記複数個のテスト画像は、複数個の歯車画像と、瑕疵特徴付きの複数個の歯車画像とを含む。ステップｄにて、前記分類精度が精度しきい値に達していない場合、前述の全てのステップを繰り返し実行する。ステップｅにて、前記分類精度が前記精度しきい値に達した場合、前記調整後の機械学習モデルを前記瑕疵識別ソフトウェア中に整合される瑕疵識別モデルとする。

【0005】

換言すれば、歯車の製造メーカーから技術者へ前記自動視覚検査システムを再びチューニングすることを要求すれば、これに応じて型番Ｂの歯車に対して正確な瑕疵検査及び識別を行うために用いられることが可能であり、この時、技術者は、個々の撮像機ごとの設置高度、設置角度、撮像距離や絞り値の大小などの撮像パラメータをチューニングする必要があるほか、同時に光源の光照射範囲及び照明強度をチューニングする必要もある。さらに重要なことは、歯車の製造メーカーの品質検査員が光学設備に関する専門知識を持たない場合に、光学設備の調整を介して生産過程において欠陥特徴付きの多数枚の歯車映像を持続的に提供することに役立たないため、技術者でも、対応のラベル化歯車映像及び瑕疵識別モデルの作製ができなくなるに至る。このため、多数の型番の歯車の検査を支援することが可能となり、前期の光学設置作業の完成が容易とは言えないもので、完成を可能にするには、相当な専門の労力と時間を費やす必要がある場合がある。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】台湾登録実用新案第Ｍ３５５３７１Ｕ号明細書

【発明の概要】

【発明が解決しようとする課題】

【0007】

これに鑑み、オリジナルな自動視覚検査システムは、これらを考慮して開発されたものであり、それは、品質検査員が自ら光源及び撮像機の関連パラメータを設定することを許容し、かつ品質検査員の弾性的かつ直感的な操作で、異なる型番の歯車の品質検査標準を学習することが可能になり、瑕疵識別モデルを訓練して異なる型番の歯車の外観欠陥を正確に検査して識別することが可能となる。このため、本発明の考案者は、極力研究考案した結果、遂に本発明に係る自動視覚検査システムの柔軟で直感的な配置システムを研究開発して完成させた。

【0008】

本発明の主要な目的は、電子装置を利用して実現した柔軟で直感的な配置システムを提供することであり、その内、前記電子装置は、自動視覚検査システムの主制御電子装置と電気接続されることにより、前記自動視覚検査システムのＮ個の撮像機及びＮ個のロボットアームと情報連結される。前記自動視覚検査システムに対して設定手順を行う時は、まず、各前記ロボットアームに対してアーム設置操作を行うと共に、前記ロボットアームで把持された撮像機に対して撮像機設置操作を行い、その後、前記撮像機によって指定の物品を撮影するように制御する。過程において、この柔軟で直感的な配置システムには、撮像機及びロボットアームの配置パラメータが対応して記録されており、かつ前記物品の複数枚の物品映像を遠隔電子装置にアップロードすることで、前記遠隔電子装置は、前記複数枚の物品映像を利用して物品瑕疵識別モデルを生成する。最終的に、前記物品瑕疵識別モデルを前記主制御電子装置にインストールすることにより、前記自動視覚検査システムは、前記物品に対して自動化瑕疵検査を行わせることへの応用に適している。

【0009】

例を挙げて言えば、本発明の柔軟で直感的な配置システムは、タブレットコンピュータ（すなわち、前述の電子装置）にインストールされている応用プログラムであってもよく、製造工場の品質検査員は、前記タブレットコンピュータを操作してその工場内の任意の１つの自動視覚検査システムに対して前述のような設定手順を行うことができ、前記自動視覚検査システムが変更して配置させられた後、指定の物品に対して自動化瑕疵検査を行うことに転用可能である。特に、前記自動視覚検査システムに前記設定手順を受け付ける過程全体においては、技術者の介入を必要としないで、撮像機及びロボットアームの配置パラメータのチューニングを、品質検査員がその平時の人工的な品質検査の経験を頼りに、自らロボットアームの角度を直感的に調整できると共に、スマートハンドヘルド装置を介して写真を撮る方式により、瑕疵サンプルのイメージングを完成させることができる。技術者は、単に前記遠隔電子装置を操作するだけで、前記遠隔電子装置の前記操作を利用して品質検査員が提供する複数枚の物品映像に基づいて物品瑕疵識別モデルを生成することができる。

【課題を解決するための手段】

【0010】

上記の目的を達成するために、本発明が提供する前記柔軟で直感的な配置システムの一実施例において、それは、自動視覚検査システムに対して設定操作を行うために用いられることにより、前記自動視覚検査システムは、物品に対して自動化瑕疵検査を行わせることへの応用に適しており、その内、前記自動視覚検査システムは、搬送設備と、Ｎ個のロボットアームと、それぞれＮ個のロボットアームで把持されたＮ個の撮像機及び主制御電子装置とを備え、かつＮが少なくとも１以上の正の整数であり、前記柔軟で直感的な配置システムは、前記主制御電子装置と電気接続されるに従い、前記主制御電子装置を通じて前記Ｎ個の撮像機及び前記Ｎ個のロボットアームと情報連結される電子装置を備え、その内、前記電子装置は、第１プロセッサと、第１メモリとを含み、前記第１メモリ内に第１応用プログラムを格納することにより、前記第１プロセッサは、前記第１メモリへのアクセスを介して前記第１応用プログラムを実行するに従い、以下の機能を有効にし、前記ロボットアームが操作されることで、前記撮像機をＫ回移動させるに従い、前記撮像機は、毎回の移動後にいずれも撮像高さと、撮像角度と、撮像距離とを有する過程において、前記撮像機は、毎回の移動後に１個の前記撮像高さ、１個の前記撮像角度及び１個の前記撮像距離を１組の外部撮像パラメータとして記録するに従い、Ｋ組の前記外部撮像パラメータを合計して獲得し、その内、Ｋが少なくとも１以上の正の整数であり、前記撮像機は、毎回の移動後にまた続けて撮像機調整操作を受け付けて絞り値（Ａｐｅｒｔｕｒｅ）と、被写界深度（Ｄｅｐｔｈ ｏｆ ｆｉｅｌｄ）と、シャッター速度（Ｓｈｕｔｔｅｒ ｓｐｅｅｄ）と、感光度（ＩＳＯ）と、焦点距離（Ｆｏｃｕｓ）とを有する場合には、１個の前記絞り値、１個の前記被写界深度、１個の前記シャッター速度、１個の前記感光度及び１個の前記焦点距離を１組の内部撮像パラメータとして記録するに従い、前記撮像機をＫ回移動させた後にＫ組の前記内部撮像パラメータを合計して獲得し、前記撮像機は、前記搬送設備で運搬される物品（Ａｒｔｉｃｌｅ）に対して撮影を行うことで、定常的な特徴を有する複数枚の第１物品映像及び瑕疵特徴を有する複数枚の第２物品映像を獲得した後、前記複数枚の第１物品映像及び前記複数枚の第２物品映像を遠隔電子装置にアップロードし、前記遠隔電子装置は、前記複数枚の第１物品映像及び前記複数枚の第２物品映像を利用して少なくとも１つの更新モジュールを生成した後、前記更新モジュールを利用して前記主制御電子装置内にインストールされている第１物品瑕疵識別モデルに対してモデル更新操作を行うか、又は前記更新モジュールを利用して前記主制御電子装置内に第２物品瑕疵識別モデルをインストールする。

【0011】

一実施例において、前記電子装置は、スマートフォン、タブレットコンピュータ、デスクトップ型コンピュータ、一体型（Ａｌｌ－ｉｎ－ｏｎｅ）コンピュータ及びノート型コンピュータからなる群より選択される任意の一つである。

【0012】

一実行可能な実施例において、前記撮像機は、携帯電子装置中に含まれ、かつ前記携帯電子装置は、スマートフォン及びタブレットコンピュータからなる群より選択される任意の一つである。なおかつ、前記携帯電子装置は、慣性計測ユニット（ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ：ＩＭＵ）と、レーザー画像検出と測距（Ｌａｓｅｒ ｉｍａｇｉｎｇ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ：ＬｉＤＡＲ）ユニットとを含み、前記撮像機は、毎回の移動後に三次元移動データと、三次元計測データとを取得すると共に、前記携帯電子装置を介して前記三次元移動データと、前記三次元計測データとを前記電子装置に伝送するために用いられることで、前記電子装置は、前記三次元移動データ及び前記三次元計測データを前記外部撮像パラメータにおいて整合させる。

【0013】

別の実行可能な実施例において、前記撮像機は、携帯電子装置中に含まれ、その内、前記携帯電子装置は、慣性計測ユニット（ＩＭＵ）を含むと共に、前記ロボットアームに連接された治具上に設置され、かつレーザー画像検出と測距（ＬｉＤＡＲ）ユニットは、前記治具上に設置されると共に、前記携帯電子装置に電気的に接続される。前記撮像機は、毎回の移動後に前記慣性計測ユニットと、前記レーザー画像検出と測距ユニットとは、それぞれ三次元移動データと、三次元計測データとを獲得し、かつ前記携帯電子装置は、前記三次元移動データと、前記三次元計測データとを前記電子装置に伝送することで、前記電子装置は、前記三次元移動データ及び前記三次元計測データを前記外部撮像パラメータにおいて整合させる。

【0014】

一実施例において、前記第１プロセッサは、Ｎ個の前記ロボットアームに対応するＮ組の前記外部撮像パラメータを前記第１メモリ中に記録して格納し、かつＮ個の前記撮像機に対応するＮ組の前記内部撮像パラメータを前記第１メモリ中に記録して格納する。

【0015】

一実施例において、前記第１プロセッサは、前記第１応用プログラムを実行した後に、前記電子装置の表示器には操作インタフェースを表示させ、ユーザは、前記操作インタフェースを操作するに従い、前記複数枚の第１物品映像及び前記複数枚の第２物品映像に対してラベル処理を行うことが可能となり得る。

【0016】

一実施例において、前記搬送設備は、搬送ベルト機構と、前記搬送ベルト機構を駆動するために用いられるモータと、距離センサとを含み、かつ前記第１プロセッサは、前記第１応用プログラムを実行するに従い、さらに以下の機能を有効にし、前記モータを回転率で動作させるように設定されるに従い、前記搬送ベルト機構を駆動する場合には、前記回転率をモータ制御パラメータとして記録し、前記搬送ベルト機構で前記物品を運搬するに従い、それがｊ台目の前記撮像機の撮像範囲内に入っている場合に、ｊ番目の移動距離を物品位置決めパラメータとして記録し、その内、ｊ∈Ｎを満たし、前記モータ制御パラメータと、Ｎ個の前記物品位置決めパラメータとに基づいて前記主制御電子装置内にインストールされている装置制御ソフトウェアに対してパラメータの更新操作を行う。

【0017】

一実施例において、前記自動視覚検査システムは、Ｎ個の光源をさらに含み、かつ前記第１プロセッサは、前記第１応用プログラムを実行するに従い、以下の機能を有効にし、前記光源は、光源調整操作を経由して光照射範囲と、光強度と、色温度と、光色とを有する場合には、前記光照射範囲、前記光強度、前記色温度及び前記光色を１組の照明パラメータとして記録し、前記照明パラメータに基づいて前記主制御電子装置にインストールされている前記装置制御ソフトウェアに対して前記パラメータの更新操作を行う。

【0018】

一実施例において、前記主制御電子装置は、第２プロセッサと、第２メモリとを含み、前記第２メモリ内に第２応用プログラムを格納することにより、前記第２プロセッサは、前記第２メモリへのアクセスを介して前記第２応用プログラムを実行するに従い、以下の機能を有効にし、前記ロボットアームは、それに対応する前記外部撮像パラメータに基づいて作動を行うように制御するに従い、前記撮像機を対応して移動させ、前記光源は、それに対応する前記照明パラメータに基づいて提供された検査光を前記物品に向けて射光するように制御し、前記撮像機は、それに対応する前記内部撮像パラメータに基づいて前記物品から物品映像を撮り得るように制御し、前記物品瑕疵識別モデルを利用して前記物品映像に対して瑕疵識別操作を実行するに従い、前記物品に少なくとも１つの瑕疵を有するか否かを確定する。

【0019】

一実施例において、前記自動視覚検査システムは、前記搬送設備の材料出口近傍に設置される少なくとも１つの材料排出装置をさらに含み、かつ前記第１プロセッサは、前記第１応用プログラムを実行するに従い、さらに以下の機能を有効にし、１個の前記物品を前記搬送ベルト機構にてＮ個の移動距離を移動させると共に、次いでＮ＋１番目の移動距離を移動させた後、前記Ｎ＋１番目の移動距離を材料排出パラメータとして記録し、前記材料排出装置が操作されることで、１個の前記物品の材料を集積ボックスに排出する場合には、前記物品は、初期高さと、置き角度と、終末高さとを有し、前記初期高さ、前記置き角度及び前記終末高さを１組の材料排出装置パラメータとして記録し、前記材料排出パラメータと、Ｎ個の前記材料排出装置パラメータとに基づいて前記主制御電子装置内にインストールされている前記装置制御ソフトウェアに対して前記パラメータの更新操作を行う。

【0020】

一実施例において、前記自動視覚検査システムは、前記搬送設備の材料給口近傍に設置される少なくとも１つの物品載置装置をさらに含み、かつ前記第１プロセッサは、前記第１応用プログラムを実行するに従い、さらに以下の機能を有効にし、前記物品載置装置が操作されることで、１個の前記物品を前記搬送設備上に載置する場合には、前記物品は、初期高さと、置き角度と、終末高さとを有し、前記初期高さ、前記置き角度及び前記終末高さを物品載置装置パラメータとして記録し、前記物品載置装置パラメータに基づいて前記主制御電子装置内にインストールされている前記装置制御ソフトウェアに対して前記パラメータの更新操作を行う。

【図面の簡単な説明】

【0021】

【図1】本発明に係る柔軟で直感的な配置システムを含む自動視覚検査システムのブロック図である。

【図2A】自動視覚検査システムの第１斜視図である。

【図2B】自動視覚検査システムの第２斜視図である。

【図3A】ｊ番目のロボットアーム及びｊ台目の撮像機の第１斜視図である。

【図3B】ｊ番目のロボットアーム及びｊ台目の撮像機の第２斜視図である。

【図4A】ｊ番目のロボットアーム、ｊ台目の撮像機及びｊ番目の光源の第１斜視図である。

【図4B】ｊ番目のロボットアーム、ｊ台目の撮像機及びｊ番目の光源の第２斜視図である。

【発明を実施するための形態】

【0022】

本発明が提出した自動視覚検査システムの柔軟で直感的な配置システムをより明瞭に記述するために、添付図面を参照しながら、本発明の好適な実施例を以下に詳述する。

【0023】

図１は、本発明に係る柔軟で直感的な配置システムを含む自動視覚検査システムのブロック図である。なおかつ、図２Ａ及び図２Ｂは、前記自動視覚検査システムの第１斜視図及び第２斜視図である。図１、図２Ａ及び図２Ｂに示すように、本発明が提出した柔軟で直感的な配置システム１は、自動視覚検査システム２に対して設定操作を行うために用いられることにより、前記自動視覚検査システム２（以下文中では、「ＡＶＩシステム２」と略称）は、物品に対して自動化瑕疵検査を行わせることへの応用に適している。例を挙げて言えば、前記ＡＶＩシステム２は、搬送設備２０と、物品載置装置２６と、Ｎ個のロボットアーム２１と、Ｎ個の撮像機２２と、主制御電子装置２３と、Ｎ個の光源２４と、材料排出装置２５とを備え、その内、Ｎが少なくとも１以上の正の整数であり、かつ前記主制御電子装置２３は、前記搬送設備２０と、前記物品載置装置２６と、前記Ｎ個のロボットアーム２１と、前記Ｎ個の撮像機２２と、前記主制御電子装置２３と、前記Ｎ個の光源２４と、前記材料排出装置２５とに電気接続される。より詳細に説明すると、前記主制御電子装置２３には、装置制御ソフトウェア及び物品瑕疵識別ソフトウェアがインストールされ、かつ前記装置制御ソフトウェア及び前記物品瑕疵識別ソフトウェアは、自動視覚検査応用プログラム中に整合される。

【0024】

このため、前記ＡＶＩシステム２を利用して１ロットの物品（例えば、歯車）に対して瑕疵検査を行う時に、前記主制御電子装置２３は、前記装置制御ソフトウェアを実行するに従い、前記搬送設備２０、前記物品載置装置２６、前記Ｎ個のロボットアーム２１、前記Ｎ個の撮像機２２、前記Ｎ個の光源２４及び前記材料排出装置２５が、適宜時点で作動を行うように制御する。さらに説明すると、前記物品載置装置２６（すなわち、治具を有するロボットアーム）は、前記搬送設備２０上に位置する物品を挟持するように制御され、次いで前記物品を前記搬送設備２０上に載置することで、前記物品を載置角度に沿って前記搬送設備２０上に位置させる。継続的に、１番目のロボットアーム２１は１台目の撮像機２２を把持し、かつそれが統制されて作動を行うに従い、前記撮像機２２は、撮像高さと、撮像角度と、撮像距離とを含む１組の外部撮像パラメータを有するように、１台目の撮像機２２を移動させる。次いで、１台目の撮像機２２を統制してその１つの撮像範囲内に入っている物品に対して撮影を行うことで、物品映像を獲得する。補足説明すると、１番目のロボットアーム２１と１台目の撮像機２２とから１番目の検査ステーションが構成される。１番目の検査ステーション中に、１台目の撮像機２２は、１組目の外部撮像パラメータを有するように配置され、次いで前記物品を撮影して１枚目の物品映像を獲得する。実務応用において、１番目の検査ステーション中に、１台目の撮像機２２はまた、２組目の外部撮像パラメータ（すなわち、異なる撮像高さ、撮像角度及び撮像距離）を有するように配置され、次いで前記物品を撮影して２枚目の物品映像を獲得する。これに基づいて類推を行い、前記物品が１番目の検査ステーションに移動する時はまた、３枚目の物品映像、４枚目の物品映像を撮影する可能性がある。

【0025】

同じ理由で、前記物品を継続的に前記搬送設備２０で２番目のロボットアーム２１と２台目の撮像機２２とから構成される１番目の検査ステーションまで運搬する時、２番目のロボットアーム２１を統制して作動を行うに従い、前記撮像機２２は、撮像高さと、撮像角度と、撮像距離とを含む１組の外部撮像パラメータを有するように、２台目の撮像機２２を移動させる。次いで、２台目の撮像機２２を統制してその１つの撮像範囲内に入っている物品に対して撮影を行うことで、物品映像を獲得する。補足説明すると、２番目の検査ステーション中に、２台目の撮像機２２は、１組目の外部撮像パラメータを有するように配置され、次いで前記物品を撮影して１枚目の物品映像を獲得する。実務応用において、２番目の検査ステーション中に、２台目の撮像機２２はまた、２組目の外部撮像パラメータ（すなわち、異なる撮像高さ、撮像角度及び撮像距離）を有するように配置され、次いで前記物品を撮影して２枚目の物品映像を獲得する。これに基づいて類推を行い、前記物品が２番目の検査ステーションに移動する時はまた、３枚目の物品映像、４枚目の物品映像を撮影する可能性がある。

【0026】

補足説明すると、ｊ番目の検査ステーション中（ｊ∈Ｎ）に、ｊ台目の撮像機２２は、絞り値（Ａｐｅｒｔｕｒｅ）と、被写界深度（Ｄｅｐｔｈ ｏｆ ｆｉｅｌｄ）と、シャッター速度（Ｓｈｕｔｔｅｒ ｓｐｅｅｄ）と、感光度（ＩＳＯ）と、焦点距離（Ｆｏｃｕｓ）とを含む１組の内部撮像パラメータを有するように配置され、前記撮像機２２は、指定のパラメータの配置を受け付ける場合には、前記物品に対して撮影を行う。こうして、前記物品がＮ個の検査ステーションを経由した後に、前記主制御電子装置２３は、複数枚の物品映像を取得成功し、次いで前記主制御電子装置２３は、前記物品瑕疵識別ソフトウェアを実行して各前記物品映像に対して瑕疵識別操作を実行するに従い、前記物品に少なくとも１つの瑕疵を有するか否かを確定する。具体的には、前記物品瑕疵識別ソフトウェアは、映像処理の処理ユニット（例えば、空間フィルタ処理）と、特徴抽出ユニットと、物品瑕疵識別ユニットとを含み、その内、前記特徴抽出ユニットは、前記物品映像に対して特徴抽出処理を行って物品特徴画像を獲得するために用いられる。一方、前記物品瑕疵識別ユニットは、予め訓練（ｐｒｅ－ｔｒａｉｎｅｄ）された物品瑕疵識別モデルを有し、かつ前記物品瑕疵識別モデルを利用して前記物品特徴画像及び前記データベース内に格納された少なくとも１個の参照欠陥特徴画像に対して特徴対比を行うに従い、現時点の被検物品に関連検査規定によって定義される瑕疵が存在するか否かを確定する。

【0027】

前記物品の瑕疵検査及び識別を完了した後に、前記主制御電子装置２３は、前記材料排出装置２５（すなわち、治具を有するロボットアーム）を制御して挟持したＮＧ（ｎｏｔ ｇｏｏｄ）品に属する物品を前記搬送設備２０から離脱させる共に、ＮＧ品集積ボックス５内に置き入れる。これに反して、瑕疵検査を通過した物品（すなわち、正常品に属するもの）は、正常品集積ボックス４内に送り込まれる。

【0028】

前述の説明から分かるように、前記主制御電子装置２３に装置制御ソフトウェア及び物品瑕疵識別ソフトウェアがインストールされた後に、前記主制御電子装置２３と、前記搬送設備２０と、前記物品載置装置２６と、前記Ｎ個のロボットアーム２１と、前記Ｎ個の撮像機２２と、前記主制御電子装置２３と、前記Ｎ個の光源２４と、前記材料排出装置２５とを備えるＡＶＩシステム２は、１ロットのＡ物品（例えば、型番Ａの歯車）に対して瑕疵検査を行うために用いられてもよい。しかしながら、その実務経験によると、前記ＡＶＩシステム２は、必ずしも１ロットのＢ物品（例えば、型番Ｂの歯車）に対して瑕疵検査を行うことに適用されるとは言い切れないのが実情である。この場合には、図１、図２Ａ及び図２Ｂに示すように、製造工場の品質検査員は、本発明の柔軟で直感的な配置システム１を操作するに従い、同１台のＡＶＩシステム２に対して設定手順を行うことができることにより、前記ＡＶＩシステム２は、一連の設定操作を経た後に１ロットのＢ物品に対して瑕疵検査を行うことへの適用が可能となる。

【0029】

図１、図２Ａ及び図２Ｂに示すように、本発明の柔軟で直感的な配置システム１は、主に取り付けられる電子装置１１と、前記電子装置１１内にインストールされているＡＶＩシステム設定ソフトウェア（第１応用プログラムと称する）とを備え、製造工場の品質検査員は、前記タブレットコンピュータを操作してその工場内の任意の１つのＡＶＩシステム２に対して一連の設定操作を行うことができる。本発明の設計によれば、前記電子装置１１は、前記主制御電子装置２３と電気接続されるに従い、前記主制御電子装置２３を通じて前記Ｎ個の撮像機２２及び前記Ｎ個のロボットアーム２１と情報連結される。その内、前記電子装置１１は、第１プロセッサ１１Ｐと、第１メモリ１１Ｍとを含み、前記第１メモリ１１Ｍ内に第１応用プログラム（すなわち、ＡＶＩシステム設定ソフトウェア）を格納することにより、前記第１プロセッサ１１Ｐは、前記第１メモリ１１Ｍへのアクセスを介して前記第１応用プログラムを実行するに従い、多数の機能を有効にすると、ＡＶＩシステム２の一連の設定操作が既に完了している。一実施例において、前記第１プロセッサ１１Ｐは、前記第１応用プログラムを実行した後に、前記電子装置１１の表示器には操作インタフェース（ｕｓｅｒ ｉｎｔｅｒｆａｃｅ：ＵＩ）を表示させることにより、製造工場の品質検査員は、前記操作インタフェースを操作するに従い、前記ＡＶＩシステム２の設定手順を実行することが可能となり得る。

【0030】

最初に、品質検査員は、ｊ番目の（例えば、１番目の）ロボットアーム２１を手を用いて回動させることができ、ｊ台目の撮像機２２は、撮像高さ、撮像角度及び撮像距離（すなわち、１組の外部撮像パラメータ）を有し得るようにさせるものである。次いで、品質検査員は、ｊ台目の撮像機２２の絞り値、被写界深度、シャッター速度、感光度及び焦点距離（すなわち、１組の内部撮像パラメータ）を設定することができると共に、次いでｊ台目の撮像機２２は、その１つの撮像範囲内に入っている物品に対して撮影を行うように制御することで、物品映像を獲得する。ｊ番目のロボットアーム２１とｊ台目の撮像機２２とからｊ番目の検査ステーションが構成されることが分かるはずである。図３Ａ及び図３Ｂは、ｊ番目のロボットアーム２１及びｊ台目の撮像機２２の第１斜視図及び第２斜視図である。図３Ａに示すように、ｊ番目の検査ステーション中に、ｊ台目の撮像機２２は、１組目の外部撮像パラメータを有するように配置され、次いで前記物品を撮影して１枚目の物品映像を獲得する。実務応用において、図３Ｂに示すように、ｊ番目の検査ステーション中に、１台目の撮像機２２はまた、２組目の外部撮像パラメータ（すなわち、異なる撮像高さ、撮像角度及び撮像距離）を有するように配置され、次いで前記物品を撮影して２枚目の物品映像を獲得する。これに基づいて類推を行い、前記物品がｊ番目の検査ステーションに移動する時はまた、３枚目の物品映像、４枚目の物品映像を撮影する可能性がある。

【0031】

このため、前記ロボットアーム２１が操作されることで、前記撮像機２２をＫ回移動させるに従い、前記撮像機２２は、毎回の移動後にいずれも撮像高さと、撮像角度と、撮像距離とを有する過程において、前記第１プロセッサ１１Ｐは、前記撮像機２２の毎回の移動後に１個の前記撮像高さ、１個の前記撮像角度及び１個の前記撮像距離を１組の外部撮像パラメータとして記録するに従い、Ｋ組の前記外部撮像パラメータを合計して獲得し、前記第１メモリ１１Ｍ中に格納し、その内、Ｋが少なくとも１以上の正の整数である。同様に、前記撮像機２２は、毎回の移動後にまた続けて撮像機調整操作を受け付けて絞り値と、被写界深度と、シャッター速度と、感光度と、焦点距離とを有する場合には、１個の前記絞り値、１個の前記被写界深度、１個の前記シャッター速度、１個の前記感光度及び１個の前記焦点距離を１組の内部撮像パラメータとして記録するに従い、前記撮像機２２をＫ回移動させた後にＫ組の前記内部撮像パラメータを合計して獲得し、前記第１メモリ１１Ｍ中に格納する。

【0032】

品質検査員は、各検証ポイントごとにいかなる前記内部撮像パラメータ及び前記外部撮像パラメータの設置を完了した後に、前記第１プロセッサ１１Ｐは、Ｎ個の前記ロボットアーム２１に対応する複数組の前記外部撮像パラメータを記録して前記メモリ１１Ｍ中に格納し、かつＮ個の前記撮像機２２に対応する複数組の前記内部撮像パラメータを記録して前記メモリ１１Ｍ中に格納する。ｊ番目の検査ステーション中に、ｊ台目の撮像機２２は、前記物品の少なくとも１つの物品映像を撮影することが理解されるべきである。このため、Ｎ個の検査ステーションを経由した後、前記電子装置１１は、複数枚の物品映像を取得し、その内、前記複数枚の物品映像は、定常的な特徴を有する複数枚の第１物品映像と、瑕疵特徴を有する複数枚の第２物品映像とを含み、かつ品質検査員は、前記操作インタフェースの操作を通して前記複数枚の第１物品映像及び前記複数枚の第２物品映像に対してラベル処理（ｌａｂｅｌｅｄ）を行うことができる。次いで、前記電子装置１１を利用して前記複数枚の第１物品映像及び前記複数枚の第２物品映像を遠隔電子装置３にアップロードできることで、前記遠隔電子装置３は、前記複数枚の第１物品映像及び前記複数枚の第２物品映像を利用して少なくとも１つの更新モジュールを生成させる。最終的に、前記電子装置１１を操作して前記更新モジュールは、前記主制御電子装置２３内にインストールされている物品瑕疵識別モデルに対してモデル更新操作を行うか、又は前記更新モジュールを利用して前記主制御電子装置２３内に別のセットの物品瑕疵識別モデルをインストールすることができる。

【0033】

さらに、図４Ａ及び図４Ｂは、ｊ番目のロボットアーム２１、ｊ台目の撮像機２２及びｊ番目の光源２４の第１斜視図及び第２斜視図である。図４Ａ及び図４Ｂに示すように、前記撮像機２２は、例えば、スマートフォンやタブレットコンピュータなどのような携帯電子装置中に含まれ、かつ前記携帯電子装置は、慣性計測ユニット（ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ：ＩＭＵ）と、レーザー画像検出と測距（Ｌａｓｅｒ ｉｍａｇｉｎｇ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ：ＬｉＤＡＲ）ユニットとをさらに含む。例を挙げて言えば、ｉＰａｄ Ｐｒｏ（Ａｐｐｌｅ社の商品名）及びｉＰｈｏｎｅ １２（Ａｐｐｌｅ社の商品名）には、いずれもＬｉＤＡＲユニットとＩＭＵユニットとを有するように内蔵されている。この設計によれば、前記撮像機２２の毎回の移動後に、前記ＩＭＵユニット及び前記ＬｉＤＡＲユニットは、三次元移動データと、三次元計測データとを取得すると共に、次いで前記携帯電子装置を介して前記三次元移動データと、前記三次元計測データとを前記電子装置１１に伝送することで、前記電子装置１１は、前記三次元移動データ及び前記三次元計測データを前記外部撮像パラメータにおいて整合させる。

【0034】

しかしながら、全ての携帯電子装置は、ＬｉＤＡＲユニットを必ず含むとは限らない。このため、別の実行可能な実施例において、前記撮像機２２は、携帯電子装置中に含まれ、かつ前記携帯電子装置は、ＩＭＵユニットを含むと共に、前記ロボットアーム２１に連接された治具上に設置され、かつＬｉＤＡＲユニットは、前記治具上に設置されると共に、前記携帯電子装置に電気的に接続される。この設置に準じて、前記ロボットアーム２１の連動により前記治具及び撮像機２２を移動させた後に、前記ＩＭＵユニット及び前記ＬｉＤＡＲユニットは、それぞれ三次元移動データと、三次元計測データとを獲得し、かつ前記携帯電子装置は、前記三次元移動データと、前記三次元計測データとを前記電子装置１１に伝送することで、前記電子装置１１は、前記三次元移動データ及び前記三次元計測データを前記外部撮像パラメータにおいて整合させる。

【0035】

上記を総合すると、本発明の柔軟で直感的な配置システム１は、タブレットコンピュータ（すなわち、前述の電子装置１１）にインストールされている応用プログラムであってもよく、製造工場の品質検査員は、前記タブレットコンピュータを操作してその工場内の任意の１つのＡＶＩシステム２に対して前述のような設定手順を行うことができ、前記ＡＶＩシステム２が変更して配置させられた後、指定の物品（例えば、型番Ｂの歯車）に対して自動化瑕疵検査を行うことに転用可能である。特に、前記ＡＶＩシステム２に前記設定手順を受け付ける過程全体においては、技術者の介入を必要としないで、Ｎ個の撮像機２２及びＮ個のロボットアーム２１の配置パラメータのチューニングを、品質検査員がその経験を頼りに自ら完成することができる（すなわち、ロボットアーム２１を手で回動させること及び撮像パラメータを手動調整すること）。これに反して、技術者は、単に前記遠隔電子装置３を操作するだけで、前記遠隔電子装置３の前記操作を利用して品質検査員が提供する複数枚の物品映像に基づいて物品瑕疵識別モデルを生成することができる。

【0036】

補足説明すると、前記電子装置１１は、スマートフォン、デスクトップ型コンピュータ、一体型（Ａｌｌ－ｉｎ－ｏｎｅ）コンピュータ又はノート型コンピュータであってもよい。なおかつ、一実行可能な実施例において、前記撮像機２２は、携帯電子装置中に含まれ、かつ前記携帯電子装置は、例えば、スマートフォン又はタブレットコンピュータである。しかしながら、別の実行可能な実施例において、前記撮像機２２はインターネット接続機能を持つ。換言すれば、前記撮像機２２は、第１通信インタフェースを有し、前記電子装置１１の第２通信インタフェース又は前記主制御電子装置２３の主通信インタフェースを介してデータ伝達を行うために用いられる。

【0037】

一連の設定を通して前記主制御電子装置２３内にインストールされている物品瑕疵識別モデルに対してモデル更新操作を行うことが実現される以外にも、本発明の柔軟で直感的な配置システム１は、一連の設定を通して前記主制御電子装置２３内にインストールされている装置制御ソフトウェアに対してソフトウェアパラメータの更新操作を行うことも実現される。図１、図２Ａ及び図２Ｂに示すように、前記搬送設備２０は、搬送ベルト機構２００と、前記搬送ベルト機構２００を駆動するために用いられるモータ２０１と、距離センサ２０２とを含む。このため、前記第１プロセッサ１１Ｐは、前記第１応用プログラムを実行した後に、前記ソフトウェアパラメータの更新操作を有効にしてもよい。具体的には、前記搬送ベルト機構２００でＮ個の物品を運搬してそれぞれ１番目～Ｎ番目の検査ステーションに到達するために、品質検査員は、前記主制御電子装置２３を操作して前記モータ２０１の回転率を設定することで、前記モータ２０１を回転率で動作させるに従い、前記搬送ベルト機構２００を駆動する。このため、前記モータ２０１を回転率で動作させるように設定されるに従い、前記搬送ベルト機構２００を駆動する場合には、前記第１プロセッサ１１Ｐは、前記回転率をモータ制御パラメータとして記録すると共に、前記第１メモリ１１Ｍ中に格納する。同時に、前記搬送ベルト機構２００で前記物品を運搬するに従い、それがｊ台目の前記撮像機２２の撮像範囲内に入っている場合に、前記第１プロセッサ１１Ｐは、ｊ番目の移動距離を物品位置決めパラメータとして記録すると共に、前記第１メモリ１１Ｍ中に格納する。

【0038】

図４Ａ及び図４Ｂに示すように、実際の操作において、品質検査員はまた、検査ステーションごとの光源２４の調整を行うように設置されてもよく、各検査ステーションの光源２４の調整を経た後、指定の光照射範囲と、光強度と、色温度と、光色とを有する。このため、ｊ番目の光源２４は、光源調整操作を経由して光照射範囲と、光強度と、色温度と、光色とを有する場合には、前記第１プロセッサ１１Ｐは、前記光照射範囲、前記光強度、前記色温度及び前記光色を１組の照明パラメータとして記録すると共に、前記第１メモリ１１Ｍ中に格納する。

【0039】

前記モータ制御パラメータ、Ｎ個の前記物品位置決めパラメータ及びＮ組の前記照明パラメータを獲得した後、前記電子装置１１を操作して前記モータ制御パラメータ、Ｎ個の前記物品位置決めパラメータ及びＮ組の前記照明パラメータに基づいて前記主制御電子装置２３にインストールされている前記装置制御ソフトウェアに対してパラメータの更新操作を行うことができる。こうして、モデル更新操作及びパラメータの更新操作を経た後、前記ＡＶＩシステム２は、指定の物品に対して自動化瑕疵検査を行うために用いられてもよい。具体的には、図１、図２Ａ及び図２Ｂに示すように、前記主制御電子装置２３は、第２プロセッサ２３Ｐと、第２メモリ２３Ｍとを含み、前記第２メモリ２３Ｍ内に第２応用プログラム（装置制御ソフトウェア及び物品瑕疵識別ソフトウェアを含む）を格納することにより、前記第２プロセッサ２３Ｐは、前記第２メモリ２３Ｍへのアクセスを介して前記第２応用プログラムを実行するに従い、自動化瑕疵検査を行うように以下のステップを含み、すなわち、Ｎ個のロボットアーム２１は、それに対応する前記外部撮像パラメータに基づいて作動を行うように制御するに従い、Ｎ個の撮像機２２を対応して移動させるステップと、Ｎ個の光源２４は、それに対応する前記照明パラメータに基づいて提供されたＮ個の検査光をそれぞれＮ個の撮像機２２の撮像範囲内に入っているＮ個の物品に向けて射光するように制御するステップと、Ｎ個の撮像機２２は、それに対応する前記内部撮像パラメータに基づいてその撮像範囲内に入っている前記物品に対して撮影を行うように制御するに従い、複数枚の物品映像を獲得するステップと、前記物品瑕疵識別モデルを利用して各前記物品映像に対して瑕疵識別操作を実行するに従い、前記物品に少なくとも１つの瑕疵を有するか否かを確定するステップとを含む。

【0040】

前記物品の瑕疵検査及び識別を完了した後に、前記主制御電子装置２３は、前記材料排出装置２５（すなわち、治具を有するロボットアーム）を制御して挟持したＮＧ（ｎｏｔ ｇｏｏｄ）品に属する物品を前記搬送設備２０から離脱させる共に、ＮＧ品集積ボックス５内に置き入れる。このため、本発明の柔軟で直感的な配置システム１はまた、以下の手順を実行することができる。具体的には、１個の前記物品を前記搬送ベルト機構２００にてＮ個の移動距離を移動させると共に、次いでＮ＋１番目の移動距離を移動させた後、この時、前記物品が材料排出装置２５の挟着範囲内に入っているので、前記第１プロセッサ１１Ｐは、前記Ｎ＋１番目の移動距離を材料排出パラメータとして記録すると共に、前記第１メモリ１１Ｍ内に格納する。次いで、前記材料排出装置２５が操作されることで、１個の物品の材料をＮＧ品集積ボックス５に排出する。物品の材料を排出する過程において、それが必然的に初期高さと、置き角度と、終末高さとを有するので、前記第１プロセッサ１１Ｐは、前記初期高さ、前記置き角度及び前記終末高さを１組の材料排出装置パラメータとして記録すると共に、前記第１メモリ１１Ｍ中に格納することが理解されるべきである。こうして、前記電子装置１１を操作して前記材料排出パラメータ及びＮ個の前記材料排出装置パラメータに基づいて前記主制御電子装置２３内にインストールされている前記装置制御ソフトウェアに対して前記パラメータの更新操作を行うことができる。

【0041】

これに反して、１ロットの物品（例えば、歯車）は、前記搬送設備２０上に置かれて瑕疵検査を行おうとする際には、まず、前記物品載置装置２６（すなわち、治具を有するロボットアーム）を操作して前記搬送設備２０上に位置する物品を挟持する必要があり、次いで、前記物品を前記搬送設備２０上に載置することで、前記物品を載置角度に沿って前記搬送設備２０上に位置させる。前記物品載置装置２６が操作されることで、１個の前記物品を前記搬送設備２０上に載置する場合には、前記物品は、初期高さと、置き角度と、終末高さとを有し、この時、前記第１プロセッサ１１Ｐは、前記初期高さ、前記置き角度及び前記終末高さを物品載置装置パラメータとして記録すると共に、前記第１メモリ１１Ｍ中に格納することが理解されるべきである。最終的に、前記電子装置１１を操作して前記物品載置装置パラメータに基づいて前記主制御電子装置２３内にインストールされている前記装置制御ソフトウェアに対して前記パラメータの更新操作を行うことができる。

【0042】

前記物品載置装置２６及び前記材料排出装置２５の制御パラメータの更新を完了した後に、前記ＡＶＩシステム２は、１ロットの物品に対して物品載置、物品瑕疵検査及び識別、並びにＮＧ品の材料排出などの全自動作業を行うことができる。

【0043】

こうして、上記のように、本発明に係る自動視覚検査システムの柔軟で直感的な配置システムを既に十分かつ明瞭に説明してきた。しかしながら、強調すべき点は、上記の詳細な説明は、本発明の実行可能な実施例を具体的に説明したものであり、但し、本発明の特許範囲はこれらの実施例に限定されるものではなく、本発明の技術的精神を逸脱しない限り、その等効果実施又は変更は、なお、本願の特許請求の範囲内に含まれるものとする点である。

【符号の説明】

【0044】

１：柔軟で直感的な配置システム
１１：電子装置
１１Ｐ：第１プロセッサ
１１Ｍ：第１メモリ
２：自動視覚検査システム
２０：搬送設備
２００：搬送ベルト機構
２０１：モータ
２０２：距離センサ
２１：ロボットアーム
２２：撮像機
２３：主制御電子装置
２３Ｐ：第２プロセッサ
２３Ｍ：第２メモリ
２４：光源
２５：材料排出装置
２６：物品載置装置
３：遠隔電子装置
４：正常品集積ボックス
５：ＮＧ品集積ボックス

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4A】

【図4B】