特開 2024-119742 自動視覚検査システムの検査精度の向上促進に応用される双方向型ユーザフィードバックシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024119742

(43)【公開日】2024-09-03

(54)【発明の名称】自動視覚検査システムの検査精度の向上促進に応用される双方向型ユーザフィードバックシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240827BHJP

【ＦＩ】

G06T7/00 610C

【審査請求】有

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2024006448

(22)【出願日】2024-01-19

(31)【優先権主張番号】112106427

(32)【優先日】2023-02-22

(33)【優先権主張国・地域又は機関】TW

(71)【出願人】

【識別番号】520273991

【氏名又は名称】開必拓數據股▲分▼有限公司

(71)【出願人】

【識別番号】522454998

【氏名又は名称】孫逢佐

(71)【出願人】

【識別番号】522455009

【氏名又は名称】葉怡▲テイ▼

(71)【出願人】

【識別番号】522455010

【氏名又は名称】孫逢佑

(74)【代理人】

【識別番号】100201329

【弁理士】

【氏名又は名称】山口 真二郎

(74)【代理人】

【識別番号】100167601

【弁理士】

【氏名又は名称】大島 信之

(74)【代理人】

【識別番号】100220917

【弁理士】

【氏名又は名称】松本 忠大

(72)【発明者】

【氏名】孫逢佐

(72)【発明者】

【氏名】葉怡▲テイ▼

(72)【発明者】

【氏名】孫逢佑

(72)【発明者】

【氏名】黄俊堂

(72)【発明者】

【氏名】周博翰

(72)【発明者】

【氏名】張榮華

(72)【発明者】

【氏名】田宜湘

(72)【発明者】

【氏名】沈孟澤

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA03

5L096CA05

5L096CA22

5L096DA04

5L096FA69

5L096GA19

5L096KA03

(57)【要約】      （修正有）

【課題】自動視覚検査システムの検査精度の向上促進に応用される双方向型ユーザフィードバックシステムを提供する。
【解決手段】正常稼働時、搬送装置で運搬される連続材から物品映像を撮り得ると共に、物品映像において少なくとも１つの瑕疵が含有されるか否かを確定する自動視覚検査（ＡＶＩ）システムにおいて、双方向型ユーザフィードバックシステム１は、電子装置１１の表示スクリーン１１ＤにＭ×Ｎ個のサブ区画を包含する検査報告区画を現出させる。品質検査員は、１個のサブ区画をクリックして、表示スクリーンにサブ区画で対応する物品映像の１個のサブ映像区画を表示させる。ＡＶＩシステムは、このサブ映像区画に対して作成される瑕疵欠陥判定結果が正確か否かを検視し、否の場合には、品質検査員は、瑕疵欠陥判定結果を修正することができ、ユーザフィードバックを実現する。
【選択図】図２

【特許請求の範囲】

【請求項1】

自動視覚検査システムの検査精度の促進向上のために用いられる双方向型ユーザフィードバックシステムであって、
前記自動視覚検査システムは、少なくとも１つのロールツーロール設備を有する連続材搬送装置において整合され、かつ複数個の撮像機と、主制御電子装置とを含み、前記連続材搬送装置にて連続材を搬送することで、前記連続材の実体被検区画が撮影区域内に入っている時に、前記複数個の撮像機によって前記連続材の物品映像を撮り得るようにさせ、かつ前記主制御電子装置は、前記物品映像に対して瑕疵検査操作を実行してから識別すると共に、前記物品映像内に存在するＫ個の瑕疵を分類し、Ｋが正の整数であり、
前記双方向型ユーザフィードバックシステムは、前記主制御電子装置と電気接続され、かつ第１プロセッサと、第１メモリと、第１表示スクリーンとを含む電子装置を備え、前記第１メモリ内に第１応用プログラムを格納することにより、前記第１プロセッサは、前記第１メモリへのアクセスを介して前記第１応用プログラムを実行するに従い、以下の機能を有効にし、
前記主制御電子装置から前記連続材の前記実体被検区画の長辺範囲と、短辺範囲とを受け取り、
前記長辺範囲と、前記短辺範囲とに基づいて前記物品映像に対応する検査報告区画を発生し、かつ前記第１表示スクリーンにＭ×Ｎ個のサブ区画に分割された前記検査報告区画を表示させ、Ｍ、Ｎが正の整数であり、
前記第１表示スクリーンで表示されているＭ×Ｎ個の前記サブ区画のうちの１個がクリックされた後に、前記第１表示スクリーンに前記サブ区画で対応している前記物品映像のうちの１個のサブ映像区画、前記サブ映像区画の瑕疵検査報告及び瑕疵種別選択メニューを表示させ、
前記瑕疵種別選択メニューがクリックされるに従い、前記サブ映像区画の前記瑕疵検査報告に対して瑕疵分類修正を行った後に、修正後の前記瑕疵検査報告及び前記物品映像の格納を行うことを特徴とする、
双方向型ユーザフィードバックシステム。

【請求項2】

前記電子装置は、スマートフォン、タブレットコンピュータ、デスクトップ型コンピュータ、一体型（Ａｌｌ－ｉｎ－ｏｎｅ）コンピュータ及びノート型コンピュータからなる群より選択される任意の一つであることを特徴とする、請求項１に記載の双方向型ユーザフィードバックシステム。

【請求項3】

前記連続材は、金属箔、金属薄板、フレキシブルタッチパネル、フレキシブル回路基板及びフレキシブル太陽電池からなる群より選択される任意の一つであることを特徴とする、請求項１に記載の双方向型ユーザフィードバックシステム。

【請求項4】

前記第１プロセッサは、前記第１応用プログラムを実行するに従い、さらに以下の機能を有効にし、
少なくとも１つの前記物品映像を遠隔電子装置にアップロードすることで、前記遠隔電子装置は、複数枚の正常物品映像及び複数枚の前記物品映像を利用して少なくとも１つの更新モジュールを生成可能となった後、次いで前記更新モジュールを利用して前記主制御電子装置内にインストールされている第１物品瑕疵識別モデルに対してモデル更新操作を行うか、又は前記更新モジュールを利用して前記主制御電子装置内に第２物品瑕疵識別モデルをインストールすることを特徴とする、請求項１に記載の双方向型ユーザフィードバックシステム。

【請求項5】

前記自動視覚検査システムは、前記主制御電子装置と電気接続される測長器をさらに含み、かつ前記測長器は、前記連続材が運搬される過程において、物品移動距離を持続的に記録することで、前記主制御電子装置は、前記連続材の前記実体被検区画が前記撮影区域内に入っている時に前記物品移動距離及び物品基本情報に基づいて得られる前記長辺範囲及び前記短辺範囲を計算可能であることを特徴とする、請求項１に記載の双方向型ユーザフィードバックシステム。

【請求項6】

各前記サブ区画は、いずれも区画座標を有し、かつ前記区画座標は、長辺座標値と、短辺座標値とからなることを特徴とする、請求項１に記載の双方向型ユーザフィードバックシステム。

【請求項7】

前記ロールツーロール設備は、材料放出機構と、材料受入機構と、検証プラットフォームとを含むことを特徴とする、請求項１に記載の双方向型ユーザフィードバックシステム。

【請求項8】

前記主制御電子装置は、主プロセッサと、主メモリとを含み、前記主メモリ内に第２応用プログラムを格納することにより、前記主プロセッサは、前記主メモリへのアクセスを介して前記第２応用プログラムを実行するに従い、以下の機能を有効にし、
前記連続材を運搬するように前記材料放出機構及び前記材料受入機構を運転させるように制御し、
前記連続材が運搬される過程において、前記複数個の撮像機によって前記撮影区域内に前記連続材の前記実体被検区画の前記物品映像を撮影し得るように制御し、
前記物品映像及び複数個の参照瑕疵特徴画像に対して特徴対比操作を実行し、前記物品映像において少なくとも１つの瑕疵が含有されるか否かを確定し、
前記物品映像に少なくとも１つの瑕疵を含有すると確定された場合、前記材料放出機構及び前記材料受入機構を制御して前記連続材を運搬することで、前記実体被検区画を前記検証プラットフォーム上に位置させ、次いで前記材料放出機構及び前記材料受入機構の運転を停止し、
前記瑕疵分類修正を完了した後に、前記連続材を運搬するように前記材料放出機構及び前記材料受入機構を運転させるように制御することを特徴とする、請求項７に記載の双方向型ユーザフィードバックシステム。

【請求項9】

前記連続材搬送装置は、前記材料放出機構の第１モータに連接され、前記第１モータの第１回転率を感知するために用いられる第１回転率センサと、前記材料受入機構の第２モータに連接され、前記第２モータの第２回転率を感知するために用いられる第２回転率センサとをさらに含むことを特徴とする、請求項８に記載の双方向型ユーザフィードバックシステム。

【請求項10】

前記主制御電子装置は、マンマシンインタフェースをさらに含み、かつ前記マンマシンインタフェースを操作して再運転命令を前記主プロセッサへ発送可能であり、前記主プロセッサは、前記瑕疵分類修正を完了した後に前記第１モータ及び前記第２モータを駆動させることで、前記連続材を継続的に運搬するように前記材料放出機構及び前記材料受入機構を運転させることを特徴とする、請求項９に記載の双方向型ユーザフィードバックシステム。

【請求項11】

各個の前記撮像機は、いずれも撮像範囲を有し、複数個の前記撮像機は、総撮像範囲を有し、かつ前記総撮像範囲の幅は、前記連続材の幅よりも大きいか又は等しいことを特徴とする、請求項１０に記載の双方向型ユーザフィードバックシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マシンビジョンの技術分野に係り、特に、自動視覚検査システムの検査精度の向上促進に応用されるユーザフィードバックシステムに関するものである。

【背景技術】

【0002】

紡織物（例えば、布地）の作製後、出荷包装前に予め瑕疵検知を受け取っておく必要があることは既に知られている。現在、布地の瑕疵検知は、通常、品質検査員が検反機を操作することによって完成する。
従来の検反機の主要な構造は、材料放出機構と、検反プラットフォームと、材料受入機構とを備える。布帛検知を行う時に、品質検査員は、操作プラットフォームの前に立ち、制御器を操作する方式により、前記材料放出機構の布帛釈放速度及び前記材料受入機構の布帛巻取速度を制御する。布地の移動を制御する過程において、品質検査員は、前記検反プラットフォーム上に広げ張られる布地区画を人の目で検証する。もし、品質検査員が、前記布地区画に瑕疵を含有すると発見すると、前記制御器を操作して布地の移動を停止する。次いで、品質検査員は、前記瑕疵が修復可能か否かを判断し、修復可能であれば、前記瑕疵を即座に修復し、修復不可能であれば、前記瑕疵の位置にマークを標記する。

【0003】

従来の検反機は、実際の使用において以下の主要な欠陥を有する。品質検査員は、布地の移動過程において、検反プラットフォーム上に広げ張られる布地区画に瑕疵が存在するか否かをその肉眼で目視検知することから、このような方式は、必然的に布地に人の目で検出されなかった瑕疵の存在につながる。
以上に鑑み、特許文献１に開示されているモータ制御機能を備えた瑕疵検査システム（あるいは、自動視覚検査システムと称する）は、前述の検反機において整合するために用いられ、かつ線状光源と、少なくとも１つの撮像機と、処理と制御モジュールとを含む。正常稼働時、前記線状光源から提供された検査光を前記撮像機の撮影範囲内に投光し、かつ前記処理と制御モジュールは、前記材料放出機構及び前記材料受入機構のモータを運転させるように制御することで、布地を搬送するように移動させる。布地が移動してその１つの被検区画を前記撮影範囲中に位置させる時に、前記撮像機によって前記被検区画を撮影して布地映像を得ることができる。次いで、前記処理と制御モジュールは、前記布地映像に対して瑕疵検査を実行するに従い、前記被検区画に少なくとも１つの瑕疵が存在するか否かを確認する。存在すると確認された場合、前記処理と制御モジュールは、次いで前記材料放出機構及び前記材料受入機構のモータを運転させるように制御することで、布地を搬送するように移動させ、前記被検区画を前記検反プラットフォーム上に位置させる。最終的に、品質検査員は、前記瑕疵が修復可能か否かを判断し、修復可能であれば、前記瑕疵を即座に修復し、修復不可能であれば、前記瑕疵の位置にマークを標記する。

【0004】

より詳細に説明すると、前記処理と制御モジュールは、予め訓練された瑕疵検査モデルを有するので、前記瑕疵検査モデルを利用して前記布地映像に対して前記瑕疵検査を実行することができる。
映像認識技術に熟練したＡＩ技術者であれば、必ず前記瑕疵検査モデルが、複数個の訓練サンプルを使用して画像分類器に対して布帛瑕疵検査（あるいは、布帛瑕疵識別）の機械学習訓練を行った後に生み出すモデルであることが分かるはずであり、その内、前記複数個の訓練サンプルは、複数個の正常布帛映像（すなわち、Ｇｏｌｄｅｎ Ｓａｍｐｌｅ）と、少なくとも１個の瑕疵を含有する複数個の布帛映像とを含み、かつこれらの瑕疵を含有する布帛映像は、折り皺、破穴、色汚れ、千鳥模様、波柄模様、経欠点、緯欠点などを有する複数個の参照瑕疵特徴画像として予め分類され得る。この設置に準じて、前記瑕疵検査モデルは、まず前記布地映像に対して特徴抽出処理を行って布地特徴画像を得ることができる。次いで、前記瑕疵検査モデルは、前記布地特徴画像及び前記データベース内に格納された少なくとも１個の参照瑕疵特徴画像に対して特徴対比を行うに従い、前記布地の前記被検区画に検査規定によって定義される瑕疵が含有されるか否かを確定する。

【0005】

しかしながら、品質検査員の使用経験によると、前記瑕疵検査モデルから検出されると共に、分類された布地瑕疵は、必ずしも完全に正確ではない。図１は瑕疵検証結果のベン図である。図１に示すように、区域Ａは、品質検査員が布地に瑕疵を有すると判定されるが、自動視覚検査システムで布地に瑕疵を有しないと判定された統計データ範囲（判定漏れ範囲と略称）を表示するために用いられる。一方、区域Ｂは、品質検査員が布地に瑕疵を有しないと判定されるが、自動視覚検査システムで布地に瑕疵を有すると判定された統計データ範囲（判定候補範囲と略称）を表示するために用いられる。さらに、区域Ａと区域Ｂとの間に区域Ｃを有し、前記区域Ｃは、前記区域Ａと前記区域Ｂとの間の共通集合区域である。区域Ｃは、品質検査員が布地に瑕疵を有すると判定されるが、自動視覚検査システムで同様に布地に瑕疵を有すると判定された統計データ範囲（判定候補範囲と略称）を表示するために用いられることが理解されるべきである。このため、図１から分かるように、現有の自動視覚検査システムは、布地に生じている瑕疵を自動的に検出できるものの、検出されたこれらの瑕疵は、必ずしも完全に正確ではない。主要な原因は、布地瑕疵の分類項目が数多くあるためであり、このことから、データベースに包含されている瑕疵を含有する布帛映像の数量が不足している場合、前記瑕疵検査モデルに関して十分な訓練を受けていないがゆえに、瑕疵Ａが瑕疵Ｂとして誤判定されてしまう場合が頻繁に現れる。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】台湾特許第Ｉ７６７８２８（Ｂ）号明細書

【発明の概要】

【発明が解決しようとする課題】

【0007】

以上に鑑み、ユーザフィードバックシステムは、これらを考慮して開発されたものであり、それは電子装置（例えば、タブレットコンピュータ）において整合され、前記処理と制御モジュールは、前記布地映像と関連瑕疵検出（判定）結果を前記タブレットコンピュータのスクリーン上に表示することを許容し、品質検査員のチェック確認のために供されるものである。このため、本発明の考案者は、極力研究考案した結果、遂に本発明に係る自動視覚検査システムの検査精度の向上促進に応用される双方向型ユーザフィードバックシステムを研究開発して完成させた。

【0008】

本発明の主要な目的は、電子装置を利用して実現したものであり、自動視覚検査（ＡＶＩ）システムの検査精度の促進向上のために用いられる、双方向型ユーザフィードバックシステムを提供することである。正常稼働時、前記ＡＶＩシステムは、搬送装置で運搬される連続材から物品映像を撮り得ると共に、前記物品映像において少なくとも１つの瑕疵が含有されるか否かを確定する。次いで、本発明の双方向型ユーザフィードバックシステムは、前記電子装置の表示スクリーンにＭ×Ｎ個のサブ区画を包含する検査報告区画が現出される。こうして、品質検査員は、１個のサブ区画をクリックして、表示スクリーンに前記サブ区画で対応している前記物品映像の１個のサブ映像区画を表示させることができると共に、次いで前記ＡＶＩシステムは、このサブ映像区画に対して作成される瑕疵欠陥判定結果が正確か否かを検視する。結果がいいえの場合には、品質検査員は、前記瑕疵欠陥判定結果について修正を行い、修正を受け付けた後の前記物品映像を訓練サンプルデータベースに格納することができ、ユーザフィードバックを実現することができる。

【0009】

例を挙げて言えば、本発明の双方向型ユーザフィードバックシステムは、タブレットコンピュータ（すなわち、前述の電子装置）にインストールされている応用プログラムであってもよく、製造工場の品質検査員は、前記タブレットコンピュータを操作してその工場内の任意の１つのＡＶＩシステムに対して連続材の瑕疵検査結果について修正を行うことができる。さらに、品質検査員の瑕疵分類修正を受け付けた物品映像の出力態様としては、システムデータベースへの格納及び／又は遠隔電子装置へのアップロードなどが考えられる。こうして、前記遠隔電子装置は、複数枚の正常物品映像及び前記瑕疵分類修正を既に受け付けた少なくとも１枚の物品映像を包含する複数枚の瑕疵物品映像を利用して少なくとも１つの更新モジュールを生成可能となった後、前記更新モジュールを利用して前記主制御電子装置内にインストールされている第１物品瑕疵識別モデルに対してモデル更新操作を行うか、又は前記更新モジュールを利用して前記主制御電子装置内に第２物品瑕疵識別モデルをインストールする。

【課題を解決するための手段】

【0010】

上記の目的を達成するために、本発明が提供する前記双方向型ユーザフィードバックシステムの一実施例において、それは、自動視覚検査システムの検査精度の促進向上のために用いられ、その内、前記自動視覚検査システムは、少なくとも１つのロールツーロール設備を有する連続材搬送装置において整合され、かつ複数個の撮像機と、主制御電子装置とを含み、その内、前記連続材搬送装置にて連続材（ｃｏｎｔｉｎｕｏｕｓ ｆｌｅｘｉｂｌｅ ｍａｔｅｒｉａｌ）を搬送することで、前記連続材の実体被検区画が撮影区域内に入っている時に、前記複数個の撮像機によって前記連続材の物品映像を撮り得るようにさせ、かつ前記主制御電子装置は、前記物品映像に対して前記瑕疵検査操作を実行してから識別すると共に、前記物品映像内に存在するＫ個の瑕疵を分類し、Ｋが正の整数であり、前記双方向型ユーザフィードバックシステムは、前記主制御電子装置と電気接続され、かつ第１プロセッサと、第１メモリと、第１表示スクリーンとを含む電子装置を備え、その内、前記第１メモリ内に第１応用プログラムを格納することにより、前記第１プロセッサは、前記第１メモリへのアクセスを介して前記第１応用プログラムを実行するに従い、以下の機能を有効にし、前記主制御電子装置から前記連続材の前記実体被検区画の長辺範囲と、短辺範囲とを受け取り、前記長辺範囲と、前記短辺範囲とに基づいて前記物品映像に対応する検査報告区画を発生し、かつ前記第１表示スクリーンにＭ×Ｎ個のサブ区画に分割された前記検査報告区画を表示させ、その内、Ｍ、Ｎが正の整数であり、前記第１表示スクリーンで表示されているＭ×Ｎ個の前記サブ区画のうちの１個がクリックされた後に、前記第１表示スクリーンに前記サブ区画で対応している前記物品映像のうちの１個のサブ映像区画、前記サブ映像区画の瑕疵検査報告及び瑕疵種別選択メニューを表示させ、前記瑕疵種別選択メニューがクリックされるに従い、前記サブ映像区画の前記瑕疵検査報告に対して瑕疵分類修正を行った後に、修正後の前記瑕疵検査報告及び前記物品映像の格納を行う。

【0011】

一実施例において、前記電子装置は、スマートフォン、タブレットコンピュータ、デスクトップ型コンピュータ、一体型（Ａｌｌ－ｉｎ－ｏｎｅ）コンピュータ及びノート型コンピュータからなる群より選択される任意の一つである。

【0012】

一実施例において、前記連続材は、金属箔、金属薄板、フレキシブルタッチパネル、フレキシブル回路基板及びフレキシブル太陽電池からなる群より選択される任意の一つである。

【0013】

一実行可能な実施例において、前記第１プロセッサは、前記第１応用プログラムを実行するに従い、さらに以下の機能を有効にし、少なくとも１つの物品映像を遠隔電子装置にアップロードすることで、前記遠隔電子装置は、複数枚の正常物品映像及び複数枚の前記物品映像を利用して少なくとも１つの更新モジュールを生成可能となった後、次いで前記更新モジュールを利用して前記主制御電子装置内にインストールされている第１物品瑕疵識別モデルに対してモデル更新操作を行うか、又は前記更新モジュールを利用して前記主制御電子装置内に第２物品瑕疵識別モデルをインストールする。

【0014】

一実施例において、前記自動視覚検査システムは、前記主制御電子装置と電気接続される測長器をさらに含み、かつ前記測長器は、前記連続材が運搬される過程において、物品移動距離を持続的に記録することで、前記主制御電子装置は、前記連続材の前記実体被検区画が前記撮影区域内に入っている時に前記物品移動距離及び物品基本情報に基づいて得られる前記長辺範囲及び前記短辺範囲を計算可能である。

【0015】

一実施例において、各前記サブ区画は、いずれも区画座標を有し、かつ前記区画座標は、長辺座標値と、短辺座標値とからなる。

【0016】

一実施例において、前記ロールツーロール設備は、材料放出機構と、材料受入機構と、検証プラットフォームとを含み、かつ前記主制御電子装置は、主プロセッサと、主メモリとを含み、その内、前記主メモリ内に第２応用プログラムを格納することにより、前記主プロセッサは、前記主メモリへのアクセスを介して前記第２応用プログラムを実行するに従い、以下の機能を有効にし、前記連続材を運搬するように前記材料放出機構及び前記材料受入機構を運転させるように制御し、前記連続材が運搬される過程において、前記複数個の撮像機によって前記撮影区域内に前記連続材の前記実体被検区画の前記物品映像を撮影し得るように制御し、前記物品映像及び複数個の参照瑕疵特徴画像に対して特徴対比操作を実行し、前記物品映像において少なくとも１つの瑕疵が含有されるか否かを確定し、前記物品映像に少なくとも１つの瑕疵を含有すると確定された場合、前記材料放出機構及び前記材料受入機構を制御して前記連続材を運搬することで、前記実体被検区画を前記検証プラットフォーム上に位置させ、次いで前記材料放出機構及び前記材料受入機構の運転を停止し、前記瑕疵分類修正を完了した後に、前記連続材を運搬するように前記材料放出機構及び前記材料受入機構を運転させるように制御する。

【0017】

一実施例において、前記ロールツーロール設備は、前記材料放出機構の第１モータに連接され、前記第１モータの第１回転率を感知するために用いられる第１回転率センサと、前記材料受入機構の第２モータに連接され、前記第２モータの第２回転率を感知するために用いられる第２回転率センサとをさらに含む。

【0018】

一実施例において、前記主制御電子装置は、マンマシンインタフェースをさらに含み、かつ前記マンマシンインタフェースを操作して再運転命令を前記主プロセッサへ発送可能であり、前記主プロセッサは、前記瑕疵分類修正を完了した後に前記第１モータ及び前記第２モータを駆動させることで、前記連続材を継続的に運搬するように前記材料放出機構及び前記材料受入機構を運転させる。

【0019】

一実施例において、各個の前記撮像機は、いずれも撮像範囲を有し、複数個の前記撮像機は、総撮像範囲を有し、かつ前記総撮像範囲の幅は、前記連続材の幅よりも大きいか又は等しい。

【図面の簡単な説明】

【0020】

【図1】瑕疵検証結果のベン図である。

【図2】本発明に係る双方向型ユーザフィードバックシステムを含む自動視覚検査システムのブロック図である。

【図3A】自動視覚検査システムを含む連続材搬送装置の第１斜視図である。

【図3B】前記連続材搬送装置の第２斜視図である。

【図4】検査報告区画の一例を示す図である。

【発明を実施するための形態】

【0021】

本発明が提出した自動視覚検査システムの検査精度の向上促進に応用される双方向型ユーザフィードバックシステムをより明瞭に記述するために、添付図面を参照しながら、本発明の好適な実施例を以下に詳述する。

【0022】

図２は、本発明に係る双方向型ユーザフィードバックシステムを含む自動視覚検査システムのブロック図である。図２に示すように、本発明に係る双方向型ユーザフィードバックシステム１は、電子装置１１を利用して実現したものであり、自動視覚検査（Ａｕｔｏｍａｔｅｄ ｖｉｓｕａｌ ｉｎｓｐｅｃｔｉｏｎ）システム３の検査精度の促進向上のために用いられる。さらに、図３Ａ及び図３Ｂは、自動視覚検査システムを含む連続材搬送装置の第１斜視図及び第２斜視図である。図２、図３Ａ及び図３Ｂに示すように、前記自動視覚検査システム３は、少なくとも１つのロールツーロール設備を含む連続材搬送装置２において整合され、かつ光源３１と、複数個の撮像機３２と、主制御電子装置３３とを含む。正常稼働時、前記連続材搬送装置２にて連続材（ｃｏｎｔｉｎｕｏｕｓ ｆｌｅｘｉｂｌｅ ｍａｔｅｒｉａｌ）を搬送して、前記連続材の実体被検区画が撮影区域内に入っている時に、前記複数個の撮像機３２によって前記連続材の物品映像を撮り得るようにさせ、次いで前記主制御電子装置３３は、前記物品映像に対して瑕疵検査操作を実行してから識別し、前記物品映像内に存在するＫ個の瑕疵を分類し、Ｋは正の整数である。

【0023】

強調すべき点は、図３Ａ及び図３Ｂに図示される前記連続材搬送装置２は検反機であるので、前記連続材が布地である点にある。しかしながら、実行可能な実施例において、前記連続材搬送装置２は、検反機に限定される必要はなく、それは、金属箔（ｍｅｔａｌ ｆｏｉｌ）、金属薄板（ｍｅｔａｌ ｔｈｉｎ ｓｈｅｅｔ）、フレキシブルタッチパネル（ｆｌｅｘｉｂｌｅ ｔｏｕｃｈ ｐａｎｅｌ）、フレキシブル回路基板（ｆｌｅｘｉｂｌｅ ｐｒｉｎｔｅｄ ｃｉｒｃｕｉｔ ｂｏａｒｄ）及びフレキシブル太陽電池（ｆｌｅｘｉｂｌｅ ｓｏｌａｒ ｃｅｌｌ）を運搬するために用いられるその他の類型の連続材搬送装置２であってもよい。

【0024】

図３Ａ及び図３Ｂのように、前記連続材搬送装置２の主要な機構は、材料放出機構２１と、材料受入機構２３と、検証プラットフォーム２２とを含む。一方、前記主制御電子装置３３は、主プロセッサ３３Ｐと、主メモリ３３Ｍとを含み、その内、前記主メモリ３３Ｍ内に自動視覚検査応用プログラムを格納することにより、前記主プロセッサ３３Ｐは、前記第主メモリ３３Ｍへのアクセスを介して前記自動視覚検査応用プログラムを実行し得る。
この設置に準じて、前記自動視覚検査システム３を利用して１巻きの連続材に対して瑕疵検査を行う時に、前記主プロセッサ３３Ｐは、前記自動視覚検査応用プログラムに包含されている装置制御プログラムを実行して前記材料放出機構２１及び前記材料受入機構２３の運転を制御する。一方、前記主制御電子装置３３にはまた、物品瑕疵識別プログラムがインストールされ、前記複数個の撮像機３２によって撮影し得られた前記連続材の物品映像及び複数個の参照瑕疵特徴画像に対して特徴対比操作を実行するために用いられ、前記物品映像において少なくとも１つの瑕疵が含有されるか否かを確定する。

【0025】

より詳細に説明すると、前記連続材が運搬される過程において、前記複数個の撮像機３２は、前記主プロセッサ３３Ｐにて統制されるに従い、前記連続材の実体被検区画が撮影区域内に入っている時に、物品映像を得るように前記連続材を撮影する。前記連続材は、複数個の連続的な実体被検区画を包含するので、前記材料受入機構２３は、前記材料放出機構２１から供給放出された１巻きの連続材を完全に受け取った後に、前記複数個の撮像機３２は、複数個の前記実体被検区画に対応する複数枚の物品映像を撮影し得ることが理解されるべきである。一方、図３Ａ及び図３Ｂはまた、支持機構３５を前記撮影区域内に設置することが図示されている。実務応用面で、前記支持機構３５は、前記連続材の前記実体被検区画を支持するために用いられ、前記実体被検区画を前記撮影区域内に平らに展開させてなる。

【0026】

図３Ａ及び図３Ｂに示すように、各前記撮像機３２は、いずれも撮像範囲を有し、複数個の前記撮像機３２は、総撮像範囲を有し、かつ前記総撮像範囲の幅は、前記オブジェクトの幅よりも大きいか又は等しい。この設置に準じて、前記複数個の撮像機３２を利用して撮影された１枚の物品映像に１個の完全な実体被検区画を包含する。
前記物品映像を得た後に、前記主制御電子装置３３は、前記物品映像及び複数個の参照瑕疵特徴画像に対して特徴対比操作を実行し、前記物品映像において少なくとも１つの瑕疵が含有されるか否かを確定する。前記物品映像に少なくとも１つの瑕疵を含有すると確定された場合、前記主制御電子装置３３は、前記材料放出機構２１及び前記材料受入機構２３を制御して前記連続材を運搬することで、前記実体被検区画を前記検証プラットフォーム２２上に位置させ、次いで前記材料放出機構２１及び前記材料受入機構２３の運転を停止する。

【0027】

本発明の設計によれば、図２、図３Ａ及び図３Ｂに示すように、前記双方向型ユーザフィードバックシステム１は、電子装置１１と、前記電子装置１１内にインストールされているユーザフィードバックプログラムとを含む。具体的には、前記電子装置１１は、スマートフォン、タブレットコンピュータ、デスクトップ型コンピュータ、一体型（Ａｌｌ－ｉｎ－ｏｎｅ）コンピュータ又はノート型コンピュータであってもよい。なおかつ、前記電子装置１１は、前記主制御電子装置３３と電気接続され、かつ第１プロセッサ１１Ｐと、第１メモリ１１Ｍと、第１表示スクリーン１１Ｄとを含む。一実施例において、前記第１メモリ１１Ｍ内に前記ユーザフィードバックプログラムを格納することにより、前記第１プロセッサ１１Ｐは、前記第１メモリ１１Ｍへのアクセスを介して前記ユーザフィードバックプログラムを実行するに従い、前記電子装置１１の第１表示スクリーン１１Ｄ上にユーザインタフェース（Ｕｓｅｒ ｉｎｔｅｒｆａｃｅ：ＵＩ）を呈示させる。

【0028】

前記自動視覚検査システム３は、１枚の物品映像の瑕疵検査作業を完了した後に、前記自動視覚検査システム３は、瑕疵検査報告を発生する。前記電子装置１１は、前記主制御電子装置３３から前記物品映像及び前記瑕疵検査報告を受け取った後に、前記第１プロセッサ１１Ｐは、前記連続材の前記実体被検区画の長辺範囲と、短辺範囲とに基づいて前記物品映像に対応する検査報告区画を発生する。図４は、すなわち、前記検査報告区画の一例を示す図である。図４に示すように、前記検査報告区画を前記第１表示スクリーン１１Ｄの前記ユーザインタフェース中に表示させ、かつ前記検査報告区画はＭ×Ｎ個のサブ区画を包含し、その内、Ｍ、Ｎは正の整数である。

【0029】

補足説明すると、前記連続材搬送装置２は、第１回転率センサ２１１と、第２回転率センサ２３１とをさらに含み、その内、前記第１回転率センサ２１１は、前記材料放出機構２１の第１モータ２１０に連接され、前記第１モータ２１０の第１回転率を感知するために用いられる。一方、前記第２回転率センサ２３１は、前記材料受入機構２３の第２モータ２３０に連接され、前記第２モータ２３０の第２回転率を感知するために用いられる。このため、前記主プロセッサ３３Ｐは、前記自動視覚検査応用プログラムに包含されている装置制御プログラムの実行を通じて、前記第１モータ２１０及び前記第２モータ２３０を指定の回転率で運転させるように制御することができ、この方式によれば、前記連続材の移動速度を制御する。一方、前記自動視覚検査システム３はまた、前記主制御電子装置３３と電気接続される測長器３０を含み、かつ前記測長器３０は、前記連続材が運搬される過程において、物品移動距離を持続的に記録するために用いられる。

【0030】

補足的に図３Ａ、図３Ｂ及び図４に示すように、前記連続材の前記実体被検区画が前記撮影区域内に入っている時に、前記主制御電子装置３３は、前記物品移動距離及び物品基本情報に基づいて、前記連続材の前記撮影区域内に入っている前記実体被検区画の長辺範囲及び短辺範囲を計算できることにより、前記第１電子装置１１の前記第１プロセッサ１１Ｐは、次いで前記長辺範囲と、前記短辺範囲とに基づいて、Ｍ×Ｎ個のサブ区画を包含する検査報告区画を創出し得る。図４に示すように、各前記サブ区画は、いずれも区画座標（例えば、Ａ５、Ｂ４、Ｃ３、Ｄ２、Ｅ１、Ｆ０）を有し、かつ前記区画座標は、長辺座標値（すなわち、Ａ、Ｂ、Ｃ、…、Ｉ、Ｊ）と、短辺座標値（すなわち、５、４、３、２、１、１）とからなる。

【0031】

本発明の設計によれば、前記第１表示スクリーン１１Ｄに前記検査報告区画を表示させた後に、品質検査員は、Ｍ×Ｎ個の前記サブ区画のうちの１個を選択してクリックを行うことができる。さらに、前記第１表示スクリーン１１Ｄで表示されているＭ×Ｎ個の前記サブ区画のうちの１個がクリックされた後に、前記第１表示スクリーン１１Ｄに前記サブ区画で対応している前記物品映像のうちの１個のサブ映像区画を表示させる。換言すれば、前記Ｍ×Ｎ個のサブ区画は、それぞれ前記物品映像に対応するＭ×Ｎ個のサブ映像区画である。なおかつ、１個のサブ映像区画が前記第１表示スクリーン１１Ｄで表示されている場合には、前記第１表示スクリーン１１Ｄに前記サブ映像区画の瑕疵検査報告を同時に表示させ、その内、前記瑕疵検査報告は、前記サブ映像区画に包含されている瑕疵の数量及び種類を含む。このほか、前記第１表示スクリーン１１Ｄに瑕疵種別選択メニュー（あるいは、リストテーブル）をまた表示させる。

【0032】

この時、品質検査員は、前記サブ映像区画において瑕疵特徴が本当に含有されるか否かということを肉眼で確認することができ、瑕疵特徴がない場合には、品質検査員は、前記瑕疵種別選択メニュー中のその他の選択項目をクリックするに従い、前記サブ映像区画の前記瑕疵検査報告に対して瑕疵分類修正操作を行うことができる。一方、もし仮に、品質検査員が、前記瑕疵検査報告から前記サブ映像区画の瑕疵の種類を指示した後は、その肉眼で実際に確認できるものとは異なり、品質検査員は、前記瑕疵種別選択メニュー中の正確な瑕疵種別をクリック選択するに従い、前記サブ映像区画の前記瑕疵検査報告に対して瑕疵分類修正操作を行うことができる。
最終的に、品質検査員がサブ区画毎に対応付けられたサブ映像区画及びその瑕疵検査報告を逐一確認した後、前記電子装置１１を操作して修正後の前記瑕疵検査報告及び前記物品映像の格納を行うと共に、次いで前記主制御電子装置３３のマンマシンインタフェースを操作するに従い、再運転命令を前記主プロセッサ３３Ｐへ発送可能であり、前記主プロセッサ３３Ｐは、前記第１モータ２１０及び前記第２モータ２３０を駆動させることで、前記連続材を継続的に運搬するように前記材料放出機構２１及び前記材料受入機構２３を運転させる。

【0033】

さらに、前記電子装置１１を操作してまた、前記連続材の複数部分の実体被検区画に対応する複数枚の物品映像及び複数個の前記瑕疵検査報告を遠隔電子装置４にアップロードすることができる。こうして、前記遠隔電子装置４は、複数枚の正常物品映像及び複数枚の前記物品映像を利用して少なくとも１つの更新モジュールを生成可能となる。次いで、前記電子装置１１を操作して前記更新モジュールを利用して前記主制御電子装置３３内にインストールされている物品瑕疵識別モデルに対してモデル更新操作を行うか、又は前記更新モジュールを利用して前記主制御電子装置３３内に別のセットの物品瑕疵識別モデルをインストールすることができる。

【0034】

上記を総合すると、本発明が提供する双方向型ユーザフィードバックシステムは、電子装置を利用して実現したものであり、自動視覚検査（ＡＶＩ）システムの検査精度の促進向上のために用いられる。
正常稼働時、前記ＡＶＩシステムは、搬送装置で運搬される連続材から物品映像を撮り得ると共に、前記物品映像において少なくとも１つの瑕疵が含有されるか否かを確定する。次いで、本発明の双方向型ユーザフィードバックシステムは、前記電子装置の表示スクリーンにＭ×Ｎ個のサブ区画を包含する検査報告区画が現出される。こうして、品質検査員は、１個のサブ区画をクリックして、表示スクリーンに前記サブ区画で対応している前記物品映像の１個のサブ映像区画を表示させることができると共に、次いで前記ＡＶＩシステムは、このサブ映像区画に対して作成される瑕疵欠陥判定結果が正確か否かを検視する。結果がいいえの場合には、品質検査員は、前記瑕疵欠陥判定結果について修正を行い、修正を受け付けた後の前記物品映像を訓練サンプルデータベースに格納することができ、ユーザフィードバックを実現することができる。

【0035】

以上、本発明に係る自動視覚検査システムの検査精度の向上促進に応用される双方向型ユーザフィードバックシステムを既に十分かつ明瞭に説明してきた。しかしながら、強調すべき点は、上記の詳細な説明は、本発明の実行可能な実施例を具体的に説明したものであり、本発明の特許範囲はこれらの実施例に限定されるものではなく、本発明の技術的精神を逸脱しない限り、その等効果実施又は変更は、なお、本願の特許請求の範囲内に含まれるものとする点である。

【符号の説明】

【0036】

１ 双方向型ユーザフィードバックシステム
１１ 電子装置
１１Ｐ 第１プロセッサ
１１Ｍ 第１メモリ
１１Ｄ 第１表示スクリーン
２ 連続材搬送装置
２１ 材料放出機構
２１０ 第１モータ
２１１ 第１回転率センサ
２２ 検証プラットフォーム
２３ 材料受入機構
２３０ 第２モータ
２３１ 第２回転率センサ
３ 自動視覚検査システム
３０ 測長器
３１ 光源
３２ 撮像機
３３ 主制御電子装置
３３Ｐ 主プロセッサ
３３Ｍ 主メモリ
３５ 支持機構
４ 遠隔電子装置

【図1】

【図2】

【図3A】

【図3B】

【図4】