特表 2023-501697 縫製品処理設備用のセンサーシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-01-18

(54)【発明の名称】縫製品処理設備用のセンサーシステムおよび方法

(51)【国際特許分類】

   G06T 7/70 20170101AFI20230111BHJP

【ＦＩ】

G06T7/70 A

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022528177

(86)(22)【出願日】2020-11-11

(85)【翻訳文提出日】2022-07-08

(86)【国際出願番号】 US2020059986

(87)【国際公開番号】W WO2021096937

(87)【国際公開日】2021-05-20

(31)【優先権主張番号】16/681,588

(32)【優先日】2019-11-12

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/938,297

(32)【優先日】2020-07-24

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】522189159

【氏名又は名称】ソフトウェア オートメーション インコーポレイテッド

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(74)【代理人】

【識別番号】100170209

【弁理士】

【氏名又は名称】林 陽和

(72)【発明者】

【氏名】ベイカー マイケル ジェイ

(72)【発明者】

【氏名】クラーク バレット シー

(72)【発明者】

【氏名】ギュンターバーグ エリック

(72)【発明者】

【氏名】ガーニー アレクサンダー レン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA03

5L096BA05

5L096FA64

5L096FA66

5L096FA69

5L096GA51

5L096JA09

5L096KA04

(57)【要約】

ハードウェアとソフトウェアとの両方のコンピューティング技術の急速な進歩に起因して、労働集約的な縫製プロセスは、技術集約的な自動化プロセスへと移行されてきた。自動化プロセス中、ワークピースの処理は、センサーシステムを使用して視覚的に監視することができる。センサーシステムから集められたデータは、例えば、センサープロファイルのモデルを使用して、作業区域におけるワークピースの状態および／または位置を推定するために使用することができる。評価は、ワークピースの処理開始前、処理中、および／または処理後に実施することができる。ワークピースの位置を決定し、かつ様々な有用な特徴をサポートするために、製品ワークピースに対する予想される形状のモデルと、ワークピースのセンサー読み取り値のセットとの一致を、初期および連続的に提供するシステムおよび方法の実施例が記述される。
【選択図】図１

【特許請求の範囲】

【請求項1】

システムであって、
作業区域を備える縫製ロボットと、
前記作業区域の少なくとも一部分の画像を得るように構成されたセンサーシステムと、
視覚ベースモジュールと、
前記縫製ロボットによって製造することができる製品に対応するロボットシステムプロファイルおよびセンサープロファイルと、
プロセッサを備える処理回路と、を備え、前記視覚ベースモジュールの実行が、
前記センサーシステムによって、ワークピースが前記作業区域内に存在していることを検出し、かつ
前記センサープロファイルを前記ロボットシステムプロファイルに適用する、システム。

【請求項2】

前記視覚ベースモジュールの実行が、前記センサーシステムによって得られた前記ワークピースの一つ以上の受入検査画像に少なくとも部分的に基づいて、前記ワークピースの位置を決定する、請求項１に記載のシステム。

【請求項3】

前記一つ以上の受入検査画像が、前記センサープロファイルのサイズモデルと比較されるか、前記センサープロファイルの曲線モデルと比較されるか、または前記センサープロファイルの異常モデルと比較される、請求項２に記載のシステム。

【請求項4】

前記ワークピースの一つ以上の寸法が、前記一つ以上の受入検査画像から決定され、かつ前記サイズモデルの境界テンプレートと比較され、また前記センサープロファイルを前記ロボットシステムプロファイルに適用することが、前記境界テンプレートを、前記縫製ロボットに対する最大および最小のテンプレートパラメータと比較することを含む、請求項３に記載のシステム。

【請求項5】

前記ワークピースの少なくとも一つの曲線が、前記一つ以上の受入検査画像内の前記ワークピースとの前記曲線モデルの形状の比較に基づいて特定され、また前記センサープロファイルを前記ロボットシステムプロファイルに適用することが、前記ワークピース上で特定された前記少なくとも一つの曲線を、前記縫製ロボットに対する利用可能な曲線のリストと比較することを含む、請求項３に記載のシステム。

【請求項6】

前記ワークピースの少なくとも一つの異常が、前記一つ以上の受入検査画像の前記ワークピースとの前記異常モデルとの比較に基づいて特定され、かつ前記センサープロファイルを前記ロボットシステムプロファイルに適用することが、前記ワークピース上で特定された前記少なくとも一つの異常を、前記縫製ロボットに対する定義された異常限界と比較することを含む、請求項３に記載のシステム。

【請求項7】

前記視覚ベースモジュールの実行が、前記センサーシステムによって前記ワークピースから得られた一つ以上のインラインプロセス画像に少なくとも部分的に基づいて、前記ワークピースの処理を追跡する、請求項１～６のいずれか一項に記載のシステム。

【請求項8】

前記一つ以上のインラインプロセス画像が、前記センサープロファイルの曲線モデルと比較されるか、または前記センサープロファイルのステッチタイプモデルと比較される、請求項７に記載のシステム。

【請求項9】

前記ワークピースの形状が、前記一つ以上のインラインプロセス画像および前記曲線モデルに基づいて追跡され、また前記センサープロファイルを前記ロボットシステムプロファイルに適用することが、前記ワークピースの前記形状を、前記縫製ロボットに対して指定されたパラメータと比較することを含む、請求項８に記載のシステム。

【請求項10】

前記ワークピースの縫い目形成が、前記一つ以上のインラインプロセス画像内の前記ワークピースとの前記ステッチタイプモデルの比較に基づいて追跡され、また前記センサープロファイルを前記ロボットシステムプロファイルに適用することが、前記縫い目形成を、前記縫製ロボットに対する利用可能な縫い目形成能力と比較することを含む、請求項８に記載のシステム。

【請求項11】

前記一つ以上のインラインプロセス画像が、前記縫製ロボットによる前記ワークピースの処理中に、前記センサーシステムによって取り込まれる、請求項７に記載のシステム。

【請求項12】

是正措置が、前記ワークピースの処理が許容可能にならないことに応答して開始される、請求項７に記載のシステム。

【請求項13】

前記縫製ロボットの動作が、前記ワークピースの処理を製造公差内に維持するように調整される、請求項１２に記載のシステム。

【請求項14】

前記是正措置が、前記ワークピースを前記縫製ロボットから取り外すことを含む、請求項１２に記載のシステム。

【請求項15】

前記視覚ベースモジュールの実行が、前記ワークピースの処理から生じる作業生産物の品質を検証し、ここで前記品質が、前記センサーシステムによって得られた前記ワークピースの一つ以上の品質検査画像に少なくとも部分的に基づく、請求項１～６のいずれか一項に記載のシステム。

【請求項16】

前記一つ以上の品質検査画像が、前記センサープロファイルの縫製経路モデルと比較されるか、または前記センサープロファイルの完成したサイズモデルと比較される、請求項１５に記載のシステム。

【請求項17】

前記作業生産物の縫製経路が、前記一つ以上の品質検査画像および前記縫製モデルからの縫製経路パラメータに関して決定される、請求項１６に記載のシステム。

【請求項18】

前記作業生産物の前記品質を検証することが、前記縫製経路の距離を、前記縫製ロボットに対して定義された縫製経路限界と比較することを含む、請求項１７に記載のシステム。

【請求項19】

前記完成したサイズモデルと前記一つ以上の品質検査画像との比較に基づいて、前記作業生産物の少なくとも一つの寸法が特定される、請求項１６に記載のシステム。

【請求項20】

前記作業生産物の前記品質を検証することが、前記少なくとも一つの寸法を前記縫製ロボットに対して定義された寸法限界と比較することを含む、請求項１９に記載のシステム。

【請求項21】

システムであって、
作業区域を備える縫製ロボットと、
前記作業区域へと提供されるワークピースの少なくとも一部分の受入検査画像を得るように構成されたセンサーシステムと、
視覚ベースモジュールと、
ロボットシステムプロファイルと、
前記縫製ロボットによって製造された製品に対応するセンサープロファイルと、
プロセッサを備える処理回路と、を備え、前記視覚ベースモジュールの実行が、
前記センサーシステムによって得られた前記ワークピースの前記受入検査画像のうちの一つ以上と前記センサープロファイルの基準との比較と、前記センサープロファイルを前記ロボットシステムプロファイルに適用することと、に少なくとも部分的に基づいて、前記作業区域に提供されるワークピースが、前記センサープロファイルおよび前記ロボットシステムプロファイルによって指定される受入検査基準を満たすかどうかを決定する、システム。

【請求項22】

前記一つ以上の受入検査画像が、前記センサープロファイルのサイズモデルと比較されるか、前記センサープロファイルの曲線モデルと比較されるか、または前記センサープロファイルの異常モデルと比較される、請求項２１に記載のシステム。

【請求項23】

前記ワークピースの長さおよび幅が、前記一つ以上の受入検査画像から決定され、そして前記サイズモデルの長方形テンプレートへと定置され、また前記センサープロファイルを前記ロボットシステムプロファイルに適用することが、前記長方形テンプレートを、前記縫製ロボットに対する最大および最小のテンプレートパラメータと比較することを含む、請求項２２に記載のシステム。

【請求項24】

前記ワークピースの少なくとも一つの曲線が、前記一つ以上の受入検査画像内の前記ワークピースとの前記曲線モデルの形状の比較に基づいて特定され、また前記センサープロファイルを前記ロボットシステムプロファイルに適用することが、前記ワークピース上で特定された前記少なくとも一つの曲線を、前記縫製ロボットに対する利用可能な曲線のリストと比較することを含む、請求項２２に記載のシステム。

【請求項25】

前記ワークピースの少なくとも一つの異常が、前記一つ以上の受入検査画像の前記ワークピースとの前記異常モデルとの比較に基づいて特定され、かつ前記センサープロファイルを前記ロボットシステムプロファイルに適用することが、前記ワークピース上で特定された前記少なくとも一つの異常を、前記縫製ロボットに対する定義された異常限界と比較することを含む、請求項２２に記載のシステム。

【請求項26】

前記視覚ベースモジュールの実行が、前記受入検査基準を満たす前記ワークピースに応答して、前記縫製ロボットによる前記ワークピースの処理が、前記センサーシステムによって得られた前記ワークピースの一つ以上のインラインプロセス画像と前記センサープロファイルの基準との比較と、前記センサープロファイルを前記ロボットシステムプロファイルに適用することと、に少なくとも部分的に基づいて、前記センサープロファイルおよび前記ロボットシステムプロファイルによって指定されるインラインプロセス基準を満たすかどうかを決定すること、をさらに含む、請求項２１～２５のいずれか一項に記載のシステム。

【請求項27】

前記ワークピースが前記インラインプロセス基準を満たすかどうかを決定することが、前記ワークピースの処理が完了したことを検証することを含む、請求項２６に記載のシステム。

【請求項28】

前記一つ以上のインラインプロセス画像が、前記センサープロファイルの区域モデルと比較されるか、前記センサープロファイルの糸モデルと比較されるか、または前記センサープロファイルのステッチタイプモデルと比較される、請求項２６に記載のシステム。

【請求項29】

前記ワークピースの区域が、前記一つ以上のインラインプロセス画像および前記区域モデルから決定され、かつ前記センサープロファイルを前記ロボットシステムプロファイルに適用することが、前記縫製ロボットに対して前記区域を前記最大および最小の区域パラメータと比較することを含む、請求項２８に記載のシステム。

【請求項30】

前記ワークピースの前記糸の色または糸のサイズが、前記一つ以上のインラインプロセス画像内の前記ワークピースとの前記糸モデルとの比較に基づいて特定され、かつ前記センサープロファイルを前記ロボットシステムプロファイルに適用することが、前記糸の色または糸のサイズを、前記縫製ロボットに対する利用可能な糸の能力と比較することを含む、請求項２８に記載のシステム。

【請求項31】

前記加工されたワークピースのステッチタイプが、前記一つ以上のインラインプロセス画像内の前記ワークピースとの前記ステッチタイプモデルとの比較に基づいて特定され、また前記センサープロファイルを前記ロボットシステムプロファイルに適用することが、前記ステッチタイプを、前記縫製ロボットに対する利用可能なステッチの能力と比較することを含む、請求項２８に記載のシステム。

【請求項32】

前記センサーシステムが、前記縫製ロボットによる前記ワークピースの処理中に前記一つ以上のインラインプロセス画像を取り込むように構成された一つ以上の画像取込装置を備える、請求項２６に記載のシステム。

【請求項33】

前記視覚ベースモジュールの実行が、前記インラインプロセス基準を満たす前記処理されたワークピースに応答して、前記処理されたワークピースが、前記センサーシステムによって得られた前記ワークピースの一つ以上の品質検査画像の前記センサープロファイルの基準に対する比較に少なくとも部分的に基づいて、前記センサープロファイルによって指定される品質検査基準を満たすかどうかをさらに決定する、請求項２６に記載のシステム。

【請求項34】

是正措置が、前記ワークピースが前記インラインプロセス基準を満たせなかったことに応答して開始される、請求項２６に記載のシステム。

【請求項35】

前記視覚ベースモジュールの実行が、前記縫製ロボットによる処理後に、前記センサーシステムによって得られた前記ワークピースの一つ以上の品質検査画像の前記センサープロファイルの基準に対する比較に少なくとも部分的に基づいて、前記ワークピースが、前記センサープロファイルによって指定される品質検査基準を満たすかどうかをさらに決定する、請求項２１～２５のいずれか一項に記載のシステム。

【請求項36】

処理後に得られた前記一つ以上の品質検査画像が、前記センサープロファイルの縫製経路モデルと比較されるか、または前記センサープロファイルの完成したサイズモデルと比較される、請求項３５に記載のシステム。

【請求項37】

前記処理された作業生産物の縁部からの縫製経路の距離が、前記一つ以上の品質検査画像および前記縫製経路モデルから決定される、請求項３６に記載のシステム。

【請求項38】

前記ワークピースが前記品質検査基準を満たすかどうかを決定することが、前記縫製経路の前記距離を、前記縫製ロボットに対する定義された縫製経路限界と比較することを含む、請求項３７に記載のシステム。

【請求項39】

前記処理されたワークピースの少なくとも一つの寸法が、前記一つ以上の品質検査画像と前記完成したサイズモデルの比較に基づいて特定される、請求項３６に記載のシステム。

【請求項40】

前記ワークピースが前記品質検査基準を満たすかどうかを決定することが、前記少なくとも一つの寸法を前記縫製ロボットに対する定義された寸法限界と比較することを含む、請求項３９に記載のシステム。

【請求項41】

システムであって、
作業区域を含む縫製ロボットと、
前記作業区域の少なくとも一部分の画像を得るように構成されたセンサーシステムと、
視覚ベースモジュールと、
前記縫製ロボットによって製造された製品に対応するロボットシステムプロファイルおよびセンサープロファイルと、
プロセッサを備える処理回路と、を備え、前記視覚ベースモジュールの実行が、
前記ワークピースの前記センサーシステムによって得られた一つ以上の受入検査画像と前記センサープロファイルの基準との比較と、前記センサープロファイルを前記ロボットシステムプロファイルに適用することと、に少なくとも部分的に基づいて、前記作業区域に提供されるワークピースが、前記センサープロファイルおよび前記ロボットシステムプロファイルによって指定される受入検査基準を満たすかどうかを決定する、システム。

【請求項42】

前記一つ以上の受入検査画像が、前記センサープロファイルのサイズモデルと比較されるか、前記センサープロファイルの曲線モデルと比較されるか、または前記センサープロファイルの異常モデルと比較される、請求項４１に記載のシステム。

【請求項43】

前記ワークピースの長さおよび幅が、前記一つ以上の受入検査画像から決定され、そして前記サイズモデルの長方形テンプレートへと定置され、また前記センサープロファイルを前記ロボットシステムプロファイルに適用することが、前記長方形テンプレートを、前記縫製ロボットに対する最大および最小のテンプレートパラメータと比較することを含む、請求項４２に記載のシステム。

【請求項44】

前記ワークピースの少なくとも一つの曲線が、前記一つ以上の受入検査画像内の前記ワークピースとの前記曲線モデルの形状の比較に基づいて特定され、また前記センサープロファイルを前記ロボットシステムプロファイルに適用することが、前記ワークピース上で特定された前記少なくとも一つの曲線を、前記縫製ロボットに対する利用可能な曲線のリストと比較することを含む、請求項４２に記載のシステム。

【請求項45】

前記ワークピースの少なくとも一つの異常が、前記一つ以上の受入検査画像の前記ワークピースとの前記異常モデルとの比較に基づいて特定され、かつ前記センサープロファイルを前記ロボットシステムプロファイルに適用することが、前記ワークピース上で特定された前記少なくとも一つの異常を、前記縫製ロボットに対する定義された異常限界と比較することを含む、請求項４２に記載のシステム。

【請求項46】

前記視覚ベースモジュールの実行が、前記受入検査基準を満たす前記ワークピースに応答して、前記縫製ロボットによる前記ワークピースの処理が、前記センサーシステムによって得られた前記ワークピースの一つ以上のインラインプロセス画像と前記センサープロファイルの基準との比較と、前記センサープロファイルを前記ロボットシステムプロファイルに適用することと、に少なくとも部分的に基づいて、前記センサープロファイルおよび前記ロボットシステムプロファイルによって指定されるインラインプロセス基準を満たすかどうかをさらに決定する、請求項４１に記載のシステム。

【請求項47】

前記ワークピースが前記インラインプロセス基準を満たすかどうかを決定することが、前記ワークピースの処理が完了したことを検証することを含む、請求項４６に記載のシステム。

【請求項48】

前記一つ以上のインラインプロセス画像が、前記センサープロファイルの区域モデルと比較されるか、前記センサープロファイルの糸モデルと比較されるか、または前記センサープロファイルのステッチタイプモデルと比較される、請求項４６に記載のシステム。

【請求項49】

前記ワークピースの区域が、前記一つ以上のインラインプロセス画像および前記区域モデルから決定され、かつ前記センサープロファイルを前記ロボットシステムプロファイルに適用することが、前記縫製ロボットに対して前記区域を前記最大および最小の区域パラメータと比較することを含む、請求項４８に記載のシステム。

【請求項50】

前記ワークピースの前記糸の色または糸のサイズが、前記一つ以上のインラインプロセス画像内の前記ワークピースとの前記糸モデルとの比較に基づいて特定され、かつ前記センサープロファイルを前記ロボットシステムプロファイルに適用することが、前記糸の色または糸のサイズを、前記縫製ロボットに対する利用可能な糸の能力と比較することを含む、請求項４８に記載のシステム。

【請求項51】

前記処理されたワークピースのステッチタイプが、前記一つ以上のインラインプロセス画像内の前記ワークピースとの前記ステッチタイプモデルとの比較に基づいて特定され、かつ前記センサープロファイルを前記ロボットシステムプロファイルに適用することが、前記ステッチタイプを、前記縫製ロボットに対する利用可能なステッチの能力と比較することを含む、請求項４８に記載のシステム。

【請求項52】

前記センサーシステムが、前記縫製ロボットによる前記ワークピースの処理中に前記一つ以上のインラインプロセス画像を取り込むように構成された一つ以上の画像取込装置を備える、請求項４６に記載のシステム。

【請求項53】

前記視覚ベースモジュールの実行が、前記インラインプロセス基準を満たす前記処理されたワークピースに応答して、前記処理されたワークピースが、前記センサーシステムによって得られた前記ワークピースの一つ以上の品質検査画像の前記センサープロファイルの基準に対する比較に少なくとも部分的に基づいて、前記センサープロファイルによって指定される品質検査基準を満たすかどうかをさらに決定する、請求項４６に記載のシステム。

【請求項54】

是正措置が、前記ワークピースが前記インラインプロセス基準を満たせなかったことに応答して開始される、請求項４６に記載のシステム。

【請求項55】

前記視覚ベースモジュールの実行が、前記縫製ロボットによる処理後に、前記センサーシステムによって得られた前記ワークピースの一つ以上の品質検査画像の前記センサープロファイルの基準に対する比較に少なくとも部分的に基づいて、前記ワークピースが、前記センサープロファイルによって指定される品質検査基準を満たすかどうかをさらに決定する、請求項４１に記載のシステム。

【請求項56】

処理後に得られた前記一つ以上の品質検査画像が、前記センサープロファイルの縫製経路モデルと比較されるか、または前記センサープロファイルの完成したサイズモデルと比較される、請求項５５に記載のシステム。

【請求項57】

前記処理された作業生産物の縁部からの縫製経路の距離が、前記一つ以上の品質検査画像および前記縫製モデルから決定される、請求項５６に記載のシステム。

【請求項58】

前記ワークピースが前記品質検査基準を満たすかどうかを決定することが、前記縫製経路の前記距離を、前記縫製ロボットに対する定義された縫製経路限界と比較することを含む、請求項５７に記載のシステム。

【請求項59】

前記処理されたワークピースの少なくとも一つの寸法が、前記一つ以上の品質検査画像と前記完成したサイズモデルの比較に基づいて特定される、請求項５６に記載のシステム。

【請求項60】

前記ワークピースが前記品質検査基準を満たすかどうかを決定することが、前記少なくとも一つの寸法を前記縫製ロボットに対する定義された寸法限界と比較することを含む、請求項５９に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

＜関連出願の相互参照＞
本出願は、２０２０年７月２４日に出願された、「Ｓｅｎｓｏｒ Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｓｅｗｎ Ｐｒｏｄｕｃｔ Ｐｒｏｃｅｓｓｉｎｇ Ａｐｐａｒａｔｕｓ」と題する同時係属中の米国非仮出願シリアル番号第１６／９３８，２９７号に対する優先権、およびその利益を主張し、同出願は、２０１９年１１月１２日に出願された、「Ｓｅｎｓｏｒ Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｓｅｗｎ Ｐｒｏｄｕｃｔ Ｐｒｏｃｅｓｓｉｎｇ Ａｐｐａｒａｔｕｓ」と題する同時係属中の米国非仮出願シリアル番号第１６／６８１，５８８号に対する優先権、およびその利益を主張するもので、その両方は、参照によりその全体が本明細書に組み込まれる。

【0002】

本開示は、概して製品を切断および／または縫製するシステム、設備、および方法に関し、より具体的には、作業区域内のワークピースの場所を決定するシステム、設備、および方法に関する。

【背景技術】

【0003】

縫製品製造におけるより複雑なプロセスを自動化するうえでの共通の課題は、縫製ロボットなどの設備が、縫製ロボットの作業区域内で縫製品ワークピースの場所を決定しなければならないことである。ワークピース、例えば、材料、布地、または繊維製品などの縫製品などの追跡の技術分野では、自動化された縫製品プロセス全体を通して限界があった。また、縫製品処理設備の能力および所望の製品を順調に作製するために取る必要のある工程を決定することは困難である。

【0004】

この概念の価値は、取り込まれたセンサーデータを通して、システムが、ロボットシステムを案内するだけでなく、縫製品作製設備によって実行されるプロセスが許容可能であるかどうかを決定するために、センサーのモデルだけでなく、ロボットシステムのモデルも適用できるということである。

【0005】

背景技術のセクションで考察した主題は、単に背景技術のセクションで言及した結果として先行技術であるとみなされるべきではない。同様に、背景技術のセクションで言及された、または背景技術のセクションの主題に関連付けられた問題は、先行技術において以前に認識されたものとはみなされるべきではない。背景技術のセクションの主題は、異なるアプローチを単に表すものであり、それ自体は、特許請求される技術の実施にも対応する場合がある。

【発明の概要】

【0006】

本開示の態様は、作業区域内のワークピースの場所の決定に関する。一態様では、とりわけ、システムは、作業区域を備える縫製ロボットと、作業区域の少なくとも一部分の画像を得るように構成されたセンサーシステムと、視覚ベースモジュールと、縫製ロボットによって製造されることができる製品に対応するロボットシステムプロファイルおよびセンサープロファイルと、プロセッサを備える処理回路と、を備える。視覚ベースモジュールの実行は、ワークピースが作業区域内に存在していることをセンサーシステムによって検出することができ、そしてセンサープロファイルをロボットシステムプロファイルに適用することができる。一つ以上の態様では、視覚ベースモジュールの実行は、少なくとも部分的に、センサーシステムによってワークピースから得られた一つ以上の受入検査画像に基づいて、ワークピースの位置を決定することができる。一つ以上の受入検査画像は、センサープロファイルのサイズモデルと比較することができるか、センサープロファイルの曲線モデルと比較することができるか、またはセンサープロファイルの異常モデルと比較することができる。ワークピースの一つ以上の寸法は、一つ以上の受入検査画像から決定することができ、かつサイズモデルの境界テンプレートと比較することができ、またセンサープロファイルをロボットシステムプロファイルに適用することは、境界テンプレートを、縫製ロボットに対する最大および最小のテンプレートパラメータと比較することを含むことができる。一つ以上の受入検査画像内のワークピースとの曲線モデルの形状の比較に基づいて、ワークピースの少なくとも一つの曲線を特定することができ、またセンサープロファイルをロボットシステムプロファイルに適用することは、ワークピース上で特定された少なくとも一つの曲線を、縫製ロボットに対して利用可能な曲線のリストと比較することを含むことができる。ワークピースの少なくとも一つの異常は、一つ以上の受入検査画像内のワークピースとの異常モデルの比較に基づいて特定することができ、またセンサープロファイルをロボットシステムプロファイルに適用することは、ワークピース上で特定された少なくとも一つの異常を、縫製ロボットに対する定義された異常限界と比較することを含むことができる。

【0007】

様々な態様では、視覚ベースモジュールの実行は、少なくとも部分的に、ワークピースのセンサーシステムによって得られた一つ以上のインラインプロセス画像に基づいて、ワークピースの処理を追跡することができる。一つ以上のインラインプロセス画像は、センサープロファイルの曲線モデルと比較することができるか、またはセンサープロファイルのステッチタイプモデルと比較することができる。ワークピースの形状は、一つ以上のインラインプロセス画像および曲線モデルに基づいて追跡することができ、またセンサープロファイルをロボットシステムプロファイルに適用することは、ワークピースの形状を、縫製ロボットに対して指定されたパラメータと比較することを含むことができる。ワークピースの縫い目形成は、一つ以上のインラインプロセス画像内のワークピースとのステッチタイプモデルの比較に基づいて追跡されてもよく、またセンサープロファイルをロボットシステムプロファイルに適用することは、縫い目形成を、縫製ロボット用の利用可能なステッチの能力と比較することを含んでもよい。一つ以上のインラインプロセス画像は、縫製ロボットによるワークピースの処理中にセンサーシステムによって取り込むことができる。是正措置は、ワークピースの処理が許容可能にならないことに応答して開始することができる。縫製ロボットの動作は、ワークピースの処理を製造公差内に維持するように調整することができる。是正措置は、ワークピースを縫製ロボットから取り外すことを含んでもよい。

【0008】

一部の態様では、視覚ベースモジュールの実行は、ワークピースの処理から生じる作業生産物の品質を検証することができ、ここで、品質は、少なくとも部分的に、センサーシステムによって得られたワークピースの一つ以上の品質検査画像に基づく。一つ以上の品質検査画像は、センサープロファイルの縫製経路モデルと比較することができるか、またはセンサープロファイルの完成したサイズモデルと比較することができる。作業生産物の縫製経路は、一つ以上の品質検査画像および縫製モデルからの縫製経路パラメータに関して決定することができる。作業生産物の品質を検証することは、縫製経路の距離を、縫製ロボットに対して定義された縫製経路限界と比較することを含むことができる。完成したサイズモデルと一つ以上の品質検査画像との比較に基づいて、作業生産物の少なくとも一つの寸法を特定することができる。作業生産物の品質を検証することは、少なくとも一つの寸法を、縫製ロボットに対する定義された寸法限界と比較することを含むことができる。

【0009】

別の態様では、システムは、作業区域を備える縫製ロボットと、作業区域に提供されるワークピースの少なくとも一部分の受入検査画像を得るように構成されたセンサーシステムと、視覚ベースモジュールと、ロボットシステムプロファイルと、縫製ロボットによって製造された製品に対応するセンサープロファイルと、プロセッサを備える処理回路と、を備える。視覚ベースモジュールの実行は、センサーシステムによって得られたワークピースの一つ以上の受入検査画像を、センサープロファイルの基準と比較すること、およびセンサープロファイルのロボットシステムプロファイルに適用することに、少なくとも部分的に基づいて、作業区域へと提供されるワークピースが、センサープロファイルおよびロボットシステムプロファイルによって指定された受入検査基準を満たすかどうかを決定することができる。一つ以上の態様では、一つ以上の受入検査画像は、センサープロファイルのサイズモデルと比較することができるか、センサープロファイルの曲線モデルと比較することができるか、またはセンサープロファイルの異常モデルと比較することができる。ワークピースの長さおよび幅は、一つ以上の受入検査画像から決定することができ、そしてサイズモデルの長方形テンプレートへと定置することができ、またセンサープロファイルをロボットシステムプロファイルに適用することは、長方形テンプレートを、縫製ロボットに対する最大および最小のテンプレートパラメータと比較することを含むことができる。一つ以上の受入検査画像内のワークピースとの曲線モデルの形状の比較に基づいて、ワークピースの少なくとも一つの曲線を特定することができ、またセンサープロファイルをロボットシステムプロファイルに適用することは、ワークピース上で特定された少なくとも一つの曲線を、縫製ロボットに対して利用可能な曲線のリストと比較することを含むことができる。ワークピースの少なくとも一つの異常は、一つ以上の受入検査画像内のワークピースとの異常モデルの比較に基づいて特定することができ、またセンサープロファイルをロボットシステムプロファイルに適用することは、ワークピース上で特定された少なくとも一つの異常を、縫製ロボットに対する定義された異常限界と比較することを含むことができる。

【0010】

様々な態様では、視覚ベースモジュールの実行は、受入検査基準を満たすワークピースに応答して、縫製ロボットによるワークピースの処理が、ワークピースのセンサーシステムによって得られた一つ以上のインラインプロセス画像とセンサープロファイルの基準との比較と、センサープロファイルをロボットシステムプロファイルに適用することと、に少なくとも部分的に基づいて、センサープロファイルおよびロボットシステムプロファイルによって指定されるインラインプロセス基準を満たすかどうかを、さらに決定することができる。ワークピースがインラインプロセス基準を満たすかどうかを決定することは、ワークピースの処理が完了したことを検証することを含むことができる。一つ以上のインラインプロセス画像は、センサープロファイルの区域モデルと比較することができるか、センサープロファイルの糸モデルと比較することができるか、またはセンサープロファイルのステッチタイプモデルと比較することができる。ワークピースの区域は、一つ以上のインラインプロセス画像および区域モデルから決定することができ、またセンサープロファイルをロボットシステムプロファイルに適用することは、区域を、縫製ロボットに対する最大および最小の区域パラメータと比較することを含むことができる。ワークピースの糸の色または糸のサイズは、一つ以上のインラインプロセス画像内のワークピースとの糸モデルの比較に基づいて特定することができ、またセンサープロファイルをロボットシステムプロファイルに適用することは、糸の色または糸のサイズを、縫製ロボットに対する利用可能な糸の能力と比較することを含んでもよい。処理されたワークピースのステッチタイプは、一つ以上のインラインプロセス画像内のワークピースとのステッチタイプモデルの比較に基づいて特定することができ、またセンサープロファイルをロボットシステムプロファイルに適用することは、ステッチタイプを、縫製ロボットに対して利用可能なステッチの能力と比較することを含むことができる。センサーシステムは、縫製ロボットによるワークピースの処理中に、一つ以上のインラインプロセス画像を取り込むように構成された一つ以上の画像取込装置を備えることができる。視覚ベースモジュールの実行は、インラインプロセス基準を満たす処理されたワークピースに応答して、処理されたワークピースが、ワークピースのセンサーシステムによって得られた一つ以上の品質検査画像とセンサープロファイルの基準との比較に少なくとも部分的に基づいて、センサープロファイルによって指定される品質検査基準を満たすかどうかをさらに決定することができる。是正措置は、ワークピースがインラインプロセス基準を満たせなかったことに応答して開始することができる。

【0011】

一部の態様では、視覚ベースモジュールの実行は、縫製ロボットによる処理後に、ワークピースのセンサーシステムによって得られた一つ以上の品質検査画像と、センサープロファイルの基準との比較に少なくとも部分的に基づいて、ワークピースが、センサープロファイルによって指定される品質検査基準を満たすかどうかをさらに決定することができる。処理後に得られた一つ以上の品質検査画像は、センサープロファイルの縫製経路モデルと比較することができるか、またはセンサープロファイルの完成したサイズモデルと比較することができる。処理された作業生産物の縁部からの縫製経路の距離は、一つ以上の品質検査画像および縫製経路モデルから決定することができる。ワークピースが品質検査基準を満たすかどうかを決定することは、縫製経路の距離を、縫製ロボットに対する定義された縫製経路の限界と比較することを含むことができる。処理されたワークピースの少なくとも一つの寸法は、一つ以上の品質検査画像との完成したサイズモデルの比較に基づいて特定することができる。ワークピースが品質検査基準を満たすかどうかを決定することは、少なくとも一つの寸法を、縫製ロボットに対する定義された寸法制限と比較することを含むことができる。

【0012】

本開示の他のシステム、方法、特徴、および利点は、以下の図面および発明を実施するための形態を検討することで、当業者には明らかであろう、または明らかとなるであろう。すべてのこうした追加的なシステム、方法、特徴、および利点は、この記述に含まれ、本開示の範囲内であり、かつ添付の特許請求の範囲によって保護されることが意図される。加えて、記述された実施形態の随意の特徴および修正ならびに好ましい特徴および修正のすべては、本明細書に教示される開示のすべての態様で使用可能である。その上、従属請求項だけでなく、記述された実施形態の随意の特徴および修正ならびに好ましい特徴および修正のすべての個々の特徴も、組み合わせが可能であり、かつ互いに互換性がある。

【0013】

添付図面は、本開示の様々な他の態様のシステム、方法、および実施形態の様々な実施例を例示する。当業者であれば、図中に例示された要素の境界（例えば、箱、箱の群、または他の形状）は、境界の一例を表すことを理解するであろう。一部の実施例では、一つの要素は、複数の要素として設計される場合があり、またはその複数の要素が、一つの要素として設計される場合がある。一部の実施例では、一つの要素の内部構成要素として示される要素は、別の要素の外部構成要素として実装されてもよく、その逆も可能である。その上、要素は一定の縮尺一定の縮尺で描かれていない場合がある。非限定的および非網羅的な記述は、以下の図面を参照しながら記述される。図内の構成要素は必ずしも一定の縮尺ではなく、その代わりに原理を例示することに重点を置いている。さらに、図面では、同様の参照番号は、いくつかの図を通して対応する部分を示す。

【図面の簡単な説明】

【0014】

【図1】図１は、本開示の様々な実施形態による、視覚システムの実施例を例示する。

【図2】図２は、本開示の様々な実施形態による、視覚ベースモジュールの実施例を例示する。

【図3】図３は、本開示の様々な実施形態による、受入検査モジュールの実施例を例示する。

【図4】図４は、本開示の様々な実施形態による、インラインプロセスモジュールの実施例を例示する。

【図5】図５は、本開示の様々な実施形態による、品質検査モジュールの実施例を例示する。

【発明を実施するための形態】

【0015】

本明細書では、縫製の自動化のために使用することができる視覚システムに関する様々な実施例が開示される。その特徴のすべてを例示する本開示のいくつかの実施形態を、ここで詳細に考察する。「備える」、「有する」、「含有する」、および「含む」という語、ならびにそれらの他の形態は、意味において同等であることを意図しており、またこれらの語のうちのいずれか一つに続く品目（複数可）が、こうした品目（複数可）の網羅的なリストであることを意味するものではなく、または列挙された品目（複数可）のみに限定されることを意味するという点で、制約がない。

【0016】

また、本明細書および添付の特許請求の範囲において使用される場合、単数形「ａ」、「ａｎ」、「ｔｈｅ」は、文脈によって別途明確に指示されない限り、複数の参照を含むことにも留意する必要がある。本明細書に記述されるものと類似または同等の任意のシステムおよび方法を、本開示の実施形態の実践または試験に使用することができるが、ここで、好ましいシステムおよび方法が記述される。

【0017】

本開示の実施形態は、添付図面を参照しながら以下でより完全に記述される。添付図面では、いくつかの図を通して同様の数字は同様の要素を表し、また例示的実施形態が示される。しかしながら、特許請求の範囲の実施形態は、多くの異なる形態で具現化されてもよく、また本明細書に記載する実施形態に限定されるものとして解釈されるべきではない。本明細書に記載する実施例は、非限定的な実施例であり、そして他の可能な実施例の中での単なる実施例にすぎない。

【0018】

図１を参照すると、縫製ロボット１０２の実施例が示されている。図１の実施例に例示されるように、縫製ロボット１０２は、プロセッサ１０４、メモリ１０６、ヒューマンマシンインターフェースすなわちＨＭＩ１０８、入力／出力（Ｉ／Ｏ）装置１１０、ネットワーキング装置（複数可）１１２、縫製装置１１４、布地移動装置（複数可）１１６、二次動作装置（複数可）１１８、ローカルインターフェース１２０、およびセンサー１２２（例えば、ＲＧＢカメラ、ＲＧＢ－Ｄカメラ、ＮＩＲカメラなど）を備えることができる。縫製ロボット１０２はまた、視覚システムの様々な態様を実施するために実行されてもよい、視覚ベースモジュール１２４、受入検査モジュール１２６、インラインプロセスモジュール１２８、および／または品質検査モジュール１３０も備えることができる。

【0019】

視覚ベースモジュール１２４は、受入検査モジュール１２６、インラインプロセスモジュール１２８、および品質検査モジュール１３０を開始することができる。受入検査モジュール１２６は、縫製ロボット１０２によって実行されるあらゆる動作の前に、センサーデータを取り込んで、結果をセンサープロファイル（複数可）１３２およびロボットシステムプロファイル（複数可）１３４と比較することによって、縫製ロボット１０２の作業区域内のワークピースの位置を決定することができる。インラインプロセスモジュール１２８は、縫製ロボット１０２によって動作が実行されている間に、センサーデータを取り込んで、結果をセンサープロファイル（複数可）１３２およびロボットシステムプロファイル（複数可）１３４と比較することによって、作業区域内のワークピースの位置を決定することができる。品質検査モジュール１３０は、縫製ロボット１０２によって動作が実行された後に、センサーデータを取り込んで、結果をセンサープロファイル（複数可）１３２およびロボットシステムプロファイル（複数可）１３４と比較することによって、作業区域内の縫製ピースの品質を決定することができる。

【0020】

プロセッサ１０４は、一つ以上の他の電子装置またはサーバーから受信した任意の命令を復号し、そして実行するように構成することができる。プロセッサ１０４は、一つ以上の汎用プロセッサ（例えば、ＩＮＴＥＬ（登録商標）またはＡｄｖａｎｃｅｄ Ｍｉｃｒｏ Ｄｅｖｉｃｅｓ（登録商標）（ＡＭＤ）マイクロプロセッサ）および／または一つ以上の専用プロセッサ（例えば、デジタル信号プロセッサまたはＸｉｌｉｎｘ（登録商標）システム・オン・チップ（ＳＯＣ）フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）プロセッサ）を含むことができる。プロセッサ１０４は、本明細書に記述される機能のいずれかを実施するためのプログラム命令など、一つ以上のコンピュータ可読プログラム命令を実行するように構成されてもよい。プロセッサ１０４を含む処理回路は、本明細書に記述される機能のいずれかを実施するためのプログラム命令など、一つ以上のコンピュータ可読プログラム命令を実行するように構成することができる。

【0021】

メモリ１０６は、固定（ハード）ドライブ、磁気テープ、フロッピーディスク、光ディスク、コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、および光磁気ディスク、ＲＯＭなどの半導体メモリ、ランダムアクセスメモリ（ＲＡＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気カードもしくは光カード、または電子的な命令を格納するために適したその他のタイプの媒体／機械可読媒体を含むことができるが、それらに限定されない。メモリ１０６は、プロセッサ（複数可）１０４によって実行可能なプログラムとして実施することができるモジュールを備えることができる。

【0022】

インターフェース（複数可）またはＨＭＩ１０８は、ユーザーからの入力を受け取るか、またはユーザーに出力を提供するかのいずれかを行うことができ、または両方の動作を実行してもよい。一つの事例では、ユーザーは、一つ以上のユーザー対話型の物体および装置を使用して、インターフェースと相互作用することができる。ユーザー対話型の物体および装置は、ユーザー入力ボタン、スイッチ、ノブ、レバー、キー、トラックボール、タッチパッド、カメラ、マイク、モーションセンサー、熱センサー、慣性センサー、タッチセンサー、または上記の組み合わせを備えてもよい。さらに、インターフェースは、要素１０８において、コマンドラインインターフェース（ＣＬＩ）、ヒューマンマシンインターフェース（ＨＭＩ）、音声インターフェース、またはウェブベースのユーザーインターフェースのいずれかとして実装することができる。

【0023】

縫製ロボット１０２の入力／出力装置、すなわちＩ／Ｏ装置１１０は、プロセッサ１０４の、例えば、ナイフ装置、縫製装置１１４、布地移動装置（複数可）１１６、二次動作装置（複数可）１１８、および／またはセンサー（複数可）１２２などの他の装置への接続を容易にするために使用される構成要素を備えることができ、したがって、例えば、一つ以上の直列、並列、小型システムインターフェース（ＳＣＳＩ）、ユニバーサルシリアルバス（ＵＳＢ）、またはＩＥＥＥ １３９４（すなわち、Ｆｉｒｅｗｉｒｅ（商標））の接続要素を備えることができる。

【0024】

縫製ロボット１０２のネットワーキング装置（複数可）１１２は、ネットワーク上でデータを送信および／または受信するために使用される様々な構成要素を備えることができる。ネットワーク装置（複数可）１１２は、入力および出力の両方と通信することできる装置、例えば、変調器／復調器（すなわち、モデム）、無線周波数（ＲＦ）または赤外線（ＩＲ）トランシーバ、電話インターフェース、ブリッジ、ルーターだけでなく、ネットワークカードなども含むことができる。

【0025】

縫製ロボット１０２の縫製装置１１４は、ワークピース材料（複数可）を縫合することを容易にすることができ、また生成されたパターンの追跡に基づいて、ワークピース材料の周囲またはワークピース材料上のマーキングに沿って縫製するように構成することができる。追加的な実施形態では、縫製装置１１４は、ワークピースなどから糸、ステッチ、材料などを切断するためのナイフ装置を含むことができる。布地移動装置（複数可）１１６または材料移動装置（複数可）は、要素１１６において、切断動作および縫製動作中の製品材料（複数可）の移動を容易にすることができる。二次動作装置（複数可）１１８は、スタッキング装置（複数可）、折り畳み装置（複数可）、ラベル操作装置（複数可）、ならびに／または縫製品の準備、作製、および／もしくは仕上げを支援する他の装置（複数可）を含むことができる。

【0026】

縫製ロボット１０２のローカルインターフェース１２０は、例えば、当技術分野で公知のような一つ以上のバスまたは他の有線もしくは無線の接続とすることができるが、それらに限定されない。ローカルインターフェース１２０は、コントローラ、バッファ（キャッシュ）、ドライバ、リピータ、およびレシーバなどの簡略化のために省略された、通信を可能にする追加的な要素を有することができる。さらに、ローカルインターフェース１２０は、要素１２０において、構成要素間の適切な通信を可能にするために、アドレス、制御、および／またはデータ接続を含むことができる。

【0027】

縫製ロボット１０２のセンサー（複数可）１２２は、ワークピース材料（複数可）の位置および移動の検出を容易にすることができる。一つまたは複数のセンサー１２２を含むシステムは、要素１２２において、モーションセンサー、温度センサー、湿度センサー、カメラ（ＲＧＢカメラ、ＲＧＢ－Ｄカメラ、立体カメラ、近赤外（ＮＩＲ）カメラ、または他の画像取込装置など）、マイク、無線周波数受信機、熱撮像装置、レーダー装置、ライダー装置、超音波装置、スピーカ、ウェアラブル装置などを使用することができるが、それらに限定されない。ＲＧＢ－Ｄカメラは、画像中の画素の色（ＲＧＢ）および深度の情報を提供することができるデジタルカメラである。一部の実施形態では、単一のセンサー１２２は、様々な感知活動を提供するために機能することができる。

【0028】

図１に示すように、縫製ロボット１０２は、受入検査モジュール１２６、インラインプロセスモジュール１２８、および品質検査モジュール１３０を開始することができる視覚ベースモジュール１２４を含む。受入検査モジュール１２６は、ワークピースが縫製ロボット１０２のワークスペースに入った後、センサーデータを取り込んで、結果をセンサープロファイル（複数可）１３２およびロボットシステムプロファイル（複数可）１３４と比較することによって、作業区域内のワークピースの位置を決定することができる。インラインプロセスモジュール１２８は、縫製ロボット１０２によって動作が実行されている間に、センサーデータを取り込んで、結果をセンサープロファイル（複数可）１３２およびロボットシステムプロファイル（複数可）１３４と比較することによって、作業区域内のワークピースの位置を決定することができる。品質検査モジュール１３０は、縫製ロボット１０２によって動作が実行された後に、センサーデータを取り込んで、結果をセンサープロファイル（複数可）１３２およびロボットシステムプロファイル（複数可）１３４と比較することによって、作業区域内のワークピースの位置を決定することができる。品質検査モジュール１３０はまた、ワークピースの他の状態を評価することもできる。

【0029】

センサープロファイル１３２は、センサー読み取り値を処理し、そして検出された形状のモデルを予想される形状のモデルと比較することによって、作業区域内のワークピースの位置を推定するために使用することができる、縫製品ワークピースの検出された形状のモデルなど、事前計算されたセンサーモデルおよびパラメータとすることができる。例えば、曲線を、半円曲線、直角曲線などの二次元（またはそれ以上の次元）の二つ（またはそれ以上）の点の組として定義することができる、ワークピースの曲線の数学モデルである。センサープロファイル１３２は、例えば、ワークピースまたは製品のセンサーデータとの比較によって、ワークピースおよび／または製品の評価に使用することができる、例えば、特性、パラメータおよび／または公差などの基準を含むことができる。様々な実施形態では、これは、要素１３２で、数例を挙げると、例えば、ワークピースのサイズ、ワークピースの曲線、ワークピースの異常、ワークピースの区域、ワークピースの糸パラメータ、ワークピースのステッチタイプ、ワークピースの縫製経路、および／または完成したワークピースのサイズを決定する、事前計算されたカメラモデルとすることができる。

【0030】

ロボットシステムプロファイル１３４は、要素１３４で、数例を挙げると、例えば、ワークピースの最大または最小サイズ、ロボットシステムの曲線縫製能力、ロボットシステムによって取り扱うことができる異常、ワークピースが縫製ロボット１０２に対して使用可能な作業区域の外側に移動したかどうか、ロボットシステムの糸の能力、ロボットシステムのステッチの能力、完成したワークピースの品質チェック（縫製経路およびワークピースのサイズなど）などの、ロボットシステム１０２の事前計算されたパラメータまたは限界を含むことができる。ロボットシステムプロファイル１３４は、例えば、ワークピースまたは製品のセンサーデータとの比較によって、ワークピースおよび／または製品の評価に使用することができる、例えば、特性、パラメータ、公差、および／または能力などの基準を含むことができる。

【0031】

ここで、視覚ベースモジュール１２４の機能を、図２を参照しながら説明する。当業者は、本明細書に開示されるこのプロセスおよび方法ならびに他のプロセスおよび方法について、プロセスおよび方法において実行される機能は、異なる順序で実施されてもよいことを理解するであろう。その上、概説した工程および動作は、例としてのみ提供され、また工程および動作の一部は、随意であってもよく、開示された実施形態の本質を損なうことなく、より少ない工程および動作へと組み合わされてもよく、または追加的な工程および動作へと拡張されてもよい。

【0032】

図２のフローチャートは、視覚ベースモジュール１２４の可能な実装のアーキテクチャ、機能、および動作を示す。プロセスは、２０２において、視覚ベースモジュール１２４が、作業台上に定置された受入ワークピースを検出すると始まる。視覚ベースモジュール１２４は、センサーデータを取り込み、センサーデータをセンサープロファイル１３２（事前計算することができる）およびロボットシステムプロファイル１３４と比較する、受入検査モジュール１２６を、２０４において開始することができる。２０６において、ワークピースが、指定されたモデル特性、パラメータ、および／またはロボットシステムの能力に適合しないことが決定された場合には、プロセスは２０８まで継続し、そこで、特性、パラメータ、または能力に適合することができなかったことに対処するために是正措置を取ることができ、プロセスは次のワークピースを検出するために２０２に戻ることができる。一部の事例では、是正措置が取られている間、プロセスは停止されてもよい。２０８における是正措置には、布地移動装置（複数可）１１６を使用して、ワークピースを正常な位置に戻すこと、縫製ロボット１０２の布地移動装置（複数可）１１６によって実施することができる、許容できないワークピースを縫製ロボット１０２のワークフローから自動的に除去すること、または、オペレータが適切な措置（例えば、許容できないワークピースを手動で除去する）を取るまで縫製ロボット１０２を停止し、そしてプロセスを再開すること、を挙げることができるが、それらに限定されない。プロセスは、２０８において是正措置が完了した後、（自動または手動のいずれかで）再開することができる。

【0033】

ワークピースが、２０６において、さらなる処理に対して適切または許容可能であるとみなされる場合には、プロセスは２１０へと継続することができ、ここで、視覚ベースモジュール１２４は、インラインプロセスモジュール１２８を開始することができる。２１０において、インラインプロセスモジュール１２８は、ワークピースの処理中にセンサーデータを取り込み、そしてセンサーデータを、センサーデータに関連付けられたセンサープロファイル（複数可）１３２（図１）と比較することができ、次いでセンサーデータを、ロボットシステムプロファイル（複数可）１３４（図１）と比較することができる。インラインプロセスモジュール１２８は、処理をワークピースに関連付けられた許容可能なガイドライン内に維持するために、ワークピースの処理中に縫製ロボット１０２の動作を調整することができる。例えば、定義された縫い目線に沿って縫製することは、完成した製品を製造公差内に維持するために、インラインプロセスの間に継続的または反復的に調整することができる。インラインプロセスが指定されたモデル特性、パラメータ、および／もしくは能力に適合することができない場合、ワークピースは不適切であるか、または許容できないと考えられる可能性があり、そして／あるいはインラインプロセスは２１２において完了しない。その場合、前に考察したように、２０２に戻って次のワークピースを検出する前に、２０８において是正措置を取ることができる。

【0034】

２１２において、ワークピースが適切であるかまたは許容可能であるとみなされ、そしてインラインプロセスが完了する場合、視覚ベースモデル１２４は、２１４において品質検査モジュール１３０を開始することができる。品質検査モジュール１３０は、センサーデータを取り込み、そしてセンサーデータをセンサープロファイル（複数可）１３２およびロボットシステムプロファイル（複数可）１３４と比較することができる。２１６において、ワークピースが、指定されたモデル特性、パラメータ、および／または能力に適合しないと決定された場合、前に考察したように、２０２に戻って次のワークピースを検出する前に、２０８において是正措置を取ることができる。しかしながら、ワークピースが２１６において適切であるかまたは許容可能であるとみなされた場合には、プロセスは２０２に戻って、視覚ベースモジュール１２４を繰り返すことができる。

【0035】

これらのモジュールは交換可能であり、この例で提供するものとは異なる順序または異なる組み合わせで使用されてもよいことに留意するべきである。例えば、品質検査モジュール１３０および／またはインラインプロセスモジュール１２８は、製造プロセス中の様々な縫製段階の間に縫製品の品質を確保するために、視覚ベースモジュール１２４によって二回以上開始されてもよい。また、様々な実施は、図２に図示した一つのモジュールのみ、またはモジュールのより少ない数の組み合わせを開始することもできる。受入検査モジュール１２６を開始することができ、これに続いてインラインプロセスモジュール１２８および／または品質検査モジュールのうちの一つが開始されるか、またはいずれも開始されない。同様に、受入検査モジュール１２６は、受入ワークピースを検出した後、迂回することができ、またインラインプロセスおよび／または品質検査モジュールの一方または両方を開始することができる。理解することができるように、他の組み合わせも可能である。

【0036】

ここで、受入検査モジュール１２６の機能を、図３を参照しながら説明する。当業者は、本明細書に開示されるこのプロセスおよび方法ならびに他のプロセスおよび方法について、プロセスおよび方法において実行される機能は、異なる順序で実施されてもよいことを理解するであろう。その上、概説した工程および動作は、例としてのみ提供され、また工程および動作の一部は、随意であってもよく、開示された実施形態の本質を損なうことなく、より少ない工程および動作へと組み合わされてもよく、または追加的な工程および動作へと拡張されてもよい。

【0037】

図３のフローチャートは、受入検査モジュール１２６の可能な実装のアーキテクチャ、機能、および動作を示す。プロセスは３０２において、受入検査モジュール１２６が、例えば、視覚ベースモジュール１２４によって、図２の２０４において開始されることによって、始まる。ワークピース（例えば、一片の布地または材料などの縫製品）は、３０４において、縫製ロボット１０２（図１）によって処理することができ、そこで、ワークピースは、製品が作業台上で縫合される、縫製ロボット１０２の区域などの作業区域の中へと移動される。ワークピースは、例えば、アクチュエータ、バッジャー、エンドエフェクタなどの様々な布地移動装置（複数可）１１６によって移動することができる。様々な実装では、ワークピースの処理は、３０６において、様々なセンサー（１～Ｎ）１２２によって監視することができ、センサーは、縫製プロセスを完了するために、ワークピース上のセンサーデータを収集することができる。例えば、センサーは、その中に、３０４において、積み重ねから取り出され、そして作業台の上へと載せられる必要のある製品の一片があるというデータを取り込むことができる。センサー１２２は、３０６において、作業区域上の製品の一片のデータを取り込むことができる（例えば、一連の画像を取り込むカメラ）。

【0038】

次いで、取り込まれたセンサーデータは、受入検査基準が満たされるかどうかを決定するために、３０８において事前計算することができるセンサープロファイル１３２と比較される。一部の実施形態では、カメラから取り込まれた一連の画像は、ワークピースの長さおよび幅が決定され、また長方形テンプレート（例えば、境界ボックス）の中へと定置される、センサープロファイルのサイズモデルと比較することができる。他の実施形態では、カメラから取り込まれた一連の画像は、ワークピースの曲線の形状が特定されるセンサープロファイルの曲線モデルと比較することができる。別の実施形態では、カメラから取り込まれた一連の画像は、３０８において、ワークピースの異常が特定されるセンサープロファイルの異常モデルと比較することができる。

【0039】

次いで、３１０において、受入検査モジュール１２６は、センサープロファイル（複数可）１３２をシステムプロファイル（複数可）１３４に適用して、受入検査基準が満たされているかどうかを決定することができる。一部の実施形態では、ワークピースの長方形の境界ボックスは、ロボットシステムに対する最大および最小のテンプレートパラメータと比較することができる。他の実施形態では、ワークピース上で特定された曲線は、ロボットシステム１０２に対して利用可能な曲線のリストと比較することができる。別の実施形態では、ワークピース上で特定された異常は、３１０において、縫製ロボット１０２に対する異常の最大限界と比較することができる。

【0040】

次いで、ロボットシステムプロファイル（複数可）１３４と比較したセンサープロファイル（複数可）１３２の結果に基づいて、３１２において、プロセスを先に進めることができるかどうかを決定することができる。一実施例では、３０８において特定された長方形テンプレートまたは境界ボックスが、最大テンプレートパラメータもしくは特性を超える場合、またはロボットシステムプロファイル（複数可）１３４の最小テンプレートパラメータまたは特性に適合しない（またはこれらを満たさない）場合には、ワークピースは許容できないと考えられる可能性があり、３１４において視覚ベースモジュール１２４（図２）に戻り、そこで、結果は、２０６においてプロセスを先に進めることができるかどうかを決定すると考えられる。他の実装では、作業生産物の特定された曲線がロボットシステムプロファイル１３４のモデルによってサポートされていない場合には、ワークピースは許容できないと考えられ、そして３１４において、２０６における視覚ベースモジュール１２４（図２）へと戻る。別の実装では、特定された異常が、ロボットシステムプロファイル１３４のモデルが取り扱うには大きすぎると決定された場合には、ワークピースは、３１２において許容できないと考えられ、そして、結果が２０６において考慮される、３１４において、２０６における視覚ベースモジュール１２４（図２）へと戻る。ロボットシステムプロファイル（複数可）１３４と比較した時に、センサープロファイル（複数可）１３２が適切ではないと決定された場合、工程３１２においてプロセスは終了する。センサープロファイル（複数可）１３２とロボットシステムプロファイル（複数可）１３４との比較の結果が、３１２において許容可能であると判断された場合には、３１４においてプロセスは、２０６における視覚ベースモジュール１２４へと戻る。

【0041】

ここで、インラインプロセスモジュール１２８の機能を、図４を参照しながら説明する。当業者は、本明細書に開示されるこのプロセスおよび方法ならびに他のプロセスおよび方法について、プロセスおよび方法において実行される機能は、異なる順序で実施されてもよいことを理解するであろう。その上、概説した工程および動作は、例としてのみ提供され、また工程および動作の一部は、随意であってもよく、開示された実施形態の本質を損なうことなく、より少ない工程および動作へと組み合わされてもよく、または追加的な工程および動作へと拡張されてもよい。

【0042】

図４のフローチャートは、インラインプロセスモジュール１２８の可能な実装のアーキテクチャ、機能、および動作を示す。プロセスは４０２において、インラインプロセスモジュール１２８が、例えば、視覚ベースモジュール１２４によって、図２の２１０において開始されることによって、始まる。ワークピース（例えば、縫製品）は、４０４において、縫製ロボット１０２によって処理することができ、そこで、ワークピースは、製品が作業台上で縫合される、縫製ロボット１０２の区域などの作業区域の中へと移動される。ワークピースは、例えば、アクチュエータ、バッジャー、エンドエフェクタなどの様々な布地移動装置（複数可）１１６によって移動することができる。一部の実装では、ワークピースの処理は、４０６において、様々なセンサー（１～Ｎ）１２２によって監視することができ、センサーは、４０４において縫製プロセスを完了するために、ワークピース上のセンサーデータを収集することができる。センサー１２２は、４０６において、作業区域上の製品の一片のデータを取り込むことができる（例えば、一連の画像を取り込むカメラ）。

【0043】

次いで、インラインプロセス基準が４０８において満たされるかどうかを決定するために、取り込まれたセンサーデータを、センサープロファイル（複数可）１３２のモデルと比較することができる。一部の実施形態では、カメラから取り込まれた一連の画像は、ワークピースの区域が決定されるセンサープロファイル（複数可）１３２の区域モデルと比較することができる。他の実施形態では、カメラから取り込まれた一連の画像は、糸の色または糸のサイズが指定されるセンサーの糸モデルと比較することができる。別の実施形態では、カメラから取り込まれた一連の画像は、４０８において、ステッチタイプが指定されるセンサープロファイル（複数可）１３２のステッチタイプモデルと比較することができる。

【0044】

次に、インラインプロセスモジュール１２８は、インラインプロセス基準が満たされているかどうかを決定するために、４１０において、センサープロファイルをロボットシステムプロファイル１３４に適用することができる。一部の実施形態では、製品の区域は、ロボットシステムプロファイル１３４のモデルに対する最大および最小の区域パラメータまたは特性と比較することができる。他の実施形態では、糸の色または糸のサイズは、ロボットシステムプロファイル１３４のモデルの利用可能な糸の能力と比較することができる。別の実施形態では、工程４１０において、ステッチタイプは、ロボットシステムプロファイル１３４のモデルの利用可能なステッチ能力と比較することができる。

【0045】

次いで、ロボットシステムプロファイル（複数可）１３４と比較したセンサープロファイル（複数可）１３２の結果に基づいて、４１２において、プロセスを先に進めることができるかどうかを決定することができる。一部の実装では、図３の３０８において特定される製品の形状または区域が、ロボットシステムプロファイル１３４（またはセンサープロファイル１３２）のパラメータまたは特性に適合しない場合には、ワークピースは許容できないと考えられる可能性があり、そして４１４において、視覚ベースモジュール１２４（図２）へとおいて戻り、ここで結果は２１２においてプロセスを先に進めることができるかどうかを決定すると考えられる。他の実装では、製品の糸の色またはサイズがロボットシステムプロファイル１３４のモデルによってサポートされていない場合には、ワークピースは、４１２において許容することができず、そしてプロセスは、４１４において視覚ベースモジュール１２４へと戻る。別の実施形態では、ステッチタイプがロボットシステムプロファイル１３４のモデルによってサポートされていない場合には、ワークピースは、４１２において許容できないと考えられ、４１４において、２１２における視覚ベースモジュール１２４（図２）へと戻る。ロボットシステムプロファイル（複数可）１３４に対するセンサープロファイル（複数可）１３２の比較が、指定されたモデル特性、パラメータ、および／または能力を満たすために適切ではないと決定される場合には、４１４において、流れは視覚ベースモデル１２４に戻る。

【0046】

センサープロファイル（複数可）１３２とロボットシステムプロファイル（複数可）１３４との比較の結果が、４１２において、許容可能であると決定された場合には、４１６において、インラインプロセスが完了したかどうかが決定される。例えば、縫製品が製品製造のために必要な縫製動作を完了した場合である。４１６において、プロセスが完了していない場合には、ワークピースの処理を継続するために、プロセスは４０４に戻る。センサープロファイル（複数可）１３２とロボットシステムプロファイル（複数可）１３４との比較の結果が、４１２において許容可能であると決定され、そして４１６においてインラインプロセス１２８が完了された場合には、プロセスは、２１２において視覚ベースモジュール１２４に戻る。

【0047】

ここで、品質検査モジュール１３０の機能を、図５を参照しながら説明する。当業者は、本明細書に開示されるこのプロセスおよび方法ならびに他のプロセスおよび方法について、プロセスおよび方法において実行される機能は、異なる順序で実施されてもよいことを理解するであろう。その上、概説した工程および動作は、例としてのみ提供され、また工程および動作の一部は、随意であってもよく、開示された実施形態の本質を損なうことなく、より少ない工程および動作へと組み合わされてもよく、または追加的な工程および動作へと拡張されてもよい。

【0048】

図５のフローチャートは、品質検査モジュール１３０の可能な実装のアーキテクチャ、機能、および動作を示す。プロセスは５０２において、品質検査モジュール１３０が、視覚ベースモジュール１２４によって、図２の２１４において開始されることによって、始まる。ワークピース（例えば、縫製品）は、５０４において、縫製ロボット１０２（図１）によって処理することができ、そこで、ワークピースが、製品のピースが作業台上で縫合される、縫製ロボット１０２の区域などの作業区域内で移動される。ワークピースは、例えば、アクチュエータ、バッジャー、エンドエフェクタなどの様々な布地移動装置（複数可）１１６によって移動することができる。様々な実施形態では、ワークピースの処理は、５０６において、様々なセンサー（１～Ｎ）１２２によって監視することができ、センサーは、縫製プロセスを完了するために、ワークピース上のセンサーデータを収集する。センサーは、５０６において、作業区域上の製品の一片のデータを取り込む（例えば、一連の画像を取り込むカメラ）。

【0049】

次いで、取り込まれたセンサーデータは、品質検査基準が満たされているかどうかを決定するために、５０８においてセンサープロファイル１３２と比較することができる。一部の実施形態では、カメラから取り込まれた一連の画像は、センサープロファイル（複数可）１３２の縫製経路モデルと比較することができ、ここで製品の縁部からの縫製経路の距離が決定される。他の実施形態では、カメラから取り込まれた一連の画像は、完成したワークピースの寸法が指定されるセンサープロファイル（複数可）１３２の完成したサイズモデルと比較することができる。別の実施形態では、カメラから取り込まれた画像は、スナップ、ジッパー、フラップなどの製品の他の部品の配置および取り付けを含む、製品の他の特徴が正しく構築されているかどうかを決定するために使用することができる。完成したワークピースの寸法は、５０８において、比較のために取り込まれた画像から決定することができる。

【0050】

次に、５１０において、品質検査モジュール１３０は、センサープロファイル１３２をロボットシステムプロファイル１３４に適用して、５０８において、品質検査基準が満たされているかどうかを決定することができる。一部の実施形態では、縫製品の縁部からの縫製経路の距離は、ロボットシステム１０２に対する縫製経路パラメータまたは特性と比較することができる。他の実施形態では、完成したワークピースの寸法は、ロボットシステム１０２に対する完成したサイズモデルの指定された寸法、パラメータ、または特性と比較することができる。追加的な実施形態では、縫製品が処理されている間に、縫製ロボット１０２は、センサーデータを能動的に集めることができる。このデータは、機械学習アルゴリズムで使用されてもよい。縫製品から収集されたセンサーデータは、高品質の縫製品および低品質の縫製品の以前のセンサーデータと比較することができ、また縫製品は、工程５１０において、縫製品の品質が所定の閾値に適合するかどうかを決定するために、機械学習アルゴリズムの比較に基づいて評価することができる。

【0051】

次いで、ロボットシステムプロファイル（複数可）１３４と比較したセンサープロファイル（複数可）１３２の結果に基づいて、５１２において、プロセスを先に進めることができるかどうかを決定することができる。一部の実装では、３０８における製品の縁部からの縫製経路の距離が、５１２においてロボットシステムプロファイル１３４の縫製経路のパラメータまたは特性を超えるか、または適合しない（もしくは満たさない）場合には、製品は許容できないと考えられ、５１４において視覚ベースモジュール１２４（図２）へと戻り、ここで結果が、２１６においてプロセスを先に進めることができるかどうかを決定すると考えられる。他の実装では、製品の特定された曲線がロボットシステムプロファイル１３４のモデルによってサポートされていない場合、５１２において、製品は許容できないと考えることができ、そして５１４において視覚ベースモジュール１２４に戻る。別の実施形態では、完成したワークピースの寸法が、完成したワークピースに対する寸法、パラメータ、または特性に適合しない場合、製品は許容することができない可能性があり、そして５１４において視覚ベースモジュール１２４に戻る。ロボットシステムプロファイル（複数可）１３４に対するセンサープロファイル１３２の比較が、５１２において、指定されたモデル特性、パラメータ、および／または能力を満たすために適切ではないと決定される場合には、５１４において、流れは視覚ベースモデル１２４に戻る。センサープロファイル１３２とロボットシステムプロファイル１３４との比較の結果が、５１２において許容可能であると決定される場合には、プロセスは、５１４において、図２の２１６における視覚ベースモジュール１２４に戻り、ここで、次の受入ワークピースを検出するために、流れは２０２に戻る。

【0052】

本開示の上述の実施形態は、本開示の原理の明確な理解のために記載される実施の単なる可能な実施例にすぎないことが強調されるべきである。本開示の趣旨および原理から実質的に逸脱することなく、上述の実施形態（複数可）に対して数多くの変形および修正がなされてもよい。すべてのこうした修正および変形は、本開示の範囲内において本明細書に含まれることが意図され、以下の特許請求の範囲によって保護される。

【0053】

「実質的に」という用語は、意図された目的に否定的な影響を与えない、記述用語からの逸脱を許容することを意味する。記述用語は、たとえその用語が実質的にその単語によって明示的に修正されていないとしても、その単語によって実質的に修正されているものと暗黙的に理解される。

【0054】

比率、濃度、量、およびその他の数値データは、本明細書では範囲形式で表現される場合があることに留意するべきである。当然のことながら、こうした範囲形式は、利便性および簡潔性のために使用されるものであり、したがって、範囲の限界として明示的に列挙された数値だけでなく、各数値および部分範囲が明示的に列挙されたかのように、その範囲内に包含されたすべての個々の数値または部分範囲も含むように、柔軟な様態で解釈されるべきである。例示のために、「約０．１％～約５％」の濃度範囲は、約０．１重量％～約５重量％の明示的に列挙された濃度を含むだけでなく、個々の濃度（例えば、１％、２％、３％、および４％）および部分範囲（例えば、０．５％、１．１％、２．２％、３．３％、および４．４％）も指定範囲内に含まれると解釈されるべきである。「約」という用語は、数値の有効数字による従来の丸めを含むことができる。加えて、「約「ｘ」～「ｙ」」という語句は、「約「ｘ」～約「ｙ」」を含む。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】