特表 2022-552241 容器の対象領域を自律的に画定するためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-12-15

(54)【発明の名称】容器の対象領域を自律的に画定するためのシステムおよび方法

(51)【国際特許分類】

   G06T 7/12 20170101AFI20221208BHJP

   G01B 11/02 20060101ALI20221208BHJP

   G06V 10/44 20220101ALI20221208BHJP

【ＦＩ】

G06T7/12

G01B11/02

G06V10/44

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022521113

(86)(22)【出願日】2020-09-24

(85)【翻訳文提出日】2022-05-24

(86)【国際出願番号】 US2020052364

(87)【国際公開番号】W WO2021071677

(87)【国際公開日】2021-04-15

(31)【優先権主張番号】62/913,956

(32)【優先日】2019-10-11

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/854,220

(32)【優先日】2020-04-21

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡ

２．ＪＡＶＡＳＣＲＩＰＴ

３．ＢＬＵＥＴＯＯＴＨ

４．ＰＹＴＨＯＮ

(71)【出願人】

【識別番号】503110990

【氏名又は名称】エイジーアール インターナショナル，インコーポレイテッド

【氏名又は名称原語表記】ＡＧＲ ＩＮＴＥＲＮＡＴＩＯＮＡＬ，ＩＮＣ．

(74)【代理人】

【識別番号】110001438

【氏名又は名称】特許業務法人 丸山国際特許事務所

(72)【発明者】

【氏名】ピーターソン，ジェフリー エイ．

【テーマコード（参考）】

2F065

5L096

【Ｆターム（参考）】

2F065AA12

2F065AA17

2F065AA21

2F065AA30

2F065BB05

2F065FF04

2F065FF10

2F065JJ19

2F065JJ26

2F065LL67

2F065MM04

2F065PP13

2F065QQ23

2F065QQ24

2F065QQ25

2F065QQ31

2F065SS02

5L096EA43

5L096FA02

5L096FA06

5L096FA67

5L096JA22

(57)【要約】

【解決手段】容器の対象領域を自律的に画定するためのシステムおよび方法が提供される。システムは、容器を支持するためのプラットフォームと、容器がプラットフォーム上にある間に容器の特徴データを取り込むための検出器と、コンピュータシステムと、を備える。コンピュータシステムは、検出器およびプラットフォームと通信している。コンピュータシステムは、取り込まれた特徴データから容器の特徴を探し出すように、かつ、探し出された特徴に基づいて、容器の対象領域を画定するようにプログラムされている。
【選択図】図４

【特許請求の範囲】

【請求項1】

容器の対象領域を自律的に画定するためのシステムであって、
前記容器の特徴データを取り込むための検出器と、
前記検出器と通信しているコンピュータシステムであって、
前記取り込まれた特徴データから特徴を探し出すことと、
前記探し出された特徴に基づいて、前記容器の前記対象領域を画定することと、を行うようにプログラムされている、コンピュータシステムと、を備える、システム。

【請求項2】

前記コンピュータシステムが、チェーンコード、ラスタ走査、ソーベル縁部検出、二値化、および縁部抽出のうちの少なくとも１つを利用して、前記取り込まれた特徴データから特徴を探し出すようにプログラムされている、請求項１に記載のシステム。

【請求項3】

前記コンピュータシステムが前記取り込まれた特徴データから特徴を探し出すようにプログラムされていることが、前記コンピュータシステムが前記取り込まれた特徴データから、前記縁部に沿った画素の縁部角度を特定するようにプログラムされていることを含む、請求項１に記載のシステム。

【請求項4】

前記コンピュータシステムが前記取り込まれた特徴データから特徴を探し出すようにプログラムされていることが、前記コンピュータシステムが前記取り込まれた特徴データから、凹状領域および凸状領域のうちの少なくとも１つを探し出すようにプログラムされていることを含む、請求項１に記載のシステム。

【請求項5】

前記コンピュータシステムが、前記取り込まれた画像からの前記縁部上の前記特徴をカテゴリに分類するようにさらにプログラムされている、請求項１に記載のシステム。

【請求項6】

前記特徴が、前記容器の水平方向中心、前記容器の垂直方向中心、前記容器の上部、前記容器の側面、前記容器の底部、仕上げ特徴、本体特徴、肩部特徴、および末端特徴のうちの少なくとも１つを含む、請求項１に記載のシステム。

【請求項7】

前記仕上げ特徴が、ねじ山頂点、ねじ山谷底、支持レッジ縁部、およびネックストレート縁部のうちの少なくとも１つを含む、請求項６に記載のシステム。

【請求項8】

前記容器を支持するためのプラットフォームをさらに備える、請求項１に記載のシステム。

【請求項9】

前記システムが、光源をさらに備え、前記プラットフォームが、前記光源と前記検出器との中間に位置決めされている、請求項８に記載のシステム。

【請求項10】

前記プラットフォームが、軸を中心に回転するように、かつ、前記検出器に対して高さを変更するように構成されている、請求項８に記載のシステム。

【請求項11】

前記検出器は、前記容器が前記プラットフォーム上にある間、前記容器の画像を経時的に取り込むように構成されており、前記検出器によって取り込まれた特徴データが、前記検出器に対して異なる容器の姿勢の画像であるように、前記プラットフォームと前記検出器との間に相対的な移動が存在する、請求項８に記載のシステム。

【請求項12】

前記取り込まれた画像のうちの少なくとも２枚を、前記容器の少なくとも一部分の組み合わされた画像に一緒に組み合わせるようにプログラムされている前記コンピュータシステムをさらに備える、請求項１１に記載のシステム。

【請求項13】

前記少なくとも２枚の画像が、前記検出器に対して前記プラットフォームの実質的に同じ角度で、かつ、前記検出器に対して前記プラットフォームの異なる高さで取り込まれた画像である、請求項１２に記載のシステム。

【請求項14】

前記コンピュータシステムと通信しているディスプレイであって、前記コンピュータシステムが、前記容器の少なくとも一部分の前記特徴データの仮想表現を前記ディスプレイ上に表示するように構成されている、ディスプレイをさらに備える、請求項１に記載のシステム。

【請求項15】

前記コンピュータシステムが、前記仮想表現に、前記容器と関連付けられたパラメータを用いて注釈を付けるようにさらに構成されている、請求項１４に記載のシステム。

【請求項16】

前記コンピュータシステムが、受信された入力に応答して、前記仮想表現の前記姿勢および倍率のうちの少なくとも１つを変更するように構成されている、請求項１４に記載のシステム。

【請求項17】

前記特徴を特徴のデータストアと比較し、前記比較に基づいて対象領域を選択するようにプログラムされている前記コンピュータシステムをさらに備える、請求項１に記載のシステム。

【請求項18】

ロボットシステムであって、前記比較に基づいて前記容器を把持するようにプログラムされている、ロボットシステムをさらに備える、請求項１７に記載のシステム。

【請求項19】

前記コンピュータシステムが、前記特定された特徴から前記容器の寸法測定値を決定するようにプログラムされている、請求項１に記載のシステム。

【請求項20】

ロボットシステムであって、前記決定された寸法測定値に基づいて前記容器を把持するようにプログラムされている、ロボットシステムをさらに備える、請求項１９に記載のシステム。

【請求項21】

容器の対象領域を自律的に画定するための方法であって、
検出器によって、前記容器の特徴データを取り込むことと、
前記コンピュータシステムによって、前記取り込まれた特徴データから特徴を探し出すことと、
前記コンピュータシステムによって、前記特徴に基づいて前記容器の前記対象領域を画定することと、を含む、方法。

【請求項22】

前記対象領域をデータストアに格納することをさらに含む、請求項２１に記載の方法。

【請求項23】

生産運転時に容器形成機械で容器を形成することをさらに含む、請求項２１に記載の方法。

【請求項24】

前記コンピュータシステムによって、前記特徴から前記容器の寸法測定値を決定することと、
前記データストアに格納された前記対象領域を使用して、前記生産運転時に形成された容器の寸法を前記容器の仕様と比較することと、をさらに含む、請求項２３に記載の方法。

【請求項25】

前記検出器によって、前記容器がプラットフォーム上にある間、前記容器の画像を経時的に取り込むことであって、前記検出器によって取り込まれた画像が、前記検出器に対して異なる容器の姿勢の画像であるように、前記プラットフォームと前記検出器との間に相対的な移動が存在する、取り込むことと、
前記取り込まれた画像のうちの少なくとも２枚を、前記容器の少なくとも一部分の組み合わされた画像に一緒に組み合わせることと、をさらに含む、請求項２１に記載の方法。

【請求項26】

前記検出器が、カメラ、赤外線センサ、分光計、共焦点プローブ、ＬＩＤＡＲ、および厚さセンサのうちの少なくとも１つである、請求項１に記載の方法。

【請求項27】

前記検出器が、カメラであり、前記取り込まれた特徴データが、画像である、請求項１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

＜優先権の主張＞
本出願は、２０２０年４月２１日に出願された米国特許出願第１６／８５４，２２０号および２０１９年１０月１１日に出願された米国仮特許出願第６２／９１３，９５６号に対して優先権を主張するものであり、これらは参照によりその全体が本明細書に組み込まれる。

【背景技術】

【0002】

例えば、ブロー成形または押出成形による容器のような容器の製造中に、容器の寸法変化が生じる可能性がある。容器の寸法を測定することは、これらの寸法変化が許容範囲内にあることを保証するための、容器の品質管理に使用することができる。１つの測定技術には、容器の画像の使用が含まれるが、画像から容器の測定値を決定することには課題がある。

【発明の概要】

【0003】

一般的な一態様では、本発明は、容器の対象領域を決定するためのシステムおよび方法を対象とする。システムは、容器がプラットフォーム上にある間に容器の特徴データを取り込むための検出器と、コンピュータシステムと、を備える。コンピュータシステムは、検出器と通信しており、取り込まれた特徴データから容器の特徴を探し出すようにプログラムされている。様々な実施例では、特徴は、容器の水平方向中心、容器の垂直方向中心、容器の上部、仕上げ特徴、本体特徴、肩部特徴、末端特徴であり得る。コンピュータシステムは、探し出された特徴に基づいて、容器の対象領域を画定するようにさらに構成されている。様々な実施例では、コンピュータシステムは、特定された特徴から容器の寸法測定値を決定するようにプログラムされている。ある特定の実施形態では、対象領域および／または他の特徴は、データストアに格納することができる。

【0004】

別の一般的な態様では、本発明は、容器の対象領域を決定するための視覚ベースのシステムおよび方法を対象とする。システムは、容器を支持するためのプラットフォームと、容器がプラットフォーム上にある間、容器の画像を経時的に取り込むための検出器と、コンピュータシステムと、を備える。検出器によって取り込まれた画像が、検出器に対して異なる容器の姿勢（位置および向き）の画像であるように、プラットフォームと検出器との間に相対的な移動が存在する。一例では、プラットフォームは、軸を中心に回転するように、かつ／または検出器に対して高さを変更するように構成することができる。コンピュータシステムは、検出器およびプラットフォームと通信しており、チェーンコード、ラスタ走査、ソーベル縁部検出、二値化、および／または縁部抽出などで取り込まれた画像から容器の縁部を特定するようにプログラムされている。コンピュータシステムは、取り込まれた画像から特定された縁部上にある容器の特徴を探し出すようにプログラムされている。様々な実施例では、特徴は、容器の水平方向中心、容器の垂直方向中心、容器の上部、仕上げ特徴、本体特徴、肩部特徴、末端特徴であり得る。コンピュータシステムは、探し出された特徴に基づいて、容器の対象領域を画定するようにさらに構成されている。様々な例では、コンピュータシステムは、特定された特徴から容器の寸法測定値を決定するようにプログラムされている。ある特定の実施形態では、対象領域および／または他の特徴は、データストアに格納することができる。

【0005】

様々な実施形態では、本開示は、容器の対象領域を自律的に画定するためのシステムおよび方法を提供し、これにより、容器の寸法測定の精度を改善し、新しい容器設計のための測定を構成するために、操作者が必要とする時間を削減することができる。本開示のシステムおよび／または方法は、容器の最適な搬送および測定のための任意の機械的および／またはソフトウェア調整を自律的に構成するために、第２のセンサを追加することによって、容器が測定システムに配設される前に容器を特定するために適用することができる。本発明の様々な実施形態を通じて実現可能なこれらの利点および他の利点は、以下の説明から明らかとなる。

【図面の簡単な説明】

【0006】

本発明の実施例の特徴および利点、ならびにそれらを達成する方法がより明らかになり、これらの実施例は、添付の図面と併せて以下の説明を参照することにより、より良好に理解され、添付の図面は、本発明の様々な実施形態を例として示している。

【0007】

【図1】本開示の様々な実施形態による、第１の対象領域を含む容器の一部分の画像である。

【0008】

【図2】本開示の様々な実施形態による、第２の対象領域を含む容器の一部分の画像である。

【0009】

【図3】本開示の様々な実施形態による、第３の対象領域を含む容器の一部分の画像である。

【0010】

【図4】本開示の様々な実施形態による、容器の対象領域を自律的に画定するためのシステムを示すブロック図である。

【0011】

【図5】本開示の様々な実施形態による、容器の一部分の画像である。

【0012】

【図6】本開示の様々な実施形態による、容器の一部分のシルエット画像である。

【0013】

【図7】本開示の様々な実施形態による、容器の仕上げ領域のシルエット画像の詳細図である。

【0014】

【図8】本開示の様々な実施形態による、単一の組み合わされた画像に組み合わされる複数の画像を示す図である。

【0015】

【図9】本開示の様々な実施形態による、容器の対象領域を自律的に画定するための方法を示すフローチャートである。

【0016】

【図10】データストア内のＲＯＩ測定値および他の特徴の比較に基づいて、容器を自律的に特定するための方法を示すフローチャートである。

【0017】

【図11】本開示の様々な実施形態による、仮想表現を提示するディスプレイに動作可能に結合されたコンピュータシステムを示すブロック図である。

【0018】

【図12】ディスプレイが第２の仮想表現を提示している、図１１のコンピュータシステムおよびディスプレイのブロック図である。

【0019】

【図13】ディスプレイが第３の仮想表現を提示している、図１２のコンピュータシステムおよびディスプレイのブロック図である。

【0020】

複数の図を通じて、対応する参照符号は、対応する部分を示している。本明細書に記載される例示は、ある特定の実施形態を１つの形態で示しており、このような例示は、いかなる方法においても添付の特許請求の範囲を限定するものとして解釈されるべきではない。

【発明を実施するための形態】

【0021】

図１を参照すると、典型的な検査システムは、操作者に、容器の取り込まれた特徴データにおいて、特徴がどこに位置するか、および特徴をどのように探し出すか、のために、容器の対象領域１５０を画定することを要求することができる。例えば、操作者は、図１に示されるように、対象領域１５０内の容器１０６の縁部上にある左端の点１５２（または右端の点（図示せず））を決定しなければならない場合がある。

【0022】

それは、製造および／または検査プロセスの間、容器１０６が検出器の視野内で左または右に移動し、したがって、取り込まれた画像内の左端の点１５２の場所を移動し、したがって、左端の点１５２が対象領域１５０と整列しない場合があるときに、課題となる可能性がある。したがって、操作者は、対象領域１５０がどこで画定されるべきかを決定するために、図２に示されるように、別の対象領域２５４を設定するための追加のステップを取ることができる。例えば、図１および図２は、同じ容器について取り込まれた画像であるとみなすことができるが、容器は、図１に対して図２では回転されている。図２の容器１０６の中心２５６は、容器１０６の仕上げ領域のねじ山の上に画定することができる対象領域２５４内に、容器１０６の左端の点２５８および右端の点２６０を決定することによって、探し出すことができる。その後、操作者は、図１および図２の対象領域を互いに対して探し出すために、図１に示される対象領域１５０を、図２に示される対象領域２５４内に位置する容器１０６の中心２５６に参照させる。

【0023】

しかしながら、容器１０６は、検出器の視野内で垂直に移動することができ、対象領域２５４が容器１０６の仕上げ領域のねじ山を少なくとも部分的に含む場合、容器１０６の中心２５６は、不適切に画定され得る。中心２５６が不適切に画定されている場合、対象領域１５０は、不適切に画定され得る。したがって、操作者は、図３に示されるように、別の対象領域３６２（例えば、同じ容器の別の画像）を追加的に設定して、容器１０６の上部３６４を探し出す。操作者は、図２に示される対象領域２５４を、図３に示される対象領域３６２内の容器１０６の上部３６４に参照させて、互いに対して図２および図３の対象領域を探し出すことができる。

【0024】

典型的には、容器製造機械（例えば、ブロー成形機または押出成形機）の操作者は、容器製造機械の制御システム／ユーザインターフェースに様々なパラメータを入力して、製造された容器の検査システムが容器１０６の寸法を測定することを可能にする。様々なパラメータをプログラムし、対象領域を画定することは、時間がかかる可能性がある。加えて、操作者の回転率は、不慣れな操作者が検査システムを使用することに繋がる可能性があり、したがって、パラメータおよび対象領域が誤って構成される可能性があり、これは、容器１０６の誤った測定に繋がる。

【0025】

したがって、本開示は、容器の対象領域を自律的に画定するための視覚ベースのシステムと、容器の対象領域を自律的に画定するための、対応する方法と、を提供し、これにより、容器の特徴の測定の精度を改善し、新しい容器設計のための測定を構成するために操作者が必要とする時間を削減することができる。

【0026】

図４は、本発明の様々な実施形態による、容器４０６の対象領域を決定するためのシステム４００を示す。システム４００は、検出器４０２と、プラットフォーム４０４と、コンピュータシステム４１０と、任意選択で光源４０８およびデータストア４１８と、を備える。コンピュータシステム４１０は、イーサネットケーブル、ＲＳ－２３２ケーブル、Ｂｌｕｅｔｏｏｔｈなどの任意の好適な有線または無線通信リンクを介して、検出器４０２、プラットフォーム４０４、および光源４０８と通信することができる。コンピュータシステム４１０はまた、（例えば、ＬＡＮを介して）データストア４１８とデータ通信してもよい。プラットフォーム４０４は、検出器４０２と光源４０８との中間に位置決めすることができる。検出器４０２は、以下でさらに説明されるように、視野を有するカメラであることが好ましい。

【0027】

本明細書で使用されるとき、２つの他の要素または領域の「中間」にある参照要素または領域は、参照要素／領域が、２つの他の要素／領域の間に配列されているが、必ずしも接触していないことを意味する。したがって、例えば、第１の要素および第２の要素の「中間」にある参照要素は、第１の要素および／または第２の要素に直接隣接または接触していてもいなくてもよく、他の要素は、参照要素と、第１の要素および／または第２の要素との間に配列されていてもよい。

【0028】

データストア４１８は、データを格納および管理するためのリポジトリであり、データベース（例えば、リレーショナルデータベース、非リレーショナルデータベース）または他のファイル格納タイプと共に実装することができる。例えば、データストア４１８は、特定の容器に関連するデータを格納するのに適したジョブファイルを含んでもよい。例えば、各ジョブファイルは、特定の容器の寸法測定値（例えば、Ｔ、Ｅ、Ｄ、Ｗ、高さ、厚さ、材料）、容器の画像、特定の寸法（例えば、最大、最小、範囲）に対する合格／不合格閾値、システム最適化パラメータ（例えば、光レベル、検査速度、カメラゲイン、スペクトル特性）、通信／データ／コマンド（例えば、ネットワーク、シリアル）、ボトル搬送パラメータ（例えば、把持位置、把持力、搬送速度）、較正パラメータ（例えば、視覚、厚さ、運動制御）、および他のパラメータを含み得る。データストア４１８は、例えば、メモリ内のデータストア、分散型データストア、連合データストア、および／またはクラウドベースのデータストアと共に実装することができる。

【0029】

容器４０６は、ボトル、ジャー、ジャグ、バケツ、予備成形体、およびガラス瓶のうちの少なくとも１つであり得る。容器４０６は、例えば、プラスチック、金属および／またはガラスなどの様々な材料を含むことができる。容器４０６は、ブロー成形による容器または他の形成による容器であり得る。

【0030】

プラットフォーム４０４は、容器４０６を支持するように構成することができる。例えば、プラットフォーム４０４は、容器４０６の重量および／または位置を支持することができる。プラットフォーム４０４は、例えば、ターンテーブル、コンベヤ、高架レール、ロボットグリッパ、または他の本体であり得る。プラットフォーム４０４は、位置および向きに関して固定されてもよいし、またはプラットフォーム４０４は、検出器４０２に対して移動可能であってよい。例えば、プラットフォーム４０４は、軸４１２を中心に回転するように、かつ／または検出器４０２に対して方向４１４に沿って高さを変更するように構成することができ、容器４０６は、プラットフォーム４０４と共に移動する。他の実施形態では、容器４０６は、プラットフォーム４０４上で静止しており、検出器４０２が移動する。いずれの場合でも、プラットフォーム４０４（および容器４０６）と検出器４０２の視野との間には、相対的な移動が存在する。

【0031】

検出器４０２は、検出器４０２の視野４１６内の特徴データを取り込むように、かつ、取り込まれた特徴データをコンピュータシステム４１０に出力するように構成することができる。例えば、検出器４０２は、容器４０６がプラットフォーム４０４上にある間、容器４０６の特徴データを経時的に取り込むことができ、容器の取り込まれた特徴データをコンピュータシステム４１０に出力することができる。視野４１６は、容器４０６の少なくとも一部分、または容器４０６全体（図示せず）とすることができる。検出器４０２は、カメラ（例えば、ＣＣＤ、ＣＭＯＳ、ハイパースペクトル、飛行時間型）、赤外線センサ、分光計、共焦点プローブ、ＬＩＤＡＲ、厚さセンサ、または他の３Ｄ点マッピングデバイスのうちの少なくとも１つとすることができる。検出器４０２がカメラである様々な実施形態では、特徴データは、画像とすることができる。いくつかの実施形態では、検出器４０２は、容器４０６の単一の画像または複数の画像を、容器４０６がプラットフォーム４０４上にある間に取り込み、取り込まれた１枚または複数枚の画像をコンピュータシステム４１０に出力することができる。

【0032】

様々な実施形態では、検出器４０２は、参照により本明細書に組み込まれる、米国特許第８，８１８，７５５号に記載されているように、厚さセンサ、または他の容器の材料分布センサを含むことができる。検出器４０２が厚さセンサである実施形態では、特徴データは、場所と関連付けられた厚さ値とすることができる。他の実施例では、特徴データは、３Ｄ点群または他の３Ｄファイルであり得る。様々な実施例では、システム４００は、複数の検出器４０２を備えることができる。

【0033】

検出器４０２は、固定されてもよいし、または検出器４０２は、プラットフォーム４０４に対して移動可能であってよい。例えば、検出器４０２は、検出器４０２の姿勢をプラットフォーム４０４に対して変更することができるように、ロボットアームまたは他のデバイスによって移動可能とすることができる。様々な実施形態では、検出器４０２は、容器４０６を垂直および／または円周方向に走査し、容器４０６の軸４１２および／またはシルエット（２Ｄまたは３Ｄ）と実質的に整列されている容器４０６の線形プロファイルを格納することができ、検出器４０２のタイプは、共焦点プローブ、ＬＩＤＡＲ、飛行時間型デバイス、分光計、または同様のデバイスである。

【0034】

図示されるように、コンピュータシステム４１０は、検出器４０２の姿勢をプラットフォーム４０４に対して変更するように構成されている位置決め制御デバイス４４８と通信するように構成することができる。位置決め制御デバイス４４８は、例えば、軸４１２に沿って、軸４１２に垂直な軸に沿って、および軸４１２を中心とした回転など、少なくとも３自由度で検出器を移動させることができる。コンピュータシステム４１０および位置決め制御デバイス４４８は、容器４０６の線形プロファイルおよび／またはシルエットを測定する際の所望の性能のために、検出器４０２を最適な位置に位置決めするための検出器４０２上のループを閉鎖することができる。例えば、検出器４０２の位置は、位置決め制御デバイス４４８によって位置決めされる場所に基づいて知られてもよい。検出器４０２からの出力特徴データおよび検出器４０２の位置は、コンピュータシステム４１０によって使用されて、例えば、ボトルの表面上の領域の３Ｄ場所、厚さ、および／または容器４０６の表面の存在など、容器４０６の特性を決定することができる。

【0035】

分かりやすくするために、検出器４０２は、カメラの観点から説明されているが、カメラは、赤外線センサ、分光計、共焦点プローブ、ＬＩＤＡＲセンサ、厚さセンサ、または他の３Ｄ点マッピングデバイスなど、他のタイプのセンサを含むか、もしくはこれらに置き換えられるか、あるいは追加的にこれらを含むことができることが理解されるであろう。図４に戻って参照すると、検出器４０２およびプラットフォーム４０４の構成に関係なく、プラットフォーム４０４と検出器４０２との間には相対的な移動が存在する可能性がある。したがって、検出器４０２によって取り込まれた画像は、検出器４０２に対して異なる容器４０６の姿勢（例えば、位置および／または向き）の画像とすることができる。容器４０６を、検出器４０２の視野４１６内で軸４１２を中心に一定の高さで回転させることによって、容器４０６の画像を取り込むことができる。容器４０６を軸４１２に対して一定の角度に維持しながら、検出器４０２の視野４１６内で検出器４０２に対して方向４１４に沿って容器４０６の高さを変更することによって、容器４０６の画像を取り込むことができる。検出器４０２の視野４１６内で検出器４０２に対して方向４１４に沿って容器４０６の高さを変更すること、および同時に検出器４０２の視野４１６内で軸４１２を中心に容器４０６を回転させることによって、容器４０６の画像を取り込むことができる。

【0036】

取り込まれた各画像のプラットフォーム４０４に対する検出器４０２の姿勢（および／または検出器４０２に対するプラットフォーム４０４の姿勢）は、姿勢データとして、メタデータとしてそれぞれの画像に追加され、かつ／またはデータストア４１８に格納することができる。様々な実施例では、取り込まれた各画像は、容器の部分的な視野のみを取り込むことができ、少なくとも２枚の取り込まれた画像は、姿勢データおよび／または本明細書に記載されるような特定された特徴に基づいて、単一の画像に組み合わせることができる。

【0037】

コンピュータシステム４１０は、検出器４０２（移動ならびに／もしくは画像の取り込み）、プラットフォーム４０４の移動（例えば、回転ならびに／もしくは高さ）、および／または光源４０８（例えば、オン／オフ、明るさ、色）を制御するようにプログラムすることができる。コンピュータシステム４１０は、検出器４０２から取り込まれた画像を受信することができ、コンピュータシステム４１０は、取り込まれた画像を処理するようにプログラムすることができる。

【0038】

例えば、検出器４０２は、図５に示されるように画像５２０を取り込み、取り込まれた画像５２０をコンピュータシステム４１０に出力することができる。コンピュータシステム４１０は、検出器４０２からの画像５２０を受信することができ、画像５２０を処理することができる。例えば、コンピュータシステム４１０は、取り込まれた画像５２０から容器４０６の縁部５２２を特定するようにプログラムすることができる。容器４０６の縁部５２２は、閾値を満たすかつ／または閾値を超える、取り込まれた画像５２０の画素内のコントラスト変更、および／もしくは閾値を満たすかつ／あるいは閾値を超える、取り込まれた画像５２０の画素内の明度変更に基づいて特定することができる。様々な実施例では、コンピュータシステム４１０は、縁部を特定するために、チェーンコード、ラスタ走査、ソーベル縁部検出、二値化、および縁部抽出のうちの少なくとも１つを利用するようにプログラムすることができる。ある特定の例では、容器４０６の縁部５２２を特定することは、図６に示されるように、取り込まれた画像５２０をシルエット画像６２４に変換することを含むことができる。様々な実施例では、コンピュータシステム４１０は、取り込まれた画像５２０および／またはシルエット画像６２４を平滑に（例えば、画素ノイズを除去）するようにさらにプログラムすることができる。様々な実施例では、コンピュータシステム４１０は、点群、コンピュータ設計ファイル（例えば、ステップファイル）、または他のデータタイプから容器４０６の縁部５２２を特定することができる。

【0039】

コンピュータシステム４１０は、シルエット画像６２４および／または取り込まれた画像５２０から、縁部５２２上の特徴を探し出すようにプログラムすることができる。特徴は、例えば、容器４０６の水平方向中心、容器４０６の垂直方向中心、容器４０６の上部、容器４０６の側面（例えば、左側、右側）、容器４０６の底部、容器４０６の仕上げ特徴、容器４０６の本体特徴、容器４０６の肩部特徴、および／または容器４０６の末端特徴とすることができる。仕上げ特徴は、例えば、ねじ山頂点、ねじ山谷底、支持レッジ縁部、およびネックストレート縁部であり得る。

【0040】

コンピュータシステム４１０は、シルエット画像６２４および／または取り込まれた画像５２０から、縁部５２２に沿った画素の縁部角度を特定するようにプログラムすることができる。縁部角度は、縁部５２２上の２つの隣接する画素間の第１の線を画定すること、および基準線に対して第１の線に垂直な第２の線の角度を決定することによって、特定することができる。基準線は、データベース４１８に格納することができる。

【0041】

縁部角度に基づいて、コンピュータシステム４１０は、隣接する画素間の線が、水平、垂直、湾曲、凸状、および／または凹状であるかどうかを判定するようにプログラムすることができる。水平面は、容器４０６の上部または底部として画定することができる。容器４０６の上部と底部との間の中間点は、容器４０６の垂直中心として画定することができる。垂直面は、容器４０６の側面として画定することができる。容器４０６の左側と右側との間の中間点は、容器４０６の水平方向中心として画定することができる。

【0042】

湾曲、凸状、および／または凹状表面は、容器４０６の仕上げ特徴または他の特徴として画定することができる。例えば、コンピュータシステム４１０は、シルエット画像６２４および／または取り込まれた画像５２０から、縁部５２２上の凹状領域および／または凸状領域を探し出すようにプログラムすることができる。凹状領域は、ねじ山に隣接する、ねじ山の間、支持レッジに隣接する、支持レッジとねじ山との間の容器４０６の一部分、および／または別の特徴に対応することができる。例えば、図７に示される、ねじ山の間に位置決めされている凹状領域７２６は、コンピュータシステム４１０によって探し出すことができる。凹状領域７２６の特定（および、任意選択で、例えば、容器の上部からの距離など、容器４０６上の相対的な位置決め）に基づいて、ねじ山を探し出すことができ、ねじ山頂点および／または谷底を特定することができる。例えば、図７に示されるように、頂点７２８は、凹状領域７２６に隣接するものとして特定することができ、谷底７３０は、凹状領域内の点として特定することができる。谷底７３０は、凹状領域７２６内の右端の点とすることができる。同様に、凸状領域７３２を特定することができ、凸状領域７３２内の左端の点を頂点７２８として特定することができ、谷底７３０を凸状領域７３２に隣接するものとして特定することができる。

【0043】

コンピュータシステム４１０は、縁部５２２上の特徴を測定カテゴリに分類するようにプログラムすることができる。例えば、各測定カテゴリは、取り込まれた画像５２０またはシルエット画像６２４内のその特徴の場所を必要とする寸法測定に対応することができる。寸法測定は、容器の高さ（例えば、容器の上部と容器の底部との間の距離）、容器の幅（例えば、容器の左側と容器の右側との間の距離）、タンパーエビデントビード直径（例えば、Ａ、左側の支持レッジに隣接する特徴の頂点と右側の支持レッジに隣接する特徴の頂点との間の距離）、タンパーエビデントビード高さ（例えば、Ｄ、支持レッジに隣接する特徴の底部と容器の上部との間の距離）、ねじ山谷底直径（例えば、Ｅ、容器の左側のねじ山谷底と容器の右側のねじ山谷底との間の距離）、ねじ山頂点直径（例えば、Ｔ、容器の左側のねじ山頂点と容器の右側のねじ山頂点との間の距離）、容器の上部から支持レッジまでの高さ、Ｘ、支持レッジの直径（例えば、Ｚ、支持レッジの左端の点と支持レッジの右端の点との間の距離）、ネックストレート直径（例えば、ＮＳＤ、容器のネックの左端の点と容器のネックの右端の点との間の距離）、およびネックストレート高さ（例えば、ＮＳＨ、ネックの底部と支持レッジの底部との間の距離）のうちの少なくとも１つであり得る。例えば、容器特徴の上部は、タンパーエビデントビード距離Ｄ、および容器の上部から支持レッジまでの高さＸについて測定カテゴリに分類することができる。

【0044】

他の実施例では、コンピュータシステム４１０は、検出器４０２が赤外線センサ、分光計、ハイパースペクトルカメラ、または共焦点プローブである例において、容器４０６の上部から、ボトルの中心軸線に沿って（例えば、軸４１２と実質的に平行で）底部までの任意の点または連続走査で厚さおよび材料特性（例えば、組成物、密度）を測定するように構成することができる。コンピュータシステム４１０は、検出器４０２がカラーカメラまたは分光計である場合、容器４０６の色を測定するようにプログラムすることができる。

【0045】

コンピュータシステム４１０は、特徴から容器の寸法測定値を決定するようにプログラムすることができる。例えば、コンピュータシステム４１０は、測定値に対応する特徴間の画素距離を決定するようにプログラムすることができる。様々な実施例では、距離測定値は、部分画素であってもよい。寸法測定は、非接触寸法測定であってもよい。

【0046】

コンピュータシステム４１０は、検出器４０２から測定された寸法測定値および他の特徴をデータストア４１８と比較するようにプログラムすることができ、データストアは、寸法測定ジョブファイル、または厚さ、色および材料特性、ならびに関連する仕様（例えば、特定の寸法または特性の範囲）を含む他のデータを含むことができる。この比較に基づいて、コンピュータシステム４１０は、容器４０６を特定し、容器４０６が仕様に合格するか、または不合格になる（例えば、その特定の寸法についての範囲内に収まる）かを判定するようにプログラムすることができる。

【0047】

コンピュータシステム４１０は、特徴に基づいて、容器４０６の対象領域を画定するようにプログラムすることができる。例えば、タンパーエビデントビード距離Ｄについての対象領域は、支持レッジに隣接する特徴の底部および容器の上部を含めるように画定され得る。対象領域は、所望の寸法測定に干渉し得る特徴を省略するように画定することができる。

【0048】

コンピュータシステム４１０は、単一の取り込まれた画像または少なくとも２枚の取り込まれた画像において、縁部を特定し、特徴を位置付け、対象領域を画定するように構成することができる。例えば、コンピュータシステム４１０は、少なくとも２枚の取り込まれた画像を、容器の少なくとも一部分の組み合わされた画像に一緒に組み合わせるようにプログラムすることができる。少なくとも２枚の取り込まれた画像は、検出器４０２に対してプラットフォームの実質的に同じ角度で、かつ、検出器４０２に対してプラットフォーム４０４の異なる高さで取り込まれているものであってもよい。

【0049】

例えば、図８を参照すると、容器４０６の第１の画像８３４、第２の画像８３６、第３の画像８３８、第４の画像８４０、および第５の画像８４２は、検出器４０２によって取り込まれている。画像８３４、８３６、８３８、８４０、および８４２は、コンピュータシステム４１０に出力され、それらは、各画像に埋め込まれた、またはデータストア４１８に格納されている姿勢データを使用して、単一の組み合わされた画像８４４に組み合わされる。また、画像８３４、８３６、８３８、８４０は、姿勢データを使用して、容器の完全な形状を記憶するために必要なメモリを削減する単一のシルエット画像に組み合わせることができる。

【0050】

様々な実施形態では、コンピュータシステム４１８は、図１１に示されるように、ディスプレイ１１５０と通信することができる。ディスプレイ１１５０は、例えば、タッチスクリーンディスプレイであり得る。単一の組み合わされた画像８４４または他のプロファイル／シルエットデータファイルは、例えば、点群または３Ｄ画像ファイルなど、容器４０６の三次元（３Ｄ）表現であり得る。コンピュータシステム４１０は、単一の組み合わされた画像８４４の仮想表現１１４４をディスプレイ１１５０上に提示するように、また任意選択で、容器４０６の仮想表現１１４４全体にわたって、寸法変化、厚さ、色、材料特性、および／または公称値と実際値との間の誤差など、仮想表現１１４４の表面上の特徴に注釈を付けるように構成することができる。例えば、ユーザが入力デバイス（例えば、マウス）を介してクリックする、または（タッチスクリーンディスプレイの場合には）仮想表現１１４４上の選択場所、例えば、容器４０６の仕上げ特徴に対応する、ディスプレイ１１５０上の場所１１５２などに触れることに応答して、コンピュータシステム４１０は、図１２に示されるように、仮想表現１２４４をディスプレイ１１５０上に提示することができる。仮想表現１２４４は、様々なパラメータ（例えば、寸法測定値、合格／不合格閾値）および／または図１２に示されるように、ユーザが選択することができるオプション、例えば、仕上げＴ、全体的な高さ、および仕上げＥなどを提示するボックス１２５４で注釈を付けることができる。その後、ユーザは、容器４０６と関連付けられたデータストア４１８内のジョブファイルに追加される測定値のうちのいずれか１つ以上を選択することができる。コンピュータシステム４１０は、プラットフォーム４０４上に提示されている容器４０６を走査する検出器４０２からの出力に基づいて、測定値の公称値を格納するようにプログラムすることができる。

【0051】

例えば、ユーザは、「仕上げＴ」を選択することができ、仮想表現１３４４をコンピュータ４１０によってディスプレイ１１５０上に表示することができる。仮想表現１３４４は、選択された寸法測定値を計算するために、容器４０６上のどの特徴がコンピュータシステム４１０によって使用されているかを強調するための矢印の注釈を含むことができ、測定値の値（すなわち、２６．３２）を表示することができる。加えて、データストア４１８内のジョブファイルの様々なパラメータを設定するためにユーザが使用することができる別のボックス１３５６を表示することができる。

【0052】

他の実施例では、容器４０６の周りの対象領域内の各寸法についての最小点および／または最大点の場所は、仮想表現１１４４、１２４４、１３４４で表示することができる。コンピュータシステム４１０は、操作者が仮想表現１１４４、１２４４、１３４４の姿勢および／または倍率を調整することを可能にすることができる。例えば、操作者は、仮想表現１１４４、１２４４、１３４４を、容器４０６と関連付けられたそれぞれの仮想表現１１４４、１２４４、１３４４の３軸のうちのいずれかを中心に回転させることができる。

【0053】

コンピュータシステム４１０は、取り込まれた画像内で特定された特徴を、格納された特徴データを含むことができるデータストア４１８と比較するようにプログラムすることができる。この比較に基づいて、コンピュータシステム４１０は、取り込まれた画像内の対象領域を選択するようにプログラムすることができる。他の実施形態では、コンピュータシステムは、取り込まれた画像内のシルエットを、格納された公称シルエットを含むことができるデータストア４１８と比較するようにプログラムすることができ、この比較に基づいて、コンピュータシステム４１０は、取り込まれた画像内の対象領域および／または測定値を選択するようにプログラムすることができる。

【0054】

様々な実施例では、システム４００は、ロボットシステム４４６を含むことができる。ロボットシステム４４６は、特定された特徴とデータストア４１８との比較に基づいて、かつ／または取り込まれた画像内の特定された特徴から決定された寸法測定値に基づいて、容器４０６を把持するようにプログラムすることができる。ロボットシステム４４６は、容器４０６の特徴をリアルタイムで特定すること、および特定された特徴および／または寸法測定値をデータストア４１８と比較することによって、容器４０６を把持するようにプログラムすることができる。したがって、ロボットシステム４４６は、操作者が取り扱いコマンドおよび搬送コマンドをロボットシステム４４６に入力する必要なしに、要望どおりに、容器４０６を自動的に取り扱い、搬送することができる。

【0055】

本発明の様々な実施形態による、容器の対象領域を決定するための方法が図９に示される。本方法は、ステップ９０２において、容器４０６をプラットフォーム４０４上に配設することを含むことができる。様々な実施例では、容器は、生産運転時に容器形成機械で形成することができ、プラットフォーム上に配設されている容器は、生産運転時に形成されたものとすることができる。ステップ９０４において、検出器４０２は、容器４０６がプラットフォーム４０４上にある間、容器４０６の画像を経時的に取り込むことができる。検出器４０２によって取り込まれた画像が、検出器４０２に対して異なる容器の姿勢の画像であるように、プラットフォーム４０４と検出器４０２との間に相対的な移動が存在する可能性がある。様々な実施例では、取り込まれた画像のうちの少なくとも２枚を、容器の少なくとも一部分の組み合わされた画像に一緒に組み合わせることができる。

【0056】

ステップ９０６において、コンピュータシステム４１０は、取り込まれた画像から容器の縁部を特定し、ステップ９０８において、取り込まれた画像からの縁部上の特徴を探し出すことができる。ステップ９１０において、コンピュータシステム４１０は、特定された特徴に基づいて、容器の対象領域を画定することができ、ステップ９１２において、コンピュータシステム４１０は、対象領域から、容器４０６の寸法測定値を決定することができる。ステップ９１４において、コンピュータシステム４１０は、対象領域、例えば、対象領域を画定する、容器の画像内の座標をデータストア４１８に格納することができる。データストア４１８は、メモリ内、クラウド上、サーバ（例えば、ＳＱＬサーバ）上などに記憶されてもよい。

【0057】

特定された特徴、容器４０６の決定された寸法測定値、および／または材料特性は、データストア４１８内のジョブファイルを含むデータストア４１８と比較することができる。ジョブファイルと、特徴、寸法測定値、および／または材料特性との間の類似性の閾値レベルが比較に基づいて決定される場合、類似性の閾値レベルを有するジョブファイルは、測定されている容器４０６と一致するものとして指定することができる。その後、コンピュータシステム４１０は、ステップ９１８において、一致するジョブファイルと関連付けられた対象領域に基づいて、取り込まれた画像内の対象領域を選択することができ、かつ／または一致するジョブファイル内の合格／不合格閾値に基づいて、容器が仕様に合格／不合格であるかどうかを判定する。様々な実施例では、ステップ９２０において、ロボットシステムは、一致するジョブファイルと関連付けられたパラメータに基づいて、容器を把持することができる。加えて、寸法測定値の決定の精度を高めるために、一致するジョブファイルに基づいて、システム４００のパラメータを調整することができる。例えば、システム４００は、光パワー、搬送速度、または把持力を定義する正しいシステムパラメータをインポートすることができるか、または一致するジョブファイルに基づいて、ジョブ変更部を自動アクチュエータによって設置または移動させることができる。

【0058】

図１０を参照すると、ジョブファイルと特徴との間の類似性の閾値レベルがステップ９１６において達成されない場合、コンピュータシステム４１０は、検出器１００２からの出力に基づいて、容器を把持するためのロボットシステムに適したパラメータを決定することができる。例えば、コンピュータシステム４１０は、容器搬送および／またはジョブ変更部の調整ならびに／もしくは対象領域および／あるいは測定される寸法に適したパラメータを決定し、１００４において、それらの好適なパラメータに基づいてジョブファイルを生成することができる。コンピュータシステム４１０は、将来の比較のために、ジョブファイルをデータストアに保存することができる。いくつかの実施形態では、コンピュータシステム４１０は、合格／不合格の境界を備えた一組のテンプレートファイルを有することができ、コンピュータシステム４１０は、正しいパラメータを自律的に有するジョブファイルを迅速かつ／または正確に生成するために、検出器４０２から決定された容器の特徴、寸法および／または対象領域をテンプレートファイルのリストに一致させることができる。

【0059】

本明細書に記載されるコンピュータシステム４１０の機能性は、コンピュータメモリに記憶され、コンピュータシステム４１０のプロセッサ（複数可）によって実行されるソフトウェアと共に実装されてもよい。ソフトウェアは、ＮＥＴ、Ｃ、Ｃ＋＋、Ｐｙｔｈｏｎ、および従来の、機能的な、またはオブジェクト指向の技術を使用するなど、任意の好適なコンピュータプログラミング言語を使用してもよい。コンピュータソフトウェアおよび他のコンピュータ実装命令のためのプログラミング言語は、実行前にコンパイラまたはアセンブラによって機械言語に翻訳されてもよく、かつ／またはインタプリタによって実行時に直接翻訳されてもよい。アセンブリ言語の例としては、ＡＲＭ、ＭＩＰＳ、およびｘ８６が挙げられ、高レベル言語の例としては、Ａｄａ、ＢＡＳＩＣ、Ｃ、Ｃ＋＋、Ｃ＃、ＣＯＢＯＬ、Ｆｏｒｔｒａｎ、Ｊａｖａ、Ｌｉｓｐ、Ｐａｓｃａｌ、ＯｂｊｅｃｔＰａｓｃａｌ、Ｈａｓｋｅｌｌ、ＭＬが挙げられ、スクリプト言語の例としては、Ｂｏｕｒｎｅスクリプト、ＪａｖａＳｃｒｉｐｔ、Ｐｙｔｈｏｎ、Ｒｕｂｙ、Ｌｕａ、ＰＨＰ、およびＰｅｒｌが挙げられる。

【0060】

コンピュータシステム４１０のプロセッサ（複数可）は、オンボードメモリ（ＲＯＭまたはＲＡＭ）およびオフボードメモリを備え得る。オンボードメモリには、主記憶装置、揮発性記憶装置、および／または不揮発性記憶装置（例えば、プロセッサコアによって直接アクセス可能な記憶装置）が含まれてもよい。オフボードメモリには、ＲＯＭ、ＨＤＤ、ＳＳＤ、フラッシュなどの二次的な不揮発性記憶装置（例えば、プロセッサコアによって直接アクセスできない記憶装置）が含まれてもよい。プロセッサコアは、例えば、ＣＰＵコアおよび／またはＧＰＵコアであってもよい。コンピュータシステムの上述の機能を実施するための、プロセッサ（複数可）によって実行されるソフトウェアは、上述のオフボードメモリおよび／またはオンボードメモリに記憶され得る。

【0061】

当業者であれば、本明細書に記載される物品および方法、ならびにそれらに付随する考察が、概念の明確化のために例として使用され、様々な構成の修正が企図されることを認識するであろう。したがって、本明細書で使用されるように、記載される具体的な例／実施形態および付随する考察は、それらのより一般的なクラスを代表することが意図されている。一般に、任意の特定の例示の使用は、そのクラスを代表することが意図されており、特定の構成要素、デバイス、動作／行動、および物体を含まないことは、限定的であるとみなされるべきではない。本開示は、本開示の様々な態様および／またはその潜在的な用途を例示する目的で、様々な特定の態様の説明を提供するが、当業者であれば、変形および修正が生じることを理解するであろう。したがって、本明細書に記載される本発明または複数の発明は、少なくともそれらが特許請求されるほど広範囲であり、本明細書に提供される特定の例示的な態様によって、より狭く定義されるものではないと理解されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【国際調査報告】