IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ リジェネロン・ファーマシューティカルズ・インコーポレイテッドの特許一覧

特開2024-99687電子目視検査が組み込まれた組み立てライン
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024099687
(43)【公開日】2024-07-25
(54)【発明の名称】電子目視検査が組み込まれた組み立てライン
(51)【国際特許分類】
   G01N 21/956 20060101AFI20240718BHJP
   B07C 5/10 20060101ALI20240718BHJP
   A61J 3/00 20060101ALI20240718BHJP
【FI】
G01N21/956 Z
B07C5/10
A61J3/00 310Z
【審査請求】有
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2024069693
(22)【出願日】2024-04-23
(62)【分割の表示】P 2023086206の分割
【原出願日】2017-07-25
(31)【優先権主張番号】62/368,438
(32)【優先日】2016-07-29
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.MySQL
(71)【出願人】
【識別番号】597160510
【氏名又は名称】リジェネロン・ファーマシューティカルズ・インコーポレイテッド
【氏名又は名称原語表記】REGENERON PHARMACEUTICALS, INC.
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(74)【代理人】
【識別番号】100142907
【弁理士】
【氏名又は名称】本田 淳
(72)【発明者】
【氏名】スミス、ジェイソン ユージーン
(72)【発明者】
【氏名】カネル、クリストファー エス.
(72)【発明者】
【氏名】マクドノー、パトリック
(72)【発明者】
【氏名】ネスビット、ロバート スターリング
(72)【発明者】
【氏名】マキューエン、テイラー
【テーマコード(参考)】
2G051
3F079
4C047
【Fターム(参考)】
2G051AA01
2G051AB20
2G051CA04
2G051CA07
2G051DA06
3F079AD08
3F079AD11
3F079CA06
3F079CA23
3F079CB30
3F079DA12
3F079EA03
4C047KK13
4C047KK27
4C047KK40
(57)【要約】
【課題】エラーを減少して、パッケージ組み立ての効率を高めることのできる、製品組み立てのための新しい技術を提供すること。
【解決手段】方法では、二つの領域を含む物体の画像を得て、二つの領域のそれぞれの1つまたは複数のパターンの数及び配向を判定し、1つまたは複数のパターンの判定された数及び配向に基づいて、1つまたは複数のパターンを有する1つまたは複数の部品の数を判定し、1つまたは複数の物品の判定された数を、二つの領域のそれぞれにおける前記1つまたは複数の物品の予測された数と比較し、比較に基づいて、合格信号または不合格信号を生成し、合格信号を受信したことに基づいて、二つの領域の1つまたは複数のパターンを有する物体を含むベルトを前進させる。
【選択図】 図1
【特許請求の範囲】
【請求項1】
物体を解析する方法であって、
二つの領域を含む物体の画像を得ることと、
前記二つの領域のそれぞれの1つまたは複数のパターンの数及び配向を判定することと、
前記1つまたは複数のパターンの判定された数及び配向に基づいて、前記1つまたは複数のパターンを有する1つまたは複数の部品の数を判定することと、
前記1つまたは複数の物品の判定された数を、前記二つの領域のそれぞれにおける前記1つまたは複数の物品の予測された数と比較することと、
前記比較に基づいて、合格信号または不合格信号を生成することと、
前記合格信号を受信したことに基づいて、前記二つの領域の1つまたは複数のパターンを有する物体を含むベルトを前進させることと
を含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子目視検査が組み込まれた組み立てラインに関する。
【背景技術】
【0002】
医薬品包装等、複数の物品を含む製品の組み立ては複雑な作業である。組み立ては、各段階で製品内に入れられる物品を用いて1つまたは複数の段階で進めることができる。製品に正しい物品を入れ損ねること、製品に正しい物品を多く入れ過ぎること、および/または製品に誤った物品を入れることにより、各段階でエラーが発生する可能性がある。最終的にエラーが発生した状態で出荷される製品は、収益の損失、顧客の苦情の増加、および顧客の苦情に対処する際の時間の損失をもたらす。医薬品パッケージの場合、不適切な包装の意図しない結果の1つは、臨床医または患者が、不適切に組み立てられた包装内に入っている医薬品を使用したくなくなる場合があるということである。これは、非経口的に、例えば皮下に、筋肉内に、静脈内に、眼内に、または吸入によって投与される医薬品に特に当てはまり得る。不適切に組み立てられたパッケージが臨床医または患者によって製造業者に返送されたとしても、米国食品医薬品局等の規制機関は医薬品の再包装を許可しないため、イベント通知(Notice of Event:NOE)が発生する。そのようなNOEは調査のきっかけとなり、費用が増し、また潜在的に競争力が損なわれる結果となる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
したがって、従来技術のこれらおよび他の制限を克服し、エラーを減少して、パッケージ組み立ての効率を高めることによってそれを強化する、製品組み立てのための新しい技術を開発することが望ましいであろう。
【課題を解決するための手段】
【0004】
以下の概略的記述および以下の発明を実施するための形態は両方とも例示的なものであり、説明に過ぎず、限定するものではないと理解すべきである。トレイの第1の画像を取得し、第1の画像における1つまたは複数の第1のパターンの有無を判定し、第1の画像における1つまたは複数の第1のパターンそれぞれの回転を判定し、第1の画像における1つまたは複数の第1のパターンの有無および回転に基づき動作を実行する方法およびシステムが開示される。
【0005】
さらなる利点は、以下の記述に部分的に記載されているか、または実践によって習得することができる。これらの利点は、添付の特許請求の範囲において特に指摘されている要素および組み合わせによって実現され達成されるであろう。
【図面の簡単な説明】
【0006】
本明細書に組み込まれ、本明細書の一部を構成する添付の図面は、実施形態を示し、その説明とともに本方法およびシステムの原理を説明する役割を果たす。
図1】例示的なシステム。
図2】物体の例示的な画像。
図3A】物体の例示的な画像。
図3B】物体の例示的な画像。
図4A】物体の例示的な画像。
図4B】物体の例示的な画像。
図5A】物体の例示的な画像。
図5B】物体の例示的な画像。
図6A】物体の例示的な画像。
図6B】物体の例示的な画像。
図7A】物体の例示的な画像。
図7B】物体の例示的な画像。
図8A】物体の例示的な画像。
図8B】物体の例示的な画像。
図9】例示的なシステムの例示的な実施形態。
図10】例示的な方法を示すフローチャート。
図11】例示的な動作環境。
【発明を実施するための形態】
【0007】
本方法およびシステムが開示および説明される前に、本方法およびシステムは、特定の方法、特定の構成要素、または特定の実施態様に限定されないことを理解されたい。本明細書で使用する用語は、特定の実施形態を説明する目的のためであり、限定することを目的としたものではないことをさらに理解されたい。
【0008】
さらに、本明細書および添付の特許請求の範囲において使用されるとき、単数形「a」、「an」、および「the」は、その文脈にて別段の明確な指示がない限り、複数の指示対象を包含する。範囲は、本明細書では、「約」ある特定の値から、および/または「約」別の特定の値までの範囲として表現され得る。そのような範囲が表現されるとき、他の実施形態は、そのある特定の値から、および/または他の特定の値までを含む。同様に、先行する語句「約」を用いて値を概算値で表記する場合、特定の値は別の実施形態を形成することが理解される。各範囲の終点は、他方の終点と関連した、かつ他方の終点とは独立した意味を持つものであることもさらに理解されるであろう。
【0009】
「任意の」または「任意により」は、後述される事象または状況が発生してもしなくてもよいこと、およびその説明が当該事象または状況が発生する場合および発生しない場合を含むことを意味する。
【0010】
本明細書の説明および特許請求の範囲を通して、用語「含む(comprise)」ならびに「含む(comprising)」および「含む(comprises)」等の用語の変形は、「含むが、これに限定されない」ことを意味し、例えば、他の構成要素、整数またはステップを除外することを目的としない。「例示的な」は「~の例」を意味し、好ましいまたは理想的な実施形態の示唆を伝えることを目的としていない。「~等の」は、限定する意味ではなく、説明目的で使用される。
【0011】
開示される方法およびシステムを実行するために使用することができる構成要素が開示される。これらおよび他の構成要素は、本明細書中に開示されており、これらの構成要素の組み合わせ、サブセット、相互作用、グループ等が開示される場合、各々のさまざまな個々の、集合的な、これらの組合せおよび置換の具体的な引用が、明示的に開示されなくてもよいが、各々は、すべての方法およびシステムについて、本明細書中で特に企図され、そして説明されることを理解されたい。これは、開示される方法におけるステップを含むがこれに限定されない本出願のすべての態様に当てはまる。したがって、実行することができるさまざまな追加のステップがある場合、これらの追加のステップは各々、開示される方法の任意の特定の実施形態または実施形態の組み合わせを用いて実行され得ることを理解されたい。
【0012】
本方法およびシステムは、以下の好ましい実施形態の詳細な説明およびその中に含まれる実施例ならびに図面およびそれらの前後の説明を参照することによってより容易に理解され得る。
【0013】
当業者によって理解されるように、本方法およびシステムは、完全なハードウェアの実施形態、完全なソフトウェアの実施形態、またはソフトウェアおよびハードウェアの態様を組み合わせた実施形態の形態をとることができる。さらに、本方法およびシステムは、記憶媒体内で具現化されたコンピュータ可読プログラム命令(例えば、コンピュータソフトウェア)を有するコンピュータ可読記憶媒体におけるコンピュータプログラム製品の形態をとることができる。より具体的には、本方法およびシステムは、ウェブに実装されたコンピュータソフトウェアの形態をとることができる。ハードディスク、CD-ROM、光学記憶装置、または磁気記憶装置を含む任意の好適なコンピュータ可読記憶媒体を利用することができる。
【0014】
本方法およびシステムの実施形態は、方法、システム、装置およびコンピュータプログラム製品のブロック図およびフローチャート図を参照して以下に説明される。ブロック図およびフローチャート図の各ブロック、ならびにブロック図およびフローチャート図のブロックの組み合わせはそれぞれ、コンピュータプログラム命令によって実施することができることが理解されよう。これらのコンピュータプログラム命令は、コンピュータまたは他のプログラム可能データ処理装置で実行される命令がフローチャートの1つまたは複数のブロックで指定された機能を実施するための手段を作成するように、汎用コンピュータ、専用コンピュータ、または他のプログラム可能データ処理装置にロードされて、機械を製造することができる。
【0015】
これらのコンピュータプログラム命令はまた、コンピュータ可読メモリに格納された命令が、フローチャートの1つまたは複数のブロックで指定された機能を実施するためのコンピュータ可読命令を含む製品を製造するように、特定の方法で機能するようにコンピュータまたは他のプログラム可能データ処理装置に指示することができるコンピュータ可読メモリに格納することができる。コンピュータプログラム命令はまた、コンピュータまたは他のプログラム可能データ処理装置にロードされて、コンピュータまたは他のプログラム可能な装置上で一連の動作ステップが実行され、コンピュータまたは他のプログラム可能装置で実行される命令が、フローチャートの1つまたは複数のブロックで指定された機能を実施するためのステップを提供するように、コンピュータにより実施されるプロセスを生成できる。
【0016】
したがって、ブロック図およびフローチャート図のブロックは、指定された機能を実行するための手段の組み合わせ、指定された機能を実行するためのステップの組み合わせ、および指定された機能を実行するためのプログラム命令手段を支持する。ブロック図およびフローチャート図の各ブロック、ならびにブロック図およびフローチャート図のブロックの組み合わせは、指定された機能もしくはステップを実行する専用ハードウェアベースのコンピュータシステム、または専用ハードウェアおよびコンピュータ命令の組み合わせによって実施できることも理解されるであろう。
【0017】
本開示は、製造および製品組み立てに関するコンピュータ機能の改善に関する。
図1は、本方法およびシステムが動作することができる例示的なシステム100のさまざまな態様を示すブロック図である。当業者であれば、機能説明が本明細書で提供され、それぞれの機能は、ソフトウェア、ハードウェア、またはソフトウェアおよびハードウェアの組み合わせによって実行できることを理解するであろう。
【0018】
一態様では、システム100はコンベヤベルト101を備えることができる。コンベヤベルト101は、1つまたは複数の滑り止め102を備えることができる。1つまたは複数の滑り止め102は、コンベヤベルト101に取り付けるためのゴムまたは類似の材料で作成することができる。1つまたは複数の滑り止め102は、隆起しているか、またはコンベヤベルト101の表面上に別様に延びている。1つまたは複数の滑り止め102は、移動方向103に基づいて前側滑り止めおよび後側滑り止めを含むことができる。前側滑り止めおよび後側滑り止めは、前側滑り止めが移動方向103に対して物体の前方にあり、後側滑り止めが移動方向103に対して物体の後ろにあるように、ベルト上に配置された物体に対して相対的であってよい。したがって、第1の物体に対する前側滑り止めは、第1の物体の前にある第2の物体に対する後側滑り止め等であってもよい。1つまたは複数の物体104は、コンベヤベルト101上に配置することができる。一態様では、1つまたは複数の物体104は、1つまたは複数の組み立て状態の製品を含むことができる。例えば、1つまたは複数の物体104はトレイを含むことができる。トレイは1つまたは複数の物品を保持するように構成することができる。1つまたは複数の物品は治療に関連し得る。例えば、1つまたは複数の物品は、1つまたは複数のシリンジ、自己注射器、1つまたは複数のシリンジ用針、医薬品の1つまたは複数の容器、1つまたは複数のパンフレットまたは説明書のセット、それらの組み合わせ等を含むことができる。
【0019】
一態様では、説明書のセットは、薬剤の使用方法および投与方法に関する情報を記載している。別の態様では、説明書は、米国食品医薬品局等の規制機関によって承認された薬物ラベルである。
【0020】
一態様では、薬剤は固形製剤である。別の態様では、薬剤は液体製剤である。別の態様では、薬剤はゲル製剤である。
一態様では、薬剤は経口投与用に配合される。別の態様では、薬剤は非経口投与用に配合されている。別の態様では、薬剤は皮下投与用に配合されている。別の態様では、薬剤は筋肉内投与用に配合されている。別の態様では、薬剤は静脈内投与用に配合されている。別の態様では、薬剤は吸入投与用に配合されている。別の態様では、薬剤は眼内投与用に配合されている。
【0021】
一態様では、薬剤は小分子活性成分を含む。別の態様では、薬剤は生物学的製剤を含む。別の態様では、薬剤はペプチドまたはポリペプチド活性成分を含む。
一態様では、薬剤は血管内皮成長因子(VEGF)誘導体活性成分を含む。別の態様では、薬剤は、米国特許第7,070,959号;同第7,303,746号;同第7,303,747号;同第7,306,799号;同第7,374,757号;同第7,374,758号;同第7,531,173号;同第7,608,261号;同第7,972,598号;同第8,029,791号;同第8,092,803号;同第8,343,737号;同第8,647,842号(これらは各々、その全文が参照により組み込まれる)のうちの1つまたは複数に記載されているアフリベルセプトを含む。
【0022】
コンベヤベルト101は、ステッピングモータ105によって駆動され得る駆動ロール上を通過することができる。ステッピングモータ105の使用により、カメラ106、カメラ107およびカメラ108に対する1つまたは複数の物体104の正確な位置決めを可能にする。1つまたは複数の物体104のそれぞれの長さは、モータステップの正確な数として表すことができる。コンベヤベルト101は、1つまたは複数の物体104各々をカメラ106、カメラ107およびカメラ108に関連する視野109、視野110および視野111内に移動させるように正確に前進または逆進することができる。プログラム可能ロジックコントローラ(PLC)112(PLC112は、コンピューティングデバイス、PLC、または他のコントローラ/プロセッサを備えることができる)は、ステッピングモータ105にいずれかの方向に任意の数のステップを実行させ、1つまたは複数の物体104を視野109、視野110および視野111内に移動させるように構成できる。
【0023】
一態様では、カメラ106、カメラ107および/またはカメラ108は、視覚コードをスキャン、復号、読み取り、検知、撮像、捕捉および/または解釈するように構成することができる。いくつかの態様では、カメラ106、カメラ107および/またはカメラ108は、レーザ、リニア、またはエリアイメージングを処理するように構成することができる。例えば、一態様では、カメラ106、カメラ107および/またはカメラ108としては、一次元または二次元バーコードをスキャン、読み取りおよび復号するためのイメージャを挙げることができる。カメラ106、カメラ107および/またはカメラ108としては、開示された実施形態と一致する視覚コードから情報を抽出することができる任意のイメージャ、バーコードスキャナまたは視覚コードスキャナを挙げることができる。特定の態様では、カメラ106、カメラ107および/またはカメラ108は、スキャンされたバーコード、画像および他のデータを処理するように構成することができる。カメラ106、カメラ107および/またはカメラ108としては、三次元環境を捕捉、処理、検知、観察、モデル化、検出し、それと対話するための1つまたは複数の深度カメラを挙げることができる。特定の態様では、カメラ106、カメラ107、および/またはカメラ108は、視野109、視野110および視野111内の物体の深度および色をそれぞれ認識および検出することができる。カメラ106、カメラ107および/またはカメラ108はまた、写真の撮影、録画、画像または他のデータのストリーミング、画像バッファへのデータの格納等のような他のカメラおよびビデオレコーダ機能を提供することができる。これらの機能は、深度情報を含んでいても、含んでいなくてもよい。開示された実施形態と一致するハードウェアおよび/またはソフトウェアプロセスに関連して、カメラ106、カメラ107および/またはカメラ108は、1つまたは複数の物体104のサイズ、配向および視覚的特性を決定することができる。カメラ106、カメラ107および/またはカメラ108は、本明細書に開示されているプロセスを処理することができる当業者に公知の任意のカメラを含むかまたは具現化することができる。カメラ106、カメラ107および/またはカメラ108は、合格/不合格コントローラ113との間で信号および情報を送信して、開示された実施形態と一致するプロセスを実行するための適切なハードウェアおよびソフトウェアコンポーネント(例えば、回路、ソフトウェア命令等)を含むことができる。合格/不合格コントローラ113は、コンピューティングデバイス、PLC、または他のコントローラ/プロセッサを含むことができる。カメラ106、カメラ107および/またはカメラ108は、画像および/または1つもしくは複数の通知をモニタ114、モニタ115およびモニタ116にそれぞれ出力することができる。
【0024】
1つまたは複数の物体104の視野109、視野110および視野111内への位置決めは、システム100の起動時に行うことができ、またシステム100の使用中に調整できる。カメラ106、カメラ107および/またはカメラ108のうちの1つまたは複数は、コンベヤベルト101の適切な位置決めを確実にするために使用され得る。例えば、カメラ107は、視野110内の領域の画像を生成するように構成され得る。カメラ107は、画像における1つまたは複数の滑り止め102の位置を決定することができる。一態様では、カメラ107は、前側滑り止めの位置を決定することができる。カメラ107は、画像における1つまたは複数の滑り止め102の決定された位置を基準位置と比較することができる。決定された位置が基準位置と等しい場合、コンベヤベルト101を調整する必要はない。決定された位置が基準位置と等しくない場合、カメラ107は、決定された位置と基準位置との差に基づいてオフセットを決定することができる。オフセットは、距離の尺度、例えば、ミリメートル、センチメートル、インチ等で決定することができ、かつ/またはオフセットは、いくつかのステップとして決定することができる。カメラ107は、ステッピングモータ105を作動させることによって、オフセットの分だけコンベヤベルト101を前進または逆進させるようにPLC112に信号を送信することができる。
【0025】
動作中、システム100は、1つまたは複数の物体104の現在の組み立て状態を評価し、現在の組み立て状態に基づいて1つまたは複数の動作をとるように構成することができる。1つまたは複数の物体104のそれぞれがコンベヤベルト101により前進すると、1つまたは複数の物体104はそれぞれ、カメラ106、カメラ107および/またはカメラ108それぞれの視野109、視野110および視野111内に配置される。図1は3つのカメラしか図示していないが、3つ未満または4つ以上のカメラを使用できることが特に考えられる。コンベヤベルト101は、カメラの数にかかわらず、上に配置されている図示された物体104を4つ以上有するように構成することができるとさらに考えられる。1つまたは複数の物体104がコンベヤベルト101に沿って進むにつれて、1つまたは複数の物品を人間のオペレータまたはロボットによって1つまたは複数の物体104へと組み立てることができる。
【0026】
1つまたは複数の物体104のそれぞれがカメラのうちの1つの視野内にあるとき、カメラは、そのカメラと関係する視野内の物体104の画像を生成することができる。例えば、カメラ106は視野109内の領域の画像を生成することができ、カメラ107は視野110内の領域の画像を生成することができ、カメラ108は視野111内の領域の画像を生成することができる。カメラ106、カメラ107および/またはカメラ108はそれぞれ、それらの対応する画像を分析することができる。画像の分析は、1つまたは複数のパターンの有無を判定することを含むことができる。1つまたは複数のパターンは、テキストパターン、数字パターン、記号パターン、およびそれらの組み合わせを含むことができる。例えば、テキストパターンは、「フィルター針」のような任意の文字列を含むことができる。数字パターンは、「6941518」のような任意の数列を含むことができる。記号パターンは、「●□□◆」のような任意の記号列を含むことができる。一態様では、カメラ106、カメラ107および/またはカメラ108は、1つまたは複数のパターンを「読み取る」ために光学式文字認識(OCR)を利用することができる。別の態様では、カメラ106、カメラ107および/またはカメラ108は、OCRを利用しないように構成することができるが、むしろ1つまたは複数のパターンを特定のパターンとして単に認識するように構成することができる。
【0027】
一態様では、1つまたは複数の物体104へと組み立てられる1つまたは複数の物品上に1つまたは複数のパターンを具現化することができる。一態様では、1つまたは複数の物品の少なくとも一部は、1つまたは複数の関連付けられたパターンを含むことができる。したがって、カメラ106、カメラ107および/またはカメラ108が1つまたは複数のパターンの存在を判定した場合、1つまたは複数のパターンの存在は、特定のパターンと関連付けられた物品の存在を示す。例えば、カメラ106が、視野109内の領域を撮影した画像内における「フィルター針」の存在を判定した場合、パターン「フィルター針」と関連付けられた物品が視野109内の物体104に存在するという結論を導き出すことができる。カメラ106、カメラ107および/またはカメラ108は、単一画像における複数のパターンの有無を判定するように構成することができる。例えば、カメラ106は、視野109内の領域を撮影した画像における「フィルター針」および「フィルター針」の存在を判定することができる。両方のパターンの存在は、2回出現しているパターン「フィルター針」と関連付けられた物品が視野109内の物体104に存在することを示すことができる。
【0028】
1つまたは複数の物体104へと組み立てることができる物品はそれぞれ、特定数の物品の有無を示す1つまたは複数のパターンと関連付けることができる。例えば、物品は、特定のパターンが1回だけ出現して具現化されてもよい。カメラ106、カメラ107および/またはカメラ108が、特定のパターンが1回しか出現しないと判定した場合、物品が1つのみ存在するという結論を導き出すことができる。しかしながら、カメラ106、カメラ107および/またはカメラ108が、特定のパターンが2回以上出現すると判定した場合、複数の物品が存在するという結論を導き出すことができる。別の実施例では、物品は特定のパターンが2回出現して具現化されてもよい。カメラ106、カメラ107および/またはカメラ108が、特定のパターンが2回しか出現しないと判定した場合、物品が1つのみ存在するという結論を導き出すことができる。しかしながら、カメラ106、カメラ107および/またはカメラ108が、特定のパターンが1回または3回以上出現すると判定した場合、複数の物品が存在するという結論を導き出すことができる。さらなる実施例では、物品はある範囲の特定のパターンと一緒に具現化されてもよい。例えば、物品は、特定パターンが1~2回出現して具現化されてもよい。カメラ106、カメラ107および/またはカメラ108が、特定のパターンが1回または2回発生すると判定した場合、物品が1つのみ存在するという結論を導き出すことができる。しかしながら、カメラ106、カメラ107および/またはカメラ108が、特定のパターンが3回以上出現すると判定した場合、複数の物品が存在するという結論を導き出すことができる。
【0029】
カメラ106、カメラ107および/またはカメラ108はそれぞれ、画像全体または画像の1つもしくは複数の特定の領域を分析するように構成することができる。図2は、物体104の例示的な画像200を示す。物体104は、1つまたは複数の物品を格納するように構成されたトレイ201を備えることができる。1つまたは複数の物品の少なくとも一部が1つまたは複数の特定の領域に存在するように、1つまたは複数の物品をトレイ201へと組み立てることができる。トレイ201は、1つまたは複数の領域、例えば、領域202、領域203および領域204を含むことができる。領域202、領域203および領域204はそれぞれ、物品がトレイ201内に存在する場合に1つまたは複数のパターンが存在すべき領域と関連付けられ得る。例えば、領域202は、トレイ201へと組み立てられたときのバイアルのバイアルキャップの位置と関連付けることができ、領域203は、トレイ201へと組み立てられたときの1つもしくは複数のシリンジおよび/または1つもしくは複数の針の位置と関連付けることができ、領域204は、トレイ201へと組み立てられたときの1つまたは複数のパンフレットの位置と関連付けることができる。カメラ106、カメラ107および/またはカメラ108はそれぞれ、画像200の1つまたは複数の割り当て領域を分析するように構成することができる。例えば、カメラ106は、領域202および領域203を分析するように割り当てられ得、カメラ107は、領域203を分析するように割り当てられ得、カメラ108は、領域203および領域204を分析するように割り当てられ得る。割り当て領域の任意の組み合わせが考えられる。さらに、カメラ106、カメラ107および/またはカメラ108はそれぞれ、割り当て領域における1つまたは複数の割り当てられたパターンの有無を判定するように構成することができる。例えば、カメラ106は、領域202内のバイアルキャップの有無および領域203内の第1のパターンの有無(第1のパターンの出現回数を含む)を判定するように割り当てられ得、カメラ107は、領域203内の第2のパターンの有無(第2のパターンの出現回数を含む)を判定するように割り当てられ得、カメラ108は、領域203内の第3のパターンの有無(第3のパターンの出現回数を含む)および領域204内の第4のパターンの有無(第4のパターンの出現回数を含む)を判定するように割り当てられ得る。割り当てられたパターンおよび割り当て領域の任意の組み合わせが考えられる。
【0030】
図1に戻ると、1つまたは複数の物体104はそれぞれ、1つまたは複数の物品のそれぞれを特定の数含むように構成することができる。特定の数の各物品の存在は、1つまたは複数の物体104が正しく組み立てられていることを示す。特定の数の各物品以外の何かの存在は、1つまたは複数の物体104が誤って組み立てられていることを示す。カメラ106、カメラ107および/またはカメラ108はそれぞれ、対応する視野内の物体104の独立した評価を行うように構成することができる。カメラが検出するように構成されている特定の数の物品が存在するとカメラが判定した場合、カメラは合格/不合格コントローラ113にPASS信号を出すことができる。カメラが検出するように構成されている特定の数の物品が存在しないとカメラが判定した場合、カメラは合格/不合格コントローラ113にFAIL信号を出すことができる。カメラ106、カメラ107および/またはカメラ108がそれぞれ、合格/不合格コントローラ113にPASS信号を出す場合、合格/不合格コントローラ113は、ステッピングモータ105にコンベヤベルト101を前進させて1つまたは複数の物体104を前進させ、次のカメラの視野下に配置するために信号をPLC112に提供することができる。合格/不合格コントローラ113は、PASS通知を表示するために、モニタ114~116のそれぞれに通知をさらに送信することができる。カメラ106、カメラ107および/またはカメラ108のうちの1つまたは複数が合格/不合格コントローラ113にFAIL信号を出した場合、合格/不合格コントローラ113は、ステッピングモータ105を前進させる信号をPLC112に提供しない。合格/不合格コントローラ113はさらに、FAIL信号を出すカメラと関連付けられたモニタ114~116に通知を送信して、FAIL通知を表示することができる。FAIL通知を表示するモニタ114~116に配置されたオペレータ(例えば、人間またはロボット)は、FAIL状態を改善するために是正動作を行うことができる。例えば、欠品の結果としてFAIL信号が出された場合、オペレータは、欠品を交換することができ、その結果、前のFAIL判定を行ったカメラは、画像を再生成し再分析し、その物品が現在は存在することを判定し、合格/不合格コントローラ113にPASS信号を出すことができる。別の実施例では、FAIL信号が1つまたは複数の余分な物品の結果として出された場合、オペレータはその1つまたは複数の余分な物品を取り除き、その結果、前のFAIL判定を行ったカメラは、画像を再生成し再分析し、要求される数の物品が現在は存在することを判定し、合格/不合格コントローラ113にPASS信号を出すことができる。
【0031】
さらなる態様では、カメラ106、カメラ107および/またはカメラ108による画像の分析は、1つまたは複数のパターンの有無の判定だけでなく、複数のパターンの回転の判定も含むことができる。一態様では、複数のパターンは、特定の軸に沿って、1つまたは複数の物体104へと組み立てられる1つまたは複数の物品上に具現化することができる。一態様では、1つまたは複数の物品の少なくとも一部は、特定の軸に沿った複数の関連付けられたパターンを含むことができる。したがって、カメラ106、カメラ107および/またはカメラ108が、特定の軸に沿った複数のパターンの存在を判定した場合、特定の軸に沿った複数のパターンの存在は、特定の軸に沿って特定のパターンと関連付けられた物品が存在することを示す。例えば、カメラ106が、視野109内の領域を撮影した画像内で、同じ軸に沿った(例えば、30°、60°、90°、120°、180°等)「フィルター針」および「フィルター針」の存在を判定した場合、同じ軸に沿ったパターン「フィルター針」および「フィルター針」と関連付けられた物品が視野109内の物体104に存在するという結論を導き出すことができる。カメラ106、カメラ107および/またはカメラ108は、単一画像における複数のパターンの回転を判定するように構成することができる。例えば、カメラ106は、視野109内の領域を撮影した画像内の、第1の軸に沿った「フィルター針」および「フィルター針」の存在、ならびに第2の軸に沿った「シリンジ針」および「シリンジ針」の存在を判定することができる。2つの異なる軸に沿った両方のパターンの存在は、第1の軸に沿ったパターン「フィルター針」の2回の出現と関連付けられた物品が物体104に存在し、第2の軸に沿ったパターン「シリンジ針」の2回の出現と関連付けられた物品も物体104に存在することを示すことができる。さらなる例として、カメラ106は、視野109内の領域を撮影した画像内の、第1の軸に沿った「フィルター針」および「フィルター針」の存在、ならびに第2の軸に沿った「フィルター針」の存在を判定することができる。2つの異なる軸に沿った両方のパターンの存在は、パターン「フィルター針」と関連付けられた物品の2回の出現が物体104に存在することを示すことができる。
【0032】
1つまたは複数の物体104へと組み立てることができる物品はそれぞれ、特定数の物品の有無を示す、特定の軸に沿って具現化される1つまたは複数のパターンと関連付けることができる。例えば、物品は特定の軸に沿って特定のパターンが2回出現して具現化されてもよい。カメラ106、カメラ107および/またはカメラ108が、特定のパターンが特定の軸に沿って2回しか出現しないと判定した場合、物品が1つのみ存在するという結論を導き出すことができる。しかしながら、カメラ106、カメラ107および/またはカメラ108が、特定のパターンが複数の軸に沿って出現すると判定した場合、複数の物品が存在するという結論を導き出すことができる。
【0033】
図3Aおよび図3Bは、物品301および物品302を含むトレイ201の例示的な画像300および303を示す。例えば、物品301はバイアルであってよく、物品302はフィルター針であってよい。画像300を生成するカメラ106、カメラ107および/またはカメラ108のいずれも、バイアルキャップが領域202内に存在すると判定することができる。単一のバイアルキャップの存在は、物品301が存在することを示す。画像300を生成するカメラ106、カメラ107および/またはカメラ108は、領域203内にパターン「テキストA」の2回の出現が存在すると判定することができる。一態様では、パターン「テキストA」の2回の出現は、物品302の1つまたは複数のインスタンスが存在することを示すことができ、カメラ106、カメラ107および/またはカメラ108は、必要に応じてPASS信号またはFAIL信号を生成することができる。別の態様では、物品302上のパターン構成に応じて(例えば、物品302の単一のインスタンスは、「テキストA」の1回の出現または「テキストA」の二重の出現のいずれかを有することができる)、カメラ106、カメラ107および/またはカメラ108は、「テキストA」および「テキストA」が同じ軸上に現れるかどうかを判定することができる。「テキストA」および「テキストA」が同じ軸上に現れる場合、カメラ106、カメラ107および/またはカメラ108は、物品302の単一のインスタンスが存在することを判定でき、カメラ106、カメラ107および/またはカメラ108は、必要に応じてPASS信号またはFAIL信号を生成することができる。「テキストA」および「テキストA」が異なる軸上に現れる場合、カメラ106、カメラ107および/またはカメラ108は、物品302の複数のインスタンスが存在することを判定でき、カメラ106、カメラ107および/またはカメラ108は、必要に応じてPASS信号またはFAIL信号を生成することができる。一態様では、軸の決定を用いて、任意の数の物品302が存在することを確認し、物品302の予測されるインスタンス数対物品302の決定されたインスタンス数に基づいてPASS信号またはFAIL信号を生成することができる。
【0034】
図4Aは、物品301および物品302の2つのインスタンスを含むトレイ201の例示的な画像400を示す。画像400を生成するカメラ106、カメラ107および/またはカメラ108は、領域203内にパターン(「テキストA」)の3回の出現が存在すると判定することができる。一態様では、パターン「テキストA」の3回の出現は、物品302の1つまたは複数のインスタンスが存在することを示すことができ、カメラ106、カメラ107および/またはカメラ108は、必要に応じてPASS信号またはFAIL信号を生成することができる。別の態様では、物品302上のパターン構成に応じて(例えば、物品302の単一のインスタンスは、「テキストA」の1回の出現、「テキストA」の二重の出現、または「テキストA」の三重の出現を有することができる)、カメラ106、カメラ107および/またはカメラ108は、「テキストA」の3回の出現が同じ軸上に現れるかどうかを判定することができる。図4Aに示すように、「テキストA」の2回の出現が同じ軸上に現れ、「テキストA」の1回の出現が異なる軸上に現れる。したがって、カメラ106、カメラ107および/またはカメラ108は、物品302の複数のインスタンスが存在することを判定でき、カメラ106、カメラ107および/またはカメラ108は、必要に応じてPASS信号またはFAIL信号を生成することができる。一態様では、軸の決定を用いて、任意の数の物品302が存在することを確認し、物品302の予測されるインスタンス数対物品302の決定されたインスタンス数に基づいてPASS信号またはFAIL信号を生成することができる。
【0035】
図4Bは、物品301、物品302の1つのインスタンスおよび物品402の1つのインスタンスを含むトレイ201の例示的な画像401を示す。一態様では、画像400を生成するカメラ106、カメラ107および/またはカメラ108は、領域203内に2回の第1のパターン(「テキストA」)の出現が存在し、1回の第2のパターン(「テキストB」)の出現が存在すると判定することができる。一態様では、パターン「テキストA」の2回の出現は、物品302の1つまたは複数のインスタンスが存在することを示すことができ、カメラ106、カメラ107および/またはカメラ108は、必要に応じてPASS信号またはFAIL信号を生成することができる。別の態様では、物品302上のパターン構成に応じて(例えば、物品302の単一のインスタンスは、「テキストA」の1回の出現、「テキストA」の二重の出現、または「テキストA」の三重の出現を有することができる)、カメラ106、カメラ107および/またはカメラ108は、「テキストA」の2回の出現が同じ軸上に現れるかどうかを判定することができる。図4Bに示すように、「テキストA」の2回の出現が同じ軸上に現れる。したがって、カメラ106、カメラ107および/またはカメラ108は、物品302の複数のインスタンスが存在することを判定でき、カメラ106、カメラ107および/またはカメラ108は、必要に応じてPASS信号またはFAIL信号を生成することができる。しかしながら、パターン「テキストB」の1回の出現は、組み立てプロセスのこの段階で、トレイ201内にあるべきではない物品がトレイ201内に置かれていることを示すことができる。したがって、カメラ106、カメラ107および/またはカメラ108は、存在することが意図されていないパターンの存在に基づいてFAIL信号を生成することができる。
【0036】
別の態様では、画像400を生成するカメラ106、カメラ107および/またはカメラ108は、パターン「テキストB」が存在すると判定でき、パターン「テキストA」(または必要に応じて他の任意のもの)の存在を無視することができる。一態様では、パターン「テキストB」の1回の出現は、物品302の1つのインスタンスが存在することを示すことができ、カメラ106、カメラ107および/またはカメラ108が、PASS信号を生成することができる。
【0037】
図5Aは、物品301、物品302および物品501の1つのインスタンスを含むトレイ201の例示的な画像500を示す。画像500を生成するカメラ106、カメラ107および/またはカメラ108は、領域202内のバイアルキャップを無視し、領域203内のパターン「テキストA」の存在を無視するように構成することができる。代わりに、画像400を生成するカメラ106、カメラ107および/またはカメラ108は、領域203内に2回の別のパターン(「テキストB」)の出現が存在すると判定することができる。一態様では、パターン「テキストB」の2回の出現は、物品501の1つまたは複数のインスタンスが存在することを示すことができ、カメラ106、カメラ107および/またはカメラ108は、必要に応じてPASS信号またはFAIL信号を生成することができる。別の態様では、物品501上のパターン構成に応じて(例えば、物品501の単一のインスタンスは、「テキストB」の1回の出現、「テキストB」の二重の出現、または「テキストB」の三重の出現を有することができる)、カメラ106、カメラ107および/またはカメラ108は、「テキストB」の2回の出現が同じ軸上に現れるかどうかを判定することができる。図5Aに示すように、「テキストB」の2回の出現が同じ軸上に現れる。したがって、カメラ106、カメラ107および/またはカメラ108は、物品501の1つのインスタンスが存在することを判定でき、カメラ106、カメラ107および/またはカメラ108は、必要に応じてPASS信号またはFAIL信号を生成することができる。一態様では、軸の決定を用いて、任意の数の物品501が存在することを確認し、物品501の予測されるインスタンス数対物品501の決定されたインスタンス数に基づいてPASS信号またはFAIL信号を生成することができる。図5Bは、物品301、物品302および物品501の1つのインスタンスを含むトレイ201の例示的な画像503を示す。図5Bは、図5Aに類似しているが、ただし図5Bは、パターン「テキストB」が、同じ軸に沿って2回出現するが、図5Aの軸とは異なる角度で出現することを示す。
【0038】
図6Aは、物品301および物品501の2つのインスタンスを含むトレイ201の例示的な画像600を示す。画像600を生成するカメラ106、カメラ107および/またはカメラ108は、領域203内にパターン「テキストB」の4回の出現が存在すると判定することができる。一態様では、パターン「テキストB」の4回の出現は、物品501の1つまたは複数のインスタンスが存在することを示すことができ、カメラ106、カメラ107および/またはカメラ108は、必要に応じてPASS信号またはFAIL信号を生成することができる。別の態様では、物品501上のパターン構成に応じて(例えば、物品501の単一のインスタンスは、「テキストB」の1回の出現、「テキストB」の二重の出現、「テキストB」の三重の出現、または「テキストB」の四重の出現を有することができる)、カメラ106、カメラ107および/またはカメラ108は、「テキストB」の4回の出現が現れる軸を決定することができる。図5Aに示すように、「テキストB」の2回の出現は第1の軸上に現れ、「テキストB」の他の2回の出現は第2の軸上に現れる。したがって、2セットの「テキストB」が異なる軸上に現れるため、カメラ106、カメラ107および/またはカメラ108は、物品501の複数のインスタンスが存在することを判定でき、カメラ106、カメラ107および/またはカメラ108は、必要に応じてPASS信号またはFAIL信号を生成することができる。一態様では、軸の決定を用いて、任意の数の物品501が存在することを確認し、物品501の予測されるインスタンス数対物品501の決定されたインスタンス数に基づいてPASS信号またはFAIL信号を生成することができる。
【0039】
図6Bは、物品301、物品302および物品501の2つのインスタンスを含むトレイ201の例示的な画像601を示す。画像601を生成するカメラ106、カメラ107および/またはカメラ108は、領域203内にパターン「テキストB」の3回の出現が存在すると判定することができる。一態様では、パターン「テキストB」の3回の出現は、物品501の1つまたは複数のインスタンスが存在することを示すことができ、カメラ106、カメラ107および/またはカメラ108は、必要に応じてPASS信号またはFAIL信号を生成することができる。別の態様では、物品501上のパターン構成に応じて(例えば、物品501の単一のインスタンスは、「テキストB」の1回の出現、「テキストB」の二重の出現、「テキストB」の三重の出現、または「テキストB」の四重の出現を有することができる)、カメラ106、カメラ107および/またはカメラ108は、「テキストB」の3回の出現が現れる軸を決定することができる。図6Bに示すように、「テキストB」の2回の出現が第1の軸上に現れ、「テキストB」の1回の出現が第2の軸上に現れる。したがって、2セットの「テキストB」が異なる軸上に現れるため、カメラ106、カメラ107および/またはカメラ108は、物品501の複数のインスタンスが存在することを判定でき、カメラ106、カメラ107および/またはカメラ108は、必要に応じてPASS信号またはFAIL信号を生成することができる。一態様では、軸の決定を用いて、任意の数の物品501が存在することを確認し、物品501の予測されるインスタンス数対物品501の決定されたインスタンス数に基づいてPASS信号またはFAIL信号を生成することができる。
【0040】
図7Aは、物品301、物品302、物品501、物品701の1つのインスタンスおよび物品702の1つのインスタンスを含むトレイ201の例示的な画像700を示す。画像700を生成するカメラ106、カメラ107および/またはカメラ108は、領域202内のバイアルキャップを無視し、領域203内のパターン「テキストA」および「テキストB」の存在を無視するように構成することができる。代わりに、画像700を生成するカメラ106、カメラ107および/またはカメラ108は、領域203内に2回の別のパターン(「テキストD」)の出現が存在すると判定することができる。一態様では、パターン「テキストD」の2回の出現は、物品701の1つまたは複数のインスタンスが存在することを示すことができ、カメラ106、カメラ107および/またはカメラ108は、必要に応じてPASS信号またはFAIL信号を生成することができる。別の態様では、物品701上のパターン構成に応じて(例えば、物品701の単一のインスタンスは、「テキストD」の1回の出現、「テキストD」の二重の出現、または「テキストD」の三重の出現を有することができる)、カメラ106、カメラ107および/またはカメラ108は、「テキストD」の2回の出現が同じ軸上に現れるかどうかを判定することができる。図7Aに示すように、「テキストD」の2回の出現が同じ軸上に現れる。したがって、カメラ106、カメラ107および/またはカメラ108は、物品701の1つのインスタンスが存在することを判定でき、カメラ106、カメラ107および/またはカメラ108は、必要に応じてPASS信号またはFAIL信号を生成することができる。一態様では、軸の決定を用いて、任意の数の物品701が存在することを確認し、物品701の予測されるインスタンス数対物品701の決定されたインスタンス数に基づいてPASS信号またはFAIL信号を生成することができる。同じ画像700において、カメラ106、カメラ107および/またはカメラ108は、領域204内に2回の別のパターン(「テキストC」)の出現が存在すると判定することができる。一態様では、パターン「テキストC」の2回の出現は、物品702の1つまたは複数のインスタンスが存在することを示すことができ、カメラ106、カメラ107および/またはカメラ108は、必要に応じてPASS信号またはFAIL信号を生成することができる。別の態様では、物品702上のパターン構成に応じて(例えば、物品702の単一のインスタンスは、「テキストC」の1回の出現、「テキストC」の二重の出現、または「テキストC」の三重の出現を有することができる)、カメラ106、カメラ107および/またはカメラ108は、「テキストC」の2回の出現が同じ軸上に現れるかどうかを判定することができる。図7Aに示すように、「テキストC」の2回の出現が同じ軸上に現れる。したがって、カメラ106、カメラ107および/またはカメラ108は、物品702の1つのインスタンスが存在することを判定でき、カメラ106、カメラ107および/またはカメラ108は、必要に応じてPASS信号またはFAIL信号を生成することができる。一態様では、軸の決定を用いて、任意の数の物品702が存在することを確認し、物品702の予測されるインスタンス数対物品702の決定されたインスタンス数に基づいてPASS信号またはFAIL信号を生成することができる。図7Bは、物品301、物品302、物品501、物品701の1つのインスタンスおよび物品702の1つのインスタンスを含むトレイ201の例示的な画像703を示す。図7Bは、図7Aに類似しているが、ただし図7Bは、パターン「テキストD」が、同じ軸に沿って2回出現するが、図7Aの軸とは異なる角度で出現することと、同様にパターン「テキストC」が、同じ軸に沿って2回出現するが、図7Aの軸とは異なる角度で出現することとを示す。
【0041】
図8Aは、物品301、物品302、物品501、物品701の2つのインスタンスおよび物品702の1つのインスタンスを含むトレイ201の例示的な画像800を示す。画像800を生成するカメラ106、カメラ107および/またはカメラ108は、領域203内にパターン「テキストD」の3回の出現が存在すると判定することができる。一態様では、パターン「テキストD」の3回の出現は、物品701の1つまたは複数のインスタンスが存在することを示すことができ、カメラ106、カメラ107および/またはカメラ108は、必要に応じてPASS信号またはFAIL信号を生成することができる。別の態様では、物品701上のパターン構成に応じて(例えば、物品701の単一のインスタンスは、「テキストD」の1回の出現、「テキストD」の二重の出現、「テキストD」の三重の出現、または「テキストD」の四重の出現を有することができる)、カメラ106、カメラ107および/またはカメラ108は、「テキストD」の3回の出現が現れる軸を決定することができる。図8Aに示すように、「テキストD」の2回の出現が第1の軸上に現れ、「テキストD」の1回の出現が第2の軸上に現れる。したがって、2セットの「テキストD」が異なる軸上に現れるため、カメラ106、カメラ107および/またはカメラ108は、物品701の複数のインスタンスが存在することを判定でき、カメラ106、カメラ107および/またはカメラ108は、必要に応じてPASS信号またはFAIL信号を生成することができる。一態様では、軸の決定を用いて、任意の数の物品701が存在することを確認し、物品701の予測されるインスタンス数対物品701の決定されたインスタンス数に基づいてPASS信号またはFAIL信号を生成することができる。図8Bは、図8Aに類似しているが、ただし図8Bは、パターン「テキストD」が、第1の軸に沿って2回、第2の軸に沿って1回出現するが、第1の軸および第2の軸は図8Aの軸とは異なる角度であることを示す。
【0042】
図1に戻ると、カメラ106、カメラ107およびカメラ108はそれぞれ、画像における1つまたは複数のパターンの有無の両方を独立して判定し、物体104の画像における1つまたは複数のパターンのそれぞれの回転を判定することができる。カメラ106、カメラ107およびカメラ108はそれぞれ、画像における1つまたは複数のパターンの有無および回転に基づいて動作を実行することができる。パターンの存在およびパターンの回転に基づいて、物体104の画像内に正しい数の物品が存在するとカメラが判定した場合、動作は、合格/不合格コントローラ113にPASS信号を送信することを含むことができる。パターンの存在およびパターンの回転に基づいて、物体104の画像内に誤った数の物品が存在するとカメラが判定した場合、動作は、合格/不合格コントローラ113にFAIL信号を送信することを含むことができる。カメラ106、カメラ107および/またはカメラ108がそれぞれ、合格/不合格コントローラ113にPASS信号を出す場合、合格/不合格コントローラ113は、ステッピングモータ105にコンベヤベルト101を前進させて1つまたは複数の物体104を前進させ、次のカメラの視野下に配置する信号をPLC112に提供することができる。合格/不合格コントローラ113は、PASS通知を表示するために、モニタ114~116のそれぞれに通知をさらに送信することができる。カメラ106、カメラ107および/またはカメラ108のうちの1つまたは複数が合格/不合格コントローラ113にFAIL信号を出した場合、合格/不合格コントローラ113は、ステッピングモータ105を前進させる信号をPLC112に提供しない。合格/不合格コントローラ113はさらに、FAIL信号を出すカメラと関連付けられたモニタ114~116に通知を送信して、FAIL通知を表示することができる。FAIL通知を表示するモニタ114~116に配置されたオペレータ(例えば、人間またはロボット)は、FAIL状態を改善するために是正動作を行うことができる。
【0043】
別の態様では、カメラ106、カメラ107およびカメラ108のうちの1つまたは複数は、1つまたは複数の物体104の数を数えることができる。例えば、1つまたは複数の物体104が、カメラ106、カメラ107およびカメラ108のうちの1つを通過すると、カメラは、カメラによって撮像される1つまたは複数の物体104のタリーを増分できる。さらなる態様では、1つまたは複数の物体104の間に複数の空の場所が散在していてもよい。例えば、特定の状況では、カメラ106、カメラ107およびカメラ108のうちの1つまたは複数は、対応する視野内に物体104を持たないことがある。コンベヤベルト101は、そうでなければ物体104が配置されるであろう位置に、上に具現化されたパターン(例えば、「トレイなし」パターン)を有することができる。カメラ106、カメラ107およびカメラ108は、パターンを識別し、PASS信号を出してコンベヤベルト101の前進に寄与することができる。
【0044】
図9は、コンベヤベルト101に対するカメラ106、カメラ107およびカメラ108の位置決めを示すシステム100の例示的実施形態を示す。図9は、モニタ114~116の位置決めをさらに示す。ステッピングモータ105はコンベヤベルト101の一端に示されている。PLC112および/または合格/不合格コントローラ113のうちの1つまたは複数をハウジング901に収容することができる。1つまたは複数のディスペンサ902は、1つまたは複数の物体への組み立て中にアクセスされる1つまたは複数の物品を保管するように構成することができる。システム100は、1つまたは複数の緊急停止(「E-Stop」)ボタン903を含むことができる。E-Stopボタン903は、いかなる理由でも、システム100の操作を一時的に停止するために任意の時点で作動させることができる。E-Stopボタン903をリセットし、システム100を(例えば、そうすることが安全であると判断したオペレータまたは技術者によって)再開することができる。システム100は、1つまたは複数のオプトスイッチ904を含むことができる。オプトスイッチ904は、オプトスイッチ904のサドル状構造に指または親指を置くことによって作動(「トリップ」)させることができる。この動作により、光信号経路を遮断し、切り替え条件を引き起こす。オプトスイッチ904を使用して、「手動トリガ」モードの間に目視検査を受け入れ、「自律」(または「自動」)モードの間にベルトの動きを開始/再開することができる。
【0045】
システム100は、キースイッチ機構905を含むことができる。キースイッチ機構905は、「自律」モードと「手動トリガ」モードとをトグルで切り替えるために使用することができる。通常動作下では、モードに関係なく、第1のオペレータステーションは、コンベヤベルト101上にトレイを載せるオペレータを含むことができる。一態様では、これらのトレイには、事前に充填されたキャップ付きバイアルが予め装着されていてもよい。手動トリガモードでは、第2のオペレータステーションにおいて、オペレータはフィルター針チップをトレイに載せることができる。この操作の後、カメラ106は適切な物品についてトレイを検査する。第3のオペレータステーションでは、注射針チップをトレイに追加することができる。その後、カメラ107は適切な物品についてトレイを検査する。第4のオペレータステーションにおいて、オペレータは空のブリスターパック包装したシリンジをトレイに載せる。その後、第5のオペレータがトレイに医師用添付文書(Physician Insert)(PI)を載せる。PIが載せられた後、カメラ108は、トレイに載せ終えたかどうかを検査する。トレイがこの最後のステーションを通過すると、満杯になったトレイは、箱詰めのためにコンベヤベルト101を出る。
【0046】
自動モードでは、トレイはコンベヤベルト101を自動的に下って移動する。システム100は、コンベヤベルト101が次の位置に移動するまでの滞留時間(例えば、1~5秒)を維持することができる。この移動は、3つの検査カメラ(例えば、カメラ106、カメラ107およびカメラ108)すべてが、対応するカメラによって検査されているトレイを通過する(「合格」)ときにのみ生じる。どの検査ステーションでも問題が発生すると、コンベヤベルト101および「赤信号」の状態(「不合格」)になる可能性があり、その時点でオペレータは問題を解決するか、またはトレイをコンベヤベルト101から抜くことができる(各カメラは、トレイがその視野内にない場合にコンベヤベルト101を前進させることができる)。コンベヤベルト101の前進は、「合格」トレイ構成を検出するすべてのカメラに依存し得る。各カメラステーションにおけるディスプレイスクリーン(例えば、モニタ114~116)は、検査結果に応じて、「合格」、「不合格」、または「ジョブなし」の状態を重ね合わせて、関連するカメラのビデオストリームを表示することができる。カメラのオンラインステータスは、動作中に必要に応じてモニタ114~116からリセットすることができる。
【0047】
図10に示す一態様では、1010において、トレイの第1の画像を取得することを含む方法1000が開示されている。方法1000は、1020において、第1の画像における1つまたは複数の第1のパターンの有無を判定することを含むことができる。1つまたは複数の第1のパターンは、テキストパターン、数字パターン、記号パターン、およびそれらの組み合わせを含むことができる。方法1000は、1030において、第1の画像における1つまたは複数の第1のパターンそれぞれの回転を判定することを含むことができる。方法1000は、1040において、第1の画像における1つまたは複数の第1のパターンの有無および回転に基づいて動作を実行することを含むことができる。一態様では、方法1000の各ステップは、コンピューティングデバイス、(処理機能を有する)カメラ、またはそれらの組み合わせによって実行することができる。いくつかの態様では、方法1000を実行するために複数のコンピューティングデバイスおよび/またはカメラを使用することができる。例えば、複数のカメラを使用することができ、第1のカメラがステップ1010、1020およびステップ1030を実行する一方で第2のカメラがステップ1040を実行することができる。別の態様では、トレイが組み立てラインに沿って進むにつれて、いくつかのカメラおよび/またはコンピューティングデバイスのそれぞれで方法1000を繰り返すことができる。例えば、ステップ1010、1020、1030および1040は、特定のパターンについて第1のカメラによって実行することができ、次いでステップ1010、1020、1030および1040は、別の特定のパターンについて第2のカメラによって再度実行することができる。またさらに、本明細書に記載の1つまたは複数のサブステップは、指定されたカメラおよび/またはコンピューティングデバイスによって実行することができる。
【0048】
第1の画像における1つまたは複数の第1のパターンの有無を判定することは、1つまたは複数の第1のパターンのうちの1つまたは2つの存在を判定することを含むことができ、第1の画像における1つまたは複数の第1のパターンそれぞれの回転を判定することは、1つまたは複数の第1のパターンのうちの1つまたは2つが第1の軸上にあることを判定することを含むことができる。第1の画像における1つまたは複数の第1のパターンの有無および回転に基づいて動作を実行することは、合格検査信号を生成することと、上にトレイが配置されたベルトを前進させることとを含むことができる。第1の画像における1つまたは複数の第1のパターンの有無を判定することは、1つまたは複数の第1のパターンのうちの3つ以上の存在を判定することを含むことができる。第1の画像における1つまたは複数の第1のパターンの有無および回転に基づいて動作を実行することは、不合格検査信号を生成することと、オペレータに、1つまたは複数の第1のパターンと関連付けられた第1の物品がトレイから取り除かれるべきであることを通知することとを含むことができる。第1の画像における1つまたは複数の第1のパターンの有無を判定することは、1つまたは複数の第1のパターンのうちの2つの存在を判定することを含むことができ、第1の画像における1つまたは複数の第1のパターンそれぞれの回転を判定することは、1つまたは複数の第1のパターンのうちの2つが同じ軸上にないことを判定することを含むことができる。第1の画像における1つまたは複数の第1のパターンの有無および回転に基づいて動作を実行することは、不合格検査信号を生成することと、オペレータに、1つまたは複数の第1のパターンと関連付けられた第1の物品がトレイから取り除かれるべきであることを通知することとを含むことができる。
【0049】
方法1000は、トレイの第2の画像を取得することと、第2の画像における1つまたは複数の第2のパターンの有無を判定することと、第2の画像における1つまたは複数の第2のパターンそれぞれの回転を判定することと、第2の画像における1つまたは複数の第2のパターンの有無および回転に基づき動作を実行することとをさらに含むことができる。1つまたは複数の第2のパターンは、テキストパターン、数字パターン、記号パターン、およびそれらの組み合わせを含むことができる。第2の画像における1つまたは複数の第2のパターンの有無を判定することは、1つまたは複数の第2のパターンのうちの1つまたは2つの存在を判定することを含むことができ、第2の画像における1つまたは複数の第2のパターンそれぞれの回転を判定することは、1つまたは複数の第2のパターンのうちの1つまたは2つが第2の軸上にあることを判定することを含むことができる。第2の画像における1つまたは複数の第2のパターンの有無および回転に基づいて動作を実行することは、合格検査信号を生成することと、上にトレイが配置されたベルトを前進させることとを含むことができる。第2の画像における1つまたは複数の第2のパターンの有無を判定することは、1つまたは複数の第2のパターンのうちの3つ以上の存在を判定することを含むことができる。第2の画像における1つまたは複数の第2のパターンの有無および回転に基づいて動作を実行することは、不合格検査信号を生成することと、オペレータに、1つまたは複数の第2のパターンと関連付けられた第2の物品がトレイから取り除かれるべきであることを通知することとを含むことができる。第2の画像における1つまたは複数の第2のパターンの有無を判定することは、1つまたは複数の第2のパターンのうちの2つの存在を判定することを含むことができ、第2の画像における1つまたは複数の第2のパターンそれぞれの回転を判定することは、1つまたは複数の第2のパターンのうちの2つが同じ軸上にないことを判定することを含むことができる。第2の画像における1つまたは複数の第2のパターンの有無および回転に基づいて動作を実行することは、不合格検査信号を生成することと、オペレータに、1つまたは複数の第2のパターンと関連付けられた第2の物品がトレイから取り除かれるべきであることを通知することとを含むことができる。
【0050】
方法1000は、第1の画像における滑り止めの位置を決定することと、第1の画像における滑り止めの決定された位置を基準位置と比較することと、決定された位置が基準位置と異なることを判定することと、決定された位置と基準位置との差に基づいてオフセットを決定することと、信号をベルトコントローラに送信して距離を調整し、上にトレイが配置されたベルトをオフセットの分だけ前進させることとをさらに含むことができる。オフセットは、負の値、正の値、またはゼロの値のうちの1つであってよい。一態様では、決定された位置と基準位置との差に基づいてオフセットを決定し、信号をベルトコントローラに送信して距離を調整し、上にトレイが配置されたベルトをオフセットの分だけ前進させることは、1つまたは複数のカメラによって実行することができる。例えば、オフセットを決定するための単一のカメラを指定することができる。オフセットの決定はベルトの各移動後に行うことができる。
【0051】
方法1000は、繰り返しトレイの第1の画像を取得することと、第1の画像における1つまたは複数の第1のパターンの有無を判定することと、第1の画像における1つまたは複数の第1のパターンそれぞれの回転を判定することと、複数のトレイそれぞれについて第1の画像における1つまたは複数の第1のパターンの有無および回転に基づき動作を実行することとをさらに含むことができる。
【0052】
方法1000は、複数のトレイの数を数えることをさらに含むことができ、いくつかの空のトレイ位置が複数のトレイの間に散在している。方法1000は、空のトレイ位置の数を数えることをさらに含むことができる。第1の画像における1つまたは複数の第1のパターンの有無を判定することは、トレイなしパターンを判定することを含むことができる。第1の画像における1つまたは複数の第2のパターンの有無および回転に基づいて動作を実行することは、トレイなしパターンが配置されているベルトを前進させることを含むことができる。
【0053】
例示的な態様では、本方法およびシステムは、図11に示され以下に説明されるようにコンピュータ1101上で実施することができる。例として、図1のカメラ106、カメラ107、カメラ108、PLC112および/または合格/不合格コントローラ113(またはそれらのコンポーネント)は、図11に示すようにコンピュータ1101とすることができる。同様に、開示される方法およびシステムは、1つまたは複数の場所で1つまたは複数の機能を実行するために1つまたは複数のコンピュータを利用することができる。図2は、開示される方法を実行する例示的動作環境1100を示すブロック図である。この例示的な動作環境1100は、動作環境の単なる例であり、動作環境アーキテクチャの使用範囲または機能範囲に関するいかなる制限をも示唆することを意図するものではない。また、動作環境1100は、例示的な動作環境1100に示されているコンポーネントのうちのいずれか1つまたは組み合わせに関する何らかの依存関係または要件を有すると解釈されるべきでもない。
【0054】
本方法およびシステムは、他の多数の汎用または専用のコンピューティングシステム環境または構成を用いて動作可能であり得る。本システムおよび方法とともに使用するのに適し得る周知のコンピューティングシステム、環境および/または構成の例は、パーソナルコンピュータ、サーバコンピュータ、ラップトップデバイスおよびマルチプロセッサシステムを含むが、これらに限定されない。さらなる例は、セットトップボックス、プログラム可能な消費家電、ネットワークPC、プログラム可能ロジックコントローラ(PLC)、ミニコンピュータ、メインフレームコンピュータ、上記のシステムまたはデバイスのいずれかを含む分散コンピューティング環境等を含む。
【0055】
開示される方法およびシステムの処理はソフトウェアコンポーネントによって実行することができる。開示されるシステムおよび方法は、1つもしくは複数のコンピュータまたは他のデバイスによって実行される、プログラムモジュール等のコンピュータ実行可能命令の一般的な文脈で説明することができる。一般に、プログラムモジュールは、特定のタスクを実行するか、または特定の抽象データ型を実装するコンピュータコード、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む。開示される方法は、通信ネットワークを介してリンクされている遠隔処理デバイスによってタスクが実行されるグリッドベースの分散コンピューティング環境でも実施することができる。分散コンピューティング環境では、プログラムモジュールは、メモリ記憶デバイスを含む、ローカルおよび/または遠隔コンピュータ記憶媒体に位置し得る。
【0056】
さらに、当業者であれば、本明細書に開示されるシステムおよび方法が、コンピュータ1101の形態の汎用コンピューティングデバイスを介して実施できることを理解するであろう。コンピュータ1101は、1つまたは複数のプロセッサ1103、システムメモリ1112、および1つまたは複数のプロセッサ1103を含むコンピュータ1101のさまざまなコンポーネントをシステムメモリ1112に結合するバス1113等の1つまたは複数のコンポーネントを含むことができる。複数のプロセッサ1103の場合、システムは並列計算を利用することができる。
【0057】
バス1113は、メモリバス、メモリコントローラ、周辺バス、アクセラレーテッドグラフィックスポート、およびさまざまなバスアーキテクチャのいずれかを使用したプロセッサまたはローカルバス等、いくつかの可能なタイプのバス構造のうちの1つまたは複数を含むことができる。バス1113および本説明で指定されるすべてのバスは、有線または無線のネットワーク接続を介しても実装することができる。
【0058】
コンピュータ1101は典型的には、さまざまなコンピュータ可読媒体を含む。例示的な可読媒体は、コンピュータ1101によってアクセス可能な任意の利用可能な媒体とすることができ、例えば、揮発性媒体および不揮発性媒体の両方、取り外し可能な媒体および取り外し不能な媒体の両方を含むがこれらに限定されないことが意図される。システムメモリ1112は、ランダムアクセスメモリ(RAM)等の揮発性メモリおよび/または読み取り専用メモリ(ROM)等の不揮発性メモリの形態のコンピュータ可読媒体を含むことができる。システムメモリ1112は典型的には、画像分析データ1107等のデータ、ならびに/または1つもしくは複数のプロセッサ1103にアクセス可能であり、かつ/もしくはそれによって動作する、オペレーティングシステム1105および画像分析ソフトウェア1106等のプログラムモジュールを含むことができる。
【0059】
別の態様では、コンピュータ1101は、他の取り外し可能/取り外し不能、揮発性/不揮発性のコンピュータ記憶媒体も含むことができる。大容量記憶装置1104は、コンピュータ1101のためのコンピュータコード、コンピュータ可読命令、データ構造、プログラムモジュールおよび他のデータの不揮発性記憶装置を提供することができる。例えば、大容量記憶装置1104は、ハードディスク、取り外し可能な磁気ディスク、取り外し可能な光ディスク、磁気カセットまたは他の磁気記憶装置、フラッシュメモリカード、CD-ROM、デジタル汎用ディスク(DVD)または他の光学記憶装置、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、電気的消去可能かつプログラム可能な読み取り専用メモリ(EEPROM)等であってよい。
【0060】
所望により、例としてオペレーティングシステム1105および画像分析ソフトウェア1106を含む任意の数のプログラムモジュールを大容量記憶装置1104に格納することができる。オペレーティングシステム1105および画像分析ソフトウェア1106のうちの1つまたは複数(またはいくつかの組み合わせ)は、プログラミング要素および画像分析ソフトウェア1106を含むことができる。画像分析データ1107も大容量記憶装置1104に格納することができる。画像分析データ1107は、当該技術分野において公知の1つまたは複数のデータベースのいずれかに格納することができる。そのようなデータベースの例は、DB2(登録商標)、Microsoft(登録商標)Access、Microsoft(登録商標)SQL Server、Oracle(登録商標)、mySQL、PostgreSQL等を含む。データベースは、集中していても、ネットワーク1115内の複数の位置に分散していてもよい。
【0061】
別の態様では、ユーザは入力デバイス(図示せず)を介してコンピュータ1101にコマンドおよび情報を入力することができる。そのような入力デバイスの例は、キーボード、ポインティングデバイス(例えば、コンピュータマウス、遠隔制御)、マイクロホン、ジョイスティック、スキャナ、タッチスクリーン等のタッチ対応デバイス、手袋およびその他身体を覆うもの等の触覚入力デバイス、モーションセンサを含むが、これらに限定されない。これらおよび他の入力デバイスは、バス1113に結合されているヒューマンマシンインタフェース1102を介して1つまたは複数のプロセッサ1103に接続することができるが、パラレルポート、ゲームポート、IEEE1394ポート(ファイヤワイヤポートとしても知られている)、シリアルポート、ネットワークアダプタ1108、および/またはユニバーサルシリアルバス(USB)等の、これらに限定されないが他のインタフェースおよびバス構造によって接続されてもよい。
【0062】
さらに別の態様では、ディスプレイデバイス1111も、ディスプレイアダプタ1109等のインタフェースを介してバス1113に接続することができる。コンピュータ1101は複数のディスプレイアダプタ1109を有することができ、コンピュータ1101は複数のディスプレイデバイス1111を有することができると考えられる。例えば、ディスプレイデバイス1111は、モニタ、LCD(液晶ディスプレイ)、発光ダイオード(LED)ディスプレイ、テレビ、スマートレンズ、スマートガラスおよび/またはプロジェクタとすることができる。ディスプレイデバイス1111に加えて、他の出力周辺デバイスは、入力/出力インタフェース1110を介してコンピュータ1101に接続することができるスピーカ(図示せず)およびプリンタ(図示せず)等のコンポーネントを含むことができる。これらの方法のうちのいずれかのステップおよび/または結果は、任意の形態で出力デバイスに出力することができる。そのような出力は、テキスト、グラフィック、アニメーション、音声、触覚等を含むがこれらに限定されない、任意の形態の視覚的表現とすることができる。ディスプレイ1111およびコンピュータ1101は、1つのデバイスの一部であっても、別々のデバイスであってもよい。
【0063】
一態様では、コンピュータ1101は、入力/出力インタフェース1110を介してシステム100に結合することができる。コンピュータ1101は、データを監視し格納するように構成することができる。コンピュータ1101は、システム100に接続されたカメラによって取得された画像を格納し、システムで発生する検査中に生成された合格/不合格統計に関連するデータを格納する、等のように構成することができる。コンピュータ1101は、カスタマイズされたファームウェアが動作することを必要とする1つまたは複数のスマートデバイス(例えばスマートカメラ)および/または埋め込み型ロジックコントローラへのプログラミングインタフェースとして使用することもできる。コンピュータ1101を使用して、このソフトウェアまたはファームウェアの反復を生成、トラブルシューティング、アップロードおよび格納することができる。
【0064】
コンピュータ1101は、1つまたは複数の遠隔コンピューティングデバイス1114a、b、cへの論理接続を使用してネットワーク環境で動作することができる。例として、遠隔コンピューティングデバイス1114a、b、cは、パーソナルコンピュータ、コンピューティングステーション(例えば、ワークステーション)、ポータブルコンピュータ(例えば、ラップトップ、携帯電話、タブレットデバイス)、スマートデバイス(例えば、スマートフォン、スマートウォッチ、活動量計、スマートアパレル、スマートアクセサリ)、セキュリティおよび/またはモニタデバイス、サーバ、ルータ、ネットワークコンピュータ、ピアデバイス、エッジデバイスまたは他の一般的なネットワークノード等とすることができる。コンピュータ1101と遠隔コンピューティングデバイス1114a、b、cとの間の論理接続は、ローカルエリアネットワーク(LAN)および/または一般的なワイドエリアネットワーク(WAN)等のネットワーク1115を介して行うことができる。そのようなネットワーク接続は、ネットワークアダプタ1108を介してもよい。ネットワークアダプタ1108は、有線環境および無線環境の両方で実装することができる。そのようなネットワーク環境は、住居、オフィス、企業規模のコンピュータネットワーク、イントラネットおよびインターネットにおいて慣例的であり一般的である。一態様では、ネットワークアダプタ1108は、1つまたは複数の接続されているデバイス(例えば、カメラ)に電力を供給するように構成することができる。例えば、ネットワークアダプタ1108は、パワーオーバーイーサネット(登録商標)(PoE)規格等に準拠することができる。
【0065】
例示のために、アプリケーションプログラムおよびオペレーティングシステム1105等の他の実行可能なプログラムコンポーネントは、本明細書では別個のブロックとして示されているが、そのようなプログラムおよびコンポーネントはさまざまな時点でコンピューティングデバイス1101の異なる記憶コンポーネントに存在し得、コンピュータ1101の1つまたは複数のプロセッサ1103によって実行されることが認識される。画像分析ソフトウェア1106の実施態様は、何らかの形態のコンピュータ可読媒体に格納することができ、またはそれを介して送信することができる。開示される方法のいずれも、コンピュータ可読媒体で具現化されるコンピュータ可読命令によって実行することができる。コンピュータ可読媒体は、コンピュータによってアクセス可能な任意の利用可能な媒体とすることができる。限定を意図せず例として、コンピュータ可読媒体は、「コンピュータ記憶媒体」および「通信媒体」を含むことができる。「コンピュータ記憶媒体」は、コンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータ等の情報を記憶するための任意の方法または技術において実装される揮発性および不揮発性、取り外し可能および取り外し不能の媒体を含むことができる。例示的なコンピュータ記憶媒体は、RAM、ROM、EEPROM、フラッシュメモリもしくは他のメモリ技術、CD-ROM、デジタル汎用ディスク(DVD)もしくは他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、または所望の情報を記憶するために使用可能で、コンピュータによってアクセス可能な任意の他の媒体を含むことができる。
【0066】
本方法およびシステムは、機械学習および反復学習等の人工知能(AI)技術を採用することができる。そのような技術の例としては、エキスパートシステム、事例ベース推論、ベイジアンネットワーク、ビヘイビアベースAI、ニューラルネットワーク、ファジィシステム、進化論的計算手法(例えば遺伝的アルゴリズム)、群知能(例えばアントアルゴリズム)およびハイブリッドインテリジェントシステム(例えば、ニューラルネットワークを通じて生成されたエキスパート推論規則または統計学習からのプロダクション規則)が挙げられるが、これらに限定されない。
【0067】
開示される方法およびシステムは、実施され、試験されており、結果は標準の手動のみのオペレータ主導の組み立てラインプロセスと比較した。以下の表は、開示される方法およびシステムが、標準の手動のみのオペレータ主導の組み立てラインプロセスよりも優れていることを示している。
【0068】
【表1】

本方法およびシステムは好ましい実施形態および特定の実施例に関して説明されているが、本明細書の実施形態はあらゆる点で限定的ではなく例示的であることが意図されるため、その範囲は記載された特定の実施形態に限定されることを意図しない。
【0069】
別途明記されない限り、本明細書に記載の任意の方法は、そのステップが特定の順序で実行されることを必要とすると解釈されることを決して意図してはいない。それに応じて、方法クレームが、そのステップが従うべき順序を実際に列挙しておらず、あるいはそれらのステップが、特定の順序に限定されるべきであることが、特許請求の範囲または説明中に別様に特に述べられていない場合には、いかなる点でも順序が暗示されることを決して意図してはいない。これは、ステップの配列または動作フローに関する論理の問題、文法的な構成または句読法から導き出される単純な意味、明細書において説明される実施形態の数またはタイプを含め、解釈についての可能性のあるどのような非明示的基礎についても成り立つ。
【0070】
種々の改変および変形が本発明の範囲または趣旨を逸脱することなくなされ得ることが当業者には明らかであろう。他の実施形態は、本明細書および本明細書に開示される実践を考慮することにより、当業者には明白となるであろう。本明細書および実施例は単なる例示としてみなされ、本発明の真の範囲および趣旨は以下の特許請求の範囲により示されることが意図される。
図1
図2
図3A
図3B
図4A
図4B
図5A
図5B
図6A
図6B
図7A
図7B
図8A
図8B
図9
図10
図11
【手続補正書】
【提出日】2024-05-23
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
物体の組み立てを解析する方法であって、
検査ステーションに配置される物体の画像を取得することであって、前記物体は、互い別体である複数の物品からなることと、
前記複数の物品のそれぞれの数及び配向を判定することと、
前記画像中の前記複数の物品のそれぞれの判定された数を、前記物体を構成する前記複数の物品のそれぞれの予測された数と比較することと、
前記画像中の前記複数の物品のそれぞれの判定された配向を、前記物体を構成する前記複数の物品のそれぞれの予測された配向と比較することと、
両比較に基づいて、合格信号または不合格信号を生成することであって、前記合格信号は、前記物体が正しく組み立てられていることを示すために生成され、前記不合格信号は、前記物体が誤って組み立てられていることを示すために生成されることと
を備える、方法。
【請求項2】
請求項1に記載の方法は、更に、
前記合格信号又は前記不合格信号に基づく通知を表示すること
を備える、方法。
【請求項3】
請求項1に記載の方法において、
不合格信号の生成により前記物体に対する是正動作を機械に行わせる、方法。
【請求項4】
請求項1に記載の方法において、
不合格信号の生成により前記物体に対する是正動作を機械に行わせ、
前記是正動作には、前記物体に対して一又は複数の物品を加えること、又は前記物体から一又は複数の物品を取り除くことが含まれる、方法。
【請求項5】
請求項1に記載の方法は、更に、
不合格信号を生成後、前記画像中の前記複数の物品のそれぞれの新しく判定された数を、前記画像中の前記複数の物品のそれぞれの予測された数と比較することと、
前記画像中の前記複数の物品のそれぞれの新しく判定された配向を、前記画像中の前記複数の物品のそれぞれの予測された配向と比較することと、
前記画像中の前記複数の物品のそれぞれの新しく判定された数が、前記画像中の前記複数の物品のそれぞれの予測された数と一致し、かつ前記画像中の前記複数の物品のそれぞれの新しく判定された配向が、前記画像中の前記複数の物品のそれぞれの予測された配向と一致した場合、合格信号を生成することと
を備える
、方法。
【請求項6】
請求項1に記載の方法は、更に、
不合格信号を生成後、前記画像中の前記複数の物品のそれぞれの新しく判定された数を、前記画像中の前記複数の物品のそれぞれの予測された数と比較することと、
前記画像中の前記複数の物品のそれぞれの新しく判定された配向を、前記画像中の前記複数の物品のそれぞれの予測された配向と比較することと、
前記画像中の前記複数の物品のそれぞれの新しく判定された数が、前記画像中の前記複数の物品のそれぞれの予測された数と一致し、かつ前記画像中の前記複数の物品のそれぞれの新しく判定された配向が、前記画像中の前記複数の物品のそれぞれの予測された配向と一致した場合、合格信号を生成することと
前記合格信号に基づく通知を表示することと
を備える、方法。
【請求項7】
請求項1に記載の方法は、更に、
不合格信号を生成後、前記画像中の前記複数の物品のそれぞれの新しく判定された数を、前記画像中の前記複数の物品のそれぞれの予測された数と比較することと、
前記画像中の前記複数の物品のそれぞれの新しく判定された配向を、前記画像中の前記複数の物品のそれぞれの予測された配向と比較することと、
前記画像中の前記複数の物品のそれぞれの新しく判定された数が、前記画像中の前記複数の物品のそれぞれの予測された数と一致せず、かつ前記画像中の前記複数の物品のそれぞれの新しく判定された配向が、前記画像中の前記複数の物品のそれぞれの予測された配向と一致しない場合、不合格信号を生成することと
を備える、方法。
【請求項8】
請求項1に記載の方法は、更に、
不合格信号を生成後、前記画像中の前記複数の物品のそれぞれの新しく判定された数を、前記画像中の前記複数の物品のそれぞれの予測された数と比較することと、
前記画像中の前記複数の物品のそれぞれの新しく判定された配向を、前記画像中の前記複数の物品のそれぞれの予測された配向と比較することと、
前記画像中の前記複数の物品のそれぞれの新しく判定された数が、前記画像中の前記複数の物品のそれぞれの予測された数と一致せず、かつ前記画像中の前記複数の物品のそれぞれの新しく判定された配向が、前記画像中の前記複数の物品のそれぞれの予測された配向と一致しない場合、不合格信号を生成することと
前記物体に是正動作が必要であることをオペレータに通知することと
を備える、方法。
【請求項9】
請求項1に記載の方法は、更に、
不合格信号を生成後、前記画像中の前記複数の物品のそれぞれの新しく判定された数を、前記画像中の前記複数の物品のそれぞれの予測された数と比較することと、
前記画像中の前記複数の物品のそれぞれの新しく判定された配向を、前記画像中の前記複数の物品のそれぞれの予測された配向と比較することと、
前記画像中の前記複数の物品のそれぞれの新しく判定された数が、前記画像中の前記複数の物品のそれぞれの予測された数と一致せず、かつ前記画像中の前記複数の物品のそれぞれの新しく判定された配向が、前記画像中の前記複数の物品のそれぞれの予測された配向と一致しない場合、不合格信号を生成することと
前記物体に是正動作が必要であることをオペレータに通知することと
を備え、
前記オペレータは人間またはロボットである、方法。
【請求項10】
請求項1に記載の方法において、
検査ステーションに配置される物体の画像を取得することには、第1の検査ステーションに配置される第1の物体の第1の画像を電気的に受信することが含まれる、方法。
【請求項11】
請求項1に記載の方法において、
検査ステーションに配置される物体の画像を取得することには、第1の検査ステーションに配置される第1の物体の第1の画像を電気的に受信することが含まれ、前記方法は、更に、
前記第1の検査ステーションから離れている第2の検査ステーションに配置される第2の物体の第2の画像を電気的に受信することであって、前記第2の物体は、互い別体である複数の物品からなることと、
前記第2の物体を構成する複数の物品のそれぞれの数及び配向を判定することと、
前記画像中の前記複数の物品のそれぞれの判定された数を、前記第2の物体を構成する前記複数の物品のそれぞれの予測された数と比較することと、
前記第2の画像中の前記複数の物品のそれぞれの判定された配向を、前記第2の物体を構成する前記複数の物品のそれぞれの予測された配向と比較することと、
両比較に基づいて、合格信号または不合格信号を生成することであって、前記合格信号は、前記第2の物体が正しく組み立てられていることを示すために生成され、前記不合格信号は、前記第2の物体が誤って組み立てられていることを示すために生成されることと
を備える、方法。
【請求項12】
システムであって、
イメージャと、
前記イメージャに接続された出力デバイスと
を備え、
前記イメージャは、
検査ステーションに配置される物体の画像を取得し、
前記物体の組み立てを判定するために前記画像を解析するように構成され、
前記物体は、互い別体である複数の物品からなり、
前記物体の組み立てを判定するため、前記イメージャは、更に、
前記複数の物品のそれぞれの数及び配向を判定し、
前記画像中の前記複数の物品のそれぞれの判定された数を、前記物体を構成する前記複数の物品のそれぞれの予測された数と比較し、
前記画像中の前記複数の物品のそれぞれの判定された配向を、前記物体を構成する前記複数の物品のそれぞれの予測された配向と比較し、
両比較に基づいて、合格信号または不合格信号を生成するように構成され、
前記合格信号は、前記物体が正しく組み立てられていることを示すために生成され、前記不合格信号は、前記物体が誤って組み立てられていることを示すために生成され、
前記出力デバイスは、前記合格信号又は前記不合格信号に基づく出力を生成するように構成されている、システム。
【請求項13】
請求項12に記載のシステムにおいて、
前記出力デバイスにより生成される出力は、画像又は通知である、システム。
【請求項14】
請求項12に記載のシステムにおいて、
前記不合格信号に基づき前記出力デバイスにより生成される出力は、赤色の光である、システム。
【請求項15】
請求項12に記載のシステムにおいて、
前記出力デバイスは、ディスプレイスクリーンである、システム。
【請求項16】
請求項12に記載のシステムにおいて、
前記出力デバイスは、ディスプレイスクリーンであり、
前記ディスプレイスクリーンは、前記合格信号に基づき合格通知を表示するように構成されている、システム。
【請求項17】
請求項12に記載のシステムにおいて、
前記出力デバイスは、ディスプレイスクリーンであり、
前記ディスプレイスクリーンは、前記不合格信号に基づき不合格通知を表示するように構成されている、システム。
【請求項18】
請求項12に記載のシステムにおいて、
前記イメージャは、更に、レーザ、リニア、又はエリアイメージングを処理するように構成されている、システム。
【請求項19】
請求項12に記載のシステムにおいて、
前記イメージャは、スキャン、読み取り、復号、バーコードを付けるように構成されている、システム。
【請求項20】
請求項12に記載のシステム、更に、前記合格信号又は前記不合格信号を受信するように構成されたプロセッサを備える、システム。