特許 7535590 視野よりも長い移動物体の３次元スキャンのためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-07

(45)【発行日】2024-08-16

(54)【発明の名称】視野よりも長い移動物体の３次元スキャンのためのシステムおよび方法

(51)【国際特許分類】

   G01B 11/04 20060101AFI20240808BHJP

   G06T 7/00 20170101ALI20240808BHJP

【ＦＩ】

G01B11/04 H

G06T7/00 610Z

G01B11/04 101H

【請求項の数】 20

(21)【出願番号】P 2022549624

(86)(22)【出願日】2021-02-18

(65)【公表番号】

(43)【公表日】2023-04-11

(86)【国際出願番号】 US2021018627

(87)【国際公開番号】W WO2021168151

(87)【国際公開日】2021-08-26

【審査請求日】2022-09-28

(31)【優先権主張番号】62/978,269

(32)【優先日】2020-02-18

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】504382671

【氏名又は名称】コグネックス・コーポレイション

(74)【代理人】

【識別番号】100087642

【弁理士】

【氏名又は名称】古谷 聡

(74)【代理人】

【識別番号】100082946

【弁理士】

【氏名又は名称】大西 昭広

(74)【代理人】

【識別番号】100195693

【弁理士】

【氏名又は名称】細井 玲

(72)【発明者】

【氏名】ケアリー，ベン，アール

(72)【発明者】

【氏名】パレット，アンドリュー

(72)【発明者】

【氏名】リュウ，ユカン

(72)【発明者】

【氏名】チアン，ギルバート

【審査官】櫻井 仁

(56)【参考文献】

【文献】特開平０７－１５９１２９（ＪＰ，Ａ）

【文献】特開２０１９－１９６９２７（ＪＰ，Ａ）

【文献】特開２００６－０８４４４５（ＪＰ，Ａ）

【文献】特開２００８－１７０２９８（ＪＰ，Ａ）

【文献】中国特許出願公開第１０４７９６６１７（ＣＮ，Ａ）

【文献】米国特許出願公開第２０１８／０１８９７６３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

Ｇ０６Ｔ ７／００ー ７／９０

(57)【特許請求の範囲】

【請求項1】

エリアスキャンセンサとして配置された３Ｄカメラアセンブリと、前記３Ｄカメラアセンブリの視野（ＦＯＶ）内で取得されたオブジェクトのイメージから３Ｄデータを受け取るビジョンシステムプロセッサとを有し、前記オブジェクトが前記ＦＯＶを通って搬送方向に運ばれ、また前記オブジェクトが前記搬送方向において前記オブジェクトの対向する縁部間の全長を規定し、その全長が前記ＦＯＶよりも長く、前記ＦＯＶが使用可能な関心領域（ＲＯＩ）を規定するビジョンシステムであって、
複数の３Ｄイメージ相互間に所定の搬送運動量を置いて前記３Ｄカメラアセンブリによって順次取得された前記オブジェクトの前記複数の３Ｄイメージと組み合わせて、前記ＦＯＶを通る前記オブジェクトの搬送から導かれた運動追跡情報に基づいて前記全長を測定するディメンショニングプロセッサと、
前記ＦＯＶと関連した存在検出器であって、その存在検出器は、前記オブジェクトがそれに隣接して位置決めされると存在信号を提供する、存在検出器とを含み、
前記ディメンショニングプロセッサは、前記存在信号に応じて、前記オブジェクトが前記搬送方向に移動するにつれて前記オブジェクトが１つより多いイメージ中に出現するかどうかを判定するように構成され、
前記ディメンショニングプロセッサは、前記オブジェクト上の特徴に関係する情報に応じて、前記オブジェクトが前記搬送方向に移動するにつれて前記オブジェクトが前記ＦＯＶよりも長いかどうかを判定するように構成され、
前記ディメンショニングプロセッサは、前記運動追跡情報に基づいて前記使用可能なＲＯＩの長さＬＲを決定するように構成され、
前記使用可能なＲＯＩの長さＬＲが前記複数の３Ｄイメージ相互間の前記所定の搬送運動量より大きい場合、前記ディメンショニングプロセッサは、重なり合う３Ｄイメージに前記対向する縁部が含まれるように前記複数の３Ｄイメージの重なりを決定するように構成され、
前記ビジョンシステムプロセッサは、特徴データの集まりを生成する前記３Ｄカメラアセンブリによる連続的なイメージ取得から、前記オブジェクト上の特徴に関する情報を組み合わせ、別々の個々のイメージを全体イメージへと組み合わせるのではない仕方で、前記オブジェクトの寸法を全体として判定する、ビジョンシステム。

【請求項2】

前記ビジョンシステムプロセッサは、前記オブジェクトの全長が前記ＦＯＶよりも長いことに応じて、前記オブジェクトが前記ＦＯＶから出るまで、前記オブジェクトが前記ＦＯＶ内に残っている間は、一連のイメージ取得スナップショットを取得するように構成されている、請求項１のビジョンシステム。

【請求項3】

前記ビジョンシステムプロセッサは、前記特徴データの集まりを使用し且つ入力された用途データに基づいて、前記オブジェクトの全体的な属性を導出するように構成され、前記全体的な属性には、前記オブジェクトの分類、前記オブジェクトの寸法、斜行および前記オブジェクトの容積の少なくとも１つが含まれる、請求項２のビジョンシステム。

【請求項4】

前記全体的な属性に基づいて、前記オブジェクトの転送、前記オブジェクトの拒絶、警告の発生および前記オブジェクトの斜行の修正の少なくとも１つを含むタスクを、前記オブジェクトに対して行うオブジェクト操作プロセスをさらに含む、請求項３のビジョンシステム。

【請求項5】

前記オブジェクトはコンベアまたは手作業によって搬送される、請求項１～４の何れか１項のビジョンシステム。

【請求項6】

前記運動追跡情報が前記コンベアに関連して動作するよう接続されたエンコーダによって生成される、請求項５のビジョンシステム。

【請求項7】

前記存在信号は前記ディメンショニングプロセッサによって使用され、前記オブジェクトが前記搬送方向に移動するにつれて前記複数の３Ｄイメージのそれぞれの間での前記オブジェクトの連続性が判定される、請求項１～６の何れか１項のビジョンシステム。

【請求項8】

前記複数の３Ｄイメージが前記３Ｄカメラアセンブリによって相互間に所定の重なりを有して取得され、そして前記運動追跡情報を用いて前記オブジェクトの寸法から重なり部分を除去して前記全長を決定する除去プロセスをさらに含む、請求項７のビジョンシステム。

【請求項9】

前記複数の３Ｄイメージの１つ前が前記オブジェクトの後端を含んでいた後に前記存在信号がアサートされた結果として、取得された前記複数の３Ｄイメージの最後の１つを拒絶するイメージ拒絶プロセスをさらに含む、請求項８のビジョンシステム。

【請求項10】

前記ディメンショニングプロセッサは、前記オブジェクトが前記搬送方向に移動するにつれて前記複数の３Ｄイメージのそれぞれの間での前記オブジェクトの連続性を判定するために、前記オブジェクト上の特徴に関連する情報を用いるように構成されている、請求項１～９の何れか１項のビジョンシステム。

【請求項11】

前記ディメンショニングプロセッサは、前記複数の３Ｄイメージ中の前記オブジェクト相互間の最小間隔を規定し、それ未満の場合に複数のオブジェクトは３Ｄイメージデータが喪失された単一のオブジェクトであると見なされる、請求項１～１０の何れか１項のビジョンシステム。

【請求項12】

前記ビジョンシステムプロセッサは、
（ａ）長さ制限外データ、
（ｂ）幅制限外データ、
（ｃ）高さ制限外データ、
（ｄ）容積制限外データ、
（ｅ）液体容積、
（ｆ）分類、
（ｇ）前記オブジェクトから画像化される予想データに対する前記オブジェクトから実際に画像化されたデータの量（ＱＴＹ）、
（ｈ）前記オブジェクトの位置的特徴、または
（ｉ）前記オブジェクトに対する損傷の検出
を含む、前記オブジェクトに関する前記特徴データの集まりを生成するように構成されている、請求項１～１１の何れか１項のビジョンシステム。

【請求項13】

エリアスキャンセンサとして配置された３Ｄカメラアセンブリを有し、前記３Ｄカメラアセンブリの視野（ＦＯＶ）内で取得されたオブジェクトのイメージから３Ｄデータを受け取るビジョンシステムプロセッサを備えるビジョンシステムを用いて前記オブジェクトのディメンショニングを行い、前記オブジェクトが前記ＦＯＶを通って搬送方向に運ばれ、また前記オブジェクトが前記搬送方向において前記オブジェクトの対向する縁部間の全長を規定し、その全長が前記ＦＯＶよりも長く、前記ＦＯＶが使用可能な関心領域（ＲＯＩ）を規定する方法であって、
複数の３Ｄイメージ間に所定の搬送運動量を置いて前記３Ｄカメラアセンブリによって連続して取得された前記オブジェクトの前記複数の３Ｄイメージと組み合わせて、前記ＦＯＶを通る前記オブジェクトの搬送から導かれた運動追跡情報に基づいて前記全長を測定し、
前記オブジェクトが前記ＦＯＶに隣接して位置決めされると存在信号を生成し、そして前記存在信号に応答して、前記オブジェクトが前記搬送方向に移動するにつれて前記オブジェクトが１つよりも多いイメージ中に出現するか否かを判定し、
前記オブジェクト上の特徴に関連する情報に応じて、前記オブジェクトが前記搬送方向に移動するにつれて前記オブジェクトが前記ＦＯＶよりも長いかどうかを決定し、
前記運動追跡情報に基づいて前記使用可能なＲＯＩの長さＬＲを決定し、前記使用可能なＲＯＩの長さＬＲが前記複数の３Ｄイメージ間の前記所定の搬送運動量より大きい場合、前記対向する縁部が、重なり合う３Ｄイメージに含まれるように前記複数の３Ｄイメージの重なりを決定することを含み、
前記３Ｄカメラアセンブリによるイメージの連続取得からの前記オブジェクト上の特徴に関連する情報を組み合わせて特徴データの集まりを生成し、別々の個々のイメージを全体イメージへと組み合わせるのではない仕方で、全体として前記オブジェクトの寸法を提供することを含む、方法。

【請求項14】

前記オブジェクトの前記全長が前記ＦＯＶよりも長いことに応じて、前記オブジェクトが前記ＦＯＶから出るまで、前記オブジェクトが前記ＦＯＶ内に残っている間は、一連のイメージ取得スナップショットを取得することをさらに含む、請求項１３の方法。

【請求項15】

前記特徴データの集まりを使用し且つ入力された用途データに基づいて、前記オブジェクトの全体的な属性を導出することをさらに含み、前記全体的な属性は、前記オブジェクトの分類、前記オブジェクトの寸法、斜行および前記オブジェクトの容積の少なくとも１つを含む、請求項１４の方法。

【請求項16】

前記全体的な属性に基づいて、前記オブジェクトの転送、前記オブジェクトの拒絶、警告の発生および前記オブジェクトの斜行の修正の少なくとも１つを含む、前記オブジェクトに関するタスクを行うことをさらに含む、請求項１５の方法。

【請求項17】

前記存在信号の使用は、前記オブジェクトが前記搬送方向に移動するにつれて前記複数の３Ｄイメージのそれぞれの間での前記オブジェクトの連続性を判定するために行われる、請求項１３～１６の何れか１項の方法。

【請求項18】

前記情報を組み合わせる工程が、
（ａ）長さ制限外データ、
（ｂ）幅制限外データ、
（ｃ）高さ制限外データ、
（ｄ）容積制限外データ、
（ｅ）液体容積、
（ｆ）分類、
（ｇ）前記オブジェクトから画像化される予想データに対する前記オブジェクトから実際に画像化されたデータの量（ＱＴＹ）、
（ｈ）前記オブジェクトの位置的特徴、または
（ｉ）前記オブジェクトに対する損傷の検出
を生成することを含む、請求項１３～１７の何れか１項の方法。

【請求項19】

前記複数の３Ｄイメージ中の前記オブジェクト相互間の最小間隔を規定することをさらに含み、その最小間隔未満の場合には複数のオブジェクトは３Ｄイメージデータが失われた単一のオブジェクトであると見なされる、請求項１３～１８の何れか１項の方法。

【請求項20】

エリアスキャンセンサとして配置された３Ｄカメラアセンブリと、前記３Ｄカメラアセンブリの視野（ＦＯＶ）内で取得されたオブジェクトのイメージから３Ｄデータを受け取るビジョンシステムプロセッサとを有し、前記オブジェクトが前記ＦＯＶを通って搬送方向に運ばれ、また前記オブジェクトが前記搬送方向において前記ＦＯＶよりも長い全長を規定するビジョンシステムであって、
複数の３Ｄイメージ相互間に所定の搬送運動量を置いて前記３Ｄカメラアセンブリによって順次取得された前記オブジェクトの前記複数の３Ｄイメージと組み合わせて、前記ＦＯＶを通る前記オブジェクトの搬送から導かれた運動追跡情報に基づいて前記全長を測定するディメンショニングプロセッサと、
前記ＦＯＶと関連した存在検出器であって、その存在検出器は、前記オブジェクトがそれに隣接して位置決めされると存在信号を提供する、存在検出器とを含み、
前記ディメンショニングプロセッサは、前記存在信号に応じて、前記オブジェクトが前記搬送方向に移動するにつれて前記オブジェクトが１つより多いイメージ中に出現するかどうかを判定するように構成され、
前記ディメンショニングプロセッサは、前記オブジェクト上の特徴に関係する情報に応じて、前記オブジェクトが前記搬送方向に移動するにつれて前記オブジェクトが前記ＦＯＶよりも長いかどうかを判定するように構成され、
前記存在信号は前記ディメンショニングプロセッサによって使用され、前記オブジェクトが前記搬送方向に移動するにつれて前記複数の３Ｄイメージのそれぞれの間での前記オブジェクトの連続性が判定され、
前記複数の３Ｄイメージが前記３Ｄカメラアセンブリによって相互間に所定の重なりを有して取得され、そして前記運動追跡情報を用いて前記オブジェクトの寸法から重なり部分を除去して前記全長を決定する除去プロセスと、
前記複数の３Ｄイメージの１つ前が前記オブジェクトの後端を含んでいた後に前記存在信号がアサートされた結果として、取得された前記複数の３Ｄイメージの最後の１つを拒絶するイメージ拒絶プロセスとをさらに含み、
前記ビジョンシステムプロセッサは、特徴データの集まりを生成する前記３Ｄカメラアセンブリによる連続的なイメージ取得から、前記オブジェクト上の前記特徴に関する情報を組み合わせ、別々の個々のイメージを全体イメージへと組み合わせるのではない仕方で、前記オブジェクトの寸法を全体として判定する、ビジョンシステム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は３次元（３Ｄ）空間においてオブジェクトを分析するマシンビジョンシステムに関し、より詳しくはコンベア上で検査域を通って搬送されるオブジェクトを分析するためのシステムおよび方法に関する。

【背景技術】

【0002】

オブジェクトの測定、検査、整列および／またはシンボル情報（例えばバーコード、「ＩＤコード」とも言う）のデコード（解読）を行うマシンビジョンシステム（本願ではまた「ビジョンシステム」とも言う）は、幅広い用途および産業において使用されている。これらのシステムは、対象物またはオブジェクトのイメージ（典型的にはグレースケールまたはカラーであり、１次元、２次元または３次元である）を取得するイメージセンサの使用を基礎としており、そうして取得したイメージを基板上のまたは相互接続されたビジョンシステムプロセッサを用いて処理する。このプロセッサは一般に、処理用ハードウェアおよび非一時的なコンピュータ可読プログラム命令の両者を含み、１またはより多くのビジョンシステムプロセスを実行して、イメージの処理情報に基づく所望の出力を生成する。このイメージ情報は典型的には、それぞれが種々の色および／または明度を有するイメージピクセルのアレイ（配列）内に提示される。

【0003】

上記したように、１またはより多くのビジョンシステムカメラを配置して、画像化（イメージング）された場面（シーン）におけるオブジェクトの２次元（２Ｄ）または３次元（３Ｄ）イメージを取得することができる。２Ｄイメージは典型的には、全体でＮ×Ｍのイメージアレイ（多くの場合、カメラのイメージセンサのピクセルアレイによって画定される）内にｘ成分およびｙ成分を有するピクセル（画素）として特徴付けられる。イメージが３Ｄで取得される場合には、ｘ成分およびｙ成分に加えて高さ、すなわちｚ軸成分がある。３Ｄイメージデータは、立体カメラ三角測量法、ＬｉＤＡＲ（光による検知と測距）、飛行時間型（タイムオブフライト）センサ、および（例えば）レーザー変位プロファイリングなどの、種々のメカニズム／技術を使用して取得可能である。

【0004】

一般に３Ｄカメラは、その視野（ＦＯＶ）内に入るオブジェクトについて３Ｄイメージ情報をキャプチャする（取り込む）ように配置され、視野は横軸のｘ次元およびｙ次元に沿って、縦軸のｚ次元におけるカメラセンサからの距離の関数として外側へと扇形に広がる容積空間を構成する。容積空間全体のイメージを並行／同時に（すなわち「スナップショット」で）取得するセンサは、「エリアスキャンセンサ」と呼ばれている。そうしたエリアスキャンセンサは、３Ｄ情報をスライスごとにキャプチャするラインスキャンセンサ（例えばプロファイラ）とは区別されており、また運動（例えばコンベアの動き）および検査域／ＦＯＶを通じてオブジェクトを移動させるこの運動の測定（例えば運動エンコーダまたはステッパーによる）を使用する。

【0005】

ラインスキャンセンサの利点の１つは、オブジェクトの長さをコンベアの運動方向に沿って取った場合に、検査されるオブジェクトの長さが任意でよいことである。逆に、容積空間のイメージスナップショットを取るエリアスキャンセンサは、３Ｄシーンをキャプチャするためにエンコーダを必要としないが、オブジェクトが視野よりも長い場合には、オブジェクトの全体を１回のスナップショットで画像化することはできない。１回のスナップショットでオブジェクトの一部だけが取得される場合には、オブジェクトの続き部分（まだ画像化されていない）がＦＯＶ内へと通過してくる際に、残りの長さ分の追加のスナップショット（または複数のスナップショット）を取得しなければならない。複数のスナップショットの場合、全体の３Ｄイメージがオブジェクトの特徴を正確に表すようにするために、複数の３Ｄイメージをどのようにして効率的に整合させる（繋ぎ合わせる）かが課題となる。

【発明の概要】

【0006】

この発明は、センサの単一の視野（ＦＯＶ）よりも大きなオブジェクトの正確な測定をキャプチャするために、ビジョンシステムのエリアスキャンセンサを、エンコーダまたは運動についての他の知識と併せて使用するためのシステムおよび方法を提供することによって、従来技術の不具合を克服する。このシステムおよび方法は特に、スナップショットを用いるエリアスキャンビジョンシステムが限られた視野を画定し、典型的にはそれがシステムに複数のスナップショットおよびスナップショットを結合するために必要な他のデータを取得することを要求するという不具合に対処する。これは生イメージデータを結合し、次いでそうしたデータを後処理するという、計算集約的となりうるタスクを回避させる。それに代えて例示的な実施形態では、オブジェクトの特徴／縁部またはエッジ（識別されたポリゴン（多角）形状に関連して「頂点」とも言う）を識別し、それらをイメージごとに追跡し、それによって空間における大きさと位置を表示または測定する（ディメンショニング）目的でオブジェクトの全体範囲を処理する軽量な仕方を提供する。このシステムおよび方法はオブジェクトがＦＯＶよりも（搬送方向において）長いかどうかを自動的に判定するロジックを用いることができ、それによってオブジェクトがＦＯＶに存在しなくなるまで、移動／搬送オブジェクトがＦＯＶ内に残っている間は、一連のイメージ取得スナップショットを生じさせる。存在しなくなった時点で取得は終了し、個々のイメージは任意選択的にイメージ全体中にセグメントとして結合することができる。イメージデータの全体は、下流の種々のプロセスにおいて使用可能である。実際の全体イメージの生成を伴って、または伴わずに導出される、個別のイメージスナップショットから集めた特徴データは、入力された用途の詳細に基づいて、オブジェクトの全体的な寸法を導出するために処理することができる。こうして集められた特徴データは、限定するものではないが、斜行（スキュー）、長さ、幅および／または高さについての許容誤差超過、信頼性スコア、液体容積、分類（カテゴリー化）、オブジェクトから画像化される予想データに対するオブジェクトから実際に画像化されたデータの量（ＱＴＹ）、オブジェクトの位置的特徴、および／またはオブジェクトに対する損傷の検出などの、オブジェクトの他の性質および特徴を判定するために用いることができる。このシステムおよび方法はまた、影などで３Ｄデータが失われることに起因してエリアスキャンセンサを用いた従来のイメージングによっては典型的には分離されることになる、複雑な／多重レベルのオブジェクトを結合させることができる。

【0007】

例示的な実施形態においては、ビジョンシステムおよびその使用方法が提供される。ビジョンシステムおよび方法は、エリアスキャンセンサとして配置された３Ｄカメラアセンブリと、３Ｄカメラアセンブリの視野（ＦＯＶ）内で取得されたオブジェクトのイメージから３Ｄデータを受け取るビジョンシステムプロセッサとを含むことができる。オブジェクトはＦＯＶを通って搬送方向に運ばれることができ、またオブジェクトは搬送方向に、ＦＯＶよりも長い全長を規定することができる。ディメンショニングプロセッサが、オブジェクトの複数の３Ｄイメージと組み合わせた、ＦＯＶを通るオブジェクトの搬送から導かれた運動追跡情報に基づいて、全長を測定する。これらのイメージは３Ｄイメージ相互間に所定の搬送運動量を置いて、３Ｄカメラアセンブリによって順次取得することができる。ＦＯＶと関連する存在検出器は、オブジェクトがそれに隣接して位置決めされると、存在信号を提供することができる。ディメンショニングプロセッサは、存在信号に応じて、オブジェクトが搬送方向に移動するにつれて１つより多いイメージ中に出現するかどうかを判定するように構成することができる。ディメンショニングプロセッサは、オブジェクト上の特徴に関係する情報に応じて、オブジェクトが搬送方向に移動するにつれてＦＯＶよりも長いかどうかを判定するように構成することができる。イメージプロセッサが、特徴データの集まりを生成する３Ｄカメラによる連続的なイメージ取得から、オブジェクトについての特徴に関する情報を組み合わせることができ、別々の個々のイメージを全体イメージへと組み合わせるのではない仕方で、オブジェクトの寸法を全体として判定する。例示的に説明すると、イメージプロセッサは、オブジェクトの全長がＦＯＶよりも長いことに応じて、オブジェクトがＦＯＶから出るまで、オブジェクトがＦＯＶ内に残っている間は、一連のイメージ取得スナップショットを取得するように構成することができる。イメージプロセッサはさらに、集められた特徴データを使用し、また入力された用途データに基づいて、オブジェクトの全体的な属性を導出するように構成することができ、そしてここで全体的な属性には、信頼性スコア、オブジェクトの分類、オブジェクトの寸法、斜行およびオブジェクトの容積の少なくとも１つが含まれる。オブジェクト操作プロセスが、全体的な属性に基づいて、オブジェクトの転送、オブジェクトの拒絶、警告の発生およびオブジェクトの斜行の修正の少なくとも１つを含むタスク（作業）を、オブジェクトに対して行うことができる。例示的に説明すると、オブジェクトは機械的コンベアまたは手作業によって搬送可能であり、および／または追跡情報はコンベアに関連して動作するよう接続されたエンコーダによって生成することができる。運動検出デバイスは、コンベア、外部の特徴検出デバイスおよび／または特徴に基づく検出デバイスに関連して動作するよう接続可能である。存在信号はディメンショニングプロセッサによって使用されて、オブジェクトが搬送方向に移動するにつれてイメージのそれぞれの間でのオブジェクトの連続性を判定することができる。複数のイメージは３Ｄカメラによって、相互間に所定の重なりを有して取得可能であり、そして除去プロセスは追跡情報を用いて、オブジェクトの寸法から重なり部分を除去して全長を決定することができる。イメージ拒絶プロセスは、複数のイメージの１つ前がオブジェクトの後端を含んでいた後に存在信号がアサートされた結果として、取得された複数のイメージの最後の１つを拒絶することができる。ディメンショニングプロセッサはさらに、オブジェクトが搬送方向に移動するにつれてイメージのそれぞれの間でのオブジェクトの連続性を判定するために、オブジェクト上の特徴に関連する情報を用いるように構成することができる。ディメンショニングシステムはさらに、イメージ中のオブジェクト相互間の最小間隔を規定することができ、それ未満の場合に複数のオブジェクトは３Ｄイメージデータが喪失された単一のオブジェクトであると見なされる。例示的に説明すると、イメージプロセッサは、（ａ）長さ制限外データ、（ｂ）幅制限外データ、（ｃ）高さ制限外データ、（ｄ）容積制限外データ、（ｅ）信頼性スコア、（ｆ）液体容積、（ｇ）分類、（ｈ）オブジェクトから画像化される予想データに対するオブジェクトから実際に画像化されたデータの量（ＱＴＹ）、（ｉ）オブジェクトの位置的特徴、および／または（ｊ）オブジェクトに対する損傷の検出に関連して、オブジェクトに関する特徴データの集まりを生成するように構成することができる。

【0008】

例示的な実施形態においては、ビジョンシステム、および関連する方法は、オブジェクトがＦＯＶを通過するにつれてオブジェクトの１またはより多くのイメージをキャプチャする取得プロセスを実行可能な、視野（ＦＯＶ）を備えたエリアスキャンセンサとして配置された３Ｄカメラアセンブリを含むことができ、そして（ａ）オブジェクトが１つよりも多くのイメージを占めるかを判定し、（ｂ）オブジェクトがもはや次のイメージを占めなくなるのはいつかを判定し、そして（ｃ）取得された１またはより多くのイメージからオブジェクトのサイズおよび相対角度を計算する。

【0009】

例示的な実施形態においては、エリアスキャンセンサとして配置された３Ｄカメラアセンブリを有するビジョンシステムを使用する、オブジェクトの空間における大きさと位置を表示または測定（ディメンショニング）する方法が提供され、ビジョンシステムプロセッサは、３Ｄカメラアセンブリの視野（ＦＯＶ）内で取得されたオブジェクトのイメージから３Ｄデータを受け取る。このオブジェクトはＦＯＶを通って搬送方向に搬送可能であり、そしてオブジェクトは搬送方向に、ＦＯＶよりも長い全長を規定することができる。この方法はさらに、３Ｄイメージ間に所定量の搬送運動を置いて３Ｄカメラアセンブリによって連続して取得されたオブジェクトの複数の３Ｄイメージと組み合わせて、ＦＯＶを通るオブジェクトの搬送から導かれた運動追跡情報に基づき、全長を測定する工程を含んでいる。オブジェクトがＦＯＶに隣接して位置決めされると存在信号を生成可能であり、そして存在信号に応答して、オブジェクトが搬送方向に移動するにつれてオブジェクトが１つよりも多いイメージ中に出現するか否かを判定可能である。オブジェクト上の特徴に関連する情報に応じて、オブジェクトが搬送方向に移動するにつれ、オブジェクトがＦＯＶよりも長いかどうかを決定可能である。３Ｄカメラによるイメージの連続取得からの、オブジェクト上の特徴に関連する情報は組み合わせて、特徴データの集まりを生成することができ、別々の個々のイメージを全体イメージへと組み合わせるのではない仕方で、全体としてオブジェクトの寸法が提供される。例示的に説明すると、オブジェクトの全長がＦＯＶよりも長いことに応じて、オブジェクトがＦＯＶから出るまで、オブジェクトがＦＯＶ内に残っている間は、一連のイメージ取得スナップショットを取得することができる。集められた特徴データを使用し、また入力された用途データに基づいて、オブジェクトの全体的な属性を導出することができ、そして全体的な属性は、信頼性スコア、オブジェクトの分類、オブジェクトの寸法、斜行およびオブジェクトの容積の少なくとも１つを含むことができる。例示的に説明すると、この方法は全体的な属性に基づいて、オブジェクトの転送、オブジェクトの拒絶、警告の発生およびオブジェクトの斜行の修正の少なくとも１つを含む、オブジェクトに関するタスクを行うことができる。例示的に説明すると、存在信号は、オブジェクトが搬送方向に移動するにつれてイメージのそれぞれの間でのオブジェクトの連続性を判定するために使用することができる。情報を組み合わせるにあたっては、この方法はさらに、（ａ）長さ制限外データ、（ｂ）幅制限外データ、（ｃ）高さ制限外データ、（ｄ）容積制限外データ、（ｅ）信頼性スコア、（ｆ）液体容積、（ｇ）分類、（ｈ）オブジェクトから画像化される予想データに対するオブジェクトから実際に画像化されたデータの量（ＱＴＹ）、（ｉ）オブジェクトの位置的特徴、および／または（ｊ）オブジェクトに対する損傷の検出を生成することができる。イメージ中のオブジェクト相互間の最小間隔を規定することができ、その最小間隔未満の場合には、画像化された複数のオブジェクトは３Ｄイメージデータが失われた単一のオブジェクトであると見なされる。

【図面の簡単な説明】

【0010】

以下の発明の説明は添付図面を参照する。添付図面において：

【0011】

図１は、オブジェクトが視野を通って移動するにつれて複数のスナップショットから全体イメージを生成するためにディメンショニングプロセス（プロセッサ）を用いる、エリアスキャンセンサを用いて視野よりも長いオブジェクトの３Ｄイメージを取得および処理するシステムの概略であり；

【0012】

図２は、図１のコンベアおよびエリアスキャンセンサの配置を側面で示す図であって、例示的な実施形態によるイメージ取得のためのオブジェクトトリガー平面の３Ｄイメージングのために使用可能な関心領域（ＲＯＩ）であるＦＯＶの詳細を示しており；

【0013】

図３は、最初のスナップショットをトリガーする（生じさせる）ためにトリガー平面に到達した、搬送方向において使用可能なＲＯＩよりも長い長さを有する例示的なオブジェクトについての、図１および図２の構成の運転時動作を示す図であり；

【0014】

図４は、例示的なオブジェクトがＲＯＩから部分的に外へと通過し、エンコーダが第２のスナップショットをトリガーするのに十分な程度のオブジェクトの運動を示す、図３の運転時動作を示す図であり；

【0015】

図５は、３Ｄイメージデータの喪失および／またはＦＯＶにおいて２つの別個のオブジェクトを示すことになる、複雑な上部表面を示す例示的なオブジェクトについての、図１および図２の構成の運転時動作を示す図であり；

【0016】

図６は、複数のオブジェクトおよび／または複雑なオブジェクトが画像化される場合を含む、例示的な実施形態によりディメンショニングプロセスを実行するための手順を示す流れ図であり；

【0017】

図７は、全体的なイメージングされるオブジェクトを表す例示的な、重なり合うイメージ部分を有する、画像化されるコンベア表面を上から下に見たところの図であり；そして

【0018】

図８は、オブジェクトの全長を生成するため図７に示すような重なり合うイメージ部分、ならびに最大幅、最大高さおよび搬送方向（または他の座標系）に関する相対角度を取り扱うように適合された、図１および図２の構成についての全体的なイメージ取得手順の流れ図である。

【発明を実施するための形態】

【0019】

Ｉ．システムの概観

【0020】

図１は、例示的なオブジェクト１２０が下流方向（矢印１３２）に動いている移動コンベア１３０に関して視野（ＦＯＶ）の下側を通過するにつれて、ビジョンシステムカメラアセンブリ（単に「カメラ」または「センサ」とも言う）１１０がその３Ｄイメージデータを取得する、構成１００の概略を示している。局所的／相対的な３Ｄ座標系１３８が、例示として、ｘｙｚ直交座標を備えて示されている。極座標系のような他の座標系を使用して、この３Ｄ空間を表すこともできる。留意すべきは、この例において、オブジェクト１２０はＦＯＶの上流側および下流側の境界ＢＦおよびＢＲよりも長い、上流から下流への（大体ｙ軸／移動方向に沿った）長さＬＯを規定していることであり、これについては以下でさらに詳述する。

【0021】

本願で考察される３Ｄカメラ／イメージングアセンブリ１１０は、オブジェクトの３Ｄイメージを取得する任意のアセンブリであることができ、限定するものではないが、立体カメラ、飛行時間型カメラ、ＬｉＤＡＲ、超音波測距カメラ、構造化照明システム、およびレーザ変位センサ（プロファイラ）を含んでおり、かくして３Ｄカメラという用語は広く、これらのシステムおよびオブジェクトの２Ｄイメージと関連して高さ情報を生成する任意の他のシステムを含むものとして理解されねばならない。また、１台のカメラまたは複数台のカメラのアレイを備えることができ、「カメラ」および／または「カメラアセンブリ」という用語は、その場面（シーン）について所望の３Ｄイメージデータを生成する仕方でイメージ（または複数のイメージ）を取得する、１またはより多くのカメラを指すことができる。図示のカメラアセンブリ１１０は、チェックポイントまたは検査ステーションのようにしてコンベア１３０の表面を覆うように設けられるものとして示されており、流れているオブジェクトが通過するに際してそれらをイメージングする。この実施形態においては、カメラアセンブリ１１０は光学軸ＯＡを規定しており、これはコンベア１３０の表面に対してほぼ垂直（ｚ軸に沿う）である。コンベア表面に対する軸ＯＡについては、他の非垂直な方向も、明示的に考察されている。コンベアの動作速度およびカメラのイメージセンサＳおよび関連する電子部品１１０の取得時間に応じて（部分的にはフレームレートおよびアパーチャ設定に応じて）、オブジェクト１２０は運動状態のまま（典型的には）であることができ、またはイメージングのために一瞬停止することができる。カメラ１１０はオブジェクト１２０が十分にＦＯＶ内にあると３Ｄイメージを取得するが、これは光検出器または他のトリガー機構１３６によってトリガー可能であり、トリガー信号がカメラ１１０および関連するプロセッサ（または複数のプロセッサ）に送られる。かくして、この実施形態におけるカメラアセンブリ１１０は、エリアスキャンセンサとして配置されている。

【0022】

カメラアセンブリ１１０は、３Ｄイメージデータ１３４を生成するよう適合されたイメージセンサＳを含んでいる。カメラアセンブリはまた、（任意選択的に）一体的な照明アセンブリＩ、例えば軸ＯＡに関して予測可能な方向において光を照射するＬＥＤのリング状照明器を含んでいる。代替的な構成においては、外部照明（図示せず）を備えることができる。適切な光学パッケージＯが、軸ＯＡに沿ってセンサＳと光学的に通信するものとして示されている。センサＳは、イメージデータ１３４をカメラ１１０から受け取り、本願のシステムおよび方法に従ってデータに対して種々のビジョンシステムタスクを行う、内部および／または外部のビジョンシステムプロセス（プロセッサ）１４０と通信している。プロセス（プロセッサ）１４０は、１組のビジョンシステムツール１４２などの、基礎となるプロセス／プロセッサまたは機能モジュールを含んでおり、これは限定するものではないが、エッジ検出器、ブロブツール、パターン認識ツール、ディープラーニングネットワーク、ＩＤ（例えばバーコード）検知器およびデコーダ、その他を含む、イメージデータ中の特徴を識別し分析する種々の標準ツールおよびカスタムツールを含むことできる。ビジョンシステムプロセス（プロセッサ）１４０はさらに、このシステムおよび方法にしたがってディメンショニングプロセス（プロセッサ）１４４を含むことができる。このプロセス（プロセッサ）１４４は、３Ｄイメージデータ中で識別された特徴について種々の分析および測定タスクを行って、特定の特徴の存在を判定し、さらなる結果をそこから計算することができる。例示的な実施形態によれば、プロセス（プロセッサ）はさまざまな従来のおよびカスタムの（例えば３Ｄ）ビジョンシステムツール１４２とインタフェースする。

【0023】

システムの設定および結果の表示は、サーバ（例えばクラウドベースまたはローカルなサーバ）、ＰＣ、ノート、タブレットおよび／またはスマートフォンのような、別個のコンピューティングデバイス１５０によって取り扱うことができる。コンピューティングデバイス１５０は、従来のディスプレイまたはタッチスクリーン１５２、キーボード１５４およびマウス１５６と共に（非限定的な例として）描かれており、これらは集合的にグラフィカルなユーザーインタフェース（ＧＵＩ）機能を提供する。デバイス１５０の代替的な実施態様においては、種々のインタフェースデバイスおよび／またはフォームファクタを備えることができる。本願の例示的な構成によれば、ＧＵＩは部分的に、デバイスのオペレーティングシステム上に存在してプロセス（プロセッサ）１４０からの制御情報およびデータ情報と共にウェブページを表示する、ウェブブラウザアプリケーションによって駆動されることができる。

【0024】

プロセス（プロセッサ）１４０はカメラアセンブリ１１０のハウジングに完全にまたは部分的にオンボード搭載可能であり、種々のプロセスモジュール／ツール１４２および１４４は、オンボードプロセス（プロセッサ）１４０または遠隔のコンピューティングデバイス１５０のいずれかにおいて適宜、全体的または部分的にインスタンス化することができることに留意すべきである。例示的な実施形態においては、すべてのビジョンシステムおよびインタフェース機能をオンボードプロセス（プロセッサ）１４０上でインスタンス化することができ、そしてコンピューティングデバイス１５０は主に、オンボードプロセス（プロセッサ）１４０によって生成され有線または無線ネットワークリンクを介してコンピューティングデバイスに伝達される、インタフェースウェブページ（例えばＨＴＭＬ）についてのトレーニング、モニタリングおよび関連動作について用いられることができる。代替的には、プロセス（プロセッサ）１４０の全部または一部はコンピューティングデバイス１５０内に存在することができる。プロセッサによる分析結果は、下流にある利用デバイスまたはプロセス１６０に伝達可能である。こうしたデバイス／プロセスは、結果１６２を使用してオブジェクト／パッケージを操作することができ、例えば分析された特徴に基づいてコンベア１３０をゲーティングしてオブジェクトを異なる宛先に差し向け、および／または欠陥のあるオブジェクトを拒絶することができる。

【0025】

カメラアセンブリは、工場および／または現場の較正手順によって確立され、画像化されたピクセルのｘ、ｙおよびｚ座標軸をカメラの座標空間にマッピングする、オンボード較正データを含んでいる。この較正データ１７０はプロセッサに提供され、イメージデータの分析に使用される。また、例示的な実施形態においては、コンベアおよび／またはその駆動機構（例えばステッピングモータ）は、エンコーダまたは他の運動追跡機構１８０を含んでいて、相対的な運動データ１８２がプロセッサ１４０に報告される。運動データは種々の仕方、例えばそれぞれがコンベアの移動について所定の増分を規定する、距離に基づくパルスで伝達することができる。パルスを合計することにより、所定期間内における移動の合計を決定することができる。

【0026】

留意すべきであるが、本願で使用するところでは、「コンベア」という用語は広く、オブジェクトがＦＯＶを別の技術、例えば手動操作によって通過される構成を含むものとして理解されねばならない。かくして「エンコーダ」は、本願で規定するところでは、ステッパー、マーク読み取り装置および／またはＦＯＶを介して通過するにつれてコンベアまたはオブジェクト上の特徴または基準を追跡するデバイスを含む、任意の許容可能な運動測定／追跡デバイスであることができ、これにはイメージのスナップショット相互間の動きの程度を判定するために、基礎となるビジョンシステムアプリケーションの知識（例えばイメージ中の特徴についての）を使用する種々の内部技術が含まれる。

【0027】

ＩＩ．ディメンショニングプロセス（プロセッサ）

【0028】

Ａ．設定

【0029】

図２は、運動方向１３２においてＦＯＶよりも長いオブジェクトをイメージングするよう適合されている構成２００の設定を示している。カメラアセンブリ１１０は、そうしたオブジェクトのための検査ステーションをなすコンベア１３０の一部を覆うように示されている。コンベア１３０は、トリガーイベント（事象）の各々についてリセット可能なエンコーダカウント２１０を伝達し、トリガーイベントにおいてコンベア１３０は、３Ｄカメラアセンブリの領域に描かれる。トリガーは（この場合にはトリガー状態２２０はネガティブであり、赤色その他のカラー／シェードインジケータが点群の陰影によって表されている）、上述した存在検出器１３６（図１）と整列しているトリガー平面２３０をオブジェクトが通過するごとに発せられる。３ＤのＦＯＶは、カメラの軸ＯＡに沿ってコンベア１３０の表面から、軸ＯＡの両側において上方へと延びる、使用可能な関心領域（ＲＯＩ）２５０を画定している。この例においてＲＯＩは、予想されるオブジェクトの最大高さに基づいてユーザーによって定義可能な、使用可能な高さを規定している。ＲＯＩ２５０の上部２５４がＦＯＶの前部境界ＢＦおよび後部境界ＢＲのそれぞれと交わる点２５６および２５８は、運動方向１３２（ｙ軸）における使用可能なＲＯＩの長さＬＲを実質的に規定している。したがって、ＲＯＩの最大高さＨＲが高ければ、長さＬＲは短くなる。

【0030】

Ｂ．オブジェクトのサイズの推測およびトリガー／エンコーダのロジック

【0031】

使用可能なＲＯＩを画定したならば、プロセッサは、長さＬＲに到達するためにコンベアが何パルス分移動するかを判定する。図３を参照すると、システムはオブジェクト１２０のサイズ（長さ）を推測するための実行時モードで動作しているところが示されており、オブジェクトはその前端３１０がトリガー平面２３０に到達する状態で描かれている。後端３２０は、使用可能なＲＯＩ２５０の後部境界３４０の外側にある。この時点において、３Ｄカメラアセンブリはトリガーされてオブジェクトの第１のイメージ（スナップショット）を取得し、そしてエンコーダカウント３３０はプロセッサ内でゼロに設定される。スナップショットは分析されて、オブジェクトの後端がＲＯＩ内に存在するかどうかが判定される（ビジョンシステムツール、高さの変化、その他を使用して）。オブジェクト１２０が１つのＲＯＩ２５０内で終端する場合には、そのスナップショットはそのオブジェクトについての完全な３Ｄイメージであるとして報告され、そしてシステムは次のオブジェクト／トリガーを待ち受ける。逆に、オブジェクト１２０が使用可能なＲＯＩ内で終端しないように見える場合（例えばＲＯＩ２５０の後部境界３４０内でオブジェクトの幾何学形状に実質的な変化がない）、すなわち図３における場合には、システムは第１のイメージを記憶し、ＲＯＩ長さ（ＬＲ）１つ分（またはこの長さＬＲの既知の割合）のエンコーダパルスをカウントする。このカウントは図４において参照されており、そこではオブジェクトの後端３２０は、使用可能なＲＯＩ２５０内へと通過してきたところである（後部ＲＯＩ境界３４０を過ぎて）。この時点（図４に示された）において、ＲＯＩ長さＬＲ１つ分のパルスがカウントされている。この例においては、パルスカウント４３０は３００ｍｍである。この長さは長さＬＲに等しいか、または短い。以下で説明するように、スナップショットイメージ相互の重なりが望ましい場合には、このパルスカウントは長さＬＲよりも短いことができる。それによって、イメージの縁部における詳細が失われないことを確保できる。図４に示されているように、オブジェクトがトリガー平面２３０に存在していることから、トリガー状態４２０はまたこの段階ではポジティブである（緑色または別のカラー／シェードによって表され、ハッチングの陰影によって表されている）。これらの事象の論理的な組み合わせ（ポジティブなトリガー状態およびエンコーダの全カウント）はカメラアセンブリをトリガーして、オブジェクト１２０の第２のスナップショットが取得される。この第２のスナップショットはまた、第１のスナップショットからのオブジェクトと関連して記憶される。

【0032】

システムは第２のスナップショットを分析して、オブジェクト１２０の後端３２０がそのとき後部ＲＯＩ境界３４０より下流に存在するかどうかを判定する。存在するならば、そのときオブジェクトの全長がイメージングされたことになり、そして２つのスナップショットは、以下でさらに説明するように組み合わせて処理可能である。オブジェクトの後端が第２のスナップショットのＲＯＩ内に存在しない場合には、エンコーダカウントはリセットされ、オブジェクトが引き続き存在していることからトリガー状態４２０は高レベルに保たれ、そしてシステムは次のＲＯＩ長さＬＲに到達するまでカウントを行う。さらに別のスナップショットが取られ、オブジェクトの後端が最終的にＲＯＩ２５０内部で検出されるｎ番目のスナップショットまで、上記の工程が繰り返される。この時点においてはオブジェクトがＦＯＶから外へと完全に通過しているためトリガー状態は低レベルになり、そしてイメージングの結果が伝達される。スナップショットイメージ相互間の重なりのために、時には特別な場合が存在するが、それらは個別のイメージ取得相互の間でエンコーダカウントを評価することによって対処することができる。先行するスナップショットがオブジェクトの縁部をイメージングして寸法を報告したが、トリガー状態が依然として高レベル（ポジティブ）であり、そして新たなスナップショットが取られる場合、そしてこの場合において現在のスナップショットについてのエンコーダカウントがＲＯＩの長さに等しい場合には、新たなスナップショットは捨てられ、寸法の報告は行われない。これが行われるのは、それがスナップショットイメージ相互間の重なりだけによって生じた、余分な／未使用のスナップショットだからである。一般には以下で説明するように、１つのオブジェクトイメージに関連して全部のスナップショットを組み合わせて処理することができる。

【0033】

Ｃ．複雑なおよび／または多重のオブジェクト

【0034】

実行時動作のいくつかの実施形態においては、オブジェクトは複雑な３Ｄ形状を呈しうる。図５を参照すると、上部表面に沿って異なる高さ５２２および／または張り出し（遮蔽）特徴５２５を備えたオブジェクト５２０が、トリガー平面２３０に到達するところが示されている。この時点において、トリガー状態５４０はポジティブ（緑色であり、ハッチングの陰影によって表されている）となり、そしてエンコーダカウント５３０は０から開始される。しかしながら、オブジェクトのこの複雑な形状は、３Ｄイメージデータの喪失を招来したり、またはオブジェクトの後端５２６－この例においては第１のスナップショットがカメラアセンブリ１１０によって取得されたときにまだ使用可能なＲＯＩ２５０の外側に位置している－の実際の位置について、ビジョンシステムプロセッサを混乱させる場合がある。図６の手順６００をも参照すると、オブジェクトは最初にカメラアセンブリをトリガーして、３Ｄスナップショットをステップ６１０において取得する。この最初のイメージには、単一の（単純なまたは複雑な形状の）オブジェクトまたは複数のオブジェクトが存在する可能性がある。ビジョンシステムはイメージを分析し、典型的にはコンベア表面（基準線）まで延びる境界部分および分離された境界部分の間のギャップを探すことによって、複数のオブジェクトが検出されたかどうかを判定する。２つの物が検出されない場合には、ビジョンシステムはそのオブジェクトを単一の物として取り扱う（判定ステップ６２０）。逆に、２つまたはより多くのオブジェクトが検出される場合には、手順６００の判定ステップ６２０はさらなる判定ステップ６３０に分岐し、そこにおいてギャップ（または複数のギャップ）が分析されて、ギャップ（または複数のギャップ）が最小距離よりも小さいかどうかが判定される（カメラの較正データおよび在来の測定技術を使用して判定される）。ギャップが最小距離－ユーザーによって設定、または自動的に設定される－よりも大きい場合には、システムはイメージ中に複数の物があることを示す（ステップ６４０）。２つの物について最小ギャップ距離よりも大きな場合（ステップ６４０）、または単一の物の場合（判定ステップ６２０）について、手順６００は判定ステップ６５０に分岐し、そこにおいてビジョンシステムは、すべてのオブジェクト端部がイメージ内にありトリガー状態がネガティブとなったかどうかを判定する。そうであった場合、手順６００はステップ６６０に分岐し、そこにおいてはイメージングの結果が出力されてエンコーダがリセットされ、次のオブジェクト／トリガーが生ずるのを待ち受ける。逆に、現在の（最初の）イメージの後にトリガー状態がネガティブとなっておらず、オブジェクト（または複数のオブジェクト）の後端がＦＯＶの外側に残っている場合には、判定ステップ６５０はステップ６７０に分岐し、そこにおいてカメラアセンブリはエンコーダパルスをカウントし、ＦＯＶの別のスナップショットを取得する。これはトリガー状態がネガティブとなりオブジェクトの後端が検出されるまで続けられる。

【0035】

判定ステップ６３０を再度参照すると、ギャップが存在するが最小距離未満である場合には、手順６００はイメージが単一のオブジェクトを含んでおり、ギャップはイメージングされたオブジェクト中の３Ｄデータが欠如または喪失した結果であると推定する。かくしてオブジェクトは単一の物であるかのように取り扱われ、判定ステップはさらなる判定ステップ６５０（上述した）に分岐し、そこにおいてはイメージ中でのオブジェクト後端の存在または欠如が次のステップを決定する。留意すべきであるが、欠如または喪失した３Ｄイメージデータを予測および提供するための１つの技術は、２０２０年２月１０日に出願され本出願人に譲渡された「複合３次元ブロブツールおよびその動作方法」と題する同時係属中の米国仮出願第６２／９７２，１１４に記載されており、その教示はここで参照を行うことによって、有用な背景情報として取り入れられる。こうしたブロブツールはイメージング結果の生成において、さらなる利用手順に伝達するために使用可能である。

【0036】

Ｄ．イメージデータのトラッキングおよび結果の重なり（オーバーラップ）

【0037】

図７を参照すると、長いオブジェクトの存在下において（例えば）３つの連続的なイメージ取得により構成された、コンベアベルト７２０を連続的に上から下に見た（ｘ－ｙ平面）図７１０が示されている。オブジェクト全体の３つの取得されたイメージ７３０、７３２および７３４が順次示されている。特にエンコーダカウントは、第１の所定のオーバーラップ距離Ｄ１がイメージ７３０および７３２の第１の対の間に存在し、そして第２の所定のオーバーラップ距離Ｄ２がイメージ７３２および７３４の第２の対の間に存在するように設定されている。オブジェクトイメージ相互間にオーバーラップ距離を用いると、取得されたオブジェクトの特徴が３ＤのＲＯＩの縁部において不注意で失われたり不明瞭になったりしないことが確実になる。図８を参照して以下で記載するように、ビジョンシステムはオーバーラップ領域を適切に除去または合わせて、実際のオブジェクト寸法および特徴を計算することができる。留意すべきであるが、オブジェクトの取得イメージは一般に、形状の境界を導くために用いられる関連する頂点を備えた１またはより多くの多角形を規定していることから、本願で使用する用語「特徴」は、「頂点」という用語を含むものとして理解されるべきであり、またはそれと互換的に使用可能である。

【0038】

動作時において、図８の手順８００はステップ８１０において、上述したような仕方において３Ｄイメージを取得するところから開始される。すなわちトリガーが発生され、エンコーダはＦＯＶを通過するオブジェクトの運動をカウントするように設定される。カウントが次のイメージとのオーバーラップを許容する距離値に達した後、ステップ８２０においてカウントはリセットされ、そしてシステムはそれが最後のイメージ－オブジェクトの後端がＲＯＩにある－かどうかを判定する。最後でない場合（判定ステップ８３０経由で）、手順８００は分岐してステップ８１０に戻り、別の重なりイメージが取得される。イメージが一連のイメージ中の最後のイメージである場合には、手順８００はステップ８４０に分岐し（判定ステップ８３０経由で）、そこにおいては一連の３Ｄイメージ（オブジェクト全体の中のセグメント）がディメンショニングプロセス（プロセッサ）および関連ツールに伝達されてオブジェクトの寸法が判定され、そして（任意選択的に）特徴が解像される。エンコーダにより確立された距離をイメージピクセルの位置に対して用いることにより、オブジェクトのそれぞれのセグメントのｘ－ｙ位置および境界を画定するボックスの高さがステップ８５０においてマッピングされる。次いでこのマッピングに基づいて、オーバーラップ（セグメント相互間の所与の既知のエンコーダ距離を構成する）が除かれて、実際のオブジェクト長さが計算される。得られたデータは特徴データの集まりとして規定することができ、それは個別の形状からのデータを効率的に組み合わせて、組み合わせたオブジェクトの実際のイメージの不存在下に（なしに）、オブジェクトの全体像または特徴付けを確立する。結果として得られるこの特徴データの集まりはまた、（例えば）オブジェクト全体の最大の幅および高さ、ならびに搬送移動方向に対するその相対角度を決定するために使用可能である。この情報は特に、オブジェクト（例えばパッケージ）の適切な取扱を確実にするための物流管理のような、種々の利用プロセスにおいて有用である。

【0039】

留意すべきであるが、本願のシステムおよび方法により明示的に考察されているところでは、実際の全体的な（合成または縫い合わせ）イメージを個別のイメージ取得（スナップショット）から生成することは任意選択的である。特徴データの集まりは、Ｎ×Ｍピクセルに基づく全体イメージの生成とは独立して使用することができ、オブジェクトの寸法および／または以下に記載する他のプロセスを決定するのに使用される適切な結果をもたらす。全体的なイメージは、さらなるプロセスにおいて生成および使用可能であり、および／または所望とされる場合に、イメージングされたオブジェクトの全部または一部の視覚的な記録を提供する。

【0040】

Ｅ．結果物の適用

【0041】

上記に説明した動作から結果的に得られた特徴データ（および／または頂点に関するデータ）の集まりは、限定するものではないが、異なるサイズおよび形状のパッケージ（荷物）の流れを含む、イメージングされたオブジェクトに関する種々のタスクおよび機能に対して適用可能であることが考察されている。特に本願におけるプロセスは、（例えば）移動方向および／または周囲の支持表面の境界に対するオブジェクト／パッケージの斜行角度を判定するために使用可能である。本願の特徴データの集まりを使用して識別および測定可能な１つの可能性のある事項は、コンベアの移動方向（および平行な側縁部）または他の支持表面に対する、オブジェクトの斜行角度である。幅の狭いシュート、ゲートまたは他の遷移箇所において詰まりを生ずる可能性があることに加えて、斜行のデータはオブジェクトがその正規の通常の寸法よりも長く表れるようにし、システムが誤って欠陥を生ずるようにする可能性がある。斜行角度のデータは、修正動作（すなわち誤った欠陥を無視し、またはオブジェクトを真っ直ぐにする）が行われ得るように用いられねばならない。特に、斜行角度の情報（および／または他の測定された特性）は、下流における種々の動作において使用するために、結果（特徴データの集まり）に対して適用されるメタデータタグの一部であることができる。他の関連する特徴データには、長さ制限外、幅制限外、高さ制限外、および／または容積制限外の値が含まれうるものであり、これらはオブジェクトがパラメータの限度に対して長過ぎたり、幅広過ぎたり、高過ぎたり、または容積があり過ぎたりすることを示す。さらに関連するデータは、限定するものではないが、以下に関するものであることができる：
（ａ）信頼性スコア、これはオブジェクトの形状または受け取ったデータの品質のいずれかの情報を与えることができる；
（ｂ）液体容積、これはオブジェクトの形状または真の（最小の立方体ではなく）容積の情報を与えることができる；
（ｃ）分類、これはオブジェクトの表面形状が平坦かそうでないかの情報を与えることができる；
（ｄ）どの程度の表示／画像化が予想されるかに対する表示／画像化されたデータの量（ＱＴＹ）；
（ｅ）位置的特徴（例えば角部、重心、コンベアベルトの縁部のような基準からの距離）；および／または
（ｆ）損傷の検出（例えば予想された形状に対して実際に画像化された形状に基づく膨出／陥没したパッケージの存在。

【0042】

特徴データの集まりの使用は、組み合わせオブジェクトについてより詳細な画素ベースのイメージデータを含める必要性を一般的に回避し、それによってオブジェクトに関して追加的なプロセスを実行することを可能にする。そうした特徴データの集まりを取り扱い操作するにあたっては、データの全体的なサイズの故に、より迅速な処理とプロセッサのオーバーヘッドをより少なくすることが可能になる。幾つかの例示的なタスクには、倉庫における処理の自動化－例えばサイズおよび／または形状が一致しないオブジェクトを排除および／または転送する－を含むことができる。かくしてオブジェクトを逸らすようなデータを使用することは、サーバーが、サイズが大き過ぎるオブジェクトがシュートまたはコンベアの曲がり部分で詰まるようになるのを回避可能とする。同様に、本願のシステムおよび方法によって導かれた特徴データの集まりは、オブジェクトの位置が正確であることを確実にするように、自動化されたラベル貼付プロセスを支援することができる。また上述したように、斜行情報は、誤った欠陥状態を回避し、および／またはシステムまたはユーザーがコンベアの流れの中でオブジェクトを正しい位置にすることを許容し、かくして軽い詰まり状態を回避するように使用することができる。データに依存する他のオブジェクト／パッケージ取り扱いタスクは、当業者に明らかな仕方において、このデータを用いることができる。

【0043】

ＩＩＩ．結び

【0044】

これまでに説明したシステムおよび方法は、コンベアの移動方向に沿った３ＤエリアスキャンセンサのＦＯＶ内に完全には適合しない、サイズの大き過ぎるオブジェクトの長さを判定するための、効率的で信頼性のある堅牢な技術を提供することが明らかであろう。このシステムおよび方法は、従来のエンコーダデータおよび検出器のトリガーを使用してオブジェクトの寸法の正確なセットを生成し、そして複雑な形状および／または複数のオブジェクトがコンベアの流れの中に存在することに起因して３Ｄデータが喪失または欠如している場合にも動作可能である。

【0045】

以上は本発明の例示的な実施形態の詳細な説明である。本発明の思想および範囲から逸脱することなしに、種々の変更および追加を行うことができる。上述した種々の実施形態のそれぞれの特徴は、新たな実施形態に関連する数多くの特徴の組み合わせをもたらすために、説明した他の実施形態の特徴と適宜組み合わせてよい。さらにまた、以上においては本発明の装置および方法の幾つもの別々の実施形態を説明しているが、本願において説明したところのものは、本発明の原理の適用の例示的な説明に過ぎない。例えば本願において使用するところでは、「プロセス」および／または「プロセッサ」という用語は広く、種々の電子的ハードウェアおよび／またはソフトウェアを基礎とする機能および部品を含むように理解されるべきである（また代替的には機能性「モジュール」または「要素」と呼ぶことができる）。さらに、描写されたプロセスまたはプロセッサは他のプロセスおよび／またはプロセッサと組み合わせることができ、または種々の部分的なプロセスまたはプロセッサへと分割することができる。そうした部分的なプロセスおよび／または部分的なプロセッサは、本願の実施形態にしたがってさまざまに組み合わせることができる。同様にして、本願における任意の機能、プロセスおよび／またはプロセッサは、電子的ハードウェア、プログラム命令の非一時的なコンピュータ可読媒体からなるソフトウェア、またはハードウェアとソフトウェアの組み合わせを使用して実施可能であることが、明示的に考察されている。加えて、本願において使用するところでは、「垂直」、「水平」、「上方」、「下方」、「下部」、「上部」、「側部」、「前部」、「後部」、「左側」、「右側」その他のような種々の方向および配置に関する用語は、重力の作用方向のような固定された座標空間に関する絶対的な方向／配置ではなく、相対的な規則としてのみ使用されている。加えて、与えられた測定値、値または特性に関して「実質的」または「大体」という用語が用いられる場合、それは所望の結果を達成するための通常の動作範囲内にある量を指しているが、システムの許容範囲内にある固有の不確かさおよび誤差に起因する幾らかの変動（例えば１－５パーセント）を含んでいる。したがって、本願の記載は例示としてのみ理解されることを意図しており、本発明の範囲を別様に制限することを意図したものではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】