特開 2024-69286 複合三次元ブロブツール及び複合三次元ブロブツールを動作させるための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024069286

(43)【公開日】2024-05-21

(54)【発明の名称】複合三次元ブロブツール及び複合三次元ブロブツールを動作させるための方法

(51)【国際特許分類】

   G01B 11/02 20060101AFI20240514BHJP

   G06T 7/50 20170101ALI20240514BHJP

【ＦＩ】

G01B11/02 H

G06T7/50

【審査請求】有

【請求項の数】19

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024031908

(22)【出願日】2024-03-04

(62)【分割の表示】P 2022548144の分割

【原出願日】2021-02-10

(31)【優先権主張番号】62/972,114

(32)【優先日】2020-02-10

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】504382671

【氏名又は名称】コグネックス・コーポレイション

(74)【代理人】

【識別番号】100087642

【弁理士】

【氏名又は名称】古谷 聡

(74)【代理人】

【識別番号】100082946

【弁理士】

【氏名又は名称】大西 昭広

(74)【代理人】

【識別番号】100195693

【弁理士】

【氏名又は名称】細井 玲

(72)【発明者】

【氏名】リュウ，ギャン

(72)【発明者】

【氏名】ケアリー，ベン，アール

(72)【発明者】

【氏名】ミュラン，ニコラス，ジェイ

(72)【発明者】

【氏名】スピアー，キャレブ

(72)【発明者】

【氏名】パレット，アンドリュー

(57)【要約】      （修正有）

【課題】イメージデータが失われる可能性が高い複雑な物体の３Ｄイメージングを実行するシステム及び方法を提供する。
【解決手段】方法は、視野（ＦＯＶ）内の物体（単数）の又は物体のグループの１つ又は複数の３Ｄイメージを取得し、興味のある領域においてイメージデータの欠如する領域を識別し、興味のある領域（単数または複数）においてイメージデータの欠如を有する領域を識別し、接触している全てのデータ及び全ての非データを結び付け、興味のある領域における境界ボックスの位置を求め、物体がの体のＦＯＶにおける様々な高さにおけるＦＯＶの各ポイント（点）の照明器からカメラに戻る光線の経路を把握し、ＦＯＶ内の境界ボックス内の各ポイントに関する高さデータ及び境界ボックスの位置に基づいて、対象物のイメージデータから影を取り除くために境界ボックスに戻って洗練化し、洗練されたイメージデータとして下流の利用プロセスに送る。
【選択図】図９

【特許請求の範囲】

【請求項1】

３Ｄカメラアセンブリを用いて物体から取得された３Ｄイメージデータを受け取る、プロセッサを有する視覚システム用の複合３Ｄブロブツールであって、
前記取得された３Ｄイメージデータにおいて正の３Ｄイメージデータ及び負の３Ｄイメージデータを識別し、ｚ寸法の高さ情報を規定する、前記取得された３Ｄイメージデータからの前記正の３Ｄイメージデータと前記取得された３Ｄイメージデータからの前記負の３Ｄイメージデータを組合わせて、それにより少なくとも１つの結び付けられた物体を画定する、前記プロセッサによりアクセス可能なコンピュータメモリに格納されたブロブツールプロセスを含み、
前記取得された３Ｄイメージデータからの前記負の３Ｄイメージデータは、前記物体に関するデータの欠如および前記物体に関する影を規定する直交ｘ－ｙ寸法を有する前記取得された３Ｄイメージデータの領域を少なくとも部分的に含み、
前記ｚ寸法の高さ情報は、（１）前記３Ｄカメラアセンブリと関連した且つ前記３Ｄカメラアセンブリのイメージセンサにより受け取られる照明の所定の投影角度、及び（２）前記イメージセンサの視野内の前記物体の場所、に基づいて、前記物体のｘ－ｙ寸法を洗練化するために使用され、その結果、前記物体に対する前記影の寄与が、前記物体の洗練化されたｘ－ｙ寸法に基づいて変更される、複合３Ｄブロブツール。

【請求項2】

前記ブロブツールプロセスは、前記３Ｄカメラアセンブリの校正情報に基づいて、前記取得された３Ｄイメージデータの空間的意味に関して前記結び付けられた物体を分析する、請求項１に記載の複合３Ｄブロブツール。

【請求項3】

前記物体は、（ａ）ほぼ同様の高さからなる上部をそれぞれ有する複数の並んだ物体の、又は（ｂ）複数の異なる高さをそれぞれ画定する上面を有する１つ又は複数の物体の、少なくとも１つを含む、請求項１に記載の複合３Ｄブロブツール。

【請求項4】

前記３Ｄカメラアセンブリは、ステレオカメラ、構造化照明ベースのカメラ、飛行時間型カメラ、又はプロファイラーの少なくとも１つを含む、請求項１に記載の複合３Ｄブロブツール。

【請求項5】

前記影および前記正の３Ｄイメージデータは、前記影および基準表面の上にある前記正の３Ｄイメージデータの双方を含む境界ボックスを画定する、請求項１に記載の複合３Ｄブロブツール。

【請求項6】

前記基準表面は、前記物体があるコンベヤの表面を画定する、請求項５に記載の複合３Ｄブロブツール。

【請求項7】

前記物体は、パッケージであり、前記３Ｄブロブツールの結果は、前記物体の特徴に基づいて、複数の異なる宛先の１つへ前記物体を送る前記コンベヤのゲート制御アセンブリに提供される、請求項６に記載の複合３Ｄブロブツール。

【請求項8】

プロセッサを有する視覚システム用の３Ｄブロブツールを動作させるための方法であって、前記プロセッサが前記３Ｄブロブツールを実行するものにおいて、前記方法は、以下のステップ、即ち
３Ｄカメラアセンブリを用いて取得された物体の３Ｄイメージデータを準備し、
前記取得された３Ｄイメージデータにおいて正の３Ｄイメージデータ及び負の３Ｄイメージデータを識別して、前記正の３Ｄイメージデータと前記負の３Ｄイメージデータを組合わせ、
前記組合わせたイメージデータに基づいて少なくとも１つの結び付けられた物体を画定し、前記３Ｄカメラの校正情報に基づいて、前記取得された３Ｄイメージデータの空間的意味に関して前記結び付けられた物体を分析し、
前記正の３Ｄイメージデータは、ｚ寸法の高さ情報を規定し、前記取得された３Ｄイメージデータにおける前記負の３Ｄイメージデータは、前記物体に関するデータの欠如および前記物体に関する影を規定する、直交ｘ－ｙ寸法を有する前記取得された３Ｄイメージデータの領域を少なくとも部分的に含み、
前記物体に対する前記影の寄与を取り除くように、前記ｚ寸法の高さ情報を用いて、並びに前記３Ｄカメラアセンブリと関連し且つ前記３Ｄカメラアセンブリのイメージセンサにより受け取られる照明の所定の投影角度、及び視野内の前記物体の場所に基づいて、前記物体のｘ－ｙ寸法を洗練化すること、を含む、方法。

【請求項9】

前記物体は、（ａ）ほぼ同様の高さからなる上部をそれぞれ有する複数の並んだ物体の、又は（ｂ）複数の異なる高さをそれぞれ画定する上面をそれぞれ有する１つ又は複数の物体の、少なくとも１つを含む、請求項８に記載の方法。

【請求項10】

前記３Ｄカメラアセンブリは、ステレオカメラ、構造化照明ベースのカメラ、飛行時間型カメラ、又はプロファイラーの少なくとも１つを含む、請求項８に記載の方法。

【請求項11】

前記影および前記正の３Ｄイメージデータを用いて、前記影および基準表面の上にある前記正の３Ｄイメージデータの双方を含む境界ボックスを画定することを更に含む、請求項８に記載の方法。

【請求項12】

前記基準表面は、前記物体があるコンベヤの表面を画定する、請求項１１に記載の方法。

【請求項13】

前記物体は、パッケージであり、前記物体の特徴に基づいて、複数の異なる宛先の１つへ前記物体を送るように前記コンベヤをゲート制御することを更に含む、請求項１２に記載の方法。

【請求項14】

前記物体の欠陥を識別し、前記物体を不合格の宛先へ送るように前記コンベヤをゲート制御することを更に含む、請求項１３に記載の方法。

【請求項15】

前記物体に関する影の一部は、前記取得された３Ｄイメージデータにおける前記物体の正のｚ寸法の高さ情報の少なくとも一部を規定する、請求項８に記載の方法。

【請求項16】

前記物体に関する影の一部は、前記取得された３Ｄイメージデータにおける前記物体の正のｚ寸法の高さ情報の少なくとも一部を規定する、請求項１に記載の複合３Ｄブロブツール。

【請求項17】

プロセッサを用いて、取得された３Ｄイメージデータセットにおいて、１つ又は複数の物体のｚ寸法の高さ情報を規定する、前記取得された３Ｄイメージデータセットの第１のサブセット、並びに前記１つ又は複数の物体の第１の物体に関するデータの欠如、及び前記第１の物体のｚ寸法の高さ情報の少なくとも一部を画定する影を規定する、直交ｘ－ｙ寸法を有する前記取得された３Ｄイメージデータセットの領域を画定する前記取得された３Ｄイメージデータセットの第２のサブセットを識別し、
前記プロセッサを用いて、（i）正の３Ｄイメージデータにより規定される前記ｚ寸法の高さ情報、（ii）３Ｄカメラアセンブリのイメージセンサにより受け取られた、前記３Ｄカメラアセンブリと関連した照明の所定の投影角度、（iii）前記１つ又は複数の物体のｘ－ｙ寸法に対する前記影の寄与、及び（iv）前記取得された３Ｄイメージデータセットにおける前記３Ｄカメラアセンブリの視野内の前記１つ又は複数の物体の場所に基づいて、前記取得された３Ｄイメージデータセットにおける前記１つ又は複数の物体のｘ－ｙ寸法を洗練化すること、を含む、方法。

【請求項18】

前記プロセッサは、前記３Ｄイメージデータセットの前記第１のサブセット及び前記第２のサブセット、及び前記３Ｄカメラアセンブリの校正情報を含む、結び付けられた物体の分析に基づいて、前記取得された３Ｄイメージデータセットの空間的意味を判断する、請求項１７に記載の方法。

【請求項19】

前記１つ又は複数の物体の少なくとも１つの物体は、パッケージであり、前記１つ又は複数の物体のｘ－ｙ寸法の洗練化の結果は、前記パッケージの特徴に基づいて、複数の異なる宛先の１つへ前記パッケージを送るコンベヤのゲート制御アセンブリに提供される、請求項１７に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、三次元（３Ｄ）空間において物体を解析（分析）する機械視覚システムに関し、より具体的には、複雑な形状を有する物体を解析するためのシステム及び方法に関する。

【背景技術】

【0002】

物体の測定、検査、位置合わせ、及び／又はコード（例えば、バーコード（「識別コード」とも呼ばれる））の復号を行う機械視覚システム（本明細書において「視覚システム」とも呼ばれる）は、広範囲の応用形態および産業で使用される。これらシステムは、対象物または物体のイメージ（一般に、グレースケール又はカラー、及び一次元、二次元または三次元において）を取得するイメージセンサの使用に基づいており、オンボード又は相互接続された視覚システムのプロセッサを用いて、これら取得されたイメージを処理する。プロセッサは一般に、イメージの処理された情報に基づいて所望の出力を生成するように１つ又は複数の視覚システムのプロセス（処理）を実行する処理ハードウェア及び持続性コンピュータ可読プログラム命令の双方を含む。このイメージ情報は一般に、イメージピクセルのアレイ内に提供され、当該イメージピクセルのそれぞれは、様々な色および／または輝度を有する。

【0003】

上述されたように、１つ又は複数の視覚システムのカメラ（単数または複数）は、撮像されたシーンにおける物体の二次元（２Ｄ）又は三次元（３Ｄ）のイメージを取得するように構成され得る。２Ｄイメージは一般に、全体としてのＮ Ｘ Ｍイメージアレイ（カメラのイメージセンサのピクセルアレイにより定義されることが多い）内のｘ成分およびｙ成分を有するピクセルとして特徴付けられる。イメージが３Ｄで取得される場合、ｘ成分およびｙ成分に加えて、高さ成分またはｚ軸成分が存在する。３Ｄイメージデータは、立体カメラの三角測量、ＬｉＤＡＲ、飛行時間型センサ及び（例えば）レーザ変位プロファイリングを含む様々なメカニズム／技術を用いて取得され得る。

【0004】

類似した又は本質的に異なるアイテムの複雑な構成の測定を行う際に３Ｄカメラシステムで生じる典型的な問題は、イメージデータが、（例えば）グループに構成された物体間で失われる可能性があることである。例えば、典型的な複雑な物体は、水の入ったボトルの一包み（パック）であり、この場合、水の入ったボトルのキャップは、潜在的にボトルの寸法の半分以下である。３Ｄイメージセンサで観測される場合に、結果としてのイメージデータは一般に、イメージ高さの頂点（上部）で完全に露出されているキャップから導出される。しかしながら、キャップ間の（例えば、ボトルの、及びキャップ間の空間の）有用なイメージデータは、失われる。これは、照明における影、及び光線が照明器から物体へ進み、イメージセンサに戻る角度に起因する可能性がある。一般に、水の入ったボトル、鏡のような表面、又は特定の空間周波数の小さい特徴要素のような複雑な物体は、視覚システムにおいて３Ｄデータ収集（キャプチャ）の喪失を生じる可能性がある。水の入ったボトルの例において、キャップ／上部は一般に、３Ｄイメージデータの固体応答を提供するが、キャップを取り囲む領域は、普通は３Ｄイメージを生成する光フィードバックを濁らせるパッケージの水／プラスチック／ラップに起因して、使用可能なイメージデータを提供しない場合がある。

【0005】

発明の概要
本発明は、イメージデータが失われる可能性が高い複雑な物体の３Ｄイメージングを実行するシステム及び方法を提供することにより、従来技術の欠点を克服する。当該システム及び方法は、イメージデータの欠如／喪失と組合わせて、利用可能な３Ｄイメージデータを利用し、存在する／存在しないイメージデータのこの全体としてのセットを単一の物体とみなすことができ、それによりｘ寸法、ｙ寸法およびｚ寸法に関して、この単一の物体に関して正確に計算されることが可能になる。一般に、イメージデータの欠如／喪失は、本明細書のシステム及び方法により、単なるもう一つのタイプのデータと仮定され、正確な３Ｄイメージデータが対象物のイメージにおいて生成されるのを邪魔する或る物の存在を表わす。この仮定を用いて、イメージデータのセグメントは、存在しないデータの領域に結び付けられることができ、それにより最大の境界ボックスを生成することができる。背の高い複雑な物体の場合、この物体が生成する影（シャドー）も、負のデータ又は欠落しているデータとして表わされ得るが、物理的な物体の表現（表示）ではない。正のデータからの高さデータを用いて、その高さ、視野における場所、及びイメージを生成する光線の角度に基づいて、物体の影のサイズが推定されて、その結果から取り除かれて、より正確な３Ｄイメージの結果を提供する。

【0006】

例示的な実施形態において、複合３Ｄブロブツール及び複合３Ｄブロブツールを動作させるための方法が、視覚システムのために提供され得る。視覚システムは、３Ｄカメラアセンブリを用いて物体から取得された３Ｄイメージデータを受け取るプロセッサを有することができる。当該ツール及び関連した方法は、取得された３Ｄイメージデータにおいて正の３Ｄイメージデータ及び負の３Ｄイメージデータを識別し、ｚ寸法の高さ情報を定義する正の３Ｄイメージデータと負の３Ｄイメージデータを組合わせて、それにより少なくとも１つの結び付けられた物体を画定するブロブツールプロセスを含むことができる。負の３Ｄイメージデータは、物体に関するデータの欠如および物体に関する影を定義する直交ｘ－ｙ寸法を少なくとも部分的に含むことができる。ｚ寸法の高さ情報は、（１）３Ｄカメラアセンブリと関連した照明により投影されて３Ｄカメラアセンブリのイメージセンサにより受け取られた光線の角度の知識、及び（２）イメージセンサの視野内の物体の位置、に基づいて、物体のｘ－ｙ寸法を洗練するために使用されることができ、その結果、物体に対する影の寄与が、物体の洗練されたｘ－ｙ寸法に基づいて変更される。例示的に、ブロブツールプロセスは、３Ｄカメラアセンブリの校正情報に基づいて、取得された３Ｄイメージデータの空間的意味に関して、結び付けられた物体を分析することができる。物体は、（ａ）ほぼ同様の高さからなる上部をそれぞれ有する複数の並んだ物体の、及び（ｂ）複数の異なる高さをそれぞれ画定する上面を有する１つ又は複数の物体の、少なくとも１つを含むことができる。３Ｄカメラアセンブリは、ステレオカメラ、構造化照明ベースのカメラ、飛行時間型カメラ、及びプロファイラーの少なくとも１つを含むことができる。影および正の３Ｄイメージデータは、影および基準表面の上にある正の３Ｄイメージデータの双方を含む境界ボックスを画定することができる。例示的に、基準表面は、物体があるコンベヤ表面を画定することができる。物体は、パッケージであることができ、３Ｄブロブツールの結果は、物体の特徴に基づいて、複数の異なる宛先の１つへ物体を送るコンベヤのゲート制御アセンブリに提供される。特徴は、欠陥のある物体を示すことができ、それによりその欠陥のある物体は、ゲート制御されるコンベヤにより、欠陥のある物体の場所および／または不合格物体の場所へ送られる。

【0007】

以下の本発明の説明は、添付図面を参照する。

【図面の簡単な説明】

【0008】

【図1】イメージ欠落データの予測を提供するための複合３Ｄブロブツールを利用する、複雑な物体の３Ｄイメージを取得して処理するためのシステムの概観である。

【0009】

【図2】本明細書の例示的な複合３Ｄブロブツールでもって撮像されて解析され得る、影および他の影響に起因したイメージデータの欠如を蒙る例示的な物体のグループ（群）の斜視図である。

【0010】

【図3】イメージデータの関連した欠如を有する、イメージのｘ－ｙ平面に沿ったイメージデータを示す、図２の物体の３Ｄポイントクラウド（点群）イメージの表示の図である。

【0011】

【図4】ｚ寸法に沿った高さの比較的精密な測定を示す、図３の表示の図である。

【0012】

【図5】物体のグループの上での３Ｄカメラアセンブリの配置、及び影の発生および結果としてのイメージデータの欠如の可能性を示す図である。

【0013】

【図6】異なる方向および異なるサイズのそれぞれにおける物体の個々の影を示す、図５のカメラアセンブリにより取得されたイメージの上から見下ろした図である。

【0014】

【図7】影の投影および幾何学的配置を示す、カメラアセンブリＦＯＶのエッジの近くに存在する基本的な矩形物体の３Ｄポイントクラウドイメージの表示の図である。

【0015】

【図8】影のより複雑な投影および幾何学的配置を示す、カメラアセンブリＦＯＶの中央に近づいて存在する図７の基本的な矩形物体の３Ｄポイントクラウドイメージの表示の図である。

【0016】

【図9】例示的な実施形態による、複合３Ｄブロブツールを動作させるための手順ステップの流れ図である。

【0017】

【図10】マルチレベルの物体、又は物体のグループにおいて特徴要素を求める（決定する）ために、例示的な実施形態の複合３Ｄブロブツールによる境界ボックスの作成を示す図である。

【0018】

詳細な説明
Ｉ．システムの概観

【0019】

図１は、構成１００の概観を示し、構成１００において、視覚システムのカメラアセンブリ（簡単に「カメラ」又は「センサ」とも呼ばれる）１１０は、例示的な物体１２２のグループ１２０が可動コンベヤ１３０に対してその視野（ＦＯＶ）の下を通過する際に、当該物体１２２のグループ１２０の３Ｄイメージデータを取得する。この例において、物体１２２は、グループ（例えば、木箱またはシュリンクラップ内）に構成された瓶またはボトルのグループ１２０である。留意すべきは、物体（複数）の任意の構成、又は複雑な上面を有する単一の物体は、本明細書のシステム及び方法に従って撮像されて解析され得る。

【0020】

企図された３Ｄカメラ／イメージングアセンブリ１１０は、以下に限定されないが、ステレオカメラ、飛行時間型カメラ、ＬｉＤＡＲ、超音波測距カメラ、構造化照明システム及びレーザ変位センサ（プロファイラー）を含む、物体の３Ｄイメージを取得する任意のアセンブリであることができ、かくして、用語３Ｄカメラは、これらシステム、及び物体の２Ｄイメージと関連して高さ情報を生成する任意の他のシステムを含むように幅広く解釈されるべきである。また、単一のカメラ、又は複数のカメラのアレイが提供されることができ、用語「カメラ」及び／又は「カメラアセンブリ」は、シーンに関する所望の３Ｄイメージデータを生成するようにイメージ（単数または複数）を取得する１つ又は複数のカメラを意味することができる。図示されたカメラアセンブリ１１０は、物体が通過する際に、流れている物体を撮像するチェックポイント又は検査ステーションのようなやり方で、コンベヤ１３０の表面を覆うように取り付けられて示される。物体１２２は、コンベヤの運用速度およびカメラのイメージセンサ（Ｓ）及び関連した電子回路１１０の収集時間（部分的に、フレームレート及び絞り設定に依存する）に依存して、動いたままである又は撮像（イメージング）のために一時的に停止することができる。代替の実施形態において、コンベヤは省略されることができ、物体は、移動しないステージ又は表面上に配置され得る。制限しない例として、カメラ１１０は、コンベヤ１３０の表面に対してほぼ垂直である光軸ＯＡを確定する。カメラ軸ＯＡは代案として、代替の構成におけるコンベヤの表面に対して垂直でない角度で向けられ得る。カメラの校正は、内部座標系と撮像されるシーンの座標系との間で変換することができる。留意する点は、局所的なｘ軸、ｙ軸およびｚ軸（又は他の座標系）１３８が基準として示される。この例において、コンベヤ表面の平面は、ｘ－ｙ寸法を表わし、コンベヤ表面に垂直な高さは、ｚ寸法を表わす。

【0021】

カメラ１１０は、そのハウジングの内部で３Ｄイメージデータ１３４を生成するように適合されたイメージセンサＳを含む。カメラアセンブリは、一体型照明アセンブリＩ（例えば、軸ＯＡに対して予測可能な方向に光を投射するＬＥＤのリング照明器）を含む。外部照明（図示せず）が、代替の構成において設けられ得る。適切な光学パッケージＯが、軸ＯＡに沿って、センサＳと光学的に連絡するように示される。センサＳは、内部および／または外部の視覚システムプロセッサ（単数または複数）１４０と通信し、当該プロセッサ（単数または複数）１４０は、カメラ１１０からイメージデータ１３４を受け取り、本明細書のシステム及び方法に従って、当該データに様々な視覚システムのタスクを実行する。当該プロセッサ（単数または複数）１４０は、基本的な処理／プロセッサモジュール又は機能モジュールを含み、一組の視覚システムツール１４２を含み、当該ツール１４２は、以下に限定されないが、エッジ検出器、ブロブツール、パターン認識ツール、深層学習ネットワークなどを含む、イメージデータの特徴要素を識別および解析する様々な標準的ツール及び特注ツールを含むことができる。視覚システムプロセッサ（単数または複数）１４０は、本明細書のシステム及び方法に従って、寸法測定プロセッサ（単数または複数）１４４を更に含むことができる。このプロセッサ（単数または複数）１４４は、更なる結果が計算され得る特定の特徴要素の存在を求めるように、３Ｄイメージデータにおいて識別される特徴要素に様々な解析および測定のタスク実行する。当該プロセッサ（単数または複数）は、例示的な実施形態による、３Ｄブロブツール１４４を含む、様々な従来の及び特注の（例えば、３Ｄ）視覚システムツール１４２を使用する。システムのセットアップ及び結果の表示は、サーバ（例えば、クラウドベース又は局所的）、ＰＣ、ノート型パソコン、タブレット及び／又はスマートフォンのような、別個のコンピューティング装置１５０により、処理され得る。コンピューティング装置１５０は、従来のディスプレイ又はタッチスクリーン１５２、キーボード１５４及びマウス１５６（これらは、ひとまとめにしてグラフィカル・ユーザ・インターフェース（ＧＵＩ）機能を提供する）と共に（制限しない例として）示される。様々なインターフェース装置および／またはフォームファクターが、装置１５０の代替の具現化形態において設けられ得る。ＧＵＩは、部分的に、ウェブブラウザーのアプリケーションによって動作させることができ、当該アプリケーションは、本明細書の例示的な構成に従って、デバイスのオペレーティングシステムに常駐し、プロセッサ（単数または複数）１４０からの制御およびデータ情報と共にウェブページを表示する。

【0022】

留意すべきは、プロセッサ（単数または複数）１４０は、カメラアセンブリ１１０のハウジング内で完全に又は部分的にオンボードで設けられることができ、様々な処理モジュール／ツール１４２及び１４４は、必要に応じて、オンボードのプロセッサ（単数または複数）１４０又は遠隔のコンピューティング装置１５０に完全に又は部分的にインスタンス化され得る。例示的な実施形態において、全ての視覚システム及びインターフェース機能は、オンボードのプロセッサ（単数または複数）１４０にインスタンス化されることができ、コンピューティング装置１５０は、学習、監視、及びオンボードのプロセッサ（単数または複数）１４０によって生成され、有線または無線ネットワークリンクを介してコンピューティング装置に伝達されるインターフェースウェブページ（例えば、ＨＴＭＬ）と関連した動作のために主として利用され得る。代案として、プロセッサ（単数または複数）１４０の全て又は一部は、コンピューティング装置１５０に設けられ得る。当該プロセッサによる解析からの結果は、下流の利用装置またはプロセス１６０に伝達され得る。係る装置／プロセスは、物体／パッケージを操作する（例えば、解析された特徴要素に基づいて異なる宛先に物体を送るためにコンベヤ１３０をゲート制御する又は欠陥のある物体を退ける）ために結果１６２を使用することができる。

【0023】

II．例示的なイメージ及び問題

【0024】

図２は、例示的な実行時の物体、又は物体２１０のグループを更に示し、この制限しない例において、瓶またはボトルの木箱がガラス本体２１２を画定し、上部またはキャップ２２０に重なる。図１に示されたタイプの上にある３Ｄカメラアセンブリからの、この物体の例示的な（例えば、３Ｄポイントクラウド）ディスプレイ表示は、図３及び図４に示される。特に、図３は、瓶の上部２２０がＸ－Ｙ平面に沿って撮像されているディスプレイ表示３００を示す。上部２２０は、周囲のコンベヤ表面３２０とは異なる高さに基づいて画定され得る適切なサイズの境界ボックスにより、囲まれる。興味のある領域（長方形３３０）は、エッジファインダのような視覚システムのツールが個々のキャップを解明することを困難にする、影および他のデータ（キャップの下にある瓶本体）により不明瞭にされている（暗くされている）様々な上部を示す。逆に、同じ領域（外側境界ボックス４１０内の長方形４２０）が、図４のディスプレイ表示４００に示され、Ｚ方向／Ｚ寸法に沿ったかなり精密な測定結果を明示する。更なる例示のために、図５に示されたカメラアセンブリ５１０は、シーンの結果としての２Ｄイメージの上に重なる及び覆い隠す、上面（キャップ）５２０からの一連の外方に扇状に広がる影５２２を生成するようにカメラアセンブリにより、（照明および光学部品の配置に起因したオフセットで）反射光５１４として受け取られる投影された扇状の照明５１２を生成する。図６の上面図に示されるように、各上部５２０は、照明の角度および光軸ＯＡとの比較で、シーンにおける上部５２０の相対位置に基づいて、別個の方向にも偏倚される一意のサイズ／形状の影を提示することができる。これは、全体的なイメージにおいて複雑性と不確実性を増加させる。

【0025】

更に図７を参照して、基本的な矩形物体７２０の上から見下ろした図である図示された３Ｄディスプレイ表示７１０は、影を解明することに対する問題を示し、この場合、物体７２０がＦＯＶの１つのエッジに対して十分に離れており、１つの側面７３０に影が無く、１つの（反対側）側面７４０に奥行きのある影が存在し、２つの奥行きの無い影７５０が存在する。同様に、図８の表示８１０は、基本的な物体８２０を示す（同様に矩形であり、上から見下ろした図）。この物体８２０は、ＦＯＶの中央に近づいており、図７の物体７２０に対して僅かに回転している。この表示において、物体８２０は、カメラからの４つの角の影８６０で重畳する照明プロジェクタからの４つの角の影８５０を含む、８個の角を有する全体的な影８３０を画定する。視野などの位置に依存して変化する複雑な影の存在は、幾つかの高さデータが影に起因して欠落する場合があるので、未処理の（生の）高さデータと組合わせても、２Ｄイメージデータを用いた特徴要素の解明を困難にする。しかしながら、利用可能である高さデータは、上述したようにかなり精密であることができる。

【0026】

IIIブロブツール及び動作方法

【0027】

図９は、例示的な実施形態による、手順９００を示す流れ図である。ステップ９１０において、視野（ＦＯＶ）内の物体（単数）の又は物体のグループの、１つ又は複数の３Ｄイメージが、カメラアセンブリにより取得される。ステップ９２０において、この３Ｄイメージデータを用いて、興味のある１つ又は複数の領域（例えば、高さデータが基準平面（例えば、コンベヤ表面）より上にある領域）、及び更なる境界領域（ボックス）が、興味のある係る領域（単数または複数）において物体（単数または複数）の周りに配置される。ステップ９３０において、興味のある領域（単数または複数）においてイメージデータの欠如を有する領域（非データとも呼ばれる）が識別される。これは、様々な方法（例えば、当業者に知られているセグメンテーションツール及び／又は他の適切な視覚システムのツール）を用いて達成され得る。一般に、それらは、高さの値および／またはｘ－ｙピクセル値が存在しない領域である。特に、手順９００は、その次に、連結性および／またはシャドーイングを示すためにイメージデータの欠如を使用する。かくして、ステップ９４０において、手順は、接触している全てのデータ（基準平面より上）及び全ての非データを結び付ける。次いで、手順は、ステップ９５０において、興味のある領域（単数または複数）における境界ボックス（単数または複数）の位置を求める。これは、物体が全体のＦＯＶにおいて何処にあるかに対する相対基準を与える。（工場の校正ステップ中に及び／又はセットアップ（設置）時の現場校正中に）カメラアセンブリに格納された、図１の校正データ１７０に基づいて、手順は、様々な高さにおけるＦＯＶの各ポイント（点）に関して、照明器からカメラに戻る光線の（格納された）経路を把握する。かくして、ＦＯＶ内の境界ボックス内の各ポイントに関する高さデータと共に、このデータ及び境界ボックスの位置に基づいて、手順は、対象物のイメージデータから影を取り除くために、境界ボックスに戻って洗練化することができる（ステップ９６０）。これは、結び付けられた形状における予想された光線の経路に次いで、それらをイメージデータの既知の高さにマッピングすることを必要とする。ステップ９７０において、この計算の結果は、洗練されたイメージデータとして下流の利用プロセス（例えば、寸法測定、検査などを実行する更なる視覚システムのツール）に送られ得る。

【0028】

IV．様々な高さ（マルチレベル）の物体

【0029】

図１０は、カメラアセンブリ１０１０のＦＯＶ１０２０内の、複数の物体または当該物体の異なる部分（この例において互いに比較的隣接している異なる高さの１０３０及び１０３２）のイメージを取得するカメラアセンブリ１０１０を示す図である。留意すべきは、予想される物体の最大高さは、ユーザにより予めプログラムされており、それらはこの例において（図示されたように）ＦＯＶ内に完全に存在する。対象の物体１０３０、１０３２の形状は、比較的立方体状であると更に仮定される。この仮定は、任意の修正を始める前に、アイテムの全ての上面（１０３４及び１０３６）のポイントの特質と形状を観測することにより確認（検証）され得る。

【0030】

第１のステップにおいて、任意の観測されたデータと共に、影により生じた欠落しているポイントデータを用いて、基準表面Ａ（例えば、コンベヤ表面１０４０）の上にある影および任意の観測されたデータの双方を含む最も小さい境界ボックス１０４２を生成する。次に、第１の境界ボックス１０４２を用いて、境界ボックス１０４２の最上面１０４４と一致する平面Ａを生成する。次いで、基準表面１０４０上にある境界ボックス１０４２のそれぞれの角／頂点（ｖ[ｉ]）（１０４６及び１０４８）から、以下のステップを実行する。
ａ．照明源への光線に沿ってｖ[ｉ]を投影し、光線が表面１０４４と一致する上面と交差する交点（ポイントＢ）、並びにポイントＡとポイントＢとの間の距離（距離Ｂ）を求める。
ｂ．撮像装置への光線に沿ってｖ[ｉ]を投影し、光線が最上面１０４４と一致する平面と交差する交点（ポイントＣ）、並びにポイントＡとポイントＣとの間の距離（距離Ｃ）を求める。
ｃ．ｖ[ｉ]（表面Ａ上にある）の真上にある最上面１０４４上のボックスＡの頂点（ｕ[ｉ]）を取得する。
ｄ．距離Ｂと距離Ｃを比較し、大きい方に対応するポイント（ポイントＢ又はポイントＣ）を検査し、それが最上面１０４４内にあるか否かを判断する；
ｉ．イエスの場合、そのポイント（ポイントＢ又はポイントＣ）に対応する新たなポイントｕ’[ｉ]を作成する、
ii．ノーの場合、ｕ[ｉ]に対応する新たなポイントｕ’[ｉ]を作成する。
結果としての上側の頂点ｕ’[] １０５０及び１０５２は、修正された影を表わす本質的に長方形を形成するはずであり、必要に応じて、これらの頂点に最も適合する長方形を適用し、表面Ａ（１０４０）まで下がって当該長方形を投影することにより、最終の修正されたボックスを生成する。

【0031】

留意すべきは、完全に正方形の境界ボックス１０６０は、それが上側の影と下側のボックス１０３２と交差するので、幾何学的形状の間違った推定を生じる。従って、最初のボックス１０４２は、基準平面１０４０の上の完全な構造体を包含するために細長い態様で描画される。

【0032】

Ｖ．結論

【0033】

明らかであるように、上述したシステム及び方法は、３Ｄイメージにおける欠けたイメージデータを効率的に提供することができ、この場合、カメラアセンブリの幾何学的形状および照明の特性（特質）は知られている。このシステム及び方法は、隣接して間隔をおいて配置された物体および様々な高さを画定する物体または様々な高さの部分に効果的に作用する。

【0034】

上述したことは、本発明の例示的な実施形態の詳細な説明である。様々な変形および追加が、本発明の思想および範囲から逸脱せずに行われ得る。上述された様々な実施形態のそれぞれの特徴は、関連した新たな実施形態における特徴の多数の組合わせを提供するために、必要に応じて他の説明された実施形態の特徴と組合わせられ得る。更に、上述したことは、本発明の装置および方法に関する多数の別個の実施形態を説明するが、本明細書で説明されたことは、本発明の原理の応用形態に関する単なる例示である。例えば、本明細書で使用される限り、用語「プロセス」及び／又は「プロセッサ」は、機能および構成要素（代替として、機能的「モジュール」又は「要素」と呼ばれ得る）に基づいた様々な電子ハードウェア及び／又はソフトウェアを含むように広く解釈されるべきである。更に、図示されたプロセス又はプロセッサは、様々なサブプロセス又はサブプロセッサへ分割される他のプロセス及び／又はプロセッサと組合わせられ得る。係るサブプロセス及び／又はサブプロセッサは、本明細書の実施形態に従って様々に組合わせられ得る。同様に、本明細書の任意の機能、プロセス及び／又はプロセッサは、電子ハードウェア、プログラム命令の持続性コンピュータ可読媒体からなるソフトウェア、又はハードウェア及びソフトウェアの組合わせを用いて具現化され得ることが明確に企図されている。更に、本明細書で使用される限り、「垂直」、「水平」、「上」、「下」、「底部」、「上部」、「側部」、「前面」、「後面」、「左」、「右」などのような様々な方向性の用語および配置の用語は、相対的な慣習としてのみ使用されており、重力の作用方向のような、固定座標空間に関して絶対的な方向／配置として使用されていない。更に、用語「実質的に」又は「約（ほぼ）」は、所与の測定値、値または特性に関して使用される場合、それは、所望の結果を達成するために正規の動作範囲内にあるが、固有の不正確さ及びシステムの許容誤差（例えば、１～５％）内の誤差に起因した何らかのバラツキを含む数量を意味する。制限しない例として、３Ｄカメラは、ライン走査型のアセンブリ（例えば、プロファイラー）を含み、エンコーダ又は他の動作検知デバイスが、ＦＯＶの完全な３Ｄイメージのために、ｙ寸法をライン毎に構築するように撮像装置と連係して使用される。従って、本説明は、単なる例示として解釈されることが意図されており、本発明の範囲を制限することが意図されていない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【外国語明細書】