知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-07-05
(54)【発明の名称】物体にシンボルを割り当てるシステム及び方法
(51)【国際特許分類】
G06T 7/70 20170101AFI20240628BHJP
【ＦＩ】
G06T7/70 A
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023579190
(86)(22)【出願日】2022-06-27
(85)【翻訳文提出日】2024-02-20
(86)【国際出願番号】 US2022035175
(87)【国際公開番号】W WO2022272173
(87)【国際公開日】2022-12-29
(31)【優先権主張番号】63/215,229
(32)【優先日】2021-06-25
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】504382671
【氏名又は名称】コグネックス・コーポレイション
(74)【代理人】
【識別番号】100134832
【弁理士】
【氏名又は名称】瀧野 文雄
(74)【代理人】
【識別番号】100165308
【弁理士】
【氏名又は名称】津田 俊明
(74)【代理人】
【識別番号】100115048
【弁理士】
【氏名又は名称】福田 康弘
(72)【発明者】
【氏名】エル－バークーキー アーメッド
(72)【発明者】
【氏名】ソーター エミリー
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096AA09
5L096CA04
5L096CA05
5L096EA26
5L096FA06
5L096FA12
5L096FA69
5L096FA77
(57)【要約】
画像内の物体にシンボルを割り当てる方法は、撮像装置によってキャプチャされた前記画像を受信するステップであって、前記シンボルが前記画像内に位置している、ステップを含む。前記方法は、更に、第１の座標系において、前記画像内の前記物体の３Ｄ姿勢を示す姿勢情報に対応する１つ又は複数の点の３次元（３Ｄ）位置を受信するステップと、前記物体の前記１つ又は複数の点の前記３Ｄ位置を前記画像内の２Ｄ位置にマッピングするステップと、前記画像内の前記シンボルの２Ｄ位置と前記画像内の前記物体の前記１つ又は複数の点の前記２Ｄ位置との関係に基づいて前記シンボルを前記物体に割り当てるステップと、を含む。
【選択図】図１Ａ
【選択図】図１Ａ
【特許請求の範囲】
【請求項1】
画像内の物体にシンボルを割り当てる方法であって、撮像装置によってキャプチャされた前記画像を受信するステップであって、前記シンボルが前記画像内に位置している、ステップと、
第１の座標系において、前記画像内の前記物体の３Ｄ姿勢を示す姿勢情報に対応する１つ又は複数の点の３次元（３Ｄ）位置を受信するステップと、
前記物体の前記１つ又は複数の点の前記３Ｄ位置を前記画像内の２Ｄ位置にマッピングするステップと、
前記画像内の前記シンボルの２Ｄ位置と前記画像内の前記物体の前記１つ又は複数の点の前記２Ｄ位置との関係に基づいて前記シンボルを前記物体に割り当てるステップと、
を含むことを特徴とする方法。
【請求項2】
前記画像内の前記物体の１つ又は複数の点の前記２Ｄ位置に基づいて前記物体の表面を決定するステップと、前記画像内の前記シンボルの前記２Ｄ位置と前記物体の前記表面との間の関係に基づいて、前記シンボルを前記物体の前記表面に割り当てるステップと、
を更に含むことを特徴とする請求項１に記載の方法。
【請求項3】
前記シンボルが複数の画像に関連付けられていると判断するステップと、前記複数の画像の各画像に対する前記シンボルの割り当てを集約するステップと、
前記シンボルの前記割り当ての少なくとも１つが前記シンボルの残りの割り当てと異なるかどうかを判断するステップと、
を更に含むことを特徴とする請求項１に記載の方法。
【請求項4】
前記画像の撮像データに基づいて前記画像内の前記物体のエッジを決定するステップを更に含むことを特徴とする請求項１に記載の方法。
【請求項5】
前記シンボル割り当ての信頼スコアを決定するステップを更に含むことを特徴とする請求項１に記載の方法。
【請求項6】
１つ又は複数の点の前記３Ｄ位置が３Ｄセンサから受信されることを特徴とする請求項１に記載の方法。
【請求項7】
前記画像は、複数の物体を含み、前記方法は、
前記複数の物体が前記画像内で重なっているかどうかを判断するステップ
を更に含むことを特徴とする請求項１に記載の方法。
【請求項8】
前記画像は、マージンを備えた第１の境界を持つ前記物体と、第２のマージンを備えた第２の境界を持つ第２の物体と、を含み、前記方法は、
前記第１の境界と前記第２の境界が前記画像内で重なるかどうかを決定するステップ
を更に含むことを特徴とする請求項１に記載の方法。
【請求項9】
前記１つ又は複数の点の前記３Ｄ位置が第１時間に取得され、前記画像が第２時間に取得され、前記１つ又は複数の点の前記３Ｄ位置についての前記画像内の前記２Ｄ位置へのマッピングは、前記１つ又は複数の点の前記３Ｄ位置を前記第１時間から前記第２時間へマッピングすることを含む
ことを特徴とする請求項１に記載の方法。
【請求項10】
前記姿勢情報は、前記第１の座標空間における前記物体の角を含むことを特徴とする請求項１に記載の方法。
【請求項11】
前記姿勢情報は、点群データを含むことを特徴とする請求項１に記載の方法。
【請求項12】
画像内の物体にシンボルを割り当てるシステムであって、画像をキャプチャするように構成された校正済み撮像装置と、
プロセッサデバイスと
を備え、
前記プロセッサデバイスは、
前記校正済み撮像装置によってキャプチャされた前記画像を受信するステップであって、前記シンボルが前記画像内に位置している、ステップと、
第１の座標系において、前記画像内の前記物体の３Ｄ姿勢を示す姿勢情報に対応する１つ又は複数の点の３次元（３Ｄ）位置を受信するステップと、
前記物体の前記１つ又は複数の点の前記３Ｄ位置を前記画像内の２Ｄ位置にマッピングするステップと、
前記画像内の前記シンボルの２Ｄ位置と前記画像内の前記物体の前記１つ又は複数の点の前記２Ｄ位置との関係に基づいて前記シンボルを前記物体に割り当てるステップと、
を行うようにプログラムされていることを特徴とするシステム。
【請求項13】
前記物体を支持し、輸送するように構成されたコンベヤと、前記コンベヤに結合され、前記コンベヤの動きを測定するように構成された運動測定装置と、
を更に備えることを特徴とする請求項１２に記載のシステム。
【請求項14】
前記１つ又は複数の点の前記３Ｄ位置を測定するように構成された３Ｄセンサを更に備えることを特徴とする請求項１２に記載のシステム。
【請求項15】
前記姿勢情報は、前記第１の座標空間における前記物体の角を含むことを特徴とする請求項１２に記載のシステム。
【請求項16】
前記姿勢情報は、点群データを含むことを特徴とする請求項１２に記載のシステム。
【請求項17】
前記プロセッサデバイスは、更に、前記画像内の前記物体の１つ又は複数の点の前記２Ｄ位置に基づいて前記物体の表面を決定するステップと、
前記画像内の前記シンボルの前記２Ｄ位置と前記物体の前記表面との間の関係に基づいて、前記シンボルを前記物体の前記表面に割り当てるステップと、
を行うようにプログラムされていることを特徴とする請求項１２に記載のシステム。
【請求項18】
前記少なくとも１つのプロセッサデバイスは、更に、前記シンボルが複数の画像に関連付けられていると判断するステップと、
前記複数の画像の各画像に対する前記シンボルの割り当てを集約するステップと、
前記シンボルの前記割り当ての少なくとも１つが前記シンボルの残りの割り当てと異なるかどうかを判断するステップと、
を行うようにプログラムされていることを特徴とする請求項１２に記載のシステム。
【請求項19】
前記シンボルに関連付けられた前記画像は複数の物体を含み、前記プロセッサデバイスは、更に、
前記複数の物体が前記画像内で重なっているかどうかを判断するステップ
を行うようにプログラムされていることを特徴とする請求項１２に記載のシステム。
【請求項20】
前記画像は、マージンを備えた第１の境界を持つ前記物体と、第２のマージンを備えた第２の境界を持つ第２の物体と、を含み、前記プロセッサデバイスは、更に、
前記第１の境界と前記第２の境界が前記画像内で重なるかどうかを決定するステップ
を行うようにプログラムされていることを特徴とする請求項１２に記載のシステム。
【請求項21】
前記シンボルを前記物体に割り当てることは、前記シンボルを表面に割り当てることを含むことを特徴とする請求項１２に記載のシステム。
【請求項22】
画像内の物体にシンボルを割り当てる方法であって、撮像装置によってキャプチャされた前記画像を受信するステップであって、前記シンボルが前記画像内に位置している、ステップと、
第１の座標系において、１つ又は複数の物体の３Ｄ姿勢を示す姿勢情報に対応する１つ又は複数の点の３次元（３Ｄ）位置を受信するステップと、
前記物体の前記１つ又は複数の点の前記３Ｄ位置を第２座標空間における前記画像内の２Ｄ位置にマッピングするステップと、
前記第２座標空間における前記画像内の前記物体の前記１つ又は複数の点の前記２Ｄ位置に基づいて前記物体の表面を決定するステップと、
前記画像内の前記シンボルの２Ｄ位置と前記画像内の前記物体の前記１つ又は複数の点の前記２Ｄ位置との関係に基づいて前記シンボルを前記表面に割り当てるステップと、
を含むことを特徴とする方法。
【請求項23】
前記シンボルを前記表面に割り当てることは、前記第２座標空間における前記表面と前記画像との間の交差を決定することを含むことを特徴とする請求項２２に記載の方法。
【請求項24】
前記シンボル割り当ての信頼スコアを決定するステップを含むことを特徴とする請求項２２に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願への相互参照
本出願は、２０２１年６月２５日に出願された「物体にシンボルを割り当てるためのシステム及び方法」と題された米国仮出願第６３／２１５，２２９号に基づき、その利益を主張し、優先権を主張するものであり、あらゆる目的のためにその全体が参照により本明細書に援用される。
本出願は、２０２１年６月２５日に出願された「物体にシンボルを割り当てるためのシステム及び方法」と題された米国仮出願第６３／２１５，２２９号に基づき、その利益を主張し、優先権を主張するものであり、あらゆる目的のためにその全体が参照により本明細書に援用される。
【0002】
連邦政府の後援による研究に関する声明
該当なし
該当なし
【0003】
本技術は、物体又はシンボル（例えば、バーコード）の画像を取得及び分析するように構成されたマシンビジョンシステムを含む撮像システムに関する。
【背景技術】
【0004】
マシンビジョンシステムは一般に、物体やシンボルの画像をキャプチャし、その画像を分析して物体を識別したり、シンボルを解読したりするのに使用するように構成されている。従って、マシンビジョンシステムは、一般に、画像取得及び画像処理のための１つ又は複数の装置を含む。従来のアプリケーションでは、これらの装置は、バーコードやテキストなどの撮像されたシンボルをデコードする目的など、画像を取得したり、取得した画像を分析したりするために使用できる。状況によっては、マシンビジョン及び他の撮像システムを使用して、対応する撮像装置の視野（field of view（ＦＯＶ））より大きいかもしれない画像、及び／又は、撮像装置に対して移動しているかもしれない物体の画像を取得することができる。
【発明の概要】
【0005】
実施形態によれば、画像内の物体にシンボルを割り当てる方法は、撮像装置によってキャプチャされた前記画像を受信するステップであって、前記シンボルが前記画像内に位置している、ステップを含む。前記方法は、更に、第１の座標系において、前記画像内の前記物体の３Ｄ姿勢を示す姿勢情報に対応する１つ又は複数の点の３次元（３Ｄ）位置を受信するステップと、前記物体の前記１つ又は複数の点の前記３Ｄ位置を前記画像内の２Ｄ位置にマッピングするステップと、前記画像内の前記シンボルの２Ｄ位置と前記画像内の前記物体の前記１つ又は複数の点の前記２Ｄ位置との関係に基づいて前記シンボルを前記物体に割り当てるステップと、を含む。幾つかの実施形態では、前記マッピングは、前記第１の座標空間内の前記１つ又は複数の点の前記３Ｄ位置に基づく。
【0006】
幾つかの実施形態では、前記方法は、前記画像内の前記物体の１つ又は複数の点の前記２Ｄ位置に基づいて前記物体の表面を決定するステップと、前記画像内の前記シンボルの前記２Ｄ位置と前記物体の前記表面との間の関係に基づいて、前記シンボルを前記物体の前記表面に割り当てるステップと、を更に含んでもよい。幾つかの実施形態では、前記方法は、前記シンボルが複数の画像に関連付けられていると判断するステップと、前記複数の画像の各画像に対する前記シンボルの割り当てを集約するステップと、前記シンボルの前記割り当ての少なくとも１つが前記シンボルの残りの割り当てと異なるかどうかを判断するステップと、を更に含んでもよい。幾つかの実施形態では、前記方法は、前記画像の撮像データに基づいて前記画像内の前記物体のエッジを決定するステップを更に含んでもよい。幾つかの実施形態では、前記シンボル割り当ての信頼スコアを決定するステップを更に含んでもよい。幾つかの実施形態では、１つ又は複数の点の前記３Ｄ位置が３Ｄセンサから受信されてもよい。
【0007】
幾つかの実施形態では、前記方法は、前記複数の物体が前記画像内で重なっているかどうかを判断するステップを更に含んでもよい。幾つかの実施形態では、前記画像は、マージンを備えた第１の境界を持つ前記物体と、第２のマージンを備えた第２の境界を持つ第２の物体と、を含む。前記方法は、前記第１の境界と前記第２の境界が前記画像内で重なるかどうかを決定するステップを更に含んでもよい。幾つかの実施形態では、前記１つ又は複数の点の前記３Ｄ位置が第１時間に取得され、前記画像が第２時間に取得される。前記１つ又は複数の点の前記３Ｄ位置についての前記画像内の前記２Ｄ位置へのマッピングは、前記１つ又は複数の点の前記３Ｄ位置を前記第１時間から前記第２時間へマッピングすることを含んでもよい。幾つかの実施形態では、前記姿勢情報は、前記１つ又は複数の点の前記３Ｄ位置についての前記画像内の前記２Ｄ位置へのマッピングは、前記１つ又は複数の点の前記３Ｄ位置を前記第１時間から前記第２時間へマッピングすることを含むことを含んでもよい。幾つかの実施形態では、前記姿勢情報は、点群データを含んでもよい。
【0008】
別の実施形態によれば、画像内の物体にシンボルを割り当てるシステムは、画像をキャプチャするように構成された校正済み撮像装置と、プロセッサデバイスと、を備える。前記プロセッサデバイスは、前記校正済み撮像装置によってキャプチャされた前記画像を受信するステップであって、前記シンボルが前記画像内に位置している、ステップと、第１の座標系において、前記画像内の前記物体の３Ｄ姿勢を示す姿勢情報に対応する１つ又は複数の点の３次元（３Ｄ）位置を受信するステップと、前記物体の前記１つ又は複数の点の前記３Ｄ位置を前記画像内の２Ｄ位置にマッピングするステップと、前記画像内の前記シンボルの２Ｄ位置と前記画像内の前記物体の前記１つ又は複数の点の前記２Ｄ位置との関係に基づいて前記シンボルを前記物体に割り当てるステップと、を行うようにプログラムされている。幾つかの実施形態では、前記マッピングは、前記第１の座標空間内の前記１つ又は複数の点の前記３Ｄ位置に基づく。
【0009】
幾つかの実施形態では、前記システムは、前記物体を支持し、輸送するように構成されたコンベヤと、前記コンベヤに結合され、前記コンベヤの動きを測定するように構成された運動測定装置と、を更に備える。幾つかの実施形態では、前記システムは、前記１つ又は複数の点の前記３Ｄ位置を測定するように構成された３Ｄセンサを更に備えてもよい。幾つかの実施形態では、前記姿勢情報は、前記第１の座標空間における前記物体の角を含んでもよい。幾つかの実施形態では、前記姿勢情報は、点群データを含んでもよい。幾つかの実施形態では、前記プロセッサデバイスは、更に、前記画像内の前記物体の１つ又は複数の点の前記２Ｄ位置に基づいて前記物体の表面を決定するステップと、前記画像内の前記シンボルの前記２Ｄ位置と前記物体の前記表面との間の関係に基づいて、前記シンボルを前記物体の前記表面に割り当てるステップと、を行うようにプログラムされてもよい。幾つかの実施形態では、前記１つのプロセッサデバイスは、更に、前記シンボルが複数の画像に関連付けられていると判断するステップと、前記複数の画像の各画像に対する前記シンボルの割り当てを集約するステップと、前記シンボルの前記割り当ての少なくとも１つが前記シンボルの残りの割り当てと異なるかどうかを判断するステップと、を行うようにプログラムされてもよい。
【0010】
幾つかの実施形態では、前記シンボルに関連付けられた前記画像は複数の物体を含んでよく、前記プロセッサデバイスは、更に、前記複数の物体が前記画像内で重なっているかどうかを判断するステップを行うようにプログラムされてもよい。幾つかの実施形態では、前記画像は、マージンを備えた第１の境界を持つ前記物体と、第２のマージンを備えた第２の境界を持つ第２の物体と、を含んでよい。前記プロセッサデバイスは、更に、前記第１の境界と前記第２の境界が前記画像内で重なるかどうかを決定するステップを行うようにプログラムされている。幾つかの実施形態では、前記シンボルを前記物体に割り当てることは、前記シンボルを表面に割り当てることを含んでもよい。
【0011】
別の実施形態によれば、画像内の物体にシンボルを割り当てる方法は、撮像装置によってキャプチャされた前記画像を受信するステップを含む。前記シンボルが前記画像内に位置している。前記方法は、第１の座標系において、１つ又は複数の物体の３Ｄ姿勢を示す姿勢情報に対応する１つ又は複数の点の３次元（３Ｄ）位置を受信するステップと、前記物体の前記１つ又は複数の点の前記３Ｄ位置を第２座標空間における前記画像内の２Ｄ位置にマッピングするステップと、前記第２座標空間における前記画像内の前記物体の前記１つ又は複数の点の前記２Ｄ位置に基づいて前記物体の表面を決定するステップと、前記画像内の前記シンボルの２Ｄ位置と前記画像内の前記物体の前記１つ又は複数の点の前記２Ｄ位置との関係に基づいて前記シンボルを前記表面に割り当てるステップと、を含む。幾つかの実施形態では、前記シンボルを前記表面に割り当てることは、前記第２座標空間における前記表面と前記画像との間の交差を決定することを含んでもよい。幾つかの実施形態では、前記方法は、更に、前記シンボル割り当ての信頼スコアを決定するステップを含んでもよい。幾つかの実施形態では、前記マッピングは、前記第１の座標空間内の前記１つ又は複数の点の前記３Ｄ位置に基づく。
【0012】
開示される主題の様々な目的、特徴、及び利点は、同様の参照番号が同様の要素を識別する以下の図面と関連して考慮される場合、開示される主題の以下の詳細な説明を参照することにより、より完全に理解されうる。
【図面の簡単な説明】
【0013】
【図12B】図１２Ｂは、本技術の一実施形態による、物体の各面の複数の画像をキャプチャし、物体にシンボルを割り当てることを含む工場校正及び現場校正を含む校正プロセスのための座標空間及び他の態様の例を示す。
【発明を実施するための形態】
【0014】
コンベヤ技術が向上し、物体がより狭いギャップ（つまり、物体間の間隔）を備えたコンベヤ（例えば、ベルトコンベヤ）又は他のコンベヤシステムによって移動されるようになると、撮像装置は、複数の物体を含む単一の画像をキャプチャすることがますます増えている。例として、フォトアイは撮像装置のトリガ周期を制御でき、これにより、特定の物体の画像取得は、物体の前縁（又は他の境界特徴）がフォトアイを横切るときに始まり、物体の後縁（又は他の境界特徴）がフォトアイを横切るときに終了する。関連するコンベヤ上の隣接する物体の間に比較的小さい隙間がある場合、撮像装置は１回のトリガサイクル中に誤って複数の物体をキャプチャする可能性がある。更に、物体上に配置されたシンボル（バーコードなど）は、関連する物体に対する適切な更なるアクションをガイドするためなど、キャプチャされた画像を使用してデコードする必要がある場合がある。従って、どのシンボルがどの物体に関連付けられているかを識別することは重要であるが、キャプチャされた画像内の特定のシンボルにどの物体が対応するかを正確に判断することが困難であるかもしれない。
【0015】
マシンビジョンシステムは複数の撮像装置を含んでもよい。例えば、幾つかの実施形態では、マシンビジョンシステムはトンネル配置（又はシステム）に実装されてよく、これには、撮像装置のそれぞれがコンベヤに対してある角度で配置され、角度のある視野（ＦＯＶ（field of view））が得られる構造を含んでもよい。トンネルシステム内の複数の撮像装置を使用して、共通のシーンの画像データを取得してもよい。幾つかの実施形態では、共通のシーンは、例えば、テーブルの上やコンベヤの個別のセクションなどの比較的小さな領域を含んでもよい。幾つかの実施形態では、トンネルシステムでは、部分の撮像装置のＦＯＶが重複する場合がある。以下の説明はトンネルシステム又は装置について言及するが、本明細書で説明する画像内の物体にシンボルを割り当てるシステム及び方法は、他のタイプのマシンビジョンシステム装置にも適用できることを理解されたい。
【0016】
図１Ａは、本技術の一実施形態による、物体の各面の複数の画像をキャプチャし、物体にシンボルを割り当てるシステム１００の一例を示す。幾つかの実施形態では、システム１００は、物体（例えば、物体１１８ａ、１１８ｂ）へのシンボルの割り当てを含む、物体１１８ａ上のシンボル１２０など、トンネル１０２を通って移動する物体（例えば、物体１１８ａ、１１８ｂ）の（例えば、バーコード、二次元（２Ｄ）コード、基準マーク（fiducial）、危険物コード、機械可読コードなどの）シンボルを評価するように構成できる。幾つかの実施形態では、シンボル１２０は、物体１１８ａの上面上の平坦な２Ｄバーコードであり、物体１１８ａ及び１１８ｂは、ほぼ直方体の箱である。追加的に又は代替的に、幾つかの実施形態では、撮像される物体には、あらゆる適切な形状が可能であり、物体の上面又はその他の面にある、非ダイレクトパーツマーク（non-direct part mark（ＤＰＭ））シンボル及びＤＰＭシンボルを含む、あらゆる種類のシンボルとシンボルの位置を撮像して評価できる。
【0017】
図１Ａにおいて、物体１１８ａ及び１１８ｂは、比較的予測可能な連続レート又はエンコーダやその他の運動測定デバイスなどのデバイスによって測定される可変レートで、トンネル１０２を通って水平方向に物体１１８ａ及び１１８ｂを移動させるように構成されたコンベヤ１１６上に配置されている。追加的に又は代替的に、物体は、他の方法（例えば、非線形移動）でトンネル１０２を通って移動することができる。幾つかの実施形態では、コンベヤ１１６は、コンベヤベルトを含んでもよい。幾つかの実施形態では、コンベヤ１１６は、他のタイプの搬送システムから構成することもできる。
【0018】
幾つかの実施形態では、システム１００は、撮像装置１１２及び画像処理装置１３２を含んでもよい。例えば、システム１００は、撮像装置１１２ａ、１１２ｂ、１１２ｃを介して代表的に示されている（例えば、トンネル１０２の部分を実装する）トンネル配置で複数の撮像装置を含むことができ、それぞれに、コンベヤ１１６の部分を含む、代表的にはＦＯＶ１１４ａ、１１４ｂ、１１４ｃを介して示される視野（「ＦＯＶ（field-of-view）」）がある。幾つかの実施形態では、各撮像装置１１２は、コンベヤの上部又は側面に対して角度を付けて配置することができ（例えば、物体１１８ａ及び１１８ｂの面上のシンボルの法線方向に対して、又は移動方向に対して、ある角度で）、その結果、ＦＯＶが斜めになる。同様に、ＦＯＶの一部は、他のＦＯＶ（例えば、ＦＯＶ１１４ａ及びＦＯＶ１１４ｂ）と重なってもよい。このような実施形態では、システム１００は、物体１１８ａ及び／又は１１８ｂがコンベヤ１１６によって移動されるときに、物体１１８ａ及び／又は１１８ｂの複数の面の１つ又は複数の画像を取得するように構成されてもよい。幾つかの実施形態では、キャプチャされた画像は、各物体上のシンボル（例えば、シンボル１２０）を識別するために、及び／又はシンボルを各物体に割り当てるために使用されることができ、その後、（必要に応じて）復号化又は分析されてもよい。幾つかの実施形態では、コンベヤ１１６のギャップ（図示せず）は、コンベヤ１１６の下に配置された撮像装置又は撮像装置のアレイ（図示せず）を使用して、物体の底面の撮像を容易にすることができる（例えば、２０１８年４月２５日に出願された米国特許出願公開第２０１９／０３３３２５９号に記載されており、その全体が参照により本明細書に援用される）。幾つかの実施形態では、物体の底面からキャプチャされた画像は、物体上のシンボルを識別したり、各物体にシンボルを割り当てたりするために使用することもでき、その後（必要に応じて）デコードできる。尚、３つの撮像装置１１２からなる２つのアレイが物体１１８ａ及び１１８ｂの上部を撮像するように示されており、２つの撮像装置１１２からなる４つのアレイが物体１１８ａ及び１１８ｂの面を撮像するように示されているが、これは単なる例であり、任意の適切な数の撮像装置を使用して、物体のさまざまな面の画像を取り込むことができる。例えば、各アレイは４つ以上の撮像装置を含んでもよい。更に、撮像装置１１２は一般に、ＦＯＶの方向を変えるためのミラーなしで物体１１８ａ及び１１８ｂを撮像するように示されているが、これは単なる例であり、１つ又は複数の固定ミラー及び／又は操向可能なミラーを使用して、図２Ａ～図３に関して以下に説明するように、１つ又は複数の撮像装置のＦＯＶの方向を変えることができ、これにより、撮像装置とトンネル１０２内の物体との間の垂直方向又は横方向の距離を短縮することが容易になるかもしれない。例えば、撮像装置１１２ａは、光軸がコンベヤ１１６に平行になるように配置することができ、１つ又は複数のミラーをトンネル１０２の上に配置して、撮像装置１１２ａからのＦＯＶをトンネル１０２内の物体の正面及び上部に向けて方向転換することができる。
【0019】
幾つかの実施形態では、撮像装置１１２は、任意の適切なタイプの撮像装置を使用して実装されてもよい。例えば、撮像装置１１２は、エリアスキャンカメラ及び／又はラインスキャンカメラなどの２Ｄ撮像装置（例えば、２Ｄカメラ）を使用して実装されてもよい。幾つかの実施形態では、撮像装置１１２は、レンズアセンブリと、ＣＣＤ又はＣＭＯＳセンサなどの撮像装置とを含む統合システムであってもよい。幾つかの実施形態では、撮像装置１１２はそれぞれ、１つ又は複数の画像センサ、少なくとも１つのレンズ構成、及び画像センサに対する計算動作を実行するように構成された少なくとも１つの制御装置（例えば、プロセッサデバイス）を含んでもよい。撮像装置１１２ａ、１１２ｂ、又は１１２ｃのそれぞれは、異なる視野（ＦＯＶ）、関心領域（「ＲＯＩ」）、又はそれらの組み合わせから画像データを選択的に取得してもよい。幾つかの実施形態では、システム１００を利用して、物体の各面の複数の画像を取得することができ、１つ又は複数の画像には複数の物体が含まれてもよい。図６Ａ～図６Ｃに関して以下に説明するように、各面の複数の画像を使用して、画像内のシンボルを画像内の物体に割り当てることができる。物体１１８は、バーコード、ＱＲコード（登録商標）などの１つ又は複数のシンボルに関連付けられてもよい。幾つかの実施形態では、システム１００は、コンベヤ１１６によって支持される物体の底面（例えば、コンベヤ１１６上に載っている物体１１８ａの面）の撮像を容易にするように構成することができる。例えば、コンベヤ１１６は、隙間（図示せず）を設けて実装されてもよい。
【0020】
幾つかの実施形態では、物体１１８ａ、１１８ｂの間にギャップ１２２が設けられる。様々な実装では、物体間のギャップのサイズは様々である。幾つかの実装形態では、物体間のギャップは、システム内の物体のすべてのセット間で実質的に同じであることも、システム内の物体のすべてのセットに対して固定の最小サイズを示してもよい。幾つかの実施形態では、システムのスループットを最大化するために、より小さいギャップサイズを使用されてもよい。しかしながら、幾つかの実装形態では、ギャップ（例えば、ギャップ１２２）のサイズ、及び隣接する物体のセット（例えば、物体１１８ａ、１１８ｂ）の寸法は、特定の物体のシンボルの分析用を含め、撮像装置１１２によってキャプチャされた結果として得られる画像の有用性に影響を与える可能性がある。幾つかの構成では、撮像装置（例えば、撮像装置１１２）は、第１の物体上に位置する第１のシンボルが、第２の物体上に位置する第２のシンボルと同じ画像内に現れるような画像を取り込んでもよい。更に、ギャップのサイズが小さい場合、画像内で第１の物体が第２の物体と重なる（つまり、オクルージョン）かもしれない。これは、例えば、ギャップ１２２のサイズが比較的小さく、第１の物体（例えば、物体１１８ａ）が比較的高い場合に起こりうる。このような重複が発生すると、検出されたシンボルが特定の物体に対応するかどうか（つまり、シンボルが物体に対して「オン」（on）又は「オフ」（off）と考えられるべきかどうか）を判断することが非常に困難になることがある。
【0021】
幾つかの実施形態では、システム１００は、本明細書ではディメンショナ（dimensioner）又は寸法感知システム（dimension sensing system）とも呼ばれる、三次元（３Ｄ）センサ（図示せず）を含むことができ、これは、コンベヤ１１６上でトンネル１０２に向かって移動する物体の寸法を測定でき、このような寸法は、１つ又は複数の物体がトンネル１０２を通って移動するときにキャプチャされる画像内の物体にシンボルを割り当てるプロセスにおいて（例えば、画像処理装置１３２によって）使用されてもよい。更に、システム１００は、コンベヤ１１６上のトンネル１０２を通って移動する物体（例えば、物体１１８ａ、１１８ｂ）の物理的な動きを追跡するための装置（例えば、図示しない、エンコーダ又は他の運動測定装置）を含んでもよい。図１Ｂは、本技術の一実施形態による、物体の各面の複数の画像をキャプチャし、物体にコードを割り当てるシステムの一例を示す。図１Ｂは、トンネルに対する３Ｄセンサ（又はディメンショナ）及び運動測定装置（例えば、エンコーダ）の配置例を示すシステム１４０の簡略図を示す。上述したように、システム１４０は、３Ｄセンサ（又はディメンショナ）１５０及び運動測定装置１５２を含んでもよい。図示の例では、コンベヤ１１６は、物体１１８ｄ、１１８ｅが１つ又は複数の撮像装置１１２によって撮像される前に、矢印１５４で示される方向に沿って物体１１８ｄ、１１８ｅを移動させて３Ｄセンサ１５０を通過させるように構成されている。図示の実施形態では、物体１１８ｄと１１８ｅとの間にギャップ１５６が設けられており、画像処理装置１３２は、撮像装置１１２、３Ｄセンサ１５０、及び運動測定装置１５２と通信可能であってもよい。３Ｄセンサ（又はディメンショナ）１５０は、特定の時点で支持構造１１６によって支持される物体（例えば、物体１１８ｄ又は１１８ｅ）の寸法及び／又は位置を決定するように構成されてもよい。例えば、３Ｄセンサ１５０は、３Ｄセンサ１５０から物体の上面までの距離を決定するように構成することができ、３Ｄセンサ１５０に面する表面のサイズ及び／又は向きを決定するように構成することができる。幾つかの実施形態では、３Ｄセンサ１５０は、様々な技術を使用して実装することができる。例えば、３Ｄセンサ１５０は、３Ｄカメラを使用して実装できる（例えば、構造化光（structured light）３Ｄカメラ、連続飛行時間型（continuous time of flight）３Ｄカメラなど）。別の例として、３Ｄセンサ１５０は、レーザ走査システム（例えば、ＬｉＤＡＲシステム）を使用して実装することができる。特定の例では、３Ｄセンサ１５０は、Ｃｏｇｎｅｘ Ｃｏｒｐｏｒａｔｉｏｎから入手可能な３Ｄ－Ａ１０００システムを使用して実装することができる。幾つかの実施形態では、３Ｄセンサ（又はディメンショナ）（例えば、飛行時間（time-of-flight）センサ又はステレオから計算される）は、撮像デバイス（例えば、２Ｄカメラ）を備えた単一のデバイス又はエンクロージャ内に実装されてもよく、幾つかの実施形態では、（例えば、画像処理装置として利用されてもよい）プロセッサは、３Ｄセンサ及び撮像装置を備えた装置内に実装されてもよい。
【0022】
幾つかの実施形態では、３Ｄセンサ１５０は、システム１４０の１つ又は複数の部分を参照して定義された座標空間内の物体の各角の３Ｄ座標を決定することができる。例えば、３Ｄセンサ１５０は、３Ｄセンサ１５０を原点として定義されるデカルト座標空間内で少なくともほぼ直方体の形状である物体の８つの角のそれぞれの３Ｄ座標を決定することができる。別の例として、別の例として、３Ｄセンサ１５０は、コンベヤ１１６に関して定義された（例えば、コンベヤ１１６の中心から始まる原点を有する）デカルト座標空間内で少なくともほぼ直方体の形状である物体の８つの角のそれぞれの３Ｄ座標を決定することができる。更に別の例として、３Ｄセンサ１５０は、（例えば、コンベヤ１１６に関して定義される、３Ｄセンサ１５０に関して定義される、などの）任意の適切なデカルト座標空間内の直方体形状ではない物体の境界ボックス（例えば、８つの角を有する）の３Ｄ座標を決定することができる。例えば、３Ｄセンサ１５０は、ポリ袋、クッション付き封筒（jiffy mailer）、封筒、シリンダ形状（円柱など）、三角柱、直方体以外の四角柱、五角柱、六角柱、タイヤ（又はトロイドとして近似できる他の形状)などの、任意の適切な非直方体形状の周囲の境界ボックスを識別することができる。幾つかの実施形態では、３Ｄセンサ１５０は、物体を直方体形状又は非直方体形状として分類するように構成でき、直方体形状の場合は物体の角を識別し、非直方体形状の場合は直方体境界ボックスの角を識別できる。幾つかの実施形態では、３Ｄセンサ１５０は、物体を、（例えば、直方体、円柱、三角柱、六角柱、クッション付き封筒、ポリ袋、タイヤなどの）共通物体のグループ内の特定のクラスに分類するように構成できる。幾つかのそのような実施形態では、３Ｄセンサ１５０は、分類された形状に基づいて境界ボックスを決定するように構成することができる。幾つかの実施形態では、３Ｄセンサ１５０は、ソフトサイド封筒、（例えば、四つの角がある）ピラミッド型、（例えば、６つの角を有する三角柱、直方体ではない四角柱、１０の角を有する五角柱、１２の角を有する六角柱などの）その他の角柱などの、非直方体形状の３Ｄ座標を決定できる。
【0023】
追加的に又は代替的に、幾つかの実施形態では、３Ｄセンサ１５０は、生データ（例えば、点群データ、距離データなど）を、物体の１つ又は複数の点の３Ｄ座標を決定できる（例えば、後述する画像処理装置１３２、１つ又は複数の撮像装置などの）制御装置に提供することができる。
【0024】
幾つかの実施形態では、運動測定装置１５２（例えば、エンコーダ）は、コンベヤ１１６及び撮像装置１１２にリンクされ、コンベヤ１１６の移動量を示す電子信号を撮像装置１１２及び／又は画像処理装置１３２に提供することができ、そして 物体１１８ｄ、１１８ｅは、既知の時間にわたってその上に支持される。これは、例えば、関連する撮像装置（例えば、撮像装置１１２）の視野に対する物体の計算された位置に基づいて、特定の物体（例えば、物体１１８ｄ、１１８ｅ）の画像の取り込みを調整するために役立つかもしれない。幾つかの実施形態では、運動測定装置１５２は、矢印１５４の方向に沿ったコンベヤ１１６の位置を識別するために使用できるパルスカウントを生成するように構成されてもよい。例えば、運動測定装置１５２は、コンベヤ１１６上の物体（例えば、物体１１８ｄ、１１８ｅ）の位置を識別し追跡するために、画像処理装置１３２にパルスカウントを提供してもよい。幾つかの実施形態では、運動測定装置１５２は、コンベヤ１１６が矢印１５４の方向に所定の距離（パルスカウント距離）移動するたびに、パルスカウントを増加させることができる。幾つかの実施形態では、物体の位置は、初期位置、パルス数の変化、及びパルス数の距離に基づいて決定できる。
【0025】
図１Ａに戻り、幾つかの実施形態では、各撮像装置（例えば、撮像装置１１２）は、コンベヤ１１６によって支持される物体（例えば、物体１１８）の各角の３Ｄ位置の撮像装置によってキャプチャされた画像内の２Ｄ位置にへのマッピングを容易にするために、（例えば、図１２Ａから１２Ｃに関連して以下に説明するように）校正可能である。操向可能なミラーを含む幾つかの実施形態では、そのような校正は、操向可能なミラーを特定の方向に向けて実行することができる。
【0026】
幾つかの実施形態では、画像処理装置１３２（又は制御装置）は、システム１００の様々なコンポーネントの動作を調整することができる。例えば、画像処理装置１３２は、３Ｄセンサ（例えば、図１Ｂに示される３Ｄセンサ（又はディメンショナ）１５０）にコンベヤ１１６上に位置する物体の寸法を取得させることができ、撮像装置１１２に各面の画像を取り込ませることができる。幾つかの実施形態では、画像処理装置１３２は、例えば、操向可能なミラーを制御する、（例えば、物体が撮像装置の視野内にあると予想されるとき）トリガ信号を提供して特定の時間に撮像装置に画像をキャプチャさせる、などによって、各撮像装置の詳細な動作を制御することができる。或いは、幾つかの実施形態では、他の装置（例えば、各撮像装置に含まれるプロセッサ、別個のコントローラ装置など）は、各撮像装置の詳細な動作を制御することができる。例えば、画像処理装置１３２（及び／又は他の適切な装置）は、各撮像装置及び／又は３Ｄセンサ（例えば、図１Ｂに示される３Ｄセンサ（又はディメンショナ）１５０）にトリガ信号を提供することができ、各撮像装置のプロセッサは、トリガに応答して所定の関心領域にわたる事前に指定された画像取得シーケンスを実行するように構成することができる。尚、システム１００は、物体の表面を照らすために１つ又は複数の光源（図示せず）を含むこともでき、そのような光源の動作も中央装置（例えば、画像処理装置１３２）によって調整でき、及び／又は、制御を分散化できる（例えば、撮像装置は１つ又は複数の光源の動作を制御することができ、１つ又は複数の光源に関連付けられたプロセッサは光源の動作を制御することができる、など）。例えば、幾つかの実施形態では、システム１００は、単一のトリガイベントの一部としてなど、物体の複数の面の画像を同時に（例えば、同時に又は共通の時間間隔にわたって）取得するように構成することができる。例えば、各撮像装置１１２は、共通の時間間隔にわたって１つ又は複数の画像のそれぞれのセットを取得するように構成されることができる。追加的に又は代替的に、幾つかの実施形態では、撮像装置１１２は、単一のトリガイベントに基づいて画像を取得するように構成することができる。例えば、物体１１８が撮像装置１１２のＦＯＶに入ったことを判定するセンサ（例えば、接触センサ、存在センサ、撮像装置など）に基づいて、撮像装置１１２は、物体１１８の各面の画像を同時に取得することができる。
【0027】
幾つかの実施形態では、各撮像装置１１２は、コンベヤ１１６によって支持される物体（例えば、物体１１８）の特定の面のＦＯＶ又は様々なＦＯＶを描写する一組の画像を生成することができる。幾つかの実施形態では、（例えば、コンベヤ上の複数の箱を示す図１３Ａ及び１３Ｂに関連して以下に説明するように）画像処理装置１３２は、物体１１８の１つ又は複数の角の３Ｄ位置を、各撮像装置によって出力された画像セット内の各画像内の２Ｄ位置にマッピングすることができる。幾つかの実施形態では、画像処理装置は、各角の２Ｄ位置に基づき、画像のどの部分が各面に関連付けられているかを識別するマスク（例えば、１は特定の面の存在を示し、０は特定の面の不在を示すビットマスク）を生成できる。幾つかの実施形態では、目標物体（物体１１８ａなど）の１つ又は複数の角の３Ｄ位置とコンベヤ１１６上の目標物体１１８ａの前にある物体１１８ｃ（先行物体）の１つ又は複数の角の３Ｄ位置及び／又はコンベヤ１１６上の目標物体１１８ａの後にある物体１１８ｂ（後続物体）の１つ又は複数の角の３Ｄ位置は、各撮像装置によって出力される画像セット内の各画像内の２Ｄ位置にマッピングされてもよい。従って、画像が複数の物体（１１８ａ、１１８ｂ、１１８ｃ）を捉えている場合、画像内の各物体の１つ又は複数の角を２Ｄ画像にマッピングすることができる。
【0028】
幾つかの実施形態では、画像処理装置１３２は、画像の３Ｄ座標空間から画像座標空間への物体の角のマッピング、又は、例えば、複数の平面（例えば、各平面は面に対応し、複数の平面の交差部分はエッジと角を表す）、高さ、幅、奥行きに関連付けられた単一の角の座標、複数のポリゴンなど、面を示すことができるその他の適切な情報に基づいて、画像内のどの物体１１８がシンボル１２０を含むかを識別することができる。例えば、取り込まれた画像内のシンボルが物体の角のマッピングされた２Ｄ位置内にある場合、画像処理装置１３２は、画像内のシンボルが物体上にあると判断することができる。別の例として、画像処理装置１３２は、物体の角の２Ｄ位置に基づいて、物体のどの表面にシンボルが含まれているかを識別することができる。幾つかの実施形態では、所与の画像の特定の撮像装置ＦＯＶから見える各表面は、どの表面が互いに交差するかに基づいて決定されてもよい。幾つかの実施形態では、画像処理装置１３２は、２つ以上の物体（例えば、物体の表面）が画像内で重なり合う（すなわち、オクルージョン）ときを識別するように構成されてもよい。一例では、（図８Ａに関して以下で更に説明するように）重なり合う物体は、画像内の物体の表面が互いに交差するか、又は所定のマージンが与えられれば交差するかどうかに基づいて決定されてもよい。幾つかの実施形態では、識別されたシンボルを含む画像に２つ以上の重なり合う物体が含まれる場合、撮像装置のＦＯＶの相対位置及び／又は画像からの２Ｄ画像データを使用して、物体の重なり合う表面を解決することができる。例えば、画像の画像データは、画像処理方法を使用して画像内の１つ又は複数の物体のエッジ（又は物体の表面）を決定するために使用され、決定されたエッジを使用して、シンボルが特定の物体上に配置されているかどうかを決定できる。幾つかの実施形態では、画像処理システム１３２はまた、撮像装置１１２によってキャプチャされた一組の画像内で識別された一組のシンボル内の各シンボルについてのシンボル割り当て結果を集約して、識別された各シンボルについてのシンボル割り当て結果間に矛盾があるかどうかを判定するように構成されてもよい。例えば、複数の画像で識別されるシンボルの場合、そのシンボルは、そのシンボルが表示される少なくとも１つの画像で異なるように割り当てられるかもしれない。幾つかの実施形態では、競合する割り当て結果を持つシンボルについて、シンボルの割り当て結果に物体が重ならない画像の割り当て結果が含まれる場合、画像処理システム１３２は、物体が重ならない画像の割り当て結果を選択するように構成されてもよい。幾つかの実施形態では、信頼（confidence）レベル（又はスコア）は、特定の画像のシンボルに対するシンボル割り当てに対して決定されてもよい。
【0029】
上記のように、１つ又は複数の固定ミラー及び／又は操向可能なミラーを使用して、１つ又は複数の撮像装置のＦＯＶを方向転換することができる。これにより、撮像装置とトンネル１０２内の物体との間の垂直方向又は横方向の距離を短縮することが容易になるかもしれない。図２Ａは、本技術の一実施形態による、物体の各面の複数の画像をキャプチャし、物体にコードを割り当てるシステムの別の例を示す。システム２００は、トンネル構成２０２内に、撮像装置２１２、２１４、２１６、２１８、２２０、２２２の複数のバンクと複数のミラー２２４、２２６、２２８、２３０を含む。例えば、図２Ａに示される撮像装置のバンクは、左後続バンク２１２、左先行バンク２１４、上部後続バンク２１６、上部先行バンク２１８、右後続バンク２２０、及び右先行バンク２２２を含む。図示の実施形態では、各バンク２１２、２１４、２１６、２１８、２２０、２２２は、物体（例えば、物体２０８ａ）の１つ又は複数の面の画像及び物体の１つ又は複数の面の様々なＦＯＶをキャプチャするように構成された４つの撮像装置を含む。例えば、上部先行バンク２１６及びミラー２２８は、撮像装置２３４、２３６、２３８、及び２４０を使用して物体の上面及び背面の画像をキャプチャするように構成されてもよい。図示の実施形態では、撮像装置２１２、２１４、２１６、２１８、２２０、２２２のバンク及びミラー２２４、２２６、２２８、２３０は、コンベヤ２０４の上の支持構造２４２に機械的に結合することができる。尚、バンク撮像装置２１２、２１４、２１６、２１８、２２０、２２２の互いに対する図示の取り付け位置は有利であるかもしれないが、幾つかの実施形態では、物体の異なる面を撮像するための撮像装置は、図２Ａに示す位置に対して再配向することができる（例えば、撮像装置をオフセットさせることができる、撮像装置を面ではなく角に配置することができる、など）。同様に、物体の１つ又は複数の面から画像データを取得するようにそれぞれ構成されたバンクごとに４つの撮像デバイスを使用することに関連する利点があるものの、幾つかの実施形態では、異なる撮像装置の数又は配置、異なる鏡の配置（例えば、操向可能なミラーの使用、追加の固定ミラーの使用など）を使用して、物体の複数の面の画像を取得するように特定の撮像装置を構成することができる。幾つかの実施形態では、撮像装置は、同じシステムに含まれる他の撮像装置に対して重複する取得領域を含む、物体の複数の面の画像を取得する専用にすることができる。
【0030】
幾つかの実施形態では、システム２００は、３Ｄセンサ（又はディメンショナ）２０６及び画像処理装置２３２も含む。上記説明したように、複数の物体２０８ａ、２０８ｂ、及び２０８ｃがコンベヤ２０４内に支持され、矢印２１０によって示される方向に沿ってトンネル２０２を通って移動することができる。幾つかの実施形態では、撮像装置２１２、２１４、２１６、２１８、２２０、２２２の各バンク（及びバンク内の各撮像装置）は、コンベヤ２０４によって支持される物体（例えば、物体２０８ａ）の特定の面のＦＯＶ又は様々なＦＯＶを描写する一連の画像を生成することができる。図２Ｂは、本技術の一実施形態による、図２Ａのシステム内の撮像装置のバンクから取得された画像のセットの例を示す。図２Ｂにおいて、一連の撮像装置を使用してコンベヤ上の物体（例えば、物体２０８ａ）をキャプチャした画像セット２６０の例が示されている。図示の例では、画像のセットは、撮像装置２３４、２３６、２３８、２４０とミラー２２８を使用して物体（例えば、物体２０８ａ）の上面及び背面の画像をキャプチャするように構成されている撮像装置２１６の上部後続バンクによって取得されている（図２Ａに示す）。画像セット２６０の例はグリッドとして示されており、各列は撮像装置バンクの撮像装置２３４、２３６、２３８、及び２４０のうちの１つを使用して取得された画像を表す。各行は、第１の物体２６２（例えば、先行物体）、第２の物体２６３（例えば、目標物体）及び第３の物体２６４（例えば、後続物体）が、トンネル（例えば、図２Ａに示すトンネル２０２）を通って移動するときに、特定の時点で撮像装置２３４、２３６、２３８、及び２４０のそれぞれによって取得された画像を表す。例えば、行２６６は、第１の時点でバンク内の各撮像装置によって取得された第１の画像を示し、行２６８は、第２の時点でバンク内の各撮像装置によって取得された第２の画像を示し、行２７０は、第３の時点でバンク内の各撮像装置によって取得された第３の画像を示し、行２７２は、第４の時点でバンク内の各撮像装置によって取得された第４の画像を示し、行２７２は、第５の時点でバンク内の各撮像装置によって取得された第５の画像を示し、図示の例では、コンベヤ上の第１の物体２６２と第２の物体２６３の間及び第２の物体２６３と第３の物体２６４の間の隙間のサイズに基づいて、第１の物体２６２は、第５の画像２７４内の第２の（又は目標）物体２６３について取得された第１の画像に現れ、第３の物体２６４は、第５の画像２７４内の第２の（又は目標）物体２６３について取得された画像に現れ始める。
【0031】
幾つかの実施形態では、（例えば、図１２Ａから１２Ｃに関連して以下に説明するように）各撮像装置（例えば、撮像装置バンク２１２、２１４、２１６、２１８、２２０、２２２内の撮像装置）を校正することができ、コンベヤ２０４によって支持される物体（例えば、物体２０８）の各角の３Ｄ位置の撮像装置によってキャプチャされた画像内の２Ｄ位置へのマッピングを容易にする。
【0032】
尚、ただし、図１Ａ～図２Ａは、移動可能な動的支持構造（例えば、コンベヤ１１６、コンベヤ２０４）を示すものの、幾つかの実施形態では、静止支持構造は、１つ又は複数の撮像装置によって撮像される物体を支持するために使用されてもよい。図３は、本技術の一実施形態による、物体の各面の複数の画像をキャプチャし、物体にシンボルを割り当てるシステムの別の例を示す。幾つかの実施形態では、システム３００は、複数の撮像装置３０２、３０４、３０６、３０８、３１０、及び３１２を含むことができ、それぞれは、1つ又は複数のイメージセンサ、少なくとも1つのレンズ構成、及びイメージセンサに対して計算操作を実行するように構成される少なくとも1つの制御装置（例えば、プロセッサデバイス）を含むことができる。幾つかの実施形態では、撮像装置３０２、３０４、３０６、３０８、３１０、及び／又は３１２は、操向可能なミラーを含む、及び／又は、操向可能なミラーと関連付けることができる（例えば、２０２０年１０月１３日に出願された米国特許出願第１７／０７１，６３６号に記載されており、その全体が参照により本明細書に援用される）。撮像装置３０２、３０４、３０６、３０８、３１０、及び／又は３１２のそれぞれは、関連する操向可能ミラーの異なる方向に対応して、異なる視野（ＦＯＶ）から画像データを選択的に取得することができる。幾つかの実施形態では、システム３００を利用して、物体の各面の複数の画像を取得することができる。
【0033】
幾つかの実施形態では、システム３００は、画像取得のために提示された複数の物体の画像を取得するために使用することができる。例えば、システム３００は、撮像装置３０２、３０４、３０６、３０８、３１０、３１２のそれぞれを支持する支持構造と、撮像される１つ又は複数の物体３１８、３３４、３３６を支持するように構成されたプラットフォーム３１６とを含むことができる（尚、各物体３１８、３３４、３３６は、バーコード、ＱＲコード（登録商標）などの１つ以上のシンボルに関連付けられてもよい。）。例えば、１つ又は複数のロボットアーム（例えば、ロボットビンピッカー（robot bin picker））を含む搬送システム（図示せず）を使用して、（例えば、ビン又は他のコンテナ内の）複数の物体をプラットフォーム３１６上に配置してもよい。幾つかの実施形態では、支持構造はケージ型支持構造として構成することができる。しかしながら、これは単なる一例であり、支持構造は様々な構成で実現することができる。幾つかの実施形態では、支持プラットフォーム３１６は、支持プラットフォーム３１６によって支持される１つ又は複数の物体の底面（例えば、プラットフォーム３１６上に接する、物体（例えば、物体３１８、３３４、又は３３６）の面）の撮像を容易にするように構成されてもよい。例えば、支持プラットフォーム３１６は、透明なプラットフォーム、メッシュ又はグリッドプラットフォーム、オープンセンタープラットフォーム、又は任意の他の適切な構成を使用して実装することができる。支持プラットフォーム３１６の存在を除けば、底面の画像の取得は、物体の他の面の取得と実質的に同様であることができる。
【0034】
幾つかの実施形態では、撮像装置３０２、３０４、３０６、３０８、３１０、及び／又は３１２は、撮像装置のＦＯＶを使用して支持プラットフォーム３１６上に置かれた物体の特定の面の画像を取得できるように配向することができ、これによって、支持プラットフォーム３１６上に配置され、支持プラットフォーム３１６によって支持された物体（例えば、物体３１８）の各面が、撮像装置３０２、３０４、３０６、３０８、３１０、及び／又は３１２によって撮像されてもよい。例えば、撮像装置３０２は、支持プラットフォーム３１６上の支持構造に機械的に結合することができ、支持プラットフォーム３１６の上面に向けて配向することができ、撮像装置３０４は、支持プラットフォーム３１６の下の支持構造に機械的に結合することができ、撮像装置３０６、３０８、３１０、及び／又は３１２はそれぞれ、支持構造の側面に機械的に結合することができ、これにより、撮像装置３０６、３０８、３１０、及び／又は３１２のそれぞれのＦＯＶが支持プラットフォーム３１６の側面（lateral side）に面する。
【0035】
幾つかの実施形態では、各撮像装置は、（例えば、操縦可能なミラーが中立位置にあるとき）他の１つの撮像装置と略平行であり、それ以外の撮像装置に対して垂直な光軸を有するように構成することができる。例えば、撮像装置３０２及び３０４は、（例えば、撮像装置が実質的に平行な光軸を有するように）互いに向かい合うように構成することができ、他の撮像装置は、撮像装置３０２及び３０４の光軸と直交する光軸を有するように構成することができる。
【0036】
尚、撮像装置３０２、３０４、３０６、３０８、３１０、及び３１２のそれぞれに対する図示の取り付け位置は有利でありうるものの、幾つかの実施形態では、物体の異なる面を撮像するための撮像装置は、図３に示す位置に対して再配向することができる（例えば、撮像装置をオフセットさせることができ、撮像装置を面ではなく角に配置することができる、など）。同様に、一方、それぞれが物体のそれぞれの面（例えば、物体１１８の６つの面）から画像データを取得するように構成された６つの撮像装置を使用することに関連する利点（例えば、取得速度の向上）が存在しうるものの、幾つかの実施形態では、撮像装置の異なる数又は配置、ミラーの異なる配置（例えば、固定ミラーの使用、追加の可動ミラーの使用など）を使用して、物体の複数の面の画像を取得するように特定の撮像装置を構成することができる。例えば、撮像装置３０６及び３１０が物体３１８の裏側の画像をキャプチャできるように配置された固定ミラーを、撮像装置３０８及び３１２の代わりに使用することができる。
【0037】
幾つかの実施形態では、システム３００は、プラットフォーム３１６上の複数の物体３１８、３３４、３３６のそれぞれを画像化するように構成されてもよい。しかしながら、物体のうちの１つ（例えば、物体３１８）の撮像中に、プラットフォーム３１６上に複数の物体（例えば、物体３１８、３３４、３３６）が存在することにより、特定の物体のシンボルの分析を含め、撮像装置３０２、３０４、３０６、３０８、３１０、及び／又は３１２によって取り込まれた結果として得られる画像の有用性に影響を与える可能性がある。例えば、撮像装置３０６が物体３１８の１つ以上の表面の画像をキャプチャするために使用されるとき、物体３３４及び３３６（例えば、物体３３４及び３３６の１つ又は複数の表面）は、画像内に現れ、撮像装置３０６によってキャプチャされた画像内の物体３１８と重なってもよい。従って、検出されたシンボルが特定の物体に対応するかどうか（つまり、シンボルが物体にある、又は、ない（"or" or "off"）かについて）を判断するのは難しい場合がある。
【0038】
幾つかの実施形態では、システム３００は、３Ｄセンサ（又はディメンショナ）３３０を含むことができる。図１Ａ、１Ｂ、及び２Ａに関して上記説明したように、３Ｄセンサは、支持構造３１６によって支持される物体（例えば、物体３１８、３３４、又は３３６）の寸法及び／又は位置を決定するように構成されることができる。上述のように、幾つかの実施形態では、３Ｄセンサ３３０は、システム３００の１つ又は複数の部分を参照して定義された座標空間内の物体の各角の３Ｄ座標を決定することができる。例えば、３Ｄセンサ３３０は、３Ｄセンサ３３０を原点として定義されたデカルト座標空間内で、少なくともほぼ直方体である物体の８つの角のそれぞれの３Ｄ座標を決定することができる。他の例として、３Ｄセンサ３３０は、支持プラットフォーム３１６に関して定義された（例えば、支持プラットフォーム３１６の中心を起点とする原点を有する）デカルト座標空間内で、少なくともほぼ直方体である物体の８つの角のそれぞれの３Ｄ座標を決定できる。更に他の例として、３Ｄセンサ３３０は、（例えば、支持プラットフォーム３１６に関して定義される、３Ｄセンサ３３０に関して定義される、などの）適切なデカルト座標空間内で、直方体形状ではない物体の（例えば、８つの角を有する）境界ボックスの３Ｄ座標を決定することができる。例えば、３Ｄセンサ３３０は、ポリ袋、クッション付き封筒（jiffy mailer）、封筒、シリンダ形状（円柱など）、三角柱、直方体以外の四角柱、五角柱、六角柱、タイヤ（又はトロイドとして近似できる他の形状)などの、任意の適切な非直方体形状の周囲の境界ボックスを識別することができる。幾つかの実施形態では、３Ｄセンサ３３０は、物体を直方体形状又は非直方体形状として分類するように構成でき、直方体形状の場合は物体の角を識別し、非直方体形状の場合は直方体境界ボックスの角を識別できる。幾つかの実施形態では、幾つかの実施形態では、３Ｄセンサ３３０は、物体を、（例えば、直方体、円柱、三角柱、六角柱、クッション付き封筒、ポリ袋、タイヤなどの）共通物体のグループ内の特定のクラスに分類するように構成できる。幾つかのそのような実施形態では、３Ｄセンサ３３０は、分類された形状に基づいて境界ボックスを決定するように構成することができる。幾つかの実施形態では、３Ｄセンサ３３０は、（例えば、四つの角がある）ソフトサイド封筒、ピラミッド型、（例えば、６つの角を有する三角柱、直方体ではない四角柱、１０の角を有する五角柱、１２の角を有する六角柱など）その他の角柱などの、非直方体形状の３Ｄ座標を決定できる。
【0039】
追加的に又は代替的に、幾つかの実施形態では、３Ｄセンサ（又はディメンショナ）３３０は、生データ（例えば、点群データ、距離データなど）を、物体の１つ又は複数の点の３Ｄ座標を決定できる（例えば、後述する制御装置３３２、１つ又は複数の撮像装置などの）制御装置に提供することができる。
【0040】
幾つかの実施形態では、（例えば、図１２Ａ～図１２Ｃに関連して以下に説明するように）各撮像装置（例えば、撮像装置３０２、３０４、３０６、３０８、３１０、及び３１２）を校正することができ、支持プラットフォーム３１６によって支持される物体（例えば、物体３１８）の各角の３Ｄ位置を特定の方向において操向可能を使ってミラー撮像装置によってキャプチャされた画像内の２Ｄ位置にマッピングすることを容易にする。
【0041】
幾つかの実施形態では、画像処理装置３３２は、撮像装置３０２、３０４、３０６、３０８、３１０、及び／又は３１２の動作を調整することができ、及び／又は、図１Ａの画像処理装置１３２及び／又は図４に関連して以下で説明する画像処理装置４１０に関連して上述したように画像処理タスクを実行することができる。例えば、画像処理装置３３２は、例えば、シンボルに関連付けられた画像の３Ｄ座標空間から２Ｄ画像座標空間への物体の３Ｄ角のマッピングに基づいて、画像内のどの物体がシンボルを含むかを識別することができる。
【0042】
図４は、本技術の一実施形態による、物体の複数の面の画像を生成するシステムの例４００を示す。図４に示すように、画像処理装置４１０（例えば、画像処理装置１３２）は、複数の撮像装置４０２（例えば、図１Ａに関連して上述した撮像装置１１２ａ、１１２ｂ、及び１１２ｃ、図２Ａ～図２Ｂに関連して上述した撮像装置バンク２１２、２１４、２１６、２１８、２２０、２２２内の撮像装置、及び／又は図３に関連して上述した撮像装置３０２、３０４、３０６、３０８、３１０、３１２）から、画像及び／又は各画像に関する情報（例えば、画像に関連付けられた２Ｄ位置）を受信することができる。更に、画像処理装置４１０は、撮像装置４０２によって撮像された物体に関する寸法データを、寸法感知システム４１２（例えば、３Ｄセンサ（又はディメンショナ）１５０、３Ｄセンサ（又はディメンショナ）２０６、３Ｄセンサ（又はディメンショナ）３３０）から受信することができ、寸法感知システム４１２は、画像処理装置４１０にローカルに接続されてもよく、及び／又は、ネットワーク接続を介して（例えば、通信ネットワーク４０８を介して）接続されてもよい。画像処理装置４１０は、物体が移動した距離を決定するために使用できる、特定の期間（例えば、寸法が決定されてから物体の各画像が生成されるまでの間）にわたるコンベヤの動きを示す値を出力するように構成されたエンコーダ（図示せず）などの、他の任意の適切な運動測定装置から入力を受信することもできる。画像処理装置４１０はまた、物体を照明するように構成された１つ又は複数の光源（図示せず）（例えば、フラッシュ、投光器など）などの１つ又は複数の他の装置の動作を調整することもできる。
【0043】
幾つかの実施形態では、画像処理装置４１０は、シンボル割り当てシステム４０４の少なくとも一部を実行して、物体の面に関連付けられた画像のグループを使用して物体にシンボルを割り当てることができる。追加的に又は代替的に、画像処理装置４１０は、任意の適切な技術又は技術の組み合わせを使用して撮像装置４０２によって撮像された物体に関連付けられるシンボル（例えば、バーコード、ＱＲコード（登録商標）、テキストなど）を、シンボル復号化システム４０６の少なくとも部分を実行して、識別及び／又は復号することができる。
【0044】
幾つかの実施形態では、画像処理装置４１０は、シンボル割り当てシステム４０４の少なくとも一部を実行して、本明細書で説明されるメカニズムを使用して物体にシンボルをより効率的に割り当てることができる。
【0045】
幾つかの実施形態では、画像処理装置４１０は、画像データ（例えば、撮像装置４０２から受信した画像）及び／又は寸法感知システム４１２から受信したデータを、通信ネットワーク４０８を介してサーバ４２０に通信することができ、サーバ４２０は、画像アーカイブシステム４２４及び／又はモデルレンダリングシステム４２６の少なくとも部分を実行することができる。幾つかの実施形態では、幾つかの実施形態では、サーバ４２０は、画像アーカイブシステム４２４を使用して、画像処理装置４１０から受信した画像データを保存することができる（例えば、物体が損傷していると報告された場合の検索及び検査のために、シンボル復号化システム４０６によって読み取れなかったシンボルを復号化する試みや、物体に関連付けられたテキストから情報を抽出する試みなどの更なる分析のため）。追加的に又は代替的に、幾つかの実施形態では、サーバ４２０は、モデルレンダリングシステム４２６を使用して、ユーザに提示する物体の３Ｄモデルを生成することができる。
【0046】
幾つかの実施形態では、画像処理装置４１０及び／又はサーバ４２０は、デスクトップコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、ウェアラブルコンピュータ、サーバーコンピュータ、物理コンピューティングデバイスによって実行される仮想マシンなどの任意の適切なコンピューティング装置又は装置の組み合わせであることができる。
【0047】
幾つかの実施形態では、撮像装置４０２は、任意の適切な撮像装置とすることができる。例えば、それぞれは、少なくとも１つのイメージングセンサ（例えば、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ、又は他の適切なセンサ）、少なくとも１つのレンズ配置、及びメージングセンサに関する計算操作を実行するように構成された少なくとも１つの制御装置（例えば、プロセッサデバイス）を含む。幾つかの実施形態では、レンズ構成には固定焦点レンズを含めることができる。追加的に又は代替的に、レンズ構成は、液体レンズ又は機械的に調整される既知のタイプのレンズなどの調整可能な焦点レンズを含むことができる。追加的に、幾つかの実施形態では、撮像装置３０２は、撮像装置のＦＯＶの方向を調整するために使用できる操向可能なミラーを含むことができる。幾つかの実施形態では、１つ又は複数の撮像装置４０２は、ＦＯＶ内の物体を照明するように構成される光源（例えば、米国特許出願公開第２０１９／０３３３２５９号に記載の、フラッシュ、高輝度フラッシュ、光源など）を含むことができる。
【0048】
幾つかの実施形態では、寸法感知システム４１２は、任意の適切な寸法感知システムとすることができる。例えば、寸法感知システム４１２は、３Ｄカメラ（例えば、構造化光（structured light）３Ｄカメラ、連続飛行時間型（continuous time of flight）３Ｄカメラなど）を使用して実装することができる。他の例として、寸法感知システム４１２は、レーザ走査システムを使用して実装できる（例えば、ＬｉＤＡＲシステム）。幾つかの実施形態では、寸法感知システム４１２は、任意の適切な座標空間において寸法及び／又は３Ｄ位置を生成することができる。
【0049】
幾つかの実施形態では、撮像装置４０２及び／又は寸法感知システム４１２は、画像処理装置４１０に対してローカルであることができる。例えば、撮像装置４０２は、ケーブル、直接無線リンクなどによって画像処理装置４１０に接続することができる。他の例として、寸法感知システム４１２は、ケーブル、直接無線リンクなどによって画像処理装置４１０に接続することができる。追加的に又は代替的に、幾つかの実施形態では、撮像装置４０２及び／又は寸法感知システム４１２は、画像処理装置４１０からローカル及び／又は遠隔に配置することができ、（例えば、画像データ、寸法、及び／又は位置データなどの）データを通信ネットワーク（例えば、通信ネットワーク４０８）を介して画像処理装置４１０（及び／又はサーバ４２０）に通信することができる。幾つかの実施形態では、１つ又は複数の撮像装置４０２、寸法感知システム４１２、画像処理装置４１０、及び／又は他の任意の適切なコンポーネントは、単一の装置として（例えば、共通のハウジング内に）統合することができる。
【0050】
幾つかの実施形態では、通信ネットワーク４０８は、任意の適切な通信ネットワーク又は通信ネットワークの組み合わせであることができる。例えば、通信ネットワーク４０８は、（１つ又は複数の無線ルータ、１つ又は複数のスイッチなどを含むことができる）Ｗｉ－Ｆｉ（登録商標）ネットワーク、ピアツーピアネットワーク（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）ネットワーク）、セルラーネットワーク（例えば、ＣＤＭＡ、ＧＳＭ、ＬＴＥ（登録商標）、ＬＴＥ Ａｄｖａｎｃｅｄ、ＮＲなどの適切な規格に準拠する、３Ｇネットワーク、４Ｇネットワーク、５Ｇネットワークなど）、有線ネットワークなどを含むことができる。幾つかの実施形態では、幾つかの実施形態では、通信ネットワーク４０８は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、公衆ネットワーク（例えば、インターネット）、プライベート又は半プライベートネットワーク（例えば、企業又は大学のイントラネット）、他の適切なタイプのネットワーク、又はネットワークの適切な組み合わせであることができる。図４に示す通信リンクは、それぞれ、有線リンク、光ファイバリンク、Ｗｉ－Ｆｉ（登録商標）リンク、Ｂｌｕｅｔｏｏｔｈ（登録商標）リンク、セルラーリンクなどの任意の適切な通信リンク又は通信リンクの組み合わせであることができる。
【0051】
図５は、開示された主題の幾つかの実施形態による、図４に示す画像処理装置、サーバ、撮像装置を実現するために使用できるハードウェアの例５００を示す。図５は、開示された主題の幾つかの実施形態による、画像処理装置４１０、サーバ４２０、及び／又は撮像装置４０２を実現するために使用できるハードウェアの例５００を示す。図５に示されるように、幾つかの実施形態では、画像処理装置４１０は、プロセッサ５０２、ディスプレイ５０４、１つ又は複数の入力５０６、１つ又は複数の通信システム５０８、及び／又はメモリ５１０を含むことができる。幾つかの実施形態では、プロセッサ５０２は、中央処理装置（central processing unit（ＣＰＵ））、グラフィックス処理装置（graphics processing unit（ＧＰＵ））、特定用途向け集積回路（application specific integrated circuit（ＡＳＩＣ））、フィールドプログラマブルゲートアレイ（field-programmable gate array（ＦＰＧＡ））などの、任意の適切なハードウェアプロセッサ又はプロセッサの組み合わせであることができる。幾つかの実施形態では、ディスプレイ５０４は、コンピュータモニタ、タッチスクリーン、テレビなどの任意の適切な表示装置を含むことができる。幾つかの実施形態では、ディスプレイ５０４は省略可能である。幾つかの実施形態では、入力５０６は、キーボード、マウス、タッチスクリーン、マイクなどの、ユーザ入力を受信するために使用できる任意の適切な入力デバイス及び／又はセンサを含むことができる。幾つかの実施形態では、入力５０６は省略可能である。
【0052】
幾つかの実施形態では、通信システム５０８は、通信ネットワーク４０８及び／又は他の任意の適切な通信ネットワークを介して情報を通信するための任意の適切なハードウェア、ファームウェア、及び／又はソフトウェアを含むことができる。例えば、通信システム５０８は、１つ又は複数のトランシーバ、１つ又は複数の通信チップ及び／又はチップセットなどを含むことができる。より特定の例では、通信ネットワーク４０８は、Ｗｉ－Ｆｉ（登録商標）接続、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続、セルラー接続、イーサネット（登録商標）接続などを確立するために使用できるハードウェア、ファームウェア、及び／又はソフトウェアを含むことができる。
【0053】
幾つかの実施形態では、メモリ５１０は、例えばプロセッサ５０２によって、コンピュータービジョンタスクを実行するため、ディスプレイ５０４を使用してコンテンツを提示するため、通信システム５０８などを介してサーバ４２０及び／又は撮像装置４０２と通信するために使用できる命令、値などを記憶するために使用できる任意の適切な記憶装置を含むことができる。メモリ５１０は、任意の適切な揮発性メモリ、不揮発性メモリ、ストレージ、又はそれらの任意の適切な組み合わせを含むことができる。例えば、メモリ５１０は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、電子的に消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、１つ又は複数のフラッシュドライブ、１つ又は複数のハードディスク、１つ又は複数のソリッドステートドライブ、１つ又は複数の光学ドライブなどを含むことができる。幾つかの実施形態では、メモリ５１０には、画像処理装置４１０の動作を制御するためのコンピュータプログラムを符号化することができる。例えば、そのような実施形態では、プロセッサ５０２は、コンピュータプログラムの少なくとも部分を実行して、物体の表面を描写する合成画像を生成し、画像データをサーバ４２０に送信し、１つ又は複数のシンボルを復号するなどすることができる。他の例として、プロセッサ５０２は、コンピュータプログラムの少なくとも部分を実行して、シンボル割り当てシステム４０４及び／又はシンボル復号化システム４０６を実装することができる。更に別の例として、プロセッサ５０２は、図６Ａ、６Ｂ、及び／又は６Ｃに関連して以下に説明されるプロセス６００、６３０、及び／又は６６０の少なくとも部分を実行することができる。
【0054】
幾つかの実施形態では、サーバ４２０は、プロセッサ５１２、ディスプレイ５１４、１つ又は複数の入力５１６、１つ又は複数の通信システム５１８、及び／又はメモリ５２０を含むことができる。幾つかの実施形態では、プロセッサ５１２は、ＣＰＵ、ＧＰＵ、ＡＳＩＣ、ＦＰＧＡなどの任意の適切なハードウェアプロセッサ又はプロセッサの組み合わせであってもよい。幾つかの実施形態では、ディスプレイ５１４は、コンピュータモニタ、タッチスクリーン、テレビなどの任意の適切な表示装置を含むことができる。幾つかの実施形態では、ディスプレイ５１４は省略可能である。幾つかの実施形態では、入力５１６は、キーボード、マウス、タッチスクリーン、マイクなどの、ユーザ入力を受信するために使用できる任意の適切な入力デバイス及び／又はセンサを含むことができる。幾つかの実施形態では、入力５１６は省略可能である。
【0055】
幾つかの実施形態では、通信システム５１８は、通信ネットワーク４０８及び／又は他の任意の適切な通信ネットワークを介して情報を通信するための任意の適切なハードウェア、ファームウェア、及び／又はソフトウェアを含むことができる。例えば、通信システム５１８は、１つ又は複数のトランシーバ、１つ又は複数の通信チップ、及び／又はチップセットなどを含むことができる。より特定の例では、通信システム５１８は、Ｗｉ－Ｆｉ（登録商標）接続、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続、セルラー接続、イーサネット（登録商標）接続などを確立するために使用できるハードウェア、ファームウェア、及び／又はソフトウェアを含むことができる。
【0056】
幾つかの実施形態では、メモリ５２０は、例えばプロセッサ５１２によって、ディスプレイ５１４を使用してコンテンツを提示するため、１つ又は複数の画像処理装置４１０と通信するためなどに使用できる命令、値などを記憶するために使用できる任意の適切な記憶装置を含むことができる。メモリ５２０は、任意の適切な揮発性メモリ、不揮発性メモリ、ストレージ、又はそれらの任意の適切な組み合わせを含むことができる。例えば、メモリ５２０は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、１つ又は複数のフラッシュドライブ、１つ又は複数のハードディスク、１つ又は複数のソリッドステートドライブ、１つ又は複数の光ドライブなどを含むことができる。幾つかの実施形態では、メモリ５２０には、サーバ４２０の動作を制御するためのサーバプログラムがエンコードされて保持されることができる。例えば、そのような実施形態では、プロセッサ５１２は、画像処理装置４１０（例えば、物体に関連付けられたシンボルからデコードされた値など）、画像装置４０２、及び／又は寸法感知システム４１２からデータを受信し、及び／又は、シンボル割り当てを保存することができる。他の例として、プロセッサ５１２は、コンピュータプログラムの少なくとも部分を実行して、画像アーカイブシステム４２４及び／又はモデルレンダリングシステム４２６を実装することができる。更に別の例として、プロセッサ５１２は、図６Ａ、６Ｂ、及び／又は６Ｃに関連して以下に説明するプロセス６００、６３０、及び／又は６６０の少なくとも部分を実行することができる。尚、図５には示されていないが、サーバ４２０は、画像処理装置４１０を使用して実装されるそのようなシステムに加えて、又はその代わりに、シンボル割り当てシステム４０４及び／又はシンボル復号化システム４０６を実装することができる。
【0057】
図６Ａは、本技術の一実施形態による、物体の複数の面の画像を使用して物体にシンボルを割り当てるプロセス６００を示す。ブロック６０２で、プロセス６００は、１つ又は複数の画像のセットから識別されたシンボルのセットを受信することができる。例えば、上述したように、例えばシステム１００、２００、又は３００を使用して１つ又は複数の物体から取得した画像を分析して、各画像内の任意のシンボルを識別し、識別されたシンボルを復号することができる。幾つかの実施形態では、識別されたシンボルのセット（リストなど）が生成されてよく、識別された各シンボルは、そのシンボルが識別された画像、画像をキャプチャするために使用される撮像装置、シンボルが識別された画像内のシンボルの２Ｄ位置と関連付けられてもよい。ブロック６０４で、識別されたシンボルのセット内の各シンボルに対して、プロセス６００は、３Ｄ位置を決定するために使用されるデバイスに関連付けられたトンネル座標空間、及び／又は、物理空間（例えば、図１Ａのコンベヤ１１６、図２Ａのコンベヤ２０４、又は図３の支持プラットフォーム３１６などのコンベヤ）に基づいて定義されたトンネル座標空間内において、物体の３Ｄ姿勢に対応する（例えば、角に対応する）点の３Ｄ位置を受け取ることができる。例えば、図１Ｂ、２Ａ、及び３に関連して上述したように、３Ｄセンサ（例えば、３Ｄセンサ（又はディメンショナ）１５０、２０６、３３０）は、対応する画像がキャプチャされたとき、及び／又は、物体が特定の場所（例えば、３Ｄセンサに関連付けられた場所）にあるとき、特定の時点において物体の角の位置を決定することができる。従って、幾つかの実施形態では、角の３Ｄ位置は、画像が撮像装置によってキャプチャされた特定の時点又は特定の位置に関連付けられる。別の例として、３Ｄセンサ（例えば、３Ｄセンサ（又はディメンショナ）１５０）は、物体の３Ｄ姿勢を示すデータを生成することができ、データ（例えば、点群データ、物体の高さ、物体の幅など）をプロセス６００に提供することができ、これにより、物体の１つ以上の点の３Ｄ位置を決定できる。幾つかの実施形態では、物体の角に対応する点の３Ｄ位置は、物体の３Ｄ姿勢を示す情報となりうる。例えば、座標空間内の物体の３Ｄ位置は、物体の角に対応するその座標空間内の点の３Ｄ位置に基づいて決定できる。以下の図６Ａ～１１の説明は仏体の角に対応する点の位置を参照するが、３Ｄ姿勢を示す他の情報（例えば、点群データ、物体の高さなど）が使用されてもよいことに留意すべきである。
【0058】
幾つかの実施形態では、３Ｄ位置は、３Ｄ位置を測定したデバイスに関連付けられた座標空間内の位置であってよい。例えば、図１Ｂ～図２Ａに関連して上述したように、３Ｄ位置は３Ｄセンサに関連付けられた（例えば、原点が３Ｄセンサ（又はディメンショナ）に位置する）座標空間で定義できる。別の例として、図１Ｂ～２Ａに関連して上記説明したように、３Ｄ位置は、動的サポート構造（例えば、コンベヤ１１６、２０４などのコンベヤ）に関連付けられた座標空間で定義できる。このような例では、３Ｄセンサによって測定された３Ｄ位置は、測定が行われた特定の時間、及び／又は動的支持構造に沿った特定の位置に関連付けることができる。幾つかの実施形態では、物体の画像がキャプチャされたときの物体の角の３Ｄ位置は、初期の３Ｄ位置、測定が行われてからの経過時間、及び経過時間中の物体の速度に基づいて導出することができる。追加的に又は代替的に、物体の画像がキャプチャされたときの物体の角の３Ｄ位置は、初期３Ｄ位置と、測定が行われてから物体が移動した距離（例えば、コンベヤの動きを直接測定する、図１Ｂに示す運動測定装置１５２などの運動測定装置を使用して記録される）に基づいて導き出すことができる。
【0059】
幾つかの実施形態では、プロセス６００は、物体の３Ｄ姿勢を示す生データ（例えば、点群データ、物体の高さ、物体の幅など）を受信することができ、生データを使用して物体の３Ｄ姿勢や物体についての１つ又は複数の特徴の位置（例えば、コーナー、エッジ、表面など）を決定できる。例えば、プロセス６００は、２０２２年５月１７日に発行され、その全体が参照により本明細書に援用される、米国特許第１１，３３５，０２１号に記載されている技術を利用して、物体の３Ｄ姿勢を示す生データから、（例えば、直方体物体、ポリ袋、封筒、クッション付き封筒（jiffy mailer）、及び直方体として近似できる物体について）物体の３Ｄポーズ、及び／又は、物体の１つ又は複数の特徴の位置を決定することができる。別の例として、プロセス６００は、２０２２年５月１２日に公開され、その全体が参照により本明細書に援用される米国特許出願公開第２０２２／０１４８１５３号に記載されている技術を利用して、物体の３Ｄ姿勢を示す生データから、（例えば、円筒形及び球形の物体について）物体の３Ｄ姿勢、及び／又は、物体の１つ又は複数の特徴の位置を決定する。
【0060】
ブロック６０６で、シンボルに関連付けられた画像内の物体ごとに、プロセス６００は、トンネル座標空間内の物体の３Ｄ姿勢に対応する点の各３Ｄ位置（例えば、コーナーの各３Ｄ位置）を画像に関連付けられた撮像デバイスの画像座標空間内の２Ｄ位置（及び／又はＦＯＶ角度）にマッピングすることができる。例えば、図１２Ａ～図１３Ｂに関連して以下に説明するように、各コーナーの３Ｄ位置は、特定の時間に特定のＦＯＶで撮像デバイスによってキャプチャされた画像内の２Ｄ位置にマッピングできる。前述したように、各撮像装置は（例えば、図１２Ａから１２Ｃに関連して以下に説明するように）校正可能であり、物体の各角の３Ｄ位置を、シンボルに関連付けられた画像内の２Ｄ位置にマッピングすることを容易にする。尚、多くの画像では、（例えば、画像セット２６０に示すように）各角が画像外にある可能性があり、他の画像では、１つ又は複数の角が画像外にあり、１つ又は複数の角が画像内にある可能性がある。幾つかの実施形態では、複数の物体を含む画像の場合、ブロック６０４～６０６で説明されるプロセスを使用して、画像内の各物体（例えば、目標物体と、先行物体及び後続物体の１つ又は複数）の３Ｄ角は、画像の画像座標空間内の２Ｄ位置にマッピングされてもよい。幾つかの実施形態では、各物体（例えば、先行物体、目標物体、後続物体）の寸法データは、例えばメモリに記憶される。
【0061】
ブロック６０８で、プロセス６００は、（例えば、画像コンテンツを分析せずに）画像に関して、例えば物体の角に対応する点の２Ｄ位置に基づいて、各画像の一部を物体の表面と関連付けることができる。例えば、プロセス６００は、特定の画像の一部を物体の第１の面（例えば、物体の上部）に対応するものとして識別することができ、特定の画像の別の部分を物体の第２面（例えば、物体の正面）に対応するものとして識別することができる。幾つかの実施形態では、プロセス６００は、画像のどの部分（例えば、どのピクセル）が物体の特定の面に対応するかを識別するために、任意の適切な技術又は技術の組み合わせを使用することができる。例えば、プロセス６００は、物体の角に関連付けられた２Ｄ位置の間に線（例えば、ポリライン）を描くことができ、物体の特定の面に関連付けられた線（例えば、ポリライン）の範囲内に入るピクセルをグループ化することができる。幾つかの実施形態では、画像の一部は、画像内の各物体の表面に関連付けられてもよい。幾つかの実施形態では、各物体のコーナーの２Ｄ位置と決定された表面は、画像内で２つ以上の物体が重なっている（つまり、オクルージョン）ときを識別するために使用できる。例えば、所与の画像について特定の撮像装置ＦＯＶからどの表面が見えるかは、決定された表面のどれが互いに交差するかに基づいて決定されてもよい。図１４は、一実施形態による、画像内の１つ又は複数の物体の可視表面を決定する例を示す。支持構造１４０４（例えば、コンベヤ又はプラットフォーム）上に配置された物体１４０２の各表面について、表面法線及びその対応する３Ｄ点、並びに撮像装置１４０６の光軸及びＦＯＶ１４０８は、撮像装置１４０６から見える可能性がある物体１４０２の表面を識別するために使用されてもよい。図１４に示す例では、物体１４０２が移動方向１４３２に沿って移動すると、物体１４０２の背面１４１０及び左面１４１２が、後続左撮像装置１４０６から（例えば、撮像装置１４０６のＦＯＶ１４０８内で）視認可能となるかもしれない。撮像装置１４０６から見える可能性のある表面１４１０、１４１２のそれぞれについて、ワールド３Ｄの全表面の頂点によって作成されたポリラインは、撮像装置１４０６の校正を使用して２Ｄ画像にマッピングされてもよい（例えば、ブロック６０６に関して上述したように）。例えば、物体１４０２の背面１４１０については、ワールド３Ｄの全表面の頂点によって作成されたポリライン１４１４は、２Ｄ画像にマッピングされてもよく、物体１４０２の左表面１４１２については、ワールド３Ｄの全表面の頂点によって作成されたポリライン１４１６は、２Ｄ画像にマッピングされてもよい。２Ｄ画像内の全表面の頂点の結果として得られるポリラインは、例えば、完全に２Ｄ画像の内側にあることも、部分的に２Ｄ画像の内側にあることも、完全に２Ｄ画像の外側にあることもある。例えば、図１４において、２Ｄ画像における背面全体１４１０のポリライン１４１８は、部分的に２Ｄ画像の内側にあり、２Ｄ画像における左面全体１４１２のポリライン１４２０は、部分的に２Ｄ画像の内側にある。背面全体１４１０のポリライン１４１８と２Ｄ画像との交点は、背面１４０１の画像２Ｄ内の可視表面領域１４２４を識別するために決定されてもよく、左面１４１２全体のポリライン１４２０と２Ｄ画像との交点は、左面１４１２の画像２Ｄ内の可視表面領域１４２６を識別するために決定されてもよい。画像２Ｄ１４２４、１４２６内の可視表面領域は、それぞれ背面１４１０及び左表面１４１２など、各可視表面に対応する２Ｄ画像の部分である。幾つかの実施形態では、必要に応じて、背面１４１０の２Ｄの可視表面領域１４２４及び左表面１４１２の２Ｄの可視表面領域１４２６は、ワールド３Ｄにマッピングしなおし、背面１４１０の３Ｄ１４２８の可視表面領域及び左表面１４１２の３Ｄ１４３０の可視表面領域を決定してもよい。例えば、２Ｄで識別された可視表面領域は、ワールド３Ｄ（又はボックス３Ｄ又は物体の座標空間）にマッピングしなおし、例えば、物体上のシンボルの配置が正しいかどうかを判断するなど、追加の分析を実行する、又は、物体の表面に対してシンボルの位置のメートル測定を行ってもよく、これは、物体のどこにシンボルやラベルを付けるかに関する仕様にベンダーが準拠しているかどうかを確認するために重要である。
【0062】
画像内の１つ又は複数の物体又は物体の表面の１つ又は複数のマッピングされたエッジ（例えば、物体の角に対応する点の３Ｄ位置のマッピングから決定される境界）のエラーに対処するため、幾つかの実施形態では、１つ又は複数のマッピングされたエッジは、画像の画像データの内容及び画像を生成するために使用される画像処理技術を使用して決定及びリファインされ（refined）てもよい。マッピングされたエッジのエラーは、例えば、物体の不規則な動き（例えば、コンベヤ上で移動するときに物体が揺れる）、３Ｄセンサデータ（又はディメンショナデータ、校正のエラーなど）のエラーによって引き起こされるかもしれない。幾つかの実施形態では、物体の画像を分析して、シンボルのエッジへの近接性に基づいてエッジをさらにリファインすることができる。従って、エッジに関連付けられた画像データを使用して、エッジがどこに配置されるべきかを決定することができる。
【0063】
各画像について、ブロック６１０及び６１２で、画像内で識別されたシンボルを画像内の物体及び／又は物体の表面に割り当てることができる。ブロック６１０及び６１２は、特定の順序で示されているが、幾つかの実施形態では、ブロック６１０及び６１２は、図６Ａに示されるものとは異なる順序で実行されてもよく、あるいは、バイパスされてもよい。幾つかの実施形態では、ブロック６１０で、画像ごとに、画像内で識別されるシンボルは、例えば画像内の１つ以上の物体の角に対応する、点の２Ｄ位置に基づいて画像内の物体に割り当てられてもよい。従って、シンボルは、画像内の特定の物体、例えば、シンボルが付加されている画像内の物体に関連付けることができる。例えば、シンボルの位置（例えば、関連する画像内のシンボルの２Ｄ位置）が、物体の角の２Ｄ位置によって画定される境界の内側にあるか外側にあるかを判定することができる。例えば、シンボルの位置が物体の角の２Ｄ位置によって画定される境界内にある場合、識別されたシンボルを物体に割り当てる（又は関連付ける）ことができる。
【0064】
幾つかの実施形態では、ブロック６１２で、例えば、物体の角に対応する点の２Ｄ位置とブロック６１０で決定された物体の１つ又は複数の表面に基づいて、画像内で識別されたシンボルを画像内の物体の表面に割り当ててもよい。従って、シンボルは、画像内の物体の特定の表面、例えば、コードが貼り付けられる物体の表面に関連付けることができる。例えば、シンボルの位置が物体の表面によって定義された境界の内側にあるか外側にあるかを判定することができる。例えば、シンボルの位置が物体の決定された表面の１つによって定義される境界内にある場合、識別されたシンボルを物体の表面に割り当てる（又は関連付ける）ことができる。幾つかの実施形態では、ブロック６１２での表面へのシンボルの割り当ては、ブロック６１０でシンボルが物体に割り当てられた後に実行されてもよい。換言すれば、シンボルは、まずブロック６１０で物体に割り当てられ、次にブロック６１２で割り当てられた物体の表面に割り当てられてもよい。幾つかの実施形態では、ブロック６１２で、最初にシンボルを物体に割り当てることなく、シンボルを表面に直接割り当てられてもよい。このような実施形態では、シンボルが添付される物体は、割り当てられた表面に基づいて決定することができる。
【0065】
幾つかの実施形態では、識別されたシンボルに関連付けられた画像には、重なり合わない２つ以上の物体（又は物体の表面）が含まれる場合がある。図７は、本技術の一実施形態による、２つの物体を含む画像の例を示し、少なくとも１つの物体は割り当てられるシンボルを含む。図７において、２つの物体７０４及び７０６の画像例７０２が、（例えば、コンベヤ７１８などの支持構造に関連付られる）対応する３Ｄ座標空間７１６と、画像８０２をキャプチャするために使用される撮像装置（図示せず）のＦＯＶ７１４とともに示されている。上記説明したように、第１の物体７０４及び第２の物体７０６の角の３Ｄ位置は、３Ｄ画像座標空間にマッピングされてよく、第１の物体７０４の境界７０８（例えば、ポリライン）及び第２の物体７０６の境界７１０（例えば、ポリライン）を決定するために使用されてよい。図７において、シンボル７１２の２Ｄ位置は、物体７０６の表面の境界７１０内に入る。従って、シンボル７１２は、物体７０６に割り当てられてもよい。
【0066】
幾つかの実施形態では、識別されたシンボルに関連付けられた画像には、重なり合う２つ以上の物体（又は物体の表面）が含まれるかもしれない。図８Ａ－８Ｃは、本技術の一実施形態による、重なり合う表面を有する２つの物体を有する画像の例を示し、少なくとも１つの物体は割り当てられるシンボルを含む。幾つかの実施形態では、画像内の２つの物体のそれぞれの少なくとも１つの表面が交差する場合、交差する表面は重なっていると判定される（例えば、図８Ｂ及び８Ｃに示すように）。幾つかの実施形態では、２つの物体の表面に実際の重なりがない場合（すなわち、表面が交差しない場合（例えば、図８Ａに示すように））、２つの物体の境界（ポリラインなど）がまだ十分に近いため、物体の境界の位置を特定したりマッピングしたりする際にエラーが発生すると、不正確なシンボルが割り当てられる可能性がある。そのような実施形態では、（例えば、物体の不規則な動き、寸法データの誤差、校正の誤差などに起因する）エラーによる境界の位置の不確実性を表す各物体のマッピングされたエッジの周囲にマージンが提供されてもよい。マージンを含む物体の境界が交差する場合、物体（又は物体の表面）は重なっていると定義できる。図８Ａにおいて、２つの物体８０４及び８０６の画像例８０２が、対応する３Ｄ座標空間８２０（例えば、コンベヤ８２２などの支持構造に関連付けれる）と、画像８０２をキャプチャするために使用される撮像装置（図示せず）のＦＯＶ８１８とともに示されている。図８Ａにおいて、画像８０２内の第１の物体８０４（又は第１の物体の表面）は境界８０８を有し、画像８０２内の第２の物体８０６（又は第２の物体の表面）は境界８１０を有する。第１の物体８０４の境界８０８の周囲のマージンは、線８１３と線８１５との間に定義される。第２の物体８０６の境界８１０の周囲のマージンは、線８１２と線８１４との間に定義される。境界８０６と境界８１０は近接しているが、重なっていない。しかし、第１の物体８０４のマージン（先８１３及び８１５によって定義される）及び第２の物体８０６のマージン（線８１２及び８１４によって定義される）は、重なり合う（又は交差する）。従って、第１の物体８０４と第２の物体８０６は重なり合っていると判定されてもよい。幾つかの実施形態では、（例えば、図６Ａのブロック６１０及び６１２で）識別されたシンボル８１６は、物体８０６の表面に初期に割り当てられてもよいが、重なり合う表面は、（例えば、図６Ａ及び図６Ｂのブロック６１４及び６１６のプロセスを使用して）追加の技術を使用して更に解決されてもよい。
【0067】
別の例では、図８Ｂでは、２つの重なり合う物体８３２及び８３４（例えば、物体の２つの重なり合う表面）の画像例８３０が、（例えば、コンベヤ８３５などの支持構造に関連付られる）対応する３Ｄ座標空間８３３と、画像８３０をキャプチャするために使用される撮像装置（図示せず）のＦＯＶ８３１とともに示されている。上記説明したように、第１の物体８３２及び第２の物体８２４の角の３Ｄ位置は、２Ｄ画像座標空間にマッピングされてよく、第１の物体８３２の境界８３６（例えば、ポリライン）及び第２の物体８３４の境界８３８（例えば、ポリライン）を決定するために使用されてもよい。図１において、図８Ｂでは、第１の物体８３２の境界８３６と第２の物体８３４の境界８３８が重なり領域８４０で重なり合っている。識別されたシンボル８４２の２Ｄ位置は、物体８３４の表面の境界８３８内にある。更に、シンボル８４２の２Ｄ位置は、物体８３２の表面の境界８３６のマージン（図示せず）内にある。しかしながら、（例えば、境界のマッピング又は位置特定におけるエラーのために）、シンボル８４２は重複領域８４０内に収まらない。従って、（例えば、図６Ａのブロック６１０及び６１２で）シンボル８４２は、初期に物体８３４に割り当てられてもよいが、潜在的な限界誤差によって生じる可能性のある曖昧さ、重なり合う表面は、追加の技術を使用してさらに解決できる（例えば、図６Ａ及び図６Ｂのブロック６１４及び６１６のプロセスを使用して）。
【0068】
別の例では、図８Ｃにおいて、２つの重なり合う物体８５２及び８５４（例えば物体の２つの重なり合う表面）の画像例８５０が、（例えば、コンベヤ８６６などの支持構造に関連付けられる）対応する３Ｄ座標空間８６４と、画像８５０をキャプチャするために使用される撮像装置（図示せず）のＦＯＶ８６２とともに示されている。上記説明したように、第１の物体８５２及び第２の物体８５４の角の３Ｄ位置は、３Ｄ画像座標空間にマッピングされてよく、第１の物体８５２の境界８５８（例えば、ポリライン）及び第２の物体８５４の境界８６０（例えば、ポリライン）を決定するために使用されてもよい。図８Ｃにおいて、第１の物体８５２の表面と第２の物体８５４の表面は重なっている。識別されたシンボル８５６の２Ｄ位置は、表面８５２及び８５４の重なり合う表面（例えば、重なり領域８５５）の境界内にあり、初期に表面８５４に割り当てられてよいが（例えば、図６Ａのブロック６１０及び６１２において）、重なり合う表面は、追加の技術を使用してさらに解決できる（例えば、図６Ａ及び図６Ｂのブロック６１４及び６１６のプロセスを使用して）。
【0069】
図６Ａに戻り、ブロック６１４において、シンボルに関連付けられた画像に、画像内の２つ以上の物体間の重なり合う表面が含まれる場合、重なり合う表面は、例えば、図６Ｂに関連して以下で更に説明されるプロセスを使用して、初期シンボル割り当てを識別又は確認するために解決されてもよい。ブロック６１４で、復号化されたシンボルに関連付けられた画像が、画像内の２つ以上の物体間に重なり合う表面を有さない場合、ブロック６１７で、シンボル割り当てに対する信頼レベル（又はスコア）が決定されてよい。幾つかの実施形態では、信頼レベル（又はスコア）は、例えば０と１の間、又は０％と１００％の間などの値の範囲内に収まるかもしれない。例えば、４０％の信頼レベルは、シンボルが物体及び／又は表面に貼り付けられる確率が４０％であり、シンボルが物体及び／又は表面に貼り付けられない確率が６０％であることを示してもよい。幾つかの実施形態では、信頼レベルは、物体の（例えば、物体の角に対応する）点の２Ｄ位置によって画定された境界から又は物体の表面によって定義された境界からシンボルの２Ｄ位置がどの程度離れているかを示す正規化された尺度であってもよい。例えば、画像内のシンボルの２Ｄ位置が、点の２Ｄ位置によって画定される境界又は表面によって定義される境界から遠い場合、信頼レベルはより高くてよく、シンボルの２Ｄ位置が、点の２Ｄ位置によって画定される境界又は表面によって定義される境界に非常に近い場合、信頼レベルはより低くよい。幾つかの実施形態では、信頼レベルは、１つ又は複数の追加要素に基づいてもよく、１つ又は複数の追加要素は、シンボルの２Ｄ位置が、物体の点（例えば、角に対応する）の２Ｄ位置によって画定される又は物体の表面によって定義される境界線の内側にあるか外側にあるか、ＦＯＶ内の様々な物体の境界からシンボルの２Ｄ位置までの距離の比率、（図６Ｂに関してさらに後述するように）画像内に重なっている物体があるかどうか、及び物体の１つ又は複数のエッジ又は物体の表面をリファインするために使用される画像処理技術、画像の内容に基づいて正しいエッジ位置を見つける技術の信頼性、を含むが、これには限定されない。
【0070】
ブロック６１７で信頼レベルが決定されるか、重なり合う表面が解決されると（ブロック６１６）、ブロック６１８で、そのシンボルが識別されたシンボルのセット内の最後のシンボルであるかどうかが決定される。ブロック６１８でシンボルが識別されたシンボルのセット内の最後のシンボルではない場合、プロセス６００はブロック６０４に戻る。ブロック６１８で、シンボルが識別されたシンボルのセット内の最後のシンボルである場合、プロセス６００は、識別されたシンボルのセット内に複数回出現する任意の識別されたシンボルを識別することができる（例えば、シンボルは複数の画像で識別されます）。識別されたシンボルのセットに複数回出現する各シンボルについて(例えば、複数の関連イメージが関連付けられている各シンボルについて)、シンボルに対するシンボル割り当て結果はブロック６２０で集約される。幾つかの実施形態では、集約は、各シンボルのシンボル割り当て結果間に矛盾があるかどうかを判断し（例えば、２つの画像に関連付けられたシンボルの場合、各画像のシンボル割り当て結果は異なる）、競合を解決するために使用できる。集約プロセスの一例については、図６Ｃを参照して以下で更に説明する。特定のシンボルに関連付けられた異なる画像間の異なるシンボル割り当て結果は、例えば、不規則な動き（例えば、コンベヤ上で移動するときに物体が揺れる）、寸法データの誤差、校正などによって引き起こされるかもしれない。幾つかの実施形態では、シンボル割り当て結果の集約は、２Ｄ画像空間で実行されてもよい。幾つかの実施形態では、シンボル割り当て結果の集約は、３Ｄ空間で実行することができる。ブロック６２２で、シンボル割り当て結果は、例えばメモリに記憶されてもよい。
【0071】
上述したように、識別されたシンボルに関連付けられた画像が、画像内の２つ以上の物体間の重なり合う表面を含む場合、重なり合う表面を解決して、シンボルの割り当てを識別又は確認することができる。図６Ｂは、本技術の一実施形態による、複数の物体のうちの１つにシンボルを割り当てるために、画像内の複数の物体の重なり合う表面を解決する方法を示す。ブロック６３２で、プロセス６３０は、シンボルの２Ｄ位置を、重複領域内の各物体の２Ｄ境界及び表面（例えば、ポリライン）と比較する。ブロック６３４において、シンボルを含む画像をキャプチャするために使用される撮像装置の撮像装置ＦＯＶに対する画像内の重なり合う各物体（又は各物体の表面）の位置が識別されてもよい。例えば、どの物体（又は物体表面）が撮像装置のＦＯＶ内で前方にあり、どの物体が撮像装置のＦＯＶ内で後方にあるかを決定することができる。ブロック６３６で、重なり（又はオクルージョン）を引き起こす物体は、撮像装置の視野に対する重なり合う物体（又は物体表面）の位置に基づいて決定されてもよい。例えば、 撮像装置ＦＯＶ内の前方にある物体（又は物体表面）は、遮蔽物体（又は物体表面）として識別されてもよい。ブロック６３８で、シンボルを遮蔽物体（又は物体表面）に割り当てることができる。
【0072】
シンボルが遮蔽物体（又は物体表面）に割り当てられると、プロセス６４０は、シンボル割り当ての更なる分析又はリファインを実行できるかどうかを決定することができる。幾つかの実施形態では、シンボルが遮蔽物体（又は物体表面）に割り当てられた後、物体が重なっている画像内のそれぞれのシンボル割り当てに対して更なる分析が実行されてもよい。別の実施形態では、シンボルが遮蔽物体又は物体表面に割り当てられた後は、物体が重なっている画像内のシンボル割り当てについては更なる分析が実行されなくてもよい。幾つかの実施形態では、物体（又は物体表面）の１つ以上のパラメータ及び／又はシンボルの位置が所定の基準を満たす場合、シンボルが遮蔽物体又は物体表面に割り当てられた後、物体が重なっている画像内のシンボル割り当てに対して更なる分析が実行されてもよい。例えば、図６Ｂにおいて、ブロック６４０で、シンボルの２Ｄ位置が重複領域の端の所定の閾値内にある場合、ブロック６４２からブロック６４６で更なる分析を実行してもよい。幾つかの実施形態では、図９に示すように、所定の閾値は、（例えば、シンボルの２Ｄ位置によって画定される）シンボルの１つ又は複数の境界についての、物体（又は物体の表面）間の重複領域のエッジ又は境界に対する近傍であってもよい。図９の画像例９０２では、シンボル９１２は、所定の閾値（例えば、所定のピクセル数又はｍｍ）よりも第１の物体９０４と第２の物体９０６との間の重なり領域９０８のエッジ９１０に近い。従って、シンボル割り当てに関してさらなる分析を実行することができる。図９の画像例９１４では、シンボル９２４は、第１の物体９１６と第２の物体９１８との間の重複領域９２０のエッジ９２２から所定の閾値よりも遠い。従って、シンボル割り当てに関して更なる分析は実行されなくてもよい。
【0073】
幾つかの実施形態では、更なる分析が実行されるとき、ブロック６４２で、シンボルに関連付けられた画像データと、例えば画像内の物体の３Ｄ角などの物体の３Ｄ姿勢を示す情報とが取り出される。例えば、１つ又は複数の重なり合う物体の１つ又は複数の境界又はエッジに関連付けられた２Ｄ画像データを取得することができる。ブロック６４４では、画像データの内容及び画像処理技術を使用して、１つ又は複数の重なり合う物体の１つ又は複数のエッジ（例えば、物体の３Ｄコーナーのマッピングから決定される境界）をリファインしてもよい。例えば、図１０のとおり、２つの重なり合う物体（又は物体表面）１００４及び１００６を有する画像１００２を分析して、重なり合う領域１０１２のエッジに対するシンボル１０１４の近接度に基づいて、第１の物体１００４のエッジ１０１６を更にリファインしてもよい。従って、エッジ１０１６に関連付けられた画像データを使用して、エッジ１０１６がどこに配置されるべきかを決定してもよい。上記のように、エッジ１０１６の位置のエラーは、物体１００４の３Ｄコーナー（例えば、３Ｄコーナー１０２４、１０２６、１０２８、１０３０）のうちの１つ又は複数、例えば３Ｄコーナー１０２８及び１０３０のマッピングにおけるエラーの結果であってもよい。図１０は、また、画像１００２をキャプチャするために使用される撮像装置（図示せず）の、（例えば、コンベヤ１０２２などの支持構造に関連する）対応する３Ｄ座標空間１０２０及びＦＯＶ１０１８を示す。ブロック６４６で、１つ又は複数の重複物体の１つ又は複数のエッジの位置が調整されると、例えば、シンボルの位置が物体の角の２Ｄ位置によって画定される境界内にある場合、シンボルは画像内の物体に割り当てられるかもしれない。更に、幾つかの実施形態では、信頼レベル（又はスコア）が決定され、シンボル割り当てに割り当てられる。幾つかの実施形態では、信頼レベル（又はスコア）は、例えば０と１の間、又は０％と１００％の間などの値の範囲内に収まるかもしれない。例えば、４０％の信頼水準は、シンボルが物体及び／又は表面に貼り付けられる確率が４０％であり、シンボルが物体及び／又は表面に貼り付けられない可能性が６０％であることを示してもよい。幾つかの実施形態では、信頼レベルは、シンボルの２Ｄ位置が重複領域の境界からどれだけ離れているかを示す正規化された尺度であってもよく、例えば、画像内のシンボルの２Ｄ位置が重複領域の境界（又はエッジ）から遠い場合、信頼レベルはより高くてもよく、シンボルの２Ｄ位置が重複領域の境界（又はエッジ）に非常に近い場合、信頼レベルはより低くてもよい。幾つかの実施形態では、信頼レベルは、重なり合う物体のうちの１つ又は複数のエッジの位置をリファインするために使用される画像処理技術及びその技術の信頼レベルに基づいて決定し、画像の内容に基づいて正しいエッジの位置を見つけてもよい。幾つかの実施形態では、信頼レベルは、１つ又は複数の追加要素に基づいてもよく、１つ又は複数の追加要素は、シンボルの２Ｄ位置が（例えば、コーナーに対応する）物体の点の２Ｄ位置によって画定される境界の内側か外側か、シンボルの２Ｄ位置が重複領域の境界の内側か外側か、ＦＯＶ内の様々な物体の境界からシンボルの２Ｄ位置までの距離の比率、及び画像内に重なり合う物体があるかどうかを含むが、これに限定されない。ブロック６５０で、シンボル割り当て及び信頼レベルは、例えばメモリに記憶されてもよい。
【0074】
図６Ｂのブロック６４０で、シンボルの２Ｄ位置がオーバーラップ領域のエッジの所定の閾値内にない場合、ブロック６３２からのシンボル割り当てには、ブロック６４８で信頼レベル（又はスコア）を割り当ててもよい。上記説明したように、信頼レベル（又はスコア）は、例えば、０と１の間、又は０％と１００％の間などの値の範囲内に収まってもよい。幾つかの実施形態では、信頼レベルは、シンボルの２Ｄ位置が重複領域の境界からどれだけ離れているかを示す正規化された尺度であってよく、例えば、画像内のシンボルの２Ｄ位置が重複領域の境界（又はエッジ）から遠い場合、信頼レベルはより高くてもよく、シンボルの２Ｄ位置が重複領域の境界（又はエッジ）に非常に近い場合、信頼レベルはより高くてもよくもよい。上述したように、幾つかの実施形態では、信頼レベルは、１つ又は複数の追加要素に基づいてもよく、１つ又は複数の追加要素は、重なり合う物体の１つ又は複数のエッジの位置を調整するために使用される画像処理技術と、画像の内容に基づいて正しいエッジの位置を見つける技術の信頼性、シンボルの２Ｄ位置が、（例えば、コーナーに対応する）点又は物体の２Ｄ位置によって画定される境界の内側か外側か、シンボルの２Ｄ位置が重複領域の境界の内側か外側か、ＦＯＶ内の様々な物体の境界からシンボルの２Ｄ位置までの距離の比率、及び画像内に重複する物体があるかどうかを含むが、これに限定されない。ブロック６５０で、シンボル割り当て及び信頼レベルは、例えばメモリに記憶されてもよい。
【0075】
図６Ａのブロック６２０に関して上述したように、識別されたシンボルのセット内で複数回出現する任意の識別されたシンボルに対するシンボル割り当て結果（例えば、シンボルが複数の画像で識別される）は、集計されてよく、例えば、特定のシンボルのシンボル割り当て結果間に矛盾があるかどうかを判断し競合を解決してもよい。図６Ｃは、本技術の一実施形態による、シンボルに対するシンボル割り当て結果を集約する方法を示す。ブロック６６２で、プロセス６６０は、識別されたシンボルのセット内の任意の反復シンボル、例えば、複数の関連画像を有する各シンボルを識別する。ブロック６６４で、プロセス６６０は、繰り返されるシンボルごとに、そのシンボルが現れる各関連画像を識別してもよい。ブロック６６６で、プロセス６６０は、繰り返されるシンボルに関連付けられた各画像のシンボル割り当て結果を比較してもよい。ブロック６６８で、シンボル割り当て結果のすべてが、繰り返されるシンボルに関連付けられた各画像について同じである場合、ブロック６７８では、繰り返されるシンボルに関連付けられた画像に対する共通のシンボル割り当て結果を、例えばメモリに記憶してもよい。
【0076】
ブロック６６８で、繰り返されるシンボルに関連付けられた画像のシンボル割り当て結果の中に少なくとも１つの異なるシンボル割り当て結果がある場合、プロセス６６０は、物体が重ならない画像に関連付けられた割り当て結果が少なくとも１つあるならば（例えば、図７の画像７０２を参照）、ブロック６７０で次のことを決定してもよい。物体が重ならない画像に関連付けられたシンボル割り当て結果が少なくとも１つある場合、プロセス６６０は、ブロック６７２で、重なり合う物体のない画像に対するシンボル割り当て結果を選択し、選択されたシンボル割り当て結果は、ブロック６７８で、例えばメモリに記憶してもよい。
【0077】
ブロック６７０で、重なり合う物体のない画像に関連付けられた少なくとも１つのシンボル割り当て結果がない場合、プロセス６６０は、ブロック６７４で、繰り返されたシンボルに関連付けられた画像に対するシンボル割り当て結果の信頼レベル（又はスコア）を比較してもよい。幾つかの実施形態では、プロセス６６０はブロック６７０及び６７２を含まなくてもよく、繰り返されるシンボル（重なり合う物体を含む画像と含まない画像の両方）に対する集約された割り当て結果すべての信頼水準が比較されてもよい。ブロック６７６において、幾つかの実施形態では、プロセス６６０は、繰り返されるシンボルに対するシンボル割り当てとして最も高い信頼レベルを有する割り当てを選択してもよい。ブロック６７８で、選択されたシンボル割り当ては、例えばメモリに記憶されてもよい。
【0078】
図１１は、本技術の一実施形態による、シンボルに対するシンボル割り当て結果を集約する方法を示す。図１１において、画像例１１０２は、第１の物体１１０６、第２の物体１１０８、及び第２の物体１１０８上のシンボル１１１２をキャプチャする第１の画像装置（図示せず）のＦＯＶ１１１６を示す。画像例１１０４は、第１の物体１１０６、第２の物体１１０８、及び第２の物体１１０８上のシンボル１１１２を捕捉する第２の画像装置（図示せず）のＦＯＶ１１１４を示す。画像１１０４では、第１の物体１１０６と第２の物体１１０８は重なり合わず、画像１１０２では、第１の物体１１０６と第２の物体１００８は重なり合っている。従って、画像１１０２及び画像１１０４は、異なるシンボル割り当て結果をもたらす可能性がある。例えば、境界（又はエッジ）１１１３は、第１の物体１１０６の正しい境界を表すことができるが、物体１１０６の上面のエラーにより、エッジがエッジ１１１５にマッピングされてもよい。その結果、シンボル１１１２が間違った物体、つまり第１の物体１１０６に割り当てられるかもしれない。対照的に、この例では、第１の物体１１０６と第２の物体１１０８の表面間の分離により、境界のマッピングにおけるエラーは、画像１１０４におけるシンボル割り当てに曖昧さを引き起こすことはない。図６Ｃに関して上述したように、画像１１０４は重なり合う物体を含まないため、システムはシンボル１１１２に対するシンボル割り当てを画像１１０４から選択することができる。図１１はまた、画像例１１０２及び１１０４の対応する３Ｄ座標空間１１１８（例えば、コンベヤ１１２０などの支持構造に関連付けられた）を示す。図１１の別の例では、画像例１１３０は、第１の物体１１３４、第２の物体１１３６、及び第２の物体１１３６上のシンボルを捕捉する第１の画像装置（図示せず）のＦＯＶ１１４０を示す。画像例１１３２は、第１の物体１１３４、第２の物体１１３６、及び第２の物体１１３６上のシンボルを捕捉する第２の画像装置（図示せず）のＦＯＶ１１３８を示す。画像１１３２では、第１の物体１１３４と第２の物体１１３６は重なり合わず、画像１１３２では、第１の物体１１３４と第２の物体１１３６は重なり合っている。従って、画像１１３０及び画像１１３２は、異なるシンボル割り当て結果をもたらす可能性がある。図６Ｃに関して上述したように、画像１１３２には重なり合う物体が含まれていないため、システムは、画像１１３２からシンボルに対するシンボル割り当てを選択してもよい。図１１はまた、画像例１１３０及び１１３２の対応する３Ｄ座標空間１１４２（例えば、コンベヤ１１４４などの支持構造に関連付けられた）を示す。
【0079】
図１２Ａは、画像座標空間と校正ターゲット座標空間との間の変換を見つけるために使用できる工場校正セットアップ（factory calibration setup）の一例を示す。図１２Ａに示すように、撮像装置１２０２は、３Ｄ工場座標空間（Ｘｆ、Ｙｆ、Ｚｆ）内の点を２Ｄ画像座標空間（ｘｉ、ｙｉ）上に投影する画像（例えば、画像８０８）を生成することができる。３Ｄ工場座標空間は、工場座標空間と画像座標空間との間の変換を見つけるために使用される校正ターゲットを支持する支持構造８０４（固定具と呼ばれることもある）に基づいて定義することができる。
【0080】
一般に、撮像装置１２０２（例えば、カメラ）を校正する全体的な目標は、物理的な３Ｄ座標空間（例えば、ミリメートル単位）と画像の２Ｄ座標空間（例えば、ピクセル単位）との間の変換を見つけることである。図１２Ａの変換は、単純なピンホールカメラモデルを使用したそのような変換の例である。変換は、（例えば、レンズの歪みを表すため）他の非線形成分が含むことができる。変換は外部パラメータと内部パラメータに分割できる。外部パラメータは、物理的な３Ｄ座標空間に対する撮像装置の取り付け位置及び向きに依存する可能性がある。内部パラメータは、内部イメージングデバイスパラメータ（センサやレンズのパラメータなど）に依存する可能性がある。校正プロセスの目標は、これらの内部パラメータと外部パラメータの値を見つけることである。幾つかの実施形態では、校正プロセスは２つの部分に分割できる。１つの部分は工場での校正で実行され、もう１つの部分はフィールドで実行される。
【0081】
図１２Ｂは、技術の実施形態に従った、工場校正及び物体の１つ又は複数の面の複数の画像をキャプチャすることを含むフィールド校正（field calibration）を含む校正プロセスのための座標空間及び他の態様の例を示す。図１２Ｂに示すように、トンネル３Ｄ座標空間（例えば、軸Ｘｔ、Ｙｔ、Ｚｔを有する図１２Ｂに示すトンネル３Ｄ座標空間）は、支持構造１２２２に基づいて定義することができる。例えば、図１２Ｂでは、コンベヤ（例えば、図１Ａ、１Ｂ、及び２Ａに関連して上述したように）がトンネル座標空間を定義するために使用され、原点１２２４がコンベヤに沿った特定の位置にある（例えば、Ｙｔ＝０がコンベヤに沿った特定の点で画定されている場合、例えば、米国特許出願公開第２０２１／０１２５３７３号に記載されているフォトアイ（photo eye）の位置に基づいて定義された点において、Ｘｔ＝０がコンベヤの片側で定義され、Ｚｔ＝０がコンベヤの表面で定義される）。他の例として、トンネル座標空間は、（例えば、図３に関連して上述したように）静止支持構造に基づいて定義することができる。代替的に、幾つかの実施形態では、トンネル座標空間は、物体の位置を測定するために使用される３Ｄセンサ（又はディメンショナ）に基づいて定義できる。
【0082】
追加的に、幾つかの実施形態では、校正プロセス（例えば、フィールド校正プロセス）中に、校正を実行するために使用される物体（例えば、物体１２２６）に基づいて物体座標空間（Ｘｂ、Ｙｂ、Ｚｂ）を定義することができる。例えば、図１２Ｂに示すように、シンボルは物体（例えば、物体１２２６）上に配置することができ、各シンボルは物体座標空間内の特定の位置に関連付けられる。
【0083】
図１２Ｃは、本技術の一実施形態による、物体の各側面の複数の画像をキャプチャするシステムに関連付けられた３Ｄ座標空間内の物体の座標を撮像装置に関連付けられた２Ｄ座標空間内の座標に変換するために使用可能な撮像装置モデルを生成するためのフィールド校正プロセス１２３０の例を示す。幾つかの実施形態では、撮像装置（例えば、撮像装置１２０２）は、現場に設置される前に校正することができる（例えば、工場校正を実行することができる）。このような校正は、３Ｄ工場座標空間内の点を画像座標空間内の２Ｄ点にマッピングするために使用できる初期カメラモデルを生成するために使用でる。例えば、図１２Ｃに示すように、工場校正プロセスを実行して、３Ｄ工場座標空間内の点を画像座標空間内の２Ｄ点にマッピングするために内部パラメータとともに使用できる外部パラメータを生成することができる。内部パラメータは、焦点距離、画像センサフォーマット、主点など、撮像装置の画像センサのピクセルを撮像装置の画像面に関連付けるパラメータを表すことができる。外部パラメータは、３Ｄトンネル座標（例えば、工場校正中に使用されるターゲットによって定義された原点を有する）内の点を３Ｄカメラ座標（例えば、原点として定義されたカメラ中心を有する）に関連付けるパラメータを表すことができる。
【0084】
３Ｄセンサ（又はディメンショナ）は、トンネル座標空間内で校正物体（例えば、物体１２２６など、物体座標空間内の各コードの位置を定義するコードが付加された箱）を測定でき、トンネル座標空間内の位置は、校正物体の画像座標空間内の位置と相関付けることができる（例えば（Ｘｔ，Ｙｔ，Ｚｔ）の座標を（ｘｉ，ｙｉ）に関連付ける）。このような対応関係を使用して、工場の座標空間とトンネルの座標空間の間の変換を考慮してカメラモデルを更新できる（例えば、トンネル座標空間などの１つの３Ｄ座標空間を工場座標空間などの別の３Ｄ座標空間に関連付ける３Ｄ剛体変換を使用して定義できる、フィールド校正外部パラメータ行列を導出することによって）。フィールド校正外部パラメータ行列は、工場校正中に導出されたカメラモデルと組み合わせて使用して、トンネル座標空間内の点（Ｘｔ，Ｙｔ，Ｚｔ）を画像座標空間内の点（ｘｉ，ｙｉ）に関連付けることができる。この変換を使用して、３Ｄセンサによって測定された物体の３Ｄ点を物体の画像にマッピングすることができ、画像の内容を分析することなく、特定の表面に対応する画像の部分を決定できる。尚、図１２Ａ、１２Ｂ、および１２Ｃに示されるモデルは、説明が過度に複雑になるのを避けるために、投影によって引き起こされる歪みを補正するために使用できる簡略化された（例えば、ピンホールカメラ）モデルであり、より洗練されたモデル（例えば、レンズ歪みを含む）を、本明細書で説明する機構と関連して使用することができる。
【0085】
尚、これは単なる例であり、トンネル座標空間と画像座標空間の間の変換を定義するために他の技術を使用できる。例えば、工場出荷時の校正とフィールド校正を実行するのではなく、フィールド校正を使用して、トンネル座標を画像座標に関連付けるモデルを導き出すことができる。ただし、新しい撮像装置を使用するには校正全体を実行する必要があるため、撮像装置の交換がより煩雑になるかもしれない。幾つかの実施形態では、校正ターゲットを使用して撮像装置を校正し、３Ｄ工場座標空間と画像座標の間の変換を検出すること、及び、現場で撮像装置を校正して、（例えば、コンベヤ、支持プラットフォーム、又は３Ｄセンサに関連付けられている）トンネル座標間のマッピングを容易にする変換を見つけることは、フィールドキャリブレーションを繰り返すことなく、撮像デバイスの交換を容易にすることができる。
【0086】
図１３Ａ及び１３Ｂは、本技術の一実施形態による、校正ターゲット（又は複数のターゲット）の異なる位置に関連するフィールド校正プロセスの例を示す。図１３Ａに示されるように、本明細書で説明されるメカニズムは、コンベヤの形状(又は他の輸送システム及び／又は支持構造)に基づいて指定されたトンネル座標空間で定義される、物体に関連付けられた３Ｄ点（例えば、物体の角）を工場校正及びフィールド校正に基づいて生成されたモデルに基づいて、画像座標空間内の点にマッピングすることができる。例えば、図１３Ａに示すように、本明細書で説明される機構は、支持構造１３２２に関してトンネル座標（Ｘｔ、Ｙｔ、Ｚｔ）で定義された箱１３２８に関連付けられた３Ｄ点を、撮像装置（例えば、図１２Ａ及び１２Ｂに示される撮像装置１２０２）に関連付けられた画像座標空間内の点にマッピングすることができる。幾つかの実施形態では、画像空間の各角の２Ｄ点を、撮像デバイスの向きの知識とともに使用して、画像の内容を分析せずに、画像内の各ピクセルを物体の特定の表面（又は面）に関連付けることができる（又は、ピクセルが物体に関連付けられていないと判断することができる）。
【0087】
例えば、図１３Ａに示すように、撮像装置（例えば、図１２Ａ及び１２Ｂに示される撮像装置１２０２）は、（例えば、視野１３３２で）トンネル座標に関して正面上部の角度から画像（例えば、画像１３３４）を捕捉するように構成される。このような例では、箱の角の２Ｄ位置を使用して、画像の第１部分を箱の「左面」側、第２部分を箱の「前面」側、及び第３部分を箱の「上面」側に自動的に関連付けることができる。図１３Ａに示すように、角のうちの２つだけが画像１３３２内に位置し、他の６つの角は画像の外側にある。撮像装置が物体の上から画像をキャプチャするように構成されているという知識に基づいて及び／又は（例えば、トンネル座標に対する撮像装置の位置及び撮像装置の光軸の決定を容易にする）カメラの校正に基づいて、システムは、先頭の左下角と先頭の左上角が両方とも画像内に表示されていると判断できる。
【0088】
図１３Ｂに示すように、箱１３２８がコンベヤに沿って距離ΔＹｔ移動した後に撮影された第２画像１３３６が示されている。上述したように、運動測定装置（例えば、エンコーダ）を使用して、図１３Ａに示される第１画像１３３４がキャプチャされた時と２番目の画像１３３６がキャプチャされた時との間に箱１３２８が移動した距離を測定できる。このような運動測定装置（例えば、エンコーダとして実装される）の動作は、米国特許第９，３０５，２３１号及び２０２０年１０月２６日に出願された、米国特許出願公開第２０２１／０１２５３７３号に記載されており，その全体が参照により本明細書に援用される。移動距離及び３Ｄ座標を使用して、箱１３２８の角に対応する第２画像１３３６内の２Ｄ点を決定することができる。撮像装置は物体の上から画像をキャプチャするように構成されているという知識に基づいて、システムは、後尾の右上角が画像１３３６に表示されているが、後尾の右下角が箱の上部によって遮られていると判断できる。追加的に、箱の上面は見えるが、背面と右側の面は見えない。
【0089】
幾つかの実施形態では、本明細書で説明される機能及び／又はプロセスを実行するための命令を格納するために、任意の適切なコンピュータ可読媒体を使用することができる。例えば、幾つかの実施形態では、コンピュータ可読媒体は、一時的な場合と非一時的な場合がある。例えば、コンピュータ可読媒体は、磁気メディア（ハードディスク、フロッピーディスクなど）、光学メディア（コンパクトディスク、デジタルビデオディスク、ブルーレイディスクなど）、半導体メディア（ＲＡＭ、フラッシュメモリ、電気的にプログラム可能な読み取り専用メモリ（electrically programmable read only memory（ＥＰＲＯＭ））、電気的に消去可能なプログラム可能な読み取り専用メモリ（electrically erasable programmable read only memory（ＥＥＰＲＯＭ））など）、送信中に一時的ではない若しくは永続性がある適切なメディア、及び／又は適切な有形メディアなどの媒体を含むことができる。他の例として、一時的なコンピュータ可読媒体は、送信中に一時的であって永続性がない、ネットワーク、ワイヤ、導体、光ファイバー、回路、又はその他の適切な媒体上の信号、及び／又は、適切な無形メディアを含むことができる。
【0090】
尚、本明細書で使用される場合、機構という用語は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の適切な組み合わせを包含しうる。
【0091】
図６のプロセスの上述のステップは、図に示し説明した順序および順序に限定されず、任意の順序又は順序で実行又は実行できることを理解されたい。また、図６のプロセスの上記のステップの幾つかは、待ち時間及び処理時間を短縮するために、必要に応じて実質的に同時に又は並行して実行又は実行することができる。
【0092】
本発明は、前述の例示的な実施形態において説明及び図示されてきたが、本開示は例としてのみ行われたものであり、以下の特許請求の範囲によってのみ制限される本発明の精神及び範囲から逸脱することなく、本発明の実施の詳細における多くの変更を行うことができることが理解されるべきである。開示された実施形態の特徴は、様々な方法で組み合わせたり再配置したりすることができる。
【図1A】
【図1B】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図7】
【図8A-B】
【図8C】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図12C】
【図13A】
【図13B】
【図14】
【国際調査報告】