特開 2025-24697 第１のアイテムとの関連性に基づいて第２のアイテムを識別するためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025024697

(43)【公開日】2025-02-20

(54)【発明の名称】第１のアイテムとの関連性に基づいて第２のアイテムを識別するためのシステム及び方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20250213BHJP

【ＦＩ】

G06T7/00 C

G06T7/00 350B

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024130045

(22)【出願日】2024-08-06

(31)【優先権主張番号】18/366,155

(32)【優先日】2023-08-07

(33)【優先権主張国・地域又は機関】US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

２．ＺＩＧＢＥＥ

(71)【出願人】

【識別番号】520068870

【氏名又は名称】セブン－イレブン インコーポレイテッド

【氏名又は名称原語表記】７－Ｅｌｅｖｅｎ， Ｉｎｃ．

【住所又は居所原語表記】３２００ Ｈａｃｋｂｅｒｒｙ Ｒｏａｄ， Ｉｒｖｉｎｇ ＴＸ ７５０６３ ＵＳ

(74)【代理人】

【識別番号】110004381

【氏名又は名称】弁理士法人ＩＴＯＨ

(72)【発明者】

【氏名】サムド ヴィラス ダター

(72)【発明者】

【氏名】セイルシ バハラスワージ クリシュナムルティ

(72)【発明者】

【氏名】シャシパル レディ マシニ

(72)【発明者】

【氏名】シャーミアー アリ ミルザ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA09

5L096CA05

5L096DA02

5L096HA11

5L096JA03

5L096KA04

(57)【要約】

【課題】第１のアイテムとの関連性に基づいて第２のアイテムを識別するためのシステム及び方法を提供する。
【解決手段】 アイテム追跡システムは、複数のカメラと、各アイテムのアイテム識別子同士の間の関連付けを記憶するメモリと、プロセッサとを含み、プロセッサは、第１のアイテムの複数の第１の画像を取り込み、第１の画像に基づいて第１のアイテムの第１のアイテム識別子を識別するように構成される。プロセッサは、第２のアイテムの複数の第２の画像を取り込み、各第２の画像から第２のアイテムの切り抜き画像を生成し、各切り抜き画像のアイテム識別子を識別する。プロセッサは、メモリに記憶した関連付けに基づいて、第１のアイテムの第１のアイテム識別子と第２のアイテム識別子との間に関連付けが存在すると判定し、切り抜き画像に対応するアイテム識別子のうちの少なくとも１つが第２のアイテム識別子である場合に、第２のアイテム識別子を第２のアイテムに割り当てる。
【選択図】図２９

【特許請求の範囲】

【請求項1】

アイテム追跡システムであって、当該アイテム追跡システムは、
複数のカメラであって、各カメラがプラットフォームの少なくとも一部の画像を取り込むように構成される、前記複数のカメラと、
各アイテムのアイテム識別子同士の間の関連付けを記憶するように構成されるメモリと、
前記複数のカメラ及び前記メモリに通信可能に結合したプロセッサと、を含み、
該プロセッサは、
前記プラットフォームでの第１のトリガーイベントを検出することであって、該第１のトリガーイベントは、前記プラットフォーム上の第１のアイテムの配置に対応する、こと、
前記第１のトリガーイベントの検出に応じて、前記複数のカメラのうちの２つ以上のカメラを使用して、前記プラットフォーム上の前記第１のアイテムの複数の第１の画像を取り込むこと、
前記複数の第１の画像に基づいて、前記第１のアイテムに関連付けられた第１のアイテム識別子を識別すること、
前記第１の画像で取り込まれた前記第１のアイテムに前記第１のアイテム識別子を割り当てること、
前記プラットフォームでの第２のトリガーイベントを検出することであって、該第２のトリガーイベントは、前記プラットフォーム上の第２のアイテムの配置に対応する、こと、
前記第２のトリガーイベントの検出に応じて、前記複数のカメラのうちの２つ以上のカメラを使用して、前記プラットフォーム上の前記第２のアイテムの複数の第２の画像を取り込むこと、
複数の切り抜き画像を生成することであって、各切り抜き画像が、対応する第２の画像に関連付けられ、且つ該対応する第２の画像を編集して前記第２のアイテムの少なくとも一部を分離することによって生成される、こと、
各切り抜き画像について、前記第２のアイテムの１つ又は複数の属性に基づいてアイテム識別子を識別すること、
前記メモリから前記関連付けにアクセスすること、
前記第１のアイテムの前記第１のアイテム識別子と前記第２のアイテム識別子との間の関連付けを特定すること、
前記識別したアイテム識別子のうちの少なくとも１つが前記第２のアイテム識別子であると検出すること、
前記識別したアイテム識別子のうちの少なくとも１つが前記第２のアイテム識別子であるとの検出に応じて、及び前記第１のアイテム識別子と前記第２のアイテム識別子との間の前記特定した関連付けに基づいて、前記第２のアイテム識別子を前記第２のアイテムに割り当てること、を行うように構成される、
アイテム追跡システム。

【請求項2】

前記プロセッサは、さらに、
それぞれの第２の画像について生成した各切り抜き画像について、
前記切り抜き画像を機械学習モデルに入力することであって、該機械学習モデルは、前記切り抜き画像がアイテムの背面画像であるか、又はアイテムの前面画像であるかを出力するように構成される、こと、
前記切り抜き画像がアイテムの背面画像であるか、又はアイテムの前面画像であるかを示す前記出力を前記機械学習モデルから取得すること、及び
前記出力に基づいて前記切り抜き画像を背面画像又は前面画像としてタグ付けすること、を行うように構成され、
前記切り抜き画像のうちの２つ以上が前面画像としてタグ付けされる、請求項１に記載のアイテム追跡システム。

【請求項3】

前記メモリは、エンコード化ベクトル・ライブラリを記憶するようにさらに構成され、
前記エンコード化ベクトル・ライブラリは複数のエンコード化ベクトルを含み、各エンコード化ベクトルは、特定のアイテムの１つ又は複数の属性を記述し、且つ前記特定のアイテムのアイテム識別子に関連付けられており、
前記プロセッサは、
前記切り抜き画像の第１のエンコード化ベクトルを生成することであって、前記第１のエンコード化ベクトルは、前記切り抜き画像に基づいて前記第１のアイテムの１つ又は複数の属性を記述する、こと、
前記第１のエンコード化ベクトルを前記エンコード化ベクトル・ライブラリ内で前記エンコード化ベクトルと比較すること、
前記エンコード化ベクトル・ライブラリから、前記第１のエンコード化ベクトルに最もよく一致する第２のエンコード化ベクトルを選択することであって、数値類似値が、前記第１のエンコード化ベクトルと前記選択した第２のエンコード化ベクトルとの間の類似度を示す、こと、及び
前記エンコード化ベクトル・ライブラリ内で、前記第２のエンコード化ベクトルに関連付けられた前記アイテム識別子を識別すること、によって、各切り抜き画像の前記アイテム識別子を識別するようにさらに構成される、請求項２に記載のアイテム追跡システム。

【請求項4】

前記プロセッサは、複数の切り抜いた第２の画像が前面画像としてタグ付けされると判定するようにさらに構成される、請求項３に記載のアイテム追跡システム。

【請求項5】

前記プロセッサは、
前記複数の切り抜いた第２の画像が前面画像としてタグ付けされると判定したことに応じて、類似値が閾値類似値以上であることに基づいて、複数のアイテム識別子から、前記複数の切り抜いた第２の画像のそれぞれに対して識別した第１セットのアイテム識別子を決定すること、及び
前記複数の切り抜いた第２の画像の大部分について、前記第１セットのアイテム識別子から同じアイテム識別子が識別されなかったと決定すること、を行うようにさらに構成される、請求項４に記載のアイテム追跡システム。

【請求項6】

前記プロセッサは、
前記複数の切り抜いた第２の画像の大部分について、前記第１セットのアイテム識別子からの前記同じアイテム識別子が識別されなかったと決定したことに応じて、
前記第１セットのアイテム識別子に対応する前記類似値のうちの最も高い類似値に基づいて、前記第１セットから、第１の切り抜いた第２の画像について識別した第３のアイテム識別子を決定すること、
前記第１セットの前記アイテム識別子に対応する前記類似値のうちの２番目に高い類似値に基づいて、前記第１セットから、第２の切り抜いた第２の画像について識別した第４のアイテム識別子を決定すること、及び
前記最も高い類似値と前記２番目に高い類似値との間の差が閾値差未満であると決定すること、を行うようにさらに構成される、請求項５に記載のアイテム追跡システム。

【請求項7】

前記第１のアイテム及び前記第２のアイテムは同じアイテム識別子によって識別され、
前記第１のアイテム識別子及び前記第２のアイテム識別子は、前記同じアイテム識別子の２つのインスタンスである、請求項１に記載のアイテム追跡システム。

【請求項8】

アイテムを識別する方法であって、当該方法は、
プラットフォームでの第１のトリガーイベントを検出するステップであって、該第１のトリガーイベントは、前記プラットフォーム上の第１のアイテムの配置に対応する、ステップと、
前記第１のトリガーイベントの検出に応じて、複数のカメラのうちの２つ以上のカメラを使用して、前記プラットフォーム上の前記第１のアイテムの複数の第１の画像を取り込むステップと、
該複数の第１の画像に基づいて、前記第１のアイテムに関連付けられた第１のアイテム識別子を識別するステップと、
前記第１の画像で取り込んだ前記第１のアイテムに前記第１のアイテム識別子を割り当てるステップと、
前記プラットフォームでの第２のトリガーイベントを検出するステップであって、該第２のトリガーイベントは、前記プラットフォーム上の第２のアイテムの配置に対応する、ステップと、
前記第２のトリガーイベントの検出に応じて、前記複数のカメラのうちの２つ以上のカメラを使用して、前記プラットフォーム上の前記第２のアイテムの複数の第２の画像を取り込むステップと、
複数の切り抜き画像を生成するステップであって、各切り抜き画像は、対応する第２の画像に関連付けられ、且つ該対応する第２の画像を編集して前記第２のアイテムの少なくとも一部を分離することによって生成される、ステップと、
各切り抜き画像について、前記第２のアイテムの１つ又は複数の属性に基づいてアイテム識別子を識別するステップと、
メモリから、各アイテムのアイテム識別子同士の間の関連付けにアクセスするステップと、
前記第１のアイテムの前記第１のアイテム識別子と第２のアイテム識別子との間の関連付けを特定するステップと、
前記識別したアイテム識別子のうちの少なくとも１つが前記第２のアイテム識別子であると検出するステップと、
前記識別したアイテム識別子のうちの少なくとも１つが前記第２のアイテム識別子であるとの検出に応じて、及び前記第１のアイテム識別子と前記第２のアイテム識別子との間の特定した関連付けに基づいて、前記第２のアイテム識別子を前記第２のアイテムに割り当てるステップと、を含む、
方法。

【請求項9】

それぞれの第２の画像について生成した各切り抜き画像について、
前記切り抜き画像を機械学習モデルに入力するステップであって、前記機械学習モデルは、前記切り抜き画像がアイテムの背面画像であるか、又はアイテムの前面画像であるかを出力するように構成される、ステップと、
前記切り抜き画像がアイテムの背面画像であるか、又はアイテムの前面画像であるかを示す前記出力を前記機械学習モデルから取得するステップと、
前記出力に基づいて、前記切り抜き画像を背面画像又は前面画像としてタグ付けするステップと、をさらに含み、
前記切り抜き画像のうちの２つ以上が前面画像としてタグ付けされる、請求項８に記載の方法。

【請求項10】

前記メモリは、エンコード化ベクトル・ライブラリを記憶するように構成され、
前記エンコード化ベクトル・ライブラリは複数のエンコード化ベクトルを含み、各エンコード化ベクトルは、特定のアイテムの１つ又は複数の属性を記述し、且つ前記特定のアイテムのアイテム識別子に関連付けられており、
各切り抜き画像の前記アイテム識別子を識別することは、
前記切り抜き画像の第１のエンコード化ベクトルを生成することであって、該第１のエンコード化ベクトルは、前記切り抜き画像に基づいて前記第１のアイテムの１つ又は複数の属性を記述する、こと、
前記第１のエンコード化ベクトルを、前記エンコード化ベクトル・ライブラリ内でエンコード化ベクトルと比較すること、
前記エンコード化ベクトル・ライブラリから、前記第１のエンコード化ベクトルに最もよく一致する第２のエンコード化ベクトルを選択することであって、数値類似値が、前記第１のエンコード化ベクトルと前記選択した第２のエンコード化ベクトルとの間の類似度を示す、こと、及び
前記エンコード化ベクトル・ライブラリ内で、前記第２のエンコード化ベクトルに関連付けられる前記アイテム識別子を識別すること、を含む、請求項９に記載の方法。

【請求項11】

複数の前記切り抜いた第２の画像が前面画像としてタグ付けされると判定することをさらに含む、請求項１０に記載の方法。

【請求項12】

前記複数の切り抜いた第２の画像が前面画像としてタグ付けされると判定したことに応じて、類似値が閾値類似値以上であることに基づいて、複数のアイテム識別子から、複数の切り抜いた第２の画像のそれぞれに対して識別した第１セットのアイテム識別子を決定すること、及び
前記複数の切り抜いた第２の画像の大部分について、前記第１セットのアイテム識別子から同じアイテム識別子が識別されなかったと決定すること、をさらに含む、請求項１１に記載の方法。

【請求項13】

前記複数の切り抜いた第２の画像の大部分について、前記第１セットのアイテム識別子からの前記同じアイテム識別子が識別されなかったと決定したことに応じて、
前記第１セットの前記アイテム識別子に対応する前記類似値のうちの最も高い類似値に基づいて、前記第１セットから、第１の切り抜いた第２の画像について識別した第３のアイテム識別子を決定すること、
前記第１セットの前記アイテム識別子に対応する前記類似値のうちの２番目に高い類似値に基づいて、前記第１セットから、第２の切り抜いた第２の画像について識別した第４のアイテム識別子を決定すること、及び
前記最も高い類似値と前記２番目に高い類似値との間の差が閾値差未満であると決定すること、をさらに含む、請求項１２に記載の方法。

【請求項14】

前記第１のアイテム及び前記第２のアイテムは同じアイテム識別子によって識別され、
前記第１のアイテム識別子及び前記第２のアイテム識別子は前記同じアイテム識別子の２つのインスタンスである、請求項８に記載の方法。

【請求項15】

命令を記憶する非一時的なコンピュータ可読媒体であって、前記命令がプロセッサによって実行されると、該プロセッサに、
プラットフォームでの第１のトリガーイベントを検出することであって、該第１のトリガーイベントは、前記プラットフォーム上の第１のアイテムの配置に対応する、こと、
前記第１のトリガーイベントの検出に応じて、複数のカメラのうちの２つ以上のカメラを使用して、前記プラットフォーム上の前記第１のアイテムの複数の第１の画像を取り込むこと、
前記複数の第１の画像に基づいて、前記第１のアイテムに関連付けられた第１のアイテム識別子を識別すること、
前記第１の画像で取り込んだ前記第１のアイテムに前記第１のアイテム識別子を割り当てること、
前記プラットフォームでの第２のトリガーイベントを検出することであって、前記第２のトリガーイベントは、前記プラットフォーム上の第２のアイテムの配置に対応する、こと、
前記第２のトリガーイベントの検出に応じて、前記複数のカメラのうちの２つ以上のカメラを使用して、前記プラットフォーム上の前記第２のアイテムの複数の第２の画像を取り込むこと、
複数の切り抜き画像を生成することであって、各切り抜き画像は、対応する第２の画像に関連付けられ、且つ該対応する第２の画像を編集して前記第２のアイテムの少なくとも一部を分離することによって生成される、こと、
各切り抜き画像について、前記第２のアイテムの１つ又は複数の属性に基づいてアイテム識別子を識別すること、
メモリから、各アイテムのアイテム識別子同士の間の関連付けにアクセスすること、
前記第１のアイテムの前記第１のアイテム識別子と第２のアイテム識別子との間の関連付けを特定すること、
前記識別したアイテム識別子のうちの少なくとも１つが第２のアイテム識別子であると検出すること、
前記識別したアイテム識別子のうちの少なくとも１つが前記第２のアイテム識別子であるとの検出に応じて、及び前記第１のアイテム識別子と前記第２のアイテム識別子との間の前記特定した関連付けに基づいて、前記第２のアイテム識別子を前記第２のアイテムに割り当てること、を行わせる、
非一時的なコンピュータ可読媒体。

【請求項16】

前記命令によって、前記プロセッサに、
それぞれの第２の画像について生成した各切り抜き画像について、
前記切り抜き画像を機械学習モデルに入力することであって、該機械学習モデルは、前記切り抜き画像がアイテムの背面画像であるか、又はアイテムの前面画像であるかを出力するように構成される、こと、
前記切り抜き画像がアイテムの背面画像であるか、又はアイテムの前面画像であるかを示す前記出力を前記機械学習モデルから取得すること、及び
前記出力に基づいて、前記切り抜き画像を背面画像又は前面画像としてタグ付けすること、をさらに行わせ、
前記切り抜き画像のうちの２つ以上が前面画像としてタグ付けされる、請求項１５に記載の非一時的なコンピュータ可読媒体。

【請求項17】

前記メモリは、エンコード化ベクトル・ライブラリを記憶するように構成され、
該エンコード化ベクトル・ライブラリは複数のエンコード化ベクトルを含み、各エンコード化ベクトルは、特定のアイテムの１つ又は複数の属性を記述し、且つ前記特定のアイテムのアイテム識別子に関連付けられており、
各切り抜き画像の前記アイテム識別子を識別することは、
前記切り抜き画像の第１のエンコード化ベクトルを生成することであって、該第１のエンコード化ベクトルは、前記切り抜き画像に基づいて、前記第１のアイテムの１つ又は複数の属性を記述する、こと、
前記第１のエンコード化ベクトルを、前記エンコード化ベクトル・ライブラリ内で前記エンコード化ベクトルと比較すること、
前記エンコード化ベクトル・ライブラリから、前記第１のエンコード化ベクトルに最もよく一致する第２のエンコード化ベクトルを選択することであって、数値類似値が、前記第１のエンコード化ベクトルと前記選択した第２のエンコード化ベクトルとの間の類似度を示す、こと、及び、
前記エンコード化ベクトル・ライブラリ内で、前記第２のエンコード化ベクトルに関連付けられた前記アイテム識別子を識別すること、を含む、請求項１６に記載の非一時的なコンピュータ可読媒体。

【請求項18】

前記命令によって、前記プロセッサに、複数の前記切り取られた第２の画像が前面画像としてタグ付けされると決定することをさらに行わせる、請求項１７に記載の非一時的なコンピュータ可読媒体。

【請求項19】

前記命令によって、前記プロセッサに、
前記複数の切り抜いた第２の画像が前面画像としてタグ付けされると決定することに応じて、類似値が閾値類似値以上であることに基づいて、複数のアイテム識別子から、前記複数の切り抜いた第２の画像のそれぞれについて識別した第１セットのアイテム識別子を決定すること、及び
前記複数の切り抜いた第２の画像の大部分について、前記第１セットのアイテム識別子から同じアイテム識別子が識別されなかったと決定すること、をさらに行わせる、請求項１８に記載の非一時的なコンピュータ可読媒体。

【請求項20】

前記命令によって、前記プロセッサに、
前記複数の切り抜いた第２の画像の前記大部分について、前記第１セットのアイテム識別子からの前記同じアイテム識別子が識別されなかったと決定したことに応じて、
前記第１セットの前記アイテム識別子に対応する前記類似値のうちの最も高い類似値に基づいて、前記第１セットから、第１の切り抜いた第２の画像について識別した第３のアイテム識別子を決定すること、
前記第１セットの前記アイテム識別子に対応する前記類似値のうちの２番目に高い類似値に基づいて、前記第１セットから、第２の切り抜いた第２の画像について識別した第４のアイテム識別子を決定すること、及び
前記最も高い類似値と前記２番目に高い類似値との間の差が閾値差未満であると決定すること、をさらに行わせる、請求項１９に記載の非一時的なコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願への相互参照
本願は、２０２１年１１月１９日に出願した、“ITEM LOCATION DETECTION USING HOMOGRAPHIES”という表題の米国特許出願第１７／４５５，９０３号の一部継続出願であり、これは、Sailesh Bharathwaaj Krishnamurthyらによって２０２１年６月２９日に出願した、“ITEM IDENTIFICATION USING DIGITAL IMAGE PROCESSING”という表題の米国特許出願第１７／３６２，２６１号の一部継続出願であり、両方とも参照により本明細書に組み込まれる。

【0002】

技術分野
本開示は、概して、デジタル画像処理に関するものであり、より具体的には、第１のアイテムとの関連性に基づいて第２のアイテムを識別するためのシステム及び方法に関する。

【背景技術】

【0003】

空間内のオブジェクトの識別及び追跡には、いくつかの技術的課題がある。例えば、画像に複数のアイテムが含まれる場合に、後で画像内のアイテムを識別するために使用できるアイテムの様々な特徴を識別するには、計算量が多くかかる。このプロセスには、画像内の個々のアイテムを識別し、次にアイテムの特徴を、数千のアイテムを含む可能性のあるデータベース内の全てのアイテムと比較することが含まれ得る。計算量が多いことに加えて、このプロセスにはかなりの時間が必要であるため、このプロセスはリアルタイムアプリケーションと互換性がない。この問題は、複数のアイテムを同時に識別及び追跡しようとすると解決が困難になる。

【発明の概要】

【0004】

本願で開示するシステムは、カメラと３次元（３Ｄ）センサとの組合せを使用してプラットフォーム上に置かれたアイテムを識別及び追跡することにより、上記の技術的課題に対する技術的解決策を提供する。開示するシステムは、プラットフォーム上に置かれたアイテムの画像を取り込むためにイメージング装置上のカメラの組合せを選択し、プラットフォーム上に置かれたアイテムを識別し、アイテムをユーザに割り当てるプロセスを含む、いくつかの実用的なアプリケーション及び技術的利点を提供する。ユーザにアイテムをスキャン又は手動で識別することを要求すると、アイテムを迅速に識別するシステムの能力にボトルネックが生じる。対照的に、開示するプロセスは、ユーザがアイテムをスキャン又は識別する必要なく、アイテムの画像からアイテムを識別し、アイテムをユーザに割り当てることができる。このプロセスは、複数のアイテムを迅速に識別するシステムの能力を向上させることにより、画像検出及び追跡の実用的なアプリケーションを提供する。これらの実用的なアプリケーションは、アイテムを識別するシステムの能力を向上させるだけでなく、基礎となるネットワーク及びネットワーク内の装置も向上させる。例えば、この開示するプロセスにより、アイテムを識別してアイテムをユーザに割り当てるのにかかる時間が短縮され、画像検出処理のスループットが向上し、システムはより多くのユーザにサービスを提供できるようになる。換言すれば、このプロセスは追加のハードウェアリソースを必要とせずにハードウェアの使用率を向上させ、他のプロセスに使用できるハードウェアリソースの数を増やし、システムのスループットを向上させる。さらに、これらの技術的な改善により、本明細書で説明するアイテムの識別及び追跡機能の拡張が可能になる。

【0005】

一実施形態では、アイテム追跡システムは、イメージング装置のプラットフォームでトリガーイベントを検出するように構成されたアイテム追跡装置を含む。トリガーイベントは、ユーザがプラットフォーム上にアイテムを置くことによってイメージング装置に近づくか、又はイメージング装置と対話する場合に対応し得る。アイテム追跡装置は、３Ｄセンサを使用してプラットフォーム上のアイテムの深度画像を取り込み、深度画像に基づいてプラットフォーム上の各アイテムのオブジェクト姿勢（pose）を決定するように構成される。姿勢は、プラットフォームに対するアイテムの位置及び向きに対応する。アイテム追跡装置は、プラットフォーム上の各アイテムのオブジェクト姿勢に基づいて、イメージング装置上の複数のカメラの中から１つ又は複数のカメラを特定するようにさらに構成される。このプロセスにより、アイテム追跡装置が、プラットフォーム上のアイテムの最良のビューを有するカメラを選択でき、アイテムを識別するために処理される画像の数が削減される。アイテム追跡装置は、特定したカメラを使用してプラットフォーム上のアイテムの画像を取り込み、アイテムの特徴に基づいて画像内のアイテムを識別するようにさらに構成される。アイテム追跡装置は、プラットフォーム上の識別したアイテムに関連付けられたユーザを識別し、ユーザに関連付けられたアカウントを識別し、ユーザに関連付けられたアカウントにアイテムを追加するようにさらに構成される。

【0006】

別の実施形態では、アイテム追跡システムは、第１の時点（time instance）で３Ｄセンサを使用してプラットフォームの第１の俯瞰（overhead：上部）深度画像を取り込み、第２の時点で３Ｄセンサを使用して第１のオブジェクトの第２の俯瞰深度画像を取り込むように構成されたアイテム追跡装置を含む。アイテム追跡装置は、第２の俯瞰深度画像において第１のオブジェクトの第１の部分が関心領域内にあり、第１のオブジェクトの第２の部分が関心領域外にあると決定するようにさらに構成される。アイテム追跡装置は、第３の時点で３Ｄセンサを使用してプラットフォーム上に置かれた第２のオブジェクトの第３の俯瞰深度画像を取り込むようにさらに構成される。アイテム追跡装置は、プラットフォームに対して第１のオブジェクトが関心領域外にあり、第２のオブジェクトが関心領域内にあるとの決定に応じて、カメラを使用して第２のオブジェクトの第１の画像を取り込むようにさらに構成される。

【0007】

別の実施形態では、アイテム追跡システムは、第１の画像内のアイテムに対応する第１の複数のピクセル内の第１のピクセル位置を特定し、第１のピクセル位置に第１のホモグラフィを適用して第１の（ｘ，ｙ）座標を決定するように構成されたアイテム追跡装置を含む。アイテム追跡装置は、第２の画像内のアイテムに対応する第２の複数のピクセル内の第２のピクセル位置を特定し、第２のピクセル位置に第２のホモグラフィを適用して第２の（ｘ，ｙ）座標を決定するようにさらに構成される。アイテム追跡装置は、第１の（ｘ，ｙ）座標と第２の（ｘ，ｙ）座標との間の距離が距離閾値以下であると決定し、第１の複数のピクセル及び第２の複数のピクセルをアイテムのクラスタに関連付け、第１の複数のピクセル及び第２の複数のピクセルを出力するようにさらに構成される。

【0008】

別の実施形態では、アイテム追跡システムは、ユーザがプラットフォーム上に第１のアイテムを置くことに対応するトリガーイベントを検出し、カメラを使用してプラットフォーム上の第１のアイテムの第１の画像を取り込み、第１の画像に存在する第１のアイテムの特徴に基づいて第１のエンコード化（encoded）ベクトルを出力するように構成された機械学習モデルに第１の画像を入力するように構成されたアイテム追跡装置を含む。アイテム追跡装置は、エンコード化ベクトル・ライブラリ内で第１のエンコード化ベクトルに最もよく一致する第２のエンコード化ベクトルを識別し、エンコード化ベクトル・ライブラリ内で第２のエンコード化ベクトルに関連付けられた第１のアイテム識別子を識別するようにさらに構成される。アイテム追跡装置は、ユーザを識別し、ユーザに関連付けられたアカウントを識別し、第１のアイテム識別子をユーザのアカウントに関連付けるようにさらに構成される。

【0009】

別の実施形態では、アイテム追跡システムは、第１のエンコード化ベクトルを受け取り、第１のオブジェクトの１つ又は複数の特徴記述子を受け取るように構成されたアイテム追跡装置を含む。アイテム追跡装置は、エンコード化ベクトル・ライブラリから、１つ又は複数の特徴記述子に関連付けられていない１つ又は複数のエンコード化ベクトルを除去し、第１のエンコード化ベクトル内の数値に基づいて、エンコード化ベクトル・ライブラリ内で第１のエンコード化ベクトルに最もよく一致する第２のエンコード化ベクトルを識別するようにさらに構成される。アイテム追跡装置は、エンコード化ベクトル・ライブラリ内で第２のエンコード化ベクトルに関連付けられる第１のアイテム識別子を識別し、第１のアイテム識別子を出力するようにさらに構成される。

【0010】

別の実施形態では、アイテム追跡システムは、カメラを使用してプラットフォーム上のアイテムの第１の画像を取り込み、アイテムに対応する第１の画像内の第１のピクセル数を決定するように構成されたアイテム追跡装置を含む。アイテム追跡装置は、３次元（３Ｄ）センサを使用してプラットフォーム上のアイテムの第１の深度画像を取り込み、アイテムに対応する第１の深度画像内の第２のピクセル数を決定するようにさらに構成される。アイテム追跡装置は、第１の画像内の第１のピクセル数と第１の深度画像内の第２のピクセル数との間の差が差閾値未満であると決定し、第１の画像から第１の画像内のアイテムに対応する複数のピクセルを抽出して第２の画像を生成し、第２の画像を出力するようにさらに構成される。

【0011】

別の実施形態では、アイテム追跡システムは、第１のアイテムの第１の点群データを受け取り、第１の点群データ内の第１のオブジェクトの第１の複数のデータポイントを識別し、第１の点群データから第１の複数のデータポイントを抽出するように構成されたアイテム追跡装置を含む。アイテム追跡装置は、第１のアイテムの第２の点群データを受け取り、第２の点群データ内の第１のオブジェクトの第２の複数のデータポイントを識別し、第２の点群データから第２の複数のデータポイントを抽出するようにさらに構成される。アイテム追跡装置は、第１の複数のデータポイント及び第２の複数のデータポイントをマージして結合した点群データを生成し、結合した点群データに基づいて第１のオブジェクトの寸法を決定するようにさらに構成される。

【0012】

本開示の特定の実施形態は、これらの利点の一部、全部を含む、又はいずれも含まない可能性がある。これらの利点及び他の特徴は、添付の図面及び特許請求の範囲と併せて以下の詳細な説明を読むことで、より明確に理解されるだろう。

【図面の簡単な説明】

【0013】

本開示をより完全に理解するために、添付の図面及び詳細な説明と併せて以下の簡単な説明を参照する。ここで、同様の参照符号は同様の部分を表す。

【図1】デジタル画像処理を使用するように構成されたアイテム追跡システムの一実施形態の概略図である。

【図2A】イメージング装置の一実施形態の斜視図である。

【図2B】エンクロージャを含むイメージング装置の別の実施形態の斜視図である。

【図2C】開いたエンクロージャを含むイメージング装置の別の実施形態の斜視図である。

【図3】アイテム追跡システムのアイテム追跡プロセスの一実施形態のフローチャートである。

【図4】アイテムをプラットフォームに置く前と置いた後の、イメージング装置のプラットフォームの深度画像の比較の例である。

【図5A】アイテムの画像の例である。

【図5B】アイテムの画像の例である。

【図5C】アイテムの画像の例である。

【図6】アイテム追跡システムのために構成されたアイテム追跡装置の一実施形態である。

【図7】アイテム識別をトリガーするための手検出プロセスの一実施形態のフローチャートである。

【図8A】アイテムをイメージング装置のプラットフォーム上に置いていない状態のプラットフォームの俯瞰深度画像の例である。

【図8B】イメージング装置のプラットフォームの上に手があるときのプラットフォームの俯瞰深度画像の例である。

【図8C】イメージング装置のプラットフォームの上に手があるときのプラットフォームのオーバーヘッド画像の例である。

【図8D】アイテムをイメージング装置のプラットフォーム上に置いた状態のプラットフォームの俯瞰深度画像の例である。

【図9】アイテム識別のための画像切り抜きプロセスの一実施形態のフローチャートである。

【図10A】イメージング装置のプラットフォーム上のアイテムの深度画像と、アイテムを取り込む画像からの関心領域の例である。

【図10B】アイテムを取り込む画像からの関心領域をアイテムの深度画像に重ね合わせた例である。

【図10C】イメージング装置のプラットフォーム上のアイテムの深度画像と、アイテムを取り込む画像からの関心領域の別の例である。

【図10D】アイテムを取り込む画像からの関心領域をアイテムの深度画像に重ね合わせた別の例である。

【図11】アイテム位置検出プロセスの一実施形態のフローチャートである。

【図12A】アイテム追跡システムのホモグラフィの例である。

【図12B】追跡システムの逆ホモグラフィの例である。

【図13A】イメージング装置のプラットフォーム上のアイテムの関心領域をカメラで取り込んだ画像の例である。

【図13B】イメージング装置のプラットフォーム上のアイテムの関心領域をカメラで取り込んだ画像の別の例である。

【図13C】イメージング装置のプラットフォーム上のアイテムの関心領域をカメラで取り込んだ画像の別の例である。

【図14】アイテムの位置検出中にアイテムクラスタを含むイメージング装置のプラットフォームの俯瞰図の例である。

【図15】エンコード化ベクトル・ライブラリの検索空間削減プロセスの一実施形態のフローチャートである。

【図16】エンコード化ベクトル・ライブラリの例である。

【図17】エンコード化ベクトルとエンコード化ベクトル・ライブラリ内のエントリとの間の類似ベクトルを生成するプロセスの例である。

【図18】点群情報を使用したアイテムの寸法決定プロセスの一実施形態のフローチャートである。

【図19】３Ｄセンサからの、イメージング装置のプラットフォーム上のアイテムの点群データの俯瞰図の例である。

【図20】３Ｄセンサからの、イメージング装置のプラットフォーム上のアイテムの点群データの斜視図の例である。

【図21】３Ｄセンサからの、イメージング装置のプラットフォーム上のアイテムの点群データの斜視図の別の例である。

【図22】複数の３Ｄセンサからのアイテムの結合した点群データの例である。

【図23】エンコード化ベクトルを使用するアイテム追跡プロセスの一実施形態のフローチャートである。

【図24】イメージング装置のプラットフォーム上で検出したアイテムを表示するグラフィカルユーザインターフェイスの例である。

【図25】イメージング装置のプラットフォーム上で検出したアイテムを表示するグラフィカルユーザインターフェイスの別の例である。

【図26】イメージング装置のプラットフォームからアイテムを削除するための確認メッセージを表示するグラフィカルユーザインターフェイスの例である。

【図27】本開示の１つ又は複数の実施形態による、第１のアイテムとの関連性に基づいて第２のアイテムを識別することを示す図である。

【図28】本開示の１つ又は複数の実施形態による、アイテム識別子同士の間の関連性を示す図である。

【図29】本開示の１つ又は複数の実施形態による、第１のアイテムとの関連性に基づいて第２のアイテムを識別するための例示的な方法のフローチャートである。

【発明を実施するための形態】

【0014】

システムの概要
図１は、デジタル画像処理を使用するように構成されたアイテム追跡システム１００の一実施形態の概略図である。アイテム追跡システム１００は、デジタル画像処理を使用して、イメージング装置１０２のプラットフォーム２０２上に置かれたアイテム２０４を識別し、アイテム２０４を特定のユーザに割り当てることができる。このプロセスにより、ユーザが、スキャンしたり、取得したいアイテム２０４を手動で識別したりすることなく、空間からアイテム２０４を取得することができる。一実施形態では、アイテム追跡システム１００は、買い物客が従来の勘定（checkout：会計）プロセスに従事する必要がないように、空間（例えば、店舗）に設置することができる。本開示では店舗の例を使用するが、本開示では、アイテム追跡システム１００を任意のタイプの物理的空間（例えば、部屋、オフィス、屋外スタンド、ショッピングモール、スーパーマーケット、コンビニエンスストア、ポップアップストア、倉庫、保管センタ、遊園地、空港、オフィスビル等）に設置し、使用し得ることを想定している。一例として、空間は、購入可能な複数のアイテム２０４を含む店舗であり得る。アイテム追跡システム１００は、買い物客が店舗からアイテムを購入するために従来の勘定プロセスに従事する必要がないように、店舗に設置され得る。この例では、店舗はコンビニエンスストア又は食料品店であり得る。他の例では、店舗は、物理的な建物ではなく、買い物客が買い物できる物理的な空間又は環境である可能性がある。例えば、店舗は、空港の「持ち帰り用」パントリ、オフィスビルのキオスク、公園の屋外マーケット等であり得る。別の例として、空間は、ユーザが使用又は借りることができる複数のアイテム２０４を含む倉庫又は備品室であり得る。この例では、アイテム追跡システム１００は、ユーザが自分で部品又は備品を勘定できるようにインストールできる。他の例では、アイテム追跡システム１００は、他の適切なアプリケーションに使用できる。

【0015】

一実施形態では、アイテム追跡システム１００は、ネットワーク１０６を介して互いに信号通信する１つ又は複数のイメージング装置１０２及びアイテム追跡装置１０４から構成される。ネットワーク１０６によって、アイテム追跡システム１００の様々なコンポーネント同士の間の通信が可能になる。本開示では、ネットワーク１０６が、アイテム追跡システム１００のコンポーネント同士の間の通信を容易にするために動作可能な任意の適切なネットワークであることを想定している。ネットワーク１０６には、オーディオ、ビデオ、信号、データ、メッセージ、又はこれらの任意の組合せを送信できる任意の相互接続システムが挙げられ得る。ネットワーク１０６には、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、オバーレイネットワーク、ソフトウェア規定ネットワーク（ＳＤＮ）、仮想プライベートネットワーク（ＶＰＮ）、パケットデータネットワーク（例えば、インターネット）、携帯電話ネットワーク（例えば、４Ｇ又は５Ｇ等のセルラーネットワーク等）、一般電話（ＰＯＴ）ネットワーク、無線データネットワーク（例えば、ＷｉＦｉ、ＷｉＧｉｇ、ＷｉＭａｘ等）、ＬＴＥ（Long Term Evolution）ネットワーク、ＵＭＴＳ（Universal
Mobile Telecommunications System）ネットワーク、ピアツーピア（Ｐ２Ｐ）ネットワーク、Ｂｌｕｅｔｏｏｔｈネットワーク、近距離無線通信（ＮＦＣ）ネットワーク、Ｚｉｇｂｅｅネットワーク、及び／又は他の適切なネットワークの全て又は一部が含まれ得る。

【0016】

イメージング装置
イメージング装置１０２は、一般に、イメージング装置１０２のプラットフォーム２０２上に置かれたアイテム２０４の画像１２２及び深度画像１２４を取り込むように構成される。一実施形態では、イメージング装置１０２は、１つ又は複数のカメラ１０８、１つ又は複数の３次元（３Ｄ）センサ１１０、及び１つ又は複数の重量センサ１１２を含む。イメージング装置１０２のハードウェア構成に関する追加情報は、図２Ａ～図２Ｃで説明する。

【0017】

カメラ１０８及び３Ｄセンサ１１０はそれぞれ、プラットフォーム２０２の少なくとも一部の画像１２２及び深度画像１２４をそれぞれ取り込むように構成される。カメラ１０８は、アイテム２０４の画像１２２（例えば、ＲＧＢ画像）を取り込むように構成される。カメラ１０８の例には、カメラ、ビデオカメラ、ウェブカメラ、及びプリント回路基板（ＰＣＢ）カメラが挙げられるが、これらに限定されない。３Ｄセンサ１１０は、アイテム２０４の深度マップ又は点群データ等の深度画像１２４を取り込むように構成される。深度画像１２４は複数のピクセルで構成される。深度画像１２４内の各ピクセルは、３Ｄセンサ１１０と深度画像１２４内の表面との間の距離を特定する深度情報で構成される。３Ｄセンサ１１０の例には、深度感知カメラ、飛行時間センサ、ＬｉＤＡＲ、構造化光カメラ、又は他の適切なタイプの深度感知装置が挙げられるが、これらに限定されない。いくつかの実施形態では、カメラ１０８及び３Ｄセンサ１１０は、単一の装置内に統合してもよい。他の実施形態では、カメラ１０８及び３Ｄセンサ１１０は、別々の装置である場合がある。

【0018】

重量センサ１１２は、イメージング装置１０２のプラットフォーム２０２上に置かれたアイテム２０４の重量を測定するように構成される。例えば、重量センサ１１２は、入力した機械的な力（例えば、重量、張力、圧縮、圧力、又はトルク）を出力電気信号（例えば、電流又は電圧）に変換するトランスデューサを含むことができる。入力する力が増大するにつれて、出力される電気信号は比例して増大し得る。アイテム追跡装置１０４は、出力される電気信号を解析して、重量センサ１１２上のアイテム２０４の総重量を決定するように構成される。重量センサ１１２の例には、圧電ロードセル又は圧力センサが挙げられるが、これらに限定されない。例えば、重量センサ１１２は、ロードセルが受ける重量を示す電気信号を伝達するように構成された１つ又は複数のロードセルを含むことができる。例えば、ロードセルは、ロードセルが受ける重量又は力に応じて変化する電流を生成することができる。ロードセルは、生成した電気信号を、処理するためにアイテム追跡装置１０４に伝達するように構成される。

【0019】

アイテム追跡装置
アイテム追跡装置１０４の例には、サーバ、コンピュータ、ラップトップ、タブレット、又は他の適切なタイプの装置が挙げられるが、これらに限定されない。図１では、イメージング装置１０２及びアイテム追跡装置１０４が２つの装置として示される。いくつかの実施形態では、イメージング装置１０２及びアイテム追跡装置１０４は、単一の装置内に統合してもよい。一実施形態では、アイテム追跡装置１０４は、アイテム追跡エンジン１１４及びメモリ１１６を含む。アイテム追跡装置１０４のハードウェア構成に関する追加の詳細が図６に記載される。メモリ１１６は、アイテム情報１１８、ユーザアカウント情報１２０、機械学習モデル１２６、エンコード化ベクトル・ライブラリ１２８、及び／又は他の適切なタイプのデータを記憶するように構成される。

【0020】

一実施形態では、アイテム追跡エンジン１１４は、一般に、画像１２２及び深度画像１２４を処理して、イメージング装置１０２のプラットフォーム２０２上に置かれたアイテム２０４を識別し、識別したアイテム２０４をユーザに関連付けるように構成される。アイテム追跡エンジン１１４の動作の例については、図３及び図７～図２６でより詳細に説明する。

【0021】

アイテム情報１１８には、一般に、複数のアイテムに関連付けられた情報が含まれる。アイテム情報１１８の例には、価格、重量、バーコード、アイテム識別子、アイテム番号、アイテムの特徴、又はアイテム２０４に関連付けられた他の適切な情報が挙げられるが、これらに限定されない。アイテムの特徴の例には、テキスト、ロゴ、ブランド、色、バーコード、パターン、形状、又はアイテム２０４の他の適切なタイプの属性が挙げられるが、これらに限定されない。ユーザアカウント情報１２０には、ユーザに関連付けられた１つ又は複数のアカウントの情報が含まれる。アカウントの例には、顧客アカウント、従業員アカウント、学校アカウント、ビジネスアカウント、金融アカウント、デジタルカート、又は他の適切なタイプのアカウントが挙げられるが、これらに限定されない。ユーザアカウント情報１２０は、ユーザに関連付けられたアカウントにユーザ情報を関連付けるように構成され得る。ユーザ情報の例には、名前、電話番号、電子メールアドレス、識別番号、従業員番号、英数字コード、特典会員情報、又はユーザに関連付けられた他の適切な種類の情報等が挙げられるが、これらに限定されない。いくつかの実施形態では、アイテム情報１１８及び／又はユーザアカウント情報１２０は、アイテム追跡装置１０４の外部にある装置（例えば、クラウドサーバ）に記憶され得る。

【0022】

機械学習モデル１２６の例には、多層パーセプトロン、リカレントニューラルネットワーク（ＲＮＮ）、ＲＮＮ長短期メモリ（ＬＳＴＭ）、畳み込みニューラルネットワーク（ＣＮＮ）、トランスフォーマ、又は他の適切な種類のニューラルネットワークモデル等が挙げられるが、これらに限定されない。一実施形態では、機械学習モデル１２６は、一般に、入力として画像１２２を受け取り、提供された画像１２２に基づいてアイテム識別子を出力するように構成される。機械学習モデル１２６は、対応するラベル（例えば、アイテム識別子）を有するアイテム２０４の異なる画像１２２を含む教師あり学習トレーニングデータを使用してトレーニングされる。トレーニングプロセス中に、機械学習モデル１２６は、機械学習モデル１２６がアイテム２０４の画像１２２を異なるアイテム識別子にマッピングできるようにする重み及びバイアス値を決定する。このプロセスを通じて、機械学習モデル１２６は、画像１２２内のアイテム２０４を識別することができる。アイテム追跡エンジン１１４は、当業者に理解される任意の適切な技術を使用して機械学習モデル１２６をトレーニングするように構成され得る。いくつかの実施形態では、機械学習モデル１２６は、アイテム追跡装置１０４の外部にある装置によって記憶及び／又はトレーニングされる場合がある。

【0023】

エンコード化ベクトル・ライブラリ１２８には、一般に、アイテム追跡装置１０４によって識別できるアイテム２０４の情報が含まれる。エンコード化ベクトル・ライブラリ１２８の例が図１６に示される。一実施形態では、エンコード化ベクトル・ライブラリ１２８は複数のエントリ１６０２を含む。各エントリ１６０２は、アイテム追跡装置１０４によって識別できる異なるアイテム２０４に対応する。図１６を例として参照すると、各エントリ１６０２は、アイテム識別子１６０４及び複数の特徴記述子１６０８にリンクされたエンコード化ベクトル１６０６を含むことができる。エンコード化ベクトル１６０６は、数値の配列を含む。各数値は、アイテム２０４の物理的属性（例えば、アイテムタイプ、サイズ、形状、色等）に対応し、それを記述する。エンコード化ベクトル１６０６は、任意の適切な長さであってもよい。例えば、エンコード化ベクトル１６０６のサイズは、１×２５６、１×５１２、１×１０２４、又は他の適切な長さを有してもよい。アイテム識別子１６０４は、アイテム２０４を一意に識別する。アイテム識別子１６０４の例には、製品名、在庫管理単位（ＳＫＵ）番号、英数字コード、グラフィカルコード（例えば、バーコード）、又は他の適切なタイプの識別子が挙げられるが、これらに限定されない。各特徴記述子１６０８は、アイテム２０４の物理的特性を記述する。特徴記述子１６０８の例には、アイテムタイプ１６１０、支配的な色１６１２、寸法１６１４、重量１６１６、又はアイテム２０４の物理的属性を記述する他の適切なタイプの記述子が挙げられるが、これらに限定されない。アイテムタイプ１６１０によって、アイテム２０４の分類が識別される。例えば、アイテムタイプ１６１０は、アイテム２０４が、缶、ボトル、箱、果物、バッグ等であるかどうかを示す。支配的な色１６１２によって、アイテム２０４の表面（例えば、パッケージ）に表示される１つ又は複数の色が識別される。寸法１６１４によって、アイテム２０４の長さ、幅、及び高さが識別され得る。いくつかの実施形態では、寸法１６１４は昇順でリストされ得る。重量１６１６によって、アイテム２０４の重量が識別される。重量１６１６は、ポンド、オンス、リットル、又は他の適切な単位で表示され得る。

【0024】

イメージング装置のハードウェア構成
図２Ａは、イメージング装置１０２の一実施形態の斜視図である。この例では、イメージング装置１０２は、プラットフォーム２０２、フレーム構造２０６、複数のカメラ１０８、複数の３Ｄセンサ１１０、及び重量センサ１１２を含む。イメージング装置１０２は、図２Ａに示されるように構成することも、他の適切な構成にすることもできる。いくつかの実施形態では、イメージング装置１０２は、ライト、ディスプレイ、及びグラフィカルユーザインターフェイスを含むが、これらに限定されない追加のコンポーネントをさらに含む場合がある。

【0025】

プラットフォーム２０２は、複数のアイテム２０４を保持するように構成された表面２０８を含む。いくつかの実施形態では、プラットフォーム２０２は重量センサ１１２と統合され得る。例えば、プラットフォーム２０２は重量センサ１１２上に位置付けされ、重量センサ１１２はプラットフォーム２０２上に置かれたアイテム２０４の重量を測定することができる。別の例として、重量センサ１１２は、プラットフォーム２０２内に配置され、プラットフォーム２０２上に置かれたアイテム２０４の重量を測定することができる。いくつかの実施形態では、表面２０８の少なくとも一部は透明であってもよい。この場合に、カメラ１０８又はスキャナ（例えば、バーコードスキャナ）は、プラットフォーム２０２の表面２０８の下に配置され、画像１２２を取り込むか、又はプラットフォーム２０２上に置かれたアイテム２０４の底部をスキャンするように構成してもよい。例えば、カメラ１０８又はスキャナは、プラットフォーム２０２の透明な表面２０８を通してアイテム２０４の製品ラベル及び／又はバーコード（例えば、ＳＫＵ）を識別して読み取るように構成してもよい。プラットフォーム２０２は、アルミニウム、金属、木材、プラスチック、ガラス、又は他の適切な材料で形成してもよい。

【0026】

フレーム構造２０６は、一般に、カメラ１０８及び３Ｄセンサ１１０を支持し、位置付けするように構成される。図２Ａでは、フレーム構造２０６は、プラットフォーム２０２上のアイテム２０４の斜視図を撮影する第１のカメラ１０８Ａ及び第２のカメラ１０８Ｃをイメージング装置１０２の両側面に位置付けするように構成される。フレーム構造２０６は、プラットフォーム２０２上のアイテム２０４の斜視図を撮影する第３のカメラ１０８Ｄをイメージング装置１０２の背面に位置付けするようにさらに構成される。いくつかの実施形態では、フレーム構造２０６は、プラットフォーム２０２上のアイテム２０４の斜視図を撮影する第４のカメラ１０８（図示せず）をイメージング装置１０２の前面にさらに含んでもよい。フレーム構造２０６は、側面カメラ１０８Ａ及び１０８Ｃ、背面カメラ１０８Ｄ、及び前面カメラ１０８の任意の数及び組合せを使用するように構成してもよい。例えば、特定したカメラ１０８の１つ又は複数はオプションであり、省略してもよい。斜視画像１２２又は深度画像１２４は、プラットフォーム２０２上に置かれたアイテム２０４の側面を取り込むように構成される。フレーム構造２０６は、プラットフォーム２０２上のアイテム２０４の上面図又は俯瞰図を撮影する第３のカメラ１０８Ｂ及び３Ｄセンサ１１０を位置付けするようにさらに構成される。俯瞰画像１２２又は深度画像１２４は、プラットフォーム２０２上に置かれたアイテム２０４の上向きの表面を撮影するように構成される。他の例では、フレーム構造２０６は、カメラ１０８及び３Ｄセンサ１１０の任意の他の適切な数及び組合せを支持及び位置付けするように構成することができる。フレーム構造２０６は、アルミニウム、金属、木材、プラスチック、又は他の適切な材料で形成してもよい。

【0027】

図２Ｂは、エンクロージャ２１０を含むイメージング装置１０２の別の実施形態の斜視図である。この構成では、エンクロージャ２１０は、イメージング装置１０２のフレーム構造２０６、カメラ１０８、３Ｄセンサ１１０、及びプラットフォーム２０２を少なくとも部分的に包み込むように構成される。フレーム構造２０６、カメラ１０８、３Ｄセンサ１１０、及びプラットフォーム２０２は、図２Ａで説明したものと同様に構成してもよい。一実施形態では、フレーム構造２０６は、カメラ１０８及び３Ｄセンサ１１０をエンクロージャ２１０内で再位置付けできるように構成されたレール又はトラック２１２をさらに含んでもよい。例えば、カメラ１０８Ａ、１０８Ｃ、及び１０８Ｄは、レール２１２を使用して、プラットフォーム２０２に対して垂直軸に沿って再位置付け可能であってもよい。同様に、カメラ１０８Ｂ及び３Ｄセンサ１１０は、レール２１２を使用して、プラットフォーム２０２に対して水平軸に沿って再位置付け可能であってもよい。

【0028】

図２Ｃは、開いたエンクロージャ２１４を含むイメージング装置１０２の別の実施形態の斜視図である。この構成では、エンクロージャ２１４は、イメージング装置１０２のフレーム構造２０６、カメラ１０８、３Ｄセンサ１１０、及びプラットフォーム２０２を少なくとも部分的に覆うように構成される。フレーム構造２０６、カメラ１０８、３Ｄセンサ１１０、及びプラットフォーム２０２は、図２Ａで説明したものと同様に構成してもよい。一実施形態では、フレーム構造２０６はエンクロージャ２１４内に統合してもよい。例えば、エンクロージャ２１４は、カメラ１０８及び３Ｄセンサ１１０を収容するように構成された開口部２１６を含むことができる。図２Ｃでは、エンクロージャ２１４は、角が丸い長方形の断面を有する。他の実施形態では、エンクロージャ２１４は、他の任意の適切な形状の断面で構成してもよい。

【0029】

アイテム追跡プロセス
図３は、アイテム追跡システム１００のアイテム追跡プロセス３００の一実施形態のフローチャートである。アイテム追跡システム１００は、プロセス３００を使用して、イメージング装置１０２のプラットフォーム２０２上に置かれたアイテム２０４を識別し、アイテム２０４を特定のユーザに割り当てることができる。例として、アイテム追跡システム１００は、店舗内でプロセス３００を使用して、購入のためにユーザのデジタルカートにアイテム２０４を追加することができる。別の例として、アイテム追跡システム１００は、倉庫又は備品室内でプロセス３００を使用して、ユーザにアイテムをチェックアウト（会計）することができる。他の例では、アイテム追跡システム１００は、アイテム２０４が特定のユーザに割り当てられるか、又は関連付けられる、他の適切なタイプのアプリケーションでプロセス３００を使用することができる。このプロセスにより、ユーザは、取得したいアイテム２０４をスキャンしたり、他の方法で識別したりすることなく、空間からアイテム２０４を取得することができる。

【0030】

動作３０２では、アイテム追跡装置１０４は、イメージング装置１０２の自動除外を実行する。初期キャリブレーション期間中に、プラットフォーム２０２にはアイテム２０４が置かれていない可能性がある。この期間中に、アイテム追跡装置１０４は、１つ又は複数のカメラ１０８及び３Ｄセンサ１１０を使用して、プラットフォーム２０２にアイテム２０４を置かない状態で、プラットフォームの参照画像１２２及び参照深度画像１２４を取り込む。次に、アイテム追跡装置１０４は、取り込んだ画像１２２及び深度画像１２４を参照画像として使用して、アイテムがプラットフォーム２０２に置かれたことを検出できる。例えば、アイテム追跡装置１０４は、プラットフォーム２０２の上面図又は俯瞰図を撮影するように構成された３Ｄセンサ１１０を使用して、プラットフォーム２０２にアイテム２０４を置いていないときのプラットフォーム２０２の参照深度画像１２４を取り込むことができる。この例では、取り込んだ深度画像１２４は、プラットフォーム２０２の表面２０８に対応する深度画像１２４全体にわたって実質的に一定の深度値を含み得る。後で、アイテム追跡装置１０４は、後続の深度画像１２４と参照深度画像１２４との間の深度値の差に基づいて、アイテム２０４がプラットフォーム２０２の表面２０８上に置かれたことを検出することができる。別の例として、アイテム追跡装置１０４は、プラットフォーム２０２の上面図又は斜視図を撮影するように構成されたカメラ１０８を使用して、プラットフォーム２０２上にアイテム２０４を置いていないときのプラットフォームの参照画像１２２を取り込むことができる。この例では、取り込んだ画像１２２は、プラットフォーム２０２上にアイテム２０４が存在しないときのプラットフォームのシーンに対応するピクセル値を含む。後で、アイテム追跡装置１０４は、後続の画像１２２と参照画像１２２との間のピクセル値の差に基づいて、アイテム２０４がプラットフォーム２０２上に置かれたことを検出することができる。

【0031】

動作３０４では、アイテム追跡装置１０４は、トリガーイベントを検出したかどうかを判定する。トリガーイベントは、ユーザがイメージング装置１０２と対話していることを示すイベントに対応する。例えば、トリガーイベントは、ユーザがイメージング装置１０２に近づいたり、アイテム２０４をイメージング装置１０２の上に置いたりしたときに発生し得る。一例として、アイテム追跡装置１０４は、３Ｄセンサ１１０を使用して動きを検出したことに応じて、又は３Ｄセンサ１１０によって取り込んだ深度画像１２４の変化に基づいて、トリガーイベントが発生したことを判定することができる。例えば、アイテム追跡装置１０４は、３Ｄセンサ１１０によって取り込んだ深度画像１２４と参照深度画像１２４との間の深度値の差に基づいて、アイテム２０４がプラットフォーム２０２の表面２０８に置かれたことを検出できる。図４を例として参照すると、図４は、図２Ａに示されるアイテム２０４をプラットフォーム２０２上に置く前と置いた後の、イメージング装置１０２のプラットフォーム２０２の俯瞰図からの深度画像１２４同士の間の比較の例を示している。深度画像１２４Ａは、アイテム２０４をプラットフォーム２０２上に置いていないときに取り込まれた参照深度画像１２４に対応する。深度画像１２４Ｂは、アイテム２０４をプラットフォーム２０２上に置いた後に取り込まれた深度画像１２４に対応する。この例では、深度画像１２４内の色又はピクセル値は、異なる深度値を表す。深度画像１２４Ａでは、深度画像１２４Ａの深度値はほぼ一定であり、これはプラットフォーム２０２上にアイテム２０４がないことを意味する。深度画像１２４Ｂでは、異なる深度値は、プラットフォーム２０２上に置かれたアイテム２０４（つまり、アイテム２０４Ａ、２０４Ｂ、及び２０４Ｃ）に対応する。この例では、アイテム追跡装置１０４は、深度画像１２４Ａと深度画像１２４Ｂとの間の差に基づいて、プラットフォーム２０２上にアイテム２０４が存在すると検出したことに応じて、トリガーイベントを検出する。アイテム追跡装置１０４は、画像１２２又は深度画像１２４を使用して、プラットフォーム２０２上にあるアイテム２０４の数をカウントすることもできる。この例では、アイテム追跡装置１０４は、深度画像１２４Ｂに基づいて、プラットフォーム２０２上に置かれたアイテム２０４が３つあると決定する。アイテム追跡装置１０４は、決定したアイテム２０４の数を後で使用して、全てのアイテム２０４を識別したかどうかを確認することができる。このプロセスについては、以下の動作３１２でより詳細に説明する。

【0032】

別の例として、アイテム追跡装置１０４は、カメラ１０８を使用して動きを検出したことに応じて、又はカメラ１０８によって取り込んだ画像１２２の変化に基づいて、トリガーイベントが発生したと判定することができる。例えば、アイテム追跡装置１０４は、後続の画像１２２と参照画像１２２との間のピクセル値の差に基づいて、アイテム２０４がプラットフォーム２０２に置かれたことを検出できる。別の例として、アイテム追跡装置１０４は、イメージング装置１０２の重量センサ１１２に対する重量増大に応じて、トリガーイベントが発生したと判定することができる。この場合に、重量センサ１１２によって測定した重量の増大は、１つ又は複数のアイテム２０４がプラットフォーム２０２に置かれたことを示す。他の例では、アイテム追跡装置１０４は、ユーザがイメージング装置１０２に近づいたとき、又はアイテム２０４をプラットフォーム２０２に置いたときを検出するために、他の適切なタイプのセンサ又は技術を使用することができる。

【0033】

アイテム追跡装置１０４は、トリガーイベントを検出しなかったと判定することに応じて、動作３０４のままになる。この場合に、アイテム追跡装置１０４は、ユーザが未だイメージング装置１０２と対話していないと判定する。アイテム追跡装置１０４は、ユーザがイメージング装置１０２と対話し始めるまで、動作３０４のままでトリガーイベントのチェックを続ける。アイテム追跡装置１０４は、トリガーイベントを検出したと判定することに応じて、動作３０６に進む。この場合に、アイテム追跡装置１０４は、ユーザがイメージング装置１０２と対話し始めたと判定する。アイテム追跡装置１０４は、動作３０６に進み、イメージング装置１０２のプラットフォーム２０２上に置かれたアイテムの識別を開始する。

【0034】

動作３０６では、アイテム追跡装置１０４は、イメージング装置１０２のプラットフォーム２０２上のアイテム２０４の画像１２２を取り込むための１つ又は複数のカメラ１０８を特定する。アイテム追跡装置１０４は、プラットフォーム２０２上のアイテム２０４の姿勢（例えば、位置及び向き）に少なくとも部分的に基づいて、アイテム２０４の画像１２２を取り込むためのカメラ１０８を特定することができる。アイテム２０４の姿勢は、アイテム２０４の位置、及びアイテム２０４がプラットフォーム２０２に対してどのように位置付けされるかに対応する。図２Ａの例を参照すると、第１のアイテム２０４Ａ及び第２のアイテム２０４Ｃがプラットフォーム２０２に対して垂直向きに位置付けされる。垂直向きでは、アイテム２０４の識別可能な特徴は主に垂直向きにある。斜視図を撮影するカメラ１０８Ａ及び１０８Ｃ等のカメラ１０８は、垂直向きにあるアイテム２０４の識別可能な特徴の画像１２２を取り込むのに適している場合がある。例えば、アイテム追跡装置１０４は、アイテム２０４Ａの識別可能な特徴の殆ど、例えばブランド、テキスト、バーコード等がアイテム２０４Ａの側面に位置しており、アイテム２０４の斜視図を使用すると最もよく見えるため、アイテム２０４Ａの画像１２２を取り込むためにカメラ１０８Ａを選択することができる。同様に、アイテム追跡装置１０４は、次に、アイテム２０４Ｃの画像１２２を取り込むためにカメラ１０８Ｃを選択することができる。この例では、第３のアイテム２０４Ｂは、プラットフォーム２０２に対して水平向きに位置付けされる。水平向きでは、アイテム２０４の識別可能な特徴は主に水平向きである。上面図又は俯瞰図を撮影するカメラ１０８Ｂ等のカメラ１０８は、水平向きにあるアイテム２０４の識別可能な特徴の画像１２２を取り込むのに適している可能性がある。この場合に、アイテム追跡装置１０４は、アイテム２０４Ｂの識別可能な特徴の殆どがアイテム２０４Ｂの上部に位置しており、アイテム２０４Ｂの俯瞰図を使用すると最もよく見えるため、アイテム２０４Ｂの画像１２２を取り込むためにカメラ１０８Ｂを選択することができる。

【0035】

一実施形態では、アイテム追跡装置１０４は、深度画像１２４を使用してプラットフォーム２０２上のアイテム２０４の姿勢を決定することができる。図４を例として参照すると、深度画像１２４Ｂは、図２Ａに示されるアイテム２０４（すなわち、アイテム２０４Ａ、２０４Ｂ、及び２０４Ｃ）をプラットフォーム２０２上に置いた後に取り込まれた俯瞰深度画像１２４に対応する。この例では、アイテム追跡装置１０４は、深度画像１２４Ｂ内の各アイテム２０４に対応する領域を使用して、アイテム２０４の姿勢を決定することができる。例えば、アイテム追跡装置１０４は、深度画像１２４Ｂ内のアイテム２０４Ａに対応する領域（area：面積）４０２を決定することができる。アイテム追跡装置１０４は、決定した面積４０２を所定の面積閾値６１４と比較する。アイテム追跡装置１０４は、アイテム２０４の決定した面積４０２が所定の面積閾値６１４以下である場合に、アイテム２０４が垂直向きであると判定する。そうでない場合に、アイテム追跡装置１０４は、アイテム２０４の決定した面積４０２が所定の面積閾値６１４より大きい場合に、アイテム２０４が水平向きであると判定する。この例では、アイテム追跡装置１０４は、アイテム２０４Ａ及び２０４Ｃの面積４０２及び４０６がそれぞれ面積閾値６１４以下であるため、アイテム２０４Ａ及び２０４Ｃが垂直向きであると判定する。アイテム追跡装置１０４は、アイテム２０４Ｂの面積４０４が面積閾値６１４より大きいため、アイテム２０４Ｂが水平向きであると判定する。この判定は、アイテム追跡装置１０４が、アイテム２０４Ａ及び２０４Ｃの画像１２２を取り込むために、プラットフォーム２０２の斜視図を撮影するカメラ１０８（例えば、カメラ１０８Ａ及び１０８Ｃ）を選択することを意味する。アイテム追跡装置１０４は、アイテム２０４Ｂの画像１２２を取り込むために、プラットフォーム２０２の上面図又は俯瞰図を撮影するカメラ１０８（例えば、カメラ１０８Ｂ）を選択する。

【0036】

一実施形態では、アイテム追跡装置１０４は、アイテム２０４とカメラ１０８との間の距離に少なくとも部分的に基づいて、アイテム２０４の画像１２２を取り込むためのカメラ１０８を特定することができる。例えば、アイテム追跡装置１０４は、イメージング装置１０２のカメラ１０８及び／又は３Ｄセンサ１１０の間のホモグラフィ６０８を生成することができる。ホモグラフィ６０８を生成することにより、アイテム追跡装置１０４は、画像１２２内のアイテム２０４の位置を使用して、プラットフォーム２０２、カメラ１０８、及び３Ｄセンサ１１０に対するアイテム２０４の物理的な位置を決定することができる。これにより、アイテム追跡装置１０４は、アイテム２０４の物理的な位置を使用して、アイテム２０４と、カメラ１０８及び３Ｄセンサ１１０のそれぞれとの間の距離を決定することができる。ホモグラフィ６０８は、画像１２２又は深度画像１２４内のピクセル位置と、グローバル平面（つまり、プラットフォーム２０２上の物理的な位置）内の（ｘ，ｙ）座標との間の変換を行うように構成された係数を含む。アイテム追跡装置１０４は、ホモグラフィ６０８を使用して、特定のカメラ１０８又は３Ｄセンサ１１０内のピクセル位置と、プラットフォーム２０２上の物理的な位置とを相関させる。換言すれば、アイテム追跡装置１０４は、ホモグラフィ６０８を使用して、カメラ１０８又は３Ｄセンサ１１０それぞれからの画像１２２又は深度画像１２４内のピクセル位置に基づいて、アイテム２０４がプラットフォーム２０２上のどこに物理的に位置しているかを判定する。アイテム追跡装置１０４が、複数のカメラ１０８及び３Ｄセンサ１１０を使用してプラットフォーム２０２を監視するため、各カメラ１０８及び３Ｄセンサ１１０は、カメラ１０８又は３Ｄセンサ１１０のイメージング装置１０２上の物理的位置に基づいて、異なるホモグラフィ６０８に一意に関連付けられる。この構成により、アイテム追跡装置１０４は、アイテム２０４がどのカメラ１０８又は３Ｄセンサ１１０に表示されるか、及びそのカメラ１０８又は３Ｄセンサ１１０によって取り込んだ画像１２２又は深度画像１２４内のアイテムの位置に基づいて、アイテム２０４がプラットフォーム２０２上の物理的位置にある場所を決定することができる。ホモグラフィ６０８の生成及びホモグラフィ６０８の使用に関する追加情報は、“DRAW WIRE ENCODER BASED HOMOGRAPHY”という表題の米国特許第１１，０２３，７４１号（代理人整理番号０９０２７８．０２３３）に開示されており、この文献はその全体が複製されたかのように本明細書に引用により組み込まれる。

【0037】

例として、アイテム追跡装置１０４は、プラットフォーム２０２の上面図又は俯瞰図を撮影するカメラ１０８又は３Ｄセンサ１１０からの画像１２２又は深度画像１２４をそれぞれ使用して、プラットフォーム２０２上のアイテムの物理的位置を決定することができる。この例では、アイテム追跡装置１０４は、画像１２２又は深度画像１２４内のアイテム２０４のピクセル位置を決定することができる。次に、アイテム追跡装置１０４は、ホモグラフィ６０８を使用して、アイテム２０４のピクセル位置に基づいて、プラットフォーム２０２に対するアイテム２０４の物理的位置を決定することができる。プラットフォーム２０２上のアイテム２０４の物理的な位置を決定した後に、アイテム追跡装置１０４は、どのカメラ１０８がアイテム２０４に物理的に最も近くに位置にあるかを特定し、特定したカメラ１０８を選択することができる。図２Ａの例に戻ると、アイテム追跡装置１０４は、カメラ１０８Ａがカメラ１０８Ｃよりもアイテム２０４Ａに近いため、カメラ１０８Ａを選択してアイテム２０４Ａの画像１２２を取り込む。同様に、アイテム追跡装置１０４は、カメラ１０８Ｃがカメラ１０８Ａよりもアイテム２０４Ｃに近いため、カメラ１０８Ｃを選択してアイテム２０４Ｃの画像１２２を取り込む。このプロセスにより、アイテム２０４の最もよく見えるカメラ１０８を選択して、アイテム２０４の画像１２２を取り込むことが確保される。

【0038】

動作３０８では、アイテム追跡装置１０４は、特定したカメラ１０８を使用して、プラットフォーム２０２上のアイテム２０４の画像１２２を取り込む。ここで、アイテム追跡装置１０４は、特定したカメラ１０８を使用して、アイテム２０４の画像を取り込む。図５Ａ、図５Ｂ、及び図５Ｃを例として参照すると、アイテム追跡装置１０４は、カメラ１０８Ａ、１０８Ｂ、及び１０８Ｃをそれぞれ使用して、アイテム２０４Ａの第１の画像１２２Ａ、アイテム２０４Ｂの第２の画像１２２Ｂ、及びアイテム２０４Ｃの第３の画像１２２Ｃを取り込むことができる。アイテム追跡装置１０４は、処理のために各アイテム２０４の１つ又は複数の画像１２２を収集することができる。イメージング装置１０２で利用可能なカメラ１０８のサブセットを使用してアイテム２０４の画像を取り込むことにより、アイテム追跡装置１０４は、プラットフォーム２０２上のアイテム２０４を識別するために取り込み及び処理される画像１２２の数を減らすことができる。このプロセスにより、アイテム２０４を識別するための検索空間が削減され、アイテム追跡装置１０４が、イメージング装置１０２上の全てのカメラ１０８からの画像１２２（同じアイテム２０４の複数の画像１２２を含み得る）を処理する代わりに、アイテム２０４を識別するために処理する画像１２２の数が少なくなるため、アイテム追跡装置１０４の効率及びハードウェア利用率が向上する。さらに、アイテム追跡装置１０４は、動作３０６で説明したように、アイテム２０４の向き及び位置に基づいて、アイテム２０４を識別するのに最も役立つ特徴を取り込むように位置付けされるカメラ１０８も選択する。特徴の例には、テキスト、ロゴ、ブランド、色、バーコード、パターン、形状、又はアイテム２０４の他の適切な種類の属性が挙げられるが、これらに限定されない。

【0039】

図３の動作３１０に戻ると、アイテム追跡装置１０４は、取り込んだ画像１２２に基づいてプラットフォーム２０２上のアイテム２０４を識別する。ここで、アイテム追跡装置１０４は、画像１２２内のアイテム２０４の特徴に基づいて、各画像１２２内のアイテム２０４を識別する。例として、機械学習モデル１２６はＣＮＮであり得る。この例では、機械学習モデル１２６には、入力層、出力層、及び１つ又は複数の隠れ層が含まれる。隠れ層には、少なくとも１つの畳み込み層が含まれる。例えば、機械学習モデル１２６には、次の一連の層：入力層、畳み込み層、プーリング層、畳み込み層、プーリング層、１つ又は複数の完全接続層、出力層が含まれる。機械学習モデル１２６の各畳み込み層は、畳み込みカーネルのセットを使用して、画像１２２を形成するピクセルから特徴を抽出する。特定の実施形態では、機械学習モデル１２６の畳み込み層は周波数領域で実装され、畳み込みプロセスは離散フーリエ変換を使用して実行される。これは、機械学習モデル１２６をトレーニングして画像分類の目的で使用することに関連する計算時間を短縮する上で望ましい場合がある。例えば、周波数領域に変換することにより、畳み込みに関連する離散フーリエ変換を実行するために高速フーリエ変換アルゴリズム（ＦＦＴ）を実装できる。ＦＦＴアルゴリズムのみを使用すると、単一のＣＰＵで実装する場合の計算時間が大幅に短縮されるだけでなく（空間領域で畳み込みカーネルを適用する場合と比較して）、ＦＦＴアルゴリズムは１つ又は複数のグラフィックス処理装置（ＧＰＵ）を使用して並列化できるため、計算時間をさらに短縮できる。周波数領域に変換することは、機械学習モデル１２６が平行移動及び回転不変であることを保証するためにも望ましい場合がある（例えば、機械学習モデル１２６による画像１２２のアイテム識別子への割り当ては、画像１２２内のアイテム２０４の存在に基づいて、画像１２２内のアイテム２０４の位置及び／又は向きに依存してはならない）。

【0040】

別の例として、機械学習モデル１２６は、教師あり学習アルゴリズムであってもよい。従って、特定の実施形態では、アイテム追跡装置１０４は、機械学習モデル１２６をトレーニングして、入力画像１２２を所定のアイテム識別子のセットのいずれかに割り当てるように構成される。アイテム追跡装置１０４は、機械学習モデル１２６を任意の適切な方法でトレーニングすることができる。例えば、特定の実施形態では、アイテム追跡装置１０４は、入力画像１２２に添付されたラベルのセット（例えば、アイテム識別子）を含むトレーニングデータ（例えば、画像１２２）を機械学習モデル１２６に提供することによって、機械学習モデル１２６をトレーニングする。別の例として、機械学習モデル１２６は、教師なし学習アルゴリズムであってもよい。このような実施形態では、アイテム追跡装置１０４は、機械学習モデル１２６に画像１２２のコレクションを提供し、且つ機械学習モデル１２６に指示して、画像１２２から抽出した共通の特徴に基づいて、アイテム追跡装置１０４によって識別したアイテム識別子を使用してこれらの画像１２２を分類することによって、機械学習モデル１２６をトレーニングするように構成される。アイテム追跡装置１０４は、取り込んだ画像１２２を機械学習モデル１２６に入力する前であればいつでも機械学習モデル１２６をトレーニングすることができる。

【0041】

機械学習モデル１２６をトレーニングした後に、アイテム追跡装置１０４は、取り込んだ画像１２２のそれぞれを機械学習モデル１２６に入力することができる。画像１２２を機械学習モデル１２６に入力することに応じて、アイテム追跡装置１０４は、機械学習モデル１２６からアイテム２０４のアイテム識別子を受け取る。アイテム識別子は、画像１２２内で識別したアイテム２０４に対応する。アイテム識別子の例には、アイテム名、バーコード、アイテム番号、シリアル番号、又はアイテム２０４を一意に識別する他の適切なタイプの識別子が挙げられるが、これらに限定されない。

【0042】

いくつかの実施形態では、アイテム追跡装置１０４は、機械学習モデル１２６を使用せずに、１つ又は複数の画像処理技術を使用して、画像１２２内のアイテム２０４を識別することができる。例えば、アイテム追跡装置１０４は、オブジェクト検出及び／又は光学文字認識（ＯＣＲ）を使用して、アイテム２０４を識別するために使用できるアイテム２０４のテキスト、ロゴ、ブランド、色、バーコード、又は他の特徴を識別することができる。この場合に、アイテム追跡装置１０４は、画像１２２内のピクセルを処理して、アイテム２０４のテキスト、色、バーコード、パターン、又は他の特性を識別することができる。次に、アイテム追跡装置１０４は、アイテム２０４の識別した特徴を、様々なアイテム２０４に対応する一連の特徴と比較できる。例えば、アイテム追跡装置１０４は、画像１２２からテキスト（例えば、製品名）を抽出し、そのテキストを異なるアイテム２０４に関連付けられたテキストセットと比較することができる。別の例として、アイテム追跡装置１０４は、画像１２２内の支配的な色を決定し、その支配的な色を異なるアイテム２０４に関連付けられた色のセットと比較することができる。別の例として、アイテム追跡装置１０４は、画像１２２内のバーコードを識別し、そのバーコードを異なるアイテム２０４に関連付けられたバーコードのセットと比較することができる。別の例として、アイテム追跡装置１０４は、画像１２２内のロゴ又はパターンを識別し、識別したロゴ又はパターンを異なるアイテム２０４に関連付けられたロゴ又はパターンのセットと比較することができる。他の例では、アイテム追跡装置１０４は、他の適切なタイプ又は組合せの特徴を識別し、識別した特徴を異なるアイテム２０４に関連付けられた特徴と比較することができる。画像１２２から識別した特徴を、異なるアイテム２０４に関連付けられた特徴のセットと比較した後に、アイテム追跡装置１０４は、次に、一致が見つかったかどうかを判定する。アイテム追跡装置１０４は、識別した特徴の少なくとも意味のある部分がアイテム２０４に対応する特徴と一致する場合に、一致が見つかったと判定することができる。画像１２２内の特徴の意味のある部分がアイテム２０４の特徴と一致すると判定されたことに応じて、アイテム追跡装置１０４は、一致するアイテム２０４に対応するアイテム識別子を出力できる。他の実施形態では、アイテム追跡装置１０４は、機械学習モデル１２６と組み合わせて１つ又は複数の画像処理技術を使用し、前述の技術の任意の組合せを用いて、画像１２２内のアイテム２０４を識別することができる。

【0043】

いくつかの実施形態では、アイテム追跡装置１０４は、アイテム２０４を正しく識別した確率を示す信頼スコア６１０を出力するように構成される。例えば、アイテム追跡装置１０４は、決定したアイテム識別子を使用して機械学習モデル１２６から信頼スコア６１０を取得することができる。この例では、機械学習モデル１２６は、アイテム識別子を決定する際に使用した又は一致した特徴の数に比例する信頼スコア６１０を出力する。別の例として、アイテム追跡装置１０４は、識別した特徴が識別したアイテム２０４の特徴とどの程度一致するかに基づいて信頼スコア６１０を決定してもよい。例えば、アイテム追跡装置１０４は、画像１２２内で識別したテキストの半分が識別したアイテム２０４に関連付けられたテキストと一致する場合に、５０％の信頼スコア６１０を取得してもよい。別の例として、アイテム追跡装置１０４は、画像１２２内のバーコードが識別したアイテム２０４のバーコードと一致する場合に、１００％の信頼スコア６１０を取得するように決定してもよい。別の例として、アイテム追跡装置１０４は、画像１２２内の支配的な色が識別したアイテム２０４の支配的な色と一致する場合に、２５％の信頼スコア６１０を取得してもよい。他の例では、アイテム追跡装置１０４は、他の適切なタイプ又は組合せの特徴が識別したアイテム２０４の特徴とどの程度一致するかに基づいて信頼スコア６１０を取得してもよい。例信頼スコア６１０に影響を与える可能性のある他の情報には、オブジェクトの向き、プラットフォーム２０２上のアイテムの数（例えば、プラットフォーム２０２上のアイテムの数が少ないほど、プラットフォーム２０２上のアイテムの数が多い場合よりも識別が容易である）、プラットフォーム上のアイテム同士の間の相対距離（例えば、プラットフォーム２０２上のアイテムが間隔を空けて配置される場合は、プラットフォーム２０２上のアイテムが密集している場合よりも識別が容易である）等が挙げられるが、これらに限定されない。アイテム追跡装置１０４は、識別したアイテム２０４の信頼スコア６１０を信頼スコア閾値６１２と比較して、アイテム２０４を識別したかどうかを判定することができる。アイテム追跡装置１０４は、アイテム２０４の信頼スコア６１０が信頼スコア閾値６１２未満である場合に、アイテム２０４を識別していないと判定することができる。アイテム追跡装置１０４は、アイテム２０４の信頼スコア６１０が信頼スコア閾値６１２以上である場合に、アイテム２０４を識別したと判定する。信頼スコア閾値６１２は、９０％、８０％、７５％、又は他の適切な値に設定してもよい。

【0044】

動作３１２では、アイテム追跡装置１０４は、プラットフォーム２０２上の全てのアイテム２０４を識別したかどうかを判定する。例えば、アイテム追跡装置１０４は、取り込んだ画像１２２から識別したアイテム２０４の数を、動作３０４で決定したプラットフォーム２０２上のアイテム２０４の数と比較することができる。アイテム追跡装置１０４は、取り込んだ画像１２２から識別したアイテム２０４の数がプラットフォーム２０２上の決定したアイテム２０４の数と一致する場合に、プラットフォーム２０２上の全てのアイテム２０４を識別したと判定する。そうでない場合に、アイテム追跡装置１０４は、取り込んだ画像１２２から識別したアイテム２０４の数がプラットフォーム２０２上の決定したアイテム２０４の数と一致しない場合に、アイテム２０４の少なくとも１つを識別していないと判定する。

【0045】

アイテム追跡装置１０４は、プラットフォーム２０２上のアイテム２０４の１つ又は複数を識別していないと判定することに応じて、動作３１４に進む。この場合に、アイテム追跡装置１０４は、アイテム追跡装置１０４がプラットフォーム上のアイテム２０４の一部を識別することができるように、ユーザにプラットフォーム２０２上の１つ又は複数のアイテム２０４の位置を変更するよう要求を出力することができる。動作３１４では、アイテム追跡装置１０４は、プラットフォーム２０２上の１つ又は複数のアイテム２０４を再配置するためのプロンプトを出力する。例として、１つ又は複数のアイテム２０４が、カメラ１０８のうちの１つからアイテム２０４の視界を遮っている可能性がある。この例では、アイテム追跡装置１０４は、イメージング装置１０２にあるグラフィカルユーザインターフェイスに、プラットフォーム２０２上のアイテム２０４の位置を再配置するようにユーザに指示するメッセージを出力できる。いくつかの実施形態では、アイテム追跡装置１０４は、プラットフォーム２０２上の識別しなかった１つ又は複数のアイテム２０４の位置を特定することもできる。例えば、アイテム追跡装置１０４は、プラットフォーム２０２の上又は下の光源をアクティブにして、認識されなかったアイテム２０４を照らすことができる。一実施形態では、プラットフォーム２０２上のアイテム２０４を再配置するメッセージを出力した後に、アイテム追跡装置１０４は、動作３０６に戻り、プラットフォーム２０２上のアイテム２０４を識別するプロセスを再開する。このプロセスにより、アイテム追跡装置１０４が、アイテム２０４をプラットフォーム２０２上で再配置した後にアイテム２０４を二重にカウントすることが防止される。

【0046】

動作３１２に戻り、アイテム追跡装置１０４は、プラットフォーム２０２上の全てのアイテム２０４を識別したと判定することに応じて、動作３１６に進む。いくつかの実施形態では、アイテム追跡装置１０４は、プラットフォーム２０２上のアイテム２０４の重量に基づいて、識別したアイテム２０４の検出精度を検証することができる。例えば、アイテム追跡装置１０４は、識別したアイテム２０４に関連付けられたアイテム情報１１８に基づいて、識別したアイテム２０４の重量に関連付けられた第１の重量を決定することができる。例えば、アイテム追跡装置１０４は、識別したアイテム２０４のアイテム識別子を使用して、識別したアイテム２０４のそれぞれに対応する重量を決定することができる。アイテム追跡装置１０４は、識別したアイテム２０４の個々の重量を合計して、第１の重量を決定することができる。アイテム追跡装置１０４は、重量センサ１１２からプラットフォーム２０２上のアイテム２０４の第２の重量を受け取ることもできる。次に、アイテム追跡装置１０４は、第１の重量と第２の重量との間の重量差を決定し、重量差を重量差の閾値と比較する。重量差の閾値は、第１の重量と第２の重量との間の最大重量差に対応する。重量差が重量差の閾値を超える場合に、アイテム追跡装置１０４は、イメージング装置１０２のプラットフォーム２０２上のアイテム２０４の重量と、識別したアイテム２０４の予想重量との間に不一致があると判定することができる。この場合に、アイテム追跡装置１０４は、エラーメッセージを出力し、及び／又は動作３０６に戻ってアイテム追跡プロセスを再開することができる。重量差が重量差閾値以下である場合に、アイテム追跡装置１０４は、イメージング装置１０２のプラットフォーム２０２上のアイテム２０４の重量と、識別したアイテム２０４の予想重量との間に一致があると判定することができる。この場合に、アイテム追跡装置１０４は、動作３１６に進むことができる。

【0047】

動作３１６では、アイテム追跡装置１０４は、プラットフォーム２０２上に禁止又は制限アイテム２０４が存在するかどうかを確認する。禁止又は制限アイテム２０４とは、許可制限、年齢制限、又は他のタイプの制限により、ユーザが取得することを許可されないアイテム２０４である。アイテム追跡装置１０４は、識別したアイテム２０４のアイテム識別子を、制限又は禁止アイテム６１６のアイテム識別子のリストと比較することができる。アイテム２０４が制限又は禁止アイテム６１６のリスト上のアイテムのうちの１つと一致すると判定されることに応じて、アイテム追跡装置１０４は、動作３１８に進み、プラットフォーム２０２上にあるアイテム２０４のうちの１つをユーザが取得するのを禁止されることを示す警告又は通知を出力する。例えば、アイテム追跡装置１０４は、禁止アイテム２０４を識別し、イメージング装置１０２にあるグラフィカルユーザインターフェイスを使用して、ユーザに禁止アイテム２０４をプラットフォーム２０２から除去するように求める警告メッセージを出力できる。別の例として、アイテム追跡装置１０４は、空間に関連付けられる別のユーザ（例えば、従業員）に、禁止アイテム２０４を識別する警告メッセージを出力できる。他の例では、アイテム追跡装置１０４は、プラットフォーム２０２上の禁止アイテム２０４の検出に応じて、他の適切なタイプの警告メッセージを出力してもよい。

【0048】

動作３２０で、アイテム追跡装置１０４は、禁止アイテム２０４をプラットフォーム２０２から取り除いたかどうかを判定する。例えば、アイテム追跡装置１０４は、重量センサ１１２を使用して、プラットフォーム２０２上のアイテム２０４の測定重量が、禁止アイテム２０４の重量に対応する量だけ減少したかどうかを判定してもよい。別の例として、アイテム追跡装置１０４は、カメラ１０８及び／又は３Ｄセンサ１１０を使用して、禁止アイテム２０４がプラットフォーム２０２上に未だ存在するかどうかを判定してもよい。禁止アイテム２０４がプラットフォーム２０２上に未だ存在すると判定したことに応じて、アイテム追跡装置１０４は、プロセス３００を一時停止し、禁止アイテム２０４がプラットフォーム２０２から取り除かれるまで動作３２０に留まることができる。このプロセスにより、ユーザは禁止アイテム２０４を入手できなくなる。アイテム追跡装置１０４は、禁止アイテム２０４をプラットフォーム２０２から取り除いた後に、動作３２２に進むことができる。

【0049】

それ以外の場合に、アイテム追跡装置１０４は、プラットフォーム２０２に禁止アイテム２０４が存在しないと判定することに応じて、動作３２２に進む。動作３２２では、アイテム追跡装置１０４はアイテム２０４をユーザに関連付ける。一実施形態では、アイテム追跡装置１０４は、プラットフォーム２０２上のアイテム２０４に関連付けられたユーザを識別することができる。例えば、ユーザは、イメージング装置１０２にあるスキャナ又はカードリーダを使用して、自分自身を識別することができる。スキャナの例には、ＱＲコード（登録商標）スキャナ、バーコードスキャナ、近距離無線通信（ＮＦＣ）スキャナ、又は人物を一意に識別する情報が埋め込まれた電子コードを受信できる他の適切なタイプのスキャナが挙げられるが、これらに限定されない。他の例では、ユーザは、イメージング装置１０２にあるグラフィカルユーザインターフェイスでユーザ情報を提供することによって、自分自身を識別することができる。ユーザ情報の例には、名前、電話番号、電子メールアドレス、識別番号、従業員番号、英数字コード、又はユーザに関連付けられた他の適切なタイプの情報が挙げられるが、これらに限定されない。

【0050】

アイテム追跡装置１０４は、ユーザが提供した情報を使用して、ユーザに関連付けられたアカウントを識別し、次に、識別したアイテム２０４をユーザのアカウントに追加する。例えば、アイテム追跡装置１０４は、ユーザが提供した情報を使用して、ユーザに関連付けられるユーザアカウント情報１２０内のアカウントを識別することができる。一例として、アイテム追跡装置１０４は、ユーザに関連付けられるデジタルカートを識別することができる。この例では、デジタルカートは、ユーザが購入するためにプラットフォーム２０２に置いたアイテム２０４に関する情報を含む。アイテム追跡装置１０４は、識別したアイテム２０４のアイテム識別子をデジタルカートに追加することにより、アイテム２０４をユーザのデジタルカートに追加することができる。アイテム追跡装置１０４は、アイテム２０４に関連する他の情報をデジタルカートに追加することもできる。例えば、アイテム追跡装置１０４は、アイテム識別子を使用して、記憶したアイテム情報１１８から識別したアイテム２０４の価格情報を検索することができる。次に、アイテム追跡装置１０４は、識別したアイテム２０４のそれぞれに対応する価格情報をユーザのデジタルカートに追加することができる。

【0051】

アイテム追跡装置１０４がアイテム２０４をユーザのデジタルカートに追加した後に、アイテム追跡装置１０４は、アイテム２０４のトランザクション（tranzaction：取引）をトリガー又は開始することができる。一実施形態では、アイテム追跡装置１０４は、以前に記憶した情報（例えば、支払いカード情報）を使用して、アイテム２０４のトランザクションを完了できる。この場合に、ユーザは、空間を離れるときに、デジタルカート内のアイテム２０４の料金を自動的に請求され得る。他の実施形態では、アイテム追跡装置１０４は、イメージング装置１０２にあるスキャナ又はカードリーダを使用してユーザから情報を収集して、アイテム２０４のトランザクションを完了できる。このプロセスにより、ユーザが持ち帰りたいアイテム２０４をスキャンしたり特定したりすることなく、アイテム２０４をユーザのアカウント（例えば、デジタルカート）に自動的に追加することができる。アイテム２０４をユーザのアカウントに追加した後に、アイテム追跡装置１０４は、ユーザのアカウントに追加したアイテム２０４に関する情報を含む通知又は概要をユーザに出力できる。例えば、アイテム追跡装置１０４は、イメージング装置１０２にあるグラフィカルユーザインターフェイスに概要を出力できる。別の例として、アイテム追跡装置１０４は、ユーザに関連付けられた電子メールアドレス又はユーザ装置に概要を送信することによって、概要を出力できる。

【0052】

アイテム追跡装置のハードウェア構成
図６は、アイテム追跡システム１００のアイテム追跡装置１０４の一実施形態である。一実施形態では、アイテム追跡装置１０４は、プロセッサ６０２、メモリ１１６、及びネットワークインターフェイス６０４を含むことができる。アイテム追跡装置１０４は、図のように構成することも、他の適切な構成にすることもできる。

【0053】

プロセッサ
プロセッサ６０２は、メモリ１１６に動作可能に結合された１つ又は複数のプロセッサを含む。プロセッサ６０２は、ステートマシン、１つ又は複数の中央処理装置（ＣＰＵ）チップ、ロジックユニット、コア（例えば、マルチコアプロセッサ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、又はデジタル信号プロセッサ（ＤＳＰ）を含む任意の電子回路であるが、これらに限定されない。プロセッサ６０２は、プログラマブルロジック装置、マイクロコントローラ、マイクロプロセッサ、又は前述の任意の適切な組合せである。プロセッサ６０２は、メモリ１１６及びネットワークインターフェイス６０４に通信可能に接続され、信号通信を行う。１つ又は複数のプロセッサは、データを処理するように構成されており、ハードウェア又はソフトウェアで実装できる。例えば、プロセッサ６０２は、８ビット、１６ビット、３２ビット、６４ビット、又は他の適切なアーキテクチャである。プロセッサ６０２には、算術演算及び論理演算を行う算術論理ユニット（ＡＬＵ）、ＡＬＵにオペランドを供給してＡＬＵ演算の結果を記憶するプロセッサレジスタ、及びメモリから命令をフェッチして、ＡＬＵ、レジスタ、及び他のコンポーネントの協調動作を指示することによって命令を実行する制御ユニットが挙げられ得る。

【0054】

１つ又は複数のプロセッサは、様々な命令を実施するように構成される。例えば、１つ又は複数のプロセッサは、プロセッサにアイテム追跡エンジン１１４を実装させるアイテム追跡命令６０６を実行するように構成される。このようにして、プロセッサ６０２は、本明細書で開示する機能を実現するように設計された専用コンピュータであってもよい。一実施形態では、アイテム追跡エンジン１１４は、ロジックユニット、ＦＰＧＡ、ＡＳＩＣ、ＤＳＰ、又は他の適切なハードウェアを使用して実装される。アイテム追跡エンジン１１４は、図１及び図３で説明したように動作するように構成される。例えば、アイテム追跡エンジン１１４は、図３で説明したプロセス３００の動作を行うように構成してもよい。

【0055】

メモリ
メモリ１１６は、プロセッサ６０２によって実行するときに、図１及び図３に関して上で説明した情報のいずれかと、本明細書で説明した機能を実現するために動作可能な他のデータ、命令、ロジック、ルール、又はコードのいずれかを記憶するように動作できる。メモリ１１６は、コンピュータディスク、テープドライブ、又はソリッドステートドライブ等の１つ又は複数の非一時的なコンピュータ可読媒体で構成され、オーバーフローデータストレージ装置として使用して、実行用に選択したプログラムを記憶し、プログラム実行中に読み取られる命令及びデータを記憶することができる。メモリ１１６は、揮発性又は不揮発性であってもよく、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、３値コンテンツアドレス可能メモリ（ＴＣＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、及びスタティックランダムアクセスメモリ（ＳＲＡＭ）で構成され得る。

【0056】

メモリ１１６は、アイテム追跡命令６０６、アイテム情報１１８、ユーザアカウント情報１２０、機械学習モデル１２６、画像１２２、深度画像１２４、ホモグラフィ６０８、信頼スコア６１０、信頼スコア閾値６１２、面積閾値６１４、制限又は禁止アイテムのリスト６１６、エンコード化ベクトル・ライブラリ１２８、及び／又は他のデータ又は命令を記憶するように動作できる。アイテム追跡命令６０６は、アイテム追跡エンジン１１４を実行するために動作可能な任意の適切な命令セット、ロジック、ルール、又はコードで構成され得る。アイテム情報１１８、ユーザアカウント情報１２０、機械学習モデル１２６、画像１２２、深度画像１２４、ホモグラフィ６０８、信頼スコア６１０、信頼スコア閾値６１２、面積閾値６１４、制限又は禁止アイテムのリスト６１６、及びエンコード化ベクトル・ライブラリ１２８は、それぞれ図１～図２６で説明するアイテム情報１１８、ユーザアカウント情報１２０、機械学習モデル１２６、画像１２２、深度画像１２４、ホモグラフィ６０８、信頼スコア６１０、信頼スコア閾値６１２、面積閾値６１４、制限又は禁止アイテムのリスト６１６、及びエンコード化ベクトル・ライブラリ１２８と同様に構成される。

【0057】

ネットワークインターフェイス
ネットワークインターフェイス６０４は、有線及び／又は無線通信を可能にするように構成される。ネットワークインターフェイス６０４は、イメージング装置１０２と他の装置、システム、又はドメインとの間でデータを通信するように構成される。例えば、ネットワークインターフェイス６０４は、ＮＦＣインターフェイス、Ｂｌｕｅｔｏｏｔｈインターフェイス、Ｚｉｇｂｅｅインターフェイス、Ｚ－ｗａｖｅインターフェイス、無線周波数識別（ＲＦＩＤ）インターフェイス、ＷｉＦｉインターフェイス、ＬＡＮインターフェイス、ＷＡＮインターフェイス、ＰＡＮインターフェイス、モデム、スイッチ、又はルータで構成され得る。プロセッサ６０２は、ネットワークインターフェイス６０４を使用してデータを送受信するように構成される。ネットワークインターフェイス６０４は、当業者に理解されるような任意の適切なタイプの通信プロトコルを使用するように構成され得る。

【0058】

アイテム識別をトリガーするための手検出プロセス
図７は、アイテム追跡システム１００のアイテム識別プロセスをトリガーするための手検出プロセス７００の一実施形態のフローチャートである。アイテム追跡システム１００は、プロセス７００を使用して、ユーザがプラットフォーム２０２の上に手を置いてアイテム２０４をプラットフォーム２０２上に置いたときに対応するトリガーイベントを検出することができる。このプロセスにより、アイテム追跡装置１０４は、プラットフォーム２０２と対話しているユーザの存在を検出し、これを使用して、図３及び図２３でそれぞれ説明するプロセス３００及び２３００等のアイテム検出プロセスを開始することができる。

【0059】

動作７０２では、アイテム追跡装置１０４は、第１の時点において、３Ｄセンサ１１０を使用して第１の俯瞰深度画像１２４を取り込む。ここで、アイテム追跡装置１０４は、まずプラットフォーム２０２の俯瞰深度画像１２４を取り込んで、プラットフォーム２０２上にアイテム２０４が置かれておらず、プラットフォーム２０２の上に手が存在しないことを確認してから、プラットフォーム２０２の上にユーザの手が存在するかどうかを定期的にチェックする。俯瞰深度画像１２４は、オブジェクト及びプラットフォーム２０２の上向きの表面を取り込む。図８Ａを例として参照すると、アイテム追跡装置１０４は、プラットフォーム２０２の上に位置付けされた３Ｄセンサ１１０を使用して、プラットフォーム２０２の俯瞰深度画像１２４を取り込むことができる。プラットフォーム２０２の俯瞰深度画像１２４内で、アイテム追跡装置１０４は、プラットフォーム２０２の関心領域８０２を規定する。関心領域８０２（図８Ａ～図８Ｃで太線で囲まれる）は、プラットフォーム２０２の表面に対応する俯瞰深度画像１２４内の所定のピクセル範囲を識別する。アイテム追跡装置１０４は、規定した関心領域８０２を使用して、アイテム２０４がプラットフォーム２０２上に置かれているかどうか、又はユーザが手をプラットフォーム２０２の上に位置付けたかどうかを判定する。関心領域８０２は、３Ｄセンサ１１０によって取り込んだ全ての深度画像１２４の同じ所定のピクセル範囲である。

【0060】

図７の動作７０４に戻ると、アイテム追跡装置１０４は、第２の時点において、同じ３Ｄセンサ１１０を使用して、第２の俯瞰深度画像１２４を取り込む。第１の俯瞰深度画像１２４を取り込んだ後に、アイテム追跡装置１０４は、プラットフォーム２０２の追加の俯瞰深度画像１２４を定期的に取り込み始め、ユーザの手がプラットフォーム２０２の関心領域８０２に入ったかどうかをチェックする。アイテム追跡装置１０４は、１秒毎、１０秒毎、３０秒毎、又は他の適切な時間間隔で、追加の俯瞰深度画像１２４を取り込むことができる。いくつかの実施形態では、アイテム追跡装置１０４は、プラットフォーム２０２の近くで動きを検出したことに応じて、第２の俯瞰深度画像１２４を取り込んでもよい。例えば、アイテム追跡装置１０４は、第２の俯瞰深度画像１２４を取り込む前に、プラットフォーム２０２の近くで動きを検出するように構成された近接センサを使用してもよい。別の例として、アイテム追跡装置１０４は、動きを検出するために、追加の俯瞰深度画像１２４を定期的に取り込んでもよい。この例では、アイテム追跡装置１０４は、第１の俯瞰深度画像１２４を、その後に取り込んだ俯瞰深度画像１２４と比較し、俯瞰深度画像１２４同士の間の差、例えばオブジェクトの存在に基づいて動きを検出する。

【0061】

動作７０６で、アイテム追跡装置１０４は、第２の俯瞰深度画像１２４の関心領域８０２内にオブジェクトが存在するかどうかを判定する。一実施形態では、アイテム追跡装置１０４は、第１の俯瞰深度画像１２４と第２の俯瞰深度画像１２４との間の差に基づいて、関心領域８０２内にオブジェクトが存在するかどうかを判定する。図８Ｂを例として参照すると、アイテム追跡装置１０４は、第２の俯瞰深度画像１２４（図８Ｂに示される）を第１の俯瞰深度画像１２４（図８Ａに示される）と比較して、第１の俯瞰深度画像１２４と第２の俯瞰深度画像１２４との間の差を識別する。この例では、アイテム追跡装置１０４は、第２の俯瞰深度画像１２４内の関心領域８０２内で、ユーザの手に対応するオブジェクト８０４を検出する。図８Ｃは、第２の俯瞰深度画像１２４内に存在するオブジェクト８０４の対応する画像１２２を示す。

【0062】

図７の動作７０６に戻ると、アイテム追跡装置１０４は、第２の俯瞰深度画像１２４の関心領域８０２内にオブジェクトが存在しないと判定したことに応じて、動作７０４に戻る。この場合に、アイテム追跡装置１０４は、動作７０４に戻り、プラットフォーム２０２の俯瞰深度画像１２４を定期的に取り込み続け、ユーザの手がプラットフォーム２０２の関心領域８０２のどこに入ったかをチェックする。アイテム追跡装置１０４は、第２の俯瞰深度画像１２４の関心領域８０２内にオブジェクトが存在すると判定したことに応じて、動作７０８に進む。この場合に、アイテム追跡装置１０４は、動作７０８に進み、第２の俯瞰深度画像１２４内のオブジェクトがユーザの手に対応しているかどうかを確認する。

【0063】

アイテム追跡装置１０４は、プラットフォーム２０２上に置かれたアイテム２０４とユーザの手とを区別するように構成される。ユーザの手がプラットフォーム２０２の上にある場合に、ユーザの手は、典型的に、第２の俯瞰深度画像１２４の関心領域８０２内にある一方、ユーザの腕は第２の俯瞰深度画像１２４の関心領域８０２の外側にある。アイテム追跡装置１０４は、これらの特性を使用して、例えばユーザがアイテム２０４をプラットフォーム２０２上に置いたときに、ユーザの手がプラットフォーム２０２の上にあることを確認する。

【0064】

動作７０８では、アイテム追跡装置１０４は、第１のオブジェクトの第１の部分８０６（例えば、ユーザの手及び腕）が第２の俯瞰深度画像１２４の関心領域８０２内にあると判定する。ここで、アイテム追跡装置１０４は、ユーザの手に対応する検出したオブジェクトの第１の部分８０６が第２の俯瞰深度画像１２４の関心領域８０２内にあることを確認する。図８Ｂの例に戻ると、ユーザの手（オブジェクト８０４の部分８０６として示される）は、第２の俯瞰深度画像１２４の関心領域８０２内に少なくとも部分的にある。

【0065】

図７の動作７１０に戻ると、アイテム追跡装置１０４は、第１のオブジェクトの第２の部分８０８（例えば、ユーザの手首又は腕）が関心領域８０２外にある一方、第１のオブジェクトの第１の部分８０６（例えば、ユーザの手）が第２の俯瞰深度画像１２４の関心領域８０２内にあると判定する。図８Ｂの例に戻ると、ユーザの手首及び腕（オブジェクト８０４の部分８０８として示される）は、少なくとも部分的に関心領域８０２外にある一方、ユーザの手（オブジェクト８０４の部分８０６として示される）は、第２の俯瞰深度画像１２４の関心領域８０２内にある。これらの特性により、アイテム追跡装置１０４は、ユーザの手が第２の俯瞰深度画像１２４で検出したと確認できる。

【0066】

ユーザの手を検出した後に、アイテム追跡装置１０４は、プラットフォーム２０２の追加の俯瞰深度画像１２４を定期的に取り込み始め、ユーザの手がプラットフォーム２０２の関心領域８０２から出たかどうかをチェックする。動作７１２では、アイテム追跡装置１０４は、第３の時点において、３Ｄセンサ１１０を使用して第３の俯瞰深度画像１２４を取り込む。アイテム追跡装置１０４は、１秒毎、１０秒毎、３０秒毎、又は他の適切な時間間隔で、追加の俯瞰深度画像１２４を取り込むことができる。いくつかの実施形態では、アイテム追跡装置１０４は、プラットフォーム２０２上の重量の変化又は差に応じて、第３の俯瞰深度画像１２４を取り込むことができる。例えば、アイテム追跡装置１０４は、重量センサ１１２を使用して、プラットフォーム２０２上にアイテム２０４が置かれていない第１の時点で第１の重量値を決定する。その後、アイテム追跡装置１０４は、重量センサ１１２を使用して、ユーザがプラットフォーム２０２上にアイテム２０４を置いた後の時点で第２の重量値を決定する。この例では、アイテム追跡装置１０４は、第１の重量値と第２の重量値との間の重量差を検出し、次に、重量差の検出に応じて第３の俯瞰深度画像１２４を取り込む。

【0067】

動作７１４では、アイテム追跡装置１０４は、第１のオブジェクト（つまり、ユーザの手）が第３の俯瞰深度画像１２４の関心領域８０２内に未だ存在するかどうかを判定する。ここで、アイテム追跡装置１０４は、第２の俯瞰深度画像１２４と第３の俯瞰深度画像１２４との間の差に基づいて、第１のオブジェクトが関心領域８０２内に未だ存在するかどうかを判定することができる。図８Ｄの例を参照すると、アイテム追跡装置１０４は、第３の俯瞰深度画像１２４（図８Ｄに示される）を第２の俯瞰深度画像１２４（図８Ｂに示される）と比較して、第３の俯瞰深度画像１２４と第２の俯瞰深度画像１２４との間の差を識別する。この例では、アイテム追跡装置１０４は、ユーザの手に対応する第１のオブジェクト８０４が、もはや第３の俯瞰深度画像１２４の関心領域８０２内に存在しなくなったことを検出する。

【0068】

図７の動作７１４に戻ると、アイテム追跡装置１０４は、第１のオブジェクト８０４が第３の俯瞰深度画像１２４の関心領域８０２内に未だ存在していると判定したことに応じて、動作７１２に戻る。この場合に、アイテム追跡装置１０４は、動作７１２に戻り、ユーザの手がプラットフォーム２０２の関心領域８０２からいつ出たかを定期的に確認し続ける。アイテム追跡装置１０４は、第１のオブジェクト８０４がもはや第３の俯瞰深度画像１２４の関心領域８０２内に存在しないと判定したことに応じて、動作７１６に進む。この場合に、アイテム追跡装置１０４は、ユーザがプラットフォーム２０２上に置いたアイテム２０４のチェックを開始する。

【0069】

動作７１６では、アイテム追跡装置１０４は、アイテム２０４が第３の俯瞰深度画像１２４の関心領域８０２内にあるかどうかを判定する。アイテム２０４がプラットフォーム２０２上に置かれている場合に、アイテム２０４は、典型的に、第３の俯瞰深度画像１２４の関心領域８０２内に完全に入る。アイテム追跡装置１０４は、この特性を使用して、プラットフォーム２０２上に置かれているアイテム２０４とユーザの手とを区別する。図８Ｄの例に戻ると、アイテム追跡装置１０４は、第３の俯瞰深度画像１２４の関心領域８０２内にアイテム２０４があると検出する。

【0070】

図７の動作７１６に戻ると、アイテム追跡装置１０４は、アイテム２０４が第３の俯瞰深度画像１２４の関心領域８０２内に存在しないと判定したことに応じて、動作７０４に戻る。この場合に、アイテム追跡装置１０４は、ユーザがアイテム２０４をプラットフォーム２０２上に置かなかったと判定する。アイテム追跡装置１０４は、ユーザの手がプラットフォーム２０２の関心領域８０２に再び入ったことを検出するために、動作７０４に戻って手検出プロセスを繰り返す。アイテム追跡装置１０４は、アイテム２０４が第３の俯瞰深度画像１２４の関心領域８０２内に存在すると判定したことに応じて、動作７１８に進む。この場合に、アイテム追跡装置１０４は、動作７１８に進み、アイテム識別等の追加処理のために、アイテム２０４の画像１２２及び／又は深度画像１２４の取り込みを開始する。

【0071】

動作７１８では、アイテム追跡装置１０４は、第１のオブジェクト８０４がもはや第３の俯瞰深度画像１２４の関心領域８０２内に存在しなくなり、アイテム２０４が第３の俯瞰深度画像１２４の関心領域８０２内に存在すると判定したことに応じて、アイテム２０４の画像１２２を取り込む。アイテム追跡装置１０４は、１つ又は複数のカメラ１０８及び／又は３Ｄセンサ１１０を使用して、プラットフォーム２０２上に置かれたアイテム２０４の画像１２２又は深度画像１２４をそれぞれ取り込むことができる。

【0072】

いくつかの実施形態では、アイテム追跡装置１０４は、プラットフォーム２０２上の重量の変化又は差を検出すると、画像１２２を取り込むことができる。例えば、アイテム追跡装置１０４は、重量センサ１１２を使用して、プラットフォーム２０２上にアイテム２０４が置かれていない第１の時点における第１の重量値を決定することができる。その後、アイテム追跡装置１０４は、重量センサ１１２を使用して、ユーザがアイテム２０４をプラットフォーム２０２上に置いた後の時点で第２の重量値を決定することができる。この例では、アイテム追跡装置１０４は、第１の重量値と第２の重量値との間の重量差を検出し、次に、重量差の検出に応じて画像１２２を取り込む。

【0073】

アイテム２０４の画像１２２を取り込んだ後に、アイテム追跡装置１０４は、図３及び図２３それぞれで説明するプロセス３００及び２３００と同様のプロセスを使用して、取り込んだ画像１２２内に存在するアイテム２０４の物理的属性に基づいて、プラットフォーム２０２上に置かれたアイテム２０４を識別することができる。

【0074】

アイテム識別のための画像切り抜きプロセス
図９は、アイテム追跡システム１００によるアイテム識別のための画像切り抜きプロセス９００の一実施形態のフローチャートである。アイテム追跡システム１００は、プロセス９００を使用して、画像１２２内のアイテム２０４を分離することができる。例えば、カメラ１０８がプラットフォーム２０２の画像１２２を取り込むと、画像１２２には、プラットフォーム２０２上に置かれた複数のアイテム２０４が含まれ得る。アイテム２０４を識別する際の精度を向上させるために、アイテム追跡装置１０４は、まず画像１２２を切り取って、画像１２２内の各アイテム２０４を分離する。画像１２２を切り取ると、アイテム２０４に対応する元の画像１２２のピクセルを含む新しい画像１２２（すなわち、切り抜き画像１２２）が生成される。アイテム追跡装置１０４は、このプロセスを繰り返して、切り抜き画像１２２のセットを作成し、各切り抜き画像１２２がアイテム２０４に対応する。

【0075】

動作９０２では、アイテム追跡装置１０４は、カメラ１０８を使用して、プラットフォーム２０２上のアイテム２０４の第１の画像１２２を取り込む。アイテム追跡装置１０４は、俯瞰、斜視、又は側面プロファイルのビューを撮影するカメラ１０８を使用して、プラットフォーム２０２上のアイテム２０４の第１の画像１２２を取り込むことができる。例として、カメラ１０８は、アイテム２０４の上向きの表面を取り込むために俯瞰ビューで構成され得る。別の例として、カメラ１０８は、アイテム２０４の側面を取り込むために斜視又は側面プロファイルのビューで構成され得る。

【0076】

動作９０４では、アイテム追跡装置１０４は、第１の画像１２２内のアイテム２０４の関心領域１００２を識別する。関心領域１００２は、第１の画像１２２内のアイテム２０４に対応する複数のピクセルで構成される。関心領域１００２の例としては、境界ボックスがある。いくつかの実施形態では、アイテム追跡装置１０４は、１つ又は複数の画像処理技術を使用して、第１の画像１２２内のアイテム２０４の関心領域１００２を識別することができる。例えば、アイテム追跡装置１０４は、オブジェクト検出及び／又はＯＣＲを使用して、アイテム２０４を識別するために使用できるアイテム２０４のテキスト、ロゴ、ブランド、色、バーコード、又は他の特徴を識別することができる。この場合に、アイテム追跡装置１０４は、第１の画像１２２内のピクセルを処理して、アイテム２０４のテキスト、色、バーコード、パターン、又は他の特徴を識別することができる。次に、アイテム追跡装置１０４は、アイテム２０４の識別した特徴を、異なるアイテム２０４に対応する特徴のセットと比較することができる。例えば、アイテム追跡装置１０４は、第１の画像１２２からテキスト（例えば、製品名）を抽出し、そのテキストを異なるアイテム２０４に関連付けられたテキストのセットと比較することができる。別の例として、アイテム追跡装置１０４は、第１の画像１２２内の支配的な色を決定し、その支配的な色を、異なるアイテム２０４に関連付けられた色のセットと比較することができる。別の例として、アイテム追跡装置１０４は、第１の画像１２２内のバーコードを識別し、そのバーコードを、異なるアイテム２０４に関連付けられたバーコードのセットと比較することができる。別の例として、アイテム追跡装置１０４は、第１の画像１２２内のロゴ又はパターンを識別し、識別したロゴ又はパターンを、異なるアイテム２０４に関連付けられたロゴ又はパターンのセットと比較することができる。他の例では、アイテム追跡装置１０４は、他の適切なタイプ又は組合せの特徴を識別し、識別した特徴を、異なるアイテム２０４に関連付けられた特徴と比較することができる。

【0077】

第１の画像１２２から識別した特徴を、異なるアイテム２０４に関連付けられた特徴のセットと比較した後に、アイテム追跡装置１０４は、次に、一致が見つかったかどうかを判定する。アイテム追跡装置１０４は、識別した特徴の少なくとも意味のある部分がアイテム２０４に対応する特徴と一致する場合に、一致が見つかったと判定することができる。第１の画像１２２内の特徴の意味のある部分がアイテム２０４の特徴と一致すると判定されたことに応じて、アイテム追跡装置１０４は、一致するアイテム２０４に対応する関心領域１００２を識別する。他の実施形態では、アイテム追跡装置１０４は、関心領域１００２を識別するために、他の適切なタイプの画像処理技術を使用してもよい。図１０Ａ、図１０Ｂ、図１０Ｃ、及び図１０Ｄは、アイテム２０４の関心領域１００２の例を示している。

【0078】

動作９０６では、アイテム追跡装置１０４は、第１の画像１２２内のアイテム２０４に対応する関心領域１００２内の第１のピクセル数を決定する。ここで、アイテム追跡装置１０４は、識別した関心領域１００２の複数のピクセル内のピクセル数をカウントする。関心領域１００２内のピクセル数は、第１の画像１２２内で第１のアイテム２０４をどれだけ検出したかに比例する。例えば、関心領域１００２内のピクセル数が多いということは、第１の画像１２２内でアイテム２０４のより大きな部分を検出したことを示す。あるいはまた、関心領域１００２内のピクセル数が少ないということは、アイテム２０４のより小さな部分を第１の画像１２２内で検出したことを示す。場合によっては、関心領域１００２内のピクセル数が少ないことは、選択したカメラ１０８にアイテム２０４の小さな一部しか見えなかったか、又は関心領域１００２を誤って識別したことを示している可能性がある。アイテム追跡装置１０４は、動作９０８に進み、関心領域１００２を正しく識別したかどうかを判定する。

【0079】

動作９０８では、アイテム追跡装置１０４は、３Ｄセンサ１１０を使用して、プラットフォーム上のアイテム２０４の第１の深度画像１２４を取り込む。ここで、アイテム追跡装置１０４は、３Ｄセンサ１１０を使用して、動作９０２でカメラ１０８によって取り込んだアイテム２０４の同様のビューで第１の深度画像１２４を取り込む。例えば、アイテム追跡装置１０４は、アイテム２０４の俯瞰ビューを撮影するカメラ１０８を使用して第１の画像１２２を取り込む場合に、アイテム２０４の俯瞰ビューを撮影するように構成された３Ｄセンサ１１０を使用することができる。別の例として、アイテム追跡装置１０４は、アイテム２０４の斜視又は側面プロファイルビューを撮影するカメラ１０８を使用して第１の画像１２２を取り込む場合に、アイテム２０４の斜視又は側面プロファイルビューを撮影するように構成された３Ｄセンサ１１０を使用することができる。他の例では、アイテム追跡装置１０４は、第１の画像１２２で取り込んだビューに類似するアイテム２０４の他のタイプのビューを有する３Ｄセンサ１１０を使用することができる。図１０Ａ、図１０Ｂ、図１０Ｃ、及び図１０Ｄは、第１の深度画像１２４の例を示す。

【0080】

動作９１０では、アイテム追跡装置１０４は、アイテム２０４に対応する第１の深度画像１２４内の第２のピクセル数を決定する。ここで、アイテム追跡装置１０４は、アイテム２０４に対応する第１の深度画像１２４内のピクセルの数をカウントする。いくつかの実施形態では、アイテム追跡装置１０４は、深度閾値を使用して、アイテム２０４に対応するピクセルと、他のアイテム２０４又はプラットフォーム２０２に対応するピクセルとの間を区別することができる。例えば、アイテム追跡装置１０４は、３Ｄセンサ１１０に面しているアイテム２０４の表面の背後にある深度閾値を設定することができる。深度閾値を適用した後に、第１の深度画像１２４内の残りのピクセルは、アイテム２０４に対応する。次に、アイテム追跡装置１０４は、深度閾値を第１の深度画像１２４に適用した後に、第１の深度画像１２４内の残りのピクセルの数をカウントすることができる。

【0081】

動作９１２では、アイテム追跡装置１０４は、第１のピクセル数と第２のピクセル数との間の差を決定する。ここで、アイテム追跡装置１０４は、関心領域１００２からのアイテム２０４のピクセル数と、第１の深度画像１２４からのアイテム２０４のピクセル数との間の差を計算して、２つの値が互いにどの程度類似しているかを決定する。例えば、アイテム追跡装置１０４は、第２のピクセル数から第１のピクセル数を減算して、２つの値の間の差を決定することができる。この例では、アイテム追跡装置１０４は、２つの値間の差の絶対値を使用する。

【0082】

動作９１４では、アイテム追跡装置１０４は、差が差閾値以下であるかどうかを判定する。距離閾値は、識別した関心領域１００２が追加処理に有効であるとみなされる最大ピクセル差を識別するユーザ規定の値である。無効な関心領域１００２は、関心領域１００２内のアイテム２０４のピクセル数と、第１の深度画像１２４内のアイテム２０４のピクセル数との間の差が大き過ぎることを意味する。無効な関心領域１００２は、関心領域１００２がカメラ１０８及び３Ｄセンサ１１０から見えるよりも小さいアイテム２０４の部分を取り込んでいることを示す。無効な関心領域１００２がアイテム２０４の小さな部分しか取り込めないため、関心領域１００２を使用して第１の画像１２２を切り取った後の後続の画像処理には関心領域１００２が適さない場合がある。無効な関心領域１００２の例として図１０Ａを参照すると、アイテム追跡装置１０４は、アイテム２０４の第１の関心領域１００２Ａ及び第１の深度画像１２４を識別する。この例では、関心領域１００２内のアイテム２０４のピクセル数と第１の深度画像１２４内のアイテム２０４のピクセル数との間の差が、差閾値より大きい。第１の深度画像１２４内のアイテム２０４に重ねられた第１の関心領域１００２Ａの例を図１０Ｂに示す。

【0083】

有効な関心領域１００２とは、関心領域１００２内のアイテム２０４のピクセル数と、第１の深度画像１２４内のアイテム２０４のピクセル数との間の差が、所定の許容レベル（つまり、差の閾値）内であることを意味する。有効な関心領域１００２の例として図１０Ｃを参照すると、アイテム追跡装置１０４は、アイテム２０４の第２の関心領域１００２Ｂ及び第１の深度画像１２４を識別する。この例では、関心領域１００２内のアイテム２０４のピクセル数と、第１の深度画像１２４内のアイテム２０４のピクセル数との間の差は、差閾値以下である。第１の深度画像１２４内のアイテム２０４に重ねられた第２の関心領域１００２Ｂの例を図１０Ｄに示す。

【0084】

図９に戻ると、アイテム追跡装置１０４は、差が差閾値より大きいと判定したことに応じて、動作９０４に戻る。この場合に、アイテム追跡装置１０４は、現在の関心領域１００２を破棄し、動作９０４に戻って、アイテム２０４の新しい関心領域１００２を取得する。アイテム追跡装置１０４は、差が差閾値以下であると判定したことに応じて、動作９１６に進む。この場合に、アイテム追跡装置１０４は、特定した関心領域１００２を使用して第１の画像１２２を切り取るために、動作９１６に進む。

【0085】

動作９１６では、アイテム追跡装置１０４は、関心領域１００２に基づいて第１の画像１２２を切り抜く。関心領域１００２が有効な追加処理であると判定した後に、アイテム追跡装置１０４は、第１の画像１２２から関心領域１００２内のピクセルを抽出することによって、第１の画像１２２を切り抜く。第１の画像１２２を切り取ることによって、アイテム追跡装置１０４は、第１の画像１２２の関心領域１００２内の抽出したピクセルを含む第２の画像１２２を生成する。

【0086】

動作９１８では、アイテム追跡装置１０４は、第２の画像１２２を出力する。第２の画像１２２を生成した後に、アイテム追跡装置１０４は、追加の処理のために第２の画像１２２を出力できる。例えば、アイテム追跡装置１０４は、図２３で説明するプロセス２３００と同様のプロセスを使用してアイテム２０４を識別するために、第２の画像１２２を機械学習モデル１２６に入力又は読み込むことによって、第２の画像１２２を出力できる。別の例として、アイテム追跡装置１０４は、図２３で説明するプロセス２３００と同様のプロセスを使用して、第２の画像１２２をアイテム２０４の特徴記述子１６０８（例えば、アイテムタイプ１６１０、支配的な色１６１２、寸法１６１４、重量１６１６）に関連付けることができる。

【0087】

アイテム位置検出プロセス
図１１は、アイテム追跡システム１００のアイテム位置検出プロセス１１００の一実施形態のフローチャートである。アイテム追跡システム１００は、プロセス１１００を使用して、同じアイテム２０４に対応する画像１２２のグループを識別することができる。アイテム追跡装置１０４は、典型的に、複数のカメラ１０８を使用して、プラットフォーム２０２上のアイテム２０４の画像１２２を複数の視点から取り込む。このプロセスにより、アイテム追跡装置１０４は、冗長性を使用して、全てのアイテム２０４が取り込んだ画像１２２の少なくとも１つに表示されるようにすることができる。各カメラ１０８がプラットフォーム２０２の物理的な位置及び視点が異なるため、アイテム２０４は取り込んだ画像１２２のそれぞれで異なる位置に表示される。この問題を解決するために、アイテム追跡装置１０４は、ホモグラフィ６０８を使用して、プラットフォーム２０２上の各アイテム２０４の物理的な位置に基づいて、同じアイテム２０４の画像１２２を一緒にクラスタ化する。このプロセスにより、アイテム追跡装置１０４は、複数のカメラの視点から取り込んだ画像１２２を使用して、プラットフォーム２０２上にある各アイテム２０４の画像１２２のセットを生成することができる。

【0088】

ホモグラフィの生成
アイテム追跡装置１０４は、ホモグラフィ６０８を生成して使用し、カメラ１０８及び３Ｄセンサ１１０からのピクセルをプラットフォーム２０２にマッピングするように構成される。ホモグラフィ６０８の例について以下で図１２Ａ及び図１２Ｂで説明する。ホモグラフィ６０８を生成することにより、アイテム追跡装置１０４は、画像１２２内のアイテム２０４の位置を使用して、プラットフォーム２０２、カメラ１０８、及び３Ｄセンサ１１０に対するアイテム２０４の物理的な位置を決定することができる。これにより、アイテム追跡装置１０４は、アイテム２０４の物理的な位置を使用して、処理するためにアイテム２０４の画像１２２及び深度画像１２４を一緒にクラスタ化できる。各ホモグラフィ６０８は、画像１２２又は深度画像１２４内のピクセル位置と、グローバル平面（つまり、プラットフォーム２０２上の物理的な位置）の（ｘ，ｙ）座標との間で変換するように構成された係数で構成される。各画像１２２及び深度画像１２４は、複数のピクセルで構成される。画像１２２又は深度画像１２４内の各ピクセルの位置は、そのピクセル位置１２０２によって記述され、ピクセル位置１２０２は、画像１２２又は深度画像１２４内でピクセルが位置しているピクセルのピクセル行及びピクセル列を識別する。

【0089】

アイテム追跡装置１０４は、ホモグラフィ６０８を使用して、特定のカメラ１０８又は３Ｄセンサ１１０内のピクセル位置とプラットフォーム２０２上の物理的な位置を関連付ける。換言すると、アイテム追跡装置１０４は、ホモグラフィ６０８を使用して、カメラ１０８又は３Ｄセンサ１１０それぞれからの画像１２２又は深度画像１２４内のピクセル位置１２０２に基づいて、アイテム２０４がプラットフォーム２０２上のどこに物理的に位置しているかを決定する。アイテム追跡装置１０４が、複数のカメラ１０８及び３Ｄセンサ１１０を使用してプラットフォーム２０２を監視するため、各カメラ１０８及び３Ｄセンサ１１０は、イメージング装置１０２上のカメラ１０８又は３Ｄセンサ１１０の物理的な位置に基づいて、異なるホモグラフィ６０８に一意に関連付けられる。この構成により、アイテム追跡装置１０４は、アイテム２０４がどのカメラ１０８又は３Ｄセンサ１１０に表示されるか、及びそのカメラ１０８又は３Ｄセンサ１１０によって取り込んだ画像１２２又は深度画像１２４内のアイテムの位置に基づいて、アイテム２０４がプラットフォーム２０２上のどこに物理的に位置しているかを決定することができる。この構成では、カメラ１０８及び３Ｄセンサ１１０は、それぞれ、プラットフォーム２０２の少なくとも部分的に重なり合う部分の画像１２２及び深度画像１２４を取り込むように構成される。

【0090】

図１２Ａを参照すると、ホモグラフィ６０８は、画像１２２又は深度画像１２４内のピクセル位置１２０２と、プラットフォーム２０２の上面に対応するグローバル平面内の物理的位置（例えば、（ｘ，ｙ）座標１２０４）との間で変換するように構成された複数の係数から構成される。この例では、ホモグラフィ６０８はマトリックスとして構成され、ホモグラフィ６０８の係数は、Ｈ_１１、Ｈ_１２、Ｈ_１３、Ｈ_１４、Ｈ_２１、Ｈ_２２、Ｈ_２３、Ｈ_２４、Ｈ_３１、Ｈ_３２、Ｈ_３３、Ｈ_３４、Ｈ_４１、Ｈ_４２、Ｈ_４３、及びＨ_４４として表される。アイテム追跡装置１０４は、係数を使用して、画像１２２又は深度画像１２４内のピクセル位置１２０２とグローバル平面内の物理的位置（例えば、（ｘ，ｙ）座標１２０４）との間の関係又は関数を規定することによって、ホモグラフィ６０８を生成することができる。例えば、アイテム追跡装置１０４は、係数を使用して１つ又は複数の関数を規定し、回帰（例えば、最小二乗回帰）を行って、画像１２２又は深度画像１２４のピクセル位置１２０２をグローバル平面内の（ｘ，ｙ）座標１２０４に投影する係数の値を解くことができる。各（ｘ，ｙ）座標１２０４は、アイテムがプラットフォーム２０２上に位置しているグローバル平面内のｘ値及びｙ値を識別する。他の例では、アイテム追跡装置１０４は、他の適切な技術を使用してホモグラフィ６０８の係数を解くことができる。図５Ａに示される例では、ピクセル位置１２０２のｚ値は、距離、深度、高度、又は高さを表すピクセル値に対応し得る。この場合に、ホモグラフィ６０８は、深度画像１２４のピクセル値とグローバル平面のｚ座標（例えば、高さ又は高度）との間で変換するようにさらに構成される。

【0091】

アイテム追跡装置１０４は、ホモグラフィ６０８の逆行列を使用して、グローバル平面の（ｘ，ｙ）座標１２０４から画像１２２又は深度画像１２４のピクセル位置１２０２に投影することができる。例えば、アイテム追跡装置１０４は、オブジェクトのグローバル平面の（ｘ，ｙ）座標１２０４を受け取る。アイテム追跡装置１０４は、オブジェクトが映っているカメラ１０８又は３Ｄセンサ１１０に関連付けられたホモグラフィ６０８を識別する。次に、アイテム追跡装置１０４は、逆ホモグラフィ６０８を（ｘ，ｙ）座標１２０４に適用して、オブジェクトが画像１２２又は深度画像１２４に位置しているピクセル位置１２０２を決定することができる。アイテム追跡装置１０４は、ホモグラフィ６０８が行列として表される場合に、ホモグラフィ６０８の逆行列を計算することができる。図１２Ｂを例として参照すると、アイテム追跡装置１０４は、グローバル平面の（ｘ，ｙ）座標１２０４と逆ホモグラフィ６０８との間で行列乗算を行って、画像１２２又は深度画像１２４内の対応するピクセル位置１２０２を決定することができる。

【0092】

ホモグラフィ６０８の生成及びホモグラフィ６０８の使用に関する追加情報は、“DRAW WIRE ENCODER BASED HOMOGRAPHY”という表題の米国特許第１１，０２３，７４１号（代理人整理番号０９０２７８．０２３３）に開示されており、この特許は、その全体が複製されるかのように、参照により本明細書に組み込まれる。

【0093】

ホモグラフィを使用してアイテムの位置を決定する
図１１に戻ると、カメラ１０８及び／又は３Ｄセンサ１１０のホモグラフィ６０８を生成した後に、アイテム追跡装置１０４は、次に、ホモグラフィ６０８を使用して、処理のためにアイテム２０４の画像１２２及び深度画像１２４を一緒にクラスタ化することができる。動作１１０２では、アイテム追跡装置１０４は、第１のカメラ１０８を使用して、アイテム２０４の第１の画像１２２を取り込む。第１のカメラ１０８は、プラットフォーム２０２上のアイテム２０４の上向きの表面及び／又は側面を撮影するように構成することができる。図１３Ａを参照すると、アイテム追跡装置１０４は、第１のカメラ１０８を使用して、プラットフォーム２０２上にあるアイテム２０４Ａ及び２０４Ｂの第１の画像１３０２を取り込む。

【0094】

図１１の動作１１０４に戻ると、アイテム追跡装置１０４は、第１の画像１２２内のアイテム２０４の第１の関心領域１３０４を識別する。第１の関心領域１３０４は、第１の画像１２２内のアイテム２０４に対応する複数のピクセルで構成される。関心領域１３０４の一例は、境界ボックスである。いくつかの実施形態では、アイテム追跡装置１０４は、１つ又は複数の画像処理技術を使用して、第１の画像１２２内のアイテム２０４の関心領域１３０４を識別することができる。例えば、アイテム追跡装置１０４は、オブジェクト検出及び／又はＯＣＲを使用して、アイテム２０４を識別するために使用できるアイテム２０４のテキスト、ロゴ、ブランド、色、バーコード、又は他の任意の特徴を識別することができる。この場合に、アイテム追跡装置１０４は、画像１２２内のピクセルを処理して、アイテム２０４のテキスト、色、バーコード、パターン、又は他の任意の特徴を識別することができる。次に、アイテム追跡装置１０４は、アイテム２０４の識別した特徴を、異なるアイテム２０４に対応する特徴のセットと比較することができる。例えば、アイテム追跡装置１０４は、画像１２２からテキスト（例えば、製品名）を抽出し、そのテキストを異なるアイテム２０４に関連付けられたテキストのセットと比較することができる。別の例として、アイテム追跡装置１０４は、画像１２２内の支配的な色を決定し、支配的な色を、異なるアイテム２０４に関連付けられた色のセットと比較することができる。別の例として、アイテム追跡装置１０４は、画像１２２内のバーコードを識別し、そのバーコードを、異なるアイテム２０４に関連付けられたバーコードのセットと比較することができる。別の例として、アイテム追跡装置１０４は、画像１２２内のロゴ又はパターンを識別し、識別したロゴ又はパターンを、異なるアイテム２０４に関連付けられたロゴ又はパターンのセットと比較することができる。他の例では、アイテム追跡装置１０４は、他の適切なタイプ又は組合せの特徴を識別し、識別した特徴を、異なるアイテム２０４に関連付けられた特徴と比較することができる。

【0095】

画像１２２から識別した特徴を、異なるアイテム２０４に関連付けられた特徴のセットと比較した後に、アイテム追跡装置１０４は、次に、一致が見つかったかどうかを判定する。アイテム追跡装置１０４は、識別した特徴の少なくとも意味のある部分がアイテム２０４に対応する特徴と一致する場合に、一致が見つかったと判定することができる。画像１２２内の意味のある部分の特徴がアイテム２０４の特徴と一致すると判定されたことに応じて、アイテム追跡装置１０４は、一致するアイテム２０４に対応する関心領域１３０４を識別することができる。他の実施形態では、アイテム追跡装置１０４は、他の適切なタイプの画像処理技術を使用して、関心領域１３０４を識別することができる。図１３Ａの例に戻ると、アイテム追跡装置１０４は、第１の画像１３０２内の第１のアイテム２０４Ａに対応する第１の関心領域１３０４Ａと、第２のアイテム２０４Ｂに対応する第２の関心領域１３０４Ｂとを識別する。

【0096】

図１１の動作１１０６に戻ると、アイテム追跡装置１０４は、第１の関心領域１３０４内の第１のピクセル位置１２０２を特定する。ピクセル位置１２０２は、第１の関心領域１３０４内の任意のピクセルであってもよい。いくつかの実施形態では、アイテム追跡装置１０４は、プラットフォーム２０２に最も近いピクセル位置１２０２を特定することができる。例えば、アイテム追跡装置１０４は、関心領域１３０４の下端の中間点にあるピクセル位置１２０２を特定することができる。図１３Ａの例に戻ると、アイテム追跡装置１０４は、第１のアイテム２０４Ａの第１の関心領域１３０４Ａ内のピクセル位置１２０２Ａと、第２のアイテム２０４Ｂの第２の関心領域１３０４Ｂ内のピクセル位置１２０２Ｂとを特定することができる。

【0097】

図１１の動作１１０８に戻ると、アイテム追跡装置１０４は、第１のホモグラフィ６０８を第１のピクセル位置１２０２に適用して、アイテム２０４のプラットフォーム２０２上の第１の（ｘ，ｙ）座標１２０４を決定する。例えば、アイテム追跡装置１０４は、第１のカメラ１０８に関連付けられたホモグラフィ６０８を識別し、次に、識別したホモグラフィ６０８を各アイテム２０４のピクセル位置１２０２に適用して、プラットフォーム２０２上の対応する（ｘ，ｙ）座標１２０４を決定する。

【0098】

動作１１１０では、アイテム追跡装置１０４は、第２のカメラ１０８を使用してアイテム２０４の第２の画像１２２を取り込む。ここで、アイテム追跡装置１０４は、異なるカメラ１０８を使用して、プラットフォーム２０２上のアイテム２０４の異なるビューを取り込む。第２のカメラ１０８は、プラットフォーム２０２上のアイテム２０４の上向きの表面及び／又は側面を撮影するように構成することができる。図１３Ｂの例を参照すると、アイテム追跡装置１０４は、第２のカメラ１０８を使用して、プラットフォーム２０２上にあるアイテム２０４Ａ及び２０４Ｂの第２の画像１３０６を取り込む。この例では、第２のカメラ１０８は、第１のカメラ１０８とは反対側のプラットフォーム２０２にある。この例では、第１のカメラ１０８は、プラットフォーム２０２上のアイテム２０４の第１の側面を取り込み、第２のカメラ１０８は、プラットフォーム２０２上のアイテム２０４の反対側を取り込む。他の例では、第２のカメラ１０８は、他の適切な場所に配置してもよい。

【0099】

図１１の動作１１１２に戻ると、アイテム追跡装置１０４は、第２の画像１２２内のアイテム２０４の第２の関心領域１３０４を識別する。第２の関心領域１３０４は、第２の画像１２２内のアイテム２０４に対応する第２の複数のピクセルを含む。アイテム追跡装置１０４は、動作１１０４で説明したプロセスを繰り返して、第２の関心領域１３０４を識別することができる。図１３Ｂの例に戻ると、アイテム追跡装置１０４は、第２の画像１３０６内の第１のアイテム２０４Ａに対応する第３の関心領域１３０４Ｃと、第２のアイテム２０４Ｂに対応する第４の関心領域１３０４Ｄとを識別する。

【0100】

図１１の動作１１１４に戻ると、アイテム追跡装置１０４は、第２の関心領域１３０４内の第２のピクセル位置１２０２を特定する。図１３Ｂの例に戻ると、アイテム追跡装置１０４は、第１のアイテム２０４Ａの第３の関心領域１３０４Ｃ内のピクセル位置１２０２Ｃと、第２のアイテム２０４Ｂの第４の関心領域１３０４Ｄ内のピクセル位置１２０２Ｄとを識別することができる。

【0101】

図１１の動作１１１６に戻ると、アイテム追跡装置１０４は、第２のホモグラフィ６０８を第２のピクセル位置１２０２に適用して、アイテム２０４のプラットフォーム２０２上の第２の（ｘ，ｙ）座標１２０４を決定する。ここで、アイテム追跡装置１０４は、第２のカメラ１０８に関連付けられたホモグラフィ６０８を識別し、次に、識別したホモグラフィ６０８を各アイテム２０４のピクセル位置１２０２に適用して、プラットフォーム２０２上の対応する（ｘ，ｙ）座標１２０４を決定する。

【0102】

アイテム追跡装置１０４は、任意の他の適切な数のカメラ１０８に対してこのプロセスを繰り返すことができる。別の例として図１３Ｃを参照すると、アイテム追跡装置１０４は、第３のカメラ１０８を使用して、プラットフォーム２０２上のアイテム２０４の第３の画像１３０８を取り込む。次に、アイテム追跡装置１０４は、各アイテム２０４の関心領域１３０４及びピクセル位置１２０２を特定する。この例では、アイテム追跡装置１０４は、第１のアイテム２０４Ａの関心領域１３０４Ｅ及びピクセル位置１２０２Ｅを特定し、第２のアイテム２０４Ｂの関心領域１３０４Ｆ及びピクセル位置１２０２Ｆを特定する。アイテム２０４のピクセル位置１２０２を決定した後に、アイテム追跡装置１０４は、次に、第３のカメラ１０８に関連付けられたホモグラフィ６０８を識別し、識別したホモグラフィ６０８を各アイテム２０４のピクセル位置１２０２に適用して、プラットフォーム２０２上の対応する（ｘ，ｙ）座標１２０４を決定する。

【0103】

図１１の動作１１１８に戻ると、アイテム追跡装置１０４は、第１の（ｘ，ｙ）座標１２０４と第２の（ｘ，ｙ）座標１２０４との間の距離１４０２を決定する。図１４を例として参照すると、図１４は、各アイテム２０４の（ｘ，ｙ）座標１２０４がプラットフォーム２０２に投影されるプラットフォーム２０２の俯瞰図を示している。この例では、（ｘ，ｙ）座標１２０４Ａ、１２０４Ｂ、及び１２０４Ｃが第１のアイテム２０４Ａに関連付けられ、（ｘ，ｙ）座標１２０４Ｄ、１２０４Ｅ、及び１２０４Ｆが第２のアイテム２０４Ｂに関連付けられる。アイテム追跡装置１０４は、（ｘ，ｙ）座標１２０４のペアを反復的に選択し、一対の（ｘ，ｙ）座標１２０４の間の距離１４０２を決定するように構成される。一実施形態では、アイテム追跡装置１０４は、一対の（ｘ，ｙ）座標１２０４の間のユークリッド距離を決定するように構成される。

【0104】

図１１の動作１１２０に戻ると、アイテム追跡装置１０４は、距離１４０２が距離閾値以下であるかどうかを判定する。距離閾値は、アイテム２０４の同じクラスタ１４０４のメンバーと見なされる一対の（ｘ，ｙ）座標１２０４の間の最大距離を特定する。距離閾値は、任意の適切な値に設定できるユーザ規定の値である。距離閾値の単位は、インチ、センチメートル、ミリメートル、又は他の適切な単位であってもよい。アイテム追跡装置１０４は、一対の（ｘ，ｙ）座標１２０４の間の距離１４０２と距離閾値を比較し、一対の（ｘ，ｙ）座標１２０４の間の距離１４０２が距離閾値より小さいかどうかを判定する。

【0105】

アイテム追跡装置１０４は、距離１４０２が距離閾値より大きいと判定したことに応じて、プロセス１１００を終了する。この場合に、アイテム追跡装置１０４は、一対の（ｘ，ｙ）座標１２０４がアイテム２０４の同じクラスタ１４０４のメンバーではないと判定する。いくつかの実施形態では、アイテム追跡装置１０４はプロセス１１００を終了せず、代わりに、距離閾値と比較するための追加の（ｘ，ｙ）座標１２０４が利用可能な場合に、別の一対の（ｘ，ｙ）座標１２０４を選択する。

【0106】

アイテム追跡装置１０４は、距離１４０２が距離閾値以下であると判定したことに応じて、動作１１２２に進む。この場合に、アイテム追跡装置１０４は、一対の（ｘ，ｙ）座標１２０４がアイテム２０４の同じクラスタ１４０４のメンバーであると判定する。動作１１２２では、アイテム追跡装置１０４は、第１の画像１２２の第１の関心領域１３０４内のピクセルと、第２の画像１２２の第２の関心領域１３０４内のピクセルとを、アイテム２０４のクラスタ１４０４に関連付ける。図１４を例として参照すると、アイテム追跡装置１０４は、第１のアイテム２０４Ａの第１のクラスタ１４０４Ａと、第２のアイテム２０４Ｂの第２のクラスタ１４０４Ｂとを識別することができる。第１のクラスタ１４０４Ａは、（ｘ，ｙ）座標１２０４Ａ、１０２４Ｂ、及び１２０４Ｃと、関心領域１３０４Ａ、１３０４Ｃ、及び１３０４Ｅとに関連付けられる。第２のクラスタ１４０４Ｂは、（ｘ，ｙ）座標１２０４Ｄ、１０２４Ｅ、及び１２０４Ｆと、関心領域１３０４Ｂ、１３０４Ｄ、及び１３０４Ｆとを関連付けられる。

【0107】

図１１の動作１１２４に戻ると、アイテム追跡装置１０４は、第１の画像１２２からの第１の関心領域１３０４内のピクセルと、第２の画像１２２からの第２の関心領域１３０４内のピクセルとを出力する。一実施形態では、アイテム追跡装置１０４は、画像１２２から識別した関心領域１３０４内のピクセルを抽出することによって、取り込む画像１２２を切り抜く。画像１２２を切り取ることによって、アイテム追跡装置１０４は、元の画像１２２の関心領域１３０４内の抽出したピクセルを含む新しい画像１２２を生成する。このプロセスにより、アイテム追跡装置１０４は、アイテム２０４の新しい画像１２２のセットを生成することができ、各画像が、アイテム２０４に関連付けられた識別した関心領域１３０４から抽出したピクセルを含む。アイテム追跡装置１０４は、追加の処理のためにアイテム２０４の新しい画像１２２を出力できる。例えば、アイテム追跡装置１０４は、図２３で説明するプロセス２３００と同様のプロセスを使用して、画像１２２内のアイテム２０４の物理的属性に基づいて、アイテム２０４を識別するために画像１２２を機械学習モデル１２６に入力又はロードして出力することによって、画像１２２を出力できる。

【0108】

いくつかの実施形態では、アイテム追跡装置１０４は、識別した特徴記述子をアイテム２０４の画像１２２に関連付け、アイテム２０４の画像１２２と共に特徴記述子を出力することもできる。例えば、アイテム２０４の関心領域１３０４を決定する際に、アイテム追跡装置１０４は、アイテム２０４のアイテムタイプを識別することができる。この例では、アイテム追跡装置１０４は、アイテムタイプを関心領域１３０４に関連付け、関心領域１３０４に基づいて生成したアイテム２０４の画像１２２と共にアイテムタイプを出力できる。別の例として、アイテム追跡装置１０４は、重量センサ１２２を使用してアイテム２０４の重量を取得することができる。この例では、アイテム追跡装置１０４は、重量を関心領域１３０４に関連付け、関心領域１３０４に基づいて生成したアイテム２０４の画像１２２と共に重量を出力できる。他の例では、アイテム追跡装置１０４は、関心領域１３０４を出力する前に、他の適切なタイプの特徴記述子を識別して関心領域１３０４に関連付けるように構成され得る。

【0109】

エンコード化ベクトル・ライブラリの検索空間削減プロセス
図１５は、エンコード化ベクトル・ライブラリ１２８の検索空間削減プロセス１５００の一実施形態のフローチャートである。アイテム追跡システム１００は、プロセス１５００を使用して、エンコード化ベクトル・ライブラリ１２８内のエントリ１６０２をフィルタリングし、プラットフォーム２０２上に置かれたアイテム２０４を識別しようとするときに考慮されるアイテム２０４の量を減らすことができる。このプロセスは、エンコード化ベクトル・ライブラリ１２８内の対応するエントリ１６０２を検索するために必要な時間を削減するとともに、エンコード化ベクトル・ライブラリ１２８内のエントリ１６０２を識別した結果の精度を向上させる。

【0110】

動作１５０２では、アイテム追跡装置１０４は、アイテム２０４の特徴記述子１６０８を取得する。特徴記述子１６０８のそれぞれは、アイテム２０４の物理的特性又は属性を記述する。特徴記述子１６０８の例には、アイテムタイプ１６１０、支配的な色１６１２、寸法１６１４、重量１６１６、又はアイテム２０４を記述する他の適切なタイプの記述子のいずれかが含まれるが、これらに限定されない。一実施形態では、アイテム追跡装置１０４は、図１１の動作１１０４で説明したプロセスと同様のプロセスを使用して、特徴記述子を取得してもよい。例えば、アイテム追跡装置１０４は、オブジェクト検出及び／又はＯＣＲを使用して、アイテム２０４を識別するために使用できるテキスト、ロゴ、ブランド、色、バーコード、又はアイテム２０４の他の特徴を識別してもよい。いくつかの実施形態では、アイテム追跡装置１０４は、図１８で説明したプロセス１８００と同様のプロセスを使用して、アイテム２０４の寸法を決定してもよい。アイテム追跡装置１０４は、重量センサ１１２を使用してアイテム２０４の重量を決定することができる。他の実施形態では、アイテム追跡装置１０４は、アイテム２０４の特徴記述子を決定するための他の適切なプロセスを使用することができる。

【0111】

動作１５０４では、アイテム追跡装置１０４は、特徴記述子１６０８がアイテム２０４のアイテムタイプ１６１０を識別するかどうかを判定する。ここで、アイテム追跡装置１０４は、アイテム２０４のアイテムタイプ１６１０に関連付けられた情報が利用可能かどうかを判定する。アイテムタイプ１６１０は、アイテム２０４の分類を識別する。例えば、アイテムタイプ１６１０は、アイテム２０４が缶、ボトル、箱、果物、バッグ等であるかどうかを示すことができる。アイテム追跡装置１０４は、特徴記述子１６０８がアイテム２０４のアイテムタイプ１６１０を識別すると判定することに応じて、動作１５０６に進む。この場合に、アイテム追跡装置１０４は、アイテムタイプ１６１０を使用してエンコード化ベクトル・ライブラリ１２８をフィルタリングし、アイテム２０４の識別を試みる前に、エンコード化ベクトル・ライブラリ１２８内のエントリ１６０２の数を減らす。

【0112】

動作１５０６では、アイテム追跡装置１０４は、アイテムタイプ１６１０に基づいてエンコード化ベクトル・ライブラリ１２８をフィルタリングする。図１６を例として参照すると、エンコード化ベクトル・ライブラリ１２８は、複数のエントリ１６０２で構成される。各エントリ１６０２は、アイテム追跡装置１０４によって識別できる異なるアイテム２０４に対応する。各エントリ１６０２は、アイテム識別子１６０４及び複数の特徴記述子１６０８にリンクされたエンコード化ベクトル１６０６で構成され得る。エンコード化ベクトル１６０６は、数値の配列で構成される。各数値は、アイテム２０４の属性（例えば、アイテムタイプ、サイズ、形状、色等）に対応し、その属性を記述する。エンコード化ベクトル１６０６は、任意の適切な長さであってもよい。例えば、エンコード化ベクトル１６０６のサイズは、１×２５６、１×５１２、１×１０２４、又は他の適切な長さであってもよい。アイテム識別子１６０４は、アイテム２０４を一意に識別する。アイテム識別子１６０４の例には、製品名、ＳＫＵ番号、英数字コード、グラフィカルコード（例えば、バーコード）、又は他の適切なタイプの識別子が挙げられるが、これらに限定されない。この例では、アイテム追跡装置１０４は、アイテムタイプ１６１０を使用して、同じアイテムタイプ１６１０を含まないエンコード化ベクトル・ライブラリ１２８内のエントリ１６０２をフィルタリング処理又は削除する。このプロセスにより、アイテム２０４を識別するときに考慮されるエンコード化ベクトル・ライブラリ１２８内のエントリ１６０２の数が削減される。

【0113】

図１５の動作１５０４に戻ると、アイテム追跡装置１０４は、特徴記述子１６０８がアイテムタイプ１６１０を特定していないと判定したことに応じて、動作１５０８に進む。この場合に、アイテム追跡装置１０４は、エンコード化ベクトル・ライブラリ１２８内のエントリ１６０２をフィルタリングするために使用できる他のタイプの特徴記述子１６０８をチェックする。動作１５０８では、アイテム追跡装置１０４は、特徴記述子１６０８がアイテム２０４の支配的な色１６１２を特定しているかどうかを判定する。支配的な色１６１２は、アイテム２０４の表面（例えば、パッケージ）に表示される１つ又は複数の色を特定する。

【0114】

アイテム追跡装置１０４は、特徴記述子１６０８がアイテム２０４の支配的な色１６１２を特定していることに応じて、動作１５１０に進む。この場合に、アイテム追跡装置１０４は、アイテム２０４の支配的な色１６１２に基づいて、エンコード化ベクトル・ライブラリ１２８内のエントリ１６０２の数を減らすために、動作１５１０に進む。動作１５１０では、アイテム追跡装置１０４は、アイテム２０４の支配的な色１６１２に基づいて、エンコード化ベクトル・ライブラリ１２８をフィルタリングする。ここで、アイテム追跡装置１０４は、支配的な色１６１２を使用して、同じ支配的な色１６１２を含まないエンコード化ベクトル・ライブラリ１２８内のエントリ１６０２をフィルタ除去又は削除する。

【0115】

動作１５０８に戻り、アイテム追跡装置１０４は、特徴記述子１６０８がアイテム２０４の支配的な色１６１２を特定していないと判定することに応じて、動作１５１２に進む。動作１５１２では、アイテム追跡装置１０４は、特徴記述子１６０８がアイテム２０４の寸法１６１４を特定しているかどうかを判定する。寸法１６１４は、アイテム２０４の長さ、幅、及び高さを特定することができる。いくつかの実施形態では、寸法１６１４は昇順でリストされ得る。

【0116】

アイテム追跡装置１０４は、特徴記述子１６０８がアイテム２０４の寸法１６１４を特定したと判定したことに応じて、動作１５１４に進む。この場合に、アイテム追跡装置１０４は、アイテム２０４の寸法１６１４に基づいて、エンコード化ベクトル・ライブラリ１２８内のエントリ１６０２の数を減らすために動作１５１４に進む。動作１５１４では、アイテム追跡装置１０４は、アイテム２０４の寸法１６１４に基づいて、エンコード化ベクトル・ライブラリ１２８をフィルタリングする。ここで、アイテム追跡装置１０４は、寸法１６１４を使用して、アイテム２０４と同じ寸法１６１４を含まない、又はアイテム２０４の寸法１６１４の所定の許容範囲内にある、エンコード化ベクトル・ライブラリ１２８内のエントリ１６０２をフィルタ除去又は削除する。いくつかの実施形態では、アイテム２０４のこの寸法１６１４は、アイテム２０４の寸法１６１４とエンコード化ベクトル・ライブラリ１２８内のアイテム２０４の寸法１６１４との間の比較を容易にするために、昇順でリストされ得る。

【0117】

動作１５１２に戻り、アイテム追跡装置１０４は、特徴記述子１６０８がアイテム２０４の寸法１６１４を特定していないと判定することに応じて、動作１５１６に進む。動作１５１６では、アイテム追跡装置１０４は、特徴記述子１６０８がアイテム２０４の重量１６１６を特定するかどうかを判定する。重量１６１６は、アイテム２０４の重量を特定する。重量１６１６は、ポンド、オンス、リットル、又は他の適切な単位で表してもよい。

【0118】

アイテム追跡装置１０４は、特徴記述子１６０８がアイテム２０４の重量１６１６を特定すると判定したことに応じて、動作１５１８に進む。この場合に、アイテム追跡装置１０４は、アイテム２０４の重量１６１６に基づいて、エンコード化ベクトル・ライブラリ１２８内のエントリ１６０２の数を減らすために、動作１５１８に進む。

【0119】

動作１５１８では、アイテム追跡装置１０４は、アイテム２０４の重量に基づいてエンコード化ベクトル・ライブラリ１２８をフィルタリングする。ここで、アイテム追跡装置１０４は、重量１６１６を使用して、アイテム２０４と同じ重量１６１６を含まない、又はアイテム２０４の重量１６１６の所定の許容範囲内にあるエンコード化ベクトル・ライブラリ１２８内のエントリ１６０２をフィルタ除去又は削除する。

【0120】

いくつかの実施形態では、アイテム追跡装置１０４は、同様のプロセスを繰り返して、他の適切なタイプ又は組合せの特徴記述子１６０８に基づいて、エンコード化ベクトル・ライブラリ１２８内のエントリ１６０２の数をフィルタリング又は削減することができる。

【0121】

類似ベクトル
アイテム２０４の特徴記述子１６０８に基づいてエンコード化ベクトル・ライブラリ１２８をフィルタリングした後に、アイテム追跡装置１０４は、受け取ったエンコード化ベクトルの類似ベクトル１７０４を生成することができる。類似ベクトル１７０４は数値１７１０の配列で構成され、各数値１７１０は、受け取ったエンコード化ベクトル１７０２の値がエンコード化ベクトル・ライブラリ１２８内のエンコード化ベクトル１６０６の値とどの程度類似しているかを示す。一実施形態では、アイテム追跡装置１０４は、受け取ったエンコード化ベクトル１７０２とエンコードしたライブラリ１２８内のエンコード化ベクトル１６０６との間の行列乗算を使用して類似ベクトル１７０４を生成できる。図１７を例として参照すると、エンコード化ベクトル・ライブラリ１２８内のエンコード化ベクトル１６０６の次元はＭ×Ｎであり、ここでＭは、例えばエンコード化ベクトル・ライブラリ１２８をフィルタリングした後の、エンコード化ベクトル・ライブラリ１２８内のエントリ１６０２の数であり、Ｎは各エンコード化ベクトル１６０６の長さであり、これはエンコード化ベクトル１６０６内の数値１７０６の数に対応する。未識別アイテム２０４のエンコード化ベクトル１７０２はＮ×１の次元を有しており、ここでＮはエンコード化ベクトル１７０２の長さであり、これはエンコード化ベクトル１７０２内の数値１７０８の数に対応する。この例では、アイテム追跡装置１０４は、エンコード化ベクトル１７０２とエンコード化ベクトル・ライブラリ１２８内のエンコード化ベクトル１６０６との間で行列乗算を行うことによって類似ベクトル１７０４を生成できる。結果として得られる類似ベクトル１７０４はＮ×１の次元を有しており、ここで、Ｎは類似ベクトル１７０４の長さであり、これはエンコード化ベクトル１７０２と同じ長さである。類似ベクトル１７０４内の各数値１７１０は、エンコード化ベクトル・ライブラリ１２８内のエントリ１６０２に対応する。例えば、類似ベクトル１７０４内の第１の数値１７１０は、エンコード化ベクトル１７０２の値がエンコード化ベクトル・ライブラリ１２８の第１のエントリ１６０２内のエンコード化ベクトル１６０６の値とどの程度類似しているかを示し、類似ベクトル１７０４内の第２の数値１７１０は、エンコード化ベクトル１７０２の値がエンコード化ベクトル・ライブラリ１２８の第２のエントリ１６０２内のエンコード化ベクトル１６０６の値とどの程度類似しているかを示し、以下同様である。

【0122】

類似ベクトル１７０４を生成した後に、アイテム追跡装置１０４は、エンコード化ベクトル・ライブラリ１２８内のどのエントリ１６０２が、識別したアイテム２０４のエンコード化ベクトル１７０２に最もよく一致するかを特定することができる。一実施形態では、類似ベクトル１７０４内の最も高い数値１７１０に関連付けられたエントリ１６０２が、アイテム２０４のエンコード化ベクトル１７０２に最もよく一致するエントリ１６０２に対応する。エンコード化ベクトル・ライブラリ１２８から、識別したアイテム２０４のエンコード化ベクトル１７０２に最もよく一致するエントリ１６０２を特定した後に、アイテム追跡装置１０４は、次に、識別したエントリ１６０２に関連付けられたアイテム識別子１６０４を特定することができる。このプロセスを通じて、アイテム追跡装置１０４は、エンコード化ベクトル・ライブラリ１２８のどのアイテム２０４が、未識別アイテム２０４に対応するかを、エンクロージャしたベクトル１７０２に基づいて決定することができる。次に、アイテム追跡装置１０４は、識別したアイテム識別子１６０４を、出力するか、又は図２３で説明するプロセス２３００等の他のプロセスに使用する。

【0123】

点群情報を使用したアイテム寸法決定プロセス
図１８は、点群情報を使用したアイテム寸法決定プロセス１８００の一実施形態のフローチャートである。アイテム追跡システム１００は、プロセス１８００を使用して、プラットフォーム２０２上に置かれたアイテム２０４の寸法１６１４を決定することができる。このプロセスでは、一般に、最初に複数の３Ｄセンサ１１０を使用してアイテム２０４の３Ｄ点群データを取り込み、次に全ての３Ｄセンサ１１０からの３Ｄ点群データを結合して、アイテム２０４のより完全な点群表現を生成する。３Ｄセンサ１１０からの点群データを結合した後に、アイテム追跡装置１０４は、次に、新しい点群データ表現に基づいてアイテム２０４の寸法１６１４を決定する。このプロセスにより、アイテム追跡装置１０４は、ユーザがアイテム２０４の物理的な測定を行うことなく、アイテム２０４の寸法１６１４を決定することができる。

【0124】

動作１８０２では、アイテム追跡装置１０４は、オーバーヘッド３Ｄセンサ１１０を使用して、プラットフォーム２０２上のアイテム２０４の点群データ１９０２を取り込む。点群データ１９０２は、３Ｄ空間内の複数のデータポイント１９０１で構成される。各データポイント１９０１は、３Ｄ空間内のデータポイント１９０１の位置を特定する（ｘ，ｙ，ｚ）座標に関連付けられる。一般に、点群データ１９０２は、３Ｄセンサ１１０に見えるオブジェクトの表面に対応する。図１９を例として参照すると、図１９は、オーバーヘッド３Ｄセンサ１１０を使用して取り込んだ点群データ１９０２の例を示している。この例では、３Ｄセンサ１１０は、プラットフォーム２０２の真上に位置付けされ、プラットフォーム２０２上のアイテム２０４の上向きの表面を表す点群データ１９０２を取り込むように構成される。３Ｄセンサ１１０は、第１のアイテム２０４に対応する点群データ１９０２Ａと、第２のアイテム２０４に対応する点群データ１９０２Ｂとを取り込む。

【0125】

図１８の動作１８０４に戻ると、アイテム追跡装置１０４は、点群データ１９０２内のクラスタ１９０４に基づいて点群データ１９０２をセグメント化する。一実施形態では、アイテム追跡装置１０４は、点群データ１９０２内のデータポイント１９０１同士の間の距離に基づいて、点群データ１９０２内のクラスタ１９０４を識別することができる。例えば、アイテム追跡装置１０４は、距離閾値を使用して、同じクラスタ１９０４のメンバーであるデータポイント１９０１を識別することができる。この例では、アイテム追跡装置１０４は、一対のデータポイント１９０１同士の間のユークリッド距離を計算して、データポイント１９０１が同じクラスタ１９０４のメンバーであるかどうかを判定することができる。例えば、一対のデータポイント１９０１が互いに距離閾値内にある場合に、アイテム追跡装置１０４は、データポイント１９０１を同じクラスタ１９０４に関連付けることができる。一対のデータポイント１９０１同士の間の距離が距離閾値より大きい場合に、アイテム追跡装置１０４は、データポイント１９０１が同じクラスタ１９０４のメンバーではないと判定する。アイテム追跡装置１０４は、１つ又は複数のクラスタ１９０４を点群データ１９０２内で識別するまで、このプロセスを繰り返すことができる。他の例では、アイテム追跡装置１０４は、ｋ平均法クラスタ化又は他の適切なクラスタ化手法を使用して、データポイント１９０１をクラスタ化することができる。点群データ１９０２内のクラスタ１９０４を識別した後に、アイテム追跡装置１０４は、識別したクラスタ１９０４に基づいて点群データ１９０２をセグメント化する。点群データ１９０２をセグメント化すると、点群データ１９０２内のデータポイント１９０１が、識別したクラスタ１９０４に基づいて、より小さなグループの点群データ１９０２に分割される。データポイント１９０１の各クラスタ１９０４は、プラットフォーム２０２上に置かれた異なるアイテム２０４に対応する。

【0126】

動作１８０６では、アイテム追跡装置１０４は、セグメント化した点群データ１９０２から第１のアイテム２０４を選択する。ここで、アイテム追跡装置１０４は、プラットフォーム２０２上のアイテム２０４のうちの１つを識別して、第１のアイテム２０４に関連付けられた他の３Ｄセンサ１１０からの点群データ１９０２の集約を開始する。アイテム追跡装置１０４は、プラットフォーム２０２から各アイテム２０４を繰り返し選択できる。図１９の例に戻ると、アイテム追跡装置１０４は、クラスタ１９０４Ａに対応する第１のアイテム２０４を選択できる。

【0127】

図１８の動作１８０８に戻ると、アイテム追跡装置１０４は、点群データ１９０２内の第１のアイテム２０４の関心領域１９０６を識別する。関心領域１９０６は、３Ｄ空間内の領域を特定する。例えば、関心領域１９０６は、３Ｄ空間内のｘ値、ｙ値、及び／又はｚ値の範囲を規定してもよい。図１９の例に戻ると、アイテム追跡装置１０４は、第１のアイテム２０４の点群データ１９０２Ａを含む関心領域１９０６Ａを識別することができる。この例では、アイテム追跡装置１０４は、点群データ１９０２Ａを含む３Ｄ空間内のｘ値、ｙ値、及びｚ値の範囲を識別する。

【0128】

図１８の動作１８１０に戻ると、アイテム追跡装置１０４は、識別した関心領域１９０６から点群データ１９０２を抽出する。ここで、アイテム追跡装置１０４は、第１のアイテム２０４の関心領域１９０６内から点群データ１９０２を識別し、抽出する。関心領域１９０６内の点群データ１９０２を抽出することにより、アイテム追跡装置１０４は、点群データ１９０２内の第１のアイテム２０４のデータポイント１９０１を、プラットフォーム２０２上の他のアイテム２０４に関連付けられたデータポイント１９０１から分離することができる。図１９の例に戻ると、アイテム追跡装置１０４は、プラットフォーム２０２上の全てのアイテム２０４の点群データ１９０２から、関心領域１９０６Ａ内のデータポイント１９０１（すなわち、点群データ１９０２Ａ）を抽出することができる。

【0129】

図１８の動作１８１２に戻ると、アイテム追跡装置１０４は別の３Ｄセンサ１１０を選択する。オーバーヘッド３Ｄセンサ１１０から第１のアイテム２０４の点群データ１９０２を抽出した後に、アイテム追跡装置１０４は、同じプロセスを繰り返して、他の３Ｄセンサ１１０の視点から第１のアイテム２０４の追加の点群データ１９０２を抽出することができる。各３Ｄセンサ１１０は、３Ｄセンサ１１０に見える第１のアイテム２０４の部分の点群データ１９０２のみを取り込むことができる。第１のアイテム２０４の異なるビューを撮影する複数の３Ｄセンサ１１０から点群データ１９０２を取り込むことにより、アイテム追跡装置１０４は、第１のアイテム２０４のより完全な点群データ表現を生成することができる。アイテム追跡装置１０４は、イメージング装置１０２の３Ｄセンサ１１０から異なる３Ｄセンサ１１０を繰り返し選択することができる。

【0130】

動作１８１４では、アイテム追跡装置１０４は、選択した３Ｄセンサ１１０を使用して点群データ１９０２を取り込む。ここで、アイテム追跡装置１０４は、動作１８０２で説明したプロセスと同様のプロセスを使用して、選択した３Ｄセンサ１１０を使用して点群データ１９０２を取り込む。図２０を例として参照すると、アイテム追跡装置１０４は、プラットフォーム２０２上のアイテム２０４の側面斜視図を有する３Ｄセンサ１１０を選択することができる。換言すれば、選択した３Ｄセンサ１１０は、プラットフォーム２０２上のアイテム２０４の側面を表す点群データ１９０２を取り込む。この例では、３Ｄセンサ１１０は、第１のアイテム２０４に対応する点群データ１９０２Ｃと、第２のアイテム２０４に対応する点群データ１９０２Ｄとを取り込む。

【0131】

図１８の動作１８１６に戻ると、アイテム追跡装置１０４は、選択した３Ｄセンサ１１０の第１のアイテム２０４に対応する関心領域１９０６を識別する。一実施形態では、アイテム追跡装置１０４は、ホモグラフィ６０８を使用して、オーバーヘッド３Ｄセンサ１１０によって識別した関心領域１９０６に基づいて、選択した３Ｄセンサ１１０の関心領域１９０６を決定することができる。この場合に、アイテム追跡装置１０４は、選択した３Ｄセンサ１１０に関連付けられたホモグラフィ６０８を識別することができる。ホモグラフィ６０８は、図１２Ａ及び図１２Ｂで説明したものと同様に構成される。３Ｄセンサ１１０に関連付けられたホモグラフィ６０８を識別した後に、アイテム追跡装置１０４は、ホモグラフィ６０８を使用して、オーバーヘッド３Ｄセンサ１１０の関心領域１９０６に関連付けられた３Ｄ空間内のｘ値、ｙ値、及びｚ値の範囲を、選択した３Ｄセンサ１１０に関連付けられた３Ｄ空間内の対応するｘ値、ｙ値、及びｚ値の範囲に変換する。他の例では、アイテム追跡装置１０４は、第１のアイテム２０４の関心領域１９０６を識別するために、他の任意の適切な手法を使用してもよい。例えば、アイテム追跡装置１０４は、動作１８０８で説明したプロセスと同様のプロセスを使用してもよい。図２０の例に戻ると、アイテム追跡装置１０４は、第１のアイテム２０４の点群データ１９０２Ｃを含む関心領域１９０６Ｂを識別する。この例では、アイテム追跡装置１０４は、点群データ１９０２Ｃを含む３Ｄ空間内のｘ値、ｙ値、及びｚ値の範囲を識別する。

【0132】

図１８の動作１８１８に戻ると、アイテム追跡装置１０４は、第１のアイテム２０４に対応する関心領域１９０６から点群データ１９０２を抽出する。ここで、アイテム追跡装置１０４は、第１のアイテム２０４の識別した関心領域１９０６内から点群データ１９０２を識別し、抽出する。図２０の例に戻ると、アイテム追跡装置１０４は、プラットフォーム２０２上の全てのアイテム２０４の点群データ１９０２から、関心領域１９０６Ｂ内のデータポイント１９０１（つまり、点群データ１９０２Ｃ）を抽出することができる。

【0133】

図１８の動作１８２０に戻ると、アイテム追跡装置１０４は、別の３Ｄセンサ１１０を選択するかどうかを決定する。ここで、アイテム追跡装置１０４は、第１のアイテム２０４の追加の点群データ１９０２を収集するかどうかを決定する。一実施形態では、アイテム追跡装置１０４は、収集した点群データ１９０２の量に基づいて、別の３Ｄセンサ１１０を選択するかどうかを決定することができる。例えば、アイテム追跡装置１０４は、所定の数（例えば、３つ）の３Ｄセンサ１１０から点群データ１９０２を収集するように構成してもよい。この例では、アイテム追跡装置１０４は、点群データ１９０２のセットの数をどの位収集するかを追跡してもよい。収集した点群データ１９０２の各セットは、３Ｄセンサ１１０から取得した点群データ１９０２に対応する。次に、アイテム追跡装置１０４は、収集した点群データ１９０２のセットの数を、３Ｄセンサ１１０の所定の数と比較する。アイテム追跡装置１０４は、収集した点群データ１９０２のセットの数が３Ｄセンサ１１０の所定の数より少ない場合に、別の３Ｄセンサ１１０を選択すると決定する。

【0134】

別の例として、アイテム追跡装置１０４は、第１のアイテム２０４について収集したデータポイント１９０１の数に基づいて、追加の点群データ１９０２を収集するために別の３Ｄセンサ１１０を選択するかどうかを決定することができる。この例では、アイテム追跡装置１０４は、第１のアイテム２０４の全ての抽出した点群データ１９０２から取得したデータポイント１９０１の数を決定することができる。アイテム追跡装置１０４は、取得したデータポイント１９０１の数を所定のデータポイント閾値と比較する。データ閾値は、第１のアイテム２０４に対して収集する必要があるデータポイント１９０１の最小数を特定する。アイテム追跡装置１０４は、収集したデータポイント１９０１の数が所定のデータポイント閾値よりも少ない場合に、別の３Ｄセンサ１１０を選択すると決定する。他の例では、アイテム追跡装置１０４は、他の適切なタイプの基準に基づいて、追加の点群データ１９０２を収集するために別の３Ｄセンサ１１０を選択するかどうかを決定することができる。

【0135】

アイテム追跡装置１０４は、別の３Ｄセンサを選択すると決定したことに応じて、動作１８１２に戻る。この場合に、アイテム追跡装置１０４は、動作１８１２に戻り、別の３Ｄセンサ１１０を選択し、第１のアイテム２０４の追加の点群データ１９０２を取得する。図２１を例として参照すると、アイテム追跡装置１０４は、プラットフォーム２０２上のアイテム２０４の側面斜視図を有する別の３Ｄセンサ１１０を選択すると決定することができる。この例では、３Ｄセンサ１１０は、第１のアイテム２０４に対応する点群データ１９０２Ｅと、第２のアイテム２０４に対応する点群データ１９０２Ｆとを取り込む。次に、アイテム追跡装置１０４は、第１のアイテム２０４の点群データ１９０２Ｅを含む関心領域１９０６Ｃを識別する。この例では、アイテム追跡装置１０４は、点群データ１９０２Ｅを含む３Ｄ空間内のｘ値、ｙ値、及びｚ値の範囲を識別する。関心領域１９０６Ｃを識別した後に、アイテム追跡装置１０４は、プラットフォーム２０２上の全てのアイテム２０４の点群データ１９０２から、関心領域１９０６Ｃ内のデータポイント１９０１（つまり、点群データ１９０２Ｅ）を抽出する。アイテム追跡装置１０４は、選択した他の３Ｄセンサ１１０に対してこのプロセスを繰り返すことができる。

【0136】

図１８の動作１８２０に戻ると、アイテム追跡装置１０４は、別の３Ｄセンサ１１０を選択しないと決定したことに応じて、動作１８２２に進む。動作１８２２において、アイテム追跡装置１０４は、第１のアイテム２０４について抽出した点群データ１９０２を結合する。ここで、アイテム追跡装置１０４は、収集した点群データ１９０２の全てを、単一の点群データ１９０２セットにマージする。複数の３Ｄセンサ１１０からの点群データ１９０２を結合することにより、アイテム追跡装置１０４は、第１のアイテム２０４の寸法１６１４を決定するために使用できる、第１のアイテム２０４のより完全な点群データ表現を生成することができる。図２２を一例として参照すると、アイテム追跡装置１０４は、点群データ１９０２Ａ、１９０２Ｃ、及び１９０２Ｅを単一つの点群データ１９０２Ｇセットに結合することができる。結合した点群データ１９０２Ｇには、点群データ１９０２Ａ、１９０２Ｃ、及び１９０２Ｅからの全てのデータポイント１９０１が含まれる。

【0137】

図１８の動作１８２４に戻ると、アイテム追跡装置１０４は、結合した点群データ１９０２に基づいて、第１のアイテム２０４の寸法１６１４を決定する。一実施形態では、アイテム追跡装置１０４は、結合した点群データ１９０２の縁にあるデータポイント１９０１同士の間の距離を決定することによって、アイテム２０４の寸法１６１４を決定することができる。例えば、アイテム追跡装置１０４は、結合した点群データ１９０２の両端にある一対のデータポイント１９０１を識別し、次に、一対のデータポイント１９０１同士の間の距離（例えば、ユークリッド距離）を計算する。この例では、データポイント１９０１同士の間の距離は、第１のアイテム２０４の長さ２２０２、幅２２０４、又は高さ２２０６に対応する。他の例では、アイテム追跡装置１０４は、他の適切な技術を使用して第１のアイテム２０４の寸法１６１４を決定することができる。図２２の例に戻ると、アイテム追跡装置１０４は、結合した点群データ１９０２Ｇに基づいて、第１のアイテム２０４の長さ２２０２、幅２２０４、及び高さ２２０６を決定することができる。

【0138】

図１８の動作１８２６に戻ると、アイテム追跡装置１０４は、別のアイテム２０４の寸法１６１４を決定するかどうかを決定する。一実施形態では、アイテム追跡装置１０４は、プラットフォーム２０２上にある全てのアイテム２０４の寸法１６１４を決定するように構成することができる。この場合に、アイテム追跡装置１０４は、プラットフォーム２０２上にある全てのアイテム２０４の寸法１６１４を決定したかどうかを判定することができる。アイテム追跡装置１０４は、アイテム２０４の寸法１６１４が未だ不明で、未だ決定していない場合に、別のアイテム２０４の寸法１６１４を決定する。他の例では、アイテム追跡装置１０４は、他の適切な基準に基づいて、別のアイテム２０４の寸法１６１４を決定するかどうかを判定することができる。

【0139】

アイテム追跡装置１０４は、別のアイテム２０４の寸法１６１４を見出すと決定したことに応じて、動作１８０６に戻る。この場合に、アイテム追跡装置１０４は、異なるアイテム２０４の点群データ１９０２を収集するために動作１８０６に戻る。次に、アイテム追跡装置１０４は、複数の３Ｄセンサ１１０から点群データ１９０２を集約し、点群データ１９０２を結合し、結合した点群データ１９０２に基づいてアイテム２０４の寸法１６１４を決定するという同じプロセスを繰り返すことができる。

【0140】

別のアイテム２０４の寸法１６１４を決定しないと判定したことに応じて、アイテム追跡装置１０４は、第１のアイテム２０４の寸法１６１４を記憶することができる。例えば、アイテム追跡装置１０４は、第１のアイテム２０４のアイテム識別子１６０４を取得し、次に、エンコード化ベクトル・ライブラリ１２８にエントリ１６０２を生成することができ、エントリ１６０２は、決定した長さ２２０２、幅２２０４、及び高さ２２０６を特徴記述子１６０８として第１のアイテム２０４に関連付ける。いくつかの実施形態では、アイテム追跡装置１０４は、エントリ１６０２を生成するときに、第１のアイテム２０４の長さ２２０２、幅２２０４、及び高さ２２０６を昇順で記憶することができる。

【0141】

他の実施形態では、アイテム追跡装置１０４は、第１のアイテム２０４の決定した長さ２２０２、幅２２０４、及び高さ２２０６を、アイテム識別等の他のプロセスのための特徴記述子１６０８として出力又は記憶することができる。例えば、アイテム追跡装置１０４は、図２３で説明するプロセス２３００と同様のプロセスを使用して、特徴記述子１６０８を使用して第１のアイテム２０４を識別するのに役立ち得る。

【0142】

エンコード化ベクトルを使用したアイテム追跡プロセス
図２３は、アイテム追跡システム１００のエンコード化ベクトル１６０６を使用するアイテム追跡プロセス２３００の一実施形態のフローチャートである。アイテム追跡システム１００は、プロセス２３００を使用して、イメージング装置１０２のプラットフォーム２０２上に置かれたアイテム２０４を識別し、アイテム２０４を特定のユーザに割り当てることができる。例として、アイテム追跡システム１００は、店舗内でプロセス２３００を使用して、ユーザの購入用のデジタルカートにアイテム２０４を追加することができる。別の例として、アイテム追跡システム１００は、倉庫又は備品室内でプロセス２３００を使用して、ユーザにアイテムをチェックアウトすることができる。他の例では、アイテム追跡システム１００は、アイテム２０４が特定のユーザに割り当てられるか、又は特定のユーザに関連付けられる、他の適切なタイプのアプリケーションでプロセス２３００を使用することができる。このプロセスにより、ユーザは、取得したいアイテム２０４をスキャンしたり、他の方法で識別したりすることなく、空間からアイテム２０４を取得することができる。

【0143】

動作２３０２では、アイテム追跡装置１０４は、イメージング装置１０２の自動除外を実行する。アイテム追跡装置１０４は、図３の動作３０２で説明したプロセスと同様のプロセスを使用して自動除外を実行できる。例えば、初期キャリブレーション期間中に、プラットフォーム２０２にはアイテム２０４が置かれていない場合がある。この期間中に、アイテム追跡装置１０４は、１つ又は複数のカメラ１０８及び／又は３Ｄセンサ１１０を使用して、プラットフォーム２０２にアイテム２０４が置かれていない状態でプラットフォーム２０２の参照画像１２２及び参照深度画像１２４をそれぞれ取り込む。次に、アイテム追跡装置１０４は、取り込んだ画像１２２及び深度画像１２４を参照画像として使用して、アイテム２０４がプラットフォーム２０２に置かれたことを検出できる。その後、アイテム追跡装置１０４は、後続の深度画像１２４と参照深度画像１２４との間の深度値の差、及び／又は後続の画像１２２と参照画像１２４との間のピクセル値の差に基づいて、アイテム２０４がプラットフォーム２０２の表面２０８に置かれたことを検出できる。

【0144】

動作２３０４では、アイテム追跡装置１０４は、プラットフォーム２０２の上に手を検出したかどうかを判定する。一実施形態では、アイテム追跡装置１０４は、図７で説明したプロセス７００と同様のプロセスを使用して、プラットフォーム２０２の上で検出したユーザの手に対応するトリガーイベントを検出することができる。例えば、アイテム追跡装置１０４は、参照深度画像１２４と後続の深度画像１２４との間の差をチェックして、プラットフォーム２０２の上にオブジェクトが存在すると検出することができる。次に、アイテム追跡装置１０４は、オブジェクトが、ユーザの手に対応するか、又はプラットフォーム２０２上に置かれたアイテム２０４に対応するかをチェックする。アイテム追跡装置１０４は、オブジェクトの第１の部分（例えば、ユーザの手首又は腕）がプラットフォーム２０２の関心領域８０２の外側にあり、オブジェクトの第２の部分（例えば、ユーザの手）がプラットフォーム２０２の関心領域８０２の内側にある場合に、オブジェクトがユーザの手であると判定する。この条件が満たされると、アイテム追跡装置１０４は、ユーザの手をプラットフォーム２０２の上で検出したと判定する。他の例では、アイテム追跡装置１０４は、近接センサ、モーションセンサ、又は他の適切な技術を使用して、プラットフォーム２０２の上でユーザの手を検出したかどうかを検出できる。

【0145】

アイテム追跡装置１０４は、プラットフォーム２０２の上でユーザの手を検出しなかったと判定することに応じて、動作２３０４のままになる。この場合に、アイテム追跡装置１０４は、トリガーイベントとしてユーザの手の存在をチェックし続けるために動作２３０４のままになる。アイテム追跡装置１０４は、ユーザの手を検出したと判定することに応じて、動作２３０６に進む。この場合に、アイテム追跡装置１０４は、ユーザの手の存在をトリガーイベントとして使用し、動作２３０６に進み、ユーザがプラットフォーム２０２上に置いたアイテム２０４の識別を開始する。

【0146】

動作２３０６では、アイテム追跡装置１０４は、プラットフォーム２０２の俯瞰図を使用してセグメント化を実行する。一実施形態では、アイテム追跡装置１０４は、プラットフォーム２０２上のアイテム２０４の俯瞰図又は斜視図で構成された３Ｄセンサ１１０からの深度画像１２４を使用してセグメント化を実行できる。この例では、アイテム追跡装置１０４は、プラットフォーム２０２上に置かれたアイテム２０４の俯瞰深度画像１２４を取り込む。次に、アイテム追跡装置１０４は、取り込んだ深度画像１２４内でプラットフォーム２０２とプラットフォーム２０２上に置かれたアイテム２０４とを区別するために深度閾値を使用することができる。例えば、アイテム追跡装置１０４は、プラットフォーム２０２の表面の直ぐ上にある深度閾値を設定してもよい。この深度閾値は、動作２３０２の自動除外プロセス中に取り込んだ参照深度画像１２４内のプラットフォーム２０２の表面に対応するピクセル値に基づいて決定してもよい。深度閾値を設定した後に、アイテム追跡装置１０４は、深度閾値を取り込んだ深度画像１２４に適用して、深度画像１２４からプラットフォーム２０２をフィルタ除去又は削除してもよい。深度画像１２４をフィルタリングした後に、ピクセルの残りのクラスタは、プラットフォーム２０２上に置かれたアイテム２０４に対応する。ピクセルの各クラスタは、異なるアイテム２０４に対応する。各アイテム２０４のピクセルのクラスタを識別した後に、アイテム追跡装置１０４は、次に、深度画像１２４に存在するピクセルのクラスタの数に基づいて、プラットフォーム２０２上に置かれたアイテム２０４の数をカウントする。アイテム２０４のこの数は、後で、プラットフォーム２０２上の全てのアイテム２０４を識別したかどうかを判定するために使用される。

【0147】

動作２３０８では、アイテム追跡装置１０４は、プラットフォーム２０２上のアイテム２０４の画像１２２を取り込む。ここで、アイテム追跡装置１０４は、複数のカメラ１０８を使用して、プラットフォーム２０２上のアイテム２０４の複数の画像１２２を取り込む。例えば、アイテム追跡装置１０４は、プラットフォーム２０２上のアイテム２０４の俯瞰図、斜視図、及び／又は側面図の画像１２２を取り込むことができる。アイテム追跡装置１０４は、１つ又は複数の３Ｄセンサ１１０を使用して、プラットフォーム２０２上のアイテム２０４の複数の深度画像１２４を取り込むこともできる。

【0148】

動作２３１０では、アイテム追跡装置１０４は、各画像１２２内のアイテム２０４の切り抜き画像１２２を生成する。一実施形態では、アイテム追跡装置１０４は、画像１２２内に存在するアイテム２０４の特徴に基づいて、アイテム２０４の切り抜き画像１２２を生成する。アイテム追跡装置１０４は、まず、画像１２２内に存在するアイテム２０４の検出した特徴に基づいて、アイテム２０４の関心領域（例えば、境界ボックス）を識別し、次に、識別した関心領域に基づいて画像１２２を切り抜くことができる。関心領域は、プラットフォーム２０２上のアイテム２０４の取り込んだ画像１２２又は深度画像１２４内のアイテム２０４に対応する複数のピクセルで構成される。アイテム追跡装置１０４は、１つ又は複数の画像処理技術を使用して、アイテム２０４の特徴及び物理的属性に基づいて、画像１２２内のアイテム２０４の関心領域を識別することができる。例えば、アイテム追跡装置１０４は、オブジェクト検出及び／又はＯＣＲを使用して、アイテム２０４を識別するために使用できるアイテム２０４のテキスト、ロゴ、ブランド、色、バーコード、又は他の特徴を識別することができる。この場合に、アイテム追跡装置１０４は、画像１２２内のピクセルを処理して、アイテム２０４のテキスト、色、バーコード、パターン、又は他の特性を識別することができる。次に、アイテム追跡装置１０４は、アイテム２０４の識別した特徴を、異なるアイテム２０４に対応する特徴のセットと比較することができる。例えば、アイテム追跡装置１０４は、画像１２２からテキスト（例えば、製品名）を抽出し、そのテキストを異なるアイテム２０４に関連付けられたテキストのセットと比較することができる。別の例として、アイテム追跡装置１０４は、画像１２２内の支配的な色を決定し、その支配的な色を異なるアイテム２０４に関連付けられた色のセットと比較することができる。別の例として、アイテム追跡装置１０４は、画像１２２内のバーコードを識別し、そのバーコードを異なるアイテム２０４に関連付けられたバーコードのセットと比較することができる。別の例として、アイテム追跡装置１０４は、画像１２２内のロゴ又はパターンを識別し、識別したロゴ又はパターンを異なるアイテム２０４に関連付けられたロゴ又はパターンのセットと比較することができる。他の例では、アイテム追跡装置１０４は、他の適切なタイプ又は組合せの特徴を識別し、識別した特徴を異なるアイテム２０４に関連付けられた特徴と比較することができる。

【0149】

アイテム２０４の識別した特徴を、異なるアイテム２０４に関連付けられた特徴のセットと比較した後に、アイテム追跡装置１０４は、次に、一致が見つかったかどうかを判定する。アイテム追跡装置１０４は、識別した特徴の少なくとも意味のある部分がアイテム２０４に対応する特徴と一致する場合に、一致が見つかったと判定することができる。画像１２２内の意味のある部分の特徴がアイテム２０４の特徴と一致すると判定されたことに応じて、アイテム追跡装置１０４は、一致するアイテム２０４に対応する関心領域を識別することができる。

【0150】

アイテム２０４の関心領域を識別した後に、アイテム追跡装置１０４は、アイテム２０４の関心領域内のピクセルを画像１２２から抽出することによって画像１２２を切り取る。画像１２２を切り取ることによって、アイテム追跡装置１０４は、元の画像１２２からアイテム２０４の関心領域内の抽出したピクセルを含む第２の画像１２２を生成する。このプロセスにより、アイテム追跡装置１０４は、プラットフォーム２０２上にあるアイテム２０４を含む新しい画像１２２を生成することができる。アイテム追跡装置１０４は、取り込んだ画像１２２内の全てのアイテム２０４と、プラットフォーム２０２上にあるアイテム２０４の取り込んだ全ての画像１２２とに対してこのプロセスを繰り返す。このプロセスの結果は、切り抜き画像１２２のセットであり、各切り抜き画像がプラットフォーム２０２上に置かれたアイテム２０４に対応する。

【0151】

いくつかの実施形態では、アイテム追跡装置１０４は、図９のプロセス９００と同様のプロセスを使用して、アイテム２０４の切り抜き画像１２２を生成することができる。いくつかの実施形態では、動作２３１０はオプションであり、省略してもよい。例えば、アイテム追跡装置１０４が、１つのアイテム２０４のみがプラットフォーム２０２上に置かれていることを検出すると、動作２３１０は省略してもよい。

【0152】

動作２３１２では、アイテム追跡装置１０４は、各アイテム２０４のエンコード化ベクトル１６０６を取得する。エンコード化ベクトル１６０６は、数値の配列を含む。エンコード化ベクトル１６０６内の各数値は、アイテム２０４の属性（例えば、アイテムタイプ、サイズ、形状、色等）に対応し、その属性を記述する。エンコード化ベクトル１６０６は、任意の適切な長さであってもよい。アイテム追跡装置１０４は、動作２３１０からの画像１２２（例えば、切り抜き画像１２２）のそれぞれを機械学習モデル１２６に入力することにより、各アイテム２０４のエンコード化ベクトル１６０６を取得する。機械学習モデル１２６は、アイテム２０４の画像１２２に存在するアイテム２０４の特徴又は物理的属性に基づいて、アイテム２０４のエンコード化ベクトル１６０６を出力するように構成される。物理的属性の例には、アイテム２０４のアイテムタイプ、サイズ、形状、色、又は他の適切なタイプの属性が挙げられるが、これらに限定されない。アイテム２０４の画像１２２を機械学習モデル１２６に入力した後に、アイテム追跡装置１０４は、アイテム２０４のエンコード化ベクトル１６０６を受け取る。アイテム追跡装置１０４は、このプロセスを繰り返して、プラットフォーム２０２上の各アイテム２０４のエンコード化ベクトル１６０６を取得する。

【0153】

動作２３１４では、アイテム追跡装置１０４は、対応するエンコード化ベクトル１６０６に基づいて、エンコード化ベクトル・ライブラリ１２８内の各アイテム２０４を識別する。ここで、アイテム追跡装置１０４は、各アイテム２０４のエンコード化ベクトル１６０６を使用して、エンコード化ベクトル・ライブラリ１２８内の最もよく一致するエンコード化ベクトル１６０６を識別する。いくつかの実施形態では、アイテム追跡装置１０４は、アイテム２０４を識別しようとする前に、まずエンコード化ベクトル・ライブラリ１２８内の検索空間を縮小してもよい。この場合に、アイテム追跡装置１０４は、図１１の動作１１０４で説明したプロセスと同様のプロセスを使用して、アイテム２０４の特徴記述子１６０８を取得又は識別してもよい。特徴記述子１６０８のそれぞれは、アイテム２０４の物理的特性を記述する。特徴記述子１６０８の例には、アイテムタイプ１６１０、支配的な色１６１２、寸法１６１４、重量１６１６、又はアイテム２０４を記述する他の適切なタイプの記述子が挙げられるが、これらに限定されない。アイテム追跡装置１０４は、オブジェクト検出及び／又はＯＣＲを使用して、アイテム２０４を識別するために使用できるテキスト、ロゴ、ブランド、色、バーコード、又はアイテム２０４の他の特徴を識別することができる。アイテム追跡装置１０４は、図１８で説明するプロセス１８００と同様のプロセスを使用して、アイテム２０４の寸法を決定することができる。アイテム追跡装置１０４は、重量センサ１１２を使用してアイテム２０４の重量を決定することができる。他の実施形態では、アイテム追跡装置１０４は、アイテム２０４の特徴記述子１６０８を決定するために他の適切なプロセスを使用することができる。アイテム２０４の特徴記述子１６０８を取得した後に、アイテム追跡装置１０４は、図１５のプロセス１５００と同様のプロセスを使用して、エンコード化ベクトル・ライブラリ１２８における検討からエントリ１６０２をフィルタリング又は除外できる。エンコード化ベクトル・ライブラリ１２８内のエントリ１６０２をフィルタリングした後に、アイテム追跡装置１０４は、エンコード化ベクトル・ライブラリ１２８内で、認識していないアイテム２０４のエンコード化ベクトル１６０６に最もよく一致するエンコード化ベクトル１６０６を識別することができる。このプロセスにより、エンコード化ベクトル・ライブラリ１２８内で対応するエントリ１６０２を検索するのに必要な時間が短縮されるとともに、エンコード化ベクトル・ライブラリ１２８内のエントリ１６０２の識別結果の精度が向上する。

【0154】

一実施形態では、アイテム追跡装置１０４は、認識していないアイテム２０４のエンコード化ベクトル１６０６とエンコード化ベクトル・ライブラリ１２８内の残りのエンコード化ベクトル１６０６との間の類似ベクトル１７０４を生成することにより、エンコード化ベクトル・ライブラリ１２８内で最もよく一致するエンコード化ベクトル１６０６を識別する。類似ベクトル１７０４は数値１７１０の配列であり、各数値１７１０は、アイテム２０４のエンコード化ベクトル１６０６の値が、エンコード化ベクトル・ライブラリ１２８のエンコード化ベクトル１６０６の値とどの程度類似しているかを示す。一実施形態では、アイテム追跡装置１０４は、図１７で説明したプロセスと同様のプロセスを使用して類似ベクトル１７０４を生成できる。この例では、アイテム追跡装置１０４は、アイテム２０４のエンコード化ベクトル１６０６と、エンコード化ベクトル・ライブラリ１２８内のエンコード化ベクトル１６０６との間の行列乗算を使用する。類似ベクトル１７０４内の各数値１７１０は、エンコード化ベクトル・ライブラリ１２８内のエントリ１６０２に対応する。例えば、類似ベクトル１７０４内の第１の数値１７１０は、エンコード化ベクトル１７０２内の値がエンコード化ベクトル・ライブラリ１２８の第１のエントリ１６０２のエンコード化ベクトル１６０６内の値とどの程度類似しているかを示し、類似ベクトル１７０４内の第２の数値１７１０は、エンコード化ベクトル１７０２内の値がエンコード化ベクトル・ライブラリ１２８の第２のエントリ１６０２のエンコード化ベクトル１６０６内の値とどの程度類似しているかを示し、以下同様である。

【0155】

類似ベクトル１７０４を生成した後に、アイテム追跡装置１０４は、エンコード化ベクトル・ライブラリ１２８内のどのエントリ１６０２がアイテム２０４のエンコード化ベクトル１６０６に最もよく一致するかを特定することができる。一実施形態では、類似ベクトル１７０４内の最も高い数値１７１０に関連付けられたエントリ１６０２が、アイテム２０４のエンコード化ベクトル１６０６に最もよく一致するエントリ１６０２に対応する。エンコード化ベクトル・ライブラリ１２８から、アイテム２０４のエンコード化ベクトル１６０６に最もよく一致するエントリ１６０２を特定した後に、アイテム追跡装置１０４は、次に、エンコード化ベクトル・ライブラリ１２８から、特定したエントリ１６０２に関連付けられたアイテム識別子１６０４を特定することができる。このプロセスを通じて、アイテム追跡装置１０４は、そのエンコード化ベクトル１６０６に基づいて、エンコード化ベクトル・ライブラリ１２８のどのアイテム２０４がアイテム２０４と一致するかを特定することができる。次に、アイテム追跡装置１０４は、識別したアイテム２０４の識別したアイテム識別子１６０４を出力する。例えば、アイテム追跡装置１０４は、グラフィカルユーザインターフェイス上の識別したアイテム２０４のリストにアイテム識別子１６０４を追加することによって、識別したアイテム２０４の識別したアイテム識別子１６０４を出力できる。アイテム追跡装置１０４は、動作２３１２で取得した全てのエンコード化ベクトル１６０６に対してこのプロセスを繰り返す。

【0156】

動作２３１６では、アイテム追跡装置１０４は、全てのアイテム２０４を識別したかどうかを判定する。ここで、アイテム追跡装置１０４は、識別したアイテム２０４の数が、動作２３０６においてプラットフォーム２０２上で検出したアイテム２０４の数と一致するかどうかを判定する。アイテム追跡装置１０４は、識別したアイテム２０４の数がプラットフォーム２０２上で検出したアイテム２０４の数と一致する場合に、全てのアイテム２０４を識別したと判定する。それ以外の場合に、アイテム追跡装置１０４は、識別したアイテム２０４の数がプラットフォーム２０２上で検出したアイテム２０４の数と一致しない場合に、１つ又は複数のアイテム２０４を識別していないと判定する。

【0157】

アイテム追跡装置１０４は、１つ又は複数のアイテム２０４を識別していないと判定したことに応じて、動作２３１８に進む。この場合に、アイテム追跡装置１０４は、動作２３１８に進み、識別していない１つ又は複数のアイテム２０４を識別するようにユーザに求める。動作２３１８では、アイテム追跡装置１０４は、プラットフォーム２０２上の１つ又は複数のアイテム２０４を識別するようユーザに要求するプロンプトを出力する。一実施形態では、アイテム追跡装置１０４は、類似のアイテム２０４のセットの中からアイテム２０４を識別するようユーザに要求してもよい。図２４を例として参照すると、アイテム追跡装置１０４は、検出したアイテム２０４（表示要素２４０２として示される）と識別しなかったアイテム２０４とを表示する画面２４００を出力する。この例では、画面２４００には、アイテム２０４を識別しなかった場合に、他の類似のアイテム２０４に関する推奨事項（表示要素２４０４として示される）が表示される。一実施形態では、アイテムの推奨は、類似ベクトル１７０４を使用して識別した他のアイテム２０４に対応している場合がある。例えば、アイテムの推奨は、類似ベクトル１７０４で２番目と３番目に高い値に関連付けられたアイテム２０４を含み得る。ユーザには、識別しなかったアイテム２０４を選択するためのユーザ入力を提供できる。

【0158】

いくつかの実施形態では、アイテム追跡装置１０４は、識別しなかったアイテム２０４をスキャンするようにユーザに促してもよい。例えば、アイテム追跡装置１０４は、バーコードスキャナを使用してアイテム２０４のバーコードをスキャンするようにユーザに指示してもよい。この場合に、アイテム追跡装置１０４は、グラフィカルユーザインターフェイスを使用して、プラットフォーム２０２で検出したアイテム２０４と、ユーザが手動でスキャンしたアイテム２０４との組合せを表示してもよい。図２５を例として参照すると、アイテム追跡装置１０４は、プラットフォーム２０２で検出したアイテム２０４（表示要素２５０２として示される）と、ユーザが手動でスキャンしたアイテム２０４（表示要素２５０４として示される）とを表示する画面２５００を出力してもよい。

【0159】

図２３の動作２３１６に戻ると、アイテム追跡装置１０４は、全てのアイテム２０４を識別したと判定したことに応じて、動作２３２０に進む。動作２３２０では、アイテム追跡装置１０４は、ユーザのために検出すべき追加のアイテム２０４があるかどうかを判定する。いくつかの実施形態では、ユーザには、追加のアイテム２０４をプラットフォーム２０２に追加したいことを示すユーザ入力を提供できる。他の実施形態では、アイテム追跡装置１０４は、ユーザがプラットフォーム２０２からアイテム２０４を取り外したり追加したりする手の存在を使用して、ユーザのために検出すべき追加のアイテム２０４があるかどうかを判定することができる。アイテム追跡装置１０４は、検出すべき追加のアイテム２０４があると判定したことに応じて、動作２３０４に戻る。この場合に、アイテム追跡装置１０４は、動作２３０４に戻り、ユーザがプラットフォーム２０２上に置いた追加のアイテム２０４の検出を開始する。アイテム追跡装置１０４は、ユーザに対して検出する追加のアイテム２０４がないと判定することに応じて、動作２３２２に進む。この場合に、アイテム追跡装置１０４は、検出したアイテム２０４をユーザに関連付けるために動作２３２２に進む。

【0160】

アイテム２０４をユーザに関連付ける前に、アイテム追跡装置１０４は、ユーザが、グラフィカルユーザインターフェイス上でアイテム２０４を選択することにより、識別したアイテム２０４のリストから１つ又は複数のアイテム２０４を削除できるようにする。図２６を例として参照すると、アイテム追跡装置１０４は、識別したアイテム２０４のリストから削除するアイテム２０４を識別するユーザ入力を受け取り、ユーザがアイテム２０４を削除しようとすることを確認する画面２６００を出力できる。この機能により、ユーザは、購入したい検出したアイテム２０４のリストを編集して確定することができる。

【0161】

図２３の動作２３２２に戻ると、アイテム追跡装置１０４は、アイテム２０４をユーザに関連付ける。一実施形態では、アイテム追跡装置１０４は、アイテム２０４をプラットフォーム２０２に置いたユーザを識別することができる。例えば、ユーザは、イメージング装置１０２にあるスキャナ又はカードリーダを使用して、自分自身を識別することができる。スキャナの例には、ＱＲコードスキャナ、バーコードスキャナ、ＮＦＣスキャナ、又は、個人を一意に識別する情報が埋め込まれた電子コードを受信できる他の適切なタイプのスキャナが挙げられるが、これらに限定されない。他の例では、ユーザは、イメージング装置１０２にあるグラフィカルユーザインターフェイス上にユーザ情報を提供することによって、自分自身を識別することができる。ユーザ情報の例には、名前、電話番号、電子メールアドレス、識別番号、従業員番号、英数字コード、又はユーザに関連付けられる他の適切な種類の情報が挙げられるが、これらに限定されない。

【0162】

アイテム追跡装置１０４は、ユーザが提供した情報を使用して、ユーザに関連付けられるアカウントを識別し、識別したアイテム２０４をユーザのアカウントに追加する。例えば、アイテム追跡装置１０４は、ユーザが提供した情報を使用して、ユーザに関連付けられるユーザアカウント情報１２０内のアカウントを識別することができる。例として、アイテム追跡装置１０４は、ユーザに関連付けられるデジタルカートを識別することができる。この例では、デジタルカートには、ユーザが購入するためにプラットフォーム２０２に置いたアイテム２０４に関する情報が含まれる。アイテム追跡装置１０４は、識別したアイテム２０４のアイテム識別子１６０４をデジタルカートに追加することにより、アイテム２０４をユーザのデジタルカートに追加することができる。アイテム追跡装置１０４は、アイテム２０４に関連する他の情報をデジタルカートに追加することもできる。例えば、アイテム追跡装置１０４は、アイテム識別子１６０４を使用して、記憶したアイテム情報１１８から識別したアイテム２０４の価格情報を検索できる。次に、アイテム追跡装置１０４は、識別したアイテム２０４のそれぞれに対応する価格情報をユーザのデジタルカートに追加することができる。

【0163】

アイテム追跡装置１０４がアイテム２０４をユーザのデジタルカートに追加した後に、アイテム追跡装置１０４はアイテム２０４のトランザクションをトリガー又は開始できる。一実施形態では、アイテム追跡装置１０４は、以前に記憶した情報（例えば、支払いカード情報）を使用して、アイテム２０４のトランザクションを完了できる。この場合に、ユーザは、空間を離れるときに、デジタルカート内のアイテム２０４の料金を自動的に請求され得る。他の実施形態では、アイテム追跡装置１０４は、イメージング装置１０２にあるスキャナ又はカードリーダを使用してユーザから情報を収集し、アイテム２０４のトランザクションを完了できる。このプロセスにより、ユーザが取得したいアイテム２０４をスキャンしたり、特定したりすることなく、アイテム２０４をユーザのアカウント（例えば、デジタルカート）に自動的に追加することができる。アイテム２０４をユーザのアカウントに追加した後に、アイテム追跡装置１０４は、ユーザのアカウントに追加したアイテム２０４に関する情報を含む通知又は概要をユーザに出力できる。例えば、アイテム追跡装置１０４は、イメージング装置１０２にあるグラフィカルユーザインターフェイスに概要を出力できる。別の例として、アイテム追跡装置１０４は、ユーザに関連付けられた電子メールアドレス又はユーザ装置に概要を送信することによって概要を出力できる。

【0164】

他のアイテムとの関連性に基づくアイテムの識別
場合によっては、アイテム追跡装置１０４がプラットフォーム２０２上に置かれたアイテム２０４を識別できないことがある。そのような場合に、以下でさらに説明するように、アイテム追跡装置１０４は、未識別アイテム２０４と、以前に同じトランザクションの一部として識別したプラットフォーム２０２上の別のアイテム２０４との間の予め規定した関連付け２８０２（図２８に示される）に基づいて、未識別アイテム２０４を識別することができる。例えば、図２７に示されるように、トランザクションには、第１のアイテム２０４Ａ（例えば、１リットルのソーダボトル）をプラットフォーム２０２上に置くことが含まれ得る。アイテム追跡装置１０４は、第１のアイテム２０４Ａを１リットルのソーダボトルとして正しく識別し、エンコード化ベクトル・ライブラリ１２８からの対応するアイテム識別子１６０４ａ（図２８ではＩ２として示される）を割り当てることができる。アイテム追跡装置１０４は、図２３を参照して説明したプロセス２３００と同様のプロセスを使用して、第１のアイテム２０４Ａを識別することができる。例えば、図２９を参照して説明するように、第１のアイテム２０４Ａを識別することは、第１のアイテム２０４Ａの切り抜き画像２７０２を生成することを含み、第１のアイテム２０４Ａは、第１のアイテム２０４Ａの切り抜き画像２７０２に基づいて識別される。第１のアイテム２０４Ａが識別されると、第２のアイテム２０４Ｂ（例えば、小さな袋に入ったチップス）が、同じトランザクションの一部として、プラットフォーム２０２上にその後配置される場合がある。一実施形態では、第１のアイテム２０４Ａの配置は、トランザクションの第１のインタラクションと呼ばれ、第２のアイテム２０４Ｂの配置は、同じトランザクションの第２のインタラクションと呼ばれ得る。いくつかの実施形態では、アイテム追跡装置１０４は、例えば、図２３を参照して上で説明したプロセス２３００と同様のプロセスに基づいて、第２のアイテム２０４Ｂを識別できない場合がある。このような場合に、図２９を参照して以下でさらに説明するように、アイテム追跡装置１０４は、未識別の第２のアイテム２０４Ｂと、以前に識別した第１のアイテム２０４Ａとの間の予め規定した関連付け２８０２に基づいて、第２のアイテム２０４Ｂを識別してもよい。図２９を参照して説明したように、第２のアイテム２０４Ｂを識別することは、第２のアイテム２０４Ｂの切り抜き画像２７０４を生成することを含み、第２のアイテム２０４Ｂは、第２のアイテム２０４Ｂの切り抜き画像２７０４に基づいて識別される。

【0165】

この文脈において、図２８を参照すると、アイテム追跡装置１０４は、エンコード化ベクトル・ライブラリ１２８にリストされるアイテム２０４のアイテム識別子１６０４同士の間の関連付け２８０２を（例えば、メモリ１１６に）記憶する。２つのアイテム識別子１６０４の間の関連付け２８０２は、アイテム識別子１６０４に関連付けられたアイテム２０４同士の間の任意の論理的な関連付けに対応し得る。例えば、アイテム追跡システム１００が、複数のアイテム２０４が購入可能な店舗に導入され使用される場合に、店舗は、２つ以上のアイテム２０４が単一のトランザクションで一緒に購入されたときに、特定のプロモーションを提供することができる。プロモーションの一例としては、１リットルのソーダボトルを購入すると、小さな袋に入ったチップスが無料で付いてくるというものが挙げられ得る。別のプロモーションの例としては、特定のブランド及び／又はフレーバーの１６オンスのソーダボトルを１回の取引で２本購入すると、価格が割引になったり、「１本買うと１本無料」になったりするというものが挙げられ得る。このような場合に、２つ以上のアイテム２０４を含む特定のプロモーションは、アイテム２０４のそれぞれのアイテム識別子１６０４（例えば、エンコード化ベクトル・ライブラリ１２８に記憶される）同士の間の関連付け２８０２として記憶され得る。２つのアイテム識別子１６０４の間の関連付け２８０２には、同じアイテム２０４に関連付けられた同じアイテム識別子１６０４の２つのインスタンスの間の関連付けが含まれる場合があることに留意されたい。例えば、プロモーションの例に同じアイテム２０４が２つ以上含まれている場合に（例えば、同じアイテム２０４を２つ購入すると割引価格になる）、このプロモーションは、同じアイテム２０４に関連付けられた同じアイテム識別子１６０４の２つ以上のインスタンスの間の関連付け２８０２としてメモリに記憶される。

【0166】

図２８に示されるように、関連付け２８０２は、エンコード化ベクトル・ライブラリ１２８の一部として（例えば、メモリ１１６に）記憶される。図に示されるように、エントリ１６０２のそれぞれは、関連付け２８０２に関連付けられる。エントリ１６０２ａは関連付け－１（Ａ１として示される）に関連付けられ、エントリ１６０２ｂ及び１６０２ｃは関連付け－２（Ａ２として示される）に関連付けられ、エントリ１６０２ｄは関連付け－３（Ａ３として示される）に関連付けられる。一例では、関連付け－１は、エントリ１６０２ａに記憶される同じアイテム識別子１６０４（Ｉ１として示される）を有する２つ以上の同じアイテム２０４に関連付けられたプロモーションを示す場合がある。例えば、関連付け－１は、同じブランドの１６オンスの水ボトル２本を同じトランザクションの一部として一緒に購入した場合に割引価格になるプロモーションを示す場合がある。この例では、１６オンスの水ボトルは、エントリ１６０２ａのアイテム識別子１６０４（Ｉ１）に関連付けられる。同様に、関連付け－３は、エントリ１６０２ｄに記憶される同じアイテム識別子１６０４（Ｉ４として示される）を有する２つ以上の同じアイテム２０４に関連付けられるプロモーションを示す場合がある。例えば、関連付け－３は、同じブランド及び／又はフレーバーの１６オンスのソーダボトル２本が同じトランザクションの一部として一緒に購入された場合に割引価格を含むプロモーションを示す場合がある。この例では、１６オンスのソーダボトルは、エントリ１６０２ｄのアイテム識別子１６０４（Ｉ４）に関連付けられる。例えば、関連付け－２は、それぞれのエントリ１６０２ｂ及び１６０２ｃに記憶される２つの異なるアイテム識別子１６０４ａ（Ｉ２）及び１６０４ｂ（Ｉ３）を有する２つの異なるアイテム２０４に関連付けられるプロモーションを示す場合がある。例えば、関連付け－２は、１リットルのソーダボトルを購入するとチップス１袋が無料で付いてくるプロモーションを示す場合がある。この例では、１リットルのソーダボトルはエントリ１６０２ｂからの第１のアイテム識別子１６０４ａ（Ｉ２）に関連付けられ、チップス１袋はエントリ１６０２ｃからの第２のアイテム識別子１６０４ｂ（Ｉ３）に関連付けられ得る。

【0167】

図２９は、本開示の１つ又は複数の実施形態に従って、第１のアイテム２０４Ａとの関連付け２８０２に基づいて、第２のアイテム２０４Ｂを識別するための例示的な方法２９００のフローチャートを示している。方法２９００は、図１に示されるように、アイテム追跡装置１０４によって実行できる。

【0168】

動作２９０２では、アイテム追跡装置１０４は、プラットフォーム２０２での第１のトリガーイベントを検出し、第１のトリガーイベントは、プラットフォーム２０２上の第１のアイテム２０４Ａの配置に対応する。特定の実施形態では、第１のトリガーイベントは、ユーザが第１のアイテム２０４Ａをプラットフォーム２０２に配置することに対応し得る。

【0169】

上述したように、アイテム追跡装置１０４は、図３の動作３０２で説明したプロセスと同様のプロセスを使用して、イメージング装置１０２の自動除外を実行する。例えば、初期キャリブレーション期間中に、プラットフォーム２０２にはアイテム２０４が置かれていない場合がある。この期間中に、アイテム追跡装置１０４は、１つ又は複数のカメラ１０８及び／又は３Ｄセンサ１１０を使用して、プラットフォーム２０２にアイテム２０４が置かれていない状態のプラットフォーム２０２の参照画像１２２及び参照深度画像１２４をそれぞれ取り込む。次に、アイテム追跡装置１０４は、取り込んだ画像１２２及び深度画像１２４を参照画像として使用して、アイテム２０４がプラットフォーム２０２に何時置かれたかを検出できる。その後、アイテム追跡装置１０４は、後続の深度画像１２４と参照深度画像１２４との間の深度値の差、及び／又は後続の画像１２２と参照画像１２２との間のピクセル値の差に基づいて、アイテム２０４がプラットフォーム２０２の表面２０８に置かれたことを検出できる。

【0170】

一実施形態では、第１のトリガーイベントを検出するために、アイテム追跡装置１０４は、図７で説明したプロセス７００と同様のプロセスを使用して、例えば、ユーザの手がプラットフォーム２０２の上で検出され、アイテム２０４がプラットフォーム上に置かれることに対応するイベント等のトリガーイベントを検出することができる。例えば、アイテム追跡装置１０４は、参照深度画像１２４と後続の深度画像１２４との間の差をチェックして、プラットフォーム２０２の上にあるオブジェクトの存在を検出することができる。次に、アイテム追跡装置１０４は、オブジェクトがユーザの手に対応するか、又はプラットフォーム２０２上に置かれたアイテム２０４に対応するかをチェックする。アイテム追跡装置１０４は、オブジェクトの第１の部分（例えば、ユーザの手首又は腕）がプラットフォーム２０２の関心領域８０２の外側にあり、オブジェクトの第２の部分（例えば、ユーザの手）がプラットフォーム２０２の関心領域８０２の内側にある場合に、オブジェクトがユーザの手であると判定する。この条件が満たされると、アイテム追跡装置１０４は、ユーザの手がプラットフォーム２０２の上で検出したと判定する。他の例では、アイテム追跡装置１０４は、近接センサ、モーションセンサ、又は他の適切な検出技術を使用して、ユーザの手をプラットフォーム２０２の上で検出したかどうかを検出できる。ユーザの手を検出した後に、アイテム追跡装置１０４は、プラットフォーム２０２の追加の俯瞰深度画像１２４を定期的に取り込むのを開始し、ユーザの手がプラットフォーム２０２から出たかどうかをチェックする。ユーザの手がもはやプラットフォーム２０２上になくなったと判定することに応じて、アイテム追跡装置１０４は、第１のアイテム２０４Ａがプラットフォーム２０２上にあるかどうかを判定する。第１のアイテム２０４Ａがプラットフォーム上に置かれたと判定することに応じて、アイテム追跡装置１０４は、第１のトリガーイベントが発生したと判定し、ユーザがプラットフォーム２０２上に置いた第１のアイテム２０４Ａの識別に進む。

【0171】

第１のトリガーイベントが検出されると、アイテム追跡装置１０４は、プラットフォーム２０２の俯瞰図を使用してセグメント化を実行する。一実施形態では、アイテム追跡装置１０４は、プラットフォーム２０２上のアイテム２０４を俯瞰図又は斜視図を撮影するために位置付けされた３Ｄセンサ１１０からの深度画像１２４を使用してセグメント化を実行できる。この例では、アイテム追跡装置１０４は、プラットフォーム２０２上に置かれたアイテム２０４の俯瞰深度画像１２４を取り込む。アイテム追跡装置１０４は、次に、深度閾値を使用して、取り込んだ深度画像１２４内でプラットフォーム２０２とプラットフォーム２０２上に置かれたアイテム２０４とを区別することができる。例えば、アイテム追跡装置１０４は、プラットフォーム２０２の表面の直ぐ上の深度閾値を設定することができる。この深度閾値は、上記の自動除外プロセス中に取り込んだ参照深度画像１２４内のプラットフォーム２０２の表面に対応するピクセル値に基づいて決定することができる。深度閾値を設定した後に、アイテム追跡装置１０４は、深度閾値を取り込んだ深度画像１２４に適用して、深度画像１２４からプラットフォーム２０２をフィルタ除去又は削除することができる。深度画像１２４をフィルタリングした後に、残りのピクセルクラスタは、プラットフォーム２０２上に置かれたアイテム２０４に対応する。各ピクセルクラスタは、異なるアイテム２０４に対応する。例えば、ピクセルクラスタの１つは、動作２９０２で検出した第１のトリガーイベントの一部としてプラットフォーム２０２上に置かれた第１のアイテム２０４に対応する。

【0172】

動作２９０４では、第１のトリガーイベントの検出に応じて、アイテム追跡装置１０４は、２つ以上のカメラ１０８を使用して、プラットフォーム２０２上に置かれた第１のアイテム２０４の複数の第１の画像１２２Ａを取り込む。

【0173】

上述したように、アイテム追跡装置１０４は、複数のカメラ１０８を使用して、プラットフォーム２０２上の第１のアイテム２０４の複数の第１の画像１２２Ａ（図５Ａに示される）を取り込むことができる。例えば、アイテム追跡装置１０４は、プラットフォーム２０２上の第１のアイテム２０４の俯瞰図、斜視図、及び／又は側面図を含む第１の画像１２２Ａを取り込むことができる。

【0174】

動作２９０６では、アイテム追跡装置１０４は、複数の第１の画像１２２Ａに基づいて、第１のアイテム２０４に関連付けられた第１のアイテム識別子１６０４ａを識別する。

【0175】

アイテム追跡装置１０４は、図２３を参照して説明したプロセス２３００と同様のプロセスを使用して、第１のアイテム２０４Ａを識別することができる。例えば、アイテム追跡装置１０４は、第１のアイテム２０４Ａの少なくとも一部を第１の画像１２２Ａから分離することにより、それぞれのカメラ１０８によって取り込んだ第１のアイテム２０４Ａの各第１の画像１２２Ａから第１のアイテム２０４Ａの切り抜き画像２７０２を生成することができる。換言すれば、アイテム追跡装置１０４は、それぞれのカメラ１０８によって取り込んだ第１のアイテム２０４Ａの各第１の画像１２２Ａに基づいて、第１のアイテム２０４Ａの切り抜き画像２７０２を１つ生成する。図２７に示されるように、アイテム追跡装置１０４は、第１のアイテム２０４Ａのそれぞれの第１の画像１２２Ａから、第１のアイテム２０４Ａの３つの切り抜き画像２７０２ａ、２７０２ｂ、及び２７０２ｃを生成する。

【0176】

上述したように、一実施形態では、アイテム追跡装置１０４は、第１の画像１２２Ａ（例えば、第１の画像１２２Ａのうちの１つ）に存在する第１のアイテム２０４Ａの特徴に基づいて、第１のアイテム２０４Ａの切り抜き画像２７０２を生成することができる。アイテム追跡装置１０４は、まず、第１の画像１２２Ａ内に存在する第１のアイテム２０４Ａの検出した特徴に基づいて、第１のアイテム２０４Ａの関心領域（例えば、境界ボックス）１００２（図１０Ａに示される）を識別し、次に、識別した関心領域１００２に基づいて第１の画像１２２Ａを切り抜くことができる。関心領域１００２は、プラットフォーム２０２上の第１のアイテム２０４Ａの取り込んだ第１の画像１２２Ａ内の第１のアイテム２０４Ａに対応する複数のピクセルを含む。アイテム追跡装置１０４は、１つ又は複数の画像処理技術を使用して、第１のアイテム２０４Ａの特徴及び物理的属性に基づいて、第１の画像１２２Ａ内の第１のアイテム２０４Ａの関心領域１００２を識別することができる。アイテム追跡装置１０４は、第１のアイテム２０４Ａの関心領域１００２を識別した後に、第１の画像１２２Ａ内の第１のアイテム２０４Ａに対応する関心領域１００２内のピクセルを抽出することによって、第１の画像１２２Ａを切り抜く。第１の画像１２２Ａを切り抜くことにより、アイテム追跡装置１０４は、元の第１の画像１２２Ａから第１のアイテム２０４Ａの関心領域１００２内の抽出したピクセルを含む別の画像（例えば、切り抜き画像２７０２）を生成する。アイテム追跡装置１０４は、プラットフォーム２０２上の第１のアイテム２０４Ａの取り込んだ第１の画像１２２Ａの全てに対してこのプロセスを繰り返すことができる。このプロセスの結果は、プラットフォーム２０２上に置かれた第１のアイテム２０４Ａに対応する切り抜き画像２７０２のセットである。いくつかの実施形態では、アイテム追跡装置１０４は、図９のプロセス９００と同様のプロセスを使用して、第１のアイテム２０４Ａの切り抜き画像２７０２を生成することができる。

【0177】

アイテム追跡装置１０４は、第１のアイテム２０４Ａの切り抜き画像２７０２毎に、エンコード化ベクトル１７０２（図１７に示される）を生成する。エンコード化ベクトル１７０２は、数値の配列で構成される。エンコード化ベクトル１７０２内の各数値は、第１のアイテム２０４Ａの属性（例えば、アイテムタイプ、サイズ、形状、色等）に対応し、その属性を記述する。エンコード化ベクトル１７０２は、任意の適切な長さであってもよい。アイテム追跡装置１０４は、切り抜き画像２７０２のそれぞれを機械学習モデル（例えば、機械学習モデル１２６）に入力することにより、第１のアイテム２０４Ａのエンコード化ベクトル１７０２を生成する。機械学習モデル１２６は、アイテム２０４の画像１２２に存在するアイテム２０４の特徴又は物理的属性に基づいて、アイテム２０４のエンコード化ベクトル１７０２を出力するように構成される。物理的属性の例には、アイテムタイプ、サイズ、形状、色、又はアイテム２０４の他の適切な種類の属性が挙げられるが、これらに限定されない。第１のアイテム２０４Ａの切り抜き画像２７０２を機械学習モデル１２６に入力した後に、アイテム追跡装置１０４は、第１のアイテム２０４Ａのエンコード化ベクトル１７０２を受け取る。アイテム追跡装置１０４は、このプロセスを繰り返して、プラットフォーム２０２上の第１のアイテム２０４Ａの切り抜き画像２７０２毎にエンコード化ベクトル１７０２を取得する。

【0178】

アイテム追跡装置１０４は、第１のアイテム２０４Ａに対して生成した対応するエンコード化ベクトル１７０２に基づいて、エンコード化ベクトル・ライブラリ１２８から第１のアイテム２０４Ａを識別する。ここで、アイテム追跡装置１０４は、第１のアイテム２０４Ａのエンコード化ベクトル１７０２を使用して、エンコード化ベクトル・ライブラリ１２８内の最もよく一致するエンコード化ベクトル１６０６を識別する。一実施形態では、アイテム追跡装置１０４は、未識別の第１のアイテム２０４Ａに対して生成したエンコード化ベクトル１７０２と、エンコード化ベクトル・ライブラリ１２８内のエンコード化ベクトル１６０６との間の類似ベクトル１７０４（図１７に示される）を生成することによって、エンコード化ベクトル・ライブラリ１２８内の最もよく一致するエンコード化ベクトル１６０６を識別する。類似ベクトル１７０４は、数値類似値１７１０の配列で構成され、各数値類似値１７１０は、第１のアイテム２０４Ａのエンコード化ベクトル１７０２の値がエンコード化ベクトル・ライブラリ１２８内の特定のエンコード化ベクトル１６０６とどの程度類似しているかを示す。一実施形態では、アイテム追跡装置１０４は、図１７で説明したプロセスと同様のプロセスを使用して類似ベクトル１７０４を生成することができる。この例では、アイテム追跡装置１０４は、第１のアイテム２０４Ａのエンコード化ベクトル１７０２と、エンコード化ベクトル・ライブラリ１２８内のエンコード化ベクトル１６０６との間の行列乗算を使用する。類似ベクトル１７０４内の各数値類似値１７１０は、エンコード化ベクトル・ライブラリ１２８内のエントリ１６０２に対応する。例えば、類似ベクトル１７０４内の第１の数値１７１０は、エンコード化ベクトル１７０２の値がエンコード化ベクトル・ライブラリ１２８の第１のエントリ１６０２内のエンコード化ベクトル１６０６の値とどの程度類似しているかを示し、類似ベクトル１７０４内の第２の数値１７１０は、エンコード化ベクトル１７０２の値がエンコード化ベクトル・ライブラリ１２８の第２のエントリ１６０２内のエンコード化ベクトル１６０６の値とどの程度類似しているかを示し、以下同様である。

【0179】

類似ベクトル１７０４を生成した後に、アイテム追跡装置１０４は、エンコード化ベクトル・ライブラリ１２８内のどのエントリ１６０２が、第１のアイテム２０４Ａのエンコード化ベクトル１７０２に最もよく一致するかを特定することができる。一実施形態では、類似ベクトル１７０４内の最も高い数値類似値１７１０に関連付けられるエントリ１６０２が、第１のアイテム２０４Ａのエンコード化ベクトル１７０２に最もよく一致するエントリ１６０２である。アイテム追跡装置１０４は、エンコード化ベクトル・ライブラリ１２８から、第１のアイテム２０４Ａのエンコード化ベクトル１７０２に最もよく一致するエントリ１６０２を識別した後に、次に、エンコード化ベクトル・ライブラリ１２８から、識別したエントリ１６０２に関連付けられたアイテム識別子１６０４を識別することができる。このプロセスを通じて、アイテム追跡装置１０４は、エンコード化ベクトル・ライブラリ１２８のどのアイテム２０４が、そのエンコード化ベクトル１７０２に基づいて、未識別の第１のアイテム２０４Ａに対応するかを判定することができる。次に、アイテム追跡装置１０４は、識別したアイテム２０４の識別したアイテム識別子１６０４を出力する。アイテム追跡装置１０４は、第１のアイテム２０４Ａの各切り抜き画像２７０２（例えば、２７０２ａ、２７０２ｂ、及び２７０２ｃ）に対して生成した各エンコード化ベクトル１７０２に対してこのプロセスを繰り返す。このプロセスにより、第１のアイテム２０４Ａに対応するアイテム識別子１６０４のセットが生成され、第１のアイテム２０４Ａに対応するアイテム識別子１６０４のセットには、第１のアイテム２０４Ａの複数の切り抜き画像２７０２に対応する複数のアイテム識別子１６０４が含まれ得る。換言すれば、アイテム追跡装置１０４は、第１のアイテム２０４Ａの切り抜き画像２７０２毎にアイテム識別子１６０４を識別する。

【0180】

アイテム追跡装置１０４は、第１のアイテム２０４Ａの複数の切り抜き画像２７０２のそれぞれに基づいて、第１のアイテム２０４Ａに対して識別した複数のアイテム識別子１６０４のうちの１つを選択することができる。例えば、アイテム追跡装置１０４は、第１のアイテム２０４Ａの複数の切り抜き画像２７０２のそれぞれに基づいて、第１のアイテム２０４Ａについて識別した複数のアイテム識別子１６０４に基づいて、第１のアイテム２０４Ａに関連付けられた第１のアイテム識別子１６０４ａを選択することができる。

【0181】

１つ又は複数の実施形態では、アイテム追跡装置１０４は、第１のアイテム２０４Ａの各切り抜き画像２７０２を、第１のアイテム２０４Ａの切り抜き画像２７０２が第１のアイテム２０４Ａの前面画像１２２であるか、又は第１のアイテム２０４Ａの背面画像１２２であるかを判定するように構成された機械学習モデルに入力することができる。第１のアイテム２０４の前面画像１２２は、第１のアイテム２０４Ａに固有の識別情報（例えば、テキスト、色、ロゴ、パターン、写真、画像等）を含む、又は第１のアイテム２０４Ａを識別するために使用できる第１のアイテム２０４Ａの一部の画像１２２に対応する。第１のアイテム２０４Ａの背面画像１２２は、第１のアイテム２０４Ａを識別するために使用できる識別情報を含まない、第１のアイテム２０４の一部の画像１２２に対応する。機械学習モデルは、エンコード化ベクトル・ライブラリ１２８で識別した第１のアイテム２０４Ａのアイテム２０４の既知の前面画像１２２及び背面画像を含むデータセットを使用してトレーニングすることができる。未識別の第１のアイテム２０４Ａの各切り抜き画像２７０２が、第１のアイテム２０４Ａの前面画像１２２又は背面画像１２２として識別（例えば、タグ付け）されると、アイテム追跡装置１０４は、背面画像１２２として識別した全ての切り抜き画像２７０２を破棄する。アイテム追跡装置１０４は、第１のアイテム２０４Ａの前面画像１２２として識別した切り抜き画像２７０２に対応するアイテム識別子１６０４のみから、未識別の第１のアイテム２０４Ａのアイテム識別子１６０４を選択する。特定の実施形態では、第１のアイテム２０４Ａの背面画像１２２として識別した全ての切り抜き画像２７０２を破棄した後に、第１のアイテム２０４Ａの前面画像１２２として識別した１つの切り抜き画像２７０２のみが残っている場合に、アイテム追跡装置１０４は、残っている１つの切り抜き画像２７０２に対応するアイテム識別子１６０４を選択する。第１のアイテム２０４Ａの切り抜き画像２７０２が全て背面画像１２２として識別された場合に、アイテム追跡装置１０４は、第１のアイテム２０４Ａの１つ又は複数の切り抜き画像２７０２に対応するアイテム識別子１６０４をユーザインターフェイス装置に表示し、表示されたアイテム識別子１６０４のうちの１つを選択するようにユーザに求める。あるいはまた、アイテム追跡装置１０４は、プラットフォーム２０２上で第１のアイテム２０４Ａを反転又は回転させるための指示をユーザのユーザインターフェイス装置に表示してもよい。第１のアイテム２０４Ａがプラットフォーム２０２上で反転又は回転された場合に、アイテム追跡装置１０４は、動作２９０２～２９０６を実行して第１のアイテム２０４Ａを再識別する。

【0182】

場合によっては、第１のアイテム２０４Ａの複数の切り抜き画像２７０２が前面画像１２２として識別されることがある。このような場合に、アイテム追跡装置１０４は、エンコード化ベクトル・ライブラリ１２８からそれぞれのアイテム識別子１６０４を識別するために使用される類似値１７１０に基づいて、アイテム識別子１６０４から、アイテム２０４の切り抜き前面画像１２２に対応するアイテム識別子１６０４を選択するように構成してもよい。上述したように、切り抜き画像２７０２毎に、アイテム追跡装置１０４は、切り抜き画像２７０２に対して生成した類似ベクトル１７０４内の最も高い数値類似値１７１０に関連付けられたエントリ１６０２をエンコード化ベクトル・ライブラリ１２８から選択する。次に、アイテム追跡装置１０４は、識別したエントリ１６０２に関連付けられたアイテム識別子１６０４をエンコード化ベクトル・ライブラリ１２８から識別する。こうして、第１のアイテム２０４Ａの切り抜き画像２７０２毎に識別したアイテム識別子１６０４は、それぞれの類似値１７１０に対応し、これに基づいてアイテム識別子１６０４をエンコード化ベクトル・ライブラリ１２８から選択した。

【0183】

一実施形態では、アイテム追跡装置１０４は、第１のアイテム２０４Ａの切り抜き前面画像２７０２のうち、閾値類似値を下回る数値類似値１７１０に基づいて、エンコード化ベクトル・ライブラリ１２８からアイテム識別子１６０４を選択した全ての切り抜き前面画像２７０２を破棄する。類似値１７１０が、未識別の第１のアイテム２０４Ａのために生成したエンコード化ベクトル１７０２と、エンコード化ベクトル・ライブラリ１２８の特定のエンコード化ベクトル１６０６との間の類似度の度合いを示すため、類似値１７１０が低いということは、生成したエンコード化ベクトル１７０２と、エンコード化ベクトル・ライブラリ１２８の対応するエンコード化ベクトル１６０６との間の類似度が低いことを示している。アイテム追跡装置１０４は、閾値類似値を下回る数値類似値１７１０に基づいてエンコード化ベクトル・ライブラリ１２８から選択したアイテム識別子１６０４を含む全ての切り抜き前面画像２７０２を破棄することにより、未識別の第１のアイテム２０４Ａを正しく識別する可能性が低い全ての切り抜き画像２７０２を破棄する。一実施形態では、アイテム２０４の全ての切り抜き前面画像２７０２のアイテム識別子１６０４が、閾値類似値を下回る数値類似値１７１０に基づいてエンコード化ベクトル・ライブラリ１２８から選択された場合に、アイテム追跡装置１０４は、アイテム識別子１６０４をユーザインターフェイス装置に表示し、表示したアイテム識別子１６０４のうちの１つを選択するようにユーザに求める。

【0184】

アイテム追跡装置１０４は、閾値類似値を下回る数値類似値１７１０に基づいてエンコード化ベクトル・ライブラリ１２８から選択したアイテム識別子１６０４を含む全ての切り抜き前面画像２７０２を破棄した後に、多数決ルールを適用して、閾値類似値以上の数値類似値１７１０に基づいてエンコード化ベクトル・ライブラリ１２８から選択したアイテム識別子１６０４を含む残りの切り抜き前面画像２７０２に対応するアイテム識別子１６０４をアイテム識別子１６０４から選択する。多数決ルールは、未識別アイテム２０４の残りの切り抜き前面画像２７０２の過半数に対して同じアイテム識別子１６０４が識別された場合に、同じアイテム識別子１６０４が選択されることを規定する。

【0185】

しかしながら、残りの切り抜き前面画像のアイテム識別子１６０４に過半数が存在しない場合には、多数決ルールを適用できない。例えば、識別していない第１のアイテム２０４の残りの切り抜き前面画像２７０２の過半数に対して同じアイテム識別子１６０４が識別されなかった場合に、多数決ルールは適用されない。このような場合に、アイテム追跡装置１０４は、残りの切り抜き前面画像２７０２のうちの最も高い２つの数値類似値１７１０を比較する。最も高い類似値と２番目に高い類似値との間の差が閾値差に等しいか又はそれを超える場合に、アイテム追跡装置１０４は、最も高い類似値に対応するアイテム識別子１６０４を選択する。ただし、最も高い類似値と２番目に高い類似値との間の差が閾値差を下回る場合に、アイテム追跡装置１０４は、第１のアイテム２０４Ａの１つ又は複数の残りの切り抜き前面画像２７０２に対応するアイテム識別子１６０４をユーザインターフェイス装置に表示し、表示したアイテム識別子１６０４のうちの１つを選択するようにユーザに求める。

【0186】

第１のアイテム２０４Ａを識別するために使用される特定の方法に関係なく、このプロセス全体の最終結果は、第１のアイテム２０４Ａに対して第１のアイテム識別子１６０４ａが識別されることである。

【0187】

動作２９０８では、アイテム追跡装置１０４は、第１の画像１２２Ａで取り込んだ第１のアイテム２０４Ａに第１のアイテム識別子１６０４ａを割り当てる。

【0188】

動作２９１０では、アイテム追跡装置１０４は、プラットフォーム２０２で第２のトリガーイベントを検出し、第２のトリガーイベントは、第２のアイテム２０４Ｂのプラットフォーム２０２上の配置に対応する。特定の実施形態では、第２のトリガーイベントは、ユーザが第２のアイテム２０４Ｂをプラットフォーム２０２上に配置することに対応する。アイテム追跡装置１０４は、動作２９０２を参照して上で説明した第１のトリガーイベントの検出と同様に、第２のトリガーイベントを検出することができる。

【0189】

動作２９１２では、第２のトリガーイベントの検出に応じて、アイテム追跡装置１０４は、複数のカメラ１０８のうちの２つ以上のカメラ１０８を使用して、第２のアイテム２０４Ｂの複数の第２の画像１２２Ｂ（例えば、図５Ｂに示される）を取り込む。

【0190】

動作２９１４では、アイテム追跡装置１０４は、複数の切り抜き画像２７０４（図２７に示される）を生成し、各切り抜き画像（例えば、２７０４ａ、２７０４ｂ、２７０４ｃ、及び２７０４ｄ）は、対応する第２の画像１２２Ｂに関連付けられており、対応する第２の画像１２２Ｂを編集して第２のアイテム２０４Ｂの少なくとも一部を分離することによって生成される。

【0191】

第２のアイテム２０４Ｂの複数の切り抜き画像２７０４を生成するために、アイテム追跡装置１０４は、第１の画像１２２Ａに基づいて第１のアイテム２０４Ａの切り抜き画像２７０２を生成するための動作２９０６を参照して上で説明した方法と同様の方法を使用することができる。

【0192】

動作２９１６では、それぞれの第２の画像１２２Ｂから生成した第２のアイテム２０４Ｂの切り抜き画像２７０４毎に、アイテム追跡装置１０４は、切り抜き画像１２２Ｂ内の第２のアイテム２０４Ｂの属性に基づいてアイテム識別子１６０４を識別する。

【0193】

アイテム追跡装置１０４は、第１のアイテム２０４Ａの各切り抜き画像２７０２のアイテム識別子１６０４を識別するための動作２９０６を参照して上で説明した方法と同様の方法に基づいて、第２のアイテム２０４Ｂの各切り抜き画像２７０４のアイテム識別子１６０４を識別することができる。

【0194】

動作２９１８では、アイテム追跡装置１０４は、各アイテム２０４のアイテム識別子１６０４同士の間の関連付け２８０２に（例えば、メモリ１１６から）アクセスする。

【0195】

動作２９２０では、メモリ１１６に記憶した関連付け２８０２に基づいて、アイテム追跡装置１０４は、第１のアイテム２０４Ａに対して識別した第１のアイテム識別子１６０４ａと第２のアイテム識別子１６０４ｂと間の関連付け２８０２ａを識別する。メモリ１１６に記憶した関連付け２８０２を検索することに基づいて、アイテム追跡装置１０４は、エントリ１６０２ｂの第１のアイテム識別子１６０４ａとエントリ１６０２ｃの第２のアイテム識別子１６０４ｂとの間に関連付け２８０２ａ（例えば、関連付け－２）が存在すると判定することができる。上記の例に従うと、エントリ１６０２ｂの第１のアイテム識別子１６０４ａは１リットルのソーダボトルに関連付けられ、エントリ１６０２ｃの第２のアイテム識別子１６０４ｂは小さな袋に入ったチップスに関連付けられる。

【0196】

動作２９２２では、アイテム追跡装置１０４は、第２のアイテム２０４Ｂの切り抜き画像２７０４に対して識別したアイテム識別子１６０４のうち、少なくとも１つのアイテム識別子１６０４が第２のアイテム識別子１６０４ｂであるかどうかをチェックする。第２のアイテム２０４Ｂの切り抜き画像２７０４に対して識別したアイテム識別子１６０４のいずれも第２のアイテム識別子１６０４ｂでない場合に、方法２８００は動作２９２４に進み、アイテム追跡装置１０４は、第２のアイテム２０４Ｂの切り抜き画像２７０４のアイテム識別子１６０４をユーザインターフェイス装置に表示し、表示したアイテム識別子１６０４のうちの１つを選択するようにユーザに求める。

【0197】

しかしながら、第２のアイテム２０４Ｂの切り抜き画像２７０４に対して識別したアイテム識別子１６０４のうち少なくとも１つのアイテム識別子１６０４が第２のアイテム識別子１６０４ｂである場合に、方法２９００は動作２９２６に進み、アイテム追跡装置１０４は、第２の画像１２２Ｂに取り込んだ第２のアイテム２０４Ｂに第２のアイテム識別子１６０４ｂを割り当てる。上記の例に従って、第１のアイテム２０４Ａに、１リットルのソーダボトルに関連付けられた、エントリ１６０２ｂからの第１のアイテム識別子１６０４ａが割り当てられ、第２のアイテム２０４Ｂの切り抜き画像２７０４に対して識別したアイテム識別子１６０４のうちの少なくとも１つのアイテム識別子１６０４が、小さな袋に入ったチップスに関連付けられた、エントリ１６０２ｃからの第２のアイテム識別子１６０４ｂである場合に、アイテム追跡装置１０４は、エントリ１６０２ｃからの第２のアイテム識別子１６０４ｂを第２のアイテム２０４Ｂに割り当て、こうして、第２のアイテム２０４を小さな袋に入ったチップスとして識別する。

【0198】

上述の関連付け－１の第２の例に従って、第１のアイテム２０４Ａに、１６オンスの水ボトルに関連付けられた、エントリ１６０２ａからの第１のアイテム識別子１６０４（Ｉ１）が割り当てられ、第２のアイテム２０４Ｂの切り抜き画像２７０４に対して識別したアイテム識別子１６０４のうちの少なくとも１つのアイテム識別子１６０４が、エントリ１６０２ａからの第１のアイテム識別子１６０４（Ｉ１）でもある場合に、アイテム追跡装置１０４は、エントリ１６０２ａからの同じ第１のアイテム識別子１６０４（Ｉ１）を第２のアイテム２０４Ｂにも割り当てる。この例では、第１のアイテム識別子１６０４及び第２のアイテム識別子１６０４は、エントリ１６０２ａからの同じアイテム識別子１６０４（Ｉ１）の２つの異なるインスタンスであり、第１のアイテム２０４Ａ及び第２のアイテム２０４Ｂは、同じアイテム２０４の２つの異なるインスタンス、例えば２つの異なる１６オンスの水ボトルである。

【0199】

１つ又は複数の実施形態では、アイテム追跡装置１０４は、第１のアイテム２０４Ａを識別するための上記の１つ又は複数の他の方法が適用されないか、又は第２のアイテム２０４Ｂを識別できない場合に、上記の関連付け２８０２ベースのロジックを適用して第２のアイテム２０４Ｂを識別する。

【0200】

一実施形態では、未識別の第２のアイテム２０４Ｂの各第２の画像１２２Ｂについて切り抜き画像２７０４を生成した後に、アイテム追跡装置１０４は、第２のアイテム２０４の各切り抜き画像２７０４を機械学習モデルに入力し、第２のアイテム２０４Ｂの切り抜き画像２７０２が第２のアイテム２０４Ｂの前面画像１２２であるか、又は第２のアイテム２０４Ｂの背面画像１２２であるかを判定する。第２のアイテム２０４Ｂの各切り抜き画像２７０４が第２のアイテム２０４Ｂの前面画像１２２又は背面画像１２２として識別されると、アイテム追跡装置１０４は、背面画像１２２として識別した全ての切り抜き画像２７０４を破棄する。アイテム追跡装置１０４は、前面画像１２２として識別した切り抜き画像２７０４に対応するアイテム識別子１６０４のみから、未識別の第２のアイテム２０４Ｂのアイテム識別子１６０４を選択する。例えば、背面画像１２２として識別した第２のアイテム２０４の切り抜き画像２７０４を全て破棄した後に、前面画像１２２として識別した切り抜き画像２７０４が１つだけ残っている場合に、アイテム追跡装置１０４は、残っている１つの切り抜き画像２７０４に対応するアイテム識別子１６０４を選択する。第２のアイテム２０４Ｂの全ての切り抜き画像２７０４を前面画像１２２として識別した場合に、アイテム追跡装置１０４は、１つ又は複数の切り抜き画像２７０４に対応するアイテム識別子１６０４をユーザインターフェイス装置に表示し、表示したアイテム識別子１６０４のうちの１つを選択するようにユーザに求める。あるいはまた、アイテム追跡装置１０４は、ユーザがプラットフォーム２０２上で第２のアイテム２０４Ｂを反転又は回転させるための指示をユーザインターフェイス装置に表示すこともできる。第２のアイテム２０４Ｂがプラットフォーム２０２上で反転又は回転されると、アイテム追跡装置１０４は、動作２９１０～２９１６を実行して、第２のアイテム２０４Ｂを再識別することができる。

【0201】

第２のアイテム２０４Ｂの複数の切り抜き画像２７０４が前面画像１２２として識別されると、アイテム追跡装置１０４は、エンコード化ベクトル・ライブラリ１２８からそれぞれのアイテム識別子１６０４を識別するために使用する類似値１７１０に基づいて、第２のアイテム２０４Ｂの切り抜き前面画像２７０４に対応するアイテム識別子１６０４をアイテム識別子１６０４から選択する。第１のアイテム２０４Ｂの切り抜き画像２７０２を参照して上で説明したように、第２のアイテム２０４Ｂの切り抜き画像２７０４毎に、アイテム追跡装置１０４は、切り抜き画像２７０４に対して生成した類似ベクトル１７０４内の最も高い数値類似値１７１０に関連付けられたエントリ１６０２をエンコード化ベクトル・ライブラリ１２８から選択する。次に、アイテム追跡装置１０４は、識別したエントリ１６０２に関連付けられたアイテム識別子１６０４をエンコード化ベクトル・ライブラリ１２８から識別する。こうして、第２のアイテム２０４Ｂの各切り抜き画像２７０４について識別したアイテム識別子１６０４は、それぞれの類似値１７１０に対応し、この類似値に基づいて、エンコード化ベクトル・ライブラリ１２８からアイテム識別子１６０４を選択した。

【0202】

一実施形態では、第２のアイテム２０４Ｂの切り抜き前面画像２７０４のうち、アイテム追跡装置１０４は、閾値類似値を下回る数値類似値１７１０に基づいて、エンコード化ベクトル・ライブラリ１２８から選択したアイテム識別子１６０４を含む全ての切り抜き前面画像２７０４を破棄する。類似値１７１０が、未識別の第２のアイテム２０４Ｂのために生成したエンコード化ベクトル１７０２と、エンコード化ベクトル・ライブラリ１２８の特定のエンコード化ベクトル１６０６との間の類似度の度合いを示すため、類似値１７１０が低いということは、生成したエンコード化ベクトル１７０２と、エンコード化ベクトル・ライブラリ１２８の対応するエンコード化ベクトル１６０６との間の類似度が低いことを示している。アイテム追跡装置１０４は、閾値を下回る数値類似値１７１０に基づいてエンコード化ベクトル・ライブラリ１２８から選択したアイテム識別子１６０４を含む全ての切り抜き前面画像２７０４を破棄することにより、未識別の第２のアイテム２０４Ｂを正しく識別する可能性が低い全ての切り抜き画像２７０４を破棄する。一実施形態では、第２のアイテム２０４Ｂの全ての切り抜き前面画像２７０４のアイテム識別子１６０４が、閾値類似値未満の数値類似値１７１０に基づいてエンコード化ベクトル・ライブラリ１２８から選択された場合に、アイテム追跡装置１０４は、アイテム識別子１６０４をユーザインターフェイス装置に表示し、表示したアイテム識別子１６０４のうちの１つを選択するようにユーザに求める。

【0203】

閾値類似値未満の数値類似値１７１０に基づいて、エンコード化ベクトル・ライブラリ１２８から選択したアイテム識別子１６０４を含む全ての切り抜き前面画像２７０４を破棄した後に、アイテム追跡装置１０４は、閾値類似値以上の数値類似値１７１０に基づいて、エンコード化ベクトル・ライブラリ１２８から選択したアイテム識別子１６０４を含む残りの切り抜き前面画像２７０４に対応するアイテム識別子１６０４からアイテム識別子１６０４を選択するために多数決ルールを適用する。多数決ルールは、未識別の第２のアイテム２０４Ｂの残りの切り抜き前面画像２７０４の過半数に対して同じアイテム識別子１６０４が識別された場合に、同じアイテム識別子１６０４が選択されることを規定する。

【0204】

しかしながら、残りの切り抜き前面画像２７０４のアイテム識別子１６０４に過半数が存在しない場合には、多数決ルールを適用できない。例えば、未識別の第２のアイテム２０４Ｂの残りの切り抜き前面画像２７０４の過半数に対して同じアイテム識別子１６０４が識別されなかった場合に、多数決ルールは適用されない。このような場合に、アイテム追跡装置１０４は、残りの切り抜き前面画像２７０４のうちで最も高い２つの数値類似値１７１０を比較する。最も高い類似値と２番目に高い類似値との間の差が閾値差以上である場合に、アイテム追跡装置１０４は、最も高い類似値に対応するアイテム識別子１６０４を選択する。

【0205】

しかしながら、最も高い類似値と２番目に高い類似値との間の差が閾値差を下回る場合に、アイテム追跡装置１０４は、動作２９１８～２９２６を参照して前述した関連付けベースのロジックを適用する。

【0206】

本開示ではいくつかの実施形態を提示するが、開示するシステム及び方法は、本開示の精神又は範囲から逸脱することなく、他の多くの特定の形態で実施できることを理解すべきである。本例は、例示的であり、限定的ではないとみなされるべきであり、意図は本明細書で提供する詳細に限定されない。例えば、様々な要素又はコンポーネントを別のシステムと組み合わせたり統合したりすることができ、特定の機能を省略したり、実装しなかったりすることができる。

【0207】

さらに、様々な実施形態で個別又は別個のものとして説明及び図示した技術、システム、サブシステム、及び方法は、本開示の範囲から逸脱することなく、他のシステム、モジュール、技術、又は方法と組み合わせたり統合したりすることができる。互いに結合又は直接結合又は通信しているものとして図示又は説明した他のアイテムは、電気的、機械的、又は他の方法で、何らかのインターフェイス、装置、又は中間コンポーネントを介して間接的に結合又は通信している可能性がある。変更、置換、及び改変の他の例は、当業者によって確認可能であり、本明細書で開示する精神及び範囲から逸脱することなく行うことができる。

【0208】

特許庁及び本願に基づいて発行された特許に関係する読者が本願に添付された請求項を解釈するのを支援するために、出願人は、特定の請求項で「手段」又は「ステップ」という用語が明示的に使用されない限り、添付された請求項のいずれも、本願の出願日に存在する米国特許法第１１２条（ｆ）を援用する意図はないことを留意する。

【図1】

【図2A】

【図2B】

【図2C】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図6】

【図7】

【図8A】

【図8B】

【図8C】

【図8D】

【図9】

【図10A】

【図10B】

【図10C】

【図10D】

【図11】

【図12A】

【図12B】

【図13A】

【図13B】

【図13C】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【手続補正書】

【提出日】2024-09-06

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

アイテム追跡システムであって、当該アイテム追跡システムは、
複数のカメラであって、各カメラがプラットフォームの少なくとも一部の画像を取り込むように構成される、前記複数のカメラと、
各アイテムのアイテム識別子同士の間の関連付けを記憶するように構成されるメモリと、
前記メモリに通信可能に結合した１つ又は複数のプロセッサと、を含み、
該１つ又は複数のプロセッサは、
前記プラットフォームでの第１のトリガーイベントを検出することであって、該第１のトリガーイベントは、前記プラットフォーム上の第１のアイテムの配置に対応する、こと、
前記第１のトリガーイベントの検出に応じて、前記複数のカメラのうちの２つ以上のカメラを使用して、前記プラットフォーム上の前記第１のアイテムの複数の第１の画像を取り込むこと、
前記複数の第１の画像に基づいて、前記第１のアイテムに関連付けられた第１のアイテム識別子を識別すること、
前記第１の画像で取り込まれた前記第１のアイテムに前記第１のアイテム識別子を割り当てること、
前記プラットフォームでの第２のトリガーイベントを検出することであって、該第２のトリガーイベントは、前記プラットフォーム上の第２のアイテムの配置に対応する、こと、
前記第２のトリガーイベントの検出に応じて、前記複数のカメラのうちの２つ以上のカメラを使用して、前記プラットフォーム上の前記第２のアイテムの複数の第２の画像を取り込むこと、
複数の切り抜き画像を生成することであって、各切り抜き画像が、対応する第２の画像に関連付けられ、且つ該対応する第２の画像を編集して前記第２のアイテムの少なくとも一部を分離することによって生成される、こと、
各切り抜き画像について、前記第２のアイテムの１つ又は複数の属性に基づいてアイテム識別子を識別すること、
前記メモリから前記関連付けにアクセスすること、
前記第１のアイテムの前記第１のアイテム識別子と第２のアイテム識別子との間の関連付けを特定すること、
前記識別したアイテム識別子のうちの少なくとも１つが前記第２のアイテム識別子であると検出すること、
前記識別したアイテム識別子のうちの少なくとも１つが前記第２のアイテム識別子であるとの検出に応じて、及び前記第１のアイテム識別子と前記第２のアイテム識別子との間の前記特定した関連付けに基づいて、前記第２のアイテム識別子を前記第２のアイテムに割り当てること、を行うように構成される、
アイテム追跡システム。

【請求項2】

前記１つ又は複数のプロセッサは、さらに、
それぞれの第２の画像について生成した各切り抜き画像について、
前記切り抜き画像を機械学習モデルに入力することであって、該機械学習モデルは、前記切り抜き画像がアイテムの背面画像であるか、又はアイテムの前面画像であるかを出力するように構成される、こと、
前記切り抜き画像がアイテムの背面画像であるか、又はアイテムの前面画像であるかを示す前記出力を前記機械学習モデルから取得すること、及び
前記出力に基づいて前記切り抜き画像を背面画像又は前面画像としてタグ付けすること、を行うように構成され、
前記切り抜き画像のうちの２つ以上が前面画像としてタグ付けされる、請求項１に記載のアイテム追跡システム。

【請求項3】

前記メモリは、エンコード化ベクトル・ライブラリを記憶するようにさらに構成され、
前記エンコード化ベクトル・ライブラリは複数のエンコード化ベクトルを含み、各エンコード化ベクトルは、特定のアイテムの１つ又は複数の属性を記述し、且つ前記特定のアイテムのアイテム識別子に関連付けられており、
前記１つ又は複数のプロセッサは、
前記切り抜き画像の第１のエンコード化ベクトルを生成することであって、前記第１のエンコード化ベクトルは、前記切り抜き画像に基づいて前記第１のアイテムの１つ又は複数の属性を記述する、こと、
前記第１のエンコード化ベクトルを前記エンコード化ベクトル・ライブラリ内で前記エンコード化ベクトルと比較すること、
前記エンコード化ベクトル・ライブラリから、前記第１のエンコード化ベクトルに最もよく一致する第２のエンコード化ベクトルを選択することであって、数値類似値が、前記第１のエンコード化ベクトルと前記選択した第２のエンコード化ベクトルとの間の類似度を示す、こと、及び
前記エンコード化ベクトル・ライブラリ内で、前記第２のエンコード化ベクトルに関連付けられた前記アイテム識別子を識別すること、によって、各切り抜き画像の前記アイテム識別子を識別するようにさらに構成される、請求項２に記載のアイテム追跡システム。

【請求項4】

前記１つ又は複数のプロセッサは、複数の切り抜いた第２の画像が前面画像としてタグ付けされると判定するようにさらに構成される、請求項３に記載のアイテム追跡システム。

【請求項5】

前記１つ又は複数のプロセッサは、
前記複数の切り抜いた第２の画像が前面画像としてタグ付けされると判定したことに応じて、類似値が閾値類似値以上であることに基づいて、複数のアイテム識別子から、前記複数の切り抜いた第２の画像のそれぞれに対して識別した第１セットのアイテム識別子を決定すること、及び
前記複数の切り抜いた第２の画像の大部分について、前記第１セットのアイテム識別子から同じアイテム識別子が識別されなかったと決定すること、を行うようにさらに構成される、請求項４に記載のアイテム追跡システム。

【請求項6】

前記１つ又は複数のプロセッサは、
前記複数の切り抜いた第２の画像の大部分について、前記第１セットのアイテム識別子からの前記同じアイテム識別子が識別されなかったと決定したことに応じて、
前記第１セットのアイテム識別子に対応する前記類似値のうちの最も高い類似値に基づいて、前記第１セットから、第１の切り抜いた第２の画像について識別した第３のアイテム識別子を決定すること、
前記第１セットの前記アイテム識別子に対応する前記類似値のうちの２番目に高い類似値に基づいて、前記第１セットから、第２の切り抜いた第２の画像について識別した第４のアイテム識別子を決定すること、及び
前記最も高い類似値と前記２番目に高い類似値との間の差が閾値差未満であると決定すること、を行うようにさらに構成される、請求項５に記載のアイテム追跡システム。

【請求項7】

前記第１のアイテム及び前記第２のアイテムは同じアイテム識別子によって識別され、
前記第１のアイテム識別子及び前記第２のアイテム識別子は、前記同じアイテム識別子の２つのインスタンスである、請求項１に記載のアイテム追跡システム。

【請求項8】

アイテムを識別する方法であって、当該方法は、
プラットフォームでの第１のトリガーイベントを検出するステップであって、該第１のトリガーイベントは、前記プラットフォーム上の第１のアイテムの配置に対応する、ステップと、
前記第１のトリガーイベントの検出に応じて、複数のカメラのうちの２つ以上のカメラを使用して、前記プラットフォーム上の前記第１のアイテムの複数の第１の画像を取り込むステップと、
該複数の第１の画像に基づいて、前記第１のアイテムに関連付けられた第１のアイテム識別子を識別するステップと、
前記第１の画像で取り込んだ前記第１のアイテムに前記第１のアイテム識別子を割り当てるステップと、
前記プラットフォームでの第２のトリガーイベントを検出するステップであって、該第２のトリガーイベントは、前記プラットフォーム上の第２のアイテムの配置に対応する、ステップと、
前記第２のトリガーイベントの検出に応じて、前記複数のカメラのうちの２つ以上のカメラを使用して、前記プラットフォーム上の前記第２のアイテムの複数の第２の画像を取り込むステップと、
複数の切り抜き画像を生成するステップであって、各切り抜き画像は、対応する第２の画像に関連付けられ、且つ該対応する第２の画像を編集して前記第２のアイテムの少なくとも一部を分離することによって生成される、ステップと、
各切り抜き画像について、前記第２のアイテムの１つ又は複数の属性に基づいてアイテム識別子を識別するステップと、
メモリから、各アイテムのアイテム識別子同士の間の関連付けにアクセスするステップと、
前記第１のアイテムの前記第１のアイテム識別子と第２のアイテム識別子との間の関連付けを特定するステップと、
前記識別したアイテム識別子のうちの少なくとも１つが前記第２のアイテム識別子であると検出するステップと、
前記識別したアイテム識別子のうちの少なくとも１つが前記第２のアイテム識別子であるとの検出に応じて、及び前記第１のアイテム識別子と前記第２のアイテム識別子との間の特定した関連付けに基づいて、前記第２のアイテム識別子を前記第２のアイテムに割り当てるステップと、を含む、
方法。

【請求項9】

それぞれの第２の画像について生成した各切り抜き画像について、
前記切り抜き画像を機械学習モデルに入力するステップであって、前記機械学習モデルは、前記切り抜き画像がアイテムの背面画像であるか、又はアイテムの前面画像であるかを出力するように構成される、ステップと、
前記切り抜き画像がアイテムの背面画像であるか、又はアイテムの前面画像であるかを示す前記出力を前記機械学習モデルから取得するステップと、
前記出力に基づいて、前記切り抜き画像を背面画像又は前面画像としてタグ付けするステップと、をさらに含み、
前記切り抜き画像のうちの２つ以上が前面画像としてタグ付けされる、請求項８に記載の方法。

【請求項10】

エンコード化ベクトル・ライブラリをメモリに記憶するステップをさらに含み、
前記エンコード化ベクトル・ライブラリは複数のエンコード化ベクトルを含み、各エンコード化ベクトルは、特定のアイテムの１つ又は複数の属性を記述し、且つ前記特定のアイテムのアイテム識別子に関連付けられており、
各切り抜き画像の前記アイテム識別子を識別することは、
前記切り抜き画像の第１のエンコード化ベクトルを生成することであって、該第１のエンコード化ベクトルは、前記切り抜き画像に基づいて前記第１のアイテムの１つ又は複数の属性を記述する、こと、
前記第１のエンコード化ベクトルを、前記エンコード化ベクトル・ライブラリ内でエンコード化ベクトルと比較すること、
前記エンコード化ベクトル・ライブラリから、前記第１のエンコード化ベクトルに最もよく一致する第２のエンコード化ベクトルを選択することであって、数値類似値が、前記第１のエンコード化ベクトルと前記選択した第２のエンコード化ベクトルとの間の類似度を示す、こと、及び
前記エンコード化ベクトル・ライブラリ内で、前記第２のエンコード化ベクトルに関連付けられる前記アイテム識別子を識別すること、を含む、請求項９に記載の方法。

【請求項11】

複数の前記切り抜いた第２の画像が前面画像としてタグ付けされると判定することをさらに含む、請求項１０に記載の方法。

【請求項12】

前記複数の切り抜いた第２の画像が前面画像としてタグ付けされると判定したことに応じて、類似値が閾値類似値以上であることに基づいて、複数のアイテム識別子から、複数の切り抜いた第２の画像のそれぞれに対して識別した第１セットのアイテム識別子を決定すること、及び
前記複数の切り抜いた第２の画像の大部分について、前記第１セットのアイテム識別子から同じアイテム識別子が識別されなかったと決定すること、をさらに含む、請求項１１に記載の方法。

【請求項13】

前記複数の切り抜いた第２の画像の大部分について、前記第１セットのアイテム識別子からの前記同じアイテム識別子が識別されなかったと決定したことに応じて、
前記第１セットの前記アイテム識別子に対応する前記類似値のうちの最も高い類似値に基づいて、前記第１セットから、第１の切り抜いた第２の画像について識別した第３のアイテム識別子を決定すること、
前記第１セットの前記アイテム識別子に対応する前記類似値のうちの２番目に高い類似値に基づいて、前記第１セットから、第２の切り抜いた第２の画像について識別した第４のアイテム識別子を決定すること、及び
前記最も高い類似値と前記２番目に高い類似値との間の差が閾値差未満であると決定すること、をさらに含む、請求項１２に記載の方法。

【請求項14】

前記第１のアイテム及び前記第２のアイテムは同じアイテム識別子によって識別され、
前記第１のアイテム識別子及び前記第２のアイテム識別子は前記同じアイテム識別子の２つのインスタンスである、請求項８に記載の方法。

【請求項15】

命令を記憶する非一時的なコンピュータ可読媒体であって、前記命令が１つ又は複数のプロセッサによって実行されると、該１つ又は複数のプロセッサに、
プラットフォームでの第１のトリガーイベントを検出することであって、該第１のトリガーイベントは、前記プラットフォーム上の第１のアイテムの配置に対応する、こと、
前記第１のトリガーイベントの検出に応じて、複数のカメラのうちの２つ以上のカメラを使用して、前記プラットフォーム上の前記第１のアイテムの複数の第１の画像を取り込むこと、
前記複数の第１の画像に基づいて、前記第１のアイテムに関連付けられた第１のアイテム識別子を識別すること、
前記第１の画像で取り込んだ前記第１のアイテムに前記第１のアイテム識別子を割り当てること、
前記プラットフォームでの第２のトリガーイベントを検出することであって、前記第２のトリガーイベントは、前記プラットフォーム上の第２のアイテムの配置に対応する、こと、
前記第２のトリガーイベントの検出に応じて、前記複数のカメラのうちの２つ以上のカメラを使用して、前記プラットフォーム上の前記第２のアイテムの複数の第２の画像を取り込むこと、
複数の切り抜き画像を生成することであって、各切り抜き画像は、対応する第２の画像に関連付けられ、且つ該対応する第２の画像を編集して前記第２のアイテムの少なくとも一部を分離することによって生成される、こと、
各切り抜き画像について、前記第２のアイテムの１つ又は複数の属性に基づいてアイテム識別子を識別すること、
メモリから、各アイテムのアイテム識別子同士の間の関連付けにアクセスすること、
前記第１のアイテムの前記第１のアイテム識別子と第２のアイテム識別子との間の関連付けを特定すること、
前記識別したアイテム識別子のうちの少なくとも１つが第２のアイテム識別子であると検出すること、
前記識別したアイテム識別子のうちの少なくとも１つが前記第２のアイテム識別子であるとの検出に応じて、及び前記第１のアイテム識別子と前記第２のアイテム識別子との間の前記特定した関連付けに基づいて、前記第２のアイテム識別子を前記第２のアイテムに割り当てること、を行わせる、
非一時的なコンピュータ可読媒体。

【請求項16】

前記命令によって、前記１つ又は複数のプロセッサに、
それぞれの第２の画像について生成した各切り抜き画像について、
前記切り抜き画像を機械学習モデルに入力することであって、該機械学習モデルは、前記切り抜き画像がアイテムの背面画像であるか、又はアイテムの前面画像であるかを出力するように構成される、こと、
前記切り抜き画像がアイテムの背面画像であるか、又はアイテムの前面画像であるかを示す前記出力を前記機械学習モデルから取得すること、及び
前記出力に基づいて、前記切り抜き画像を背面画像又は前面画像としてタグ付けすること、をさらに行わせ、
前記切り抜き画像のうちの２つ以上が前面画像としてタグ付けされる、請求項１５に記載の非一時的なコンピュータ可読媒体。

【請求項17】

前記命令によって、前記１つ又は複数のプロセッサに、エンコード化ベクトル・ライブラリをメモリに記憶させることをさらに行わせ、
該エンコード化ベクトル・ライブラリは複数のエンコード化ベクトルを含み、各エンコード化ベクトルは、特定のアイテムの１つ又は複数の属性を記述し、且つ前記特定のアイテムのアイテム識別子に関連付けられており、
各切り抜き画像の前記アイテム識別子を識別することは、
前記切り抜き画像の第１のエンコード化ベクトルを生成することであって、該第１のエンコード化ベクトルは、前記切り抜き画像に基づいて、前記第１のアイテムの１つ又は複数の属性を記述する、こと、
前記第１のエンコード化ベクトルを、前記エンコード化ベクトル・ライブラリ内で前記エンコード化ベクトルと比較すること、
前記エンコード化ベクトル・ライブラリから、前記第１のエンコード化ベクトルに最もよく一致する第２のエンコード化ベクトルを選択することであって、数値類似値が、前記第１のエンコード化ベクトルと前記選択した第２のエンコード化ベクトルとの間の類似度を示す、こと、及び、
前記エンコード化ベクトル・ライブラリ内で、前記第２のエンコード化ベクトルに関連付けられた前記アイテム識別子を識別すること、を含む、請求項１６に記載の非一時的なコンピュータ可読媒体。

【請求項18】

前記命令によって、前記１つ又は複数のプロセッサに、複数の前記切り取られた第２の画像が前面画像としてタグ付けされると決定することをさらに行わせる、請求項１７に記載の非一時的なコンピュータ可読媒体。

【請求項19】

前記命令によって、前記１つ又は複数のプロセッサに、
前記複数の切り抜いた第２の画像が前面画像としてタグ付けされると決定することに応じて、類似値が閾値類似値以上であることに基づいて、複数のアイテム識別子から、前記複数の切り抜いた第２の画像のそれぞれについて識別した第１セットのアイテム識別子を決定すること、及び
前記複数の切り抜いた第２の画像の大部分について、前記第１セットのアイテム識別子から同じアイテム識別子が識別されなかったと決定すること、をさらに行わせる、請求項１８に記載の非一時的なコンピュータ可読媒体。

【請求項20】

前記命令によって、前記１つ又は複数のプロセッサに、
前記複数の切り抜いた第２の画像の前記大部分について、前記第１セットのアイテム識別子からの前記同じアイテム識別子が識別されなかったと決定したことに応じて、
前記第１セットの前記アイテム識別子に対応する前記類似値のうちの最も高い類似値に基づいて、前記第１セットから、第１の切り抜いた第２の画像について識別した第３のアイテム識別子を決定すること、
前記第１セットの前記アイテム識別子に対応する前記類似値のうちの２番目に高い類似値に基づいて、前記第１セットから、第２の切り抜いた第２の画像について識別した第４のアイテム識別子を決定すること、及び
前記最も高い類似値と前記２番目に高い類似値との間の差が閾値差未満であると決定すること、をさらに行わせる、請求項１９に記載の非一時的なコンピュータ可読媒体。

【外国語明細書】