特開2022-123015ディープ・ラーニング・ベースの被写体連続性のためのシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022123015
(43)【公開日】2022-08-23
(54)【発明の名称】ディープ・ラーニング・ベースの被写体連続性のためのシステム及び方法
(51)【国際特許分類】
G06T 7/70 20170101AFI20220816BHJP
G06V 10/82 20220101ALI20220816BHJP
G06T 7/00 20170101ALI20220816BHJP
【ＦＩ】
G06T7/70 A
G06V10/82
G06T7/00 350C
【審査請求】未請求
【請求項の数】21
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022094071
(22)【出願日】2022-06-10
(62)【分割の表示】P 2021561616の分割
【原出願日】2020-04-16
(31)【優先権主張番号】16/388,765
(32)【優先日】2019-04-18
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
２．ＺＩＧＢＥＥ
(71)【出願人】
【識別番号】518394684
【氏名又は名称】スタンダード コグニション コーポレーション
(74)【代理人】
【識別番号】100114476
【弁理士】
【氏名又は名称】政木 良文
(72)【発明者】
【氏名】フィッシャー， ジョーダン イー．
(72)【発明者】
【氏名】グリーン， ウォレン
(72)【発明者】
【氏名】フィシェッティ， ダニエル エル．
(57)【要約】 （修正有）
【課題】実空間のエリア内の被写体を追跡するためのシステム及び手法を提供する。
【解決手段】処理システムにおいて、候補位置特定被写体を、欠落追跡被写体にマッチングさせる方法は、実空間内の対応する視野の複数の画像シーケンスを受信することと、画像シーケンスを使用して、識別間隔中に実空間のエリア内の被写体を位置特定することと、現在の識別間隔からの位置特定被写体の現在のセットを、複数の過去の識別間隔からの位置特定被写体の過去のセットと比較して、エリア内の追跡被写体の位置を追跡することと、を含む。
【選択図】図５
【解決手段】処理システムにおいて、候補位置特定被写体を、欠落追跡被写体にマッチングさせる方法は、実空間内の対応する視野の複数の画像シーケンスを受信することと、画像シーケンスを使用して、識別間隔中に実空間のエリア内の被写体を位置特定することと、現在の識別間隔からの位置特定被写体の現在のセットを、複数の過去の識別間隔からの位置特定被写体の過去のセットと比較して、エリア内の追跡被写体の位置を追跡することと、を含む。
【選択図】図５
【特許請求の範囲】
【請求項1】
実空間のエリア内の被写体をユーザ・アカウントとリンクするためのシステムであって、
前記実空間内の対応する視野の複数の画像シーケンスを受信するように構成された処理システムを備え、
前記ユーザ・アカウントは、モバイル・コンピューティング・デバイスで実行可能なクライアント・アプリケーションとリンクされており、
前記処理システムが、前記画像内に表される識別された被写体の位置を決定するロジックと、前記実空間のエリア内でクライアント・アプリケーションを実行するモバイル・デバイスの位置を識別し、前記モバイル・デバイスの位置を前記被写体の位置とマッチングさせることによって、前記識別された被写体をユーザ・アカウントとマッチングさせるロジックと、現在の識別間隔からの位置特定された被写体の現在のセットを、過去の識別間隔からの位置特定された被写体の過去のセットと比較して、前記エリア内の追跡被写体の位置を追跡するロジックと、を含むシステム。
前記実空間内の対応する視野の複数の画像シーケンスを受信するように構成された処理システムを備え、
前記ユーザ・アカウントは、モバイル・コンピューティング・デバイスで実行可能なクライアント・アプリケーションとリンクされており、
前記処理システムが、前記画像内に表される識別された被写体の位置を決定するロジックと、前記実空間のエリア内でクライアント・アプリケーションを実行するモバイル・デバイスの位置を識別し、前記モバイル・デバイスの位置を前記被写体の位置とマッチングさせることによって、前記識別された被写体をユーザ・アカウントとマッチングさせるロジックと、現在の識別間隔からの位置特定された被写体の現在のセットを、過去の識別間隔からの位置特定された被写体の過去のセットと比較して、前記エリア内の追跡被写体の位置を追跡するロジックと、を含むシステム。
【請求項2】
前記モバイル・コンピューティング・デバイスが、前記実空間のエリア内の前記モバイル・コンピューティング・デバイスの位置を示すために使用可能な信号を発信し、
前記識別された被写体をユーザ・アカウントとマッチングさせる前記ロジックが、前記発信された信号を使用してモバイル・コンピューティング・デバイスの位置を識別する請求項１に記載のシステム。
前記識別された被写体をユーザ・アカウントとマッチングさせる前記ロジックが、前記発信された信号を使用してモバイル・コンピューティング・デバイスの位置を識別する請求項１に記載のシステム。
【請求項3】
前記識別された被写体をユーザ・アカウントとマッチングさせる前記ロジックが、前記ユーザ・アカウントに関連する個人を識別するバイオメトリック情報を使用せずに動作する請求項１に記載のシステム。
【請求項4】
前記モバイル・コンピューティング・デバイス上の前記クライアント・アプリケーションが、前記実空間のエリア内の前記モバイル・コンピューティング・デバイス上で、セマフォ画像の表示を発生させ、
前記識別された被写体をユーザ・アカウントとマッチングさせる前記ロジックが、セマフォ画像を表示する前記モバイル・コンピューティング・デバイスの位置を決定する画像認識エンジンを含み、前記モバイル・コンピューティング・デバイスの位置を識別する請求項１に記載のシステム。
前記識別された被写体をユーザ・アカウントとマッチングさせる前記ロジックが、セマフォ画像を表示する前記モバイル・コンピューティング・デバイスの位置を決定する画像認識エンジンを含み、前記モバイル・コンピューティング・デバイスの位置を識別する請求項１に記載のシステム。
【請求項5】
前記処理システムにアクセス可能なセマフォ画像のセットを含み、
前記処理システムが、前記ユーザ・アカウントを前記実空間のエリア内の識別された被写体にマッチングさせる前に、ユーザ・アカウントを識別するモバイル・コンピューティング・デバイス上のクライアント・アプリケーションからのログイン通信を受け入れるロジックを含み、ログイン通信を受け入れた後、前記セマフォ画像のセットから選択されたセマフォ画像を前記モバイル・デバイス上の前記クライアント・アプリケーションに送信する請求項４に記載のシステム。
前記処理システムが、前記ユーザ・アカウントを前記実空間のエリア内の識別された被写体にマッチングさせる前に、ユーザ・アカウントを識別するモバイル・コンピューティング・デバイス上のクライアント・アプリケーションからのログイン通信を受け入れるロジックを含み、ログイン通信を受け入れた後、前記セマフォ画像のセットから選択されたセマフォ画像を前記モバイル・デバイス上の前記クライアント・アプリケーションに送信する請求項４に記載のシステム。
【請求項6】
前記モバイル・コンピューティング・デバイス上の前記クライアント・アプリケーションが、位置データを前記処理システムに送信し、
前記識別された被写体をユーザ・アカウントとマッチングさせる前記ロジックが、前記モバイル・コンピューティング・デバイスから送信された前記位置データを使用する請求項１に記載のシステム。
前記識別された被写体をユーザ・アカウントとマッチングさせる前記ロジックが、前記モバイル・コンピューティング・デバイスから送信された前記位置データを使用する請求項１に記載のシステム。
【請求項7】
前記識別された被写体をユーザ・アカウントとマッチングさせる前記ロジックが、前記実空間のエリア内のある時間間隔にわたる複数の位置からの、前記モバイル・コンピューティング・デバイスから送信された前記位置データを使用するロジックを備え、
当該ロジックが、
マッチングされていないユーザ・アカウントの位置情報を送信する他の全てのモバイル・コンピューティング・デバイスが前記モバイル・コンピューティング・デバイスから所定の距離だけ離れていることを決定すること、
前記モバイル・コンピューティング・デバイスに最も近いマッチングされていない識別された被写体を決定すること、及び、
前記識別された被写体を前記モバイル・コンピューティング・デバイス上で実行する前記クライアント・アプリケーションの前記ユーザ・アカウントとマッチングさせることを、更に含む請求項６に記載のシステム。
当該ロジックが、
マッチングされていないユーザ・アカウントの位置情報を送信する他の全てのモバイル・コンピューティング・デバイスが前記モバイル・コンピューティング・デバイスから所定の距離だけ離れていることを決定すること、
前記モバイル・コンピューティング・デバイスに最も近いマッチングされていない識別された被写体を決定すること、及び、
前記識別された被写体を前記モバイル・コンピューティング・デバイス上で実行する前記クライアント・アプリケーションの前記ユーザ・アカウントとマッチングさせることを、更に含む請求項６に記載のシステム。
【請求項8】
前記モバイル・コンピューティング・デバイス上の前記クライアント・アプリケーションが、加速度計データを前記処理システムに送信し、
前記識別された被写体をユーザ・アカウントとマッチングさせる前記ロジックが、前記モバイル・コンピューティング・デバイスから送信された前記加速度計データを使用する請求項１に記載のシステム。
前記識別された被写体をユーザ・アカウントとマッチングさせる前記ロジックが、前記モバイル・コンピューティング・デバイスから送信された前記加速度計データを使用する請求項１に記載のシステム。
【請求項9】
前記モバイル・コンピューティング・デバイスが、前記実空間のエリア内での前記モバイル・コンピューティング・デバイスの位置を示すのに利用可能な信号を発信し、
前記識別された被写体をユーザ・アカウントとマッチングさせる前記ロジックが、前記モバイル・コンピューティング・デバイスが発信した前記信号に基づいて、前記実空間のエリア内のモバイル・コンピューティング・デバイスの位置を識別するトレーニングされたネットワークを含む請求項１に記載のシステム。
前記識別された被写体をユーザ・アカウントとマッチングさせる前記ロジックが、前記モバイル・コンピューティング・デバイスが発信した前記信号に基づいて、前記実空間のエリア内のモバイル・コンピューティング・デバイスの位置を識別するトレーニングされたネットワークを含む請求項１に記載のシステム。
【請求項10】
前記識別された被写体に対する在庫商品のリストを含むログ・データ構造を更に含み、
前記処理システムが、前記マッチングした識別された被写体の前記ログ・データ構造を、前記識別された被写体の前記ユーザ・アカウントに関連付けるロジックを含む請求項１に記載のシステム。
前記処理システムが、前記マッチングした識別された被写体の前記ログ・データ構造を、前記識別された被写体の前記ユーザ・アカウントに関連付けるロジックを含む請求項１に記載のシステム。
【請求項11】
実空間のエリア内の被写体をユーザ・アカウントとリンクするための方法であって、
前記ユーザ・アカウントは、モバイル・コンピューティング・デバイスで実行可能なクライアント・アプリケーションとリンクされており、
前記実空間内の対応する視野の複数の画像シーケンスを受信すること、
前記画像シーケンス内に表される識別された被写体の位置を決定すること、
前記実空間のエリア内でクライアント・アプリケーションを実行するモバイル・コンピューティング・デバイスの位置を識別し、前記モバイル・コンピューティング・デバイスの位置を前記被写体の位置とマッチングさせることによって、前記識別された被写体をユーザ・アカウントとマッチングさせること、及び、
現在の識別間隔からの位置特定された被写体の現在のセットを、過去の識別間隔からの位置特定された被写体の過去のセットと比較して、前記エリア内の追跡被写体の位置を追跡することを、含む方法。
前記ユーザ・アカウントは、モバイル・コンピューティング・デバイスで実行可能なクライアント・アプリケーションとリンクされており、
前記実空間内の対応する視野の複数の画像シーケンスを受信すること、
前記画像シーケンス内に表される識別された被写体の位置を決定すること、
前記実空間のエリア内でクライアント・アプリケーションを実行するモバイル・コンピューティング・デバイスの位置を識別し、前記モバイル・コンピューティング・デバイスの位置を前記被写体の位置とマッチングさせることによって、前記識別された被写体をユーザ・アカウントとマッチングさせること、及び、
現在の識別間隔からの位置特定された被写体の現在のセットを、過去の識別間隔からの位置特定された被写体の過去のセットと比較して、前記エリア内の追跡被写体の位置を追跡することを、含む方法。
【請求項12】
前記モバイル・コンピューティング・デバイスが、前記実空間のエリア内の前記モバイル・コンピューティング・デバイスの位置を示すために使用可能な信号を発信し、
前記識別された被写体をユーザ・アカウントとマッチングさせることが、前記発信された信号を使用してモバイル・コンピューティング・デバイスの位置を識別することを、更に含む請求項１１に記載の方法。
前記識別された被写体をユーザ・アカウントとマッチングさせることが、前記発信された信号を使用してモバイル・コンピューティング・デバイスの位置を識別することを、更に含む請求項１１に記載の方法。
【請求項13】
前記識別された被写体をユーザ・アカウントとマッチングさせることが、前記ユーザ・アカウントに関連する個人を識別するバイオメトリック情報を使用せずに実行される請求項１１に記載の方法。
【請求項14】
前記モバイル・コンピューティング・デバイス上の前記クライアント・アプリケーションが、前記実空間のエリア内の前記モバイル・コンピューティング・デバイス上で、セマフォ画像の表示を発生させ、
前記識別された被写体をユーザ・アカウントとマッチングさせることが、セマフォ画像を表示する前記モバイル・コンピューティング・デバイスの位置を決定する画像認識エンジンを使用し、モバイル・コンピューティング・デバイスの位置を識別することを更に含む請求項１１に記載の方法。
前記識別された被写体をユーザ・アカウントとマッチングさせることが、セマフォ画像を表示する前記モバイル・コンピューティング・デバイスの位置を決定する画像認識エンジンを使用し、モバイル・コンピューティング・デバイスの位置を識別することを更に含む請求項１１に記載の方法。
【請求項15】
前記ユーザ・アカウントを前記実空間のエリア内の識別された被写体にマッチングさせる前に、ユーザ・アカウントを識別するモバイル・コンピューティング・デバイス上のクライアント・アプリケーションからのログイン通信を受け入れること、及び、ログイン通信を受け入れた後、セマフォ画像のセットから選択されたセマフォ画像を前記モバイル・デバイス上の前記クライアント・アプリケーションに送信することを、更に含む請求項１４に記載の方法。
【請求項16】
前記識別された被写体をユーザ・アカウントとマッチングさせることが、前記モバイル・コンピューティング・デバイスから送信された位置データを使用することを、更に含む請求項１１に記載の方法。
【請求項17】
前記実空間のエリア内のある時間間隔にわたる複数の位置からの、前記モバイル・コンピューティング・デバイスから送信された前記位置データを使用して、前記識別された被写体をユーザ・アカウントとマッチングさせることを更に含み、
当該マッチングさせることが、
マッチングされていないユーザ・アカウントの位置情報を送信する他の全てのモバイル・コンピューティング・デバイスが前記モバイル・コンピューティング・デバイスから所定の距離だけ離れていることを決定すること、
前記モバイル・コンピューティング・デバイスに最も近いマッチングされていない識別された被写体を決定すること、及び、
前記識別された被写体を前記モバイル・コンピューティング・デバイス上で実行する前記クライアント・アプリケーションの前記ユーザ・アカウントとマッチングさせることを、含む請求項１６に記載の方法。
当該マッチングさせることが、
マッチングされていないユーザ・アカウントの位置情報を送信する他の全てのモバイル・コンピューティング・デバイスが前記モバイル・コンピューティング・デバイスから所定の距離だけ離れていることを決定すること、
前記モバイル・コンピューティング・デバイスに最も近いマッチングされていない識別された被写体を決定すること、及び、
前記識別された被写体を前記モバイル・コンピューティング・デバイス上で実行する前記クライアント・アプリケーションの前記ユーザ・アカウントとマッチングさせることを、含む請求項１６に記載の方法。
【請求項18】
前記識別された被写体をユーザ・アカウントとマッチングさせることが、前記モバイル・コンピューティング・デバイスから送信された加速度計データを使用することを、更に含む請求項１１に記載の方法。
【請求項19】
前記識別された被写体をユーザ・アカウントとマッチングさせることが、前記モバイル・コンピューティング・デバイスが発信した信号に基づいて、前記実空間のエリア内のモバイル・コンピューティング・デバイスの位置を識別するトレーニングされたネットワークを含む請求項１１に記載の方法。
【請求項20】
前記マッチングした識別された被写体に対する在庫商品のリストを含むログ・データ構造を、前記識別された被写体の前記ユーザ・アカウントに関連付けることを、更に含む請求項１１に記載の方法。
【請求項21】
コンピュータに請求項１１～２０の何れか１項に記載の方法を実行させるプログラム。
【発明の詳細な説明】
【優先出願】
【0001】
本出願は、２０１９年４月１８日出願の米国特許出願第１６／３８８，７６５号「ディープ・ラーニング・ベースの被写体連続性のためのシステム及び方法」（代理人整理番号ＳＴＣＧ １０１３－１）の利益を主張し、該出願は参照により本明細書に組み込まれる。
【技術分野】
【0002】
本発明は、実空間のエリア内の被写体を追跡するシステムに関する。
【背景技術】
【0003】
画像処理における困難な問題は、カメラからの被写体の画像がショッピングストアのような実空間のエリア内における被写体を識別し追跡するために使用されるときに生じる。システムは、被写体の存在期間中、実空間のエリア内の被写体を追跡し続ける必要がある。被写体は、システムと通信することなく、実空間のエリアを離れることができる。システムはまた、他の理由により、被写体の追跡を見失うことがある。例えば、被写体が、一時的に不明瞭になったり、被写体を追跡するために使用されるカメラやセンサの視野外の実空間のエリア内の位置に移動したりする場合、または、システムのエラーに起因する場合である。
【0004】
新しい被写体は実空間のエリア内に位置するので、システムは、新しい被写体が一時期不明になった追跡された被写体（「追跡被写体」と略称する。）であるか、または実空間のエリアに入ったばかりの新しい被写体であるかを判定する必要がある。
【0005】
本発明の目的は、実空間のエリア内の被写体をより効果的且つ自動的に追跡することができるシステムを提供することである。
【発明の概要】
【0006】
実空間のエリア内で被写体を追跡するためのシステム及びシステムを動作させるための方法が提供される。システムは、実空間内の対応する視野の複数の画像シーケンスを受信する。システムは、識別間隔中に実空間のエリア内の被写体の位置を特定するために画像シーケンスを使用するロジックを含む処理システムを含む。システムは、現在の識別間隔からの位置特定された被写体（「位置特定被写体」と略称する。）の現在のセットを、複数の過去の識別間隔からの位置特定被写体の過去のセットと比較して、エリア内の追跡被写体の位置を追跡するロジックを含む。
【0007】
一実施形態では、処理システムが（例えば、チェックインされた、またはアカウントにリンクされた）識別された被写体のセットを格納するデータベースにアクセスする。処理システムは、追跡被写体を識別された被写体とリンクするロジックを含む。現在の位置特定被写体が、過去の識別間隔からの追跡被写体とリンクできない場合、チェックイン・ルーチンのような、現在の位置特定被写体をアカウントにリンクする手順を実行しなければならない。本明細書に記載されるような連続性ロジックを利用して、よりロバストな追跡連続性を伴って、位置特定被写体をアカウントにリンクするために繰り返し動作を実行する必要性を低減することができる。
【0008】
一実施形態では現在の識別間隔からの位置特定被写体の現在のセットを、複数の過去の識別間隔からの位置特定被写体の過去のセットと比較するロジックは、現在のセット内の
位置特定被写体の数が複数の過去の間隔内の第１の先行する識別間隔からの位置特定被写体の数とマッチングしない条件を検出するロジックを含む。該条件が検出されると、システムは、現在のセット内の位置特定被写体の少なくとも１つを、第１の先行する識別間隔に先行する、複数の過去の識別間隔内の第２の先行する識別間隔からの位置特定被写体のセットと比較する。
位置特定被写体の数が複数の過去の間隔内の第１の先行する識別間隔からの位置特定被写体の数とマッチングしない条件を検出するロジックを含む。該条件が検出されると、システムは、現在のセット内の位置特定被写体の少なくとも１つを、第１の先行する識別間隔に先行する、複数の過去の識別間隔内の第２の先行する識別間隔からの位置特定被写体のセットと比較する。
【0009】
一実施形態では、該条件が検出されると、第１の先行する識別間隔からの位置特定被写体のセットがＮ個のメンバーを含み、第２の先行する識別間隔からの位置特定被写体のセットがＮ個のメンバーに欠落している追跡被写体（「欠落追跡被写体」と略称する。）を加えたものを含み、現在の位置特定被写体のセットがＮ個のメンバーに候補位置特定被写体を加えたものを含む場合、次に、システムは、現在の識別間隔から位置特定された候補位置特定被写体を、第２の先行する識別間隔から位置特定された欠落追跡被写体とリンクさせる。
【0010】
斯かる実施形態では、現在の識別間隔から位置特定された候補位置特定被写体を、第２の先行する識別間隔から位置特定された欠落追跡被写体とリンクさせることは、それぞれの位置タイムスタンプ間の差を計算することを含む。候補位置特定被写体及び欠落追跡被写体は、候補位置特定被写体及び欠落追跡被写体の位置の時間のタイムスタンプの差が第１の閾値未満である場合にリンクされる。
【0011】
別の実施形態では、現在の識別間隔から位置特定された候補位置特定被写体を、第２の先行する識別間隔から位置特定された欠落追跡被写体とリンクさせることは、実空間のエリア内のそれぞれの位置間の距離を計算することを含む。候補位置特定被写体と欠落追跡被写体との間の距離が第２の閾値未満である場合、候補位置特定被写体と欠落追跡被写体とがリンクされる。
【0012】
別の実施形態では、現在の識別間隔から位置特定された候補位置特定被写体を、第２の先行する識別間隔から位置特定された欠落追跡被写体とリンクさせることは、これらの被写体のシンク（ｓｉｎｋ）（または出口または入口領域の境界）とも呼ばれる実空間のエリア内の位置までのそれぞれの距離を計算することを含む。これらの被写体のそれぞれの位置と実空間のエリアの該位置との間の距離が第３の閾値未満である場合、候補位置特定被写体と欠落追跡被写体とがリンクされる。
【0013】
一実施形態では、システムが現在の識別間隔（第３の識別間隔とも呼ばれる）内に２以上の候補位置特定被写体を位置特定する。斯かる実施形態では、システムは、現在の識別間隔内の位置特定被写体を、先行する識別間隔内の追跡被写体とマッチングさせ、追跡被写体を更新するための以下のロジックを含む。第１の先行する識別間隔からの位置特定被写体のセットが追跡されるＮ個のメンバーを含む場合、現在の識別間隔からの位置特定被写体のセットは、Ｎ個のメンバーに加えて１以上の候補位置特定被写体を含む。次いで、システムは、現在の識別間隔からの位置特定被写体のセットのＮ個のメンバーを、第１の先行する識別間隔からの追跡被写体のセットのＮ個のメンバーにリンクすることを単純化するためのロジックを含む。システムは、現在の識別間隔からの位置特定被写体のセットのメンバーに優先順位を付けて、第１の先行する識別間隔からのＮ個の追跡被写体のセットにリンクするＮ個の位置特定被写体のセットを識別する。
【0014】
斯かる実施形態では、Ｎ個の位置特定被写体のセットを識別するために、現在の識別間隔からの位置特定被写体のセットのメンバーに優先順位を付けることは、Ｎ個のメンバーのペアと、現在の識別間隔から位置特定された２以上の候補位置特定被写体との間の距離を計算するロジックを含む。次いで、システムは、計算された距離を第２の閾値と比較することによって、Ｎ個の位置特定被写体のセットを識別する。
【0015】
斯かる実施形態では、システムは、第１の先行する識別間隔からのＮ個の追跡被写体のセットのメンバーを、現在の識別間隔内のＮ個の位置特定被写体のセットのメンバーにリンクするロジックを含む。システムは、第１の先行する識別間隔からのＮ個の追跡被写体のセットのメンバーの位置と、現在の識別間隔内のＮ個の位置特定被写体のセットのメンバーとの間の距離を計算する。システムは、計算された距離を第２の閾値と比較する。
【0016】
システムは、第１の先行する識別間隔からのＮ個の追跡被写体のセットのメンバーを、現在の識別間隔内のＮ個の位置特定被写体のセットのメンバーにリンクするロジックを含む。システムは、第１の先行する識別間隔からのＮ個の追跡被写体のセットのメンバーの位置と、現在の識別間隔内のＮ個の位置特定被写体のセットのメンバーの位置の、シンク、すなわち出口または入口領域の境界までの距離を計算する。システムは、計算された距離を第３の閾値と比較する。
【0017】
システムは、第１の先行する識別間隔からのＮ個の追跡被写体のセットには、現在の識別間隔内のＮ個の位置特定被写体のセットのメンバーとマッチングする他のメンバーのいないことを決定することによって、第１の先行する識別間隔からのＮ個の追跡被写体のセットのメンバーを、現在の識別間隔内のＮ個の位置特定被写体のセットのメンバーにリンクする。
【0018】
システムは、欠落追跡被写体の位置と、実空間のエリア内の指定非監視位置との間の距離を計算するロジックと、候補位置特定被写体の位置と実空間のエリア内の指定非監視位置との間の距離を計算するロジックとを含む。システムは、計算された距離を第３の閾値と比較する。システムは、第２の先行する識別間隔における追跡被写体のセット及び現在の識別間隔における位置特定被写体のセット内には第３の閾値よりも指定非監視位置に近い他の被写体がないと判定することによって、現在の識別間隔からの候補位置特定被写体を、欠落追跡被写体とマッチングさせる。
【0019】
一実施態様において、実空間のエリア内の対応する視野の複数の画像シーケンスは、実空間のエリア内のそれぞれの視野の同期した画像シーケンスを生成する複数のセンサにより生成される。一実施形態では、センサはカメラを含む。
【0020】
一実施形態では、複数のシーケンスの各々における１つの画像が各画像キャプチャ・サイクルにおいて取得され、識別間隔は画像キャプチャ・サイクルに対応する。別の実施形態では、識別間隔が２以上の画像キャプチャ・サイクルを含む。
【0021】
一実施形態では、識別間隔中に実空間のエリア内の被写体の位置を特定するために画像シーケンスを使用するロジックが、実空間のエリア内の関節のコンステレーションとして被写体の位置を特定することを含み、関節のコンステレーション内の関節は実空間のエリアの３次元内の位置及びタイムスタンプによって表される位置を含む。一実施形態では、タイムスタンプが画像キャプチャ・サイクルにおいて画像が取得される時間に対応する。
【0022】
また、本明細書に記載されるシステムは、実空間内の対応する視野の複数の画像シーケンスを受信する処理システムであって、識別間隔中に実空間のエリア内の被写体の位置を特定するために画像シーケンスを使用するロジックと、追跡被写体を識別するために複数の識別間隔からの位置特定被写体をマッチングさせるロジックと、追跡被写体をユーザ・アカウントにリンクし、実空間のエリア内の識別された被写体の記録を維持するロジックと、識別された被写体の位置を更新するために、現在の識別間隔における位置特定被写体を、複数の先行する識別間隔における識別された被写体と比較し、現在の識別間隔中の位置特定被写体の数と、第１の先行する識別間隔中の識別された被写体の数とにミスマッチ
がある場合に、次に、現在の識別間隔中の位置特定被写体の少なくとも１つを、少なくとも１つの他の先行する識別間隔中の識別された被写体と比較することを含むロジックと、を含む。
がある場合に、次に、現在の識別間隔中の位置特定被写体の少なくとも１つを、少なくとも１つの他の先行する識別間隔中の識別された被写体と比較することを含むロジックと、を含む。
【0023】
本明細書で説明する実施形態では、追跡被写体をユーザ・アカウントにリンクするロジックが、ユーザに関する個人的なバイオメトリック情報なしで動作する。
【0024】
また、本明細書で説明される実施形態では、追跡被写体をユーザ・アカウントにリンクするロジックが、実空間のエリア内でクライアント・アプリケーションを実行するモバイル・デバイスの位置を識別し、モバイル・デバイスの位置を追跡被写体または位置特定被写体の位置とマッチングさせる手順を含む。
【0025】
コンピュータ・システムによって実行することができる方法及びコンピュータ・プログラム製品も、本明細書において説明されている。
【0026】
本明細書に記載される機能は、限定されるものではないが、実空間のエリア内の特定の識別間隔における候補位置特定被写体を識別し追跡することと、異なる識別間隔において位置特定された欠落追跡被写体に候補位置特定被写体をマッチングさせることと、欠落追跡被写体に候補位置特定被写体をマッチングさせるために使用するように構成されたデータ構造とを含み、例えば、処理される画像データのタイプ、画像データのどの処理を実行すべきか、及び画像データからどのように動作を高信頼度で決定するかに関するコンピュータ・エンジニアリングの複雑な問題を提示する。
【0027】
発明の他の実施態様及び利点は、以下の図面、詳細な説明、及び特許請求の範囲を検討することによって理解することができる。
【図面の簡単な説明】
【0028】
【図1】実空間内の被写体を追跡する被写体連続性処理エンジンのアーキテクチャ・レベルの概略図を示す。
【0029】
【図2A】被写体、在庫陳列構造、及びショッピングストア内のカメラ配置を示すショッピングストア内の通路の側面図である。
【0030】
【図2B】実空間のエリア内における在庫陳列構造内の棚から商品を取り出す被写体を示す斜視図である。
【0031】
【図3A】被写体の関節情報を記憶するための例示的なデータ構造を示す。
【0032】
【図3B】関連する関節の情報を含む被写体を記憶するための例示的なデータ構造を示す。
【0033】
【図4A】第２の先行する識別間隔における実空間のエリア内の追跡被写体を示す。
【0034】
【図4B】第２の先行する識別間隔において位置特定された１つの追跡被写体が欠落している、第１の先行する識別間隔における実空間のエリア内の追跡被写体を示す。
【0035】
【図4C】候補被写体が位置特定された現在の識別間隔における実空間のエリア内の位置特定された被写体を示す。
【0036】
【図5】候補位置特定被写体を、欠落追跡被写体にマッチングさせるための例示的なフローチャートである。
【0037】
【図6A】第１の先行する識別間隔において位置特定された実空間のエリア内の追跡被写体を示す。
【0038】
【図6B】第１の先行する識別間隔において位置特定された追跡被写体とマッチングしない１以上の位置特定被写体を有する現在の識別間隔における実空間のエリア内の位置特定された被写体を示す。
【0039】
【図7】現在の識別間隔内の２以上の位置特定被写体が第１の先行する識別間隔内の追跡被写体とマッチングしない場合に、現在の識別間隔において位置特定された被写体を、第１の先行する識別間隔内の追跡被写体とマッチングさせるための処理ステップを示す例示的なフローチャートである。
【0040】
【図8A】指定非監視位置と、指定非監視位置の近くに位置し、第２の先行する識別間隔において位置特定された追跡被写体とを有する実空間のエリアを示す。
【0041】
【0042】
【図8C】指定非監視位置の近くに位置する候補位置特定被写体を含む実空間のエリア内において、現在の識別間隔において位置特定された被写体を示す。
【0043】
【図9】指定非監視位置の近くの候補位置特定被写体を、欠落追跡被写体にマッチングさせるための処理ステップを有する例示的なフローチャートである。
【0044】
【0045】
【図11】ショッピングストア内のモバイル・コンピューティング・デバイスを持つ被写体、及びカメラ配置を示すショッピングストア内の通路の側面図である。
【0046】
【0047】
【図13】モバイル・コンピューティング・デバイス上に表示されたセマフォ画像を使用して、追跡被写体をユーザ・アカウントにマッチングさせることにより被写体を識別させるための処理ステップを示すフローチャートである。
【0048】
【図14】モバイル・コンピューティング・デバイスのサービス位置を使用して、追跡被写体をユーザ・アカウントにマッチングさせることにより被写体を識別させるための処理ステップを示すフローチャートである。
【0049】
【図15】被写体及びモバイル・コンピューティング・デバイスの速度を使用して、追跡被写体をユーザ・アカウントにマッチングさせることにより被写体を識別させるための処理ステップを示すフローチャートである。
【0050】
【図16A】ネットワーク・アンサンブルを使用して、追跡被写体をユーザ・アカウントにマッチングさせるための処理ステップの第１の部分を示すフローチャートである。
【0051】
【図16B】ネットワーク・アンサンブルを使用して、追跡被写体をユーザ・アカウントにマッチングさせるための処理ステップの第２の部分を示すフローチャートである。
【0052】
【図16C】ネットワーク・アンサンブルを使用して、追跡被写体をユーザ・アカウントにマッチングさせるための処理ステップの第３の部分を示すフローチャートである。
【0053】
【発明を実施するための形態】
【0054】
以下の説明は、当業者が本発明を作成し使用することを可能にするために提示され、特定の用途及びその要件に即して提供される。開示された実施態様に対する様々な修正は、当業者には容易に明らかであり、本明細書で定義される一般原則は、本発明の精神及び範囲から逸脱することなく、他の実施態様及び用途に適用され得る。従って、本発明は、示された実施態様に限定されることを意図するものではなく、本明細書に開示された原理及び特徴と一致する最も広い範囲が与えられるべきである。
［システム概要］
［システム概要］
【0055】
図１～図１７を参照して、対象技術のシステム及び様々な実施態様を説明する。システム及び処理は、本実施態様によるシステムのアーキテクチャ・レベル概略図である図１を参照して説明される。図１は、アーキテクチャ図であるため、説明の明確性を向上させるために、特定の詳細は省略されている。
【0056】
図１の説明は、以下のように編成される。最初に、システムの要素を説明し、次にそれらの相互接続を説明する。次に、システムにおける要素の使用についてより詳細に説明する。
【0057】
図１は、システム１００のブロック図レベルの説明図を提供する。本システム１００は、カメラ１１４、ネットワーク・ノードがホストする画像認識エンジン１１２ａ，１１２ｂ及び１１２ｎ、モバイル・コンピューティング・デバイス１１８ａ，１１８ｂ，１１８ｍ（集合的に、モバイル・コンピューティング・デバイス１２０と呼ぶ）、ネットワーク上のネットワーク・ノード（または、ノード）１０４内に配置された被写体連続性処理エンジン１８０、被写体追跡エンジン１１０をホストするネットワーク・ノード１０２、ネットワーク・ノード、または、ノード（処理プラットフォームとしても知られている）１０３内に配置されたマッチング・エンジン１７０を含む。ネットワーク・ノードは、この例では、マップ・データベース１４０、被写体データベース１５０、連続性ヒューリスティック・データベース１６０、トレーニング・データベース１６２、ユーザ・アカウント・データベース１６４、画像データベース１６６、及び、通信ネットワーク１８１を含む、被写体の追跡及び連続性をサポートするメモリを含むか、或いは、該メモリへのアクセスを有することができる。ネットワーク・ノードは、１つの画像認識エンジンのみ、または、複数の画像認識エンジンをホストすることができる。
【0058】
本明細書で説明される実施形態は、例えばＲＧＢカラー出力画像を生成することができる可視範囲のカメラを使用する。他の実施形態では、画像シーケンスを生成するために、異なる種類のセンサが使用される。斯かるセンサの例には、実空間において対応する視野の画像シーケンスを生成するために使用される、超音波センサ、熱センサ、Ｌｉｄａｒ等が含まれる。一実施形態では、カメラ１１４に加えてセンサを使用することができる。複
数のセンサを互いに時間的に同期させることができ、その結果、フレームは同時に、または時間的に近接して、同じフレーム・キャプチャ・レートでセンサによって取得される。本明細書に記載される実施形態の全ては、カメラ以外のセンサ、または、カメラに追加されたセンサを含むことができる。
数のセンサを互いに時間的に同期させることができ、その結果、フレームは同時に、または時間的に近接して、同じフレーム・キャプチャ・レートでセンサによって取得される。本明細書に記載される実施形態の全ては、カメラ以外のセンサ、または、カメラに追加されたセンサを含むことができる。
【0059】
本明細書で使用されるように、ネットワーク・ノードは、ネットワークに接続され、通信チャネルを介して他のネットワーク・ノードとの間で情報を送信、受信、または転送することができる、アドレス可能なハードウェア・デバイスまたは仮想デバイスである。ハードウェア・ネットワーク・ノードとして配置することができる電子デバイスの例には、あらゆる種類のコンピュータ、ワークステーション、ラップトップ・コンピュータ、ハンドヘルド・コンピュータ、及びスマートフォンが含まれる。ネットワーク・ノードは、クラウドベースのサーバ・システムで実施することができる。ネットワーク・ノードとして構成された複数の仮想デバイスを、単一の物理デバイスを使用して実施することができる。
【0060】
データベース１４０、１５０、１６０、１６２、１６４、及び１６６は、１または複数の非一時的コンピュータ可読媒体に記憶される。本明細書で使用されているように、データベースがコンピュータ可読媒体上またはコンピュータ可読媒体内の何れに配置されているかの区別は意図されていない。更に、本明細書で使用されているように、用語「データベース」は何らかの構造の単一性を必ずしも意味するものではなく、例えば、２以上の別個のデータベースは、一緒に考慮される場合、その用語が本明細書で使用されているように、依然として「データベース」を構成する。従って、図１では、データベース１４０，１５０，１６０，１６２，１６４，及び１６６は単一のデータベースであると考えることができる。
【0061】
明確性のために、画像認識エンジンをホストする３つのネットワーク・ノードのみがシステム１００に示されている。しかしながら、画像認識エンジンをホストする任意の数のネットワーク・ノードを、ネットワーク１８１を介して被写体追跡エンジン１１０に接続することができる。同様に、画像認識エンジン、被写体追跡エンジン、被写体連続性処理エンジン、マッチング・エンジン、及び、本明細書で説明する他の処理エンジンは、分散アーキテクチャ内の複数のネットワーク・ノードを使用して実行することができる。
【0062】
次に、システム１００の要素の相互接続について説明する。ネットワーク１８１は、画像認識エンジン１１２ａ，１１２ｂ，及び１１２ｎをそれぞれホストするネットワーク・ノード１０１ａ、１０１ｂ、及び１０１ｎ、被写体連続性処理エンジン１８０をホストするネットワーク・ノード１０４、被写体追跡エンジン１１０をホストするネットワーク・ノード１０２、マッチング・エンジン１７０をホストするネットワーク・ノード１０３、マップ・データベース１４０、被写体データベース１５０、連続性ヒューリスティック・データベース１６０、トレーニング・データベース１６２、ユーザ・データベース１６４、画像データベース１６６及び、モバイル・コンピューティング・デバイスを結合する。カメラ１１４は、画像認識エンジン１１２ａ，１１２ｂ，及び１１２ｎをホストするネットワーク・ノードを介して被写体追跡エンジン１１０に接続される。一実施形態では、カメラ１１４がショッピングストアに設置され、重なり合う視野を有するカメラ１１４のセット（２つ以上）が配置されて、店舗内の実空間の画像を取得する。図１では、２つのカメラが通路１１６ａの上に配置され、２つのカメラが通路１１６ｂの上に配置され、３つのカメラが通路１１６ｎの上に配置されている。カメラは、オープンスペース、通路上、及び ショッピングストアへの入口及び出口付近に設置される。斯かる実施形態では、カメラは、ショッピングストア内を移動する顧客がいつの時点でも２つ以上のカメラの視野内に存在することを目標として構成される。
【0063】
カメラ１１４は、互いに時間的に同期させることができ、その結果、画像は、画像キャプチャ・サイクルで同時にまたは時間的に近く、且つ同じ画像キャプチャ・レートで取得される。カメラ１１４は、画像認識エンジン１１２ａ～１１２ｎをホストするネットワーク・ノードに、所定のレートでそれぞれの継続的な画像ストリームを送ることができる。同時にまたは時間的に近くに、実空間のエリアをカバーする全てのカメラにおいて取得された画像は、同期された画像が実空間において固定された位置を有する被写体の異なる光景を表すものとして処理エンジンにおいて識別され得るという意味で、同期している。例えば、一実施形態では、カメラが、３０フレーム／秒（ｆｐｓ）のレートで、画像認識エンジン１１２ａ～１１２ｎをホストするそれぞれのネットワーク・ノードに画像フレームを送信する。各フレームは、画像データと共に、タイムスタンプ、カメラの識別情報（「カメラＩＤ」と略される）、及びフレーム識別情報（「フレームＩＤ」と略される）を有する。上述の開示された技術の他の実施形態は、このデータを生成するために、赤外線または高周波イメージ・センサ、超音波センサ、熱センサ、ライダ（Ｌｉｄａｒ）等の様々なタイプのセンサを使用することができる。ＲＧＢカラー出力を生成するカメラ１１４に追加して、例えば、赤外線または高周波イメージ・センサを含む、複数タイプのセンサが使用され得る。複数のセンサは互いに時間的に同期され、その結果、フレームは、センサによって同時または時間的に近接して、同じフレーム・キャプチャ・レートで取得される。明細書に開示される全ての実施形態において、カメラ以外のセンサ、または、複数タイプのセンサが、使用される画像シーケンスを生成するために使用され得る。
【0064】
カメラは、それぞれの画像認識エンジンに接続される。例えば、図１において、通路１１６ａ上に設置された２つのカメラは、画像認識エンジン１１２ａをホストするネットワーク・ノード１０１ａに接続される。同様に、通路１１６ｂ上に設置された２つのカメラは、画像認識エンジン１１２ｂをホストするネットワーク・ノード１０１ｂに接続される。ネットワーク・ノード１０１ａ～１０１ｎ内でホストされる各画像認識エンジン１１２ａ～１１２ｎは、図示の例ではそれぞれ１つのカメラから受信した画像フレームを別々に処理する。本明細書で説明される被写体追跡システムの実施形態では、カメラは頭上に設置され、その結果、カメラの視野は、組み合わされて、ショッピングストア内等の追跡が行われるべき実空間のエリアを包含する。
【0065】
一実施形態では、各画像認識エンジン１１２ａ、１１２ｂ、及び１１２ｎは、畳み込みニューラル・ネットワーク（ＣＮＮと略す）等の深層学習アルゴリズムとして実装される。斯かる実施形態では、ＣＮＮがトレーニング・データベースを使用してトレーニングされる。本明細書で説明される実施形態では、実空間内の被写体の画像認識が、画像内で認識可能な関節を識別しグループ化することに基づいており、関節のような被写体の特徴のグループは個々の被写体に帰属することができる。この関節ベースの分析のために、トレーニング・データベース１３０は、被写体のための異なるタイプの関節の各々に対して膨大な画像を収集している。ショッピングストアの例示的な実施形態では、被写体は、棚の間の通路を移動する顧客である。例示的な実施形態では、ＣＮＮのトレーニング中に、システム１００は「トレーニング・システム」と呼ばれる。トレーニング・データベースを使用してＣＮＮをトレーニングした後、ＣＮＮは、プロダクション・モードに切り替えられ、ショッピングストア内の顧客の画像をリアルタイムで処理する。
【0066】
例示的な実施形態では、プロダクション中に、システム１００はランタイム・システムと呼ばれる（推論システムとも呼ばれる）。それぞれの画像認識装置のＣＮＮは、それぞれの画像ストリーム中の画像に対して関節データ構造の配列を生成する。本明細書に記載される実施形態では、関節データ構造の配列が、各処理された画像に対して生成されることで、各画像認識エンジン１１２ａ～１１２ｎが、関節データ構造の配列の出力ストリームを生成する。重なり合う視野を有するカメラからの関節データ構造のこれらの配列は、関節のグループを形成し、斯かる関節のグループを被写体として識別するために、更に処
理される。システムは、被写体が実空間のエリア内に存在している間、追跡識別子「追跡ＩＤ」を使用して被写体を追跡することができる。追跡被写体は被写体データベース１５０に保存される。
理される。システムは、被写体が実空間のエリア内に存在している間、追跡識別子「追跡ＩＤ」を使用して被写体を追跡することができる。追跡被写体は被写体データベース１５０に保存される。
【0067】
被写体追跡エンジン１１０は、ネットワーク・ノード１０２上でホストされ、この例では、 画像認識エンジン１１２ａ～１１２ｎから被写体の関節データ構造の配列の継続的なストリームを受信する。被写体追跡エンジン１１０は、画像キャプチャ・サイクルでカメラより受信した画像シーケンスから認識された関節データ構造の配列を処理する。そして、様々な画像シーケンスに対応する関節データ構造の配列内の要素の座標を、実空間内の座標を有する候補関節に変換する。同期画像の各セットについて、実空間全体にわたって識別された候補関節の組み合わせは、類推目的のために、候補関節の銀河に似ていると考えることができる。後続の各時点において、銀河が経時的に変化するように、候補関節の動きが記録される。被写体追跡エンジン１１０の出力は、識別間隔中に実空間のエリア内の被写体を位置特定するために使用される。カメラによって生成された、複数の画像シーケンスの各々における１つの画像が、各画像キャプチャ・サイクルにおいて取得される。
【0068】
被写体追跡エンジン１１０は、実空間内の座標を有する候補関節のグループまたはセットを、実空間内の被写体として決定するロジックを使用する。類推目的のために、候補点の各セットは、各時点における候補関節の星座（コンステレーション）に似ている。一実施形態では、関節のこれらのコンステレーションが位置特定被写体を表すものとして識別間隔毎に生成される。被写体は、関節のコンステレーションを使用して、識別間隔中に位置特定される。候補関節のコンステレーションは、時間とともに移動することができる。複数の時間的に順序付けられた識別間隔にわたるような、ある期間にわたる被写体追跡エンジン１１０の出力の時系列分析は、実空間のエリアにおける被写体の動きを識別する。システムは、実空間内の固有識別子、関節、及びそれらの位置を含む被写体データを、被写体データベース１５０内のに格納することができる。
【0069】
例示的な実施形態では、位置特定被写体を表す候補関節のセット（すなわち、コンステレーション）を識別するロジックが、実空間内の被写体の関節間の物理的関係に基づくヒューリスティック関数を含む。これらのヒューリスティック関数は、候補関節のセットを被写体として位置特定するために使用される。候補関節のセットは、他の個々の候補関節とのヒューリスティック・パラメータに基づく関係を有する個々の候補関節、及び、個々の被写体として位置特定された、または位置特定され得る所与のセット内の候補関節のサブセットを含む。
【0070】
１つの識別間隔内の位置特定被写体は、位置及びタイミングデータに基づいて、他の識別間隔内の位置特定被写体とマッチングすることができる。このようにマッチングした位置特定被写体は、本明細書では追跡被写体と呼ばれ、それらの位置は、識別間隔を横断して実空間のエリアを動き回るときに、システム内で追跡することができる。本システムでは、例えば、固有追跡識別子を、識別間隔毎に位置特定被写体のリストのメンバーに割り当てること等によって、或る期間にわたる各識別間隔からの追跡被写体のリストを維持することができる。現在の識別間隔内の位置特定被写体は、１または複数の過去の識別間隔からの追跡被写体に対応するかどうかを判定するために処理される。それらがマッチングする場合、追跡被写体の位置は、現在の識別間隔の位置に更新される。過去の間隔からの追跡被写体とマッチングしない位置特定被写体は、それらが新しく到着した被写体を表すか、または以前に追跡されたが、前の識別間隔から欠落している被写体を表すかどうかを決定するために、更に処理される。
【0071】
被写体を追跡するために、被写体連続性処理エンジン１８０は、現在の識別間隔内の新
たな位置特定被写体を、１または複数の先行する識別間隔と比較する。システムは、新たな位置特定被写体が、前の識別間隔で既に追跡され、被写体データベースに記憶されたが、直前の識別間隔の位置特定被写体とマッチングしなかった欠落追跡被写体であるかどうかを判定するロジックを含む。現在の識別間隔における新たな位置特定被写体が、以前の識別間隔において位置特定された欠落追跡被写体とマッチングする場合、システムは、現在の識別間隔から位置特定された候補位置特定被写体を使用して、被写体データベース１５０内の欠落追跡被写体を更新する。
たな位置特定被写体を、１または複数の先行する識別間隔と比較する。システムは、新たな位置特定被写体が、前の識別間隔で既に追跡され、被写体データベースに記憶されたが、直前の識別間隔の位置特定被写体とマッチングしなかった欠落追跡被写体であるかどうかを判定するロジックを含む。現在の識別間隔における新たな位置特定被写体が、以前の識別間隔において位置特定された欠落追跡被写体とマッチングする場合、システムは、現在の識別間隔から位置特定された候補位置特定被写体を使用して、被写体データベース１５０内の欠落追跡被写体を更新する。
【0072】
被写体が上述のように関節のコンステレーションとして表される一実施形態では、欠落追跡被写体の関節の位置は、現在の識別間隔から位置特定された候補位置特定被写体の対応する関節の位置を用いて、データベース内で更新される。この実施形態では、システムが追跡被写体に関する情報を被写体データベース１５０に記憶する。これは、追跡被写体が位置特定された識別間隔等の情報を含むことができる。更に、システムは、追跡被写体について、追跡被写体が位置特定されていない識別間隔を記憶することもできる。別の実施形態では、システムが、追跡被写体が欠落し、実空間のエリア内の欠落追跡被写体の最後の既知の位置における識別間隔といった追加情報と共に、欠落被写体データベースへ欠落追跡被写体を格納すること、或いは、追跡被写体に欠落している旨のタグを付けることができる。幾つかの実施形態では、追跡され位置特定された被写体の状態は、識別間隔毎に記憶することができる。
【0073】
被写体連続性エンジン１８０は、様々な被写体連続性シナリオを処理することができる。例えば、２以上の候補位置特定被写体が現在の識別間隔において位置特定されるが、追跡被写体とマッチングしない状況、または、位置特定被写体が実空間のエリア内の指定非監視位置に移動するが、ある時間後に再び現れ、現在の識別間隔内の指定非監視位置の近くで位置特定される状況である。実空間のエリア内における指定非監視位置は例えば、トイレであってもよい。この技術は、連続性ヒューリスティックを使用して、上記の分析を実行することができる。一実施形態では、被写体連続性ヒューリスティックは、連続性ヒューリスティック・データベース１６０に格納される。
【0074】
ショッピングストアの例では、顧客（上記の被写体とも呼ばれる）が通路内及びオープンスペース内を移動する。顧客は、在庫陳列構造内の棚上の在庫位置から商品を取り出す。在庫陳列構造の一例では、棚はフロアから様々なレベル（または高さ）に配置され、在庫商品は棚上にストックされる。棚は、壁に固定されるか、または、ショッピングストア内の通路を形成する自立棚として配置され得る。在庫陳列構造の他の例には、ペグボード棚、マガジン棚、回転式棚、倉庫棚、及び、冷蔵棚ユニットが含まれる。在庫商品は、積み重ねワイヤバスケット、ダンプビン等の他のタイプの在庫陳列構造にストックすることもできる。また、顧客は商品を、それらが取り出された棚から同じ棚に、または別の棚に戻すこともできる。
【0075】
一実施形態では、画像分析は匿名であり、すなわち、関節分析によって作成された被写体に割り当てられた固有追跡識別子は実空間内の任意の特定の被写体の個人識別詳細(名前、電子メールアドレス、郵送先住所、クレジット・カード番号、銀行口座番号、運転免許証番号等)を識別しない。被写体データベース１５０に格納されるデータは、個人識別情報を含まない。被写体連続性処理エンジン１８０及び被写体追跡エンジン１１０の動作は、被写体に関連するバイオメトリック情報を含むいかなる個人識別情報も使用しない。
【0076】
一実施形態では、追跡被写体は、例えば被写体によって提供される好ましい支払い方法を含むそれぞれの「ユーザ・アカウント」にそれらをリンクすることによって識別される。ユーザ・アカウントにリンクされると、追跡被写体は、本明細書では識別された被写体として特徴付けられる。追跡被写体は店舗で拾得した商品とリンクされ、例えば、ユーザ
・アカウントとリンクされ、店舗を出ると、請求書が生成され、識別された被写体に配送することができ、或いは、オンラインで実行される金融取引が、そのアカウントに関連する支払方法を使用して識別された被写体に課金することができる。識別された被写体は、例えば、固有アカウント識別子または被写体識別子等によって一意に識別することができる。レジ無し店舗の例では、顧客が棚から商品を取り出すことによって買い物を完了すると、システムは顧客によって購入された商品の支払いを処理する。
・アカウントとリンクされ、店舗を出ると、請求書が生成され、識別された被写体に配送することができ、或いは、オンラインで実行される金融取引が、そのアカウントに関連する支払方法を使用して識別された被写体に課金することができる。識別された被写体は、例えば、固有アカウント識別子または被写体識別子等によって一意に識別することができる。レジ無し店舗の例では、顧客が棚から商品を取り出すことによって買い物を完了すると、システムは顧客によって購入された商品の支払いを処理する。
【0077】
システムは、識別された被写体をユーザ・アカウントとマッチングさせるために、モバイル・コンピューティング・デバイス１２０（被写体によって携帯される）から受信した信号を処理するマッチング・エンジン１７０（ネットワーク・ノード１０３上でホストされる）を含む。マッチングは、画像から個人を識別するバイオメトリック情報を使用することなく、実空間（例えば、ショッピングストア）のエリア内でクライアント・アプリケーションを実行するモバイル・デバイスの位置を識別し、モバイル・デバイスの位置を被写体の位置とマッチングさせることによって実行することができる。
【0078】
ネットワーク１８１を介した、被写体連続性処理エンジン１８０をホストするネットワーク・ノード１０４、及び、被写体追跡エンジン１１０をホストするネットワーク・ノード１０２への実際の通信経路は、公衆ネットワーク及び／またはプライベート・ネットワーク上のポイント・ツー・ポイントとすることができる。通信は、プライベート・ネットワーク、ＶＰＮ、ＭＰＬＳ回路、またはインターネット等の様々なネットワーク１８１を介して行うことができ、適切なアプリケーション・プログラミング・インターフェース（ＡＰＩ）及びデータ交換フォーマット、例えば、ＲＥＳＴ（Representational State Transfer）、ＪＳＯＮ（JavaScript（商標）Object Notation）、ＸＭＬ（Extensible Markup Language）、ＳＯＡＰ（Simple Object Access Protocol）、ＪＭＳ（Java（商標）Message Service）、及び／またはＪａｖａプラットフォーム・モジュール・システム等を使用することができる。全ての通信は、暗号化することができる。通信は、一般に、ＥＤＧＥ、３Ｇ、４ＧＬＴＥ、Ｗｉ－Ｆｉ、及びＷｉＭＡＸ等のプロトコルを介して、ＬＡＮ(ローカル・エリア・ネットワーク）、ＷＡＮ(ワイド・エリア・ネットワーク）、電話ネットワーク（公衆交換電話網（ＰＳＴＮ））、セッション開始プロトコル（ＳＩＰ）、無線ネットワーク、ポイント・ツー・ポイント・ネットワーク、星型ネットワーク，トークンリング型ネットワーク，ハブ型ネットワーク、インターネット（モバイルインターネットを含む）等のネットワーク上で行われる。更に、ユーザ名／パスワード、オープン許可（ＯＡｕｔｈ）、Ｋｅｒｂｅｒｏｓ、ＳｅｃｕｒｅＩＤ、デジタル証明書等の様々な承認及び認証技術を使用して、通信を保護することができる。
【0079】
本明細書に開示される技術は、データベース・システム、マルチテナント環境、または、Ｏｒａｃｌｅ（商標）と互換性のあるデータベース実施態様、ＩＢＭ ＤＢ２ Ｅｎｔｅｒｐｒｉｓｅ Ｓｅｒｖｅｒ（商標）と互換性のあるリレーショナル・データベース実施態様、ＭｙＳＱＬ（商標）またはＰｏｓｔｇｒｅＳＱＬ（商標）と互換性のあるリレーショナル・データベース実施態様またはＭｉｃｒｏｓｏｆｔ ＳＱＬ Ｓｅｒｖｅｒ（商標）と互換性のあるリレーショナル・データベース実施態様等のリレーショナル・データベース実施態様、または、Ｖａｍｐｉｒｅ（商標）と互換性のある非リレーショナル・データベース実施態様、Ａｐａｃｈｅ Ｃａｓｓａｎｄｒａ（商標）と互換性のある非リレーショナル・データベース実施態様、 ＢｉｇＴａｂｌｅ（商標）と互換性のある非リレーショナル・データベース実施態様、またはＨＢａｓｅ（商標）またはＤｙｎａｍｏＤＢ（商標）と互換性のある非リレーショナル・データベース実施態様、等のＮｏＳＱＬ（商標）の非リレーショナル・データベース実施態様を含む何かのコンピュータ実装システムという状況下で実施され得る。更に、開示された技術は、ＭａｐＲｅｄｕｃｅ（商標）、バルク同期プログラミング、ＭＰＩプリミティブ等の様々なプログラミングモデル、または、Ａｐａｃｈｅ Ｓｔｏｒｍ（商標）、Ａｐａｃｈｅ Ｓｐａｒｋ（商標）、Ａｐａｃ
ｈｅ Ｋａｆｋａ（商標）、Ａｐａｃｈｅ Ｆｌｉｎｋ（商標）、Ｔｒｕｖｉｓｏ（商標）、Ａｍａｚｏｎ Ｅｌａｓｔｉｃｓｅａｒｃｈ Ｓｅｒｖｉｃｅ（商標）、Ａｍａｚｏｎ Ｗｅｂ Ｓｅｒｖｉｃｅｓ（ＡＷＳ）（商標）、ＩＢＭ Ｉｎｆｏ－Ｓｐｈｅｒｅ（商標）、Ｂｏｒｅａｌｉｓ（商標）、及びＹａｈｏｏ！ Ｓ４（商標）等の様々なスケーラブルなバッチ及びストリーム管理システムを使用して実施され得る。
［カメラ配置］
ｈｅ Ｋａｆｋａ（商標）、Ａｐａｃｈｅ Ｆｌｉｎｋ（商標）、Ｔｒｕｖｉｓｏ（商標）、Ａｍａｚｏｎ Ｅｌａｓｔｉｃｓｅａｒｃｈ Ｓｅｒｖｉｃｅ（商標）、Ａｍａｚｏｎ Ｗｅｂ Ｓｅｒｖｉｃｅｓ（ＡＷＳ）（商標）、ＩＢＭ Ｉｎｆｏ－Ｓｐｈｅｒｅ（商標）、Ｂｏｒｅａｌｉｓ（商標）、及びＹａｈｏｏ！ Ｓ４（商標）等の様々なスケーラブルなバッチ及びストリーム管理システムを使用して実施され得る。
［カメラ配置］
【0080】
カメラ１１４は、３次元（３Ｄと略される）実空間において被写体（または存在物）を追跡するように配置される。ショッピングストアの例示的な実施形態では、実空間は、販売用の商品が棚に積み重ねられるショッピングストアのエリアを含むことができる。実空間内の点は、（ｘ，ｙ，ｚ）座標系で表すことができる。システムが適用される実空間のエリア内の各点は、２つ以上のカメラ１１４の視野によってカバーされる。
【0081】
ショッピングストアでは、棚及び他の在庫陳列構造は、ショッピングストアの側壁に沿って、または通路を形成する列に、または２つの構成の組合せ等、様々な方法で配置することができる。図２Ａは、通路１１６ａの一端から見た、通路１１６ａを形成する棚ユニットＡ２０２及び棚ユニットＢ２０４の配置を示す。２つのカメラ、カメラＡ ２０６及びカメラＢ ２０８は、棚等の在庫陳列構造の上のショッピングストアの天井２３０及びフロア２２０から所定の距離で通路１１６ａの上に配置される。カメラ１１４は、実空間内の在庫陳列構造及びフロアエリアのそれぞれの部分を包含する視野を有し、その上に配置されたカメラを備える。例えば、カメラＡ２０６の視野２１６とカメラＢ２０８の視野２１８は、図２Ａに示すように重なる。被写体の位置は、実空間のエリアの３次元でのそれらの位置によって表される。一実施形態では、被写体が実空間における関節のコンステレーションとして表される。この実施形態では、関節のコンステレーションにおける関節の位置を使用して、実空間のエリア内の被写体の位置を決定する。
【0082】
ショッピングストアの例示的な実施形態では、実空間は、ショッピングストア内のフロア２２０の全てを含むことができる。カメラ１１４は、フロア２２０及び棚のエリアが少なくとも２つのカメラによって見えるように配置され、配向される。カメラ１１４は、また、棚２０２及び２０４の前のフロアスペースを覆う。カメラの角度は急峻な視点、真っ直ぐな視点及び角度の付いた視点の両方を有するように選択され、これにより、顧客のより完全な身体画像が得られる。一実施形態では、カメラ１１４が、ショッピングストア全体を通して、８フィート高さ以上で構成される。一実施形態では、実空間のエリアがトイレ等の１または複数の指定非監視位置を含む。
【0083】
マップ・データベースには、被写体追跡エンジンにおける被写体のソース及びシンクとして機能する実空間のエリアの入口及び出口が格納される。また、指定非監視位置は、カメラ１１４の視野内にはないが、追跡被写体が入ることができるエリアであるが、トイレ等、しばらくしてから追跡されるエリア内に戻らなければならないエリアを表することができる。指定非監視位置の位置は、マップ・データベース１４０に記憶される。該位置は、指定非監視位置の境界を定義する実空間内の位置を含むことができ、指定非監視位置への１または複数の入口または出口の位置を含むこともできる。
［３次元シーン生成］
［３次元シーン生成］
【0084】
図２Ａにおいて、被写体２４０は在庫陳列構造の棚ユニットＢ ２０４の傍に立っており、片手は、棚ユニットＢ ２０４内の棚（目に見えない）の近くに位置している。図２Ｂは、フロアから異なる高さに配置された４つの棚、棚１、棚２、棚３、及び棚４を備えた棚ユニットＢ ２０４の斜視図である。在庫商品はこれらの棚にストックされる。
【0085】
実空間内の位置は、実空間座標系の（ｘ，ｙ，ｚ）点として表される。“ｘ”及び“ｙ”は、ショッピングストアのフロア２２０とすることができる２次元（２Ｄ）平面上の位置を表し、値“ｚ”は、１つの構成ではフロア２２０における２Ｄプレーン上の点の高さである。システムは、２つ以上のカメラからの２Ｄ画像を組み合わせて、実空間のエリア内における関節の３次元位置を生成する。本項では、関節の３Ｄ座標を生成するための処理を説明する。該処理はまた、３Ｄシーン生成とも呼ばれる。
【0086】
在庫商品を追跡するために訓練または推論モードでシステム１００を使用する前に、２つのタイプのカメラ較正、すなわち、内部較正と外部較正が実行される。内部較正では、カメラ１１４の内部パラメータが較正される。内部カメラ・パラメータの例には、焦点距離、主点、スキュー、魚眼係数等がある。内部カメラ較正のための種々の技術を使用することができる。斯かる技術の１つは、Ｚｈａｎｇによって、２０００年１１月の第２２巻第１１号、パターン解析と機械知能に関するＩＥＥＥトランザクションで発表された「カメラ較正のためのフレキシブルな新手法」において提示されている。
【0087】
外部較正では、外部カメラ・パラメータが、２Ｄ画像データを実空間の３Ｄ座標に変換するためのマッピング・パラメータを生成するために較正される。一実施形態では、人物等の１つの被写体（多関節被写体とも呼ばれる）が実空間に導入される。被写体は、各カメラ１１４の視野を通過する経路上で実空間を移動する。実空間内の任意の所与の点において、被写体は、３Ｄシーンを形成する少なくとも２つのカメラの視野内に存在する。しかしながら、２つのカメラは、それぞれの２次元（２Ｄ）画像平面において同じ３Ｄシーンの異なるビューを有する。被写体の左手首等の３Ｄシーン内の特徴は、それぞれの２Ｄ画像平面内の異なる位置にある２つのカメラによって見られる。
【0088】
点対応は、所与のシーンについて重複する視野を有する全てのカメラ・ペアの間で確立される。各カメラは同じ３Ｄシーンの異なる視野を有するので、点対応は３Ｄシーンにおける同じ点の投影を表す２つのピクセル位置（重なり合う視野を有する各カメラからの１つの位置）である。外部較正のために、画像認識エンジン１１２ａ～１１２ｎの結果を使用して、各３Ｄシーンについて多くの点対応が識別される。画像認識エンジンは関節の位置を、それぞれのカメラ１１４の２Ｄ画像空間内のピクセルの（ｘ，ｙ）座標、例えば、行及び列番号として識別する。一実施形態では、関節は、被写体の１９の異なるタイプの関節のうちの１つである。被写体が異なるカメラの視野を通って移動するとき、追跡エンジン１１０は、較正に使用される被写体の１９の異なるタイプの関節の各（ｘ，ｙ）座標を、画像毎にカメラ１１４から受け取る。
【0089】
例えば、カメラＡからの画像と、カメラＢからの画像との両方が同じ時点に、重なり合う視野で撮影された場合を考える。カメラＡからの画像には、カメラＢからの同期画像のピクセルに対応するピクセルがあり、カメラＡとカメラＢの両方の視野内の或る物体または表面の特定の点があり、その点が両方の画像フレームのピクセルに取り込まれていると考える。外部カメラ較正では、多数のそのような点が識別され、対応点と呼ばれる。較正中にカメラＡ及びカメラＢの視野内に１つの被写体があるので、この被写体の主要な関節、例えば左手首の中心が識別される。これらの主要な関節がカメラＡ及びカメラＢの両方からの画像フレーム内に見える場合、これらは対応点を表すと仮定される。この処理は、多くの画像フレームについて繰り返され、重なり合う視野を有する全てのカメラ・ペアについて対応点の大きな集合を構築する。一実施形態では、画像が３０ＦＰＳ(フレーム／秒）以上のレートで、フルＲＧＢ(赤、緑、及び青）カラーで７２０ピクセルの解像度で、全てのカメラからストリーミングされる。これらの画像は、一次元配列（フラット配列とも呼ばれる）の形態である。
【0090】
被写体について上記で収集された多数の画像を使用して、重なり合う視野を有するカメラ間の対応点を決定することができる。重なり合う視野を有する２つのカメラＡ及びＢを考える。カメラＡ、Ｂのカメラ中心と３Ｄシーンの関節位置（特徴点ともいう）を通る平面を「エピポーラ平面」と呼び、エピポーラ平面とカメラＡ、Ｂの２Ｄ画像平面との交差箇所を「エピポーラ線」と定義する。これらの対応点が与えられると、カメラＡからの対応点を、カメラＢの画像フレーム内の対応点と交差することが保証されるカメラＢの視野内のエピポーラ線に正確にマッピングすることができる変換が決定される。被写体について上記で収集された画像フレームを使用して、変換が生成される。この変換は非線形であることが当技術分野で知られている。更に、一般形態では、投影された空間へ及び投影された空間から移動する非線形座標変換と同様に、それぞれのカメラのレンズの半径方向の歪み補正が必要であることが知られている。外部カメラ較正では、理想的な非線形変換への近似が非線形最適化問題を解くことによって決定される。この非線形最適化機能は、重なり合う視野を有するカメラ１１４の画像を処理する様々な画像認識エンジン１１２ａ～１１２ｎの出力（関節データ構造の配列）内の同じ関節を識別するために、被写体追跡エンジン１１０によって使用される。内部カメラ較正及び外部カメラ較正の結果は、較正データベースに格納される。
【0091】
実空間におけるカメラ１１４の画像内の点の相対位置を決定するための様々な手法を使用することができる。例えば、Ｌｏｎｇｕｅｔ－Ｈｉｇｇｉｎｓが、「Ａ ｃｏｍｐｕｔｅｒ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｒｅｃｏｎｓｔｒｕｃｔｉｎｇ ａ ｓｃｅｎｅ ｆｒｏｍ ｔｗｏ ｐｒｏｊｅｃｔｉｏｎｓ」（Ｎａｔｕｒｅ、第２９３巻、１９８１年９月１０日）を公表している。本論文では、２つの投影間の空間的関係が未知であるとき、遠近投影の相関ペアからシーンの３次元構造を計算することが提示されている。Ｌｏｎｇｕｅｔ－Ｈｉｇｇｉｎｓの論文は、実空間での各カメラの他のカメラに対する位置を決定する手法を提示する。更に、その手法は、実空間における被写体の三角測量を可能にし、重なり合う視野を有するカメラ１１４からの画像を使用してｚ座標の値（フロアからの高さ）を識別する。実空間の任意の点、例えば、実空間の一角の棚ユニットの端を、実空間の（ｘ，ｙ，ｚ）座標系上の（０，０，０）点とする。
【0092】
本技術の一実施形態では、外部較正のパラメータが２つのデータ構造に格納される。第１のデータ構造は、固有パラメータを格納する。固有パラメータは、３Ｄ座標から２Ｄ画像座標への射影変換を表す。第１のデータ構造は以下に示すように、カメラ毎の固有パラメータを含む。データ値は全て浮動小数点数値である。このデータ構造は、“Ｋ”及び歪み係数として表される３×３固有行列を格納する。歪み係数は、６つの半径方向歪み係数と２つの接線方向歪み係数とを含む。半径方向の歪みは、光線がその光学的中心よりも、レンズの縁部の近傍でより大きく屈曲するときに生じる。接線方向の歪みは、レンズと像平面が平行でないときに生じる。以下のデータ構造は、第１のカメラのみの値を示す。同様のデータが全てのカメラ１１４に対して記憶される。
{
1: {
K: [[x, x, x], [x, x, x], [x, x, x]],
distortion _coefficients: [x, x, x, x, x, x, x, x]
},
......
}
{
1: {
K: [[x, x, x], [x, x, x], [x, x, x]],
distortion _coefficients: [x, x, x, x, x, x, x, x]
},
......
}
【0093】
第２のデータ構造は、カメラ・ペア毎に、３×３基本行列（Ｆ）、３×３必須行列（Ｅ）、３×４投影行列（Ｐ）、３×３回転行列（Ｒ）、及び３×１平行移動ベクトル（ｔ）を記憶する。このデータは、１つのカメラの基準フレーム内の点を別のカメラの基準フレ
ームに変換するために使用される。カメラの各ペアについて、１つのカメラから別のカメラへフロア２２０の平面をマッピングするために、８つのホモグラフィ係数も記憶される。基本行列は、同じシーンの２つの画像間の関係であり、シーンからの点の投影が両方の画像において起こり得る場所を制約する。必須行列は、カメラが較正されている条件での、同じシーンの２つの画像間の関係でもある。投影行列は、３Ｄ実空間から部分空間へのベクトル空間投影を与える。回転行列は、ユークリッド空間における回転を実行するために使用される。平行移動ベクトル“ｔ”は、図形または空間の全ての点を所与の方向に同じ距離だけ移動させる幾何学的変形を表す。ホモグラフィ・フロア係数は、重なり合う視野を有するカメラによって見られるフロア２２０上の被写体の特徴の画像を結合するために使用される。第２のデータ構造を以下に示す。同様のデータが、全てのカメラ・ペアについて記憶される。前述のように、ｘは浮動小数点数値を表す。
{
1: {
2: {
F: [[x, x, x], [x, x, x], [x, x, x]],
E: [[x, x, x], [x, x, x], [x, x, x]],
P: [[x, x, x, x], [x, x, x, x], [x, x, x, x]],
R: [[x, x, x], [x, x, x], [x, x, x]],
t: [x, x, x],
homography_floor_coefficients: [x, x, x, x, x, x, x, x]
}
},
.......
}
［２次元マップ及び３次元マップ］
ームに変換するために使用される。カメラの各ペアについて、１つのカメラから別のカメラへフロア２２０の平面をマッピングするために、８つのホモグラフィ係数も記憶される。基本行列は、同じシーンの２つの画像間の関係であり、シーンからの点の投影が両方の画像において起こり得る場所を制約する。必須行列は、カメラが較正されている条件での、同じシーンの２つの画像間の関係でもある。投影行列は、３Ｄ実空間から部分空間へのベクトル空間投影を与える。回転行列は、ユークリッド空間における回転を実行するために使用される。平行移動ベクトル“ｔ”は、図形または空間の全ての点を所与の方向に同じ距離だけ移動させる幾何学的変形を表す。ホモグラフィ・フロア係数は、重なり合う視野を有するカメラによって見られるフロア２２０上の被写体の特徴の画像を結合するために使用される。第２のデータ構造を以下に示す。同様のデータが、全てのカメラ・ペアについて記憶される。前述のように、ｘは浮動小数点数値を表す。
{
1: {
2: {
F: [[x, x, x], [x, x, x], [x, x, x]],
E: [[x, x, x], [x, x, x], [x, x, x]],
P: [[x, x, x, x], [x, x, x, x], [x, x, x, x]],
R: [[x, x, x], [x, x, x], [x, x, x]],
t: [x, x, x],
homography_floor_coefficients: [x, x, x, x, x, x, x, x]
}
},
.......
}
［２次元マップ及び３次元マップ］
【0094】
ショッピングストア内の棚等の在庫位置は、マップ・データベース上の固有識別子（例えば、棚ＩＤ）によって識別することができる。同様に、ショッピングストアは、マップ・データベース上の固有識別子（例えば、店舗ＩＤ）によって識別することができる。システムは、それぞれの座標に沿った実空間のエリア内の在庫位置を識別する２次元（２Ｄ）及び３次元（３Ｄ）マップ・データベース１４０を含むことができる。例えば、２Ｄマップでは、マップ内の位置が、図２Ｂに示されるように、フロア２２０に垂直に形成された平面、すなわちＸＺ平面上の２次元領域を規定する。マップは、在庫商品が配置される在庫位置のエリアを規定する。図３において、棚ユニットの２Ｄ位置は、４つの座標位置（ｘ１，ｙ１）、（ｘ１，ｙ２）、（ｘ２，ｙ２）、及び（ｘ２，ｙ１）によって形成されるエリアを示す。これらの座標位置は、棚が位置特定されるフロア２２０上の２Ｄ領域を規定する。同様の２Ｄ領域が、ショッピングストア内の全ての在庫陳列構造の位置、入口、出口そして指定非監視位置に対して規定される。この情報は、マップ・データベース１４０に記憶される。
【0095】
３Ｄマップでは、マップ内の位置が、Ｘ、Ｙ、及びＺ座標によって定義される３Ｄ実空間内の３次元領域を規定する。マップは、在庫商品が配置される在庫位置の容積を規定する。図２Ｂでは、棚ユニット内の棚１の３Ｄビュー２５０は、該容積の８隅に対応する８つの座標位置（ｘ１，ｙ１，ｚ１）、（ｘ１，ｙ１，ｚ２）、（ｘ１，ｙ２，ｚ１）、（ｘ１，ｙ２，ｚ２）、（ｘ２，ｙ１，ｚ１）、（ｘ２，ｙ１，ｚ２）、（ｘ２，ｙ２，ｚ１）、（ｘ２，ｙ２，ｚ２）によって形成される容積を示し、在庫商品が棚１上に配置される３Ｄ領域を規定する。同様の３Ｄ領域が、ショッピングストア内の全ての棚ユニット内の在庫位置について規定され、マップ・データベース１４０内に実空間（ショッピング
ストア）の３Ｄマップとして格納される。３つの軸に沿った座標位置を使用して、図２Ｂに示されるように、在庫位置の長さ、深さ、及び高さを計算することができる。
ストア）の３Ｄマップとして格納される。３つの軸に沿った座標位置を使用して、図２Ｂに示されるように、在庫位置の長さ、深さ、及び高さを計算することができる。
【0096】
一実施形態では、マップが、実空間のエリア内の在庫陳列構造上の在庫位置の部分と相関する容積のユニットの構成を識別する。各部分は、実空間の３つの軸に沿った開始位置及び終了位置によって規定される。２Ｄ地図と同様に、３Ｄ地図は、ショッピングストア内のすべての在庫陳列構造位置、入口、出口、及び指定非監視位置の位置を記憶することもできる。
【0097】
ショッピングストア内の商品は、特定の商品が配置されることが計画されている（棚等の）在庫位置を識別するプラノグラムに従って配置される。例えば、図２Ｂの例示２５０に示すように、棚３及び棚４の左半分は、商品（缶の形状でストックされている）に指定されている。一日の始めまたは他の在庫追跡間隔（時間ｔ＝０によって識別される）で、プラノグラムに従って在庫位置がストックされると考える。
［関節データ構造］
［関節データ構造］
【0098】
画像認識エンジン１１２ａ～１１２ｎは、カメラ１１４からの画像シーケンスを受け取り、画像を処理して、関節データ構造の対応する配列を生成する。システムは、複数のカメラによって生成された画像シーケンスを使用して、実空間のエリア内の複数の被写体（またはショッピングストア内の顧客）の位置を追跡する処理ロジックを含む。一実施形態では、画像認識エンジン１１２ａ～１１２ｎが、実空間のエリア内で動いたり、在庫商品を立って見たり、または、在庫商品を取っているまたは置いている可能性のある、エリア内の被写体を識別するために使用可能な画像の各要素における被写体の１９個の可能な関節の内の１つを識別する。可能な関節は、足関節と非足関節の２つのカテゴリに分類することができる。関節分類の１９番目のタイプは、被写体の全ての非関節特徴（すなわち、関節として分類されない画像の要素）に対するものである。他の実施形態では、画像認識エンジンが特に手の位置を識別するように構成されてもよい。また、ユーザ・チェックイン手順またはバイオメトリック識別処理等の他の技法を、被写体を識別し、被写体が店舗内を移動する際に被写体の手の検出された位置と被写体をリンクさせる目的のために展開することができる。
足関節：
足首関節（左右）
非足関節：
首
鼻
眼（左右）
耳（左右）
肩（左右）
肘（左右）
手首（左右）
尻（左右）
膝（左右）
非関節
足関節：
足首関節（左右）
非足関節：
首
鼻
眼（左右）
耳（左右）
肩（左右）
肘（左右）
手首（左右）
尻（左右）
膝（左右）
非関節
【0099】
特定の画像の関節データ構造の配列は、関節タイプ、特定の画像の時間、及び特定の画像内の要素の座標によって、特定の画像の要素を分類する。一実施形態では画像認識エンジン１１２ａ～１１２ｎが畳み込みニューラル・ネットワーク（ＣＮＮ）であり、関節タイプは被写体の１９種類の関節のうちの１つ、特定の画像の時間は特定の画像についてソースカメラ１１４によって生成された画像のタイムスタンプであり、座標（ｘ，ｙ）は２
Ｄ画像平面上の要素の位置を特定する。
Ｄ画像平面上の要素の位置を特定する。
【0100】
ＣＮＮの出力は、カメラ当たりの各画像に対する信頼度配列の行列である。信頼度配列の行列は、関節データ構造の配列に変換される。図３Ａに示すような関節データ構造３１０は、各関節の情報を記憶するために使用される。関節データ構造３１０は、画像が受信されるカメラの２Ｄ画像空間内の特定の画像内の要素のｘ位置及びｙ位置を識別する。関節番号は、識別された関節のタイプを識別する。例えば、一実施形態では、値は１～１９の範囲である。値１は関節が左足首であることを示し、値２は関節が右足首であることを示し、以下同様である。関節のタイプは、ＣＮＮの出力行列内のその要素に対する信頼度配列を使用して選択される。例えば、一実施形態では、左足首関節に対応する値がその画像要素の信頼度配列において最も高い場合、関節番号の値は“１”である。
【0101】
信頼度数は、その関節を予測する際のＣＮＮの信頼度の程度を示す。信頼度数の値が高ければ、ＣＮＮは自身の予想に確信していることになる。関節データ構造を一意に識別するために、関節データ構造に整数ＩＤが割り当てられる。上記マッピングに続いて、画像毎の信頼度配列の出力行列５４０は、画像毎の関節データ構造の配列に変換される。一実施形態では、関節分析が、各入力画像に対して、ｋ最近傍、ガウス混合、及び、様々な画像形態変換の組み合わせを実行することを含む。この結果は、各時点において画像数をビットマスクにマッピングするリング・バッファ内にビットマスクの形式で格納することができる関節データ構造の配列を含む。
［被写体追跡エンジン］
［被写体追跡エンジン］
【0102】
追跡エンジン１１０は、重なり合う視野を有するカメラからの画像シーケンス内の画像に対応する、画像認識エンジン１１２ａ～１１２ｎによって生成された関節データ構造の配列を受信するように構成される。画像当たりの関節データ構造の配列は、画像認識エンジン１１２ａ～１１２ｎによってネットワーク１８１を介して追跡エンジン１１０に送られる。追跡エンジン１１０は、様々な画像シーケンスに対応する２Ｄ画像空間からの関節データ構造の配列内の要素の座標を、３Ｄ実空間内の座標を有する候補関節に変換する。実空間内の位置は、２つ以上のカメラの視野によってカバーされている。追跡エンジン１１０は、実空間における座標（関節のコンステレーション）を有する候補関節のセットを、実空間における位置特定被写体として決定するためのロジックを備える。一実施形態では、追跡エンジン１１０が、所与の時点における全てのカメラについて、画像認識エンジンからの関節データ構造の配列を蓄積し、候補関節のコンステレーションを識別するために使用されるように、この情報を辞書として被写体データベース１４０に格納する。辞書は、キー値ペアの形式で編成することができ、ここで、キーはカメラＩＤであり、値はカメラからの関節データ構造の配列である。斯かる実施形態では、この辞書が候補関節を決定し、関節を位置特定被写体に割り当てるために、ヒューリスティックス・ベースの分析で使用される。斯かる実施形態では、追跡エンジン１１０の高レベル入力、処理、及び出力が表１に示されている。候補関節を組み合わせて被写体を生成し、実空間のエリア内の被写体の動きを追跡する被写体追跡エンジン１１０によって適用されるロジックの詳細は、２０１７年１２月１９日出願の米国特許出願第１５／８４７，７９６、現在、２０１８年８月２１日発行の米国特許第１０，０５５，８５３号、「画像認識エンジンを用いた被写体の認識及び追跡」に示されており、これは、参照により本明細書に組み込まれる。
【0103】
被写体追跡エンジン１１０は、ヒューリスティックを用いて、画像認識エンジン１１２ａ～１１２によって識別された関節を実空間内のエリア内の位置特定被写体に接続する。その際、被写体追跡エンジン１１０は、それぞれの識別間隔において、実空間のエリア内で追跡する新たな位置特定被写体を生成し、それぞれの関節位置を更新することによって位置特定被写体とマッチングする現存する追跡被写体の位置を更新する。被写体追跡エンジン１１０は、三角測量技法を用いて、関節位置を２Ｄ画像空間座標（ｘ，ｙ）から３Ｄ実空間座標（ｘ，ｙ，ｚ）へ投影することができる。図３Ｂは、被写体を格納するための被写体データ構造３２０を示す。該データ構造３２０は、被写体関連データをキー値辞書として格納する。キーはフレームＩＤであり、値は別のキー値辞書であり、ここでは、キーはカメラＩＤであり、値は（被写体の）１８個の関節と実空間内のそれらの位置のリストである。被写体データは、被写体データベース１５０に格納される。被写体には、被写体データベース内の被写体のデータにアクセスするために使用される固有識別子が割り当てられる。
【0104】
一実施形態では、システムが被写体の関節を識別し、被写体の骨格（またはコンステレーション）を作成する。骨格は、実空間に投影され、実空間における被写体の位置及び向きを示す。これは、マシンビジョンの分野では「姿勢推定」とも呼ばれる。一実施形態では、システムがグラフィカル・ユーザ・インタフェース（ＧＵＩ）上に実空間内の被写体の向き及び位置を表示する。一実施形態では、被写体識別及び画像分析は匿名であり、すなわち、関節分析によって作成された被写体に割り当てられた固有識別子は、上述したように、被写体の個人識別情報を識別しない。
【0105】
この実施形態では、関節データ構造の時系列分析によって生成された、被写体の関節のコンステレーションを使用して、被写体の手の位置を見つけることができる。例えば、手首関節単独の位置、または手首関節と肘関節との組み合わせの投影に基づく位置を使用して、被写体の手の位置を識別することができる。
［被写体の連続性分析］
［被写体の連続性分析］
【0106】
識別間隔において被写体追跡エンジン１１０によって実行される関節分析は、関節のコンステレーションを識別する。識別間隔は１つの画像キャプチャ・サイクルに対応することができ、または複数の画像キャプチャ・サイクルを含むことができる。識別間隔において位置特定される関節のコンステレーションは、現在の識別間隔において実空間のエリアに入った新たな被写体に属することができ、または、前の識別間隔において既に追跡された被写体の更新された位置を表すことができる。時には、前の識別間隔において位置特定され追跡された被写体が現在の識別間隔より前の中間識別間隔において欠落している可能性がある。これは、被写体が実空間のエリア内の指定非監視位置に移動すること、または、被写体追跡の誤差によることを含む、様々な理由で起こり得る。
【0107】
位置特定被写体が現在の識別間隔において識別されると、開示された技術は、位置特定被写体を新たな被写体として追跡し、それに新たな固有識別名を割り当てる前に、被写体連続性分析を実行する。システムは、現在の識別間隔からの位置特定被写体を、先行する識別間隔からの追跡被写体とマッチングさせる。追跡被写体とマッチングする位置特定被写体は、マッチングする追跡被写体としてタグ付けすることができる。追跡被写体とマッチングしない位置特定被写体は、追加の処理の対象となる。例えば、システムは先行する識別間隔において、１または複数の前の識別間隔において追跡被写体が欠落している（即ち、位置特定被写体とマッチングしない）かどうかを決定する。斯かる欠落追跡被写体は、現在の識別間隔においてマッチングしていない位置特定被写体（候補被写体）に対する潜在的なマッチングとして評価することができる。
【0108】
例えば、システムは、被写体データベース１５０内の追跡被写体のセットを処理して、データベース内に存在する欠落追跡被写体を検出するロジックを含むことができる。欠落追跡被写体は、第１の先行する識別間隔において位置特定されていないが、第２の先行する識別間隔において追跡されている。第１の先行する識別間隔は、第２の先行する識別間隔に続く。システムは、第１の先行する識別間隔に続く現在の識別間隔から位置特定された候補位置特定被写体を位置特定するためのロジックを含む。現在の識別間隔は、第３の識別間隔とも呼ばれる。
【0109】
開示された技術は、現在の識別間隔から位置特定された候補位置特定被写体を、第２の先行する識別間隔で位置特定された欠落追跡被写体にマッチングさせる。欠落追跡被写体が候補位置特定被写体とマッチングする場合、欠落追跡被写体は、候補被写体の位置を用いてデータベース内で更新され、もはや欠落ではないとしてマークされる。これにより、追跡被写体が欠落し、識別間隔において位置特定されない場合であっても、実空間のエリア内における被写体の連続性を可能にする。
【0110】
被写体の連続性分析のバリエーションが可能であることが理解される。例えば、システムは、現在の識別間隔において新たに位置特定された候補被写体を、現在の識別間隔より前の２以上の中間識別間隔の間、システムによって位置特定及び追跡されていない欠落追跡被写体にマッチングさせることができる。
【0111】
以下の項は、被写体連続性分析が実空間のエリア内で実行され得る３つの例示的なシナリオを提示する。
［単一の新規被写体連続性分析］
［単一の新規被写体連続性分析］
【0112】
第１の例は、第２の先行する識別間隔において位置特定される欠落追跡被写体を、現在の（または第３の）識別間隔から位置特定される候補位置特定被写体にマッチングさせるために、３つの識別間隔にわたって被写体連続性を実行することを含む。システムは、現在のセット内の位置特定被写体の数が複数の過去の間隔内の第１の先行する識別間隔からの位置特定被写体の数とマッチングしない条件を検出する。該条件が検出されると、システムは、現在のセット内の位置特定された被写体の少なくとも１つを、第１の先行する識別間隔に先行する、複数の過去の識別間隔内の第２の先行する識別間隔からの位置特定された被写体のセットと比較する。次の例では、３つの識別間隔を使用してこのシナリオを示す。しかし、このプロセスは、３つ以上の識別間隔に適用することができる。
【0113】
図４Ａは、３つの被写体４４０、４４２、及び４４４が時間ｔ＿０における第２の先行する識別間隔において追跡される実空間のエリアの側面図４０２を示す。被写体は、それぞれの固有追跡識別子と位置情報と共にデータベースに保存される。上面図４０４（天井
から見下ろす）における３つの被写体の位置もまた、上面図４０４に示されている。上述のように、実空間のエリア内の被写体の位置は、それぞれの被写体データ構造３２０によって識別される。被写体データ構造は、実空間のエリアの３次元（ｘ、ｙ、ｚ）における関節の位置を含む。別の実施形態では、関節の位置または被写体の他の特徴が２次元（略して２Ｄ）画像空間（ｘ、ｙ）で表される。第２の先行する識別間隔において追跡される被写体４４２は、図４Ｂに示されるように、時間ｔ＿１において第１の先行する識別間隔では欠落している。側面図（４０２）及び上面図（４０４）の両方は、第１の先行する識別間隔において追跡された被写体４４０及び４４４を示す。候補被写体４４２Ａは、図４Ｃに示すように、時間ｔ＿２における現在の識別間隔において位置特定される。候補位置特定被写体は、側面図４０２及び上面図４０４で見ることができる。
から見下ろす）における３つの被写体の位置もまた、上面図４０４に示されている。上述のように、実空間のエリア内の被写体の位置は、それぞれの被写体データ構造３２０によって識別される。被写体データ構造は、実空間のエリアの３次元（ｘ、ｙ、ｚ）における関節の位置を含む。別の実施形態では、関節の位置または被写体の他の特徴が２次元（略して２Ｄ）画像空間（ｘ、ｙ）で表される。第２の先行する識別間隔において追跡される被写体４４２は、図４Ｂに示されるように、時間ｔ＿１において第１の先行する識別間隔では欠落している。側面図（４０２）及び上面図（４０４）の両方は、第１の先行する識別間隔において追跡された被写体４４０及び４４４を示す。候補被写体４４２Ａは、図４Ｃに示すように、時間ｔ＿２における現在の識別間隔において位置特定される。候補位置特定被写体は、側面図４０２及び上面図４０４で見ることができる。
【0114】
開示される技術は、被写体連続性分析を実行して、候補位置特定被写体４４２Ａが現在の識別間隔中に実空間のエリアに入った新たな被写体であるかどうか、または候補位置特定被写体４４２Ａが第２の先行する識別間隔において追跡されたが第１の先行する識別間隔において欠落している欠落追跡被写体４４２であるかどうかを判定する。
【0115】
図５は、現在の識別間隔から位置特定された１つの候補位置特定被写体に対して被写体連続性を実行するための例示的な処理ステップを有するフローチャートを示す。処理はステップ５０２で開始する。システムは、時間ｔ＿２において、現在の識別サイクル内の被写体を位置特定する。一実施形態では、システムは、上述の関節分析を使用して、関節のコンステレーションとして被写体を位置特定する。別の実施形態では、システムは、顔の特徴等の被写体の他の特徴を独立して、または関節と組み合わせて使用して、実空間のエリア内の被写体を位置特定することができる。
【0116】
ステップ５０６において、処理は、ｔ＿２における現在の識別間隔において位置特定される被写体を、時間ｔ＿１における第１の先行する識別間隔において位置特定される追跡被写体とマッチングさせる。一実施形態では、処理は、被写体追跡エンジン１１０によって適用されるロジックを使用して、実空間のエリア内の被写体の候補関節及び追跡運動を組み合わせることによって被写体を作成する。このことは、２０１７年１２月１９日出願の米国特許出願第１５／８４７，７９６号（現在は２０１８年８月２１日発行の米国特許第１０，０５５，８５３号）の「画像認識エンジンを使用した被写体の識別及び追跡」に提示されており、同出願は参照により本明細書に組み込まれる。ステップ５０８において、システムは、現在の識別間隔内において位置特定される全ての被写体が、第１の先行する識別間隔において追跡被写体とマッチングするかどうかを判定する。全ての被写体がマッチングする場合、システムは、次の識別間隔の間、ステップ５０４及び５０６を繰り返す。一実施形態では、このステップにおいて、システムは、現在のセット内の位置特定被写体の数が、複数の過去の間隔内の第１の先行する識別間隔からの位置特定被写体の数とマッチングしない条件を検出する。該条件が真である場合（ステップ５０８）、システムは、現在のセット内の位置特定被写体の内の少なくとも１つを、第１の先行する識別間隔に先行する複数の過去の先行する識別間隔内の第２の先行する識別間隔からの追跡被写体のセットと比較する。
【0117】
現在の識別間隔からの候補位置特定被写体が第１の先行する識別間隔におけるどの追跡被写体ともマッチングしない場合、開示された技術は、第２の先行する識別間隔において位置特定され追跡されたが、第２の先行する識別間隔に続く第１の先行する識別間隔において欠落した欠落追跡被写体が存在するかどうかを判定する。第２の先行する識別間隔で追跡されるが、第１の先行する識別間隔で欠落している、欠落追跡被写体を識別する場合、処理はステップ５１６に進む。そうではなく、システムが第２の先行する識別間隔において欠落追跡被写体を識別しない場合、システムは、この被写体に新しい追跡識別子を割り当てることによって、現在の識別間隔から位置特定された候補位置特定被写体の追跡を
開始する。これは、第１の先行する識別間隔内の全ての追跡被写体が第２の先行する識別間隔内の対応する追跡被写体とマッチングする場合である。
開始する。これは、第１の先行する識別間隔内の全ての追跡被写体が第２の先行する識別間隔内の対応する追跡被写体とマッチングする場合である。
【0118】
図４Ａ～図４Ｃに示される例では、被写体４４２Ａ（図４Ｃに示される）は、現在の識別間隔から位置特定された候補位置特定被写体であり、被写体４４２（図４Ａに示される）は、欠落追跡被写体である。ステップ５１２において、システムが、欠落追跡被写体は存在しないと判定した場合、候補位置特定被写体４４２Ａには固有追跡識別子が割り当てられ、システムは、現在の識別間隔中に被写体の追跡を開始する。
【0119】
欠落追跡被写体と候補位置特定被写体とをマッチングさせる処理については、以下の処理フローのステップで説明する。処理ステップ５１６では、時間制約ヒューリスティックを適用してから、現在の識別間隔から位置特定された候補位置特定被写体の位置を、第２の先行する識別間隔における欠落追跡被写体の位置にマッチングさせる。システムは、例えば、候補位置特定被写体の位置のタイムスタンプと、欠落追跡被写体の位置のタイムスタンプの差を計算する。タイムスタンプは識別間隔の識別子であってもよいし、複数の画像キャプチャ・サイクルを含む識別間隔内の特定のタイムスタンプであってもよい。例えば、タイムスタンプは、現在の識別間隔から位置特定された候補被写体に対してｔ＿２として、及び第２の先行する識別間隔において位置特定された欠落追跡被写体に対してｔ＿０として表すことができる。識別間隔がカメラの画像キャプチャ・サイクルとマッチングする場合、タイムスタンプは、画像キャプチャ・サイクルにおいて画像が取り込まれる時間とマッチングすることができる。タイムスタンプ間の差、すなわちｔ＿２－ｔ＿０は、タイミング閾値と比較される。一例では、タイミング閾値は１０秒である。１０秒よりも長い、または短いタイミング閾値の他の値を使用することができることが理解される。この時間差の計算には、画像キャプチャ・サイクルにおける被写体の関節検出のタイムスタンプを用いることもできる。タイムスタンプの差がタイミング閾値よりも小さい場合、システムは、候補位置特定被写体の位置と欠落追跡被写体の位置とをマッチングさせる。
【0120】
システムは、実空間のエリア内における候補位置特定被写体の位置（ｐ＿２）と、欠落追跡被写体の位置（ｐ＿０）との間の距離、すなわち、（ｐ＿２－ｐ＿１）を計算する。上述したような関節分析を使用する一実施形態では、距離が候補位置特定被写体及び欠落追跡被写体の関節のコンステレーション内の関節の位置を使用して計算される。距離は、関節のそれぞれのコンステレーションにおける対応する関節を表す２点間のユークリッド距離として計算できる。ユークリッド距離は３Ｄ実空間と２Ｄ画像空間の両方で計算できる。ユークリッド距離は、被写体が第２の先行する識別間隔における初期位置から現在の識別間隔における新しい位置に移動した距離を表す。次いで、この距離を距離閾値と比較する。該距離が距離閾値未満である場合、候補位置特定被写体は、欠落追跡被写体とマッチングされる。距離閾値の距離の例は１メートルである。１メートルを超える、または１メートル未満の距離閾値の他の値を使用することができる。候補位置特定被写体の位置と、欠落追跡被写体の位置とのタイムスタンプ間の差異が時間閾値よりも大きいか、候補位置特定被写体と欠落追跡被写体との間の距離が距離閾値よりも大きい場合（ステップ５１８）、システムスタートは、欠落追跡被写体に候補被写体をマッチングさせず、ステップ５１４において、それを新たな位置特定被写体として識別することができる。そうでない場合には、ステップ５２０において、候補位置特定被写体と欠落追跡被写体とをリンクする処理が継続される。
【0121】
ステップ５２０では、現在の識別間隔から位置特定された候補位置特定被写体を、第２の先行する識別間隔で位置特定された欠落追跡被写体にリンクする前に、“シンク”制約を適用する。シンク制約は、候補位置特定被写体の位置、及び、欠落追跡被写体の位置と、実空間のエリア内からの入口または出口等の被写体のソース及びシンクを提供することができる実空間のエリア内の位置までの間の距離を計算することを含むことができる。一
実施形態では、距離計算が入口または出口領域の境界位置を使用する。該位置までの候補位置特定被写体の距離、すなわちｄ（ｐ＿２－ｓｉｎｋ）、及び、該位置までの欠落追跡被写体の距離、すなわちｄ（ｐ＿０－ｓｉｎｋ）が、距離閾値と比較される。これらの距離の何れかが距離閾値未満である場合（ステップ５２２）、ステップ５１４で、システムは、候補位置特定被写体の追跡を開始できる。ステップ５２０における距離閾値の例は１メートルであり、他の実施形態では、１メートルより大きいか、または１メートル未満の距離閾値を使用することができる。一実施形態では、閾値は、識別間隔の長さ（または持続時間）と、被写体がその持続時間内で移動することができる距離とに依存する。シンク制約が満足される場合、すなわち、候補位置特定被写体及び欠落追跡被写体の両方が、入口及び出口から距離閾値より更に遠くに位置している場合、システムは、現在の識別間隔から位置特定された候補位置特定被写体を使用して、データベース内の欠落追跡被写体を更新することができる（ステップ５２４）。処理は、ステップ５２６で終了する。
［複数の新規被写体連続性分析］
実施形態では、距離計算が入口または出口領域の境界位置を使用する。該位置までの候補位置特定被写体の距離、すなわちｄ（ｐ＿２－ｓｉｎｋ）、及び、該位置までの欠落追跡被写体の距離、すなわちｄ（ｐ＿０－ｓｉｎｋ）が、距離閾値と比較される。これらの距離の何れかが距離閾値未満である場合（ステップ５２２）、ステップ５１４で、システムは、候補位置特定被写体の追跡を開始できる。ステップ５２０における距離閾値の例は１メートルであり、他の実施形態では、１メートルより大きいか、または１メートル未満の距離閾値を使用することができる。一実施形態では、閾値は、識別間隔の長さ（または持続時間）と、被写体がその持続時間内で移動することができる距離とに依存する。シンク制約が満足される場合、すなわち、候補位置特定被写体及び欠落追跡被写体の両方が、入口及び出口から距離閾値より更に遠くに位置している場合、システムは、現在の識別間隔から位置特定された候補位置特定被写体を使用して、データベース内の欠落追跡被写体を更新することができる（ステップ５２４）。処理は、ステップ５２６で終了する。
［複数の新規被写体連続性分析］
【0122】
開示された技術を使用して被写体連続性分析を実行するための第２の例示的なシナリオが、図６Ａ及び６Ｂに提示されている。この例は第１の先行する識別間隔からの追跡被写体のセットがＮ個のメンバーを含み、現在の識別間隔からの位置特定被写体のセットがＮ個のメンバーと１または複数の候補位置特定被写体とを含む場合を想定する。システムは、現在の識別間隔からの位置特定被写体のセットのＮ個のメンバーを、第１の先行する識別間隔からの追跡被写体のセットのＮ個のメンバーにリンクする処理を、より効率的に行うために、ロジックを使用することができる。この効率改善は、現在の識別間隔からの位置特定被写体のセットのメンバーに優先順位を付けて、位置特定被写体の相対位置を使用して、第１の先行する識別間隔からのＮ個の追跡被写体のセットにリンクするために、Ｎ個の位置特定被写体のセットを識別することによって達成することができる。一実施形態では、Ｎ個の位置特定被写体のセットを識別するための、現在の識別間隔からの位置特定被写体のセットのメンバーの優先順位付けは、現在の識別間隔からの位置特定被写体のペア間の距離を計算することを含むことができる。次いで、システムは、計算された距離を１メートル等の距離第２閾値と比較することによって、Ｎ個の位置特定被写体のセットを識別する。距離閾値を満たす位置特定されたメンバーは、距離閾値を満たさないメンバーよりも高い優先順位で、先行する識別間隔について追跡されたメンバーとのマッチングについて評価され得る。
【0123】
図６Ａ及び図６Ｂに示す例は、図６Ａに示されるように、ｔ＿１における第１の先行する識別間隔において３つの被写体６４０、６４２及び６４４を追跡することによって、このシナリオを示す。３つの追跡被写体６４０、６４２、及び６４４は、それらの固有追跡識別子と共に被写体データベース１５０に格納される。５つの被写体６４０Ａ、６４２Ａ、６４４Ａ、６４６及び６４８は、図６Ｂに示されるように、ｔ＿２における現在の識別間隔において位置特定される。現在の識別間隔において位置特定される被写体のセットは、第１の先行する識別間隔において追跡されない複数のメンバーの被写体を有する。システムは、先行する識別間隔において追跡されるデータベースに存在する追跡被写体のセットを比較して、先行する識別間隔で追跡されない複数の被写体が現在の識別間隔において位置特定されるという条件を検出する。
【0124】
システムは、現在の識別間隔において位置特定される被写体のセットＳを決定するために、現在の識別間隔から位置特定される被写体のセット（Ｎ＋２つ以上の候補位置特定被写体）に優先順位を付ける。一実施形態では、セットＳの濃度（cardinality）が先行する識別間隔における追跡被写体のセットＮの濃度に等しい。他の実施形態では、セットＳの濃度は、先行する識別間隔における追跡被写体のセットＮよりも小さくすることができる。一実施形態では、セットＳのメンバーシップが、セットＳ内の任意の２つのメンバー
間の３次元または２次元ユークリッド距離が距離閾値未満であるように決定される。距離閾値の例は、１メートルである。図６Ｂにおいて、円６１０は、被写体６４０Ａ、６４２Ａ、及び６４４Ａを含む現在の識別間隔における位置特定被写体のセットＳを識別する。この例では、セットＳの濃度が先行する識別間隔における追跡被写体のセットＮの濃度に等しい。
間の３次元または２次元ユークリッド距離が距離閾値未満であるように決定される。距離閾値の例は、１メートルである。図６Ｂにおいて、円６１０は、被写体６４０Ａ、６４２Ａ、及び６４４Ａを含む現在の識別間隔における位置特定被写体のセットＳを識別する。この例では、セットＳの濃度が先行する識別間隔における追跡被写体のセットＮの濃度に等しい。
【0125】
システムは、現在の識別間隔における位置特定被写体のセットＳのメンバーを、第１の先行する識別間隔における追跡被写体のセットＮのメンバーにマッチングさせるロジックを含む。セットＳのメンバーが追跡被写体のセットＮのメンバーとマッチングする場合、システムは、マッチングした位置特定被写体をマッチングした追跡被写体にリンクし、マッチングした位置特定被写体を使用してデータベース内の追跡被写体を更新する。一実施形態では、位置特定被写体のセットＳのメンバーが、関節のそれぞれのコンステレーション内の関節の位置を使用して、第１の先行する識別間隔における追跡被写体のセットＮのメンバーにマッチングされる。位置特定被写体のセットＳのメンバーの関節の位置と追跡被写体のセットＮの関節の位置間の距離は第２の閾値（例えば、１メートル）と比較される。現在の識別間隔における位置特定被写体のセットＳの各々のメンバーにおいて第１の先行する識別間隔における追跡被写体と固有なマッチングがある場合、システムは、位置特定被写体のセットＳのマッチングしたメンバーを使用して、データベース内の追跡被写体を更新する。追跡被写体を、現在の識別間隔における位置特定被写体にリンクする前に、システムは、マッチングした位置特定被写体及び追跡被写体に上述のようなシンク制約を適用して、それらが第３の閾値距離を超えて実空間のエリアの出口及び入口から離れていることを判定することができる。
【0126】
図７は、上述のシナリオにおいて被写体連続性を実行するための処理フローチャートを示す。処理はステップ７０２で開始する。ステップ７０４で、システムは現在の識別間隔内における実空間のエリア内の被写体の位置を特定する。ステップ７０６において、現在の識別間隔における位置特定被写体の数が、第１の先行する識別間隔における追跡被写体の数と比較される。例えば、現在の識別間隔において位置特定される５つの被写体を示す図６Ｂの例示図を考える。先行する第１の先行する識別間隔において追跡された３つの被写体があったと仮定する。現在の識別間隔における位置特定被写体の数を第１の先行する識別間隔における追跡被写体の数と比較することによって、２以上の候補被写体が現在の識別間隔において位置特定されると判定する（ステップ７０８）。一実施形態では、システムは、ステップ７０６において、現在の識別間隔における位置特定被写体の数を、先行する識別間隔における追跡被写体の数と比較して、２以上の候補被写体が現在の識別間隔において位置特定されることを判定する。言い換えれば、現在の識別間隔における位置特定被写体の数は、１に先行する識別間隔における追跡被写体の数を加えたものより大きい。現在の識別間隔に１つの追加のメンバーしかない場合、図５に上記で提示された手法を適用することができる。現在の識別間隔に１つの追加のメンバーしか存在せず、そのメンバーが（トイレ等の）実空間のエリア内の指定非監視位置の近くに位置している場合、以下の図９に示す手法を使用することができる。
【0127】
システムは、以下の例において説明するように、現在の識別間隔における位置特定被写体のセットＳを識別する（ステップ７１０）。Ｍ＿２個の被写体が時間ｔ＿２で現在の識別間隔において位置特定され、それ故、Ｍ＿２個の被写体は、０，１，２，・・・，Ｍ＿２－１としてインデックス付けされ、且つ、Ｍ＿０個の被写体が、時間ｔ＿１で第１の先行する識別間隔において追跡され、０，１，２，・・・，Ｍ＿０－１とインデックス付けされる場合を想定する。更に、ｉ＝０，１，２，・・・，Ｍ＿２－１に対して、現在の識別間隔における位置特定被写体の位置がｐ＿｛２，ｉ｝と表され、ｉ＝０，１，２，・・・，Ｍ＿０－１に対して、第１の先行する識別間隔における追跡被写体の位置が、ｑ＿｛０，ｉ｝と表される。ステップ７１０では、任意の２つの被写体ｐ＿｛２，ｉ｝及びｐ＿
｛２，ｊ｝について、間隔ｄ(ｐ_{２，ｉ｝，ｐ＿｛２，ｊ｝）が第２の閾値、例えば１メートル未満であるように、現在の識別間隔における位置特定被写体のセットＳが決定される。距離は、３Ｄ実空間または２Ｄ画像空間において、それぞれの被写体の関節のコンステレーションにおける関節の位置を使用して計算することができる。１メートルより大きいかまたは小さい距離閾値の他の値が使用され得ることが理解される。
｛２，ｊ｝について、間隔ｄ(ｐ_{２，ｉ｝，ｐ＿｛２，ｊ｝）が第２の閾値、例えば１メートル未満であるように、現在の識別間隔における位置特定被写体のセットＳが決定される。距離は、３Ｄ実空間または２Ｄ画像空間において、それぞれの被写体の関節のコンステレーションにおける関節の位置を使用して計算することができる。１メートルより大きいかまたは小さい距離閾値の他の値が使用され得ることが理解される。
【0128】
次に、ステップ７１２において、位置特定被写体のセットＳのメンバーが、第１の先行する識別間隔における追跡被写体にマッチングされる。セットＳの各位置特定被写体ｐ＿｛２，ｉ｝メンバーの位置は、距離ｄ(ｐ＿{２，ｉ｝，ｑ＿｛０，ｊ｝）を決定するために、第１の先行する識別間隔における追跡被写体ｑ＿｛０，ｊ｝の位置にマッチングされる。距離“ｄ”が１メートル等の第２の閾値未満であり、位置特定被写体のセットＳ内の１つのメンバーｐ＿｛２，ｉ｝が上記の閾値を使用して、１つの追跡被写体ｑ＿｛０，ｊ｝のみにマッチングする場合、システムは、位置特定被写体と、先行する識別間隔において位置特定された追跡被写体との間にマッチングがあると判定する（ステップ７１４）。
【0129】
位置特定被写体のセットＳのメンバーが、上記の処理ステップにおいて追跡被写体とマッチングしない場合、ステップ７１６において、位置特定被写体に新しい追跡識別子を割り当てることができる。次いで、システムは、現在の識別間隔において、位置特定被写体の追跡を開始することができる。被写体は、固有追跡識別子とともに被写体データベースに格納される。
【0130】
現在の識別間隔における位置特定被写体のセットＳのメンバーが、第１の先行する識別間隔における追跡被写体とマッチングする場合、システムは、位置特定被写体のセットＳの他のメンバーはその追跡被写体にマッチングしないと判定する。追跡被写体ｑ＿｛０，ｊ｝に一意にマッチングする位置特定被写体のセットＳのメンバーｐ＿｛２，ｉ｝について、ステップ７１８において、シンク制約が適用される。シンク制約は、図５のフローチャートのステップ５２０に記載されているように、位置特定被写体または追跡被写体のセットＳのメンバーが、実空間のエリアへの入口または実空間のエリアからの出口に第３の閾値距離だけ近いかどうかを決定する。位置特定被写体のセットＳのメンバー及び追跡被写体についてシンク制約が満たされる（ステップ７２０）場合（すなわち、位置特定被写体のセットＳのメンバー及び追跡被写体の両方がシンクから第３の閾値よりも遠い）、第１の先行する識別間隔における追跡被写体ｑ＿｛０，ｊ｝は、位置特定被写体のセットＳのメンバーｐ＿｛２，ｉ｝を使用して、データベース内で更新される（ステップ７２２）。処理は、ステップ７２４で終了する。
［指定非監視位置に対する被写体連続性分析］
［指定非監視位置に対する被写体連続性分析］
【0131】
開示された技術を使用して被写体連続性分析を実行するための第３の例示的なシナリオが、図８Ａ ～ 図８Ｃに提示される。この例は、被写体が実空間のエリア内のトイレ等の指定非監視位置に移動するときの被写体連続性を示す。被写体が指定非監視位置に存在する以下の１または複数の識別間隔において、そのとき被写体は追跡されない。システムは、被写体が指定非監視位置から移動し、１以上のカメラ１１４の視野内に位置した後続の識別間隔中に、欠落追跡被写体を再度位置特定する。
【0132】
図８Ａは、トイレ等の指定非監視位置８０４を含む実空間のエリアの上面図（下向きに見た）を示す。指定非監視位置８０４は、カメラ１１４の視野内にはない。被写体は、ドア８０６を介して指定非監視位置に出入りすることができる。図８Ａに示されるように、時間ｔ＿０における第２の先行する識別間隔において、追跡被写体のセットには、５つの被写体８４０、８４２、８４４、８４６、及び８４８が存在する。時間ｔ＿１における第１の先行する識別間隔では、図８Ｂに示されるように、追跡被写体のセット内に４つの追
跡被写体８４０、８４２、８４４、及び８４６が存在する。第２の先行する識別間隔における追跡被写体８４８は、第１の先行する識別間隔において欠落している。欠落追跡被写体８４８の位置は、被写体８４８が欠落している第１の先行する識別間隔より前の第２の先行する識別間隔における指定非監視位置に近い。
跡被写体８４０、８４２、８４４、及び８４６が存在する。第２の先行する識別間隔における追跡被写体８４８は、第１の先行する識別間隔において欠落している。欠落追跡被写体８４８の位置は、被写体８４８が欠落している第１の先行する識別間隔より前の第２の先行する識別間隔における指定非監視位置に近い。
【0133】
図８Ｃは、時間ｔ＿１における第１の先行する識別間隔より後の時間ｔ＿２における現在の識別間隔において、指定非監視位置８０４の近くに位置する候補位置特定被写体８４８Ａを示す。現在の識別間隔において候補位置特定被写体８４８Ａの追跡を開始する前に、開示された技術は、被写体連続性分析を実行して、候補位置特定被写体８４８Ａを欠落追跡被写体８４８にリンクする。欠落追跡被写体８４８は、第２の先行する識別間隔において位置特定されていたが、第２の先行する識別間隔に続く第１の先行する識別間隔において位置特定されていなかった。候補位置特定被写体が欠落追跡被写体とマッチングする前に、開示された技術は、第２の先行する識別間隔において指定非監視位置の近くに被写体（欠落追跡被写体８４８以外）が存在せず、第１の先行する識別間隔において指定非監視位置に他の被写体（欠落追跡被写体８４８以外）が入っていないと判定することができる。
【0134】
システムは、欠落追跡被写体８４８のみが第２の先行する識別間隔において非監視位置の近くに位置していると判定するために、第２の先行する識別間隔におけるすべての追跡被写体の位置を指定非監視位置の位置にマッチングさせる。一実施形態では、第２の先行する識別間隔における追跡被写体の位置とドア８０６上の（３Ｄ実空間または２Ｄ画像空間内の）点との間の距離が計算される。システムは、どの追跡被写体が指定非監視位置に近いかを、指定非監視位置８０４とのそれぞれの距離を第３の閾値と比較することによって判定する。第３の閾値距離の値の一例は、１メートルである。欠落追跡被写体８４８が第２の先行する識別間隔においてドア８０６に近い唯一の被写体であり、候補被写体８４８Ａが指定非監視位置の近くに位置する現在の識別間隔から位置特定された唯一の候補位置特定被写体である場合、システムは、欠落追跡被写体８４８を候補位置特定被写体８４８Ａにリンクする。システムは、現在の識別間隔における候補位置特定被写体８４８Ａを使用してデータベース内の欠落追跡被写体８４８を更新し、現在の識別間隔において被写体８４８の追跡を続ける。
【0135】
図９は、候補位置特定被写体と欠落追跡被写体の両方がそれぞれの識別間隔において指定非監視位置の近くに位置する場合に、現在の識別間隔から位置特定された候補位置特定被写体を、第２の先行する識別間隔における欠落追跡被写体にリンクする処理ステップを示すフローチャートである。処理はステップ９０２で開始する。処理ステップ９０４、９０６、９０８、９１０、及び９１２は、それぞれ処理ステップ５０４、５０６、５０８、５１０、及び５１２について説明したのと同様の動作を実行する。ステップ９１６において、第２の先行する識別間隔における追跡被写体と、現在の識別間隔における位置特定被写体との、指定非監視位置までの距離が計算される。第２の先行する識別間隔における追跡被写体のセットにＭ＿０個の被写体が存在し、追跡被写体が０，１，２，・・・，k－１とインデックス付けされると仮定する。追跡被写体の位置は、それぞれ、ｐ＿０，ｐ＿１，ｐ＿２，・・・，p＿｛ｋ－１｝として与えられる。システムは、指定非監視位置の位置に対する追跡被写体の距離をｄ（ｐ＿ｉ，Ｂ）として計算し、ここで、Ｂは、３次元実空間または２次元画像空間における指定非監視位置の位置である。
【0136】
指定非監視位置に対する追跡被写体の距離は、１メートル等の距離閾値と比較される。第２の先行する識別間隔における１つの追跡被写体のみが、第３の閾値よりも指定非監視位置の近くに位置する場合、現在の識別間隔において位置特定された被写体の位置と指定非監視位置の位置との間の同様の距離計算が実行される。現在の識別間隔において位置特定された１つの被写体のみが、非監視指定位置により近く位置する場合、ステップ９１８
における条件は真になる。そうでなければ、システムは、現在の識別間隔からの候補位置特定被写体に新しい追跡識別子を割り当て、該被写体の追跡を開始することができる（ステップ９１４）。
における条件は真になる。そうでなければ、システムは、現在の識別間隔からの候補位置特定被写体に新しい追跡識別子を割り当て、該被写体の追跡を開始することができる（ステップ９１４）。
【0137】
第２の先行する識別間隔において位置特定された欠落追跡被写体を、現在の識別間隔から位置特定された候補位置特定被写体にリンクすることの一部として、追加の制約をステップ９２０でチェックすることができる。距離閾値よりも指定非監視位置の近くに位置していた（ステップ９１０での欠落追跡被写体を除く）第２の先行する識別間隔及び第１の先行する識別間隔からの他の追跡被写体が、現在の識別間隔において欠落していないと判定される。これは、候補位置特定被写体と欠落追跡被写体との間の不正確なマッチングを回避するためである。第２の先行する識別間隔において指定非監視位置の近くに位置する１つの追跡被写体のみが、第１の先行する識別間隔において追跡されず、１つの候補被写体のみが、現在の識別間隔において指定非監視位置の近くに位置する場合、システムは以下の制約をチェックする。処理ステップ９０４～９１２を実行することによって、他の追跡被写体が指定非監視位置に入らなかったことを判定する（ステップ９２２）。他の追跡被写体が第２の先行する識別間隔及び第１の先行する識別間隔において指定非監視位置に入らなかった場合、システムは、第２の先行する識別間隔において位置特定された欠落追跡被写体を、現在の識別間隔から位置する位置特定された候補位置特定被写体を用いてリンクする（ステップ９２４）。次いで、システムは、現在の識別間隔において、候補位置特定被写体の位置を使用して、欠落追跡被写体の追跡を続ける。処理は、ステップ９２６で終了する。
［ネットワーク構造］
［ネットワーク構造］
【0138】
図１０は、ネットワーク・ノード１０４上でホストされる被写体連続性処理エンジン１８０をホストするネットワークのアーキテクチャを示す。システムは、図示された実施形態では複数のネットワーク・ノード１０１ａ、１０１ｂ、１０１ｎ、及び１０２を含む。斯かる実施形態では、ネットワーク・ノードは処理プラットフォームとも呼ばれる。処理プラットフォーム（ネットワーク・ノード）１０３，１０１ａ～１０１ｎ，及び１０２、並びに、カメラ１０１２，１０１４，１０１６，・・・，１０１８は、ネットワーク１０８１に接続される。同様のネットワークが、ネットワーク・ノード１０３上でホストされるマッチング・エンジン１７０をホストする。
【0139】
図１０は、ネットワークに接続された複数のカメラ１０１２，１０１４，１０１６，・・・，１０１８を示す。多数のカメラを特定のシステムに配備することができる。一実施形態では、カメラ１０１２～１０１８が、イーサネット（登録商標）ベースのコネクタ１０２２，１０２４，１０２６，及び１０２８をそれぞれ使用して、ネットワーク１８１に接続される。斯かる実施形態では、イーサネット・ベースのコネクタがギガビット・イーサネットとも呼ばれる１ギガビット／秒のデータ転送速度を有する。他の実施形態では、カメラ１１４がギガビット・イーサネット（登録商標）よりも高速または低速のデータ転送速度を有することができる他のタイプのネットワーク接続を使用してネットワークに接続されることを理解されたい。また、代替の実施形態では、１組のカメラを各処理プラットフォームに直接接続することができ、処理プラットフォームをネットワークに結合することができる。
【0140】
記憶サブシステム１０３０は、本発明の特定の実施形態の機能を提供する基本的なプログラミング及びデータ構成を記憶する。例えば、被写体連続性処理エンジン１８０の機能を実施する様々なモジュールを、記憶サブシステム１０３０に格納することができる。記憶サブシステム１０３０は、非一時的データ記憶媒体を備えるコンピュータ可読メモリの一例であり、追跡被写体を用いて位置特定被写体を識別するロジック、実空間のエリア内
の被写体を、ユーザ・アカウントにリンクし、画像内に描写された追跡被写体の位置を決定し、本明細書で説明される処理によって、実空間のエリア内でクライアント・アプリケーションを実行するモバイル・コンピューティング・デバイスの識別することにより追跡被写体をユーザ・アカウントにマッチングさせるロジックを含む、本明細書で説明されるデータ処理機能及び画像処理機能の全てまたは任意の組み合わせを実行するための、コンピュータによって実行可能なメモリに記憶されるコンピュータ命令を備える。他の例では、コンピュータ命令は、コンピュータ可読の非一時的データ記憶媒体または媒体を含む、携帯用メモリを含む他のタイプのメモリに記憶することができる。
の被写体を、ユーザ・アカウントにリンクし、画像内に描写された追跡被写体の位置を決定し、本明細書で説明される処理によって、実空間のエリア内でクライアント・アプリケーションを実行するモバイル・コンピューティング・デバイスの識別することにより追跡被写体をユーザ・アカウントにマッチングさせるロジックを含む、本明細書で説明されるデータ処理機能及び画像処理機能の全てまたは任意の組み合わせを実行するための、コンピュータによって実行可能なメモリに記憶されるコンピュータ命令を備える。他の例では、コンピュータ命令は、コンピュータ可読の非一時的データ記憶媒体または媒体を含む、携帯用メモリを含む他のタイプのメモリに記憶することができる。
【0141】
これらのソフトウェア・モジュールは一般に、プロセッサ・サブシステム１０５０によって実行される。ホスト・メモリ・サブシステム１０３２は、通常、プログラム実行中の命令及びデータの記憶のためのメイン・ランダム・アクセス・メモリ（ＲＡＭ）１１３４と、固定命令が記憶される読み出し専用メモリ（ＲＯＭ）１０３６とを含む幾つかのメモリを含む。一実施形態では、ＲＡＭ １０３４が在庫イベント位置処理エンジン１８０によって生成されたポイント・クラウド・データ構造のタプルを格納するためのバッファとして使用される。
【0142】
ファイル記憶サブシステム１０４０は、プログラム及びデータ・ファイルのための永続的記憶を提供する。例示的な一実施形態では、記憶サブシステム１０４０が、番号１０４２によって識別されるＲＡＩＤ０（独立ディスクの冗長配列）構成内に４つの１２０ギガバイト（ＧＢ）ソリッド・ステート・ディスク（ＳＳＤ）を含む。該例示的な実施形態では、マップ・データベース１４０内のマップ・データ、在庫イベント・データベース１５０内の在庫イベント・データ、在庫商品アクティビティ・データベース１６０内の在庫商品アクティビティ・データ、及びＲＡＭにないアクショナブル・デジタル・レシート・データベース１７０内のデジタル・レシート・データが、ＲＡＩＤ０に記憶される。該例示的な実施形態では、ハードディスク・ドライブ１０４６はＲＡＩＤ０ １０４２ストレージよりもアクセス速度が遅い。ソリッド・ステート・ディスク（ＳＳＤ）１０４４は、在庫イベント位置処理エンジン１８０のためのオペレーティング・システム及び関連ファイルを含む。
【0143】
例示的な構成では、４つのカメラ１０１２，１０１４，１０１６，１０１８が、処理プラットフォーム（ネットワーク・ノード）１０３に接続される。各カメラは、カメラによって送られた画像を処理するために、専用グラフィックス処理ユニットＧＰＵ１ １０６２，ＧＰＵ２ １０６４，ＧＰＵ３ １０６６，及びＧＰＵ４ １０６８を有する。１つの処理プラットフォームにつき、３つより少ないまたは多いカメラを接続することができると理解される。従って、各カメラが、カメラから受信した画像フレームを処理するための専用ＧＰＵを有するように、より少ないまたはより多いＧＰＵがネットワーク・ノード内に構成される。プロセッサ・サブシステム１０５０、記憶サブシステム１０３０、及びＧＰＵ１０６２，１０６４、及び１０６６は、バス・サブシステム１０５４を使用して通信する。
【0144】
ネットワーク・インタフェース・サブシステム１０７０は、処理プラットフォーム（ネットワーク・ノード）１０４の一部を形成するバス・サブシステム１０５４に接続される。ネットワーク・インタフェース・サブシステム１０７０は、他のコンピュータ・システムにおける対応するインタフェース・デバイスへのインタフェースを含む、外部ネットワークへのインタフェースを提供する。ネットワーク・インタフェース・サブシステム１０７０は、ケーブル（または配線）を使用して、またはワイヤレスで、処理プラットフォームがネットワークを介して通信することを可能にする。実空間のエリア内のモバイル・コンピューティング・デバイス１２０によって発信されたワイヤレス信号１０７５は、マッチング・エンジン１７０による処理のために、ネットワーク・インタフェース・サブシス
テム１０７０によって（ワイヤレス・アクセス・ポイントを介して）受信される。ユーザ・インタフェース出力デバイス及びユーザ・インタフェース入力デバイスのような幾つかの周辺デバイスも、処理プラットフォーム１０４の一部を形成するバス・サブシステム１０５４に接続されている。これらのサブシステム及びデバイスは、説明の明確性を改善するために、図１４０には意図的に示されていない。バス・サブシステム１０５４は、単一のバスとして概略的に示されているが、バス・サブシステムの代わりの実施形態は複数のバスを使用することができる。
テム１０７０によって（ワイヤレス・アクセス・ポイントを介して）受信される。ユーザ・インタフェース出力デバイス及びユーザ・インタフェース入力デバイスのような幾つかの周辺デバイスも、処理プラットフォーム１０４の一部を形成するバス・サブシステム１０５４に接続されている。これらのサブシステム及びデバイスは、説明の明確性を改善するために、図１４０には意図的に示されていない。バス・サブシステム１０５４は、単一のバスとして概略的に示されているが、バス・サブシステムの代わりの実施形態は複数のバスを使用することができる。
【0145】
一実施形態では、カメラ１１４が、１２８８×９６４の解像度、３０ＦＰＳのフレームレート、及び１．３メガピクセル／イメージで、３００ｍｍ～無限大の作動距離を有する可変焦点レンズ、９８．２°～２３．８°の１／３インチセンサによる視野を有するＣｈａｍｅｌｅｏｎ３ １．３ ＭＰ Ｃｏｌｏｒ ＵＳＢ３ Ｖｉｓｉｏｎ（Ｓｏｎｙ ＩＣＸ４４５）を使用して実装することができる。
［被写体識別分析］
［被写体識別分析］
【0146】
以下の説明は、追跡被写体をそれぞれのユーザ・アカウントにマッチングさせることによって、追跡被写体を識別するためのアルゴリズムの例を提供する。上述したように、開示された技術は、被写体連続性分析を実行することによって、現在の識別間隔における位置特定被写体を、先行する識別間隔における追跡被写体にリンクする。レジ無し店舗の場合、被写体は店舗の通路及びオープンスペース内を移動し、棚から商品を取り出す。開示された技術は、追跡被写体によって取られた商品を、それぞれのショッピングカートまたはログ・データ構造に関連付ける。開示された技術は、追跡被写体を識別し、それらをそれぞれのユーザ・アカウントにマッチングさせるために、以下のチェックイン技術の１つを使用する。ユーザ・アカウントは、識別された被写体のための好ましい支払い方法等の情報を有する。開示された技術は、ショッピングストアを離れる識別された被写体に応答して、ユーザ・アカウント内の好ましい支払い方法に自動的に課金することができる。一実施形態では、開示された技術は、現在の識別間隔における位置特定被写体を、過去の識別間隔において識別された（またはチェックインされた）被写体（ユーザ・アカウントにリンクされた被写体）と比較することに加えて、現在の識別間隔内の位置特定被写体を、過去の識別間隔における追跡被写体と比較することを開示する。別の実施形態では、開示された技術は、現在の識別間隔における位置特定被写体を、過去の識別間隔で識別された（または追跡及びチェックインされた）被写体（ユーザーアカウントにリンクされた被写体）と比較する代わりに、現在の識別間隔における位置特定被写体を、過去の間隔における追跡被写体と比較する。
【0147】
ショッピングストアでは、棚及び他の在庫陳列構造は、ショッピングストアの側壁に沿って、または通路を形成する列に、または２つの構成の組合せ等、様々な方法で配置することができる。図１１は、通路１１６ａの一端から見た、通路１１６ａを形成する棚の配置を示す。２つのカメラ、カメラＡ ２０６及びカメラＢ ２０８は、棚等の在庫陳列構造の上のショッピングストアの天井２３０及びフロア２２０から所定の距離で通路１１６ａの上に配置される。カメラ１１４は、実空間内の在庫陳列構造及びフロアエリアのそれぞれの部分を包含する視野を有し、その上に配置されたカメラを備える。被写体として位置特定された候補関節のセットのメンバーの実空間内の座標は、フロアエリア内の被写体の位置を識別する。図１１では、被写体２４０が、モバイル・コンピューティング・デバイス１１８ａを持って、通路１１６ａ内のフロア２２０上に立っている。モバイル・コンピューティング・デバイスは、ワイヤレス・ネットワーク１８１を介して、信号を送受信できる。一実施例では、モバイル・コンピューティング・デバイス１２０は、例えば、ワイヤレス・アクセス・ポイント（ＷＡＰ）２５０及び２５２を介して、Ｗｉ－Ｆｉプロトコル、または、Ｂｌｕｅｔｏｏｔｈ、超広帯域無線、ＺｉｇＢｅｅ等の他のプロトコルを用
いて、ワイヤレス・ネットワークを介して通信する。
いて、ワイヤレス・ネットワークを介して通信する。
【0148】
ショッピングストアの例示的な実施形態では、実空間は、在庫にアクセスし得るショッピングストア内のフロア２２０の全てを含むことができる。カメラ１１４は、フロア２２０及び棚のエリアが少なくとも２つのカメラによって見えるように配置され、配向される。カメラ１１４は、また、棚２０２及び２０４の前のフロアスペースを覆う。カメラの角度は急峻な視点、真っ直ぐな視点及び角度の付いた視点の両方を有するように選択され、これにより、顧客のより完全な身体画像が得られる。一実施形態では、カメラ１１４が、ショッピングストア全体を通して、８フィート高さ以上で構成される。
【0149】
図１１において、カメラ２０６及び２０８は、重なり合う視野を有し、それぞれ重なり合う視野２１６及び２１８を有する棚Ａ ２０２と棚Ｂ ２０４との間の空間を覆う。実空間内の位置は、実空間座標系の（ｘ，ｙ，ｚ）点として表される。“ｘ”及び“ｙ”は、ショッピングストアのフロア２２０とすることができる２次元（２Ｄ）平面上の位置を表し、値“ｚ”は、１つの構成ではフロア２２０における２Ｄプレーン上の点の高さである。
【0150】
図１２は、図１１の上から見た通路１１６ａを示し、通路１１６ａ上のカメラ２０６及び２０８の位置の例示的な配置を更に示す。カメラ２０６及び２０８は、通路１１６ａの両端の近くに配置される。カメラＡ ２０６は棚Ａ ２０２から所定の距離に配置され、カメラＢ ２０８は棚Ｂ ２０４から所定の距離に配置される。３つ以上のカメラが通路上に配置される別の実施形態では、カメラは互いに等しい距離に配置される。このような実施形態では、２つのカメラが両端の近くに配置され、第３のカメラが通路の中央に配置される。多数の異なるカメラ配置が可能であることが理解される。
［マッチング・エンジン］
［マッチング・エンジン］
【0151】
マッチング・エンジン１７０は、実空間のエリア内でクライアント・アプリケーションを実行しているモバイル・デバイス（追跡被写体によって携行される）の位置を識別することによって、追跡被写体をそれぞれのユーザ・アカウントとマッチングさせることにより識別するロジックを含む。一実施形態では、マッチング・エンジンが追跡被写体をユーザ・アカウントとマッチングさせるために、複数の手法を、独立してまたは組み合わせて使用する。このシステムは、ユーザに関するバイオメトリック識別情報を維持することなく実施可能であり、それにより、アカウント保持者に関するバイオメトリック識別情報は、そのような情報の配布によって引き起こされるセキュリティ及びプライバシーの懸念に晒されない。
【0152】
一実施形態では、顧客（または被写体）がショッピングストアに入ると、パーソナル・モバイル・コンピューティング・デバイス上で実行されるクライアント・アプリケーションを使用してシステムにログインし、モバイル・デバイス上のクライアント・アプリケーションに関連付けられる真正なユーザ・アカウントを識別する。次に、システムは、画像データベース１６６内の未割り当てセマフォ画像のセットから選択された「セマフォ」画像を、モバイル・デバイス上で実行されているクライアント・アプリケーションに送る。セマフォ画像は、同じ画像が、システムがユーザ・アカウントを追跡被写体とマッチングさせるまで、店舗内の別のクライアント・アプリケーションで使用するために開放されないため、ショッピングストア内のクライアント・アプリケーションに固有である。そのマッチング後は、セマフォ画像は再び使用可能になる。クライアント・アプリケーションは、モバイル・デバイスにセマフォ画像を表示させ、セマフォ画像の表示は、システムによって検出されるモバイル・デバイスによって発せられる信号である。マッチング・エンジン１７０は、画像認識エンジン１１２ａ－ｎまたは別個の画像認識エンジン（図１には不
図示）を用いて、セマフォア画像を認識し、ショッピングストア内での該セマフォアを表示するモバイル・コンピューティング・デバイスの位置を決定する。マッチング・エンジン１７０は、モバイル・コンピューティング・デバイスの位置を、追跡被写体の位置にマッチングさせる。次に、マッチング・エンジン１７０は、追跡被写体（被写体データベース１４０に記憶されている）を、その被写体がショッピングストア内に存在する間、クライアント・アプリケーションにリンクされたユーザ・アカウント（ユーザ・アカウント・データベース１６４に記憶されている）にリンクする。追跡被写体とユーザ・アカウントをマッチングすることにより被写体を識別するために、バイオメトリック識別情報は使用されず、この処理のサポートには何も記憶されない。すなわち、この処理のサポートにおいて追跡被写体をユーザ・アカウントとマッチングさせる目的で、記憶されたバイオメトリック情報と比較するために使用される画像シーケンス内の情報はない。
図示）を用いて、セマフォア画像を認識し、ショッピングストア内での該セマフォアを表示するモバイル・コンピューティング・デバイスの位置を決定する。マッチング・エンジン１７０は、モバイル・コンピューティング・デバイスの位置を、追跡被写体の位置にマッチングさせる。次に、マッチング・エンジン１７０は、追跡被写体（被写体データベース１４０に記憶されている）を、その被写体がショッピングストア内に存在する間、クライアント・アプリケーションにリンクされたユーザ・アカウント（ユーザ・アカウント・データベース１６４に記憶されている）にリンクする。追跡被写体とユーザ・アカウントをマッチングすることにより被写体を識別するために、バイオメトリック識別情報は使用されず、この処理のサポートには何も記憶されない。すなわち、この処理のサポートにおいて追跡被写体をユーザ・アカウントとマッチングさせる目的で、記憶されたバイオメトリック情報と比較するために使用される画像シーケンス内の情報はない。
【0153】
他の実施形態では、マッチング・エンジン１７０が、追跡被写体をユーザ・アカウントにリンクするために、モバイル・コンピューティング・デバイス１２０からの他の信号を、代替手段としてまたは組み合わせて使用する。斯かる信号の例には、実空間のエリア内のモバイル・コンピューティング・デバイスの位置、モバイル・コンピューティング・デバイスの加速度計及びコンパスから得られるモバイル・コンピューティング・デバイスの速度及び方向を識別するサービス位置信号が含まれる。
【0154】
幾つかの実施形態では、アカウント保有者に関する如何なるバイオメトリック情報も維持しない実施形態が提供されるが、システムは、バイオメトリック情報を使用して、未だリンクされていない追跡被写体をユーザ・アカウントにマッチングさせるのを支援することができる。例えば、一実施形態では、システムが、顧客の「毛髪の色」をユーザ・アカウント・レコードに記憶する。マッチング処理中に、システムは例えば、被写体の毛髪の色を追加の入力として使用して、被写体の曖昧さを解消し、追跡被写体をユーザ・アカウントにマッチングさせることができる。ユーザが赤色の毛髪を有し、実空間のエリア内またはモバイル・コンピューティング・デバイスの近傍に赤色の毛髪を有する被写体が１つしかない場合、システムは、ユーザ・アカウントにマッチングするように赤色の毛髪を有する被写体を選択することができる。マッチング・エンジンの詳細は、２０１９年１月２３日出願の米国特許出願第１６／２５５，５７３、「レジ無し店舗で買い物客をチェックインさせるシステム及び方法」に示されており、これは、参照により本明細書に組み込まれる。
【0155】
【0156】
図１３は、実空間のエリア内の追跡被写体をそれぞれのユーザ・アカウントとマッチングすることによって被写体を識別する第１の手法のための処理ステップを示すフローチャート１３００である。ショッピングストアの例では、被写体が棚と他のオープンスペースとの間の通路内で店内を移動する顧客（または買い物客）である。処理はステップ１３０２で開始する。被写体が実空間のエリアに入ると、被写体はモバイル・コンピューティング・デバイス上でクライアント・アプリケーションを開き、ログインを試みる。システムは、ステップ１３０４で、（例えば、ユーザ・アカウント・データベース１６４を照会することによって）ユーザ資格を検証し、クライアント・アプリケーションからのログイン通信を受け入れて、認証されたユーザ・アカウントをモバイル・コンピューティング・デバイスに関連付ける。システムは、クライアント・アプリケーションのユーザ・アカウントが追跡被写体にまだリンクされていないと判断する。システムは、ステップ１３０６で、モバイル・コンピューティング・デバイス上に表示するためのセマフォ画像をクライア
ント・アプリケーションに送信する。セマフォ画像の例には、赤い長方形またはピンクの象等のベタ一色の様々な形状が含まれる。様々な画像が、セマフォとして、好ましくは、画像認識エンジンによる高信頼度認識に適して、使用することができる。それぞれのセマフォ画像は、固有の識別子を持つことができる。処理システムは、ユーザ・アカウントを実空間のエリア内の追跡被写体とマッチングさせる前に、ユーザ・アカウントを識別するモバイル・デバイス上のクライアント・アプリケーションからのログイン通信を受け入れるロジックを含み、ログイン通信を受け入れた後、セマフォ画像のセットから選択されセマフォ画像をモバイル・デバイス上のクライアント・アプリケーションに送信する。
ント・アプリケーションに送信する。セマフォ画像の例には、赤い長方形またはピンクの象等のベタ一色の様々な形状が含まれる。様々な画像が、セマフォとして、好ましくは、画像認識エンジンによる高信頼度認識に適して、使用することができる。それぞれのセマフォ画像は、固有の識別子を持つことができる。処理システムは、ユーザ・アカウントを実空間のエリア内の追跡被写体とマッチングさせる前に、ユーザ・アカウントを識別するモバイル・デバイス上のクライアント・アプリケーションからのログイン通信を受け入れるロジックを含み、ログイン通信を受け入れた後、セマフォ画像のセットから選択されセマフォ画像をモバイル・デバイス上のクライアント・アプリケーションに送信する。
【0157】
一実施形態では、システムは、クライアント・アプリケーションに送信するために、画像データベース１６０から利用可能なセマフォ画像を選択する。セマフォ画像をクライアント・アプリケーションに送信した後、システムは、この画像が他のどのクライアント・アプリケーションにも割り当てられないように、画像データベース１６６内のセマフォ画像の状態を「割り当て済」に変更する。画像の状態は、追跡被写体をモバイル・コンピューティング・デバイスにマッチングさせる処理が完了するまで、「割り当て済」のまま維持される。マッチングが完了した後、状態は「利用可能」に変更され得る。これにより、所与のシステムにおけるセマフォの小さなセットの逐次交代使用が可能になり、画像認識問題が単純化される。
【0158】
クライアント・アプリケーションがセマフォ画像を受信し、モバイル・コンピューティング・デバイスに表示する。一実施形態では、クライアント・アプリケーションはまた、画像の可視性を高めるために、ディスプレイの輝度を増加させる。画像は、１または複数のカメラ１１４によって取得され、ＷｈａｔＣＮＮと呼ばれる画像処理エンジンに送られる。システムは、ステップ１３０８において、ＷｈａｔＣＮＮを使用して、モバイル・コンピューティング・デバイス上に表示されたセマフォ画像を認識する。一実施形態では、ＷｈａｔＣＮＮは、追跡被写体の手の分類を生成するために、画像内の指定された有界ボックスを処理するようにトレーニングされた畳み込みニューラル・ネットワークである。１つの訓練されたＷｈａｔＣＮＮは、１つのカメラからの画像フレームを処理する。ショッピングストアの例示的な実施形態では、各画像フレーム内の各手関節について、ＷｈａｔＣＮＮは手関節が空であるかどうかを識別する。ＷｈａｔＣＮＮは、また、（画像データベース１６６内の）セマフォ画像識別子、または、手関節の中の在庫商品のＳＫＵ(在庫管理単位）番号、手関節の中の商品を示す信頼値が非ＳＫＵ商品（すなわち、ショッピングストア在庫に属さない）、及び画像フレーム内の手関節の位置の状況を識別する。
【0159】
上述したように、重なり合う視野を有する２以上のカメラは、実空間における被写体の画像を取得する。単一の被写体の関節は、それぞれの画像チャネル内の複数のカメラの画像フレーム内に現れ得る。カメラ当たりのＷｈａｔＣＮＮモデルは、被写体の手（手の関節によって表される）におけるセマフォ画像（モバイル・コンピューティング・デバイス上に表示される）を識別する。座標ロジックは、ＷｈａｔＣＮＮモデルの出力を、追跡被写体の左手及び右手のセマフォ画像の識別子（左手クラスＩＤ、右手クラスＩＤと呼ばれる）をリストする統合データ構造に結合する（ステップ１３１０）。システムは、追跡ＩＤを左手クラスＩＤ及び右手クラスＩＤに、実空間での関節の位置を含むタイムスタンプとともにマッピングする辞書にこの情報を格納する。ＷｈａｔＣＮＮの詳細は、２０１８年２月２７日出願の米国特許出願第１５／９０７，１１２号、現在は２０１８年１１月２０日登録の米国特許第１０，１３３，９３３、「画像認識を用いた商品を置くこと及び取ることの検出」に示されており、これは、本明細書に完全に記載されているかのように、参照により本明細書に組み込まれる。
【0160】
ステップ１３１２において、システムは、全ての追跡被写体の両手に対するＷｈａｔＣＮＮモデルの出力を繰り返すことによって、クライアント・アプリケーションに送られた
セマフォ画像がＷｈａｔＣＮＮによって認識されているかどうかをチェックする。セマフォ画像が認識されていない場合、システムは、ステップ１３１４で、リマインダをクライアント・アプリケーションに送信して、モバイル・コンピューティング・デバイス上にセマフォ画像を表示し、処理ステップ１３０８～１３１２を繰り返す。そうではなく、セマフォ画像がＷｈａｔＣＮによって認識されている場合、システムは、クライアント・アプリケーションに関連する（ユーザ・アカウント・データベース１６４からの）ユーザ・アカウントと、モバイル・コンピューティング・デバイスを保持する追跡被写体の追跡ＩＤ(被写体データベース１５０からの）とをマッチングさせる（ステップ１３１６）。一実施形態では、システムは、被写体が実空間のエリアに現れるまで、このマッピング（追跡ＩＤ－ユーザ・アカウント）を維持する。一実施態様では、システムは、固有の被写体識別子（例えば、被写体ＩＤと呼ばれる）を識別された被写体に割り当て、その被写体識別子の追跡ＩＤ－ユーザ・アカウントのタプルへのマッピングを格納する。処理は、ステップ１３１８で終了する。
［サービス位置］
セマフォ画像がＷｈａｔＣＮＮによって認識されているかどうかをチェックする。セマフォ画像が認識されていない場合、システムは、ステップ１３１４で、リマインダをクライアント・アプリケーションに送信して、モバイル・コンピューティング・デバイス上にセマフォ画像を表示し、処理ステップ１３０８～１３１２を繰り返す。そうではなく、セマフォ画像がＷｈａｔＣＮによって認識されている場合、システムは、クライアント・アプリケーションに関連する（ユーザ・アカウント・データベース１６４からの）ユーザ・アカウントと、モバイル・コンピューティング・デバイスを保持する追跡被写体の追跡ＩＤ(被写体データベース１５０からの）とをマッチングさせる（ステップ１３１６）。一実施形態では、システムは、被写体が実空間のエリアに現れるまで、このマッピング（追跡ＩＤ－ユーザ・アカウント）を維持する。一実施態様では、システムは、固有の被写体識別子（例えば、被写体ＩＤと呼ばれる）を識別された被写体に割り当て、その被写体識別子の追跡ＩＤ－ユーザ・アカウントのタプルへのマッピングを格納する。処理は、ステップ１３１８で終了する。
［サービス位置］
【0161】
図１４のフローチャート１４００は、追跡被写体をユーザ・アカウントとマッチングすることにより被写体を識別する第２の手法のための処理ステップを提示する。この手法は、モバイル・デバイスの位置を示すモバイル・デバイスが発信する無線信号を使用する。処理はステップ１４０２から始まり、システムは、ステップ１４０４で、上述したようにモバイル・コンピューティング・デバイス上のクライアント・アプリケーションからのログイン通信を受け入れて、認証されたユーザ・アカウントをモバイル・コンピューティング・デバイスにリンクさせる。ステップ１４０６において、システムは、一定間隔で実空間のエリア内のモバイル・デバイスからサービス位置情報を受信する。一実施形態では、システムは、位置を決定するために、モバイル・コンピューティング・デバイスの全地球測位システム（ＧＰＳ）受信機から発信されるモバイル・コンピューティング・デバイスの緯度及び経度座標を使用する。一実施形態では、ＧＰＳ座標から得られるモバイル・コンピューティング・デバイスのサービス位置が１メートルから３メートルの間の精度を有する。別の実施形態では、ＧＰＳ座標から得られるモバイル・コンピューティング・デバイスのサービス位置が１メートルから５メートルの間の精度を有する。
【0162】
モバイル・コンピューティング・デバイスのサービス位置を決定するために、上記の手法と組み合わせて、または独立して、他の手法を使用することができる。斯かる手法の例には、モバイル・コンピューティング・デバイスがそれぞれのアクセス・ポイントからどれだけ離れているかを示すものとして、図１１及び図１２に示す例えば異なるワイヤレス・アクセス・ポイント（ＷＡＰ）２５０及び２５２等からの信号強度を使用することが含まれる。次いで、システムは、ワイヤレス・アクセス・ポイント（ＷＡＰ）２５０及び２５２の既知の位置を使用して、実空間のエリア内のモバイル・コンピューティング・デバイスの位置を三角測量し、決定する。モバイル・コンピューティング・デバイスによって発信される他のタイプの信号（Ｂｌｕｅｔｏｏｔｈ、超広帯域無線、及びＺｉｇＢｅｅ等）も、モバイル・コンピューティング・デバイスのサービス位置を決定するために使用することができる。
【0163】
システムは、ステップ１４０８において、追跡被写体にまだリンクされていないクライアント・アプリケーションを有するモバイル・デバイスのサービス位置を、毎秒等の一定間隔で監視する。ステップ１４０８で、システムは、マッチングしていないユーザ・アカウントを有する他の全てのモバイル・コンピューティング・デバイスからの、マッチングしていないユーザ・アカウントを有するモバイル・コンピューティング・デバイスの距離を決定する。システムは、この距離を、３メートル等の所定の閾値距離“ｄ”と比較する。モバイル・コンピューティング・デバイスがマッチングしていないユーザ・アカウント
を有する他の全てのモバイル・デバイスから少なくとも“ｄ”距離だけ離れている場合（ステップ１４１０）、システムは、モバイル・コンピューティング・デバイスにまだリンクされていない最も近い被写体を決定する（ステップ１４１４）。ステップ１４１２において、追跡被写体の位置が関節ＣＮＮの出力から得られる。一実施形態では、関節ＣＮＮから取得された被写体の位置は、モバイル・コンピューティング・デバイスのサービス位置よりも正確である。ステップ１４１６において、システムは、フローチャート１３００において上述したのと同じ処理を実行して、追跡被写体の追跡ＩＤをクライアント・アプリケーションのユーザ・アカウントとマッチングさせる。処理は、ステップ１４１８で終了する。
を有する他の全てのモバイル・デバイスから少なくとも“ｄ”距離だけ離れている場合（ステップ１４１０）、システムは、モバイル・コンピューティング・デバイスにまだリンクされていない最も近い被写体を決定する（ステップ１４１４）。ステップ１４１２において、追跡被写体の位置が関節ＣＮＮの出力から得られる。一実施形態では、関節ＣＮＮから取得された被写体の位置は、モバイル・コンピューティング・デバイスのサービス位置よりも正確である。ステップ１４１６において、システムは、フローチャート１３００において上述したのと同じ処理を実行して、追跡被写体の追跡ＩＤをクライアント・アプリケーションのユーザ・アカウントとマッチングさせる。処理は、ステップ１４１８で終了する。
【0164】
追跡被写体とユーザ・アカウントとのマッチングには、バイオメトリック識別情報は使用されず、この処理のサポートには何も記憶されない。すなわち、この処理のサポートにおいて追跡被写体をユーザ・アカウントとマッチングさせる目的で、記憶されたバイオメトリック情報と比較するために使用される画像シーケンス内の情報はない。従って、追跡被写体をユーザ・アカウントとマッチングさせるこのロジックは、ユーザ・アカウントに関連する個人を識別するバイオメトリック情報を使用せずに動作する。
［速度と方向］
［速度と方向］
【0165】
図１５のフローチャート１５００は、追跡被写体をユーザ・アカウントとマッチングすることにより被写体を認識する第３の手法のための処理ステップを提示する。この手法は、モバイル・コンピューティング・デバイスの加速度計によって発信される信号を使用して、追跡被写体をクライアント・アプリケーションとマッチングさせる。処理はステップ１５０２から始まる。処理はステップ１５０４で開始し、第１及び第２の手法で上述したように、クライアント・アプリケーションからのログイン通信を受け入れる。ステップ１５０６において、システムは、実空間のエリア内のモバイル・コンピューティング・デバイス上の加速度計からのデータを搬送する、モバイル・コンピューティング・デバイスから送信された信号を受信する。この信号は一定間隔で送信され得る。ステップ１５０８で、システムは、マッチングしていないユーザ・アカウントを有する全てのモバイル・コンピューティング・デバイスの平均速度を計算する。
【0166】
加速度計は、３つの軸（ｘ、ｙ、ｚ）に沿ったモバイル・コンピューティング・デバイスの加速度を提供する。一実施形態では、時間“ｔ”での現速度を計算するために、速度が、小さな時間間隔（例えば、１０ミリ秒毎）で加速度値を取ることによって計算される。すなわち、ｖｔ＝ｖ０＋ａｔ、ここで、ｖ０ は初速度である。一実施形態では、ｖ０は“０”として初期化され、その後、ｔ＋１のたびに、ｖｔはｖ０になる。次いで、３つの軸に沿った速度を組み合わせて、時間“ｔ”におけるモバイル・コンピューティング・デバイスの全体的な速度を決定する。最後に、ステップ８０８において、システムは、平均的な人物の歩行に十分な長さである３秒等のより長い期間にわたって、または、更に長い期間にわたって、全てのモバイル・コンピューティング・デバイスの速度の移動平均を計算する。
【0167】
ステップ１５１０において、システムは、未だリンクされていない追跡被写体に対するマッチングされていないクライアント・アプリケーションを有するモバイル・コンピューティング・デバイスの全てのペアの速度間のユークリッド距離（Ｌ２ノルムとも呼ばれる）を計算する。被写体の速度は、関節分析から得られ、タイムスタンプを有するそれぞれの被写体データ構造３２０に記憶された、時間に対する関節の位置の変化から導出される。一実施形態では、関節分析を使用して、各被写体の質量中心の位置が決定される。被写体の質量中心位置データの速度または他の微分は、モバイル・コンピューティング・デバイスの速度との比較のために使用される。各追跡ＩＤ－ユーザ・アカウントのペアについ
て、それぞれの速度間のユークリッド距離の値が閾値０より小さい場合、追跡ＩＤ－ユーザ・アカウントのペアのスコア・カウンタが増加される。上記処理は一定の時間間隔で実行されるため、各追跡ＩＤ－ユーザ・アカウントのペアのスコア・カウンタが更新される。
て、それぞれの速度間のユークリッド距離の値が閾値０より小さい場合、追跡ＩＤ－ユーザ・アカウントのペアのスコア・カウンタが増加される。上記処理は一定の時間間隔で実行されるため、各追跡ＩＤ－ユーザ・アカウントのペアのスコア・カウンタが更新される。
【0168】
一定の時間間隔（例えば、１秒毎）で、システムは、マッチングしていない全てのユーザ・アカウントとまだリンクされていない全ての追跡被写体とのペアのスコア・カウンタ値を比較する（ステップ１５１２）。最高スコアが閾値１より大きい場合（ステップ１５１４）、システムは、ステップ１５１６で、最高スコアと２番目に高いスコア（同じユーザ・アカウントと異なる被写体とのペアについて）との間の差を計算する。差異が閾値２より大きい場合、システムは、ステップ１５１８において、追跡被写体に対するユーザ・アカウントのマッピングを選択し、ステップ１５１６において上述したのと同じ処理に続く。処理は、ステップ１５２０で終了する。
【0169】
別の実施形態では、関節ＣＮＮがモバイル・コンピューティング・デバイスを保持する手を認識する場合、モバイル・コンピューティング・デバイスを保持する（追跡被写体の）手の速度は、被写体の質量中心の速度を使用する代わりに、上記の処理で使用される。これは、マッチング・アルゴリズムの性能を改善する。閾値（閾値０、閾値１、閾値２）の値を決定するために、システムは、画像に割り当てられたラベルを有するトレーニング・データを使用する。トレーニングの間、閾値の種々の組み合わせが使用され、アルゴリズムの出力はその性能を決定するために、画像のグラウンド・トゥルース・ラベルとマッチングされる。最良の全体的な割り当て精度をもたらす閾値の値は、プロダクション（または推論）において使用するために選択される。
【0170】
追跡被写体とユーザ・アカウントとのマッチングには、バイオメトリック識別情報は使用されず、この処理のサポートには何も記憶されない。すなわち、この処理のサポートにおいて追跡被写体をユーザ・アカウントとマッチングさせる目的で、記憶されたバイオメトリック情報と比較するために使用される画像シーケンス内の情報はない。従って、追跡被写体をユーザ・アカウントとマッチングさせるこのロジックは、ユーザ・アカウントに関連する個人を識別するバイオメトリック情報を使用せずに動作する。
［ネットワーク・アンサンブル］
［ネットワーク・アンサンブル］
【0171】
ネットワーク・アンサンブルは、多くのネットワークが問題を解決するために共同で使用される学習パラダイムである。アンサンブルは、通常、単一の分類器から得られる予測精度を、複数のモデルの学習に関連する労力とコストを検証する因子によって改善する。ユーザ・アカウントを未だリンクされていない追跡被写体にマッチングさせるための第４の手法では、上記で提示された第２及び第３の手法が、アンサンブル（またはネットワーク・アンサンブル）において共同で使用される。アンサンブルで２つの手法を使用するために、関連する特徴が、２つの手法のアプリケーションから抽出される。図１６Ａ～１６Ｃは、特徴を抽出し、アンサンブルを訓練し、訓練されたアンサンブルを使用して、ユーザ・アカウントを未だリンクされていない追跡被写体とのマッチングを予測する処理ステップ（フローチャート１６００）を示す。
【0172】
図１６Ａは、モバイル・コンピューティング・デバイスのサービス位置を使用する第２の手法を使用して特徴を生成するための処理ステップを示す。処理はステップ１６０２で開始する。ステップ１６０４で、第２の手法について、マッチングしていないユーザ・アカウントを有するモバイル・コンピューティング・デバイスのサービス位置が、マッチングしていないユーザ・アカウントを有する他の全てのモバイル・コンピューティング・デバイスからＸメートル離れている回数を示すカウントＸが計算される。ステップ１６０６
で、システムは、追跡ＩＤ－ユーザ・アカウントのペアの全てのタプルのカウントＸ値を、アンサンブルによる使用のために格納する。一実施形態では、Ｘの複数の値、例えば、１ｍ、２ｍ、３ｍ、４ｍ、５ｍが使用される（ステップ１６０８及び１６１０）。Ｘ の各値に対して、カウントは、追跡ＩＤ－ユーザ・アカウントのタプルを、整数であるカウント・スコアにマッピングする辞書として保存される。Ｘの５つの値が使用される例では、５つの斯かる辞書がステップ１６１２で作成される。処理は、ステップ１６１４で終了する。
で、システムは、追跡ＩＤ－ユーザ・アカウントのペアの全てのタプルのカウントＸ値を、アンサンブルによる使用のために格納する。一実施形態では、Ｘの複数の値、例えば、１ｍ、２ｍ、３ｍ、４ｍ、５ｍが使用される（ステップ１６０８及び１６１０）。Ｘ の各値に対して、カウントは、追跡ＩＤ－ユーザ・アカウントのタプルを、整数であるカウント・スコアにマッピングする辞書として保存される。Ｘの５つの値が使用される例では、５つの斯かる辞書がステップ１６１２で作成される。処理は、ステップ１６１４で終了する。
【0173】
図１６Ｂは、モバイル・コンピューティング・デバイスの速度を使用する第３の手法を使用して特徴を生成するための処理ステップを示す。処理はステップ１６２０で開始する。ステップ１６２２で、第３の手法について、特定の追跡ＩＤ－ユーザ・アカウントのペア間のユークリッド距離が閾値０を下回る回数を示すスコア・カウンタ値に等しいカウントＹが決定される。ステップ１６２４で、システムは、追跡ＩＤ－ユーザ・アカウントのペアの全てのタプルのカウントＹ値を、アンサンブルによる使用のために格納する。一実施形態では、閾値０の複数の値、例えば５つの異なる値が使用される（ステップ１６２６及び１６２８）。閾値０の各値に対して、カウントＹは、追跡ＩＤ－ユーザ・アカウントのタプルを、整数であるカウント・スコアにマッピングする辞書として保存される。閾値の５つの値が使用される例では、５つの斯かる辞書がステップ１６３０で作成される。処理は、ステップ１６３２で終了する。
【0174】
次いで、第２及び第３の手法からの特徴を使用して、ラベル付きトレーニング・データセットを作成し、ネットワーク・アンサンブルをトレーニングするために使用する。斯かるデータセットを収集するために、複数の被写体（買い物客）が、ショッピングストアのような実空間のエリア内を歩く。これらの被写体の画像は、一定の時間間隔でカメラ１１４を用いて収集される。人間のラベラーは画像を検査し、トレーニング・データの画像に正しい識別子（追跡ＩＤとユーザ・アカウント）を割り当てる。この処理は、図１６Ｃに示されるフローチャート１６００に記載される。処理はステップ１６４０で開始する。ステップ１６４２で、第２及び第３の手法から得られたカウントＸ及びカウントＹ辞書の形式の特徴が、追跡ＩＤとユーザ・アカウントの正しいマッチング（真）及び間違ったマッチング（偽）を識別するために、画像上の人間のラベラーによって割り当てられた対応する真のラベルと比較される。
【0175】
追跡ＩＤとユーザ・アカウントの各マッピングに対する結果のカテゴリは真または偽の２つのみであるため、二項分類器がこのトレーニング・データセットを使用してトレーニングされる（ステップ１６４４）。二項分類のために一般に使用される方法には、決定木、ランダム・フォレスト、ニューラル・ネットワーク、勾配ブースト、サポート・ベクター・マシン等が含まれる。トレーニングされた二項分類器は、新しい確率論的観察を真または偽として分類するために使用される。トレーニングされた二項分類器は、追跡ＩＤとユーザ・アカウントのタプルの入力カウントＸ及びカウントＹ辞書を与えることによって、プロダクション（または推論）で使用される。トレーニングされた二項分類器は、ステップ１６４６において、各タプルを真または偽として分類する。処理は、ステップ１６４８で終了する。
【0176】
上記４つの手法の適用後に実空間のエリア内にマッチングしていないモバイル・コンピューティング・デバイスがある場合、システムは、モバイル・コンピューティング・デバイスに、クライアント・アプリケーションを開くように通知を送信する。ユーザが通知を受け入れると、クライアント・アプリケーションは、第１の手法で説明されているようにセマフォ画像を表示する。その後、システムは、第１の手法の手順に従って、買い物客をチェックインする（追跡ＩＤをユーザ・アカウントにマッチングさせる）。顧客が通知に応答しない場合、システムは、マッチングしていない顧客の位置を示す通知をショッピン
グストア内の従業員に送信する。次いで、従業員は顧客に歩み寄り、自分のモバイル・コンピューティング・デバイス上のクライアント・アプリケーションを開いて、セマフォ画像を使用してシステムにチェックインするように要求することができる。
グストア内の従業員に送信する。次いで、従業員は顧客に歩み寄り、自分のモバイル・コンピューティング・デバイス上のクライアント・アプリケーションを開いて、セマフォ画像を使用してシステムにチェックインするように要求することができる。
【0177】
追跡被写体とユーザ・アカウントとのマッチングには、バイオメトリック識別情報は使用されず、この処理のサポートには何も記憶されない。すなわち、この処理のサポートにおいて追跡被写体をユーザ・アカウントとマッチングさせる目的で、記憶されたバイオメトリック情報と比較するために使用される画像シーケンス内の情報はない。従って、追跡被写体をユーザ・アカウントとマッチングさせるこのロジックは、ユーザ・アカウントに関連する個人を識別するバイオメトリック情報を使用せずに動作する。
［アーキテクチャ］
［アーキテクチャ］
【0178】
ユーザ・アカウントを実空間のエリア内の未だリンクされていない追跡被写体にマッチングさせることにより被写体を識別するために上述の４つの手法が適用されるシステムのアーキテクチャ例を、図１７に示す。図１７はアーキテクチャ図であるため、説明の明確性を向上させるために、特定の詳細は省略されている。図１７に示すシステムは、複数のカメラ１１４から画像フレームを受信する。上述のように、一実施形態では、カメラ１１４が、画像が同時に、または時間的に近く、且つ同じ画像キャプチャ・レートで取得されるように、互いに時間的に同期させることができる。同時にまたは時間的に近い実空間のエリアをカバーする全てのカメラにおいて取得された画像は、同期された画像が実空間において固定された位置を有する被写体のある時点での様々な光景を表すものとして処理エンジンにおいて識別されることができるという意味で同期される。画像は、カメラ毎に画像フレームの循環バッファ１７０２内に格納される。
【0179】
「被写体追跡」サブシステム１７０４（第１の画像プロセッサとも呼ばれる）は、カメラ１１４から受け取った画像フレームを処理して、実空間内の被写体を位置特定し追跡する。第１の画像プロセッサは、実空間内の被写体の関節を検出する上記関節ＣＮＮ等の被写体画像認識エンジン含む。
【0180】
「意味的差分抽出」サブシステム１７０６（第２の画像プロセッサとも呼ばれる）は、背景画像認識エンジンを含み、背景画像認識エンジンは、複数のカメラから対応する画像シーケンスを受信し、例えば、背景（すなわち、棚のような在庫陳列構造）内の意味的に重要な差異が、各カメラからの画像において経時的に、在庫商品を置くこと及び取ることに関連するときに、当該差異を認識する。第２の画像プロセッサは、被写体追跡サブシステム１７０４の出力と、カメラ１１４からの画像フレームとを入力として受け取る。「意味的差分抽出」サブシステムの詳細は、２０１８年４月４日出願の米国特許出願第１５／９４５，４６６号、現在、２０１８年１１月１３日登録の米国特許第１０，１２７，４３８号、「意味的差分抽出を使用した在庫イベントの予測」、及び、２０１８年４月４日出願の米国特許出願第１５／９４５，４７３号、「前景／背景処理を使用した在庫イベントの予測」に示されており、これらの両方は本明細書に完全に記載されているかのように、参照により本明細書に組み込まれる。第２の画像プロセッサは、識別された背景変化を処理して、追跡被写体による在庫商品を取ることの検出、及び、追跡被写体による在庫陳列構造上の在庫商品を置くことの第１の検出セットを作成する。第１の検出セットは、在庫商品を置くこと及び取ることの背景検出とも呼ばれる。ショッピングストアの例では、第１の検出が、棚から取られた在庫商品、または、顧客または店舗従業員によって棚上に置かれた在庫商品を識別する。意味的差分抽出サブシステムは、識別された背景変化を追跡被写体に関連付けるロジックを含む。
【0181】
「領域提案」サブシステム１７０８（第３の画像プロセッサとも呼ばれる）は、前景画
像認識エンジンを含み、複数のカメラ１１４から対応する画像シーケンスを受信し、前景内の意味的に重要な物体（すなわち、買い物客、買い物客の手、及び在庫商品）が、各カメラからの画像において経時的に、在庫商品を置くこと及び取ることに関連するときに、当該物体を認識する。領域提案サブシステム１７０８は、また、被写体追跡サブシステム１７０４の出力を受信する。第３の画像プロセッサは、カメラ１１４からの画像シーケンスを処理して、対応する画像シーケンス内の画像に表される前景変化を識別し且つ分類する。第３の画像プロセッサは、識別された前景変化を処理して、追跡被写体による在庫商品を取ることの検出、及び、追跡被写体による在庫陳列構造上の在庫商品を置くことの第２の検出セットを作成する。第２の検出セットは、在庫商品を置くこと及び取ることの前景検出とも呼ばれる。ショッピングストアの例では、第２の検出セットは、在庫陳列構造上における顧客及び店舗の従業員による在庫商品を置くこと、及び、在庫商品を取ることを識別する。領域提案サブシステムの詳細は、２０１８年２月２７日出願の米国特許出願第１５／９０７，１１２号、現在、２０１８年１１月２０日登録の米国特許第１０，１３３，９３３号、「画像認識を用いた商品を置くこと及び取ることの検出」に示されており、これは、本明細書に完全に記載されているかのように、参照により本明細書に組み込まれる。
像認識エンジンを含み、複数のカメラ１１４から対応する画像シーケンスを受信し、前景内の意味的に重要な物体（すなわち、買い物客、買い物客の手、及び在庫商品）が、各カメラからの画像において経時的に、在庫商品を置くこと及び取ることに関連するときに、当該物体を認識する。領域提案サブシステム１７０８は、また、被写体追跡サブシステム１７０４の出力を受信する。第３の画像プロセッサは、カメラ１１４からの画像シーケンスを処理して、対応する画像シーケンス内の画像に表される前景変化を識別し且つ分類する。第３の画像プロセッサは、識別された前景変化を処理して、追跡被写体による在庫商品を取ることの検出、及び、追跡被写体による在庫陳列構造上の在庫商品を置くことの第２の検出セットを作成する。第２の検出セットは、在庫商品を置くこと及び取ることの前景検出とも呼ばれる。ショッピングストアの例では、第２の検出セットは、在庫陳列構造上における顧客及び店舗の従業員による在庫商品を置くこと、及び、在庫商品を取ることを識別する。領域提案サブシステムの詳細は、２０１８年２月２７日出願の米国特許出願第１５／９０７，１１２号、現在、２０１８年１１月２０日登録の米国特許第１０，１３３，９３３号、「画像認識を用いた商品を置くこと及び取ることの検出」に示されており、これは、本明細書に完全に記載されているかのように、参照により本明細書に組み込まれる。
【0182】
図１７に記載されるシステムは、第１及び第２の検出セットを処理して、追跡被写体についての在庫商品のリストを含むログ・データ構造を生成するための選択ロジック１７１０を含む。実空間内の置くこと及び取ることのために、選択ロジック１７１０は、意味的差分抽出サブシステム１７０６または領域提案サブシステム１７０８の何れかからの出力を選択する。一実施形態では、選択ロジック１７１０が、第１の検出セットについて意味的差分抽出サブシステムによって生成された信頼度スコアと、第２の検出セットについて領域提案サブシステムによって生成された信頼度スコアとを使用して、選択を行う。特定の検出に対するより高い信頼度スコアを有するサブシステムの出力が選択され、追跡被写体に関連付けられた在庫商品及びその数量のリストを含むログ・データ構造１７１２（ショッピングカート・データ構造とも呼ばれる）を生成するために使用される。
【0183】
ログ・データ構造１７１２内の商品に対する支払いを処理するために、図１７のシステムは、追跡被写体（ログ・データに関連する）を、クレジット・カードまたは銀行口座情報等の支払い方法を含むユーザ・アカウントにマッチングさせるための４つの手法を適用する。一実施形態では、図に示すように、４つの手法が順次適用される。第１の手法のためのフローチャート１３００の処理ステップが、被写体とユーザ・アカウントとの間のマッチングを生成する場合、この情報は、支払いプロセッサ１７３６によって使用されて、ログ・データ構造内の在庫商品について顧客に課金する。そうでない場合（ステップ１７２８）、第２の手法のためのフローチャート１４００に示された処理ステップが次に行われ、ユーザ・アカウントが支払いプロセッサ１７３６によって使用される。第２の手法がユーザ・アカウントを被写体とマッチングさせることができない場合（１７３０）、第３の手法のためのフローチャート１５００に示される処理ステップが次に行われる。第３の手法がユーザ・アカウントを被写体とマッチングさせることができない場合（１７３２）、フローチャート１６００の第４の手法の処理ステップが、ユーザ・アカウントを被写体とマッチングさせるために次に行われる。
【0184】
第４の手法がユーザ・アカウントを被写体とマッチングできない場合（１７３４）、システムは、モバイル・コンピューティング・デバイスにクライアント・アプリケーションを開くための通知を送信して、第１の手法のためのフローチャート１３００に示されるステップを次に行う。顧客が通知に応答しない場合、システムは、マッチングしていない顧客の位置を示す通知をショッピングストア内の従業員に送信する。次に、従業員は顧客に歩み寄り、セマフォ画像を使用してシステムにチェックインするために、自分のモバイル・コンピューティング・デバイス上でクライアント・アプリケーションを開くように依頼
することができる（ステップ１７４０）。図１７に示されるアーキテクチャの他の実施形態では、ユーザ・アカウントを未だリンクされていない追跡被写体にマッチングさせるために、４つより少ない手法を使用し得ることが理解される。
することができる（ステップ１７４０）。図１７に示されるアーキテクチャの他の実施形態では、ユーザ・アカウントを未だリンクされていない追跡被写体にマッチングさせるために、４つより少ない手法を使用し得ることが理解される。
【0185】
上述されたまたは上記で参照された任意のデータ構造及びコードは、多くの実施態様に従って、コンピュータ・システムによって使用されるコード及び／またはデータを記憶することができる任意のデバイスまたは媒体であり得る、非一時的なコンピュータ可読記憶媒体を含むコンピュータ可読メモリに記憶される。これには、揮発性メモリ、不揮発性メモリ、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）、ディスク・ドライブ、磁気テープ、ＣＤ（コンパクトディスク）、ＤＶＤ（デジタル・バーサタイル・ディスクまたはデジタル・ビデオ・ディスク）等の磁気及び光記憶デバイス、または、現在知られているまたは今後開発されるコンピュータ可読媒体を記憶することができる他の媒体が含まれるが、これらに限定されない。
【0186】
先行する説明は、開示された技術の使用及び実施を可能にするために提示されている。開示された実施態様に対する種々の変形は明らかであり、本明細書で規定された原理は、開示された技術の趣旨及び範囲から逸脱することなく、他の実施態様及び応用例に適用され得る。従って、開示された技術は、示された実施態様に限定されることを意図するものではなく、本明細書で開示された原理及び特徴と一致する最も広い範囲が与えられるべきである。開示される技術の範囲は、添付の特許請求の範囲によって規定される。
【図1】
【図2A】
【図2B】
【図3A】
【図3B】
【図4A】
【図4B】
【図4C】
【図5】
【図6A】
【図6B】
【図7】
【図8A】
【図8B】
【図8C】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16A】
【図16B】
【図16C】
【図17】
【外国語明細書】