特許 7420932 スケーラブル位置追跡システムを用いた位置の追跡

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-15

(45)【発行日】2024-01-23

(54)【発明の名称】スケーラブル位置追跡システムを用いた位置の追跡

(51)【国際特許分類】

   G06V 40/20 20220101AFI20240116BHJP

   G06T 7/20 20170101ALI20240116BHJP

   H04N 7/18 20060101ALI20240116BHJP

【ＦＩ】

G06V40/20

G06T7/20 300

H04N7/18 D

H04N7/18 K

【請求項の数】 26

(21)【出願番号】P 2022523941

(86)(22)【出願日】2020-10-23

(65)【公表番号】

(43)【公表日】2022-12-23

(86)【国際出願番号】 US2020057075

(87)【国際公開番号】W WO2021081332

(87)【国際公開日】2021-04-29

【審査請求日】2023-10-23

(31)【優先権主張番号】16/663,633

(32)【優先日】2019-10-25

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/663,432

(32)【優先日】2019-10-25

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/663,415

(32)【優先日】2019-10-25

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/663,669

(32)【優先日】2019-10-25

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】520068870

【氏名又は名称】セブン－イレブン インコーポレイテッド

【氏名又は名称原語表記】７－Ｅｌｅｖｅｎ， Ｉｎｃ．

【住所又は居所原語表記】３２００ Ｈａｃｋｂｅｒｒｙ Ｒｏａｄ， Ｉｒｖｉｎｇ ＴＸ ７５０６３ ＵＳ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】クリシュナムルティ，サイレシュ バーラスワージ

(72)【発明者】

【氏名】ヴァカチャーラ，サラス

(72)【発明者】

【氏名】グエン，トロン ギア

(72)【発明者】

【氏名】ミルザ，シャーメール アリ

(72)【発明者】

【氏名】チンナム，マダン，モハン

(72)【発明者】

【氏名】ボウリオ，カレブ，オースティン

(72)【発明者】

【氏名】ポール，ディーパンジャン

(72)【発明者】

【氏名】ミルザ，ファハド

(72)【発明者】

【氏名】ストロング，ライアン，ロバート

【審査官】真木 健彦

(56)【参考文献】

【文献】特開２００５－３４７９０５（ＪＰ，Ａ）

【文献】特開２００９－０１７４１６（ＪＰ，Ａ）

【文献】特開２００９－０５５１３９（ＪＰ，Ａ）

【文献】特開２０１７－０４０９８３（ＪＰ，Ａ）

【文献】特開２０１７－１２３０２６（ＪＰ，Ａ）

【文献】特許第５４３８８６１（ＪＰ，Ｂ１）

【文献】特許第５５０６９９０（ＪＰ，Ｂ１）

【文献】特許第６１９５３３１（ＪＰ，Ｂ１）

【文献】特許第６２０６８５７（ＪＰ，Ｂ１）

【文献】米国特許第７６１３３２２（ＵＳ，Ｂ２）

【文献】米国特許第１０１０４３４５（ＵＳ，Ｂ２）

【文献】米国特許第１０２３０８６６（ＵＳ，Ｂ１）

【文献】米国特許第１０３３２０８９（ＵＳ，Ｂ１）

【文献】国際公開第２０１６／２０１６８３（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１３／１５５２２９（ＵＳ，Ａ１）

【文献】米国特許第８４５７３５４（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ４０／２０

Ｇ０６Ｔ ７／２０

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ７／１８

Ｇ０８Ｂ １３／１９６

Ｇ０８Ｂ ２５／００

(57)【特許請求の範囲】

【請求項1】

システムであって、
空間の上方に配置されたカメラのアレイと、
第１のカメラクライアントと、
第２のカメラクライアントと、
前記第１のカメラクライアントおよび前記第２のカメラクライアントとは別個のカメラサーバと
を備え、
前記カメラのアレイの各カメラは前記空間の一部のビデオをキャプチャするように構成され、前記空間が人物を含み、
前記第１のカメラクライアントは、
前記カメラのアレイの第１のカメラから第１のビデオの第１の複数のフレームを受信することと、ここで、前記第１の複数のフレームの各フレームが前記空間内の前記人物を示し、
前記第１の複数のフレームのうちの第１のフレームについて、
前記第１のフレームに示される前記人物の周りの第１の境界エリアを決定することと、
前記第１のフレームが前記第１のカメラクライアントによって受信されたときの第１のタイムスタンプを生成することと、
前記第１の複数のフレームのうちの第２のフレームについて、
前記第２のフレームに示される前記人物の周りの第２の境界エリアを決定することと、
前記第２のフレームが前記第１のカメラクライアントによって受信されたときの第２のタイムスタンプを生成することと、
前記第１の複数のフレームのうちの第３のフレームについて、
前記第３のフレームに示される前記人物の周りの第３の境界エリアを決定することと、
前記第３のフレームが前記第１のカメラクライアントによって受信されたときの第３のタイムスタンプを生成することと
を行うように構成され、
前記第２のカメラクライアントは、
前記カメラのアレイの第２のカメラから第２のビデオの第２の複数のフレームを受信することと、ここで、前記第２の複数のフレームの各フレームが前記空間内の前記人物を示し、
前記第２の複数のフレームのうちの第４のフレームについて、
前記第４のフレームに示される前記人物の周りの第４の境界エリアを決定することと、
前記第４のフレームが前記第２のカメラクライアントによって受信されたときの第４のタイムスタンプを生成することと、
前記第２の複数のフレームのうちの第５のフレームについて、
前記第５のフレームに示される前記人物の周りの第５の境界エリアを決定することと、
前記第５のフレームが前記第２のカメラクライアントによって受信されたときの第５のタイムスタンプを生成することと
を行うように構成され、
前記カメラサーバは、
前記第１のタイムスタンプが第１の時間窓内に入ると決定することと、
前記第１のタイムスタンプが前記第１の時間窓内に入ると決定することに応答して、前記第１の境界エリアを画定する座標を前記第１の時間窓に割り当てることと、
前記第２のタイムスタンプが前記第１の時間窓内に入ると決定することと、
前記第２のタイムスタンプが前記第１の時間窓内に入ると決定することに応答して、前記第２の境界エリアを画定する座標を前記第１の時間窓に割り当てることと、
前記第３のタイムスタンプが前記第１の時間窓に続く第２の時間窓内に入ると決定することと、
前記第３のタイムスタンプが前記第２の時間窓内に入ると決定することに応答して、前記第３の境界エリアを画定する座標を前記第２の時間窓に割り当てることと、
前記第４のタイムスタンプが前記第１の時間窓内に入ると決定することと、
前記第４のタイムスタンプが前記第１の時間窓内に入ると決定することに応答して、前記第４の境界エリアを画定する座標を前記第１の時間窓に割り当てることと、
前記第５のタイムスタンプが前記第２の時間窓内に入ると決定することと、
前記第５のタイムスタンプが前記第２の時間窓内に入ると決定することに応答して、前記第５の境界エリアを画定する座標を前記第２の時間窓に割り当てることと、
前記第１の時間窓に割り当てられた前記座標を、
前記第１の境界エリアを画定する前記座標と前記第２の境界エリアを画定する前記座標とに少なくとも基づいて、前記第１のカメラからの前記第１のビデオに対する前記第１の時間窓中の前記人物の結合座標を計算すること、および
前記第４の境界エリアを画定する前記座標に少なくとも基づいて、前記第２のカメラからの前記第２のビデオに対する前記第１の時間窓中の前記人物の結合座標を計算すること
によって処理することと、
前記第１の時間窓に割り当てられた前記座標を処理した後に、前記第２の時間窓に割り当てられた前記座標を、
前記第３の境界エリアを画定する前記座標に少なくとも基づいて、前記第１のカメラからの前記第１のビデオに対する前記第２の時間窓中の前記人物の結合座標を計算すること、および
前記第５の境界エリアを画定する前記座標に少なくとも基づいて、前記第２のカメラからの前記第２のビデオに対する前記第２の時間窓中の前記人物の結合座標を計算すること
によって処理することと
を行うように構成される、
システム。

【請求項2】

前記カメラサーバは、前記第１のカメラからの前記第１のビデオに対する前記第１の時間窓中の前記人物の前記結合座標と、前記第２のカメラからの前記第２のビデオに対する前記第１の時間窓中の前記人物の前記結合座標とに少なくとも基づいて、前記第１の時間窓中の前記空間内の前記人物の位置を決定するようにさらに構成される、請求項１に記載のシステム。

【請求項3】

前記第１のカメラからの前記第１のビデオに対する前記第１の時間窓中の前記人物の前記結合座標は、前記第１の境界エリアを画定する前記座標と前記第２の境界エリアを画定する前記座標との平均を含む、請求項１に記載のシステム。

【請求項4】

前記第１の時間窓に割り当てられた前記座標を処理することは、
前記第１の時間窓に割り当てられた座標が、前記カメラのアレイ内のいくつかのカメラからのフレームからの座標を含むと決定すること、および
カメラの数がしきい値を超えると決定すること
に応答して実行される、請求項１に記載のシステム。

【請求項5】

前記第１の時間窓に割り当てられた前記座標を処理することは、
前記第２の時間窓に割り当てられた座標が、前記カメラのアレイ内のいくつかのカメラからのフレームからの座標を含むと決定すること、および
カメラの数がしきい値を超えると決定すること
に応答して実行される、請求項１に記載のシステム。

【請求項6】

前記第１の時間窓に割り当てられた前記座標を処理することは、前記第１の時間窓に割り当てられた座標が、タイムアウトを超える時間期間にわたって処理されなかったと決定することに応答して実行される、請求項１に記載のシステム。

【請求項7】

前記カメラサーバは、
第１の時間窓に割り当てられた座標が、前記タイムアウトを超える前記時間期間にわたって処理されなかったと決定することに応答して、
前記第２の時間窓に割り当てられた座標が、前記カメラのアレイ内の第１の数のカメラからのフレームからの座標を含むと決定すること、および
しきい値を前記第１の数に下げること
を行うことと、
第３の時間窓に割り当てられた座標が、前記カメラのアレイ内の第２の数のカメラからのフレームからの座標を含むと決定することと、
前記第２の数が前記第１の数を上回ると決定することと、
前記第２の数が前記第１の数を上回ると決定することに応答して、前記しきい値を前記第２の数に増加させることと
を行うようにさらに構成される、請求項６に記載のシステム。

【請求項8】

前記第１の時間窓に割り当てられた座標が処理されるべきであると決定することは、前記第２の時間窓中に前記カメラのアレイ内の各カメラからフレームが受信されたと決定することを含む、請求項１に記載のシステム。

【請求項9】

前記第１のカメラクライアントは、前記第１の時間窓中に、前記第１のカメラクライアントが、前記第１のカメラクライアントに通信可能に結合された前記カメラのアレイ内の各カメラからフレームを受信したと決定したことに応答して、前記第１の境界エリアを画定する前記座標および前記第２の境界エリアを画定する前記座標をバッチとして前記カメラサーバに通信するようにさらに構成される、請求項１に記載のシステム。

【請求項10】

前記第１のカメラクライアントは、前記第１のフレームに示される前記人物の高さ、前記第２のフレームに示される前記人物の高さ、および前記第３のフレームに示される前記人物の高さを受信するようにさらに構成され、
前記第２のカメラクライアントは、前記第４のフレームに示される前記人物の高さおよび前記第５のフレームに示される前記人物の高さを受信するようにさらに構成され、
前記カメラサーバは、
前記第１のフレームに示される前記人物の前記高さと前記第２のフレームに示される前記人物の前記高さとに少なくとも基づいて、前記第１のカメラからの前記第１のビデオに対する前記第１の時間窓中の前記人物の結合高さを計算することと、
前記第４のフレームに示される前記人物の高さに少なくとも基づいて、前記第２のカメラからの前記第２のビデオに対する前記第１の時間窓中の前記人物の結合高さを計算することと
を行うようにさらに構成される、請求項１に記載のシステム。

【請求項11】

前記第１のカメラクライアントは、前記第１のタイムスタンプおよび前記第２のタイムスタンプを生成するために使用される第１のクロックを実装し、
前記第２のカメラクライアントは、前記第４のタイムスタンプおよび前記第５のタイムスタンプを生成するために使用される第２のクロックを実装し、
前記カメラサーバは第３のクロックを実装し、ここで、前記第１のクロック、前記第２のクロック、および前記第３のクロックは、クロック同期プロトコルを使用して同期される、
請求項１に記載のシステム。

【請求項12】

前記カメラのアレイは、
前記第１のカメラクライアントに通信可能に結合された前記カメラのアレイの各カメラが、グリッドの同じ行または同じ列において、前記第１のカメラクライアントに通信可能に結合された前記カメラのアレイの別のカメラに直接隣接しないように、および
前記第１のカメラクライアントに通信可能に結合された前記カメラのアレイのカメラが、前記第１のカメラクライアントに通信可能に結合された前記カメラのアレイの別のカメラに対して前記グリッド内で対角になるように、
グリッド状に配置される、請求項１に記載のシステム。

【請求項13】

前記空間は第２の人物をさらに含み、前記第１の複数のフレームおよび前記第２の複数のフレームの各フレームは前記第２の人物を示し、
前記第１のカメラクライアントは、
前記第１のフレームに示される前記第２の人物の周りの第６の境界エリアを決定することと、
前記第２のフレームに示される前記第２の人物の周りの第７の境界エリアを決定することと、
前記第３のフレームに示される前記第２の人物の周りの第８の境界エリアを決定することと
を行うようにさらに構成され、
前記第２のカメラクライアントは、
前記第４のフレームに示される前記第２の人物の周りの第９の境界エリアを決定することと、
前記第５のフレームに示される前記第２の人物の周りの第１０の境界エリアを決定することと
を行うようにさらに構成され、
前記カメラサーバは、
前記第１のタイムスタンプが前記第１の時間窓内に入ると決定することに応答して、前記第６の境界エリアを画定する座標を前記第１の時間窓に割り当てることと、
前記第２のタイムスタンプが前記第１の時間窓内に入ると決定することに応答して、前記第７の境界エリアを画定する座標を前記第１の時間窓に割り当てることと、
前記第３のタイムスタンプが前記第２の時間窓内に入ると決定することに応答して、前記第８の境界エリアを画定する座標を前記第２の時間窓に割り当てることと、
前記第４のタイムスタンプが前記第１の時間窓内に入ると決定することに応答して、前記第９の境界エリアを画定する座標を前記第１の時間窓に割り当てることと、
前記第５のタイムスタンプが前記第２の時間窓内に入ると決定することに応答して、前記第１０の境界エリアを画定する座標を前記第２の時間窓に割り当てることと、
前記第１の時間窓に割り当てられた座標を、
前記第６の境界エリアを画定する前記座標と前記第７の境界エリアを画定する前記座標とに少なくとも基づいて、前記第１のカメラからの前記第１のビデオに対する前記第１の時間窓中の前記第２の人物の結合座標を計算すること、および
前記第９の境界エリアを画定する前記座標に少なくとも基づいて、前記第２のカメラからの前記第２のビデオに対する前記第１の時間窓中の前記第２の人物の結合座標を計算すること
によってさらに処理することと、
前記第２の時間窓に割り当てられた座標を、
前記第８の境界エリアを画定する前記座標に少なくとも基づいて、前記第１のカメラからの前記第１のビデオに対する前記第２の時間窓中の前記第２の人物の結合座標を計算すること、および
前記第１０の境界エリアを画定する前記座標に少なくとも基づいて、前記第２のカメラからの前記第２のビデオに対する前記第２の時間窓中の前記第２の人物の結合座標を計算すること
によってさらに処理することと
を行うようにさらに構成される、請求項１に記載のシステム。

【請求項14】

方法であって、
第１のカメラクライアントによって、カメラのアレイの第１のカメラから第１のビデオの第１の複数のフレームを受信することと、ここで、前記カメラのアレイは空間の上方に配置され、前記カメラのアレイの各カメラは前記空間の一部のビデオをキャプチャするように構成され、前記空間が人物を含み、前記第１の複数のフレームの各フレームが前記空間内の前記人物を示し、
前記第１の複数のフレームのうちの第１のフレームについて、
前記第１のカメラクライアントによって、前記第１のフレームに示される前記人物の周りの第１の境界エリアを決定することと、
前記第１のカメラクライアントによって、前記第１のフレームが前記第１のカメラクライアントによって受信されたときの第１のタイムスタンプを生成することと、
前記第１の複数のフレームのうちの第２のフレームについて、
前記第１のカメラクライアントによって、前記第２のフレームに示される前記人物の周りの第２の境界エリアを決定することと、
前記第１のカメラクライアントによって、前記第２のフレームが前記第１のカメラクライアントによって受信されたときの第２のタイムスタンプを生成することと、
前記第１の複数のフレームのうちの第３のフレームについて、
前記第１のカメラクライアントによって、前記第３のフレームに示される前記人物の周りの第３の境界エリアを決定することと、
前記第１のカメラクライアントによって、前記第３のフレームが前記第１のカメラクライアントによって受信されたときの第３のタイムスタンプを生成することと、
前記第１のカメラクライアントとは別個の第２のカメラクライアントによって、前記カメラのアレイの第２のカメラから第２のビデオの第２の複数のフレームを受信することと、ここで、前記第２の複数のフレームの各フレームが前記空間内の前記人物を示し、
前記第２の複数のフレームのうちの第４のフレームについて、
前記第２のカメラクライアントによって、前記第４のフレームに示される前記人物の周りの第４の境界エリアを決定することと、
前記第２のカメラクライアントによって、前記第４のフレームが前記第２のカメラクライアントによって受信されたときの第４のタイムスタンプを生成することと、
前記第２の複数のフレームのうちの第５のフレームについて、
前記第２のカメラクライアントによって、前記第５のフレームに示される前記人物の周りの第５の境界エリアを決定することと、
前記第２のカメラクライアントによって、前記第５のフレームが前記第２のカメラクライアントによって受信されたときの第５のタイムスタンプを生成することと、
前記第１のカメラクライアントおよび前記第２のカメラクライアントとは別個のカメラサーバによって、前記第１のタイムスタンプが第１の時間窓内に入ると決定することと、
前記第１のタイムスタンプが前記第１の時間窓内に入ると決定することに応答して、前記カメラサーバによって、前記第１の境界エリアを画定する座標を前記第１の時間窓に割り当てることと、
前記カメラサーバによって、前記第２のタイムスタンプが前記第１の時間窓内に入ると決定することと、
前記第２のタイムスタンプが前記第１の時間窓内に入ると決定することに応答して、前記カメラサーバによって、前記第２の境界エリアを画定する座標を前記第１の時間窓に割り当てることと、
前記カメラサーバによって、前記第３のタイムスタンプが前記第１の時間窓に続く第２の時間窓内に入ると決定することと、
前記第３のタイムスタンプが前記第２の時間窓内に入ると決定することに応答して、前記カメラサーバによって、前記第３の境界エリアを画定する座標を前記第２の時間窓に割り当てることと、
前記カメラサーバによって、前記第４のタイムスタンプが前記第１の時間窓内に入ると決定することと、
前記第４のタイムスタンプが前記第１の時間窓内に入ると決定することに応答して、前記カメラサーバによって、前記第４の境界エリアを画定する座標を前記第１の時間窓に割り当てることと、
前記カメラサーバによって、前記第５のタイムスタンプが前記第２の時間窓内に入ると決定することと、
前記第５のタイムスタンプが前記第２の時間窓内に入ると決定することに応答して、前記カメラサーバによって、前記第５の境界エリアを画定する座標を前記第２の時間窓に割り当てることと、
前記カメラサーバによって、前記第１の時間窓に割り当てられた前記座標を、
前記カメラサーバによって、前記第１の境界エリアを画定する前記座標と前記第２の境界エリアを画定する前記座標とに少なくとも基づいて、前記第１のカメラからの前記第１のビデオに対する前記第１の時間窓中の前記人物の結合座標を計算すること、および
前記カメラサーバによって、前記第４の境界エリアを画定する前記座標に少なくとも基づいて、前記第２のカメラからの前記第２のビデオに対する前記第１の時間窓中の前記人物の結合座標を計算すること
によって処理することと、
前記第１の時間窓に割り当てられた前記座標を処理した後に、前記第２の時間窓に割り当てられた前記座標を、
前記カメラサーバによって、前記第３の境界エリアを画定する前記座標に少なくとも基づいて、前記第１のカメラからの前記第１のビデオに対する前記第２の時間窓中の前記人物の結合座標を計算することと、
前記カメラサーバによって、前記第５の境界エリアを画定する前記座標に少なくとも基づいて、前記第２のカメラからの前記第２のビデオに対する前記第２の時間窓中の前記人物の結合座標を計算すること
によって処理することと
を含む方法。

【請求項15】

前記カメラサーバによって、前記第１のカメラからの前記第１のビデオに対する前記第１の時間窓中の前記人物の前記結合座標と、前記第２のカメラからの前記第２のビデオに対する前記第１の時間窓中の前記人物の前記結合座標とに少なくとも基づいて、前記第１の時間窓中の前記空間内の前記人物の位置を決定することをさらに含む、請求項１４に記載の方法。

【請求項16】

前記第１のカメラからの前記第１のビデオに対する前記第１の時間窓中の前記人物の前記結合座標は、前記第１の境界エリアを画定する前記座標と前記第２の境界エリアを画定する前記座標との平均を含む、請求項１４に記載の方法。

【請求項17】

前記第１の時間窓に割り当てられた前記座標を処理することは、
前記第１の時間窓に割り当てられた座標が、前記カメラのアレイ内のいくつかのカメラからのフレームからの座標を含むと決定すること、および
カメラの数がしきい値を超えると決定すること
に応答して実行される、請求項１４に記載の方法。

【請求項18】

前記第１の時間窓に割り当てられた座標を処理することは、
前記第２の時間窓に割り当てられた座標が、前記カメラのアレイ内のいくつかのカメラからのフレームからの座標を含むと決定すること、および
カメラの数がしきい値を超えると決定すること
に応答して実行される、請求項１４に記載の方法。

【請求項19】

前記第１の時間窓に割り当てられた前記座標を処理することは、前記第１の時間窓に割り当てられた座標が、タイムアウトを超える時間期間にわたって処理されなかったと決定することに応答して実行される、請求項１４に記載の方法。

【請求項20】

第１の時間窓に割り当てられた座標が、前記タイムアウトを超える前記時間期間にわたって処理されなかったと決定することに応答して、
前記第２の時間窓に割り当てられた座標が、前記カメラのアレイ内の第１の数のカメラからのフレームからの座標を含むと決定すること、および
しきい値を前記第１の数に下げること
を行うことと、
第３の時間窓に割り当てられた座標が、前記カメラのアレイ内の第２の数のカメラからのフレームからの座標を含むと決定することと、
前記第２の数が前記第１の数を上回ると決定することと、
前記第２の数が前記第１の数を上回ると決定することに応答して、前記しきい値を前記第２の数に増加させることと
をさらに含む、請求項１９に記載の方法。

【請求項21】

前記第１の時間窓に割り当てられた座標が処理されるべきであると決定することは、前記第２の時間窓中に前記カメラのアレイ内の各カメラからフレームが受信されたと決定することを含む、請求項１４に記載の方法。

【請求項22】

前記第１の時間窓中に、前記第１のカメラクライアントが、前記第１のカメラクライアントに通信可能に結合された前記カメラのアレイ内の各カメラからフレームを受信したと決定したことに応答して、前記第１のカメラクライアントによって、前記第１の境界エリアを画定する前記座標および前記第２の境界エリアを画定する前記座標をバッチとして前記カメラサーバに通信することをさらに含む、請求項１４に記載の方法。

【請求項23】

前記第１のカメラクライアントによって、前記第１のフレームに示される前記人物の高さ、前記第２のフレームに示される前記人物の高さ、および前記第３のフレームに示される前記人物の高さを受信することと、
前記第２のカメラクライアントによって、前記第４のフレームに示される前記人物の高さおよび前記第５のフレームに示される前記人物の高さを受信することと、
前記カメラサーバによって、前記第１のフレームに示される前記人物の前記高さと前記第２のフレームに示される前記人物の前記高さとに少なくとも基づいて、前記第１のカメラからの前記第１のビデオに対する前記第１の時間窓中の前記人物の結合高さを計算することと、
前記カメラサーバによって、前記第４のフレームに示される前記人物の高さに少なくとも基づいて、前記第２のカメラからの前記第２のビデオに対する前記第１の時間窓中の前記人物の結合高さを計算することと
をさらに含む、請求項１４に記載の方法。

【請求項24】

前記第１のカメラクライアントによって、前記第１のタイムスタンプおよび前記第２のタイムスタンプを生成するために使用される第１のクロックを実装することと、
前記第２のカメラクライアントによって、前記第４のタイムスタンプおよび前記第５のタイムスタンプを生成するために使用される第２のクロックを実装することと、
前記カメラサーバによって、第３のクロックを実装することと
をさらに含み、ここで、前記第１のクロック、前記第２のクロック、および前記第３のクロックは、クロック同期プロトコルを使用して同期される、
請求項１４に記載の方法。

【請求項25】

前記カメラのアレイは、
前記第１のカメラクライアントに通信可能に結合された各カメラが、グリッド内で、前記第１のカメラクライアントに通信可能に結合された別のカメラに直接隣接しないように、および
前記第１のカメラクライアントに通信可能に結合されたカメラが、前記第１のカメラクライアントに通信可能に結合された別のカメラに対して前記グリッド内で対角になるように、
グリッド状に配置される、請求項１４に記載の方法。

【請求項26】

前記第１のカメラクライアントによって、前記第１のフレームに示される第２の人物の周りの第６の境界エリアを決定することと、
前記第１のカメラクライアントによって、前記第２のフレームに示される前記第２の人物の周りの第７の境界エリアを決定することと、
前記第１のカメラクライアントによって、前記第３のフレームに示される前記第２の人物の周りの第８の境界エリアを決定することと、
前記第２のカメラクライアントによって、前記第４のフレームに示される前記第２の人物の周りの第９の境界エリアを決定することと、
前記第２のカメラクライアントによって、前記第５のフレームに示される前記第２の人物の周りの第１０の境界エリアを決定することと、
前記第１のタイムスタンプが前記第１の時間窓内に入ると決定することに応答して、前記カメラサーバによって、前記第６の境界エリアを画定する座標を前記第１の時間窓に割り当てることと、
前記第２のタイムスタンプが前記第１の時間窓内に入ると決定することに応答して、前記カメラサーバによって、前記第７の境界エリアを画定する座標を前記第１の時間窓に割り当てることと、
前記第３のタイムスタンプが前記第２の時間窓内に入ると決定することに応答して、前記カメラサーバによって、前記第８の境界エリアを画定する座標を前記第２の時間窓に割り当てることと、
前記第４のタイムスタンプが前記第１の時間窓内に入ると決定することに応答して、前記カメラサーバによって、前記第９の境界エリアを画定する座標を前記第１の時間窓に割り当てることと、
前記第５のタイムスタンプが前記第２の時間窓内に入ると決定することに応答して、前記カメラサーバによって、前記第１０の境界エリアを画定する座標を前記第２の時間窓に割り当てることと、
前記第１の時間窓に割り当てられた座標を、
前記カメラサーバによって、前記第６の境界エリアを画定する前記座標と前記第７の境界エリアを画定する前記座標とに少なくとも基づいて、前記第１のカメラからの前記第１のビデオに対する前記第１の時間窓中の前記第２の人物の結合座標を計算すること、および
前記カメラサーバによって、前記第９の境界エリアを画定する前記座標に少なくとも基づいて、前記第２のカメラからの前記第２のビデオに対する前記第１の時間窓中の前記第２の人物の結合座標を計算すること
によってさらに処理することと、
前記第２の時間窓に割り当てられた座標を、
前記カメラサーバによって、前記第８の境界エリアを画定する前記座標に少なくとも基づいて、前記第１のカメラからの前記第１のビデオに対する前記第２の時間窓中の前記第２の人物の結合座標を計算すること、および
前記カメラサーバによって、前記第１０の境界エリアを画定する前記座標に少なくとも基づいて、前記第２のカメラからの前記第２のビデオに対する前記第２の時間窓中の前記第２の人物の結合座標を計算すること
によってさらに処理することと
をさらに含む、請求項１４に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、人物および物体の物理的位置を追跡するための分散システムに関する。

【背景技術】

【0002】

位置追跡システムは、人物および／または物体の物理的位置を追跡するために使用される。

【発明の概要】

【0003】

位置追跡システムは、物理的空間（例えば、店舗）において人物および／または物体の物理的位置を追跡するために使用される。これらのシステムでは、典型的には、人物および／または物体の存在を検出するセンサ（例えば、カメラ）と、センサからの信号に基づいて人物および／または物体の物理的位置を決定するコンピュータとが使用される。店舗環境では、他のタイプのセンサを設置して、店舗内の在庫の動きを追跡することができる。例えば、重量センサをラックおよび棚に設置して、商品がいつこれらのラックおよび棚から取り出されたかを決定することができる。店舗内の人物の位置と、いつ商品が棚から取り出されたかの両方を追跡することによって、コンピュータは、店舗内のどのユーザが商品を取り出したかを決定し、レジで商品を打つ必要なしにそのユーザに商品の代金を請求することができる。換言すれば、人物は、店舗に歩いて入り、商品を取り、従来の精算プロセスのために立ち寄ることなく店から出ることができる。

【0004】

より大きな物理的空間（例えば、コンビニエンスストアおよび食料品店）の場合、追加のセンサを空間全体に設置して、人物および／または物体はその空間を動き回るときにそれらの位置を追跡することができる。例えば、追加のカメラを増設してより大きな空間内の位置を追跡したり、追加の重量センサを増設して追加の商品および棚を追跡したりすることができる。しかしながら、コンピュータの計算能力に達するまで追加することができるセンサの数には限りがある。結果として、コンピュータの計算能力は、追跡システムのカバレッジエリアを制限する。

【0005】

より大きな空間を扱うようにこれらのシステムをスケーリングする１つの方法は、追加のコンピュータを増設し、これらのコンピュータ間でセンサを分割して、各コンピュータがセンサのサブセットからの信号を処理することができるようにする方法である。しかしながら、複数のコンピュータ間でセンサを分割すると、同期の問題が生じる。例えば、センサは、信号をそれぞれのコンピュータに一緒にまたは同時には通信しない可能性がある。別の例として、センサは、それぞれのコンピュータとの待ち時間が異なる場合があり、したがって、１つのセンサからの信号がコンピュータに到達するのに、別のセンサからの信号よりも長い時間がかかる場合がある。結果として、センサおよびコンピュータは互いに非同期化の状態になり、コンピュータが、空間における人物または物体の位置といつ商品が取り出されたかとを一貫して決定することがより困難になる。

【0006】

本開示は、より大きな空間を扱うようにスケーリングすることができる従来にない分散型追跡システムを企図する。システムは、カメラのアレイ、複数のカメラクライアント、カメラサーバ、重量センサ、重量サーバ、および中央サーバを使用して、空間内のどの人物が商品を取り、その商品の代金を請求されるべきかを決定する。カメラクライアントはそれぞれ、カメラのアレイのカメラの異なるサブセットからのビデオのフレームを処理する。各カメラクライアントは、フレーム内で検出された人物の座標を決定し、次いで、フレームがいつカメラクライアントによって受信されたかに基づいて、これらの座標にタイムスタンプを付ける。次いで、カメラクライアントは、カメラクライアントからの情報を調整することを担うカメラサーバに座標およびタイムスタンプを通信する。カメラサーバは、カメラクライアントからの座標およびタイムスタンプに基づいて、空間内の人物の位置を決定する。重量サーバは、重量センサからの信号を処理して、商品がいつ空間内の棚から取り出されたかを決定する。中央サーバは、カメラサーバからの空間内の人物の位置と、商品がいつ棚から取り出されたかについての重量サーバからの決定とを使用して、空間内のどの人物がどの商品を取ったか、そしてその代金が請求されるべきかを決定する。

【0007】

一般に、カメラサーバは、タイムスタンプに基づいて複数のカメラクライアントからの座標を時間窓に割り当てることによって、非同期化を防ぐ。次に、カメラサーバは、特定の時間窓に割り当てられた座標を処理して、その時間窓中の空間内の人物の全体的な座標を決定する。時間窓の持続時間は、非同期化の影響を軽減するために、発生すると予想される非同期化よりも長くなるように設定され得る。例えば、カメラおよびカメラクライアントが数ミリ秒だけ非同期化すると予想される場合、非同期化を打ち消すために時間窓を１００ミリ秒持続するように設定することができる。このように、カメラおよびカメラクライアントの数を増加させて、任意の好適な空間を扱うようにシステムをスケーリングすることができる。

【0008】

本開示はまた、カメラのアレイ内のカメラをカメラクライアントに配線する従来にない方法を企図する。カメラは、空間の上方に矩形グリッドとして配置される。グリッド内の各カメラは、特定の規則にしたがって特定のカメラクライアントに配線される。例えば、グリッドの同じ行または列において互いに直接隣接するカメラで同じカメラクライアントに配線されるものはない。別の例として、グリッド内で対角線に沿って配置されたカメラは、同じカメラクライアントに配線される。このように、グリッドの小さなエリアには、システム内の各カメラクライアントに配線されたカメラが含まれるべきである。結果として、１つのカメラクライアントがオフラインになったとしても（例えば、メンテナンス、エラー、またはクラッシュ）、残りのカメラクライアントから、この小さいエリア内の人物の位置を追跡するのに十分なカバレッジが依然として存在することになる。したがって、カメラのこの配置は、システムの回復力を高める。

【0009】

本開示はさらに、商品がいつラックおよび棚から取り出されたかを追跡するための重量センサを統合する、従来にないラックおよび棚の設計を企図する。一般に、ラックは、ベースと、垂直パネルと、棚とを含む。ベースは、プリント回路基板が配置された密閉空間を形成し、ベースは、密閉空間および回路基板へのアクセスを提供するために開く引き出しを含む。垂直パネルはベースに取り付けられ、棚は垂直パネルに取り付けられる。重量センサが棚内に配置される。ベース、パネル、および棚は、それぞれキャビティを画定する。棚のキャビティおよびパネルのキャビティは、少なくとも部分的に位置合わせされる。各重量センサは、その重量センサから、棚のキャビティ、パネルのキャビティ、およびベースのキャビティを通って回路基板まで延びるワイヤを介してプリント回路基板に信号を通信する。

【0010】

特定の実施形態は、空間内の人物および／または物体の位置を追跡するために異なる機能を実行する別個の構成要素（例えば、カメラクライアント、カメラサーバ、重量サーバ、および中央サーバ）を含む従来にない追跡システムを含む。システムの機能をこれらの様々な構成要素の間に広げることによって、システムは、より多くのセンサ（例えば、カメラおよび重量センサ）からの信号を処理することができる。センサの数の増加により、システムは、より大きな空間内の人物および／または物体を追跡することができる。結果として、システムは、（例えば、追加のカメラクライアントを増設することによって）より大きな空間を扱うようにスケーリングされ得る。追跡システムの特定の実施形態を以下に説明する。

【0011】

一実施形態によれば、システムは、カメラのアレイと、第１のカメラクライアントと、第２のカメラクライアントと、カメラサーバと、複数の重量センサと、重量サーバと、中央サーバとを含む。カメラのアレイは、空間の上方に配置される。カメラのアレイの各カメラは、空間の一部のビデオをキャプチャする。空間の中には人物がいる。第１のカメラクライアントは、カメラのアレイの第１のカメラから第１のビデオの第１の複数のフレームを受信する。第１の複数のフレームの各フレームは、空間内の人物を示す。第１の複数のフレームのうちの第１のフレームについて、第１のカメラクライアントは、第１のフレームに示される人物の周りの第１の境界エリアを決定し、第１のフレームが第１のカメラクライアントによって受信されたときの第１のタイムスタンプを生成する。第１の複数のフレームのうちの第２のフレームについて、第１のカメラクライアントは、第２のフレームに示される人物の周りの第２の境界エリアを決定し、第２のフレームが第１のカメラクライアントによって受信されたときの第２のタイムスタンプを生成する。第２のカメラクライアントは、第１のカメラクライアントとは別個である。第２のカメラクライアントは、カメラのアレイの第２のカメラから第２のビデオの第２の複数のフレームを受信する。第２の複数のフレームの各フレームは、空間内の人物を示す。第２の複数のフレームのうちの第３のフレームについて、第２のカメラクライアントは、第３のフレームに示される人物の周りの第３の境界エリアを決定し、第３のフレームが第２のカメラクライアントによって受信されたときの第３のタイムスタンプを生成する。第２の複数のフレームのうちの第４のフレームについて、第２のカメラクライアントは、第４のフレームに示される人物の周りの第４の境界エリアを決定し、第４のフレームが第２のカメラクライアントによって受信されたときの第４のタイムスタンプを生成する。

【0012】

カメラサーバは、第１および第２のカメラクライアントとは別個である。カメラサーバは、第１のタイムスタンプが第１の時間窓内に入ると決定し、第１のタイムスタンプが第１の時間窓内に入ると決定することに応答して、第１の境界エリアを画定する座標を第１の時間窓に割り当てる。カメラサーバはまた、第２のタイムスタンプが第１の時間窓内に入ると決定し、第２のタイムスタンプが第１の時間窓内に入ると決定することに応答して、第２の境界エリアを画定する座標を第１の時間窓に割り当てる。カメラサーバはさらに、第３のタイムスタンプが第１の時間窓内に入ると決定し、第３のタイムスタンプが第１の時間窓内に入ると決定することに応答して、第３の境界エリアを画定する座標を第１の時間窓に割り当てる。カメラサーバは、第４のタイムスタンプが第１の時間窓に続く第２の時間窓内に入ると決定し、第４のタイムスタンプが第２の時間窓内に入ると決定することに応答して、第４の境界エリアを画定する座標を第２の時間窓に割り当てる。

【0013】

カメラサーバはまた、第１の時間窓に割り当てられた座標が処理されるべきであると決定し、第１の時間窓に割り当てられた座標が処理されるべきであると決定することに応答して、カメラサーバは、第１の境界エリアを画定する座標と第２の境界エリアを画定する座標とに少なくとも基づいて、第１のカメラからの第１のビデオに対する第１の時間窓中の人物の結合座標（combined coordinate）を計算し、第３の境界エリアを画定する座標に少なくとも基づいて、第２のカメラからの第２のビデオに対する第１の時間窓中の人物の結合座標を計算する。カメラサーバはまた、第１のカメラからの第１のビデオに対する第１の時間窓中の人物の結合座標と、第２のカメラからの第２のビデオに対する第１の時間窓中の人物の結合座標とに少なくとも基づいて、第１の時間窓中の空間内の人物の位置を決定する。

【0014】

複数の重量センサは空間内に配置される。複数の重量センサの各重量センサは、その重量センサが経験する重量を示す信号を生成する。重量サーバは、第１および第２のカメラクライアントならびにカメラサーバとは別個である。重量サーバは、複数の重量センサのうちの第１の重量センサによって生成された信号に少なくとも基づいて、第１の重量センサの上方に配置された商品が取り出されたと決定する。中央サーバは、第１および第２のカメラクライアント、カメラサーバ、ならびに重量サーバとは別個である。中央サーバは、第１の時間窓中の空間内の人物の位置に少なくとも基づいて、人物が商品を取り出したと決定する。第１の人物が商品を取り出したという決定に少なくとも基づいて、その人物は、その人物が空間を出るときに商品の代金を請求される。

【0015】

別の実施形態によれば、システムは、カメラのアレイと、第１のカメラクライアントと、第２のカメラクライアントと、カメラサーバと、複数の重量センサと、重量サーバと、中央サーバとを含む。カメラのアレイは、空間の上方に配置される。カメラのアレイの各カメラは、空間の一部のビデオをキャプチャする。空間の中には人物がいる。第１のカメラクライアントは、カメラのアレイの第１のカメラから受信される第１のビデオの各フレームについて、第１のビデオのそのフレームに示される人物の周りの境界エリアを決定し、第１のビデオのそのフレームが第１のカメラクライアントによって受信されたときのタイムスタンプを生成する。第２のカメラクライアントは、カメラのアレイの第２のカメラから受信される第２のビデオの各フレームについて、第２のビデオのそのフレームに示される人物の周りの境界エリアを決定し、第２のビデオのそのフレームが第２のカメラクライアントによって受信されたときのタイムスタンプを生成する。

【0016】

カメラサーバは、第１および第２のカメラクライアントとは別個である。カメラサーバは、第１のビデオの各フレームについて、そのフレームが第１のカメラクライアントによって受信されたときのタイムスタンプに少なくとも基づいて、そのフレームに示される人物の周りの境界エリアを画定する座標を複数の時間窓のうちの１つに割り当てる。第２の複数のフレームの各フレームについて、カメラサーバは、そのフレームが第２のカメラクライアントによって受信されたときのタイムスタンプに少なくとも基づいて、そのフレームに示される人物の周りの境界エリアを画定する座標を複数の時間窓のうちの１つに割り当てる。複数の時間窓のうちの第１の時間窓について、カメラサーバは、（１）第１の複数のフレームに示される人物の周りの境界エリアを画定し、（２）第１の時間窓に割り当てられる座標に少なくとも基づいて、第１のカメラからの第１のビデオに対する第１の時間窓中の人物の結合座標を計算し、（１）第２の複数のフレームに示される人物の周りの境界エリアを画定し、（２）第１の時間窓に割り当てられる座標に少なくとも基づいて、第２のカメラからの第２のビデオに対する第１の時間窓中の人物の結合座標を計算する。カメラサーバは、第１のカメラからの第１のビデオに対する第１の時間窓中の人物の結合座標と、第２のカメラからの第２のビデオに対する第１の時間窓中の人物の結合座標とに少なくとも基づいて、第１の時間窓中の空間内の人物の位置を決定する。

【0017】

複数の重量センサは空間内に配置される。重量サーバは、第１および第２のカメラクライアントならびにカメラサーバとは別個である。重量サーバは、複数の重量センサのうちの第１の重量センサによって生成された信号に少なくとも基づいて、第１の重量センサの上方に配置された商品が取り出されたと決定する。中央サーバは、第１および第２のカメラクライアント、カメラサーバ、ならびに重量サーバとは別個である。中央サーバは、第１の時間窓中の空間内の人物の位置に少なくとも基づいて、人物が商品を取り出したと決定する。

【0018】

追跡システムの特定の実施形態は、システムの構成要素（例えば、カメラクライアントおよびカメラサーバ）の間で多少の非同期化を許容にする従来にない追跡プロセスを実行する。一般に、システムは、時間窓にしたがって情報を処理する。これらの時間窓は、システムに存在すると予想される非同期化よりも長くなるように設定され得る。時間窓に割り当てられた情報は一緒に処理される。したがって、その情報の間に多少の非同期化が存在していても、同じ時間窓内で一緒に処理される。このように、追跡システムは、非同期化の量の増加、特に、システムがより大きな空間を扱うことができるようにシステムがより多くの構成要素を含むようにスケーリングされた結果として生じる非同期化を扱うことができる。結果として、システムは、信頼性および精度を維持しながら、より大きな空間を扱うようにスケーリングすることができる。追跡プロセスの特定の実施形態を以下に説明する。

【0019】

一実施形態によれば、システムは、カメラのアレイと、第１のカメラクライアントと、第２のカメラクライアントと、カメラサーバとを含む。カメラのアレイは、空間の上方に配置される。カメラのアレイの各カメラは、空間の一部のビデオをキャプチャする。空間の中には人物がいる。第１のカメラクライアントは、カメラのアレイの第１のカメラから第１のビデオの第１の複数のフレームを受信する。第１の複数のフレームの各フレームは、空間内の人物を示す。第１の複数のフレームのうちの第１のフレームについて、第１のカメラクライアントは、第１のフレームに示される人物の周りの第１の境界エリアを決定し、第１のフレームが第１のカメラクライアントによって受信されたときの第１のタイムスタンプを生成する。第１の複数のフレームのうちの第２のフレームについて、第１のカメラクライアントは、第２のフレームに示される人物の周りの第２の境界エリアを決定し、第２のフレームが第１のカメラクライアントによって受信されたときの第２のタイムスタンプを生成する。第１の複数のフレームのうちの第３のフレームについて、第１のカメラクライアントは、第３のフレームに示される人物の周りの第３の境界エリアを決定し、第３のフレームが第１のカメラクライアントによって受信されたときの第３のタイムスタンプを生成する。

【0020】

第２のカメラクライアントは、カメラのアレイの第２のカメラから第２のビデオの第２の複数のフレームを受信する。第２の複数のフレームの各フレームは、空間内の人物を示す。第２の複数のフレームのうちの第４のフレームについて、第２のカメラクライアントは、第４のフレームに示される人物の周りの第４の境界エリアを決定し、第４のフレームが第２のカメラクライアントによって受信されたときの第４のタイムスタンプを生成する。第２の複数のフレームのうちの第５のフレームについて、第２のカメラクライアントは、第５のフレームに示される人物の周りの第５の境界エリアを決定し、第５のフレームが第２のカメラクライアントによって受信されたときの第５のタイムスタンプを生成する。

【0021】

カメラサーバは、第１および第２のカメラクライアントとは別個である。カメラサーバは、第１のタイムスタンプが第１の時間窓内に入ると決定し、第１のタイムスタンプが第１の時間窓内に入ると決定することに応答して、第１の境界エリアを画定する座標を第１の時間窓に割り当てる。カメラサーバはまた、第２のタイムスタンプが第１の時間窓内に入ると決定し、第２のタイムスタンプが第１の時間窓内に入ると決定することに応答して、第２の境界エリアを画定する座標を第１の時間窓に割り当てる。カメラサーバはさらに、第３のタイムスタンプが第１の時間窓に続く第２の時間窓内に入ると決定し、第３のタイムスタンプが第２の時間窓内に入ると決定することに応答して、第３の境界エリアを画定する座標を第２の時間窓に割り当てる。カメラサーバはまた、第４のタイムスタンプが第１の時間窓内に入ると決定し、第４のタイムスタンプが第１の時間窓内に入ると決定することに応答して、第４の境界エリアを画定する座標を第１の時間窓に割り当てる。カメラサーバはさらに、第５のタイムスタンプが第２の時間窓内に入ると決定し、第５のタイムスタンプが第２の時間窓内に入ると決定することに応答して、第５の境界エリアを画定する座標を第２の時間窓に割り当てる。

【0022】

カメラサーバはまた、第１の時間窓に割り当てられた座標が処理されるべきであると決定し、第１の時間窓に割り当てられた座標が処理されるべきであると決定することに応答して、カメラサーバは、第１の境界エリアを画定する座標と第２の境界エリアを画定する座標とに少なくとも基づいて、第１のカメラからの第１のビデオに対する第１の時間窓中の人物の結合座標を計算し、第４の境界エリアを画定する座標に少なくとも基づいて、第２のカメラからの第２のビデオに対する第１の時間窓中の人物の結合座標を計算する。第１の時間窓に割り当てられた座標が処理されるべきであると決定した後、カメラサーバは、第２の時間窓に割り当てられた座標が処理されるべきであると決定し、第２の時間窓に割り当てられた座標が処理されるべきであると決定したことに応答して、カメラサーバは、第３の境界エリアを画定する座標に少なくとも基づいて、第１のカメラからの第１のビデオに対する第２の時間窓中の人物の結合座標を計算し、第５の境界エリアを画定する座標に少なくとも基づいて、第２のカメラからの第２のビデオに対する第２の時間窓中の人物の結合座標を計算する。

【0023】

別の実施形態によれば、システムは、カメラのアレイと、第１のカメラクライアントと、第２のカメラクライアントと、カメラサーバとを含む。カメラのアレイは、空間の上方に配置される。カメラのアレイの各カメラは、空間の一部のビデオをキャプチャする。空間の中には人物がいる。第１のカメラクライアントは、カメラのアレイの第１のカメラから第１のビデオの第１の複数のフレームを受信する。第１の複数のフレームの各フレームは、空間内の人物を示す。第１の複数のフレームの各フレームについて、第１のカメラクライアントは、そのフレームに示される人物の周りの境界エリアを決定し、そのフレームが第１のカメラクライアントによって受信されたときのタイムスタンプを生成する。第２のカメラクライアントは、カメラのアレイの第２のカメラから第２のビデオの第２の複数のフレームを受信する。第２の複数のフレームの各フレームは、空間内の人物を示す。第２の複数のフレームの各フレームについて、第２のカメラクライアントは、そのフレームに示される人物の周りの境界エリアを決定し、そのフレームが第２のカメラクライアントによって受信されたときのタイムスタンプを生成する。

【0024】

カメラサーバは、第１および第２のカメラクライアントとは別個である。カメラサーバは、第１の複数のフレームの各フレームについて、そのフレームが第１のカメラクライアントによって受信されたときのタイムスタンプに少なくとも基づいて、そのフレームに示される人物の周りの境界エリアを画定する座標を複数の時間窓のうちの１つに割り当て、第２の複数のフレームの各フレームについて、そのフレームが第２のカメラクライアントによって受信されたときのタイムスタンプに少なくとも基づいて、そのフレームに示される人物の周りの境界エリアを画定する座標を複数の時間窓のうちの１つに割り当てる。

【0025】

カメラサーバはまた、複数の時間窓のうちの第１の時間窓に割り当てられた座標が処理されるべきであると決定し、第１の時間窓に割り当てられた座標が処理されるべきであると決定することに応答して、（１）第１の複数のフレームに示される人物の周りの境界エリアを画定し、（２）第１の時間窓に割り当てられる座標に少なくとも基づいて、第１のカメラからの第１のビデオに対する第１の時間窓中の人物の結合座標を計算し、（１）第２の複数のフレームに示される人物の周りの境界エリアを画定し、（２）第１の時間窓に割り当てられる座標に少なくとも基づいて、第２のカメラからの第２のビデオに対する第１の時間窓中の人物の結合座標を計算する。

【0026】

特定の実施形態は、カメラシステムの回復力を高めるカメラおよびカメラクライアントの従来にない配置を含む。一般に、カメラは、物理的空間にカバレッジを提供する矩形グリッド状に配置され、各カメラは、１つのカメラクライアントに通信可能に結合される。グリッドの同じ行または列において、同じカメラクライアントに通信可能に結合された別のカメラに直接隣接するカメラはない。グリッドの対角線に沿って配置されたカメラは、同じカメラクライアントに通信可能に結合される。このように、システム内の１つのカメラクライアントがオフラインになったとしても、グリッドは依然として物理的空間に十分なカバレッジを提供する。結果として、カメラのこの配置は、システムの回復力を高める。カメラ配置の特定の実施形態を以下に説明する。

【0027】

一実施形態によれば、システムは、第１のカメラクライアントと、第２のカメラクライアントと、第３のカメラクライアントと、カメラのアレイとを含む。第２のカメラクライアントは、第１のカメラクライアントとは別個である。第３のカメラクライアントは、第１および第２のカメラクライアントとは別個である。カメラのアレイは、空間の上方に配置される。カメラのアレイ内のカメラは、第１の行、第２の行、第３の行、第１の列、第２の列、および第３の列を含む矩形グリッドとして配置される。アレイは、第１、第２、第３、第４、第５、および第６のカメラを含む。

【0028】

第１のカメラは、グリッドの第１の行および第１の列に配置される。第１のカメラは、第１のカメラクライアントに通信可能に結合される。第１のカメラは、空間の第１の部分のビデオを第１のカメラクライアントに通信する。第２のカメラは、第２のカメラがグリッド内で第１のカメラに直接隣接するようにグリッドの第１の行および第２の列に配置される。第２のカメラは、第２のカメラクライアントに通信可能に結合される。第２のカメラは、空間の第２の部分のビデオを第２のカメラクライアントに通信する。第３のカメラは、第３のカメラがグリッド内で第２のカメラに直接隣接するようにグリッドの第１の行および第３の列に配置される。第３のカメラは、第３のカメラクライアントに通信可能に結合される。第３のカメラは、空間の第３の部分のビデオを第３のカメラクライアントに通信する。第４のカメラは、第４のカメラがグリッド内で第１のカメラに直接隣接するようにグリッドの第２の行および第１の列に配置される。第４のカメラは、第２のカメラクライアントに通信可能に結合される。第４のカメラは、空間の第４の部分のビデオを第２のカメラクライアントに通信する。第５のカメラは、第５のカメラがグリッド内で第４のカメラおよび第２のカメラに直接隣接するようにグリッドの第２の行および第２の列に配置される。第５のカメラは、第３のカメラクライアントに通信可能に結合される。第５のカメラは、空間の第５の部分のビデオを第３のカメラクライアントに通信する。第６のカメラは、第６のカメラがグリッド内で第４のカメラに直接隣接するようにグリッドの第３の行および第１の列に配置される。第６のカメラは、第３のカメラクライアントに通信可能に結合される。第６のカメラは、空間の第６の部分のビデオを第３のカメラクライアントに通信する。

【0029】

別の実施形態によれば、システムは、複数のカメラクライアントと、カメラのアレイとを含む。複数のカメラクライアントは、いくつかのカメラクライアントを含む。カメラのアレイは、空間の上方に配置される。カメラのアレイ内の各カメラは、空間の一部のビデオを複数のカメラクライアントのうちの１つのカメラクライアントのみに通信する。カメラのアレイ内のカメラは、複数のカメラクライアントの各カメラクライアントがアレイのＮ×Ｎ部分内の少なくとも１つのカメラに通信可能に結合されるように配置される。Ｎは、複数のカメラクライアント内のカメラクライアントの数から１を引いたものである。

【0030】

特定の実施形態は、商品を保持するための従来にないラックを含む。ラックは、棚および重量センサを保持するためのベースおよびパネルを含む。重量センサは、ベース内の引き出しに位置する回路基板に配線される。ワイヤは、重量センサから、棚、パネル、およびベースによって画定されるキャビティおよび空間を通って延びる。ラックの特定の実施形態を以下に説明する。

【0031】

一実施形態によれば、システムは、回路基板とラックとを含む。ラックは、ベースと、パネルと、棚と、第１の重量センサと、第２の重量センサと、第１のワイヤと、第２のワイヤとを含む。ベースは、底面と、第１の側面と、第２の側面と、第３の側面と、上面と、引き出しとを含む。第１の側面は、ベースの底面に結合される。ベースの第１の側面は、ベースの底面から上方に延在する。第２の側面は、ベースの底面および第１の側面に結合される。ベースの第２の側面は、ベースの底面から上方に延在する。第３の側面は、ベースの底面および第２の側面に結合される。ベースの第３の側面は、ベースの底面から上方に延在する。上面は、ベースの底面および上面、ならびにベースの第１の側面、第２の側面、および第３の側面が空間を画定するように、ベースの第１の側面、第２の側面、および第３の側面に結合される。ベースの上面は、空間への第１の開口部を画定する。引き出しは空間内に配置される。回路基板は引き出し内に配置される。

【0032】

パネルはベースに結合され、ベースから上方に延在する。パネルは、パネルの幅に沿って延在する第２の開口部を画定する。棚は、棚がベースよりも垂直方向に高く位置付けられるように、かつ棚がパネルから離れる方向に延在するようにパネルに結合される。棚は、底面と、棚の底面から上方に延在する前面と、棚の底面から上方に延在する背面とを含む。棚の背面はパネルに結合される。棚の背面は第３の開口部を画定する。第３の開口部の一部は、第２の開口部の一部と位置合わせされる。

【0033】

第１の重量センサは、棚の底面に結合され、棚の前面と棚の背面との間に配置される。第２の重量センサは、棚の底面に結合され、棚の前面と棚の背面との間に配置される。第１のワイヤは、第１の重量センサおよび回路基板に結合される。第１のワイヤは、第１の重量センサから、第２および第３の開口部を通り、第１の開口部を通って空間内に下方に延在する。第２のワイヤは、第２の重量センサおよび回路基板に結合される。第２のワイヤは、第２の重量センサから第２および第３の開口部を通り、第１の開口部を通って空間内に下方に延在する。

【0034】

特定の実施形態は、上述した上記の技術的利点のいずれも含まないか、いくつかまたはすべてを含むことができる。１つまたは複数の他の技術的利点は、本明細書に含まれる図、説明、および特許請求の範囲から当業者には容易に明らかになり得る。

【図面の簡単な説明】

【0035】

本開示をより完全に理解するために、添付の図面と併せて以下の説明を参照する。

【図1A】物理的空間を定義する例示的な店舗を示す。

【図1B】物理的空間を定義する例示的な店舗を示す。

【図1C】物理的空間を定義する例示的な店舗を示す。

【図2】物理的な店舗で使用するための例示的な追跡システムのブロック図を示す。

【図3A】追跡システムにおける例示的なカメラサブシステムおよびその動作を示す。

【図3B】追跡システムにおける例示的なカメラサブシステムおよびその動作を示す。

【図3C】追跡システムにおける例示的なカメラサブシステムおよびその動作を示す。

【図3D】追跡システムにおける例示的なカメラサブシステムおよびその動作を示す。

【図3E】追跡システムにおける例示的なカメラサブシステムおよびその動作を示す。

【図3F】追跡システムにおける例示的なカメラサブシステムおよびその動作を示す。

【図3G】追跡システムにおける例示的なカメラサブシステムおよびその動作を示す。

【図3H】追跡システムにおける例示的なカメラサブシステムおよびその動作を示す。

【図3I】追跡システムにおける例示的なカメラサブシステムおよびその動作を示す。

【図3J】追跡システムにおける例示的なカメラサブシステムおよびその動作を示す。

【図3K】追跡システムにおける例示的なカメラサブシステムおよびその動作を示す。

【図3L】追跡システムにおける例示的なカメラサブシステムおよびその動作を示す。

【図3M】追跡システムにおける例示的なカメラサブシステムおよびその動作を示す。

【図3N】追跡システムにおける例示的なカメラサブシステムおよびその動作を示す。

【図3O】追跡システムにおける例示的なカメラサブシステムおよびその動作を示す。

【図3P】追跡システムにおける例示的なカメラサブシステムおよびその動作を示す。

【図3Q】追跡システムにおける例示的なカメラサブシステムおよびその動作を示す。

【図3R】追跡システムにおける例示的なカメラサブシステムおよびその動作を示す。

【図3S】追跡システムにおける例示的なカメラサブシステムおよびその動作を示す。

【図3T】追跡システムにおける例示的なカメラサブシステムおよびその動作を示す。

【図4A】追跡システムにおける例示的な光検出および測距サブシステムならびにその動作を示す。

【図4B】追跡システムにおける例示的な光検出および測距サブシステムならびにその動作を示す。

【図4C】追跡システムにおける例示的な光検出および測距サブシステムならびにその動作を示す。

【図4D】追跡システムにおける例示的な光検出および測距サブシステムならびにその動作を示す。

【図5A】追跡システムにおける例示的な重量サブシステムおよびその動作を示す。

【図5B】追跡システムにおける例示的な重量サブシステムおよびその動作を示す。

【図5C】追跡システムにおける例示的な重量サブシステムおよびその動作を示す。

【図5D】追跡システムにおける例示的な重量サブシステムおよびその動作を示す。

【図5E】追跡システムにおける例示的な重量サブシステムおよびその動作を示す。

【図5F】追跡システムにおける例示的な重量サブシステムおよびその動作を示す。

【図5G】追跡システムにおける例示的な重量サブシステムおよびその動作を示す。

【図5H】追跡システムにおける例示的な重量サブシステムおよびその動作を示す。

【図5I】追跡システムにおける例示的な重量サブシステムおよびその動作を示す。

【図5J】追跡システムにおける例示的な重量サブシステムおよびその動作を示す。

【図6A】追跡システムと共に使用するための例示的な中央サーバの動作を示す。

【図6B】追跡システムと共に使用するための例示的な中央サーバの動作を示す。

【図6C】追跡システムと共に使用するための例示的な中央サーバの動作を示す。

【図7】例示的なコンピュータを示す。

【発明を実施するための形態】

【0036】

本開示の実施形態およびその利点は、同様の数字が様々な図面の同様のおよび対応する部分に使用される図面の図１Ａ～図７を参照することによって最もよく理解される。さらなる情報は、「Customer-Based Video Feed」と題する米国特許出願第＿＿＿＿＿号（代理人整理番号第０９０２７８．０１８７号）および「Topview Object Tracking Using a Sensor Array」と題する米国特許出願第＿＿＿＿＿号（代理人整理番号第０９０２７８．０１８０号）に開示されており、これらは両方とも、その全体が再現されているかのように参照により本明細書に組み込まれる。

【0037】

位置追跡システムは、物理的空間（例えば、店舗）において人物および／または物体の物理的位置を追跡するために使用される。これらのシステムでは、典型的には、人物および／または物体の存在を検出するセンサ（例えば、カメラ）と、センサからの信号に基づいて人物および／または物体の物理的位置を決定するコンピュータとが使用される。店舗環境では、他のタイプのセンサを設置して、店舗内の在庫の動きを追跡することができる。例えば、重量センサをラックおよび棚に設置して、商品がいつこれらのラックおよび棚から取り出されたかを決定することができる。店舗内の人物の位置と、いつ商品が棚から取り出されたかの両方を追跡することによって、コンピュータは、店舗内のどのユーザが商品を取り出したかを決定し、レジで商品を打つ必要なしにそのユーザに商品の代金を請求することができる。換言すれば、人物は、店舗に歩いて入り、商品を取り、従来の精算プロセスのために立ち寄ることなく店から出ることができる。

【0038】

より大きな物理的空間（例えば、コンビニエンスストアおよび食料品店）の場合、追加のセンサを空間全体に設置して、人物および／または物体はその空間を動き回るときにそれらの位置を追跡することができる。例えば、追加のカメラを増設してより大きな空間内の位置を追跡したり、追加の重量センサを増設して追加の商品および棚を追跡したりすることができる。しかしながら、コンピュータの計算能力に達するまで追加することができるセンサの数には限りがある。結果として、コンピュータの計算能力は、追跡システムのカバレッジエリアを制限する。

【0039】

より大きな空間を扱うようにこれらのシステムをスケーリングする１つの方法は、追加のコンピュータを増設し、これらのコンピュータ間でセンサを分割して、各コンピュータがセンサのサブセットからの信号を処理することができるようにする方法である。しかしながら、複数のコンピュータ間でセンサを分割すると、同期の問題が生じる。例えば、センサは、信号をそれぞれのコンピュータに一緒にまたは同時には通信しない可能性がある。別の例として、センサは、それぞれのコンピュータとの待ち時間が異なる場合があり、したがって、１つのセンサからの信号がコンピュータに到達するのに、別のセンサからの信号よりも長い時間がかかる場合がある。結果として、センサおよびコンピュータは互いに非同期化の状態になり、コンピュータが、空間における人物または物体の位置といつ商品が取り出されたかとを一貫して決定することがより困難になる。

【0040】

本開示は、より大きな空間を扱うようにスケーリングすることができる従来にない分散型追跡システムを企図する。システムは、カメラのアレイ、複数のカメラクライアント、カメラサーバ、重量センサ、重量サーバ、および中央サーバを使用して、空間内のどの人物が、商品を取り、その商品の代金を請求されるべきかを決定する。カメラクライアントはそれぞれ、カメラのアレイのカメラの異なるサブセットからのビデオのフレームを処理する。各カメラクライアントは、フレーム内で検出された人物の座標を決定し、次いで、フレームがカメラクライアントによって受信されたときに基づいて、これらの座標にタイムスタンプを付ける。次いで、カメラクライアントは、カメラクライアントからの情報を調整することを担うカメラサーバに座標およびタイムスタンプを通信する。カメラサーバは、カメラクライアントからの座標およびタイムスタンプに基づいて、空間内の人物の位置を決定する。重量サーバは、重量センサからの信号を処理して、商品がいつ空間内の棚から取り出されたかを決定する。中央サーバは、カメラサーバからの空間内の人物の位置と、商品がいつ棚から取り出されたかについての重量サーバからの決定とを使用して、空間内のどの人物がどの商品を取ったか、そしてその代金が請求されるべきかを決定する。図１Ａ～図７を使用してシステムをより詳細に説明する。

【0041】

一般に、カメラサーバは、タイムスタンプに基づいて複数のカメラクライアントからの座標を時間窓に割り当てることによって、非同期化を防ぐ。次に、カメラサーバは、特定の時間窓に割り当てられた座標を処理して、その時間窓中の空間内の人物の全体的な座標を決定する。時間窓の持続時間は、非同期化の影響を軽減するために、発生すると予想される非同期化よりも長くなるように設定され得る。例えば、カメラおよびカメラクライアントが数ミリ秒だけ非同期化すると予想される場合、非同期化を打ち消すために時間窓を１００ミリ秒持続するように設定することができる。このように、カメラおよびカメラクライアントの数を増加させて、任意の好適な空間を扱うようにシステムをスケーリングすることができる。カメラ、カメラクライアント、およびカメラサーバについては、図１Ａ～図３Ｑを使用してより詳細に説明する。

【0042】

本開示はまた、カメラのアレイ内のカメラをカメラクライアントに配線する従来にない方法を企図する。カメラは、空間の上方に矩形グリッドとして配置される。グリッド内の各カメラは、特定の規則にしたがって特定のカメラクライアントに配線される。例えば、グリッドの同じ行または列において互いに直接隣接するカメラで同じカメラクライアントに配線されるものはない。別の例として、グリッド内で対角線に沿って配置されたカメラは、同じカメラクライアントに配線される。このように、グリッドの小さなエリアには、システム内の各カメラクライアントに配線されたカメラが含まれるべきである。結果として、１つのカメラクライアントがオフラインになったとしても（例えば、メンテナンス、エラー、またはクラッシュ）、残りのカメラクライアントから、この小さいエリア内の人物の位置を追跡するのに十分なカバレッジが依然として存在することになる。したがって、カメラのこの配置は、システムの復元性を高める。カメラアレイについては、図３Ａ～図３Ｅを使用してより詳細に説明する。

【0043】

本開示はさらに、商品がいつラックおよび棚から取り出されたかを追跡するための重量センサを統合する、従来にないラックおよび棚の設計を企図する。一般に、ラックは、ベースと、垂直パネルと、棚とを含む。ベースは、プリント回路基板が配置された密閉空間を形成し、ベースは、密閉空間および回路基板へのアクセスを提供するために開く引き出しを含む。垂直パネルはベースに取り付けられ、棚は垂直パネルに取り付けられる。重量センサが棚内に配置される。ベース、パネル、および棚は、それぞれキャビティを画定する。棚のキャビティおよびパネルのキャビティは、少なくとも部分的に位置合わせされる。各重量センサは、その重量センサから、棚のキャビティ、パネルのキャビティ、およびベースのキャビティを通って回路基板まで延びるワイヤを介してプリント回路基板に信号を通信する。ラックおよび棚の設計については、図５A～図５Ｋを使用してより詳細に説明する。

【0044】

システムはまた、図４Ａ～図４Ｄを使用してより詳細に説明する光検出および測距（ＬｉＤＡＲ）サブシステムを含み得る。システムはまた、カメラサブシステム、重量サブシステム、およびＬｉＤＡＲサブシステムを互いに結び付ける中央サーバを含む。中央サーバについては、図６Ａ～６Ｃを使用してより詳細に説明する。

【0045】

Ｉ．システムの概要
図１Ａ～図１Ｄは、例示的な店舗空間に設置される追跡システムを示す。上述したように、買物客が従来の精算プロセスを行う必要がないように、追跡システムが店舗空間に設置され得る。本開示では店舗空間の例が使用されるが、本開示は、追跡システムが任意のタイプの物理的空間（例えば、倉庫、保管センター、アミューズメントパーク、空港、オフィスビルなど）に設置され、使用され得ることを企図する。一般に、追跡システム（またはその構成要素）は、任意の好適な目的で、これらの空間内の人物および／または物体の位置を追跡するために使用される。例えば、空港では、追跡システムは、セキュリティ目的で旅行者および従業員の位置を追跡することができる。別の例として、アミューズメントパークでは、追跡システムは、アトラクションの人気を把握するためにパークゲストの位置を追跡することができる。さらに別の例として、オフィスビルでは、追跡システムは、生産性レベルを監視するために従業員およびスタッフの位置を追跡することができる。

【0046】

図１Ａは、例示的な店舗１００を示す。店舗１００は、買物客が商品を購入することができる物理的空間である。図１Ａに見られるように、店舗１００は、買物客が店舗１００に出入りすることができる出入口を含む物理的な建物である。買物客が従来の精算プロセスを行う必要なく店舗１００から商品を購入することができるように、追跡システムが店舗１００に設置され得る。本開示は、店舗１００が任意の好適な物理的空間であり得ることを企図する。例えば、店舗１００は、コンビニエンスストアまたは食料品店であり得る。本開示はまた、店舗１００が物理的な建物ではなく、買物客が買い物をすることができる物理的空間または環境であってもよいことを企図する。例えば、店舗１００は、空港にあるグラブアンドゴーパントリー、オフィスビルにあるキオスク、公園にある屋外市場などであってもよい。

【0047】

図１Ｂは、店舗１００の内部の一部を示す。図１Ｂに見られるように、店舗１００は、買物客１０５と、ラック１１５と、ゲート１２５とを含む。買物客１０５は、店舗１００への出入りを可能にするゲート１２５のうちの１つを通して店舗１００に入り得る。ゲート１２５が開かれていない限り、ゲート１２５によって買物客１０５は店舗に出入りすることができない。

【0048】

ゲート１２５は、スキャナ１１０および１２０を含み得る。スキャナ１１０および１２０は、ＱＲコード（登録商標）スキャナ、バーコードスキャナ、または買物客１０５を一意に識別する情報などの情報が埋め込まれた電子コードを受信することができる任意の他の好適なタイプのスキャナを含み得る。買物客１０５は、店舗１００に入るためにスキャナ１１０上でパーソナルデバイス（例えば、スマートフォン）をスキャンし得る。買物客１０５がスキャナ１１０上でパーソナルデバイスをスキャンすると、パーソナルデバイスは、買物客１０５を一意に識別する電子コードをスキャナ１１０に提供し得る。買物客１０５が識別および／または認証されると、スキャナ１１０を含むゲート１２５が開いて買物客１０５は店舗１００に入ることができる。各買物客１０５は、パーソナルデバイスのための識別コードを受信するために店舗１００にアカウントを登録している可能性がある。

【0049】

店舗１００に入った後、買物客１０５は、店舗１００の内部を動き回り得る。買物客１０５は、空間全体を移動しながら、ラック１１５から商品１３０を取り出すことによって商品１３０の買い物を行い得る。図１Ｂに見られるように、店舗１００は、商品１３０を保持するラック１１５を含む。買物客１０５が特定の商品１３０を購入したい場合、買物客１０５は、ラック１１５からその商品１３０を取り出すことができる。買物客１０５は、店舗１００から複数の商品１３０を取り出して、それらの商品１３０を購入することができる。

【0050】

買物客１０５が商品１３０の買い物を完了すると、買物客１０５はゲート１２５に近づく。特定の実施形態では、ゲート１２５は、買物客１０５が店舗１００から出ることができるように自動的に開く。他の実施形態では、買物客１０５がスキャナ１２０上でパーソナルデバイスをスキャンした後に、ゲート１２５が開いて、買物客１０５は店舗１００から出ることができる。買物客１０５がスキャナ１２０上でパーソナルデバイスをスキャンすると、パーソナルデバイスは、買物客１０５が店舗１００から出ることを示すために、買物客１０５を一意に識別する電子コードを提供し得る。買物客１０５が店舗１００を出るとき、買物客１０５のアカウントに対して、買物客１０５が店舗１００から取り出した商品１３０の代金が請求される。

【0051】

図１Ｃは、店舗１００の内部を、買物客１０５が従来の精算プロセスを行うことなく単に商品１３０を持って店舗１００から出ることを可能にする追跡システム１３２と共に示す。図１Ｃに見られるように、追跡システム１３２は、店舗１００の天井に配置されたセンサ１３５のアレイを含む。センサ１３５のアレイは、店舗１００の内部空間にカバレッジを提供し得る。センサ１３５は、図３Ａ～図３Ｅに関してさらに詳細に説明するように、店舗１００の天井にわたってグリッドパターンで配置される。センサ１３５は、店舗１００の空間内の買物客１０５の位置を追跡するために使用され得る。本開示は、センサ１３５が任意の好適なセンサ（例えば、カメラ、光検出および測距センサ、ミリ波センサなど）であることを企図する。

【0052】

追跡システム１３２はまた、ラック１１５上に配置された重量センサ１４０を含む。重量センサ１４０は、ラック１１５上に配置された商品１３０の重量を検出することができる。商品１３０がラック１１５から取り出されると、重量センサ１４０は重量の減少を検出し得る。追跡システム１３２は、その情報を使用して、特定の商品１３０がラック１１５から取り出されたと決定し得る。

【0053】

追跡システム１３２は、コンピュータシステム１４５を含む。コンピュータシステム１４５は、どの買物客１０５がどの商品１３０をラック１１５から取ったかを決定するために一緒に動作する複数のコンピュータを含み得る。コンピュータシステム１４５の構成要素およびそれらの動作については、図２～図７を使用してより詳細に説明する。一般に、コンピュータシステム１４５は、センサ１３５および重量センサ１４０からの情報を使用して、どの買物客１０５がどの商品１３０を店舗１００から持って行ったかを決定する。このように、買物客１０５は、買物客１０５がゲート１２５を通って店舗１００を出るときに、商品１３０の代金を自動的に請求され得る。

【0054】

図２は、店舗１００で使用するための例示的な追跡システム１３２のブロック図を示す。図２に見られるように、追跡システム１３２は、カメラサブシステム２０２と、光検出および測距（ＬｉＤＡＲ）サブシステム２０４と、重量サブシステム２０６とを含む。追跡システム１３２は、カメラ２０５、光検出および測距（ＬｉＤＡＲ）センサ２１０、ならびに重量センサ２１５などの様々なセンサ１３５を含む。これらのセンサ１３５は、コンピュータシステム１４５の様々なコンピュータに通信可能に結合される。例えば、カメラサブシステム２０２は、１つまたは複数のカメラクライアント２２０に通信可能に結合されたカメラ２０５を含む。これらのカメラクライアント２２０は、カメラサーバ２２５に通信可能に結合される。ＬｉＤＡＲサブシステム２０４は、ＬｉＤＡＲサーバ２３０に通信可能に結合されたＬｉＤＡＲセンサ２１０を含む。重量サブシステム２０６は、重量サーバ２３５に通信可能に結合された重量センサ２１５を含む。カメラサーバ２２５、ＬｉＤＡＲサーバ２３０、および重量サーバ２３５は、中央サーバ２４０に通信可能に結合される。

【0055】

一般に、カメラ２０５は、空間の内部の部分のビデオを生成する。これらのビデオは、空間内の買物客１０５のフレームまたは画像を含み得る。カメラクライアント２２０は、カメラ２０５からのフレームを処理して、フレーム内の買物客１０５を検出し、これらの買物客１０５にフレーム座標を割り当てる。カメラサーバ２２５は、一般に、カメラクライアント２２０からのフレームデータを処理して、空間内の買物客１０５の物理的位置を決定する。ＬｉＤＡＲセンサ２１０は、一般に、空間内の買物客１０５の座標を生成する。ＬｉＤＡＲサーバ２３０は、これらの座標を処理して、空間内の買物客１０５の位置を決定する。重量センサ２１５は、空間内のラック１１５上の商品１３０の重量を検出する。重量サーバ２３５は、これらの重量を処理して、特定の商品１３０がいつラック１１５から取り出されたかを決定する。

【0056】

中央サーバ２４０は、カメラサーバ２２５およびＬｉＤＡＲサーバ２３０からの買物客１０５の位置情報と、重量サーバ２３５からの重量情報とを処理して、どの買物客１０５がどの商品１３０をラック１１５から取り出したかを決定する。次いで、これらの買物客１０５は、買物客１０５が空間を出るときに、それらの商品１３０の料金を請求され得る。これらの構成要素の動作については、図３Ａ～図６Ｃを使用してより詳細に説明する。

【0057】

一実施形態では、追跡システム１３２の構成要素の各々（例えば、カメラクライアント２２０、カメラサーバ２２５、ＬｉＤＡＲサーバ２３０、重量サーバ２３５、および中央サーバ２４０）は、追跡システム１３２の他の構成要素とは別個の異なるコンピューティングデバイスである。例えば、これらの構成要素の各々は、それ自体のプロセッサと、メモリと、物理的ハウジングとを含み得る。このように、追跡システム１３２の構成要素は、１つのコンピュータのみを含む追跡システムに対して追加の計算能力（computing power）を提供するように分散される。

【0058】

ＩＩ．カメラサブシステム
図３Ａ～図３Ｒは、例示的なカメラサブシステム２０２および追跡システム１３２におけるその動作を示す。上述したように、カメラサブシステム２０２は、カメラ２０５と、カメラクライアント２２０と、カメラサーバ２２５とを含む。一般に、カメラ２０５は、空間のビデオをキャプチャし、そのビデオを処理のためにカメラクライアント２２０に送る。これらのビデオは、空間のフレームまたは画像のシーケンスである。カメラクライアント２２０は、フレーム内の人物（例えば、買物客１０５）の存在を検出し、それらの人物についてフレーム内の座標（「フレーム座標」とも呼ばれ得る）を決定する。カメラサーバ２２５は、各カメラクライアント２２０からのフレーム座標を分析して、空間内の人物の物理的位置を決定する。

【0059】

１．カメラアレイ
図３Ａは、例示的なカメラアレイ３００を示す。図３Ａに示すように、カメラアレイ３００は、複数のカメラ３０５を含む。本開示は、１２個のカメラ３０５を含むカメラアレイ３００を示すが、カメラアレイ３００は、任意の好適な数のカメラ３０５を含んでもよい。一般に、カメラアレイ３００は、カメラ３０５が空間の一部の俯瞰ビデオをキャプチャすることができるように、空間の上方に配置される。次いで、これらのビデオは、カメラサブシステム２０２の他の構成要素によって処理され、空間内の人物（例えば、買物客１０５）の物理的位置が決定され得る。図３Ａの例では、カメラアレイ３００は、カメラ３０５Ａ、３０５Ｂ、３０５Ｃ、３０５Ｄ、３０５Ｅ、３０５Ｆ、３０５Ｇ、３０５Ｈ、３０５Ｉ、３０５Ｊ、３０５Ｋ、および３０５Ｌを含む。

【0060】

一般に、カメラアレイ３００内のカメラ３０５は、矩形アレイを形成するように配列される。図３Ａの例では、カメラアレイ３００は、カメラ３０５の３×４アレイ（例えば、カメラ３０５の３つの行および４つの列）である。カメラアレイ３００は、任意の好適な寸法のアレイに配列された任意の好適な数のカメラ３０５を含み得る。

【0061】

カメラアレイ３００の各カメラ３０５は、カメラクライアント２２０に通信可能に結合される。図３Ａの例では、カメラアレイ３００の各カメラ３０５は、カメラクライアント１ ２２０Ａ、カメラクライアント２ ２２０Ｂ、またはカメラクライアント３ ２２０Ｃのうちの１つに通信可能に結合される。各カメラ３０５は、キャプチャされたビデオを、カメラ３０５が通信可能に結合されるカメラクライアント２２０に通信する。カメラ３０５は、追跡システム１３２の回復力を高めるために、特定の規則にしたがってカメラクライアント２２０に通信可能に結合される。一般に、１つのカメラクライアント２２０がオフラインになったとしても、残りのカメラクライアント２２０に通信可能に結合されたカメラ３０５によって提供される物理的空間のカバレッジで、追跡システム１３２が空間内の人物の位置を追跡し続けるに十分となるように、カメラ３０５は、これらのカメラクライアント２２０に通信可能に結合される。

【0062】

カメラ３０５は、任意の好適な媒体を使用してカメラクライアント２２０に通信可能である。例えば、カメラ３０５はカメラクライアント２２０に配線接続され得る。別の例として、カメラ３０５は、任意の好適なワイヤレスプロトコル（例えば、ＷｉＦｉ）を使用してカメラクライアント２２０にワイヤレスに結合し得る。カメラ３０５は、キャプチャされたビデオを、通信媒体を通してカメラクライアント２２０に通信する。

【0063】

カメラ３０５は、空間のビデオをキャプチャするための任意の好適なデバイスであり得る。例えば、カメラ３０５は、空間の２次元ビデオ（例えば、ｘ－ｙ平面）をキャプチャすることができ、ビデオ内の人物および／または物体の高さ（例えば、ｚ平面）も検出することができる３次元カメラであり得る。別の例として、カメラ３０５は、空間の２次元ビデオをキャプチャする２次元カメラであってもよい。カメラアレイ３００は、異なるタイプのカメラ３０５の混合物を含み得る。

【0064】

図３Ｂは、カメラアレイ３００のカメラ３０５によって提供されるカバレッジを示す。図３Ｂに見られるように、床空間は、異なる視野３１０によってカバーされる。各視野３１０は、カメラアレイ３００のカメラ３０５によって提供される。例えば、視野３１０Ａはカメラ３０５Ａによって提供される。視野３１０Ｂはカメラ３０５Ｂによって提供される。視野３１０Ｃはカメラ３０５Ｃによって提供され、以下同様である。各視野３１０は、形状がほぼ矩形であり、床空間の一部をカバーする。各カメラ３０５は、そのカメラ３０５の視野３１０によってカバーされる床空間の一部のビデオをキャプチャする。例えば、カメラ３０５Ａは、視野３１０Ａによってカバーされる床空間の一部のビデオをキャプチャする。カメラ３０５Ｂは、視野３１０Ｂによってカバーされる床空間の一部のビデオをキャプチャする。カメラ３０５Ｃは、視野３１０Ｃによってカバーされる床空間の一部のビデオをキャプチャし、以下同様である。

【0065】

視野３１０を区別するために、各視野３１０は、その隣接する視野とは異なる陰影が付けられている。視野３１０Ａ、３１０Ｃ、３１０Ｉ、および３１０Ｋは、右に向かって下方に傾斜する線を用いて陰影が付けられている。視野３１０Ｂ、３１０Ｄ、３１０Ｊ、および３１０Ｌは、右に向かって上方に傾斜する線を使用して陰影が付けられている。視野３１０Ｅおよび３１０Ｇは、水平線を使用して陰影が付けられており、視野３１０Ｆおよび３１０Ｈは、垂直線を使用して陰影が付けられている。各視野３１０の陰影は、その視野３１０を他の直接隣接する視野３１０から区別するためのものである。陰影は、視野３１０の特定の特性を示すことを意味しない。換言すれば、特定の視野３１０が同じ陰影を共有していても、類似の陰影は、これらの視野３１０が特定の特性（例えば、サイズ、カバレッジ、持続時間、および／または形状）を共有することを示すものではない。視野３１０は、それらの個々の陰影にかかわらず、これらの特性のうちの１つまたは複数を共有し得る。

【0066】

図３Ｂに見られるように、各視野３１０は、他の視野３１０と重複する。例えば、視野３１０Ａは、視野３１０Ｂ、３１０Ｅ、および３１０Ｆと重複する。別の例として、視野３１０Ｆは、視野３１０Ａ、３１０Ｂ、３１０Ｃ、３１０Ｅ、３１０Ｇ、３１０Ｉ、３１０Ｊ、および３１０Ｋと重複する。視野３１０Ａおよび３１０Ｆと同様に、他の視野３１０（例えば、視野３１０Ｂ、３１０Ｃ、３１０Ｄ、３１０Ｅ、３１０Ｇ、３１０Ｈ、３１０Ｉ、３１０Ｊ、３１０Ｋ、および３１０Ｌ）もまた、隣接する視野３１０と重複する。重複する領域における陰影は、重複する領域を形成する個々の視野における陰影の組合せである。例えば、視野３１０Ａおよび３１０Ｂによって形成される重複する領域は、反対方向に走る斜線を含む。別の例として、視野３１０Ａ、３１０Ｂ、３１０Ｅ、および３１０Ｆによって形成される重複する領域は、反対方向に走る斜線と、水平線と、垂直線とを含む。

【0067】

重複する視野３１０は、カメラアレイ３００においてカメラ３０５が互いに近接している結果であり得る。一般に、視野３１０を重複させることによって、床空間の特定の部分を、カメラアレイ３００の複数のカメラ３０５によってキャプチャすることができる。結果として、特定のカメラ３０５がオフラインになっても、残りのカメラ３０５によって提供されるカバレッジで、追跡システム１３２が動作するのに依然として十分であり得る。追加的に、重複する視野３１０は、人物（例えば、買物客１０５）が空間を動き回るときの位置の追跡を改善し得る。

【0068】

図３Ｃは、例示的なカメラグリッド３１５を示す。図３Ｃに見られるように、カメラグリッド３１５は、カメラアレイ３００内の行および列の数に対応するいくつかの行およびいくつかの列を含む。カメラグリッド３１５の各ボックスは、カメラアレイ３００のカメラ３０５を表す。カメラグリッド３１５は、カメラアレイ３００のカメラ３０５がカメラクライアント２２０にどのように通信可能に結合されるかを示す。前の図３Ａの例を使用すると、カメラグリッド３１５は、カメラ３０５Ａ、３０５Ｄ、３０５Ｇ、および３０５Ｊがカメラクライアント１ ２２０Ａに通信可能に結合されることを示す。カメラグリッド３１５はまた、カメラ３０５Ｂ、３０５Ｅ、３０５Ｈ、および３０５Ｋがカメラクライアント２ ２２０Ｂに通信可能に結合されることを示す。カメラグリッド３１５は、カメラ３０５Ｃ、３０５Ｆ、３０５Ｉ、および３０５Ｌがカメラクライアント３ ２２０Ｃに通信可能に結合されることをさらに示す。

【0069】

カメラグリッド３１５は、カメラ３０５が特定の規則にしたがってカメラクライアント２２０に通信可能に結合されることを示す。例えば、特定のカメラクライアント２２０に通信可能に結合されたカメラ３０５は、カメラグリッド３１５の同じ行または同じ列において、同じカメラクライアント２２０に通信可能に結合された別のカメラ３０５に直接隣接しない。図３Ｃに見られるように、例えば、カメラ３０５Ａは、カメラグリッド３１５の同じ行または同じ列において、カメラ３０５Ｂおよび３０５Ｅに直接隣接する。カメラ３０５Ａがカメラクライアント１ ２２０Ａに通信可能に結合される一方で、カメラ３０５Ｂおよび３０５Ｅはカメラクライアント２ ２２０Ｂに通信可能に結合される。カメラ３０５Ｆは、カメラグリッド３１５の同じ行または同じ列においてカメラ３０５Ｂ、３０５Ｅ、３０５Ｇ、および３０５Ｊに直接隣接する。カメラ３０５Ｆがカメラクライアント３ ２２０Ｃに通信可能である一方で、カメラ３０５Ｂ、３０５Ｅ、３０５Ｇ、および３０５Ｊはカメラクライアント１ ２２０Ａまたはカメラクライアント２ ２２０Ｂに通信可能に結合される。

【0070】

別の例として、特定のカメラクライアント２２０に通信可能に結合されたカメラ３０５は、同じカメラクライアント２２０に通信可能に結合された別のカメラ３０５に対してカメラグリッド３１５内で対角にある。図３Ｃに見られるように、例えば、カメラ３０５Ｄ、３０５Ｇ、および３０５Ｊは、互いに対角にあり、カメラクライアント１ ２２０Ａに通信可能に結合される。カメラ３０５Ｃ、３０５Ｆ、および３０５Ｉは、互いに対角にあり、すべてがカメラクライアント３ ２２０Ｃに通信可能に結合される。

【0071】

このようにカメラ３０５を配置することで、各カメラクライアント２２０は、カメラグリッド３１５の一部における少なくとも１つのカメラ３０５に通信可能に結合されることとなる。図３Ｃの例に見られるように、カメラクライアント１ ２２０Ａ、カメラクライアント２ ２２０Ｂ、およびカメラクライアント３ ２２０Ｃの各々は、カメラグリッド３１５の任意の２×２部分内の少なくとも１つのカメラに通信可能に結合される。結果として、１つのカメラクライアント２２０がオフラインになったとしても、２×２部分内の他のカメラで、追跡システム１３２が動作することを可能にするのに十分なその２×２部分のカバレッジを依然として提供することができる。したがって、追跡システム１３２の回復力が高まる。

【0072】

前の例は、特定の数のカメラ３０５および特定の数のカメラクライアント２２０を使用したが、追跡システム１３２は、任意の好適な数のカメラ３０５および任意の好適な数のカメラクライアント２２０を使用して、所望のレベルの重複、スケーラビリティ、および回復力を提供してもよい。図３Ｄは、追加のカメラ３０５を含む例示的なカメラアレイ３００を示す。図３Ｄの例はまた、追加のカメラクライアント２２０：カメラクライアント１ ２２０Ａ～カメラクライアントＮ ２２０Ｄを含む。カメラアレイ３００内のカメラ３０５は、図３Ａ～図３Ｃで説明した同じ規則または原理にしたがって、カメラクライアント２２０に通信可能に結合され得る。

【0073】

図３Ｅは、カメラ３０５がどのようにしてカメラクライアント２２０に通信可能に結合し得るかを示す。図３Ｅに見られるように、カメラグリッド３１５は、いくつかの行およびいくつかの列を含む。行にわたって、カメラ３０５は、連続的にカメラクライアント２２０に通信可能に結合される。カメラ３０５がカメラクライアントＮ ２２０ｄに通信可能に結合された後、列の最後に達するまでシーケンスが繰り返される。同様に、列内のカメラ３０５は、カメラクライアント２２０に順次結合される。カメラ３０５がカメラクライアントＮ ２２０ｄに通信可能に結合された後、パターンが繰り返される。

【0074】

図３Ｄおよび３Ｅに示されるように、追跡システム１３２は、任意の数のカメラ３０５および任意の数のカメラクライアント２２０を含むようにスケーリングされ得る。一般に、特定のカメラクライアント２２０に通信可能に結合されたカメラ３０５は、カメラグリッド３１５の同じ行または同じ列において、同じカメラクライアント２２０に通信可能に結合された別のカメラ３０５に直接隣接しない。追加的に、カメラグリッド３１５の対角線に沿ったカメラ３０５は、同じカメラクライアント２２０に通信可能に結合される。さらに、各カメラクライアント２２０は、カメラグリッド３１５の一部内の少なくとも１つのカメラ３０５に通信可能に結合される。この部分の寸法は、追跡システム１３２内のカメラクライアント２２０の数に依存し得る。一般に、この部分の寸法は、追跡システム１３２内のカメラクライアント２２０の数より１つ少ない。そのため、図３Ｄおよび図３Ｅの例では、この部分の寸法は、（Ｎ－１）×（Ｎ－１）である。

【0075】

２．初期化
図３Ｆは、カメラサブシステム２０２の初期化を示す。図３Ｆに見られるように、カメラサブシステム２０２は、カメラアレイ３００と、カメラクライアント１ ２２０Ａと、カメラクライアント２ ２２０Ｂと、カメラクライアント３ ２２０Ｃと、カメラサーバ２２５とを含む。カメラサブシステム２０２は、任意の好適な数のカメラアレイ３００、カメラクライアント２２０、およびカメラサーバ２２５を含み得る。一般に、初期化の間に、カメラアレイ３００のカメラ３０５が起動し、カメラクライアント２２０にビデオ３０２を送り始める。追加的に、カメラクライアント２２０およびカメラサーバ２２５が内部クロック３０４を同期させる。カメラアレイ３００内のカメラ３０５が起動した後かつ内部クロック３０４が同期された後、カメラクライアント２２０は、カメラサブシステム２０２の追跡動作を実行するために、ビデオ３０２の処理およびカメラサーバ２２５への情報の通信を開始し得る。

【0076】

初期化の間に、カメラアレイ３００のカメラ３０５は、電源オンし、スタートアップシーケンスを実行し得る。例えば、カメラ３０５の構成要素は、ブートアップおよび／またはウォームアップし得る。次いで、カメラ３０５は、ビデオ映像をキャプチャし、ビデオ３０２をそれぞれのカメラクライアント２２０に通信し始め得る。カメラアレイ３００のカメラ３０５は、初期化するために異なる量の時間を要し得る。例えば、特定のカメラ３０５は、初期化に要する時間が、カメラアレイ３００の他のカメラ３０５より短い場合も長く場合もある。カメラアレイ３００のカメラ３０５は、カメラアレイ３００の他のカメラ３０５が初期化を完了するのを待ってからカメラクライアント２２０にビデオ３０２を送るわけではないので、カメラアレイ３００のカメラ３０５はそれぞれ、異なる時間にカメラクライアント２２０にビデオ３０２を送り始め得る。結果として、ビデオ３０２、特にビデオ３０２のフレームは、他のビデオ３０２のフレームから非同期化される可能性がある。換言すれば、これらのビデオ３０２のフレームは、それらのそれぞれのカメラ３０５によって同時にまたは一緒にキャプチャされて送られるわけではない。その結果として、これらのビデオ３０２のフレームは、カメラクライアント２２０に同時にまたは一緒に到着しない。

【0077】

初期化の間、カメラクライアント２２０およびカメラサーバ２２５は、電源オンおよび／またはブートアップシーケンスを実行する。ブートアップの後、カメラクライアント２２０およびカメラサーバ２２５は、それらの内部クロック３０４を同期させる。図３Ｆの例では、カメラクライアント１ ２２０Ａは内部クロック１ ３０４Ａを有する。カメラクライアント２ ２２０Ｂは内部クロック２ ３０４Ｂを有する。カメラクライアント３ ２２０Ｃは内部クロック３ ３０４Ｃを有する。カメラサーバ２２５は内部クロック４ ３０４Ｄを有する。カメラクライアント２２０およびカメラサーバ２２５は、任意の好適な方法でそれらの内部クロック３０４を同期させ得る。例えば、カメラクライアント２２０およびカメラサーバ２２５は、Network Time Protocol（ＮＴＰ）またはPrecision Time Protocol（ＰＴＰ）などの同期プロトコルを使用して、それらの内部クロック３０４を同期させ得る。カメラクライアント２２０およびカメラサーバ２２５の内部クロック３０４を同期させるために同期プロトコルが使用され得るが、これは、これらの内部クロック３０４が正確に同じ時間を示すこと、または互いに完全に同期していることを意味するものではない。結果として、カメラクライアント２２０およびカメラサーバ２２５間には、依然としてある程度の非同期が存在し得る。

【0078】

カメラクライアント２２０は、どのカメラ３０５がビデオ３０２をカメラクライアント２２０に通信したかを追跡することによって、初期化を完了したカメラアレイ３００のカメラ３０５を追跡し得る。カメラアレイ３００の各カメラ３０５がカメラクライアント２２０にビデオ３０２を送り始めたことをカメラクライアント２２０が決定すると、カメラクライアント２２０は、カメラアレイ３００が初期化を終了したと決定し得る。その決定に応答して、カメラクライアント２２０は、ビデオ３０２のフレームの処理およびそれらのフレームからの情報のカメラサーバ２２５への通信を開始し得る。次いで、カメラサーバ２２５は、カメラクライアント２２０からの情報を分析して、空間内の人物および／または物体の物理的位置を決定し得る。

【0079】

３．カメラクライアント
図３Ｇ～図３Ｉは、カメラサブシステム２０２におけるカメラクライアント２２０の動作を示す。一般に、カメラクライアント３２０は、カメラ３０５からのビデオ３０２を処理する。カメラクライアント３２０は、これらのビデオ３０２のフレーム３２０内の人物または物体を識別し、これらの人物または物体の座標３２２を決定し得る。カメラクライアント３２０はまた、カメラクライアント３２０がいつ特定のフレーム３２０を受信したかを示すタイムスタンプ３２４を（例えば、内部クロック３０４を使用することによって）生成し得る。カメラクライアント３２０は、さらなる処理のために、これらのタイムスタンプ３２４および座標３２２をカメラサーバ２２５に通信する。

【0080】

図３Ｇ～図３Ｉは、店舗１００での事象が展開する場合のカメラクライアント２１０の動作を示す。この事象中、例えば、第１の買物客１０５（例えば、男性）が店舗１００内の棚から商品１３０を取り出し、第２の買物客１０５（例えば、女性）がその棚に向かって移動する。カメラクライアント３２０は、ビデオ３０２のフレーム３２０を分析して、フレーム３２０内の男性および女性の座標３２２を決定する。

【0081】

図３Ｇに見られるように、男性は棚の近くに立っており、女性は棚から離れたところに立っている。２つのカメラ３０５Ａおよび３０５Ｂは、空間の上方に配置され、男性と女性および棚のビデオ３０２をキャプチャする。これらのカメラ３０５Ａおよび３０５Ｂは、それらのビデオ３０２を２つの異なるカメラクライアント２２０Ａおよび２２０Ｂに送る。カメラ３０５Ａは、ビデオ３０５をカメラクライアント２２０Ａに送る。カメラ３０５Ｂは、ビデオ３０５をカメラクライアント２２０Ｂに送る。

【0082】

カメラクライアント２２０Ａは、カメラ３０５Ａから、ビデオ３０５、具体的にはそのビデオ３０５のフレーム３２０Ａを受信する。カメラクライアント２２０Ａは、フレーム３２０Ａを処理する。フレーム３２０Ａに見られるように、男性は棚の近くに立っており、女性は棚から離れたところに立っている。カメラクライアント２２０Ａは、フレーム３２０Ａを処理して、男性および女性の周りの境界エリア３２５Ａおよび３２５Ｂを決定する。図３Ｇの例では、境界エリア３２５Ａおよび３２５Ｂは、それぞれ男性および女性を囲む矩形エリアである。境界エリア３２５Ａおよび３２５Ｂは、フレーム内の男性および女性の位置を近似する。本開示は、カメラクライアント２２０が任意の好適な形状および任意の好適なサイズの境界エリア３２５を決定することを企図する。例えば、境界エリア３２５は、円形であってもよく、または（例えば、フレーム３２０内の買物客１０５の輪郭に従うように）不規則な形状であってもよい。

【0083】

カメラクライアント２２０Ａは、フレーム３２０Ａおよび３２０Ｂ内の境界エリア３２５Ａおよび３２５Ｂを画定する座標３２２（「フレーム座標」とも呼ばれる）を決定する。図３Ｇの例では、カメラクライアント２２８は、境界エリア３２５Ａの座標３２２（ｘ_１，ｙ_１）および（ｘ_２，ｙ_２）と、境界エリア３２５Ｂの座標３２２（ｘ_３，ｙ_３）および（ｘ_４，ｙ_４）とを決定する。これらの座標３２２は、物理的空間における絶対座標を表すのではなく、フレーム３２０Ａ内の座標を表す。カメラクライアント２２０は、境界エリア３２５の任意の好適な数の座標３２２を決定し得る。

【0084】

次いで、カメラクライアント２２０Ａは、フレーム３２０Ａに関する情報を含むフレームデータ３３０Ａを生成する。図３Ｇに見られるように、フレームデータ３３０Ａは、カメラ３０５Ａの識別子（例えば、カメラ＝１」）を含む。カメラクライアント２２０Ａはまた、フレーム３２０Ａがいつカメラクライアント２２０Ａによって受信されたかを示すタイムスタンプ３２４を（例えば、内部クロック３０４を使用して）生成し得る。図３Ｇの例では、そのタイムスタンプ３２４はｔ_１である。フレームデータ３２０Ａはまた、フレーム３２０Ａ内の人物または物体に関する情報を含む。図３Ｇの例では、フレームデータ３３０Ａは、物体１および物体２に関する情報を含む。物体１は男性に対応し、物体２は女性に対応する。フレームデータ３３０Ａは、男性の座標３２２（ｘ_１，ｙ_１）および（ｘ_２，ｙ_２）を、男性の高さｚ_１と共に示す。前述したように、カメラ３０５は、物体および／または人物の高さを検出することができる３次元カメラであり得る。カメラ３０５は、男性および女性の高さをカメラクライアント３２０に提供していてもよい。図３Ｇの例では、カメラ３０５Ａは、男性および女性の高さがそれぞれｚ_１およびｚ_２であることを検出している可能性がある。フレームデータ３３０Ａはまた、座標３２２（ｘ_３，ｙ_３）および（ｘ_４，ｙ_４）ならびに高さｚ_２などの女性についての情報を含む。カメラクライアント２２０Ａは、フレームデータ３３０Ａの準備ができると、フレームデータ３３０Ａをカメラサーバ２２５に通信し得る。

【0085】

対応する方法で、カメラクライアント２２０Ｂは、カメラ３０５Ｂからのビデオ３０２を処理し得る。図３Ｇに見られるように、カメラクライアント２２０Ｂは、カメラ３０５Ｂからフレーム３２０Ｂを受信する。カメラ３０５Ｂはカメラ３０５Ａとは異なる位置にあるので、フレーム３２０Ｂは、フレーム３２０Ａとはわずかに異なる視点で店舗１００内の事象を示す。カメラクライアント２２０Ｂは、それぞれ男性および女性の周りの境界エリア３２５Ｃおよび３２５Ｄを決定する。カメラクライアント２２０Ｂは、境界エリア３２５Ｃのフレーム座標３２２（ｘ_１，ｙ_１）および（ｘ_２，ｙ_２）と、境界エリア３２５Ｄのフレーム座標３２２（ｘ_３，ｙ_３）および（ｘ_４，ｙ_４）とを決定する。カメラクライアント２２０Ｂはまた、カメラクライアント２２０Ｂがいつフレーム３２０Ｂを受信したかを示すタイムスタンプ３２４ ｔ_２を（例えば、内部クロック３０４を使用して）決定および生成する。次いで、カメラクライアント２２０Ｂは、フレーム３２０Ｂのフレームデータ３３０Ｂを生成する。フレームデータ３３０Ｂは、フレーム３２０Ｂがカメラ３０５Ｂによって生成され、ｔ_２でカメラクライアント２２０Ｂによって受信されたことを示す。フレームデータ３３０Ｂはまた、男性および女性がフレーム３２０Ｂにおいて検出されたことを示す。男性は、座標３２２（ｘ_１，ｙ_１）および（ｘ_２，ｙ_２）に対応し、高さｚ_１を有する。女性は、座標３２２（ｘ_３，ｙ_３）および（ｘ_４，ｙ_４）に対応し、高さｚ_２を有する。カメラクライアント２２０Ｂは、フレームデータ３２０Ｂの準備ができると、フレームデータ３２０Ｂをカメラサーバ２２５に通信する。

【0086】

フレームデータ３３０Ａおよび３３０Ｂに対してカメラクライアント２２０Ａおよび２２０Ｂによって生成される座標３２２は、物理的空間内の座標でなく、特定のフレーム３２０内の座標であり得る。追加的に、フレームデータ３３０Ａおよび３３０Ｂ内の座標３２２には同じ下付き文字が用いられているが、これらの座標３２２が同じであることを意味するものではない。むしろ、カメラ３０５Ａおよび３０５Ｂは異なる位置にあるので、フレーム３３０Ａ内の座標３２２がフレームデータ３３０Ｂ内の座標３２２と異なる可能性は高い。カメラクライアント２２０Ａおよび２２０Ｂは、物理的空間内ではなくフレーム３２０内の境界エリア３２５の座標３２２を決定している。カメラクライアント２２０Ａおよび２２０Ｂは、互いに独立してこれらのローカル座標３２２を決定する。下付き文字は、個々のカメラクライアント２２０によって生成された座標３２２のシーケンスを示す。例えば、（ｘ_１，ｙ_１）は、カメラクライアント２２０Ａによって生成された第１の座標３２２と、カメラクライアント２２０Ｂによって生成された第１の座標３２２とを示し、これらは異なる値であってもよい。

【0087】

図３Ｈでは、店舗１００内の事象が進行している。男性はまだ棚のそばに立っており、女性は棚の近くに移動している。カメラクライアント２２０Ａおよび２２０Ｂは、カメラ３０５Ａおよび３０５Ｂから追加のフレーム３２０Ｃおよび３２０Ｄを受信する。カメラクライアント２２０Ａは、男性および女性それぞれの境界エリア３２５Ｃおよび３２５Ｄならびにこれらの境界エリア３２５の座標３２２を再び決定する。カメラクライアント２２０Ａは、境界エリア３２５Ｃの座標３２２（ｘ_５，ｙ_５）および（ｘ_６，ｙ_６）ならびに境界エリア３２５Ｄの座標３２２（ｘ_７，ｙ_７）および（ｘ_８，ｙ_８）を決定する。カメラクライアント２２０Ａはまた、フレーム３２０Ｃが時間ｔ_３に受信されたことを示すタイムスタンプ３２４を生成する。カメラクライアント２２０Ａは、フレーム３２０Ｃがカメラ３０５Ａによって生成され、ｔ_３にカメラクライアント２２０Ａによって受信されたことを示すフレームデータ３３０Ｃを生成する。フレームデータ３３０Ｃはまた、フレーム３２０Ｃにおいて、男性が座標３２２（ｘ_５，ｙ_５）および（ｘ_６，ｙ_６）に対応し、高さｚ_３を有すること、およびフレーム３２０Ｃにおいて、女性が座標３２２（ｘ_７，ｙ_７）および（ｘ_８，ｙ_８）に対応し、高さｚ_４を有することを示す。

【0088】

同様に、カメラクライアント２２０Ｂは、カメラ３０５Ｂからフレーム３２０Ｄを受信する。カメラクライアント２２０Ｂは、それぞれ男性および女性の境界エリア３２５Ｅおよび３２５Ｆを決定する。次いで、カメラクライアント２２０Ｂは、境界エリア３２５Ｅの座標３２２（ｘ_５，ｙ_５）および（ｘ_６，ｙ_６）ならびに境界エリア３２５Ｆの座標３２２（ｘ_７，ｙ_７）および（ｘ_８，ｙ_８）を決定する。カメラクライアント２２０Ｂは、フレーム３２０Ｄが時間ｔ_４に受信されたことを示すタイムスタンプ３２４を生成する。カメラクライアント２２０Ｂは、フレーム３２０Ｄがカメラ３０５Ｂによって生成され、ｔ_４にカメラクライアント２２０Ｂによって受信されたことを示すフレームデータ３３０Ｄを生成する。フレームデータ３３０Ｄは、フレーム３２０Ｄにおいて、男性が座標３２２（ｘ_５，ｙ_５）および（ｘ_６，ｙ_６）に対応し、高さｚ_３を有することを示す。フレームデータ３３０Ｄはまた、フレーム３２０Ｄにおいて、女性が座標３２２（ｘ_７，ｙ_７）および（ｘ_８，ｙ_８）に対応し、高さｚ_４を有することを示す。カメラクライアント２２０Ａおよび２２０Ｂは、フレームデータ３３０Ｃおよび３３０Ｄの準備ができると、フレームデータ３３０Ｃおよび３３０Ｄをカメラサーバ２２５に通信する。

【0089】

図３Ｉでは、店舗１００における事象がさらに進行しており、男性が棚から商品１３０を取り出している。カメラクライアント２２０Ａは、カメラ３０５Ａからフレーム３２０Ｅを受信する。カメラクライアント２２０Ａは、それぞれ男性および女性の周りの境界エリア３２５Ｇおよび３２５Ｈを決定する。カメラクライアント２２０Ａは、境界エリア３２５Ｇの座標３２２（ｘ_９，ｙ_９）および（ｘ_１０，ｙ_１０）ならびに境界エリア３２５Ｈの座標３２２（ｘ_１１，ｙ_１１）および（ｘ_１２，ｙ_１２）を決定する。カメラクライアント２２０Ａは、フレーム３２０Ｅがいつカメラクライアント２２０Ａによって受信されたかを示すタイムスタンプ３２４を（例えば、内部クロック３０４を使用することによって）生成する。カメラクライアント２２０Ａは、フレーム３２０Ｅがカメラ３０５Ａによって生成され、ｔ_５にカメラクライアント２２０Ａによって受信されたことを示すフレームデータ３３０Ｅを生成する。フレームデータ３３０Ｅは、フレーム３２０Ｅ内で、男性が座標３２２（ｘ_９，ｙ_９）および（ｘ_１０，ｙ_１０）に対応し、高さｚ_５を有することを示す。フレームデータ３３０Ｅはまた、フレーム３２０Ｅにおいて、女性が座標３２２（ｘ_１１，ｙ_１１）および（ｘ_１２，ｙ_１２）に対応し、高さｚ_６を有することを示す。

【0090】

カメラクライアント２２０Ｂは、カメラ３０５Ｂからフレーム３２０Ｆを受信する。カメラクライアント２２０Ｂは、それぞれ男性および女性の周りの境界エリア３２５Ｉおよび３２５Ｊを決定する。カメラクライアント２２０ＢＡは、境界エリア３２５Ｉについて座標３２２（ｘ_９，ｙ_９）および（ｘ_１０，ｙ_１０）を決定し、境界エリア３２５Ｊについて座標３２２（ｘ_１１，ｙ_１１）および（ｘ_１２，ｙ_１２）を決定する。カメラクライアント２２０Ｂは、フレーム３２０Ｆがいつカメラクライアント２２０Ｂによって受信されたかを示すタイムスタンプ３２４を（例えば、内部クロック３０４を使用することによって）生成する。次いで、カメラクライアント２２０Ｂは、フレーム３２０Ｆがカメラ３０５Ｂによって生成され、ｔ_６にカメラクライアント２２０Ｂによって受信されたことを示すフレームデータ３３０Ｆを生成する。フレームデータ３３０Ｆは、フレーム３２０Ｆにおいて、男性が座標３２２（ｘ_９，ｙ_９）および（ｘ_１０，ｙ_１０）に対応し、高さｚ_５を有することを示す。フレームデータ３３０Ｆはまた、フレーム３２０Ｆにおいて、女性が座標３２２（ｘ_１１，ｙ_１１）および（ｘ_１２，ｙ_１２）に対応し、高さｚ_６を有することを示す。カメラクライアント２２０Ａおよび２２０Ｂは、フレームデータ３３０Ｅおよび３３０Ｆの準備ができると、それらをカメラサーバ２２５に通信する。

【0091】

４．カメラサーバ
図３Ｊ～図３Ｐは、カメラサブシステム２０２内のカメラサーバ２２５の動作を示す。一般に、カメラサーバ２２５は、カメラサブシステム２０２内のカメラクライアント２２０からフレームデータ３３０（例えば、３３０Ａ～３３０Ｆ）を受信する。カメラサーバ２２５は、フレームデータ３３０内のタイムスタンプ３２４に基づいて、フレームデータ３３０を特定の時間窓３３２に同期および／または割り当てる。次いで、カメラサーバ２２５は、特定の時間窓に割り当てられた情報を処理して、それらの時間窓３３２の間の空間内の人物および／または物体の物理的位置を決定する。

【0092】

図３Ｊでは、カメラサーバ２２５は、カメラサブシステム２０２内のカメラクライアント２２０からフレームデータ３３０を受信する。カメラサーバ２２５は、フレームデータ３３０内のタイムスタンプ３２４に応じて、フレームデータ３３０を時間窓３３２に割り当てる。前の例を使用して、カメラサーバ２２５は、タイムスタンプ３２４ ｔ_１、ｔ_２、およびｔ_３が第１の時間窓３２２Ａ内（例えば、時間Ｔ０とＴ１との間）に入り、タイムスタンプ３２４ ｔ_４、ｔ_５、およびｔ_６が後続の時間窓３３２Ｂ内（例えば、時間Ｔ１とＴ２との間）に入ると決定し得る。結果として、カメラサーバ２２５は、フレーム３２０Ａ、３２０Ｂ、および３２０Ｃのフレームデータ３３０を時間窓１ ３３２Ａに割り当て、フレーム３２０Ｄ、３２０Ｅ、および３２０Ｆのフレームデータ３３０を時間窓２ ３３２Ｂに割り当てる。

【0093】

フレームデータ３３０を時間窓３３２に割り当てることによって、カメラサーバ２２５は、カメラサブシステム２０２内のカメラ３０５、カメラクライアント２２０、およびカメラサーバ２２５の間で発生する非同期化を考慮し得る。時間窓３３２の持続時間は、非同期化の影響を軽減するために、発生すると予想される非同期化よりも長くなるように設定され得る。例えば、カメラ３０５およびカメラクライアント２２０が数ミリ秒だけ非同期化すると予想される場合、非同期化を打ち消すために、時間窓３３２を１００ミリ秒持続するように設定することができる。このように、カメラサーバ２２５は、カメラサブシステム２０２がより多くのカメラ３０５およびカメラクライアント２２０を含むことによってより大きな空間を扱うようにスケーリングされるので、非同期化の影響を軽減することができる。図３Ｊの例では、カメラサーバ２２５は、時間窓１ ３３２Ａの持続時間をＴ０からＴ１までに設定し、時間窓２ ３３２Ｂの持続時間をＴ１からＴ２までに設定する。カメラサーバ２２５は、非同期化の影響を軽減するために、時間窓３３２の持続時間を任意の好適な量に設定することができる。特定の実施形態では、Ｔ０は、カメラサブシステム２０２内のカメラ３０５が初期化を終了した時間であり得る。

【0094】

図３Ｋは、カメラサーバ２２５がカーソル３３５を使用してフレームデータ３３０を時間窓３３２に割り当てる実施形態を示す。各カーソル３３５は、カメラサブシステム２０２内の特定のカメラクライアント２２０に対応し得る。図３Ｋの例では、カーソル３３５Ａはカメラクライアント１ ２２０Ａに対応し、カーソル３３５Ｂはカメラクライアント３ ２２０Ｃに対応し、カーソル３３５Ｃはカメラクライアント２ ２２０Ｂに対応する。各カーソル３３５は、特定の時間窓３３２を指す。フレームデータ３３０がカメラクライアント２２０から受信されると、そのフレームデータ３３０は、一般に、そのカメラクライアント２２０のカーソル３３５が指す時間窓３３２に割り当てられる。例えば、フレームデータ３３０がカメラクライアント１ ２２０Ａから受信される場合、そのフレームデータ３３０は一般に、カーソル３３５Ａが時間窓１ ３３２Ａを指し示しているので、時間窓１ ３３２Ａに割り当てられる。

【0095】

カメラサーバ２２５は、カーソル３３５に対応するカメラクライアント２２０からフレームデータ３３０が受信されたとき、カーソル３３５Ａを進めるべきかを決定し得る。そのフレームデータ３３０が、後続の時間窓３３２に属するタイムスタンプ３２４を有する場合、カメラサーバ２２５は、カーソル３３５をその時間窓３３２に進め、それによって、カメラサーバ２２５が、以前の時間窓３３２に属するカメラクライアント２２０からフレームデータ３３０をこれ以上受信することを期待していないことを示し得る。このように、カメラサーバ２２５は、フレームデータ３３０が受信されるときにすべての時間窓３３２をチェックすることなく、フレームデータ３３０を時間窓３３２に迅速かつ効率的に割り当てることができる。例えば、カメラクライアント２ ２２０Ｂがカメラクライアント１ ２２０Ａおよびカメラクライアント３ ２２０Ｃよりも情報を送るのが速い場合、カーソル３３５Ｃはカーソル３３５Ａおよび３３５Ｂよりもはるかに先に進むことができる。カメラサーバ２２５がカメラクライアント２ ２２０Ｂからフレームデータ３３０を受信するとき、カメラサーバ２２５は、フレームデータ３３０がどの時間窓３３２に割り当てられるべきかを決定するために、時間窓１ ３３２Ａから始まるすべての時間窓３３２をチェックする必要はない。むしろ、カメラサーバ２２５は、カーソル３３５Ｃが指し示す時間窓３３２から開始することができる。換言すれば、カメラサーバ２２５は、最初に、カメラクライアント２ ２２０Ｂからのフレームデータ３３０内のタイムスタンプ３２４が時間窓１ ３３２Ａ内に入る時間を示すかどうかをチェックして、次いで、その時間が時間窓２ ３３２Ｂ内に入るかどうかをチェックする必要はない。代わりに、カメラサーバ２２５は、最初に、その時間が時間窓３ ３３２Ｃ内に入るかどうかをチェックし、その時間が時間窓１ ３３２Ａおよび時間窓２ ３３２Ｂ内に入るかどうかのチェックを無視することができる。結果として、フレームデータ３３０は、正しい時間窓３３２に迅速かつ効率的に割り当てられる。

【0096】

図３Ｌは、カメラサーバ２２５が、特定の時間窓３３２に割り当てられているフレームデータ３３０の処理に移っている様子を示す。一般に、カメラサーバ２２５は、特定の時間窓３３２に割り当てられたフレームデータ３３０が処理の準備ができていると決定し得る。この決定に応答して、カメラサーバ２２５は、フレームデータ３３０を特定の時間窓３３２からタスクキュー３３６に移動させ得る。次いで、タスクキュー３３６内の情報が処理されて、特定の時間窓３３２中の空間内の人物または物体の物理的位置が決定される。

【0097】

カメラサーバ２２５は、特定の時間窓３３２に割り当てられたフレームデータ３３０が、任意の好適な方法での処理の準備ができていると決定する。例えば、カメラサーバ２２５は、特定の時間窓３３２が十分な数のカメラ３０５からのフレーム３２０に対するフレームデータ３３０を有するときに、その時間窓３３２が処理の準備ができていると決定し得る。カメラサーバ２２５は、この決定を行うためにしきい値３３８を使用し得る。特定の時間窓３３２に、しきい値３３８を超える数のカメラ３０５からのフレーム３２０に対するフレームデータ３３０が割り当てられている場合、カメラサーバ２２５は、その時間窓３３２が処理の準備ができていると決定し、その時間窓３３２の情報をタスクキュー３３６に移動させ得る。例えば、しきい値３３８は、時間窓３３２が処理の準備ができる前に１２台のカメラ３０５のアレイ３００のうちの１０台のカメラ３０５からのフレーム３２０に対するフレームデータ３３０が受信される必要があることを示すと仮定する。時間窓３３２が８台のカメラ３０５のみからのフレーム３２０に対するフレームデータ３３０を含む場合、カメラサーバ２２５は、時間窓３３２が処理の準備ができていないと決定し、結果として、時間窓３３２は、追加のカメラ３０５からのフレーム３２０に対するフレームデータ３３０が割り当てられるのを待つ。時間窓３３２が１０台以上のカメラ３０５からのフレーム３２０に対するフレームデータ３３０を受信すると、カメラサーバ２２５は、時間窓３３２が処理の準備ができていると決定し、時間窓３３２内のフレームデータ３３０をタスクキュー３３６に移動させる。

【0098】

カメラサーバ２２５はまた、後続の時間窓３３２が、しきい値３３８を超える数のカメラ３０５からのフレーム３２０に対するフレームデータ３３０を受信したときに、特定の時間窓３３２が処理の準備ができていると決定し得る。前の例を使用すると、時間窓１ ３３２Ａが８台のカメラからのフレーム３２０に対するフレームデータ３３０を割り当てられていたとしても、カメラサーバ２２５は、時間窓２ ３３２Ｂが１０台以上のカメラ３０５からの（例えば、カメラアレイ３００内のすべてのカメラ３０５からの）フレーム３２０に対するフレームデータ３３０を割り当てられているときには、時間窓１ ３３２Ａが処理の準備ができていると決定し得る。このシナリオでは、カメラサーバ２２５は、十分な数のカメラ３０５からのフレーム３２０に対するフレームデータ３３０が後続の時間窓２ ３３２Ｂに割り当てられているので、追加のフレームデータ３３０が時間窓１ ３３２Ａに割り当てられないと仮定し得る。これに応答して、カメラサーバ２２５は、時間窓１ ３３２Ａ内のフレームデータ３３０をタスクキュー３３６に移動させる。

【0099】

カメラサーバ２２５はまた、特定の時間窓３３２が特定の時間期間の間処理を待っているとき、その時間窓３３２が処理の準備ができていると決定し得る。例えば、エラーまたはバグがシステム内で発生し、いくつかのカメラ３０５からのフレーム３２０が送られなかったり失われたりした場合、時間窓３３２は、十分な数のカメラ３０５からのフレーム３２０に対するフレームデータ３３０を受信しない可能性がある。結果として、その時間窓３３２に対する処理は、停滞するか、または遅延する可能性がある。カメラサーバ２２５は、タイムアウトまたはエージアウトを使用し得、時間窓３３２は、これを超えて処理を待つことはない。したがって、時間窓３３２がタイムアウトまたはエージアウトを超える特定時間期間の間処理されなかった場合、カメラサーバ２２５は、その時間窓３３２内のフレームデータ３３０をタスクキュー３３６に送り得る。前の例を使用して、タイムアウトが２００ミリ秒であると仮定する。時間窓１ ３３２Ａが２００ミリ秒を超えて８台のカメラ３０５からのフレーム３２０のフレームデータ３３０で止まっている場合、カメラサーバ２２５は、時間窓１ ３３２Ａが追加のフレームデータ３３０を十分長く待っており、時間窓１ ３３２Ａが処理の準備ができていると決定し得る。これに応答して、カメラサーバ２２５は、時間窓１ ３３２Ａ内のフレームデータ３３０をタスクキュー３３６に移動させる。

【0100】

特定の実施形態では、時間窓３３２がタイムアウトまたはエージアウトすると、カメラサーバ２２５は、将来の時間窓３３２がタイムアウトまたはエージアウトする可能性が低くなるように、しきい値３３８を調整し得る。例えば、カメラサーバ２２５は、時間窓３３２がタイムアウトまたはエージアウトしたとき、しきい値３３８を下げ得る。同様に、カメラサーバ２２５は、後続の時間窓３３２がタイムアウトまたはエージアウトしないとき、しきい値３３８を増加させ得る。カメラサーバ２２５は、特定の時間窓３３２について情報を送ったカメラ３０５の数に基づいてしきい値３３８を調整し得る。例えば、特定の時間窓３３２が、８台のカメラ３０５からのフレーム３２０に対するフレームデータ３３０を有し、しきい値３３８が１０台のカメラ３０５であるときにタイムアウトまたはエージアウトした場合、カメラサーバ２２５は、しきい値３３８を８台のカメラにより近い値に下げ得る。結果として、その時間窓３３２は、十分な数のカメラ３０５からのフレーム３２０に対するフレームデータ３３０を有し、タスクキュー３３６に移動され得る。後続の時間窓３３２が、９台のカメラ３０５からのフレーム３２０に対するフレームデータ３３０を受信したためにタイムアウトしないとき、カメラサーバ２２５は、９台のカメラ３０５に合わせてしきい値３３８を調整し得る。このように、カメラサーバ２２５は、しきい値３３８を動的に調整して、バグ、エラー、および／または待ち時間がカメラサブシステム２０２において遅延を引き起こすことを防止し得る。

【0101】

特定の実施形態では、カメラサーバ２２５は、時間窓３３２を順次処理する。換言すれば、カメラサーバ２２５は、前の時間窓３３２が処理の準備ができるまで、後続の時間窓３３２を処理しない。図３Ｌの例では、カメラサーバ２２５は、時間窓１ ３３２Ａがタスクキュー３３６に入れられるまで、時間窓２ ３３２Ｂをタスクキュー３３６に入れられないであろう。このように、店舗１００内の事象の進行が順次（例えば、事象が展開するにつれて）評価され、これにより、店舗１００内の人物の位置を適切に追跡することができる。時間窓３３２が順次評価されなかった場合、追跡システム１３２には、店舗１００内の事象が異なる誤った順序で進行したように見える可能性がある。

【0102】

図３Ｍは、カメラサーバ２２５のタスクキュー３３６を示す。図３Ｍに示すように、タスクキュー３３６は、２つの時間窓３３２からのフレームデータ３３０を含む。タスクキュー３３６の先頭には、フレーム３２０Ａ、３２０Ｂおよび３２０Ｃに対するフレームデータ３３０がある。タスクキュー３３６においてフレーム３２０Ｄ、３２０Ｅおよび３２０Ｆに対するフレームデータ３３０が続く。カメラサーバ２２５は、タスクキュー３３６内のエントリを順番に処理することができる。したがって、カメラサーバ２２５は、最初にタスクキュー３３６の第１のエントリを処理し、フレーム３２０Ａ、３２０Ｂ、および３２０Ｃに対するフレームデータ３３０を処理し得る。カメラサーバ２２５は、タスクキュー３３６のエントリを処理し、次いで、そのエントリを結果キューに移動させる。

【0103】

タスクキュー３３６のエントリを処理するために、カメラサーバ２２５は、同じカメラ３２０によって検出された同じ物体の座標３２２を結合またはクラスタ化して、その物体の結合座標３３２を計算し得る。この処理の結果、各時間窓３３２は、カメラ３０５別に物体あたり１セットの座標３２２のみを含むはずである。この処理の後、結合座標３２２は、結果キューに入れられる。図３Ｎは、カメラサーバ２２５の結果キュー３４０を示す。図３Ｎに見られるように、結果キュー３４０は、２つの時間窓３３２についての結合座標３３２を含む。

【0104】

一例として、カメラサーバ２２５は、最初に、フレーム３２０Ａ、３２０Ｂ、および３２０Ｃに対するフレームデータ３３０を含む、タスクキュー３３６内の第１のエントリを処理する。フレーム３２０Ａおよび３２０Ｃは、同じカメラ３２０Ａからのものである。結果として、カメラサーバ２２５は、フレーム３２０Ａおよび３２０Ｃに対するフレームデータ３３０Ａおよび３３０Ｃを使用して、カメラ３２０Ａによって検出された人物または物体の結合座標３２２を計算し得る。図３Ｎに見られるように、カメラサーバ２２５は、カメラ１ ３０５Ａによって検出された物体１の結合座標３２２（ｘ_１３，ｙ_１３）および（ｘ_１４，ｙ_１４）ならびに結合高さ（combined height）ｚ_７と、カメラ１ ３０５Ａによって検出された物体２の結合座標３２２（ｘ_１５，ｙ_１５）および（ｘ_１６，ｙ_１６）ならびに結合高さｚ_８とを決定している。これらの結合座標３２２および結合高さは、第１の時間窓３３２Ａ中にカメラ３０５Ａによって受信されたビデオフレーム３０２における男性および女性の結合座標３２２および結合高さである。同様に、カメラサーバ２２５は、第１の時間窓３３２Ａ中にカメラ２ ３０５Ｂによって検出された物体の結合座標３２２および結合高さを決定し得る。例えば、カメラサーバ２２５は、フレーム３２０Ｂに対するフレームデータ３３０Ｂ（および第１の時間窓３３２Ａ中にカメラ２ ３０５Ｂによって受信された任意の他のフレーム３２０に対するフレームデータ３３０）を使用して、カメラ２ ３０５Ｂによって検出された物体１の結合座標３２２（ｘ_１３，ｙ_１３）および（ｘ_１４，ｙ_１４）ならびに結合高さｚ_７と、カメラ２ ３０５Ｂによって検出された物体２の結合座標３２２（ｘ_１５，ｙ_１５）および（ｘ_１６，ｙ_１６）ならびに結合高さｚ_８とを決定し得る。カメラサーバ２２５は、このように、第１の時間窓３３２Ａにおいてカメラ３０５によって検出された各物体の結合座標３２２を決定し得る。

【0105】

次いで、カメラサーバ２２５は、第２の時間窓３３２Ｂ中にカメラ３０５によって検出された物体の結合座標３２２を同様に決定する。例えば、カメラサーバ２２５は、フレーム３２０Ｅに対するフレームデータ３３０Ｅ（および第２の時間窓３３２Ｂ中にカメラ１ ３０５Ａによって受信された任意の他のフレーム３２０に対するフレームデータ３３０）を使用して、カメラ１ ３０５Ａによって検出された物体１の結合座標３２２（ｘ_１７，ｙ_１７）および（ｘ_１８，ｙ_１８）ならびに結合高さｚ_９と、カメラ１ ３０５Ａによって検出された物体２の結合座標３２２（ｘ_１９，ｙ_１９）および（ｘ_２０，ｙ_２０）ならびに結合高さｚ_１０とを決定し得る。カメラサーバ２２５はまた、フレーム３２０Ｄおよび３２０Ｆに対するフレームデータ３３０Ｄおよび３３０Ｆを使用して、カメラ２ ３０５Ｂによって検出された物体１の結合座標３２２（ｘ_１７，ｙ_１７）および（ｘ_１８，ｙ_１８）ならびに結合高さｚ_９と、カメラ２ ３０５Ｂによって検出された物体２の結合座標３２２（ｘ_１９，ｙ_１９）および（ｘ_２０，ｙ_２０）ならびに結合高さｚ_１０とを決定し得る。カメラサーバ２２５は、任意の好適な方法で結合座標３２２および結合高さを計算する。例えば、カメラサーバ２２５は、特定の時間窓３３２において同じカメラ３０５によって検出された特定の物体の座標３２２および高さの平均をとることによって、結合座標３２２および結合高さを計算し得る。図３Ｍの例を使用すると、カメラサーバ２２５は、フレームデータ３３０Ａおよび３３０Ｃからの座標３２２（ｘ_１，ｙ_１）および（ｘ_５，ｙ_５）の平均をとることによって、カメラ１ ３０５Ａについての結合座標３２２（ｘ_１３，ｙ_１３）を計算し得る。同様に、カメラサーバ２２５は、フレームデータ３３０Ａおよび３３０Ｃからの座標３２２（ｘ_２，ｙ_２）および（ｘ_６，ｙ_６）の平均をとることによって、カメラ１ ３０５Ａについての結合座標３２２（ｘ_１４，ｙ_１４）を決定し得る。カメラサーバ２２５は、フレームデータ３３０Ａおよび３３０Ｃからの高さｚ_１およびｚ_３の平均をとることによって、カメラ１ ３０５Ａについての結合高さｚ_７を決定し得る。同様に、カメラサーバ２２５は、フレームデータ３３０Ｄおよび３３０Ｆからの座標３２２（ｘ_５，ｙ_５）および（ｘ_９，ｙ_９）の平均をとることによって、カメラ２ ３０５Ｂについての結合座標３２２（ｘ_１７，ｙ_１７）を決定し得る。同様に、カメラサーバ２２５は、フレームデータ３３０Ｄおよび３３０Ｆからの座標３２２（ｘ_６，ｙ_６）および（ｘ_１０，ｙ_１０）の平均をとることによって、カメラ２ ３０５Ｂについての結合座標３２２（ｘ_１８，ｙ_１８）を決定し得る。カメラサーバ２２５は、フレームデータ３３０Ｄおよび３３０Ｆからの高さｚ_３およびｚ_５の平均をとることによって、カメラ２ ３０５Ｂについての結合高さｚ_９を決定し得る。カメラサーバ２２５がこれらの平均をとるのは、これらが同じ時間窓３３２中に同じカメラ３０５によって決定された同じ物体の座標３２２および高さであるからである。

【0106】

カメラサーバ２２５は、同様のプロセスにしたがって、カメラ１ ３０５Ａおよび２ ３０５Ｂによって検出された物体２の結合座標を決定または計算し得る。カメラサーバ２２５は、フレームデータ３３０Ａおよび３３０Ｃからの座標３２２（ｘ_３，ｙ_３）および（ｘ_７，ｙ_７）の平均をとることによって、カメラ１ ３０５Ａについての結合座標３２２（ｘ_１５，ｙ_１５）を計算し得る。同様に、カメラサーバ２２５は、フレームデータ３３０Ａおよび３３０Ｃからの座標３２２（ｘ_４，ｙ_４）および（ｘ_８，ｙ_８）の平均をとることによって、カメラ１ ３０５Ａについての結合座標３２２（ｘ_１６，ｙ_１６）を決定し得る。カメラサーバ２２５は、フレームデータ３３０Ａおよび３３０Ｃからの高さｚ_２およびｚ_４の平均をとることによって、カメラ１ ３０５Ａについての結合高さｚ_８を決定し得る。同様に、カメラサーバ２２５は、フレームデータ３３０Ｄおよび３３０Ｆからの座標３２２（ｘ_７，ｙ_７）および（ｘ_１１，ｙ_１１）の平均をとることによって、カメラ２ ３０５Ｂについての結合座標３２２（ｘ_１９，ｙ_１９）を決定し得る。同様に、カメラサーバ２２５は、フレームデータ３３０Ｄおよび３３０Ｆからの座標３２２（ｘ_８，ｙ_８）および（ｘ_１２，ｙ_１２）の平均をとることによって、カメラ２ ３０５Ｂについての結合座標３２２（ｘ_２０，ｙ_２０）を決定し得る。カメラサーバ２２５は、フレームデータ３３０Ｄおよび３３０Ｆからの高さｚ_４およびｚ_６の平均をとることによって、カメラ２ ３０５Ｂについての結合高さｚ_１０を決定し得る。

【0107】

カメラサーバ２２５は、任意の他の好適な計算を使用して、結合座標および結合高さを計算する。例えば、カメラサーバ２２５は、時間窓３３２中に同じカメラ３０５によって検出された物体の座標３２２および高さの中央値をとり得る。カメラサーバ２２５はまた、クラスタリングプロセスを使用して、結合座標３２２および結合高さを計算し得る。例えば、カメラサーバ２２５は、Ｋ平均法（K-means clustering）、ＤＢＳＣＡＮ（Density-based spatial clustering of applications with noise）、k-medoids法、混合ガウスモデル、および階層クラスタリングを使用して、結合座標３２２および結合高さを計算し得る。

【0108】

カメラサーバ２２５が結合座標３２２および結合高さを計算した後に、カメラサーバ２２５は、時間窓３３２中に各カメラ３０５によって検出された各物体の座標３２２を決定している。しかしながら、カメラサーバ２２５は、異なるカメラ３０５によって検出された物体が同じ物体であるかどうかを決定するために追加の処理を実行し得る。カメラサーバ２２５は、リンク付けおよびホモグラフィを使用して、どのカメラ３０５によって検出されたどの物体が実際に空間内の同じ人物または物体であるかを決定し得る。次いで、カメラサーバ２２５は、異なるカメラ３０５からそれらの物体の結合座標３２２を取り、ホモグラフィを使用して、時間窓３３２中の物理的空間内のその人物または物体の物理的位置を決定することができる。このプロセスの実施形態は、「Topview Object Tracking Using a Sensor Array」と題する米国特許出願第＿＿＿＿＿号（代理人整理番号第０９０２７８．０１８０号）に記載されており、その内容は、その全体が参照により本明細書に組み込まれる。このように、カメラサーバ２２５は、特定の時間窓３３２中の空間内の人物および／または物体の物理的位置を決定する。

【0109】

特定の実施形態では、カメラクライアント２２０はまた、カメラサーバ２２５と同じ時間窓３３２を使用して、フレームデータ３３０をバッチでカメラサーバ２２５に通信し得る。図３Ｏに見られるように、カメラクライアント２２０は、フレームデータ３３０内のタイムスタンプ３２４に基づいてフレームデータ３３０を時間窓３３２に割り当てる。カメラクライアント２２０は、時間窓３３２が処理の準備ができているとカメラサーバ２２５が決定するのと同様の方法で、特定の時間窓３３２がカメラサーバ２２５に通信される準備ができていると決定し得る。特定の時間窓３３２の準備ができているとカメラクライアント２２０が決定すると（例えば、カメラクライアント２２０に通信可能に結合された各カメラ３０５がその時間窓３３２においてフレームを通信したとき）、カメラクライアント２２０は、その時間窓３３２に割り当てられたフレームデータ３３０をバッチとしてカメラサーバ２２５に通信する。このように、カメラサーバ２２５がカメラクライアント２２０からバッチとして時間窓３３２についてのフレームデータ３３０を受信するので、カメラサーバ２２５は、時間窓３３２にフレームデータ３３０をより迅速かつ効率的に割り当て得る。

【0110】

特定の実施形態では、カメラサーバ２２５とカメラクライアント２２０とが同期していない場合であっても、カメラサーバ２２５は、（例えば、非同期化された内部クロック３０２によって、カメラクライアント２２０からカメラサーバ２２５までの待ち時間の差によって、カメラクライアント２２０間の処理速度の差によってなど）発生する非同期化を、フレームデータ３３０内のタイムスタンプ３２４を調整することによって考慮することができる。図３Ｐは、カメラサーバ２２５がタイムスタンプ３２４を調整する様子を示す。前述したように、フレームデータ３３０は、カメラクライアント２２０がいつフレーム３２０を受信したかを示す、カメラクライアント２２０によって生成されたタイムスタンプ３２４を含む。図３Ｐの例では、フレームデータ３３０は、カメラクライアント２２０が時間ｔ_１にフレーム３２０を受信したことを示す。カメラクライアント２２０およびカメラサーバ２２５が同期していない場合、カメラサーバ２２５は、異なるカメラクライアント２２０からのタイムスタンプ３２４が互いに対して正確であることを保証することができないので、タイムスタンプ３２４ ｔ_１はカメラサーバ２２５にとって比較的無意味である。したがって、異なるおよび／または複数のカメラクライアント２２０からのフレームデータ３３０を正確に分析することは、不可能ではないとしても困難である。

【0111】

カメラサーバ２２５は、非同期化を考慮するために特定のカメラ３０５についてのタイムスタンプ３２４を調整することができる。一般に、カメラサーバ２２５は、各カメラ３０５についての遅延を、そのカメラ３０５からの前のフレーム３２０の遅延を追跡することによって決定する。次いで、カメラサーバ２２５は、決定された遅延によって、そのカメラ３０５からのフレーム３２０に対するフレームデータ３３０についてのタイムスタンプ３２４を調整する。図３Ｐの例では、カメラサーバ２２５は、カメラ１からの各フレーム３２０（ｘ）について、そのフレーム３２０に対するフレームデータ３３０に示されるタイムスタンプ３２４（ｔ_ｘとラベル付けされる）とカメラサーバ２２５がフレームデータ３３０を受信した時間（Ｔ_ｘとラベル付けされる）との時間差（Δ_ｘとラベル付けされる）を決定することによって、カメラ１ ３０５Ａについての遅延を決定する。カメラサーバ２２５は、前のいくつかのフレーム３２０に対する時間差（Δ_ｘ）を平均することによって平均遅延（Δとラベル付けされる）を計算する。図３Ｐの例では、カメラサーバ２２５は、平均遅延を決定するために、前の３０個のフレーム３２０の時間差を平均する。次いで、カメラサーバは、平均遅延（Δ）をフレームデータ３３０についてのタイムスタンプ３２４に加算して、タイムスタンプ３２４を調整して、非同期化を考慮する。このように、カメラサーバ２２５および追跡システム１３２は、カメラクライアント２２０およびカメラサーバ２２５が（例えば、クロック同期プロトコルにしたがって）同期されていない場合であっても、適切に機能することができる。

【0112】

５．例示的な方法
図３Ｑおよび図３Ｒは、カメラサブシステム２０２を動作させる例示的な方法３４２を示すフローチャートである。特定の実施形態では、カメラサブシステム２０２の様々な構成要素が方法３４２のステップを実行する。一般に、方法３４２を実行することによって、カメラサブシステム２０２は、空間内の人物または物体の物理的位置を決定する。

【0113】

図３Ｑに見られるように、方法３４２Ａは、カメラ３０５Ａおよび３０５Ｂがフレーム３２０Ａおよび３２０Ｄを生成し、それぞれカメラクライアント２２０Ａおよび２２０Ｂに通信することから始まる。カメラクライアント２２０Ａおよび２２０Ｂは、フレーム３２０Ａおよび３２０Ｂにおいて検出された２人の人物の座標３２２を決定する。これらの座標は、これらの人物の周りの境界エリア３２５を画定し得る。

【0114】

次いで、カメラ３０５Ａは、フレーム３２０Ｂを生成し、フレーム３２０Ｂをカメラクライアント２２０Ａに通信する。カメラクライアント２２０Ａは、フレーム３２０Ｂに示される２人の人物の座標３２２を生成する。そのプロセスの間、カメラ３０５Ｂはフレーム３２０Ｅを生成し、フレーム３２０Ｅをカメラクライアント２２０Ｂに通信する。次いで、カメラクライアント２２０Ｂは、フレーム３２０Ｅにおいて検出された２人の人物の座標３２２を決定する。次いで、カメラ３０５Ａはフレーム３２０Ｃを生成し、フレーム３２０Ｃをカメラクライアント２２０Ａに通信する。カメラクライアント２２０Ａは、フレーム３２０Ｃにおいて検出された２人の人物の座標３２２を決定する。重要なことに、図３Ｑは、カメラ３０５Ａおよび３０５Ｂからのフレームが同時にまたは同期して生成および通信されない可能性があることを示す。追加的に、フレーム３２０において検出された人物の座標は、カメラクライアント２２０Ａおよび２２０Ｂにおいて同時にまたは同期して生成されない可能性がある。

【0115】

図３Ｒは、図３Ｑの方法３４２Ａから続く方法３４２Ｂを示す。図３Ｒに示すように、カメラクライアント２２０Ａは、フレーム３２０Ａにおいて検出された２人の人物の座標３２２からフレームデータ３３０を生成する。同様に、カメラクライアント２２０Ｂは、フレーム３２０Ｄにおいて検出された２人の人物の座標３２２を用いてフレームデータ３３０を生成する。カメラクライアント２２０Ａおよび２２０Ｂは、フレームデータ３３０をカメラサーバ２２５に通信する。カメラクライアント２２０Ａは、フレーム３２０Ｂにおいて検出された２人の人物の座標３２２を使用して追加のフレームデータ３３０を生成する。次いで、カメラクライアント２２０Ａは、そのフレームデータ３３０をカメラサーバ２２５に通信する。カメラサーバ２２５は、フレームデータ３３０を時間窓３３２に割り当て得る。カメラサーバ２２５は、ステップ３４４において、その時間窓３３２が処理の準備ができていると決定し、それに応答して、ステップ３４６において、その時間窓３３２におけるフレームデータ３３０をタスクキュー３３６内に入れ得る。次いで、カメラサーバ２２５は、ステップ３４８において、その時間窓３２２における座標３２２を結合またはクラスタ化して、結合座標３２２を決定し得る。例えば、カメラサーバ２２５は、その時間窓における座標３２２を平均して、その時間窓３３２中に異なるカメラ３０５によって検出された人物の結合座標３２２を決定し得る。次いで、カメラサーバ２２５は、ステップ３５０において、異なるカメラ３０５によって検出された人物を空間内の人物にマッピングし得る。次いで、カメラサーバ２２５は、ステップ３５２において、その時間窓３３２中の人物の位置を決定し得る。カメラサーバ２２５は、これらの決定された位置を中央サーバ２４０に通信する。

【0116】

図３Ｑおよび図３Ｒに示す方法３４２に修正、追加、または省略を行ってもよい。方法３４２は、より多くの、より少ない、または他のステップを含んでもよい。例えば、ステップは、並行してまたは任意の好適な順序で実行され得る。ステップを実行するカメラサブシステム２０２の特定の構成要素として説明したが、カメラサブシステム２０２の任意の好適な構成要素が、方法の１つまたは複数のステップを実行してもよい。

【0117】

６．他の特徴
特定の実施形態では、カメラサブシステム２０２は、カメラサブシステム２０２の第１のカメラアレイ３００と連携して動作する第２のカメラアレイを含み得る。図３Ｓは、２つのカメラアレイ３００および３５４を含む実施形態を示す。カメラアレイ３００はカメラ３０５Ｍを含む。カメラアレイ３５４はカメラ３０５Ｎを含む。カメラ３０５Ｎは、カメラ３０５Ｍと同様に動作し、図３Ａ～図３Ｒを使用して説明した技法と同じ技法を使用して空間内の物体および／または人物の位置を決定するために使用され得る。

【0118】

各カメラ３０５Ｎは、カメラアレイ３００のカメラ３０５ Ｍからわずかにオフセットされて配置される。このように、カメラ３０５Ｍは、カメラ３０５Ｎによってキャプチャされたビデオと同様のビデオをキャプチャする。特定の実施形態では、カメラ３０５Ｎと比べて、カメラ３０５Ｍは異なるバージョンのソフトウェアを使用し得るか、またはカメラ３０５Ｍからのビデオを処理するために異なるバージョンのソフトウェアが使用され得る。このように、カメラ３０５Ｎに対してより新しいソフトウェアを実行して、そのソフトウェアの有効性をテストすることができる。カメラ３０５Ｍが、以前のソフトウェアを依然として使用し得ると同時に、カメラ３０５Ｎ上で実行される新しいソフトウェアの動作と比較するためのベースラインとしても機能するので、そのソフトウェアのテストはカメラサブシステム２０２の動作を中断しない。例えば、新しいソフトウェアによって提供される位置追跡の精度を決定し、古いソフトウェアによって提供される精度と比較することができる。新しいソフトウェアが古いソフトウェアよりも精度が低い場合、古いソフトウェアを使用し続けるべきである。

【0119】

特定の実施形態では、カメラサーバ２２５がカメラクライアント２２０からのフレームデータ３３０に基づいて人物の位置を決定することができない場合、カメラサーバ２２５は、カメラクライアント２２０または共有メモリからビデオ映像を取り出すことができる。図３Ｔは、カメラサーバ２２５がカメラクライアント２２０および／または共有メモリ３５６からビデオ３０２を取り出す様子を示す。一般に、カメラクライアント２２０は、カメラから受信したビデオをローカルにまたは共有メモリ３５６に記憶する。カメラサーバ２２５がフレームデータ３３０に基づいて人物の位置を決定することができない場合、そのビデオ３０２はカメラサーバ２２５に利用可能にされる。カメラサーバ２２５は、ビデオ３０２を分析して、空間内の人物の位置を決定し得る。カメラサーバ２２５は、生のビデオ映像をカメラクライアント２２０よりも良好で正確に分析し得、したがって、カメラサーバ２２５は、カメラクライアント２２０よりも正確なフレームデータ３３０を生成し得る。いくつかの実施形態では、カメラサーバ２２５は、別のカメラクライアント２２０からのフレームデータ３３０と競合するかまたは揃わない、１つのカメラクライアント２２０からのフレームデータ３３０を有し得る。カメラサーバ２２５は、生のビデオ映像を取り出して、どのフレームデータ３３０を受け入れて使用すべきかを決定することができる。図３Ｔの例では、カメラクライアント２２０Ａは、ビデオ３０２Ａをローカルにまたは共有メモリ３５６に記憶する。カメラクライアント２２０Ｂは、ビデオ３０２Ｂをローカルにまたは共有メモリ３５６に記憶する。カメラサーバ２２５がフレームデータ３３０に基づいて人物の位置を決定できない場合、カメラサーバ２２５は、カメラクライアント２２０Ａおよび／または共有メモリ３５６に要求３５８を送る。それに応答して、カメラクライアント２２０Ａおよび／または共有メモリ３５６は、ビデオ３０２Ａをカメラサーバ２２５に送る。次いで、カメラサーバ２２５は、ビデオ３０２Ａを分析して、空間内の人物の位置を決定し得る。

【0120】

ＩＩＩ．光検出および測距（ＬｉＤＡＲ）サブシステム
追跡システム１３２の特定の実施形態は、ＬｉＤＡＲサブシステム２０４を含む。図４Ａ～図４Ｄは、ＬｉＤＡＲサブシステム２０４および追跡システム１３２内のその動作を示す。一般に、ＬｉＤＡＲサブシステム２０４は、ＬｉＤＡＲセンサおよびＬｉＤＡＲサーバを使用して、物理的空間内の人物および／または物体の位置を追跡する。ＬｉＤＡＲサブシステム２０４は、空間内の人物および／または物体の位置を追跡するために、単独で、または他のサブシステム（例えば、カメラサブシステム２０２）と併せて使用され得る。

【0121】

図４Ａは、例示的なＬｉＤＡＲサブシステム２０４を示す。図４Ａに見られるように、ＬｉＤＡＲサブシステム２０４は、ＬｉＤＡＲアレイ４００とＬｉＤＡＲサーバ２３０とを含む。一般に、ＬｉＤＡＲアレイ４００内のＬｉＤＡＲセンサ４０５は、空間内の人物および／または物体の存在を検出し、これらの人物および／または物体の座標を決定する。ＬｉＤＡＲサーバ２３０は、これらの座標を処理して、空間内の人物および／または物体の物理的位置を決定する。

【0122】

ＬｉＤＡＲアレイ４００は、ＬｉＤＡＲセンサ４０５のアレイである。ＬｉＤＡＲアレイ４００は、空間内の人物および／または物体の存在および位置を検出するために、物理的空間の上方に配置され得る。図４Ａの例では、ＬｉＤＡＲアレイ４００は、ＬｉＤＡＲセンサ４０５の３×４アレイである。ＬｉＤＡＲアレイ４００は、任意の好適な寸法のアレイに配置された任意の好適な数のＬｉＤＡＲセンサ４０５を含む。

【0123】

各ＬｉＤＡＲセンサ４０５は、物理的空間の一部内の人物および／または物体の存在を検出する。一般に、ＬｉＤＡＲセンサ４０５は、空間内に光パルスを放出する。これらの光パルスは、光パルスが空間内の人物および／または物体に接触すると、ＬｉＤＡＲセンサ４０５に向かって反射される。ＬｉＤＡＲセンサ４０５は、光パルスの戻り時間および戻り光パルスの波長などの反射された光パルスの特性を追跡して、物理的空間内の人物および／または物体の存在を検出する。ＬｉＤＡＲセンサ４０５はまた、検出された人物および／または物体の座標を決定し得る。ＬｉＤＡＲセンサ４０５は、検出された人物および／または物体の座標をＬｉＤＡＲサーバ２３０に通信する。

【0124】

ＬｉＤＡＲセンサ４０５は、任意の好適な方法でＬｉＤＡＲサーバ２３０に通信可能に結合され得る。例えば、ＬｉＤＡＲセンサ４０５は、ＬｉＤＡＲサーバ２３０に配線接続され得る。別の例として、ＬｉＤＡＲセンサ４０５は、任意の好適な無線規格（例えば、ＷｉＦｉ）を使用してＬｉＤＡＲサーバ２３０にワイヤレスに結合され得る。ＬｉＤＡＲセンサ４０５は、検出された人物および／または物体の座標を、通信媒体を通してＬｉＤＡＲサーバ２３０に通信する。

【0125】

図４Ｂは、ＬｉＤＡＲセンサ４０５がＬｉＤＡＲサーバ２３０に座標４１０を通信する様子を示す。一般に、ＬｉＤＡＲセンサ４０５は、反射された光パルスの特性を分析して、空間内の人物および／または物体の座標４１０を決定する。ＬｉＤＡＲセンサ４０５は、さらなる処理のために、これらの座標４１０をＬｉＤＡＲサーバ２３０に通信する。図４Ｂの例では、ＬｉＤＡＲセンサ４０５は、空間内の少なくとも２人の人物および／または物体の座標４１０を検出する。これらの人物および／または物体の座標４１０は、（ｘ_１，ｙ_１）および（ｘ_２，ｙ_２）である。ＬｉＤＡＲセンサ４０５は、さらなる処理のために、これらの座標４１０をＬｉＤＡＲサーバ２３０に通信する。

【0126】

図４Ｃは、ＬｉＤＡＲサーバ２３０の一般的な動作を示す。図４Ｃに見られるように、ＬｉＤＡＲサーバ２３０は、ＬｉＤＡＲセンサ４０５から受信した座標４１０を処理する。ＬｉＤＡＲサーバ２３０は、カメラサーバ２２５がフレームデータ３３０を時間窓３３２に割り当てるのと同様に、座標４１０を時間窓３３２に割り当てる。例えば、ＬｉＤＡＲサーバ２３０は、ＬｉＤＡＲサーバ２３０がＬｉＤＡＲセンサ４０５から座標４１０を受信した時間に基づいて、座標４１０を特定の時間窓３３２に割り当て得る。

【0127】

ＬｉＤＡＲサーバ２３０は、時間窓３３２に割り当てられた座標４１０を処理して、空間内の人物および／または物体の物理的位置を決定し得る。図４Ｃの例では、ＬｉＤＡＲサーバ２３０は、２つの異なるＬｉＤＡＲセンサ４０５から２人の人物の座標４１０を受信する。あるＬｉＤＡＲセンサ４０５は、２人の人物の座標４１０（ｘ_１，ｙ_１）および（ｘ_２，ｙ_２）をそれぞれ提供する。別のＬｉＤＡＲセンサ４０５は、同じ２人の人物の座標４１０（ｘ_１，ｙ_１）および（ｘ_２，ｙ_２）をそれぞれ提供する。カメラクライアント２２０およびカメラサーバ２２５と同様に、これらの座標４１０の下付き文字は、これらの座標４１０が同じ値を有することを示すことを意味するのではなく、むしろ、これらが特定のＬｉＤＡＲセンサ４０５によって提供される第１および第２の座標４１０であることを意味する。

【0128】

ＬｉＤＡＲサーバ２３０は、これらの座標４１０を使用して、空間内の人物の物理的位置を決定する。カメラサーバ２２５と同様に、ＬｉＤＡＲサーバ２３０は、２つの異なるＬｉＤＡＲセンサ４０５によって提供された座標４１０が物理的空間内の同じ人物に対応すると決定し得る。それに応答して、ＬｉＤＡＲサーバ２３０は、これらの座標４１０を取りホモグラフィを使用して、特定の時間窓３３２における物理的空間内の人物の位置を決定し得る。図４Ｃの例では、ＬｉＤＡＲサーバ２３０は、座標４１０を使用して、時間窓３３２中の第１の人物の位置が（ｘ_３，ｙ_３）であると決定する。ＬｉＤＡＲサーバ２３０はまた、座標４１０を使用して、時間窓３３２中の第２の人物の物理的位置が（ｘ_４，ｙ_４）であると決定する。ＬｉＤＡＲサーバ２３０は、さらなる処理のために、これらの物理的位置を中央サーバ２４０に通信する。

【0129】

図４Ｄは、追跡システム１３２におけるＬｉＤＡＲサブシステム２０４の動作のための方法４１５を示す。一般に、ＬｉＤＡＲサブシステム２０４は、物理的空間内の人物および／または物体の位置を決定するために、方法４１５を実行する。

【0130】

ＬｉＤＡＲセンサ４０５は、検出された人物の座標４１０を決定し、これらの座標４１０をＬｉＤＡＲサーバ２３０に通信する。ＬｉＤＡＲセンサ４０５は、光パルスを放出し、光パルスが反射されてＬｉＤＡＲセンサ４０５に戻ったときにその光パルスの特性を分析することによって、これらの座標４１０を決定し得る。例えば、ＬｉＤＡＲセンサ４０５は、反射された光パルスの戻り時間および／または反射された光パルスの波長を分析して、人物が物理的空間に存在するかどうか、およびその人物の座標４１０を決定し得る。

【0131】

ＬｉＤＡＲサーバ２３０は、ステップ４１６において、ＬｉＤＡＲセンサ４０５からの座標４１０を分析して、第１の時間窓３３２中の物理的空間内の人物の位置を決定する。次いで、ＬｉＤＡＲサーバ２３０は、これらの位置を中央サーバ２４０に通信する。ＬｉＤＡＲセンサ４０５は、その後、検出された人物の座標４１０を決定し、これらの座標４１０をＬｉＤＡＲサーバ２３０に通信し得る。ＬｉＤＡＲサーバ２３０は、ステップ４１８において、後続の時間窓３３２におけるこれらの人物の位置を再び決定し、これらの位置を中央サーバ２４０に通信し得る。

【0132】

カメラサブシステム２０２と同様に、中央サーバ２４０は、これらの位置を使用して、どの人物が特定の時間窓３３２中に空間から商品１３０を取り出したかを決定し得る。中央サーバ２４０の動作については、図６Ａから図６Ｃを使用してより詳細に説明する。

【0133】

図４Ｄに示される方法４１５に修正、追加、または省略を行ってもよい。方法４１５は、より多くの、より少ない、または他のステップを含んでもよい。例えば、ステップは、並行してまたは任意の好適な順序で実行され得る。ＬｉＤＡＲサブシステム２０４の構成要素がステップを実行するものとして説明したが、例えば中央サーバ２４０などの追跡システム１３２の任意の好適な構成要素が、方法の１つまたは複数のステップを実行してもよい。

【0134】

ＩＶ．重量サブシステム
追跡システム１３２は、重量センサ２１５および重量サーバ２３５を含む重量サブシステム２０６を含む。一般に、重量センサ２１５は、重量センサ２１５の上方または近傍に配置された商品の重量を検出する。重量センサ２１５は、商品を保持する従来いないラック１１５上に配置されてもよい。重量サーバ２３５は、重量センサ２１５によって検出された重量を追跡して、商品１３０がラック１１５から取り出されたかどうかおよびいつ取り出されたかを決定する。重量センサ２１５、ラック１１５、および重量サーバ２３５は、図５Ａから図５Ｊを使用してより詳細に説明される。

【0135】

図５Ａは、重量サブシステム２０６の例示的な重量センサ５００を示す。図５Ａに見られるように、重量センサ５００は、プレート５１０Ａおよび５１０Ｂと、ロードセル５０５Ａ、５０５Ｂ、５０５Ｃ、および５０５Ｄと、ワイヤ５１５Ａ、５１５Ｂ、５１５Ｃ、５１５Ｄ、および５２０とを含む。一般に、重量センサ５００の構成要素は、重量センサ５００が重量センサ５００の上方または近傍に配置された商品１３０の重量を検出することができるように組み立てられる。

【0136】

プレート５１０は、表面にわたって商品１３０の重量を分散させる表面を形成する。プレート５１０は、例えば、金属および／またはプラスチックなどの任意の好適な材料から作製され得る。商品１３０は、プレート５１０の上方または近傍に配置され得、これらの商品１３０の重量はプレート５１０にわたって分散され得る。

【0137】

ロードセル５０５は、プレート５１０Ａと５１０Ｂとの間に配置される。ロードセル５０５は、ロードセル５０５が経験する重量に基づいて電気信号を生成する。例えば、ロードセル５０５は、入力された機械力（例えば、重量、張力、圧縮、圧力、またはトルク）を出力電気信号（例えば、電流または電圧）に変換するトランスデューサであり得る。入力される力が増加するにつれて、比例して出力電気信号が増加し得る。ロードセル５０５は、任意の好適なタイプのロードセル（例えば、油圧式、空気圧式、および歪みゲージ）であってもよい。ロードセル１３１０は、形状が円筒形であるように図示されているが、それらは、企図される特定の実装形態に適した任意の好適なサイズおよび形状であってもよい。

【0138】

ロードセル５０５からの信号を分析して、重量センサ５００の上方または近傍に配置された商品１３０の総重量を決定し得る。ロードセル５０５は、重量センサ５００の上方または近傍に配置された商品１３０の重量が各ロードセル５０５に均等に分散されるように配置され得る。図５Ａの例では、ロードセル５０５は、プレート５１０Ａおよび５１０Ｂのコーナーから実質的に等距離に配置される。例えば、ロードセル５０５Ａは、プレート５１０Ａおよび５１０Ｂのコーナーから距離ｄ１に配置される。ロードセル５０５Ｂは、プレート５１０Ａおよび５１０Ｂのコーナーから距離ｄ２に配置される。ロードセル５０５Ｃは、プレート５１０Ａおよび５１０Ｂのコーナーから距離ｄ３に配置される。ロードセル５０５Ｄは、プレート５１０Ａおよび５１０Ｂのコーナーから距離ｄ４に配置される。距離ｄ１、ｄ２、ｄ３およびｄ４は、互いに実質的に等しくてもよい。本開示では、距離が５～１０ミリメートルだけ異なっても互いに実質的に等しいと考えられることを企図する。ロードセル５０５をプレート５１０Ａおよび５１０Ｂのコーナーから実質的に等距離に配置することによって、重量センサ５００の上方または近傍に配置された商品の重量は、ロードセル５０５にわたって均等に分散される。結果として、重量センサ５００の上方または近傍に配置された商品の総重量は、個々のロードセル５０５が経験する重量を合計することによって決定され得る。

【0139】

ロードセル５０５は、ロードセル５０５が経験する重量を示す電気信号を通信する。例えば、ロードセル５０５は、ロードセル５０５が経験する重量または力に応じて変化する電流を生成し得る。各ロードセル５０５は、電気信号を搬送するワイヤ５１５に結合される。図５Ａの例では、ロードセル５０５Ａはワイヤ５１５Ａに結合され、ロードセル５０５Ｂはワイヤ５１５Ｂに結合され、ロードセル５０５Ｃはワイヤ５１５Ｃに結合され、ロードセル５０５Ｄはワイヤ５１５Ｄに結合される。ワイヤ５１５は、まとめられ、重量センサ５００から離れる方向に延在するワイヤ５２０を形成する。ワイヤ５２０は、ロードセル５０５によって生成された電気信号を回路基板に搬送し、回路基板は、その信号を重量サーバ２３５に通信する。

【0140】

重量センサ５００は、商品を保持するように設計された従来にないラック１１５に配置され得る。図５Ｂは、例示的なラック５２５を示す。図５Ｂに見られるように、ラック５２５は、ベース５３０と、１つまたは複数のパネル５３５と、１つまたは複数の棚５４０とを含む。一般に、ベース５３０はラック５２５の底部にあり、ラック５２５の他の構成要素のための土台を形成する。パネル５３５は、ベース５３０から垂直上方に延在する。棚５４０は、パネル５３５および／またはベース５３０に結合する。例えば、２つの棚５４０は、パネル５３５に結合しており、パネル５３５から離れる方向に延在し得る。一般に、パネル５３５およびベース５３０は、棚５４０が棚５４０上に配置された商品の重量を保持することを可能にする。重量センサ５００は、棚５４０上に配置された商品の重量を検出するために、棚５４０内に配置され得る。

【0141】

図５Ｃは、ラック５２５の分解図を示す。図５Ｃに見られるように、ベース５３０は、いくつかの表面５３２を使用して形成される。表面５３２Ａは、ベース５３０の底面を形成する。表面５３２Ｂおよび５３２Ｄは、ベース５３０の側面を形成する。表面５３２Ｃは、ベース５３０の背面を形成する。表面５３２Ｅは、ベース５３０の上面を形成する。本開示は、ベース５３０が、例えば、木材、金属、ガラス、および／またはプラスチックなどの任意の好適な材料を使用して形成されることを企図する。表面５３２Ａは、表面５３２Ｂ、５３２Ｃ、および５３２Ｄに結合され得る。表面５３２Ｂは、表面５３２Ａ、５３２Ｅ、および５３２Ｃに結合され得る。表面５３２Ｃは、表面５３２Ａ、５３２Ｂ、５３２Ｄ、および５３２Ｅに結合され得る。表面５３２Ｄは、表面５３２Ａ、５３２Ｃ、および５３２Ｅに結合され得る。表面５３２Ｅは、表面５３２Ｂ、５３２Ｃ、および５３２Ｄに結合され得る。表面５３２Ｂ、５３２Ｃおよび５３２Ｄは、表面５３２Ａから上方に延在する。一般に、表面５３２Ａ、５３２Ｂ、５３２Ｃ、５３２Ｄ、および５３２Ｅは、空間５４２の周りに箱型構造を形成する。ベース５３０は、その空間５４２へのアクセスを可能にするために開くことができる引き出し５４５を含む。引き出し５４５は、空間５４２内に配置される。引き出し５４５が閉じられているとき、ベース５３０は、空間５４２の周りに筐体を形成し得る。引き出し５４５が開いているとき、空間５４２へのアクセスは、開いた引き出し５４５を通して提供され得る。特定の実施形態では、引き出し５４５ではなく、ドアを使用して空間５４２へのアクセスを提供することができる。

【0142】

表面５３２Ｅは、空間５４２内へのアクセスも可能にするキャビティ５３４を画定する。一般に、キャビティ５３４は、重量センサ５００からのワイヤ５２０が空間５４２内に延びることを可能にする。

【0143】

パネル５３５はベース５３０から上方に延在する。パネル５３５は、例えば、木材、金属、および／またはプラスチックなどの任意の好適な材料を使用して形成され得る。図５Ｃに見られるように、パネル５３５は、パネル５３５の幅に沿って延在する１つまたは複数のキャビティ５５０を画定する。キャビティ５５０は、重量センサ５００からのワイヤ５２０が、パネル５３５によって画定された空間５５２内に延びることを可能にする。一般に、空間５５２は、パネル５３５の中空内部である。ワイヤ５２０は、キャビティ５５０を通って空間５５２を下ってキャビティ５３４に向かって延びている。このように、ワイヤ５２０は、重量センサ５００からベース５３０内の空間５４２まで下方に延び得る。各キャビティ５５０は、パネル５３５に結合する棚５４０に対応し得る。

【0144】

各棚５４０は、パネル５３５および／またはベース５３０に結合する。棚５４０には、重量センサ５００が設置されている。棚５４０は、棚５４０内に配置された重量センサ５００のワイヤ５２０が重量センサ５００からキャビティ５５０を通って空間５５２内に延びることができるように、パネル５３５に結合され得る。次いで、これらのワイヤ５２０は、空間５５２を下り、キャビティ５３４を通って空間５４２内へと延びる。

【0145】

図５Ｄおよび図５Ｅは、例示的な棚５４０を示す。図５Ｄは、棚５４０の正面図を示す。図５Ｄに見られるように、棚５４０は、底面５６０Ａと、前面５６０Ｂと、背面５６０Ｃとを含む。底面５６０Ａは、前面５６０Ｂおよび背面５６０Ｃに結合される。前面５６０Ｂおよび背面５６０Ｃは、底面５６０Ａから上方に延在する。複数の重量センサ５００は、前面５６０Ｂと背面５６０Ｃとの間の底面５６０Ａ上に配置される。各重量センサ５００は、棚５４０の特定の領域５５５内に配置された商品１３０の重量を検出するように配置される。各領域５５５は、仕切り５５８を使用して指定され得る。特定の領域５５５内に配置された商品は、その領域５５５の重量センサ５００によって検出され、計量される。本開示は、棚５４０が、例えば、木材、金属、ガラス、および／またはプラスチックなどの任意の好適な材料を使用して作製されることを企図する。棚５４０の構造を明確に示すことができるようにワイヤ５１５および５２０は図５Ｄには図示されていないが、図５Ｄからのそれらの省略は、それらの除去と解釈されるべきではない。本開示は、図５Ｄの例において、ワイヤ５１５および５２０が存在し、重量センサ５００に接続されることを企図する。

【0146】

図５Ｅは、棚５４０の背面図を示す。図５Ｅに見られるように、背面５６０Ｃは、キャビティ５６２を画定する。重量センサ５００のワイヤ５２０は、重量センサ５００からキャビティ５６２を通って延在する。一般に、棚５４０の背面５６０Ｃは、キャビティ５６２がパネル５３５のキャビティ５５０と少なくとも部分的に位置合わせされるようにパネル５３５に結合される。このように、ワイヤ５２０は、重量センサ５００からキャビティ５６２およびキャビティ５５０を通って延びることができる。

【0147】

特定の実施形態では、重量センサ５００は、棚５４０の特定の領域５５５内に配置された商品の重量を重量センサ５００が検出するように、棚５４０内に配置される。図５Ｄおよび図５Ｅの例に見られるように、棚５４０は、４つの重量センサ５００の上方に配置された４つの領域５５５を含む。各重量センサ５００は、対応する領域５５５内に配置された商品の重量を検出する。重量センサ５００の配置により、重量センサ５００は、その重量センサ５００に対応しない領域５５５に配置された商品１３０の重量の影響を受けない場合がある。

【0148】

図５Ｆは、例示的なベース５３０を示す。図５Ｆに見られるように、ベース５３０はまた、重量センサ５００を収容し得る。例えば、重量センサ５００は、ベース５３０の上面５３２Ｅに配置され得る。これらの重量センサ５００用のワイヤ５２０は、重量センサ５００からキャビティ５３４を通って空間５４２内に延び得る。結果として、商品がベース５３０上に配置され得、それらの重量が重量センサ５００によって検出され得る。

【0149】

回路基板５６５が空間５４２に配置される。回路基板５６５は、ラック５２５の重量センサ５００からのワイヤ５２０が接続するポートを含む。換言すれば、回路基板５６５は、ベース５３０上および棚５４０上に配置された重量センサ５００からのワイヤ５２０に接続する。これらのワイヤ５２０は、キャビティ５３４を通って空間５４２に入り、回路基板５６５に接続する。回路基板５６５は、重量センサ５００のロードセル５０５によって生成された電気信号を受信する。次いで、回路基板５６５は、重量センサ５００によって検出された重量を示す信号を重量サーバ２３５に通信する。引き出し５４５は、空間５４２および回路基板５６５へのアクセスを可能にするために開き得る。例えば、引き出し５４５を開いて、回路基板５６５を点検および／または修理することができる。

【0150】

図５Ｇは、例示的な回路基板５６５を示す。図５Ｇに見られるように、回路基板５６５は、プロセッサ５６６と、複数のポート５６８とを含む。一般に、ポート５６８は、重量センサ５００からのワイヤ５２０に結合する。本開示は、回路基板５６５が、ラック５２５の重量センサ５００からのワイヤ５２０に接続するための任意の好適な数のポート５６８を含むことを企図する。プロセッサ５６６は、ポート５６８から信号を受信して処理する。

【0151】

回路基板５６５は、任意の好適な媒体を通して重量サーバ２３５に信号を通信し得る。例えば、回路基板５６５は、イーサネット接続、ワイヤレス接続（例えば、ＷｉＦｉ）、ユニバーサルシリアルバス接続、および／またはＢｌｕｅｔｏｏｔｈ接続を通して、重量サーバ２３０に信号を通信し得る。回路基板５６５は、重量サーバ２３５に信号を通信するための接続を自動的に選択することができる。回路基板５６５は、優先順位に基づいて接続を選択し得る。例えば、イーサネット接続がアクティブである場合、回路基板５６５は、イーサネット接続を選択して重量サーバ２３５と通信し得る。イーサネット接続がダウンし、ワイヤレス接続がアクティブである場合、回路基板５６５は、ワイヤレス接続を選択して重量サーバ２３５と通信し得る。イーサネット接続およびワイヤレス接続がダウンし、ユニバーサルシリアルバス接続がアクティブである場合、回路基板５６５は、ユニバーサルシリアルバス接続を選択して重量サーバ２３５と通信し得る。イーサネット接続、ワイヤレス接続、およびユニバーサルシリアルバス接続がダウンし、Ｂｌｕｅｔｏｏｔｈ接続がアクティブである場合、回路基板５６５は、Ｂｌｕｅｔｏｏｔｈ接続を選択して重量サーバ２３５と通信し得る。このように、回路基板５６５は、特定の通信接続がダウンした場合であっても重量サーバ２３５と通信し続けることができるので、回路基板５６５は、回復力が高められている。

【0152】

回路基板５６５は、様々な接続を介して電力を受け取ることができる。例えば、回路基板５６５は、回路基板５６５に電力を供給する電力ポート５７０を含み得る。電気コンセントに差し込む電気ケーブルは、回路基板５６５に電力を供給するために電力ポート５７０に結合し得る。回路基板５６５はまた、イーサネット接続および／またはユニバーサルシリアルバス接続を通して電力を受け取ってもよい。

【0153】

図５Ｈは、重量センサ５００によって生成された信号５７２を示す。図５Ｈに見られるように、信号５７２は、重量センサ５００によって検出された特定の重量を示すことから開始する。時間ｔ_１頃に、重量センサ５００の上方に位置する商品が取られる。結果として、重量センサ５００は重量の低下を検出し、信号５７２は対応する低下を経験する。時間ｔ_１を超えると、信号５７２は、商品１３０が取り出されたので、より低い重量の周囲を推移し続ける。本開示は、信号５７２が環境によって導入されたノイズを含み得るため、信号５７２が完全に直線的または平滑な信号ではないことを企図する。

【0154】

図５Ｉは、重量サーバ２３５の例示的な動作を示す。図５Ｉに見られるように、重量サーバ２３５は、時間ｔ_０において重量センサ５００から重量ｗ_０を示す信号５７２を受信する。カメラサーバ２２５と同様に、重量サーバ２３５は、示された時間ｔ_０に基づいて、この情報を特定の時間窓３３２Ａに割り当て得る。後に、重量サーバ２３５は、時間ｔ_１で新しい重量ｗ_１が検出されたことを示す重量センサ５００からの信号５７２を受信し得る。重量ｗ_１は、重量ｗ_０より小さい場合があり、それによって、商品１３０が取り出された可能性があることを示す。重量サーバ２３５は、ｔ_１で示された時間に基づいて、情報を後続の時間窓３３２Ｃに割り当てる。

【0155】

重量サーバ２３５は、追跡システム１３２の他の構成要素（例えば、カメラクライアント２２０、カメラサーバ２２５、および中央サーバ２４０）の内部クロック３０４と同期される内部クロック３０４Ｅを実装し得る。重量サーバ２３５は、クロック同期プロトコル（例えば、Network Time Protocolおよび／またはPrecision Time Protocol）を使用して内部クロック３０４Ｅを同期させ得る。重量サーバ２３５は、クロック３０４Ｅを使用して、重量センサ５００からの信号５７２が受信された時間を決定し、これらの信号５７２をそれらの適切な時間窓３３２に割り当て得る。

【0156】

特定の実施形態では、重量サーバ２３５における時間窓３３２は、カメラクライアント２２０、カメラサーバ２２５、および／または中央サーバ２４０における時間窓３３２と位置合わせされる。例えば、重量サーバ２３５における時間窓３３２Ａは、図３Ｊの例におけるカメラサーバ２２５での時間窓３３２Ａと開始時間（Ｔ０）および終了時間（Ｔ１）が同じであり得る。このように、追跡システム１３２の異なるサブシステムからの情報は、同じ時間窓３３２にしたがってグループ化され得、これにより、この情報を時間的に互いに相関させることができる。

【0157】

カメラサーバ２２５と同様に、重量サーバ２３５は、時間窓３３２が処理の準備ができると、時間窓３３２内の情報を順次処理し得る。重量サーバ２３５は、各時間窓３３２内の情報を処理して、商品１３０がその特定の時間窓３３２中に取り出されたかどうかを決定し得る。図５Ｉの例では、重量サーバ２３５が第３の時間窓３３２Ｃを処理するとき、重量サーバ２３５は、時間窓３ ３３２Ｃ中に２つの商品が取られ、それによって、ｗ_０からｗ_１への重量低下が生じたことをセンサ１ ５００が検出したと決定し得る。重量サーバ２３５は、ｗ_０とｗ_１との差を決定することによってこの決定を行い得る。重量サーバ２３５はまた、重量センサ５００の上方または近傍に配置された商品１３０の重量を（例えば、ルックアップテーブルを通して）知り得る。重量サーバ２３５は、ｗ_０とｗ_１との差を除算して、取り出された商品１３０の数を決定することができる。重量サーバ２３５は、さらなる処理のために、この情報を中央サーバ２４０に通信し得る。中央サーバ２４０は、この情報を、空間内の人物の追跡された位置と共に使用して、空間内のどの人物が商品１３０を取り出したかを決定し得る。

【0158】

図５Ｊは、重量サブシステム２０６を動作させるための例示的な方法５８０を示す。一般に、重量サブシステム２０６の様々な構成要素は、特定の商品１３０がいつ取られたかを決定するために、方法５８０を実行する。

【0159】

重量センサ２１５は、重量センサ２１５の上方または周囲で経験する重量５８２を検出し、検出された重量５８２を、電気信号５７２を通して重量サーバ２３５に通信する。重量サーバ２３５は、重量センサ２１５からの信号５７２を分析して、第１の時間窓３３２中に取られた商品１３０の数５８４を決定し得る。重量サーバ２３５は、この決定を中央サーバ２４０に通信し得る。重量センサ２１５は、その後、重量センサ２１５が経験する重量５８６を検出し、その重量５８６を重量サーバ２３５に通信し得る。重量サーバ２３５は、重量５８６を分析して、第２の時間窓３３２中に取られた商品１３０の数５８８を決定し得る。重量サーバ２３５は、この決定を中央サーバ２４０に通信し得る。中央サーバ２４０は、商品１３０が特定の時間窓３３２中に取られたかどうかを追跡し得る。そうである場合、中央サーバ２４０は、空間内のどの人物がそれらの商品１３０を取ったかを決定し得る。図５Ｊに示される方法５８０に修正、追加、または省略を行ってもよい。方法５８０は、より多くの、より少ない、または他のステップを含んでもよい。例えば、ステップは、並行してまたは任意の好適な順序で実行され得る。重量サブシステム２０６の様々な構成要素がステップを実行するものとして説明したが、例えば、中央サーバ２４０などの追跡システム１３２の任意の好適な構成要素が、方法の１つまたは複数のステップを実行してもよい。

【0160】

Ｖ．中央サーバ
図６Ａ～図６Ｃは、中央サーバ２４０の動作を示す。一般に、中央サーバ２４０は、様々なサブシステム（例えば、カメラサブシステム２０２、ＬｉＤＡＲサブシステム２０４、重量サブシステム２０６など）からの情報を分析し、空間内のどの人物がどの商品を空間から取り出したかを決定する。前述したように、これらのサブシステムは、サブシステムにわたって位置合わせされた時間窓３３２に情報をグループ化する。位置合わせされた時間窓３３２へと情報をグループ化することによって、中央サーバ２４０は、異種のサブシステムからの情報間の関係を見出し、追加情報（例えば、どの人物がどの商品１３０を取り出したか）を集めることができる。いくつかの実施形態では、中央サーバ２４０はまた、人物が店舗１００から出るときに、空間から取り出した商品の代金を請求する。

【0161】

図６Ａおよび図６Ｂは、中央サーバ２４０の例示的な動作を示す。図６Ａに見られるように、中央サーバ２４０は、特定の時間窓中に様々なサーバから情報を受信する。図６Ａの例では、中央サーバ２４０は、第１の時間窓３３２Ａ中にカメラサーバ２２５から空間内の２人の人物の物理的位置を受信する。本開示は、大文字「Ｘ」および大文字「Ｙ」を使用して、空間内の人物または物体の物理座標６０２を示し、カメラサーバ２２５およびＬｉＤＡＲサーバ２３０によって決定された空間内の人物または物体の物理座標６０２を、他の構成要素によって決定されたローカル座標（例えば、カメラクライアント２２０によって決定された座標３２２およびＬｉＤＡＲセンサ４０５によって決定された座標４１０）と区別する。

【0162】

カメラサーバ２２５によれば、第１の人物は物理座標６０２（Ｘ_１，Ｙ_１）におり、第２の人物は物理座標６０２（Ｘ_２，Ｙ_２）にいる。加えて、中央サーバ２４０は、ＬｉＤＡＲサーバ２３０から２人の人物の物理的位置を受信する。ＬｉＤＡＲサーバ２３０によれば、第１の人物は座標６０２（Ｘ_７，Ｙ_７）におり、第２の人物は座標６０２（Ｘ_８，Ｙ_８）にいる。さらに、中央サーバ２４０はまた、第１の時間窓３３２Ａ中に重量サーバ２３５から情報を受信する。重量サーバ２３５によれば、第１の時間窓３３２Ａ中に商品１３０は取られていない。

【0163】

本開示は、中央サーバ２４０がカメラサーバ２２５およびＬｉＤＡＲサーバ２３０から人物の物理的位置を分析するために任意の好適なプロセスを使用することを企図する。カメラサーバ２２５およびＬｉＤＡＲサーバ２３０によって提供される座標６０２は互いに異なり得るが、中央サーバ２４０は、これらの差異を調整するために任意の適切なプロセスを使用し得る。例えば、中央サーバ２４０は、ＬｉＤＡＲサーバ２３０によって提供された座標６０２がカメラサーバ２２５によって提供された座標６０２としきい値を超える量だけ異ならない場合、カメラサーバ２２５によって提供された座標６０２を使用し得る。このように、ＬｉＤＡＲサーバ２３０によって提供される座標６０２は、カメラサーバ２２５によって提供される座標６０２に対するチェックとして機能する。

【0164】

第２の時間窓３３２Ｂ中に、中央サーバ２４０は、カメラサーバ２２５から２人の人物の物理座標６０２を受信する。カメラサーバ２２５によれば、第２の時間窓３３２Ｂ中、第１の人物は座標６０２（Ｘ_３，Ｙ_３）におり、第２の人物は座標６０２（Ｘ_４，Ｙ_４）にいた。第２の時間窓３３２Ｂ中に、カメラサーバ２４０はまた、ＬｉＤＡＲサーバ２３０から２人の人物の物理座標６０２を受信する。ＬｉＤＡＲサーバ２３０によれば、第２の時間窓３３２Ｂ中、第１の人物は座標６０２（Ｘ_９，Ｙ_９）におり、第２の人物は座標６０２（Ｘ_１０，Ｙ_１０）にいる。追加的に、中央サーバ２４０は、第２の時間窓３３２Ｂ中に、商品１３０が取られなかったことを重量サーバ２３５から学習する。

【0165】

第３の時間窓３３２Ｃ中に、カメラサーバ２４０は、２人の人物の物理座標６０２をカメラサーバ２２５から受信する。カメラサーバ２２５によれば、第１の人物は座標６０２（Ｘ_５，Ｙ_５）におり、第２の人物は座標６０２（Ｘ_６，Ｙ_６）にいる。中央サーバ２４０はまた、第３の時間窓３３２Ｃ中に、ＬｉＤＡＲサーバ２３０から２人の人物の物理座標６０２を受信する。ＬｉＤＡＲサーバ２３０によれば、第３の時間窓３３２Ｃ中、第１の人物は座標６０２（Ｘ_１１，Ｙ_１１）におり、第２の人物は座標６０２（Ｘ_１２，Ｙ_１２）にいる。追加的に、中央サーバ２４０は、特定の重量センサ５００が、第３の時間窓３３２Ｃ中に２つの商品１３０が取られたことを検出したことを重量サーバ２３５から学習する。

【0166】

２つの商品１３０が取られたことを重量センサ５００が検出したことを学習したことに応答して、中央サーバ２４０は、どの人物がそれらの２つの商品１３０を取ったかを決定するために追加の分析を受け得る。中央サーバ２４０は、どの人物が商品１３０を取ったかを決定するための任意の好適なプロセスを実行する。これらのプロセスのいくつかは、「Topview Object Tracking Using a Sensor Array」と題する米国特許出願第＿＿＿＿＿号（代理人整理番号第（０９０２７８．０１８０）号）に開示されており、その内容は、参照により本明細書に組み込まれる。

【0167】

図６Ｂは、どの人物が商品１３０を取ったかを決定するために中央サーバ２４０が例示的な分析を実行する様子を示す。図６Ｂに見られるように、中央サーバ２４０は、最初に、第３の時間窓３３２Ｃ中の２人の人物の物理座標６０２を決定する。中央サーバ２４０は、第１の人物が第３の時間窓３３２Ｃ中に座標６０２（Ｘ_５，Ｙ_５）におり、第２の人物が第３の時間窓３３２Ｃ中に座標６０２（Ｘ_６，Ｙ_６）にいたと決定する。中央サーバ２４０はまた、取られた商品を検出した重量センサ５００の物理的位置を決定する。図６Ｂの例では、中央サーバ２４０は、重量センサ５００が座標６０２（Ｘ_１３，Ｙ_１３）に位置していると決定する。

【0168】

次いで、中央サーバ２４０は、各人物から重量センサ５００までの距離を決定する。中央サーバ２４０は、第１の人物が重量センサ５００から距離１におり、第２の人物が重量センサ５００から距離２にいると決定する。次いで、中央サーバ２４０は、どの人物が重量センサ５００により近かったかを決定する。図４Ｂの例では、中央サーバ２４０は、距離１が距離２よりも小さく、したがって、第１の人物が第２の人物よりも重量センサ５００に近かったと決定する。結果として、中央サーバ２４０は、第１の人物が第３の時間窓３３２Ｃ中に２つの商品１３０を取ったことと、第１の人物がこれらの２つの商品１３０の代金を請求されるべきであることとを決定する。

【0169】

図６Ｃは、中央サーバ２４０を動作させるための例示的な方法６００を示す。特定の実施形態では、中央サーバ２４０は、空間内のどの人物が商品１３０を取ったかを決定するために、方法６００のステップを実行する。

【0170】

中央サーバ２４０は、ステップ６０５において、時間窓３３２中の空間内の第１の人物の座標６０２を受信することによって開始する。ステップ６１０において、中央サーバ２４０は、時間窓３３２中の空間内の第２の人物の座標６０２を受信する。中央サーバ２４０は、ステップ６１５において、商品１３０が時間窓３３２中に取られたという指示を受信する。その指示を受信することに応答して、中央サーバ２４０は、情報を分析して、どの人物がその商品１３０を取ったかを決定する。

【0171】

ステップ６２０において、中央サーバ２４０は、時間窓３３２中、第１の人物が第２の人物よりも商品１３０に近かったと決定する。中央サーバ２４０は、人物と、商品１３０が取り出されたことを検出した重量センサ５００との間の決定された距離に基づいて、この決定を行い得る。ステップ６２５において、中央サーバ２４０は、第１の人物が第２の人物よりも商品１３０に近いと決定したことに応答して、第１の人物が時間窓３３２中に商品１３０を取ったと決定する。次いで、第１の人物は、第１の人物が店舗１００を出るときに商品１３０の代金を請求され得る。

【0172】

図６Ｃに示す方法６００に修正、追加、または省略を行ってもよい。方法６００は、より多くの、より少ない、または他のステップを含んでもよい。例えば、ステップは、並行してまたは任意の好適な順序で実行され得る。中央サーバ２４０がステップを実行するものとして説明したが、追跡システム１３２の任意の好適な構成要素が、方法の１つまたは複数のステップを実行してもよい。

【0173】

ＶＩ．ハードウェア
図７は、追跡システム１３２で使用される例示的なコンピュータ７００を示す。一般に、コンピュータ７００を使用して、追跡システム１３２の構成要素を実装することができる。例えば、コンピュータ７００を使用して、カメラクライアント２２０、カメラサーバ２２５、ＬｉＤＡＲサーバ２３０、重量サーバ２３５、および／または中央サーバ２４０を実装することができる。図７に見られるように、コンピュータ７００は、プロセッサ７０５、メモリ７１０、グラフィックスプロセッサ７１５、入力／出力ポート７２０、通信インターフェース７２５、およびバス７３０などの様々なハードウェア構成要素を含む。本開示は、コンピュータ７００の構成要素が、本明細書で説明したカメラクライアント２２０、カメラサーバ２２５、ＬｉＤＡＲサーバ２３０、重量サーバ２３５、および／または中央サーバ２４０の機能のいずれかを実行するように構成されることを企図する。回路基板５６５はまた、コンピュータ７００の特定の構成要素を含み得る。

【0174】

プロセッサ７０５は、メモリ７１０に通信可能に結合し、コンピュータ７００の動作を制御する、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け命令セットプロセッサ（ＡＳＩＰ）、および／またはステートマシンを含むがこれらに限定されない任意の電子回路である。プロセッサ７０５は、８ビット、１６ビット、３２ビット、６４ビットであるか、または任意の他の好適なアーキテクチャであり得る。プロセッサ７０５は、算術演算および論理演算を実行するための論理演算装置（ＡＬＵ）と、ＡＬＵにオペランドを供給し、ＡＬＵ演算の結果を記憶するプロセッサレジスタと、メモリから命令をフェッチし、ＡＬＵ、レジスタ、および他の構成要素の協調動作を指示することによって命令を実行する制御装置とを含み得る。プロセッサ７０５は、情報を制御および処理するためにソフトウェアを動作させる他のハードウェアを含み得る。プロセッサ７０５は、本明細書で説明される機能のいずれかを実行するために、メモリに記憶されたソフトウェアを実行する。プロセッサ７０５は、メモリ７１０および／または他のコンピュータ７００から受け取った情報を処理することによって、コンピュータ７００の動作および管理を制御する。プロセッサ７０５は、プログラマブル論理デバイス、マイクロコントローラ、マイクロプロセッサ、任意の好適な処理デバイス、またはこれらの任意の好適な組合せであってもよい。プロセッサ７０５は、単一の処理デバイスに限定されず、複数の処理デバイスを包含してもよい。

【0175】

メモリ７１０は、プロセッサ７０５のためのデータ、運用ソフトウェア、または他の情報を永久的にまたは一時的に記憶し得る。メモリ７１０は、情報を記憶するのに好適な揮発性または不揮発性のローカルまたはリモートデバイスのいずれか１つまたは組合せを含み得る。例えば、メモリ７１０は、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、磁気記憶デバイス、光学記憶デバイス、もしくは任意の他の好適な情報記憶デバイス、またはこれらのデバイスの組合せを含み得る。ソフトウェアは、コンピュータ可読記憶媒体に具現化された命令、論理、またはコードの任意の好適なセットを表す。例えば、ソフトウェアは、メモリ７１０、ディスク、ＣＤ、またはフラッシュドライブにおいて具現化され得る。特定の実施形態では、ソフトウェアは、本明細書で説明する機能のうちの１つまたは複数を実行するためにプロセッサ７０５によって実行可能なアプリケーションを含み得る。

【0176】

グラフィックスプロセッサ７１５は、ビデオデータを受信および分析する、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け命令セットプロセッサ（ＡＳＩＰ）、および／またはステートマシンを含むがこれらに限定されない任意の電子回路であり得る。例えば、グラフィックスプロセッサ７１５は、ディスプレイが適切な画像を表示することができるように、ディスプレイに送るべき適切な信号を決定するためにビデオデータを処理し得る。グラフィックスプロセッサ７１５はまた、ビデオデータを処理して、ビデオ内の特定の特徴（例えば、人物または物体）を識別し得る。グラフィックスプロセッサ７１５は、コンピュータ７００にインストールされるビデオカードの構成要素であってもよい。

【0177】

入力／出力ポート７２０は、周辺デバイスがコンピュータ７００に接続することを可能にする。ポート７２０は、パラレルポート、シリアルポート、光ポート、ビデオポート、ネットワークポートなどの任意の好適なポートであり得る。キーボード、マウス、ジョイスティック、光学追跡デバイス、トラックパッド、タッチパッドなどの周辺デバイスは、ポート７２０を通してコンピュータ７００に接続することができる。入出力信号は、ポート７２０を通してコンピュータ７００と周辺デバイスとの間で通信される。

【0178】

通信インターフェース７２５は、ネットワーク上で通信するための任意の好適なハードウェアおよび／またはソフトウェアを含む。例えば、通信インターフェース７２５は、モード、ネットワークカード、イーサネットポート／コントローラ、ワイヤレス無線機／コントローラ、セルラー無線機／コントローラ、および／またはユニバーサルシリアルバスポート／コントローラを含み得る。コンピュータ７００は、通信インターフェース７２５を使用して、通信ネットワーク上で他のデバイスと通信することができる。

【0179】

バス７３０は、コンピュータ７００の構成要素が互いに通信することを可能にする。コンピュータ７００は、バス７３０を介した通信を管理するバスコントローラ７３０を含み得る。

【0180】

本開示はいくつかの実施形態を含むが、無数の変更、変形、代替、変換、および修正が当業者に示唆され得、本開示が、添付の特許請求の範囲内に入るそのような変更、変形、代替、変換、および修正を包含することは意図される。

【0181】

条項（ＣＬＡＵＳＥ）：

【0182】

条項１．
システムであって、
空間の上方に配置されたカメラのアレイと、
第１のカメラクライアントと、
第１のカメラクライアントとは別個の第２のカメラクライアントと、
第１のカメラクライアントおよび第２のカメラクライアントとは別個のカメラサーバと、
空間内に配置される複数の重量センサと、
第１のカメラクライアント、第２のカメラクライアント、およびカメラサーバとは別個の重量サーバと、
第１のカメラクライアント、第２のカメラクライアント、カメラサーバ、および重量サーバとは別個の中央サーバと
を備え、
ここで、カメラのアレイの各カメラは空間の一部のビデオをキャプチャするように構成され、空間が人物を含み、
第１のカメラクライアントは、
カメラのアレイの第１のカメラから第１のビデオの第１の複数のフレームを受信することと、ここで、第１の複数のフレームの各フレームが空間内の人物を示し、
第１の複数のフレームのうちの第１のフレームについて、
第１のフレームに示される人物の周りの第１の境界エリアを決定することと、
第１のフレームが第１のカメラクライアントによって受信されたときの第１のタイムスタンプを生成することと、
第１の複数のフレームのうちの第２のフレームについて、
第２のフレームに示される人物の周りの第２の境界エリアを決定することと、
第２のフレームが第１のカメラクライアントによって受信されたときの第２のタイムスタンプを生成することと
を行うように構成され、
第２のカメラクライアントは、
カメラのアレイの第２のカメラから第２のビデオの第２の複数のフレームを受信することと、ここで、第２の複数のフレームの各フレームが空間内の人物を示し、
第２の複数のフレームのうちの第３のフレームについて、
第３のフレームに示される人物の周りの第３の境界エリアを決定することと、
第３のフレームが第２のカメラクライアントによって受信されたときの第３のタイムスタンプを生成することと、
第２の複数のフレームのうちの第４のフレームについて、
第４のフレームに示される人物の周りの第４の境界エリアを決定することと、
第４のフレームが第２のカメラクライアントによって受信されたときの第４のタイムスタンプを生成することと
を行うように構成され、
カメラサーバは、
第１のタイムスタンプが第１の時間窓内に入ると決定することと、
第１のタイムスタンプが第１の時間窓内に入ると決定することに応答して、第１の境界エリアを画定する座標を第１の時間窓に割り当てることと、
第２のタイムスタンプが第１の時間窓内に入ると決定することと、
第２のタイムスタンプが第１の時間窓内に入ると決定することに応答して、第２の境界エリアを画定する座標を第１の時間窓に割り当てることと、
第３のタイムスタンプが第１の時間窓内に入ると決定することと、
第３のタイムスタンプが第１の時間窓内に入ると決定することに応答して、第３の境界エリアを画定する座標を第１の時間窓に割り当てることと、
第４のタイムスタンプが第１の時間窓に続く第２の時間窓内に入ると決定することと、
第４のタイムスタンプが第２の時間窓内に入ると決定することに応答して、第４の境界エリアを画定する座標を第２の時間窓に割り当てることと、
第１の時間窓に割り当てられた座標が処理されるべきであると決定することと、
第１の時間窓に割り当てられた座標が処理されるべきであると決定することに応答して、
第１の境界エリアを画定する座標と第２の境界エリアを画定する座標とに少なくとも基づいて、第１のカメラからの第１のビデオに対する第１の時間窓中の人物の結合座標を計算すること、および
第３の境界エリアを画定する座標に少なくとも基づいて、第２のカメラからの第２のビデオに対する第１の時間窓中の人物の結合座標を計算すること
を行うことと、
第１のカメラからの第１のビデオに対する第１の時間窓中の人物の結合座標と、第２のカメラからの第２のビデオに対する第１の時間窓中の人物の結合座標とに少なくとも基づいて、第１の時間窓中の空間内の人物の位置を決定することと、
を行うように構成され、
複数の重量センサの各重量センサは、その重量センサが経験する重量を示す信号を生成するように構成され、
重量サーバは、複数の重量センサのうちの第１の重量センサによって生成された信号に少なくとも基づいて、第１の重量センサの上方に配置された商品が取り出されたと決定するように構成され、
中央サーバは、第１の時間窓中の空間内の人物の位置に少なくとも基づいて、人物が商品を取り出したと決定するように構成され、ここにおいて、第１の人物が商品を取り出したという決定に少なくとも基づいて、人物が空間を出るときに人物は商品に対して課金される、
システム。

【0183】

条項２．
空間の上方に配置された光検出および測距（ＬｉＤＡＲ）センサのアレイと、
第１のカメラクライアント、第２のカメラクライアント、カメラサーバ、重量サーバ、および中央サーバとは別個のＬｉＤＡＲサーバと
をさらに備え、ここで、ＬｉＤＡＲサーバは、ＬｉＤＡＲセンサのアレイのＬｉＤＡＲセンサから受信された座標に少なくとも基づいて、第１の時間窓中の空間内の人物の位置を決定するように構成される、
条項１に記載のシステム。

【0184】

条項３．
第１の人物が商品を取り出したという決定は、（１）空間内の人物の位置と空間内の第１の重量センサの位置との間の距離、および（２）第１の重量センサによって生成された信号が重量サーバによって受信された時間が第１の時間窓内に入ることに少なくとも基づく、条項１に記載のシステム。

【0185】

条項４．
第１のカメラクライアントは、第１のフレームに示される人物の高さおよび第２のフレームに示される人物の高さを受信するようにさらに構成され、
第２のカメラクライアントは、第３のフレームに示される人物の高さおよび第４のフレームに示される人物の高さを受信するようにさらに構成され、
カメラサーバは、
第１のフレームに示される人物の高さと第２のフレームに示される人物の高さとに少なくとも基づいて、第１のカメラからの第１のビデオに対する第１の時間窓中の人物の結合高さを計算することと、
第３のフレームに示される人物の高さに少なくとも基づいて、第２のカメラからの第２のビデオに対する第１の時間窓中の人物の結合座標を計算することと
を行うようにさらに構成される、条項１に記載のシステム。

【0186】

条項５．
第１のカメラクライアントは、第１のタイムスタンプおよび第２のタイムスタンプを生成するために使用される第１のクロックを実装し、
第２のカメラクライアントは、第３のタイムスタンプおよび第４のタイムスタンプを生成するために使用される第２のクロックを実装し、
カメラサーバは第３のクロックを実装し、ここで、第１のクロック、第２のクロック、および第３のクロックは、クロック同期プロトコルを使用して同期される、
条項１に記載のシステム。

【0187】

条項６．
重量サーバは、クロック同期プロトコルを使用して第１のクロック、第２のクロック、および第３のクロックと同期される第４のクロックを実装する、条項５に記載のシステム。

【0188】

条項７．
第１のカメラからの第１のビデオに対する第１の時間窓中の人物の結合座標は、第１の境界エリアを画定する座標と第２の境界エリアを画定する座標との平均を含む、条項１に記載のシステム。

【0189】

条項８．
カメラのアレイは、第１のカメラクライアントに通信可能に結合されたカメラが、グリッドの同じ行または同じ列において、第１のカメラクライアントに通信可能に結合された別のカメラと直接隣接しないようにグリッド状に配置される、条項１に記載のシステム。

【0190】

条項９．
空間内のラックと、
引き出し内に配置された回路基板と
を備え、
ラックは、棚と、引き出しを備えたベースとを備え、ベースは棚よりも垂直方向下方に配置され、棚は第１の領域と第２の領域とに分割され、複数の重量センサのうちの第１の重量センサは、第１の領域内に配置され、第１の重量センサが経験する第１の領域内の重量に少なくとも基づいて第１の信号を生成するように構成され、複数の重量センサのうちの第２の重量センサは、第２の領域内に配置され、第２の重量センサが経験する第２の領域内の重量に少なくとも基づいて第２の信号を生成するように構成され、複数の重量センサの各重量センサは複数のロードセルを備え、
回路基板は、第１の重量センサおよび第２の重量センサに通信可能に結合され、回路基板は、
第１の信号および第２の信号を受信することと、
第１の重量センサが経験する重量を示す信号を重量サーバに通信することと、
第２の重量センサが経験する重量を示す信号を重量サーバに通信することと
を行うように構成される、
条項１に記載のシステム。

【0191】

条項１０．
カメラサーバは、第１のカメラクライアントに第１のフレームを、第２のカメラクライアントに第３のフレームを要求するようにさらに構成され、人物の位置の決定は、さらに、第１のフレームおよび第３のフレームに少なくとも基づく、条項１に記載のシステム。

【0192】

条項１１．
方法であって、
第１のカメラクライアントによって、カメラのアレイの第１のカメラから第１のビデオの第１の複数のフレームを受信することと、ここで、カメラのアレイは空間の上方に配置され、カメラのアレイの各カメラは空間の一部のビデオをキャプチャするように構成され、空間が人物を含み、第１の複数のフレームの各フレームが空間内の人物を示し、
第１の複数のフレームのうちの第１のフレームについて、
第１のカメラクライアントによって、第１のフレームに示される人物の周りの第１の境界エリアを決定することと、
第１のカメラクライアントによって、第１のフレームが第１のカメラクライアントによって受信されたときの第１のタイムスタンプを生成することと、
第１の複数のフレームのうちの第２のフレームについて、
第１のカメラクライアントによって、第２のフレームに示される人物の周りの第２の境界エリアを決定することと、
第１のカメラクライアントによって、第２のフレームが第１のカメラクライアントによって受信されたときの第２のタイムスタンプを生成することと、
第１のカメラクライアントとは別個の第２のカメラクライアントによって、カメラのアレイの第２のカメラから第２のビデオの第２の複数のフレームを受信することと、ここで、第２の複数のフレームの各フレームが空間内の人物を示し、
第２の複数のフレームのうちの第３のフレームについて、
第２のカメラクライアントによって、第３のフレームに示される人物の周りの第３の境界エリアを決定することと、
第２のカメラクライアントによって、第３のフレームが第２のカメラクライアントによって受信されたときの第３のタイムスタンプを生成することと、
第２の複数のフレームのうちの第４のフレームについて、
第２のカメラクライアントによって、第４のフレームに示される人物の周りの第４の境界エリアを決定することと、
第２のカメラクライアントによって、第４のフレームが第２のカメラクライアントによって受信されたときの第４のタイムスタンプを生成することと、
第１のカメラクライアントおよび第２のカメラクライアントとは別個のカメラサーバによって、第１のタイムスタンプが第１の時間窓内に入ると決定することと、
第１のタイムスタンプが第１の時間窓内に入ると決定することに応答して、カメラサーバによって、第１の境界エリアを画定する座標を第１の時間窓に割り当てることと、
カメラサーバによって、第２のタイムスタンプが第１の時間窓内に入ると決定することと、
第２のタイムスタンプが第１の時間窓内に入ると決定することに応答して、カメラサーバによって、第２の境界エリアを画定する座標を第１の時間窓に割り当てることと、
カメラサーバによって、第３のタイムスタンプが第１の時間窓内に入ると決定することと、
第３のタイムスタンプが第１の時間窓内に入ると決定することに応答して、カメラサーバによって、第３の境界エリアを画定する座標を第１の時間窓に割り当てることと、
カメラサーバによって、第４のタイムスタンプが第１の時間窓に続く第２の時間窓内に入ると決定することと、
第４のタイムスタンプが第２の時間窓内に入ると決定することに応答して、カメラサーバによって、第４の境界エリアを画定する座標を第２の時間窓に割り当てることと、
カメラサーバによって、第１の時間窓に割り当てられた座標が処理されるべきであると決定することと、
第１の時間窓に割り当てられた座標が処理されるべきであると決定することに応答して、
カメラサーバによって、第１の境界エリアを画定する座標と第２の境界エリアを画定する座標とに少なくとも基づいて、第１のカメラからの第１のビデオに対する第１の時間窓中の人物の結合座標を計算することと、
カメラサーバによって、第３の境界エリアを画定する座標に少なくとも基づいて、第２のカメラからの第２のビデオに対する第１の時間窓中の人物の結合座標を計算することと、
カメラサーバによって、第１のカメラからの第１のビデオに対する第１の時間窓中の人物の結合座標と、第２のカメラからの第２のビデオに対する第１の時間窓中の人物の結合座標とに少なくとも基づいて、第１の時間窓中の空間内の人物の位置を決定することと、
空間内に配置された複数の重量センサによって、複数の重量センサが経験する重量を示す信号を生成することと、
第１のカメラクライアント、第２のカメラクライアント、およびカメラサーバとは別個の重量サーバによって、複数の重量センサのうちの第１の重量センサによって生成された信号に少なくとも基づいて、第１の重量センサの上方に配置された商品が取り出されたと決定することと、
第１のカメラクライアント、第２のカメラクライアント、カメラサーバ、および重量サーバとは別個の中央サーバによって、第１の時間窓中の空間内の人物の位置に少なくとも基づいて、人物が商品を取り出したと決定することと、ここにおいて、第１の人物が商品を取り出したという決定に少なくとも基づいて、人物が空間を出るときに人物は商品に対して課金される、
を含む方法。

【0193】

条項１２．
第１のカメラクライアント、第２のカメラクライアント、カメラサーバ、重量サーバ、および中央サーバとは別個の光検出および測距（ＬｉＤＡＲ）サーバによって、空間の上方に配置されたＬｉＤＡＲセンサのアレイのＬｉＤＡＲセンサから受信された座標に少なくとも基づいて、第１の時間窓中の空間内の人物の位置を決定することをさらに含む、条項１１に記載の方法。

【0194】

条項１３．
第１の人物が商品を取り出したという決定は、（１）空間内の人物の位置と空間内の第１の重量センサの位置との間の距離、および（２）第１の重量センサによって生成された信号が重量サーバによって受信された時間が第１の時間窓内に入ることに少なくとも基づく、条項１１に記載の方法。

【0195】

条項１４．
第１のカメラクライアントによって、第１のフレームに示される人物の高さおよび第２のフレームに示される人物の高さを受信することと、
第２のカメラクライアントによって、第３のフレームに示される人物の高さおよび第４のフレームに示される人物の高さを受信することと、
カメラサーバによって、第１のフレームに示される人物の高さと第２のフレームに示される人物の高さとに少なくとも基づいて、第１のカメラからの第１のビデオに対する第１の時間窓中の人物の結合高さを計算することと、
カメラサーバによって、第３のフレームに示される人物の高さに少なくとも基づいて、第２のカメラからの第２のビデオに対する第１の時間窓中の人物の結合座標を計算することと
をさらに含む、条項１１に記載の方法。

【0196】

条項１５．
第１のカメラクライアントによって、第１のタイムスタンプおよび第２のタイムスタンプを生成するために使用される第１のクロックを実装することと、
第２のカメラクライアントによって、第３のタイムスタンプおよび第４のタイムスタンプを生成するために使用される第２のクロックを実装することと、
カメラサーバによって、第３のクロックを実装することと、
をさらに含み、ここで、第１のクロック、第２のクロック、および第３のクロックは、クロック同期プロトコルを使用して同期される、
条項１１に記載の方法。

【0197】

条項１６．
重量サーバによって、クロック同期プロトコルを使用して第１のクロック、第２のクロック、および第３のクロックと同期される第４のクロックを実装することをさらに含む、条項１５に記載の方法。

【0198】

条項１７．
第１のカメラからの第１のビデオに対する第１の時間窓中の人物の結合座標は、第１の境界エリアを画定する座標と第２の境界エリアを画定する座標との平均を含む、条項１１に記載の方法。

【0199】

条項１８．
カメラのアレイは、第１のカメラクライアントに通信可能に結合されたカメラが、グリッドの同じ行または同じ列において、第１のカメラクライアントに通信可能に結合された別のカメラと直接隣接しないようにグリッド状に配置される、条項１１に記載の方法。

【0200】

条項１９．
回路基板によって、複数の重量センサのうちの第１の重量センサから第１の信号を受信することと、ここで、回路基板は、空間内に配置されたラックの引き出し内に配置され、ラックは棚とベースとを備え、ベースは引き出しを備え、ベースは棚よりも垂直方向下方に配置され、棚は第１の領域と第２の領域とに分割され、第１の重量センサは第１の領域内に配置され、第１の信号は、第１の重量センサが経験する第１の領域内の重量を示し、複数の重量センサの各重量センサは複数のロードセルを備え、
回路基板によって、複数の重量センサのうちの第２の重量センサから第２の信号を受信することと、ここで、第２の重量センサは第２の領域内に配置され、第２の信号は、第２の重量センサが経験する第２の領域内の重量を示し、
回路基板によって、第１の重量センサが経験する重量を示す信号を重量サーバに通信することと、
回路基板によって、第２の重量センサが経験する重量を示す信号を重量サーバに通信することと
をさらに含む、条項１１に記載の方法。

【0201】

条項２０．
カメラサーバによって、第１のカメラクライアントに第１のフレームを、第２のカメラクライアントに第３のフレームを要求することをさらに含み、人物の位置の決定は、さらに、第１のフレームおよび第３のフレームに少なくとも基づく、条項１１に記載の方法。

【0202】

条項２１．
システムであって、
第１のカメラクライアントと、
第１のカメラクライアントとは別個の第２のカメラクライアントと、
第１のカメラクライアントおよび第２のカメラクライアントとは別個の第３のカメラクライアントと、
空間の上方に配置されたカメラのアレイと
を備え、
カメラのアレイ内のカメラは、第１の行、第２の行、第３の行、第１の列、第２の列、および第３の列を含む矩形グリッドとして配置され、アレイは、
グリッドの第１の行および第１の列に配置された第１のカメラと、
第２のカメラがグリッド内で第１のカメラに直接隣接するようにグリッドの第１の行および第２の列に配置された第２のカメラと、
第３のカメラがグリッド内で第２のカメラに直接隣接するようにグリッドの第１の行および第３の列に配置された第３のカメラと、
第４のカメラがグリッド内で第１のカメラに直接隣接するようにグリッドの第２の行および第１の列に配置された第４のカメラと、
第５のカメラがグリッド内で第４のカメラおよび第２のカメラに直接隣接するようにグリッドの第２の行および第２の列に配置された第５のカメラと、
第６のカメラがグリッド内で第４のカメラに直接隣接するようにグリッドの第３の行および第１の列に配置された第６のカメラと
を備え、
第１のカメラは、第１のカメラクライアントに通信可能に結合され、第１のカメラは、第１のカメラの第１の視野によってカバーされる空間の第１の部分のビデオを第１のカメラクライアントに通信するように構成され、
第２のカメラは、第２のカメラクライアントに通信可能に結合され、第２のカメラは、第２のカメラの第２の視野によってカバーされる空間の第２の部分のビデオを第２のカメラクライアントに通信するように構成され、
第３のカメラは、第３のカメラクライアントに通信可能に結合され、第３のカメラは、第３のカメラの第３の視野によってカバーされる空間の第３の部分のビデオを第３のカメラクライアントに通信するように構成され、
第４のカメラは、第２のカメラクライアントに通信可能に結合され、第４のカメラは、第４のカメラの第４の視野によってカバーされる空間の第４の部分のビデオを第２のカメラクライアントに通信するように構成され、
第５のカメラは、第３のカメラクライアントに通信可能に結合され、第５のカメラは、第５のカメラの第５の視野によってカバーされる空間の第５の部分のビデオを第３のカメラクライアントに通信するように構成され、
第６のカメラは、第３のカメラクライアントに通信可能に結合され、第６のカメラは、第６のカメラの第６の視野によってカバーされる空間の第６の部分のビデオを第３のカメラクライアントに通信するように構成され、
第３のカメラクライアントがオフラインになった場合でも、空間の第５の部分の少なくとも一部が、第１のカメラから第１のカメラクライアントに通信されるビデオ、第２のカメラから第２のカメラクライアントに通信されるビデオ、および第４のカメラから第２のカメラクライアントに通信されるビデオにおいて依然としてキャプチャされるように、第５のカメラの第５の視野は、第１のカメラの第１の視野、第２のカメラの第２の視野、および第４のカメラの第４の視野と部分的に重複する、
システム。

【0203】

条項２２．
カメラのアレイは、第１のカメラクライアントに通信可能に結合された各カメラが、グリッドの同じ行または同じ列において、第１のカメラクライアントに通信可能に結合されたカメラのアレイの別のカメラに直接隣接しないように配置される、条項２１に記載のシステム。

【0204】

条項２３．
カメラのアレイは、アレイの２×２部分が、第１のカメラクライアントに通信可能に結合されたカメラと、第２のカメラクライアントに通信可能に結合されたカメラと、第３のカメラクライアントに通信可能に結合されたカメラとを含むように配置される、条項２１に記載のシステム。

【0205】

条項２４．
カメラのアレイは、第１のカメラクライアントに通信可能に結合されたカメラのアレイのカメラが、第１のカメラクライアントに通信可能に結合されたカメラのアレイの別のカメラに対してグリッド内で対角になるように配置される、条項２１に記載のシステム。

【0206】

条項２５．
第１のカメラによってキャプチャされる空間の第１の部分は、第２、第４、および第５のカメラによってそれぞれキャプチャされる空間の第２、第４、および第５の部分と部分的に重複する、条項２１に記載のシステム。

【0207】

条項２６．
グリッドは、第４の列をさらに備え、
カメラのアレイは、
第７のカメラがグリッド内で第３のカメラに直接隣接するようにグリッドの第１の行および第４の列に配置された第７のカメラと、
第８のカメラがグリッド内で第３のカメラおよび第５のカメラに直接隣接するようにグリッドの第２の行および第３の列に配置された第８のカメラと、
第９のカメラがグリッド内で第５のカメラおよび第６のカメラに直接隣接するようにグリッドの第３の行および第２の列に配置された第９のカメラと
を備え、
第７のカメラは、第１のカメラクライアントに通信可能に結合され、第７のカメラは、空間の第７の部分のビデオを第１のカメラクライアントに通信するように構成され、
第８のカメラは、第１のカメラクライアントに通信可能に結合され、第８のカメラは、空間の第８の部分のビデオを第１のカメラクライアントに通信するように構成され、
第９のカメラは、第１のカメラクライアントに通信可能に結合され、第９のカメラは、空間の第９の部分のビデオを第１のカメラクライアントに通信するように構成される、
条項２１に記載のシステム。

【0208】

条項２７．
第１のカメラは、第１のカメラクライアントに配線接続され、
第２のカメラおよび第４のカメラは、第２のカメラクライアントに配線接続され、
第３のカメラ、第５のカメラ、および第６のカメラは、第３のカメラクライアントに配線接続される、
条項２１に記載のシステム。

【0209】

条項２８．
第１のカメラクライアントは、
第１のカメラからのビデオの第１のフレーム内のユーザの第１の座標を決定することと、
第１のカメラクライアントが第１のフレームを受信したときの第１のタイムスタンプを生成することと、
第１のカメラからのビデオの第２のフレーム内のユーザの第２の座標を決定することと、ここで、第２のフレームは第１のフレームの後に受信され、
第１のカメラクライアントが第２のフレームを受信したときの第２のタイムスタンプを生成することと、
第１のカメラからのビデオの第３のフレーム内のユーザの第３の座標を決定することと、ここで、第３のフレームは第２のフレームの後に受信され、
第１のカメラクライアントが第３のフレームを受信したときの第３のタイムスタンプを生成することと
を行うように構成される、条項２１に記載のシステム。

【0210】

条項２９．
第１のカメラクライアント、第２のカメラクライアント、および第３のカメラクライアントとは別個のカメラサーバをさらに備え、カメラサーバは、
第１のタイムスタンプおよび第２のタイムスタンプが第１の時間窓内に入ると決定することと、
第１のタイムスタンプおよび第２のタイムスタンプが第１の時間窓内に入ると決定することに応答して、第１の座標および第２の座標を第１の時間窓に割り当てることと、
第３のタイムスタンプが第１の時間窓に続く第２の時間窓内に入ると決定することと、
第３のタイムスタンプが第２の時間窓内に入ると決定することに応答して、第３の座標を第２の時間窓に割り当てることと、
第１の座標および第２の座標に基づいて、第１の時間窓中のユーザの結合座標を決定することと、
第１の時間窓中のユーザの結合座標を決定した後に、第３の座標に基づいて、第２の時間窓中のユーザの結合座標を決定することと
を行うように構成される、条項２８に記載のシステム。

【0211】

条項３０．
第１のカメラ、第２のカメラ、第３のカメラ、第４のカメラ、第５のカメラ、および第６のカメラは、ユーザの高さを検出するようにさらに構成される、条項２１に記載のシステム。

【0212】

条項３１．
空間の上方に配置された第２のカメラのアレイをさらに備え、第２のカメラのアレイは、第２の矩形グリッドとして配置され、第２のカメラのアレイは、カメラのアレイとは異なり、第２のカメラのアレイの各カメラは、カメラのアレイのカメラからオフセットされている、条項２１に記載のシステム。

【0213】

条項３２．
方法であって、
カメラのアレイの第１のカメラによって、第１のカメラの第１の視野によってカバーされる空間の第１の部分のビデオを第１のカメラクライアントに通信することと、ここで、カメラのアレイは、空間の上方に配置され、カメラのアレイ内のカメラは、第１の行、第２の行、第３の行、第１の列、第２の列、および第３の列を含む矩形グリッドとして配置され、第１のカメラは、グリッドの第１の行および第１の列に配置され、第１のカメラは、第１のカメラクライアントに通信可能に結合され、
カメラのアレイの第２のカメラによって、第２のカメラの第２の視野によってカバーされる空間の第２の部分のビデオを、第１のカメラクライアントとは別個の第２のカメラクライアントに通信することと、ここで、第２のカメラは、第２のカメラがグリッド内で第１のカメラに直接隣接するようにグリッドの第１の行および第２の列に配置され、第２のカメラは、第２のカメラクライアントに通信可能に結合され、
カメラのアレイの第３のカメラによって、第３のカメラの第３の視野によってカバーされる空間の第３の部分のビデオを、第１のカメラクライアントおよび第２のカメラクライアントとは別個の第３のカメラクライアントに通信することと、ここで、第３のカメラは、第３のカメラがグリッド内で第２のカメラに直接隣接するようにグリッドの第１の行および第３の列に配置され、第３のカメラは、第３のカメラクライアントに通信可能に結合され、
カメラのアレイの第４のカメラによって、第４のカメラの第４の視野によってカバーされる空間の第４の部分のビデオを第２のカメラクライアントに通信することと、ここで、第４のカメラは、第４のカメラがグリッド内で第１のカメラに直接隣接するようにグリッドの第２の行および第１の列に配置され、第４のカメラは、第２のカメラクライアントに通信可能に結合され、
カメラのアレイの第５のカメラによって、第５のカメラの第５の視野によってカバーされる空間の第５の部分のビデオを第３のカメラクライアントに通信することと、ここで、第５のカメラは、第５のカメラがグリッド内で第４のカメラおよび第２のカメラに直接隣接するようにグリッドの第２の行および第２の列に配置され、第５のカメラは、第３のカメラクライアントに通信可能に結合され、
カメラのアレイの第６のカメラによって、第６のカメラの第６の視野によってカバーされる空間の第６の部分のビデオを第３のカメラクライアントに通信することと、ここで、第６のカメラは、第６のカメラがグリッド内で第４のカメラに直接隣接するようにグリッドの第３の行および第１の列に配置され、第６のカメラは、第３のカメラクライアントに通信可能に結合される、
を含み、
第３のカメラクライアントがオフラインになった場合でも、空間の第５の部分の少なくとも一部が、第１のカメラから第１のカメラクライアントに通信されるビデオ、第２のカメラから第２のカメラクライアントに通信されるビデオ、および第４のカメラから第２のカメラクライアントに通信されるビデオにおいて依然としてキャプチャされるように、第５のカメラの第５の視野は、第１のカメラの第１の視野、第２のカメラの第２の視野、および第４のカメラの第４の視野と部分的に重複する、
方法。

【0214】

条項３３．
カメラのアレイは、第１のカメラクライアントに通信可能に結合されたカメラのアレイの各カメラが、グリッド内で、第１のカメラクライアントに通信可能に結合されたカメラのアレイの別のカメラに直接隣接しないように配置される、条項３２に記載の方法。

【0215】

条項３４．
カメラのアレイは、アレイの２×２部分が、第１のカメラクライアントに通信可能に結合されたカメラと、第２のカメラクライアントに通信可能に結合されたカメラと、第３のカメラクライアントに通信可能に結合されたカメラとを含むように配置される、条項３２に記載の方法。

【0216】

条項３５．
カメラのアレイは、第１のカメラクライアントに通信可能に結合されたカメラが、第１のカメラクライアントに通信可能に結合された別のカメラに対してグリッド内で対角になるように配置される、条項３２に記載の方法。

【0217】

条項３６．
第１のカメラによってキャプチャされる空間の第１の部分は、それぞれ、第２のカメラ、第４のカメラ、および第５のカメラによってキャプチャされる空間の第２の部分、第４の部分、および第５の部分と部分的に重複する、条項３２に記載の方法。

【0218】

条項３７．
カメラのアレイの第７のカメラによって、空間の第７の部分のビデオを第１のカメラクライアントに通信することと、ここで、グリッドは第４の列をさらに含み、第７のカメラは、第７のカメラがグリッド内で第３のカメラに直接隣接するようにグリッドの第１の行および第４の列に配置され、第７のカメラは、第１のカメラクライアントに通信可能に結合され、
カメラのアレイの第８のカメラによって、空間の第８の部分のビデオを第１のカメラクライアントに通信することと、ここで、第８のカメラは、第８のカメラがグリッド内で第３のカメラおよび第５のカメラに直接隣接するようにグリッドの第２の行および第３の列に配置され、第８のカメラは、第１のカメラクライアントに通信可能に結合され、
カメラのアレイの第９のカメラによって、空間の第９の部分のビデオを第１のカメラクライアントに通信することと、ここで、第９のカメラは、第９のカメラがグリッド内で第５のカメラおよび第６のカメラに直接隣接するようにグリッドの第３の行および第２の列に配置され、第９のカメラは、第１のカメラクライアントに通信可能に結合される、
を含む、条項３２に記載の方法。

【0219】

条項３８．
第１のカメラは、第１のカメラクライアントに配線接続され、
第２のカメラおよび第４のカメラは、第２のカメラクライアントに配線接続され、
第３のカメラ、第５のカメラ、および第６のカメラは、第３のカメラクライアントに配線接続される、
条項３２に記載の方法。

【0220】

条項３９．
第１のカメラクライアントによって、第１のカメラからのビデオの第１のフレーム内のユーザの第１の座標を決定することと、
第１のカメラクライアントによって、第１のカメラクライアントが第１のフレームを受信したときの第１のタイムスタンプを生成することと、
第１のカメラクライアントによって、第１のカメラからのビデオの第２のフレーム内のユーザの第２の座標を決定することと、ここで、第２のフレームは第１のフレームの後に受信され、
第１のカメラクライアントによって、第１のカメラクライアントが第２のフレームを受信したときの第２のタイムスタンプを生成することと、
第１のカメラクライアントによって、第１のカメラからのビデオの第３のフレーム内のユーザの第３の座標を決定することと、ここで、第３のフレームは第２のフレームの後に受信され、
第１のカメラクライアントによって、第１のカメラクライアントが第３のフレームを受信したときの第３のタイムスタンプを生成することと
をさらに含む、条項３２に記載の方法。

【0221】

条項４０．
第１のカメラクライアント、第２のカメラクライアント、および第３のカメラクライアントとは別個のカメラサーバによって、第１のタイムスタンプおよび第２のタイムスタンプが第１の時間窓内に入ると決定することと、
第１のタイムスタンプおよび第２のタイムスタンプが第１の時間窓内に入ると決定することに応答して、カメラサーバによって、第１の座標および第２の座標を第１の時間窓に割り当てることと、
カメラサーバによって、第３のタイムスタンプが第１の時間窓に続く第２の時間窓内に入ると決定することと、
第３のタイムスタンプが第２の時間窓内に入ると決定することに応答して、カメラサーバによって、第３の座標を第２の時間窓に割り当てることと、
カメラサーバによって、第１の座標および第２の座標に基づいて、第１の時間窓中のユーザの結合座標を決定することと、
第１の時間窓中のユーザの結合座標を決定した後に、カメラサーバによって、第３の座標に基づいて、第２の時間窓中のユーザの結合座標を決定することと
をさらに含む、条項３９に記載の方法。

【0222】

条項４１．
第１のカメラ、第２のカメラ、第３のカメラ、第４のカメラ、第５のカメラ、および第６のカメラによって、ユーザの高さを検出することをさらに含む、条項３２に記載の方法。

【0223】

条項４２．
第２のカメラのアレイは、空間の上方に位置付けられ、第２のカメラのアレイは、第２の矩形グリッドとして配置され、第２のカメラのアレイは、カメラのアレイとは異なり、第２のカメラのアレイの各カメラは、カメラのアレイのカメラからオフセットされている、条項３２に記載の方法。

【0224】

条項４３．
回路基板と
ラックと
を備えるシステムであって、
ラックが、
底面と、
ベースの底面に結合された第１の側面であって、ベースの底面から上方に延在するベースの第１の側面と、
ベースの底面および第１の側面に結合された第２の側面であって、ベースの底面から上方に延在するベースの第２の側面と、
ベースの底面および第２の側面に結合された第３の側面であって、ベースの底面から上方に延在するベースの第３の側面と、
ベースの底面および上面ならびにベースの第１の側面、第２の側面、および第３の側面が空間を画定するように、ベースの第１の側面、第２の側面、および第３の側面に結合された上面であって、空間への第１の開口部を画定するベースの上面と、
空間内に配置され、回路基板が中に配置される引き出しと
を備えるベースと、
ベースに結合され、ベースから上方に延在しており、パネルの幅に沿って延在する第２の開口部を画定するパネルと、
棚がベースよりも垂直方向に高く位置決めされるように、かつ棚がパネルから離れる方向に延在するようにパネルに結合され、底面と、棚の底面から上方に延在する前面と、棚の底面から上方に延在する背面とを備える棚と、ここで、棚の背面はパネルに結合され、棚の背面は第３の開口部を画定し、第３の開口部の一部は第２の開口部の一部と位置合わせされ、
棚の底面に結合され、棚の前面と棚の背面との間に配置された第１の重量センサと、
棚の底面に結合され、棚の前面と棚の背面との間に配置された第２の重量センサと、
第１の重量センサおよび回路基板に結合され、第１の重量センサから、第２および第３の開口部を通り、第１の開口部を通って空間内に下方に延在する第１のワイヤと、
第２の重量センサおよび回路基板に結合され、第２の重量センサから、第２および第３の開口部を通り、第１の開口部を通って空間内に下方に延在する第２のワイヤと
を備える、システム。

【0225】

条項４４．
第４の開口部を画定する背面を備える第２の棚をさらに備え、パネルは、パネルの幅に沿って延在する第５の開口部をさらに画定し、第２の棚の背面は、第４の開口部の一部が第５の開口部の一部と位置合わせされるようにパネルに結合される、条項４３に記載のシステム。

【0226】

条項４５．
ベースの上面に結合された第３の重量センサと、
第３の重量センサおよび回路基板に接続され、第３の重量センサから第１の開口部を通って空間内に延在する第３のワイヤと
をさらに備える、条項４３に記載のシステム。

【0227】

条項４６．
第１の重量センサは、
第１のロードセルが経験する力に基づいて第１の電流を生成するように構成された第１のロードセルと、
第２のロードセルが経験する力に基づいて第２の電流を生成するように構成された第２のロードセルと、
第３のロードセルが経験する力に基づいて第３の電流を生成するように構成された第３のロードセルと、
第４のロードセルが経験する力に基づいて第４の電流を生成するように構成された第４のロードセルと
を備える、条項４３に記載のシステム。

【0228】

条項４７．
第１の重量センサは、第１のコーナーと、第２のコーナーと、第３のコーナーと、第４のコーナーとを備え、
第１のロードセルは、第１のコーナーから第１の距離に配置され、
第２のロードセルは、第２のコーナーから第２の距離に配置され、
第３のロードセルは、第３のコーナーから第３の距離に配置され、
第４のロードセルは、第４のコーナーから第４の距離に配置され、第１の距離、第２の距離、第３の距離、および第４の距離は実質的に同じである、
条項４６に記載のシステム。

【0229】

条項４８．
第１のワイヤは、
第１のロードセルに結合された第３のワイヤと、
第２のロードセルに結合された第４のワイヤと、
第３のロードセルに接続された第５のワイヤと、
第４のロードセルに結合された第６のワイヤと
を備える、条項４７に記載のシステム。

【0230】

条項４９．
第１の重量センサは、第１の重量センサが経験する棚の第１の領域内の重量を示す第１の信号を、第１のワイヤを通して回路基板に通信するように構成され、第１の領域は、第１の重量センサの上方に配置され、
第２の重量センサは、第２の重量センサが経験する棚の第２の領域内の重量を示す第２の信号を、第２のワイヤを通して回路基板に通信するように構成され、第２の領域は、第２の重量センサの上方に配置される、
条項４３に記載のシステム。

【0231】

条項５０．
重量サーバをさらに備え、回路基板は、第１の重量センサが経験する重量を示す第３の信号を重量サーバに通信するように構成される、条項４９に記載のシステム。

【0232】

条項５１．
回路基板は、
イーサネット接続が確立されている場合、イーサネット接続を介して第３の信号を重量サーバに通信することと、
イーサネット接続が確立されておらず、ワイヤレス接続が確立されている場合、ワイヤレス接続を介して第３の信号を重量サーバに通信することと、
イーサネット接続およびワイヤレス接続が確立されておらず、ユニバーサルシリアルバス接続が確立されている場合、ユニバーサルシリアルバス接続を介して第３の信号を重量サーバに通信することと
を行うようにさらに構成される、条項５０に記載のシステム。

【0233】

条項５２．
重量サーバは、第３の信号に基づいて、棚の第１の領域内の商品が取り出されたと決定するように構成される、条項５０に記載のシステム。

【0234】

条項５３．
回路基板と、
ラックと
を備えるシステムであって、ラックが、
ベースによって画定される空間内に配置された引き出しを備えるベースであって、回路基板が引き出し内に配置され、空間内への第１の開口部をさらに画定するベースと、
ベースに結合され、ベースから上方に延在するパネルであって、パネルの幅に沿って延在する第２の開口部を画定するパネルと、
棚がベースよりも垂直方向に高く位置付けられ、かつ棚がパネルから離れる方向に延在するようにパネルに結合され、第３の開口部を画定する棚であって、第３の開口部の一部が第２の開口部の一部と位置合わせされる、棚と、
棚に結合された第１の重量センサと、
棚に結合された第２の重量センサと、
第１の重量センサおよび回路基板に結合され、第１の重量センサから、第２および第３の開口部を通り、第１の開口部を通って空間内に下方に延在する第１のワイヤと、
第２の重量センサおよび回路基板に結合され、第２の重量センサから、第２および第３の開口部を通り、第１の開口部を通って空間内へと下方に延在する第２のワイヤと
を備える、システム。

【0235】

条項５４．
第４の開口部を画定する第２の棚をさらに備え、パネルは、パネルの幅に沿って延在する第５の開口部をさらに画定し、第２の棚は、第４の開口部の一部が第５の開口部の一部と位置合わせされるようにパネルに連結される、条項５３に記載のシステム。

【0236】

条項５５．
ベースに結合された第３の重量センサと、
第３の重量センサおよび回路基板に結合され、第３の重量センサから第１の開口部を通って空間に延在する第３のワイヤと
をさらに備える、条項５３に記載のシステム。

【0237】

条項５６．
第１の重量センサは、
第１のロードセルが経験する力に基づいて第１の電流を生成するように構成された第１のロードセルと、
第２のロードセルが経験する力に基づいて第２の電流を生成するように構成された第２のロードセルと、
第３のロードセルが経験する力に基づいて第３の電流を生成するように構成された第３のロードセルと、
第４のロードセルが経験する力に基づいて第４の電流を生成するように構成された第４のロードセルと
を備える、条項５３に記載のシステム。

【0238】

条項５７．
第１の重量センサは、第１のコーナーと、第２のコーナーと、第３のコーナーと、第４のコーナーとを備え、
第１のロードセルは、第１のコーナーから第１の距離に配置され、
第２のロードセルは、第２のコーナーから第２の距離に配置され、
第３のロードセルは、第３のコーナーから第３の距離に配置され、
第４のロードセルは、第４のコーナーから第４の距離に配置され、第１の距離、第２の距離、第３の距離、および第４の距離は実質的に同じである、
条項５６に記載のシステム。

【0239】

条項５８．
第１のワイヤは、
第１のロードセルに結合された第３のワイヤと、
第２のロードセルに結合された第４のワイヤと、
第３のロードセルに接続された第５のワイヤと、
第４のロードセルに結合された第６のワイヤと
を備える、条項５６に記載のシステム。

【0240】

条項５９．
第１の重量センサは、第１の重量センサが経験する棚の第１の領域内の重量を示す第１の信号を、第１のワイヤを通して回路基板に通信するように構成され、第１の領域は、第１の重量センサの上方に配置され、
第２の重量センサは、第２の重量センサが経験する棚の第２の領域内の重量を示す第２の信号を、第２のワイヤを通して回路基板に通信するように構成され、第２の領域は、第２の重量センサの上方に配置される、
条項５３に記載のシステム。

【0241】

条項６０．
重量サーバをさらに備え、回路基板は、第１の重量センサが経験する重量を示す第３の信号を重量サーバに通信するように構成される、条項５９に記載のシステム。

【0242】

条項６１．
回路基板は、
イーサネット接続が確立されている場合、イーサネット接続を介して第３の信号を重量サーバに通信することと、
イーサネット接続が確立されておらず、ワイヤレス接続が確立されている場合、ワイヤレス接続を介して第３の信号を重量サーバに通信することと、
イーサネット接続およびワイヤレス接続が確立されておらず、ユニバーサルシリアルバス接続が確立されている場合、ユニバーサルシリアルバス接続を介して第３の信号を重量サーバに通信することと
を行うようにさらに構成される、条項６０に記載のシステム。

【0243】

条項６２．
重量サーバは、第３の信号に基づいて、棚の第１の領域内の商品が取り出されたと決定するように構成される、条項６０に記載のシステム。

【図1A】

【図1B】

【図1C】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図3E】

【図3F】

【図3G】

【図3H】

【図3I】

【図3J】

【図3K】

【図3L】

【図3M】

【図3N】

【図3O】

【図3P】

【図3Q】

【図3R】

【図3S】

【図3T】

【図4A】

【図4B】

【図4C】

【図4D】

【図5A】

【図5B】

【図5C】

【図5D】

【図5E】

【図5F】

【図5G】

【図5H】

【図5I】

【図5J】

【図6A】

【図6B】

【図6C】

【図7】