特表 2022-552526 事業所内の個人化ナビゲーションのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-12-16

(54)【発明の名称】事業所内の個人化ナビゲーションのシステム及び方法

(51)【国際特許分類】

   G06Q 30/06 20120101AFI20221209BHJP

【ＦＩ】

G06Q30/06

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022522042

(86)(22)【出願日】2020-10-20

(85)【翻訳文提出日】2022-05-02

(86)【国際出願番号】 US2020056405

(87)【国際公開番号】W WO2021080933

(87)【国際公開日】2021-04-29

(31)【優先権主張番号】16/658,951

(32)【優先日】2019-10-21

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＳＭＡＬＬＴＡＬＫ

２．ＶＩＳＵＡＬ ＢＡＳＩＣ

(71)【出願人】

【識別番号】521111788

【氏名又は名称】ポジション イメージング， インコーポレイテッド

【氏名又は名称原語表記】ＰＯＳＩＴＩＯＮ ＩＭＡＧＩＮＧ， ＩＮＣ．

【住所又は居所原語表記】１５５ Ｆｌｅｅｔ Ｓｔｒｅｅｔ， Ｐｏｒｔｓｍｏｕｔｈ， Ｎｅｗ Ｈａｍｐｓｈｉｒｅ ０３８０１ （ＵＳ）

(74)【代理人】

【識別番号】100095577

【弁理士】

【氏名又は名称】小西 富雅

(72)【発明者】

【氏名】ヒル， エドワード エル．

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049BB72

(57)【要約】

建物中の個人の動きを追跡するためのシステム及び方法は、建物の入口近くに配置された１つ以上のＲＦノードによって、入口近くの人物が携帯するＲＦ送信モバイルデバイスからＲＦ信号を受信し、人物が入口近くにいる間、彼らの画像を捕捉し、各ＲＦ送信モバイルデバイスの識別名と各ＲＦノードからの相対距離とを、そのＲＦノードによって受信されたＲＦ信号と関連付けられた情報に基づいて判定し、画像内の人間を検出し、画像内の各人間の相対深度を判定し、各ＲＦ送信モバイルデバイスの各ＲＦノードからの相対距離と、画像内の各人間の相対深度とに基づいて、画像内で検出された人間のうちの１人に各ＲＦ送信モバイルデバイスの識別名を割り当てることによって、建物を各個人が動き回るときに光学的に追跡されるべきその個人を識別する。

【特許請求の範囲】

【請求項1】

建物内の個人の位置を追跡するためのシステムであって、
前記建物への入口の近くに配置された少なくとも１つの高周波（ＲＦ）ノードであって、前記建物への前記入口の近くのＲＦ送信デバイスからＲＦ信号を受信するＲＦ受信機を有する、少なくとも１つの高周波（ＲＦ）ノードと、
前記建物への前記入口の近くに配置された少なくとも１つの光学デバイスであって、複数の人物が前記建物への前記入口の近くにいる間、前記複数の人物の画像を捕捉する、少なくとも１つの光学デバイスと、
前記少なくとも１つのＲＦノードと通信して、前記少なくとも１つのＲＦノードの前記ＲＦ受信機によって受信された前記ＲＦ信号と関連付けられた情報を取得し、前記少なくとも１つの光学デバイスと通信して、捕捉された前記画像を取得する、コントローラと、
を備え、
前記コントローラが、各ＲＦ送信デバイスの識別名と、前記少なくとも１つのＲＦノードの各ＲＦノードに対するそのＲＦ送信デバイスの角位置とを、前記少なくとも１つのＲＦノードのそのＲＦノードから前記コントローラによって取得された前記ＲＦ信号に関連付けられた前記情報に基づいて判定するように構成され、
前記コントローラが、前記少なくとも１つの光学デバイスから前記コントローラによって取得された前記画像内の複数の人間を検出し、前記画像内の配向マーカを検出し、前記画像内で検出された各人間に対する前記画像内の前記配向マーカの位置と、前記少なくとも１つのＲＦノードの各ＲＦノードに対する前記ＲＦ送信デバイスの判定された前記角位置とに基づいて、前記画像内で検出された前記複数の人間のうちの１人に各ＲＦ送信デバイスの前記識別名を割り当てることによって、前記建物中を各個人が移動するときに光学的に位置を特定されるべきその個人を識別するように更に構成されている、システム。

【請求項2】

前記少なくとも１つのＲＦノードが、各ＲＦ送信デバイスから受信された前記ＲＦ信号の相対信号強度インジケータ（ＲＳＳＩ）値を判定するように構成され、前記少なくとも１つのＲＦノードから前記コントローラによって取得される前記情報は前記ＲＳＳＩ値を含み、前記コントローラが、各ＲＦノードからの各ＲＦ送信デバイスの距離を、そのＲＦ送信デバイスからそのＲＦノードによって受信された前記ＲＦ信号についての前記ＲＳＳＩ値に基づいて推定し、前記画像内で検出された前記複数の人間のうちの１人に各ＲＦ送信デバイスの前記識別名を割り当てるときに各ＲＦノードからの各ＲＦ送信デバイスの前記推定距離を使用するように構成されている、請求項１に記載のシステム。

【請求項3】

前記コントローラが、前記画像内で検出された前記複数の人間のうちの１人によって保持される携帯電話を前記画像内で検出し、前記画像内で検出された前記複数の人間のうちの誰が前記検出された携帯電話を保持しているかに基づいて、捕捉された前記画像内で検出された前記複数の人間のうちの１人に各ＲＦ送信デバイスの前記識別名を割り当てるように更に構成されている、請求項１に記載のシステム。

【請求項4】

前記コントローラが、
各ＲＦノードについて、そのＲＦノードからの前記ＲＦ送信モバイルデバイスの前記角位置に基づいて、前記ＲＦ送信モバイルデバイスを角度順で配列し、
捕捉された前記画像内で検出された前記複数の人間の相対位置に基づいて、前記画像内で捕捉された前記人間を角度順で配列し、
捕捉された前記画像内で検出された前記複数の人間のうちの１人に各ＲＦ送信モバイルデバイスの前記識別名を割り当てるときに、捕捉された前記画像内で検出された人間の前記角度順と、前記ＲＦ送信モバイルデバイスの前記角度順とを比較する、
ように更に構成されている、請求項１に記載のシステム。

【請求項5】

前記コントローラが、前記画像内で検出された人間の前記角度順と前記ＲＦ送信モバイルデバイスの前記角度順とを比較する前に、前記少なくとも１つのＲＦノードに対する捕捉された前記画像内の前記複数の人間の前記角度順を配列するように更に構成されている、請求項４に記載のシステム。

【請求項6】

前記建物中に配置された複数の光学デバイスを更に備え、前記コントローラが、前記建物中で識別された各個人を、前記複数の光学デバイスの少なくともいくつかから経時的に受信される画像内の識別された前記個人を検出することに基づいて、光学的に追跡するように更に構成されている、請求項１に記載のシステム。

【請求項7】

所与のＲＦ送信モバイルデバイスによって送信されるＲＦ信号によって搬送される前記情報が、買い物リストを含む、請求項１に記載のシステム。

【請求項8】

前記コントローラが、
前記買い物リスト上の品目に基づいて、前記建物を通る経路を判定し、
前記所与のＲＦ送信モバイルデバイスの画面上に表示するために、前記所与のＲＦ送信モバイルデバイスに前記経路を送信する、
ように更に構成されている、請求項７に記載のシステム。

【請求項9】

前記コントローラが、
各ＲＦ送信モバイルデバイスの位置を、前記少なくとも１つのＲＦノードから受信された前記ＲＦ送信モバイルデバイスの前記角位置に基づいて計算し、
前記少なくとも１つのＲＦノードに対する前記ＲＦ送信モバイルデバイスの計算された前記位置に基づいて、前記ＲＦ送信モバイルデバイスを深度順で配列し、
捕捉された前記画像内で検出された前記複数の人間の相対位置に基づいて、前記画像内で捕捉された前記人間を深度順に配列し、
前記画像内で検出された人間の前記深度順と前記ＲＦ送信モバイルデバイスの前記深度順とを比較することによって、捕捉された前記画像内で検出された前記複数の人間のうちの１人に各ＲＦ送信モバイルデバイスの前記識別名を割り当てる、
ように更に構成されている、請求項７に記載のシステム。

【請求項10】

建物内の個人の位置を追跡するための方法であって、
前記建物への入口の近くに配置された少なくとも１つの高周波（ＲＦ）ノードによって、前記建物への前記入口近くの複数の人物が携帯するＲＦ送信モバイルデバイスからＲＦ信号を受信することと、
前記複数の人物が前記建物への前記入口の近くにいる間、前記複数の人物の画像を捕捉することと、
前記少なくとも１つのＲＦノードによって受信された前記ＲＦ信号と関連付けられた情報に基づいて、各ＲＦ送信モバイルデバイスの識別名と、各ＲＦノードからの各ＲＦ送信モバイルデバイスの角位置とを判定することと、
捕捉された前記画像内の複数の人間及び配向マーカを検出することと、
前記画像内で検出された各人間に対する前記画像内の前記配向マーカの位置と、各ＲＦノードに対する各ＲＦ送信モバイルデバイスの判定された前記角位置とに基づいて、捕捉された前記画像内で検出された前記複数の人間のうちの１人に各ＲＦ送信モバイルデバイスの前記識別名を割り当てることによって、前記建物中を各個人が移動するときに光学的に位置を特定されるべきその個人を識別することと、
を含む、方法。

【請求項11】

各ＲＦ送信デバイスから受信された前記ＲＦ信号についての相対信号強度インジケータ（ＲＳＳＩ）値を判定することと、
各ＲＦノードからの各ＲＦ送信デバイスの推定距離を、そのＲＦ送信デバイスからそのＲＦノードによって受信された前記ＲＦ信号についての前記ＲＳＳＩ値に基づいて計算することと、
前記画像内で検出された前記複数の人間のうちの１人に各ＲＦ送信デバイスの前記識別名を割り当てるときに、各ＲＦノードからの各ＲＦ送信デバイスの前記推定距離を使用することと、
を更に含む、請求項１０に記載の方法。

【請求項12】

前記画像内で検出された前記複数の人間のうちの１人によって保持される携帯電話を前記画像内で検出することを更に含み、捕捉された前記画像内で検出された前記複数の人間のうちの１人に各ＲＦ送信デバイスの前記識別名を割り当てるステップが、前記画像内で検出された前記人間のうちの誰が前記検出された携帯電話を保持しているかに基づく、請求項１０に記載の方法。

【請求項13】

前記少なくとも１つのＲＦノードに対する前記ＲＦ送信モバイルデバイスの前記角位置に基づいて、前記ＲＦ送信モバイルデバイスを角度順で配列することと、
捕捉された前記画像内で検出された前記複数の人間の相対位置に基づいて、前記画像内で捕捉された前記人間を角度順で配列することと、を更に含み、
捕捉された前記画像内で検出された前記複数の人間のうちの１人に各ＲＦ送信モバイルデバイスの前記識別名を割り当てるステップが、前記画像内で検出された人間の前記角度順と前記ＲＦ送信モバイルデバイスの前記角度順とを比較することを含む、請求項１１に記載の方法。

【請求項14】

捕捉された前記画像内で検出された人間の前記角度順と前記ＲＦ送信モバイルデバイスの前記角度順とを比較する前に、前記少なくとも１つのＲＦノードに対する捕捉された前記画像内の前記複数の人間の前記角度順を配列することを更に含む、請求項１３に記載の方法。

【請求項15】

建物中の識別された各個人の位置を、その識別された個人を捕捉する連続画像を比較することによって光学的に追跡することを更に含む、請求項１０に記載の方法。

【請求項16】

所与のＲＦ送信モバイルデバイスによって送信された前記ＲＦ信号に関連付けられた前記情報が、買い物リストを含む、請求項１０に記載の方法。

【請求項17】

前記買い物リスト上の品目に基づいて、前記建物を通る経路を判定することと、
前記所与のＲＦ送信モバイルデバイスの画面上に表示するために、前記所与のＲＦ送信モバイルデバイスに前記経路を送信することと、
を更に含む、請求項１６に記載の方法。

【請求項18】

前記建物内の所与の識別された個人の現在位置を搬送する無線信号を、前記少なくとも１つのＲＦノードから前記所与の識別された個人が携帯する前記ＲＦ送信モバイルデバイスに送信することを更に含む、請求項１０に記載の方法。

【請求項19】

各ＲＦ送信モバイルデバイスの位置を、前記少なくとも１つのＲＦノードから受信された前記ＲＦ送信モバイルデバイスの前記角位置に基づいて計算することと、
前記少なくとも１つのＲＦノードに対する前記ＲＦ送信モバイルデバイスの計算された前記位置に基づいて、前記ＲＦ送信モバイルデバイスを深度順で配列することと、
捕捉された前記画像内で検出された前記複数の人間の相対位置に基づいて、前記画像内で捕捉された前記人間を深度順に配列することと、を更に含み、
捕捉された前記画像内で検出された前記複数の人間のうちの１人に各ＲＦ送信モバイルデバイスの前記識別名を割り当てるステップが、前記画像内で検出された人間の前記深度順と前記ＲＦ送信モバイルデバイスの前記深度順とを比較することを含む、請求項１０に記載の方法。

【請求項20】

建物内の個人の位置を追跡するためのシステムであって、
前記建物への入口の近くに配置された少なくとも１つの高周波（ＲＦ）ノードであって、ＲＦ受信機チャネルを有して、前記建物への前記入口の近くの複数のＲＦ送信デバイスからＲＦ信号を受信する、少なくとも１つの高周波（ＲＦ）ノードと、
前記建物への前記入口の近くに配置された少なくとも１つのカメラであって、複数の人物が前記建物への前記入口の近くにいる間、前記複数の人物の画像を捕捉する、少なくとも１つのカメラと、
前記少なくとも１つのＲＦノードと通信して、前記少なくとも１つのＲＦノードの前記ＲＦ受信機チャネルによって受信されたＲＦ信号と関連付けられた情報を取得し、前記少なくとも１つのカメラと通信して、捕捉された前記画像を取得するコントローラであって、各ＲＦ送信デバイスの識別名と、前記少なくとも１つのＲＦノードの各ＲＦノードに対するそのＲＦ送信デバイスの位置を、前記少なくとも１つのＲＦノードのそのＲＦノードから前記コントローラによって取得された前記ＲＦ信号に関連付けられた情報に基づいて判定し、前記少なくとも１つのカメラから前記コントローラによって取得された前記画像内の複数の人間を検出し、前記画像内の配向マーカを検出し、前記画像内で検出された前記複数の人間のうちの１人に各ＲＦ送信デバイスの識別名を、前記画像内で検出された各人間に対する前記画像内の前記配向マーカの位置と、前記少なくとも１つのＲＦノードの各ＲＦノードに対するそのＲＦ送信デバイスの判定された前記位置とに基づいて割り当てるように構成されている、コントローラと、
を備える、システム。

【請求項21】

建物内の個人の位置を追跡するための方法であって、
入口領域の近くに配置された少なくとも１つの高周波（ＲＦ）ノードによって、前記入口領域の近くの１つ以上のＲＦ送信デバイスの各ＲＦ送信デバイスからＲＦ信号を受信することと、
前記少なくとも１つのＲＦノードによって受信された各ＲＦ信号と関連付けられた情報を取得することと、
各ＲＦ送信デバイスの識別名を、そのＲＦ送信デバイスから受信された前記ＲＦ信号と関連付けられた取得された前記情報に基づいて判定することと、
前記少なくとも１つのＲＦノードの各ＲＦノードに対する各ＲＦ送信デバイスの位置を、そのＲＦ送信デバイスから受信された前記ＲＦ信号と関連付けられた取得された前記情報に基づいて判定することと、
１人以上の複数の人物が前記入口領域の近くにいる間、前記１人以上の人物の画像を捕捉することと、
前記画像内の１人以上の人間を検出することと、
前記画像内の配向マーカを検出することと、
前記画像内で検出された前記１人以上の人間のうちの１人の人間に各ＲＦ送信デバイスの前記識別名を、前記画像内で検出された各人間に対する前記画像内の前記配向マーカの位置と、前記少なくとも１つのＲＦノードの各ＲＦノードに対するそのＲＦ送信デバイスの判定された前記位置とに基づいて、割り当てることと、
を含む、方法。

【請求項22】

前記少なくとも１つのＲＦノードの各ＲＦノードに対する各ＲＦ送信デバイスの位置を判定するステップが、前記少なくとも１つのＲＦノードの各ＲＦノードに対するそのＲＦ送信デバイスの角位置を、そのＲＦ送信デバイスから前記ＲＦノードによって受信された前記ＲＦ信号の到着角に基づいて判定することを含む、請求項２１に記載の方法。

【請求項23】

前記少なくとも１つのＲＦノードに対する前記１つ以上のＲＦ送信デバイスの前記角位置に基づいて、前記１つ以上のＲＦ送信デバイスを角度順で配列するステップと、
捕捉された前記画像内で検出された前記１人以上の人間の相対位置に基づいて、前記画像内に捕捉された前記１人以上の人間を角度順に配列するステップと、を更に含み、
捕捉された前記画像内で検出された前記１人以上の人間のうちの１人の人間に各ＲＦ送信デバイスの前記識別名を割り当てるステップが、前記画像内で検出された１人以上の人間の前記角度順と、前記１つ以上のＲＦ送信デバイスの前記角度順とを比較することを含む、請求項２２に記載の方法。

【請求項24】

各ＲＦ送信デバイスの位置を、前記少なくとも１つのＲＦノードに対する前記１つ以上のＲＦ送信デバイスの前記角位置に基づいて計算することと、
前記少なくとも１つのＲＦノードに対する前記１つ以上のＲＦ送信デバイスの前記計算された位置に基づいて、前記１つ以上のＲＦ送信デバイスを深度順で配列することと、
捕捉された前記画像内で検出された前記１人以上の人間の相対位置に基づいて、前記画像内で捕捉された前記１人以上の人間を深度順に配列することと、を更に含み、
捕捉された前記画像内で検出された前記１人以上の人間のうちの１人の人間に各ＲＦ送信デバイスの前記識別名を割り当てるステップが、前記画像内で検出された前記１人以上の人間の前記深度順と、前記１つ以上のＲＦ送信デバイスの前記深度順とを比較すること含む、請求項２２に記載の方法。

【請求項25】

各ＲＦ送信デバイスから受信された前記ＲＦ信号の相対信号強度インジケータ（ＲＳＳＩ）値を判定することと、
各ＲＦノードから各ＲＦ送信デバイスの推定距離を、そのＲＦ送信デバイスからのＲＦノードによって受信された前記ＲＦ信号の前記ＲＳＳＩ値に基づいて計算することと、
前記画像内で検出された前記１人以上の人間のうちの１人の人間に各ＲＦ送信デバイスの前記識別名を割り当てるときに、各ＲＦノードからの各ＲＦ送信デバイスの前記推定距離を使用することと、
を更に含む、請求項２１に記載の方法。

【請求項26】

建物中の前記画像内で検出された各人間の位置を、その人間を捕捉する連続画像を比較することによって光学的に追跡することを更に含む、請求項２１に記載の方法。

【請求項27】

前記１つ以上のＲＦ送信デバイスの所与のＲＦ送信デバイスによって送信された前記ＲＦ信号に関連付けられた前記情報が、買い物又はタスクリストを含む、請求項２１に記載の方法。

【請求項28】

前記買い物又はタスクリスト上の品目に基づいて、前記建物を通る経路を判定することと、
前記所与のＲＦ送信デバイスの画面上に表示するために、前記所与のＲＦ送信デバイスに前記経路を送信することと、
を更に含む、請求項２７に記載の方法。

【請求項29】

前記少なくとも１つのＲＦノードによって、前記建物内の所与の人間の現在位置を前記所与の人間が携帯する前記ＲＦ送信デバイスに伝達するＲＦ信号を送信するステップを更に含む、請求項２１に記載の方法。

【請求項30】

前記画像内で検出された前記１人以上の人間のうちの１人によって保持される携帯電話を前記画像内で検出するステップを更に含み、捕捉された前記画像内で検出された前記１人以上の人間のうちの１人の人間に各ＲＦ送信デバイスの前記識別名を割り当てるステップが、前記画像内で検出された人間のうちの誰が前記検出された携帯電話を保持しているかに基づく、請求項２１に記載の方法。

【請求項31】

建物内の個人の位置を追跡するためのシステムであって、
入口領域の近くに配置された少なくとも１つの高周波（ＲＦ）ノードであって、前記少なくとも１つのＲＦノードの各ＲＦノードが、前記入口領域の近くの１つ以上のＲＦ送信デバイスからＲＦ信号を受信するＲＦ受信機を有し、各ＲＦノードが、各ＲＦ送信デバイスの識別名をそのＲＦ送信デバイスから受信された前記ＲＦ信号の到着角と関連付ける、少なくとも１つの高周波（ＲＦ）ノードと、
前記入口領域の近くに配置された少なくとも１つの光学デバイスであって、１人以上の人物が前記入口領域近くにいる間、前記１人以上の人物の画像を捕捉する、少なくとも１つの光学デバイスと、
前記少なくとも１つのＲＦノードの各ＲＦノードと通信して、各ＲＦ送信デバイスの識別名と、そのＲＦ送信デバイスからそのＲＦノードによって受信された前記ＲＦ信号の関連付けられた前記到着角とを取得するコントローラであって、前記少なくとも１つの光学デバイスと通信して、捕捉された前記画像を取得するコントローラであって、前記少なくとも１つの光学デバイスから前記コントローラによって取得された前記画像内で１人以上の人間を検出し、前記画像内で検出された前記１人以上の人間のうちの１人の人間に各ＲＦ送信デバイスの識別名を、前記画像内で検出された各人間の位置と、そのＲＦ送信デバイスからそのＲＦノードによって受信された前記ＲＦ信号の前記到着角とに基づいて割り当てるように構成されている、コントローラと、
を備える、システム。

【請求項32】

前記コントローラが、前記画像内の配向マーカを検出し、前記画像内で検出された各人間に対する前記画像内の前記配向マーカの位置にも基づいて、前記画像内で検出された前記１人以上の人間のうちの１人の人間に各ＲＦ送信デバイスの前記識別名を割り当てるように更に構成されている、請求項３１に記載のシステム。

【請求項33】

前記コントローラが、
各ＲＦノードについて、そのＲＦノードによって前記１つ以上のＲＦ送信デバイスから受信された前記ＲＦ信号の前記到着角に基づいて、前記１つ以上のＲＦ送信デバイスを角度順に配列し、
捕捉された前記画像内で検出された前記１人以上の人間の相対位置に基づいて、前記画像内で捕捉された前記１人以上の人間を角度順に配列し、
捕捉された前記画像内で検出された前記１人以上の人間のうちの１人の人間に各ＲＦ送信デバイスの前記識別名を割り当てるときに、捕捉された前記画像内で検出された前記１人以上の人間の前記角度順と、前記１つ以上のＲＦ送信デバイスの前記角度順とを比較する、
ように更に構成されている、請求項３１に記載のシステム。

【請求項34】

前記コントローラが、
各ＲＦ送信デバイスの位置を、前記少なくとも１つのＲＦノードの各ＲＦノードによって、そのＲＦ送信デバイスから受信された前記ＲＦ信号の到着角に基づいて計算し、
前記ＲＦ送信デバイスの計算された前記位置に基づいて、前記１つ以上のＲＦ送信デバイスを深度順に配列し、
捕捉された前記画像内で検出された前記１人以上の人間の相対位置に基づいて、前記画像内で捕捉された前記１人以上の人間を深度順に配列し、
捕捉された前記画像内で検出された前記１人以上の人間のうちの１人の人間に各ＲＦ送信デバイスの前記識別名を割り当てるときに、前記画像内で検出された前記１人以上の人間の前記深度順と、前記１つ以上のＲＦ送信デバイスの前記深度順とを比較する、
ように更に構成されている、請求項３１に記載のシステム。

【請求項35】

前記少なくとも１つのＲＦノードが、各ＲＦ送信デバイスから受信された前記ＲＦ信号についての相対信号強度インジケータ（ＲＳＳＩ）値を判定するように構成され、前記コントローラが、前記少なくとも１つのＲＦノードの各ＲＦノードからの各ＲＦ送信デバイスの距離を、そのＲＦ送信デバイスからそのＲＦノードによって受信された前記ＲＦ信号についての前記ＲＳＳＩ値に基づいて推定し、前記画像内で検出された前記１人以上の人間のうちの１人の人間に各ＲＦ送信デバイスの前記識別名を割り当てるときに各ＲＦノードからの各ＲＦ送信デバイスの前記推定距離を使用するように構成されている、請求項３１に記載のシステム。

【請求項36】

建物内の個人の位置を追跡するための方法であって、
入口領域の近くに配置された少なくとも１つの高周波（ＲＦ）ノードによって、前記入口領域の近くの１つ以上のＲＦ送信デバイスからＲＦ信号を受信することと、
前記少なくとも１つのＲＦノードの各ＲＦノードによって、前記１つ以上のＲＦ送信デバイスの各ＲＦ送信デバイスの識別名と、そのＲＦノードによってそのＲＦ送信デバイスから受信された前記ＲＦ信号の到着角と、を判定することと、
前記少なくとも１つのＲＦノードの各ＲＦノードによって、各ＲＦ送信デバイスの前記識別名を、そのＲＦノードによってそのＲＦ送信デバイスから受信された前記ＲＦ信号の到着角と関連付けることと、
１人以上の人物が前記入口領域の近くにいる間、前記１人以上の人物の画像を捕捉することと、
捕捉された前記画像内の１人以上の人間を検出することと、
捕捉された前記画像内で検出された前記１人以上の人間のうちの１人の人間に各ＲＦ送信デバイスの前記識別名を、前記画像内で検出された各人間の位置と、前記少なくとも１つのＲＦノードの各ＲＦノードによってそのＲＦ送信デバイスから受信された前記ＲＦ信号の到着角とに基づいて割り当てることと、
を含む、方法。

【請求項37】

前記画像内の配向マーカを検出するステップを更に含み、捕捉された前記画像内で検出された前記１人以上の人間のうちの１人の人間に各ＲＦ送信デバイスの前記識別名を割り当てるステップが、前記画像内で検出された各人間に対する前記画像内の前記配向マーカの位置に更に基づく、請求項３６に記載の方法。

【請求項38】

各ＲＦノードについて、そのＲＦノードによって前記１つ以上のＲＦ送信デバイスから受信された前記ＲＦ信号の前記到着角に基づいて、前記１つ以上のＲＦ送信デバイスを角度順に配列するステップと、
捕捉された前記画像内で検出された前記１人以上の人間の相対位置に基づいて、前記画像内で捕捉された前記１人以上の人間を角度順に配列するステップと、
捕捉された前記画像内で検出された前記１人以上の人間のうちの１人の人間に各ＲＦ送信デバイスの前記識別名を割り当てるときに、捕捉された前記画像内で検出された前記１人以上の人間の前記角度順と、前記１つ以上のＲＦ送信デバイスの前記角度順とを比較するステップと、
を更に含む、請求項３６に記載の方法。

【請求項39】

各ＲＦ送信デバイスの位置を、前記少なくとも１つのＲＦノードの各ＲＦノードによって、そのＲＦ送信デバイスから受信された前記ＲＦ信号の到着角に基づいて計算するステップと、
前記１つ以上のＲＦ送信デバイスの計算された前記位置に基づいて、前記１つ以上のＲＦ送信デバイスを深度順に配列するステップと、
捕捉された前記画像内で検出された前記１人以上の人間の相対位置に基づいて、前記画像内で捕捉された前記１人以上の人間を深度順に配列するステップと、
捕捉された前記画像内で検出された前記１人以上の人間のうちの１人の人間に各ＲＦ送信デバイスの前記識別名を割り当てるときに、前記画像内で検出された前記１人以上の人間の前記深度順と、前記１つ以上のＲＦ送信デバイスの前記深度順とを比較するステップと、
を更に含む、請求項３６に記載の方法。

【請求項40】

前記少なくとも１つのＲＦノードによって、各ＲＦ送信デバイスから受信された前記ＲＦ信号についての相対信号強度インジケータ（ＲＳＳＩ）値を判定するステップと、
少なくとも１つのＲＦノードの各ＲＦノードからの各ＲＦ送信デバイスの距離を、そのＲＦ送信デバイスからそのＲＦノードによって受信された前記ＲＦ信号についての前記ＲＳＳＩ値に基づいて計算するステップと、
前記画像内で検出された前記１人以上の人間のうちの１人の人間に各ＲＦ送信デバイスの前記識別名を割り当てるときに、各ＲＦノードからの各ＲＦ送信デバイスの前記推定距離を検討するステップと、
を更に含む、請求項３６に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本出願は、２０１６年１２月１２日に出願された「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｏｆ Ｐｅｒｓｏｎａｌｉｚｅｄ Ｎａｖｉｇａｔｉｏｎ Ｉｎｓｉｄｅ ａ Ｂｕｓｉｎｅｓｓ Ｅｎｔｅｒｐｒｉｓｅ」と題する米国仮特許出願第６２／４３２，８７６号に対して米国特許法第１１９条（ｅ）項に基づく利益及び優先権を主張する２０１７年１２月１２日に出願された「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｏｆ Ｐｅｒｓｏｎａｌｉｚｅｄ Ｎａｖｉｇａｔｉｏｎ Ｉｎｓｉｄｅ ａ Ｂｕｓｉｎｅｓｓ Ｅｎｔｅｒｐｒｉｓｅ」と題する米国特許出願第１５／８３９，２９８号の部分継続出願に対して利益及び優先権を主張する２０１８年１０月１８日に出願された「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｏｆ Ｐｅｒｓｏｎａｌｉｚｅｄ Ｎａｖｉｇａｔｉｏｎ Ｉｎｓｉｄｅ ａ Ｂｕｓｉｎｅｓｓ Ｅｎｔｅｒｐｒｉｓｅ」と題する係属中の米国特許出願第１６／１６３，７０８号の部分継続出願であり、これらの特許出願及び仮出願の全体があらゆる目的のために参照により本明細書に組み込まれる。

【背景技術】

【0002】

本発明は、概して、特定の事業所内にいる間の人々の個人化ナビゲーションを提供するためのシステム及び方法に関する。

【発明の開示】

【発明が解決しようとする課題】

【0003】

買い物客間の一般的な苦情は、特定の品目が店舗内のどこにあるかが分からないことでイライラすることが多いことである。彼らは、自身の買い物リスト上の品目を探して非効率に通路をさまよって、しばしば元来た道を戻り、所望の品目を探すのに長い経路を辿る。

【課題を解決するための手段】

【0004】

一実施形態によれば、本発明は、建物内の個人の位置を追跡するためのシステムに関する。システムは、建物への入口の近くに配置された少なくとも１つの高周波（ＲＦ）ノードを備える。少なくとも１つのＲＦノードは、建物への入口近くのＲＦ送信デバイスからＲＦ信号を受信するＲＦ受信機を有する。建物への入口の近くに配置された少なくとも１つの光学デバイスは、複数の人物が建物への入口の近くにある間に、複数の人物の画像を捕捉する。コントローラは、少なくとも１つのＲＦノードと通信して、少なくとも１つのＲＦノードのＲＦ受信機によって受信されたＲＦ信号と関連付けられた情報を取得し、かつ少なくとも１つの光学デバイスと通信して、捕捉された画像を取得する。コントローラは、各ＲＦ送信デバイスの識別名と、少なくとも１つのＲＦノードの各ＲＦノードに対するそのＲＦ送信デバイスの角位置とを、少なくとも１つのＲＦノードのそのＲＦノードからコントローラによって取得されたＲＦ信号に関連付けられた情報に基づいて判定するように構成されている。コントローラは、少なくとも１つの光学デバイスからコントローラによって取得された画像内の配向マーカと複数の人間とを検出し、画像内で検出された各人間に対する画像内の配向マーカの位置と、少なくとも１つのＲＦノードの各ＲＦノードに対するＲＦ送信デバイスの判定された角位置とに基づいて、画像内で検出された複数の人間のうちの１人に各ＲＦ送信デバイスの識別名を割り当てるように更に構成されている。それにより、各個人が建物中を移動するときに光学的に位置を特定されるべきその個人が識別される。

【0005】

例示的な一実施形態では、少なくとも１つのＲＦノードは、各ＲＦ送信デバイスから受信されたＲＦ信号についての相対信号強度インジケータ（ＲＳＳＩ）値を判定するように構成されている。少なくとも１つのＲＦノードからコントローラによって取得された情報は、ＲＳＳＩ値を含む。コントローラは、各ＲＦノードからの各ＲＦ送信デバイスの距離を、そのＲＦ送信デバイスからそのＲＦノードによって受信されたＲＦ信号のＲＳＳＩ値に基づいて推定し、画像内で検出された複数の人間のうちの１人に各ＲＦ送信デバイスの識別名を割り当てるときに各ＲＦノードからの各ＲＦ送信デバイスの推定距離を使用するように構成されている。

【0006】

別の例示的な実施形態では、コントローラは、画像内で検出された複数の人間のうちの１人によって保持される携帯電話を画像内で検出し、画像内で検出された複数の人間のうちの誰が検出された携帯電話を保持しているかに基づいて、捕捉された画像内で検出された複数の人間のうちの１人に各ＲＦ送信デバイスの識別名を割り当てるように更に構成されている。

【0007】

別の例示的な実施形態では、コントローラは、各ＲＦノードについて、そのＲＦノードからのＲＦ送信モバイルデバイスの角位置に基づいて、ＲＦ送信モバイルデバイスを角度順で配列し、捕捉された画像内で検出された複数の人間の相対位置に基づいて画像に捕捉された人間を角度順に配列し、捕捉された画像内で検出された複数の人間のうちの１人に各ＲＦ送信モバイルデバイスの識別名を割り当てるときに、捕捉された画像内で検出された人間の角度順とＲＦ送信モバイルデバイスの角度順とを比較するように更に構成されている。コントローラは、画像内で検出された人間の角度順とＲＦ送信モバイルデバイスの角度順とが比較される前に、少なくとも１つのＲＦノードに対する捕捉された画像内の複数の人間の角度順を配列するように更に構成されてもよい。

【0008】

更に別の例示的な実施形態では、システムは建物中に配置された複数の光学デバイスを更に備え、コントローラは、建物中で識別された各個人を、複数の光学デバイスの少なくともいくつかから経時的に受信される画像内の識別された個人を検出することに基づいて、光学的に追跡するように更に構成されている。

【0009】

更に別の例示的な実施形態では、所与のＲＦ送信モバイルデバイスによって送信されるＲＦ信号によって搬送される情報は、買い物リストを含む。コントローラは、買い物リスト上の品目に基づいて建物を通る経路を判定し、所与のＲＦ送信モバイルデバイスの画面上に表示するために所与のＲＦ送信モバイルデバイスへの経路を送信するように更に構成され得る。

【0010】

別の実施例として、システムは建物中に配置された複数の光学デバイスを更に備え、コントローラは、建物中で識別された各個人を、複数の光学デバイスの少なくともいくつかから経時的に受信される画像内の識別された個人を検出することに基づいて、光学的に追跡するように更に構成されている。

【0011】

他の実施例では、所与のＲＦ送信モバイルデバイスによって送信されるＲＦ信号によって搬送される情報は、買い物リストを含む。コントローラは、買い物リスト上の品目に基づいて建物を通る経路を判定し、所与のＲＦ送信モバイルデバイスの画面上に表示するために所与のＲＦ送信モバイルデバイスへの経路を送信するように更に構成され得る。少なくとも１つのＲＦノードは、２つ以上のＲＦノードを含み得る。

【0012】

別の実施例では、コントローラは、各ＲＦ送信モバイルデバイスの位置を、少なくとも１つのＲＦノードから受信されたＲＦ送信モバイルデバイスの角位置に基づいて計算し、少なくとも１つのＲＦノードに対するＲＦ送信モバイルデバイスの計算された位置に基づいてＲＦ送信モバイルデバイスを深度順に配列し、捕捉された画像で検出された複数の人間の相対位置に基づいて、画像内で検出された人間を深度順に配列し、画像内で検出された人間の深度順とＲＦ送信モバイルデバイスの深度順とを比較することによって、捕捉された画像で検出された複数の人間のうちの１人に各ＲＦ送信モバイルデバイスの識別名を割り当てるように更に構成されている。

【0013】

別の実施形態によれば、本発明は、建物内の個人の位置を追跡するための方法に関する。この方法は、建物への入口の近くに配置された少なくとも１つの高周波（ＲＦ）ノードによって、建物への入口近くの複数の人物が携帯するＲＦ送信モバイルデバイスからＲＦ信号を受信することを含む。複数の人物が建物への入口の近くにいる間、複数の人物の画像が捕捉される。少なくとも１つのＲＦノードによって受信されたＲＦ信号と関連付けられた情報に基づいて、各ＲＦ送信モバイルデバイスの識別名と、各ＲＦノードからの各ＲＦ送信モバイルデバイスの角位置とが判定される。複数の人間及び配向マーカが、捕捉された画像内で検出される。画像内で検出された各人間に対する画像内の配向マーカの位置と、各ＲＦノードに対する各ＲＦ送信モバイルデバイスの判定された角位置とに基づいて、各ＲＦ送信モバイルデバイスの識別名が、画像内で検出された複数の人間のうちの１人に割り当てられることによって、各個人が建物中を移動するときに光学的に位置を特定されるべきその個人を識別する。

【0014】

例示的な一実施形態では、相対信号強度インジケータ（ＲＳＳＩ）値が、各ＲＦ送信デバイスから受信されたＲＦ信号について判定され、各ＲＦノードからの各ＲＦ送信デバイスの推定距離が、そのＲＦ送信デバイスからＲＦノードによって受信されたＲＦ信号についてのＲＳＳＩ値に基づいて計算され、画像内で検出された複数の人間のうちの１人に各ＲＦ送信デバイスの識別名を割り当てるときに、各ＲＦノードからの各ＲＦ送信デバイスの推定距離が使用される。

【0015】

例示的な一実施形態では、画像内で検出された複数の人間のうちの１人によって保持される携帯電話が画像内で検出され、画像内で検出された人間のうちの誰が検出された携帯電話を保持しているかに基づいて、捕捉された画像内で検出された複数の人間のうちの１人に各ＲＦ送信デバイスの識別名を割り当てるように更に構成されている。

【0016】

別の例示的な実施形態では、ＲＦ送信モバイルデバイスは、少なくとも１つのＲＦノードに対するＲＦ送信モバイルデバイスの角位置に基づいて、角度順に配置され、画像内に捕捉された人間は、捕捉された画像内で検出された複数の人間の相対位置に基づいて角度順に配置され、捕捉された画像内で検出された複数の人間のうちの１人に各ＲＦ送信モバイルデバイスの識別名を割り当てることは、画像内で検出された人間の角度順とＲＦ送信モバイルデバイスの角度順とを比較することを含む。捕捉された画像内の人間の角度順は、捕捉された画像内で検出された人間の角度順がＲＦ送信モバイルデバイスの角度順と比較される前に、少なくとも１つのＲＦノードに対して再配列され得る。

【0017】

別の例示的な実施形態では、建物中の識別された各個人の位置が、その識別された個人を捕捉する連続画像を比較することによって光学的に追跡される。

【0018】

更に別の例示的な実施形態では、所与のＲＦ送信モバイルデバイスによって送信されるＲＦ信号に関連付けられる情報は、買い物リストを含む。建物を通る経路は、買い物リスト上の品目に基づいて判定され得、経路は、所与のＲＦ送信モバイルデバイスの画面上に表示するために所与のＲＦ送信モバイルデバイスに送信され得る。

【0019】

更に別の例示的な実施形態では、建物内の所与の識別された個人の現在位置を搬送する無線信号は、少なくとも１つのＲＦノードから、所与の識別された個人が携帯するＲＦ送信モバイルデバイスに送信され得る。

【0020】

更に別の例示的な実施形態では、各ＲＦ送信モバイルデバイスの位置は、少なくとも１つのＲＦノードから受信されたＲＦ送信モバイルデバイスの角位置に基づいて計算される。ＲＦ送信モバイルデバイスは、少なくとも１つのＲＦノードに対するＲＦ送信モバイルデバイスの計算された位置に基づいて、深度順に配列される。捕捉された画像内で検出された人間は、捕捉された画像内で検出された人間の相対位置に基づいて深度順に配列される。捕捉された画像内で検出された複数の人間のうちの１人に各ＲＦ送信モバイルデバイスの識別名を割り当てることは、画像内で検出された人間の深度順とＲＦ送信モバイルデバイスの深度順とを比較することを含む。

【0021】

別の実施形態によれば、本発明は、建物内の個人の位置を追跡するためのシステムに関する。システムは、建物への入口の近くに配置された少なくとも１つの高周波（ＲＦ）ノードを備える。少なくとも１つのＲＦノードは、建物への入口近くの複数のＲＦ送信デバイスからＲＦ信号を受信するＲＦ受信機チャネルを有する。システムは、建物への入口の近くに配置された少なくとも１つのカメラを更に備える。少なくとも１つのカメラは、複数の人物が建物への入口の近くにいる間に、複数の人物の画像を捕捉する。システムのコントローラは、少なくとも１つのＲＦノードと通信して、少なくとも１つのＲＦノードのＲＦ受信機チャネルによって受信されたＲＦ信号と関連付けられた情報を取得し、かつ少なくとも１つのカメラと通信して、捕捉された画像を取得する。コントローラは、各ＲＦ送信デバイスの識別名と、少なくとも１つのＲＦノードの各ＲＦノードに対するＲＦ送信デバイスの位置を、少なくとも１つのＲＦノードの各ＲＦノードからコントローラによって取得されたＲＦ信号に関連付けられた情報に基づいて判定し、少なくとも１つのカメラからコントローラによって取得された画像内の複数の人間を検出し、画像内の配向マーカを検出し、画像内で検出された複数の人間のうちの１人に各ＲＦ送信デバイスの識別名を、画像内で検出された各人間に対する画像内の配向マーカの位置と、少なくとも１つのＲＦノードの各ＲＦノードに対するそのＲＦ送信デバイスの判定された位置とに基づいて、割り当てるように構成されている。

【0022】

これらの例示的な態様及び実施形態の更に他の態様、実施形態、及び利点は、以下で詳細に論じる。本明細書に開示される実施形態は、本明細書に開示される原理のうちの少なくとも１つと一致する任意の様式で他の実施形態と組み合わせることができ、「一実施例」、「実施形態」、「いくつかの実施形態」、「代替の実施形態」、「様々な実施形態」、「一実施形態」などの言及は、必ずしも相互に排他的ではなく、記載された特定の特徴、構造、又は特性が少なくとも１つの実施形態に含まれ得ることを示すことが意図されている。本明細書におけるそのような用語の出現は、必ずしも全てが同じ実施形態を指すものではない。

【図面の簡単な説明】

【0023】

少なくとも１つの実施形態の様々な態様は、縮尺通りに描かれることを意図するものではない添付図面を参照して以下に論じる。図面は、様々な態様及び実施形態の例示及び更なる理解を提供するために含まれ、本明細書に組み込まれ、本明細書の一部を構成するが、本発明の限界の定義として意図されていない。図面において、様々な図に示される同一又は略同一の各構成要素は、同様の数字で表す。明確にするために、全ての構成要素が全ての図面でラベル付けされ得るわけではない。図面において、

【図1】本発明の特定の態様による、個人化ナビゲーションシステムの一実施例のブロック図である。

【図2】本発明の特定の態様による、個人化ナビゲーションシステムで構成された事業所の間取り図の一実施例を示す図である。

【図3】本発明の特定の態様による、買い物客の携帯するモバイルデバイスの画面上に現れ得るような、事業所の間取り図の例示的なディスプレイである。

【図4】本発明の態様による、事業所内の小売棚の正面に棚カメラと買い物客を追跡する通路カメラとを含むシステムの一実施例を示す図である。

【図5】事業所の入口に位置する複数の人物を区別するように構成された個人化ナビゲーションシステムの一実施例を示す図である。

【図6】事業所の入口に位置する複数の人物を区別するためのプロセスの一実施形態のフローチャートである。

【図7】事業所の入口に位置する複数の人物を区別するためのプロセスの別の実施形態のフローチャートである。

【発明を実施するための形態】

【0024】

特定の態様及び実施形態による個人化ナビゲーションシステムは、高周波（ＲＦ）技術と光学撮像技術との組み合わせを使用して、事業所で複数の人物を識別及び追跡し、ソフトウェアに個別化情報と事業所内での個別化ナビゲーション経験とを複数の人物に提供する。以下でより詳細に論じるように、人物は、買い物リスト又はサービス要求などの情報を個人化ナビゲーションシステムに提供することができ、例えば、それに応じて個人化ナビゲーション又は他の情報を受信することができ、その人物が事業所で効率的に目的を達成することを支援される。このようにして、事業所での人物の経験を向上させることができる。

【0025】

一実施形態によれば、個人化ナビゲーションシステムは、ＲＦ技術を使用して事業所への入口に近づく買い物客を最初に識別し、光学技術を使用して買い物客が事業所に到達して入った後の買い物客の動きを検出及び追跡する。ナビゲーションシステムと協働するために、買い物客は、ＲＦ送信及びＲＦ受信機能を備えたモバイルデバイス（例えば、スマートフォン又はスマートウォッチ）を携帯する。特定の実施形態では、モバイルデバイスは、買い物客及び買い物客の買い物リストの識別名を含むＲＦ信号を伝送する特定のアプリケーションソフトウェアを実行する。買い物客は、アプリケーションソフトウェアを取得し、それを「アプリストア」からモバイルデバイスにダウンロードすることができる。多くの事業所は、現在、ＲＦ送信機、ＲＦ受信機、及びビデオカメラを備えており、有利なことに、本明細書に記載のナビゲーションシステムは、この既存のＲＦ及びビデオ機器へのいかなるハードウェア修正も必要としない。

【0026】

図１は、少なくとも１つのＲＦノード１２０を用いて事業所１１０で動作するように構成された個人化ナビゲーションシステム１００の一実施例を示す。１２０－１～１２０－ｎ（ｎは正の整数番号である）で示された任意の数のＲＦノードが含まれ得る。ＲＦノード１２０－１～１２０－ｎはそれぞれ、対応するＲＦ受信機アンテナ１３０－１、１３０－ｎ（まとめて１３０）を含む。任意選択的に、各ＲＦノード１２０はまた、ＲＦ送信アンテナ（図示せず）を有することができる。各ＲＦノード１２０は、事業所１１０の入口又はその近くに配置することができる。事業所１１０の例としては、食料品店、スーパーマーケット、デパート、ハードウェア店、倉庫、及び小売店が含まれるが、これらに限定されない。一般に、事業所１１０の入口近くのＲＦノード１２０の位置は、本明細書に記載されるように、モバイルデバイス１４０が事業所の個人化ナビゲーションを提供するアプリケーションソフトウェアを実行しているという条件で、入口に近づく人物に関連付けられたＲＦ送信モバイルデバイス１４０の検出を容易にする。モバイルデバイス１４０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ、又は近距離無線通信（ＮＦＣ）などの無線通信技術を使用して、ＲＦノード１２０のうちの１つ以上と通信する。事業所１１０が複数の入口を有し、少なくとも１つのＲＦノード１２０が各入口に配置された場合、個人化ナビゲーションシステム１００は、どのＲＦノード１２０がモバイルデバイス１４０を検出するかに基づいて、人物がどの入口に入ろうとしているかを認識することができる。

【0027】

典型的な動作中、モバイルデバイス１４０を持った人物が、事業所（すなわち、建物）１１０への入口に近づく。モバイルデバイス１４０は、個人化ナビゲーションアプリを実行し、ＲＦ信号を伝送する。特定の実施例では、ＲＦ信号は、人物に関連付けられた識別子を搬送し、その識別子により、事業所１１０のオペレータが人物を認識する。例えば、識別子は、人物の氏名、電話番号、事業所に接続された報酬プログラム番号、又は他の識別情報を含み得る。ＲＦ信号はまた、人物が事業所１１０の訪問時に見つけることを望む品目を識別する人物の買い物リストを搬送することができる。典型的には、人物は、事業所１１０を訪問する前に、この買い物リストを準備してもよいが、買い物リストは、人物が事業所１１０に到着する前又は後に、任意の時点で作成又は編集することができる。

【0028】

人物がＲＦ受信機アンテナ１３０の範囲内にあるとき、モバイルデバイス１４０は、ＲＦノード１２０との通信を確立する。特に、特定の実施例では、モバイルデバイス１４０は、ＲＦノード１２０に識別子及び買い物リストを送ることができる。モバイルデバイスは追加的又は代替的に、例えば、事業所１１０において特定のサービスを実行する技術者又は同様の修理スタッフに向けて、命令又は他の情報のセットなどのその他のデータをＲＦノード１２０に送ってもよい。特定の実施例では、ＲＦノード１２０は、識別子及び買い物リスト又は他のデータをコンピュータ処理ユニット（コントローラとも呼ばれる）１５０に転送し、コンピュータ処理ユニット１５０は、この識別子を使用して、識別子に関連する人物に関連付けられた情報が存在するデータベース１６０にアクセスすることができる。この情報は、例えば、人物による事業所１１０への過去の訪問の記録を含むことができる。コンピュータ処理ユニット１５０及びデータベース１６０は事業所１１０内にあるように図１に示されているが、その代わりに、広く「クラウド」と広く称される、コンピュータのサードパーティネットワーク及びサーバなどの他の場所に存在してもよい。

【0029】

図２は、様々な通路２１０－１～２１０－７（まとめて２１０）と、店舗全体に配置されたビデオカメラ２２０－１～２２０－ｎ（まとめて２２０）とを有する事業所１００の間取り図２００の簡単な例を示し、好ましくは、訪問者が歩くことができる事業所１００の内部の全範囲を提供する。事業所１００はまた、１つ以上のＲＦ送信機２３０及びネットワークデバイス２４０を含むことができる。各ビデオカメラ２２０、各ＲＦノード１２０、及び各ＲＦ送信機２３０は、無線又は有線通信リンク（図示せず）によってネットワークデバイス２４０と通信する。ネットワークデバイス２４０は、一実施形態では、クラウド２５０上に存在するコンピュータ処理ユニット１５０（上述するように図１に示す）と通信する。有線又は無線通信リンク２６０は、ネットワークデバイス２４０を中央処理装置１５０に接続する。

【0030】

上述のように、事業所１１０内の人物の追跡は、光学技術を使用して、具体的には、事業所１１０全体に位置するビデオカメラ２２０から画像を捕捉及び処理することによって達成することができる。一実施形態によれば、個人化ナビゲーションシステムの典型的な動作中に、ビデオカメラ２２０は、それらの視野内で画像を連続的に捕捉する。少なくとも１つのビデオカメラ２２０を、事業所１１０の各入口に近接して配置して、事業所に入る人物の画像を取得することができる。いくつかの実施形態では、事業所１１０に入る全ての人物の画像が取得され得るように、入口の周りの領域の視野全体、又は少なくとも機能的に十分な視野を提供するように、複数のビデオカメラ２２０を各入口に近接して配置することができる。上述したように、アプリケーションソフトウェアを実行して、個人化ナビゲーションシステム１１０と連動するように構成されたモバイルデバイス１４０を有する人物（被追跡人物と呼ぶ）が事業所１１０の入口に到達すると、その入口のＲＦノード１２０が、識別子、及び任意選択的に、その他の情報（買い物リストなど）をモバイルデバイス１４０から受信する。同時に、入口近傍のビデオカメラ２２０（複数可）は入口の周りの領域の画像を捕捉し、これらの画像の少なくともいくつかは被追跡人物を含むべきである。上述したように、特定の実施例では、コンピュータ処理ユニット１５０は、どのＲＦノード１２０が人物を検出し、各ＲＦノードの位置を認識したかに基づいて、人物が事業所１１０に入るために使用した入口を認識する。したがって、コンピュータ処理ユニット１５０は、どのビデオカメラ又は複数のカメラ２２０が、人物の画像を捕捉する位置にあるかを認識する。これらのビデオカメラ２２０は、捕捉された画像をネットワークデバイス２４０に送り、ネットワークデバイスは、捕捉された画像を中央処理装置１５０に送信する。中央処理装置１５０は、画像内の人物を検出し、検出された人物を最後に取得された識別子及び買い物リストと関連付けるように適合された画像処理技術を実行する画像プロセッサを含む。

【0031】

画像を処理して画像内の人物を識別するための技術は、当該技術分野で既知であり、そのような画像処理技術は、中央処理装置１５０によって実行することができる。例えば、画像プロセッサは、個人の手の中のスマートフォンについて、関連する入口に配置されたビデオカメラ２２０－１によって捕捉された画像を調べるように適合させることができ、これらの画像は、個人が個人化ナビゲーションシステム１００と連動していることを示し得る。代替的に又は追加的に、画像プロセッサは、人物の頭部又は手について、捕捉された画像を調べるように適合させることができる。中央処理装置１５０は、入口に位置するビデオカメラ２２０－１の視野内に入る次の人物が、その入口に位置するＲＦノード１２０－１と通信した人物と同じであると予想するため、検出された人物が、受信された識別子及び買い物リストに関連付けられる。いったん人物が画像内で識別され、受信された識別子と関連付けられると、個人化ナビゲーションシステム１００は、人物が事業所１１０を通って移動するときに人物を追跡し案内する。

【0032】

追跡は、通路２１０の中に位置する様々なビデオカメラ２２０から画像を収集し、これらの画像を処理して被追跡人物を追うことによって達成することができる。特定の実施例では、中央処理装置１５０は、１つのカメラ視野から別のカメラの視野に動的に移動するときに被追跡人物の動きを追って、事業所１１０内の人物の位置を動的に登録及び更新する。一実施例では、ビデオカメラ１２０は並列に動作し、ビデオカメラの全て又は一部が、中央処理装置に同時に画像を提供する。画像は、図２に示されるように、事業所１１０のマップ又はレイアウトに合成させることができる。 いくつかの実施例では、合成させることができる。 いくつかの実施例では、ビデオカメラ２２０のうちの２つ以上は、少なくとも部分的に重複する視野を有することができ、他の実施例では、異なるビデオカメラ２２０が、事業所１１０の異なる領域を監視するために使用される。ビデオカメラ２２０は、異なる視点で画像を捕捉し得る。中央処理装置は、各画像の見え方の歪みを除去することによって画像を平坦化し、得られた補正画像をマップに合成することができる。画像を合成するために、画像スティッチング技術を使用することができる。

【0033】

特定の実施例では、画像スティッチングプロセスは、最初に、様々な重複度で画像間の関係を発見することができるアルゴリズムを使用して、画像のアライメントを実行する。これらのアルゴリズムは、映像安定化、要約、及びパノラマモザイクの作成などの用途に適し、これらの用途はカメラ２２０から捕捉された画像で使用することができる。アライメントが完了した後、画像スティッチングアルゴリズムは、そのようなアルゴリズムによって生成された推定値を取得し、視差や場面の動きによって引き起こされるブレ又はゴーストなどの起こり得る問題だけでなく、事業所１１０内で変動する画像露光を考慮に入れつつ、シームレスに画像を融合する。様々な画像スティッチングアルゴリズム及びプロセスは、当該技術分野で既知であり、そのような画像処理技術は、中央処理装置１５０によって実行することができる。

【0034】

被追跡人物が１つの視点から別の視点に移動するとき、又は１つのカメラ２２０によって見られ、他のカメラからは見られていないときに、ハンドオフを行うことができる。これらのハンドオフは、中央処理装置１５０上で並列に動作する画像を使用して行われてもよく、被追跡人物の位置及び動きは、被追跡人物の最良の視野を有するカメラ２２０によって判定される。

【0035】

特定の実施例では、ビデオカメラ２２０は、深度センサを含むことができる。そのような実施例では、画像スティッチング操作を省略することができ、各カメラストリームデータは、変更、人物検出、及び認識のために、個別に処理される。次いで、結果として得られる「関係領域」は、（以下で更に説明される）個々の点群に変換され、単一の共通座標系に変換される。このプロセスに使用される並進及び回転変換は、互いに対するビデオカメラ（及びそれらの関連する深度センサ）の位置及び配向に基づく。一実施例では、１つのカメラが主センサとして選ばれ、他の全てのカメラデータが主座標系に変換されて、画像スティッチング手順と同じ最終結果、すなわち、センサ間の被追跡人物の実際の位置の統合を達成する。

【0036】

いくつかの実施例では、中央処理装置１５０は、事業所の間取り図に関する既知の情報を使用して、ビデオカメラ２２０から取得された画像に基づく人物の識別及び追跡を支援することができる。例えば、中央処理装置は、通路２１０に沿った棚の既知の形状及び位置を使用して、基準点を提供することができる。時として、被追跡人物は、カメラの視野内で、例えば、別の人物、機器、又は棚によって遮断される場合がある。個人化ナビゲーションシステム１００は、被追跡人物の過去に判定された位置を記憶し、複数の画像フレームと比較して、一時的な遮断後の被追跡人物の位置を再特定するように構成することができる。以下で更に論じるように、個人化ナビゲーションシステム１００は、事業所１１０全体にわたって被追跡人物に提案される経路を提供するように構成することができ、したがって、中央処理装置は、被追跡人物の予測将来位置を使用して、一時的遮断後の人物の位置を再特定することができる。

【0037】

特定の実施形態によれば、中央処理装置１５０は、任意選択的に深度情報を補足した画像処理プロセスを実行して、上述のように人物を追跡することができる。単一開口の二次元（２Ｄ）光学画像捕捉デバイス（すなわち、ビデオカメラ２２０）は、平面（フィルム、ＣＣＤなど）上に２Ｄ画像情報を捕捉することができる。三次元（３Ｄ）情報を取得するために、典型的には、追加のデータの取得を必要とする。三次元データは、複数のビデオカメラ２２０を使用するか、又は１つ以上のビデオカメラを１つ以上の深度センサと組み合わせることによって取得することができる。ビデオカメラ２２０は、可視光、赤外光、又は他の光学波長範囲を利用することができる。深度センサは、光を物体に伝送する赤外線、レーザー、又は他の波長エミッタに基づくことができる。深度センサは、典型的には、光を反射又は後方散乱させる物体までの距離を判定する。あるいは、深度センサは、音響信号を利用して距離を判定することができる。一実施形態では、深度感知は、ビデオカメラ２２０に組み込まれる。

【0038】

画像フレームは、ビデオカメラ２２０から取得される。深度感知機能を備えたビデオカメラシステムは、典型的には、映像（例えば、ＲＧＢ、ＣＹＭＧ）及び深度フィールド情報を出力する。映像は、任意選択的に、ＭＰＥＧなどの周知の形式に符号化されてもよい。光学情報及び深度情報は、共にスティッチングされる。（深度画像を捕捉するために使用される）ＯｐｅｎＣＶ又はＯｐｅｎＮＩなどの開放ライブラリは、光学情報及び深度情報を共にスティッチングすることを可能にする。代替的に、個人化ナビゲーションシステム１００のユーザは、光学画像及び深度センサによって生成される３Ｄ情報又はオブジェクトデータを生成するためのカスタマイズされたソフトウェアを開発することができる。

【0039】

最初の較正は、複数の画像フレームにわたって実行されて、２Ｄ光学画像及び深度感知の両方の背景情報を判定することができる。較正中、安定した背景光学（ＲＧＢ）及び深度情報が、例えば、データベース１６０に記憶され得るまで、背景抽出中に任意の動き（例えば、人々）が抽出又は無視される。較正は、定期的に実行され得るか、又は例えばエラーが検出された場合に個人化ナビゲーションシステム１００によって開始され得る。

【0040】

較正が完了した後、得られた空間フィルタマスクを使用して、各ビデオカメラ２２０の「関係領域」を抽出することができる。例えば、事業所１１０への入口近くに位置するビデオカメラの場合、関係領域は、背景と前景（人物がいると予想される領域）との間の領域に対応し得、それにより、壁、ドア、又は他のインフラストラクチャ（背景のため）以外及び検出された人物以外の全てが無視される。この背景及び前景の無視は、監視されている関係領域の深度閾値内のデータに集中させる。代替的に、「関係領域」は、人物が後の認識ステップにおいてどこにいるかを確認するために、場面の異なる部分、例えば、前景を含むことができ、システム要件に応じて拡張又は短縮させることができる。一般に、関係領域は、人物追跡を実行するための焦点内にある場面の任意の切り欠きに適用される。

【0041】

特定の実施形態によれば、複数の画像フレーム（例えば、Ｎ－１及びＮ）が取得及び比較され、特定の実施例では、画像フレームは、上述のように、ＲＧＢ（色）データに加えて深度情報を含むことができる。画像及び深度情報をノイズについてフィルタリングし、次いで、処理して２つのフレーム間の差が存在するかどうかを判定することができる。これは、エッジ検出、閾値及び差分アルゴリズム、又は他の画像処理技術を用いて行うことができる。特定の実施例では、画像フレームを比較するために深度センサからの情報も処理される。システムは、画像フレーム間の変化、特に、検出された人物の位置又は配向の変化を使用して、人物の動きを追跡することができる。いくつかの実施形態では、変化検出は、処理速度を増加させるために関係領域に限定することができる。

【0042】

一実施形態では、関係領域が決定されると、ＯｐｅｎＮＩ及びＯｐｅｎＣＶを介して取得及び処理されたＲＧＢ及び／又は深度画像上で実行される「２Ｄ－３Ｄ」データ表現変換のためのアルゴリズムを介して、「点群」がビデオカメラの外部及び内部パラメータを使用して生成される。一実施形態では、ポイントクラウドライブラリを使用することができる。ポイントクラウドライブラリから生成されたオブジェクト形状及び位置情報を使用して、エッジ検出、色検出、オブジェクト認識、及び／又はシーン内の人物の存在を判定するための他のアルゴリズムを用いて、三次元で人物を識別し、追跡する。例えば、オブジェクト情報が人間の形状である場合、プロセスは人物を追跡し続ける。しかしながら、サイズ、形状、又は他の外観情報が、オブジェクトが人物でないことを示す場合、人物が検出されるまでその後の画像フレームを分析することができる。いくつかの実施例では、ビデオカメラ２２０によって捕捉された画像は、２人以上の人物を含み得る。したがって、プロセスは、被追跡人物の予想される特徴及び／又は外観属性と画像フレーム内で検出された人物とを比較して、正しい人物を追跡し続けることができる。

【0043】

上述のように、中央処理装置１５０は、ビデオカメラ２２０から取得された画像をマップに合成して、識別された人物が事業所を移動するときに彼らを追跡することができる。特定の実施例では、モバイルデバイス１４０上で動作するアプリケーションソフトウェアは、事業所１１０の間取り図のマップ又は同様のマップビュー若しくは仮想レイアウトを表示して、被追跡人物が事業所内のそれらの位置を見ることができるように構成することができる。中央処理装置１５０は、ネットワークデバイス２４０を介して、ＲＦ送信機２３０にコマンドを送信し、被追跡人物の更新位置を搬送するＲＦ信号を送信することができ、更新位置は上述のように画像処理技術を使用して判定することができる。モバイルデバイス１４０は、ＲＦ受信機で、これらの信号を受信し、アプリケーションソフトウェア内の人物の更新位置を登録し、これにより、モバイルデバイス１４０上に表示される事業所１１０の仮想レイアウト内の人物の位置を示すことができる。

【0044】

図３は、被追跡人物の携帯するモバイルデバイス１４０（図１）の画面上に現れ得る、通路２１０を伴う事業所１１０の間取り図の例示的なディスプレイ３００を示す。 この実施例では、矢印３１０は、被追跡人物の現在位置を示す。上述のように、個人化ナビゲーションシステム１００、及びモバイルデバイス１４０上で実行されるアプリケーションソフトウェアは、識別子と共に受信された情報に基づいて、事業所を通って被追跡人物を誘導するように構成することができる。例えば、買い物リストが提供される場合、個人化ナビゲーションシステム１００は、通路２１０内の買い物リスト上の品目が位置する場所を識別する事業所１１０からの情報にアクセスすることができる。一実施例では、中央処理装置１５０（図１、図２）は、モバイルデバイス１４０との最初のＲＦ通信によって取得された買い物リストを検査して、事業所１１０内の全ての品目の位置を記憶するデータベースにアクセスする。中央処理装置は、買い物リスト上の品目の説明をデータベース内の製品ＳＫＵ又は他の識別情報と照合して、事業所１１０内の各品目の位置を取得するように更に構成することができる。データベースは、事業所１１０のオペレータから取得され、定期的に更新される個人化ナビゲーションシステム１００の一部とすることができるか、又はデータベースは、事業所のオペレータによって保持され、クラウド２５０を介して、個人化ナビゲーションシステムによって（例えば、中央処理装置１５０によって）アクセスすることができる。

【0045】

図３では、方向を示す破線３２０は、事業所１１０を介して提案された経路を識別する。中央処理装置１５０が買い物リストを検査し、買い物リスト上の所望の品目３３０が事業所１１０内に位置する場所を識別した後、品目を効率的に取得するための事業所内の経路３２０が提案される。一実施形態では、経路は、全ての品目を取得するための最短距離に基づく。別の経路は、人物を最初に非生鮮又は非冷蔵品目に方向付け、経路の最後に生鮮又は冷蔵品目を残すこととすることができる。中央処理装置１５０は、ＲＦ送信機２３０を介して、マップ及び品目情報をモバイルデバイス１４０に送信する（図２）。モバイルデバイス１４０上で実行されるアプリケーションソフトウェアは、被追跡人物の買い物リスト上の品目に基づいて経路３２０を表示する。ビデオカメラによって提供される測位情報及び較正を補足するために、モバイルデバイス１４０は、慣性センサを有することができる。慣性感知を使用して位置決め情報を向上させる技術は、２０１５年２月１７日発行の「Ｐｏｓｉｔｉｏｎ Ｔｒａｃｋｉｎｇ Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｕｓｉｎｇ Ｒａｄｉｏ Ｓｉｇｎａｌｓ ａｎｄ Ｉｎｅｒｔｉａｌ Ｓｅｎｓｉｎｇ」と題された米国特許第８，９５７，８１２号に記載されており、その全体が参照により本明細書に組み込まれる。他の実施例では、ＲＦ送信／受信機能を有する追加のＲＦノード（ＲＦノード１２０と同様）を使用して、ビデオカメラによって提供される測位情報を補足し、個人化ナビゲーションシステム１００の追跡機能を向上させることができる。

【0046】

所望の品目３３０を識別することに加えて、中央処理装置１５０は、人物が関心を持ち得る品目について、その品目が買い物リストにない場合でも、人物の現在位置がその品目の位置に近づくときに人物に通知することができる。そのような広告は、例えば、人物の買い物履歴に基づくことができる。上述したように、特定の実施例では、モバイルデバイス１４０からＲＦノード１２０（したがって、中央処理装置１５０に）に提供される情報は、サービス要求を含むことができる。したがって、そのような実施例では、所望の品目３３０の位置を表示する代わりに、又はそれに加えて、サービスデスクの位置又は他の関連情報をマップ上に表示することができ、経路３２０は、人物をその位置に誘導するように構成することができる。

【0047】

図４を参照すると、本開示の別の態様は、客が事業所１１０で買い物をする際に取得する製品の記録をとって、人物の買い物リストと統合し、買い物客の必要性を排除することができる製品追跡及び清算システム４００である。このシステム４００により、客４１０は、製品４１２、４１４のうちのいずれか又は全てを棚４１６から取り出し、それらをカートに入れ、取得した製品と製品を取得した人物を登録し、自動的に製品の代金を支払い、清算システムを通過する必要なく小売システムによって自動的に記録された製品購入を店舗に残すことができる。このシステムの態様は、客の買い物プロセスの速度及び経験を向上させ、小売業者のレジ係のコストを低減することができる。

【0048】

例えば、小売業者のコストは、そこで棚上の在庫及び／又は客がこれらの棚から取り出した物を自動的に記録にとり、客が店舗から取得した物の状況を把握して棚上の在庫を管理するシステムを用いて低減させることができる。在庫及び客が棚から持ち去った製品を追跡できることで、レジ係又は余剰のスタッフが常に棚に向かい、どの品目が交換及び補充を必要とするかを調べる必要性を排除することによって、原価基準を改善することができる。更に、システムは、被追跡人物が発見し取得した品目に基づいて、被追跡人物から受信される買い物リストを更新し、被追跡人物の進行に基づいて、表示される経路３２０を更新することができる。

【0049】

画像処理の変形は、棚及び製品の追跡に使用できると理解される。システム４００の一態様は、棚に対面して、どの製品が客によって持ち去られたかを視認する製品認識カメラ４２０を含む。システムは、棚に焦点を合わせて、どんな製品があるか、及びどの製品が持ち去られたかを確認する、視野角４２２を有する１つ以上の第１の棚対面カメラ４２０を有してもよい。しかしながら、２人の人が同じ領域内の製品に手を伸ばし、可能性として、個々の製品に手を伸ばしている間に腕を交差させる、及び／又は棚上の製品に手を伸ばし掴むときに１つ以上の製品認識カメラ４２０の視野を遮断することがあり得るため、１つ以上の棚焦点製品認識カメラ４２０では十分でない場合がある。

【0050】

したがって、システムの一実施形態は、追加の外向き（通路に対面する）カメラ４３０を組み込んでいる。したがって、システムのこの実施形態の態様は、一体型アームマウント４４０上に少なくとも２つのカメラを含む。少なくとも１つの第１の製品追跡カメラ４２０は、棚上の製品に焦点を合わせるように配向され、少なくとも１つの第２の通路追跡カメラ４３０は、通路及び買い物を行う客に焦点を合わせるように配向される。両カメラはビデオカメラとすることができ、両カメラは、上述のように、事業所全体に配置されて、事業所１１０の内部全体をカバーするビデオカメラ２２０－１～２２０－ｎ（まとめて２２０）のビデオカメラとすることができる。したがって、本実施形態では、少なくとも１つのカメラ４２０（「棚追跡カメラ」）を、主に棚上の製品認識のために使用することができ、少なくとも１つの追加のカメラ４３０（「通路追跡カメラ」）を、主に客が到達する位置を確認する客骨格追跡のために使用することができる。

【0051】

システム４００のこの実施形態のいくつかの利点は、少なくとも１つの通路追跡カメラ４３０を使用して通路及び買い物客に焦点を合わせることによって、システムが、棚対面カメラ４２０又は他のビデオカメラ２２０のうちのいずれかの正面に立つ買い物客からの遮断の問題を排除できることである。更に、第１の棚対面カメラ４２０及び第２の通路対面カメラ４３０の組み合わせはまた、仮に２人の買い物客が同じ領域内で製品に手を伸ばして、腕を交差させる、又はカメラを隠すかして、取得された製品に対して誤った客に請求を行う可能性がある場合でも、カメラが取得されたアイテムを混同するのを防止することができる。

【0052】

２つのカメラを有するシステム４００のこの実施形態の態様は、少なくとも１つの第１のカメラ４２０及び少なくとも１つの第２のカメラ４３０から、買い物客登録、買い物客動き追跡、小売棚上の製品の識別、在庫追跡、及び棚上の製品の数の監視などの複数の機能を達成することを含むことができる。

【0053】

典型的には、複数の人物が、所与の瞬間に事業所の入口に入っている及び／又は入口から出ていることがある。更に、彼らのうちの２人以上は、その瞬間にＲＦ送信モバイルデバイスを動作させていることがあり、入口の近くに位置する個人化ナビゲーションシステムのＲＦノードが、複数のモバイルデバイスと通信することがある。加えて、その瞬間に入口又はその近くに通過する他の人々はモバイルデバイスを携帯していないことがある、又はモバイルデバイスをオフにしていることがある。本明細書に記載の個人化ナビゲーションシステムは、個人化ナビゲーションに参加する人々の間、及び参加者と非参加者との間を区別するように構成される。参加者とは異なり、非参加者は、個人化ナビゲーションシステムとのＲＦ通信を通じて相互作用していないが、参加者と同様に、非参加者は、事業所全体で依然として光学的に追跡され得る。

【0054】

カメラ及びシステムの態様はまた、例えば赤外線感知で達成することができる色感知、比較及び深度検知を含むことができると理解される。第１の棚追跡カメラ４２０は、色感知と深度感知のいずれか又は両方を使用して、製品位置を登録し、棚上の実際の製品を認識することができる。第２の通路追跡カメラ４３０は、深度検知を使用して、骨格追跡を実行し、客が到達しようとしている位置を確認することができる。どの客が棚上のどの製品を選択したかという確認は、製品の識別及び（棚からの）持去りを検出する棚カメラ４２０、品目に対する人物の腕の位置、及び持ち去り時に実際に通路カメラ４３０によって提供される客の手の中の品目によって達成される。これらの２つのカメラの機能の融合は、棚から何が、どの買い物客によって取り出されたかを確認するためのはるかに堅牢な方法を提供する。

【0055】

図５は、事業所１１０の入口を通過する個人を互いに同時に又は隣同士で区別するように構成された個人化ナビゲーションシステム１００の実施形態を示す。入口の近くには、１つ以上のＲＦノード１２０－１、１２０－２（まとめて１２０）及び１つ以上のカメラ２２０（図面を単純化するために１つのみを示す）が位置する。各ＲＦノード１２０は、対応するＲＦ受信機アンテナ１３０－１、１３０－ｎ（まとめて１３０）及びＲＦ送信機（図示せず）を有する。一実施形態では、各ＲＦノード１２０は、既知の空間分離（複数可）を有する２つ以上のアンテナ（又はアンテナ素子）から構成されるアンテナアレイを有する。少なくとも受信機アンテナのそれぞれで受信されたＲＦ信号間のタイミング差は、ＲＦノードによって使用されて、ＲＦ信号の到着角を推定する。アンテナアレイのアンテナを多重化するための多重化技術の例は、２０１４年６月１０日発行の「Ｍｕｌｔｉｐｌｅｘｉｎｇ Ｒｅｃｅｉｖｅｒ Ｓｙｓｔｅｍ」と題された米国特許第８，７４９，４３３号に記載されており、その全体が参照により本明細書に組み込まれる。

【0056】

各ＲＦノード１２０及び各カメラ２２０は、固定位置にあり、各電子機器の相対位置（すなわち、カメラ２２０間、ＲＦノード間、各カメラ２２０と各ＲＦノード１２０との間の水平及び上下角度並びに距離）を知るコントローラ１５０と通信している。各カメラ２２０は、事業所入口の近くの領域をカバーする視野５１０を有する。前述したように、コントローラ１５０は、カメラ２２０（複数可）によって捕捉された画像内の人物を検出し、検出された人物を、人物のモバイルデバイスによって送信され、最近ＲＦノードによって受信された識別子と関連付けるように構成されている。

【0057】

図５に示されるように、複数の人物５００－１、５００－２、５００－３（まとめて５００）が、（入るか出るかにかかわらず）事業所入口の近くに同時に存在する。個人５００－１及び５００－２は、それぞれＲＦ送信モバイルデバイス１４０－１、１４０－２を携帯している。各モバイルデバイス１４０－１、１４０－２は、前述したように、事業所の個人化ナビゲーションを提供するアプリケーションソフトウェアを実行しており、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ、又は近距離無線通信（ＮＦＣ）などの無線通信技術を使用して、ＲＦノード１２０－１、１２０－２のうちの１つ以上と通信している。このアプリケーションソフトウェアは、背景で実行することができる、すなわち、個人は、アプリケーションを意図的に作動させて、ＲＦノードとハンドシェイクを行う必要がない。アプリケーションは、参加要求のための背景ブロードキャスト又はリスニングである。背景でアプリケーションを動作させることにより、モバイルデバイス１４０は、その無線通信範囲に入ると、各ＲＦノード１２０と自動的に接続する。通信を同期させるために、各モバイルデバイス１４０は、それが通信する各ＲＦノード１２０とハンドシェイクする。この実施例では、個人５００－３は、ＲＦノード１２０とＲＦ通信するモバイルデバイスを携帯していないか、又は実行していない。カメラ２２０（複数可）は、これらの全ての個人５００－１、５００－２、５００－３を含む画像を捕捉する。すなわち、コントローラは、単一の捕捉画像において、全ての個人５００－１、５００－２、５００－３を検出し得る。本明細書に記載されるように、コントローラ１５０は、どの受信された識別子が、捕捉された画像内で検出されたどの人物に対応するか、及びどの検出された人物が、ＲＦノード１２０と通信するためのＲＦ送信モバイルデバイスを有していないか、又は使用していないかを判定するように構成される。

【0058】

図６は、事業所の入口に位置する複数の人物間を区別するためのプロセス６００の一実施形態を示し、そのうちの少なくとも１人は、ＲＦ送信モバイルデバイスを携帯し動作させている。例示の目的で、個人５００－２及び５００－３が入口を横並びに通過し、引き続き屋内に入る一方、個人５００－１は入口内で立ち止まると考える。個人５００－１、５００－２のモバイルデバイス１４０－１、１４０－２は、それぞれＲＦノード１２０－１、１２０－２と通信し（ステップ６０２）、自身の識別子を送信し、それとほぼ同時に又はその直後に、カメラ２２０が、３人の個人全員を含む画像を捕捉する（ステップ６０４）。

【0059】

各ＲＦノード１２０が、各モバイルデバイス１４０から受信した無線信号について受信信号強度インジケータ（ＲＳＳＩ）を導出し、そのＲＳＳＩ測定値を対応する識別子と関連付ける（ステップ６０６）。一般に、モバイルデバイスがＲＦノード１２０に近いほど、受信信号が強くなる。ステップ６０８で、ＲＦノードは、ＲＳＳＩ測定値及び関連付けられた識別子を送信し、カメラは、捕捉された画像をコントローラに送信する。コントローラは、カメラが画像を捕捉した時点と、ＲＦノードがＲＦ信号を受信した時点のときの近い共時性のために、捕捉された画像をＲＳＳＩ測定値及び関連付けられた識別子と関連付ける。コントローラはまた、ＲＦノード同士及びカメラに対するＲＦノードの相対位置を知っており、どのＲＦノードがどのＲＳＳＩ値を送信したかを追跡する。

【0060】

ステップ６１０で、コントローラは、画像内の３人の個人を検出し、カメラに対する検出された個人の深度順を確立する。この深度順の判定は、カメラ又はカメラに較正された深度センサによって取得される深度情報を使用してもよい。コントローラは、各ＲＦノードの視点から、又は各ＲＦノードに対して、画像内の人間の深度順を再配列することができ、それにより、算出されたＲＳＳＩ値に基づくＲＦノードの距離順と、カメラによって捕捉された画像から導出される深度順との比較を容易にする。

【0061】

この実施例では、コントローラは、２つのモバイルデバイスのみのＲＳＳＩ及び識別子情報を受信する。コントローラのタスクは、各識別子と、適切なモバイルデバイス、すなわち、画像内で検出された個人のうちの適切な１人とをマッチングさせることである。

【0062】

受信信号強度インジケータから、コントローラは、ＲＦ送信源（すなわち、モバイルデバイス）までの近似距離を計算することができる。ＲＳＳＩ値を提供するＲＦノードの数が大きいほど、コントローラは、（例えば、三角測量又はマルチラテレーションによって）それらのＲＦノードに対する各モバイルデバイスの位置を推定することができる。代替的に、コントローラは、相対位置又は距離推定値を計算することなく、それらの対応するＲＳＳＩ値に基づいて、モバイルデバイスに対する最近から最遠順を推定することができる。コントローラは、ＲＦノード１２０－１に対する、及びＲＦノード１２０－２に対する距離順で、ＲＦ送信モバイルデバイスを配列する（ステップ６１２）。

【0063】

ＲＦノード１２０－１、１２０－２及びカメラ２２０の既知の位置並びにカメラ角度を使用して、コントローラは、画像内で検出された人物の深度順と、ＲＦノード１２０によって提供された信号強度インジケータに基づく、モバイルデバイスについて決定された距離順（複数可）とを比較する（ステップ６１４）。比較に基づいて、コントローラは、識別子を検出された個人とマッチングさせる（ステップ６１６）。

【0064】

例えば、図５の個人５００の例示的な位置に基づいて、ＲＦノード１２０－１は、モバイルデバイス１４０－１の信号強度がモバイルデバイス１４０－２の信号強度よりも大きいと判定する一方、ＲＦノード１２０－２は、その反対のことが当てはまると分かる。例えば、コントローラは、ＲＳＳＩ値から、モバイルデバイス１４０－１がＲＦノード１２０－１から約６フィート離れ、ＲＦノード１２０－２から約９フィート離れており、モバイルデバイス１４０－２がＲＦノード１２０－１から約１１フィート離れ、ＲＦノード１２０－２から約４フィート離れていると計算することができる。したがって、計算された推定距離から、各ＲＦノードに対するモバイルデバイスの距離順が明らかになる。よって、コントローラ１５０は、モバイルデバイス１４０－１がモバイルデバイス１４０－２よりもＲＦノード１２０－１に近いと分かる。

【0065】

更に、捕捉された画像では、コントローラは３人の人々を検出し、各人物のカメラからの相対距離を判定することができる。画像に関連付けられる深度情報は、この相対距離の判定に役立ち得る。各カメラに対する、及び互いに対するＲＦノード１２０－１、１２０－２の位置は既知であるため、コントローラは、個人（すなわち、おそらくはモバイルデバイスを携帯する人物）に識別子を暫定的に割り当てることができる。ＲＳＳＩ値、任意の信号強度ベースの距離計算、モバイルデバイスの距離順、及び画像内で検出された人間と関連付けられた深度情報が、これらの割当てを誘導する。他の情報は、意思決定プロセスを更に強化することができる。例えば、入口は、幅１６フィートであってもよく、これは、カメラから及びＲＦノードからのおおよその可能な上限距離を提供し、入口を通過する人物の位置を確立するのに役立つ。コントローラはまた、隣接する個人間の画像において検出されるギャップを考慮することができる。他のインジケータ、例えば、入口の上方又は両側の壁又は棚上など、カメラ（複数可）の視野内に意図的に配置及び較正された配向マーカは、判定を支援することができる。柱、梁、空気ダクト、天井タイル、パイプ、窓、ドア、棚、及びカウンタを含むが、これらに限定されない、事業所に固有の固定された特徴が、配向マーカとして機能することができる。別の実施例として、ＲＦノード（複数可）は、入口においてカメラの視野内に入ることができ、よって、カメラは、複数の個人５００を捕捉する同じ画像内にＲＦノードを捕捉することができる。画像処理中、次に、コントローラは、画像内のＲＦノードの位置を配向点として使用して、ＲＦノードに対して検出された各人間の位置を判定するのを助けることができる。

【0066】

カメラによって捕捉された画像の更なる画像処理を使用して、曖昧さを解解消することもできる。例えば、コントローラは、検出された個人の手の中のモバイルデバイスを検出しようと試みることができる。しかしながら、電話はオフにしてもよく、又は個人化ナビゲーションシステムと通信しなくてもよいため、人の所有する携帯電話を検出することは不確実である。更に、動作中のＲＦ送信モバイルデバイス電話は、人物のハンドバッグ又はポケット内に隠すことができるため、人の所有する携帯電話を検出しないことも同様に不確実である。その不確実な性質にかかわらず、そのような情報を使用して、携帯電話と画像内で検出された人間との正確なマッチングの信頼レベルを高めることができる。

【0067】

その利用可能な全ての情報に基づいて、コントローラは、例えば、ＲＦノード１２０－１に最も近いモバイルデバイスをカメラに最も近い画像内の人物５００－１に割り当て、ＲＦノード１２０－１から最も遠いモバイルデバイスをカメラに次に近い画像内の人物５００－２に割り当てる。曖昧さが残っている（すなわち、正しいマッチングのための信頼レベルが閾値を超えない）場合、例えば、全ての個人、例えば、個人５００－３がＲＦ送信モバイルデバイスを携帯しているわけではないため、又は個人が互いに近づいて歩いているため、コントローラは、複数のＲＦノード１２０－１、１２０－２から追加のＲＳＳＩ情報を収集して、各携帯電話への二次元範囲情報を判定することができる（ステップ６１８）。ここでも、ＲＦノードの数が大きいほど、範囲の判定がより正確になる。この近似方向情報を使用して、捕捉された画像内のスマートフォンを持った個人の位置を較正し、スマートフォンを携帯していない個人と区別することができる。

【0068】

単一のＲＦノード（例えば、１２０－１）からのＲＳＳＩ測定値は、コントローラが、そのＲＦノードからのモバイルデバイス間の相対距離を判定し、画像内で検出された人間との適切なマッチングを見出すのに十分であり得る。ＲＳＳＩ値に基づくカメラからＲＦノードまで、ＲＦノードから各モバイルデバイスまでの距離、及び深度情報に基づくカメラから各検出された人間までの距離は既知であるか、又は計算されるため、コントローラは、各モバイルデバイスの近似位置を計算し、それらを画像内で検出された人間にマッチングさせることができる。前述したように、他の視覚的配向マーカ及び／又は（後続のＲＳＳＩ情報を介した）その後の視覚的及びＲＦ追跡が、判定を助けることができる。

【0069】

図７は、事業所の入口に位置する複数の人物を区別するための別のプロセス７００の一実施形態を示す。人々のうちの少なくとも１人は、（前景又は背景サービスのいずれかとして）前述のアプリケーションソフトウェアを実行するＲＦ送信モバイルデバイスを携帯して又は動作させて、事業所のＲＦノード１２０と通信する。例示の目的で、個人５００－１、５００－２、及び５００－３（図５）が入口の近くにいるものと考える。個人５００－１、５００－２のモバイルデバイス１４０－１、１４０－２は、それぞれＲＦノード１２０－１、１２０－２と通信し（ステップ７０２）、自身の識別子を送信し、それとほぼ同時に又はその直後に、カメラ２２０が、３人の個人全員を含む画像を捕捉する（ステップ７０４）。

【0070】

このプロセスの場合、各ＲＦノード１２０は、アンテナアレイを有し、各モバイルデバイス１４０から来る無線信号の到着角を推定し、到着角測定値を、対応する識別子と関連付ける（ステップ７０６）。各ＲＦノード１２０は、アンテナアレイの個々のアンテナにおけるＲＦ信号の到着時間差（ＴＤＯＡ）を測定することによって、アンテナアレイに入射するＲＦ信号の方向を判定することができる。ＲＦノードは、アンテナアレイ内の各アンテナ又はアンテナ素子によって受信されたＲＦ信号の位相差を測定することによって、このＴＤＯＡ測定を行うことができる。これらの時間差から、ＲＦノードは、ＲＦ信号の到着角を計算することができる。本明細書で使用される場合、この到着角は、ＲＦ信号源、すなわちモバイルデバイス１４０の角位置又は角度線に対応する。２つ（又はそれ以上）のＲＦノード１２０において所与のモバイルデバイスについての角位置データを有することにより、そのモバイルデバイスの位置に対応する交点の計算が可能になる。到着角を計算するためのＴＤＯＡ以外のアプローチも、当該技術分野で既知であり、本明細書に記載の原理から逸脱することなく使用することができる。

【0071】

ステップ７０８で、ＲＦノードは、計算された到着角（すなわち、角位置）測定値及びそれらの関連付けられた識別子を送信し、カメラは、捕捉された画像をコントローラに送信する。コントローラは、カメラが画像を捕捉した時点と、ＲＦノードがＲＦ信号を受信した時点のときの近い共時性のために、捕捉された画像を角位置測定値及び関連付けられた識別子と関連付ける。コントローラはまた、ＲＦノード同士及びカメラに対するＲＦノードの相対位置を知っており、どのＲＦノードがどの角位置測定値を送信したかを追跡する。

【0072】

ステップ７１０で、コントローラは、画像内の３つの個人５００－１、５００－２、５００－３を検出し、カメラに対する検出された個人の角度アライメント及び／又は深度順を判定する。角度アライメントは、画像内の個人の左右又は右左の外観に対応する。例えば、カメラの視点から、画像内で個人５００－２は個人５００－１及び５００－３の間にいて、個人５００－３は個人５００－２の左側に、個人５００－１は個人５００－２の右側にいる。深度順の判定は、カメラ又はカメラに較正された深度センサによって取得される深度情報を使用してもよい。

【0073】

コントローラは、各ＲＦノードの視点からの又は各ＲＦノードに対する画像内の人間の角度アライメント及び／又は深度順を再配列することができる。この再配列は、そのＲＦノードによって判定された角位置に従って、画像内の個人の角度アライメントと、モバイルデバイスの角度アライメントとの比較を容易にする。

【0074】

この実施例では、コントローラは、画像内で捕捉された３つのモバイルデバイス１４０－１、１４０－２のうちの２つのみの角位置及び識別子情報を受信する（図５）。コントローラのタスクは、各識別子と、適切なモバイルデバイス、すなわち、画像内で検出された個人のうちの適切な１人とをマッチングさせることである。

【0075】

受信された角位置又は計算された角位置から、コントローラは、ＲＦ送信源（すなわち、モバイルデバイス）の近似位置を計算することができる。到着角又は角位置を提供するＲＦノードの数が多いほど、コントローラは、それらのＲＦノードに対する各モバイルデバイスの位置を、（例えば、２つのＲＦノードからの角度線の交点、又は３つ以上のＲＦノードからの到着角での三角測量若しくはマルチラテレーションによって）より正確に推定することができる。

【0076】

代替的に、又は追加的に、コントローラは、相対位置又は距離推定値を計算することなく、それらの対応する角位置に基づいて、モバイルデバイスの左右（又は左右）の配置を推定することができる（ステップ７１２）。例えば、ＲＦノード１２０－１、１２０－２によって計算された角位置に基づいて、コントローラは、ＲＦノード１２０－１の視点からモバイルデバイス１４０－２がモバイルデバイス１４０－１の左側にあると判定し、ＲＦノード１２０－２の視点からモバイルデバイス１４０－２がモバイルデバイス１４０－１の右側にあると判定する。

【0077】

ＲＦノード１２０－１、１２０－２及びカメラ２２０の既知の位置並びにカメラ角度を使用して、コントローラは、画像内で検出された人物の角度アライメントと、ＲＦノード１２０によって提供された角位置に基づく、モバイルデバイスについて決定された角度アライメント又は角度順とを比較できる（ステップ７１４）。比較に基づいて、コントローラは、識別子を検出された個人とマッチングさせる（ステップ７１６）。例えば、コントローラは、ＲＦノード１２０－１により右側のモバイルデバイス１４０－１を画像内の右端の人物５００－１に割り当て、ＲＦノード１２０－１により左側のモバイルデバイス１４０－２を画像内の人物５００－１の人物５００－２に割り当てることができる。このマッチングは、携帯電話１４０の数が画像内で検出された人物の数と一致する場合（例えば、個人５００－３が捕捉された画像になかった場合）、曖昧さなく動作することができる。また、ＲＦノード１２０のうちの１つのみによって提供される角位置に基づいて、モバイルデバイスについて判定された角度順を使用して実行することができるが、２つ以上のＲＦノードを使用して精度を向上させることもできる。

【0078】

代替的に、又は追加的に、コントローラは、（例えば、２つの角度線の交点を計算することによって）ＲＦノード１２０－１、１２０－２によって提供される角位置に基づいて、各モバイルデバイスの位置を計算することができる。この位置は、（基準点、例えば、カメラからの）深度成分を有する。コントローラは、モバイルデバイスについて計算された位置の深度成分に基づいて、モバイルデバイスを深度順でランク付けすることができる。次いで、コントローラは、この深度順を、捕捉画像内の個人の深度順にマッチングさせることができる。

【0079】

モバイルデバイスから個人への（又は個人からモバイルデバイスからへの）正確なマッチングの助けとして、特にモバイルデバイスを使用していない個人５００－３などの個人が曖昧さを引き起こす可能性がある場合、コントローラは複数のＲＦノード１２０－１、１２０－２からＲＳＳＩ情報を収集して、携帯電話の各々に対する二次元範囲情報を判定し、前述のように個人をモバイルデバイスに一致させる（ステップ７１８）。したがって、コントローラは、信号強度情報を使用して、到着角の計算に基づくマッチングを補足することができる。ここでも、ＲＦノードの数が大きいほど、このＲＳＳＩベースの範囲の判定がより正確になる。この近似距離情報を使用して、捕捉された画像内のスマートフォンを持った個人の位置を較正し、スマートフォンを携帯していない個人（例えば、個人５００－３）と区別することができる。

【0080】

当業者に理解されるように、本発明の態様は、システム、方法、及びコンピュータプログラム製品として具現化されてよい。したがって、本発明の態様は、完全にハードウェアで、ソフトウェアで（ファームウェア、プログラムコード、常駐ソフトウェア、マイクロコード）、又はハードウェアとソフトウェアとの組み合わせで完全に具現化されてよい。更に、本発明の態様は、コンピュータプログラム製品であって、コンピュータプログラム製品上に具現化されたコンピュータ可読プログラムコードを有する１つ以上のコンピュータ可読媒体内に記憶された、コンピュータプログラム製品の形態であってもよい。

【0081】

１つ以上のコンピュータ可読媒体の任意の組み合わせを利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体であっても、コンピュータ可読ストレージ媒体であってもよい。コンピュータ可読媒体は、非一時的なコンピュータ可読ストレージ媒体であってもよく、その実施例としては、電子、磁気、光学、電磁、赤外線、又は半導体システム、装置、若しくはデバイス、あるいはこれらの任意の好適な組み合わせが挙げられるが、これらに限定されない。

【0082】

本明細書で使用される場合、コンピュータ可読ストレージ媒体は、命令実行システム、装置、デバイス、コンピュータ、コンピューティングシステム、コンピュータシステム、あるいは命令、コマンド、若しくはデータをインプット、処理、及びアウトプットする任意のプログラマブル機械若しくはデバイスによって、又はこれらと関連して使用するためのプログラムが含まれ得るか、又は当該プログラムを記憶し得る、任意の有形媒体であってもよい。コンピュータ可読ストレージ媒体の特定の実施例の非網羅的なリストには、１つ以上のワイヤを有する電気的接続、ポータブルコンピュータディスケット、フロッピーディスク、ハードディスク、ランダムアクセスメモリ（random access memory、ＲＡＭ）、読み出し専用メモリ（read-only memory、ＲＯＭ）、ＵＳＢフラッシュドライブ、不揮発性ＲＡＭ（ｎｏｎ－ｖｏｌａｔｉｌｅ ＲＡＭ、ＮＶＲＡＭ若しくはＮＯＶＲＡＭ）、消去可能なプログラマブル読み出し専用メモリ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＥＰＲＯＭ若しくはフラッシュメモリ）、フラッシュメモリカード、電気的に消去可能なプログラマブル読み出し専用メモリ（electrically erasable programmable read-only memory、ＥＥＰＲＯＭ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（compact disc read-only memory、ＣＤ－ＲＯＭ）、ＤＶＤ－ＲＯＭ、光学ストレージデバイス、磁気ストレージデバイス、又はこれらの任意の好適な組み合わせが含まれる。

【0083】

コンピュータ可読信号媒体は、例えば、ベースバンド内に又は搬送波の一部として、内部に具現化されたコンピュータ可読プログラムコードを有する伝播データ信号を含み得る。かかる伝播信号は、電気磁気、光学、又はこれらの任意の好適な組み合わせを含むが、これらに限定されない、様々な形態のいずれかをとることができる。コンピュータ可読信号媒体は、コンピュータ可読ストレージ媒体ではなく、命令実行システム、装置、又はデバイスによって、若しくはこれに関連して使用するためのプログラムを通信するか、伝播するか、又は運ぶことができる、任意のコンピュータ可読媒体であってもよい。本明細書で使用される場合、コンピュータ可読ストレージ媒体は、コンピュータ可読伝播信号媒体でも、伝播信号でもない。

【0084】

プログラムコードは、例えば、ソースコード、オブジェクトコード、インタープリタ型コード、実行可能コード、又はこれらの組み合わせとして、コンピュータ可読ストレージ媒体上又はコンピュータ可読ストレージ媒体内に記憶されたコンピュータ可読命令として具現化され得る。任意の標準若しくはプロプライエタリのプログラミング言語又はインタープリタ型言語を使用して、コンピュータ実行可能命令を生成することができる。かかる言語の例としては、Ｃ、Ｃ＋＋、Ｐａｓｃａｌ、ＪＡＶＡ（登録商標）、ＢＡＳＩＣ、Ｓｍａｌｌｔａｌｋ、Ｖｉｓｕａｌ Ｂａｓｉｃ、及びＶｉｓｕａｌ Ｃ＋＋が挙げられる。

【0085】

コンピュータ可読媒体上に具現化されたプログラムコードの伝送は、無線、有線、光ファイバケーブル、無線高周波（ＲＦ）、又はこれらの任意の好適な組み合わせを含むが、これらに限定されない、任意の適切な媒体を使用して行うことができる。

【0086】

プログラムコードは、モバイルデバイス１４０などのユーザのデバイス上で全体的に、ユーザのデバイス上で部分的に、スタンドアロン型のソフトウェアパッケージとして、ユーザのデバイス上で部分的に、及びリモートコンピュータ上で部分的に、又はリモートコンピュータ若しくはサーバ上で全体的に実行することができる。任意のかかるリモートコンピュータが、ローカルエリアネットワーク（local area network、ＬＡＮ）又はワイドエリアネットワーク（wide area network、ＷＡＮ）を含む任意のタイプのネットワークを通じてユーザのデバイスに接続され得るか、又はその接続が、（例えば、インターネットサービスプロバイダを使用してインターネットを通じて）外部コンピュータに対して行われ得る。

【0087】

更に、本発明の方法は、専用コンピュータ、プログラムされたマイクロプロセッサ若しくはマイクロコントローラ及び周辺集積回路要素（複数可）、ＡＳＩＣ若しくは他の集積回路、デジタル信号プロセッサ、別個の要素回路などのハードワイヤード電子回路若しくは論理回路、ＰＬＤ、ＰＬＡ、ＦＰＧＡ、ＰＡＬなどのプログラマブル論理デバイスなどで実装することができる。概して、状態機械であって、本明細書で提案される方法を実装することができる、状態機械を実装することができる任意のデバイスを使用して、本発明の原理を実装することができる。

【0088】

更に、開示される方法は、様々なコンピュータ又はワークステーションプラットフォーム上で使用され得るポータブルソースコードを提供する、オブジェクト又はオブジェクト指向型ソフトウェア開発環境を使用して、ソフトウェアに容易に実装され得る。代替的に、開示されるシステムは、標準論理回路又はＶＬＳＩ設計を使用して、ハードウェアに部分的に又は完全に実装され得る。本発明によりシステムを実装するためにソフトウェア又はハードウェアのどちらを使用するかは、システム、特定の機能、並びに利用中の特定のソフトウェア若しくはハードウェアシステム、又はマイクロプロセッサ若しくはマイクロコンピュータシステムの速度及び／又は効率要件に依存する。しかしながら、本明細書に例示の方法は、本明細書に提供される機能的説明から、並びにコンピュータ及び画像処理技術の一般的な基本知識を用いて、当業者によって、任意の既知の若しくは後に開発されたシステム又は構造、デバイス、及び／若しくはソフトウェアを使用して、ハードウェア及び／又はソフトウェアに容易に実装され得る。

【0089】

更に、開示される方法は、プログラムされた汎用コンピュータ上、専用コンピュータ上、マイクロプロセッサ上などで実行されるソフトウェアに容易に実装され得る。これらの例では、本発明のシステム及び方法は、ＪＡＶＡ（登録商標）又はＣＧＩスクリプトなどのパーソナルコンピュータに埋め込まれたプログラムとして、サーバ又はグラフィックスワークステーション上に常駐するリソースとして、プラグインなどとして実装され得る。システムはまた、システム及び方法をソフトウェア及び／又はハードウェアシステムに物理的に組み込むことによって実装され得る。

【0090】

少なくとも１つの実施形態のいくつかの態様を上述したが、当業者は様々な変更、修正、及び改善が容易に生じることを理解するであろう。このような変更、修正、及び改善は、本開示の一部であることが意図され、本発明の範囲内であることが意図される。本明細書で論じる方法及び装置の実施形態は、上述の説明に記載した、又は添付の図面に示した構成の詳細及び構成要素の配置への適用に限定されるものではない。方法及び装置は、他の実施形態において実施可能であり、様々な方法での実践又は実行が可能である。具体的な実施態様の例は、例示を目的として本明細書で提供されるものであり、限定することを意図するものではない。また、本明細書で使用する表現及び用語は、説明を目的としており、限定するものと見なされるべきではない。「含む（including）」、「含む（comprising）」、「有する（having）」、「含有する（containing）」、「含む（involving）」、及びこれらの変形例は、その後に列挙された品目及びその等価物並びに追加の品目を包含することを意味する。「又は」への言及は、「又は」を使用して説明される任意の用語が、単一の、２つ以上の、及び全ての記載した用語のいずれかを示し得るように、包括的に解釈されてよい。前後、左右、上下、上下、垂直及び水平への任意の言及は、説明上の便宜を意図したものであり、本システム及び方法又はその構成要素を任意の１つの位置方向又は空間方向に限定するものではない。したがって、前述の説明及び図面は単なる例であり、本発明の範囲は、添付の「特許請求の範囲」の適切な構成及びそれらの等価物から決定されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【国際調査報告】