IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ラモント,カールの特許一覧

特表2022-511769オブジェクトを位置特定するためのシステム、方法、および機器
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-02-01
(54)【発明の名称】オブジェクトを位置特定するためのシステム、方法、および機器
(51)【国際特許分類】
   G01S 5/02 20100101AFI20220125BHJP
   G06K 7/10 20060101ALI20220125BHJP
   G01S 19/14 20100101ALI20220125BHJP
【FI】
G01S5/02 Z
G06K7/10 244
G01S19/14
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021529739
(86)(22)【出願日】2019-11-27
(85)【翻訳文提出日】2021-07-26
(86)【国際出願番号】 US2019063765
(87)【国際公開番号】W WO2020113111
(87)【国際公開日】2020-06-04
(31)【優先権主張番号】62/772,205
(32)【優先日】2018-11-28
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/514,048
(32)【優先日】2019-07-17
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.JAVA
2.SMALLTALK
3.VISUAL BASIC
4.BLUETOOTH
(71)【出願人】
【識別番号】521226495
【氏名又は名称】ラモント,カール
(74)【代理人】
【識別番号】100082072
【弁理士】
【氏名又は名称】清原 義博
(72)【発明者】
【氏名】ラモント,カール
【テーマコード(参考)】
5J062
【Fターム(参考)】
5J062AA09
5J062CC07
5J062CC18
5J062FF01
(57)【要約】
【解決手段】
オブジェクト位置特定技術の複数の組み合わせを利用して、オブジェクトを位置特定し、そしてユーザーをそれらに誘導するシステムが提供され、該システムは、オブジェクトおよび/またはユーザーの事前定義された画像とともに表示される拡張現実を使用して、信頼できる所有者認識および所有権検証を提供する。
【選択図】図1A
【特許請求の範囲】
【請求項1】
位置タグに取り付けられているオブジェクトを位置特定するためのシステムであって、前記システムは、
表示を有している第1のユーザー装置と、
前記第1のユーザー装置とペアリングされ、位置シグナルを生成する、第1の位置タグと、を含み、
前記第1のユーザー装置は、
前記位置シグナルを受信し、
前記位置シグナルに基づいて方向ベクトルを生成し、
前記位置タグの位置を示す、前記位置シグナルに基づいて、前記表示上に、方向要素を生成かつ表示し、そして、
前記位置シグナルの受信時に、表示上に、前記オブジェクトと関係する識別情報を生成かつ表示する、ようにプログラムされる、システム。
【請求項2】
前記方向要素が、拡張現実ディスプレイ上に重ねて表示される、請求項1に記載のシステム。
【請求項3】
前記位置タグが、ビーコンタグ、RFIDタグ、またはGPSタグの少なくとも1つをさらに含む、請求項1に記載のシステム。
【請求項4】
前記位置タグが、前記オブジェクトの所有権を示す可視的印刷物を含む、請求項1に記載のシステム。
【請求項5】
前記方向要素が、前記位置タグの方を指す、アニメ化された矢印である、請求項1に記載のシステム。
【請求項6】
前記識別情報が、所有者の名前、所有者の写真、前記オブジェクトと関係する写真、またはフライト情報の1つ以上を含む、請求項1に記載のシステム。
【請求項7】
前記方向要素が、画像認識アルゴリズムに基づいている、請求項1に記載のシステム。
【請求項8】
位置タグに取り付けられているオブジェクトを位置特定するためのシステムであって、前記システムは、
データベースに接続された、プロセッサを有する、サーバーと、
前記サーバーと通信する、第1のユーザー装置と、
前記第1のユーザー装置とペアリングされた、位置タグと、
前記サーバーおよび前記位置タグと通信する、第2のユーザー装置と、を含み、
前記第2のユーザー装置は、
前記位置タグのIDを示す、前記位置タグからの第1のデータを受信し、
前記第2のユーザー装置の位置を示す、第2のデータを識別し、
前記第1のデータと前記第2のデータを前記サーバーに送信する、ようにプログラムされ、
前記第1のユーザー装置は、
前記第1のユーザー装置の位置を示す、第3のデータを識別し、
位置リクエストメッセージを前記サーバーに送信する、ようにプログラムされ、
前記サーバーは、
前記第1のデータ、前記第2のデータ、および前記位置リクエストメッセージを受信し、
前記第1のデータに基づいて、前記第1のユーザー装置の前記位置タグとのペアリングを識別し、
オブジェクト位置アラートを、前記第2のデータを含む、前記第1のユーザー装置に送信する、ようにプログラムされ、
前記第1のユーザー装置は、
前記第2のデータを前記第3のデータと比較し、そして、
比較に基づいて、前記位置タグの位置のためのプロキシとして、前記第2のユーザー装置の位置への第1の可視的ダイレクタを有する、表示を生成する、ようにさらにプログラムされる、システム。
【請求項9】
前記第1のユーザー装置が、前記位置タグと通信しており、そして、前記第1のユーザー装置が、
ビーコンシグナルから前記第1のデータを受信し、
前記ビーコンシグナルの強度を決定し、
前記ビーコンシグナルの前記強度に基づいて、複数の確率円を構築し、
前記複数の確率円からオーバーラップ座標のセットを導き出し、
前記オーバーラップ座標に基づいて、図心を計算し、
前記第1のユーザー装置の位置を示す、第4のデータを識別し、
前記第1のユーザー装置の前記位置と前記図心との間の方向ベクトルを計算し、そして、
方向ベクトルに基づいて、前記図心に対する第2の可視的ダイレクタを有する、表示を生成する、ようにプログラムされる、請求項8に記載のシステム。
【請求項10】
前記第1のユーザー装置が、
前記第1のユーザー装置の動作を示すセンサポジションデータを受信する工程と、
前記複数の確率円の3つの確率円を取得する工程と、
前記3つの確率円から前記図心を導き出す工程と、の工程によって、前記複数の確率円を構築するように、さらにプログラムされる、請求項9に記載のシステム。
【請求項11】
前記第1のユーザー装置が、
シグナル強さと推定距離との表を参照して、前記複数の確率円の各確率円を構築する、
ようにさらにプログラムされる、請求項9に記載のシステム。
【請求項12】
前記第1のユーザー装置が、
【数1】
【数2】
の方程式に基づいて、前記図心を計算する、ようにさらにプログラムされ、
ここで、S(x)は、前記オーバーラップ座標のセット中の点への第1の距離であり、
(y)は、前記オーバーラップ座標のセット中の点への第2の距離であり、そして、
Aは、前記オーバーラップ座標によって定義される面積である、請求項9に記載のシステム。
【請求項13】
位置タグに取り付けられているオブジェクトを位置特定するためのシステムであって、前記システムは、
データベースに接続された、プロセッサを有する、サーバーと、
前記サーバーと通信する、複数のユーザー装置と、
各位置タグが、前記複数のユーザー装置の固有のユーザー装置とペアリングされる、複数の位置タグと、
長距離にある前記複数の位置タグを位置特定するための、前記複数のユーザー装置、前記複数の位置タグ、および前記サーバーと通信している、長距離タグ位置システムと、
短距離にある前記複数の位置タグを位置特定するための、前記複数のユーザー装置、前記複数の位置タグ、および前記サーバーと通信している、短距離タグ位置システムと、
超短距離にある前記複数の位置タグを位置特定するための、前記複数のユーザー装置、前記複数の位置タグ、および前記サーバーと通信している、超短距離タグ位置システムと、を含む、システム。
【請求項14】
前記長距離タグ位置システムが、長距離ビーコンシステム、GPSシステム、およびRFIDシステムの群の1つをさらに含む、請求項13に記載のシステム。
【請求項15】
前記短距離システムが、RFIDシステム、短距離ビーコンシステム、および画像認識システムの群の1つをさらに含む、請求項13に記載のシステム。
【請求項16】
前記超短距離システムが、超短距離ビーコンシステム、および画像認識システムをさらに含む、請求項13に記載のシステム。
【請求項17】
前記複数の位置タグの第1の位置タグが、ビーコンタグ、RFIDタグ、GPSタグ、および印刷媒体の群の1以上を含む、請求項13に記載のシステム。
【請求項18】
前記複数のユーザー装置の第1のユーザー装置であって、前記第1のユーザー装置が、
タグ識別シグナルを受信し、
前記タグ識別シグナルに基づいて、長距離モード、短距離モード、および超短距離モードの間の選択を行う、ようにプログラムされた、第1のユーザー装置、をさらに含み、
ここで、前記長距離モードが前記長距離タグ位置システムを起動し、
ここで、前記短距離モードが前記短距離タグ位置システムを起動し、そして、
ここで、前記超短距離モードが前記超短距離タグ位置システムを起動する、請求項13に記載のシステム。
【請求項19】
前記第1のユーザー装置が、
前記長距離タグ位置システム、前記短距離タグ位置システム、および前記超短距離タグ位置システムの群の1つによって提供される方向ベクトルに基づいて、拡張現実ディスプレイを提供する、ようにプログラムされる、請求項18に記載のシステム。
【請求項20】
前記第1のユーザー装置が、
前記拡張現実ディスプレイの前記オブジェクトと関係する、前記オブジェクトの画像、および情報データセットを提供する、ようにプログラムされる、請求項19に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2019年7月17日に出願された米国本出願第16/514,048、および2018年11月28日に出願された米国仮出願第62/772,205の利点を主張し、それらの両方は参照によって本明細書に組み込まれる。
【0002】
本発明の分野は、表示された拡張現実を使用して、オブジェクトを位置特定するためのシステムに広く関係する。より具体的には、本発明の分野は、バッジ、印刷されたペーパータグ、または任意の印刷媒体などの視覚的識別の使用を通じて、所有権を認証するシステムに関係する。本発明の分野はまた、オブジェクトを位置特定するための無線周波数ビーコンシグナル、画像認識、RFIDタグ、およびGPS追跡を利用するシステムに関係する。本発明の分野はまた、マップと方向を表示するシステムに関係する。
【背景技術】
【0003】
多くの状況において、物理的オブジェクトの追跡と所有者の明確な識別は有益である。例えば、空路での旅行という状況では、荷物が、その所有者から故意にまたは故意無く何度となく引き離され、それを位置特定する必要性が生じる。紛失した荷物を位置特定することは、空港で荷物を運ぶのに一般的に使用される様々な迷路のようなシステム、および、主要な航空会社によって必要とされる現在の標準的な荷物のサイズと形状によって困難になっている。一旦位置特定されても、無数の「そっくりな」バッグの中から紛失した荷物を特定することは、荷物の場所が大まかに特定されていたとしても、誤認の問題を生じさせる可能性がある。
【0004】
倉庫における状況でも、同様の問題が生じる。例えば、インターネット商取引は、標準化された配送ボックス内の無数の配送パッケージを、複雑なルーティングシステムを介して移動させ、地方の運送業者に到達させるという責務を負っている、フルフィルメント業者(fulfillment companies)をもたらした。バーコード化されているにもかかわらず、多くのパッケージが間違ったルートで送られ、位置特定のための物理的な追跡が必要となり、それよってシステム効率が落ち、発送コストの増加と発送遅延をもたらす。
【0005】
また、様々な物理的位置において、物理的オブジェクトを明確に特定する必要性も存在する。例えば、空港では、既知の追跡装置の使用に対して多くの障害が存在する。一般に、物理的オブジェクトのGPS追跡は、コンクリートや鋼製の建物の内部で遂行するのが難しく、これによって、空港ターミナルにおけるGPS追跡はほとんど無効化している。ほぼ同じように、RFID追跡の大規模な使用だけでは、荷物受け取り所の回転式コンベアー(carousel)や鋼製の安全柵などの鋼製構造物による無線干渉のせいで、不十分である。
【0006】
ほぼ同じように、GPS追跡システムとRFID追跡システムは、鋼製のラック、コンベアートラック、および可動式ロボットフォークリフトシステムのせいで、倉庫では無効化している。
【0007】
一旦物理的オブジェクトが位置特定されれば、その所有者を明確に関連付けて、誤った識別を防ぎ、そして所有権の主張が検証される必要がある。従来技術は、数字やバーコードを有する物理的ペーパータグを越えてバッグの所有権が認証されるシステムを提供していない。さらに、ペーパータグは、しばしば紛失したり変形したりして、役立たない状態になる。さらに、ペーパーによる識別タグは、窃盗防止にはほとんど役立つことがなく、また、一致するIDカードが紛失した場合には、荷物の明確な識別を提供することができなくなる。
【0008】
同じように、倉庫では、従来技術において、紙ラベルとバーコードを使用せずに発送パッケージを明確に識別することはできない。そうでもあっても、紙ラベルはスキャナによる識別を必要とし、そして、損傷や変形にさらされて役立たない状態になる。
【0009】
したがって、従来技術のシステムの制限を克服し、多数の鋼製の障壁を有する、コンクリートや鋼製の建物の内部で、物理的オブジェクトを位置特定する必要性が存在する。
【0010】
また、物理的アイテムを確実に位置特定することができ、そしてそれらを、脆弱で非効果的なペーパータグを使用せずに所有者と明確に関連付けることができるシステムの必要性も存在する。
【0011】
従来技術では、無線周波数識別子(RFID)タグや全地球測位システムを使用することによってオブジェクトを追跡するための、多くの現代的なシステムが存在する。しかし、それらのいずれも、業界におけるニーズに十分に対応していない。
【0012】
例えば、Nathan等の米国特許第9,664,510号は、複数のセンサタイプから取得されるデータを組み合わせることによって、オブジェクトを追跡するシステムと方法を開示する。しかし、Nathanは、画像認識、拡張現実、または所有権の検証された視覚的認証とのタグシステムの組み合わせを使用していない。
【0013】
August等の米国特許第6,489,244号は、無線周波数(RF)タグを使用する、荷物追跡を開示する。しかし、全地球測位、画像認識を伴うRFIDまたはビーコンシグナル、および拡張現実マッピングの組み合わせは開示されていない。
【0014】
Lauka等の米国特許第9,305,283号は、画像を使用して、RF識別子(RFID)タグをバーコードと関連付けることを開示する。しかし、Laukaは、全地球測位データ、画像認識を伴うビーコンシグナルおよび/またはRFIDタグ、およびタグ付けされたオブジェクトに関連するユーザー情報の表示の組み合わせを開示していない。
【0015】
Hymesの米国特許公報第2006/0256959号は、表示においてオブジェクトの位置を認識するための、空間的アドレス指定を開示する。しかし、画像認識を伴うビーコンシグナルと全地球測位との組み合わせは開示されていない。
【0016】
Changの米国特許第8,237,564号は、RFIDでタグ付けされたアイテムの位置を視覚化することが開示されている。しかし、Changは、全地球測位と画像認識を伴うビーコンシグナルとの組み合わせを開示しておらず、また、拡張現実のユーザーIDとの組み合わせも開示していない。
【発明の概要】
【0017】
好ましい実施形態では、ビーコンタグは、第1のユーザー装置によって受信される無線シグナルを提供する。第1のユーザー装置は、ビーコンタグと第1のユーザー装置の位置とを識別するサーバーへ、位置情報を送信する。その後、サーバーは位置情報を保存し、そして、第2のユーザー装置がオブジェクトの位置をリクエストすると、サーバーは第1のユーザー装置から第2のユーザー装置へ位置情報を送信する。オブジェクトが位置特定されると、第2のユーザー装置は、所有者の写真、および/またはオブジェクトに関連する説明的詳細を示すことを含む、価値あるオブジェクトの写真のいずれかを表示し、それによって所有権検証が行われ得る。
【0018】
別の好ましい実施形態では、ビーコンタグは、ユーザー装置の範囲内にあり、そしてユーザー装置によって受信される複数の無線シグナルを送信する。シグナルを受信した後、ユーザー装置は、ユーザー装置の位置に対するタグの位置を決定する。その後、ユーザー装置は、方向ベクトルを計算し、それを任意の拡張現実ディスプレイに表示して、ユーザーをオブジェクトに誘導する。
【0019】
他の好ましい実施形態では、異なる視点からの数千の画像を含む、オブジェクトのビデオが作成される。ビデオは、サーバーにアップロードされる。その後、サーバーは、ビデオを使用して、オブジェクト認識ファイルを生成する。オブジェクト認識ファイルは、ユーザー装置にダウンロードされる。画像認識プログラムは、オブジェクト認識ファイルを、ユーザー装置のカメラからのライブビデオフィードと比較する。オブジェクトが位置特定されると、その後、オブジェクトの位置を示すマーカーが(例えば、スクリーンまたは拡張現実装置上に)表示される。
【0020】
別の好ましい実施形態では、システムは、複数のユーザー装置、複数のタグ、およびオブジェクトに取り付けられた印刷媒体を提供する。ユーザー装置の各々は、タグの各々と通信している。しかし、ユーザー装置の各々は、1つの固有のタグとペアリングされている。この実施形態では、ユーザー装置の各々は、サーバーに最も近いタグの位置を報告する。その後、サーバーは、すべてのユーザー装置とすべてのタグの位置を作表する。その後、サーバーは、タグの場所をペアリングされているユーザー装置のID(identity/identities)に関連付け、最も近いユーザー装置の位置を、ペアリングされているタグの位置の推定値として使用して、各タグの位置をペアリングされているユーザー装置に報告する。
【0021】
別の好ましい実施形態では、システムは、オブジェクトの外部に付けられた印刷媒体を認識することによってオブジェクトのIDを提供し、そしてその後、拡張現実(例えば、スマートフォンのカメラディスプレイ上の画面オーバーレイ)を介して、通知をユーザーに表示する。
【0022】
別の好ましい実施形態では、システムは、RFIDアンテナ、レシーバ、およびプロセッサを含む複数のモジュールを提供する。モジュールは、RFIDタグをスキャンし、そして、識別が行われると、モジュールは、それらのGPSの位置をサーバーに伝達する。その後、タグとモジュールのGPS位置の近接性は、関連するユーザー装置に伝達される。この実施形態では、RFIDシステムは、それが補足的位置メカニズムとして有利となる物理的位置に配置される。
【0023】
別の好ましい実施形態では、システムは、各々が、プロセッサ、ネットワークアダプタ、およびGPSトランスポンダーを個々に含む複数のユーザー装置を提供する。各プロセッサは、そのGPS位置を、ネットワークアダプタを通じてシステムサーバーに周期的に報告するようにプログラムされ、その後、順次、システムサーバーが、情報をユーザー装置に伝達する。
【0024】
別の実施形態では、ビーコンタグ、RFIDタグ、およびGPSタグを組込むハイブリッドタグが提供され、システムの各々が組み合わせて使用されてもよい。
【0025】
別の実施形態では、ビーコンタグ、RFIDタグ、およびGPSタグをハイブリッドシステムで利用するシステムが提供され、このシステムは、オブジェクトの位置をユーザーに知らせるために、全ての位置タグから位置情報を受信する。
【0026】
別の実施形態では、システムは、印刷媒体、ビーコン、RFIDタグ、GPSタグ、または他の関係するアクション装置に関連する拡張現実を介して、即時のユーザーフィードバックを提供して、所有権の証明と共に、ユーザー装置の視覚的表示で、リアルタイムの位置情報と追跡サービスを視覚的に表示する。
【図面の簡単な説明】
【0027】
開示される実施形態は、添付の図面を参照して説明されるだろう。
図1A】オブジェクトを追跡するための、システムの好ましい実施形態のシステムアーキテクチャダイアグラムである。
図1B】RFIDタグに関連する、オブジェクトを追跡するための、補足的システムの好ましい実施形態のシステムアーキテクチャダイアグラムである。
図1C】GPSタグに関連する、オブジェクトを追跡するための、補足的システムの好ましい実施形態のシステムアーキテクチャダイアグラムである。
図2】オブジェクトを追跡かつ位置特定するための、サーバーの構成要素のアーキテクチャダイアグラムである。
図3】オブジェクトを追跡かつ位置特定するための、ユーザー装置の構成要素のアーキテクチャダイアグラムである。
図4A】オブジェクトを追跡かつ位置特定するための、ビーコンタグの構成要素のアーキテクチャダイアグラムである。
図4B】オブジェクトを追跡かつ位置特定するための、RFIDタグの構成要素のアーキテクチャである。
図4C】オブジェクトを追跡かつ位置特定するための、GPSタグの構成要素のアーキテクチャタグである。
図4D】位置タグで追跡される荷物の好ましい実施形態の図である。
図4E】位置タグで追跡される発送パッケージの図である。
図5A】システムの好ましい実施形態を初期化するルーチンのシーケンスダイアグラムである。
図5B】第1のユーザー装置が、第2のユーザー装置に関連付けられたビーコンタグの長距離位置を識別かつ報告する、好ましい方法のシーケンスダイアグラムである。
図5C】RFIDタグが装着されたオブジェクトの位置を識別かつ報告する、好ましい実施形態のシーケンスダイアグラムである。
図5D】GPSタグが装着されたオブジェクトの位置を識別かつ報告する、好ましい実施形態のシーケンスダイアグラムである。
図6A】長距離モード、短距離モード、および超短距離モードで、ビーコンタグ、RFIDタグ、またはGPSタグを追跡するための、好ましい方法のフローチャートである。
図6B】方向要素を計算かつ表示するための方法のフローチャートである。
図6C】ユーザー装置のための好ましい座標系を示すダイアグラムである。
図6D】表示矢印の配向を決定する好ましい方法のフローチャートである。
図6E】表示矢印の配向を決定する好ましい方法の図式的な例である。
図7A】短距離ビーコンタグ位置を決定し、かつ方向ベクトル定義を戻す方法の好ましい実施形態のフローチャートである。
図7B】ビーコンタグ位置を決定するための好ましい方法で使用される確率円と図心の図式的な描写である。
図7C】確率円から導き出された平面物体の図心の図式的な描写である。
図8】システムが超短距離にある時に、ビデオ画像からオブジェクトを識別する方法のシーケンスダイアグラムを示す。
図9A】長距離モードにおけるユーザー装置の表示画面の図である。
図9B】短距離モードにおけるユーザー装置の表示画面の図である。
図9C】超短距離モードにおけるユーザー装置の表示画面の図である。
図9D】超短距離モードにおけるユーザー装置の表示画面の代替の図である。
【発明を実施するための形態】
【0028】
本開示の態様は、ハードウェア全体に、(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)ソフトウェア全体に実装され得る、あるいは、すべて概して本明細書で「回路」、「モジュール」、「構成要素」、または「システム」と呼ばれるソフトウェアとハードウェアの実装を組み合わせる。さらに、本開示の態様は、コンピュータ可読プログラムコードを有する、1以上のコンピュータ可読媒体で具体化されたコンピュータプログラム製品の形状をとってもよい。
【0029】
1以上のコンピュータ可読媒体の任意の組み合わせが利用されてもよい。コンピュータ可読媒体は、コンピュータ可読シグナル媒体またはコンピュータ可読記憶媒体であってもよい。例えば、コンピュータ可読記憶媒体は、これらに制限されないが、電子、磁気、光学、電磁気、または半導体のシステム、機器、または装置、あるいはこれらの任意の適切な組み合わせであってもよい。コンピュータ可読記憶媒体のより具体的な例は、ユニバーサル・シリアル・バス(USB)スティック、ハードディスク、ランダム・アクセス・メモリ(「RAM」)、リード・オンリー・メモリ(「ROM」)、フラッシュ・メモリ、レピーターを具備する適切な光ファイバー、ポータブル・コンパクト・ディスク・リード・オンリー・メモリ(「CD-ROM」)、光記憶装置、磁気記憶装置、または前述のものの任意の適切な組み合わせを含むが、これらに限定されない。それゆえ、コンピュータ可読記憶媒体は、指示、システム、機器、または装置によって、またはそれらと接続しての使用のためのプログラムを含む、または記憶することができる、任意の有形媒体であってもよい。コンピュータ可読記憶媒体のより具体的な例は、スマート装置、電話、タブレット、ウェアラブルデバイス、Xコード・ソフトウェア・プラットフォーム(X-Code software platform)、または前述のものの任意の適切な組み合わせを含むが、これらに限定されない、
【0030】
本開示の態様のための動作を実行するためのコンピュータプログラムコードは、Java、Scala、Smalltalk、Eiffel、JADE、Emerald、Objective-C、C++、C#、VB.NET、Pythonなどのオブジェクト指向プログラミング言語、「C」プログラミング言語、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAPなどの従来の手続き型プログラミング言語、Python、PHP、HTML、AJAX、RubyおよびGroovyなどのダイナミックプログラミング言語、またはX-Codeなどの他のプログラミング言語を含むがこれらに限定されない、1以上のプログラミング言語の任意の組み合わせで書かれてもよい。プログラムコードは、システムの装置の1以上で、全体的にまたは部分的に実行してもよい。
【0031】
本開示の態様は、開示の実施形態に係る方法、システム、およびコンピュータプログラム製品についてのフローチャート図および/またはブロックダイアグラムを参照して記載される。フローチャート図および/またはブロックダイアグラムの各ブロック、およびフローチャート図および/またはブロックダイアグラムのブロックの組み合わせは、コンピュータプログラムの指示によって実施され得ることが理解されよう。これらのコンピュータプログラム指示は、汎用コンピュータ、専用コンピュータ、またはマシンを生み出す他のプログラム可能なデータ処理機器に提供されてもよく、その結果、コンピュータのプロセッサ、または他のプログラム可能な指示実行機器を介して実行する指示が、フローチャートおよび/またはブロックダイアグラムまたはブロックで指定される機能/動作を実施するためのメカニズムを作り出す。
【0032】
これらのコンピュータプログラム指示はまた、実行されると、コンピュータ、他のプログラム可能なデータ処理機器、または他のデバイスに、特定の方法で機能するように指示することができるコンピュータ可読媒体に保存されてもよく、その結果、それらの指示は、コンピュータ可読媒体に保存されると、実行される時に、コンピュータにフローチャートおよび/またはブロックダイアグラムブロックで指定される機能/動作を実施させる指示を含む、製造品を作り出す。コンピュータプログラム指示はまた、一連の動作工程を実行させるために、またはフローチャートで指定される機能を実行するコンピュータ実施処理を生成するために、コンピュータまたは他のデバイスにロードされてもよい。
【0033】
本開示の態様は、印刷媒体を参照して記載される。「印刷媒体」という用語が意味するのは、写真、ベクター画像、GIF、JPEG、PNG、ステッカー、絵文字、ポスター、ページ、バーコード、マトリックスバーコード、例えばクイックレスポンス(QR)コード、ラベルなど、およびそれらの組み合わせを含み得るがそれらに限定されない、印刷可能なあらゆるものを意味する。
【0034】
図1Aを参照すると、システム(100)はサーバー(102)を含み、サーバー(102)はデータベース(104)に接続される。サーバ(102)は、インターネット(106)を通じてユーザー装置(108)、(110)、および(112)に接続される。ユーザー装置(108)、(110)、および(112)はまた、ワイヤレスネットワークを通じてタグ(118)、(120)、(122)、(124)、(126)、および(128)に接続される。好ましい実施形態では、各タグは、オブジェクト(130)、(132)、(134)、(136)、(138)、および(140)の1つに、物理的に取り付けられる。この好ましい実施形態では、少なくとも1つのタグは、各ユーザー装置に関連付けられる。図1Aは例を示すのみであり、システムが多くのユーザー装置および多くのタグを含むことが理解されるべきである。図1Aは、各ユーザー装置が全てのタグと通信することを示す。しかし、一実施形態では、各ユーザー装置は、たった1つのタグと固有に関連付けられる。例えば、ユーザー装置(108)はタグ(118)と固有に関連付けられ、ユーザー装置(110)はタグ(124)と固有に関連付けられ、そして、ユーザー装置(112)はタグ(126)と固有に関連付けられる。別の好ましい実施形態では、各ユーザー装置は、1を上回るタグ、または1を上回るタイプのタグと関連付けられてもよい。様々な好ましい実施形態では、さらに記載される通り、タグは、ビーコンタグ、RFIDタグ、またはGPSタグであってもよく、そして印刷媒体を組み込んでもよい。他の実施形態では、オブジェクト(130)-(140)の1以上は、オブジェクト(130)、(132)、(134)、(136)、(138)、または(140)の1以上の各々の外側部分に位置する、識別用の印刷媒体(141)、(142)、(144)、(146)、(148)、または(149)を含む。
【0035】
好ましい実施形態では、タグとユーザー装置との間の接続は、Bluetooth低エネルギー規格と仕様(Bluetooth Low Energy standard and specification)を使用する、直接無線接続である。他の好ましい実施形態では、これらの接続は、拡張距離通信能力を提供するレピーター、ルーター、スイッチ、およびアクセスポイントを含む。
【0036】
インターネット(106)は、1以上の地上ベースのワイヤネットワーク、および全ての形態のワイヤレスネットワーク含む。サーバ(102)とユーザー装置(108)~(112)との間で渡されるメッセージは、伝送制御プロトコル/インターネット・プロトコル(TCP/IP)、ユーザー・データグラム・プロトコル(UDP)、ハイパーテキスト転送プロトコル(HTTP)、およびHTTPセキュア(HTTPS)を含むがこれらに限定されない、1以上のプロトコルを使用する。
【0037】
異なる実施形態では、オブジェクトは、発送ボックス、発送パレット、発送容器、トレーラー、車両、数個の荷物、または任意の価値あるオブジェクトを含むがこれらに限定されない、追跡されるべき任意の物理的アイテムの形態をとってもよい。オブジェクトは、オブジェクト外部に取り付けられた、形成された、縫いつけられた、または置かれた、印刷媒体を有していてもよい。
【0038】
図1Bを参照すると、RFIDタグを組み込むシステムの好ましい実施形態が示される。システム(150)は、読み取り機(152)に動作可能に接続されるプロセッサ(151)を含む。読み取り機(152)は、アンテナ(153)に動作可能に接続される。プロセッサ(151)はまた、Wi-Fiインターフェース(154)に動作可能に接続される。Wi-Fiインターフェース(154)は、インターネット(155)に無線で接続される。システム(150)は、読み取り機(159)に動作可能に接続されるプロセッサ(156)を含む。読み取り機(159)は、アンテナ(158)に動作可能に接続される。プロセッサ(156)はまた、Wi-Fiインターフェース(157)に動作可能に接続される。Wi-Fiインターフェース(157)は、インターネット(155)に無線で接続される。システム(150)はまた、読み取り機(178)に動作可能に接続されるプロセッサ(160)を含む。読み取り機(178)は、アンテナ(162)に動作可能に接続される。プロセッサ(160)はまた、Wi-Fiインターフェース(163)に動作可能に接続される。Wi-Fiインターフェース(163)は、インターネット(155)に無線で接続される。システム(150)は、読み取り機(164)に動作可能に接続されるプロセッサ(177)を含む。読み取り機(164)は、アンテナ(165)に動作可能に接続される。プロセッサ(177)はまた、Wi-Fiインターフェース(166)に動作可能に接続される。Wi-Fiインターフェース(166)は、インターネット(155)に無線で接続される。
【0039】
インターネット(155)は、サーバー(170)に接続される。サーバー(170)は、順に、ユーザー装置(171)、(172)、および(173)に無線で接続される。システムは、オブジェクト(176)に物理的に取り付けられる例示的なRFIDタグ(175)を含む。この例示的な図では、RFIDタグ(175)は、アンテナ(165)の隣に位置して示され、そしてアンテナ(165)と通信している。しかし、好ましい実施形態では、可動的であり、したがってアンテナ(153)、(158)、(162)、および、または(165)の任意の1以上の近接に位置し得る複数のRFIDタグを、システムは含む。
【0040】
好ましい実施形態では、各プロセッサ、読み取り機、Wi-Fiインターフェース、およびアンテナは、単一のアンテナベースモジュール(antenna base module)に含まれる。システムは、荷物または発送容器の輸送コンベアー、ラック、自動入場口(turnstile)、およびストレージビン(storage bin)などの、オブジェクトが通る、または預けられる可能性のある場所に位置する、複数のモジュールを含む。
【0041】
好ましい実施形態では、各プロセッサ(151)、(156)、(160)、および(177)は、Adafruitから入手可能な、Raspberry Pi 3、Model B、ARM、バージョン8、製品番号3055を含む。好ましい実施形態では、各読み取り機は、カナダ、オンタリオ州、GAO RFID,Inc.から入手可能な、データバッファリングを含む、2.4GHzアクティブRFID読み取り機、製品ID800025である。好ましい実施形態では、各読み取り機は、100メートルの距離を提供し、カナダ、オンタリオ州、GAO RFID,Inc.から入手可能な、2.45GHzアクティブパーソナルRFIDカードタグ、製品ID127002を含む。別の実施形態では、読み取り機は、モバイル装置、スマートフォン、タブレット、ウェアラブル装置、X-コードソフトウェアプラットフォーム、または前述のものの任意の適切な組み合わせ、を含むがこれらに限定されない。
【0042】
図1Cを参照すると、位置タグを組み込むシステムの好ましい実施形態が示される。システム(180)は、オブジェクト(182)に物理的に取り付けられるGPSタグ(181)を含む。同様に、システムは、オブジェクト(184)に物理的に接続されるGPSタグ(183)、オブジェクト(186)に物理的に接続されるGPSタグ(185)、およびオブジェクト(188)に物理的に接続されるGPSタグ(187)を含む。別の好ましい実施形態では、無論、様々な異なる位置で異なるオブジェクトに接続される、多くのGPSタグが存在し得る。各場合では、この開示は、GPSタグとオブジェクトとは、移動可能であり、そして荷物または発送コンテナなどのオブジェクトに物理的に組み込まれるであろうことを想定している。
【0043】
システム(180)は、ネットワーク(189)をさらに含む。好ましい実施形態では、ネットワーク(189)はインターネットである。システム(180)は、インターネットと動作上通信する電話機回路網(190)と(191)とをさらに含む。好ましい実施形態において、これらの電話機回路網はセルラーネットワークである。ネットワーク(189)は、ユーザー装置(192)、(193)、および(194)に、順に無線で接続される、サーバー(190)に接続される。
【0044】
図2を参照すると、例示的サーバー(202)は、プロセッサ(204)、メモリ(206)、およびネットワークアダプタ(208)を含む。サーバー(202)は、ネットワークアダプタ(208)を通じて、ユーザー装置およびデータベースと通信する。好ましい実施形態では、メモリ(204)におけるアプリケーション(210)とデータ(212)とは、ユーザー装置によってアクセスされるウェブサーバーを含む。サーバー(202)は、データベース(104)(図1A)と共に動作して、ユーザー装置から、および位置タグ自体からの、位置タグに関して受信される位置情報とID情報とを、保存、生成、および処理する。
【0045】
図3を参照すると、例示的ユーザー装置(308)は、メモリ(304)、カメラ(310)、ディスプレイ(312)、全地球測位システムトランシーバー(314)、ポジションセンサ(315)、およびネットワークアダプタ(316)ならびに(318)と、動作可能に接続されるプロセッサ(302)を含む。例示的ユーザー装置(308)は、ネットワークアダプタ(316)を利用してサーバーと通信し、ネットワークアダプタ(318)で1以上のタグからのビーコンシグナル送信メッセージを受信する、メモリ(304)は、アプリケーション(320)とデータ(322)を含む。好ましい実施形態では、例示的ユーザー装置(308)は、スマートフォン、タブレット型コンピュータ、ノートブックコンピュータ、ラップトップコンピュータ、およびデスクトップコンピュータを含むがこれらに限定されない。
【0046】
例示的なユーザー装置(308)は、全地球測位システム(314)を使用して、位置情報を生成する。位置情報は、ユーザー装置の位置のための経度、緯度、および高度情報を含む。ポジションセンサ(315)は、9軸センサに加速度計、ジャイロスコープ、および磁力計を含み(3軸が加速度計用、3軸がジャイロスコープ用、そして3軸が磁力計用)、これにより、装置がポジションと配向とについての相対変化を極めて精確に登録し、そしてそれらをプロセッサに報告することが可能になる。
【0047】
ネットワークアダプタ(316)は、移動体通信技術(cellular communications technology)と共に使用されるモバイルネットワークアダプタなどの、中距離または長距離ワイヤレスネットワークアダプタであるが、これらに限定されない。ネットワークアダプタ(318)は、Wi-FiおよびBluetoothなどのプロトコルを使用する短距離ワイヤレスネットワークアダプタであるが、これらに限定されない。ネットワークアダプタ(316)は、情報をサーバーからリクエストし、かつ情報をサーバーに提供するために使用される。
【0048】
短距離ネットワークアダプタ(318)は、1以上のビーコンタグからビーコンシグナル送信を受信する。送信シグナルはメモリに保存された指示を識別し、かつ必要な時にそれらを実行するために、ユーザー装置によって使用される。
【0049】
図4Aを参照すると、位置タグの好ましい実施形態が記載される。ビーコンタグ(420)は、プロセッサ(404)、メモリ(406)、およびネットワークアダプタ(408)を含む。メモリ(406)は、アプリケーション(410)とデータ(412)を含む。好ましい実施形態では、ビーコンタグ(420)は、Digi-Key(www.digikey.com/product-detail/en/BLE112-A-V1/1446-1017-1-ND)から入手可能な、Blue Giga BLE112 Bluetooth低エネルギーシングルモードモジュール(Bluetooth low energy single mode module)を含むが、これに限定されない。ビーコンタグ(420)は、ビーコンタグを位置特定するためにユーザー装置によって使用される、短距離ワイヤレストランシーバ(414)を含む。トランシーバは、例えば、Bluetooth低エネルギー(BLE)ビーコン規格、Apple iBeacon(登録商標)、Google Eddystone、およびAltBeaconなどの例を含むがこれらに限定されない、短距離ワイヤレスプロトコルおよび基準を使用して、ビーコンシグナルを送信する。ビーコンタグの各々は、ビーコンシグナルを周期的に送信することができる。好ましい実施形態では、シグナル間の期間は、約20ミリ秒から約10秒に及ぶことがあり、そして好ましい実施形態では、約200ミリ秒である。ビーコンシグナルは、個々のビーコンタグを固有に識別する数字コードを含む。
【0050】
次に図4Bを参照すると、位置タグの代替の実施形態が記載される。RFIDタグ(440)は、RFIDアンテナ(444)とメモリ(446)を含む。好ましい実施形態では、RFIDタグ(440)のシリアルナンバーは、メモリ(446)に含まれ、そして起動シグナルがRFIDアンテナ(444)から受信されると、戻される。好ましい実施形態では、位置タグは、100メートルの距離を提供し、カナダ、オンタリオ州、GAO RFID,Inc.から入手可能な、2.45GHzアクティブパーソナルRFIDカードタグ、製品ID127002を含む。
【0051】
次に図4Cを参照すると、位置タグの代替の好ましい実施形態が記載される。GPSタグ(460)は、メモリ(466)に動作可能に接続されるプロセッサ(464)を含む。メモリ(466)は、プロセッサを起動し、かつ装置の機能を実施するために使用される、プログラムコード(470)とデータ(472)とを含む。プロセッサ(464)はまた、セルラーアダプタ(468)に動作可能に接続される。セルラーアダプタ(468)は、動作中にプロセッサへおよびプロセッサから、情報を伝達するために使用される。プロセッサ、メモリ、およびセルラーアダプタは、各々、動作中に、プログラムコード(470)からの電力使用制限下にあるバッテリー(474)によって電力供給される。好ましい実施形態では、プロセッサ(464)は、Adafruitから入手可能な、Raspberry Pi 3、Model B、ARM、バージョン8、製品番号3055を含むがこれに限定されない。メモリ(466)は、好ましい実施形態では、Raspberry Pi 3基板に配置された、1ギガビットのRAMである。好ましい実施形態では、セルラーアダプタ(468)は、Adafruitから入手可能な粒子電子セルラーIOTアダプタ製品番号3234である。セルラーアダプタは、ウェブアクセスと3Gセルラー接続することができる。
【0052】
ビーコンタグ、RFIDタグ、および/またはGPSタグの各々、または単独の、あるいは一緒になったそれらのいずれかは、さらに記載される通り、単一の位置タグにおいて組み合わされることが可能である。
【0053】
図4Dは、位置タグ(403)および追跡されるオブジェクト(401)の好ましい実施形態を示す。この実施形態では、追跡されるオブジェクトは、バックパックなどの荷物である。位置タグ(403)はポケット(405)内に動作可能に配置され、充電またはメンテナンス用に取り出すこともできる。位置タグ(403)は、異なる実施形態では、ビーコンタグ、RFIDタグ、またはGPSタグであり得る。
【0054】
図4Eは、位置タグ(480)および追跡されるオブジェクト(482)の好ましい実施形態を示す。この実施形態では、追跡されるオブジェクトは、発送パッケージである。位置タグ(480)はパッケージ内に動作可能に配置され、外側の視界から隠され、それでもなお無線通信を通じて自由に動作することができる。
【0055】
図5Aは、方法(500)を示し、方法(500)は、様々なファイルとサブシステムとを初期化して、システムの好ましい実施形態を可能にする。工程(521)では、ユーザー装置は、ユーザーの名前、住所、指紋、写真、および移動識別子(trip identifier)などの、個人識別情報を入力するために使用される。「移動識別子」の一例は、フライトナンバー、フライト時間、出発地、および目的地を含み得る。この情報は、メモリに保存される。随意に、工程(522)では、ビーコンタイプ、RFIDタイプ、および/またはGPSタイプを含む位置タグタイプが選ばれる。
【0056】
随意に、工程(523)では、ユーザー装置のカメラは、タグが関連付けられているオブジェクトへと向けられ、そして画像認識訓練ビデオ(image recognition training video)の記録を開始する。画像認識訓練ビデオは、画像認識ソフトウェアを訓練または指導してオブジェクトを認識するために使用される、一連のビデオフレームである。ビデオの各フレームは、オブジェクトの画像を含む。好ましい実施形態では、カメラは、異なる角度からのオブジェクトの画像を提供する。好ましい実施形態では、画像認識訓練ビデオは、30フレーム/秒で約30秒間画像を提供し、これにより、オブジェクトの約900の別個の画像を提供する。他の実施形態では、画像認識訓練ビデオは、画像認識に有益な任意のビデオフレーム率で画像を提供する。好ましい実施形態では、画像認識訓練ビデオは、システムが最初に初期化される時にだけ生成される。
【0057】
随意に、工程(524)では、位置タグタイプがビーコンタグまたはGPSタグのいずれかである場合、タグは電力供給される。随意的な工程(524)は、ビーコンタグまたはGPSタグを起動することを含んでもよい。工程(526)では、タグは待機状態に入る。
【0058】
工程(527)では、ユーザー装置(108)は、「システム初期化メッセージ」をサーバー(102)に送信する。メッセージは、個人識別情報、タグタイプ、画像認識訓練ビデオ、ユーザー装置識別子、またはシリアルナンバーを含む。
【0059】
工程(528)では、個人識別情報、タグタイプ、画像認識訓練ビデオ、およびユーザー装置識別子は、メモリに保存される。
【0060】
工程(529)では、サーバーは、ユーザー装置(108)をタグ(128)に関連付けるか、または「ペアリング」し、そして、メモリに関連性を登録する。該関連性は、タグが位置特定されると、ユーザー装置への通知のためにシステムによって使用される。好ましい実施形態では、メモリは、ユーザー情報および関連する位置タグの何千ものセット(またはそれ以上)を保存し、そしてそれらにアクセスすることができるデータベースフォーマットに組織される。
【0061】
工程(530)では、サーバー(102)は、オブジェクトトークン(object token)を生成する。オブジェクトトークンは、タグ識別子を含む。1つの好ましい実施形態では、タグ識別子は、4バイトで保存される固有のシリアルナンバーである。別の好ましい実施形態では、オブジェクトトークンは、タグ識別子と乱数とをハッシュ(hash)することによって形成される。乱数は、タグ識別子に関連付けられ、そして後の使用のためにデータベースに保存される。
【0062】
随意に、工程(531)では、サーバー(102)は、オブジェクト認識ファイルを生成する。オブジェクト認識ファイルは、さらに記載される通り、構成、トポロジー、およびウェイトを、画像認識アルゴリズムによって認識して、オブジェクトを識別する。
【0063】
工程(532)では、サーバー(102)は、オブジェクト認識ファイルをユーザー装置(108)に送信する。ユーザー装置(108)は、この例では、タグ(128)に関連付けられている(またはペアリングされている)。オブジェクト認識ファイルは、さらに記載される通り、オブジェクトがユーザー装置(108)のカメラによって捕捉される画像に現われる時、ユーザー装置(108)がオブジェクトを認識し、そして識別することを可能にする。
【0064】
工程(533)では、サーバーは、オブジェクトトークンと乱数とをユーザー装置(112)に送信する。ユーザー装置(112)は、この例では、タグ(128)と関連付けられていない(ペアリングされていない)。
【0065】
工程(534)では、サーバー(102)は、オブジェクトトークンと乱数とをユーザー装置(108)に送信する。
【0066】
工程(535)では、ユーザー装置(108)はタグ識別子に関連付けられ、その結果、ユーザー装置はタグ識別子を、ユーザー装置(108)に関連付けられるオブジェクトとして認識するだろう。
【0067】
随意に、工程(536)では、タグがGPSタイプまたはビーコンタイプである場合、オブジェクトトークンと乱数とが、ユーザー装置(108)によってタグ(128)に送信される。
【0068】
随意に、工程(537)では、タグがGPSタイプまたはビーコンタイプである場合、オブジェクトトークンは、タグ(128)によって認証される。タグ(128)は、タグ識別子にアクセスするための乱数を使用して、オブジェクトトークンを復号することによって、オブジェクトトークンを認証する。タグ識別子は、タグメモリに保存されるタグ識別子と比較される。タグ識別子が一致する場合、タグはそれ自体で起動する。タグ識別子が一致しない場合、タグは停止する。
【0069】
随意に、タグがGPSタイプまたはビーコンタイプである場合、工程(538)では、タグ識別子は、タグ(128)によってメモリに保存される。
【0070】
随意に、タグがGPSタイプまたはビーコンタイプである場合、工程(539)では、タグは、ユーザー装置(108)に確認応答シグナルを送信する。工程(540)では、ユーザー装置(108)は、システムを初期化する。工程(541)では、ユーザー装置(108)は、サーバーにシステム初期化を報告する。
【0071】
図5Bは、方法(501)を示し、ここで、第1のユーザー装置が、第2のユーザー装置に関連付けられたビーコンタグの長距離位置を識別し、そして報告する、使用中のシステムを説明する。この例では、ユーザー装置(108)は、ビーコンタグ(502)とペアリングされている。ビーコンタグ(502)とユーザー装置(112)とは、両方ともユーザー装置(108)から遠い距離にあると想定される。ビーコンタグ(502)とユーザー装置(108)とは、互いに対して近接にないと想定される。また、ユーザー装置(112)は、ビーコンタグ(502)から短距離にあると想定される。
【0072】
工程(542)では、ビーコンタグ(502)は、ビーコンシグナルと、そのシリアルナンバーまたはトークンとを送信し始める。好ましい実施形態では、ビーコンタグ(502)は、約50mWの電力レベルで、約200ミリ秒ごとに1回、シグナルを送信するようにあらかじめ設定される。工程(543)では、ユーザー装置(112)は、搭載GPSトランシーバをポーリングして、そのGPS座標を決定する。好ましい実施形態では、GPS座標は、毎分約1回更新される。
【0073】
工程(544)では、ビーコンタグ(502)は、ビーコンシグナルをユーザー装置(112)に送信する。工程(546)では、ユーザー装置(112)は、タイムスタンプを記録し、その後にビーコンシグナルを処理してオブジェクトトークンをデコードし、タグ識別子を決定する。
【0074】
工程(547)では、ユーザー装置(112)は、ビーコンシグナルの強さを計測し、既定のキャリブレーションテーブル(calibration table)を参照して、該強さを、タグからユーザー装置(112)への距離に近似値化する、ある範囲の距離へと変換する。
【0075】
好ましい実施形態では、次の表が使用される:
【0076】
【表1】
【0077】
工程(548)では、ユーザー装置(112)は、ユーザー装置識別子、タグ識別子、ある範囲の距離、ユーザー装置(112)のGPS座標、および、いつビーコンシグナルが受信されたかを示すタイムスタンプを含む、「タグ位置メッセージ」を生成する。好ましい実施形態では、多くのタグ位置メッセージが、ユーザー装置(112)などの複数のユーザー装置によって共通して生成されること、そしてその各々がサーバーに返信報告されることが理解されるべきである。
【0078】
工程(550)では、ユーザー装置(112)は、タグ位置メッセージをサーバーに送信する。
【0079】
工程(551)では、サーバーは、タグ位置メッセージ(もし暗号化されていれば)を、タグに関連付けられた乱数を使用して復号し、タグ識別子を識別する。工程(552)では、タグ識別子、ユーザー装置(112)のGPS座標、タイムスタンプ、およびタグ識別子に関連付けられた乱数が、その後、データベースに保存される。
【0080】
工程(553)では、ユーザー装置(108)は、そのGPS座標を検出し、そして保存する。工程(554)では、オブジェクト位置リクエストメッセージ(object location request message)は、ユーザー装置(108)からサーバー(102)に送信される。オブジェクト位置リクエストは、ユーザー装置(108)のための装置識別子と、ユーザー装置(108)のGPS座標とを含む。
【0081】
工程(555)では、サーバーは、(もし暗号化されていれば)ユーザー装置に関連付けられた乱数またはシリアルナンバーを使用して、オブジェクト位置メッセージを復号する。工程(556)では、情報はデータベースに保存される。工程(557)では、サーバーは、データベースから全てのタグ位置メッセージを取得し、そしてその後、それらをタグ識別子と比較して、ビーコンタグ(502)のためのタグ識別子と一致するそれらのメッセージを位置特定する。これらは「一致タグ識別子」である。工程(558)では、サーバーは、一致タグ識別子をソートして、ビーコンタグに最も近いユーザー装置のGPS座標を決定する。
【0082】
工程(559)では、「オブジェクト位置アラート」は、サーバー(102)によって生成される。オブジェクト位置アラートは、ユーザー装置(112)のGPS座標(または報告されたGPS座標の最も近いセット)と、関連するタイムスタンプとを含む。
【0083】
工程(560)では、オブジェクト位置アラートは、サーバー(102)からユーザー装置(108)に送信される。
【0084】
工程(561)では、ユーザー装置(108)は、オブジェクト位置アラートをデコードする。工程(562)では、オブジェクト位置アラートに位置するユーザー装置(112)のGPS座標(または座標の最も近いセット)が、メモリに保存される。
【0085】
工程(563)では、方向ベクトルは、ユーザー装置(108)によって生成される。この実施形態では、方向ベクトルは、ユーザー装置(108)の位置からユーザー装置(112)の位置へ、正として得られる。方向ベクトルの角度は、真北を0°として時計回りを正として得られる。方向ベクトルの大きさは、ユーザー装置(108)の位置からユーザー装置(112)の位置へ、フィートで表される正で得られる。工程(564)では、方向ベクトルはさらなる処理のために戻される。
【0086】
図5Cを参照すると、RFIDタグ位置を決定する方法(570)が記載される。
【0087】
工程(571)では、ユーザー装置(594)は、RFIDタグ位置リクエストを生成する。RFIDタグ位置リクエストは、ユーザー装置のシリアルナンバーを含む。工程(573)では、RFIDタグ位置リクエストは、サーバー(591)に送信される。工程(574)では、サーバーは、ユーザー装置のリクエスト位置とシリアルナンバーとをログする。工程(575)では、サーバーは、全てのユーザー装置と、関連付けられたRFIDタグシリアルナンバーとのリストを含む、ルックアップテーブル(lookup table)を参照する。ユーザー装置シリアルナンバーに関連付けられたRFIDタグシリアルナンバーは、識別される。工程(576)では、サーバーは、RFIDタグシリアルナンバーを含む、アンテナベースモジュール(593)を含むシステム内のすべてのアンテナベースモジュールにスキャンリクエスト(scan request)を送信する。
【0088】
工程(578)では、アンテナベースモジュール(593)は、その固定のGPS位置を保存する。工程(578)では、アンテナベースのモジュールは、アンテナがRFIDタグシグナルの存在について繰り返しポーリングされる、スキャンループを開始する。工程(579)では、アンテナベースモジュール(593)は、RFIDシグナルを受信する。工程(580)では、アンテナベースモジュールは、RFIDシグナルからのシリアルナンバーをデコードする。工程(581)では、アンテナベースモジュールは、RFIDシグナルが受信された日付とタイムスタンプとを記録する。工程(582)では、シリアルナンバーと日付/タイムスタンプとは、搭載メモリのテーブルに保存される。工程(583)では、アンテナベースプロセッサは、搭載wifiネットワークアダプタを利用して、シリアルナンバー、日付/タイムスタンプ、およびGPS位置を、サーバー(591)に報告する。
【0089】
工程(584)では、サーバー(591)は、アンテナベースモジュールの、シリアルナンバー日付/スタンプ、およびGPS位置を保存する。随意的な工程(585)では、サーバー(591)は、クライアント装置のためのルックアップテーブル、またはシリアルナンバーに関連付けられた固定の座標を参照する。工程(586)では、サーバー(591)は、ユーザー装置(594)にGPS座標のリクエストを送信する。工程(587)では、ユーザー装置(594)は、搭載GPSトランシーバから、ユーザー装置(594)のGPS座標を導き出す。工程(588)では、ユーザー装置(594)は、導き出されたGPS座標をサーバー(591)に送信する。工程(530)では、サーバー(589)は、方向ベクトルを計算する。この実施形態では、方向ベクトルは、ユーザー装置(594)のGPS位置からアンテナベースモジュール(593)のGPS位置に向けられる。この実施形態では、方向ベクトルの方向は真北からの度数として得られる。大きさは、ユーザー装置の位置からアンテナベースモジュールの位置へ、正として得られる。ベクトルの大きさは、フィートで報告される。工程(590)では、サーバー(591)は、方向ベクトルをユーザー装置(594)に報告する。工程(592)では、ユーザー装置は、方向ベクトルを戻し、そして処理が完結する。
【0090】
次に図5Dを参照すると、GPSタグ位置を報告する好ましい方法(502)がさらに記載される。工程(503)では、ユーザー装置(504)は、GPSタグ位置リクエストを生成する。好ましい実施形態では、リクエストは、ユーザー装置のGPS座標、4バイトのリクエストコード、およびユーザー装置のシリアルナンバーを含む。工程(507)では、ユーザー装置(504)は、位置リクエストをサーバー(507)に送信する。工程(508)では、サーバー(505)は、位置リクエストをデコードし、そしてユーザー装置シリアルナンバーとそのGPS座標とをログする。工程(509)では、サーバー(505)は、ルックアップテーブルを参照して、ユーザー装置シリアルナンバーに関連付けられたGPSタグシリアルナンバーを決定する。工程(510)では、サーバー(505)は、GPSタグ位置のリクエストを、関連付けられたGPSタグプロセッサ(506)に送信する。工程(511)では、GPSタグプロセッサ(506)は、搭載GPSトランシーバから、GPSタグプロセッサ(506)のGPS位置を導き出す(resolve)。工程(512)では、GPSタグプロセッサ(506)は、GPS位置と位置リクエストとに関連付けられた日付とタイムスタンプを保存する。工程(513)では、GPSプロセッサ(506)は、GPS位置と日付およびタイムスタンプとをサーバー(505)に戻す。工程(514)では、サーバー(505)は、GPS位置と日付およびタイムスタンプとを保存する。
【0091】
工程(515)では、サーバー(505)は、方向ベクトルを計算する。この実施形態では、方向ベクトルは、ユーザー装置(504)のGPS位置からGPSタグプロセッサ(506)のGPS位置へのベクトルである。方向ベクトルの方向は、真北からの度数として得られる。大きさは、ユーザー装置(504)の位置からGPSタグプロセッサ(506)の位置へ、正として得られる。ベクトルの大きさは、フィートで報告される。工程(516)では、サーバー(505)は、方向ベクトルの大きさと方向とをユーザー装置(504)に報告する。工程(517)では、ユーザー装置(504)は、方向ベクトルを戻し、そして方法が完結する。
【0092】
図6Aを参照すると、タグ範囲決定追跡ルーチン(600)は、ユーザー装置(108)で動作し、ビーコンタグ、RFIDタグ、および/またはGPSタグに物理的に取り付けられているオブジェクトの位置を、位置特定し、識別し、そして表示する。位置タグは、記載される様々なシステムに応答し、これらのシステムに基づき、ビーコンタグ、RFIDタグ、GPSタグ、および/または印刷媒体などの機能が含まれる。
【0093】
工程(602)では、方法が開始する。
【0094】
工程(603)では、タグ位置情報のリクエストは、サーバー(102)に送信される。
【0095】
工程(604)では、タグ位置情報が受信されたか否かに関して、決定が行われる。受信されていれば、方法は、工程(605)に進む。そうでなければ、方法は、工程(603)に戻る。1つの好ましい実施形態では、タグ位置情報は、方向ベクトルである。他の実施形態では、タグ位置情報は、ビーコンシグナルである。
【0096】
工程(605)では、ユーザー装置は、タグ位置情報をデコードし、そして保存する。工程(606)では、決定が行われる。タグ情報がユーザー装置とペアリングされているビーコンタグからのビーコンシグナルである場合、方法は、工程(629)で、そのまま、短距離モードに移る。そうでなければ、方法は、工程(607)に続く。工程(607)では、ユーザーインタフェースが有効化され、これによって、ユーザーが「長距離モード」ないし「短距離モード」で選ぶことができるようになる。長距離モードでは、ユーザー装置は、タグから比較的長い距離にあると推定される。短距離モードでは、ユーザー装置は、タグから比較的短い距離にあると推定される。工程(610)では、ユーザー装置は、長距離モードまた短距離モードの選択、あるいは決定無し、を受信する。短距離モードが選ばれる場合、方法は、工程(629)に進む。長距離モードが選ばれる場合、方法は、工程(612)に進む。決定無しが受信される場合、方法は、工程(611)に移る。工程(611)では、方向ベクトルの大きさは、既定の距離「x」と比較される。好ましい実施形態では、xは約50フィートと150フィートとの間であるが、他の距離を選ぶこともできる。他の実施形態では、「長距離」は、何百マイルにもなり得る。方向ベクトルの大きさがxより大きい場合、方法は、工程(612)に進む。そうでなければ、方法は、工程(629)に進む。
【0097】
工程(612)では、ユーザー装置は、長距離モードに入る。長距離モードでは、方向ベクトルは、長距離のビーコンタグシステム、RFIDタグシステム、GPSタグシステム、またはそれらの3つの組み合わせによって生成されてもよい。
【0098】
工程(614)では、ユーザー装置は、タグ識別子、移動識別子、オブジェクトの所有者の名前と写真、およびオブジェクト(140)の画像を生成し、そして表示する。
【0099】
工程(616)では、ユーザー装置は、ユーザー装置のGPS位置を決定する。
【0100】
工程(620)では、ユーザー装置は、メモリから方向ベクトルを取得する。
【0101】
工程(621)では、ユーザー装置は、マップセクション(map section)を生成し、そして表示する。好ましい実施形態では、マップセクションは、グーグルマップなどの第三者の提供元からダウンロードされる。表示されるマップセクションの周囲の座標は、好ましい実施形態では、方向ベクトルの長さのおよそ4倍にスケーリング(scale)される。
【0102】
工程(622)では、ユーザー装置の位置は、マップセクションの中心に置かれ、そして表示される。1つの好ましい実施形態では、ユーザー装置の位置は、方向ベクトルの始点として得られる。別の好ましい実施形態では、ユーザー装置の位置は、搭載GPSトランシーバから得られる。好ましい実施形態では、ユーザー装置位置は、特定の認識可能なアイコンを使用して与えられる。
【0103】
工程(624)では、タグ位置は、マップ上に与えられる。タグの位置は、方向ベクトルの終点として得られる。好ましい実施形態では、タグ位置は、ダイヤモンド型、矢印、絵文字、テキスト、または他の幾何学的形状を含むがこれらに限定されない、異なるアイコンとして表わされる。
【0104】
工程(625)では、方向ベクトルは、マップ上に表示される。
【0105】
ユーザー装置は位置タグの方へ移動すると想定され、タグ自体が移動する可能性もあると想定されるため、マップを頻繁に更新し、そして相対距離を決定する必要がある。工程(626)では、ユーザー装置は、それが短距離にあるか否かを決定する。これを行うために、ユーザー装置のGPS座標を方向ベクトルのタグのGPS座標と比較して、差が導かれる。その後、該差は、約100フィートなどの既定の距離と比較される。望ましいタグ位置の精度に応じて、他の距離でも十分な場合がある。距離が既定の距離より小さい場合、方法は、工程(629)に移る。そうでなければ、方法は、工程(627)に移る。
【0106】
工程(627)では、ユーザー装置は、処理が終了するべきか否かに関してユーザーに問い合わせる。終了するべきでなければ、方法は、工程(614)に戻る。終了するべきであれば、方法は、工程(628)に移り、そして終了する。
【0107】
その後、工程(629)に移り、ユーザー装置は、「短距離モード」に入る。好ましい実施形態では、「短距離」は約50フィート未満から約150フィートであるが、「長距離」モード未満である限りは、他の距離が選ばれることもある。短距離モードでは、方向ベクトルは、短距離のビーコンタグシステム、RFIDタグシステム、オブジェクト認識システム、またはそれらの3つの組み合わせによって生成されてもよい。
【0108】
工程(630)では、ユーザー装置(108)のカメラからビデオストリームが生成され、そして表示される。ビデオストリームは、ユーザー装置のカメラによって生成される一連の静止画像である。
【0109】
工程(631)では、タグ識別子、移動識別子、ユーザー装置のユーザーの名前、オブジェクトの所有者の画像、およびオブジェクトの画像が、メモリから取得され、そして表示される。
【0110】
工程(632)では、さらに記載される通り、処理は、方向要素の配向を決定し、そして表示し、かつ表示を更新する。好ましい実施形態では、方向要素は、「左方向矢印」か「右方向矢印」のいずれか、または「的(bullseye)」として表示される。工程(633)では、方向要素は、ビデオストリームの上部に重ねられ、そして表示される。好ましい実施形態では、この工程は、ユーザー装置が移動している限り繰り返される。
【0111】
工程(634)では、タグが「超短」距離にあるか否かの決定である。これを行うために、方向ベクトルの大きさは、既定の距離「y」と比較される。好ましい実施形態では、yは、約5フィートから10フィートであるが、「短距離」モード未満である限り、他の距離が選ばれてもよい。方向ベクトルの大きさがy未満である場合、方法は、工程(635)に進む。そうでなければ、方法は、工程(637)に進む。
【0112】
工程(635)では、方法は、画像認識ルーチンを呼び出し、これについてはさらに記載される。
【0113】
工程(636)では、さらに記載される通り、方法は、識別フレームを表示する。その後、方法は、工程(638)に移り、そして終了する。
【0114】
工程(637)では、ユーザーは、処理が終了するべきか否かに関して問い合わせを受ける。終了するべきであれば、処理は、工程(638)で停止する。そうでなければ、処理は、工程(630)に戻る。
【0115】
図6Bを見ると、方向要素を決定し、そして表示する方法(645)の好ましい実施形態が記載される。工程(639)では、ユーザー装置のポジションと配向が決定される。好ましい実施形態では、ユーザー装置は、搭載ポジションセンサをポーリングして、ロール、ピッチ、およびヨーを決定する。
【0116】
工程(640)では、ユーザー装置の配向は、それが「正しい」かどうかを確認するためにチェックされる。この工程では、ユーザー装置の現在のポジションが理想的なポジションと比較されて、差が決定される。ユーザー装置の配向が「正しい」場合、方法は、工程(642)に移る。そうでなければ、方法は、工程(641)に移り、そしてユーザー装置の正しい配向に関して、ユーザーに指示を表示する。その後、方法は、工程(639)に戻る。
【0117】
工程(642)では、方向ベクトルはメモリから取得される。
【0118】
工程(643)では、さらに記載される通り、表示要素の配向が決定される。
【0119】
工程(644)では、方法は、ユーザーをタグ位置に導く方向要素を生成し、そして表示する。方向要素は、拡張現実ディスプレイ(例えばスマートフォン)上に重ねられて表示されてもよい。
【0120】
図6Cを参照すると、ユーザー装置(232)の「正しい」配向は、好ましい座標系(650)を使用して記載される。軸(652)は、「x」軸または「ヨー」として定義される。軸(654)は、「y」軸または「ピッチ」として定義される。軸(656)は、「z」または「ロール」である。ユーザー装置(232)は、搭載カメラが隠される配向で示される。カメラは、軸(656)に沿う方向「-z」に向いている。好ましい実施形態では、軸(656)が「-z」方向のオブジェクトの方へ向けられる時、ユーザー装置は、短距離モードでの使用のための「正しい」配向にある。軸(652)は、水平面に対して垂直に保持される。軸(654)は、水平面に対して平行に保持される。その結果、軸「y」はちょうど水平であり、そして軸「x」はちょうど垂直である。軸(656)は、水平面に向けられ、そして-z方向の、ユーザーからまっすぐ遠ざかる方に向いていると推定される。従って、好ましい実施形態では、ピッチ角度は0°であるべきであり、ロール角度は0°であるべきであり、そしてヨー角度は0°であるべきである。ポジションと配向は、ユーザー装置(108)が移動されるたびに更新される。ユーザー装置の相対ポジションは、ポジションセンサ読み取り値を短時間連続して比較し、そしてその後に、前の位置読み取り値のセットから後の位置読み取り値のセットを差し引いてデルタを決定することによって、決定される。任意のポジション読み取り値のデルタは、ポジションの変化と考えられる。
【0121】
図6Dを参照すると、ユーザー装置上の方向要素を表示する方法が記載される。工程(665)では、ユーザー装置のためのZ軸の相対方向が、ポジションセンサから決定され、そしてメモリに保存される。好ましい実施形態では、相対方向は、ポジションセンサによって報告される第1の相対ポジションに対するユーザー装置の第1のGPSポジションをマッピングし、そしてその後に、ポジションセンサによって報告される第2の相対ポジションに対するユーザー装置の第2のGPSポジションをマッピングすることによって得られる。一実施形態のマッピング処理は、ロールとヨーの変化を無視する。ユーザー装置が移動すると、ユーザー装置の最も最近のGPSポジションが第2の相対ポジションとして得られ、そしてその次に最も最近のGPSポジションが第1の相対ポジションとして得られる。相対方向の角度は、真北から時計回りに得られる。相対方向の大きさは、第1のポジションと第2のポジションとの間の距離として得られる。工程(666)では、方向ベクトルは、方向ベクトルのGPS座標の第1のセットを、相対方向のGPS座標の第1のセットと位置合わせすることによって、相対方向に正規化される。一実施形態では、位置合わせは、方向ベクトルのGPS座標の第1のセットを、相対方向の座標の第1のセットと一致するように変更することによって達成される。
【0122】
工程(667)では、相対方向の角度と方向ベクトルの角度との間で比較が行われ、差分の角度「アルファ」が導かれる。該比較は、相対方向から方向ベクトルへ、時計回りに行われる。
【0123】
工程(668)では、方向ベクトルの角度が相対方向の角度より大きいか否かに関して、決定が行われる。方向ベクトルの角度が相対方向の角度より大きければ、方法は、工程(669)に進む。そうでなければ、方法は、工程(670)に進む。工程(669)では、360°がアルファに追加され、そして方法は工程(670)に移る。
【0124】
工程(670)では、角度アルファが2°~179°である場合、処理は、工程(671)に移り、そこでは「矢印右」が報告される。その後、処理は、(676)に移り、そして完結する。そうでなければ、プロセスは、工程(672)に移る。工程(672)では、角度アルファが180°~358°である場合、「矢印左」が工程(673)で報告され、そして方法は、工程(676)で完結する。そうでなければ、その後、「的」が工程(674)で報告され、そして処理は、工程(675)に移る。工程(675)では、さらに記載される通り、超短距離の画像認識ルーチンが引き起こされる。
【0125】
図6Eを参照すると、「右」矢印の決定の計算の図式的な例が記載される。この例では、ユーザー装置(232)は点(680)に位置し、そして、相対方向(677)は真北(0°)から90°に示される。方向ベクトル(678)は、180°に示される。オフセット角度「アルファ」は、相対方向から方向ベクトルへ、時計回りに計算される。この例では、αは90°(180°-90°)であるとして報告され、これは20°~179°の間にあり、したがって、「矢印右」が報告される。
【0126】
図7Aを参照すると、短距離モードでビーコンタグを位置特定するための方法(700)の好ましい実施形態が記載される。
【0127】
工程(750)では、方法が開始する。工程(751)では、ユーザー装置は、搭載ポジションセンサを参照して、その初期ポジション座標を位置特定する。工程(752)では、ビーコンシグナルは、ユーザー装置によって受信される。工程(753)では、ポジション座標は、それらがいつ受信されたかのタイムスタンプと共に、メモリに保存される。工程(754)では、ビーコンシグナルの強度が分析される。工程(755)では、ビーコン強度はメモリに保存される。工程(756)では、推定距離テーブルが参照され、最大推定距離と最小推定距離とが決定される。このようにして、ビーコンシグナルのシグナル強さは、想定される距離の範囲に変換される。シグナルが弱いほど、ユーザー装置とタグとの間の距離は大きい。シグナルが強いほど、ユーザー装置とタグとの間の距離は小さい。任意の所与のシグナル強さについては、最大距離と最小距離とがテーブルで提供される。
【0128】
工程(757)では、さらに記載される通り、「確率円」が構築され、そしてタイムスタンプの時間の時点での、ユーザー装置の初期ポジションに対してマッピングされる。
【0129】
各確率円は、ユーザー装置の位置において中心に位置する2つの同心円を描くことによって、決定される。2つの円の大きい方は、推定距離テーブルからの最大距離の半径を有する。2つの円の小さい方は、推定距離テーブルからの最小距離の半径を有する。確率円の構成は、第1の円と第2の円との間の点の軌跡を含む。
【0130】
工程(758)では、確率円を含む点の軌跡と、それがいつ記録されたのかのタイムスタンプとが、メモリに保存される。
【0131】
工程(759)では、ポジションセンサが再びポーリングされて、ユーザー装置が移動されたかどうかが決定される。このことは、現在ポジションを初期ポジションと比較することによってなされる。ユーザー装置が移動されていれば、方法は、工程(760)に移る。そうでなければ、方法は、工程(753)に戻る。工程(760)では、ポジションセンサデータと、全ての3つの確率円の間のオーバーラップとに基づいて、ユーザー装置の3つ(3)の相対ポジションをプロットするのに十分なデータが存在するか否かに関して、決定が行われる。十分なデータが存在しなければ、処理は、工程(752)に戻る。十分なデータが存在すれば、処理は、工程(761)に移る。
【0132】
工程(761)では、最後の3つの確率円の次元と相対ポジションが、メモリから取得される。工程(762)では、のオーバーラップの3つ(3)のセットが計算され、第1のオーバーラップセットは第1の確率円と第2の確率円との間であり、第2のオーバーラップセットは第2の確率円と第3の確率円との間であり、第3のオーバーラップセットは第1の確率円と第2の確率円と第3の確率との間である。オーバーラップの各セットは、円の各々に共通する点の軌跡から成る平面図形を形成する。セットは、1以上の平面図形から成ることができる。工程(763)では、さらに記載される通り、図心が第3のオーバーラップのために計算され、そしてそのGPSポジションが決定される。
【0133】
工程(764)では、ユーザー装置の最も最近のポジションのGPS座標が取得され、そして保存される。
【0134】
工程(765)では、方向ベクトルが、ユーザー装置の最も最近のGPSポジションと図心のそれとの間で計算される。方向ベクトルの角度は、ユーザー装置から図心へ、真北の0°からの正である。方向ベクトルは、ユーザー装置のGPS座標から図心に進む。方向ベクトルの大きさは、ユーザー装置の最も最近のポジションから図心への、フィートで表される距離である。工程(766)で、方向ベクトルは戻される。
【0135】
図7Bを参照すると、ダイアグラム(700)は、3つ(3)の確率円と1つの図心の決定の例の図式的な描写である。第1のビーコンシグナルでは、ユーザー装置は、時間1においてポジション1(702)に位置する。第2のビーコンシグナルでは、ユーザー装置は、時間2においてポジション2(704)に位置する。第3のビーコンシグナルでは、ユーザー装置は、時間3においてポジション3(706)に位置する。
【0136】
確率円(708)は、ユーザー装置がポジション1にある時にビーコンタグが存在し得る点の軌跡を、ビーコンシグナルの強度のみに基づいて、識別する。同様に、確率円(710)は、ユーザー装置がポジション2にある時にビーコンタグが存在し得る点の軌跡を、識別する。同様に、確率円(712)は、ユーザー装置がポジション3にある時にビーコンタグが存在し得る点の軌跡を、識別する。
【0137】
この例では、0~2ミリワット(mW)の信号強さのポジション1で、25フィートの半径が(720)で示され、そして、30フィートの半径が(718)で示される。差(726)は、5フィートである。確率円(724)は、内径(720)、外径(714)を有し、および幅(726)を有して、ポジション1の周りにプロットされる。ユーザー装置がポジション1にある時、この確率円は、タグの想定される位置を表わす。
【0138】
同様に、ユーザー装置がポジション2に移動される時、15フィートの半径が(730)で示され、そして20フィートの半径が(731)で示される。これは、40~60mWのシグナル強さを表わす。(730)と(731)との間の差は、5フィートである。円が、(730)における内径、(731)における外径を有し、および5フィートの幅(732)を有して、ポジション2の周りに描かれる。ユーザー装置がポジション2にある時、この確率円は、タグの想定される位置を表わす。
【0139】
同様に、ユーザー装置がポジション3に移動される時、1フィート(1 foot)の半径が(733)で示され、そして5フィートの半径が(734)で示される。これは、100~120mWのシグナル強さを表わす。(733)と(734)との間の差(735)は、4フィートである。円が、(733)における内径、(734)における外径を有し、および4フィートの幅を有して、ポジション3の周りに描かれる。ユーザー装置がポジション3にある時、この確率円は、タグの想定される位置を表わす。
【0140】
全ての3つの確率円がメモリに保存され、そして異なる時点におけるユーザー装置の相対ポジションに関連付けられているので、それらの間のオーバーラップは、ユーザー装置がポジション3にある時に、ビーコンタグの位置を計算するために使用され得る。確率円1と確率円2との間のオーバーラップは、(736)と(737)において示される。確率円2と確率円3との間のオーバーラップは、(738)と(739)において示される。確率円1、確率円2、および確率円3の間のオーバーラップは、(740)において示される。
【0141】
ビーコンタグ(128)の推定位置は、エリア(740)の図心として計算される。その後、ポジション3に関連付けられたGPS座標に始点(742)を、そしてエリア(740)の図心に終点(770)を有する、方向ベクトル(745)が計算される。
【0142】
図7Cを参照すると、エリア(740)の図心がさらに記載される。第3のオーバーラップ(740)などの平面図形については、図心、または重心は次のように計算される:
【0143】
【数1】
【0144】
【数2】
【0145】
このとき、Aはエリア(740)の面積であり、
(x)はライン(768)の長さであり、そして、
(y)はライン(767)の長さである。
【0146】
図8を見ると、シーケンス(800)が、超短距離の画像認識を使用してオブジェクトを識別するための方法を示す。サーバー(802)は、画像認識サービスを提供する。好ましい実施形態では、画像認識サービスは、グーグルクラウドプラットフォーム・クラウドビジョンAPI(Google Cloud Platform Cloud Vision API)、マイクロソフトアジュールコンピュータビジョンAPI(Microsoft Azure Computer Vision API)、およびアマゾンWebサービスアマゾン認識(Amazon Web Services Amazon Recognition)を含むがこれらに限定されない。
【0147】
工程(821)では、画像認識サービスは、システム初期化中に得られた訓練ビデオで、オブジェクトを認識するように訓練される。
【0148】
工程(822)では、ユーザー装置(808)は、リアルタイムビデオ表示を生成する。好ましい実施形態では、ビデオ表示は、ユーザー装置(808)に搭載されたカメラによって生成される。
【0149】
工程(824)では、固定画像が、ビデオ表示から選択される。好ましい実施形態では、固定画像は、400ミリ秒の間隔でビデオから得られる。好ましい実施形態では、固定画像は、超短距離ルーチンが引き起こされると捕捉される。
【0150】
工程(826)では、ユーザー装置(808)は、選択された固定画像とオブジェクト認識モデルとを含む、画像認識リクエストを生成する。オブジェクト認識モデルは、システム初期化中にシステムによって生成されたオブジェクト認識ファイルと、必要なモデルパラメータとによって定義される。
【0151】
代替的に、工程(826)では、ユーザー装置(808)がオブジェクト上の印刷媒体を認識するかもしれないので、画像認識リクエストは送信されないかもしれない。例えば、ユーザー装置(808)上のカメラは、QRリーダーソフトウェア、または必須の是正処理コード(例えば、リードソロモンエラー修正(Reed-Solomon error correction))を備えたプロセッサを含むことが可能であり、その結果、工程(822)で得られた1以上の画像が、ユーザー装置(808)によって使用されて、認識用の印刷媒体が認識され得る。
【0152】
代替的に、工程(826)では、画像認識リクエストは、印刷媒体認識モデルを含んでもよい。
【0153】
随意的な工程(827)では、ユーザー装置(808)は、印刷媒体認識メッセージを生成する。印刷媒体認識メッセージは、識別用の印刷媒体を、サーバー(802)からのオブジェクト識別リクエストの代わりであると認識することによって、オブジェクト識別を可能にしてもよい。いくつかの実施形態は、オブジェクト識別および印刷媒体認識の両方を使用する。
【0154】
工程(828)では、画像認識リクエストは、ユーザー装置(808)から送信され、そしてサーバー(802)によって受信される。工程(828)は、サーバー(802)に対して、画像認識リクエストと共に、または画像認識リクエストの代わりとして、印刷媒体認識メッセージを送信することを含んでもよい。
【0155】
工程(830)では、サーバー(802)は、オブジェクト認識モデルに基づいて、選択された固定画像を分析する。好ましい実施形態では、オブジェクト認識モデルは、人工知能画像認識アルゴリズムに関連するウェイト、層、および構造を記載する。
【0156】
工程(832)では、確率、ラベル、および画像位置座標が、サーバー(802)によって生成される。好ましい実施形態では、画像位置座標は、オブジェクト(830)の画像が存在するべき選択された固定画像内の、長方形の左上コーナーの定義と右下コーナーの定義によって定義される。確率は、人工知能画像認識アルゴリズムがオブジェクトを正しく識別した信頼区間を表す。
【0157】
工程(834)では、サーバー(802)は、確率、ラベル、および画像位置座標を含む、オブジェクト認識メッセージを生成する。
【0158】
工程(836)では、オブジェクト認識メッセージは、サーバー(802)からユーザー装置(808)に送信される。
【0159】
工程(838)では、ユーザー装置(808)は、表示を生成する。表示は、確率、ラベル、および、左上コーナー座標~右下コーナー座標から生成される画像位置の長方形を含み、選択された固定画像上に重ねられる。表示はまた、オブジェクトの画像と所有者の画像とを含む。このようにして、超短距離では、可視的な長方形がオブジェクトの周りに描かれ、その結果、ユーザーが容易にそれを位置特定できることになる。表示はまた、複数の矢印、あるいはオブジェクトの絶対位置を示す矢印などの、他の移動している、または点滅しているグラフィックを含んでもよい。代替的に、複数の矢印、あるいは 他の移動している、または点滅しているグラフィックは、QRコード(登録商標)などの、オブジェクトに特有の認識される印刷媒体の絶対位置を示してもよい。
【0160】
図9Aを参照すると、「長距離」モードの表示(900)が、ユーザー装置(908)に示される。長距離モードの表示(900)は、マップ(902)と情報ボックス(910)とを含む。
【0161】
マップ(902)は、ユーザー装置の現在の位置をアイコン(904)として表示する。マップ(902)はまた、タグの位置をアイコン(906)として表示する。ユーザー装置(908)間の経路は、矢印(909)として示される。矢印(909)は、ユーザー装置(908)を、それがペアリングされている位置タグのより近くに持って来るために、移動の方向を示す。
【0162】
情報ボックス(910)は、タグとペアリングされたオブジェクトの画像(915)、所有者の画像(916)、タグ識別子(917)、フライト識別子(919)、ユーザーの名前(921)、および距離情報(923)を示す。この例では、距離情報は、タグがユーザー装置の位置から100メートル以上離れていることを示す。このようにして、情報ボックスは、オブジェクトの写真とユーザーの写真との両方を表示し、これによって、ユーザーによるオブジェクトの所有権の瞬時の認証を可能にする。
【0163】
図9Bを参照すると、「短距離」モードにおける表示が示される。十字線(crosshair)(913)は、表示中の固定位置に示される。カメラビデオ画像(914)は、ユーザー装置カメラからのライブビデオフィードを表示する。「右」矢印(911)または「左」矢印(912)のいずれかが表示される。各矢印は、表示された時に、ユーザー装置が位置タグに到達するために方向転換しなければならない、その方向を示す。「的」(925)は、ビデオ画像の中央にあり、そして位置タグが表示の中心に来るとハイライトされる。
【0164】
図9Cを参照すると、「超短距離」モードの表示(930)が示される。距離情報(923)は、タグの近接性を示す。この例では、タグがユーザー装置から離れているのは10フィート未満である。ユーザーの写真(916)とオブジェクトの写真(915)もまた、表示される。長方形(927)は、認識される通りの画像を示す。信頼区間(928)は、オブジェクトの画像が正しく識別される尤度を示す。
【0165】
図9Dを参照すると、代替の「超短距離」モードの表示が示される。4つの矢印(932)、(934)、(936)、および(938)が、タグに関連付けられたオブジェクトを中心にして、表示される。
【0166】
当業者は、開示される実施形態には修正が加えられ、かつ本発明の概念の範囲内にとどまることができることを理解されたい。したがって、本発明は、開示される特定の実施形態に限定されず、特許請求の範囲と趣旨の範囲内における変更をカバーすることが意図される。
図1A
図1B
図1C
図2
図3
図4A
図4B
図4C
図4D
図4E
図5A
図5B
図5C
図5D
図6A
図6B
図6C
図6D
図6E
図7A
図7B
図7C
図8
図9A
図9B
図9C
図9D
【国際調査報告】