知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-08-08
(54)【発明の名称】無線通信に基づくオブジェクトの分類
(51)【国際特許分類】
G08G 1/09 20060101AFI20220801BHJP
【ＦＩ】
G08G1/09 H
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021572563
(86)(22)【出願日】2020-06-07
(85)【翻訳文提出日】2022-02-07
(86)【国際出願番号】 IL2020050634
(87)【国際公開番号】W WO2020245834
(87)【国際公開日】2020-12-10
(31)【優先権主張番号】62/858,364
(32)【優先日】2019-06-07
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＺＩＧＢＥＥ
２．ＳＭＡＬＬＴＡＬＫ
(71)【出願人】
【識別番号】521532972
【氏名又は名称】エー．ディー ナイト リミテッド
【氏名又は名称原語表記】Ａ．Ｄ ＫＮＩＧＨＴ ＬＴＤ．
【住所又は居所原語表記】３２ Ｄｏｖ Ｈｏｚ Ｓｔｒｅｅｔ， Ｈｅｒｚｌｉｙａ， Ｉｓｒａｅｌ
(74)【代理人】
【識別番号】110002952
【氏名又は名称】特許業務法人鷲田国際特許事務所
(72)【発明者】
【氏名】アビール ジョナサン ハイム
(72)【発明者】
【氏名】アティアス シュロミ
【テーマコード（参考）】
5H181
【Ｆターム（参考）】
5H181AA01
5H181BB04
5H181BB05
5H181BB20
5H181CC03
5H181CC04
5H181CC11
5H181CC12
5H181CC14
5H181FF04
5H181FF13
5H181FF27
5H181LL01
5H181LL02
5H181LL04
5H181LL09
5H181LL15
(57)【要約】
複数の物理的シーン内の複数のオブジェクトに関連する複数の無線周波数（ＲＦ）の無線送信に関連するデータを備えるデータセットを受信することであって、データセットは、オブジェクトのそれぞれに関して、少なくとも、（ｉ）関連する無線送信の信号パラメータ、（ｉｉ）関連する無線送信に含まれるデータ、および（ｉｉｉ）オブジェクトに対する位置パラメータを備える、受信することと、トレーニング段階において、データセットとオブジェクトのそれぞれのタイプを示すラベルとを備えるトレーニングセットに対して、機械学習モデルをトレーニングすることと、推論段階において、物理的シーン内の対象オブジェクトに関連する無線送信から得られた信号パラメータ、データ、および位置パラメータを備える対象データセットに、トレーニング済みの機械学習モデルを適用して、対象オブジェクトのタイプを予測することと、を備える、方法。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
少なくとも１つのハードウェアプロセッサと、プログラム命令を格納した非一時的なコンピュータ可読記憶媒体であって、前記プログラム命令は、前記少なくとも１つのハードウェアプロセッサによって、
複数の物理的シーン内の複数のオブジェクトに関連する複数の無線周波数（ＲＦ）の無線送信に関連するデータを備えるデータセットを受信することであって、前記データセットは、前記オブジェクトのそれぞれに関して、少なくとも、
（ｉ）前記関連する無線送信の信号パラメータ、
（ｉｉ）前記関連する無線送信に含まれるデータ、および
（ｉｉｉ）前記オブジェクトに対する位置パラメータ
を備える、受信することと、
トレーニング段階において、前記データセットと前記オブジェクトのそれぞれのタイプを示すラベルとを備えるトレーニングセットに対して、機械学習モデルをトレーニングすることと、
推論段階において、物理的シーン内の対象オブジェクトに関連する無線送信から得られた信号パラメータ、データ、および位置パラメータを備える対象データセットに、トレーニング済みの前記機械学習モデルを適用して、前記対象オブジェクトのタイプを予測することと、
を実行可能である、非一時的なコンピュータ可読記憶媒体と、
を備える、システム。
【請求項2】
前記複数の物理的なシーンはそれぞれ道路のシーンであり、前記複数のオブジェクトのそれぞれは、歩行者、自転車ライダー、スクータライダー、車両の操縦者、車両の乗員、車両の乗客、および公共交通機関の乗客のうちの１つである、請求項１に記載のシステム。
【請求項3】
前記複数のシーンは、道路、高速道路、公道、公共交通機関、公共の場、作業現場、製造施設、および倉庫施設からなるグループから選択される、請求項１に記載のシステム。
【請求項4】
前記無線送信は、前記オブジェクトのそれぞれに関連付けられた少なくとも１つの無線デバイスから送信される、請求項１から３のいずれか一項に記載のシステム。
【請求項5】
前記無線デバイスの少なくともいくつかは、２つ以上の送信機を備える、請求項４に記載のシステム。
【請求項6】
前記無線デバイスは、携帯デバイス、スマートフォン、スマートウォッチ、無線ヘッドフォン、タブレット、ラップトップ、マイクロモビリティ搭載テレマティクスユニット、車両搭載テレマティクスユニット、車両インフォテイメントシステム、車両ハンズフリーシステム、車両タイヤ空気圧監視システム、ドローン、カメラ、ダッシュカム、プリンタ、アクセスポイント、およびキッチン家電からなるグループから選択される、請求項４または５のいずれか一項に記載のシステム。
【請求項7】
前記無線送信の前記信号パラメータは、信号周波数、信号帯域幅、信号強度、信号位相、信号コヒーレンス、および信号タイミングからなるグループから選択される、請求項１から６のいずれか一項に記載のシステム。
【請求項8】
前記無線送信に含まれる前記データは、データパケットパラメータ、一意のデバイス識別子、ＭＡＣアドレス、サービスセット識別子（ＳＳＩＤ）、基本サービスセット識別子（ＢＳＳＩＤ）、拡張基本サービスセット（ＥＳＳ）、国際移動体加入者識別子（ＩＭＳＩ）、および一時的なＩＭＳＩからなるグループから選択される、請求項１から７のいずれか一項に記載のシステム。
【請求項9】
前記データセットに前記ラベルが付される、請求項１から８のいずれか一項に記載のシステム。
【請求項10】
前記ラベルを付すことは、（ｉ）前記オブジェクトの１つに関連する前記データセット内の少なくとも１つのデータインスタンスに基づいて、オブジェクトのタイプを自動的に決定することと、
（ｉｉ）前記オブジェクトのタイプを、前記オブジェクトの１つに関連付けられた前記データインスタンスのすべてにラベルとして適用することと、
を備える、請求項９に記載のシステム。
【請求項11】
複数の物理的シーン内の複数のオブジェクトに関連する複数の無線周波数（ＲＦ）の無線送信に関連するデータを備えるデータセットを受信することであって、前記データセットは、前記オブジェクトのそれぞれに関して、少なくとも、（ｉ）前記関連する無線送信の信号パラメータ、
（ｉｉ）前記関連する無線送信に含まれるデータ、および
（ｉｉｉ）前記オブジェクトに対する位置パラメータ
を備える、受信することと、
トレーニング段階において、前記データセットと前記オブジェクトのそれぞれのタイプを示すラベルとを備えるトレーニングセットに対して、機械学習モデルをトレーニングすることと、
推論段階において、物理的シーン内の対象オブジェクトに関連する無線送信から得られた信号パラメータ、データ、および位置パラメータを備える対象データセットに、トレーニング済みの前記機械学習モデルを適用して、前記対象オブジェクトのタイプを予測することと、
を備える、方法。
【請求項12】
前記複数の物理的なシーンはそれぞれ道路のシーンであり、前記複数のオブジェクトのそれぞれは、歩行者、自転車ライダー、スクータライダー、車両の操縦者、車両の乗員、車両の乗客、および公共交通機関の乗客のうちの１つである、請求項１１に記載の方法。
【請求項13】
前記複数のシーンは、道路、高速道路、公道、公共交通機関、公共の場、作業現場、製造施設、および倉庫施設からなるグループから選択される、請求項１１に記載の方法。
【請求項14】
前記無線送信は、前記オブジェクトのそれぞれに関連付けられた少なくとも１つの無線デバイスから送信される、請求項１１から１３のいずれか一項に記載の方法。
【請求項15】
前記無線デバイスの少なくともいくつかは、２つ以上の送信機を備える、請求項１４に記載の方法。
【請求項16】
前記無線デバイスは、携帯デバイス、スマートフォン、スマートウォッチ、無線ヘッドフォン、タブレット、ラップトップ、マイクロモビリティ搭載テレマティクスユニット、車両搭載テレマティクスユニット、車両インフォテイメントシステム、車両ハンズフリーシステム、車両タイヤ空気圧監視システム、ドローン、カメラ、ダッシュカム、プリンタ、アクセスポイント、およびキッチン家電からなるグループから選択される、請求項１４または１５のいずれか一項に記載の方法。
【請求項17】
前記無線送信の前記信号パラメータは、信号周波数、信号帯域幅、信号強度、信号位相、信号コヒーレンス、および信号タイミングからなるグループから選択される、請求項１１から１６のいずれか一項に記載の方法。
【請求項18】
前記無線送信に含まれる前記データは、データパケットパラメータ、一意のデバイス識別子、ＭＡＣアドレス、サービスセット識別子（ＳＳＩＤ）、基本サービスセット識別子（ＢＳＳＩＤ）、拡張基本サービスセット（ＥＳＳ）、国際移動体加入者識別子（ＩＭＳＩ）、および一時的なＩＭＳＩからなるグループから選択される、請求項１１から１７のいずれか一項に記載の方法。
【請求項19】
前記データセットに前記ラベルが付される、請求項１１から１８のいずれか一項に記載の方法。
【請求項20】
前記ラベルを付すことは、（ｉ）前記オブジェクトの１つに関連する前記データセット内の少なくとも１つのデータインスタンスに基づいて、オブジェクトのタイプを自動的に決定することと、
（ｉｉ）前記オブジェクトのタイプを、前記オブジェクトの１つに関連付けられた前記データインスタンスのすべてにラベルとして適用することと、
を備える、請求項１９に記載の方法。
【請求項21】
プログラム命令を格納した非一時的なコンピュータ可読記憶媒体であって、前記プログラム命令は、少なくとも１つのハードウェアプロセッサによって、複数の物理的シーン内の複数のオブジェクトに関連する複数の無線周波数（ＲＦ）の無線送信に関連するデータを含むデータセットを受信することであって、前記データセットは、前記オブジェクトのそれぞれに関して、少なくとも、
（ｉ）前記関連する無線送信の信号パラメータ、
（ｉｉ）前記関連する無線送信に含まれるデータ、および
（ｉｉｉ）前記オブジェクトに対する位置パラメータ
を備える、受信することと、
トレーニング段階において、前記データセットと前記オブジェクトのそれぞれのタイプを示すラベルとを備えるトレーニングセットに対して、機械学習モデルをトレーニングすることと、
推論段階において、物理的シーン内の対象オブジェクトに関連する無線送信から得られた信号パラメータ、データ、および位置パラメータを備える対象データセットに、トレーニング済みの前記機械学習モデルを適用して、前記対象オブジェクトのタイプを予測することと、
を実行可能である、非一時的なコンピュータ可読記憶媒体を備える、コンピュータプログラム製品。
【請求項22】
前記複数の物理的なシーンはそれぞれ道路のシーンであり、前記複数のオブジェクトのそれぞれは、歩行者、自転車ライダー、スクータライダー、車両の操縦者、車両の乗員、車両の乗客、および公共交通機関の乗客のうちの１つである、請求項２１に記載のコンピュータプログラム製品。
【請求項23】
前記複数のシーンは、道路、高速道路、公道、公共交通機関、公共の場、作業現場、製造施設、および倉庫施設からなるグループから選択される、請求項２１に記載のコンピュータプログラム製品。
【請求項24】
前記無線送信は、前記オブジェクトのそれぞれに関連付けられた少なくとも１つの無線デバイスから送信される、請求項２１から２３のいずれか一項に記載のコンピュータプログラム製品。
【請求項25】
前記無線デバイスの少なくともいくつかは、２つ以上の送信機を備える、請求項２４に記載のコンピュータプログラム製品。
【請求項26】
前記無線デバイスは、携帯デバイス、スマートフォン、スマートウォッチ、無線ヘッドフォン、タブレット、ラップトップ、マイクロモビリティ搭載テレマティクスユニット、車両搭載テレマティクスユニット、車両インフォテイメントシステム、車両ハンズフリーシステム、車両タイヤ空気圧監視システム、ドローン、カメラ、ダッシュカム、プリンタ、アクセスポイント、およびキッチン家電からなるグループから選択される、請求項２４または２５のいずれか一項に記載のコンピュータプログラム製品。
【請求項27】
前記無線送信の前記信号パラメータは、信号周波数、信号帯域幅、信号強度、信号位相、信号コヒーレンス、および信号タイミングからなるグループから選択される、請求項２１から２６のいずれか一項に記載のコンピュータプログラム製品。
【請求項28】
前記無線送信に含まれる前記データは、データパケットパラメータ、一意のデバイス識別子、ＭＡＣアドレス、サービスセット識別子（ＳＳＩＤ）、基本サービスセット識別子（ＢＳＳＩＤ）、拡張基本サービスセット（ＥＳＳ）、国際移動体加入者識別子（ＩＭＳＩ）、および一時的なＩＭＳＩからなるグループから選択される、請求項２１から２７のいずれか一項に記載のコンピュータプログラム製品。
【請求項29】
前記データセットに前記ラベルが付される、請求項２１から２８のいずれか一項に記載のコンピュータプログラム製品。
【請求項30】
前記ラベルを付すことは、（ｉ）前記オブジェクトの１つに関連する前記データセット内の少なくとも１つのデータインスタンスに基づいて、オブジェクトのタイプを自動的に決定することと、
（ｉｉ）前記オブジェクトのタイプを、前記オブジェクトの１つに関連付けられた前記データインスタンスのすべてにラベルとして適用することと、
を備える、請求項２９に記載のコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
［関連出願への相互参照］
本出願は、２０１９年６月７日に出願された「ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＤＥＴＥＣＴＩＮＧ ＨＡＺＡＲＤＳ ＴＨＡＴ ＡＲＥ ＶＩＳＵＡＬＬＹ ＯＢＳＣＵＲＥＤ ＢＹ ＵＳＩＮＧ ＰＥＲＳＯＮＡＬ ＣＯＭＭＵＮＩＣＡＴＩＯＮ ＤＥＶＩＣＥ ＤＥＴＥＣＴＩＯＮ ＳＹＳＴＥＭ」という名称の米国特許出願第６２／８５８，３６４号の優先権を主張するものであり、その内容は参照により全体が本明細書に組み込まれる。
本出願は、２０１９年６月７日に出願された「ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＤＥＴＥＣＴＩＮＧ ＨＡＺＡＲＤＳ ＴＨＡＴ ＡＲＥ ＶＩＳＵＡＬＬＹ ＯＢＳＣＵＲＥＤ ＢＹ ＵＳＩＮＧ ＰＥＲＳＯＮＡＬ ＣＯＭＭＵＮＩＣＡＴＩＯＮ ＤＥＶＩＣＥ ＤＥＴＥＣＴＩＯＮ ＳＹＳＴＥＭ」という名称の米国特許出願第６２／８５８，３６４号の優先権を主張するものであり、その内容は参照により全体が本明細書に組み込まれる。
【0002】
［背景］
本発明は、機械学習の分野に関するものである。
本発明は、機械学習の分野に関するものである。
【0003】
近年、様々なタイプの先進運転支援システム（ＡＤＡＳ）が開発され、自動車に適用されている。
【0004】
ＡＤＡＳには、無線周波数（ＲＦ）検出器、測距（ＲＡＤＡＲ）、カメラ、光検出測距（ＬｉＤＡＲ）センサ、超音波センサなどのセンサが必要である。これらのシステムは、経路計画や障害物回避などの決定タスクや、加速、減速、ブレーキ、操舵などの作動タスクを実行する。したがって、ＡＤＡＳシステムの安全性と性能を保証するためには、検査、較正、検証、および故障やエラーの検出が不可欠である。
【0005】
これらのセンサは、検出する対象物への明確な見通しが必要であり、地形、インフラ（建物、交差点など）、車両などによる障害物が検出能力を制限する。
【0006】
前述の関連技術の例およびそれに関連する制限は、例示を意図したものであり、排他的なものではない。関連技術の他の制限は、本明細書を読み、図を検討することにより、当業者に明らかになるであろう。
【発明の概要】
【課題を解決するための手段】
【0007】
以下の実施形態およびその態様は、範囲を限定するものではなく、例示的であることを意図したシステム、ツール、および方法と併せて説明および図示されている。
【0008】
一実施形態では、少なくとも１つのハードウェアプロセッサと、プログラム命令を格納した非一時的なコンピュータ可読記憶媒体であって、プログラム命令は、少なくとも１つのハードウェアプロセッサによって、複数の物理的シーン内の複数のオブジェクトに関連する複数の無線周波数（ＲＦ）の無線送信に関連するデータを含むデータセットを受信することであって、データセットは、オブジェクトのそれぞれに関して、少なくとも、（ｉ）関連する無線送信の信号パラメータ、（ｉｉ）関連する無線送信に含まれるデータ、および（ｉｉｉ）オブジェクトに対する位置パラメータを備える、受信することと、トレーニング段階において、データセットとオブジェクトのそれぞれのタイプを示すラベルとを備えるトレーニングセットに対して、機械学習モデルをトレーニングすることと、推論段階において、物理的シーン内の対象オブジェクトに関連する無線送信から得られた信号パラメータ、データ、および位置パラメータを備える対象データセットに、トレーニング済みの機械学習モデルを適用して、対象オブジェクトのタイプを予測することと、を実行可能である、非一時的なコンピュータ可読記憶媒体と、を備える、システムが提供される。
【0009】
一実施形態では、複数の物理的シーン内の複数のオブジェクトに関連する複数の無線周波数（ＲＦ）の無線送信に関連するデータを備えるデータセットを受信することであって、データセットは、オブジェクトのそれぞれに関して、少なくとも、（ｉ）関連する無線送信の信号パラメータ、（ｉｉ）関連する無線送信に含まれるデータ、および（ｉｉｉ）オブジェクトに対する位置パラメータを備える、受信することと、トレーニング段階において、データセットとオブジェクトのそれぞれのタイプを示すラベルとを備えるトレーニングセットに対して、機械学習モデルをトレーニングすることと、推論段階において、物理的シーン内の対象オブジェクトに関連する無線送信から得られた信号パラメータ、データ、および位置パラメータを備える対象データセットに、トレーニング済みの機械学習モデルを適用して、対象オブジェクトのタイプを予測することと、を備える、方法も提供される。
【0010】
一実施形態では、プログラム命令を格納した非一時的なコンピュータ可読記憶媒体であって、プログラム命令は、少なくとも１つのハードウェアプロセッサによって、複数の物理的シーン内の複数のオブジェクトに関連する複数の無線周波数（ＲＦ）の無線送信に関連するデータを備えるデータセットを受信することであって、データセットは、オブジェクトのそれぞれに関して、少なくとも、（ｉ）関連する無線送信の信号パラメータ、（ｉｉ）関連する無線送信に含まれるデータ、および（ｉｉｉ）オブジェクトに対する位置パラメータを備える、受信することと、トレーニング段階において、データセットとオブジェクトのそれぞれのタイプを示すラベルとを備えるトレーニングセットに対して、機械学習モデルをトレーニングすることと、推論段階において、物理的シーン内の対象オブジェクトに関連する無線送信から得られた信号パラメータ、データ、および位置パラメータを備える対象データセットに、トレーニング済みの機械学習モデルを適用して、対象オブジェクトのタイプを予測することと、を実行可能である、非一時的なコンピュータ可読記憶媒体を備える、コンピュータプログラム製品が、さらに提供される。
【0011】
いくつかの実施形態では、複数の物理的シーンはそれぞれ道路のシーンであり、複数のオブジェクトのそれぞれは、歩行者、自転車のライダー、スクータのライダー、車両の操縦者、車両の乗員、車両の乗客、および公共交通機関の乗客のいずれかである。
【0012】
いくつかの実施形態では、複数のシーンは、道路、高速道路、公道、公共交通機関、公共の場、作業現場、製造施設、および倉庫施設からなるグループから選択される。
【0013】
いくつかの実施形態では、無線送信は、オブジェクトのそれぞれに関連付けられた少なくとも１つの無線デバイスから送信される。
【0014】
いくつかの実施形態では、少なくともいくつかの無線デバイスは、２つ以上の送信機で構成される。
【0015】
いくつかの実施形態では、無線デバイスは、携帯デバイス、スマートフォン、スマートウォッチ、無線ヘッドフォン、タブレット、ラップトップ、マイクロモビリティ搭載テレマティクスユニット、車両搭載テレマティクスユニット、車両インフォテイメントシステム、車両ハンズフリーシステム、車両タイヤ空気圧監視システム、ドローン、カメラ、ダッシュカム、プリンタ、アクセスポイント、およびキッチン家電からなるグループから選択される。
【0016】
いくつかの実施形態では、無線送信の信号パラメータは、信号周波数、信号帯域幅、信号強度、信号位相、信号コヒーレンス、および信号タイミングからなるグループから選択される。
【0017】
いくつかの実施形態では、無線送信に含まれるデータは、データパケットパラメータ、一意のデバイス識別子、ＭＡＣアドレス、サービスセット識別子（ＳＳＩＤ）、基本サービスセット識別子（ＢＳＳＩＤ）、拡張基本サービスセット（ＥＳＳ）、国際移動体加入者識別子（ＩＭＳＩ）、および一時的なＩＭＳＩからなるグループから選択される。
【0018】
いくつかの実施形態では、データセットはラベル付けされている。
【0019】
いくつかの実施形態では、ラベル付けは、（ｉ）オブジェクトの１つに関連付けられたデータセット内の少なくとも１つのデータインスタンスに基づいて、オブジェクトのタイプを自動的に決定するステップと、オブジェクトの１つに関連付けられたデータインスタンスのすべてにラベルとしてオブジェクトのタイプを適用するステップと、を含む。
【0020】
上述の例示的な態様および実施形態に加えて、さらなる態様および実施形態は、図面を参照し、以下の詳細な説明を検討することによって明らかになるであろう。
【図面の簡単な説明】
【0021】
例示的な実施形態は、参照される図面に示されている。図面に示されている構成要素および特徴の寸法は、一般的に、プレゼンテーションの利便性および明確性のために選択されており、必ずしも縮尺通りに示されているわけではない。図面を以下に示す。
【0022】
【発明を実施するための形態】
【0023】
本明細書では、物理的環境内の１つまたは複数の対象を、各対象に関連する１つまたは複数のＲＦデバイスから送出される無線送信の様々なパラメータを分析することに少なくとも部分的に基づいて検出および分類するためのシステム、方法、およびコンピュータプログラム製品を開示する。
【0024】
いくつかの実施形態では、無線送信パラメータは、少なくとも無線送信信号パラメータ、無線送信データコンテンツ、および／または無線送信位置パラメータを備える。
【0025】
いくつかの実施形態では、本開示は、これらの対象に関連する無線デバイスが発する無線送信の様々なパラメータ、および／または、これらの対象に関連する様々な動きのパラメータを分析することに基づいて、物理的環境またはシーン内の１つまたは複数の対象を検出および分類することを提供する。
【0026】
いくつかの実施形態では、本開示は、これらの対象に関連する無線デバイスが送出する無線送信の様々なパラメータおよび／またはこれらの対象に関連する様々な動きのパラメータを分析することに基づいて、物理的環境またはシーン内の１つまたは複数の対象を検出および分類することを提供し、検出は、対象のタイプに基づいて対象を１つまたは複数のカテゴリまたはクラスに識別および／または分類することをさらに備える。
【0027】
いくつかの実施形態では、本開示は、物理的環境またはシーン内の１つまたは複数の対象を検出および分類することを提供し、検出および識別は、
－ デバイスの検出：周波数分析、信号強度分析などの無線送信パラメータに基づいて、環境内の無線デバイスに関連する対象の存在を検出すること、
－ デバイスの識別：送信パラメータ（タイムスタンプ、送信周波数、位置など）と、送信時にエンコードされたデータおよび／または一連の識別パラメータ（ＭＡＣアドレス、Ｂｌｕｅｔｏｏｔｈアドレス、周波数ホッピングパターン、キャリア周波数、時間差多重パターンなど）に基づいて、デバイスのタイプを識別すること、および、
－ 対象の分類：送信デバイスのタイプ（携帯電話、無線ヘッドフォン、ヘッドセット、スマートウォッチなど）、送信プロトコル（２Ｇ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥ、Ｗｉ－Ｆｉなど）、ユーザのタイプ（車、人）、ユーザの下位タイプ（車、スクータ、自転車、バイク、同乗者、運転手、歩行者など）などの特徴に基づいて対象を個別のクラスに分類すること、
の少なくとも１つを含んでもよい。
－ デバイスの検出：周波数分析、信号強度分析などの無線送信パラメータに基づいて、環境内の無線デバイスに関連する対象の存在を検出すること、
－ デバイスの識別：送信パラメータ（タイムスタンプ、送信周波数、位置など）と、送信時にエンコードされたデータおよび／または一連の識別パラメータ（ＭＡＣアドレス、Ｂｌｕｅｔｏｏｔｈアドレス、周波数ホッピングパターン、キャリア周波数、時間差多重パターンなど）に基づいて、デバイスのタイプを識別すること、および、
－ 対象の分類：送信デバイスのタイプ（携帯電話、無線ヘッドフォン、ヘッドセット、スマートウォッチなど）、送信プロトコル（２Ｇ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥ、Ｗｉ－Ｆｉなど）、ユーザのタイプ（車、人）、ユーザの下位タイプ（車、スクータ、自転車、バイク、同乗者、運転手、歩行者など）などの特徴に基づいて対象を個別のクラスに分類すること、
の少なくとも１つを含んでもよい。
【0028】
本開示は、無線放射に基づいて物理的シーン内の対象を検出して位置を特定することが、運用上および／または安全上の理由から望ましい、または重要であるような様々な用途で実施することができる。例えば、いくつかの実施形態では、本開示による対象の検出および分類は、自治体または都市の交通安全プログラムの一部として実装され、歩行者、自転車、およびマイクロモビリティのユーザを検出および特定し、これらのユーザが関与する危険な状況を評価し、ユーザおよび当局に適切な警告を発し、および／または危険を回避または軽減するために道路標識および信号を操作する。
【0029】
同様のシステムは他の環境でも実現可能であり、例えば、徒歩の作業員が重機と組み合わされる作業現場や採掘場、製造施設や倉庫、公共の建物や会場、駐車場、海洋用途、戦闘シナリオなどでも利用可能である。
【0030】
いくつかの実施形態では、本開示は、視覚的検出モダリティが実現不可能または非実用的である対象の検出と併せて、特に有用である。例えば、部分的または全体的に見えない対象、典型的には、検出を容易にする明確な特徴をあまり有さないために視覚的検出技術を用いて検出することが困難な対象、視覚的検出モダリティの視野または視線から外れている対象、反射面の背後に位置する対象（例えば、フロントガラスの背後に位置する自動車の乗員）、または困難なまたは変化する照明および可視性条件を有する領域に位置する対象などの場合である。
【0031】
いくつかの実施形態では、物理的シーンは、そのパラメータがアプリケーションに基づいて決定され得る関心領域（ＲＯＩ）として定義されてもよい。いくつかの実施形態では、本開示は、ＲＯＩ内に位置するオブジェクトを対象として定義してもよい。
【0032】
例えば、移動中の車両における自動車の用途の場合、本開示のＲＯＩは、車両を取り囲む物理的エンベロープに対応する環境座標フィールドを構成する領域であってもよい。いくつかの実施形態では、ＲＯＩは、定義された形状、例えば、円、矩形、楕円、または車両の周りの抽象的な形状を有してもよい。
【0033】
他の用途では、施設や景観に基づいた設置の場合、座標フィールドは特定の領域、地域、経路、交差点、フィールド、建物、会場、施設、公園、およびそれらの任意の部分に対応することができる。
【0034】
いくつかの実施形態では、ＲＯＩは、特定の車両、例えば、自動車、バス、鉄道車両、海洋船舶などとして定義されてもよい。
【0035】
いくつかの実施形態では、環境座標フィールドは、例えば、ワールド座標系、パスセントリック座標フィールドなど、車両中心でない座標フィールドに対応することができる。
【0036】
本開示では、非限定的な例として、交通安全および自動車用途のコンテキストにおける対象の検出および分類のための本方法の使用について広範に説明する。しかし、上述したように、同様のシステムは、他の多くの用途および実装において利点を提供することができる。
【0037】
例えば、本開示による対象の検出および分類システムは、自律走行（ＡＤ）および先進運転支援システム（ＡＤＡＳ）のコンテキストにおいて、一次または補助的な検出システムとして、特定の利点を提供することができる。
【0038】
現在、ほとんどの自動車には、ＡＤＡＳシステムが搭載されており、アダプティブクルーズコントロール（ＡＣＣ）システム、ブラインドスポット監視、衝突回避システム、歩行者保護システムなど、安全性の向上、運転支援、自律走行などの機能を組み合わせて提供する。ＡＤＡＳシステムは、車両の安全運転に関連する環境情報の検出など、車両運転手の運転タスクの一部を担うことができる。
【0039】
ＡＤＡＳシステムを構成する車両は、通常、ＡＤＡＳシステムの機能を可能にする１つまたは複数のセンサを備えるセンサセットを含んでおり、例えば、カメラベース、レーダーベース、および／またはＬｉＤＡＲベースのセンサセットが挙げられるが、これらに限定されるものではない。センサからのデータは、例えば、車両が位置する物理的環境または道路環境、この物理的環境内の静的および動的なオブジェクト、静的および動的なオブジェクトに対する車両の位置、天候、物理的環境内の他の自然現象、および静的および動的なオブジェクトに対応した一連のＡＤＡＳシステムの動作を記述することができる。
【0040】
動的オブジェクトには、道路に存在する他の車両、歩行者、動物、交通信号、および／または環境要因（例えば、風、水、氷、太陽光の変化）など、動きや動作が動的である道路環境の１つまたは複数のオブジェクトが含まれる場合がある。
【0041】
ＡＤＡＳや自律走行車の環境知覚は重要な要素である。ＡＤＡＳ知覚は、様々なセンサ（例えば、カメラ、レーダー、ライダーなど）からのデータを使用して、ＡＤＡＳシステムの動作、ひいては車両とその乗員の動作と安全性に関連する可能性のある環境中のオブジェクト（例えば、他の車両、歩行者、標識、道路の危険物）を検出する。したがって、正確な環境認識により、ＡＤＡＳシステムは、加速、減速、ブレーキ、および／または操舵など、車両に対する操作コマンドを正しく決定することができる。
【0042】
ＡＤＡＳや自律走行（ＡＤ）システムでは、ＲＡＤＡＲ（Ｒａｄｉｏ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、カメラ、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）センサ、超音波センサなどのセンサを使用して、知覚や判断のタスクを行う。知覚アルゴリズムは、オブジェクト（車両、歩行者、道路上の危険物）の検出と追跡、および定位（車両の正確な位置）に使用され、決定アルゴリズムは経路計画と障害物回避に使用され、作動アルゴリズムは車両の加速、減速、ブレーキ、および操舵コマンドの設定に使用される。
【0043】
ＡＤＡＳセンサは、通常、検出対象物を見通せる見通しの良さに依存しており、地形、インフラ（建物、交差点など）、車両、天候などによる障害物が検出能力を制限する。視線の制限があるため、これらのセンサは、通常、最大１２０°である特定の視野を有する。そのため、周囲（３６０°）を検出するには、少なくとも３つのセンサが必要となり、車両のコストに影響するため、費用対効果の高い解決策とは言えない。通常、製品の設計段階では、検出確率を可能な限り高く保ちつつ、誤認識率を低減するために、検出アルゴリズムの最適化プロセスが行われる。例えば、２台の車両の間を歩いているときに、歩行者が部分的に見えなくなってしまうという典型的なシナリオがある。同じようなシナリオで検出確率を上げると、他のシナリオでの誤認識率が高くなる可能性がある。
【0044】
したがって、現在のＡＤＡＳシステムは、歩行者、その他の車両以外の対象、および／または、部分的に見える、または視覚的に見えない道路の対象、例えば、道路利用者を検出、識別、および分類する能力が限られている。例えば、歩行者、自転車に乗る人、および他の同様の車両以外の道路利用者は、主に道端や歩道にいるため、道路車両では部分的または完全に見えなくなる、および／または視野から外れることが多い。これらの道路利用者が、例えば、インフラ設備の障害物の後ろから突然道路上に現れた場合、ＡＤＡＳが潜在的な危険を回避するために十分迅速に行動するには遅すぎることがある。
【0045】
さらに、車両以外の対象や、少なくとも部分的に見えない対象を、視覚やレーダーセンサのモダリティのみで検出識別することは、より困難である。なぜなら、これらの対象は、一般的に、検出を容易にするような明確な特徴を持たないからである。
【0046】
ほとんどのＡＤＡＳシステムは、歩行中、自転車に乗っているとき、道路を横断しているとき、車の間から出てきたときなどに、歩行者を識別するという複雑なタスクを実行しなければならない視覚および／またはレーダー検出モダリティに基づいている。これらの検出モダリティは、照明条件の変化、霧、雨、直射日光などの環境条件に非常に敏感である。このような環境条件では、ＡＤＡＳシステムの誤報率が高くなる可能性がある。
【0047】
歩行者を検出するための１つの可能な解決策は、例えば、歩行者の無線デバイスにアプリケーションをインストールして、交通環境の中で歩行者を検出できるようにすることである。この解決策は、車両以外のオブジェクトの検出に関連する制限のいくつかを克服することができるが、いくつかの欠点がある。一般的に、これらのアプリケーションは、対象となる無線デバイスからのＧＰＳ情報に依存するが、ＧＰＳの精度は限られているため、十分な解像度で位置を特定することができない。例えば、携帯電話のＧＰＳセンサで達成される位置精度の最良のシナリオは、通常５メートル以内であり、一般的な車道環境で正確な位置を決定するには十分な精度ではない。また、ユーザの無線デバイスにアプリケーションをインストールする必要があることや、位置情報メッセージの送受信におけるネットワークの遅延なども、潜在的な制限事項である。
【0048】
したがって、いくつかの実施形態では、本開示は、物理的環境内の対象の検出、識別および／または分類を提供する。いくつかの実施形態では、交通および道路環境のコンテキストにおいて、そのような対象は、例えば、歩行者、自転車乗員、および他の同様の車両以外の道路利用者である。いくつかの実施形態では、検出および分類は、少なくとも部分的に、各対象に関連する１つまたは複数の無線デバイスから送出される無線送信を検出および分析することに基づいて行われる。そのような対象無線デバイスは、携帯電話、無線ヘッドフォン、ヘッドセット、スマートウォッチなどのいずれか１つまたは複数を含むことができる。
【0049】
他の実施形態では、本開示は、対象無線デバイスの検出および分析に基づくスタンドアローンの検出システムを提供する。いくつかの実施形態では、本開示は、１つまたは複数の他の検出モダリティ、例えば、車両のＡＤＡＳシステムと組み合わせて、主な、追加の、または補足の検出モダリティとして採用されるように構成されてもよい。一般的なＡＤＡＳの検出モダリティを対象無線デバイスの検出と組み合わせることで、本開示は、検出精度を高め、潜在的に危険な状況の発生率を低減するのに役立つ可能性がある。
【0050】
本開示の潜在的な利点は、したがって、オブジェクトに関連する無線送信に基づいて、環境内の対象またはオブジェクトのロバストな検出、識別、および／または分類を提供する点にあり、したがって、例えば、車両アプリケーション、海洋アプリケーション、産業および商業施設、軍事アプリケーションなどで使用する早期検出および警告システムを可能にすることができる。
【0051】
図１は、本開示の特定の実施形態に従った、物理的環境内の対象を検出するための例示的なシステムの高レベル概略ブロック図である。
【0052】
いくつかの実施形態では、システム１００は、陸上および／または空中および／または海上の車両搭載型、都市部のマイクロモビリティ搭載型、歩行者搭載型、人員搭載型、インフラストラクチャ搭載型、産業および商業デバイス搭載型、自動組立ラインの設備およびデバイス搭載型、および／または家電製品搭載型であってもよい。
【0053】
本明細書に記載されているシステム１００は、本発明の例示的な実施形態に過ぎず、実際には、図示されているよりも多くのまたは少ない構成要素を有していてもよく、２つ以上の構成要素を組み合わせてもよく、または構成要素の異なる構成や配置を有していてもよい。本明細書で説明する様々な構成要素は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの両方の組み合わせで実装されてもよい。様々な実施形態において、これらのシステムは、専用のハードウェアデバイスを構えてもよいし、既存のデバイスへの追加／または既存のデバイスの拡張を形成してもよい。
【0054】
システム１００は、処理モジュール１１０（「ＣＰＵ」、または単に「プロセッサ」とも呼ばれる）を動作させるように構成されたソフトウェア命令またはコンポーネントを記憶装置１１８に格納してもよい。いくつかの実施形態では、ソフトウェアコンポーネントは、一般的なシステムタスク（例えば、メモリ管理、記憶装置制御、電力管理など）を制御および管理し、様々なハードウェアおよびソフトウェアコンポーネント間の通信を容易にするための様々なソフトウェアコンポーネントおよび／またはドライバを含む、オペレーティングシステムを含んでもよい。
【0055】
いくつかの実施形態では、システム１００のソフトウェアコンポーネントは、一般的なシステムタスク（例えば、メモリ管理、ストレージシステム制御、電源管理など）を制御および管理し、様々なハードウェアおよびソフトウェアコンポーネント間の通信を容易にするための様々なソフトウェアコンポーネントおよび／またはドライバを含む、オペレーティングシステムを備えてもよい。
【0056】
いくつかの実施形態では、処理モジュール１１０は、例えば、ＲＦセンサモジュール１１２、信号処理モジュール１１４、分類モジュール１１６、通信モジュール１２０、および／またはユーザインタフェース１２２を制御および操作する。
【0057】
いくつかの実施形態では、システムは、ＲＦセンサモジュール１１２を含んでいる。いくつかの実施形態では、ＲＦセンサモジュール１１２は、１つまたは複数のセンサを備えるセンサのアレイ、または無線信号、例えば、無線周波数（ＲＦ）信号に関する送信、受信、電力供給、増幅、および／またはその他の動作を行うように構成された任意の他のコンポーネントで構成されてもよい。いくつかの実施形態では、ＲＦセンサモジュール１１２は、ＲＦ信号を検出するように構成された少なくとも１つのアンテナを備えている。いくつかの実施形態では、ＲＦセンサモジュール１１２は、車両内の任意のセンサーアレイ（例えば、ＡＤＡＳセンサアレイ）と一体化してもよいし、その一部を形成してもよい。
【0058】
例えば、１つまたは複数の超音波センサ、１つまたは複数のＲＡＤＡＲセンサ、１つまたは複数のＬｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ（「ＬｉＤＡＲ」）センサ、１つまたは複数のサラウンドカメラ（通常、車体の様々な場所に配置され、車体の周囲の領域を撮像する）、１つまたは複数のステレオカメラ（例えば、車両経路内のオブジェクト検出およびオブジェクト認識のための奥行き知覚を提供する）、１つまたは複数の赤外線カメラ、位置座標を提供するＧＰＳユニット、操舵角度を検出する操舵センサ、速度センサ（車輪ごとに１つずつ）、車体の動きを監視する慣性センサまたは慣性測定ユニット（「ＩＭＵ」）（このセンサは、例えば、加速度計および／またはジャイロセンサおよび／または磁気コンパスであることができる）、タイヤ振動センサ、および／または車両の周囲と内部に配置されたマイクロフォンなどである。いくつかの実施形態では、センサーユニット１１２は、例えば、全地球測位システムセンサ、赤外線検出器、モーション検出器、サーモスタット、音響検出器、一酸化炭素センサ、二酸化炭素センサ、酸素センサ、マスエアフローセンサ、エンジン冷却水温度センサ、スロットルポジションセンサ、クランクシャフトポジションセンサ、自動車用エンジンセンサ、バルブタイマ、空燃比計、ブラインドスポットメータ、カーブフィラ、欠陥検出器、ホール効果センサ、マニホールド絶対圧センサ、パーキングセンサ、レーダーガン、スピードメータ、スピードセンサ、タイヤ圧モニタセンサ、トルクセンサ、トランスミッション流体温度センサ、タービンスピードセンサ（ＴＳＳ）、可変リラクタンスセンサ、車速センサ（ＶＳＳ）、水センサ、ホイールスピードセンサ、および、その他あらゆるタイプの自動車用センサの１つまたは複数を備えてもよい。いくつかの実施形態では、当業者に知られているように、他のセンサを使用してもよい。
【0059】
いくつかの実施形態では、分類モジュール１１６は、受信したデータに関して分類アルゴリズムを実行して、物理的環境またはシーン内の対象の検出および分類に関連する予測を生成することができる。いくつかの実施形態では、分類とは、既知の構造を一般化して新しいデータに適用する作業と定義することができる。「検出」、「分類」、および「予測」という用語は、本明細書では簡潔さの理由から互換的に使用されており、機械学習モデルの任意のタイプの出力を指すことが意図される。この出力は、クラスと、入力がそのクラスに属することの確実性を示すスコアと、の形であってもよい。様々なタイプの機械学習モデルが、異なるタイプの入力を処理し、それぞれのタイプの出力を生成するように構成される場合があるが、そのようなタイプはすべて、本実施形態でカバーされることが意図されている。オブジェクトに言及するときの「クラス」、「カテゴリ」、「カテゴリラベル」、「ラベル」、および「タイプ」という用語は、オブジェクトの分類に関しては同義語と考えることができる。機械学習モデル」および「機械学習分類器」という用語は、互換的に使用され、簡潔さのために「モデル」または「分類器」と省略されることがある。これらの用語は、入力に基づいて、分類、予測、または新しいデータの生成などの出力を生成することができる、あらゆるタイプの機械学習モデルを指すことが意図される。分類アルゴリズムには、線形判別分析、分類回帰木／決定木学習／ランダムフォレストモデリング、最近傍探索、サポートベクタマシン、ロジスティック回帰、一般化線形モデル、ナイーブベイズ分類、ニューラルネットワークなどがある。
【0060】
いくつかの実施形態では、信号処理モジュール１１４は、ＲＦセンサモジュール１１２によって受信されたＲＦ信号を分析し、ＲＦ送出デバイスの相対的な位置、向き、距離、速度および／または加速度を測定および推定することを含むが、これに限定されない、送出デバイスに関する１つまたは複数のパラメータを推定するように構成されてもよい。
【0061】
いくつかの実施形態では、通信モジュール１２０は、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、および／または無線ネットワークなどのネットワークにシステム１００を接続するように構成されていてもよい。いくつかの実施形態では、ネットワークは、車両内のローカルネットワークである。いくつかの実施形態では、通信モジュール１２０は、１つまたは複数の外部ポートを介して他のデバイスとの通信を容易にし、また、システム１００が受信したデータを処理するための様々なソフトウェアコンポーネントを含む。
【0062】
いくつかの実施形態では、ユーザインタフェース１２２は、システム１００を制御するためのコントロールパネル、ボタン、ディスプレイモニタ、および音声コマンドを提供するためのスピーカのうちの１つまたは複数で構成される。いくつかの実施形態では、システム１００は、物理的または仮想的なジョイスティック、マウス、および／またはクリックホイールなどの１つまたは複数のユーザ入力制御装置を含む。いくつかの実施形態では、ユーザインタフェース１２２は、例えば、システム１００が設置されている車両の運転手および／または他の操縦者インタフェースに組み込まれてもよい。いくつかの実施形態では、ユーザインタフェース１２２は、システム１００のユーザ、例えば、運転手、車両の操縦者などに警告を発するように構成されていてもよい。
【0063】
他のバリエーションでは、システム１００は、周辺インタフェース、ＲＦ回路、オーディオ回路、マイク、入出力（Ｉ／Ｏ）サブシステム、他の入力または制御デバイス、光学または他のセンサ、および外部ポートのうちの１つまたは複数を備える。上記の特定されたモジュールおよびアプリケーションのそれぞれは、上述の１つまたは複数の機能を実行するための一連の命令に対応する。これらのモジュール（すなわち、一連の命令）は、別個のソフトウェアプログラム、手順、またはモジュールとして実装される必要はなく、したがって、これらのモジュールの様々なサブセットは、様々な実施形態において結合されるか、または別様に再配置されてもよい。
【0064】
いくつかの実施形態では、システム１００は、例えば、通信モジュール１２０を介して、システム１００が搭載されている車両のＡＤＡＳスイートと通信および／または協力して、加速、減速、ブレーキ、および／または操舵などの車両への操作コマンドの調整につながる可能性のあるデータをＡＤＡＳスイートに提供するようにさらに構成されてもよい。いくつかの実施形態では、処理モジュール１１０は、車両経路の前方計画のために、ＲＦセンサモジュール１１２、信号処理モジュール１１４、および／または分類モジュール１１６からのデータを使用する決定および／または計画機能を実行するようにさらに構成されてもよい。前方計画の決定は、次いで、例えば、ブレーキ、加速、操舵、ワイパーなどを制御するために使用される現代の自動車内のネットワークであるコントローラエリアネットワークデータインタフェース（「ＣＡＮバス」）を介して、車両システムを操作するためのコマンド信号として送信されてもよい。
【0065】
いくつかの実施形態では、システム１００および／またはその任意のモジュールやコンポーネントは、車両に搭載されてもよく、および／または車両の外部（例えば、クラウド）に設置されてもよい。いくつかの実施形態では、システム１００は車両搭載型システムであり、そのコンポーネントは車両の任意の部分に搭載されてもよい。
【0066】
いくつかの実施形態では、システムのモジュールおよびコンポーネントの一部またはすべてが、車両のシステムに統合されていてもよい。いくつかの実施形態では、システムは、コンピュータビジョンアルゴリズムおよび／または信号処理アルゴリズムを含む（ただし、これらに限定されない）様々な技術をさらに実装してもよく、これらの技術は、車両およびその周囲の重要なポイントや特徴を検出する。いくつかの実施形態では、アルゴリズムは、精度、正確性、および処理時間を向上させるために、あらかじめ定義されたパラメータのデータベースを使用してもよい。さらに、アルゴリズムは、メーカー、モデル、モデルイヤーなど、測定対象の車両に関するユーザ入力を使用してもよい。
【0067】
現在、車両、歩行者、および道路インフラ機能は、Ｖ２Ｘ（Ｖ２Ｖ、Ｖ２Ｉ、Ｖ２Ｐ、Ｖ２Ｃ）、携帯ネットワーク（２Ｇ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥ、４Ｇ－ＦＤＤ、４Ｇ－ＴＤＤ、ＣＶ２Ｘ）、Ｄｅｄｉｃａｔｅｄ Ｓｈｏｒｔ－Ｒａｎｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ（ＤＳＲＣ）、ＷｉＦｉ、Ｚｉｇｂｅｅ、ＬｏＲａ、Ｂｌｕｅｔｏｏｔｈ、およびＤｉｆｆｅｒｅｎｔｉａｌ ＧＰＳ（ＤＧＰＳ）を含むがこれらに限定されない、多種多様なプロトコルのいずれかを採用したＲＦおよび／または他の無線通信プロトコルを使用することができる。さらに、他の車両部品、例えば、レーダーセンサなどが、ＲＦ送出デバイスであってもよい。
【0068】
一般的に、すべてのＲＦ送信は、無線送信に関する既知の規格やプロトコルの１つまたは複数に従う。したがって、様々な送信パラメータ（例えば、周波数帯域）を監視することで、ＲＦ送出デバイス、特にスマートフォン、携帯電話、無線ヘッドセット、スマートウォッチなどの無線デバイスを検出、識別、分類することが可能である。
【0069】
図２は、本開示の特定の実施形態に従って、物理的環境内の対象を検出するためのプロセスの機能ステップを示すブロック図であり、少なくとも部分的に、これらの対象に関連する１つまたは複数の無線デバイスから送出される無線送信を検出および分析することに基づいている。このような対象無線デバイスは、携帯電話、無線ヘッドフォン、ヘッドセット、スマートウォッチのいずれか１つまたは複数を含むことができる。
【0070】
いくつかの実施形態では、本プロセスは、ＲＦ検知および／または検出、位置特定、優先順位付け、トラッキング、予測／分類、および警告発行の機能ステップを含む。
【0071】
いくつかの実施形態では、上述したように、システム１００は、Ｗｉ－Ｆｉアウェアなどであってもよく、すなわち、任意のＲＦプロトコル、例えば、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈなどを介して、周囲の環境のデバイスとの迅速な発見、接続、およびデータ交換を提供するように構成されている。いくつかの実施形態では、ＲＦセンサモジュール１１２は、ＲＦ送受信機、検出器、および送信機を備えるＲＦアレイを含んでもよい。いくつかの実施形態では、センサーアレイ１１２は、例えば、Ｗｉ－Ｆｉおよび／またはＢｌｕｅｔｏｏｔｈのネットワーク通信および管理機能を備えてもよい。いくつかの実施形態では、ＲＦセンサモジュール１１２は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、および／またはＮＡＮ（ｎｅｉｇｈｂｏｒ ａｗａｒｅ ｎｅｔｗｏｒｋ）、無線ＬＡＮネットワークおよび／または有線ＬＡＮネットワーク、セルラーネットワーク、および／またはＶ２Ｘ通信ネットワークと互換性があってもよい。ＲＦ検出アレイによって対象デバイスのＲＦ送信信号を検出および識別した後、信号処理アレイは、そのデバイスへの方向および距離を推定し、物理層およびデータ層の両方で、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉ、セルラー、および／またはＶ２Ｘの送信パラメータを使用してもよい。
【0072】
例えば、デバイスが使用する送信周波数を検出することで、システム１００は周囲の動作中のデバイスや送信中の個人用デバイスを分類し、位置を特定することができる。その後、システム１００は、同じ位置にある送信機や個人用通信デバイスを、識別された１つのデバイスまたはオブジェクトに統合することができる（例えば、携帯電話は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、およびセルラーで同時に送信することができる）。また、ユーザやオブジェクトが携帯する個人用デバイスは、メイン処理ユニットによって追跡され、優先順位が付けられ、そのパラメータが車両ＡＤＡＳシステムに送信されてもよい。
【0073】
図３Ａは、いくつかの実施形態による、ＲＦセンサモジュール１１２の一部としてシステム１００で使用されるＲＦ検出アレイ３００の例示的なアーキテクチャを模式的に示したものである。図３Ｂは、ＲＦセンサモジュール１１２の一部であるＲＦアレイ３００と、信号処理モジュール１１４を模式的に示している。
【0074】
アレイ３００は、１つまたは複数のアンテナおよび／またはアンテナアレイおよび／または同様の要素および／またはコンポーネントを含み、信号処理モジュール１１４によってシステム１００がＲＦ放射デバイスの距離、位置、向き、および／または軌道を検出、計算、および／または推定できるようにしてもよい。システムは、ＲＦ信号を受信する受動型であっても、ＲＦ信号を送受信する能動型であってもよい。精度と検出能力を向上させるために、１つまたは複数の検出システムを使用することができる。
【0075】
ＲＦ検出アレイは、例えば、無指向性および／または指向性アンテナ、ＢＰＦ（Ｂａｎｄ Ｐａｓｓ Ｆｉｌｔｅｒ）、および／または受信信号のＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）を向上させるためのＬＮＡ（Ｌｏｗ Ｎｏｉｓｅ Ａｍｐｌｉｆｉｅｒ）を備えるＲＦ送出デバイスによって生成されたＲＦ信号を受信するための１つまたは複数のＲＦ信号受信機を含んでいてもよい。アレイ３００は、ソフトウェア定義無線（ＳＤＲ）、アナログデジタル変換器（ＡＤＣ）、ＲＦミキサ、低域フィルタ（ＬＰＦ）、および信号処理ユニットを含んでいてもよい。アレイ３００は、受信したＲＦ出力信号のそれぞれの信号強度を検出する１つまたは複数のＲＦ出力検出器と、それを示す出力信号を生成する位相検出器と、をさらに備えてもよい。
【0076】
いくつかの実施形態では、信号処理モジュール１１４は、ＲＦ送出デバイスの相対的な位置を測定および推定するように構成されてもよい。いくつかの実施形態では、受信信号強度インジケータ（ＲＳＳＩ）、ラウンドトリップタイム（ＲＴＴ）、三角測量、ＤＲＳＳＩ（差分ＲＳＳＩ）、飛行時間測定（ＦＴＭ）の各方法を使用して、受信信号強度の測定とマルチラテレーション（既知の異なる点からの複数の距離測定）に基づいて、ＲＦ送出デバイスと検出システムとの間の距離を測定してもよい。いくつかの実施形態では、ＡＯＡ－到達角度（Ａｎｇｌｅ ｏｆ Ａｒｒｉｖａｌ）、ＣＲＬＢ－Ｃｒａｍｅｒ Ｒａｏ下限（Ｃｒａｍｅｒ Ｒａｏ Ｌｏｗｅｒ Ｂｏｕｎｄ）、ＣＥＰ－円形誤差確率（Ｃｉｒｃｕｌａｒ Ｅｒｒｏｒ Ｐｒｏｂａｂｌｅ）、ＤＤＯＰ－差分ドップラー（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｄｏｐｐｌｅｒ）、ＤＦ－方向探知（Ｄｉｒｅｃｔｉｏｎ Ｆｉｎｄｉｎｇ）、ＤＦＯＡ－到着周波数差（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｆｒｅｑｕｅｎｃｙ ｏｆ Ａｒｒｉｖａｌ）、ＤＯＡ－到着方向（Ｄｉｒｅｃｔｉｏｎ ｏｆ Ａｒｒｉｖａｌ）、ＤＰＤ－直接位置決定（Ｄｉｒｅｃｔ Ｐｏｓｉｔｉｏｎ Ｄｅｔｅｒｍｉｎａｔｉｏｎ）、ＤＴＯＡ－到着時間差（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｔｉｍｅ ｏｆ Ａｒｒｉｖａｌ）、ＥＭ－期待最大化（Ｅｘｐｅｃｔａｔｉｏｎ Ｍａｘｉｍｉｚａｔｉｏｎ）、ＥＳＰＲＩＴ－回転不変性技術による信号パラメータの推定（Ｅｓｔｉｍａｔｉｏｎ ｏｆ Ｓｉｇｎａｌ Ｐａｒａｍｅｔｅｒｓ ｖｉａ Ｒｏｔａｔｉｏｎａｌ Ｉｎｖａｒｉａｎｃｅ Ｔｅｃｈｎｉｑｕｅｓ）、ＦＤＯＡ－到着周波数差（Ｆｒｅｑｕｅｎｃｙ Ｄｉｆｆｅｒｅｒｃｅ ｏｆ Ａｒｒｉｖａｌ）、ＧＤＯＰ－精度の幾何学的希釈（Ｇｅｏｍｅｔｒｉｃ Ｄｉｌｕｔｉｏｎ ｏｆ Ｐｒｅｃｉｓｉｏｎ）、ＩＱＭＬ－反復二次最尤法（Ｉｔｅｒａｔｉｖｅ Ｑｕａｄｒａｔｉｃ Ｍａｘｉｍｕｍ Ｌｉｋｅｌｉｈｏｏｄ）、ＬＯＰ－位置線（Ｌｉｎｅ ｏｆ Ｐｏｓｉｔｉｏｎ）、ＭＬ－最尤法（Ｍａｘｉｍｕｍ Ｌｉｋｅｌｉｈｏｏｄ）、ＭＬＥ－最尤推定量（Ｍａｘｉｍｕｍ Ｌｉｋｅｌｉｈｏｏｄ Ｅｓｔｉｍａｔｏｒ）、ＭＵＳＩＣ－複数信号特性評価法（Ｍｕｌｔｉｐｌｅ Ｓｉｇｎａｌ Ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ）のパラメータの１つまたは複数を使用してもよい。いくつかの実施形態では、これらの技術のいずれか１つまたは複数を使用して、システム１００の位置に対するＲＦ放射デバイスの位置を決定することができる。いくつかの実施形態では、システム１００は、より高い性能を達成する、例えば、関心領域の外側にあり、したがってシステムに関係のないオブジェクトを省略する（例えば、道路から遠く離れた人を検出する）ために、２Ｄ、３Ｄ、および／または高解像度のマッピングデータを使用してもよい。いくつかの実施形態では、アレイ３００は、商業施設や製造施設、倉庫、スクールゾーンなどの定義された区域内のオブジェクトによって運ばれるペアのビーコンの検出能力を向上させるために、１つまたは複数の専用ＲＦビーコンをさらに備えてもよい。ＲＦビーコンは、固有の認可されたＲＦ周波数を使用してもよいし、Ｂｌｕｅｔｏｏｔｈ、ＷｉＦｉ、ＺｉｇＢｅｅ、セルラー（Ｖ２Ｘ、ＤＳＲＣ、５Ｇ、ＬＴＥ、４Ｇ、３Ｇ、２Ｇ）送信機、またはＲＦＩＤのような受動的ＲＦ要素などの共通プロトコルに基づいてもよいが、これらに限定されるものではない。
【0077】
いくつかの実施形態では、システム１００は、対象無線デバイスにインストールされた専用アプリケーションと通信して、対象無線デバイスに、対象無線デバイス内の利用可能な送信機（ＬＴＥ、５Ｇ、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、ＣＶ２Ｘなど）のいずれかを使用して、周期的な識別信号を送信させるように構成されてもよい。
【0078】
いくつかの実施形態では、システム１００は、任意の送信プロトコル（Ｗｉ－Ｆｉ、Ｗｉ－Ｆｉアウェア、Ｂｌｕｅｔｏｏｔｈ、ＺｉｇＢｅｅなど）によって、ネットワーク管理および制御メッセージおよび／またはパケットの使用、ならびに対象無線デバイスのアドレスを検出して読み取ることができてもよい。いくつかの実施形態では、そのような情報を物理的な信号パラメータと相関させることで、システムの精度を向上させたり、デバイスの状態（ペアリングされている、ペアリングされていない、ビジー状態など）に関するセマンティックコンテキストを追加したりすることができる。
【0079】
いくつかの実施形態では、システム１００は、オブジェクト追跡モジュールをさらに含むことができる。このモジュールは、対象デバイスのパラメータ、周波数ホッピングパターン、および／または、速度、距離、方向、タイプなどの個人用デバイスのプロパティを追跡するドップラーベースのアルゴリズムまたは位置追跡アルゴリズムに基づく様々なタイプの追跡アルゴリズムを使用して、個人用デバイスの分類、位置、および信頼度を向上させてもよい。
【0080】
いくつかの実施形態では、システム１００は、メッセージおよび／またはネットワーク制御メッセージを近傍の対象無線デバイスに迅速に接続して送信し、システム１００が関連付けられている可能性のある車両の存在をデバイスユーザに警告するように構成されてもよい。いくつかの実施形態では、これは、近くの送出器との瞬間的な無線接続を確立することによって行われてもよい。これは、送出器に近くのアクセスポイントをスキャンするように促し、それらを検出することで行うことができる。また、Ｗｉ－Ｆｉ認識機能やＮＡＮネットワークを使用することによっても行うことができる。
【0081】
いくつかの実施形態では、システム１００は、環境内の送出対象無線デバイスによるすべてのＲＦ送信チャネル、例えば、制御チャネル、音声用ダウンリンクチャネル、データ用ダウンリンクチャネル、音声用アップリンクチャネル、データ用アップリンクチャネルをスキャンおよび／または検出するように構成されてもよい。いくつかの実施形態では、システム１００は、これらのチャネルのすべてを監視し、および／または、検出範囲、シグナリングレート、識別情報などのより良いパフォーマンスを可能にする特定のチャネルを監視してもよい。
【0082】
いくつかの実施形態では、対象無線デバイスの識別には、デバイスの識別パラメータ、デバイスの特徴、デバイスのメーカーおよびモデルのうち１つまたは複数を検出することが含まれてもよい。
【0083】
［距離の推定］
いくつかの実施形態では、システム１００の信号処理モジュール１１４は、例えば、差分受信信号強度測定を用いて、システム１００の環境内の送信機／送出器対象無線デバイスまでの距離を推定するように構成されてもよい。
いくつかの実施形態では、システム１００の信号処理モジュール１１４は、例えば、差分受信信号強度測定を用いて、システム１００の環境内の送信機／送出器対象無線デバイスまでの距離を推定するように構成されてもよい。
【0084】
いくつかの実施形態では、非限定的な例として、対象無線デバイスなどのＲＦ送信デバイスまでの距離を測定することは、ＲＳＳＩ（受信信号強度インジケータ）を使用して実行されてもよく、この場合、受信信号の強度に基づいて送出器までの距離が推定されてもよい。しかし、この方法では、送信機の利得、送信機の位置、送信機のアンテナ利得、遮蔽物、反射などによって受信信号レベルが大きく変化するため、精度が比較的低くなる。
【0085】
ＲＳＳＩによる距離の推定式は、次のように記述できる。
ここで、Ｐｒは観測電力、Ｐｔは送信電力、Ｇｔは送信アンテナ利得、Ｇｒは受信アンテナ利得、Ｌはチャネル通過損失である。
【数1】
【0086】
距離は次のようにして与えられる。
ここで、ｆは周波数、ｃは伝搬速度、ｄは距離、αは係数（通常２～４）である。Ｐｔ，Ｇｔ，αは距離誤差に寄与する未知の係数である。
【数2】
【0087】
誤差を低減するために、信号処理モジュール１１４は差分ＲＳＳＩ法を使用してもよい。この方法では、観測された電力Ｐｒが短時間内に少なくとも３つの異なる場所で測定され、システム１００が設置されている車両の速度が既知であり、したがってサンプリングポイント間の距離が既知である。これにより、３つの未知の変数（Ｐｔ＋ｔＧ、α、ｄ）が得られる。送信機がサンプル間であまり移動していないと仮定すると、距離ｄは、
で説明されるようにして、標準的なＲＳＳＩよりも高い精度で推定することができる。
【数3】
【0088】
以上のように、距離ｄは高い計算能力を必要とせず、数値計算によって推定することができる。
【0089】
いくつかの実施形態では、信号処理モジュール１１４は、分類データおよび位置データを使用して、送信機／送出デバイスまでの距離の推定を改善するようにさらに構成されてもよい。上述したように、ＲＳＳＩを使用する場合、推定する必要がある３自由度の係数があり、これは不正確さを生む可能性がある。係数は、α－係数（通常２～４）、Ｐｔ－送信電力、およびＧｔ－送信アンテナ利得である。
【0090】
変数αは環境に関連しており，自由空間ではα＝２の値から，屋内や密集した都市環境ではα＝４までの値となる。車両ナビゲーションシステムとマッピングデータによって提供される位置を使用することで，αパラメータをより正確に評価することができる。また、スマートフォンの送信電力（Ｐｔ）は約２５ｄＢｍ、アンテナ利得は約３ｄＢｉであるなど、デバイスのタイプを識別および／または分類することで、ＰｔとＧｔを推定することができる。これらのパラメータをより良く推定することで、より正確な距離の推定を達成することができる。
【0091】
いくつかの実施形態において、信号処理モジュール１１４は、Ｗｉ－Ｆｉデバイスまでの距離を推定することを提供してもよい。Ｗｉ－Ｆｉ送信機までの距離を推定する場合、信号処理モジュール１１４は、車両が運搬するシステム１００と、歩行者によって携帯されてもよい対象無線デバイスとの間の距離を推定するために、ＦＴＭ（飛行時間測定）またはＲＴＴ（往復時間）を使用してもよい。
【0092】
いくつかの実施形態では、信号処理モジュール１１４は、方向探知によって送信機／送出器までの距離を推定することを提供することができる。対象無線デバイスまでの距離を推定するために、信号処理モジュール１１４は、それぞれが対象無線デバイスに対する方位を個別に測定するように構成された２つ以上のＲＦアレイを使用してもよい。信号処理モジュール１１４は、２つ以上の角度を測定することにより、三角測量によって相対的な距離を計算することができる。
【0093】
いくつかの実施形態では、追加および／または他の距離の推定方法を採用してもよい。
【0094】
［デバイスの検出と識別］
いくつかの実施形態では、信号処理モジュール１１４は、非協力的なＢｌｕｅｔｏｏｔｈデバイスを検出、識別、および分類することを提供してもよい。一般的なＢｌｕｅｔｏｏｔｈデバイスは、例えば、デバイスが他のデバイスとペアリングされているとき（例えば、ヘッドフォンとペアリングされた携帯電話）、または発見可能でないモードにあるときに、非協力的なモードになることがある。このような場合、信号処理モジュール１１４は、対象の無線デバイスのＭＡＣ（メディアアクセスコントロール）アドレスまたはＢｌｕｅｔｏｏｔｈアドレス（ＢＤ＿ＡＤＤＲ）を使用して対象の無線デバイスと通信するように構成されてもよい。Ｂｌｕｅｔｏｏｔｈアドレスの構造は、次のとおりである。
いくつかの実施形態では、信号処理モジュール１１４は、非協力的なＢｌｕｅｔｏｏｔｈデバイスを検出、識別、および分類することを提供してもよい。一般的なＢｌｕｅｔｏｏｔｈデバイスは、例えば、デバイスが他のデバイスとペアリングされているとき（例えば、ヘッドフォンとペアリングされた携帯電話）、または発見可能でないモードにあるときに、非協力的なモードになることがある。このような場合、信号処理モジュール１１４は、対象の無線デバイスのＭＡＣ（メディアアクセスコントロール）アドレスまたはＢｌｕｅｔｏｏｔｈアドレス（ＢＤ＿ＡＤＤＲ）を使用して対象の無線デバイスと通信するように構成されてもよい。Ｂｌｕｅｔｏｏｔｈアドレスの構造は、次のとおりである。
【0095】
【表1】
ＮＡＰ － Ｎｏｎ－ｓｉｇｎｉｆｉｃａｎｔ Ａｄｄｒｅｓｓ Ｐａｒｔ（２バイト）。ＯＵＩの最初の１６ビットを含む。ＮＡＰの値は、周波数ホッピング同期フレームで使用される。
ＵＡＰ － 上位アドレス部（１バイト）。ＯＵＩの残りの８ビットを含む。ＵＡＰの値は、様々なＢｌｕｅｔｏｏｔｈ仕様のアルゴリズムでシーディングに使用される。
ＬＡＰ － 下位アドレス部分（３バイト）。Ｂｌｕｅｔｏｏｔｈアドレスのこの部分は、デバイスのベンダによって割り当てられる。ＬＡＰ値は、すべての送信フレームのアクセスコードの一部として、Ｂｌｕｅｔｏｏｔｈデバイスを一意に識別する。
【0096】
図４Ａは、非協力的なＢｌｕｅｔｏｏｔｈデバイスの距離の推定方法のステップを示すフローチャートである。いくつかの実施形態では、デバイスＬＡＰのみが検出されてもよい。いくつかの実施形態では、Ｂｌｕｅｔｏｏｔｈデバイスが発見可能でない場合、そのアドレス要素のいずれも発見可能でない場合がある。一部の携帯デバイスでは、Ｗｉ－ＦｉおよびＢｌｕｅｔｏｏｔｈのＭＡＣアドレスが同一であるか、またはＬＡＰの最後の部分のわずかな違いのみが反映されている。したがって、デバイスのＢｌｕｅｔｏｏｔｈ ＵＡＰ ＭＡＣアドレスは、デバイスのＷｉ－Ｆｉ ＵＡＰのＭＡＣアドレスを検出することによって決定されてもよく、または、Ｗｉ－Ｆｉ ＬＡＰのＭＡＣアドレスに基づいて推定されてもよい。
【0097】
Ｂｌｕｅｔｏｏｔｈデバイスへの通信は、デバイスが送信している一連のパラメータに基づいてデバイスを分類することができるＬＡＰおよびＵＡＰを知ることによって達成できる。このプロセスを用いて、完全なペアリングプロセスを実現することができる。
【0098】
いくつかの実施形態では、信号処理モジュール１１４は、ペアリングされたＢｌｕｅｔｏｏｔｈデバイスを検出および識別するように構成されてもよい。場合によっては、対象無線デバイスは、別のＢｌｕｅｔｏｏｔｈデバイス、例えば、ヘッドセット、イヤホン、無線スピーカ、および/または車両ハンズフリーシステムとペアリングされることもある。このような状況では、対象無線デバイスは「マスタ」として宣言され、他のＢｌｕｅｔｏｏｔｈデバイスは「スレーブ」として宣言され、マスタとスレーブの両方のＢｌｕｅｔｏｏｔｈ ＭＡＣアドレスがマスタのＭＡＣアドレスにマージされる。したがって、ペアリングされたデバイスを検出するために、信号処理モジュール１１４は、対象無線デバイスおよび／またはＢｌｕｅｔｏｏｔｈデバイスによって送信されるパラメータを使用し、ペアリングされたデバイス間で送信されるデータパケットの量およびパターンなどに基づいて、ペアリングされたＢｌｕｅｔｏｏｔｈデバイスがあるかどうかを分析してもよい。
【0099】
いくつかの実施形態では、信号処理モジュール１１４は、Ｗｉ－Ｆｉ送信に基づく対象無線デバイスの検出および識別を提供することができる。ＩＥＥＥ ８０２．１１プロトコルを使用するＷｉ－Ｆｉデバイスは、携帯デバイス、アクセスポイントなどで一般的に使用される。動作中、デバイスは、無線ネットワークまたはネイバーアウェアネットワークを識別するために、そのＭＡＣアドレスを送信する。
【0100】
いくつかの実施形態では、信号処理モジュール１１４は、ＳＳＩＤ（サービスセット識別子、Ｓｅｒｖｉｃｅ Ｓｅｔ Ｉｄｅｎｔｉｆｉｅｒ）、ＢＳＳＩＤ（基本サービスセット識別子、Ｂａｓｉｃ Ｓｅｒｖｉｃｅ Ｓｅｔ Ｉｄｅｎｔｉｆｉｅｒ）、ＥＳＳ（拡張サービスセット識別子、Ｅｘｔｅｎｄｅｄ Ｂａｓｉｃ Ｓｅｒｖｉｃｅ Ｓｅｔ）、信号強度、およびＭＡＣアドレスのうちの１つに基づいて、Ｗｉ－Ｆｉ対応の対象無線デバイスを分類することができる。
【0101】
いくつかの実施形態では、図４Ｂに示すように、Ｗｉ－Ｆｉデバイスを識別することは、デバイスがＷｉ－Ｆｉ送信機とＢｌｕｅｔｏｏｔｈ送信機の両方を有する場合、デバイス内のＢｌｕｅｔｏｏｔｈ送信機の識別に基づいて行うことができる。
【0102】
いくつかの実施形態では、信号処理モジュール１１４は、複数の追加データポイント、例えば、システム１００の位置に対する無線デバイスの速度、位置、距離、および方向に基づいて、対象無線デバイスの識別を提供することができる。例えば、図５に示すように、スマートフォンとして識別され、高速で移動していることが検出された無線対象デバイスは、移動中の車両内の場所を示すことがあり、一方、歩行速度で進んでいるスマートフォンは、歩行者または自転車である対象を示すことがある。いくつかの実施形態では、速度、位置、距離、方向などの特性を共有するＲＦ送出デバイスの集合体を識別に使用することができる。例えば、携帯電話、ハンズフリーのＢｌｕｅｔｏｏｔｈデバイス、Ｗｉ－Ｆｉデバイス、およびＬＴＥデバイスのすべてが同じ速度と方向で移動している場合、電動スクータのオブジェクトを定義するために使用することができる。
【0103】
いくつかの実施形態では、本開示は、一般的なＡＤＡＳの視覚ベースの検出モダリティと組み合わせて、そのようなモダリティに内在する弱点を克服することができる。対象無線デバイス検出を使用することにより、視覚的に検出された対象に関連する無線デバイスを検出することが可能であり、したがって、ＡＤＡＳ検出のロバスト性および性能を向上させることができる。さらに、予測アルゴリズムを用いることで、非視認性の車両や不明瞭な車両が引き起こす危険な状況を予測することができる。その例を図６に示する。対象の一次検出は、ＡＤＡＳシステムの視覚的検出モダリティによって実行される。対象が例えば部分的に見えない場合、ＡＤＡＳの検出アルゴリズムは、その検出を低いレベルの確実性と関連付けることができる。次に、ＡＤＡＳシステムは、視覚的な検出と対象無線デバイスベースの検出を組み合わせて、一次検出を検証し、妥当性を確認することができる。このように、ＡＤＡＳシステムは、検出の確実性レベルを高めることができる。
【0104】
［機械学習による分類］
いくつかの実施形態では、本開示は、少なくとも部分的に、無線送信の様々なパラメータ、およびこれらの対象に関連する動きパラメータを分析することに基づいて、物理的環境内の対象のタイプを分類および／または予測するためのトレーニング済み機械学習モデルを提供する。
いくつかの実施形態では、本開示は、少なくとも部分的に、無線送信の様々なパラメータ、およびこれらの対象に関連する動きパラメータを分析することに基づいて、物理的環境内の対象のタイプを分類および／または予測するためのトレーニング済み機械学習モデルを提供する。
【0105】
いくつかの実施形態では、本開示のトレーニング済み機械学習モデルは、対象に関連する無線デバイスによって送出される無線送信の様々なパラメータを分析することに基づいて、物理的環境またはシーン内の対象のタイプを分類および／または予測することを提供することができる。
【0106】
いくつかの実施形態では、そのようなデバイスは、携帯デバイス、タブレット、ラップトップ、マイクロモビリティ搭載テレマティクスユニット、車両搭載テレマティクスユニット、車両インフォテインメントシステム、車両ハンズフリーシステム、車両タイヤ空気圧監視システム、スマートウォッチ、無線ヘッドフォン、ドローン、カメラ、ダッシュカム、プリンタ、アクセスポイント、およびキッチン家電のうちの１つまたは複数であってもよい。
【0107】
いくつかの実施形態では、本開示のトレーニング済み機械学習モデルは、対象のタイプを、歩行者、車両運転手、車両搭乗者、バス運転手、バス搭乗者、トラック運転手、トラック搭乗者、共有スクータライダー、共有自転車ライダー、スクータライダー、自転車ライダー、モペットライダー、モビリティスクータライダー、トラム搭乗者、軽列車搭乗者、列車搭乗者、車、バス、トラック、共有スクータ、共有自転車、スクータ、自転車、モペット、モビリティスクータ、トラム、軽列車、列車のいずれかに分類および／または予測することをさらに提供してもよい。
【0108】
いくつかの実施形態では、本開示のトレーニング済み機械学習モデルは、例えば、スマートフォン、データアプリケーション、音声通話、コンテンツストリーミングなどを使用している対象の状況認識および／またはデバイス使用パラメータを予測することをさらに提供してもよい。
【0109】
いくつかの実施形態では、本開示の機械学習モデルは、少なくとも１つの対象を含む様々なシーンに関連するデータを含むトレーニングデータセットで学習されてもよく、各対象に関連するデータポイントは、対象に関連する、および／または対象が携帯する１つまたは複数のデバイスおよび／または１つまたは複数のＲＦ送信機によって送出される無線送信に関連する。いくつかの実施形態では、そのようなデータポイントは、無線送信信号のパラメータ無線送信データコンテンツ、および／または無線通信の位置パラメータに関連するデータを含んでもよい。
【0110】
いくつかの実施形態では、無線送信信号パラメータおよび／またはデータコンテンツは、信号周波数、信号帯域幅、信号強度、信号位相、信号コヒーレンス、パケットパラメータ（タイプ、サイズなど）、ネットワークトポロジー、一意のデバイス識別子（例えば。ＭＡＣ、ＳＳＩＤ、ＢＳＳＩＤ、ＥＳＳ、ＵＵＩＤ、ＴＩＭＳＩ、ＩＭＳＩなど）、信号のタイミング（無線デバイスが時分割多重アクセスまたは時分割多重プロトコルを使用する場合など）、データパケットのパラメータ（タイプ、サイズなど）、ネットワークトポロジー、信号のサブキャリア（直交周波数分割多重（ＯＦＤＭ）など）、周波数分割多重（ＦＤＤ）を含むが、これらに限定されない。
【0111】
いくつかの実施形態では、位置パラメータは、無線送信パターンに基づく、対象に関連する位置および／または動きパラメータ、例えば、位置、速度、加速度、軌跡、ジャーク、ならびにこれらのパラメータのそれぞれに関連する履歴情報を含むが、これらに限定されないことがある。いくつかの実施形態では、位置情報パラメータは、対象の時間外の位置情報パラメータを継続的に追跡することに基づいて取得されてもよく、その際、様々なパラメータにはタイムスタンプが付けられている。いくつかの実施形態では、位置情報パラメータは、適切な時間マーキングでアノテーションされた位置情報履歴を含んでもよい。
【0112】
いくつかの実施形態では、本開示のトレーニングデータセットは、各対象に関連付けられた対象カテゴリラベルでアノテーションされてもよい。いくつかの実施形態では、本開示のトレーニングデータセットのアノテーション付けおよび／またはラベル付けは、人手によるアノテーション技術を使用して実行されてもよい。
【0113】
いくつかの実施形態では、アノテーションは、自己ラベル付けおよび／または自己教師付き技術を含んでいてもよく、トレーニングセット内のデータポイントは、例えば、他の相関および／または関連付けられたデータポイントに基づいて自動的にラベル付けされる。いくつかの例では、対象は、それに関連する複数のデータポイントまたはデータインスタンスを有することがあり、これらのデータポイントの１つまたは複数が、対象の識別および／または分類に関する指示を提供することがある。このような場合、単一または複数のデータポイントが対象の識別および／または分類に関するグラウンドトゥルースの指示を提供するとき、データポイントのセット全体がそれに応じてアノテーション付けされることがある。例えば、無線送信から得られたデータコンテンツは、対象のカテゴリまたはクラスに関する指示を提供することができる。例えば、ＳＳＩＤが「バス」という単語を含むＷｉ－Ｆｉ信号は、バスのカテゴリ、例えば、バスに設置されたＷｉ－Ｆｉゲートウェイまたはアクセスポイントに該当すると仮定してもよい。別の例では、無線通信でデバイス名に「ｉＰｈｏｎｅ」（登録商標）という単語が含まれていた場合、そのデバイスはスマートフォンであると想定される。さらに別の例では、対象の位置、例えば、高速道路、歩行者の歩道、自転車のレーンなどから、対象のタイプを示すグランドトゥルースを得ることができる。いくつかの実施形態では、同じデバイスに含まれる異なるＲＦ送信モダリティの同様または同一のＭＡＣアドレスを、クロスラベル付けの目的で使用することができる。
【0114】
したがって、同じ対象に関連および／または相関しているトレーニングセット内のすべてのデータポイントは、同様のカテゴリラベルを受け取ることができる。
【0115】
いくつかの実施形態では、本開示のトレーニングデータセットは、１つまたは複数の仮想静的および／または動的対象を含む、１つまたは複数の生成および／または知覚されたテストシーンに関連して取得されたデータを備えてもよい。いくつかの実施形態では、仮想シーン生成は、例えば、現実世界で車両が遭遇する可能性のある運転シナリオを現実的に表現する複数の静的および／または動的オブジェクトを含む道路環境を仮想化することを含んでもよい。いくつかの実施形態では、仮想対象は、環境内で生成および／または送信される１つまたは複数の信号として表されることがある。いくつかの実施形態では、生成されたテスト環境を使用して得られたデータのアノテーションは、生成されたテスト環境に関連するグランドトゥルースパラメータに基づいて実行されてもよい。
【0116】
［初期分類］
いくつかの実施形態では、本開示のトレーニングデータセットは、初期対象の分類を事前に行うための辞書および／またはデータベースとして採用されてもよい。
いくつかの実施形態では、本開示のトレーニングデータセットは、初期対象の分類を事前に行うための辞書および／またはデータベースとして採用されてもよい。
【0117】
いくつかの実施形態では、初期対象の分類は、テスト対象に関する１つまたは複数のデータポイントを取得することを備えてもよく、データポイントは、対象に関して、無線送信信号のパラメータ、無線送信データコンテンツ、および／または無線通信の位置パラメータに関連するデータを備えてもよい。
【0118】
一部の実施形態では、これらのデータポイントの一部またはすべてが、辞書に含まれるデータポイントとの比較に基づく初期分類に使用されてもよく、分類は、辞書に含まれるアノテーションをテストデータポイントのセットに割り当てることによって得られてもよい。
【0119】
いくつかの実施形態では、初期分類は、これらのカテゴリのそれぞれからの複数のパラメータの組み合わせに基づいてもよい。例えば、ＮＢ－ＩｏＴスペクトルの信号周波数と歩道上の位置は、共有スクータとして分類することができる。別の例では、携帯電話のＷｉ－Ｆｉ ＭＡＣアドレスＯＵＩを持つデバイスが、「バス」という単語を含むＳＳＩＤを持つアクセスポイント（ＡＰ）に接続されている場合、バスの中の乗客として分類することができる。例えば、「エアポッド」や「車」といった単語を含むＢｌｕｅｔｏｏｔｈデバイスの名前は、そのデバイス、ひいてはそのユーザ／対象を示すことができる。さらに別の例では、携帯電話メーカーまたは車両インフォテイメントシステムメーカーのＷｉ－Ｆｉ ＭＡＣアドレスＯＵＩ（Ｏｒｇａｎａｌｌｙ Ｕｎｉｑｕｅ Ｉｄｅｎｔｉｆｉｅｒ）が、それぞれ携帯電話およびインフォテイメントシステムを搭載した車両を示している場合がある。
【0120】
いくつかの実施形態では、本開示の辞書は、ＳＳＩＤ、ＢＳＳＩＤ、ＥＳＳ、ＵＵＩＤ、ＴＩＭＳＩ、ＩＭＳＩ ＭＡＣ、およびＯＵＩなどの既知の一意の識別子のデータベースを構成してもよい。
【0121】
いくつかの実施形態では、無線送信データコンテンツは、例えば、パケット情報を備え、大量のデータまたは音声トラフィックは、ユーザによるデバイスの能動的な使用を示す可能性があり、したがって、ユーザの潜在的に低い認識を部分的に示す可能性がある。
【0122】
いくつかの実施形態では、位置情報パラメータは、例えば、歩道上または道路上の位置を含むことができる。
【0123】
［機械学習による分類］
いくつかの実施形態では、トレーニング段階で、１つまたは複数の機械学習モデルが、本開示のトレーニングデータセットでトレーニングされてもよい。例えば、トレーニング段階において、１つまたは複数の機械学習モデルは、複数のシナリオと、少なくとも無線送信信号パラメータ、無線送信データコンテンツ、および／または無線送信位置パラメータを含む関連する無線データとを含むトレーニングセットに基づいて、対象のタイプを予測するようにトレーニングされてもよい。
いくつかの実施形態では、トレーニング段階で、１つまたは複数の機械学習モデルが、本開示のトレーニングデータセットでトレーニングされてもよい。例えば、トレーニング段階において、１つまたは複数の機械学習モデルは、複数のシナリオと、少なくとも無線送信信号パラメータ、無線送信データコンテンツ、および／または無線送信位置パラメータを含む関連する無線データとを含むトレーニングセットに基づいて、対象のタイプを予測するようにトレーニングされてもよい。
【0124】
いくつかの実施形態では、図８に示すように、推論段階において、本開示のトレーニング済み機械学習モデルが、テストシナリオに関連するデータポイントのセットに適用されて、テストシナリオに関連する１つまたは複数の対象のタイプを予測することができる。
【0125】
いくつかの実施形態では、本開示は、階層的に動作するカスケード分類器を提供してもよく、複数の第１のインスタンス分類器の出力は、集約分類器のための追加情報として使用されてもよい。
【0126】
例えば、図９に示すように、いくつかの実施形態では、対象の分類は、１つの対象に関連する２つ以上のＲＦデバイスに基づいてもよい。例えば、歩行者は、スマートフォンだけでなく、Ｂｌｕｅｔｏｏｔｈヘッドフォンの両方を持ち歩いている場合がある。この場合、両方のＲＦデバイスは、同様の位置情報パラメータに関連付けられる。別の例では、自動車の乗員が使用する１つのデバイスが、Ｗｉ－ＦｉとＢｌｕｅｔｏｏｔｈの両方で送信する場合がある。この場合、両方のＲＦ送信は、同一または非常に類似した固有の識別子（例えば、ＭＡＣアドレス）を持つ必要がある。
【0127】
したがって、本開示の１つまたは複数のトレーニング済み機械学習モデルは、各ＲＦデバイスから得られたデータに別々に適用され、各ＲＦデバイスまたはエンティティから得られた無線送信データに基づいて対象に関する予測を出力することができる。いくつかの実施形態では、別々の予測は、対象に関する複合予測を発行する集約分類器に入力されてもよい。
【0128】
［具体的な使用例］
いくつかの実施形態では、図１のシステム１００のような本開示のシステムは、道路を横断する歩行者を検出するように構成されてもよい。道路を横断する歩行者を検出することは、ＡＤＡＳシステムにとって最も重要なタスクの１つである。なぜなら、横断する歩行者は、特に幼い子供や高齢者などの状況認識レベルの低い脆弱な集団を考慮すると、車両に高いレベルの衝突の危険をもたらすからである。対象無線デバイス検出を使用することによって、歩行者が携帯するデバイス（スマートフォン、携帯電話、Ｂｌｕｅｔｏｏｔｈハンズフリー、Ｗｉ－Ｆｉなど）を検出することができる。いくつかの実施形態では、デバイスは、専用のＲＦビーコン、またはデバイスに周期的および／または定義された検出信号を送出させるように構成されたアプリケーションで構成される。
いくつかの実施形態では、図１のシステム１００のような本開示のシステムは、道路を横断する歩行者を検出するように構成されてもよい。道路を横断する歩行者を検出することは、ＡＤＡＳシステムにとって最も重要なタスクの１つである。なぜなら、横断する歩行者は、特に幼い子供や高齢者などの状況認識レベルの低い脆弱な集団を考慮すると、車両に高いレベルの衝突の危険をもたらすからである。対象無線デバイス検出を使用することによって、歩行者が携帯するデバイス（スマートフォン、携帯電話、Ｂｌｕｅｔｏｏｔｈハンズフリー、Ｗｉ－Ｆｉなど）を検出することができる。いくつかの実施形態では、デバイスは、専用のＲＦビーコン、またはデバイスに周期的および／または定義された検出信号を送出させるように構成されたアプリケーションで構成される。
【0129】
いくつかの実施形態では、システム１００は、歩行者の状況認識を評価するように構成されている。歩行者の行動を予測することは、ＡＤＡＳシステムにとって最も困難なタスクの１つであるが、一方で、歩行者による携帯デバイスの集中的な使用は、それ自体が歩行者の低い状況認識を引き起こす可能性があり、これは、混雑した道路を横断する際や赤信号の際に現れる可能性がある。したがって、いくつかの実施形態では、対象デバイスの信号特性（例えば、送信レート、データパケットサイズ、送信デバイスのタイプなど）を分析することで、歩行者の状況認識を評価することができる。信号特性の分析によって、歩行者が携帯電話のスマートフォンを能動的に、例えば、テキストメッセージ、音声通話、無線イヤホンへのオーディオまたはビデオコンテンツのストリーミングなどを使用しているかどうかを評価することができる。
【0130】
いくつかの実施形態では、信号処理モジュール１１４は、部分的または全体的に見えない車両を検出することができる。道路状況、地形、センサの視野、およびその他のパラメータが、ＡＤＡＳシステムの車両検出能力を制限している。例えば、交差点では、地上設備の特徴、駐車している車、地形の高低差などにより、車両が見えなくなることがある。また、トラック運転手の場合、側方の死角に入っている車両を検出することが困難な場合がある。
【0131】
したがって、いくつかの実施形態では、本開示の対象無線デバイス検出システムは、環境内に位置するが、少なくとも部分的に見えない送出器からの無線送信を検出することを提供してもよい。いくつかの実施形態では、対象無線デバイス検出は、無線送信分析に基づいて対象を検出および分類することを提供してもよい。
【0132】
図７Ａは、交差点に近づく車両７００が、視覚ベースまたはレーダーベースのＡＤＡＳ検出モダリティのみを使用して対象車両７０２を検出することができない例示的なシーンを示す。図７Ｂ～７Ｃは、車両、二輪車、および自転車が死角に位置し、車両の運転手によって見ることができない様々な追加のシナリオを示す。いくつかの実施形態では、対象無線デバイス検出は、無線送信分析に基づいて対象を検出し、分類することを提供してもよい。
【0133】
いくつかの実施形態では、対象無線デバイス検出システムは、歩行者、自転車、車両などの検出確率を向上させるという点で非常に有利であると考えられる。いくつかの実施形態では、この確率は、歩行者、自転車、車両などが携帯する専用のＲＦビーコンを使用することで向上する可能性がある。このようなビーコンの使用は、歩行者や個人の自転車および／または車両では一般的ではないかもしれないが、事業会社が多数の車両のポリシーを管理するレンタルスクータ、自転車および／または車両などの商用フリートでは、大規模に使用することができる。このようなフリート車両での専用ＲＦビーコンの使用は、事故率の低下や保険料の低減などに貢献する可能性がある。
【0134】
いくつかの実施形態では、本開示の対象無線デバイス検出システムは、歩行者によって運ばれるデバイスを感知することによって危険な状況を検出し、デバイスに警告メッセージを送信することによって、危険な状況に関して歩行者に警告してもよい。いくつかの実施形態では、システムは、データリンク管理を行う間にデバイスに通信される、合意されたプロトコル、または定義されたＭＡＣアドレス、Ｂｌｕｅｔｏｏｔｈアドレス、またはＳＳＩＤを使用してもよく、および／または専用の緊急チャネルを使用してもよい。歩行者やデバイスのユーザへの警告は、デバイスにアプリケーションを事前にインストールすることに依存する場合がある。
【0135】
いくつかの実施形態では、本開示の対象無線デバイス検出システムは、対象情報、例えば、特定の領域および／または時間における歩行者および／または他の対象の数に関する情報を収集および保存してもよい。これらのデータは、収集され、所定のデータベースに格納されてもよい。いくつかの実施形態では、このようなデータは、公共交通システムに関するデータ、例えば、駅、バス、電車の車両、地下鉄の車両などの特定の公共交通領域における乗客の数を備えてもよい。いくつかの実施形態では、公共交通機関の車両に設けられた専用の検出公共交通を使用してもよい。いくつかの実施形態では、そのようなデータは、ビル、ショッピングモール、オフィスなど、特定の公共の場またはインフラストラクチャにおける訪問者の数を含んでもよい。
【0136】
建設現場や鉱山など、重機設備を使用する作業現場では、重機、特にドーザー、ホイールローダー、トラクター、アーティキュレートホーラー、トラックなどの重機を広範囲に使用する。これらの重機の操縦者は、通常、視界が限られる。そのため、このような作業現場では、作業員が日常的に重機の近くにいるという危険な状況が多く見られる。そのため、作業現場の重機には、図１０に示した上述のような対象無線デバイス検出システムが搭載されることがある。このシステムは、ＲＦ送出デバイス（個人用携帯電話、Ｂｌｕｅｔｏｏｔｈヘッドセット、Ｗｉ－Ｆｉ、専用ビーコン、安全アプリケーションを使用しているスマートフォンなど）を携帯している人があらかじめ設定された安全領域に進入したことを検出する。その場合、システムは、安全領域に人がいることを設備の操縦者に警告してもよい。また、設備によって行われる自動化、自律化、ロボット化された動作を直ちに停止するために、システムが機器のコンピュータに報告してもよい。
【0137】
現代の倉庫や製造施設，組み立てラインでは、商品、部品、および材料の自動輸送（自律型フォークリフト、貨物ロボット、ドローン）や製造組み立てロボットなどのロボット設備が使用される。これらの高度に自動化されたロボットシステムは、高荷重を運んだり、高出力のツールを使用したりするように設計されているため、作業場所を共有する人に大きな危険を及ぼす可能性がある。このような対象無線デバイス検出システムを搭載した貨物ロボットを図１１に示す。このシステムは、ＲＦ送出デバイス（個人用携帯電話，Ｂｌｕｅｔｏｏｔｈヘッドセット、Ｗｉ－Ｆｉ、専用ビーコン、安全アプリケーションを使用しているスマートフォンなど）を携帯する人が所定の設定された安全領域に侵入したことを検出する。この場合、ロボットは警告信号を作動させて個人の注意を喚起したり、人が安全領域から出る停止したりすることができる。別のシナリオとしては、自動フォークリフトの周囲や下に人がいる場合、倉庫の棚への積み下ろしを停止することができる。
【0138】
自律型ドローンを人口密集地で操縦することは、オンラインで購入した商品を商業的に配送するなど、一般的なタスクである。ほとんどの国の航空規則は、人間の上でドローンを操作することを禁じているが、上述の個人用通信デバイスを検出するシステムおよび方法は、区域内の個人用通信デバイスの量を推定することによって、人口の多いまたは混雑した区域を検出し、ドローン自律システムまたは操縦者にその飛行経路においてその区域の上を飛行またはホバリングすることを警告することができる。この情報を利用することによって、ドローンの自律システムや操縦者は、経路を変更することができる。ドローンは、設置された専用システムを使用してもよいし、上述のような検出方法を持つ独自の送受信機を使用してもよい。
【0139】
自律型ドローンを運用すると、特に空港や軍事基地、機密施設などの近くを飛行する際に、安全上の問題が生じることがある。飛行経路は事前に計画されるが、ナビゲーションの不具合や悪意のあるサイバー攻撃により、ドローンが漂流したり、飛行禁止区域を飛行したりする可能性がある。そこで、飛行禁止区域を示す信号ビーコンと、ドローンに搭載された通信デバイス検出システムを用いることによって、ドローンが飛行禁止区域に入るのを防ぐことができる。ビーコンは、持ち運び可能であってもよく、個人用デバイスからのシグナリングアプリを利用してもよく、必要に応じて一時的に飛行禁止区域を設定することができる。
【0140】
人口の多い地域でドローンを運用する場合、例えば物流倉庫のような関係者が共有する場所にドローンを着陸させるなど、特定の場所への安全な着陸を確保する必要がある場合がある。ドローンに搭載された信号ビーコンと通信デバイス検出システムを利用することで、ドローンの正確な着陸地点を定義することができる。ビーコンは、特注品であってもよく、個人用デバイスからのシグナリングアプリを利用してもよく、必要に応じてドローンの正確な着陸地点を設定することができる。
【0141】
スマートホームや建物内の人の存在を検出することは、例えば、節電や安全のために建物内の人の数をカウントしたり、建物内の人の位置を追跡したり、制限区域への進入を警告したりする場合に必要な機能である。
【0142】
建物の部屋や公共の区域に対象となる無線デバイス検出システムを導入することで、建物にいる人の存在や人数、その居場所を検出し、追跡することができる。
【0143】
例えば、対象無線デバイス検出システムを使用しているホテルでは、室内で携帯電話が検出されない場合、エアコンや照明（またはその他の設備）をオフにすることができる。
【0144】
当業者であれば理解できるように、本発明の態様は、システム、方法、またはコンピュータプログラム製品として具現化することができる。したがって、本発明の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、またはソフトウェアおよびハードウェアの態様を組み合わせた実施形態の形態をとることができ、これらはすべて、本明細書では一般的に「回路」、「モジュール」または「システム」と呼ばれることがある。さらに、本発明の態様は、具現化されたコンピュータ可読プログラムコードを有する１つまたは複数のコンピュータ可読媒体に具現化されたコンピュータプログラム製品の形態をとることができる。
【0145】
１つまたは複数のコンピュータ可読媒体の任意の組み合わせを利用することができる。コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体またはコンピュータ読み取り可能な記憶媒体であってもよい。コンピュータ可読記憶媒体は、例えば、電子的、磁気的、光学的、電磁的、赤外線的、または半導体システム、装置、もしくはデバイス、またはこれらの任意の適切な組み合わせであってもよいが、これらに限定されるものではない。コンピュータ読み取り可能な記憶媒体のより具体的な例（網羅的でない一覧）としては、１本以上の電線を有する電気接続部、ポータブルコンピュータのディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭまたはフラッシュ（登録商標）メモリ）、光ファイバー、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、またはこれらの任意の適切な組み合わせが挙げられる。本明細書では、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスで使用するためのプログラムを含む、または保存することができる任意の有形媒体であってもよい。
【0146】
コンピュータ可読信号媒体は、例えば、ベースバンドで、または搬送波の一部として、そこにコンピュータ可読プログラムコードが具現化された伝搬データ信号を含むことができる。そのような伝搬信号は、電磁的、光学的、またはそれらの任意の適切な組み合わせを含むがこれらに限定されない、様々な形態のいずれかを取ることができる。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではない任意のコンピュータ可読媒体であって、命令実行システム、装置、またはデバイスによってまたはそれらに関連して使用するためのプログラムを通信、伝播、または搬送することができるものであってもよい。
【0147】
コンピュータ可読媒体に具現化されたプログラムコードは、無線、有線、光ファイバケーブル、ＲＦなど、またはこれらの適切な組み合わせを含むがこれらに限定されない、任意の適切な媒体を使用して送信することができる。
【0148】
本発明の態様の動作を実行するためのコンピュータプログラムコードは、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語と、「Ｃ」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語を含む、１つまたは複数のプログラミング言語の任意の組み合わせで書かれてもよい。プログラムコードは、完全にユーザのコンピュータ上で実行される場合、一部がユーザのコンピュータ上で実行される場合、スタンドアローンのソフトウェアパッケージとして実行される場合、一部がユーザのコンピュータ上で実行され、一部がリモートコンピュータ上で実行される場合、または完全にリモートコンピュータまたはサーバー上で実行される場合がある。後者の場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）やワイドエリアネットワーク（ＷＡＮ）など、あらゆるタイプのネットワークを介してユーザのコンピュータに接続されていてもよいし、外部のコンピュータに接続されていてもよい（例えば、インターネットサービスプロバイダを使用してインターネットを介して接続されている場合など）。
【0149】
本発明の態様は、本発明の実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図および／または領域図を参照して本明細書で説明される。フローチャート図および／または領域図の各領域、ならびにフローチャート図および／またはブロック図のブロックの組み合わせは、コンピュータプログラム命令によって実装できることが理解されるであろう。これらのコンピュータプログラム命令は、汎用コンピュータ、特殊目的コンピュータ、または他のプログラム可能なデータ処理装置のハードウェアプロセッサに提供されて、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令が、フローチャートおよび／またはブロック図の１つまたは複数のブロックで特定された機能／行為を実施するための手段を作成するような機械を生成することができる。
【0150】
これらのコンピュータプログラム命令は、コンピュータ、他のプログラム可能なデータ処理装置、または他の装置が特定の方法で機能するように指示することができるコンピュータ可読媒体に格納することもでき、その場合、コンピュータ可読媒体に格納された命令は、フローチャートおよび／またはブロック図の１つまたは複数のブロックで特定された機能／行為を実施する命令を含む製造品を生成する。
【0151】
コンピュータプログラム命令は、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイスなどにロードされて、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイスなどで一連の動作ステップを実行させ、コンピュータや他のプログラム可能な装置で実行される命令が、フローチャートおよび／またはブロック図の１つまたは複数のブロックで特定された機能／行為を実施するためのプロセスを提供するような、コンピュータで実施されるプロセスを生成することもできる。
【0152】
図面中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実装のアーキテクチャ、機能、および動作を示している。これに関連して、フローチャートまたはブロック図の各ブロックは、コードのモジュール、セグメント、または部分を表すことができ、このコードは、指定された論理的機能を実装するための１つまたは複数の実行可能な命令を備える。また、いくつかの代替実装では、ブロックに記載されている機能が、図面に記載されている順序とは異なる場合があることにも留意されたい。例えば、連続して表示されている２つのブロックは、実際には実質的に同時に実行されることもあり、関係する機能に応じてブロックが逆の順序で実行されることもある。また、ブロック図および／またはフローチャート図の各ブロック、およびブロック図および／またはフローチャート図のブロックの組み合わせは、指定された機能または行為を実行する特殊目的ハードウェアベースのシステム、または特殊目的ハードウェアとコンピュータ命令の組み合わせによって実装することができることにも留意されたい。
【0153】
本発明の様々な実施形態の説明は、例示のために提示されたものであるが、開示された実施形態を網羅的に、またはこれに限定することを意図したものではない。多くの修正および変形が、説明された実施形態の範囲および精神から逸脱することなく、当業者に明らかになるであろう。本明細書で使用されている用語は、実施形態の原理、市場で見られる技術に対する実用化または技術的改善を最もよく説明するため、または当業者が本明細書で開示されている実施形態を理解できるように選択されたものである。
【0154】
本願の明細書および請求項において、「備える」「含む」「有する」の各単語およびその形態は、その単語が関連しうる一覧のメンバーに必ずしも限定されるものではない。加えて、本願と参照により組み込まれた文書との間に矛盾がある場合、本明細書において本願が支配的であることが意図される。
【0155】
本願を通して、本発明の様々な実施形態が範囲形式で示されることがある。範囲形式での説明は、単に利便性と簡潔性のためのものであり、本発明の範囲を柔軟性なく制限するものと解釈されるべきではないことを理解すべきである。従って、ある範囲の記述は、その範囲内の個々の数値だけでなく、可能なすべての部分範囲を具体的に開示していると考えるべきである。例えば、「１～６」という範囲の記述は、「１～３」、「１～４」、「１～５」、「２～４」、「２～６」、「３～６」などの部分範囲と、その範囲内の個々の数値、例えば「１」、「２」、「３」、「４」、「５」、「６」などが具体的に開示されていると考えるべきである。これは、範囲の広さに関係なく適用される。
【0156】
本明細書で数値範囲が示されている場合は常に、示された範囲内の任意の引用された数字（小数または整数）を含むことを意味する。第１の指示番号と第２の指示番号と「に亘る／の間に亘る」、および第１の指示番号「から」第２の指示番号「に亘る／までに亘る」という表現は、本明細書で互換的に使用され、第１および第２の指示番号、およびその間のすべての分数および整数値を含むことを意味する。
【0157】
本願の明細書および特許請求の範囲において、「備える」、「含む」、「有する」の各単語およびその形式は、その単語が関連しうる一覧のメンバーに必ずしも限定されるものではない。加えて、本願と参照により組み込まれた文書との間に矛盾がある場合、本明細書において本願が支配的であることが意図される。
【0158】
本発明の様々な実施形態の説明は、説明のために提示されたものであるが、開示された実施形態を網羅的に、またはこれに限定することを意図したものではない。多くの修正および変形が、説明された実施形態の範囲および精神から逸脱することなく、当業者に明らかになるであろう。本明細書で使用されている用語は、実施形態の原理、市場で見られる技術に対する実用化または技術的改善を最もよく説明するため、または当業者が本明細書で開示されている実施形態を理解できるように選択されたものである。
【図1】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図5】
【図6】
【図7A】
【図7B】
【図7C】
【図8】
【図9】
【図10】
【図11】
【国際調査報告】