知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-05
(54)【発明の名称】センサーデータを使用して改善された位置精度
(51)【国際特許分類】
G01C 21/28 20060101AFI20240227BHJP
【ＦＩ】
G01C21/28
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023554358
(86)(22)【出願日】2022-01-17
(85)【翻訳文提出日】2023-09-06
(86)【国際出願番号】 US2022012674
(87)【国際公開番号】W WO2022191922
(87)【国際公開日】2022-09-15
(31)【優先権主張番号】17/198,560
(32)【優先日】2021-03-11
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】507364838
【氏名又は名称】クアルコム，インコーポレイテッド
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100163522
【弁理士】
【氏名又は名称】黒田 晋平
(72)【発明者】
【氏名】ガウタム・ニルラ
(72)【発明者】
【氏名】ウィリアム・モリソン
【テーマコード（参考）】
2F129
【Ｆターム（参考）】
2F129AA03
2F129BB02
2F129BB03
2F129BB15
2F129BB22
2F129BB26
2F129BB33
2F129BB50
2F129BB66
2F129CC15
2F129CC31
2F129EE78
2F129FF02
2F129FF17
2F129FF18
2F129FF20
2F129FF62
2F129FF73
2F129GG17
2F129GG18
(57)【要約】
視覚的測位分解能(VPS)に基づいて、モバイルデバイスのロケーションを決定するための技法が提供される。モバイルデバイスの位置推定値を決定するための例示的な方法は、センサー情報を取得するステップと、センサー情報内の1つまたは複数の識別可能な特徴を検出するステップと、1つまたは複数の識別可能な特徴のうちの少なくとも1つまでの範囲を決定するステップと、大まかなマップ情報を取得するステップと、大まかなマップ情報に基づいて、1つまたは複数の識別可能な特徴のうちの少なくとも1つのロケーションを決定するステップと、1つまたは複数の識別可能な特徴のうちの少なくとも1つまでの範囲に少なくとも部分的に基づいて、モバイルデバイスの位置推定値を決定するステップとを含む。
【特許請求の範囲】
【請求項1】
モバイルデバイスの位置測定値を決定するための方法であって、センサー情報を取得するステップと、
前記センサー情報内の1つまたは複数の識別可能な特徴を検出するステップと、
前記1つまたは複数の識別可能な特徴のうちの少なくとも1つまでの範囲を決定するステップと、
大まかなマップ情報を取得するステップと、
前記大まかなマップ情報に基づいて、前記1つまたは複数の識別可能な特徴のうちの前記少なくとも1つのロケーションを決定するステップと、
前記1つまたは複数の識別可能な特徴のうちの前記少なくとも1つまでの前記範囲に少なくとも部分的に基づいて、前記モバイルデバイスの前記位置推定値を決定するステップと
を含む、方法。
【請求項2】
前記1つまたは複数の識別可能な特徴のうちの前記少なくとも1つまでの前記範囲を前記決定するステップが、リモートセンサーの出力に基づく、請求項1に記載の方法。
【請求項3】
前記リモートセンサーがライダーデバイスまたはレーダーデバイスである、請求項2に記載の方法。
【請求項4】
前記1つまたは複数の識別可能な特徴のうちの前記少なくとも1つが、横断歩道、交差点、交通信号、および道路標識のうちの少なくとも1つを含む、請求項1に記載の方法。
【請求項5】
前記大まかなマップ情報を前記取得するステップが、大まかな位置をリモートサーバに提供するステップと、前記リモートサーバから前記大まかなマップ情報を受信するステップとを含む、請求項1に記載の方法。
【請求項6】
前記大まかな位置が衛星位置システムによって算出されたロケーションに基づく、請求項5に記載の方法。
【請求項7】
前記モバイルデバイスの前記大まかな位置が地上ナビゲーション技法に基づく、請求項5に記載の方法。
【請求項8】
前記センサー情報が画像であり、前記センサー情報内の前記1つまたは複数の識別可能な特徴を前記検出するステップが、前記画像に対して光学文字認識プロセスを実行するステップを含む、請求項1に記載の方法。
【請求項9】
前記センサー情報内の前記1つまたは複数の識別可能な特徴を前記検出するステップが、街路名または企業名を決定するステップを含む、請求項8に記載の方法。
【請求項10】
モバイルデバイスの位置推定値を決定するための方法であって、前記モバイルデバイスの大まかな位置を決定するステップと、
前記大まかな位置に基づいて、大まかなマップ情報を取得するステップと、
センサー情報を取得するステップと、
前記センサー情報に基づいて、1つまたは複数の道路曲率特徴を決定するステップと、
比較値がしきい値を満たすと決定するステップであって、前記比較値が前記大まかなマップ情報内の道路曲率特徴と前記センサー情報内で検出された前記1つまたは複数の道路曲率特徴との間の比較に基づく、決定するステップと、
前記大まかなマップ情報内の前記道路曲率特徴に少なくとも部分的に基づいて、前記モバイルデバイスのヘッディングを決定するステップと、
前記ヘッディングに少なくとも部分的に基づいて、前記モバイルデバイスの前記位置推定値を決定するステップと
を含む、方法。
【請求項11】
前記センサー情報が画像である、請求項10に記載の方法。
【請求項12】
前記センサー情報が、1つまたは複数のレーダーセンサーまたはライダーセンサーを用いて取得されたポイントクラウドである、請求項10に記載の方法。
【請求項13】
前記センサー情報が1つまたは複数のリモートセンサーを用いて取得される、請求項10に記載の方法。
【請求項14】
前記1つまたは複数の道路曲率特徴が1つまたは複数のレーンマーカーを含む、請求項10に記載の方法。
【請求項15】
前記1つまたは複数の道路曲率特徴が1つまたは複数のガードレールを含む、請求項10に記載の方法。
【請求項16】
前記比較値がしきい値を満たすと前記決定するステップが、前記センサー情報内で検出された前記道路曲率特徴と前記大まかなマップ情報内の道路との間で畳み込みを実行するステップを含む、請求項10に記載の方法。
【請求項17】
前記モバイルデバイスの前記大まかな位置が、全地球ナビゲーション衛星システムを使用して取得されたロケーションに基づく、請求項10に記載の方法。
【請求項18】
前記モバイルデバイスの前記大まかな位置が、地上ナビゲーション技法を使用して取得されたロケーションに基づく、請求項10に記載の方法。
【請求項19】
前記大まかなマップ情報を前記取得するステップが、前記大まかな位置をリモートサーバに提供するステップと、前記リモートサーバから前記大まかなマップ情報を受信するステップとを含む、請求項10に記載の方法。
【請求項20】
前記位置推定値を前記決定するステップが、ヘッディングおよび全地球ナビゲーション衛星信号情報を再帰的アルゴリズムに提供するステップを含む、請求項10に記載の方法。
【請求項21】
前記再帰的アルゴリズムがカルマンフィルタである、請求項20に記載の方法。
【請求項22】
装置であって、メモリと、
少なくとも1つのトランシーバと、
前記メモリおよび前記少なくとも1つのトランシーバに通信可能に結合された少なくとも1つのプロセッサとを備え、前記少なくとも1つのプロセッサが、
センサー情報を取得し、
前記センサー情報内の1つまたは複数の識別可能な特徴を検出し、
前記1つまたは複数の識別可能な特徴のうちの少なくとも1つまでの範囲を決定し、
大まかなマップ情報を取得し、
前記大まかなマップ情報に基づいて、前記1つまたは複数の識別可能な特徴のうちの前記少なくとも1つのロケーションを決定し、
前記1つまたは複数の識別可能な特徴のうちの前記少なくとも1つまでの前記範囲に少なくとも部分的に基づいて、位置推定値を決定する
ように構成される、装置。
【請求項23】
前記少なくとも1つのプロセッサが、リモートセンサーの出力に基づいて、前記1つまたは複数の識別可能な特徴のうちの前記少なくとも1つまでの前記範囲を決定するようにさらに構成される、請求項22に記載の装置。
【請求項24】
前記1つまたは複数の識別可能な特徴のうちの前記少なくとも1つが、横断歩道、交差点、交通信号、および道路標識のうちの少なくとも1つを含む、請求項22に記載の装置。
【請求項25】
前記センサー情報が画像であり、前記少なくとも1つのプロセッサが、前記画像に対して光学文字認識プロセスを実行するようにさらに構成される、請求項22に記載の装置。
【請求項26】
前記少なくとも1つのプロセッサが、前記画像に対する前記光学文字認識プロセスに基づいて街路名または企業名を決定するようにさらに構成される、請求項25に記載の装置。
【請求項27】
装置であって、メモリと、
少なくとも1つのトランシーバと、
前記メモリおよび前記少なくとも1つのトランシーバに通信可能に結合された少なくとも1つのプロセッサとを備え、前記少なくとも1つのプロセッサが、
大まかな位置を決定することと、
前記大まかな位置に基づいて、大まかなマップ情報を取得することと、
センサー情報を取得することと、
前記センサー情報に基づいて、1つまたは複数の道路曲率特徴を決定することと、
比較値がしきい値を満たすと決定することであって、前記比較値が、前記大まかなマップ情報内の道路曲率特徴と前記センサー情報内で検出された前記1つまたは複数の道路曲率特徴との間の比較に基づく、決定することと、
前記大まかなマップ情報内の前記道路曲率特徴に少なくとも部分的に基づいて、ヘッディングを決定することと、
前記ヘッディングに少なくとも部分的に基づいて、位置推定値を決定することと
を行うように構成される、装置。
【請求項28】
前記センサー情報が画像である、請求項27に記載の装置。
【請求項29】
前記センサー情報が、1つまたは複数のレーダーセンサーまたはライダーセンサーを用いて取得されたポイントクラウドである、請求項27に記載の装置。
【請求項30】
前記1つまたは複数の道路曲率特徴が1つまたは複数のレーンマーカーを含む、請求項27に記載の装置。
【請求項31】
前記1つまたは複数の道路曲率特徴が1つまたは複数のガードレールを含む、請求項27に記載の装置。
【請求項32】
前記少なくとも1つのプロセッサが、前記センサー情報内で検出された前記道路曲率特徴と前記大まかなマップ情報内の道路との間で畳み込みを実行するようにさらに構成される、請求項27に記載の装置。
【請求項33】
前記少なくとも1つのプロセッサが、再帰的アルゴリズム内のヘッディングおよび全地球ナビゲーション衛星信号情報を利用するようにさらに構成される、請求項27に記載の装置。
【請求項34】
再帰的アルゴリズムがカルマンフィルタである、請求項33に記載の装置。
【請求項35】
モバイルデバイスの位置推定値を決定するための装置であって、前記モバイルデバイスの大まかな位置を決定するための手段と、
前記大まかな位置に基づいて、大まかなマップ情報を取得するための手段と、
センサー情報を取得する手段と、
前記センサー情報に基づいて、1つまたは複数の道路曲率特徴を決定するための手段と、
比較値がしきい値を満たすと決定するための手段であって、前記比較値が前記大まかなマップ情報内の道路曲率特徴と前記センサー情報内で検出された前記1つまたは複数の道路曲率特徴との間の比較に基づく、決定するための手段と、
前記大まかなマップ情報内の前記道路曲率特徴に少なくとも部分的に基づいて、前記モバイルデバイスのヘッディングを決定するための手段と、
前記ヘッディングに少なくとも部分的に基づいて、前記モバイルデバイスの前記位置推定値を決定するための手段と
備える、装置。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、本出願の譲受人に譲渡され、すべての目的のためにその内容全体が参照により本明細書に組み込まれている、「IMPROVED POSITION ACCURACY USING SENSOR DATA」と題する、2021年03月11日に出願した米国特許出願第17/198,560号の利益を主張するものである。
本出願は、本出願の譲受人に譲渡され、すべての目的のためにその内容全体が参照により本明細書に組み込まれている、「IMPROVED POSITION ACCURACY USING SENSOR DATA」と題する、2021年03月11日に出願した米国特許出願第17/198,560号の利益を主張するものである。
【背景技術】
【0002】
全世界測位システム(Global Positioning System:GPS)は、受信機が複数の衛星から受信されたシグナリングイベントの到達時間を正確に測定することによってその位置を決定するGNSSナビゲーションシステムのある例である。各衛星は、メッセージが送信された正確な時間およびエフェメリス情報を含むナビゲーションメッセージを送信する。ナビゲーションメッセージの各サブフレームは、テレメトリワード(telemetry word:TLM)およびサブフレームの数で開始する。サブフレームの開始は、TLM内のプリアンブルシーケンスによって検出され得る。各サブフレームはまた、衛星のクロックが保持するGPS時間のローカルバージョンに従って、衛星が次のサブフレームを送信することになる正確な週の時刻(time of the week:TOW)を与えるハンドオーバワード(handover word:HOW)を含む。エフェメリス情報は衛星の軌道に関する詳細、およびGPS時間と比較した衛星の独自のクロックに対する補正を含む。エフェメリスパラメータおよびクロック補正パラメータは、集合的にエフェメリス情報として知られ得る。
【0003】
GNSS精度は、衛星ビークルに対する見通し腺(line-of-sight:LOS)が自然物または人工物によって遮断されるときなど、弱い信号条件下で著しく劣化し得る。たとえば、自然渓谷またはアーバンキャニオンでは、可視衛星および他のマルチパス効果に対する制限は、数十メートル程度(たとえば、50メートル程度)の絶対位置誤差および数メートル程度の相対位置誤差を誘発し得る。加えて、精度は、許容GNSS測定値の制限された可用性によりさらに劣化し得る。たとえば、市街地(たとえば、アーバンキャニオン)におけるGNSS測定値は、衛星ビークル(satellite vehicles:SV)から送信される信号のマルチパス効果により劣化し得る。
【発明の概要】
【課題を解決するための手段】
【0004】
本開示による、モバイルデバイスの位置推定値を決定するための例示的な方法は、センサー情報を取得するステップと、センサー情報内の1つまたは複数の識別可能な特徴を検出するステップと、1つまたは複数の識別可能な特徴のうちの少なくとも1つまでの範囲(range)を決定するステップと、大まかなマップ情報を取得するステップと、大まかなマップ情報に基づいて、1つまたは複数の識別可能な特徴のうちの少なくとも1つのロケーションを決定するステップと、1つまたは複数の識別可能な特徴のうちの少なくとも1つまでの範囲に少なくとも部分的に基づいて、モバイルデバイスの位置推定値を決定するステップとを含む。
【0005】
そのような方法の実装形態は、以下の特徴のうちの1つまたは複数を含んでよい。1つまたは複数の識別可能な特徴のうちの少なくとも1つまでの範囲を決定するステップは、リモートセンサーの出力に基づき得る。リモートセンサーはライダーデバイスまたはレーダーデバイスである。1つまたは複数の識別可能な特徴のうちの少なくとも1つは、横断歩道、交差点、交通信号、および道路標識のうちの少なくとも1つを含み得る。大まかなマップ情報を取得するステップは、大まかな位置をリモートサーバに提供するステップと、リモートサーバから大まかなマップ情報を受信するステップとを含み得る。大まかな位置は衛星位置システムによって算出されたロケーションに基づき得る。モバイルデバイスの大まかな位置は地上ナビゲーション技法に基づき得る。センサー情報は画像であってよく、センサー情報内の1つまたは複数の識別可能な特徴を検出するステップは、画像に対して光学文字認識プロセスを実行するステップを含み得る。センサー情報内の1つまたは複数の識別可能な特徴を検出するステップは、街路名または企業名を決定するステップを含み得る。
【0006】
本開示による、モバイルデバイスの位置推定値を決定するための例示的な方法は、大まかなマップ情報を取得するステップと、センサー情報を取得するステップと、センサー情報に対して光学文字認識プロセスを実行するステップと、光学文字認識プロセスおよび大まかなマップ情報に基づいて、1つまたは複数の識別可能な特徴を決定するステップと、大まかなマップ情報および1つまたは複数の識別可能な特徴に少なくとも部分的に基づいて、モバイルデバイスの位置推定値を決定するステップとを含む。
【0007】
そのような方法の実装形態は、以下の特徴のうちの1つまたは複数を含んでよい。方法は、1つまたは複数の識別可能な特徴までの距離を決定するステップと、1つまたは複数の識別可能な特徴までの距離に少なくとも部分的に基づいて、モバイルデバイスの位置推定値を決定するステップとをさらに含み得る。1つまたは複数の識別可能な特徴までの距離を決定するステップは、範囲センサーの出力に基づき得る。範囲センサーは、ライダーデバイスまたはレーダーデバイスであってよい。1つまたは複数の識別可能な特徴を決定するステップは、街路名および交差点ロケーションを決定するステップを含み得る。1つまたは複数の識別可能な特徴を決定するステップは、企業名および企業名に関連する住所を決定するステップを含み得る。大まかなマップ情報を取得するステップは、大まかな位置をリモートサーバに提供するステップと、リモートサーバから大まかなマップ情報を受信するステップとを含み得る。モバイルデバイスの大まかな位置は、全地球ナビゲーション衛星システムを使用して取得されたロケーションに基づき得る。モバイルデバイスの大まかな位置は、地上ナビゲーション技法を使用して取得されたロケーションに基づき得る。
【0008】
本開示による、モバイルデバイスの位置推定値を決定するための例示的な方法は、モバイルデバイスの大まかな位置を決定するステップと、大まかな位置に基づいて、大まかなマップ情報を取得するステップと、センサー情報を取得するステップと、センサー情報に基づいて、1つまたは複数の道路曲率を決定するステップと、比較値がしきい値を満たすと決定するステップであって、比較値が大まかなマップ情報内の道路曲率特徴とセンサー情報内で検出された1つまたは複数の道路曲率との間の比較に基づく、決定するステップと、大まかなマップ情報内の道路曲率特徴に少なくとも部分的に基づいて、モバイルデバイスのヘッディングを決定するステップと、ヘッディングに少なくとも部分的に基づいて、モバイルデバイスの位置推定値を決定するステップとを含む。
【0009】
そのような方法の実装形態は、以下の特徴のうちの1つまたは複数を含んでよい。センサー情報は画像であってよい。センサー情報は、1つまたは複数のレーダーセンサーまたはライダーセンサーを用いて取得されたポイントクラウドであってよい。センサー情報は、1つまたは複数のリモートセンサーを用いて取得され得る。1つまたは複数の道路曲率特徴は1つまたは複数のレーンマーカーを含み得る。1つまたは複数の道路曲率特徴は1つまたは複数のガードレールを含み得る。比較値がしきい値を満たすと決定するステップは、センサー情報内で検出された道路曲率特徴と大まかなマップ情報内の道路との間で畳み込みを実行するステップを含み得る。モバイルデバイスの大まかな位置は、全地球ナビゲーション衛星システムを使用して取得されたロケーションに基づき得る。モバイルデバイスの大まかな位置は、地上ナビゲーション技法を使用して取得されたロケーションに基づき得る。大まかなマップ情報は、大まかな位置をリモートサーバに提供するステップと、リモートサーバから大まかなマップ情報を受信するステップとを含み得る。位置推定値を決定するステップは、ヘッディングおよび全地球ナビゲーション衛星信号情報を再帰的アルゴリズムに提供するステップを含み得る。再帰的アルゴリズムはカルマンフィルタであってよい。
【0010】
本開示による例示的な装置は、メモリと、少なくとも1つのトランシーバと、メモリおよび少なくとも1つのトランシーバに通信可能に結合された少なくとも1つのプロセッサとを含み、少なくとも1つのプロセッサは、センサー情報を取得し、センサー情報内の1つまたは複数の識別可能な特徴を検出し、1つまたは複数の識別可能な特徴のうちの少なくとも1つまでの範囲を決定し、大まかなマップ情報を取得し、大まかなマップ情報に基づいて、1つまたは複数の識別可能な特徴のうちの少なくとも1つのロケーションを決定し、1つまたは複数の識別可能な特徴のうちの少なくとも1つまでの範囲に少なくとも部分的に基づいて、位置推定値を決定するように構成される。
【0011】
本開示による例示的な装置は、メモリと、少なくとも1つのトランシーバと、メモリと少なくとも1つのトランシーバとに通信可能に結合された少なくとも1つのプロセッサとを含み、少なくとも1つのプロセッサは、大まかなマップ情報を取得し、センサー情報を取得し、センサー情報に対して光学文字認識プロセスを実行し、光学文字認識プロセスおよび大まかなマップ情報に基づいて、1つまたは複数の識別可能な特徴を決定し、大まかなマップ情報および1つまたは複数の識別可能な特徴に少なくとも部分的に基づいて、位置推定値を決定するように構成される。
【0012】
本開示による例示的な装置は、メモリと、少なくとも1つのトランシーバと、メモリと少なくとも1つのトランシーバとに通信可能に結合された少なくとも1つのプロセッサとを含み、少なくとも1つのプロセッサは、大まかな位置を決定することと、大まかな位置に基づいて、大まかなマップ情報を取得することと、センサー情報を取得することと、センサー情報に基づいて、1つまたは複数の道路曲率特徴を決定することと、比較値がしきい値を満たすと決定することであって、比較値が、大まかなマップ情報内の道路曲率特徴とセンサー情報内で検出された1つまたは複数の道路曲率特徴との間の比較に基づく、決定することと、大まかなマップ情報内の道路曲率特徴に少なくとも部分的に基づいて、ヘッディングを決定することと、ヘッディングに少なくとも部分的に基づいて、位置推定値を決定することとを行うように構成される。
【0013】
本明細書で説明する項および/または技法は、以下の能力、およびまたは言及されていない他の能力のうちの1つまたは複数を提供してもよい。モバイルデバイスは、衛星および/または地上測位技法に基づいて、大まかな位置を算出し得る。大まかなマップ情報は、大まかな位置に基づいて取得され得る。街路名、交差点ロケーション、企業名、および住所などの視覚的に識別可能な特徴は、大まかなマップ情報内に含まれ得る。モバイルデバイス上の画像センサーは、環境の画像を取得し得る。ある例では、画像は、大まかなマップ情報内の視覚的に識別可能な情報に基づいて分析され得る。ある例では、画像は、道路曲率情報のために分析され得る。モバイルデバイスの位置は、視覚的に識別可能な情報および/または画像内の道路曲率情報ならびに大まかなマップ情報の比較に基づいて推定され得る。位置推定は、専用高精細度画像マッピングデータベースに依拠しない。他の能力が提供されてもよく、本開示によるすべての実装形態が、論じられる能力のいずれか、ましてやすべてを提供しなければならないとは限らない。
【0014】
以下の図を参照して、非限定的で非網羅的な態様が説明され、別段に規定されていない限り、様々な図の全体にわたって、同様の参照番号は同様の部分を指す。
【図面の簡単な説明】
【0015】
【図1A】本明細書で論じる技法を実装するために使用され得るモバイルデバイスのブロック図である。
【図1B】前面カメラおよび背面カメラを備えたモバイルデバイスの全体像を示す図である。
【図3】モバイルデバイスに適応され得る例示的な座標系を示す図である。
【図4A】視覚センサーを備えた例示的なナビゲーションシステムのブロック図である。
【図4B】センサー支援型ナビゲーションのための例示的な分散型システムのブロック図である。
【図5】視覚センサーによって取得された識別可能な特徴を備えた例示的な画像を示す図である。
【図7】画像センサーを用いて取得された画像の例示的な変換を示す図である。
【図9】画像内の識別可能な特徴に基づいて、モバイルデバイスの位置推定値を決定するための方法のフロー図である。
【図10】ヘッディング入力に少なくとも部分的に基づいて、モバイルデバイスの位置推定値を決定するための方法のフロー図である。
【図11】特徴までの範囲に少なくとも部分的に基づいて、モバイルデバイスの位置推定値を決定するための方法のフロー図である。
【発明を実施するための形態】
【0016】
視覚測位ソリューション(visual positioning solution:VPS)に基づいて、モバイルデバイスのロケーションを決定するための技法について本明細書で説明する。都市環境における測位分解能は、SVおよび地上局から送信された信号に対するマルチパス効果により、測位の際により高い誤差を生じることがある。様々なモバイルコンピューティングアプリケーションおよび使用事例に対してより高い精度およびより高い信頼性の測位分解能の必要が存在する。たとえば、拡張現実(Augmented Reality:AR)デバイス、VPSデバイス、および車両ナビゲーションデバイスは、デバイスまたは車両の上に配設され、運動の方向に配向された、1つまたは複数のカメラなど、1つまたは複数の画像センサーを含み得る。一例では、画像センサーは、デバイス上で生成された測位分解能を改善するために、ナビゲーションシステム(たとえば、慣性測定ユニット(Inertial Measurement Unit:IMU)、GNSSなど)と一体化され得るビデオストリームを生成するように構成され得る。以前のカメラ一体化ナビゲーション分解能は、専用の事前に構築された高精細度および特徴マッピングインフラストラクチャに依拠する。そのような分解能は、したがって、既存のマッピング画像が生成され、モバイルデバイスを用いて利用可能でありかつ/またはモバイルデバイスに適合するエリアに限定される。提案する分解能は、広く利用可能な大まかなマッピング情報内の視覚的特徴を識別し、測位計算および対応する測位推定値を改善するために視覚的特徴を利用し得る。さらに、提案する解決策は、異なるロケーションに配設され得る異なるセンサーおよび/または異なるデバイスからの入力を利用し得る。これらの技法および構成は例であり、他の技法および構成が使用されてもよい。
【0017】
図1Aを参照すると、拡張RTAおよび整合検出技法を実装するために使用され得るモバイルデバイス100のブロック図が示される。モバイルデバイス100は、様々なモバイル通信および/またはコンピューティングデバイスの機能を含むかまたは実装し得、その例は、限定はしないが、現在存在するか将来開発されるかにかかわらず、車両内ナビゲーションシステム、VPS、ウェアラブルナビゲーションデバイス、スマートフォン、腕時計、ヘルメット、仮想現実(virtual reality:VR)ゴーグル、スマートグラス、カメラなどを含む。モバイルデバイス100は、プロセッサ111(または、プロセッサコア)、1つまたは複数のデジタル信号プロセッサ(Digital Signal Processor:DSP)120、およびメモリユニット160を含む。プロセッサ111は、中央処理ユニット(Central Processing Unit:CPU)、マルチコアCPU、グラフィックス処理ユニット(Graphics Processing Unit:GPU)、マルチコアGPU、ビデオエンジン、またはそれらの任意の組合せであってよい。プロッサコアは、アプリケーションプロセッサであってよい。ナビゲーションプロセッサ115およびオプティカルフロープロセッサ125は、限定ではなく、ある例として、モバイルデバイス100内に示されている。ナビゲーションプロセッサ115およびオプティカルフロープロセッサ125は、メモリユニット160内に含まれてよく、プロセッサ111を利用する。ナビゲーションプロセッサ115および/またはオプティカルフロープロッサ125は、モバイルデバイス内のシステムオンチップ(System on Chip:SoC)であってよく(たとえば、それは、専用ハードウェアであってよく、または(たとえば、ディスクリートアプリケーションプロセッサ上の)ディスクリートチップセットまたはディスクリートチップセットの部分であってよい)、または(たとえば、モバイルデバイス100からリモートの)1つまたは複数の補助システム内に含まれてもよい。一実施形態では、モバイルデバイスは、たとえば、適切なレンズ構成を備えた、相補型金属酸化物半導体(complementary metal-oxide-semiconductor:CMOS)画像センサーなど、1つまたは複数のカメラ105(たとえば、前向きおよび/または後ろ向き)を含む。電荷結合デバイス(charge-coupled device:CCD)および裏面照射型CMOSなど、他の撮像技法が使用されてもよい。カメラ105は、画像情報を取得してオプティカルフロープロセッサ125に提供するように構成される。別の実施形態では、1つまたは複数の外部カメラが使用され得る。ある例では、カメラ105は、物体までの範囲を決定するための赤外線深度センサーなど、深度センサーで構成され得る。
【0018】
モバイルデバイス100はまた、ワイヤレスネットワーク上でワイヤレスアンテナ132を介してワイヤレス信号134を送信および受信するように構成されたワイヤレストランシーバ130を含み得る。ワイヤレストランシーバ130は、バス101に接続される。ここで、モバイルデバイス100は、単一のワイヤレストランシーバ130を有するとして示されている。しかしながら、モバイルデバイス100は、代替として、Wi-Fi(登録商標)、CDMA、広帯域CDMA(Wideband CDMA:WCDMA(登録商標))、ロングタームエボリューション(Long Term Evolution:LTE)、第5世代(Fifth Generation:5G)ニューラジオ(New Radio:NR)、Bluetooth(登録商標)短距離ワイヤレス通信技術など、複数の通信規格をサポートするために、複数のワイヤレストランシーバ130およびワイヤレスアンテナ132を有し得る。
【0019】
ワイヤレストランシーバ130は、複数のキャリア(異なる周波数の波形信号)上での動作をサポートし得る。マルチキャリア送信機は、複数のキャリア上で変調信号を同時に送信することができる。各変調信号は、符号分割多元接続(Code Division Multiple Access:CDMA)信号、時分割多元接続(Time Division Multiple Access:TDMA)信号、直交周波数分割多元接続(Orthogonal Frequency Division Multiple Access:OFDMA)信号、シングルキャリア周波数分割多元接続(Single-Carrier Frequency Division Multiple Access:SC-FDMA)信号などであってよい。各変調信号は、異なるキャリア上で送信されてよく、パイロット、オーバーヘッド情報、データなどを搬送し得る。
【0020】
モバイルデバイス100はまた、衛星測位システム(satellite positioning system:SPS)アンテナ172を介してSPS信号174を(たとえば、SPS衛星から)受信する全地球ナビゲーション衛星システム(Global Navigation Satellite System:GNSS)受信機170を含む。GNSS受信機170は、単一の全地球ナビゲーション衛星システム(GNSS)または複数のそのようなシステムと通信し得る。GNSSは、限定はしないが、全地球測位システム(GPS)、Galileo、Glonass、Beidou(Compass)などを含み得る。SPS衛星は、衛星、スペースビークル(space vehicles:SV)などとも呼ばれる。GNSS受信機170は、SPS信号174を全体的にまたは部分的に処理し、これらのSPS信号174を使用して、モバイルデバイス100のロケーションを決定し得る。プロセッサ111、DSP120、およびメモリ160、ならびに/または専門プロセッサ(図示せず)は、SPS信号174を全体的または部分的に処理し、GNSS受信機170と併せて、モバイルデバイス100のロケーションを計算するために利用されてもよい。SPS信号174からの情報または他のロケーション信号の記憶は、メモリユニット160またはレジスタ(図示せず)を使用して実行される。ナビゲーションプロセッサ115は、GNSS信号に基づく位置情報、および/または加速度計140、ジャイロスコープ145、および/または他のセンサー150(たとえば、圧力センサー、磁力計、マイクロフォン)などのマイクロ電気機械システム(microelectromechanical systems:MEMS)から受信された情報に基づくデッドレコニング位置情報を算出するように構成された命令を備え得る。ある例では、他のセンサー150は、深度センサー、および/またはモバイルデバイス100からの範囲を測定するためのライダーを含み得る。ある例では、他のセンサー150は、運動が検出されたとき、プロセッサ111に中断を送信するように構成された常時運動デバイスを含み得る。たとえば、STマイクロエレクトロニクス社の部品番号LSM6DSLは、加速度計140、ジャイロスコープ145、および/または他のセンサー150として機能し得る、常時3D加速度計および3Dジャイロスコープのある例である。1つのプロセッサ111、DSP120、およびメモリユニット160が図1Aに示されているが、これらの構成要素のうちのいずれかのうちの2つ以上、対、またはすべてがモバイルデバイス100によって使用され得る。
【0021】
メモリユニット160は、1つまたは複数の命令またはコードとして機能を記憶する1つの非一時的機械可読記憶媒体を含み得る。メモリユニット160を構成し得る媒体は、限定はしないが、RAM、ROM、FLASH(登録商標)、ディスクドライブなどを含む。概して、メモリユニット160によって記憶された機能は、プロセッサ111、DSP120、または他の専用プロセッサによって実行される。したがって、メモリユニット160は、プロセッサ111に説明する機能を実行させるように構成されたソフトウェア(プログラマブルコード、命令、機械コードなど)を記憶するプロセッサ可読メモリおよび/またはコンピュータ可読メモリである。代替として、モバイルデバイス100の1つまたは複数の機能は、全体的にまたは部分的にハードウェアで実行され得る。メモリユニット160は、バス101を介してプロセッサ111に通信可能に結合されてもよい。通信可能に結合されるという用語は、モバイルデバイス100内の構成要素、または他のシステムが電子信号を交換し処理する能力を記述する。
【0022】
モバイルデバイス100は、ビュー内の他の通信エンティティおよび/またはモバイルデバイス100に利用可能な情報に基づいて、様々な技法を使用して関連付けられたシステム内のその現在の位置を推定し得る。たとえば、モバイルデバイス100は、Wi-Fi、Bluetooth(登録商標)またはZigBee(登録商標)などの短距離ワイヤレス通信技術を利用する1つまたは複数のワイヤレスローカルエリアネットワーク(local area networks:LAN)、パーソナルエリアネットワーク(personal area networks:PAN)に関連付けられたアクセスポイント、SPS衛星、および/またはマップサーバまたは他のロケーションサーバから取得されたマップ制約データから取得された情報を使用して、その位置を推定し得る。モバイルデバイス100はまた、加速度計140、ジャイロスコープ145、および他のセンサー150(たとえば、磁力計、圧力センサー、ソリッドステートコンパス)などの慣性センサーを使用して、デッドレコニング技法に基づいて、その現在の位置を推定し得る。ある例では、モバイルデバイス100は、(たとえば、現在の画像を前に記憶された画像と比較することによって)カメラ105によって取得された画像に少なくとも部分的に基づいて、現在の位置を決定し得る。概して、慣性センサーは、モバイルデバイス100の変位を測定するために使用される。たとえば、モバイルデバイス100は、ナビゲーションプロセッサ115が1つまたは複数の慣性センサー(たとえば、加速度計、ジャイロスコープ、ソリッドステートコンパス)から信号を受信し、デッドレコニング位置を算出するように構成されるように、INS状態に入ることができる。デッドレコニング位置は、コンテキスト変更に基づいて、かつ/またはコースおよび速度情報が変更されたとき、周期ベースで算出され得る。ある例では、デッドレコニング位置は、別の位置が決定されたときに調整され得る(たとえば、GNSS、三辺測量、ユーザ入力)。歩行者アプリケーションの場合、加速度計140は、歩数計を駆動させて、ステップカウントまたはステップレートを決定するための3軸加速度計を含み得る。
【0023】
一実施形態では、モバイルデバイス100内の構成要素のうちの1つまたは複数は、データをモバイルデバイスに提供するように構成された周辺デバイスによって実行され得る。たとえば、GNSS受信機170は、ワイヤレストランシーバ130(たとえば、Bluetooth)を介してナビゲーションデータを提供するように構成された周辺GNSS受信機であってよい。レーダー、ライダー、およびカメラ105などの光センサーなど、他のセンサーは、モバイルデバイス100からリモートに位置してよく、ワイヤードインターフェースまたはワイヤレスインターフェースを介して情報を提供するように構成されてよい。たとえば、車両上の異なるロケーションに設置され、ワイヤレスリンクを介してモバイルデバイス100と接続するように構成されたカメラまたはライダーセンサー。別の例では、モバイルデバイス100は、ウェアラブルセンサーが、本明細書で提供する技法を使用して位置精度を改善するためにセンサー情報を提供するように構成されるように、ウェアラブルアクションカメラ、ARゴーグル、スマートグラス(カメラを備えた)、または他のウェアラブルセンサーとのワイヤレス接続を有し得る。
【0024】
図1Bは、本明細書で説明する機能を実行するように動作可能なモバイルデバイス100の例である。図1Bは、図1Aのモバイルデバイスの1つまたは複数の構成要素を使用するスマートフォンを表し得る。しかしながら、本明細書で説明する機能は、スマートフォンを使用することに限定されず、図1Aと同様の、そのような機能を実行するのに適した能力を備えたいかなるデバイスも使用し得る。これらのデバイスは、モバイルデバイス、デジタルカメラ、カムコーダ、タブレット、PDA、スマートグラス、VRゴーグル、または任意の他の同様のデバイスを含み得る。図1Bは、モバイルデバイス100の前面180および背面190を示す。前面180は、ディスプレイ182および第1のカメラ105aを含む。モバイルデバイス100の前面側に結合された第1のカメラ105aは、前面カメラとも呼ばれる。モバイルデバイス100の背面190は、本明細書で背面カメラとも呼ばれる第2のカメラ105bを含む。モバイルデバイス100は、前面カメラ105aがモバイルデバイス100のユーザに面し、背面カメラ105bがデバイスのユーザに背を向けるように、持たれてよくまたは搭載されてよい。代替として、モバイルデバイス100がユーザによってどのように持たれているか、またはホルダー(たとえば、アームバンド)内にまたはクレードル内にどのように搭載されているかに応じて、この逆が適正であり得る。前面カメラ105aと背面カメラ105は両方とも、カメラ105の一実装形態であり得、図1Aを参照しながら論じたように、画像情報をオプティカルフロープロセッサ125に提供するように構成され得る。ある例では、第1のカメラ105aおよび第2のカメラ105bは、物体までの範囲を決定し、カメラ105a～bがその物体に電気的にかつ/または機械的に焦点を当てることを可能にするための深度センサーとして構成された赤外線送信機および受信機など、範囲検出デバイスを含み得る。
【0025】
図2を参照すると、図1Aのモバイルデバイスと通信するように構成された例示的なネットワークアーキテクチャ200が示される。モバイルデバイス100は、無線信号をワイヤレス通信ネットワークに送信し、ワイヤレス通信ネットワークから無線信号を受信し得る。一例では、モバイルデバイス100は、ワイヤレス通信リンク222上で、ワイヤレスベーストランシーバサブシステム(wireless base transceiver subsystem:BTS)、ノードB、発展型ノードB(evolved NodeB:eNodeB)、および/または次世代ノードB(next generation NodeB:gNodeB)を含み得る、セルラートランシーバ220にワイヤレス信号を送信すること、またはセルラートランシーバ220からワイヤレス信号を受信することによって、セルラー通信ネットワークと通信し得る。同様に、モバイルデバイス100は、ワイヤレス通信リンク232上でワイヤレス信号をローカルワイヤレストランシーバ230に送信し得るか、またはローカルワイヤレストランシーバ230からワイヤレス信号を受信し得る。ローカルトランシーバ230は、アクセスポイント(access point:AP)、フェムトセル、ホーム基地局、スモールセル基地局、ホームノードB(Home Node B:HNB)またはホームeNodeB(Home eNode:HeNB)を含んでよく、ワイヤレスローカルエリアネットワーク(wireless local area network:WLAN、たとえば、IEEE 802.11ネットワーク)、ワイヤレスパーソナルエリアネットワーク(wireless personal area network:WPAN、たとえば、Bluetooth(登録商標)ネットワーク)またはセルラーネットワーク(たとえば、5G NRおよび/もしくはLTEネットワークまたは他のワイヤレスワイドエリアネットワーク)へのアクセスを提供し得る。もちろん、これらは、ワイヤレスリンク上でモバイルデバイスと通信し得るネットワークの例にすぎず、請求する主題は、この点について限定されないことを理解されたい。
【0026】
ワイヤレス通信リンク222をサポートし得るネットワーク技術の例には、全地球システムフォーモバイルコミュニケーションズ(Global System for Mobile Communications:GSM)、符号分割多元接続(CDMA)、広帯域CDMA(WCDMA)、ロングタームエボリューション(LTE)、5G NR、高レートパケットデータ(High Rate Packet Data:HRPD)がある。GSM、WCDMA、LTE、および5G NRは、3GPP(登録商標)によって定義される技術である。CDMAおよびHRPDは、第3世代パートナーシッププロジェクト2(3rd Generation Partnership Project 2:3GPP2)によって定義される技術である。WCDMAはまた、ユニバーサル移動体通信システム(Universal Mobile Telecommunications System:UMTS)の一部であり、HNBによってサポートされてもよい。セルラートランシーバ220は、(たとえば、サービス契約の下で)サービスのためのワイヤレス電気通信ネットワークに加入者アクセスを提供する機器の配備を含み得る。ここで、セルラートランシーバ220は、セルラートランシーバ220がアクセスサービスを提供することが可能である範囲に少なくとも部分的に基づいて決定されたセル内の加入者デバイスにサービスする際に、セルラー基地局の機能を実行し得る。ワイヤレス通信リンク222をサポートし得る無線技術の例は、IEEE802.11、Bluetooth(登録商標)、LTE、および5G NRである。
【0027】
特定の実装形態では、セルラートランシーバ220およびローカルトランシーバ230は、ネットワーク225上で1つまたは複数のサーバ240と通信し得る。ここで、ネットワーク225は、ワイヤードおよび/またはワイヤレスリンクの任意の組合せを備えてよく、セルラートランシーバ220および/もしくはローカルトランシーバ230ならびに/またはサーバ240を含んでよい。特定の実装形態では、ネットワーク225は、ローカルトランシーバ230またはセルラートランシーバ220を通じて、モバイルデバイス100とサーバ240との間の通信を容易にすることが可能なインターネットプロトコル(Internet Protocol:IP)または他のインフラストラクチャを備え得る。一実装形態では、ネットワーク225は、モバイルデバイス100とのモバイルセルラー通信を容易にするために、たとえば、基地局コントローラまたはパケットベースもしくは回路ベースの交換センタ(図示せず)など、セルラー通信ネットワークインフラストラクチャを備え得る。特定の実装形態では、ネットワーク225は、WLAN AP、ルータおよびブリッジなどのローカルエリアネットワーク(LAN)要素を備えてよく、その場合、インターネットなどのワイドエリアネットワークにアクセスを提供するゲートウェイ要素に対するリンクを含み得るか、またはそれを有し得る。他の実装形態では、ネットワーク225は、LANを備えてよく、ワイドエリアネットワークに対するアクセスを有してもまたは有さなくてもよいが、(サポートされていれば)任意のそのようなアクセスをモバイルデバイス100に提供しなくてもよい。いくつかの実装形態では、ネットワーク225は、複数のネットワーク(たとえば、1つまたは複数のワイヤレスネットワークおよび/またはインターネット)を備え得る。一実装形態では、ネットワーク225は、1つまたは複数のサービングゲートウェイ(たとえば、eNB)またはパケットデータネットワークゲートウェイを含むNG-RANであってよい。加えて、サーバ240のうちの1つまたは複数、アクセスおよびモビリティ管理機能(Access and Mobility Management Function:(AMF)、セッション管理機能(Session Management Function:SMF)、ロケーション管理機能(Location Management Function:LMF)、およびゲートウェイモバイルロケーションセンタ(Gateway Mobile Location Center:GMLC)。
【0028】
特定の実装形態では、以下で論じるように、モバイルデバイス100は、ロケーション関連測定値(たとえば、GPSもしくは他の衛星測位システム(SPS)衛星210、セルラートランシーバ220、またはローカルトランシーバ230から受信される信号について)を取得し、場合によっては、これらのロケーション関連測定値に基づいてモバイルデバイス100の位置フィックスまたは推定ロケーションを算出することができる回路および処理リソースを有してもよい。いくつかの実装形態では、モバイルデバイス100によって取得されるロケーション関連測定値は、ロケーション管理機能(location management functon:LMF)(たとえば、1つまたは複数のサーバ240のうちの1つであってよい)など、ロケーションサーバに転送されてもよく、その後、ロケーションサーバは、測定値に基づいてモバイルデバイス100のロケーションを推定または決定してもよい。現在例示されている例では、モバイルデバイス100によって取得されるロケーション関連測定値は、SPSまたはGPS、GLONASS、Galileo、またはBeidouなどの全球測位衛星システム(GNSS)に属する衛星から受信されるSPS信号174の測定値を含んでもよく、ならびに/または既知のロケーションに固定された地上送信機(たとえば、セルラートランシーバ220など)から受信される信号(222および/または232など)の測定値を含んでもよい。モバイルデバイス100または別個のロケーションサーバは、次いで、たとえば、GNSS、アシステッドGNSS(Assisted GNSS:A-GNSS)、アドバンストフォワードリンク三辺測量(Advanced Forward Link Trilateration:AFLT)、観測到達時間差(Observed Time Difference Of Arrival:OTDOA)、ラウンドトリップ時間(Round Trip Time:RTT)、受信信号強度指示(Received Signal Strength Indication:RSSI)、到来角(Angle of Arrival:AoA)、もしくはエンハンストセルID(Enhanced Cell ID:E-CID)、またはこれらの組合せなどの、いくつかの位置方法のいずれか1つを使用して、これらのロケーション関連測定値に基づいて、モバイルデバイス100のロケーション推定値を取得してもよい。これらの技法(たとえば、A-GNSS、AFLT、およびOTDOA)のいくつかでは、パイロット、測位参照信号(positioning reference signal:PRS)、または、送信機または衛星によって送信されモバイルデバイス100において受信される他の測位関連信号に少なくとも一部基づいて、既知のロケーションに固定されている3つ以上の地上送信機に対して相対的に、もしくは軌道データが正確に知られている4つ以上のSVに対して相対的に、またはそれらの組合せで、擬似範囲またはタイミング差がモバイルデバイス100において測定され得る。セルラートランシーバ220、ローカルトランシーバ230、および衛星210、ならびにそれらの中の様々な組合せなど、様々な信号ソースにドップラー測定が行われてよい。1つまたは複数のサーバ240は、たとえば、測定すべき信号に関する情報(たとえば、信号タイミング)、地上送信機のロケーションおよび識別情報、ならびに/またはA-GNSS、AFLT、OTDOA、RTT、RSSI、AoA、およびE-CIDなどの測位技法を容易にするためのGNSS衛星についての信号、タイミング、および軌道情報を含む測位支援データをモバイルデバイス100に提供することが可能であり得る。たとえば、1つまたは複数のサーバ240は、特定の領域または特定の会場などの領域におけるセルラートランシーバおよび/またはローカルトランシーバのロケーションおよび識別情報を示すアルマナックを含んでもよく、送信電力および信号タイミングなど、セルラー基地局またはAPによって送信される信号を表す情報を提供してもよい。E-CIDの場合、モバイルデバイス100は、セルラートランシーバ220および/またはローカルトランシーバ230から受信された信号に関する信号強度の測定値を取得してよく、ならびに/またはモバイルデバイス100とセルラートランシーバ220またはローカルトランシーバ230との間のラウンドトリップ信号伝搬時間を取得してもよい。モバイルデバイス100は、これらの測定値を1つまたは複数のサーバ240から受信される支援データ(たとえば、GNSSアルマナックおよび/またはGNSSエフェメリス情報などの地上アルマナックデータまたはGNSS衛星データ)とともに使用して、モバイルデバイス100のロケーションを決定してもよく、あるいは測定値を1つまたは複数のサーバ240に転送して同じ決定を実行してもよい。一実施形態では、サーバ240は、本明細書で説明するように、モバイルデバイスから画像情報を受信し、特徴分析(たとえば、光学文字認識(OCR)、距離およびヘッディング測定など)を実行するように構成されたオプティカルフロープロセッサを含んでよい。
【0029】
モバイルデバイス(たとえば、図1Aのモバイルデバイス100)は、デバイス、モバイルデバイス、ワイヤレスデバイス、モバイル端末、端末、移動局(mobile station:MS)、ユーザ機器(user equipment:UE)、SUPL対応端末(SUPL Enabled Terminal:SET)、またはいくつかの他の名称で呼ばれることがあり、セルフォン、スマートフォン、腕時計、車両内ナビゲーションシステム、タブレット、PDA、追跡デバイス、スマートグラス、VRゴーグル、またはいくつかの他のポータブルまたは可動のデバイスに対応し得る。必ずしもそうではないが、一般に、モバイルデバイスは、GSM、WCDMA、LTE、5G NR、CDMA、HRPD、Wi-Fi(登録商標)、BT、WiMaxなどのワイヤレス通信をサポートし得る。モバイルデバイスはまた、たとえば、ワイヤレスLAN(WLAN)、DSL、またはパケットケーブルを使用したワイヤレス通信をサポートし得る。モバイルデバイスは、ユーザがオーディオ、ビデオ、および/もしくはデータI/Oデバイス、ならびに/または、身体センサーおよび別個の有線もしくはワイヤレスモデムを採用し得るパーソナルエリアネットワークなどにおいて、単一のエンティティを含んでもよく、複数のエンティティを含んでもよい。モバイルデバイス(たとえば、モバイルデバイス100)のロケーションの推定値は、ロケーション、ロケーション推定値、ロケーションフィックス、フィックス、位置、位置推定値、または位置フィックスと呼ばれることがあり、地理的であってもよく、したがって、高度成分(たとえば、標高、地面、床面、または地下からの高さまたは深さ)を含んでも含まなくてもよい、モバイルデバイスについてのロケーション座標(たとえば、緯度および経度)を提供する。代替として、モバイルデバイスのロケーションは、都市ロケーションとして(たとえば、特定の部屋またはフロアなど、建造物の中のどこかの地点または狭いエリアの住所または呼称として)表されてもよい。モバイルデバイスのロケーションは、モバイルデバイスがある程度の確率または信頼レベル(たとえば、67%または95%)でその中に位置することが予想されるエリアまたはボリューム(地理的に、または都市の形のいずれかで定義される)として表されてもよい。モバイルデバイスのロケーションはさらに、既知のロケーションにおけるある原点に対して定義される距離および方向または相対X、Y(およびZ)座標を含む相対ロケーションであってもよく、この原点は、たとえば、地理的に定義されるか、または都市の観点で定義されるか、またはマップ、間取図、または建造物の平面図上に示される点、エリア、もしくはボリュームを基準とすることによって定義されてもよい。本明細書に含まれる説明では、ロケーションという用語の使用は、別段に示されていない限り、これらの変形態のいずれかを含んでもよい。
【0030】
図1Aおよび図1Bをさらに参照しながら、図3を参照すると、モバイルデバイス100の慣性センサーを介して取得される測定を容易にするかまたはサポートするために全体的にまたは部分的に使用され得る例示的な座標系300が示されている。慣性センサー測定値は、たとえば、関連する加速度計140またはジャイロスコープ145によって生成された出力信号に少なくとも部分的に基づいて取得され得る。例示的な座標系300は、たとえば、3次元デカルト座標系を含み得る。たとえば、加速度振動を表すモバイルデバイス100の変位は、たとえば、例示的な座標系300の原点に対する3つの直線次元または軸X、Y、およびZを参照する、3次元(three-dimensional:3D)加速度計など、好適な加速度計によって少なくとも部分的に検出または測定され得る。例示的な座標系300は、モバイルデバイス100の本体に整合してもよくまたは整合しなくてもよいことを諒解されたい。一実装形態では、座標系が互いに直交する次元を定義し得るように、非デカルト座標系が使用されてよい。
【0031】
ときには、たとえば、重力に関する配向変更など、モバイルデバイス100の回転運動は、1つまたは複数の次元を参照しながら好適な加速度計によって少なくとも部分的に検出または測定され得る。たとえば、いくつかの事例では、モバイルデバイス100の回転運動は、座標(
【0032】
【数1】
【0033】
(phi)、τ(tau))に換算して検出または測定されてよく、ここで、phi
【0034】
【数2】
【0035】
は、306において矢印によって概して示されるように、X軸のロールまたは回転を表し、tau(τ)は、308において概して示されるように、Y軸に対するピッチまたは回転を表す。以下で論じるように、モバイルデバイス100の回転運動はまた、たとえば、X、Y、およびZ直交軸に対して、好適なジャイロスコープによって検出または測定され得る。したがって、3D加速度計は、たとえば、ロール次元またはピッチ次元に対して、加速度振動のレベルならびに重力に関する変更を少なくとも部分的に検出または測定し得、それにより、5つの次元の可観測性
【0036】
【数3】
【0037】
を提供する。もちろん、これらは、例示的な座標系300を参照しながら少なくとも部分的に検出または測定され得る運動の例にすぎず、特許請求される主題は、特定の運動または座標系に限定されない。
【0038】
ある例では、モバイルデバイス100の回転運動は、十分なまたは好適な程度の可観測性を提供するように、好適なジャイロスコープ145によって少なくとも部分的に検出または測定され得る。ジャイロスコープ145は、1次元、2次元、または3次元を参照しながら、モバイルデバイス100の回転運動を検出または測定し得る。したがって、いくつかの事例では、ジャイロスコープ回転は、たとえば、座標
【0039】
【数4】
【0040】
に換算して少なくとも部分的に検出または測定され得、ここでphi
【0041】
【数5】
【0042】
は、X軸に対するロールまたは回転306を表し、tau(τ)は、Y軸に対するピッチまたは回転308を表し、psi(ψ)は、概して310において参照されるような、Ｚ軸に対するヨーまたは回転を表す。ジャイロスコープは、必ずしもそうであるとは限らないが、一般に、角加速度(たとえば、単位時間2乗当たり(per unit of time squared)の角度の変化)、角速度(たとえば、単位時間当たりの角度の変化)などに換算して測定値を提供し得る。同様に、ここで、例示的な座標系300を参照しながらジャイロスコープによって少なくとも部分的に検出または測定され得る運動に関する詳細は例にすぎず、特許請求される主題はそのように限定されない。ジャイロスコープ145は、バイアス値を有することがあり、出力の精度は時間とともにドリフトし得る。一実施形態では、本明細書で説明するRTAおよび整合技法は、バイアス値を決定し、プロセッサがジャイロスコープバイアスを補償することを可能にするために使用され得る。
【0043】
図4Aを参照すると、視覚センサーを備えた例示的なナビゲーションシステムのブロック図400が示される。システム400は、モデムなどのシステムオンチップ構成要素を含み得るか、または互いと通信するように構成された個別デバイスおよび/または異なるシステムで実装され得る。他のアーキテクチャおよび構成要素が使用され得るため、システム400は、限定ではなく、ある例である。分散型システムは、補助プロセッサ(auxiliary processor:AP)402およびメインプロセッサ(main processor:MP)404を含み得る。AP402は、MP404に動作可能に接続され、MP404から受信されたイベントの指示に応答するように構成され得る。概して、AP402は、視覚センサー405から受信された画像フレームに基づいて、ピクセル変位情報などのオプティカルフロー分析情報を提供するように構成される。オプティカルフロー分析は、画像フレームに対する特徴検出およびOCR方法を含み得る。視覚センサー405はまた、深度センサー(たとえば、カメラに関連付けられたIR測距構成要素)、ライダーデバイス(たとえば、レーザーおよびコヒーレント光ベースの)、および/またはレーダーデバイス(たとえば、ミリメートル波レーダー構成要素)など、1つまたは複数の範囲センサー406を含み得る。視覚センサー405は、カメラ105などのCMOS撮像技術であってよく、範囲センサー406は、図1Aの他のセンサー150であってよい。AP402は、視覚センサー405に動作可能に接続され、視覚センサー405をアクティブ化させ、範囲センサー406によって取得された画像および/または深度情報を受信するように構成された、オプティカルフロープロセッサ(optical flow processor:OF)425を含む。MP404は、GNSSプロセッサ470に動作可能に結合されたナビゲーションプロセッサ(navigation processor:NAV)415を含む。慣性センサー450は、ナビゲーションプロセッサ415からコマンドを受信し、加速度計およびジャイロスコープによる出力など、慣性データを戻すように構成される。たとえば、ジャイロスコープ145は、角速度信号を提供するように構成され、加速度計140は、特定の力信号(force signals)を提供するように構成される。GNSSプロセッサ470は、衛星測位信号474を受信し、位置情報および時間情報をナビゲーションプロセッサ415に提供するように構成される。
【0044】
ある例では、ナビゲーションプロセッサ415は、分散型システム400の状態を推定するために、カルマンフィルタなどの再帰的アルゴリズムで構成される。カルマンフィルタは、慣性センサー450、GNSS470、およびオプティカルフロープロセッサ425から測定値を受信し、数学的モデルを適用して推定配向および位置を決定し得る。位置情報を提供するために、他の測位方法が使用されてよい。たとえば、モバイルデバイス100または別個のサーバ240は、支援型GNSS(A-GNSS)、アドバンストフォワードリンク三辺測量(AFLT)、観測到達時間差(OTDOA)、または拡張セルID(E-CID)に基づいて、モバイルデバイス100のロケーション推定値を取得し得る。一実施形態では、AP402、MP404、視覚センサー405、範囲センサー406、および慣性センサー450は、モバイルデバイス100など、単一のデバイス内に含まれてよい。たとえば、AP402はオプティカルフロープロセッサ125のある例であり、MP404はナビゲーションプロセッサ115のある例であり、視覚センサー405はカメラ105のある例であり、慣性センサー450は加速度計140、ジャイロスコープ145、および他のセンサー150を含み得る。別の実施形態では、図4Aに示すように、AP402、MP404、視覚センサー405、範囲センサー406、および慣性センサー450は、別個のデバイス内に含まれ、ワイヤードまたはワイヤレス通信経路を介して情報を交換するように構成され得る。ある例では、視覚センサー405および範囲センサー406は、車両フレームに対して固定位置に設置され得る。
【0045】
図4Bを参照すると、センサー支援型ナビゲーションのための例示的な分散型システムのブロック図450が示される。図450は、モバイルデバイス452および1つまたは複数のリモートセンサー454を含む。モバイルデバイス452は、モバイルデバイス100の構成要素のうちのいくつかまたはすべてを含んでよく、モバイルデバイス100はモバイルデバイス452のある例であり得る。リモートセンサー454は、モバイルデバイス452に近接する環境の測定値を取得するように構成された1つまたは複数のセンサーであってよい。たとえば、リモートセンサー454は、リモートカメラおよび他の視覚センサー、無線周波数(radio frequency:RF)検知デバイス、レーダー、ライダー(たとえば、レーザーまたはコヒーレント光ベースの)、慣性センサー、気圧計、磁力計、および他の測定デバイスのうちの1つまたは複数を含んでよい。一実施形態では、リモートセンサー454は、1つまたは複数のワイヤード接続またはワイヤレス接続を介してモバイルデバイスに通信可能に結合され得る。たとえば、車両アプリケーションでは、リモートセンサー454は、車両の上に設置され、WiFiおよび/またはBluetoothなどのワイヤレス技術を介して画像および他のデータをモバイルデバイス452に提供するように構成されたカメラ、レーダー、ライダー、および他のセンサーであってよい。他の技法が使用されてもよい。ある例では、リモートセンサー454は他のデバイス内に配設され得る。たとえば、ARゴーグル内の画像センサーは、リモートセンサー454であってよく、画像情報をモバイルデバイスに提供するように構成されてよい。アクションカメラ、WiFiレーダーセンサー、範囲検出デバイスなど、他のリモートデバイスも、センサー情報をモバイルデバイス452に提供するように構成され得る。動作中、モバイルデバイス452は、基地局460および第1の通信リンク456を含む通信ネットワークを介してエッジサーバ462と通信するように構成され得る。たとえば、基地局460はセルラーネットワークであってよく、第1の通信リンク456は、LTE、5G NRなど、無線アクセス技術であってよい。ある例では、基地局460は、ワイドエリアネットワーク(wide area network:WAN)内のアクセスポイントであってよく、第1の通信リンク456は、WiFi、Bluetooth、または無線アクセス技術に基づいてよい。エッジサーバ462は、測位情報を受信および/または提供するように構成された、第三者マッピングアプリケーションまたは他のロケーションベースのサービスプロバイダであってよい。
【0046】
一実施形態では、リモートセンサー454は、第2の通信リンク458および基地局460を介してセンサーデータをエッジサーバ462および/またはモバイルデバイス452に提供するように構成され得る。第2の通信リンク458および基地局460は、セルラーベース、WANベース、または他の無線アクセス技術であってよい。ある例では、エッジサーバ462は、モバイルデバイス452によって提供された情報(たとえば、大まかな位置情報)およびリモートセンサー454によって提供された情報(たとえば、画像、レーダー/ライダークラウドポイント)を利用して、本明細書で説明する方法に基づいて、モバイルデバイス452のロケーションを算出するように構成され得る。たとえば、モバイルデバイス452は、スマートフォン、スマートウォッチなどであってよく、大まかなロケーション情報をGoogle Maps(すなわち、エッジサーバ462)などの第三者アプリケーションに提供し得る。リモートセンサー454は、モバイルデバイス452に関連付けられた、画像を取得するように構成された、スマートグラス、ARゴーグルなどであってよい。第三者アプリケーションは、第1の通信リンク456を介して(たとえば、モバイルデバイス452)から、または第1および第2の通信リンク456、458の組合せを介して(たとえば、それぞれモバイルデバイス452およびリモートセンサー454から)大まかなロケーション情報と画像の両方を受信し得る。第三者アプリケーションは、分岐データソースを組み合わせて、モバイルデバイス452の位置推定値の精度を改善し得る。
【0047】
図5を参照すると、視覚センサーによって取得された識別可能な特徴を備えた例示的な画像500が示される。画像500は、車両の前面に配設され、進行方向に配向された、視覚センサー405によって取得された街路ビューである。画像500内の副画像502は、街路標識504(すなわち、「Mission」)および企業標識506(たとえば、「Soma Park Inn」)を含む、2つの識別可能な特徴を含む。識別可能な特徴504、506は、例であり、概して、Google Maps、Apple Maps、Waze(登録商標)、および他のマッピングサービスプロバイダなど、公的なプロプリエタリマッピングアプリケーションで利用可能なテキスト情報を表す。動作中、モバイルデバイス100は、GNSS位置推定値に基づいて、大まかな位置を取得するように構成され得る。画像500に示すような都市環境では、GNSS位置推定値は、遮断されたSV信号(たとえば、建物、近くの車両などによって引き起こされる)および他のマルチパス効果により増大された不確実性エリアを有し得る。モバイルデバイス100は、大まかなGNSS位置推定(たとえば、算出された緯度および経度)に基づいてサービスプロバイダからマップ情報を取得するように構成され、マップ情報は、ジオロケートされた関心点(points of interest:POI)情報、および街路名、交差点名、バス停留所番号、企業名および住所など、関連する識別可能な特徴を含み得る。OF425は、コンピュータビジョン技法を利用して、大まかなマップ情報内のテキストのコーパスに基づいて、画像500(たとえば、OCR技法)から識別可能な特徴(たとえば、街路名、企業名、住所、街角/交差点)を抽出するように構成され得る。ある例では、OCR分解能を制約するために、大まかなマップ情報内の特徴およびPOIに関連付けられたテキストが使用され得る。大まかなマップ情報のサイズは、GNSS位置推定値からの構成範囲(たとえば、100、200、500、1000ヤード(91、183、457、914メートル)など)に基づき得る。モバイルデバイス100の現在の速度および能力など、他の要因を使用して、取得された大まかなマップ情報の範囲を決定し得る。一実施形態では、範囲センサー406および/または視覚センサー405の出力を利用して、横断歩道、街灯、街路標識、交通信号、交差点など、識別可能な特徴までの距離推定値508を決定し得る。範囲センサー406は、座標系300および範囲センサー406の配向(たとえば、ボアサイト)に基づいて物体に対する方位および高度を決定するために、慣性測定デバイス(たとえば、ジャイロスコープ145、加速度計140)と併せて使用され得る。識別可能な特徴の所定のロケーションおよび/または識別可能な特徴までの距離を使用して、GNSS位置推定値の精度を改善し得る。
【0048】
一実施形態では、モバイルデバイス100は、たとえば、横断歩道、建造物の角、歩道の曲がり角、停止信号マーカーライン、信号テキストなどの特徴を識別するために当技術分野で知られているような1つまたは複数のコンピュータビジョンアルゴリズムで構成され得る。これらのアルゴリズムは、色しきい値、Sチャネル勾配しきい値、および関心領域フィルタの適用など、画像に対して前処理または他のフィルタリングステップを実行し得る。視点変換を使用して、画像を前方見通し図(forward perspective)から鳥瞰図に変換し得る。変換行列が算出され得、変換行列に基づいて画像がワーピングされ得る。ヒストグラムピークを使用して、横断歩道、停止信号マーキング、または道路上の他の識別可能な特徴など、マーキングを決定し得る。スライディングウィンドウ技法を使用して、アクティブピクセルを抽出し、アクティブピクセルに基づいてラインを構築するためにポリフィットプロセスを実行し得る。レーンマーキング間の相対距離を使用して、レーンマーカーと横断歩道を区別し得る。カメラから、横断歩道など、識別可能な特徴までの相対距離を決定するために、加速度計およびジャイロスコープ入力と組み合わせて、事前較正されたカメラパラメータまたはカメラが使用され得る。他のアルゴリズムおよび画像処理技法が使用されてもよい。
【0049】
図6を参照すると、図5の画像500に関連付けられた例示的な大まかなマップ600が示される。大まかなマップ600は、街路名602(すなわち、「Mission」)および企業名604(すなわち、「Soma Park Inn」)など、識別可能な特徴に関連付けられたロケーションおよびテキスト情報を含む。ある例では、モバイルデバイス100は、MinnaとNatoma Street(図6に示す)の間の9th Street上の現在位置を示す初期GNSS位置推定値606を取得し得る。初期GNSS位置推定値606を取得するのと同時に、モバイルデバイスは、図5の画像500をやはり取得する。OFプロセッサ425は、大まかなマップ600に関連付けられたテキスト情報に基づいて、識別可能な特徴を決定するように構成され得る。ある例では、OFプロセッサ425は、大まかなマップ情報内の街路名(たとえば、Natoma、Minna、Mission、9th St)に基づいて、OCR技法を利用し得る。ある例では、OFプロセッサ425は、大まかなマップ情報内の街路名および他のPOI(たとえば、企業名および建造物の名称)に関連付けられたテキスト(たとえば、Moya、Soma Park Inn、Coffee Cultures、BCC Barなど)に基づいてOCR技法を利用し得る。大まかなマップ情報に基づいてOCR分解能を制約することは、よりロバストかつより高速なテキスト認識を可能にし得る。一実施形態では、OFプロセッサ425は、画像500のみに基づいて(すなわち、制約せずに)、OCR結果を取得するように構成され得る。
【0050】
図5の街路標識504を参照すると、ナビゲーションプロセッサ415は、OFプロセッサ425によって検出された識別可能な特徴および大まかなマップデータを利用して、GNSS位置推定値を更新し得る。モバイルデバイス100に近接する街路標識504(すなわち、「Mission Street」)の識別情報およびOCRを使用して、現在位置が初期GNSS位置推定値606の北西にある(すなわち、Mission St.により近い)ことを示す、更新されたGNSS位置推定値608を生成し得る。位置推定値を更新するために、企業名604などの他の識別可能な特徴が使用されてもよい。位置推定値を更新するために、距離推定値508が使用されてもよい。たとえば、距離推定値508は、大まかなマップ600上に示されるMission Stと9th Stの交差点までの推定距離を示す。識別可能な特徴(たとえば、読取り可能な街路標識)を大まかなマップ特徴データと比較することは、範囲外の位置推定値を除去し、改善された測位精度を実現するのに役立ち得る。位置を決定するために使用されるカルマンフィルタリングアルゴリズムの測定更新として、距離および/またはヘッディング測定値が使用されてもよい。
【0051】
図7を参照すると、視覚センサー405を用いて取得された画像702の例示的な変換700が示される。ある使用事例では、視覚センサー405は、車両の上に配設され、車両の方向に画像を取得するように配向され得る。街路画像702は、レーンマーカー、ジャージーバリア、ガードレール、路肩レーン、および視覚センサー405の視点に基づく他の特徴など、自然および人工の地形特徴を含み得る。オプティカルフロープロセッサ425は、視点変換技法を使用して、街路画像702を鳥瞰図のワープ画像704に変換するように構成され得る。他の画像分解能および調整技法(たとえば、コントラスト調整、2値化、シャープ化など)が使用されてもよい。たとえば、ワープ画像704は、一連の破線右側レーンマーク704aおよび左側レーンストライプ704bを含めて、高速レーンマーキングを強調表示し得る。他の特徴も識別可能であり得る。
【0052】
図8を参照すると、ワープ画像704に基づくヘッディング測定のある例が示される。画像800は、ワープ画像704のネガティブ画像であり、ヘッディング測定の記述を容易にするために提供される。画像800は、ある例であり、限定ではない。OFプロセッサ425は、破線右側レーンマーク704aおよび左側レーンストライプ704bなどの画像特徴の輪郭を決定するように構成され得る。たとえば、OFプロセッサ425は、破線右側レーンマーク704aに基づく右側レーン境界804aおよび左側レーンストライプ704bに基づく左側レーン境界804bを取得するために、画像処理技法を利用し得る。一実施形態では、モバイルデバイス100は、初期GNSS位置推定値に基づいて大まかなマップ情報を取得するように構成され得、ナビゲーションプロセッサ415は、右側および左側レーン境界804a～bの角度および/または曲率を大まかなマップデータ内の道路に整合させて、車両の現在のヘッディング806を決定するように構成され得る。画像から導出されるヘッディング情報は、位置推定値を生成するように構成された、カルマンフィルタなどの再帰的アルゴリズムに対する入力として使用され得る。
【0053】
一実施形態では、視覚センサー405は、周期的に、および/またはあらかじめ決められたトリガ条件に基づいて、画像を取得するように構成され得る。ある例では、位置推定値と視覚センサー405の統合をアクティブ化するために、カメラデューティサイクルが実装され得る。相対的旋回軌道および/またはユーザダイナミックスを使用して、デューティサイクルを決定し得る。たとえば、直線を進行する車両と比較して、旋回する車両はより高いデューティサイクルを利用し得る。大まかなマップ情報を使用して、デューティサイクルを決定することも可能である。たとえば、交差点への近接性を使用して、より少ない交差点を有する公道と比較してデューティサイクルを増大させることが可能である。ナビゲーションアプリケーションのために視覚センサー405をアクティブ化するための条件をトリガするために、モバイルデバイス100の他の状態が使用されてもよい。
【0054】
図1A～図8を参照しながら、図9を参照すると、画像内の識別可能な特徴に基づいて、モバイルデバイスの位置推定値を決定するための方法900が示される。しかしながら、方法900はある例であり、限定的ではない。方法900は、たとえば、段階を追加すること、削除すること、並べ替えること、組み合わせること、同時に実行すること、および/または単一の段階を複数の段階に分割することによって改変され得る。方法900は、モバイルデバイス内の一体化デバイスで、モバイルデバイスに動作可能に結合された複数の離散構成要素で、通信可能に結合された複数のデバイスで、および/または異なるセンサーおよび異なるプロセッサによって実行されている異なる段階を有するネットワーク接続を介してリモートに、実行され得る。
【0055】
段階902において、方法は、大まかなマップ情報を取得するステップを含む。ワイヤレストランシーバ130が、大まかなマップ情報を取得するための手段であってよい。一実施形態では、モバイルデバイス100は、モバイルデバイスの大まかな位置に近接するエリア内の大まかなマップ情報を取得するために、ネットワーク225を介してロケーション座標(たとえば、緯度/経度)を第三者マッピングサービスプロバイダ(たとえば、Google maps、Apple Mapsなど)に提供するように構成され得る。ロケーション座標は、モバイルデバイス100によって受信されたSV信号、またはワイヤレストランシーバ130を介して受信された信号に基づく他の地上ナビゲーション技法に基づき得る。大まかな位置は、たとえば、A-GNSS、AFLT、OTDOA、RTT、RSSI、AoA、およびE-CIDなど、測位技法に基づき得る。大まかなマップ情報は、既存のマップデータセットに基づいてよく、画像固有のマッピングデータを構築および利用することに依拠しない。大まかなマップ情報内に含まれた近接エリアは、構成オプションまたは他のアプリケーション基準(たとえば、位置不確実性値)に基づいてよく、モバイルデバイスのロケーション周囲の100、200、500、1000ヤード(91、183、457、924メートル)を包囲し得る。大まかなマップ情報は、街路名および交差点ロケーション、企業名および住所、または識別可能な特徴に対応する他のラベルおよびそれらの対応するロケーションなど、ジオリフェレンスされたPOIを含んでよい。ある例では、モバイルデバイス100は、ローカルメモリ160内に大まかなマップ情報を記憶させていることがある。ある例では、モバイルデバイス100は、大まかなマップ情報をパースして、モバイルデバイスに近接する街路名および交差点ロケーションを決定し得る。モバイルデバイス100は、視覚的に識別可能な特徴の各々が大まかなマップ情報内の既知のロケーションに関連付けられるように、企業標識および住所、バス停留所標識、高速標識、高架線標識、街灯など、他の視覚的に識別可能な特徴をパースするように構成され得る。
【0056】
段階904において、方法は、センサー情報を取得するステップを含む。視覚センサー405またはリモートセンサー454が、センサー情報を取得するための手段であってよい。ある例では、視覚センサー405またはリモートセンサー454は、第2のカメラ105bなどのカメラ、もしくは車両搭載ダッシュボードカメラなどの別のカメラ、ARゴーグル、またはモバイルデバイスに近接する画像を取得するように構成された他のセンサーであってよい。たとえば、視覚センサー405またはリモートセンサー454は、図5の画像500など、都市環境の街路ビューを取得し得る。一実施形態では、センサー情報は、1つまたは複数のリモートセンサー454から受信されたデータに基づき得る。たとえば、レーダーシステムまたはライダーシステムは、1つまたは複数のポイント(たとえば、ポイントクラウド)までの範囲および方位を取得し得る。他のセンサーは、他の情報を提供するように構成されてよい。センサー情報は、センサーデューティサイクルに基づいてなど、オンデマンドでまたは周期的に取得され得る。
【0057】
段階906において、方法は、センサー情報に対して光学文字認識プロセスを実行するステップを含む。OF425またはプロセッサ111が、OCRプロセスを実行するための手段であってよい。一実施形態では、視覚センサー405および/またはリモートセンサー454は、モバイルデバイス100に近接するエリアの画像を取得し得る。OF425またはプロセッサ111は、センサー情報に対してOCRおよび他のコンピュータビジョン技法を利用して、段階904において取得されたセンサー情報から識別可能な特徴(たとえば、街路名、企業名、住所、街角/交差点)を抽出するように構成され得る。
【0058】
段階908において、方法は、光学文字認識プロセスおよび大まかなマップ情報に基づいて、1つまたは複数の識別可能な特徴を決定するステップを含み得る。一実施形態では、コンピュータビジョン技法は、センサー情報内の1つまたは複数の視覚的に識別可能な特徴に関連付けられた情報(たとえば、テキスト)を利用して、大まかなマップ情報内のロケーションを識別し得る。たとえば、段階906においてOCRプロセスの結果を大まかなマップ情報内の特徴およびPOIに関連付けられたテキストと比較することができる。一実施形態では、大まかなマップ情報は、OCR分解能を制約するために使用され得る。OCRプロセスの効率を改善するために他の制約ベースの技法が使用されてもよい。センサー入力に関連付けられた他の識別可能な特徴は、大まかなマップ情報内に含まれ得る。たとえば、道路標識または他の反射体などのジオロケートされた物体は、検出可能なリターンシグネチャを提供するように構成され得る。ロケーションおよび対応する識別情報が大まかなマップ情報内に含まれてよい。
【0059】
段階910において、方法は、大まかなマップ情報および1つまたは複数の識別可能な特徴に少なくとも部分的に基づいて、モバイルデバイスの位置推定値を決定するステップを含む。ナビゲーションプロセッサ415またはプロセッサ111が、位置推定値を決定するための手段である。ナビゲーションプロセッサ415は、大まかなマップ情報内の特徴のロケーションに基づいて、識別可能な特徴のロケーションを決定するように構成され得る。たとえば、図6を参照すると、モバイルデバイス100に近接する「Mission Street」の識別情報を使用して、現在の位置が初期GNSS位置推定値606の北西である(すなわち、更新されたGNSS位置推定値608はMission St.により近い)ことを示す、更新されたGNSS位置推定値608を生成し得る。一実施形態では、モバイルデバイス100は、1つまたは複数の範囲センサー406またはリモートセンサー454の出力を利用して、位置推定値をさらに洗練させるように構成され得る。たとえば、範囲センサー406、リモートセンサー454、および/または視覚センサー405を利用して、横断歩道、街灯、街路標識、交差点など、識別可能な特徴までの距離推定値508を決定し得る。
【0060】
図1A～図8をさらに参照しながら図10を参照すると、ヘッディング入力に少なくとも部分的に基づいて、モバイルデバイスの位置推定値を決定するための方法1000が示される。しかしながら、方法1000は、ある例であり、限定的ではない。方法1000は、たとえば、段階を追加すること、除去すること、並べ替えること、組み合わせること、同時に実行すること、および/または単一の段階を複数の段階に分割することによって改変され得る。
【0061】
段階1002において、方法は、モバイルデバイスの大まかな位置を決定するステップを含む。GNSS受信機170またはワイヤレストランシーバ130が、大まかな位置を決定するための手段であってよい。大まかな位置は、モバイルデバイス100によって受信されたSV信号、またはワイヤレストランシーバ130を介して受信された信号に基づく他の地上ナビゲーション技法に基づき得る。大まかな位置は、たとえば、A-GNSS、AFLT、OTDOA、RTT、RSSI、AoA、およびE-CIDなど、測位技法に基づき得る。
【0062】
段階1004において、方法は、大まかな位置に基づいて、大まかなマップ情報を取得するステップを含む。ワイヤレストランシーバ130が、大まかな位置を決定するための手段であってよい。一実施形態では、モバイルデバイス100は、大まかな位置に近接するエリア内の大まかなマップ情報を取得するために、ネットワーク225を介してロケーション座標(たとえば、緯度/経度)を第三者マッピングサービスプロバイダ(たとえば、Google maps、Apple Mapsなど)に提供するように構成され得る。大まかなマップ情報は、既存のマップ情報(たとえば、公に利用可能な)であってよく、画像固有のマッピングデータを構築および利用することに依拠しない。近接エリアは、構成オプションまたは他のアプリケーション基準(たとえば、位置不確実性値)に基づいてよく、大まかな位置測定値周囲の100、200、500、1000ヤード(91、183、457、914メートル)を包囲し得る。大まかなマップ情報は、街路名および交差点ロケーション、企業名および住所、または識別可能な特徴に対応する他のラベルおよびそれらの対応するロケーションなど、ジオリフェレンスされたPOIを含んでよい。ある例では、モバイルデバイス100は、ローカルメモリ160内に大まかなマップ情報を記憶させていることがある。
【0063】
段階1006において、方法は、センサー情報を取得するステップを含む。視覚センサー405またはリモートセンサーが、センサー情報を取得するための手段であってよい。ある例では、視覚センサー405またはリモートセンサー454は、第2のカメラ105bなどのカメラ、もしくは車両搭載ダッシュボードカメラなどの別のカメラ、ARゴーグル、またはモバイルデバイスに近接する画像を取得するように構成された他のセンサーであってよい。一実施形態では、VPSナビゲーションデバイスは、車両または自律型配信システムのダッシュボード上に設置されてよく、運動の方向を指すカメラを含み得る。視覚センサー405および/またはリモートセンサー454は、たとえば、車両が現在横断している道路の街路画像702を取得するように構成され得る。一実施形態では、画像は、視覚センサーデューティサイクルに基づいて取得され得る。ある例では、画像は、レーダーまたはライダーなどの他のセンサーからの入力(たとえば、ライダーポイントクラウド、レーダーポイントデータ)に基づき得る。他のセンサーは、他の情報を提供するように構成されてよい。センサー情報は、センサーデューティサイクルに基づいてなど、オンデマンドでまたは周期的に取得され得る。
【0064】
段階1008において、方法は、センサー情報に基づいて、1つまたは複数の道路曲率特徴を決定するステップを含む。OFプロセッサ425またはプロセッサ111が1つまたは複数の道路曲率特徴を決定するための手段であってよい。ある例では、センサー情報は、レーンマーカー、ジャージーバリア、ガードレール、路肩レーン、および視覚センサー405の視点に基づく他の特徴など、自然および人工の地形特徴を含み得る、街路画像702などの画像であってよい。OFプロセッサ425またはプロセッサ111は、視覚変換情報技法を使用して、街路画像702を鳥瞰図のワープ画像704に変換させるように構成され得る。図8を参照する一実施形態では、OFプロセッサ425またはプロセッサ111は、画像処理技法を利用して、破線右側レーンマーク704aに基づいて右側レーン境界804aを、左側レーンストライプ704bに基づいて左側レーン境界804bを取得し得る。右側および左側境界804a～bは、道路の曲率を決定するために使用され得る。一実施形態では、1つまたは複数の道路曲率特徴は、リモートセンサー454によって取得されたレーダーおよび/またはライダーデータに基づき得る。曲率を決定するために、他のセンサー処理技法が使用されてもよい。
【0065】
段階1010において、方法は、比較値がしきい値を満たすと決定するステップであって、比較値が、大まかなマップ情報内の道路曲率特徴とセンサー情報内で検出された1つまたは複数の道路曲率特徴との間の比較に基づく、決定するステップを含む。ナビゲーションプロセッサ415またはプロセッサ111が、比較値がしきい値を満たすかどうかを決定するための手段であってよい。ある例では、モバイルデバイス100は、段階1004において、大まかなマップ情報を取得し、ナビゲーションプロセッサ415またはプロセッサ111は、右側および左側レーン境界804a～bの角度および/または曲率を大まかなマップデータ内の道路と比較して、車両の現在のヘッディング806を決定するように構成され得る。たとえば、道路は、大まかな位置情報(たとえば、 US 5ノースバウンド)に基づいて識別されてよく、比較アルゴリズムは、識別された道路のピクセル分析および検出された曲率に基づいてよい。例示的な比較アルゴリズムは、分解能を見出すために順方向および逆方向に識別された道路に沿って曲率情報を転置させるための畳み込みを含み得る(すなわち、カーネル)。しきい値は、比較アルゴリズムに関連付けられた確率係数に基づいて確立され得る。たとえば、より高いしきい値は、道路曲率特徴と大まかなマップ情報との間の実際の整合の増大された尤度を示し得る。他の整合アルゴリズムが使用されてもよい。
【0066】
段階1012において、方法は、大まかなマップ情報内の道路曲率特徴に少なくとも部分的に基づいてモバイルデバイスのヘッディングを決定することを含む。ナビゲーションプロセッサ415またはプロセッサ111が、モバイルデバイスのヘッディングを決定するための手段であってよい。一実施形態では、ナビゲーションプロセッサ415またはプロセッサ111は、ジオリフェレンスされた大まかなマップ情報に基づいて、ヘッディングを算出するように構成され得る。たとえば、整合する道路セグメント上のロケーションのヘッディング(たとえば、角度)を決定するための基準として、大まかなマップに関連付けられた座標情報(たとえば、北上)が使用され得る。得られたヘッディング情報は、位置推定値を決定するために利用される再帰的アルゴリズムへの入力として使用され得る。
【0067】
段階1014において、方法は、ヘッディングに少なくとも部分的に基づいて、モバイルデバイスの位置推定値を決定するステップを含む。ナビゲーションプロセッサ415またはプロセッサ111が、位置推定値を決定するための手段であってよい。一実施形態では、ナビゲーションプロセッサ415は、モバイルデバイス100の状態を推定するための再帰的アルゴリズム(たとえば、カルマンフィルタ)で構成され得る。再帰的アルゴリズムは、OFプロセッサ425に基づくヘッディング情報に加えて、慣性センサー450、GNSS470から測定値を受信し、数学的モデルを適用して、推定される配向および位置を決定し得る。段階1012において決定されるヘッディング情報は、GNSS位置推定値の精度を改善するために使用され得る。
【0068】
図1A～図8をさらに参照しながら図11を参照すると、特徴までの範囲に基づいて、モバイルデバイスの位置推定値を決定するための方法1100が示される。しかしながら、方法1100は、ある例であり、限定的ではない。方法1100は、たとえば、段階を追加すること、削除すること、並べ替えること、組み合わせること、同時に実行すること、および/または単一の段階を複数の段階に分割することによって改変され得る。
【0069】
段階1102において、方法は、センサー情報を取得するステップを含む。視覚センサー405およびリモートセンサー454が、センサー情報を取得するための手段であってよい。ある例では、視覚センサー405は、第2のカメラ105bなどのカメラ、もしくは車両搭載ダッシュボードカメラなどの別のカメラ、ARゴーグル、またはモバイルデバイスに近接する画像を取得するように構成された別のデバイス内のカメラであってよい。たとえば、視覚センサー405は、図5の画像500など、都市環境の街路ビューを取得し得る。一実施形態では、センサー情報は、1つまたは複数のリモートセンサー454から受信されたデータに基づき得る。たとえば、レーダーシステムまたはライダーシステムは、1つまたは複数のポイント(たとえば、ポイントクラウド)までの範囲および方位を取得し得る。他のセンサーは、他の情報を提供するように構成されてよい。センサー情報は、センサーデューティサイクルに基づいてなど、オンデマンドでまたは周期的に取得され得る。
【0070】
段階1104において、方法は、センサー情報内の1つまたは複数の識別可能な特徴を検出するステップを含む。OF425およびプロセッサ111が、1つまたは複数の識別可能な特徴を検出するための手段であってよい。ある例では、センサー情報は画像であってよく、OF425は、横断歩道、建造物の角、歩道の曲がり角、停止信号マーカー線、交差点、交通信号、街灯、および他の特徴などの特徴を識別するための1つまたは複数のコンピュータビジョンアルゴリズムで構成され得る。これらのアルゴリズムは、色しきい値、Sチャネル勾配しきい値、および関心領域フィルタの適用など、画像に対して前処理または他のフィルタリングステップを実行し得る。視点変換を使用して、画像を前方見通し図から鳥瞰図に変換し得る。変換行列が算出され得、変換行列に基づいて画像がワーピングされ得る。ヒストグラムピークを使用して、横断歩道、停止信号マーキング、または道路上の他の識別可能な特徴など、マーキングを決定し得る。プロセッサ111は、リターン信号の信号強度、ドップラーシフト、または位相に基づいて、レーダーおよび/またはライダーリターン情報を識別するように構成され得る。たとえば、事前構成された反射体または他の物体(たとえば、交通信号、街路標識など)が識別可能なレーダーまたはライダーリターン信号を提供し得る。メモリ160は、リターン信号を物体と相関させるためのデータ構造を含み得る。
【0071】
段階1106において、方法は、1つまたは複数の識別可能な特徴までの範囲を決定するステップを含む。OF425またはプロセッサ111が、識別可能な特徴までの範囲を決定するための手段であってよい。ある例では、センサー情報は画像であってよく、カメラから段階1104において検出された識別可能な特徴までの相対距離を決定するために、事前較正されたカメラパラメータまたは加速度計およびジャイロスコープと組み合わせて、カメラが使用され得る。一実施形態では、範囲センサー406および/またはリモートセンサー454を利用して、識別可能な特徴までの範囲を決定し得る。範囲センサー406は、座標系300および範囲センサー406の配向(たとえば、ボアサイト)に基づいて物体に対する方位および高度を決定するために、慣性測定デバイス(たとえば、ジャイロスコープ145、加速度計140)と併せて使用され得る。1つまたは複数のリモートセンサー454は、リモートデバイスであってよく、独立して(たとえば、慣性測定デバイスからの入力なしに)情報をレンジングするように構成する。ある例では、特徴と特徴までの推定範囲とを区別するために、交通および/または民間規格に基づく既知の距離(たとえば、レーンマーキング間の標準距離)が使用され得る。
【0072】
段階1108において、方法は、大まかなマップ情報を取得するステップを含む。ワイヤレストランシーバ130およびトランシーバ111が、大まかなマップ情報を取得するための手段であってよい。一実施形態では、モバイルデバイス100は、モバイルデバイスに近接するエリア内の大まかなマップ情報を取得するために、ネットワーク225を介してロケーション座標(たとえば、緯度/経度)を第三者マッピングサービスプロバイダ(たとえば、Google maps、Apple Mapsなど)に提供するように構成され得る。ロケーション座標は、モバイルデバイス100によって受信されたSV信号、またはワイヤレストランシーバ130を介して受信された信号に基づく他の地上ナビゲーション技法に基づき得る。大まかな位置は、たとえば、A-GNSS、AFLT、OTDOA、RTT、RSSI、AoA、およびE-CIDなど、測位技法に基づき得る。大まかなマップ情報は、既存のマップデータセットに基づいてよく、画像固有のマッピングデータを構築および利用することに依拠しない。大まかなマップ情報内に含まれた近接エリアは、構成オプションまたは他のアプリケーション基準(たとえば、位置不確実性値)に基づいてよく、モバイルデバイスのロケーション周囲の100、200、500、1000ヤードなど(91、183、457、924メートル)を包囲し得る。
【0073】
段階1110において、方法は、大まかなマップ情報に基づいて、1つまたは複数の識別可能な特徴のうちの少なくとも1つのロケーションを決定するステップを含む。ナビゲーションプロセッサ415またはプロセッサ111が、識別可能な特徴のロケーションを決定するための手段であってよい。一実施形態では、大まかなマップ情報は、街路名および交差点ロケーション、企業名および住所、または識別可能な特徴に対応する他のラベルおよびそれらの対応するロケーションなど、ジオリフェレンスされたPOIを含んでよい。ナビゲーションプロセッサ415、プロセッサ111、またはモバイルデバイス100上の他のプロセッサは、視覚的に識別可能な特徴の各々が大まかなマップ情報内の既知のロケーションに関連付けられるように、街路名、交差点ロケーション、企業標識および住所、バス停留所標識、高速標識、高架線標識、街灯などを決定するために大まかなマップ情報をパースするように構成され得る。
【0074】
段階1112において、方法は、1つまたは複数の識別可能な特徴のうちの少なくとも1までの範囲に少なくとも部分的に基づいて、モバイルデバイスの位置推定値を決定するステップを含む。ナビゲーションプロセッサ415またはプロセッサ111が、位置推定値を決定するための手段であってよい。ナビゲーションプロセッサ415および/またはプロセッサ111は、大まかなマップ情報内の特徴のロケーションに基づいて、視覚的に識別可能な特徴のロケーションを決定するように構成され得る。たとえば、図5および図6を参照すると、大まかなマップ情報内の「Mission Street」の識別は、位置推定値を決定するために、距離推定値508(すなわち、段階1106において決定された範囲)と併せて使用され得る。位置推定値を決定するために、他の範囲、センサー、および方位情報が使用されてもよい。一実施形態では、エッジサーバ462などのリモートサーバは、大まかな位置推定値およびセンサー情報に基づいて、位置推定値を決定するように構成され得る。たとえば、モバイルデバイス452および/またはリモートセンサー454は、センサー情報を提供するように構成されてよく、エッジサーバ462は、方法1100を実行するように構成されてよい。
【0075】
本明細書全体にわたる「一例」、「ある例」、「いくつかの例」、または「例示的な実施態様」への言及は、特徴および/または例に関して説明した特定の特徴、構造、または特性が、請求される主題の少なくとも1つの特徴および/または例に含まれ得ることを意味する。したがって、本明細書全体にわたる様々な場所における「一例において」、「ある例」、「特定の例において」、もしくは「いくつかの実施態様において」という句または他の同様の句の出現は、必ずしもすべてが同じ特徴、例、および/または限定に言及しているとは限らない。さらに、特定の特徴、構造、または特性が、1つまたは複数の例および/または特徴において組み合わせられてもよい。
【0076】
本明細書に含まれる詳細な説明のいくつかの部分は、特定の装置または専用コンピューティングデバイスもしくはプラットフォームのメモリ内に記憶された2値デジタル信号に対する動作のアルゴリズムまたは記号表現に関して提示される。この特定の明細書の文脈では、特定の装置などの用語は、プログラムされるとプログラムソフトウェアからの命令に従って特定の動作を実行する、汎用コンピュータを含む。アルゴリズムによる説明または記号表現は、信号処理または関連技術の当業者が、自身の仕事の本質を他の当業者に伝えるために使用する技法の例である。アルゴリズムは、本明細書では、また一般に、所望の結果をもたらす自己矛盾のない一連の演算または同様の信号処理であると考えられる。この文脈では、動作または処理は物理数量の物理的操作を伴う。必ずしもそうとは限らないが、一般に、そのような数量は、記憶、転送、合成、比較、または他の方法で操作されることが可能な電気信号または磁気信号の形態をとることがある。主に一般的な用法であるという理由で、そのような信号をビット、データ、値、要素、シンボル、文字、項、数字、数値などと呼ぶことが、時として好都合であることがわかっている。しかしながら、これらの用語または同様の用語のすべてが、適切な物理量と関連付けられるべきであり、便宜的な呼び方にすぎないことを理解されたい。別段に明記されていない限り、本明細書の議論から明らかなように、本明細書全体にわたって、「処理する」、「算出する」、「計算する」、「決定する」などの用語を利用する議論は、専用コンピュータ、専用コンピューティング装置または同様の専用電子コンピューティングデバイスなどの特定の装置のアクションまたはプロセスを指すことを理解されたい。したがって、本明細書の文脈では、専用コンピュータまたは同様の専用電子コンピューティングデバイスは、一般に、専用コンピュータまたは同様の専用電子コンピューティングデバイスのメモリ、レジスタ、もしくは他の情報記憶デバイス、送信デバイス、またはディスプレイデバイス内の物理的な電子量または磁気量として表される信号を操作または変換することが可能である。
【0077】
本明細書で説明するワイヤレス通信技法は、ワイヤレスワイドエリアネットワーク("WWAN")、ワイヤレスローカルエリアネットワーク("WLAN")、ワイヤレスパーソナルエリアネットワーク(WPAN)などの様々なワイヤレス通信ネットワークに接続されてもよい。「ネットワーク」および「システム」という用語は、本明細書では互換的に使用され得る。WWANは、符号分割多元接続(Code Division Multiple Access:CDMA)ネットワーク、時分割多元接続化(TDMA)ネットワーク、周波数分割多元接続(FDMA)ネットワーク、直交周波数分割多元接続(OFDMA)ネットワーク、シングルキャリア周波数分割多元接続(SC-FDMA)ネットワーク、または上記のネットワークの任意の組合せなどであってもよい。CDMAネットワークは、無線技術のほんの数例としてcdma2000、ワイドバンド-CDMA(Wideband-CDMA:W-CDMA)などが挙げられる1つまたは複数の無線アクセス技術(radio access technologies:RAT)を実装してもよい。ここで、cdma2000は、IS-95、IS-2000、およびIS-856規格に従って実施される技術を含んでもよい。TDMAネットワークは、モバイル通信用グローバルシステム(GSM)、デジタルアドバンストモバイルフォンシステム(D-AMPS)、または何らかの他のRATを実装してもよい。GSMおよびW-CDMAは、「第3世代パートナーシッププロジェクト」("3GPP")という名称の団体からの文書に記載されている。一態様における特許請求された主題に従って、5G NRおよびLTE通信ネットワークも実装されてもよい。たとえば、WLANは、IEEE802.11xネットワークを備えてもよく、WPANは、Bluetooth(登録商標)ネットワーク、IEEE802.15xを備えてもよい。本明細書内で説明したワイヤレス通信実装形態はまた、WWAN、WLAN、またはWPANの任意の組合せとともに使用されてもよい。
【0078】
本明細書で説明した技法は、いくつかのGNSSのうちのいずれか1つ、および/またはGNSSの組合せを含む、SPSとともに使用され得る。さらに、そのような技法は、「擬似衛星」として働く地上送信機、またはSVとそのような地上送信機の組合せを利用する測位システムとともに使用されてもよい。地上送信機は、たとえば、PNコードまたは(たとえば、GPSまたはCDMAセルラー信号と同様の)その他の測距コードをブロードキャストする地上ベース送信機を含んでもよい。そのような送信機には、リモート受信機による識別を可能にするように固有のPNコードが割り当てられてもよい。地上送信機は、たとえば、トンネル、鉱山、建造物、アーバンキャニオン、または他の密閉領域など、周回するSVからのSPS信号が利用可能ではない状況でSPSを補強するうえで有用である場合がある。擬似衛星の別の実装形態は無線ビーコンとして知られる。「SV」という用語は、本明細書では、擬似衛星、擬似衛星の等価物、および場合によってはその他のものとして働く地上送信機を含むことが意図されている。「SPS信号」および/または「SV信号」という用語は、本明細書では、擬似衛星または擬似衛星の等価物として働く地上送信機を含む地上送信機からのSPS状信号を含むことが意図されている。
【0079】
上述の詳細な説明では、特許請求される主題の完全な理解を与えるために多数の具体的な詳細が記載されている。しかしながら、特許請求される主題がこれらの具体的な詳細なしに実践され得ることが、当業者によって理解されよう。他の事例では、特許請求される主題を不明瞭にしないように、当業者によって知られているであろう方法および装置は、詳細には説明されていない。
【0080】
本明細書で使用される「および」、「または」、および「および/または」という用語は、そのような用語が使用される文脈に少なくとも部分的に依存することも予想される、様々な意味を含み得る。一般に、「または」は、A、BまたはCなどの列挙を関連付けるために使用される場合、ここでは包含的な意味で使用されるA、B、およびC、ならびに、ここでは排他的な意味で使用されるA、B、またはCを意味することが意図されている。加えて、本明細書で使用される「1つまたは複数の」という用語は、単数の任意の特徴、構造、もしくは特性を説明するために使用されることがあるか、あるいは、複数の特徴、構造、もしくは特性、または特徴、構造、もしくは特性の何らかの他の組合せを説明するために使用されることがある。しかし、これは説明のための例にすぎず、特許請求される主題はこの例に限定されないことに留意されたい。
【0081】
例示的な特徴であるものと現在見なされるものが例示および説明されているが、特許請求される主題から逸脱することなく、様々な他の修正が加えられてもよく、均等物が置換されてもよいことが、当業者によって理解されよう。加えて、本明細書で説明される中心概念から逸脱することなく、特定の状況を特許請求される主題の教示に適合させるために、多くの修正が行われてもよい。
【0082】
したがって、特許請求される主題は開示される特定の例に限定されず、そのような特許請求される主題は添付の特許請求の範囲内に入るすべての態様およびその均等物も含み得ることが、意図される。
【0083】
ファームウェアおよび/またはソフトウェアを伴う実装形態の場合、本方法は、本明細書で説明する機能を実施するモジュール(たとえば、プロセッサ、メモリ、プロシージャ、関数など)を用いて実装され得る。命令を有形に具現化する任意の機械可読媒体は、本明細書で説明する方法を実行する際に使用され得る。たとえば、ソフトウェアコードは、メモリ内に記憶されてよく、プロセッサユニットによって実行されてよい。メモリは、プロセッサユニット内またはプロセッサユニットの外部に実装されてよい。本明細書で使用する「メモリ」という用語は、任意のタイプの長期メモリ、短期メモリ、揮発性メモリ、不揮発性メモリ、または他のメモリを指し、いずれかの特定のタイプのメモリもしくはいずれかの特定のメモリ数に限定すべきではなく、また、メモリが記憶される媒体としていずれかの特定のタイプの媒体に限定すべきではない。
【0084】
ファームウェアおよび/またはソフトウェアで実装される場合、機能は、非一時的機械可読記憶媒体上に1つまたは複数の命令またはコードとして記憶され得る。例は、データ構造を用いて符号化されたコンピュータ可読媒体、および、コンピュータプログラムを用いて符号化されたコンピュータ可読媒体を含む。機械またはコンピュータ可読媒体は、物理コンピュータ記憶媒体(たとえば、非一時的機械可読媒体)を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であってもよい。限定ではなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージ、半導体ストレージ、または命令もしくはデータ構造の形態の所望のプログラムコードを記憶するために使用され得るとともに、コンピュータによってアクセスされ得る任意の他の媒体を備えることができる。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
【0085】
命令および/またはデータは、コンピュータ可読記憶媒体に記憶されることに加えて、通信装置に含まれる送信媒体上の信号として提供されてもよい。たとえば、通信装置は、命令およびデータを表す信号を有するトランシーバを含み得る。命令およびデータは、1つまたは複数のプロセッサに、請求項に概説される機能を実装させるように構成される。すなわち、通信装置は、開示した機能を実行するための情報を示す信号をもつ送信媒体を含む。最初は、通信装置内に含まれる送信媒体は、開示する機能を実行するための情報の第1の部分を含むことができ、2度目は、通信装置内に含まれる送信媒体は、開示する機能を実行するための情報の第2の部分を含むことができる。
【0086】
以下の番号付きの項において、実装例が説明される。
【0087】
条項1。モバイルデバイスの位置推定値を決定するための方法であって、センサー情報を取得するステップと、センサー情報内の1つまたは複数の識別可能な特徴を検出するステップと、1つまたは複数の識別可能な特徴のうちの少なくとも1つまでの範囲を決定するステップと、大まかなマップ情報を取得するステップと、大まかなマップ情報に基づいて、1つまたは複数の識別可能な特徴のうちの少なくとも1つのロケーションを決定するステップと、1つまたは複数の識別可能な特徴のうちの少なくとも1つまでの範囲に少なくとも部分的に基づいて、モバイルデバイスの位置推定値を決定するステップとを含む、方法。
【0088】
条項2。1つまたは複数の識別可能な特徴のうちの少なくとも1つまでの範囲を決定するステップが、リモートセンサーの出力に基づく、条項1の方法。
【0089】
条項3。リモートセンサーがライダーデバイスまたはレーダーデバイスである、条項2の方法。
【0090】
条項4。1つまたは複数の識別可能な特徴のうちの少なくとも1つが、横断歩道、交差点、交通信号、および道路標識のうちの少なくとも1つを含む、条項1の方法。
【0091】
条項5。大まかなマップ情報を取得するステップが、大まかな位置をリモートサーバに提供するステップと、リモートサーバから大まかなマップ情報を受信するステップとを含む、条項1の方法。
【0092】
条項6。大まかな位置が衛星位置システムによって算出されたロケーションに基づく、条項5の方法。
【0093】
条項7。モバイルデバイスの大まかな位置が地上ナビゲーション技法に基づく、条項5の方法。
【0094】
条項8。センサー情報が画像であり、センサー情報内の1つまたは複数の識別可能な特徴を検出するステップが、画像に対して光学文字認識プロセスを実行するステップを含む、条項1の方法。
【0095】
条項9。センサー情報内の1つまたは複数の識別可能な特徴を検出するステップが、街路名または企業名を決定するステップを含む、条項8の方法。
【0096】
条項10。モバイルデバイスの位置推定値を決定するための方法であって、大まかなマップ情報を取得するステップと、センサー情報を取得するステップと、センサー情報に対して光学文字認識プロセスを実行するステップと、光学文字認識プロセスおよび大まかなマップ情報に基づいて、1つまたは複数の識別可能な特徴を決定するステップと、大まかなマップ情報および1つまたは複数の識別可能特徴に少なくとも部分的に基づいて、モバイルデバイスの位置推定値を決定するステップと含む、方法。
【0097】
条項11。1つまたは複数の識別可能な特徴までの距離を決定するステップと、1つまたは複数の識別可能な特徴までの距離に少なくとも部分的に基づいて、モバイルデバイスの位置推定値を決定するステップとをさらに含む、条項10の方法。
【0098】
条項12。1つまたは複数の識別可能な特徴までの距離を決定するステップが、範囲センサーの出力に基づく、条項11の方法。
【0099】
条項13。範囲センサーがライダーデバイスまたはレーダーデバイスである、条項12の方法。
【0100】
条項14。1つまたは複数の識別可能な特徴を決定するステップが、街路名および交差点ロケーションを決定するステップを含む、条項10の方法。
【0101】
条項15。1つまたは複数の識別可能な特徴を決定するステップが、企業名および企業名に関連する住所を決定するステップを含む、条項10の方法。
【0102】
条項16。大まかなマップ情報を取得するステップが、大まかな位置をリモートサーバに提供するステップと、リモートサーバから大まかなマップ情報を受信するステップとを含む、条項10の方法。
【0103】
条項17。モバイルデバイスの大まかな位置が、全地球ナビゲーション衛星システムを使用して取得されるロケーションに基づく、条項16の方法。
【0104】
条項18。モバイルデバイスの大まかな位置が、地上ナビゲーション技法を使用して取得されたロケーションに基づく、条項16の方法。
【0105】
条項19。モバイルデバイスの位置推定値を決定するための方法であって、モバイルデバイスの大まかな位置を決定するステップと、大まかな位置に基づいて、大まかなマップ情報を取得するステップと、センサー情報を取得するステップと、センサー情報に基づいて、1つまたは複数の道路曲率特徴を決定するステップと、比較値がしきい値を満たすと決定するステップであって、比較値が大まかなマップ情報内の道路曲率特徴とセンサー情報内で検出された1つまたは複数の道路曲率特徴との間の比較に基づく、決定するステップと、大まかなマップ情報内の道路曲率特徴に少なくとも部分的に基づいて、モバイルデバイスのヘッディングを決定するステップと、ヘッディングに少なくとも部分的に基づいて、モバイルデバイスの位置推定値を決定するステップとを含む、方法。
【0106】
条項20。センサー情報が画像である、条項19の方法。
【0107】
条項21。センサー情報が、1つまたは複数のレーダーセンサーまたはライダーセンサーを用いて取得されたポイントクラウドである、条項19の方法。
【0108】
条項22。センサー情報が、1つまたは複数のリモートセンサーを用いて取得される、条項19の方法。
【0109】
条項23。1つまたは複数の道路曲率特徴が1つまたは複数のレーンマーカーを含む、条項19の方法。
【0110】
条項24。1つまたは複数の道路曲率特徴が1つまたは複数のガードレールを含む、条項19の方法。
【0111】
条項25。比較値がしきい値を満たすと決定するステップが、センサー情報内で検出された道路曲率特徴と大まかなマップ情報内の道路との間で畳み込みを実行するステップを含む、条項19の方法。
【0112】
条項26。モバイルデバイスの大まかな位置が、全地球ナビゲーション衛星システムを使用して取得されたロケーションに基づく、条項19の方法。
【0113】
条項27。モバイルデバイスの大まかな位置が、地上ナビゲーション技法を使用して取得されたロケーションに基づく、条項19の方法。
【0114】
条項28。大まかなマップ情報を取得するステップが、大まかな位置をリモートサーバに提供するステップと、リモートサーバから大まかなマップ情報を受信するステップとを含む、条項19の方法。
【0115】
条項29。位置推定値を決定するステップが、ヘッディングおよび全地球ナビゲーション衛星信号情報を再帰的アルゴリズムに提供するステップを含む、条項19の方法。
【0116】
条項30。再帰的アルゴリズムがカルマンフィルタである、条項29の方法。
【0117】
条項31。装置であって、メモリと、少なくとも1つのトランシーバと、メモリおよび少なくとも1つのトランシーバと通信可能に結合された少なくとも1つのプロセッサとを備え、少なくとも1つのプロセッサが、センサー情報を取得し、センサー情報内の1つまたは複数の識別可能な特徴を検出し、1つまたは複数の識別可能な特徴のうちの少なくとも1つまでの範囲を決定し、大まかなマップ情報を取得し、大まかなマップ情報に基づいて、1つまたは複数の識別可能な特徴のうちの少なくとも1つのロケーションを決定し、1つまたは複数の識別可能な特徴のうちの少なくとも1つまでの範囲に少なくとも部分的に基づいて、位置推定値を決定するように構成される、装置。
【0118】
条項32。少なくとも1つのプロセッサが、リモートセンサーの出力に基づいて、1つまたは複数の識別可能な特徴のうちの少なくとも1つまでの範囲を決定するようにさらに構成される、条項31の装置。
【0119】
条項33。リモートセンサーがライダーデバイスまたはレーダーデバイスである、条項32の装置。
【0120】
条項34。1つまたは複数の識別可能な特徴のうちの少なくとも1つが、横断歩道、交差点、交通信号、および道路標識のうちの少なくとも1つを含む、条項31の装置。
【0121】
条項35。少なくとも1つのプロセッサが、大まかな位置をリモートサーバに送信し、リモートサーバから大まかなマップ情報を受信するようにさらに構成される、条項31の装置。
【0122】
条項36。大まかな位置が、衛星位置システムによって算出されたロケーションに基づく、条項35の装置。
【0123】
条項37。少なくとも1つのプロセッサが、地上ナビゲーション技法に基づいて大まかな位置を決定するようにさらに構成される、条項35の装置。
【0124】
条項38。センサー情報が画像であり、少なくとも1つのプロセッサが、画像に対して光学文字認識プロセスを実行するようにさらに構成される、条項31の装置。
【0125】
条項39。少なくとも1つのプロセッサが、画像に対する光学文字認識プロセスに基づいて街路名または企業名を決定するようにさらに構成される、条項38の装置。
【0126】
条項40。装置であって、メモリと、少なくとも1つのトランシーバと、メモリと少なくとも1つのトランシーバと通信可能に結合された少なくとも1つのプロセッサとを備え、少なくとも1つのプロセッサが、大まかなマップ情報を取得し、センサー情報を取得し、センサー情報に対して光学文字認識プロセスを実行し、光学文字認識プロセスおよび大まかなマップ情報に基づいて、1つまたは複数の識別可能な特徴を決定し、大まかなマップ情報および1つまたは複数の識別可能な特徴に少なくとも部分的に基づいて、位置推定値を決定するように構成される、装置。
【0127】
条項41。少なくとも1つのプロセッサが、1つまたは複数の識別可能な特徴までの距離を決定し、1つまたは複数の識別可能な特徴までの距離に少なくとも部分的に基づいて、位置推定値を決定するようにさらに構成される、条項40の装置。
【0128】
条項42。少なくとも1つのプロセッサが、範囲センサーの出力に基づいて、1つまたは複数の識別可能な特徴までの距離を決定するように構成される、条項41の装置。
【0129】
条項43。範囲センサーがライダーデバイスまたはレーダーデバイスである、条項42の装置。
【0130】
条項44。少なくとも1つのプロセッサが、街路名および交差点ロケーションを決定するようにさらに構成される、条項40の装置。
【0131】
条項45。少なくとも1つのプロセッサが、企業名および企業名に関連する住所を決定するようにさらに構成される、条項40の装置。
【0132】
条項46。少なくとも1つのプロセッサが、大まかな位置をリモートサーバに送信し、リモートサーバから大まかなマップ情報を受信するようにさらに構成される、条項40の装置。
【0133】
条項47。大まかな位置が、全地球ナビゲーション衛星システムを使用して取得されたロケーションに基づく、条項46の装置。
【0134】
条項48。少なくとも1つのプロセッサが、地上ナビゲーション技法に基づいて大まかな位置を決定するようにさらに構成される、条項46の装置。
【0135】
条項49。装置であって、メモリと、少なくとも1つのトランシーバと、メモリと少なくとも1つのトランシーバと通信可能に結合された少なくとも1つのプロセッサとを備え、少なくとも1つのプロセッサが、大まかな位置を決定することと、大まかな位置に基づいて大まかなマップ情報を取得することと、センサー情報を取得することと、センサー情報に基づいて、1つまたは複数の道路曲率特徴を決定することと、比較値がしきい値を満たすと決定することであって、比較値が、大まかなマップ情報内の道路曲率特徴とセンサー情報内で検出された1つまたは複数の道路曲率特徴との間の比較に基づく、決定することと、大まかなマップ情報内の道路曲率特徴に少なくとも部分的に基づいて、ヘッディングを決定することと、ヘッディングに少なくとも部分的に基づいて、位置推定値を決定することとを行うように構成される、装置。
【0136】
条項50。センサー情報が画像である、条項49の装置。
【0137】
条項51。センサー情報が、1つまたは複数のレーダーセンサーまたはライダーセンサーを用いて取得されたポイントクラウドである、条項49の装置。
【0138】
条項52。少なくとも1つのプロセッサが、センサー情報を1つまたは複数のリモートセンサーから取得するようにさらに構成される、条項49の装置。
【0139】
条項53。1つまたは複数の道路曲率特徴が1つまたは複数のレーンマーカーを含む、条項49の装置。
【0140】
条項54。1つまたは複数の道路曲率特徴が1つまたは複数のガードレールを含む、条項49の装置。
【0141】
条項55。少なくとも1つのプロセッサが、センサー情報内で検出された道路曲率特徴と大まかなマップ情報内の道路との間で畳み込みを実行するようにさらに構成される、条項49の装置。
【0142】
条項56。大まかな位置が、全地球ナビゲーション衛星システムを使用して取得されたロケーションに基づく、条項49の装置。
【0143】
条項57。少なくとも1つのプロセッサが、地上ナビゲーション技法に基づいて大まかな位置を決定するようにさらに構成される、条項49の装置。
【0144】
条項58。少なくとも1つのプロセッサが、大まかな位置をリモートサーバに送信し、リモートサーバから大まかなマップ情報を受信するようにさらに構成される、条項49の装置。
【0145】
条項59。少なくとも1つのプロセッサが、再帰的アルゴリズム内のヘッディングおよび全地球ナビゲーション衛星信号情報を利用するようにさらに構成される、条項49の装置。
【0146】
条項60。再帰的アルゴリズムがカルマンフィルタである、条項59の装置。
【0147】
条項61。モバイルデバイスの位置推定値を決定するための装置であって、センサー情報を取得するための手段と、センサー情報内の1つまたは複数の識別可能な特徴を検出するための手段と、1つまたは複数の識別可能な特徴のうちの少なくとも1つまでの範囲を決定するための手段と、大まかなマップ情報を取得するための手段と、大まかなマップ情報に基づいて、1つまたは複数の識別可能な特徴のうちの少なくとも1つのロケーションを決定するための手段と、1つまたは複数の識別可能な特徴のうちの少なくとも1つまでの範囲に少なくとも部分的に基づいて、モバイルデバイスの位置推定値を決定するための手段とを備える、装置。
【0148】
条項62。モバイルデバイスの位置推定値を決定するための装置であって、大まかなマップ情報を取得するための手段と、センサー情報を取得するための手段と、センサー情報に対して光学文字認識プロセスを実行するための手段と、光学文字認識プロセスおよび大まかなマップ情報に基づいて、1つまたは複数の識別可能な特徴を決定するための手段と、大まかなマップ情報および1つまたは複数の識別可能特徴に少なくとも部分的に基づいて、モバイルデバイスの位置推定値を決定するための手段とを備える、装置。
【0149】
条項63。モバイルデバイスの位置推定値を決定するための装置であって、モバイルデバイスの大まかな位置を決定するための手段と、大まかな位置に基づいて、大まかなマップ情報を取得するための手段と、センサー情報を取得するための手段と、センサー情報に基づいて、1つまたは複数の道路曲率特徴を決定するための手段と、比較値がしきい値を満たすと決定するための手段であって、比較値が大まかなマップ情報内の道路曲率特徴とセンサー情報内で検出された1つまたは複数の道路曲率特徴との間の比較に基づく、決定するための手段と、大まかなマップ情報内の道路曲率特徴に少なくとも部分的に基づいて、モバイルデバイスのヘッディングを決定するための手段と、ヘッディングに少なくとも部分的に基づいて、モバイルデバイスの位置推定値を決定するための手段とを備える、装置。
【0150】
条項64。1つまたは複数のプロセッサにモバイルデバイスの位置推定値を決定させるように構成されたプロセッサ可読命令を備えた、非一時的プロセッサ可読記憶媒体であって、プロセッサ可読命令が、センサー情報を取得するためのコードと、センサー情報内の1つまたは複数の識別可能な特徴を検出するためのコードと、1つまたは複数の識別可能な特徴のうちの少なくとも1つまでの範囲を決定するためのコードと、大まかなマップ情報を取得するためのコードと、大まかなマップ情報に基づいて、1つまたは複数の識別可能な特徴のうちの少なくとも1つのロケーションを決定するためのコードと、1つまたは複数の識別可能な特徴のうちの少なくとも1つまでの範囲に少なくとも部分的に基づいて、モバイルデバイスの位置推定値を決定するためのコードとを備える、非一時的プロセッサ可読記憶媒体。
【0151】
条項65。1つまたは複数のプロセッサにモバイルデバイスの位置推定値を決定させるように構成されたプロセッサ可読命令を備えた、非一時的プロセッサ可読記憶媒体であって、プロセッサ可読命令が、大まかなマップ情報を取得するためのコードと、センサー情報を取得するためのコードと、センサー情報に対して光学文字認識プロセスを実行するためのコードと、光学文字認識プロセスおよび大まかなマップ情報に基づいて、1つまたは複数の識別可能な特徴を決定するためのコードと、大まかなマップ情報および1つまたは複数の識別可能特徴に少なくとも部分的に基づいて、モバイルデバイスの位置推定値を決定するためのコードとを備える、非一時的プロセッサ可読記憶媒体。
【0152】
条項66。1つまたは複数のプロセッサにモバイルデバイスの位置推定値を決定させるように構成されたプロセッサ可読命令を備えた、非一時的プロセッサ可読記憶媒体であって、プロセッサ可読命令が、モバイルデバイスの大まかな位置を決定するためのコードと、大まかな位置に基づいて、大まかなマップ情報を取得するためのコードと、センサー情報を取得するためのコードと、センサー情報に基づいて、1つまたは複数の道路曲率特徴を決定するためのコードと、比較値がしきい値を満たすと決定するためのコードであって、比較値が大まかなマップ情報内の道路曲率特徴とセンサー情報内で検出された1つまたは複数の道路曲率特徴との間の比較に基づく、決定するためのコードと、大まかなマップ情報内の道路曲率特徴に少なくとも部分的に基づいて、モバイルデバイスのヘッディングを決定するためのコードと、ヘッディングに少なくとも部分的に基づいて、モバイルデバイスの位置推定値を決定するためのコードとを備える、非一時的プロセッサ可読記憶媒体。
【符号の説明】
【0153】
100 モバイルデバイス
101 バス
105 カメラ
105a 第1のカメラ、前面カメラ、カメラ
105b 第2のカメラ、背面カメラ、カメラ
111 プロセッサ
115 ナビゲーションプロセッサ
120 デジタル信号プロセッサ(DSP)
125 オプティカルフロープロセッサ
130 ワイヤレストランシーバ
132 ワイヤレスアンテナ
134 ワイヤレス信号
140 加速度計
145 ジャイロスコープ
150 センサー
160 メモリユニット
170 全地球ナビゲーション衛星システム(GNSS)受信機
172 衛星測位システム(SPS)アンテナ
174 SPS信号
180 前面
182 ディスプレイ
190 背面
200 ネットワークアーキテクチャ
210 衛星測位システム(SPS)衛星、衛星
220 セルラートランシーバ
222 ワイヤレス通信リンク、ワイヤレス通信、信号
225 ネットワーク
230 ローカルワイヤレストランシーバ、ローカルトランシーバ
232 ワイヤレス通信リンク、信号
240 サーバ
300 座標系
306 回転
308 回転
400 ナビゲーションシステムのブロック図、システム、分散型システム
402 補助プロセッサAP)
404 メインプロセッサ(MP)
405 視覚センサー
406 範囲センサー
415 ナビゲーションプロセッサ(NAV)
425 オプティカルフロープロセッサ(OF)
450 慣性センサー、分散型システムのブロック図
452 モバイルデバイス
454 リモートセンサー
456 第1の通信リンク
458 第2の通信リンク
460 基地局
462 エッジサーバ
470 GNSSプロセッサ、GNSS
474 衛星測位信号
500 画像
502 副画像
504 街路標識、特徴
506 企業標識、特徴
508 距離推定値
600 粗いマップ
602 街路名
604 企業名
606 初期GNSS位置推定値
608 更新されたGNSS位置推定値
700 変換
702 画像、街路画像
704 ワープ画像
704a 右側レーンマーク
704b 左側レーンストライプ
800 画像
804a 右側レーン境界、右側境界
804b 左側レーン境界、左側境界
806 ヘッディング
900 方法
1000 方法
1100 方法
101 バス
105 カメラ
105a 第1のカメラ、前面カメラ、カメラ
105b 第2のカメラ、背面カメラ、カメラ
111 プロセッサ
115 ナビゲーションプロセッサ
120 デジタル信号プロセッサ(DSP)
125 オプティカルフロープロセッサ
130 ワイヤレストランシーバ
132 ワイヤレスアンテナ
134 ワイヤレス信号
140 加速度計
145 ジャイロスコープ
150 センサー
160 メモリユニット
170 全地球ナビゲーション衛星システム(GNSS)受信機
172 衛星測位システム(SPS)アンテナ
174 SPS信号
180 前面
182 ディスプレイ
190 背面
200 ネットワークアーキテクチャ
210 衛星測位システム(SPS)衛星、衛星
220 セルラートランシーバ
222 ワイヤレス通信リンク、ワイヤレス通信、信号
225 ネットワーク
230 ローカルワイヤレストランシーバ、ローカルトランシーバ
232 ワイヤレス通信リンク、信号
240 サーバ
300 座標系
306 回転
308 回転
400 ナビゲーションシステムのブロック図、システム、分散型システム
402 補助プロセッサAP)
404 メインプロセッサ(MP)
405 視覚センサー
406 範囲センサー
415 ナビゲーションプロセッサ(NAV)
425 オプティカルフロープロセッサ(OF)
450 慣性センサー、分散型システムのブロック図
452 モバイルデバイス
454 リモートセンサー
456 第1の通信リンク
458 第2の通信リンク
460 基地局
462 エッジサーバ
470 GNSSプロセッサ、GNSS
474 衛星測位信号
500 画像
502 副画像
504 街路標識、特徴
506 企業標識、特徴
508 距離推定値
600 粗いマップ
602 街路名
604 企業名
606 初期GNSS位置推定値
608 更新されたGNSS位置推定値
700 変換
702 画像、街路画像
704 ワープ画像
704a 右側レーンマーク
704b 左側レーンストライプ
800 画像
804a 右側レーン境界、右側境界
804b 左側レーン境界、左側境界
806 ヘッディング
900 方法
1000 方法
1100 方法
【図1A】
【図1B】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【国際調査報告】