(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-12-26
(54)【発明の名称】モバイルデバイスによるリアルタイムマッピングのための信頼性の高いアンカーポイント
(51)【国際特許分類】
G08G 1/00 20060101AFI20241219BHJP
【FI】
G08G1/00 A
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024534435
(86)(22)【出願日】2022-12-05
(85)【翻訳文提出日】2024-08-07
(86)【国際出願番号】 SE2022051140
(87)【国際公開番号】W WO2023113676
(87)【国際公開日】2023-06-22
(32)【優先日】2021-12-16
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】524112854
【氏名又は名称】ユナイヴィルセス アーベー
【氏名又は名称原語表記】UNIVRSES AB
(74)【代理人】
【識別番号】110000442
【氏名又は名称】弁理士法人武和国際特許事務所
(72)【発明者】
【氏名】セルビー,ヨナタン
(72)【発明者】
【氏名】ピエロパン,アレッサンドロ
【テーマコード(参考)】
5H181
【Fターム(参考)】
5H181AA01
5H181BB04
5H181BB13
5H181BB20
5H181CC03
5H181CC04
5H181CC11
5H181CC14
5H181EE02
5H181FF04
5H181FF10
5H181FF13
5H181FF27
5H181FF33
5H181LL09
5H181MC18
5H181MC19
5H181MC27
(57)【要約】
【解決手段】本発明は、地図データ収集のための方法、システム、コンピュータプログラム製品である。モバイルデータ収集デバイスが地理的アンカーポイント作成領域に進入すると、アンカーポイント作成モードがモバイルデータ収集デバイス上で起動する。アンカーポイント作成モードでは、モバイルデータ収集デバイスがマッピング用ローデータを収集し遠隔コンピューティングデバイスに配信する。アンカーポイント作成領域の高精度地図は、受信されたローデータを他のデータソースからのマッピング用データと組み合わせることによって作成される。地図が作成された後、モバイルデータ収集デバイスがアンカーポイント作成領域に進入すると、地図からの情報をデータキャプチャモードで用いて、モバイルデータ収集デバイスの位置や向き、およびモバイルデータ収集デバイスが検出した1つまたは複数の特徴の位置や向きについての判定を精緻化する。
【選択図】
図3
【特許請求の範囲】
【請求項1】
地図データの収集方法であって、
モバイルデータ収集デバイスが所定の地理的なアンカーポイント作成領域に進入すると、前記モバイルデータ収集デバイスがマッピング用ローデータを収集して遠隔コンピューティングデバイスに配信するためのアンカーポイント作成モードを、前記モバイルデータ収集デバイス上で起動し、
前記遠隔コンピューティングデバイスが受信したローデータを他のデータソースからのマッピング用データと組み合わせることによって、少なくとも部分的に前記遠隔コンピューティングデバイスにより、前記アンカーポイント作成領域の高精度地図を作成し、
前記高精度地図の作成後にモバイルデータ収集デバイスが前記アンカーポイント作成領域に進入すると、データキャプチャモードにおいて前記高精度地図からの情報を用いて、前記モバイルデータ収集デバイスの位置、前記モバイルデータ収集デバイスの向き、前記モバイルデータ収集デバイスが検出した1つまたは複数の特徴の位置、前記モバイルデータ収集デバイスが検出した1つまたは複数の特徴の向きのうち、1つまたは複数についての判定を精緻化する、
ことを特徴とする方法。
【請求項2】
前記他のデータソースからのマッピング用データは、地図、測量、航空写真のうち、1つまたは複数である、
ことを特徴とする請求項1に記載の方法。
【請求項3】
前記遠隔コンピューティングデバイスは、クラウドコンピューティングデバイスである、
ことを特徴とする請求項1または2に記載の方法。
【請求項4】
前記モバイルデータ収集デバイスは、GNSSセンサ、慣性センサ、磁力計、カメラセンサのうち1つまたは複数を用いて、前記モバイルデータ収集デバイスの位置および前記モバイルデータ収集デバイスが検出した前記特徴の位置を判定する、
ことを特徴とする請求項1~3のいずれか一項に記載の方法。
【請求項5】
前記高精度地図からの情報を使用して、前記アンカーポイント作成領域内の1つまたは複数の特徴の以前判定された位置、前記アンカーポイント作成領域外でその後検出された特徴の位置のうち、1つまたは複数を精緻化することをさらに含む、
ことを特徴とする請求項1~4のいずれか一項に記載の方法。
【請求項6】
集約されたマッピング用データに基づいて、1つまたは複数の関心のある特徴について品質スコアを判定し、
前記1つまたは複数の関心のある特徴の品質スコアを閾値に対して評価し、関心のある特徴がアンカーポイントの基準を満たすかを識別し、
関心のある特徴が前記アンカーポイントの基準を満たす場合に、前記アンカーポイントの基準を満たす前記関心のある特徴を、前記アンカーポイント作成領域内のアンカーポイントとして指定することをさらに含む、
ことを特徴とする請求項1~5のいずれか一項に記載の方法。
【請求項7】
前記関心のある特徴は、道路標識、街灯、ごみ入れ、ベンチ、バス停、街頭設置物のうち1つまたは複数である、
ことを特徴とする請求項6に記載の方法。
【請求項8】
前記モバイルデータ収集デバイスが前記アンカーポイント作成領域を出ると、前記モバイルデータ収集デバイスのモードを、前記アンカーポイント作成モードからデータキャプチャモードに切り替えることをさらに含む、
ことを特徴とする請求項1~7のいずれか一項に記載の方法。
【請求項9】
前記アンカーポイント作成領域は、ユーザによって定められる、
ことを特徴とする請求項1~8のいずれか一項に記載の方法。
【請求項10】
前記アンカーポイント作成領域について十分に詳細な高精度地図が作成されたと判断すると、前記モバイルデータ収集デバイスを、前記アンカーポイント作成領域内および前記アンカーポイント作成領域外の両方において、前記データキャプチャモードで動作させることをさらに含む、
ことを特徴とする請求項1~9のいずれか一項に記載の方法。
【請求項11】
前記モバイルデータ収集デバイスは、
車両に搭載された携帯電話カメラまたはカメラ、
前記携帯電話カメラまたは前記カメラが撮影した画像の中の物理的特徴のうち1つまたは複数のカテゴリを検出するように訓練されたニューラルネットワーク、
のうち1つまたは複数を含む、
ことを特徴とする請求項1~10のいずれか一項に記載の方法。
【請求項12】
前記モバイルデータ収集デバイスは、無線通信デバイスをさらに備え、
前記無線通信デバイスは、クラウドベースのプラットフォームとの間で収集されたデータを送受信するように構成される、
ことを特徴とする請求項1~11のいずれか一項に記載の方法。
【請求項13】
前記モバイルデータ収集デバイスは、地上ベースのモバイルデータ収集デバイスである、
ことを特徴とする請求項1~12のいずれか一項に記載の方法。
【請求項14】
前記モバイルデータ収集デバイスは、自律走行車両である、
ことを特徴とする請求項1~13のいずれか一項に記載の方法。
【請求項15】
地図データ収集用システムであって、
メモリと、
プロセッサと、
を備え、
前記メモリは、前記プロセッサによって実行されると、前記プロセッサに、方法を実行させる指令を含み、
前記方法は、
モバイルデータ収集デバイスが所定の地理的なアンカーポイント作成領域に進入すると、前記モバイルデータ収集デバイスがマッピング用ローデータを収集して遠隔コンピューティングデバイスに配信するためのアンカーポイント作成モードを、前記モバイルデータ収集デバイス上で起動し、
前記遠隔コンピューティングデバイスが受信したローデータを他のデータソースからのマッピング用データと組み合わせることによって、少なくとも部分的に前記遠隔コンピューティングデバイスにより、前記アンカーポイント作成領域の高精度地図を作成し、
前記高精度地図の作成後にモバイルデータ収集デバイスが前記アンカーポイント作成領域に進入すると、データキャプチャモードにおいて前記高精度地図からの情報を用いて、前記モバイルデータ収集デバイスの位置、前記モバイルデータ収集デバイスの向き、前記モバイルデータ収集デバイスが検出した1つまたは複数の特徴の位置、前記モバイルデータ収集デバイスが検出した1つまたは複数の特徴の向きのうち、1つまたは複数についての判定を精緻化する、
ことを含む、
ことを特徴とするシステム。
【請求項16】
地図データ収集用コンピュータプログラム製品であって、
プログラム命令を有するコンピュータ可読記憶媒体を備え、
前記コンピュータ可読記憶媒体は、それ自体が一時的な信号ではなく、
前記プログラム命令は、方法を実行するためにプロセッサによって実行可能であり、
前記方法は、
モバイルデータ収集デバイスが所定の地理的なアンカーポイント作成領域に進入すると、前記モバイルデータ収集デバイスがマッピング用ローデータを収集して遠隔コンピューティングデバイスに配信するためのアンカーポイント作成モードを、前記モバイルデータ収集デバイス上で起動し、
前記遠隔コンピューティングデバイスが受信したローデータを他のデータソースからのマッピング用データと組み合わせることによって、少なくとも部分的に前記遠隔コンピューティングデバイスにより、前記アンカーポイント作成領域の高精度地図を作成し、
前記高精度地図の作成後にモバイルデータ収集デバイスが前記アンカーポイント作成領域に進入すると、データキャプチャモードにおいて前記高精度地図からの情報を用いて、前記モバイルデータ収集デバイスの位置、前記モバイルデータ収集デバイスの向き、前記モバイルデータ収集デバイスが検出した1つまたは複数の特徴の位置、前記モバイルデータ収集デバイスが検出した1つまたは複数の特徴の向きのうち、1つまたは複数についての判定を精緻化する、
ことを含む、
ことを特徴とするコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はマッピングに関し、より具体的には、環境のデジタル地図を作成するためのデータ収集に関する。
【背景技術】
【0002】
マッピングとは、一般的に、1つまたは複数のセンサで収集したデータを処理して、都市などの環境の高精度(HD)なデジタル地図を作成するプロセス(一般に「デジタルツイン」とも呼ばれる)を指す。通常、データ収集プロセスでは、様々なセンサのセット(光学センサ、レーダセンサ、ソナーセンサなど)を用いる。これらのセンサは、例えば、一次元(単一ビーム)レーザ距離計または二次元(スイープ)レーザ距離計、三次元HD LIDAR、三次元フラッシュLIDAR、二次元ソナーセンサまたは三次元ソナーセンサ、1つまたは複数の二次元カメラなどである。センサは、通常、専用車両に搭載され、通常の運用では、このような車両が小規模な集団となり、マッピング対象地域(例えば都市)の様々な場所を巡回して、地図データを収集する。収集されたデータが高性能なコンピュータによりオフラインで処理されることにより、HDデジタル地図が作成される。
【発明の概要】
【発明が解決しようとする課題】
【0003】
専用車両およびセンサによって収集されたデータは地図作成に必要な要件を満たすものであるが、このようなデータの収集方法では、データ収集自体にも、また収集されたデータのその後の処理にも、特殊で高価な装置が必要となる。そのため、このような従来の地図作成技術は拡張性に乏しいといえる。さらに、都市などの広い範囲を少数の車両だけで網羅するのは困難な場合が多く、車両1台が場所やルートを再び走行するまでには数週間から数ヶ月かかることもある。結果として、収集されたデータに基づいて作成される地図は古いものとなり、最近の環境の変化を反映できないことがあるため、地図に依存して機能を実行する他のシステム(例えば、ナビゲーションアプリケーション)に大きな影響をもたらす虞がある。したがって、マッピング技術には改善が求められている。
【課題を解決するための手段】
【0004】
本発明の第一の態様によれば、本発明は、地図データの収集方法に関する。モバイルデータ収集デバイスが所定の地理的アンカーポイント作成領域に進入すると、アンカーポイント作成モードがモバイルデータ収集デバイス上で起動する。アンカーポイント作成モードでは、モバイルデータ収集デバイスがマッピング用ローデータを収集して遠隔コンピューティングデバイスに配信する。アンカーポイント作成領域の高精度地図は、少なくとも部分的に遠隔コンピューティングデバイスにより、遠隔コンピューティングデバイスが受信したローデータを他のデータソースからのマッピング用データと組み合わせることによって作成する。高精度地図の作成後にモバイルデータ収集デバイスがアンカーポイント作成領域に進入すると、データキャプチャモードにおいて高精度地図からの情報を用いて、モバイルデータ収集デバイスの位置、モバイルデータ収集デバイスの向き、モバイルデータ収集デバイスが検出した1つまたは複数の特徴の位置、モバイルデータ収集デバイスが検出した1つまたは複数の特徴の向きのうち、1つまたは複数についての判定を精緻化する。
【0005】
本発明の実施形態には、以下の特徴のうちの1つまたは複数が含まれる。他のデータソースからのマッピング用データは、地図、測量(すなわち、測量機器を用いて測量士が収集したデータ)、航空写真のうち、1つまたは複数である。遠隔コンピューティングデバイスは、クラウドコンピューティングデバイスであってもよい。モバイルデータ収集デバイスは、GNSSセンサ、慣性センサ、磁力計、カメラセンサを用いて、モバイルデータ収集デバイスの位置およびモバイルデータ収集デバイスが検出した特徴の位置を判定するように構成してもよい。
【0006】
高精度地図からの情報を使用して、アンカーポイント作成領域内の1つまたは複数の特徴の以前判定された位置、またはアンカーポイント作成領域外でその後検出された特徴の位置を精緻化するように構成してもよい。集約されたマッピング用データに基づいて、1つまたは複数の関心のある特徴について品質スコアを判定し、1つまたは複数の関心のある特徴の品質スコアを閾値に対して評価し、関心のある特徴がアンカーポイントの基準を満たすかを識別し、関心のある特徴がアンカーポイントの基準を満たす場合に、アンカーポイントの基準を満たす関心のある特徴を、アンカーポイント作成領域内のアンカーポイントとして指定するように構成してもよい。関心のある特徴は、道路標識、街灯、ごみ入れ、ベンチ、バス停、街頭設置物のうち1つまたは複数であってもよい。
【0007】
モバイルデータ収集デバイスがアンカーポイント作成領域を出ると、モバイルデータ収集デバイスのモードを、アンカーポイント作成モードからデータキャプチャモードに切り替えるように構成してもよい。アンカーポイント作成領域は、ユーザによって定められてもよい。アンカーポイント作成領域について十分に詳細な高精度地図が作成されたと判断すると、モバイルデータ収集デバイスを、アンカーポイント作成領域内およびアンカーポイント作成領域外の両方において、データキャプチャモードで動作させるように構成してもよい。
【0008】
モバイルデータ収集デバイスは、車両に搭載された携帯電話カメラまたはカメラ、および、携帯電話カメラまたは搭載カメラが撮影した画像の中の物理的特徴のうち1つまたは複数のカテゴリを検出するように訓練されたニューラルネットワークを含んでもよい。モバイルデータ収集デバイスは、クラウドベースのプラットフォームとの間で収集されたデータを送受信するように構成される無線通信デバイスをさらに備えてもよい。モバイルデータ収集デバイスは、地上ベースのモバイルデータ収集デバイスであってもよい。モバイルデータ収集デバイスは、自律走行車両であってもよい。
【0009】
本発明の第二の態様によれば、本発明は、地図データ収集用システムに関する。地図データ収集用システムは、メモリとプロセッサとを備える。メモリは、プロセッサによって実行されると、プロセッサに、方法を実行させる指令を含み、方法は、
モバイルデータ収集デバイスが所定の地理的アンカーポイント作成領域に進入すると、モバイルデータ収集デバイスがマッピング用ローデータを収集して遠隔コンピューティングデバイスに配信するためのアンカーポイント作成モードを、モバイルデータ収集デバイス上で起動し、
遠隔コンピューティングデバイスが受信したローデータを他のデータソースからのマッピング用データと組み合わせることによって、少なくとも部分的に遠隔コンピューティングデバイスにより、アンカーポイント作成領域の高精度地図を作成し、
高精度地図の作成後にモバイルデータ収集デバイスがアンカーポイント作成領域に進入すると、データキャプチャモードにおいて高精度地図からの情報を用いて、モバイルデータ収集デバイスの位置、モバイルデータ収集デバイスの向き、モバイルデータ収集デバイスが検出した1つまたは複数の特徴の位置、モバイルデータ収集デバイスが検出した1つまたは複数の特徴の向きのうち、1つまたは複数についての判定を精緻化する、
ことを含む。
【0010】
本発明の第三の態様によれば、本発明は、地図データ収集用コンピュータプログラム製品に関する。地図データ収集用コンピュータプログラム製品は、プログラム命令を有するコンピュータ可読記憶媒体を備え、コンピュータ可読記憶媒体は、それ自体が一時的な信号ではない。プログラム命令は、方法を実行するためにプロセッサによって実行可能であり、方法は、
モバイルデータ収集デバイスが所定の地理的アンカーポイント作成領域に進入すると、モバイルデータ収集デバイスがマッピング用ローデータを収集して遠隔コンピューティングデバイスに配信するためのアンカーポイント作成モードを、モバイルデータ収集デバイス上で起動し、
遠隔コンピューティングデバイスが受信したローデータを他のデータソースからのマッピング用データと組み合わせることによって、少なくとも部分的に遠隔コンピューティングデバイスにより、アンカーポイント作成領域の高精度地図を作成し、
高精度地図の作成後にモバイルデータ収集デバイスがアンカーポイント作成領域に進入すると、データキャプチャモードにおいて高精度地図からの情報を用いて、モバイルデータ収集デバイスの位置、モバイルデータ収集デバイスの向き、モバイルデータ収集デバイスが検出した1つまたは複数の特徴の位置、モバイルデータ収集デバイスが検出した1つまたは複数の特徴の向きのうち、1つまたは複数についての判定を精緻化する、
ことを含む。
【図面の簡単な説明】
【0011】
【
図1】一実施形態による、アンカーポイントを判定するための方法を示すフローチャートである。
【
図2】一実施形態による、モバイルデバイスがアンカーポイント作成領域に入ろうとしている道路を示す概略図である。
【
図3】一実施形態による、アンカーポイント作成領域内に位置するモバイルデバイスと道路を示す概略図である。
【
図4】一実施形態による、アンカーポイント作成領域を出たモバイルデバイスと道路を示す概略図である。
【
図5A】一実施形態による、データ収集モードで動作するモバイルデバイスを示す概略図である。
【
図5B】一実施形態による、データ収集モードで動作するモバイルデバイスを示す概略図である。
【
図6】一実施形態による、アンカーポイントデータを収集する複数のモバイルデバイスと2つの道路の交差点を示す概略図である。
【発明を実施するための形態】
【0012】
添付の図面と以下の説明において、本発明にかかる1つまたは複数の実施形態を詳細に説明する。本発明の他の特徴および利点は、詳細な説明および図面、ならびに特許請求の範囲により明らかになる。
【0013】
図面を通じて、同様の参照記号は同様の要素を示す。
【0014】
上述したように、本発明の実施形態の目的は、特にデータ収集ステップに関して、都市または都市の一部などの様々な環境のHDデジタル地図の作成に関連する複雑さおよびコストを削減することである。別の目標は、既存のデータ収集方法と比較して、より頻繁な(したがって、より最新の)地図データを得ることであり、このような地図データを用いることにより、デジタル地図をより頻繁に更新できると共に、その精度を向上させることができる。これにより、デジタル地図を使用する他のアプリケーションも向上させることができる。
【0015】
以下に詳細に説明するとおり、本発明の実施形態では、携帯電話やモノのインターネット(IoT)デバイスなどのモバイルデータ収集デバイス(以下、モバイルデバイスと呼ぶ)上の標準的なセンサ設定によりデータを収集し、それを用いてHD地図を作成する。標準的なセンサ設定とは、すなわち、カメラ(ただし、複数のカメラを内蔵するデバイスの場合、複数のカメラを使用してもよい)、慣性計測ユニット(IMU)、全地球航法衛星システム(例えば、GPS、GLONASS、Baiduなど)に関連付けられたセンサ、または、それらの組み合わせである。
【0016】
モバイルデバイスは、地上または空中を自律的に、または操作者の制御により移動する車両に、恒久的または一時的に搭載される。車両の例としては、自動車、航空機、自転車、ドローン、またはその他の有人または無人の乗り物が挙げられる。モバイルデバイスは、また、コンピューティングデバイスまたはプロセッサ、およびセルラー4Gまたは5G接続などのデータリンクを備えるか、または、一部の実施形態ではそれらに接続される。このように構成することで、モバイルデバイスは、さらなる処理のためにクラウドベースのプラットフォームにデータリンクを通じてデータを送信する前に、収集した画像および位置データの前処理を実行することができる。前処理の実行により、モバイルデバイスからクラウドベースのプラットフォームへ送信する際のデータ量を大幅に削減できるため、送信をより効率的に行うことができる。また、モバイルデバイスは、特定のタイプのモバイルデバイス(例えば、接続された車vsスマートフォン)、またはモバイルデバイスが収集し前処理することが予想されるデータのタイプに合わせて調整された、画像処理やニューラルネットワークソフトウェアなどの設定およびソフトウェアを受信することができ、これにより、以下でさらに詳細に説明するように、モバイルデバイスが異なる「モード」で動作することが可能になる。
【0017】
データ収集を充実させるために、本発明の実施形態では、モバイルデバイスのセンサ設定と計算能力を集中的に利用し、短時間の間に高精度の基準点(本明細書では「アンカーポイント」とも呼ぶ)の疎らなセットを自動的に作成する。このようなモバイルデバイスの動作を、以下では「アンカーポイント作成モード」と呼ぶ。アンカーポイント作成モードでは、要するに、データがモバイルデバイスからクラウドベースのプラットフォーム(プライベートクラウドベースのプラットフォーム、パブリッククラウドベースのプラットフォーム、またはこれらのハイブリッド)にストリーミングされ、収集されたデータが処理され、HD地図とアンカーポイントが生成される。その後、生成されたアンカーポイントを、他のモバイルデバイスによる地図の生成および更新に用いる一方で、モバイルデバイスを、バッテリの消耗およびクラウドベースのプラットフォームへの送信データ量を低減することのできる、以下では「データキャプチャモード」と呼ばれるより持続可能な態様で使用することができる。
【0018】
特に、詳細に後述するとおり、本発明の実施形態では、モバイルデバイス上でアンカーポイント作成モードを自動的にトリガする機構、モバイルデバイス上で利用可能なセンサデータに基づいてアンカーポイントを生成する技術、データキャプチャモードで動作する1つまたは複数のモバイルデバイスを使用して生成された地図を更新するためにアンカーポイントを活用する技術、を提供する。以下、本発明の様々な実施形態について、図面を参照しながら例示的に説明する。なお、以下で挙げる例では、一般に、単一のモバイルデバイス、単一の道路、単一のアンカーポイント作成領域などに言及しているが、これは、本発明の実施形態の動作の理解を容易にするために過ぎない。実際の使用場面では、一般に、多数のアンカーポイント作成領域、モバイルデバイスが存在し、実際に行われる方法は、一般に、中断がほとんどない連続的なものとなる。
【0019】
図1は、本発明の一実施形態による、HD地図を作成し使用するための方法100を示すフローチャートである。
図1から明らかなように、本方法は、ユーザが地理的領域、例えばHD地図を作成する都市の一部を定めることによって開始する(ステップ102)。この領域は、アンカーポイント作成領域と呼ばれる。アンカーポイント作成領域の指定は、半自動化された方法で行うことができ、この場合、専門家は、過去のデータ、例えば、過去1年間に収集されたデータ、類似の特性を有する領域との相互相関、ユーザからのフィードバック、エンジニアの経験などの要因の分析に基づいて、アンカーポイント作成に最も適した位置を決定する。
【0020】
図2は、アンカーポイント作成領域200の概略例を示している。アンカーポイント作成領域200は円の形状で示されているが、当業者であれば自明であるとおり、その形状は任意であってよい。典型的には、アンカーポイント作成領域は、ユーザが、例えば、都市または他の関心領域のデジタル地図上にアンカーポイント作成領域200の輪郭を描くことによって定める。一方で、アンカーポイント作成領域200を定める際に、様々な程度で自動化を適用してもよい。例えば、ある実施形態では、アンカーポイントを都市などの空間全体に均等に分布させるが、他の実施形態では、複雑さのメトリクス(例えば、高い建物の数、建物の密度、都市の中心への近さなど)に基づいてアンカーポイントを作成する。さらに、別の実施形態では、以下で詳細に説明するとおり、検出された特徴位置の誤差(例えば、それぞれ別のエージェントから報告された特徴位置間の大きな相違)に基づいてアンカーポイントを自動的に作成する。これは、パフォーマンスが低いことを示しており、アンカーポイントによって強化される可能性のある場所についての情報の提供につながる可能性がある。なお、当業者であれば、アンカーポイント作成領域200を作成するためのさらなる基準を想定することができる。
【0021】
ある実施形態では、アンカーポイント作成領域200は、いわゆるジオフェンシング領域を画定する。これにより、モバイルデバイスがアンカーポイント作成領域200に進入する際の様々な態様を制御できるようになる。例えば、
図2は、アンカーポイント作成領域200を通る道路204を走行するモバイルデバイス202を示している。
図2から明らかなように、モバイルデバイス202は、アンカーポイント作成領域200のすぐ外側に位置している。また、
図2は、アンカーポイント作成領域200の内側に位置する道路標識206を示している。
【0022】
方法100の次のステップでは、モバイルデバイス202が、アンカーポイント作成領域200内に位置しているかどうかを判定する(ステップ104)。
図3は、この場面を模式的に示している。判定は、例えば、当該技術分野で従来行われているようにGPS技術を使用して、モバイルデバイス202の位置を、アンカーポイント作成領域200(すなわち、ジオフェンスで囲まれた領域)に対して単純に比較することによって行うことができる。
【0023】
図3に示すとおり、ステップ104でモバイルデバイス202がアンカーポイント作成領域200内にあると判定されると、モバイルデバイス202を、アンカーポイント作成モードに自動的に切り替える(ステップ106)。アンカーポイント作成モードでは、モバイルデバイス202は、計算集約的なデータ収集および処理を開始する。モバイルデバイスが通常のデータキャプチャモードで動作するときと比較して、画像およびセンサデータを高い比率で取得し、収集するデータサンプル302の数が大幅に増加し、関心対象の特徴の位置を、データキャプチャモードで可能な推定より高い精度で推定する。収集されたデータは、クラウドベースのプラットフォームに「配信」され、データがさらに処理され、HD地図が生成される。通常、データ収集は高度に自動化されて行われ、3Dポジショニング、3Dマッピング、3Dローカライゼーション、空間ディープラーニング、SLAM(Visual-inertial Simultaneous Localization and Mapping)、視覚オドメトリ、物体検出、トラッキングなど、さまざまな技術を個別に、または組み合わせて使用することができる。
【0024】
なお、モバイルデバイス202の処理能力によっては、モバイルデバイス202上で、収集されたデータに対する様々なレベルの前処理を行ってもよい。そのように構成することで、モバイルデバイス202からクラウドベースのプラットフォームに最終的に送信するデータ量を減らすことができる。一般的に、高負荷のデータ収集および処理を行うと、収集されたデータを処理してクラウドベースのプラットフォームに送信する際、モバイルデバイス202のバッテリが消耗する点でコストがかかってしまう。アンカーポイント作成領域200のサイズが大き過ぎるとモバイルデバイス202がバッテリ切れを起こすリスクがあるため、一般に、アンカーポイント作成領域200のサイズにはある程度の制約が設けられることになる。
【0025】
上述したように、アンカーポイントは高精度の基準点であり、新しい地図または既存の地図のためのデータ収集を向上させるために、データキャプチャモードで動作するモバイルデバイス202によって基準として用いられる。多くの場合、アンカーポイントは、アンカーポイント作成領域200内に位置する駐車禁止の標識206のような道路標識である。これは、道路標識が特徴的であり且つ長期間にわたって変化する可能性が低いためである。しかし、本明細書で説明する様々な実施形態では、アンカーポイント作成領域200は道路標識206のみに限定されない。基本的に、高い視認性を有し(すなわち、どのような天候条件においてもコンピュータビジョンによって容易に検出可能であり)、長期間にわたって変化する可能性が低い顕著な特徴であれば、例えば、建物の角、常設されている芸術作品、ベンチ、景観の特徴など、どのような顕著な特徴でもアンカーポイントとして使用することができる。顕著な特徴は、人間から見れば必ずしも「意味」を持つものではなくても、コンピュータビジョンの観点からは重要なものであるといえる。アンカーポイントには、そのアンカーポイントがどの程度信頼できるかを示す「品質スコア」を割り当ててもよい。ある実施形態では、スコアは信頼性閾値と比較され、アンカーポイントが信頼できるか否かを示す。他の実施形態では、品質スコアが信頼性閾値の最小値を上回ると、特に環境(天候、照明、時間帯など)や方位や軌道(特定の方向からアンカーポイントに接近するなど)などの変数を考慮して、ある特徴が他の特徴よりも優れていると見なすようにする。
【0026】
ある実施形態では、データ収集をさらに向上させるために、
図6に示すように、データアンカーポイント作成モードで動作する複数のモバイルデバイス202からのデータを組み合わせる。
図6に示す例では、同じ道路標識206が3つのモバイルデバイス202a、202b、202cによって検出されている。モバイルデバイス202a、202b、202cは全てアンカーポイント作成領域200内に位置し、また、アンカーポイント作成モードで動作している。3つの異なるモバイルデバイスは、道路標識206を3つの異なる方向から検出し、それぞれが道路標識206の位置をクラウドベースのプラットフォームに報告する。これにより、クラウドベースのプラットフォームは、モバイルデバイス202a、202b、202cから受信した情報を組み合わせて、道路標識206の位置を高い精度で判定することが可能となる。その結果、道路標識206は、位置判定の精度に関し、他のモバイルデバイスが依拠することのできる信頼性の高いアンカーポイントと見なされることになる。
図6を参照すると、3つのモバイルデバイス202a、202b、202cが道路標識206を同時に検出しているように見えるが、検出が同時である必要はない。実際には、3つのモバイルデバイス202a、202b、202cが異なる条件(例えば、光、天候などに関して)で道路標識206を検出する方が有利である場合もある。
【0027】
ある実施形態では、十分な数であって、許容範囲内の品質のアンカーポイント206がアンカーポイント作成領域200内で収集されると、アンカーポイント作成領域200に進入するモバイルデバイス202は、アンカーポイントモードを起動するのではなく、データ収集モードで動作し続ける。許容範囲内の品質のアンカーポイント206が十分な数で収集されたと見なされる基準は本方法におけるユーザが定めてよく、一般に、目下の特定の状況に特有の様々な条件に基づいて決定される。条件とは、例えば、モバイルデバイス202がアンカーポイント作成領域200を通過した回数、モバイルデバイス202が異なる方向からアンカーポイント作成領域200を通過した回数、アンカーポイントの位置および向きについての複数の測定値の間の相違、高精度だが古い既知の情報源との比較(検証)、などである。
【0028】
再び
図1を参照すると、
図4に示すように、モバイルデバイス202がアンカーポイント作成領域200に入っていない、またはアンカーポイント作成領域200から出たことにより、モバイルデバイス202がアンカーポイント作成領域200内に位置しない場合、モバイルデバイス202は、データキャプチャモードで動作する(ステップ108)。アンカーポイント作成モードからデータキャプチャモードへの切り替えは、モバイルデバイス202がジオフェンスで囲まれたアンカーポイント作成領域200から出るときに自動的に行われるようにしてもよい。
【0029】
図5Aおよび
図5Bは、モバイルデバイス202が道路204に沿って移動し、データキャプチャモードで動作する様子を概念的に示している。モバイルデバイス202は、上述したように、以前にアンカーポイント作成モードで動作していたモバイルデバイスであってもよいし、全く別のモバイルデバイス202であってもよい。いずれにせよ、同じ原理が適用される。
図5Aに示すとおり、モバイルデバイス202は道路204に沿って移動し、以前に判定されたアンカーポイント206の位置を特定する。モバイルデバイス202は、アンカーポイント206の推定位置と、アンカーポイント206が作成されたときに判定されたアンカーポイントの実際の位置との間の誤差を判定することができる。この誤差は、典型的には、モバイルデバイス202のセンサのバイアスやノイズによって生じるが、照明(例えば、太陽の位置が低い、周囲への反射)や振動(例えば、エンジンや路面の悪状況のため搭載車両が振動する場合)などの他の要因によっても生じることがある。モバイルデバイス202は、アンカーポイント206を用いて、モバイルデバイス202自体の推定位置を修正してもよい。モバイルデバイス202が道路204に沿って移動し、その地域の地図には存在しない新たな特徴(例えば、道路標識502、504)を検出すると、これらの新たな特徴502、504の位置は、自ら判定したモバイルデバイス202の位置が補正されなかった場合と比較して、
図5Bに概略的に示すとおり、より高い精度で(すなわち、アンカーポイント206に関して)判定される。ある実施形態では、新しい特徴502、504のおおよその位置を、例えばGPSなどの従来の方法により判定し、その後、アンカーポイント206の正確な位置を使用して修正する。検出された新しい特徴502、504は、すべてクラウドベースのプラットフォームに送信され、HD地図は、新しい特徴502、504を含むように更新される。
【0030】
なお、アンカーポイント206を、アンカーポイント作成領域200の外側で、モバイルデバイス202の位置および向きの判定を向上するために用いてもよい。例えば、モバイルデバイス202の位置や向き(すなわち、ロール、ピッチ、ヨー(オイラー角)、またはあるデータに対するある四元数)にわずかな誤差があると、モバイルデバイス202が位置判定の誤差が発生した地点から離れて移動するにつれて、その誤差が大きくなる可能性がある。結果として、モバイルデバイス202自体が判定するモバイルデバイス202の最終的な位置が、その実際の位置とは大きく異なってしまい、途中で新たに検出された特徴502、504の測定値についても、誤った位置が割り当てられてしまう可能性がある。そこで、信頼性のあるアンカーポイントを用いることで、モバイルデバイス202の実際の位置をモバイルデバイス202による測定位置と比較し、必要な修正を行うことができるため、このようなタイプのエラーを防止するか、または少なくとも大幅に減らすことができる。上述したように、アンカーポイントの近傍におけるモバイルデバイス202の位置判定が良好であれば、モバイルデバイス202がアンカーポイントおよび一般的なアンカーポイント作成領域から離れても、モバイルデバイス202の位置判定(ひいては、新たな特徴の発見)は良好なものになる。
【0031】
しかしながら、ある時点で、モバイルデバイス自体の推定位置と実際の位置との誤差が大きくなり過ぎることで、別のアンカーポイント作成領域200を作成した方がよいとされることもある。このような必要性があり、また、それに対処すべきかどうかは、目下の特定の状況によって異なり、当業者であれば容易に判断することができる。判断を行うにあたり、モバイルデバイスの位置の最後の「再較正」から経過した時間や、全地球測位測定に関与する衛星から受信した推定誤差など、様々な測定値を考慮してもよい。したがって、例えば、都市には、多数の別個のアンカーポイント作成領域があり、高い建物や樹木などが多数ある領域など、衛星が網羅しにくい領域には、より多くのアンカーポイントを設けるようにしてもよい。
【0032】
このように、本発明の実施形態では、既存のソリューションとは対照的に、高価なセンサ設定を備えた専用車両を使用して作成される、既存の地図や既存のアンカーに依存しない。本発明の実施形態では、アンカーポイントは半自動化または完全自動化されたプロセスで生成され、その際、行われる可能性のある手動入力は、例えば、アンカーポイントの作成を実行する対象の都市において、1つまたは複数のアンカーポイント作成領域を定める操作のみである。結果として、より最新で正確なHD地図を作成することができる。
【0033】
上述したように、このようなアンカーポイントを用いることで、都市やその個々の領域について非常に正確なHD地図を生成することが可能になり、生成したHD地図は、幅広い目的に利用することができる。HD地図は、例えば、Google MapsやApple Mapsなど、様々な地図サービスプロバイダによって使用される地図と同様の、電子フォーマットの従来の地理的地図を使用して、地理参照データ型フォーマット(例えば、GeoJsonオープン標準フォーマット)で特徴データセットを格納し、モバイルデバイスが収集したアンカーポイントおよびその他の特徴をこの地図に追加することによって生成してもよい。ある実装形態では、天候、様々な道路区画における道路規制(例えば、速度制限)、道路脇に設置されている資産(例えば、交通標識)の目録、一時的な変更事項(例えば、道路工事)、駐車スペースの地図に関する情報などの、様々な種類のサードパーティデータが必要に応じて地図に追加される。
【0034】
生成した地図を、ディスプレイにおいて、ウェブ上のユーザインターフェースに表示してもよいし、または、コンピューティングデバイスにおいて、ローカルに実装される独立型のアプリケーションに表示してもよい。一般的には、地図用グラフィカルユーザインターフェースは、ユーザによるズームイン、ズームアウト、パンなどの制御、ならびに、表示する「レイヤ」の選択制御が行えるように構成される。このように構成することで、例えば、ユーザは、渋滞、道路の種類、速度制限、道路工事、駐車場の空きなどの情報の表示を選択することができる。ユーザは、表示された情報を検討すると、様々なシステム、デバイス、人に対して指示を与え、検出された問題を軽減するための対応を行うことができる。
【0035】
特定の構成要素またはすべての構成要素を、デジタル信号プロセッサまたはマイクロプロセッサによって実行されるソフトウェアとして実装してもよいし、ハードウェアまたは特定用途向けの集積回路として実装してもよい。そのようなソフトウェアを、コンピュータ記憶媒体(または非一時的な媒体)および通信媒体(または一時的な媒体)から構成されるコンピュータ可読媒体に配布してもよい。当業者であれば理解するとおり、コンピュータ記憶媒体という表現は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を記憶するための方法または技術で実装された、揮発性および不揮発性、取外し可能および取外し不可能な媒体の両方を含む。コンピュータ記憶媒体は、RAM、ROM、EEPROM、フラッシュメモリ、もしくは他のメモリ技術、CD-ROM、デジタル多用途ディスク(DVD)、もしくは他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、もしくは他の磁気記憶装置、または所望の情報を記憶するために使用することができ、コンピュータがアクセスすることができる他の媒体であるが、これらに限定されるものではない。
【0036】
図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実装のアーキテクチャ、機能、および動作を示す。これに関して、フローチャートまたはブロック図における各ブロックは、指定された論理機能を実装するための1つまたは複数の実行可能命令を構成する、命令のモジュール、セグメント、または一部を表すことがある。代替的な実装では、ブロックに記された機能は、図に記された順序から外れて発生する場合がある。例えば、連続する2つのブロックが、実際には、実質的に同時に実行されることもあり、また、関係する機能に応じて、逆の順序で実行されることもある。また、ブロック図やフローチャートにおける各ブロック、ならびに、ブロック図やフローチャートにおけるブロックの組み合わせは、指定された機能または行為を実行するか、または特別な目的のハードウェアとコンピュータ命令の組み合わせを実行するか、特別な目的のハードウェアベースのシステムによって実装してもよい。
【0037】
上述した実施形態では、カメラなどの画像センサを使用したが、光学センサ、赤外線撮像センサ、紫外線撮像センサ、光検出および測距(LIDAR)センサ、合成開口レーダ(SAR)センサ、電磁気(EM)センサや音響センサ、または物理的環境において物理的特徴の1つ以上の画像を生成することが可能な他のセンサなど、他のタイプのセンサを使用してもよい。
【0038】
本発明について、都市または都市の一部で使用されるように構成された実施形態を例示したが、倉庫や鉱山などの異なる環境に用いることも可能である。本質的に、デジタルツインを作成し、ナビゲーションを目的として使用することができる環境であれば、本発明の特許請求の範囲内にあると考えてよい。
【0039】
上述した実施形態に様々な変更を行った場合にも、上述した実施形態に示した本発明の利点を奏することは当業者にとって自明である。したがって、本発明は、記載された実施形態に限定されず、添付の特許請求の範囲によってのみ定義されるべきものである。さらに、当業者であれば自明であるように、上述した実施形態を組み合わせて構成してもよい。
【国際調査報告】