特許 7595152 車両位置決定方法および車両位置決定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-27

(45)【発行日】2024-12-05

(54)【発明の名称】車両位置決定方法および車両位置決定装置

(51)【国際特許分類】

   G01C 21/28 20060101AFI20241128BHJP

   G06T 7/00 20170101ALI20241128BHJP

【ＦＩ】

G01C21/28

G06T7/00 650Z

G06T7/00 300

【請求項の数】 17

(21)【出願番号】P 2023516263

(86)(22)【出願日】2020-09-10

(65)【公表番号】

(43)【公表日】2023-10-02

(86)【国際出願番号】 RU2020000477

(87)【国際公開番号】W WO2022055382

(87)【国際公開日】2022-03-17

【審査請求日】2023-09-05

(73)【特許権者】

【識別番号】505315742

【氏名又は名称】トプコン ポジショニング システムズ， インク．

(74)【代理人】

【識別番号】110003937

【氏名又は名称】弁理士法人前川知的財産事務所

(72)【発明者】

【氏名】レオニード ヴァレリアノヴィチ エデルマン

(72)【発明者】

【氏名】セルゲイ イゴーレヴィチ フェドレンコ

(72)【発明者】

【氏名】ドミトリー アレクサンドロヴィチ コーチェムキン

【審査官】西畑 智道

(56)【参考文献】

【文献】特開２０１５－１０８６０４（ＪＰ，Ａ）

【文献】特開２０１８－１７３８８２（ＪＰ，Ａ）

【文献】国際公開第２０１６／０５９９０４（ＷＯ，Ａ１）

【文献】特開２００５－０６２０８３（ＪＰ，Ａ）

【文献】特開２０１３－０５０４１１（ＪＰ，Ａ）

【文献】特開２０１７－１３８２８２（ＪＰ，Ａ）

【文献】特開２０１３－１４０５４７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０１２４４２１（ＵＳ，Ａ１）

【文献】国際公開第２０１９／１３０９４５（ＷＯ，Ａ１）

【文献】独国特許出願公開第１０２０１１１１７８０９（ＤＥ，Ａ１）

【文献】中国特許出願公開第１１１２１２３７５（ＣＮ，Ａ）

【文献】特開２０２０－０５６７４０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｃ ２１／００－２１／３６

Ｇ０１Ｃ ２３／００－２５／００

Ｇ０６Ｔ ７／００

Ｇ０８Ｇ １／００－９９／００

(57)【特許請求の範囲】

【請求項1】

コンピュータプログラム命令を実行するプロセッサにより実行される車両位置決定方法であって、
位置ベクトルは車両が走行している速度および方向を含み、前記車両の直近の既知の前記位置ベクトルを決定することと、
撮像デバイスを使用して前記車両の周辺内の画像を取り込むことと、
事前に構築された前記車両の周辺の基準マップに基づいて、取り込まれた前記画像内の安定ランドマークを識別することと、
前記直近の既知の位置ベクトルと前記安定ランドマークとに基づいて、前記車両の位置の補正値を決定することと、
決定された前記補正値に基づいて前記車両の更新位置を決定することと、
を備え、
前記車両の位置の前記補正値を決定することは、
取り込まれた前記画像を、取り込まれた前記画像に最も類似している視覚インデックス内の画像とマッチングさせることをさらに備え、
取り込まれた前記画像をマッチングさせることは、特徴マッチングと再投影誤差の最小化とに基づき、
前記再投影誤差は、

で表され、πは前記撮像デバイスの投影像を示し、ω _ｃ は前記車両を基準とする前記撮像デバイスの位置を示し、ω _ｑ はクエリ画像の位置を示し、ω _ｒ は前記基準マップに記憶された基準画像の位置を示す、
ことを特徴とする、車両位置決定方法。

【請求項2】

前記車両の位置の前記補正値を決定することは、全地球航法衛星システム（ＧＮＳＳ）に基づく前記車両の位置決定の位置精度が所要閾値を下回るときに行われる、
ことを特徴とする、請求項１に記載の方法。

【請求項3】

前記車両の前記直近の既知の位置ベクトルは、少なくとも部分的に慣性計測ユニット（ＩＭＵ）に基づいて決定される、ことを特徴とする、請求項１に記載の方法。

【請求項4】

前記車両の位置の前記補正値を決定することは、前記ＩＭＵから読み出されたデータの精度が閾値を下回るときに行われる、
ことを特徴とする、請求項３に記載の方法。

【請求項5】

前記撮像デバイスは、カメラおよびＬＩＤＡＲセンサのうちの少なくとも１つを含む、ことを特徴とする、請求項１に記載の方法。

【請求項6】

事前に構築された前記基準マップは、複数の安定ランドマークに関する地理参照空間情報に基づくものであり、前記複数の安定ランドマークは、ある期間にわたって取り込まれた画像に基づいて決定される、
ことを特徴とする、請求項１に記載の方法。

【請求項7】

装置自身の位置を決定するように構成された全地球航法衛星システム（ＧＮＳＳ）レシーバと、
撮像デバイスと、
プロセッサと、
車両の位置を決定するためのコンピュータプログラム命令を記憶するメモリとを備えた装置であって、
前記コンピュータプログラム命令は前記プロセッサ上で実行されると前記プロセッサに複数の動作を実行させ、前記複数の動作は、
位置ベクトルは前記車両の走行している速度および方向を含み、前記ＧＮＳＳレシーバに基づいて前記車両の直近の既知の前記位置ベクトルを決定することと、
前記撮像デバイスを使用して前記車両の周辺内の画像を取り込むことと、
事前に構築された前記車両の周辺の基準マップに基づいて、取り込まれた前記画像内の安定ランドマークを識別することと、
決定された前記車両の前記直近の既知の位置ベクトルと識別された前記安定ランドマークとに基づいて、前記車両の位置の補正値を決定することと、
決定された前記補正値に基づいて前記車両の更新位置を決定することと、
を備え、
前記車両の位置の前記補正値を決定することは、
取り込まれた前記画像を、取り込まれた前記画像に最も類似している視覚インデックス内の画像とマッチングさせることをさらに備え、
取り込まれた前記画像をマッチングさせることは、特徴マッチングと再投影誤差の最小化とに基づき、
前記再投影誤差は、

で表され、πは前記撮像デバイスの投影像を示し、ω _ｃ は前記車両を基準とする前記撮像デバイスの位置を示し、ω _ｑ はクエリ画像の位置を示し、ω _ｒ は前記基準マップに記憶された基準画像の位置を示す、
ことを特徴とする、装置。

【請求項8】

前記車両の位置の前記補正値を決定することは、全地球航法衛星システム（ＧＮＳＳ）に基づく前記車両の位置決定の位置精度が所要閾値を下回るときに行われる、
ことを特徴とする、請求項７に記載の装置。

【請求項9】

前記車両の前記直近の既知の位置ベクトルは、少なくとも部分的に慣性計測ユニット（ＩＭＵ）に基づいて決定される、
ことを特徴とする、請求項７に記載の装置。

【請求項10】

前記車両の位置の前記補正値を決定することは、前記ＩＭＵから読み出されたデータの精度が閾値を下回るときに行われる、
ことを特徴とする、請求項９に記載の装置。

【請求項11】

前記撮像デバイスは、カメラおよびＬＩＤＡＲセンサのうちの少なくとも１つを含む、
ことを特徴とする、請求項７に記載の装置。

【請求項12】

事前に構築された前記基準マップは、複数の安定ランドマークに関する地理参照空間情報に基づくものであり、前記複数の安定ランドマークは、ある期間にわたって取り込まれた画像に基づいて決定される、
ことを特徴とする、請求項７に記載の装置。

【請求項13】

車両の位置を決定するためのコンピュータプログラム命令を記憶する非一時的コンピュータ可読媒体であって、前記コンピュータプログラム命令はプロセッサ上で実行されると前記プロセッサに複数の動作を実行させ、前記複数の動作は、
位置ベクトルは前記車両の走行している速度および方向を含み、前記車両の直近の既知の前記位置ベクトルを決定することと、
撮像デバイスを使用して前記車両の周辺内の画像を取り込むことと、
事前に構築された前記車両の周辺の基準マップに基づいて、取り込まれた前記画像内の安定ランドマークを識別することと、
前記直近の既知の位置ベクトルと前記安定ランドマークとに基づいて、前記車両の位置の補正値を決定することと、
決定された前記補正値に基づいて前記車両の更新位置を決定することと、
を備え、
前記車両の位置の前記補正値を決定することは、
取り込まれた前記画像を、取り込まれた前記画像に最も類似している視覚インデックス内の画像とマッチングさせることをさらに備え、
取り込まれた前記画像をマッチングさせることは、特徴マッチングと再投影誤差の最小化とに基づき、
前記再投影誤差は、

で表され、πは前記撮像デバイスの投影像を示し、ω _ｃ は前記車両を基準とする前記撮像デバイスの位置を示し、ω _ｑ はクエリ画像の位置を示し、ω _ｒ は前記基準マップに記憶された基準画像の位置を示す、
ことを特徴とする、非一時的コンピュータ可読媒体。

【請求項14】

前記車両の位置の前記補正値を決定することは、全地球航法衛星システム（ＧＮＳＳ）に基づく前記車両の位置決定の位置精度が所要閾値を下回るときに行われる、
ことを特徴とする、請求項１３に記載の非一時的コンピュータ可読媒体。

【請求項15】

前記車両の前記直近の既知の位置ベクトルは、少なくとも部分的に慣性計測ユニット（ＩＭＵ）に基づいて決定される、
ことを特徴とする、請求項１３に記載の非一時的コンピュータ可読媒体。

【請求項16】

前記車両の位置の前記補正値を決定することは、前記ＩＭＵから読み出されたデータの精度が閾値を下回るときに行われる、
ことを特徴とする、請求項１５に記載の非一時的コンピュータ可読媒体。

【請求項17】

前記撮像デバイスは、カメラおよびＬＩＤＡＲセンサのうちの少なくとも１つを含む、
ことを特徴とする、請求項１３に記載の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両位置を決定することに概ね関する。より具体的には、全地球航法衛星システム（ＧＮＳＳ）と、慣性計測ユニット（ＩＭＵ）と、既定の安定ランドマークとの組合せに基づく車両位置の正確な位置特定に関する。

【背景技術】

【0002】

近年、自律運転がますます現実味を帯びてきており、車両内で全体的または部分的に自律システムを実装するために必要とされるツールおよび技術は、様々な自律機能を処理および実行するための十分に正確かつ有用なデータを提供しなければならなくなっている。自律車両システムについて極めて重要なことは、任意の時間における車両の環境内の正確な位置を決定することである。これは、車両が出発地から目的地まで正確に移動することを可能にするだけでなく、近くの車両、歩行者、インフラなどと車両が衝突しないことを確実にする。

【0003】

自律運転システムには、サブレーン精度（つまり一般的にはデシメートルレベルの精度）での位置特定が必要である。このような位置特定は、高速道路で見られるような晴天かつ見通しのよい条件下では、リアルタイムキネマティック（ＲＴＫ）または精密単独測位（ＰＰＰ）を含む高精度ＧＮＳＳ技術を使用することによって実現可能である。しかしながら、接近して位置する建物およびその他の様々な密集したインフラを有する都市条件では、ＧＮＳＳは、信号障害や多重路伝搬などの悪影響をしばしば受ける。これは、ＧＮＳＳセンサが十分な精度で車両の位置を特定する能力を妨げる。この障害に対する解決策は、妨害地域においてＧＮＳＳ決定位置を強化するための付加的な測位方法を実施することを含む。付加的な測位方法は、デッドレコニング、ＩＭＵ測定の統合、ビジュアルオドメトリ、カメラまたはＬＩＤＡＲ測定のいずれかに基づく同時ローカライゼーションおよびマッピング（ＳＬＡＭ）アルゴリズム、マップまたは点群マッチング、特徴および／またはランドマークを基準とする位置特定、およびこれらの組合せを含む。

【0004】

これらの方法は、２つの個別のカテゴリ、すなわち慣性法およびマップベースの方法に分類することができる。慣性法は、ＩＭＵ、ビジュアルオドメトリ、およびＳＬＡＭアルゴリズムを実施する方法を含む。これらは、車両の現在の環境についての事前知識がなくても、現在のセンサ読取り値に基づいて車両位置の推定値を決定するために使用される。これらの手法の欠点は、ＧＮＳＳ信号が失われたときに車両位置の推定値がその正確な値からずれることである。このずれは、直近の既知の正確な位置から走行した時間または距離とともに増加する。

【0005】

マップベースの方法（マップまたは点群マッチングと、特徴またはランドマークに基づく位置特定とを含む）においては、車両位置を決定するために、事前に生成された基準マップなどの環境に関する事前知識が使用される。これにより、周囲環境の既知の詳細に基づいて車両位置の推定値のずれを補償することができる。マップベースの方法は、ＧＮＳＳと結び付けられた場合、慣性法と比較して精度の向上をもたらす。これは、位置推定値が、正確なＧＮＳＳ信号が利用不可能になったときから走行した時間または距離に無関係であるためである。従来のマップベースの方法の種類によっては、例えば、以前取り込まれた画像または基準マップを構築するために使用される点群データに基づいて、特定のエリアのマップが最初に生成される。そして車両がそのエリアを移動中であってＧＮＳＳ信号を正確に受信できないときに、車両は、車載撮像デバイスから現在の画像を取り込み、システムは、車両の正確な位置を決定するために、取り込まれた画像と事前に生成されたマップとのマッチングを試みる。

【0006】

しかしながら、現在のマップベースの方法は非効率的であることが多く、最良の一致（best match）を決定するために複数の基準マップの可能性を分析する必要がある。それにより、時間と走行中の車両上では容易に利用できない演算能力との両方が必要である。したがって、都市条件において車両位置を決定する方法を改善することが望ましい。

【発明の概要】

【0007】

本開示は、直近の既知の位置と、安定ランドマークと、車両の現在の周囲の基準マップとの組み合わせに基づいて車両の位置を決定する方法を提供する。一実施形態では、車両の周辺の基準マップを予め決定し、マップ内で安定ランドマークを識別および位置特定する。何が安定ランドマークとして適格であるかを判断するために、対象エリアの複数の画像をある期間にわたって取り込み、一定のままで変化しない特徴を安定していると見なす。

【0008】

ランドマークが安定していると識別されると、そのランドマークをマップ内の基準点として使用することで、直近の既知の位置に結びつけられた車両の位置を決定してもよい。本開示の一実施形態では、車両の位置ベクトルを決定する。この位置ベクトルは、車両が走行している速度および方向を表す。都市環境、または現在位置ベクトルを決定することが困難な同様の環境では、直近の既知の位置ベクトルを決定する。さらに、直近の既知の位置ベクトルおよび車両の現在の周辺内の安定ランドマークに基づいて、現在位置の補正値を決定する。

【0009】

車両の周辺の画像を、例えば車載カメラによって取り込んで車両の現在位置を決定するために使用する。取り込まれた画像は、安定ランドマークと、車両の位置を定めるために、カメラの方向を示すデータとを含んでいてもよい。更なる実施形態では、慣性計測ユニット（ＩＭＵ）を実装して、ＧＮＳＳ信号に基づく位置精度が閾値を下回った後のある期間にわたって車両の位置を決定することにより、直近の既知の位置が正確であると判断される時間を延ばす。ＩＭＵから読み出されたデータの精度がＩＭＵ閾値を下回った後、基準マップと取り込まれた画像とに基づいて、車両位置の補正値を計算する。

【0010】

上述の実施形態およびここで述べられる実施形態のその他の効果については、少なくとも本概要と、以下の詳細な説明と、添付の図面とを参照することにより、当業者にとって明らかとなろう。

【図面の簡単な説明】

【0011】

【図1】図１は、一実施形態に係る、少なくとも１つの安定ランドマークを識別するための方法のフローチャートである。

【図2】図２は、一実施形態に係る、車両の位置を決定するための方法のフローチャートである。

【図3】図３は、一実施形態に係る装置のブロック図である。

【発明を実施するための形態】

【0012】

自律運転用途では、慣性法が有効であり続ける時間は非常に限られているため、位置決定の精度が閾値を下回る時間が長引く場合は、慣性法よりもマップベースの方法が優れた位置推定を行うことができる。しかしながら、既存のマップベースの方法は、いくつかの課題を抱えている。環境の時間的変動、および、他の車両や仮設インフラなどによって引き起こされる遮り（オクルージョン）などは、取り込まれた現在の画像と基準マップとの間の一致を効率的かつ正確に決定する際の障害となる。道路標識または信号機などのランドマークは消失したり移動されたりする可能性がある。車線区分線はすり減る可能性がある。木の葉、雪、泥、仮設または半永久的な交通標識などの出現・消失によって、自律運転車両の撮像デバイスが認識する環境が著しく変化する可能性がある。基準マップはすぐに古くなる可能性があり、不正確なマップのみを頼ることは、不正確な位置決定につながる。マップマッチングまたは特徴マッチングアルゴリズムは、これらの未知の変化に起因して機能しなくなる可能性があり、車両位置が不明なままとなるか、または不正確な位置となる。さらに、マップベースの方法のみを頼ることにより、更なる課題を引き起こす可能性がある。というのは、直近の既知の位置に頼らずにＧＮＳＳ位置からマップベース位置に直接シフトするには、短時間のうちに画像をマップに肯定一致（positive match）させる必要があり、多くの場合、正確な位置推定を維持しながらそのような迅速なマッチングを正確に行うことは、車両の速度に起因して、不可能ではないが難しい。

【0013】

車両位置決定方法の一実施形態は、安定ランドマークを有する基準マップを作成することと、ＧＮＳＳシステムおよびＩＭＵシステムと併せて基準マップを使用して車両の正確な現在位置を決定することとを含む。開示された方法は、ＧＮＳＳのみから決定され得る車両の現在位置の精度が閾値を下回るときに使用され得る。

【0014】

以下の説明において、安定ランドマークを含む基準マップの生成について説明する。基準マップの生成は、位置決定の最中の車両以外の車両に対して行われてもよい。なぜなら、基準マップは、何が安定ランドマークとして適格かを判断するために、長期間にわたって多数の画像の取り込みを必要とするからである。生成された基準マップは、車両による将来のアクセスのために（例えば、図２に示す方法の間に使用するために）その後記憶してもよい。

【0015】

図１は、一実施形態に係る、少なくとも１つの安定ランドマークを識別するための方法１００のフローチャートである。

【0016】

ステップ１１０では、様々な地理的エリアの複数の画像を、ある期間にわたって撮像デバイスによって取り込む。撮像デバイスは、カメラ、ＬＩＤＡＲセンサなどを含んでもよい。例えば、１つ以上の撮像デバイスを備えた車両は、様々な地理的エリアを移動し、ある期間にわたって各エリアにおける複数の方向および視点から画像を取り込む。一実施形態では、上記期間は少なくとも１年であり、それぞれの季節を通して画像を取り込むことが可能である。

【0017】

ステップ１２０では、取り込まれた画像内に示される１つ以上のランドマークに関連する地理参照空間情報を受信する。地理参照空間情報は、物理的位置に関連付けられた、画像内のランドマークに関連する注目点（points of interest）を含む。このような関連付けは、手動で、もしくは例えばコンピュータビジョンや機械学習などを介した自動タグ付けを使用して行うことができる。一実施形態では、地理参照空間情報は、ＬＩＤＡＲから集められた情報、モバイルマッピングシステムから集められた情報、または、写真測量を使用して３Ｄ点群に処理された収集画像から集められた情報に基づいて決定される。

【0018】

ステップ１３０では、同一エリアの画像内の地理参照空間情報をある期間にわたって比較する。例えば、そのエリアの第１の画像は秋に取り込まれ、第２の画像は冬に取り込まれ、第３の画像は春に取り込まれ、第４の画像は夏に取り込むことができる。様々な物体、要素、または、注目点は、いくつかの画像には現れるが、他の画像には現れない。例えば、葉は、春および夏には木に存在するが、秋または冬には存在しない場合がある。同様に、迂回標識またはトラフィックコーンなどの仮設交通アイテムは、第１の画像には現れるが、第２、第３、または第４の画像には現れない場合がある。対照的に、例えば木または街灯柱は、そのエリアの各画像内に一貫して存在し得る。

【0019】

ステップ１４０では、この期間で変化する画像の要素は、地理参照空間情報から除外される。残りの要素は、安定ランドマークとして指定される。一実施形態では、容易に識別可能なランドマーク（例えば、大きな長方形の建物または橋）のみが安定ランドマークとして指定される。これによって、より効率的かつ高速な識別が可能となる。

【0020】

ステップ１５０では、安定ランドマークの地理参照空間情報に前処理をして、地理参照空間情報を３次元マップに関連させる。一実施形態では、３次元マップを安定ランドマークなしで事前に生成する。前処理は、安定ランドマークの注目点（例えば、コーナーや認識された形状または色など）を、３次元マップ内の既知の位置座標にマッチングすることを含む。一実施形態では、地理参照空間情報の前処理は、体積構造作成、高密度深度計算、及び特徴点検出のうちの少なくとも１つを含む。したがって、前処理は、安定ランドマークを３次元マップ内の既知の位置に関連付けることを含む。マップは、安定ランドマークを含むように更新され、本明細書中で述べるように車両位置を決定するための基準マップとして使用されてもよい。

【0021】

マップは、画像、点群データ、それらの組み合わせなどを含み得る。一実施形態では、マップは、各安定ランドマークに関連付けられた特徴点をさらに含む。特徴点は、車両によって取り込まれた画像をマップに効率的にマッチングすることを可能とするために、各安定ランドマークの注目点（コーナーまたは認識された形状など）を示す特徴記述子を含んでもよい。

【0022】

加えて、安定ランドマークの位置決め情報は、基準マップ内に埋め込まれる。したがって、マップは地理参照空間画像情報を含んでおり、安定ランドマークを、外部標準（例えば、緯度座標や経度座標など）と、周囲環境内の安定ランドマークの配置（例えば、周辺環境内ではその安定ランドマークが他の２つ以上の安定ランドマークの間に位置していると識別される）とを基準に設定された位置にリンクさせる。安定ランドマークの位置は、デシメートルレベルの精度で識別される。視覚インデックスを基準マップに基づいて構築してもよい。このインデックスは、画像とその位置との関連付けを含む。

【0023】

基準マップおよびその中で識別された安定ランドマークは、ＧＮＳＳに基づく位置決定が所要閾値を下回るときに現在位置を決定するために、走行中の車両によって使用されてもよい。一実施形態では、基準マップは、必要に応じて車両の位置特定装置がマップにアクセス可能なように、リモートアクセス可能な記憶装置、または、アクセス可能な車載記憶装置に保存される。

【0024】

図２は、車両がエリアを移動中にＧＮＳＳに基づく位置決定の精度が所要閾値を下回るときに車両位置を決定するための方法２００のフローチャートである。閾値を下回る（つまり超える）原因としては、エリア内のインフラまたは物体からのＧＮＳＳ信号の妨害や、ＧＮＳＳ信号の多重路伝搬、位置決定のために使用されるＧＮＳＳ衛星が地平線より下がることによる受信ＧＮＳＳ信号の弱化などがあり得る。例えば、ＧＮＳＳは、多くの場合、位置を決定するために３つ以上の衛星信号を使用する。１つ以上の衛星からの信号が、前述の理由などのために、走行中の車両のＧＮＳＳレシーバによって受信または使用できない場合、所要閾値を超えることになり、ＧＮＳＳは車両の正確な位置決定を行うのに十分ではなくなる。

【0025】

ステップ２１０では、ＧＮＳＳに基づく位置決定の精度が所要閾値を下回るかどうかを判断する。下回る場合は、この方法ではステップ２２０に進む。そうでない場合は、ステップ２１０での判断を繰り返す。一実施形態では、所要閾値を超えたという判断は、設定された期間を経て初めて行われる。更に別の実施形態では、ステップ２１０は任意のステップであり、方法２００は、ＧＮＳＳ信号の強度または可用性にかかわらず、連続的に実行される。

【0026】

ステップ２２０では、車両の直近の既知の位置ベクトルを決定する。位置ベクトルは、車両が走行している速度および方向を含む。直近の既知の位置ベクトルは、車両またはＧＮＳＳレシーバから直接決定され得る直近の既知の速度と、車載コンパスから決定され得る直近の既知の方向とに基づく。一実施形態では、直近の既知の位置ベクトルは、ＧＮＳＳに基づく位置など、十分に正確であると見なされる車両の直近の既知の位置に基づいて決定される。一実施形態では、直近の既知の位置ベクトルは、推定現在位置を決定するために、現在の車両速度と結び付けられる。

【0027】

一実施形態では、車両の直近の既知の位置ベクトルを、ＧＮＳＳ信号に加えてさらに慣性計測ユニット(ＩＭＵ)に基づいて決定してもよい。直近の既知の位置ベクトルはＧＮＳＳのみに基づいて決定してもよく、ＩＭＵは、所要閾値を超えた後にのみ使用される。

【0028】

更なる実施形態では、直近の既知の位置ベクトルは、ＧＮＳＳに基づく位置決定が所要閾値を下回った後に、ＩＭＵのみに基づいて決定される。ＩＭＵは、閾値を超えてから車両がどれだけ走行したかを判断するために、車両の内部走行距離計と共に使用されてもよい。更に別の実施形態では、ＩＭＵは、常にＧＮＳＳと共にデータを決定するように構成され、直近の既知の位置ベクトルは、常にＧＮＳＳとＩＭＵの両方からのデータに基づく。

【0029】

ＩＭＵは、限られた時間において十分な精度を提供する。例えば、閾値を超えてから５秒以内は１デシメートル内の精度である。しかしながら、一実施形態では、限られた時間の後でもＩＭＵから位置ベクトルを決定し、直近の既知の位置ベクトルの代わりに車両位置の近似値を決定する。

【0030】

ステップ２３０では、車両が走行している周辺の１つ以上の画像が、例えば、車載カメラなどの車載撮像デバイスを用いて取り込まれる。周辺は、車両を中心とした設定半径の距離、または、車両に搭載された撮像デバイスからの視野（例えば、車両前方または周辺の可視風景）を含んでもよい。

【0031】

ステップ２４０では、車両の周辺の安定ランドマークを、取り込まれた１つ以上の画像から識別し、基準マップと比較する。安定ランドマークは、車両環境の画像内で識別可能な特徴であり、永久的または半永久的であると判断されるため基準点として信頼できる。

【0032】

一実施形態では、安定ランドマークは、車両の周辺の事前に構築された基準マップに基づいて識別される。この基準マップは、例えば図１で説明した基準マップのように、基準点として信頼できると判断された１つ以上の安定ランドマークを含む。基準マップは、車両内に局在的に格納されてもよいし、例えば車両からアクセス可能な外部またはクラウドベースのサーバ上にリモートで格納されてもよい。基準マップの安定ランドマークは、コンピュータビジョン、機械学習、スケール不変特徴変換（ＳＩＦＴ：scale-invariant feature transform）特徴検出アルゴリズムなどを使用して、取り込まれた画像の識別された安定ランドマークにマッチングされる。

【0033】

ステップ２５０では、直近の既知の位置ベクトルと識別された安定ランドマークとに基づいて、補正値を決定する。補正値は以下のように表されてもよい。つまり、事前に構築された基準マップをＭとする。時間ｔにおける直近の既知の位置ベクトルＸの推定値が既知であり、車載撮像デバイスからの画像Ｉが取り込まれる。ｆ（ｔ）とＸ＋ｘ’に位置する仮想カメラに対するＭの投影像との間の類似性の尤度を最大化する、直近の既知の位置ベクトルＸに対する補正値ｘ’が決定される。補正値は、最小二乗調整、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）などの既知の最適化アルゴリズムを使用して決定される。

【0034】

一実施形態では、仮想カメラをＸ＋ｘ’に配置して、補正された位置における車両の周辺の画像を構築し、構築された人工画像が実際のカメラによって取り込まれた実際の画像に最も類似するようにする。補正値ｘ’が分かれば、その位置は既知であると高精度で判断され、直近の既知の位置ベクトルに対して補正が加えられる。補正値が分からない場合は、または、類似性の尤度が閾値を下回る場合は、画像Ｉは破棄される。そのような場合、位置の推定を補正値ｘ’なしでＩＭＵのみに基づく推定に拡大してもよい。そして次の画像が処理される。

【0035】

一実施形態では、複数の視覚的に類似する画像フレームが、視覚インデックスを使用してデータベースから読み出される。これら複数の視覚的に類似する画像フレームの各々は、車両周辺のシーンを示す。視覚インデックスは、事前に構築された基準マップとの関連付けであり、視覚的に類似する画像は、基準マップ内の位置と関連付けられる。複数の視覚的に類似する画像フレームは、カメラ位置を推定し、補正値ｘ’を決定するために使用される。

【0036】

一例として、視覚的に類似する画像フレームは、図１に示す方法において説明されるように、事前に収集される。これらの画像は、設定された間隔で（例えば１メートル毎に）道路から取り込んでもよいし、その道路のすべての車線から取り込んでもよい。したがって、視覚インデックスは、複数の視点からのシーンの複数の画像を含む。補正値の決定は、現在取り込んだ画像を、この現在取り込んだ画像に最も類似している視覚インデックス内の画像とマッチングさせることを含む。そのようなマッチングは、画像マッチングアルゴリズムを使用して行われる。

【0037】

特定の基準画像についてのカメラ位置は、特徴マッチングに基づいて推定してもよく、結果として、

によって表される２Ｄ－３Ｄ対応点の集合となる。最小ソルバーおよびＲＡＮＳＡＣを用いて、再投影誤差が以下の式によって表されるように、インライアの集合でクエリ画像ω_ｑの位置を推定する。

ここで、再投影誤差は十分に小さく（例えば誤差閾値を下回り）、ω_ｒはマップに記憶された基準画像の位置である。πはカメラ投影像を示し、ω_ｃは車両を基準とするカメラの位置を示す。十分にロバストな推定が決定されれば、すべてのインライアに対する再投影誤差の合計を、ω_ｑによって最適化できる。

【0038】

更なる実施形態では、インライア集合と、異なる基準画像からの位置推定値とが集められて、すべての再投影誤差の合計の最適化がもう一度行われる。

【0039】

ステップ２６０では、補正に基づいて更新位置を決定する。一実施形態では、更新位置は、位置特定の調整（例えば更新されたＧＰＳ座標の組など）を含む。更なる実施形態では、更新位置は、車両の速度に対する調整をさらに含む。

【0040】

図３は、本開示の実施形態に係る装置３００のブロック図である。一実施形態では、装置３００は、図２と併せて説明したように、車両において使用される、現在位置を決定するための位置特定装置として実現できる。更なる実施形態では、装置３００は、図１と併せて説明したように、車両において使用される、基準マップ構築用の画像を収集するための収集装置として実現できる。

【0041】

装置３００は、データ記憶デバイス３２０とメモリ３３０とに操作可能に接続されたプロセッサ３１０を備えている。プロセッサ３１０は、装置３００の動作を定義するコンピュータプログラム命令を実行することにより、装置３００の動作全般を制御する。コンピュータプログラム命令は、データ記憶デバイス３２０または他のコンピュータ可読媒体に記憶され、コンピュータプログラム命令の実行が必要なときにメモリ３３０にロードされてもよい。したがって、少なくとも図１ないし図３の方法ステップは、メモリ３３０および／またはデータ記憶デバイス３２０に記憶されているコンピュータプログラム命令により定義され、これらのコンピュータプログラム命令を実行するプロセッサ３１０により制御され得る。例えば、コンピュータプログラム命令は、少なくとも図１ないし図２の方法ステップにより定義されるアルゴリズムを実行するように当業者によってプログラムされたコンピュータ実行可能コードとして実現できる。

【0042】

装置３００はまた、ネットワーク（不図示）を介して他のデバイスと通信するための１つ以上のネットワークインタフェースを含んでいる。装置３００は、測位衛星システムから信号を受信するように構成されたＧＮＳＳレシーバ３４０と、装置３００が設置された車両の慣性測定値（例えば、加速度、角速度、向きなど）を決定するように構成された任意のＩＭＵ３６０とをさらに含む。装置３００は、設定された車両周辺の環境の静止画像、ビデオ、またはその両方を取り込むように構成された、カメラまたはＬＩＤＡＲセンサ等の撮像デバイス３７０をさらに含んでもよい。装置３００の様々な要素は、バス３８０を介して互いに接続される。

【0043】

プロセッサ３１０は、汎用マイクロプロセッサと専用マイクロプロセッサとの両方を含んでいてもよく、装置３００の唯一のプロセッサであっても、複数のプロセッサの１つであってもよい。プロセッサ３１０は、例えば、１つ以上の中央処理装置（ＣＰＵ）で構成されてもよい。プロセッサ３１０、データ記憶デバイス３２０、および／またはメモリ３３０は、１つ以上の特定用途向け集積回路（ＡＳＩＣ）および／または１つ以上のフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）を含むか、これらによって補完されるか、またはこれらに内蔵されてもよい。

【0044】

データ記憶デバイス３２０およびメモリ３３０はそれぞれ、有形の非一時的コンピュータ可読記憶媒体で構成される。データ記憶デバイス３２０およびメモリ３３０はそれぞれ、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダブルデータレート同期型ダイナミックランダムアクセスメモリ（ＤＤＲ ＲＡＭ）、または他のランダムアクセスの固体メモリ装置などの高速ランダムアクセスメモリを含んでいてもよく、内蔵ハードディスク、リムーバブルディスクなどの１つ以上の磁気ディスク記憶装置、光磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリ装置、消却・プログラム可能型読取専用メモリ（ＥＰＲＯＭ）、電気的消却・プログラム可能型読取専用メモリ（ＥＥＰＲＯＭ）などの半導体メモリ装置、コンパクトディスク読取専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク読取専用メモリ（ＤＶＤ－ＲＯＭ）ディスクなどの不揮発性メモリ、またはその他の不揮発性固体記憶装置を含んでいてもよい。

【0045】

実際のコンピュータ、コンピュータシステム、またはコンピューティングデバイスの実装は、別の構造を有していたり別の構成要素を備えていたりしてもよいことや、装置３００は単に例示のために構成要素の一部を高レベルで表現したものであることを、当業者であれば容易に認識するであろう。

【0046】

本明細書に記載のすべてのシステムおよび方法は、デジタル回路を用いて、または公知のコンピュータプロセッサ、メモリユニット、記憶デバイス、コンピュータソフトウェアや他の構成要素を用いる１つ以上のコンピュータを用いて実現されてもよい。典型的には、コンピュータは、命令を実行するためのプロセッサと、命令およびデータを記憶するための１つ以上のメモリとを備えている。また、コンピュータは、１つ以上の磁気ディスク、内部ハードディスクおよびリムーバブルディスク、光磁気ディスク、光ディスクなどの、１つ以上の大容量記憶装置を備えていてもよく、または１つ以上の大容量記憶装置に接続されていてもよい。

【0047】

本明細書に記載のすべてのシステムおよび方法は、クライアント－サーバ関係において動作するコンピュータを用いて実現してもよい。一般的には、そのようなシステムでは、クライアントコンピュータは、サーバコンピュータから離れて配置され、ネットワークを介して通信する。クライアント－サーバ関係は、クライアントコンピュータとサーバコンピュータとのそれぞれで実行されるコンピュータプログラムによって定義および制御されてもよい。本開示において、車両は、スタンドアロンネットワーク接続を備えてもよく、または携帯電話などの二次デバイスを介して外部データにアクセスすることに頼ってもよい。

【0048】

本明細書に記載のすべてのシステムおよび方法は、プログラマブルプロセッサに実行されるように、情報担体（例えば、非一時的機械可読記憶装置）において有形具現化されたコンピュータプログラム製品を用いて実施されてもよい。本明細書に記載の方法ステップは、そのようなプロセッサによって実行できる１つ以上のコンピュータプログラムを用いて実施されてもよい。コンピュータプログラムは、任意の動作を行ったり、任意の結果を得たりするためにコンピュータにおいて直接的または間接的に使用することができる１組のコンピュータプログラム命令であってもよい。コンピュータプログラムは、コンパイラ型言語やインタープリタ型言語などの任意の方式のプログラミング言語で記載してもよく、スタンドアロンプログラムとして、またはモジュール、構成要素、サブルーチンや演算環境での利用に適した他のユニットとしてなど、任意の方式で展開してもよい。

【0049】

以上の「発明を実施するための形態」は、あらゆる点において例示的であって限定的ではないものとして理解されるべきであり、本明細書に開示される本発明概念の範囲は、「発明を実施するための形態」から判断されるのではなく、各特許法において認められる全容に渡って解釈される特許請求の範囲から判断されるべきものである。当然のことながら、本明細書に図示、説明された実施形態は、本発明概念の原理を例示したにすぎず、本発明概念の範囲および趣旨から逸脱することなく、当業者によって様々な修正が行われてもよい。当業者は、本発明の概念の範囲および趣旨から逸脱することなく、他の様々な特徴の組合せを実現できるであろう。

【図1】

【図2】

【図3】