▶ トムトム グローバル コンテント ベスローテン フエンノートシャップの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-16
(45)【発行日】2022-06-24
(54)【発明の名称】位置特定基準データを生成及び使用する方法及びシステム
(51)【国際特許分類】
G01C 21/30 20060101AFI20220617BHJP
G08G 1/0968 20060101ALI20220617BHJP
G06T 7/00 20170101ALI20220617BHJP
G06T 7/521 20170101ALI20220617BHJP
【ＦＩ】
G01C21/30
G08G1/0968 A
G06T7/00 650A
G06T7/521
【請求項の数】
13
(21)【出願番号】P 2019515830
(86)(22)【出願日】2017-09-28
(65)【公表番号】
(43)【公表日】2020-01-09
(86)【国際出願番号】 EP2017074595
(87)【国際公開番号】W WO2018060313
(87)【国際公開日】2018-04-05
【審査請求日】2020-09-14
(31)【優先権主張番号】62/401,124
(32)【優先日】2016-09-28
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】509097563
【氏名又は名称】トムトム グローバル コンテント ベスローテン フエンノートシャップ
(74)【代理人】
【識別番号】110003281
【氏名又は名称】特許業務法人大塚国際特許事務所
(74)【代理人】
【識別番号】100076428
【弁理士】
【氏名又は名称】大塚 康徳
(74)【代理人】
【識別番号】100115071
【弁理士】
【氏名又は名称】大塚 康弘
(74)【代理人】
【識別番号】100112508
【弁理士】
【氏名又は名称】高柳 司郎
(74)【代理人】
【識別番号】100116894
【弁理士】
【氏名又は名称】木村 秀二
(74)【代理人】
【識別番号】100130409
【弁理士】
【氏名又は名称】下山 治
(74)【代理人】
【識別番号】100168284
【弁理士】
【氏名又は名称】菅原 英夫
(72)【発明者】
【氏名】クビアク， ブラシウス
(72)【発明者】
【氏名】クドリンスキー， クシシュトフ
(72)【発明者】
【氏名】ミクシャ， クシシュトフ
(72)【発明者】
【氏名】グリスザクジンスキー， ラフォル， ジャン
【審査官】菅家 裕輔
(56)【参考文献】
【文献】国際公開第２０１５／１７３０３４（ＷＯ，Ａ１）
【文献】特表２０１０－５４１０１６（ＪＰ，Ａ）
【文献】特表２０１２－５１１６９７（ＪＰ，Ａ）
【文献】特開２０１４－０２５９２５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｃ ２１／００－２１／３６
Ｇ０１Ｃ ２３／００－２５／００
Ｇ０８Ｇ １／００－９９／００
Ｇ０６Ｔ ７／００－ ７／９０
(57)【特許請求の範囲】
【請求項1】
デジタル地図を使用して点群のデータ点を分類する方法であって、前記デジタル地図が複数の区分を含み、各区分がナビゲート可能ネットワークのナビゲート可能要素を表し且つ前記ナビゲート可能要素の境界を示す複数の基準線を含み、各区分が前記複数の基準線の地理的場所を示す場所データに関連付けられ、各区分が前記ナビゲート可能要素の周囲の環境内の物体の表面の前記地理的場所を示す位置特定基準データに更に関連付けられる、前記方法であって、前記ナビゲート可能ネットワークのナビゲート可能要素に沿う車両の見なし現在位置に基づいて、前記デジタル地図の１つ以上の区分に対する前記位置特定基準データを取得することと、
少なくとも１つのセンサを使用して前記車両の周囲の前記環境をスキャンすることによりリアルタイムスキャンデータを取得することであって、前記リアルタイムスキャンデータは前記車両の周囲の前記環境を示す点群に基づくものであり、前記点群は３次元座標系における複数のデータ点を含み、各データ点は前記少なくとも１つのセンサを使用して取得された前記環境内の物体の表面を表す前記３次元座標系における場所を有する、前記取得することと、
１つ以上の位置合わせオフセットを判定するために、前記位置特定基準データと前記リアルタイムスキャンデータとの間の相関を計算することと、
前記リアルタイムスキャンデータの前記点群の前記データ点の前記場所を調整するために、前記判定された１つ以上の位置合わせオフセットを使用することと、
前記複数のデータ点の各々に対して、前記データ点が前記ナビゲート可能要素の前記境界の間に存在するかを判定するために、前記データ点の前記調整された場所と前記関連する区分に対する前記場所データとを比較することと、
前記比較に基づいて、前記複数のデータ点の各々を１つ以上のグループに分類することと、
を備えることを特徴とする方法。
【請求項2】
前記１つ以上の位置合わせオフセットは、縦方向オフセット、横方向オフセット、及び／又は進行方向オフセットであることを特徴とする請求項１記載の方法。
【請求項3】
前記ナビゲート可能要素の境界を示す前記複数の基準線は、道路の境界及び／又は車線の境界を更に含むことを特徴とする請求項１又は２記載の方法。
【請求項4】
前記複数の基準線の少なくとも１つは、道路の中心線及び／又は道路の車線の中心線を示す基準線であることを特徴とする請求項１から３のいずれか１項に記載の方法。
【請求項5】
前記ナビゲート可能要素の境界の間のデータ点は、前記ナビゲート可能要素上に存在する物体の前記表面に関するデータ点であることを特徴とする請求項１から４のいずれか１項に記載の方法。
【請求項6】
１つ以上の候補物体を認識するために、データ点のグループのうちの１つ以上を解析することを更に備えることを特徴とする請求項１から５のいずれか１項に記載の方法。
【請求項7】
物体認識が前記点群内のデータ点のサブセットに対してのみ実行されるように、前記点群から前記サブセット以外の点を除去することを更に備えることを特徴とする請求項６記載の方法。
【請求項8】
前記除去される点は、少なくとも１つの移動物体に対応する前記点であることを特徴とする請求項７記載の方法。
【請求項9】
前記データ点のサブセットは、道路回廊内に存在する前記点であることを特徴とする請求項７又は８記載の方法。
【請求項10】
前記データ点のサブセットは、道路回廊の外側に存在する前記点であることを特徴とする請求項７又は８記載の方法。
【請求項11】
前記少なくとも１つの移動物体は移動車両であることを特徴とする請求項８記載の方法。
【請求項12】
請求項１から１１のいずれか１項に記載の方法をシステムに実行させるように実行可能なコンピュータ可読命令を備えることを特徴とするコンピュータプログラム。
【請求項13】
デジタル地図を使用して点群のデータ点を分類するシステムであって、前記デジタル地図が複数の区分を含み、各区分がナビゲート可能ネットワークのナビゲート可能要素を表し且つ前記ナビゲート可能要素の境界を示す複数の基準線を含み、各区分が前記複数の基準線の地理的場所を示す場所データに関連付けられ、各区分が前記ナビゲート可能要素の周囲の環境内の物体の表面の前記地理的場所を示す位置特定基準データに更に関連付けられる、前記システムであって、前記ナビゲート可能ネットワークのナビゲート可能要素に沿う車両の見なし現在位置に基づいて、前記デジタル地図の１つ以上の区分に対する前記位置特定基準データを取得することと、
少なくとも１つのセンサを使用して前記車両の周囲の前記環境をスキャンすることによりリアルタイムスキャンデータを取得することであって、前記リアルタイムスキャンデータは前記車両の周囲の前記環境を示す点群に基づくものであり、前記点群は３次元座標系における複数のデータ点を含み、各データ点は前記少なくとも１つのセンサを使用して取得された前記環境内の物体の表面を表す前記３次元座標系における場所を各データ点が有する、前記取得することと、
１つ以上の位置合わせオフセットを判定するために、前記位置特定基準データと前記リアルタイムスキャンデータとの間の相関を計算することと、
前記リアルタイムスキャンデータの前記点群の前記データ点の前記場所を調整するために、前記判定された１つ以上の位置合わせオフセットを使用することと、
前記複数のデータ点の各々に対して、前記データ点が前記ナビゲート可能要素の前記境界の間に存在するかを判定するために、前記データ点の前記調整された場所と前記関連する区分に対する前記場所データとを比較することと、
前記比較に基づいて、前記複数のデータ点の各々を１つ以上のグループに分類することと、
を実行するように構成された処理回路網を備えることを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【0001】
特定の態様及び実施形態において、本発明は、高度に自動化された運転及び完全に自動化された運転の用途に必要とされるデジタル地図に対する向上された位置決め精度のための方法及びシステムに関する。そのような方法及びシステムは、デジタル地図に関連付けられた位置特定基準データを使用してもよい。更なる態様において、本発明は、基準データの形式を含むデジタル地図に関連付けられた位置特定基準データの生成及び基準データの使用に関する。例えば本発明の実施形態は、デジタル地図上で車両を正確に位置決めするための車両からの検知データとの比較を通じた基準データの使用に関する。他の実施形態は、他の目的のための基準データの使用に関し、必ずしも車両からの検知データを更に使用する技術におけるものではない。例えば更なる実施形態は、車両に関連付けられたカメラからのビューを再構成するための生成された基準データの使用に関する。
【背景技術】
【0002】
近年、車両内に取り外し可能に配置できるポータブルナビゲーション装置（ＰＮＤ）又は車両と一体型のシステムのいずれかの形態のナビゲーション装置を車両に搭載することが一般的になった。これらのナビゲーション装置は、通常はＧＰＳ又はＧＬＯＮＡＳＳ等の全地球航法衛星システム（ＧＮＳＳ）受信機である装置の現在位置を判定する手段を備える。しかし、例えば移動体通信ネットワーク又はサーフェス（ｓｕｒｆａｃｅ）ビーコン等の使用である他の手段が使用されてもよいことが理解されるだろう。
【0003】
また、ナビゲーション装置は、車両が走行しているナビゲート可能ネットワークを表すデジタル地図にアクセスできる。最も単純な形態のデジタル地図（又は数学的グラフと呼ばれる場合もある）は実際は、通常は道路交差点を表すノードと、それらの交差点の間の道路を表すノード間の線とを表すデータを含むデータベースである。更に詳細なデジタル地図では、線は開始ノード及び終了ノードにより定義される区分に分割されてもよい。これらのノードは、最低３つの線又は区分が交差する道路交差点を表すという意味で「リアル」であってもよく、あるいは、特に道路の特定の範囲に対する形状情報を提供するために一端又は両端が実在のノードにより定義されていない区分のアンカとして提供されるか又は例えば速度制限である道路の何らかの特徴が変化する道路に沿った位置を識別する手段として提供されるという点で「人工的」であってもよい。現在のほぼ全てのデジタル地図では、ノード及び区分は種々の属性により更に定義され、そのような属性もデータベースにおいてデータにより表される。例えば各ノードは通常、例えば緯度及び経度である実世界での位置を定義するために地理座標を有する。通常、ノードは、交差点において１つの道路から別の道路に移動することが可能であるかを示す関連付けられた操作データを更に有し、区分は、最大許容速度、車線サイズ、車線数、車線間に分離帯があるか等の関連属性を更に有する。本出願の目的のために、この形態のデジタル地図を「標準地図」と呼ぶ。
【0004】
ナビゲーション装置は、判定された経路に関する案内、現在位置又は判定された経路に基づく今後の予測位置に関する交通／移動情報の提供等の多くのタスクを実行するために、標準地図と共に装置の現在位置を使用できるように構成される。
【0005】
しかし、標準地図に含まれるデータは、車両が運転者からの入力なしに例えば加速、ブレーキ操作及びハンドル操作を自動的に制御できる高度に自動化された運転及び完全に自動化された「自動運転」車両等の種々の次世代の用途には不十分であることが認識されている。そのような用途には、より正確なデジタル地図が必要とされる。この更に詳細なデジタル地図は通常、道路の各車線が個別に表され且つ他の車線との接続性データを有する３次元ベクトルモデルを含む。本出願の目的のために、この形態のデジタル地図を「プランニング地図」又は「高解像度（ＨＤ）地図」と呼ぶ。
【0006】
図１はプランニング地図の一部分の表現を示し、各線は車線の中心線を表す。図２は、道路網の画像に重ねられたプランニング地図の別の例示的な部分を示す。これらの地図におけるデータは、通常はメートル級以内の精度であり、種々の技術を使用して収集可能である。
【0007】
そのようなプランニング地図を構築するためにデータを収集する１つの例示的な技術は移動マッピングシステムを使用することであり、その一例を図３に示す。移動マッピングシステム２は、調査車両４と、車両４の屋根８に取り付けられたデジタルカメラ４０及びレーザスキャナ６とを備える。調査車両２は、プロセッサ１０、メモリ１２及び送受信機１４を更に備える。更に、調査車両２は、ＧＮＳＳ受信機等の絶対測位装置２と、慣性測定装置（ＩＭＵ）及び距離測定器（ＤＭＩ）を含む相対測位装置２２とを備える。絶対測位装置２０は車両の地理座標を提供し、相対測位装置２２は絶対測位装置２０により測定された座標の精度を向上させる（また、ナビゲーション衛星からの信号を受信できない場合に絶対測位装置の代わりとなる）機能を有する。レーザスキャナ６、カメラ４０、メモリ１２、送受信機１４、絶対測位装置２０及び相対測位装置２２は全て、プロセッサ１０と通信するように構成される（線２４で示すように）。レーザスキャナ６は、環境にわたりレーザビームを３Ｄでスキャンし、レーザビームが反射される物体の表面の位置を各点が示す環境を表す点群を作成するように構成される。レーザスキャナ６は、物体の表面へのレーザビームの各入射位置までの距離を測定するように飛行時間型レーザ測距器として更に構成される。
【0008】
使用時において、図４に示すように、調査車両４は、道路標示３４が塗装された表面３２を含む道路３０に沿って走行する。プロセッサ１０は、絶対測位装置２０及び相対測位装置２２を使用して測定された位置／姿勢データから何らかの瞬間における車両４の位置及び姿勢を判定し、適切なタイムスタンプと共にデータをメモリ１２に格納する。更に、カメラ４０は、道路表面３２の画像を繰り返し取り込んで複数の道路表面画像を提供し、プロセッサ１０は、各画像にタイムスタンプを付加してメモリ１２に格納する。レーザスキャナ６も同様に、表面３２を繰り返しスキャンして少なくとも複数の測定距離値を提供し、プロセッサは、各距離値にタイムスタンプを付加してメモリ１２に格納する。レーザスキャナ６から取得されるデータの例を図５及び図６に示す。図５は３Ｄビューを示し、図６は側面投影を示す。各写真における色は、道路までの距離を表す。これらの移動マッピング車両から取得された全てのデータを解析し、車両が移動したナビゲート可能ネットワーク（又は道路網）の部分のプランニング地図を作成するために使用することができる。
【0009】
本出願人は、高度に自動化された運転及び完全に自動化された運転の用途に対してそのようなプランニング地図を使用するためには、プランニング地図に対する車両の位置を高精度で認識することが必要であることを認識している。ナビゲーション衛星又は地上ビーコンを使用して装置の現在地を判定する従来技術は、約５～１０メートルの精度で装置の絶対位置を提供する。この絶対位置は、デジタル地図上の対応する位置とマッチングされる。この精度レベルは、殆どの従来の用途には十分であるが、道路網を高速で走行している時でさえデジタル地図に対する位置のサブメートル級の精度が必要とされる次世代の用途には十分な精度ではない。従って、向上された位置決め方法が必要とされる。
【0010】
本出願人は、例えば地図に対する車両の位置を判定する際及び他の状況で使用されてもよい「プランニング地図」を提供するために、デジタル地図に関連付けられた位置特定基準データを生成する向上された方法が必要であることを更に認識している。
【発明の概要】
【0011】
本発明の第１の態様によると、デジタル地図に関連付けられ且つデジタル地図により表されるナビゲート可能ネットワークの少なくとも１つのナビゲート可能要素の周囲の環境の圧縮表現を提供する位置特定基準データを生成する方法であって、デジタル地図により表される少なくとも１つのナビゲート可能要素に対して、
位置特定基準データが基準面に投影されたナビゲート可能要素の周囲の環境を示す少なくとも１つの奥行きマップを含み、前記基準面がナビゲート可能要素に関連する基準線により定義され、少なくとも１つの奥行きマップの各画素がナビゲート可能要素に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを生成することと、
生成された位置特定基準データをデジタル地図データに関連付けることと、
を備える方法が提供される。
位置特定基準データが基準面に投影されたナビゲート可能要素の周囲の環境を示す少なくとも１つの奥行きマップを含み、前記基準面がナビゲート可能要素に関連する基準線により定義され、少なくとも１つの奥行きマップの各画素がナビゲート可能要素に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを生成することと、
生成された位置特定基準データをデジタル地図データに関連付けることと、
を備える方法が提供される。
【0012】
デジタル地図（本発明の本態様又は本実施形態及び他の何らかの態様又は実施形態において）は、例えば道路網の道路であるナビゲート可能ネットワークのナビゲート可能要素を表すデータを含むことが理解されるだろう。
【0013】
本発明の第１の態様によると、位置特定基準データは、デジタル地図により表されるナビゲート可能ネットワークの１つ以上のナビゲート可能要素に関連して生成される。そのようなデータは、地図により表されるナビゲート可能要素のうちの少なくともいくつか及び好ましくは全てに関して生成されてもよい。生成されたデータは、ナビゲート可能要素の周囲の環境の圧縮表現を提供する。これは、ナビゲート可能要素に関して定義される基準線により定義される基準面に投影された要素の周囲の環境を示す少なくとも１つの奥行きマップを使用して達成される。奥行きマップの各画素は、基準面における位置に関連付けられ、基準面における画素の位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを含む。
【0014】
次に、位置特定基準データの少なくとも１つの奥行きマップの種々の特徴を説明する。そのような特徴は、相互に排他的でない限り、本発明の特定の更なる態様又は実施形態において使用されるリアルタイムスキャンデータの少なくとも１つの奥行きマップに代替的に又は追加的に適用されてもよいことが理解されるだろう。
【0015】
ナビゲート可能要素に関連し且つ基準面を定義するために使用される基準線は、ナビゲート可能要素に関して何らかの方法で設定されてもよい。基準線は、ナビゲート可能要素に関連する１つ又は複数の点により定義される。基準線は、ナビゲート可能要素に対して所定の向きを有してもよい。好適な実施形態において、基準線はナビゲート可能要素に対して平行である。これは、ナビゲート可能要素の片側又は両側の横方向環境に関する位置特定基準データ（及び／又はリアルタイムスキャンデータ）を提供するのに適しているだろう。基準線は、ナビゲート可能要素が直線か否かに依存して、線形又は非線形であってもよい。基準線は、例えばナビゲート可能要素との平行性を維持するために、直線部分と例えば湾曲部分である非線形部分とを含んでもよい。いくつかの更なる実施形態において、基準線はナビゲート可能要素に対して平行でなくてもよいことが理解されるだろう。例えば、後述するように、基準線は、例えばナビゲート可能要素上の点であるナビゲート可能要素に関連する点を中心とする半径により定義されてもよい。基準線は円形でもよい。これにより、分岐点の周囲の環境の３６０°表現が提供されてもよい。
【0016】
基準線は、縦方向基準線であるのが好ましく、例えばナビゲート可能要素又はその車線の縁部又は境界、あるいはナビゲート可能要素の中心線であってもよい。その場合、位置特定基準データ（及び／又はリアルタイムスキャンデータ）は、要素の片側又は両側の環境の表現を提供する。基準線は要素上に存在してもよい。
【0017】
実施形態において、ナビゲート可能要素の縁部又は中心線等のナビゲート可能要素の基準線及び関連する奥行き情報が線形基準線にマッピングされてもよいため、ナビゲート可能要素が湾曲している場合でも、基準線は線形であってもよい。そのようなマッピング又は変換は、その内容全体が本明細書に参考として取り入れられる国際公開第ＷＯ２００９／０４５０９６Ａ１号に更に詳細に記載される。
【0018】
基準線により定義される基準面は、ナビゲート可能要素の表面に対して垂直に配向するのが好ましい。本明細書中で使用される基準面は２次元表面を示し、これは湾曲していても湾曲していなくてもよい。
【0019】
基準線がナビゲート可能要素に対して平行な縦方向基準線である場合、各画素の奥行きチャネルは環境内の物体の表面までの横方向距離を表すのが好ましい。
【0020】
各奥行きマップはラスタ画像の形態であってもよい。各奥行きマップは、複数の縦方向位置及び高度に対する環境内の物体の表面から基準面までの所定の方向に沿った距離、すなわち基準面に関連する各画素の位置に対応する距離を表すことが理解されるだろう。奥行きマップは複数の画素を含む。奥行きマップの各画素は、例えばラスタ画像である奥行きマップにおける特定の縦方向位置及び高度に関連付けられる。
【0021】
いくつかの好適な実施形態において、基準面はナビゲート可能要素に対して平行な縦方向基準線により定義され、基準面はナビゲート可能要素の表面に対して垂直に配向する。その場合、各画素は、環境内の物体の表面までの横方向距離を表す奥行きチャネルを含む。
【0022】
好適な実施形態において、少なくとも１つの奥行きマップは、固定の縦方向解像度と可変の垂直解像度及び／又は奥行き解像度とを有してもよい。
【0023】
本発明の第２の態様によると、デジタル地図に関連付けられ且つデジタル地図により表されるナビゲート可能ネットワークの少なくとも１つのナビゲート可能要素の周囲の環境の圧縮表現を提供する位置特定基準データを生成する方法であって、デジタル地図により表される少なくとも１つのナビゲート可能要素に対して、
位置特定基準データが基準面に投影されたナビゲート可能要素の周囲の環境を示す少なくとも１つの奥行きマップを含み、前記基準面がナビゲート可能要素に対して平行な縦方向基準線により定義され且つナビゲート可能要素の表面に対して垂直に配向し、少なくとも１つの奥行きマップの各画素がナビゲート可能要素に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの横方向距離を表す奥行きチャネルを画素が含み、前記少なくとも１つの奥行きマップが固定の縦方向解像度と可変の垂直解像度及び／又は奥行き解像度とを有するのが好ましい位置特定基準データを生成することと、
生成された位置特定基準データをデジタル地図データに関連付けることと、
を備える方法が提供される。
位置特定基準データが基準面に投影されたナビゲート可能要素の周囲の環境を示す少なくとも１つの奥行きマップを含み、前記基準面がナビゲート可能要素に対して平行な縦方向基準線により定義され且つナビゲート可能要素の表面に対して垂直に配向し、少なくとも１つの奥行きマップの各画素がナビゲート可能要素に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの横方向距離を表す奥行きチャネルを画素が含み、前記少なくとも１つの奥行きマップが固定の縦方向解像度と可変の垂直解像度及び／又は奥行き解像度とを有するのが好ましい位置特定基準データを生成することと、
生成された位置特定基準データをデジタル地図データに関連付けることと、
を備える方法が提供される。
【0024】
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。
【0025】
基準線、基準面及び環境が基準面に投影される際に沿う線の向きに関係なく、種々の態様及び実施形態における本発明によると、少なくとも１つの奥行きマップは固定の縦方向解像度と可変の垂直解像度及び／又は奥行き解像度とを有するのが有利である。位置特定基準データ（及び／又はリアルタイムスキャンデータ）の少なくとも１つの奥行きマップは、固定の縦方向解像度と可変の垂直解像度及び／又は奥行き解像度とを有するのが好ましい。可変の垂直解像度及び／又は奥行き解像度は、非線形であるのが好ましい。例えばラスタ画像である奥行きマップにおいて地面に近く且つナビゲート可能要素に近い（従って、車両に近い）部分は、例えばラスタ画像である奥行きマップにおいて地面から遠く且つナビゲート可能要素（従って、車両）から遠い部分より高解像度で示されてもよい。これにより、車両センサによる検出にとって重要度が高い高さ及び奥行きにおける情報密度が最大になる。
【0026】
基準線及び基準面の向き又は種々の方向に沿う奥行きマップの解像度に関係なく、基準面への環境の投影は、要望に応じて選択されてもよい所定の方向に沿う。いくつかの実施形態において、投影は直交投影である。これらの実施形態において、各画素の奥行きチャネルは、基準面に対して垂直な方向に沿った基準面における画素の関連位置から環境内の物体の表面までの距離を表す。従って、奥行きチャネルにより表される距離が横方向距離であるいくつかの実施形態において、横方向距離は基準面に対して垂直な方向に沿う（但し、非直交投影は、奥行きチャネルが横方向距離に関する場合に限定されない）。直交投影の使用は、あらゆる高さ情報が基準線（従って、基準面）からの距離に依存しないという結果が得られるため、いくつかの状況において有利な場合がある。
【0027】
他の実施形態において、非直交投影を使用することが有利な場合があることが判明した。従って、いずれかの態様における本発明のいくつかの実施形態において、相互に排他的でない限り、各画素の奥行きチャネルは、基準面に対して垂直でない方向に沿った基準面における画素の関連位置から環境内の物体の表面までの距離を表す（所定の距離が横方向距離であるか否かに関係なく）。非直交投影の使用は、ナビゲート可能要素に対して垂直に配向する表面に関する情報が保存されるだろうという利点を有する（すなわち、基準線が要素に対して平行である場合に）。これは、画素に関連する追加のデータチャネルを提供する必要なく達成されてもよい。従って、記憶容量の増加を必要とせずに、ナビゲート可能要素の近傍の物体に関する情報が更に効果的且つ詳細に取り込まれるだろう。所定の方向は、基準面に対して４５°等の何らかの所望の方向に沿ってもよい。
【0028】
非直交投影の使用は、暗い状態で車両の１つ又は複数のカメラにより検出されてもよい物体の表面に関するより多くの情報を保存するのに有用であり、従って、基準画像又は基準点群が車両のカメラにより検知されたリアルタイムデータに基づいて取得された画像又は点群と比較される本発明のいくつかの態様及び実施形態と組み合わせた場合に特に有用であることが更に判定している。
【0029】
本発明の更なる一態様によると、デジタル地図に関連付けられ且つデジタル地図により表されるナビゲート可能ネットワークの少なくとも１つのナビゲート可能要素の周囲の環境の圧縮表現を提供する位置特定基準データを生成する方法であって、デジタル地図により表される少なくとも１つのナビゲート可能要素に対して、
位置特定基準データが基準面に投影されたナビゲート可能要素の周囲の環境を示す少なくとも１つの奥行きマップを含み、前記基準面がナビゲート可能要素に対して平行な基準線により定義され、少なくとも１つの奥行きマップの各画素がナビゲート可能要素に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含み、所定の方向が基準面に対して垂直でない位置特定基準データを生成することと、
生成された位置特定基準データをナビゲート可能要素を示すデジタル地図データに関連付けることと、
を備える方法が提供される。
位置特定基準データが基準面に投影されたナビゲート可能要素の周囲の環境を示す少なくとも１つの奥行きマップを含み、前記基準面がナビゲート可能要素に対して平行な基準線により定義され、少なくとも１つの奥行きマップの各画素がナビゲート可能要素に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含み、所定の方向が基準面に対して垂直でない位置特定基準データを生成することと、
生成された位置特定基準データをナビゲート可能要素を示すデジタル地図データに関連付けることと、
を備える方法が提供される。
【0030】
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。
【0031】
いずれかの態様又は実施形態における本発明によると、位置特定基準データ（及び／又はリアルタイムスキャンデータ）は、１つ以上のセンサを使用してナビゲート可能要素の周囲の環境をスキャンすることにより取得されるスキャンデータに基づく。１つ以上のスキャナは、レーザスキャナ、レーダスキャナ、並びに例えば単一のカメラ又は一対のステレオカメラであるカメラのうちの１つ以上を含んでもよい。
【0032】
位置特定基準データ（及び／又はリアルタイムスキャンデータ）の各画素の奥行きチャネルにより表される物体の表面までの距離は、画素の位置から所定の方向に沿った物体の表面までの距離を各々が示す複数の検知データ点のグループに基づいて判定されるのが好ましい。データ点は、ナビゲート可能要素の周囲の環境のスキャンを実行時に取得されてもよい。検知データ点のグループは、１つ以上の種類のセンサから取得されてもよい。しかし、いくつかの好適な実施形態において、検知データ点は、１つ又は複数のレーザスキャナにより検知されたデータ点のグループを含むか又はそれで構成される。換言すると、検知データ点はレーザ測定値を含むか又はそれらで構成される。
【0033】
所与の画素に対する奥行きチャネルの距離値を判定する際に複数の検知データ点の平均を使用することは、誤った結果をもたらす場合があることが判明している。これは、適用可能な所定の方向に沿った基準面からの物体の表面の位置を示し且つ特定の画素にマッピングされると考えられる検知データ点の少なくともいくつかが異なる物体の表面に関連する可能性があるからである。圧縮データ形式のため、環境の延在する領域が基準面における画素の領域にマッピングされる場合があることが理解されるだろう。従って、大量の検知データ、すなわち多数の検知データ点が当該画素に適用可能である場合がある。当該領域内には、基準面に対して異なる奥行きに位置する物体が存在する可能性があり、そのような物体は、樹木、街灯、壁及び移動物体等、いずれかの次元で他の物体と短い距離が重なり合う場合がある物体を含む。従って、特定の画素に適用可能なセンサデータ点により表される物体の表面に対する奥行き値は、かなりの分散を示す場合がある。
【0034】
位置特定基準データ（及び／又はリアルタイムスキャンデータ）の各画素の奥行きチャネルにより表される物体の表面までの距離が画素の位置から所定の方向に沿った物体の表面までの検知距離を各々が示す複数の検知データ点のグループに基づいて判定されるいずれかの態様又は実施形態における本発明によると、画素の奥行きチャネルにより表される距離は、複数の検知データ点のグループに基づく平均値でないのが好ましい。好適な実施形態において、画素の奥行きチャネルにより表される距離は、検知データ点のグループのうち、物体の表面までの最短検知距離であるか、あるいは検知された奥行き値の分布を使用して取得される最短最頻値である。１つ又は複数の検出された最短値は、物体の表面から画素までの奥行きを最も正確に反映する可能性が高いことが理解されるだろう。例えば、樹木が建物と道路との間に位置する場合を考える。特定の画素に適用可能な異なる検知された奥行き値は、建物又は樹木のいずれかの検出に基づくだろう。平均奥行き値を提供するためにこれらの検知値の全てが考慮される場合、平均値は、画素から測定された物体の表面までの奥行きが樹木までの奥行きと建物までの奥行きとの間のいずれかの場所であることを示す。これにより、誤解を招くような値が画素の奥行き値として得られ、リアルタイムの車両検知データを基準データに相関させる際に問題が生じ、更に、道路に対する物体の近接距離を高い信頼性で認識することが非常に重要であるため、これは潜在的に危険である。これに対して、最短奥行き値又は最短最頻値は建物ではなく樹木に関するものである可能性が高く、最も近い物体の実際の位置を反映する。
【0035】
本発明の更なる一態様によると、デジタル地図に関連付けられ且つデジタル地図により表されるナビゲート可能ネットワークの少なくとも１つのナビゲート可能要素の周囲の環境の圧縮表現を提供する位置特定基準データを生成する方法であって、デジタル地図により表される少なくとも１つのナビゲート可能要素に対して、
位置特定基準データが基準面に投影されたナビゲート可能要素の周囲の環境を示す少なくとも１つの奥行きマップを含み、前記基準面がナビゲート可能要素に関連する基準線により定義され、少なくとも１つの奥行きマップの各画素がナビゲート可能要素に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含み、各画素の奥行きチャネルにより表される物体の表面までの距離は、画素の位置から所定の方向に沿った物体の表面までの検知距離を各々が示す複数の検知データ点のグループに基づいて判定され、画素の奥行きチャネルにより表される物体の表面までの距離は、検知されたデータ点のグループに基づく最短距離又は最短最頻距離である特定基準データを生成することと、
生成された位置特定基準データをデジタル地図データに関連付けることと、
を備える方法が提供される。
位置特定基準データが基準面に投影されたナビゲート可能要素の周囲の環境を示す少なくとも１つの奥行きマップを含み、前記基準面がナビゲート可能要素に関連する基準線により定義され、少なくとも１つの奥行きマップの各画素がナビゲート可能要素に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含み、各画素の奥行きチャネルにより表される物体の表面までの距離は、画素の位置から所定の方向に沿った物体の表面までの検知距離を各々が示す複数の検知データ点のグループに基づいて判定され、画素の奥行きチャネルにより表される物体の表面までの距離は、検知されたデータ点のグループに基づく最短距離又は最短最頻距離である特定基準データを生成することと、
生成された位置特定基準データをデジタル地図データに関連付けることと、
を備える方法が提供される。
【0036】
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。
【0037】
いずれかの態様又は実施形態における本発明によると、各画素（位置特定基準データ及び／又はリアルタイムスキャンデータにおける）は、環境内の物体の表面までの距離を表す奥行きチャネルを含む。好適な実施形態において、各画素は１つ以上の更なるチャネルを含む。これにより、１つ以上の更なる情報レイヤを有する奥行きマップが提供されてもよい。各チャネルは、好ましくは複数の検知データ点のグループである１つ以上の検知データ点に基づいて取得された特性の値を示すのが好ましい。検知データは、前述したように１つ以上のセンサから取得されてもよい。好適な実施形態において、特定の画素又は各画素は、所与の種類の検知された反射率の値を示す少なくとも１つのチャネルを含む。各画素は、検知されたレーザ反射率の値を示すチャネル及び検知されたレーダ反射率の値を示すチャネルのうちの１つ以上を含んでもよい。チャネルにより示される画素の検知された反射率値は、画素により表される環境の適用可能部分における検知された反射率に関する。画素の検知された反射率値は、画素の奥行きチャネルにより示される基準面からの画素の奥行きに対応する基準面からの距離の周囲での検知された反射率、すなわち画素の奥行き値の周囲での検知された反射率を示すのが好ましい。その場合、これは、当該奥行きに存在する物体の関連する反射率特性を示すと考えられてもよい。検知された反射率は平均反射率であるのが好ましい。検知された反射率データは、奥行き値を判定するために使用されたのと同じデータ点又はより大きなデータ点セットに関連する反射率に基づいてもよい。例えば、画素に適用可能な検知された奥行き値に関連し、奥行きチャネルに対する奥行き値を判定するのに使用されるのが好ましい最短値以外の反射率が更に考慮されてもよい。
【0038】
このように、例えばラスタ画像であるマルチチャネル奥行きマップが提供される。そのような形式により、ナビゲート可能要素を包囲する環境に関する大量のデータをより効率的に圧縮することができ、格納及び処理が容易になり、異なる条件下で車両により検知されるリアルタイムデータとの向上された相関を実行する能力が提供されるだろう。この場合、車両は、基準位置特定データを生成する際に使用されるのと同じ種類のセンサを必ずしも有する必要はない。以下に更に詳細に説明するように、そのようなデータは、夜間等の特定の条件下で車両により検知されたデータ又は車両のカメラを使用して取得されたナビゲート可能要素の周囲の環境の画像を再構成するのにも役立つだろう。例えばレーダ反射率又はレーザ反射率により、夜間等の特定の条件下で可視である物体が識別できるようになってもよい。
【0039】
本発明の更なる一態様によると、デジタル地図に関連付けられ且つデジタル地図により表されるナビゲート可能ネットワークの少なくとも１つのナビゲート可能要素の周囲の環境の圧縮表現を提供する位置特定基準データを生成する方法であって、デジタル地図により表される少なくとも１つのナビゲート可能要素に対して、
位置特定基準データが基準面に投影されたナビゲート可能要素の周囲の環境を示す少なくとも１つの奥行きマップを含み、前記基準面がナビゲート可能要素に関連する基準線により定義され、少なくとも１つの奥行きマップの各画素がナビゲート可能要素に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含み、各画素が検知されたレーザ反射率の値を示すチャネル及び検知されたレーダ反射率の値を示すチャネルのうちの１つ以上を更に含む位置特定基準データを生成することと、
生成された位置特定基準データをデジタル地図データに関連付けることと、
を備える方法が提供される。
位置特定基準データが基準面に投影されたナビゲート可能要素の周囲の環境を示す少なくとも１つの奥行きマップを含み、前記基準面がナビゲート可能要素に関連する基準線により定義され、少なくとも１つの奥行きマップの各画素がナビゲート可能要素に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含み、各画素が検知されたレーザ反射率の値を示すチャネル及び検知されたレーダ反射率の値を示すチャネルのうちの１つ以上を更に含む位置特定基準データを生成することと、
生成された位置特定基準データをデジタル地図データに関連付けることと、
を備える方法が提供される。
【0040】
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。
【0041】
いずれかの態様又は実施形態における本発明によると、画素に関連する他のチャネルが代替的に又は追加的に使用されてもよい。例えば更なるチャネルは、画素の奥行きチャネルにより示される画素の位置からの基準面から所定の方向に沿った距離の周囲における物体の厚さ、画素の奥行きチャネルにより示される画素の位置からの基準面から所定の方向に沿った距離の周囲における反射データ点の密度、画素の奥行きチャネルにより示される画素の位置からの基準面から所定の方向に沿った距離の周囲における色、並びに画素の奥行きチャネルにより示される画素の位置からの基準面から所定の方向に沿った距離の周囲におけるテクスチャのうちの１つ以上を示してもよい。各チャネルは、関連する特性を示す値を含んでもよい。値は、取得された適用可能なセンサデータに基づき、そのようなセンサデータは、例えば色データ又はテクスチャデータ用のカメラである１つ以上の異なる種類のセンサから適宜取得されてもよい。各値は、複数の検知データ点に基づいてもよく、前記複数の検知データ点からの値の平均であってもよい。
【0042】
奥行きチャネルは、所定の方向に沿った画素の位置における基準面からの物体の距離を示すが、他のチャネルは、例えば物体の反射率、色又はテクスチャである物体の他の特性を示してもよいことが理解されるだろう。これは、車両により検知されたと予想されるスキャンデータ及び／又は車両により撮影されたカメラ画像を再構成するのに有用だろう。物体の厚さを示すデータは、ナビゲート可能要素に対して垂直な物体の表面に関する情報を回復するために使用されてもよく、その場合、基準面への環境の直交投影が使用される。これは、非直交投影を使用して物体のそのような表面に関する情報を判定する上述の実施形態に対する代替手段を提供してもよい。
【0043】
多くの実施形態において、位置特定基準データは、ナビゲート可能要素の片側又は両側の環境の圧縮表現を提供するために、すなわち側部奥行きマップを提供するために使用される。その場合、基準線はナビゲート可能要素に対して平行であってもよく、画素の奥行きチャネルは、基準面からの物体の表面の横方向距離を示す。しかし、奥行きマップの使用は他の状況においても有用であってもよい。本出願人は、例えば交差点である分岐点の領域において円形奥行きマップを提供することが有用であると認識している。これにより、例えば交差点である分岐点に対して車両を位置決めする能力が向上し、あるいは、要望に応じて、例えば交差点である分岐点の周囲の環境を示すデータを再構成する能力が向上する。分岐点の周囲の環境の３６０°表現が提供されるのが好ましいが、奥行きマップは３６０°延在する必要はなく、従って、３６０°未満で延在してもよいことが理解されるだろう。いくつかの実施形態において、基準面は、ナビゲート可能要素に関連する基準点を中心とする半径により定義される基準線により定義される。これらの実施形態において、基準線は湾曲し、円形であるのが好ましい。基準点は、分岐点におけるナビゲート可能区分上に位置するのが好ましい。例えば基準点は、例えば交差点である分岐点の中心に位置してもよい。基準線を定義する半径は、要望に応じて、例えば分岐点のサイズに依存して選択されてもよい。
【0044】
本発明の更なる一態様によると、ナビゲート可能ネットワークの要素を表すデジタル地図に関連付けられ且つデジタル地図により表されるナビゲート可能ネットワークの少なくとも１つの分岐点の周囲の環境の圧縮表現を提供する位置特定基準データを生成する方法であって、デジタル地図により表される少なくとも１つの分岐点に対して、
位置特定基準データが基準面に投影された分岐点の周囲の環境を示す少なくとも１つの奥行きマップを含み、前記基準面が分岐点に関連する基準点を中心とする半径により定義される基準線により定義され、少なくとも１つの奥行きマップの各画素が分岐点に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを生成することと、
生成された位置特定基準データを分岐点を示すデジタル地図データに関連付けることと、
を備える方法が提供される。
位置特定基準データが基準面に投影された分岐点の周囲の環境を示す少なくとも１つの奥行きマップを含み、前記基準面が分岐点に関連する基準点を中心とする半径により定義される基準線により定義され、少なくとも１つの奥行きマップの各画素が分岐点に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを生成することと、
生成された位置特定基準データを分岐点を示すデジタル地図データに関連付けることと、
を備える方法が提供される。
【0045】
前述の実施形態に関連して説明したように、分岐点は交差点であってもよい。基準点は、分岐点の中心に位置してもよい。基準点は、分岐点又は分岐点におけるナビゲート可能要素を表すデジタル地図のノードに関連付けられてもよい。本発明のこれらの更なる態様又は実施形態は、分岐点から離れたナビゲート可能要素の側部の環境を表す側部奥行きマップと組み合わせて使用されてもよい。
【0046】
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。
【0047】
位置特定基準データの生成に関するいずれかの態様又は実施形態における本発明によると、方法は、ナビゲート可能要素又は分岐点に関する生成された位置特定基準データを要素又は分岐点を示すデジタル地図データに関連付けることを備えてもよい。方法は、例えば関連するナビゲート可能要素又は分岐点に関連付けて、デジタル地図データに関連付けられた生成された位置特定データを格納することを備えてもよい。
【0048】
いくつかの実施形態において、位置特定基準データは、例えばナビゲート可能要素の左側及びナビゲート可能要素の右側の横方向環境の基準スキャンである表現を含んでもよい。ナビゲート可能要素の各側に対する位置特定基準データは、複合データセットとして格納されてもよい。従って、ナビゲート可能ネットワークの複数の部分からのデータが効率的なデータ形式で共に格納されてもよい。複合データセットで格納されたデータは圧縮されてもよく、それによりナビゲート可能ネットワークの更に多くの部分に対するデータを同じ記憶容量で格納できる。更に、データ圧縮により、基準スキャンデータが無線ネットワーク接続を介して車両に送信される場合に使用するネットワーク帯域幅を減少できる。しかし、位置特定基準データは必ずしもナビゲート可能要素の両側の横方向環境に関する必要がないことが理解されるだろう。例えば上記の特定の実施形態で説明したように、基準データは分岐点を包囲する環境に関してもよい。
【0049】
本発明は、本発明のいずれかの態様又は実施形態に従って生成された位置特定基準データを格納するデータ製品を更に含む。
【0050】
本発明のそれらの更なる態様又は実施形態のいずれかにおけるデータ製品は、何らかの適切な形態であってもよい。いくつかの実施形態において、データ製品はコンピュータ可読媒体に格納されてもよい。コンピュータ可読媒体は、例えばディスケット、ＣＤ ＲＯＭ、ＲＯＭ、ＲＡＭ、フラッシュメモリ又はハードディスクであってもよい。本発明は、いずれかの態様又は実施形態の本発明に係るデータ製品を備えるコンピュータ可読媒体を含む。
【0051】
そのようなデータの生成に関するいずれかの態様又は実施形態における本発明に従って生成された位置特定基準データは、種々の方法で使用されてもよい。データの使用に関する更なる態様において、基準データを取得するステップは、データを生成することを含んでもよく、あるいは通常はデータを検索することを含む。基準データは、サーバにより生成されるのが好ましい。データを使用するステップは、車両に関連付けられてもよいナビゲーション装置又はそれに類似するもの等の装置により実行されるのが好ましい。
【0052】
いくつかの好適な実施形態において、データは、デジタル地図に対する車両の位置を判定する際に使用される。従って、デジタル地図は、車両が走行しているナビゲート可能要素を表すデータを含む。方法は、ナビゲート可能ネットワークのナビゲート可能要素に沿う車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データを取得することと、少なくとも１つのセンサを使用して車両の周囲の環境をスキャンすることにより、リアルタイムスキャンデータが車両の周囲の環境を示す少なくとも１つの奥行きマップを含み、少なくとも１つの奥行きマップの各画素がナビゲート可能要素に関連する基準面における位置に関連付けられ、少なくとも１つのセンサを使用して判定された基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含むリアルタイムスキャンデータを判定することと、奥行きマップ間の位置合わせオフセットを判定するために、位置特定基準データとリアルタイムスキャンデータとの間の相関を計算することと、見なし現在位置を調整してデジタル地図に対する車両の位置を判定するために、判定された位置合わせオフセットを使用することとを備えてもよい。取得される位置特定基準データは車両が走行しているナビゲート可能要素に関することが理解されるだろう。従って、ナビゲート可能要素の周囲の環境を示す位置特定基準データの奥行きマップは車両の周囲の環境を示す。
【0053】
本発明の更なる一態様によると、車両が走行しているナビゲート可能ネットワークのナビゲート可能要素を表すデータを含むデジタル地図に対する車両の位置を判定する方法であって、
ナビゲート可能ネットワークのナビゲート可能要素に沿う車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データであり、場所基準データが基準面に投影された車両の周囲の環境を示す少なくとも１つの奥行きマップを含み、前記基準面がナビゲート可能要素に関連する基準線により定義され、少なくとも１つの奥行きマップの各画素が、車両が走行しているナビゲート可能要素に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを取得することと、
少なくとも１つのセンサを使用して車両の周囲の環境をスキャンすることにより、リアルタイムスキャンデータが車両の周囲の環境を示す少なくとも１つの奥行きマップを含み、少なくとも１つの奥行きマップの各画素が、車両が走行しているナビゲート可能要素に関連する基準面における位置に関連付けられ、少なくとも１つのセンサを使用して判定された基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含むリアルタイムスキャンデータを判定することと、
奥行きマップ間の位置合わせオフセットを判定するために、位置特定基準データとリアルタイムスキャンデータとの間の相関を計算することと、
見なし現在位置を調整してデジタル地図に対する車両の位置を判定するために、判定された位置合わせオフセットを使用することと、
を備える方法が提供される。
ナビゲート可能ネットワークのナビゲート可能要素に沿う車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データであり、場所基準データが基準面に投影された車両の周囲の環境を示す少なくとも１つの奥行きマップを含み、前記基準面がナビゲート可能要素に関連する基準線により定義され、少なくとも１つの奥行きマップの各画素が、車両が走行しているナビゲート可能要素に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを取得することと、
少なくとも１つのセンサを使用して車両の周囲の環境をスキャンすることにより、リアルタイムスキャンデータが車両の周囲の環境を示す少なくとも１つの奥行きマップを含み、少なくとも１つの奥行きマップの各画素が、車両が走行しているナビゲート可能要素に関連する基準面における位置に関連付けられ、少なくとも１つのセンサを使用して判定された基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含むリアルタイムスキャンデータを判定することと、
奥行きマップ間の位置合わせオフセットを判定するために、位置特定基準データとリアルタイムスキャンデータとの間の相関を計算することと、
見なし現在位置を調整してデジタル地図に対する車両の位置を判定するために、判定された位置合わせオフセットを使用することと、
を備える方法が提供される。
【0054】
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。
【0055】
車両の位置を判定する際の位置特定基準データ及びリアルタイムスキャンデータの使用に関する本発明の更なる態様及び実施形態において、車両の現在位置は縦方向位置であってもよい。リアルタイムスキャンデータは、車両の周囲の横方向環境に関してもよい。その場合、位置特定基準データ及び／又はリアルタイムスキャンデータに対する奥行きマップは、ナビゲート可能要素に対して平行な基準線により定義され、環境内の物体の表面までの横方向距離を表す奥行きチャネルを含む。その場合、判定されたオフセットは縦方向オフセットであってもよい。
【0056】
本発明の更なる一態様によると、車両が走行している分岐点を表すデータを含むデジタル地図に対する車両の位置を判定する方法であって、
ナビゲート可能ネットワークにおける車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データであり、場所基準データが基準面に投影された車両の周囲の環境を示す少なくとも１つの奥行きマップを含み、前記基準面が分岐点に関連する基準点を中心とする半径により定義される基準線により定義され、少なくとも１つの奥行きマップの各画素が、車両が走行している分岐点に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを取得することと、
少なくとも１つのセンサを使用して車両の周囲の環境をスキャンすることにより、リアルタイムスキャンデータが車両の周囲の環境を示す少なくとも１つの奥行きマップを含み、少なくとも１つの奥行きマップの各画素が分岐点に関連する基準面における位置に関連付けられ、少なくとも１つのセンサを使用して判定された基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含むリアルタイムスキャンデータを判定することと、
奥行きマップ間の位置合わせオフセットを判定するために、位置特定基準データとリアルタイムスキャンデータとの間の相関を計算することと、
見なし現在位置を調整してデジタル地図に対する車両の位置を判定するために、判定された位置合わせオフセットを使用することと、
を備える方法が提供される。
ナビゲート可能ネットワークにおける車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データであり、場所基準データが基準面に投影された車両の周囲の環境を示す少なくとも１つの奥行きマップを含み、前記基準面が分岐点に関連する基準点を中心とする半径により定義される基準線により定義され、少なくとも１つの奥行きマップの各画素が、車両が走行している分岐点に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを取得することと、
少なくとも１つのセンサを使用して車両の周囲の環境をスキャンすることにより、リアルタイムスキャンデータが車両の周囲の環境を示す少なくとも１つの奥行きマップを含み、少なくとも１つの奥行きマップの各画素が分岐点に関連する基準面における位置に関連付けられ、少なくとも１つのセンサを使用して判定された基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含むリアルタイムスキャンデータを判定することと、
奥行きマップ間の位置合わせオフセットを判定するために、位置特定基準データとリアルタイムスキャンデータとの間の相関を計算することと、
見なし現在位置を調整してデジタル地図に対する車両の位置を判定するために、判定された位置合わせオフセットを使用することと、
を備える方法が提供される。
【0057】
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。
【0058】
本発明の別の態様によると、車両が走行しているナビゲート可能ネットワークのナビゲート可能要素を表すデータを含むデジタル地図に対する車両の位置を判定する方法であって、
ナビゲート可能ネットワークのナビゲート可能要素に沿う車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データであり、場所基準データが車両の周囲の環境を示す少なくとも１つの奥行きマップを含み、少なくとも１つの奥行きマップの各画素がナビゲート可能要素に関連する基準面における位置に関連付けられ、前記基準面がナビゲート可能要素に対して平行な縦方向基準線により定義され且つナビゲート可能要素の表面に対して垂直に配向し、各画素が環境内の物体の表面までの横方向距離を表す奥行きチャネルを含み、オプションで、前記少なくとも１つの奥行きマップが固定の縦方向解像度と可変の垂直解像度及び／又は奥行き解像度とを有する位置特定基準データを取得することと、
少なくとも１つのセンサを使用して車両の周囲の環境をスキャンすることにより、センサデータを取得することと、
センサデータを使用して、リアルタイムスキャンデータが車両の周囲の環境を示す少なくとも１つの奥行きマップを含み、少なくとも１つの奥行きマップの各画素がナビゲート可能要素に関連する基準面における位置に関連付けられ、各画素がセンサデータから判定された環境内の物体の表面までの横方向距離を表す奥行きチャネルを含み、オプションで、前記少なくとも１つの奥行きマップが固定の縦方向解像度と可変の垂直解像度及び／又は奥行き解像度とを有するリアルタイムスキャンデータを判定することと、
奥行きマップ間の位置合わせオフセットを判定するために、位置特定基準データとリアルタイムスキャンデータとの間の相関を計算することと、
見なし現在位置を調整してデジタル地図に対する車両の位置を判定するために、判定された位置合わせオフセットを使用することと、
を備える方法が提供される。
ナビゲート可能ネットワークのナビゲート可能要素に沿う車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データであり、場所基準データが車両の周囲の環境を示す少なくとも１つの奥行きマップを含み、少なくとも１つの奥行きマップの各画素がナビゲート可能要素に関連する基準面における位置に関連付けられ、前記基準面がナビゲート可能要素に対して平行な縦方向基準線により定義され且つナビゲート可能要素の表面に対して垂直に配向し、各画素が環境内の物体の表面までの横方向距離を表す奥行きチャネルを含み、オプションで、前記少なくとも１つの奥行きマップが固定の縦方向解像度と可変の垂直解像度及び／又は奥行き解像度とを有する位置特定基準データを取得することと、
少なくとも１つのセンサを使用して車両の周囲の環境をスキャンすることにより、センサデータを取得することと、
センサデータを使用して、リアルタイムスキャンデータが車両の周囲の環境を示す少なくとも１つの奥行きマップを含み、少なくとも１つの奥行きマップの各画素がナビゲート可能要素に関連する基準面における位置に関連付けられ、各画素がセンサデータから判定された環境内の物体の表面までの横方向距離を表す奥行きチャネルを含み、オプションで、前記少なくとも１つの奥行きマップが固定の縦方向解像度と可変の垂直解像度及び／又は奥行き解像度とを有するリアルタイムスキャンデータを判定することと、
奥行きマップ間の位置合わせオフセットを判定するために、位置特定基準データとリアルタイムスキャンデータとの間の相関を計算することと、
見なし現在位置を調整してデジタル地図に対する車両の位置を判定するために、判定された位置合わせオフセットを使用することと、
を備える方法が提供される。
【0059】
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。
【0060】
位置特定された基準データの使用に関する本発明の更なる態様において、データは、本発明の前述の態様のいずれかに従って生成されてもよい。車両の位置又は別のものを判定する際に使用されるリアルタイムスキャンデータは、位置特定基準データに対応する形式である必要がある。従って、判定された奥行きマップは、リアルタイムスキャンデータ及び位置特定された基準データを互いに相関させられるように、位置特定された基準データと同じ方法でナビゲート可能要素に関連する基準線に関して定義される基準面における位置を有する画素を含む。奥行きマップの奥行きチャネルデータは、例えば検知データの平均を使用せずに、基準データの方法に対応する方法で判定されてもよく、従って、複数の検知データ点から表面までの最短距離を含んでもよい。リアルタイムスキャンデータは、何らかの更なるチャネルを含んでもよい。位置特定基準データの奥行きマップが固定の縦方向解像度と可変の垂直解像度及び／又は奥行き解像度とを有する場合、リアルタイムスキャンデータの奥行きマップもそのような解像度を有してもよい。
【0061】
従って、本発明のこれらの態様又は実施形態によると、車両が走行しているナビゲート可能ネットワーク（例えば、道路網）のナビゲート可能要素（例えば、道路）を表すデータを含むデジタル地図に対する車両の位置を継続的に判定する方法が提供される。方法は、車両の周囲の環境をスキャンすることにより取得されるリアルタイムスキャンデータを受信することと、デジタル地図に関連する車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データ（例えば、位置特定基準データは、見なし現在位置の周囲の環境の基準スキャンを含む）であり、オプションで、前記基準スキャンが経路に沿って以前に移動した少なくとも１つの装置からデジタル地図全体にわたり取得されている位置特定基準データを検索することと、リアルタイムスキャンデータと位置特定基準データとの間のオフセットを判定するために、リアルタイムスキャンデータと位置特定基準データとを比較することと、前記オフセットに基づいて見なし現在位置を調整することとを備える。従って、デジタル地図に対する車両の位置を常に高精度で認識することができる。従来技術における例は、収集されたデータと経路沿いの所定の目印に対する既知の基準データとを比較することにより車両の位置を判定しようとした。しかし、目印は多くの経路上にまばらに分布している場合があり、その結果、目印間を移動時の車両の位置の推定に重大な誤差が生じる。これは、高度に自動化された運転システム等の状況において問題であり、そのような誤差は車両衝突事故等の致命的結果を引き起こし、重傷又は死亡につながる可能性がある。少なくとも特定の態様において、本発明は、デジタル地図全体にわたる基準スキャンデータを有すること及び車両の周囲の環境をリアルタイムにスキャンすることにより、本問題を解決する。このように、本発明は、デジタル地図に対する車両の位置が常に高精度で認識されるように、リアルタイムスキャンデータと基準データとを比較できるようにしてもよい。
【0062】
本発明の更なる一態様によると、車両が走行しているナビゲート可能ネットワークのナビゲート可能要素を表すデータを含むデジタル地図に対する車両の縦方向位置を判定する方法であって、
ナビゲート可能ネットワークのナビゲート可能要素に沿う車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データであり、場所基準データが基準面に投影された車両の周囲の環境内の物体の輪郭を含み、前記基準面がナビゲート可能要素に対して平行な縦方向基準線により定義され且つナビゲート可能要素の表面に対して垂直に配向する位置特定基準データを取得することと、
少なくとも１つのセンサを使用して車両の周囲の環境をスキャンすることにより、センサデータを取得することと、
センサデータを使用して、センサデータから判定された基準面に投影された車両の周囲の環境内の物体の輪郭を含むリアルタイムスキャンデータを判定することと、
縦方向位置合わせオフセットを判定するために、位置特定基準データとリアルタイムスキャンデータとの間の相関を計算することと、
見なし現在位置を調整してデジタル地図に対する車両の縦方向位置を判定するために、判定された位置合わせオフセットを使用することと、
を備える方法が提供される。
ナビゲート可能ネットワークのナビゲート可能要素に沿う車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データであり、場所基準データが基準面に投影された車両の周囲の環境内の物体の輪郭を含み、前記基準面がナビゲート可能要素に対して平行な縦方向基準線により定義され且つナビゲート可能要素の表面に対して垂直に配向する位置特定基準データを取得することと、
少なくとも１つのセンサを使用して車両の周囲の環境をスキャンすることにより、センサデータを取得することと、
センサデータを使用して、センサデータから判定された基準面に投影された車両の周囲の環境内の物体の輪郭を含むリアルタイムスキャンデータを判定することと、
縦方向位置合わせオフセットを判定するために、位置特定基準データとリアルタイムスキャンデータとの間の相関を計算することと、
見なし現在位置を調整してデジタル地図に対する車両の縦方向位置を判定するために、判定された位置合わせオフセットを使用することと、
を備える方法が提供される。
【0063】
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。
【0064】
場所基準データは、基準面に投影された車両の周囲の環境内の物体の輪郭が既に判定されているように、例えば関連するナビゲート可能要素に関連付けられたデジタル地図に関連付けて格納されてもよい。しかし、他の実施形態において、場所基準データを異なる形式で格納することができ、格納されたデータは輪郭を判定するために処理される。例えば実施形態において、本発明の前述した態様と同様に、場所基準データは例えばラスタ画像である１つ以上の奥行きマップを含み、各奥行きマップは複数の縦方向位置及び高度に対する環境内の表面までの横方向距離を表す。奥行きマップは、前述したいずれかの態様及び実施形態に従ってもよい。換言すると、場所基準データは、車両の周囲の環境を示す例えばラスタ画像である少なくとも１つの奥行きマップを含み、少なくとも１つの奥行きマップの各画素は基準面における位置に関連付けられ、各画素は、環境内の物体の表面までの例えば基準面に対して垂直な横方向距離を表すチャネルを含む。そのような実施形態において、例えばラスタ画像である関連する奥行きマップは、環境内の物体の輪郭を生成するためにエッジ検出アルゴリズムを使用して処理される。エッジ検出アルゴリズムは、Ｃａｎｎｙ演算子及びＰｒｅｗｉｔｔ演算子等を含むことができる。しかし、好適な実施形態において、エッジ検出はＳｏｂｅｌ演算子を使用して実行される。エッジ検出演算子は、高さ（又は高度）領域及び縦方向領域の双方又は前記領域の一方のみで適用可能である。例えば好適な一実施形態において、エッジ検出演算子は縦方向領域のみで適用される。
【0065】
同様に、基準面に投影された車両の周囲の環境内の物体の輪郭は、少なくとも１つのセンサにより取得されるセンサデータから直接判定可能である。あるいは、他の実施形態において、複数の縦方向位置及び高度に対する環境内の表面までの横方向距離を各々が表す例えばラスタ画像である１つ以上の奥行きマップを判定するために、センサデータを使用できる。換言すると、リアルタイムスキャンデータは、車両の周囲の環境を示す例えばラスタ画像である少なくとも１つの奥行きマップを含み、少なくとも１つの奥行きマップの各画素は基準面における位置に関連付けられ、各画素は、少なくとも１つのセンサを使用して判定された環境内の物体の表面までの例えば基準面に対して垂直な横方向距離を表すチャネルを含む。その場合、リアルタイムスキャンデータの輪郭を判定するために、好ましくは場所基準データに適用されたのと同じエッジ検出アルゴリズムを使用して、例えばラスタ画像である関連する奥行きマップを処理できる。エッジ検出演算子は、高さ（又は高度）領域及び縦方向領域の双方又は前記領域の一方のみで適用可能である。例えば好適な一実施形態において、エッジ検出演算子は縦方向領域のみで適用される。
【0066】
実施形態において、２つのデータセットが相関される前に、ぼかし演算子が位置特定基準データ及びリアルタイムスキャンデータのうちの一方の輪郭に適用される。ぼかし演算は、高さ（又は高度）領域及び縦方向領域の双方又は前記領域の一方のみで適用可能である。例えば好適な一実施形態において、ぼかし演算子は高さ領域のみで適用される。ぼかし演算は、リアルタイムスキャンデータ及び／又は位置特定基準データを取得する間に車両の何らかの傾きを考慮することができ、それにより、例えば輪郭は高さ領域において僅かに上方又は下方にシフトされる。
【0067】
いずれかの態様又は実施形態の本発明によると、車両の例えば見なし縦方向現在位置は、少なくとも最初に、ＧＰＳ、ＧＬＯＮＡＳＳ、欧州のガリレオ測位システム、ＣＯＭＰＡＳＳ測位システム又はＩＲＮＳＳ（インド地域航法衛生システム）等の衛星ナビゲーション装置等の絶対測位システムから取得可能である。しかし、移動体通信又はサーフェスビーコン等の使用等、他の場所判定手段が使用可能であることが理解されるだろう。
【0068】
デジタル地図は、例えば道路であるナビゲート可能要素の各車線が別個に表される例えば道路網の道路であるナビゲート可能ネットワークのナビゲート可能要素を表す３次元ベクトルモデルを含んでもよい。従って、道路上の車両の横方向位置は、例えば車両に取り付けられたカメラの画像処理により車両が走行している車線を判定することにより認識されてもよい。そのような実施形態において、縦方向基準線は、例えば、ナビゲート可能要素の車線の縁部又は境界、あるいはナビゲート可能要素の車線の中心線であり得る。
【0069】
リアルタイムスキャンデータは、車両の左側及び車両の右側で取得されてもよい。これは、位置推定に対する一時的特徴の影響を軽減するのに役立つ。そのような一時的特徴は、例えば駐車車両、追い越し車両又は同じ経路を反対方向に走行している車両であってもよい。従って、リアルタイムスキャンデータは、車両の両側に存在する特徴を記録できる。いくつかの実施形態において、リアルタイムスキャンデータは、車両の左側又は車両の右側のいずれかから取得されてもよい。
【0070】
位置特定基準データ及びリアルタイムスキャンデータがそれぞれ車両の左側及び右側に関する実施形態において、車両の左側からのリアルタイムスキャンデータとナビゲート可能要素の左側からの位置特定基準データとの比較及び車両の右側からのリアルタイムスキャンデータとナビゲート可能要素の右側からの位置特定基準データとの比較は単一の比較であってもよい。従って、スキャンデータがナビゲート可能要素の左側からのデータとナビゲート可能要素の右側からのデータとを含む場合、スキャンデータは単一のデータセットとして比較されてもよく、ナビゲート可能要素の左側に対する比較とナビゲート可能要素の右側に対する比較とが別個に実行される場合と比較して、処理要件が大幅に減少する。
【0071】
車両の左側に関するか又は右側に関するかに関係なく、リアルタイムスキャンデータと位置特定基準データとを比較することは、リアルタイムスキャンデータと位置特定基準データとの間の相互相関であり好ましくは正規化相互相関を計算することを含んでもよい。方法は、データセットが最も位置合わせされる位置を判定することを含んでもよい。判定される奥行きマップ間の位置合わせフセットは少なくとも縦方向位置合わせオフセットであり、データセットが最も位置合わせされる位置は縦方向位置であるのが好ましい。データセットが最も位置合わせされる縦方向位置を判定するステップは、奥行きマップが位置合わせされるまで、リアルタイムスキャンデータに基づく奥行きマップにより提供される例えばラスタ画像である奥行きマップと位置特定基準データに基づく奥行きマップにより提供される例えばラスタ画像である奥行きマップとを互いに対して縦方向にシフトすることを含んでもよい。これは、画像領域において実行されてもよい。
【0072】
判定された縦方向位置合わせオフセットは、見なし現在位置を調整してデジタル地図に対する車両の縦方向位置を調整するために使用される。
【0073】
奥行きマップ間の縦方向位置合わせオフセットを判定する代わりに又は好ましくはそれに加えて、奥行きマップ間の横方向位置合わせオフセットを判定することが望ましい。その場合、判定された横方向位置合わせオフセットは、車両の見なし横方向現在位置を調整し、従ってデジタル地図に対する車両の位置を判定するために使用されてもよい。縦方向位置合わせオフセットが判定され、横方向位置合わせオフセットが更に判定されるのが好ましい。縦方向位置合わせオフセットの判定は、上述した方法のいずれかで実行されてもよい。判定された横方向位置合わせオフセット及び縦方向位置合わせオフセットを共に使用して、デジタル地図に対する車両の縦方向位置及び横方向位置の双方を調整する。
【0074】
方法は、例えば位置特定基準データとリアルタイムスキャンデータとの間の相関を計算することにより、奥行きマップ間の縦方向位置合わせオフセットを判定することを備えてもよく、奥行きマップ間の横方向オフセットを判定することと、見なし現在位置を調整してデジタル地図に対する車両の位置を判定するために、判定された横方向位置合わせオフセット及び縦方向位置合わせオフセットを使用することとを更に備えてもよい。
【0075】
縦方向位置合わせオフセットは、横方向位置合わせオフセットの前に判定されるのが好ましい。後述する特定の実施形態によると、横方向位置合わせオフセットは、最初に奥行きマップ間の縦方向オフセットを判定し、オフセットに基づいて奥行きマップを互いに対して縦方向に位置合わせすること基づいて判定されてもよい。
【0076】
横方向オフセットは、奥行きマップの対応する画素間の最も頻度の高い横方向オフセット、すなわち最頻横方向オフセットに基づいて判定されるのが好ましい。
【0077】
本発明の更なる一態様によると、車両が走行しているナビゲート可能ネットワークのナビゲート可能要素を表すデータを含むデジタル地図に対する車両の位置を判定する方法であって、
ナビゲート可能ネットワークのナビゲート可能要素に沿う車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データであり、場所基準データが基準面に投影された車両の周囲の環境を示す少なくとも１つの奥行きマップを含み、基準面がナビゲート可能要素に関連する基準線により定義され、少なくとも１つの奥行きマップの各画素が、車両が走行しているナビゲート可能要素に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを取得することと、
少なくとも１つのセンサを使用して車両の周囲の環境をスキャンすることにより、リアルタイムスキャンデータが車両の周囲の環境を示す少なくとも１つの奥行きマップを含み、少なくとも１つの奥行きマップの各画素がナビゲート可能要素に関連する基準面における位置に関連付けられ、少なくとも１つのセンサを使用して判定された基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含むリアルタイムスキャンデータを判定することと、
位置特定基準データとリアルタイムスキャンデータとの間の相関を計算することにより、位置特定基準データの奥行きマップとリアルタイムスキャンデータの奥行きマップとの間の縦方向位置合わせオフセットを判定することと、
奥行きマップの対応する画素間の最も頻度の高い横方向オフセットに基づく奥行きマップ間の横方向位置合わせオフセットを判定することと、
見なし現在位置を調整してデジタル地図に対する車両の位置を判定するために、判定された縦方向位置合わせオフセット及び横方向位置合わせオフセットを使用することと、
を備える方法が提供される。
ナビゲート可能ネットワークのナビゲート可能要素に沿う車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データであり、場所基準データが基準面に投影された車両の周囲の環境を示す少なくとも１つの奥行きマップを含み、基準面がナビゲート可能要素に関連する基準線により定義され、少なくとも１つの奥行きマップの各画素が、車両が走行しているナビゲート可能要素に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを取得することと、
少なくとも１つのセンサを使用して車両の周囲の環境をスキャンすることにより、リアルタイムスキャンデータが車両の周囲の環境を示す少なくとも１つの奥行きマップを含み、少なくとも１つの奥行きマップの各画素がナビゲート可能要素に関連する基準面における位置に関連付けられ、少なくとも１つのセンサを使用して判定された基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含むリアルタイムスキャンデータを判定することと、
位置特定基準データとリアルタイムスキャンデータとの間の相関を計算することにより、位置特定基準データの奥行きマップとリアルタイムスキャンデータの奥行きマップとの間の縦方向位置合わせオフセットを判定することと、
奥行きマップの対応する画素間の最も頻度の高い横方向オフセットに基づく奥行きマップ間の横方向位置合わせオフセットを判定することと、
見なし現在位置を調整してデジタル地図に対する車両の位置を判定するために、判定された縦方向位置合わせオフセット及び横方向位置合わせオフセットを使用することと、
を備える方法が提供される。
【0078】
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。
【0079】
横方向位置合わせオフセットが判定される本発明のこれらの態様及び実施形態によると、最も頻度の高い横方向位置合わせオフセットは、奥行きマップの対応する画素の奥行きチャネルデータを考慮することにより判定されてもよい。最も頻度の高い横方向位置合わせオフセットは、奥行きマップの対応して位置する画素の各対の間で判定された横方向位置合わせオフセットに基づき、各対応画素対の横方向位置合わせオフセットに基づくのが好ましい。奥行きマップの対応する画素間の横方向位置合わせオフセットを判定するために、奥行きマップ内の対応画素対を識別する必要がある。方法は、奥行きマップ内の対応画素対を識別することを含んでもよい。縦方向位置合わせオフセットは、横方向位置合わせオフセットの前に判定されるのが好ましい。奥行きマップは、各奥行きマップ内の対応する画素を識別できるように縦方向に位置合わせされるまで、互いに対してシフトされるのが望ましい。
【0080】
従って、方法は、判定された縦方向位置合わせオフセットに基づいて、奥行きマップを互いに対して縦方向に位置合わせすることを更に備えてもよい。奥行きマップを互いに対して縦方向に位置合わせするステップは、奥行きマップの一方又は双方を縦方向にシフトすることを備えてもよい。奥行きマップを互いに対して縦方向にシフトすることは、画像領域において実行されてもよい。従って、奥行きマップを位置合わせするステップは、各奥行きマップに対応するラスタ画像を互いに対して縦方向にシフトすることを備えてもよい。方法は、リアルタイムスキャンデータの奥行きマップにより提供される画像のサイズに対応するように、位置特定基準データの奥行きマップにより提供される画像のサイズをトリミングすることを更に備えてもよい。これにより、奥行きマップ間の比較が容易になる場合がある。
【0081】
２つの奥行きマップにおける対応する画素が識別されると、各対応画素対の間の横方向オフセットが判定されてもよい。これは、各画素に関連する奥行きチャネルデータにより示される基準面における画素の位置から所定の方向に沿う環境内の物体の表面までの距離を比較することにより達成されてもよい。上述したように、奥行きマップは、可変の奥行き分解能を有するのが好ましい。各対応画素対の間の横方向位置合わせオフセットは、画素の奥行きチャネルデータにより示される距離の差分に基づいてもよい。方法は、奥行きマップの対応する画素間の最も頻度が高い横方向位置合わせオフセットを識別するためにヒストグラムを使用することを備えてもよい。ヒストグラムは、対応画素対間の異なる横方向位置合わせオフセットの発生頻度を示してもよい。ヒストグラムは横方向位置合わせシフトの確率密度関数を示してもよく、最頻値は最も可能性の高いシフトを反映する。
【0082】
いくつかの実施形態において、各画素は、画素の奥行きチャネルの値を示す色を有する。その場合、対応する画素の奥行き値の比較は、奥行きマップの対応する画素の色を比較することを含んでもよい。例えば奥行きマップが固定の奥行き解像度を有する場合、対応する画素間の色の差異は画素間の横方向位置合わせオフセットを示してもよい。
【0083】
横方向位置合わせオフセットが判定されるこれらの実施形態において、デジタル地図に対する車両の縦方向現在位置及び横方向現在位置が調整されてもよい。
【0084】
車両の現在位置が調整される本発明のいずれかの態様又は実施形態によると、縦方向位置及び／又は横方向位置であるかに関係なく、調整される現在位置は、上述したような絶対位置判定システム又は他の場所判定システムの形態等の何らかの適切な方法で取得される現在位置の推定値であってもよい。例えば、ＧＰＳ又は推測航法が使用されてもよい。絶対位置は、デジタル地図に対する初期位置を判定するためにデジタル地図とマッチングされるのが好ましく、その後、デジタル地図に対する位置を向上するために、縦方向及び／又は横方向の補正が初期位置に適用されることが理解されるだろう。
【0085】
本出願人は、上述した技術はデジタル地図に対して車両の位置を調整するのに有用である場合があるが、車両の進行方向を補正しないことを認識している。好適な実施形態において、方法は、車両の見なし進行方向を調整するために、位置特定基準データの奥行きマップ及びリアルタイムスキャンデータの奥行きマップを使用することを更に備える。この更なるステップは、上述した実施形態のいずれかに従って奥行きマップの縦方向位置合わせオフセット及び横方向位置合わせオフセットを判定することに加えて実行されるのが好ましい。これらの実施形態において、車両の見なし進行方向は、車両の見なし位置の判定に関連して説明したように、例えばＧＰＳデータ等を使用して、何らかの適切な方法で判定されてもよい。
【0086】
車両の見なし進行方向が不正確である場合、奥行きマップの対応する画素間の横方向位置合わせオフセットは、奥行きマップに沿って、すなわち奥行きマップ画像に沿って縦方向に変化することが判明した。進行方向オフセットは、奥行きマップに沿う縦方向位置に対する奥行きマップの対応する画素間の横方向位置合わせオフセットの変動を示す関数に基づいて判定されてもよいことが判明した。進行方向オフセットを判定するステップは、対応する画素の横方向位置合わせオフセットを判定することに関連して前述した特徴のうちのいずれかを組み込んでもよい。従って、方法は、奥行きマップを縦方向に位置合わせするように奥行きマップを互いに対してシフトすることを最初に備えるのが好ましい。
【0087】
従って、方法は、奥行きマップ間の縦方向位置合わせオフセットを判定することと、奥行きマップに沿った画素の縦方向位置に対する奥行きマップの対応する画素間の横方向位置合わせオフセットの変動を示す関数を判定することと、車両の見なし現在進行方向を調整してデジタル地図に対する車両の進行方向を判定するために、判定された関数を使用することとを更に備えてもよい。
【0088】
対応する画素間の判定された横方向位置合わせオフセットは、上述したように、例えば画素の色を参照することにより、画素の奥行きチャネルデータにより示される値の差分に基づくのが好ましい。
【0089】
これらの態様又は実施形態において、判定された関数は車両の進行方向オフセットを示す。
【0090】
縦方向位置との横方向位置合わせオフセットの変動を示す関数を判定するステップは、奥行きマップの縦方向に沿った奥行きマップ全体にわたる複数の垂直断面の各々における奥行きマップの対応する画素の平均（ａｖｅｒａｇｅ）（すなわち、平均（ｍｅａｎ））横方向位置合わせオフセットを判定することを備えてもよい。その場合、関数は、奥行きマップの縦方向に沿う各垂直断面に対して判定された平均横方向位置合わせオフセットの変動に基づいて取得されてもよい。奥行きマップ内の対応画素対の少なくともいくつか及びオプションでそれらの各々が関数を判定する際に考慮されることが理解されるだろう。
【0091】
本発明の更なる一態様によると、車両が走行しているナビゲート可能ネットワークのナビゲート可能要素を表すデータを含むデジタル地図に対する車両の位置を判定する方法であって、
ナビゲート可能ネットワークのナビゲート可能要素に沿う車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データであり、場所基準データが基準面に投影された車両の周囲の環境を示す少なくとも１つの奥行きマップを含み、基準面がナビゲート可能要素に関連する基準線により定義され、少なくとも１つの奥行きマップの各画素が、車両が走行しているナビゲート可能要素に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを取得することと、
少なくとも１つのセンサを使用して車両の周囲の環境をスキャンすることにより、リアルタイムスキャンデータが車両の周囲の環境を示す少なくとも１つの奥行きマップを含み、少なくとも１つの奥行きマップの各画素がナビゲート可能要素に関連する基準面における位置に関連付けられ、少なくとも１つのセンサを使用して判定された基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含むリアルタイムスキャンデータを判定することと、
奥行きマップに沿った画素の縦方向位置に対する位置特定基準データの奥行きマップ及びリアルタイムセンサデータの奥行きマップの対応する画素間の横方向位置合わせオフセットの変動を示す関数を判定することと、
車両の現在の見なし進行方向を調整してデジタル地図に対する車両の進行方向を判定するために、判定された関数を使用することと、
を備える方法が提供される。
ナビゲート可能ネットワークのナビゲート可能要素に沿う車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データであり、場所基準データが基準面に投影された車両の周囲の環境を示す少なくとも１つの奥行きマップを含み、基準面がナビゲート可能要素に関連する基準線により定義され、少なくとも１つの奥行きマップの各画素が、車両が走行しているナビゲート可能要素に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを取得することと、
少なくとも１つのセンサを使用して車両の周囲の環境をスキャンすることにより、リアルタイムスキャンデータが車両の周囲の環境を示す少なくとも１つの奥行きマップを含み、少なくとも１つの奥行きマップの各画素がナビゲート可能要素に関連する基準面における位置に関連付けられ、少なくとも１つのセンサを使用して判定された基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含むリアルタイムスキャンデータを判定することと、
奥行きマップに沿った画素の縦方向位置に対する位置特定基準データの奥行きマップ及びリアルタイムセンサデータの奥行きマップの対応する画素間の横方向位置合わせオフセットの変動を示す関数を判定することと、
車両の現在の見なし進行方向を調整してデジタル地図に対する車両の進行方向を判定するために、判定された関数を使用することと、
を備える方法が提供される。
【0092】
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。
【0093】
本発明のこれらの態様及び実施形態において、判定された進行方向オフセットを向上するために、例えばノイズの多い画素を除去することにより、あるいは奥行きマップ又は画像の縦断面内の平均画素奥行き差分値に当該断面において考慮される有効画素の数を参照して重み付けすることにより、更なるステップが実行されてもよい。
【0094】
上述したように、位置特定基準データの奥行きマップ及びリアルタイムデータの奥行きマップは、常に線形基準線に関連付けられるように変換可能である。奥行きマップのこの線形化のため、ナビゲート可能要素が湾曲している場合、判定された縦方向、横方向及び／又は進行方向の補正を直接適用できないことが判明した。本出願人は、デジタル地図に対する車両の現在位置を調整又は補正する計算効率のよい方法が、一連の漸進的な独立した線形更新ステップにおいて各補正を適用することを含むことを確認した。
【0095】
従って、好適な実施形態において、判定された縦方向オフセットはデジタル地図に対する車両の現在位置に適用され、リアルタイムスキャンデータの少なくとも１つの奥行きマップは調整された位置に基づいて再計算される。その後、再計算されたリアルタイムスキャンデータを使用して判定された横方向オフセットがデジタル地図に対する車両の調整された位置に適用され、更に調整された位置に基づいて、リアルタイムスキャンデータの少なくとも１つの奥行きマップが再計算される。次に、再計算されたリアルタイムスキャンデータを使用して判定された傾き、すなわち進行方向オフセットがデジタル地図に対する車両の更に調整された位置に適用され、再度調整された位置に基づいて、リアルタイムスキャンデータの少なくとも１つの奥行きマップが再計算される。これらのステップは、縦方向オフセット、横方向オフセット及び傾きがゼロ又は略ゼロになるまで、必要な回数繰り返されるのが好ましい。
【0096】
いずれかの態様又は実施形態における本発明に従って取得された生成された位置特定基準データは、車両のより正確な位置を判定するために又は実際は他の目的で、リアルタイムスキャンデータと共に他の方法で使用されてもよいことが理解されるだろう。特に、本出願人は、位置特定基準スキャンデータの奥行きマップと比較するためにリアルタイムスキャンデータを使用して対応する奥行きマップを判定することが常に可能であるとは限らず又は少なくとも好都合であるとは限らないと認識している。換言すると、画像領域においてデータセットの比較を実行することは適切ではない場合がある。これは、車両で利用可能なセンサの種類が位置特定基準データを取得するために使用されるものと異なる場合に特に当てはまるだろう。
【0097】
本発明のいくつかの更なる態様及び実施形態によると、方法は、ナビゲート可能要素の周囲の環境を示す基準点群を判定するために位置特定基準データを使用することを備え、基準点群は３次元座標系における第１のデータ点のセットを含み、第１のデータ点の各々は環境内の物体の表面を表す。
【0098】
本発明の更なる一態様によると、デジタル地図に関連付けられ且つデジタル地図により表されるナビゲート可能ネットワークの少なくとも１つのナビゲート可能要素の周囲の環境の圧縮表現を提供する位置特定基準データを生成する方法であって、デジタル地図により表される少なくとも１つのナビゲート可能要素に対して、
位置特定基準データが基準面に投影されたナビゲート可能要素の周囲の環境を示す少なくとも１つの奥行きマップを含み、前記基準面がナビゲート可能要素に関連する基準線により定義され、少なくとも１つの奥行きマップの各画素がナビゲート可能要素に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを生成することと、
生成された位置特定基準データをデジタル地図データに関連付けることと、
ナビゲート可能要素の周囲の環境を示し且つ第１のデータ点の各々が環境内の物体の表面を表す３次元座標系における第１のデータ点のセットを含む基準点群を判定するために位置特定基準データを使用することと、
を備える方法が提供される。
位置特定基準データが基準面に投影されたナビゲート可能要素の周囲の環境を示す少なくとも１つの奥行きマップを含み、前記基準面がナビゲート可能要素に関連する基準線により定義され、少なくとも１つの奥行きマップの各画素がナビゲート可能要素に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを生成することと、
生成された位置特定基準データをデジタル地図データに関連付けることと、
ナビゲート可能要素の周囲の環境を示し且つ第１のデータ点の各々が環境内の物体の表面を表す３次元座標系における第１のデータ点のセットを含む基準点群を判定するために位置特定基準データを使用することと、
を備える方法が提供される。
【0099】
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。
【0100】
本発明の更なる一態様によると、ナビゲート可能ネットワークの要素を表すデジタル地図に関連付けられ且つデジタル地図により表されるナビゲート可能ネットワークの少なくとも１つの分岐点の周囲の環境の圧縮表現を提供する位置特定基準データを生成する方法であって、デジタル地図により表される少なくとも１つの分岐点に対して、
位置特定基準データが基準面に投影された分岐点の周囲の環境を示す少なくとも１つの奥行きマップを含み、前記基準面が分岐点に関連する基準点を中心とする半径により定義される基準線により定義され、少なくとも１つの奥行きマップの各画素が分岐点に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを生成することと、
生成された位置特定基準データを分岐点を示すデジタル地図データに関連付けることと、
分岐点の周囲の環境を示し且つ第１のデータ点の各々が環境内の物体の表面を表す３次元座標系における第１のデータ点のセットを含む基準点群を判定するために位置特定基準データを使用することと、
を備える方法が提供される。
位置特定基準データが基準面に投影された分岐点の周囲の環境を示す少なくとも１つの奥行きマップを含み、前記基準面が分岐点に関連する基準点を中心とする半径により定義される基準線により定義され、少なくとも１つの奥行きマップの各画素が分岐点に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを生成することと、
生成された位置特定基準データを分岐点を示すデジタル地図データに関連付けることと、
分岐点の周囲の環境を示し且つ第１のデータ点の各々が環境内の物体の表面を表す３次元座標系における第１のデータ点のセットを含む基準点群を判定するために位置特定基準データを使用することと、
を備える方法が提供される。
【0101】
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。
【0102】
第１のデータ点の各々が環境内の物体の表面を表す３次元座標系における第１のデータ点のセットを含む基準点群を本明細書中で「３Ｄ点群」と呼ぶ場合がある。本発明のこれらの更なる態様に従って取得される３Ｄ点群は、車両の位置決めを判定する際に使用されてもよい。
【0103】
いくつかの実施形態において、方法は、車両が走行しているナビゲート可能ネットワークのナビゲート可能要素を表すデータを含むデジタル地図に対する車両の位置を判定する際に、いずれかの態様又は実施形態における本発明の生成された位置特定基準データを使用することを備えてもよく、方法は、
ナビゲート可能ネットワークのナビゲート可能要素又は分岐点に沿った車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データを取得することと、車両の周囲の環境を示し且つ第１のデータ点の各々が環境内の物体の表面を表す３次元座標系における第１のデータ点のセットを含む基準点群を判定するために位置特定基準データを使用することと、
少なくとも１つのセンサを使用して車両の周囲の環境をスキャンすることにより、車両の周囲の環境を示し且つ少なくとも１つのセンサを使用して判定される環境内の物体の表面を各データ点が表す３次元座標系における第２のデータ点のセットを含む点群を含むリアルタイムスキャンデータを判定することと、
点群間の位置合わせオフセットを判定するために、リアルタイムスキャンデータの点群と取得された位置特定基準データの点群との間の相関を計算することと、
見なし現在位置を調整してデジタル地図に対する車両の位置を判定するために、判定された位置合わせオフセットを使用することと、
を備える。
ナビゲート可能ネットワークのナビゲート可能要素又は分岐点に沿った車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データを取得することと、車両の周囲の環境を示し且つ第１のデータ点の各々が環境内の物体の表面を表す３次元座標系における第１のデータ点のセットを含む基準点群を判定するために位置特定基準データを使用することと、
少なくとも１つのセンサを使用して車両の周囲の環境をスキャンすることにより、車両の周囲の環境を示し且つ少なくとも１つのセンサを使用して判定される環境内の物体の表面を各データ点が表す３次元座標系における第２のデータ点のセットを含む点群を含むリアルタイムスキャンデータを判定することと、
点群間の位置合わせオフセットを判定するために、リアルタイムスキャンデータの点群と取得された位置特定基準データの点群との間の相関を計算することと、
見なし現在位置を調整してデジタル地図に対する車両の位置を判定するために、判定された位置合わせオフセットを使用することと、
を備える。
【0104】
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。
【0105】
本発明の更なる一態様によると、車両が走行しているナビゲート可能ネットワークのナビゲート可能要素を表すデータを含むデジタル地図に対する車両の位置を判定する方法であって、
ナビゲート可能ネットワークのナビゲート可能要素に沿う車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データであり、場所基準データが基準面に投影された車両の周囲の環境を示す少なくとも１つの奥行きマップを含み、基準面がナビゲート可能要素に関連する基準線により定義され、少なくとも１つの奥行きマップの各画素が、車両が走行しているナビゲート可能要素に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを取得することと、
車両の周囲の環境を示し且つ第１のデータ点の各々が環境内の物体の表面を表す３次元座標系における第１のデータ点のセットを含む基準点群を判定するために位置特定基準データを使用することと、
少なくとも１つのセンサを使用して車両の周囲の環境をスキャンすることにより、車両の周囲の環境を示し且つ少なくとも１つのセンサを使用して判定される環境内の物体の表面を各データ点が表す３次元座標系における第２のデータ点のセットを含む点群を含むリアルタイムスキャンデータを判定することと、
点群間の位置合わせオフセットを判定するために、リアルタイムスキャンデータの点群と取得された位置特定基準データの点群との間の相関を計算することと、
見なし現在位置を調整してデジタル地図に対する車両の位置を判定するために、判定された位置合わせオフセットを使用することと、
を備える方法が提供される。
ナビゲート可能ネットワークのナビゲート可能要素に沿う車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データであり、場所基準データが基準面に投影された車両の周囲の環境を示す少なくとも１つの奥行きマップを含み、基準面がナビゲート可能要素に関連する基準線により定義され、少なくとも１つの奥行きマップの各画素が、車両が走行しているナビゲート可能要素に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを取得することと、
車両の周囲の環境を示し且つ第１のデータ点の各々が環境内の物体の表面を表す３次元座標系における第１のデータ点のセットを含む基準点群を判定するために位置特定基準データを使用することと、
少なくとも１つのセンサを使用して車両の周囲の環境をスキャンすることにより、車両の周囲の環境を示し且つ少なくとも１つのセンサを使用して判定される環境内の物体の表面を各データ点が表す３次元座標系における第２のデータ点のセットを含む点群を含むリアルタイムスキャンデータを判定することと、
点群間の位置合わせオフセットを判定するために、リアルタイムスキャンデータの点群と取得された位置特定基準データの点群との間の相関を計算することと、
見なし現在位置を調整してデジタル地図に対する車両の位置を判定するために、判定された位置合わせオフセットを使用することと、
を備える方法が提供される。
【0106】
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。
【0107】
本発明の更なる一態様によると、車両が走行しているナビゲート可能ネットワークの分岐点を表すデータを含むデジタル地図に対する車両の位置を判定する方法であって、
ナビゲート可能ネットワークの分岐点における車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データであり、場所基準データが基準面に投影された車両の周囲の環境を示す少なくとも１つの奥行きマップを含み、基準面が分岐点に関連する基準点を中心とする半径により定義される基準線により定義され、少なくとも１つの奥行きマップの各画素が、車両が走行している分岐点に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを取得することと、
車両の周囲の環境を示し且つ第１のデータ点の各々が環境内の物体の表面を表す３次元座標系における第１のデータ点のセットを含む基準点群を判定するために位置特定基準データを使用することと、
少なくとも１つのセンサを使用して車両の周囲の環境をスキャンすることにより、車両の周囲の環境を示し且つ少なくとも１つのセンサを使用して判定される環境内の物体の表面を各データ点が表す３次元座標系における第２のデータ点のセットを含む点群を含むリアルタイムスキャンデータを判定することと、
点群間の位置合わせオフセットを判定するために、リアルタイムスキャンデータの点群と取得された位置特定基準データの点群との間の相関を計算することと、
見なし現在位置を調整してデジタル地図に対する車両の位置を判定するために、判定された位置合わせオフセットを使用することと、
を備える方法が提供される。
ナビゲート可能ネットワークの分岐点における車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データであり、場所基準データが基準面に投影された車両の周囲の環境を示す少なくとも１つの奥行きマップを含み、基準面が分岐点に関連する基準点を中心とする半径により定義される基準線により定義され、少なくとも１つの奥行きマップの各画素が、車両が走行している分岐点に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを取得することと、
車両の周囲の環境を示し且つ第１のデータ点の各々が環境内の物体の表面を表す３次元座標系における第１のデータ点のセットを含む基準点群を判定するために位置特定基準データを使用することと、
少なくとも１つのセンサを使用して車両の周囲の環境をスキャンすることにより、車両の周囲の環境を示し且つ少なくとも１つのセンサを使用して判定される環境内の物体の表面を各データ点が表す３次元座標系における第２のデータ点のセットを含む点群を含むリアルタイムスキャンデータを判定することと、
点群間の位置合わせオフセットを判定するために、リアルタイムスキャンデータの点群と取得された位置特定基準データの点群との間の相関を計算することと、
見なし現在位置を調整してデジタル地図に対する車両の位置を判定するために、判定された位置合わせオフセットを使用することと、
を備える方法が提供される。
【0108】
第２のデータ点の各々が環境内の物体の表面を表す３次元座標系における第２のデータ点のセットを含むこれらの更なる態様における基準点群を本明細書中で「３Ｄ点群」と呼ぶ場合がある。
【0109】
本発明のこれらの更なる態様又は実施形態において、位置特定基準データは３Ｄ基準点群を取得するために使用される。これは、データが関連するナビゲート可能要素又は分岐点の周囲の環境を示し、従ってナビゲート可能要素に沿って又は分岐点を通って走行する際の車両の周囲の環境を示す。リアルタイムセンサデータの点群は車両の周囲の環境に関し、従って、車両が位置するナビゲート可能要素又は分岐点の周囲の環境に関するものであると呼ばれてもよい。いくつかの好適な実施形態において、位置特定基準データに基づいて取得された３Ｄ点群は、リアルタイムスキャンデータに基づいて取得された車両の（すなわち、関連する要素上又は分岐点を通って走行する際の）周囲の環境を示す３Ｄ点群と比較される。車両の位置は、例えばラスタ画像である奥行きマップの比較ではなく、この比較に基づいて調整されてもよい。
【0110】
リアルタイムスキャンデータ点群は、車両に関連付けられた１つ以上のセンサを使用して取得される。単一のセンサ又は複数のそのようなセンサが使用されてもよく、後者の場合、センサの種類の何らかの組み合わせが使用されてもよい。センサは、１つ以上のレーザスキャナのセット、１つ以上のレーダスキャナのセット、例えば単一のカメラ又は一対のステレオカメラである１つ以上のカメラのセットのうちのいずれか１つ又は複数を含んでもよい。単一のレーザスキャナ、レーダスキャナ及び／又はカメラが使用されてもよい。車両が１つ又は複数のカメラと関連付けられる場合、１つ以上のカメラから取得された画像は、車両の周囲の環境を示す３次元シーンを構成するために使用されてもよく、３次元シーンを使用して３次元点群が取得されてもよい。例えば車両が単一のカメラを使用する場合、車両がナビゲート可能要素に沿って又は分岐点を通って走行する際にカメラから一連の２次元画像を取得し、一連の２次元画像を使用して３次元シーンを構成し、３次元シーンを使用して３次元点群を取得することにより、点群が判定されてもよい。車両がステレオカメラと関連付けられる場合、カメラから取得された画像を使用して３次元シーンを取得し、それを使用して３次元点群が取得されてもよい。
【0111】
位置特定基準データの奥行きマップを３Ｄ点群に変換することにより、車両センサの種類に関係なく、そのようなセンサを使用するリアルタイムスキャンを通して取得された３Ｄ点群と比較されてもよい。例えば位置特定基準データは、レーザスキャナ、カメラ及びレーダスキャナを含む様々な種類のセンサを使用した基準スキャンに基づいてもよい。車両は、対応するセンサのセットを有しても有さなくてもよい。例えば、車両は通常は１つ以上のカメラのみを含んでもよい。
【0112】
位置特定基準データは、車両の少なくとも１つのセンサにより生成されると予想される点群に対応する車両の周囲の環境を示す基準点群を判定するために使用されてもよい。基準点群が車両のセンサと同じ種類のセンサを使用して取得された場合、これは簡単であってもよく、３Ｄ基準点群を構成する際に全ての位置特定基準データが使用されてもよい。同様に、ある特定の条件下では、１つの種類のセンサにより検知されるデータが別の種類のセンサにより検知されるデータと類似する場合がある。例えば基準位置特定データを提供する際にレーザセンサにより検知される物体は、日中に車両のカメラにより同様に検知されることが予想されるだろう。しかし、方法は、車両に関連付けられた種類の１つ又は複数のセンサにより検出されることが予想され且つ／又は現在の条件下で検出されることが予想される点群のみを３Ｄ点群に含めることを備えてもよい。位置特定基準データは、適切な基準点群が生成されるようにするデータを含んでもよい。
【0113】
いくつかの実施形態において、上述したように、位置特定基準データの各画素は、検知された反射率の値を示す少なくとも１つのチャネルを更に含む。各画素は、検知されたレーザ反射率の値を示すチャネル及び検知されたレーダ反射率の値を示すチャネルのうちの１つ以上を含んでもよい。レーダ反射率とレーザ反射率の双方を示すチャネルが提供されるのが好ましい。その場合、位置特定基準データに基づいて３Ｄ点群を生成するステップは、検知された反射率データを使用して実行されるのが好ましい。３Ｄ点群の生成は車両の１つ又は複数のセンサの種類に更に基づいてもよい。方法は、基準３Ｄ点群に含める３Ｄ点を選択するために、反射率データと、車両の１つ又は複数のセンサの種類を示すデータとを使用することを備えてもよい。反射率チャネルのデータは、３Ｄ点群を生成する際に使用するデータを奥行きチャネルから選択するために使用される。反射率チャネルは、関連するセンサの種類により特定の物体が検知されるか（該当する場合、現在の条件下で）の指標を与える。
【0114】
例えば、基準データがレーザスキャナ及びレーダスキャナから取得されたデータに基づくものであり且つ車両がレーダスキャナのみを有する場合、車両のレーダスキャナにより検知されることが予想される点を３Ｄ点群に含めるために選択するために、レーダ反射率値が使用されてもよい。いくつかの実施形態において、各画素はレーダ反射率を示すチャネルを含み、方法は、レーダセンサにより検知される点のみを含む３Ｄ基準点群を生成するためにレーダ反射率データを使用するステップを備える。方法が、３Ｄ基準点群とリアルタイムスキャンデータに基づいて取得された３Ｄ点群とを比較することを更に備える場合、リアルタイムスキャンデータの３Ｄ点群はレーダスキャナから得られたデータに基づく。車両はレーダスキャナのみを含んでもよい。
【0115】
車両はレーダスキャナ及び／又はレーザスキャナを含んでもよいが、多くの場合、自動車は１つ又は複数のカメラのみを含んでもよい。レーザ反射率データは、暗い条件下でセンサとして１つ又は複数のカメラのみを有する車両により検知されることが予想される３Ｄ点群と相関させる３Ｄ基準点群を取得する方法を提供してもよい。レーザ反射率データは、暗い状態でカメラにより検出されることが予想されてもよい複数の物体の指標を提供する。いくつかの実施形態において、各画素はレーザ反射率を示すチャネルを含み、方法は、暗い状態で車両のカメラにより検知される点のみを含む３Ｄ基準点群を生成するためにレーザ反射率データを使用するステップを備える。方法が３Ｄ基準点群とリアルタイムスキャンデータに基づいて取得された３Ｄ点群とを比較することを更に備える場合、リアルタイムスキャンデータの３Ｄ点群は暗い条件下でカメラから取得されたデータに基づいてもよい。
【0116】
３次元点群の形態で基準位置特定データを取得すること、並びに例えば適用可能な条件下で車両の１つ又は複数のカメラから取得されることが予想され且つカメラにより取得された画像と比較されてもよい例えば画像である基準ビューを再構成するためにそのようなデータを使用することは、それ自体で利点があると考えられる。
【0117】
いくつかの実施形態において、方法は、適用可能な条件下でデジタル地図により表されるナビゲート可能ネットワークのナビゲート可能要素に沿って又は分岐点を通って走行する車両に関連付けられた１つ以上のカメラから取得されることが予想されるビューを再構成する際にいずれかの態様又は実施形態における本発明の生成された位置特定基準データを使用することを備えてもよく、方法は、ナビゲート可能ネットワークのナビゲート可能要素又は分岐点に沿うか又は分岐点における車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データを取得することと、車両の周囲の環境を示し且つ第１のデータ点の各々が環境内の物体の表面を表す３次元座標系における第１のデータ点のセットを含む基準点群を判定するために位置特定基準データを使用することと、適用可能な条件下でナビゲート可能要素又は分岐点を通過する際に車両に関連付けられた１つ以上のカメラにより取得されることが予想される基準ビューを再構成するために基準点群を使用することとを備える。方法は、１つ以上のカメラを使用して車両の周囲の環境のリアルタイムビューを判定することと、基準ビューと１つ以上のカメラにより取得されたリアルタイムビューとを比較することとを更に備えてもよい。
【0118】
本発明の更なる一態様によると、適用可能な条件下でデジタル地図により表されるナビゲート可能ネットワークのナビゲート可能要素に沿って走行する車両に関連付けられた１つ以上のカメラから取得されることが予想されるビューを再構成する方法であって、
ナビゲート可能ネットワークのナビゲート可能要素に沿う車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データであり、場所基準データが基準面に投影された車両の周囲の環境を示す少なくとも１つの奥行きマップを含み、基準面がナビゲート可能要素に関連する基準線により定義され、少なくとも１つの奥行きマップの各画素が、車両が走行しているナビゲート可能要素に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを取得することと、
車両の周囲の環境を示し且つ第１のデータ点の各々が環境内の物体の表面を表す３次元座標系における第１のデータ点のセットを含む基準点群を判定するために位置特定基準データを使用することと、
適用可能な条件下でナビゲート可能要素を通過する際に車両に関連付けられた１つ以上のカメラにより取得されることが予想される基準ビューを再構成するために基準点群を使用することと、
１つ以上のカメラを使用して車両の周囲の環境のリアルタイムビューを判定することと、
基準ビューと１つ以上のカメラにより取得されたリアルタイムビューとを比較することと、
を備える方法が提供される。
ナビゲート可能ネットワークのナビゲート可能要素に沿う車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データであり、場所基準データが基準面に投影された車両の周囲の環境を示す少なくとも１つの奥行きマップを含み、基準面がナビゲート可能要素に関連する基準線により定義され、少なくとも１つの奥行きマップの各画素が、車両が走行しているナビゲート可能要素に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを取得することと、
車両の周囲の環境を示し且つ第１のデータ点の各々が環境内の物体の表面を表す３次元座標系における第１のデータ点のセットを含む基準点群を判定するために位置特定基準データを使用することと、
適用可能な条件下でナビゲート可能要素を通過する際に車両に関連付けられた１つ以上のカメラにより取得されることが予想される基準ビューを再構成するために基準点群を使用することと、
１つ以上のカメラを使用して車両の周囲の環境のリアルタイムビューを判定することと、
基準ビューと１つ以上のカメラにより取得されたリアルタイムビューとを比較することと、
を備える方法が提供される。
【0119】
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。
【0120】
本発明の更なる一態様によると、適用可能な条件下でデジタル地図により表されるナビゲート可能ネットワークの分岐点を通って走行する車両に関連付けられた１つ以上のカメラから取得されることが予想されるビューを再構成する方法であって、
ナビゲート可能ネットワークのナビゲート可能要素に沿う車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データであり、場所基準データが基準面に投影された車両の周囲の環境を示す少なくとも１つの奥行きマップを含み、基準面が分岐点に関連する基準点を中心とする半径により定義される基準線により定義され、少なくとも１つの奥行きマップの各画素が、車両が走行している分岐点に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを取得することと、
車両の周囲の環境を示し且つ第１のデータ点の各々が環境内の物体の表面を表す３次元座標系における第１のデータ点のセットを含む基準点群を判定するために位置特定基準データを使用することと、
適用可能な条件下でナビゲート可能要素を通過する際に車両に関連付けられた１つ以上のカメラにより取得されることが予想される基準ビューを再構成するために基準点群を使用することと、
１つ以上のカメラを使用して車両の周囲の環境のリアルタイムビューを判定することと、
基準ビューと１つ以上のカメラにより取得されたリアルタイムビューとを比較することと、
を備える方法が提供される。
ナビゲート可能ネットワークのナビゲート可能要素に沿う車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データであり、場所基準データが基準面に投影された車両の周囲の環境を示す少なくとも１つの奥行きマップを含み、基準面が分岐点に関連する基準点を中心とする半径により定義される基準線により定義され、少なくとも１つの奥行きマップの各画素が、車両が走行している分岐点に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを取得することと、
車両の周囲の環境を示し且つ第１のデータ点の各々が環境内の物体の表面を表す３次元座標系における第１のデータ点のセットを含む基準点群を判定するために位置特定基準データを使用することと、
適用可能な条件下でナビゲート可能要素を通過する際に車両に関連付けられた１つ以上のカメラにより取得されることが予想される基準ビューを再構成するために基準点群を使用することと、
１つ以上のカメラを使用して車両の周囲の環境のリアルタイムビューを判定することと、
基準ビューと１つ以上のカメラにより取得されたリアルタイムビューとを比較することと、
を備える方法が提供される。
【0121】
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。
【0122】
本発明のこれらの態様は、車両のカメラにより取得されたリアルタイムビューと比較されてもよいが異なる種類のセンサから取得されてもよい位置特定基準データに基づいてもよい基準ビューを構築できるようにする点で特に有利である。実際は、多くの車両は、基準データを取得するために使用されてもよいセンサ等のより専用の又は高度なセンサではなく、１つ又は複数のカメラのみを搭載することが認識されている。
【0123】
本発明のこれらの更なる態様及び実施形態において、基準ビューとリアルタイムビューとの比較の結果は、要望に応じて使用されてもよい。例えば比較の結果は、前述した態様及び実施形態のように、車両の位置を判定する際に使用されてもよい。方法は、ビュー間の位置合わせオフセットを判定するために、リアルタイムビューと基準ビューとの間の相関を計算することと、車両の見なし現在位置を調整してデジタル地図に対する車両の位置を判定するために、判定された位置合わせオフセットを使用することとを備えてもよい。
【0124】
適用可能な条件は、現在の時間に適用可能な条件であり、明るさの条件であってもよい。いくつかの実施形態において、適用可能な条件は暗さの条件である。
【0125】
基準ビューは、上述した実施形態のいずれかに従って位置特定基準データから取得されてもよい３Ｄ基準点群を使用して再構成される。１つ以上のカメラにより取得されることが予想される基準ビューを再構成するステップは、位置特定基準データの奥行きマップの画素に関連する反射率データチャネルのデータを使用することを備えるのが好ましい。従って、位置特定基準データの各画素は、検知されたレーザ反射率の値を示す少なくとも１つのチャネルを更に含み、位置特定基準データに基づいて３Ｄ点群を生成するステップは、検知されたレーザ反射率データを使用して実行されるのが好ましい。レーザ反射率データは、例えば暗闇等の適用可能な条件下で見られることが意図され得る物体を含む車両の１つ以上のカメラから取得されることが予想され得るビューに対応する再構成基準ビューを結果として得るために、基準３Ｄ点群を生成する際に使用するために奥行きチャネルからデータを選択するために使用されてもよい。上述したように、車両の１つ以上のカメラは、単一のカメラであってもよく、あるいは一対のステレオカメラであってもよい。
【0126】
種々の態様及び実施形態における本発明に従って実行されてもよいリアルタイムスキャンデータと位置特定基準データとの比較は、奥行きマップの比較、点群の比較又は再構成画像とリアルタイム画像との比較によるかに関係なく、データウィンドウにわたり実行されてもよい。データウィンドウは、例えば縦方向データである移動方向におけるデータウィンドウである。従って、データをウィンドウ化することにより、利用可能なデータのサブセットを比較に考慮することができる。比較は、重複ウィンドウに対して定期的に実行されてもよい。比較に使用されるデータウィンドウに少なくともある程度の重なりがあることが望ましい。例えば、これにより、隣接する計算された例えば縦方向オフセット値の間の差分がデータにわたり平滑化されることが保証されてもよい。ウィンドウは、オフセット計算の精度が一時的特徴に対して不変であるために十分な長さを有してもよく、少なくとも１００ｍの長さを有するのが好ましい。そのような一時的特徴は、例えば駐車車両、追い越し車両又は同じ経路を反対方向に走行している車両であってもよい。いくつかの実施形態において、長さは少なくとも５０ｍである。いくつかの実施形態において、長さは２００ｍである。このように、検知環境データは、例えば２００ｍである道路の範囲（例えば、縦方向範囲）、すなわち「ウィンドウ」に対して判定され、結果として得られたデータは、当該道路範囲に対する位置特定基準データと比較される。このサイズ、すなわち車両の長さより大幅に大きいサイズの道路範囲にわたる比較を実行することにより、道路上の他の車両、道路脇に停車中の車両等の非定常又は一時的な物体は通常は比較の結果に影響を与えない。
【0127】
上述した態様及び実施形態のいずれかにおいて、一般に、例えばデジタル地図に対して車両を位置決めする際に使用するための位置特定基準データとリアルタイムスキャンデータとの間の位置合わせオフセットが１つ以上である場合、リアルタイムスキャンデータの点群のデータ点を分類するために地図データを更に使用できることが認識された。例えば、例えば道路であるナビゲート可能要素上の物体の表面に関するデータ点と、ナビゲート可能要素外の物体の表面に関するデータ点とを識別することが可能である。コンテキストが点群の点に既に与えられているため、この初期分類により物体認識を向上できる。例えば道路上を移動している物体は、自動車又は他の車両である可能性が高い。従って、例えば画像解析であるコンピュータビジョン技術を使用して車線区分線、車両、歩行者、道路標識、高速道路の出口ランプ、信号機、道路の危険物等の点群内の候補物体が検出される場合、この検出ステップは、デジタル地図におけるデータに基づいて既に分類されている点群に基づく。従って、この点群の事前分類により、候補物体をより高い信頼度で識別及び分類できる。それにより、例えば道路回廊に存在する点又は道路回廊の外側（道路の左側又は右側）に存在する点である点群内のデータ点のサブセットの物体認識のみが実行されるように、点群から点を除去することもできる。
【0128】
従って、本発明の更なる一態様によると、デジタル地図を使用して点群のデータ点を分類する方法であり、デジタル地図が複数の区分を含み、各区分がナビゲート可能ネットワークのナビゲート可能要素を表し且つナビゲート可能要素の境界を示す複数の基準線を含み、各区分が複数の基準線の地理的場所を示す場所データに関連付けられ、各区分がナビゲート可能要素の周囲の環境内の物体の表面の地理的場所を示す位置特定基準データに更に関連付けられる方法であって、
ナビゲート可能ネットワークのナビゲート可能要素に沿う車両の見なし現在位置に基づいて、デジタル地図の１つ以上の区分に対する位置特定基準データを取得することと、
少なくとも１つのセンサを使用して車両の周囲の環境をスキャンすることにより、車両の周囲の環境を示し且つ少なくとも１つのセンサを使用して判定された環境内の物体の表面を表す３次元座標系における場所を各データ点が有する３次元座標系における複数のデータ点を含む点群に基づくリアルタイムスキャンデータを判定することと、
１つ以上の位置合わせオフセットを判定するために、位置特定基準データとリアルタイムスキャンデータとの間の相関を計算することと、
リアルタイムスキャンデータの点群のデータ点の場所を調整するために、判定された１つ以上の位置合わせオフセットを使用することと、
複数のデータ点の各々に対して、データ点がナビゲート可能要素の境界の間に存在するかを判定するために、データ点の調整された場所と関連する区分に対する場所データとを比較することと、
比較に基づいて、複数のデータ点の各々を１つ以上のグループに分類することと、
を備える方法が提供される。
ナビゲート可能ネットワークのナビゲート可能要素に沿う車両の見なし現在位置に基づいて、デジタル地図の１つ以上の区分に対する位置特定基準データを取得することと、
少なくとも１つのセンサを使用して車両の周囲の環境をスキャンすることにより、車両の周囲の環境を示し且つ少なくとも１つのセンサを使用して判定された環境内の物体の表面を表す３次元座標系における場所を各データ点が有する３次元座標系における複数のデータ点を含む点群に基づくリアルタイムスキャンデータを判定することと、
１つ以上の位置合わせオフセットを判定するために、位置特定基準データとリアルタイムスキャンデータとの間の相関を計算することと、
リアルタイムスキャンデータの点群のデータ点の場所を調整するために、判定された１つ以上の位置合わせオフセットを使用することと、
複数のデータ点の各々に対して、データ点がナビゲート可能要素の境界の間に存在するかを判定するために、データ点の調整された場所と関連する区分に対する場所データとを比較することと、
比較に基づいて、複数のデータ点の各々を１つ以上のグループに分類することと、
を備える方法が提供される。
【0129】
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。例えば１つ以上の位置合わせオフセットは、縦方向、横方向及び／又は進行方向（又は方位）である得る。同様に、位置合わせオフセットを判定することは、位置特定基準データとリアルタイムスキャンデータ（同一の形式に変換されている）とを相関させることに基づくか、或いはリアルタイムシーンデータの点群と位置特定基準データから生成された点群とを相関させること又は本明細書中で説明される他の方法のいずれかによることができる。
【0130】
ナビゲート可能要素の境界を示す複数の基準線は、道路の境界線及び／又は車線の境界線を含むことができる。各区分も同様に、道路の中心線及び／又は道路の車線の中心線を示す基準線を含んでもよい。
【0131】
上述したように、方法は、１つ以上の候補物体を認識するために、データ点のグループのうちの１つ以上、すなわち点群の事前に分類された部分を解析することを更に備えてもよい。それに加えて又はその代わりに、方法は、点群から道路回廊内の点を除去することと、次の位置決めの反復を実行する際にこの「除去処理後」の点群をリアルタイムスキャンデータの一部として使用することとを更に備えてもよい。リアルタイム検知データに存在するが基準データに存在しない物体に対応する点をリアルタイム検知点群から除去する実施形態において、それらの物体は、例えば位置が判定される車両の近傍に存在する車両等の移動物体に対応してもよい。このことは、データセット間の相関を向上するのに役立ち、従って、位置判定を向上するのに役立つだろう。
【0132】
いずれかの態様又は実施形態における本発明に従って使用される位置特定基準データの少なくとも一部分はリモートに格納されてもよい。車両が関係する場合、位置特定基準データの少なくとも一部分は車両にローカルに格納されるのが好ましい。従って、位置特定基準データが経路全体で利用可能であっても、それを車両に継続的に転送する必要はなく、比較は車両で実行されてもよい。
【0133】
位置特定基準データは、圧縮形式で格納されてもよい。位置特定基準データは、３０ＫＢ／ｋｍ以下に対応するサイズを有してもよい。
【0134】
位置特定基準データは、デジタル地図中に表されるナビゲート可能ネットワークのナビゲート可能要素のうちの少なくともいくつかに対して格納されてもよく、それらの全てに対して格納されるのが好ましい。従って、車両の位置は、車両が走行する経路に沿うあらゆる場所で継続的に判定可能である。
【0135】
実施形態において、基準位置特定データは、車両が実際に走行するナビゲート可能要素を以前に走行した移動マッピング車両に配置された少なくとも１つの装置を使用して基準スキャンから取得されたものであってもよい。従って、基準スキャンは、位置が継続的に判定されている現在の車両とは異なる車両を使用して取得されたものであってもよい。いくつかの実施形態において、移動マッピング車両は、位置が継続的に判定されている車両と同様の設計のものである。
【0136】
リアルタイムスキャンデータ及び／又は基準スキャンデータは、少なくとも１つの測距センサを使用して取得されてもよい。測距センサは、単一の軸に沿って動作するように構成されてもよい。測距センサは、垂直軸においてスキャンを実行するように構成されてもよい。スキャンが垂直軸において実行される場合、複数の高さの平面に対する距離情報が収集され、従って、結果として得られるスキャンは非常に詳細である。その代わりに又はそれに加えて、測距センサは水平軸においてスキャンを実行するように構成されてもよい。
【0137】
測距センサはレーザスキャナであってもよい。レーザスキャナは、ミラーを使用して横方向環境にわたりスキャンされるレーザビームを含んでもよい。それに加えて又はその代わりに、測距センサはレーダスキャナ及び／又は一対のステレオカメラであってもよい。
【0138】
本発明は、本明細書中で説明する方法のいずれかを実行するように例えばプログラムされて構成された１つ以上のプロセッサ等の手段を有する例えばナビゲーション装置、車両等の装置を含む。
【0139】
本明細書中で説明する位置特定基準データを生成するステップは、サーバ又は他の同様の演算装置により実行されるのが好ましい。
【0140】
方法のステップのいずれかを実行する手段は、それを行うように例えばプログラムされて構成された１つ以上のプロセッサの集合を備えてもよい。所与のステップは、他のいずれかのステップと同一又は異なるプロセッサの集合を使用して実行されてもよい。何らかの所与のステップは、プロセッサの集合の組み合わせを使用して実行されてもよい。システムは、例えばデジタル地図、位置特定基準データ及び／又はリアルタイムスキャンデータを格納するためのコンピュータメモリ等のデータ格納手段を更に備えてもよい。
【0141】
好適な実施形態において、本発明の方法は、サーバ又は同様の演算装置により実現される。換言すると、提示された発明の方法は、コンピュータにより実現される方法であるのが好ましい。従って、実施形態において、本発明のシステムは、説明される種々のステップを実行する手段を備えるサーバ又は同様の演算装置を備え、本明細書中で説明する方法のステップはサーバにより実行される。
【0142】
本発明は、本明細書中で説明する方法のいずれかを実行するか又は装置に実行させるように実行可能なコンピュータ可読命令を備えるコンピュータプログラムを更に含む。コンピュータプログラムは、非一時的な物理的記憶媒体に格納されるのが好ましい。
【0143】
当業者には理解されるように、本発明の態様及び実施形態は、必要に応じて、本発明の他の態様のいずれかに関して本明細書中で説明される本発明の好適な特徴及びオプションの特徴のうちのいずれか１つ以上又は全てを含むことができ、それらを含むのが好ましい。
【図面の簡単な説明】
【0144】
添付の図面を参照して、本発明の実施形態を単なる例として以下に説明する。
【図3】、
【図20】図２０Ａは、基準奥行きマップ及び対応するリアルタイム奥行きマップを示す図である。図２０Ｂは、基準奥行きマップ及び対応するリアルタイム奥行きマップの縦方向相関から導出される縦方向補正を示す図である。図２０Ｃは、基準奥行きマップ及びリアルタイム奥行きマップにおける対応する画素の画素奥行き値の間のヒストグラム差から導出される横方向補正を示す図である。図２０Ｄは、道路上の車両の縦方向位置及び横方向位置が補正されてもよい方法を示す図である。
【図21】図２１Ａは、基準奥行きマップの対応する部分を通る垂直スライスのセットを示す図である。図２１Ｂは、垂直スライスの平均画素奥行き差を奥行きマップに沿った垂直スライスの縦方向距離に対して示す図である。
【図23A】、
【図25A】、
【図25B】、
【図26A】、
【図26B】、
【図26C】、
【図26D】図２６Ａ、図２６Ｂ、図２６Ｃ及び図２６Ｄは、基準奥行きマップを使用して３Ｄ点群又は３Ｄビューを構成し、それと複数の車両カメラ又は単一のカメラから取得された３Ｄシーン又は３Ｄビューとを比較する第２の例示的な使用例を示す図である。
【図27A】、
【図27B】、
【図27C】図２７Ａ、図２７Ｂ及び図２７Ｃは、奥行きマップの反射率データを使用して３Ｄ点群又は３Ｄビューを構成し、それと車両カメラから取得された３Ｄシーン又は３Ｄビューとを比較する第３の例示的な使用例を示す図である。
【図28A】、
【発明を実施するための形態】
【0145】
デジタル地図（例えば道路網であるナビゲート可能ネットワークを表す）に対する車両等の装置の位置を判定する向上された方法が必要とされることが認識されている。特に、デジタル地図に対する装置の縦方向位置を正確に、例えばサブメートル級の精度で判定できることが必要である。本出願における用語「縦方向」は、例えば車両である装置が移動しているナビゲート可能ネットワークの一部分に沿う方向を示し、換言すると、車両が走行している道路の長さに沿う方向を示す。本出願における用語「横方向」は、縦方向に対して垂直であるという通常の意味を有し、従って、道路の幅に沿う方向を示す。
【0146】
デジタル地図が、例えば道路の各車線が別個に表される（標準的な地図におけるように、道路の中心線に対して表されるのとは異なる）３次元ベクトルモデルである上述したようなプランニング地図を含む場合、例えば車両である装置の横方向位置は、単に装置が現在走行している車線を判定することを含むことが理解されるだろう。そのような判定を実行するための種々の技術が既知である。例えば判定は、全地球的航法衛星システム（ＧＮＳＳ）受信機から取得される情報を使用するだけで行うことができる。それに加えて又はその代わりに、装置に関連付けられたカメラ、レーザ又は他の撮像センサからの情報を使用することができる。例えば、近年、車両が走行している車線を検出及び追跡するために、例えば種々の画像処理技術を使用して車両に取り付けられた１つ以上のビデオカメラからの画像データを解析する研究が十分に行われている。１つの例示的な技術は、Ｊｕｎｈｗａ Ｈｕｒ、Ｓｅｕｎｇ－Ｎａｍ Ｋａｎｇ及びＳｅｕｎｇ－Ｗｏｏ Ｓｅｏによる論文「Ｍｕｌｔｉ－ｌａｎｅ ｄｅｔｅｃｔｉｏｎ ｉｎ ｕｒｂａｎ ｄｒｉｖｉｎｇ ｅｎｖｉｒｏｎｍｅｎｔｓ ｕｓｉｎｇ ｃｏｎｄｉｔｉｏｎａｌ ｒａｎｄｏｍ ｆｉｅｌｄｓ」、Ｉｎｔｅｌｌｉｇｅｎｔ Ｖｅｈｉｃｌｅｓ Ｓｙｍｐｏｓｉｕｍの論文集、１２９７～１３０２ページ、ＩＥＥＥ、（２０１３年）に記載されている。ここで、装置はビデオカメラ、レーダセンサ及び／又はＬＩＤＡＲセンサからのデータフィードを提供されてもよく、装置が走行している装置又は車両の現在の車線を判定するために受信データをリアルタイムで処理するために適切なアルゴリズムが使用される。あるいは、Ｍｏｂｉｌｅｙｅ Ｎ．Ｖ．から市販されているＭｏｂｉｌｅｙｅシステム等の別のデバイス又は装置は、これらのデータフィードに基づいて車両の現在の車線の判定を提供し、例えば有線接続又はＢｌｕｅｔｏｏｔｈ接続により現在の車線の判定を装置に提供してもよい。
【0147】
実施形態において、車両の縦方向位置は、好ましくは車両の片側又は両側の車両の周囲の環境のリアルタイムスキャンとデジタル地図に関連付けられた環境の基準スキャンとを比較することにより判定可能である。この比較から、縦方向オフセットが存在する場合はそれを判定することができ、判定されたオフセットを使用して、デジタル地図とマッチングされた車両の位置を判定することができる。従って、デジタル地図に対する車両の位置を常に高精度で認識できる。
【0148】
車両の周囲の環境のリアルタイムスキャンは、車両上に配置された少なくとも１つの測距センサを使用して取得可能である。少なくとも１つの測距センサは何らかの適切な形態をとることができるが、好適な実施形態では、レーザスキャナ、すなわちＬＩＤＡＲ装置を含む。レーザスキャナは、環境にわたりレーザビームをスキャンし、レーザが反射される物体の表面の位置を各点が示す環境の点群表現を作成するように構成可能である。レーザスキャナは、物体の表面から反射された後にレーザビームがスキャナに戻るのにかかる時間を記録するように構成され、記録された時間は各点までの距離を判定するために使用され得ることが理解されるだろう。好適な実施形態において、測距センサは、７０°等の例えば５０°～９０°である特定の取得角度内でデータを取得するように単一の軸に沿って動作するように構成され、例えばセンサがレーザスキャナを備える場合、レーザビームは装置内の鏡を使用してスキャンされる。
【0149】
一実施形態を図７に示す。図中、車両１００は道路に沿って走行している。車両は、車両の各側に配置された測距センサ１０１、１０２を搭載している。センサは車両の各側に示されるが、他の実施形態において、単一のセンサのみが車両の片側で使用され得る。センサは、以下に詳細に説明するように、各センサからのデータを組み合わせることができるように適切に位置合わせされるのが好ましい。
【0150】
国際公開第ＷＯ２０１１／１４６５２３Ａ２号は、３次元点群の形態で基準データを取り込むために車両で使用されてもよいスキャナ又は周囲の環境に関するリアルタイムデータを取得するために自律型車両でも使用され得るスキャナの例を提供する。
【0151】
上述したように、測距センサは単一の軸に沿って動作するように構成可能である。一実施形態において、センサは、水平方向に、すなわち道路の表面に対して平行な平面でスキャンを実行するように構成可能である。これを例えば図７に示す。車両が道路に沿って走行する間に環境を継続的にスキャンすることにより、図８に示すような検知環境データを収集できる。データ２００は、左センサ１０２から収集されたデータであり、物体１０４を示す。データ２０２は、右センサ１０１から収集されたデータであり、物体１０６及び１０８を示す。他の実施形態において、センサは、垂直方向に、すなわち道路の表面に対して垂直な平面でスキャンを実行するように構成可能である。車両が道路に沿って走行する間に環境を継続的にスキャンすることにより、図６のように環境データを収集できる。垂直方向にスキャンを実行することにより、複数の高さの平面に対する距離情報が収集され、従って、結果として得られるスキャンが非常に詳細なものになることが理解されるだろう。要望に応じて、あらゆる軸に沿ってスキャンを実行できることが当然理解されるだろう。
【0152】
環境の基準スキャンは、以前に道路に沿って移動した１つ以上の車両から取得され、適切に位置合わせされ、デジタル地図に関連付けられる。基準スキャンは、デジタル地図に関連付けられたデータベースに格納され、本明細書中、これを位置特定基準データと呼ぶ。デジタル地図とマッチングされた場合の位置特定基準データの組み合わせを位置特定マップと呼ぶことができる。位置特定マップは車両からリモートで作成され、通常は、ＴｏｍＴｏｍ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｂ．Ｖ．又はＨＥＲＥ、Ｎｏｋｉａ ｃｏｍｐａｎｙ等のデジタル地図作成会社により作成されることが理解されるだろう。
【0153】
基準スキャンは、例えば図３に示すような移動マッピング車両等の専用車両から取得可能である。しかし、好適な実施形態において、基準スキャンは、車両がナビゲート可能ネットワークに沿って走行する間に車両により収集される検知環境データから判定可能である。この検知環境データは格納され、位置特定マップを作成、保守及び更新するために定期的にデジタルマッピング会社に送出され得る。
【0154】
位置特定基準データは、車両にローカルに格納されるのが好ましいが、データはリモートに格納することもできることが理解されるだろう。実施形態において、特に位置特定基準データがローカルに格納される場合、データは圧縮形式で格納される。
【0155】
実施形態において、位置特定基準データは、道路網内の道路の各側に対して収集される。そのような実施形態において、道路の各側の基準データは別個に格納可能であり、あるいは、複合データセットで共に格納可能である。
【0156】
実施形態において、位置特定基準データは画像データとして格納できる。画像データは例えばＲＧＢ画像であるカラー画像であるか又はグレースケール画像であることができる。
【0157】
図９は、位置特定基準データを格納できる方法の例示的な形式を示す。本実施形態において、道路の左側に対する基準データは画像の左側に提供され、道路の右側に対する基準データは画像の右側に提供される。データセットは、特定の縦方向位置に対する左側基準データセットが同じ縦方向位置に対する右側基準データセットの反対側に示されるように位置合わせされる。
【0158】
図９の画像において、縦方向の画素サイズは０．５ｍであり、中心線の各側に４０個の画素があるが、これは単に説明するためのものである。画像をカラー（ＲＧＢ）画像としてではなくグレースケール画像として記憶できることが更に判定されている。この形式で画像を格納することにより、位置特定基準データは３０ＫＢ／ｋｍに対応するサイズを有する。
【0159】
更なる一例を図１０Ａ及び図１０Ｂに見ることができる。図１０Ａは、道路に沿って走行する車両に取り付けられた測距センサにより取得された点群の一例を示す。図１０Ｂにおいて、この点群データは２つの奥行きマップに変換されており、一方は車両の左側に対する奥行きマップであり、他方は車両の右側に対する奥行きマップである。これらは、合成画像を形成するために互いに隣接して配置されている。
【0160】
上述したように、車両により判定された検知環境データは、オフセットが存在するかを判定するために位置特定基準データと比較される。何らかの判定されたオフセットは、デジタル地図上の現在位置と正確に一致するように車両の位置を調整するために使用され得る。本明細書中、この判定されたオフセットを相関指数と呼ぶ。
【0161】
実施形態において、検知環境データは、例えば２００ｍである道路の縦方向範囲に対して判定され、例えば画像データである結果として得られたデータは、当該道路範囲に対する位置特定基準データと比較される。このサイズ、すなわち車両の長さより大幅に大きいサイズの道路範囲にわたる比較を実行することにより、道路上の他の車両、道路脇に停車中の車両等の非定常又は一時的な物体は通常は比較の結果に影響を与えない。
【0162】
比較は、データセットが最も位置合わせされる縦方向位置を判定するように、検知環境データと位置特定基準データとの間の相互相関を計算することにより実行されるのが好ましい。最大位置合わせでの双方のデータセットの縦方向位置の間の差分から縦方向オフセットを判定できる。これは、例えば図８の検知環境データと位置特定基準データとの間に示されるオフセットに見られる。
【0163】
実施形態において、データセットが画像として提供される場合、位置特定基準データと検知環境データとの間の明るさ、照明条件等の差異が低減されるように、相互相関は正規化相互相関演算を含むのが好ましい。比較は、車両が道路に沿って走行する間にあらゆるオフセットが継続的に判定されるように、例えば２００ｍの長さの重複ウィンドウに対して定期的に実行されるのが好ましい。図１１は、例示的な一実施形態において、示された位置特定基準データと示された検知環境データとの間の正規化相互相関計算の後に判定されたオフセットを示す。
【0164】
図１２は、「基準」データセットと「局所測定」データセット（道路に沿って走行する間に車両により取得される）との間で実行される相関の更なる一例を示す。２つの画像間の相関の結果は、「縦方向相関指数」に対する「シフト」のグラフに見ることができる。最大ピークの位置は、図示の最適合シフトを判定するために使用され、これはデジタル地図に対する車両の縦方向位置を調整するために使用することができる。
【0165】
図９、図１０Ｂ、図１１及び図１２からわかるように、位置特定基準データ及び検知環境データは、奥行きマップの形態であるのが好ましく、各要素（例えば、奥行きマップが画像として格納される場合は画素）は、縦方向位置（道路に沿う）を示す第１の値と、高度（すなわち、地面からの高さ）を示す第２の値と、（道路を横切る）横方向位置を示す第３の値とを含む。従って、例えば画素である奥行きマップの各要素は、車両の周囲の環境の表面の一部分に有効に対応する。例えば画素である各要素により表される表面のサイズは圧縮量と共に変化し、そのため、奥行きマップ（又は画像）の圧縮レベルが高い場合、例えば画素である要素は広い表面積を表すことが理解されるだろう。
【0166】
位置特定基準データが装置の例えばメモリであるデータ格納手段に格納される実施形態において、比較ステップは、車両内の１つ以上のプロセッサ上で実行可能である。位置特定基準データが車両からリモートに格納される他の実施形態において、検知環境データは、例えば移動体通信ネットワークである無線接続を介してサーバに送出可能である。位置特定基準データにアクセスできるサーバは、例えば移動体通信ネットワークを再度使用して、何らかの判定されたオフセットを車両に返す。
【0167】
本発明の一実施形態に係る車両内に配置された例示的なシステムを図１３に示す。このシステムにおいて、相関指標提供部と呼ばれる処理装置は、車両の左側の環境を検出するように配置された測位センサ及び車両の右側の環境を検出するように配置された測距センサからデータフィードを受信する。また、処理装置は、デジタル地図（プランニング地図の形態であるのが好ましい）と、デジタル地図に適切にマッチングされる場所基準データのデータベースとにアクセスできる。処理装置は、上述した方法を実行するように構成され、従って、オプションで例えば双方のセンサからのデータを組み合わせた画像データである適切な形式にデータフィードを変換した後に、縦方向オフセット及びデジタル地図に対する車両の正確な位置を判定するために測距センサからのデータフィードと位置特定基準データとを比較するように構成される。システムは、水平線提供部を更に備える。これは、判定された車両の位置及びデジタル地図内のデータを使用して、車両が通過しようとしているナビゲート可能ネットワークの前方部分に関する情報（「水平データ」と呼ぶ）を提供する。この水平データは、例えばアダプティブクルーズコントロール、自動車線変更、エマージェンシーブレーキアシスト等である種々の運転支援操作又は自動運転操作を実行するように車両内の１つ以上のシステムを制御するために使用できる。
【0168】
要約すると、本発明は、少なくとも好適な実施形態において、縦方向相関に基づく位置決め方法に関する。車両の周囲の３Ｄ空間は、道路の左右両側を範囲に含む２つの奥行きマップの形式で表され、これらを組み合わせて単一の画像にしてもよい。デジタル地図に格納された基準画像は、デジタル地図における道路の表現に沿って（すなわち、縦方向に）車両を正確に位置決めするために、車両のレーザ又は他の測距センサから導出された奥行きマップと相互相関される。実施形態において、奥行き情報は、道路を横切って（すなわち横方向に）自動車を位置決めするために使用することができる。
【0169】
好適な一実現例において、車両の周囲の３Ｄ空間は道路の軌道に対して平行な２つのグリッドに投影され、投影の値はグリッドの各セル内で平均される。縦方向相関器の奥行きマップの画素の寸法は、運転方向に沿って約５０ｃｍであり、高さが約２０ｃｍである。画素値によりコード化された奥行きは、約１０ｃｍで量子化される。運転方向に沿う奥行きマップ画像の解像度は５０ｃｍであるが、位置決めの解像度ははるかに高い。相互相関画像は、レーザ点が分布されて平均化されるグリッドを表す。適切なアップサンプリングは、サブ画素係数のシフトベクトルを見つけることを可能にする。同様に、量子化誤差は全ての相関画素にわたり平均されるため、約１０ｃｍの奥行き量子化は道路を横切る１０ｃｍの位置決め精度を示すものではない。従って、実際は、位置決め精度は、主にレーザの精度及び較正により制限され、縦方向相関器の指標の量子化誤差による寄与はごくわずかである。
【0170】
従って、例えば奥行きマップ（又は画像）である位置決め情報は常に利用可能であり（輪郭が鮮明な物体が周囲にない場合でも）、コンパクトであり（全世界の道路網を格納することが可能である）、他の手法と同等又はそれ以上の精度を可能にする（あらゆる場所で入手可能であり、従って、誤差平均化能力が高いため）ことが理解されるだろう。
【0171】
図１４Ａは、一連の場所基準データの一部分である例示的なラスタ画像を示す。ラスタ画像は、収集された３Ｄレーザ点データを基準線により定義され且つ道路の表面に対して垂直に配向する超平面に直交投影することにより形成される。投影の直交性のため、あらゆる高さ情報は基準線からの距離に依存しない。基準線自体は通常は車線／道路の境界に対して平行に存在する。超平面の実際の表現は、固定の水平解像度及び非線形の垂直解像度を有するラスタ形式である。本方法は、車両センサによる検出にとって重要である高さに関する情報密度を最大にすることを目的とする。実験によると、５～１０ｍの高さのラスタ平面が、後で車両位置特定に使用するのに必要な十分な関連情報を取り込むのに十分であることが判明した。ラスタ内の個々の画素はそれぞれ、レーザ測定値のグループを反映する。垂直解像度の場合と同様に、奥行き情報における解像度も非線形で表されるが、通常は８ビット値で（すなわち、０～２５５の値として）格納される。図１４Ａは道路の両側のデータを示す。図１４Ｂは、道路の左右における２つの別個の平面として図１４Ａのデータを示す鳥瞰斜視図である。
【0172】
上述したように、前部又は側部に取り付けられた水平設置レーザスキャナセンサを搭載した車両は、位置特定基準データの平面と同様の２Ｄ平面をリアルタイムに生成することができる。デジタル地図に対する車両の位置特定は、事前にマッピングされたデータとリアルタイムで検知され且つ処理されたデータとの画像空間における相関により達成される。縦方向における車両の位置特定は、高さ領域における１画素ぼかし及び縦方向領域におけるＳｏｂｅｌ演算子を用いて画像上の重複移動ウィンドウにおいて計算された平均非負正規化相互相関（ＮＣＣ）演算を適用することにより取得される。
【0173】
図１５Ａは、位置特定基準データ及びリアルタイムスキャンデータの固定の縦方向解像度と可変の例えば非線形の垂直解像度及び／又は奥行き解像度とを示す。従って、値ａ、ｂ及びｃにより表される縦方向距離は同一であるが、値Ｄ、Ｅ及びＦにより表される高さ範囲は異なる。特に、Ｄにより表される高さ範囲はＥにより表される高さ範囲より小さく、Ｅにより表される高さ範囲はＦにより表される高さ範囲より小さい。同様に、値０により表される奥行き範囲、すなわち車両に最も近い表面は、値１００により表される奥行き範囲より小さく、値１００により表される奥行き範囲は値２５５により表される奥行き範囲、すなわち車両から最も遠い表面より小さい。例えば、値０は１ｃｍの奥行きを表すことができ、値２５５は１０ｃｍの奥行きを表すことができる。
【0174】
図１５Ｂは、垂直解像度が変化してもよい方法を示す。本例では、垂直解像度は、基準線からの高さを画素Ｙの座標値にマッピングする非線形関数に基づいて変化する。図１５Ｂに示すように、本例ではＹ＝４０である基準線に近い画素は低い高さを表す。図１５Ｂに更に示すように、垂直解像度は基準線に近いほど大きく、すなわち、画素の位置に対する高さの変化は、基準線に近い画素ほど小さく、基準線から遠い画素ほど大きい。
【0175】
図１５Ｃは、奥行き分解能が変化してもよい方法を示す。本例では、奥行き解像度は、基準線からの距離を画素の奥行き（色）値にマッピングする非線形関数に基づいて変化する。図１５Ｃに示すように、画素奥行き値が低いほど、基準線からの距離が短いことを表す。図１５Ｃに更に示すように、奥行き解像度は画素奥行き値が低いほど大きく、すなわち、画素奥行き値に対する距離の変化は、画素奥行き値が低いほど小さく、画素奥行き値が高いほど大きい。
【0176】
図１５Ｄは、画素のサブセットが基準線に沿う距離にマッピングされてもよい方法を示す。図１５Ｄに示すように、基準線に沿う各画素は同じ幅であり、そのため、縦方向の画素解像度は固定される。図１５Ｄは、画素のサブセットが基準線からの高さにマッピングされてもよい方法を更に示す。図１５Ｄに示すように、基準線からの距離が大きいほど画素は漸進的に広く、そのため、基準線からの高さが高いほど垂直画素解像度は低い。図１５Ｄは、画素奥行き値のサブセットが基準線からの距離にマッピングされてもよい方法を更に示す。図１５Ｄに示すように、画素奥行き値が範囲に含む距離は、基準線からの距離が大きいほど漸進的に広く、そのため、基準線からの奥行き距離が大きいほど奥行き解像度は低い。
【0177】
本発明のいくつかの更なる実施形態及び特徴を以下に説明する。
【0178】
図１４Ａに関連して説明したように、位置特定基準データの例えばラスタ画像である奥行きマップは、道路要素に関連する基準線により定義される基準面への直交投影により提供されてもよい。図１６Ａは、そのような投影を使用した結果を示す。基準面は、示される道路基準線に対して垂直である。この場合、高さ情報は基準線からの距離に依存しない。これは、いくつかの利点を提供する場合があるが、直交投影の１つの制限は、道路要素に対して垂直な表面に関する情報が失われる場合があることである。直交投影を使用して取得された図１６Ｂの側部奥行きマップにより、これを示す。
【0179】
例えば４５°での非直交投影が使用される場合、道路要素に対して垂直な表面に関するそのような情報は保存されるだろう。これを図１６Ｃ及び図１６Ｄに示す。図１６Ｃは、同様に道路基準線に対して垂直であると定義される基準面への４５°投影を示す。図１６Ｄが示すように、この投影を使用して取得された側部奥行きマップは、道路要素に対して垂直である物体の表面に関するより多くの情報を含む。非直交投影を使用することにより、追加のデータチャネルを含める必要なく又は記憶容量の増加を必要とせずに、そのような垂直な表面に関する情報が奥行きマップデータにより取り込まれるだろう。そのような非直交投影が位置特定基準データの奥行きマップデータに使用される場合、対応する投影が位置特定基準データと比較されるリアルタイム検知データに使用される必要があることが理解されるだろう。
【0180】
位置特定基準データに対する奥行きマップデータの各画素は、例えばレーザ測定値である検知測定値のグループに基づく。これらの測定値は、画素の位置における関連する所定の方向に沿う基準面からの物体の距離を示すセンサ測定値に対応する。データの圧縮方法により、センサ測定値のグループが特定の画素にマッピングされる。センサ測定値のグループに従って異なる距離の平均に対応する画素に関連する奥行き値を判定するのではなく、種々のセンサ計測値に対応する距離のうち最短距離が画素奥行き値に使用される場合に、より高い精度が得られるだろうことが判明した。画素の奥行き値は、基準面から物体の最も近い表面までの距離を正確に反映することが重要である。これは、衝突危険性を最小限に抑えるように車両の位置を正確に判断する際に最も重要である。センサ測定値のグループの平均を使用して画素の奥行き値を提供する場合、奥行き値が示す物体の表面までの距離は、画素の位置における実際の距離よりも大きい可能性がある。これは、１つの物体が基準面と別のより遠い物体との間に過渡的に位置している可能性があるためであり、例えば樹木が建物の前に存在する場合がある。この状況では、センサ測定値が画素にマッピングされる領域が樹木の片側又は両側で樹木の向こうに延在するため、画素奥行き値を提供するために使用されるいくつかのセンサ測定値は建物に関するものであり、他のセンサ測定値は樹木に関するものである。本出願人は、この場合は樹木である最も近い物体の表面までの距離が確実に取り込まれることを保証するために、種々のセンサ測定値のうち最短センサ測定値を画素に関連する奥行き値とすることが最も安全であり且つ信頼性が高いと認識した。あるいは、画素の奥行きを提供するために、画素のセンサ測定値の分布を導出し、最短最頻値をとってもよい。これにより、最短距離の場合と同様に、より信頼性の高い画素の奥行きの指標が提供される。
【0181】
上述したように、位置特定基準データに対する奥行きマップデータの画素は、基準面における画素の位置から物体の表面までの奥行きを示すデータを含む奥行きチャネルを含む。１つ以上の追加の画素チャネルが位置特定基準データに含まれてもよい。これにより、マルチチャネル又はマルチレイヤの奥行きマップが得られ、従って、マルチチャネル又はマルチレイヤのラスタ画像が得られる。いくつかの好適な実施形態において、第２のチャネルは画素の位置における物体のレーザ反射率を示すデータを含み、第３のチャネルは画素の位置における物体のレーダ反射率を示すデータを含む。
【0182】
各画素は、道路基準線に沿う特定の距離（ｘ方向）及び道路基準線からの高さ（ｙ方向）に対応する位置を有する。第１のチャネルｃ１内の画素に関連する奥行き値は、最も近い物体の表面に対する所定の方向（使用される投影に応じて、基準面に対して直交又は非直交であってもよい）に沿った基準面における画素の距離を示す（画素の奥行き値を取得するために使用される検知測定値のグループのうちの最短距離に対応するのが好ましい）。第２のチャネルｃ２において、各画素は、基準面から距離ｃ１の周辺におけるレーザ点の平均局所反射率を示すレーザ反射率値を有してもよい。第３のチャネルｃ３において、画素は、基準面から距離ｃ１の周辺におけるレーダ点の平均局所反射率を示すレーダ反射率値を有してもよい。これを例えば図１７に示す。マルチチャネル形式により、非常に大量のデータを奥行きマップに含めることができる。使用されてもよい更なる可能なチャネルは、物体の厚さ（直交投影が使用される場合、道路の軌道に対して垂直な表面に関する情報を復元するために使用されてもよい）、反射点密度、並びに色及び／又はテクスチャ（例えば、基準スキャンデータを提供する際に使用されるカメラから取得される）である。
【0183】
位置特定基準データの奥行きマップが道路の側部に対する環境に関する実施形態に関連して本発明を説明したが、交差点における車両の位置決めを補助するために、異なる構成の奥行きマップを使用することが有用である場合があることが認識されている。これらの更なる実施形態は、交差点から離れた領域に対する側部奥行きマップと共に使用されてもよい。
【0184】
いくつかの更なる実施形態において、基準線は円の形態で定義される。換言すると、基準線は非線形である。円は、デジタル地図の交差点の中心を中心とする所与の半径により定義される。円の半径は、交差点の側部に依存して選択されてもよい。基準面は、この基準線に対して垂直な２次元表面として定義されてもよい。その場合、（円形の）奥行きマップが定義されてもよく、各画素は、線形基準線が使用される場合と同様に、所定の方向に沿った基準面における画素の位置から物体の表面までの距離、すなわち奥行き値を示すチャネルを含む。同様に、基準面への投影は直交又は非直交であってもよく、各画素は複数のチャネルを有してもよい。所与の画素の奥行き値は、物体までの最短検知距離に基づくのが好ましい。
【0185】
図１８は、交差点における奥行きマップ及び交差点外の奥行きマップを構成する際にそれぞれ使用されてもよい円形基準線及び線形基準線を示す。図１９Ａは、物体が異なる角度位置で円形奥行きマップに投影されてもよい方法を示す。図１９Ｂは、奥行きマップを提供するための基準面への各物体の直交投影を使用した投影を示す。
【0186】
基準データとリアルタイム検知データとの間の縦方向位置合わせオフセットを判定するために、位置特定基準データの奥行きマップが円形であるか否かに関係なく、当該奥行きマップを車両から取得されたリアルタイムセンサデータと比較してもよい方法を説明した。いくつかの更なる実施形態において、横方向位置合わせオフセットが更に取得される。これは、画像領域において実行されてもよい一連のステップを含む。
【0187】
側部奥行きマップを使用する一例を参照すると、処理の第１のステップにおいて、上述した方法で、基準データに基づく側部奥行きマップとリアルタイムセンサデータに基づく側部奥行きマップとの間の縦方向位置合わせオフセットが判定される。奥行きマップは、縦方向に位置合わせされるまで互いに対してシフトされる。次に、リアルタイムセンサデータに基づく奥行きマップにサイズが対応するように、基準奥行きマップ、すなわちラスタ画像がトリミングされる。そのように位置合わせされた基準に基づく側部奥行きマップ及びリアルタイムセンサに基づく側部奥行きマップの対応する位置における画素の奥行き値、すなわち画素の奥行きチャネルの値が比較される。対応画素対の各々の奥行き値の差分は、画素の横方向オフセットを示す。各画素の奥行き値が色により表される場合、これは画素の色差を考慮することにより評価されてもよい。対応画素対の間でこのようにして判定された最も頻度が高い横方向オフセット（最頻値差）が判定され、２つの奥行きマップの横方向位置合わせオフセットに対応するものと見なされる。最も頻度が高い横方向オフセットは、画素間の奥行き差のヒストグラムを使用して取得されてもよい。横方向オフセットが判定されると、それは道路上の車両の見なし横方向位置を補正するために使用されてもよい。
【0188】
図２０Ａは、奥行きマップの横方向オフセット位置合わせを判定するために比較されてもよい基準奥行きマップ、すなわち画像と車両からのリアルタイムセンサデータに基づく対応する奥行きマップ又は画像とを示す。図２０Ｂが示すように、最初に、画像を互いに対してシフトさせて縦方向に位置合わせする。次に、基準画像をトリミングした後、２つの奥行きマップにおける対応する画素の画素奥行き値の差分のヒストグラムを使用して、奥行きマップ間の横方向位置合わせオフセットを判定する（図２０Ｃ）。図２０Ｄは、これにより道路上の車両の縦方向位置が補正され、その後、横方向位置が補正されてもよい様子を示す。
【0189】
基準データに基づく奥行きマップとリアルタイムデータに基づく奥行きマップとの間の横方向位置合わせオフセットが取得されると、車両の進行方向が更に補正されてもよい。車両の実際の進行方向と見なし進行方向との間にオフセットがある場合、基準データに基づく奥行きマップ及びリアルタイム検知データに基づく奥行きマップにおける対応する画素間で、一定でない横方向位置合わせオフセットが奥行きマップに沿った縦方向距離の関数として判定されることになる。
【0190】
図２１Ａは、基準奥行きマップ画像（上）及びリアルタイムセンサに基づく奥行きマップ画像（下）の対応する部分を通る垂直スライスのセットを示す。各スライスにおける対応する画素の画素奥行き値の平均差（すなわち、横方向位置合わせオフセット）は、マップ／画像に沿う縦方向距離（ｘ軸）に対して示される（ｙ軸）。そのようなグラフを図２１Ｂに示す。この場合、平均画素奥行き距離と奥行きマップに沿った縦方向距離との間の関係を記述する関数は、適切な回帰分析により導出されてもよい。この関数の傾きは、車両の進行方向オフセットを示す。
【0191】
本発明の実施形態で使用される奥行きマップは、例えば国際公開第ＷＯ２００９／０４５０９６Ａ１号に記載のように、常に直線基準線に対するものであるように、すなわち線形参照画像になるように変換されてもよい。これは、図２２に示すような利点を有する。図２２の左側は、湾曲道路の画像である。湾曲道路の中心線を示すために、多くの印１１０２を配置する必要がある。図２２の右側には、対応する線形参照画像が図面の左側の湾曲道路に対応して示される。線形参照画像を取得するために、湾曲道路の中心線が線形参照画像の直線基準線にマッピングされる。この変換を考慮すると、基準線を２つの端点１１０４及び１１０６により単純に定義できる。
【0192】
完全に直線の道路では、基準奥行きマップとリアルタイム奥行きマップとの比較から計算されたシフトを直接適用できるが、線形参照画像を生成するために使用される線形化手順の非線形性のため、湾曲道路ではそのようなシフトを直接適用できない。図２３Ａ及び図２３Ｂは、一連の漸進的な独立した線形更新ステップを通じて非線形環境における車両の位置を確立する計算効率のよい方法を示す。図２３Ａに示すように、方法は、一連の漸進的な独立した線形更新ステップにおいて、縦方向の補正を適用し、次に横方向の補正を適用し、次に進行方向の補正を適用することを含む。特に、ステップ（１）において、縦方向オフセットは、車両センサデータと、デジタル地図に対する車両の現在の見なし位置（例えば、ＧＰＳを使用して取得される）に基づく基準奥行きマップとを使用して判定される。次に、縦方向オフセットを適用して、デジタル地図に対する車両の見なし位置が調整され、調整された位置に基づいて、基準奥行きマップが再計算される。次に、ステップ（２）において、車両センサデータ及び再計算された基準奥行きマップを使用して横方向オフセットが判定される。次に、横方向オフセットを適用して、デジタル地図に対する車両の見なし位置が更に調整され、調整された位置に基づいて、基準奥行きマップが再計算される。最後に、ステップ（３）において、車両センサデータ及び再計算された基準奥行きマップを使用して、進行方向のオフセット又は斜きが判定される。次いで、進行方向オフセットを適用して、デジタル地図に対する車両の見なし位置が更に調整され、調整された位置に基づいて、基準奥行きマップが再計算される。これらのステップは、リアルタイム奥行きマップと基準奥行きマップとの間の縦方向オフセット、横方向オフセット及び進行方向オフセットが略ゼロになるのに必要な回数繰り返される。図２３Ｂは、車両センサデータから生成された点群が基準奥行きマップから生成された点群とほぼ位置合わせされるまで、車両センサデータから生成された点群に対して縦方向オフセット、横方向オフセット及び進行方向オフセットを継続的に繰り返して適用することを示す。
【0193】
位置特定基準データの一連の例示的な使用例を更に示す。
【0194】
いくつかの実施形態において、リアルタイムセンサデータに基づく奥行きマップと比較するために位置特定基準データの奥行きマップを使用するのではなく、例えば各点が環境内の物体の表面を表す３次元座標系におけるデータ点のセットを含む基準点群を生成するために位置特定基準データの奥行きマップを使用する。この基準点群は、車両センサにより取得されたリアルタイムセンサデータに基づく対応する３次元点群と比較されてもよい。比較は、奥行きマップ間の位置合わせオフセットを判定するため及び車両の判定された位置を調整するために使用されてもよい。
【0195】
車両が有するセンサの種類に関係なく、基準奥行きマップは、車両のリアルタイムセンサデータに基づく対応する点群と比較されてもよい基準３Ｄ点群を取得するために使用されてもよい。基準データは、レーザスキャナ、レーダスキャナ及びカメラを含む様々な種類のセンサから取得されたセンサデータに基づいてもよいが、車両は対応するセンサのセットを有さなくてもよい。３Ｄ基準点群は、車両が利用できる特定の種類のリアルタイムセンサデータに基づいて得られた３Ｄ点群と比較されてもよい基準奥行きマップから構成されてもよい。
【0196】
例えば、基準位置特定データの奥行きマップがレーダ反射率を示すチャネルを含む場合、これは、レーダセンサのみを有する車両のリアルタイムセンサデータを使用して取得された３Ｄ点群と比較されてもよい基準点群を生成する際に考慮されてもよい。画素に関連するレーダ反射率データは、３Ｄ基準点群に含まれる必要があるデータ点、すなわち、車両のレーダセンサが検出することが予想される物体の表面を表すデータ点を識別するのに役立つ。
【0197】
別の例において、車両は、リアルタイムセンサデータを提供するための１つ又は複数のカメラのみを有してもよい。この場合、基準奥行きマップのレーザ反射率チャネルからのデータは、現在の条件で車両のカメラにより検出されることが予想されてもよい表面のみに関するデータ点を含む３Ｄ基準点群を構成するために使用されてもよい。例えば暗い場合は、相対的に反射性の高い物体のみが含まれるべきである。
【0198】
車両のリアルタイム検知データに基づく３Ｄ点群は、要望に応じて取得されてもよい。車両がセンサとして単一のカメラのみを含む場合、「ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ」技術が使用されてもよく、カメラからの一連の画像を使用して３Ｄシーンを再構成し、それから３Ｄ点群が取得されてもよい。車両がステレオカメラを含む場合、３Ｄシーンは直接生成され、３次元点群を提供するために使用されてもよい。これは、視差に基づく３Ｄモデルを使用して達成されてもよい。
【0199】
更に他の実施形態において、基準点群とリアルタイムセンサデータ点群と比較するのではなく、基準点群を使用して、車両の１つ又は複数のカメラにより見られると予想される画像を再構成する。画像は比較され、画像間の位置合わせオフセットを判定するために使用されてもよく、その後、車両の見なし位置を補正するために使用されてもよい。
【0200】
これらの実施形態において、車両のカメラにより検出されると予想される点のみを３次元基準点群に含むことに基づいて画像を再構成するために、基準奥行きマップの更なるチャネルを上述したように使用してもよい。例えば暗い場合、暗い状態でカメラにより検出され得る物体の表面に対応する点を３次元点群に含めるために選択するために、レーザ反射率チャネルが使用されてもよい。基準奥行きマップを判定する際に基準面への非直交投影を使用することはこの場合に特に有用であり、暗い状態でも検出可能であるだろう物体の表面に関するより多くの情報が保存されることが判明した。
【0201】
図２４は、レーザ、カメラ及びレーダである１つ以上の車両センサにより収集されたデータが車両から見た環境の「実際のフットプリント」を生成するために使用される本発明の実施形態に係る例示的なシステムを示す。「実際のフットプリント」は、デジタル地図に関連付けられた基準データから判定される対応する「基準フットプリント」と比較され、すなわち相関される。上述したように、基準データは少なくとも距離チャネルを含み、レーザ反射率チャネル及び／又はレーダ反射率チャネルを含んでもよい。この相関を介して、デジタル地図に対する車両の位置を正確に判定できる。
【0202】
第１の例示的な使用例では、図２５Ａに示すように、実際のフットプリントは、例えば車両内のＬＩＤＡＲセンサであるレーザに基づく距離センサから判定され、基準データの距離チャネルにおけるデータから判定された基準フットプリントと相関され、それにより車両の継続的な位置決めが達成される。第１の手法を図２５Ｂに示す。この場合、レーザに基づく距離センサにより判定されたレーザ点群は基準データと同じ形式の奥行きマップに変換され、２つの奥行きマップ画像が比較される。第２の代替手法を図２５Ｃに示す。この場合、レーザ点群が基準データから再構成され、この再構築された点群が車両から見たレーザ点群と比較される。
【0203】
第２の例示的な使用例では、図２６Ａに示すように、実際のフットプリントは車両内のカメラから判定され、基準データの距離チャネルにおけるデータから判定された基準フットプリントと相関され、それにより、日中のみであるが、車両の継続的な位置決めが達成される。換言すると、この例示的な使用例では、基準奥行きマップを使用して３Ｄ点群又は３Ｄビューを再構成し、これと複数の車両カメラ又は単一の車両カメラから取得された３Ｄシーン又は３Ｄビューとを比較する。第１の手法を図２６Ｂに示す。この場合、ステレオ車両カメラを使用して、視差に基づく３Ｄモデルを構築し、それを使用して、基準奥行きマップから構成された３Ｄ点群と相関させるための３Ｄ点群を構成する。第２の手法を図２６Ｃに示す。この場合、一連の車両カメラ画像を使用して３Ｄシーンを構成し、それを使用して、基準奥行きマップから構成された３Ｄ点群と相関させるための３Ｄ点群を構築する。最後に、第３の手法を図２５Ｄに示す。この場合、車両カメラ画像が基準奥行きマップから構成された３Ｄ点群から作成されたビューと比較される。
【0204】
図２７Ａに示すように、第３の例示的な使用例は、第２の例示的な使用例の変形であり、１つ以上のカメラにより取り込まれた画像に基づく３Ｄ点群又は３Ｄビューと比較されてもよい３Ｄ点群又は３Ｄビューを構成するために、奥行きマップのチャネル内の基準データのレーザ反射率データを使用できる。第１の手法を図２７Ｂに示す。この場合、一連の車両カメラ画像を使用して３Ｄシーンを構成し、それを使用して、基準奥行きマップから構成された（距離チャネル及びレーザ反射率チャネルの双方を使用して）３Ｄ点群と相関させるための３Ｄ点群を構成する。第２の手法を図２７Ｃに示す。この場合、車両カメラ画像は、基準奥行きマップから構成された（この場合も、距離チャネル及びレーザ反射率チャネルの双方を使用して）３Ｄ点群から作成されたビューと比較される。
【0205】
第４の例示的な使用例では、図２８Ａに示すように、実際のフットプリントは、車両内のレーダに基づく距離センサから判定され、基準データの距離チャネル及びレーダ反射率チャネルにおけるデータから判定された基準フットプリントと相関され、それにより、車両のまばらな位置決めが達成される。第１の手法を図２８Ｂに示す。この場合、基準データを使用して３Ｄシーンが再構成され、レーダ反射点のみを残すためにレーダ反射率チャネルにおけるデータが使用される。その後、この３Ｄシーンは、自動車から見たレーダ点群と相関される。
【0206】
当然、デジタル地図に対する車両のより正確な位置特定を可能にするために、種々の使用例を共に使用すること、すなわち、それらを融合することが可能であることが理解されるだろう。
【0207】
次に、図２９～図３２Ｂを参照して、例えば上述したように、車両の位置を判定するために車両センサデータと基準データとを相関させる方法を説明する。図２９は、方法において使用される種々の座標系、すなわち、局所座標系（局所ＣＳ）、自動車フレーム座標系（ＣＦ ＣＳ）及び自動車の軌跡に沿う線形参照座標系（ＬＲ ＣＳ）を示す。図示しないが、別の座標系は世界測地系（ＷＧＳ）であり、当技術において既知であるように、位置は緯度座標及び経度座標の対として与えられる。全体的な方法を図３０に示し、レーザ点群を判定するために実行されるステップの詳細を図３１に示す。図３２Ａは、図３０の相関ステップを実行するための第１の例示的な方法を示し、この方法において、車両の位置は、例えば基準データの奥行きマップラスタ画像と車両センサデータから作成された対応する奥行きマップラスタ画像との間の画像相関により補正される。図３２Ｂは、図３０の相関ステップを実行するための第２の例示的な方法を示し、この方法において、車両の位置は、例えば基準データから構成された３Ｄシーンと車両センサにより取り込まれた３Ｄシーンとの間の３Ｄ相関により補正される。
【0208】
次に、本発明の前述した実施形態と共に使用されてもされなくてもよい更なる一実施形態を説明する。この実施形態において、車線レベルの地図等のデジタル地図及び地図に対する車両の適切な位置決めが与えられた場合、車両等の道路関係物をより効率的に且つ非常に高い信頼性で検出するために、検知された点群に対して平行な地図の特徴を使用することができる。
【0209】
自律型車両は、道路上に存在する周辺の全ての関係物を迅速に検出して分類する必要があることが理解されるだろう。これを達成するために、車両は、ステレオカメラ、レーザ、レーダ等の種々のセンサを搭載している。適切な前処理の後、そのようなセンサからのデータを点群として表すことができ、当該点群内の物体を検出することができる。地図情報を用いない場合、そのような分類は不完全で信頼性がはるかに低く、非常に複雑である。
【0210】
図３３は、車両の位置がデジタル地図データに対して補正される前後のリアルタイムセンサデータに基づく点群の点をデジタル地図から取得された車線区分線の幾何学的配置を示す線と共に示す上面図である。特に、黒い点及び線は、位置補正前の地図の線に対する車両により登録された点群を示し、灰色の点は、位置補正後の車両により登録された点群を示す。図からわかるように、補正後、車線の印を示す点は、地図からの幾何学的配置を示す線と非常に良好に位置合わせされている。
【0211】
調整された点群及び地図データに基づいて、車両の周囲の物体を効率的に検出し、それらの道路上での位置及び挙動に関して分類することができる。そのような情報は、動的な自動車環境を効率的に達成するため及び／又は地図に対する位置決めを更に向上する（基準と比較する前に、自動車のシーンから移動物体を除去することにより）ために使用することができる。図３４は、図３３の分類された点群に基づいて検出された道路上に存在する移動物体を示す。
【0212】
図３５は、地図データを使用してリアルタイムセンサデータの点群内の点を事前に分類し、そのような点を使用して、次の反復における基準データとの更に適切な相関を通じて物体認識を強化し且つ／又は位置決めを向上する方法を概略的に示す。
【0213】
本発明に係る方法はいずれも、例えばコンピュータプログラムであるソフトウェアを使用して少なくとも部分的に実現されてもよい。従って、本発明は、本発明のいずれかの態様又は実施形態に係る方法を実行するため又はナビゲーション装置に実行させるために実行可能なコンピュータ可読命令を備えるコンピュータプログラムを更に含む。従って、本発明は、１つ以上のプロセッサにより実行される場合に、表示画面上に表示するための適切な画像（又は他のグラフィック情報）を１つ以上のプロセッサに生成させるコンピュータプログラムを含む。それに対応して、本発明は、データ処理手段を備えるシステム又は装置を動作させるために使用される場合に、前記データ処理手段と共に本発明の方法のステップを前記装置又はシステムに実行させるソフトウェアを備えるコンピュータソフトウェア担持体を含む。そのようなコンピュータソフトウェア担持体は、ＲＯＭチップ、ＣＤ ＲＯＭ又はディスク等の非一時的な物理記憶媒体であることができ、あるいは、回線を介する電子信号、光信号又は衛星等への無線信号等の信号であることができる。本発明は、機械により読み出される場合に、機械を本発明のいずれかの態様又は実施形態の方法に従って動作させる命令を含む機械可読媒体を提供する。
【0214】
明確に記載されない場合、いずれかの態様における本発明は、相互に排他的でない限り、本発明の他の態様又は実施形態に関して説明する特徴のいずれか又は全てを含んでもよいことが理解されるだろう。特に、方法において及び装置により実行されてもよい動作の種々の実施形態を説明したが、それらの動作のいずれか１つ以上又は全ては、要望に応じて適宜あらゆる組み合わせで方法において及び装置により実行されてもよいことが理解されるだろう。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図11】
【図12】
【図13】
【図14A】
【図14B】
【図15A】
【図15B】
【図15C】
【図15D】
【図16A】
【図16B】
【図16C】
【図16D】
【図17】
【図18】
【図19A】
【図19B】
【図20】
【図21】
【図22】
【図23A】
【図23B】
【図24】
【図25A】
【図25B】
【図25C】
【図26A】
【図26B】
【図26C】
【図26D】
【図27A】
【図27B】
【図27C】
【図28A】
【図28B】
【図29】
【図30】
【図31】
【図32A】
【図32B】
【図33】
【図34】
【図35】
