特表 2024-540985 ビークル、ビークル測位方法及び装置、デバイス並びにコンピュータ可読記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-11-06

(54)【発明の名称】ビークル、ビークル測位方法及び装置、デバイス並びにコンピュータ可読記憶媒体

(51)【国際特許分類】

   G01C 21/28 20060101AFI20241029BHJP

   G06T 7/00 20170101ALI20241029BHJP

【ＦＩ】

G01C21/28

G06T7/00 650A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024523921

(86)(22)【出願日】2021-10-22

(85)【翻訳文提出日】2024-05-31

(86)【国際出願番号】 CN2021125857

(87)【国際公開番号】W WO2023065342

(87)【国際公開日】2023-04-27

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ブルートゥース

２．ＢＬＵＥＴＯＯＴＨ

３．ＪＡＶＡ

(71)【出願人】

【識別番号】503433420

【氏名又は名称】華為技術有限公司

【氏名又は名称原語表記】ＨＵＡＷＥＩ ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】Ｈｕａｗｅｉ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｂｕｉｌｄｉｎｇ， Ｂａｎｔｉａｎ， Ｌｏｎｇｇａｎｇ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８１２９， Ｐ．Ｒ． Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100229448

【弁理士】

【氏名又は名称】中槇 利明

(72)【発明者】

【氏名】チェン，チャオユエ

(72)【発明者】

【氏名】ハン，メイジェン

(72)【発明者】

【氏名】ホゥ，ウエイローン

【テーマコード（参考）】

2F129

5L096

【Ｆターム（参考）】

2F129AA03

2F129BB03

2F129BB15

2F129BB33

2F129BB41

2F129BB45

2F129BB49

2F129GG17

5L096AA06

5L096BA04

5L096CA04

5L096DA02

5L096FA67

5L096FA69

5L096HA08

5L096JA11

5L096JA18

(57)【要約】

この出願は、インテリジェント運転の分野に関し、特に、ビークル、ビークル測位方法及び装置、デバイス並びにコンピュータ可読記憶媒体に関する。この出願の実施形態では、横方向オフセットが前方道路画像の道路特徴マップを使用することにより最初に決定され、次いで、ビークルの第2の位置が、道路特徴マップ、第1のポーズ、第1のポーズに対応する局所マップ及び横方向オフセットに基づいて決定される。これは、ビークル測位の精度を改善しつつ、計算リソース消費及び時間消費を低減でき、それにより、ビークル測位の信頼性及び適時性を同時に改善し、運転安全性を更に高める。

【特許請求の範囲】

【請求項1】

ビークル測位方法であって、
ビークルの前方道路画像を取得するステップと、
前記前方道路画像に基づいて道路特徴マップを取得するステップと、
前記道路特徴マップに基づいて前記ビークルの横方向オフセットを決定するステップと、
前記ビークルの前記横方向オフセット、前記ビークルの第1のポーズ、前記道路特徴マップ、及び前記第1のポーズに対応する局所マップに基づいて、前記ビークルの第2の位置を取得するステップと
を含む方法。

【請求項2】

前記道路特徴マップに基づいて前記ビークルの横方向オフセットを決定するステップは、前記道路特徴マップ内の車線境界線特徴に基づいて前記ビークルの前記横方向オフセットを決定するステップを含む、請求項１に記載の方法。

【請求項3】

前記道路特徴マップ内の前記車線境界線特徴は、前記道路特徴マップ内の関心領域(ROI)内の2つの車線境界線の特徴を含み、前記2つの車線境界線は、前記第1のポーズの左側及び右側に位置する、請求項２に記載の方法。

【請求項4】

前記道路特徴マップ内の車線境界線特徴に基づいて前記ビークルの前記横方向オフセットを決定するステップは、横方向画素オフセット及び事前設定画素比に基づいて前記ビークルの前記横方向オフセットを取得するステップと、前記道路特徴マップ内の前記ROIの上面図における車線境界線特徴に基づいて前記横方向画素オフセットを決定するステップとを含み、
前記道路特徴マップ内の前記ROIの前記上面図における前記車線境界線特徴は、前記道路特徴マップ内の前記ROI内の前記2つの車線境界線の前記特徴を使用することにより取得される、請求項３に記載の方法。

【請求項5】

前記横方向画素オフセットは、前記上面図における第1のカメラの光学中心のROIマッピング点と車線中心点との間の距離であり、前記車線中心点は、前記第1のポーズの前記左側及び前記右側の前記車線境界線の間の車線中心点であり、前記第1のカメラは、前記前方道路画像をキャプチャするカメラである、請求項４に記載の方法。

【請求項6】

当該方法は、前記ビークルの前記横方向オフセット、前記第1のポーズ、前記道路特徴マップ及び前記局所マップに基づいて、前記ビークルの第2の姿勢を取得するステップを更に含む、請求項１乃至５のうちいずれか１項に記載の方法。

【請求項7】

前記ビークルの前記第2の位置若しくは前記第2の姿勢又は双方は、前記局所マップ内の複数の候補ポーズ点に基づいて決定され、各候補ポーズ点のポーズは、前記ビークルの前記横方向オフセット、前記第1のポーズ及び前記局所マップに基づいて決定される、請求項１乃至６のうちいずれか１項に記載の方法。

【請求項8】

前記複数の候補ポーズ点は、補正位置を中心として使用することにより前記局所マップの同じ車線方向において均等に分布し、前記補正位置は、前記ビークルの前記横方向オフセットに基づいて、且つ、前記第1のポーズに対応し且つ前記局所マップ内にある車線中心点位置及び道路方位角に基づいて取得される、請求項７に記載の方法。

【請求項9】

前記第2の位置は、投影画像及び前記道路特徴マップに対して特徴マッチングを実行することにより選択された1つの候補ポーズ点の位置情報であり、及び/又は、前記第2の姿勢は、前記投影画像及び前記道路特徴マップに対して特徴マッチングを実行することにより選択された前記候補ポーズ点の姿勢情報であり、
前記投影画像は、前記候補ポーズ点のポーズ、第1のカメラの内部及び外部パラメータ、並びに前記局所マップに基づいて取得される、請求項７又は８に記載の方法。

【請求項10】

当該方法は、前記第2の位置、ビークルの第1の姿勢及びセンサ測位データに基づいて前記ビークルの第3のポーズを取得するステップ、又は前記第2の位置、前記ビークルの前記第2の姿勢及びセンサ測位データに基づいて前記ビークルの第3のポーズを取得するステップを更に含む、請求項１乃至９のうちいずれか１項に記載の方法。

【請求項11】

前記センサ測位データは、以下のもの、すなわち、GPS情報、IMU情報、INSビークル姿勢情報及びシャーシ情報のうち1つ以上を含む、請求項１０に記載の方法。

【請求項12】

前記局所マップはベクトルマップからのものである、請求項１乃至１１のうちいずれか１項に記載の方法。

【請求項13】

ビークル測位装置であって、
ビークルの前方道路画像を取得するように構成された画像取得ユニットと、
前記前方道路画像に基づいて道路特徴マップを取得するように構成された特徴取得ユニットと、
前記道路特徴マップに基づいて前記ビークルの横方向オフセットを決定するように構成されたオフセット決定ユニットと、
前記ビークルの前記横方向オフセット、前記ビークルの第1のポーズ、前記道路特徴マップ、及び前記第1のポーズに対応する局所マップに基づいて、前記ビークルの第2の位置を取得するように構成された位置決定ユニットと
を含む装置。

【請求項14】

前記特徴取得ユニットは、前記道路特徴マップ内の車線境界線特徴に基づいて前記ビークルの前記横方向オフセットを決定するように具体的に構成される、請求項１３に記載の装置。

【請求項15】

前記道路特徴マップ内の前記車線境界線特徴は、前記道路特徴マップ内の関心領域(ROI)内の2つの車線境界線の特徴を含み、前記2つの車線境界線は、前記第1のポーズの左側及び右側に位置する、請求項１４に記載の装置。

【請求項16】

前記特徴取得ユニットは、横方向画素オフセット及び事前設定画素比に基づいて前記ビークルの前記横方向オフセットを取得するように具体的に構成され、前記横方向画素オフセットは、前記道路特徴マップ内の前記ROIの上面図における車線境界線特徴に基づいて決定され、前記道路特徴マップ内の前記ROIの前記上面図における前記車線境界線特徴は、前記道路特徴マップ内の前記ROI内の前記2つの車線境界線の前記特徴を使用することにより取得される、請求項１５に記載の装置。

【請求項17】

前記横方向画素オフセットは、前記上面図における第1のカメラの光学中心のROIマッピング点と車線中心点との間の距離であり、前記車線中心点は、前記第1のポーズの前記左側及び前記右側の前記車線境界線の間の車線中心点であり、前記第1のカメラは、前記前方道路画像をキャプチャするカメラである、請求項１６に記載の装置。

【請求項18】

当該装置は、前記ビークルの前記横方向オフセット、前記第1のポーズ、前記道路特徴マップ及び前記局所マップに基づいて、前記ビークルの第2の姿勢を取得するように構成された姿勢決定ユニットを更に含む、請求項１３乃至１７のうちいずれか１項に記載の装置。

【請求項19】

前記ビークルの前記第2の位置若しくは前記第2の姿勢又は双方は、前記局所マップ内の複数の候補ポーズ点に基づいて決定され、各候補ポーズ点のポーズは、前記ビークルの前記横方向オフセット、前記第1のポーズ及び前記局所マップに基づいて決定される、請求項１３乃至１８のうちいずれか１項に記載の装置。

【請求項20】

前記複数の候補ポーズ点は、補正位置を中心として使用することにより前記局所マップの同じ車線方向において均等に分布し、前記補正位置は、前記ビークルの前記横方向オフセットに基づいて、且つ、前記第1のポーズに対応し且つ前記局所マップ内にある車線中心点位置及び道路方位角に基づいて取得される、請求項１９に記載の装置。

【請求項21】

前記第2の位置は、投影画像及び前記道路特徴マップに対して特徴マッチングを実行することにより選択された1つの候補ポーズ点の位置情報であり、及び/又は、前記第2の姿勢は、前記投影画像及び前記道路特徴マップに対して特徴マッチングを実行することにより選択された前記候補ポーズ点の姿勢情報であり、
前記投影画像は、前記候補ポーズ点のポーズ、第1のカメラの内部及び外部パラメータ、並びに前記局所マップに基づいて取得される、請求項１９又は２０に記載の装置。

【請求項22】

当該装置は、前記第2の位置、ビークルの第1の姿勢及びセンサ測位データに基づいて前記ビークルの第3のポーズを取得するか、或いは、前記第2の位置、前記ビークルの前記第2の姿勢及びセンサ測位データに基づいて前記ビークルの第3のポーズを取得するように構成された融合ユニットを更に含む、請求項１３乃至２１のうちいずれか１項に記載の装置。

【請求項23】

前記センサ測位データは、以下のもの、すなわち、GPS情報、IMU情報、INSビークル姿勢情報及びシャーシ情報のうち1つ以上を含む、請求項２２に記載の装置。

【請求項24】

前記局所マップはベクトルマップからのものである、請求項１３乃至２３のうちいずれか１項に記載の装置。

【請求項25】

プロセッサとメモリとを含むコンピューティングデバイスであって、
前記メモリはプログラム命令を記憶し、前記プログラム命令が前記プロセッサにより実行されたとき、前記プロセッサは、請求項１乃至１２のうちいずれか１項に記載の方法を実行することが可能になる、コンピューティングデバイス。

【請求項26】

コンピュータ可読記憶媒体であって、
当該コンピュータ可読記憶媒体はプログラム命令を記憶し、前記プログラム命令がコンピュータにより実行されたとき、前記コンピュータは、請求項１乃至１２のうちいずれか１項に記載の方法を実行することが可能になる、コンピュータ可読記憶媒体。

【請求項27】

ビークルであって、
前方道路画像をキャプチャするように構成された第1のカメラと、
請求項１３乃至２４のうちいずれか１項に記載のビークル測位装置又は請求項２５に記載のコンピューティングデバイスと
を含むビークル。

【請求項28】

当該ビークルは、以下のもの、すなわち、GPSセンサ、IMU、車速センサ及び加速度センサのうち1つ以上を更に含む、請求項２７に記載のビークル。

【発明の詳細な説明】

【技術分野】

【0001】

この出願は、インテリジェント運転の分野に関し、特に、ビークル、ビークル測位方法及び装置、デバイス並びにコンピュータ可読記憶媒体に関する。

【背景技術】

【0002】

ビークルは、測位技術に大きく依存する。測位は他のビークル機能の前提条件であり、測位精度はビークルの安全性に直接影響を及ぼす。一般的に、全地球測位システム(global positioning system, GPS)と慣性測定ユニット(Inertial Measuring Unit, IMU)との統合された測位が、ビークルの高精度測位を達成するために使用される。しかし、GPSが不十分な信号を有するか或いは故障したとき、GPSとIMUとの統合された測位にドリフトが発生し、その結果、測位精度が低減される。

【0003】

現在、GPSが故障したか或いは不十分な信号を有する環境では、IMUは、レーザ及び視覚的方法を使用して測位結果を補正することにより制約される。このような方法は、視覚的特徴、例えば、ORB(Oriented FAST and Rotated BRIEF)特徴又はFAST(Features From Accelerated Segment Test)特徴として測位環境の特徴マップをキャプチャ及び記憶し、反復最近点(Iterative Closest Point, ICP)アルゴリズム又はKdツリー(Kd-Tree)のような点マッチング方法を使用することにより、広い範囲で或いはさらにはマップ全体で特徴マッチングを実行することを必要とする。これは、大きいデータ量及び高い計算の複雑さをもたらし、計算及び時間リソースの双方における深刻な浪費を有する。この場合、ハードウェアコストが高く、一方で作業効率が低く、リアルタイムビークル測位が確実に実行できず、これは、ビークルの無人運転又はインテリジェント運転に安全性リスクをもたらす。

【発明の概要】

【0004】

上記の技術的問題を解決するために、この出願の実施形態は、ビークル測位の精度を改善しつつ、計算リソース消費及び時間消費を低減するための、ビークル、ビークル測位方法及び装置、デバイス並びにコンピュータ可読記憶媒体を提供する。

【0005】

この出願の第1の態様は、ビークル測位方法を提供し、
ビークルの前方道路画像を取得するステップと、
前方道路画像に基づいて道路特徴マップを取得するステップと、
道路特徴マップに基づいてビークルの横方向オフセットを決定するステップと、
ビークルの横方向オフセット、ビークルの第1のポーズ、道路特徴マップ、及び第1のポーズに対応する局所マップに基づいて、ビークルの第2の位置を取得するステップと
を含む。

【0006】

横方向オフセットはビークルの横方向道路距離を示し得るので、横方向オフセット及び第1のポーズが組み合わされ、それにより、画像マッチングの範囲が狭められてもよく、それにより、ビークル測位の精度を改善しつつ、計算量及び計算の複雑さを効果的に低減するようにする。

【0007】

第1の態様の可能な実現方式では、道路特徴マップに基づいてビークルの横方向オフセットを決定するステップは、道路特徴マップ内の車線境界線特徴に基づいてビークルの横方向オフセットを決定するステップを含む。車線境界線特徴は信頼性が高く、完全である。したがって、車線境界線特徴を横方向オフセットの基礎として使用することにより、正確で信頼性の高い横方向オフセットが取得できる。

【0008】

第1の態様の可能な実現方式では、道路特徴マップ内の車線境界線特徴は、道路特徴マップ内の関心領域ROI内の2つの車線境界線の特徴を含み、2つの車線境界線は、第1のポーズの左側及び右側に位置する。道路特徴マップ内のROIのデータ量は小さく、車線境界線特徴は完全であり、信頼性が高い。したがって、ビークルの横方向オフセットの精度及び信頼性が更に改善できる。

【0009】

第1の態様の可能な実現方式では、道路特徴マップ内の車線境界線特徴に基づいてビークルの横方向オフセットを決定するステップは、横方向画素オフセット及び事前設定画素比に基づいてビークルの横方向オフセットを取得するステップと、道路特徴マップ内のROIの上面図における車線境界線特徴に基づいて横方向画素オフセットを決定するステップとを含み、道路特徴マップ内のROIの上面図における車線境界線特徴は、道路特徴マップ内のROI内の2つの車線境界線の特徴を使用することにより取得される。横方向画素オフセット及び画素比に基づいて横方向オフセットを取得する方式は、実現するのが容易である。したがって、計算の複雑さが更に低減できる。

【0010】

第1の態様の可能な実現方式では、横方向画素オフセットは、上面図における第1のカメラの光学中心のROIマッピング点と車線中心点との間の距離であり、車線中心点は、第1のポーズの左側及び右側の車線境界線の間の車線中心点であり、第1のカメラは、前方道路画像をキャプチャするカメラである。第1のカメラの光学中心の位置は取得するのが容易であり、位置の座標変換の計算量は小さい。このように、計算量及び計算の複雑さが更に低減できる。

【0011】

第1の態様の可能な実現方式では、ビークル測位方法は、ビークルの横方向オフセット、第1のポーズ、道路特徴マップ及び局所マップに基づいて、ビークルの第2の姿勢を取得するステップを更に含む。このように、ビークルの正確な姿勢がリアルタイムに取得できる。

【0012】

第1の態様の可能な実現方式では、ビークルの第2の位置若しくは第2の姿勢又は双方は、局所マップ内の複数の候補ポーズ点に基づいて決定され、各候補ポーズ点のポーズは、ビークルの横方向オフセット、第1のポーズ及び局所マップに基づいて決定される。このように、横方向オフセットにより選択された候補ポーズ点を使用することにより、ビークルが正確に測位できる。計算量は小さく、計算の複雑さは低い。これは、計算リソース消費及び時間消費を効果的に低減できる。

【0013】

第1の態様の可能な実現方式では、複数の候補ポーズ点は、補正位置を中心として使用することにより局所マップの同じ車線方向において均等に分布し、補正位置は、ビークルの横方向オフセットに基づいて、且つ、第1のポーズに対応し且つ局所マップ内にある車線中心点位置及び道路方位角に基づいて取得される。このように、同じ車線方向の複数の候補ポーズ点を使用することにより、ビークルが正確に測位できる。探索範囲がより小さくなる。これは、ビークル測位の精度を改善しつつ、計算量及び計算の複雑さを更に低減できる。

【0014】

第1の態様の可能な実現方式では、第2の位置は、投影画像及び道路特徴マップに対して特徴マッチングを実行することにより選択された1つの候補ポーズ点の位置情報であり、及び/又は、第2の姿勢は、投影画像及び道路特徴マップに対して特徴マッチングを実行することにより選択された候補ポーズ点の姿勢情報であり、投影画像は、候補ポーズ点のポーズ、第1のカメラの内部及び外部パラメータ、並びに局所マップに基づいて取得される。投影画像と道路特徴マップとの間の一致の程度は、対応する候補ポーズ点と実際のビークルポーズとの間の近さの程度を示し得るので、正確で信頼性の高いビークル測位結果が取得できる。

【0015】

第1の態様の可能な実現方式では、ビークル測位方法は、第2の位置、ビークルの第1の姿勢及びセンサ測位データに基づいてビークルの第3のポーズを取得するステップ、又は第2の位置、ビークルの第2の姿勢及びセンサ測位データに基づいてビークルの第3のポーズを取得するステップを更に含む。このように、複数の種類の位置データの融合を通じて、より高い精度及びより良好な信頼性を有する第3の姿勢が取得でき、それにより、ビークル測位の精度及び信頼性を更に改善する。

【0016】

第1の態様の可能な実現方式では、センサ測位データは、以下のもの、すなわち、GPS情報、IMU情報、INSビークル姿勢情報及びシャーシ情報のうち1つ以上を含む。

【0017】

第1の態様の可能な実現方式では、局所マップはベクトルマップからのものである。ベクトルマップ情報は完全であり、高い精度を有し、それにより、ビークル測位の精度が更に改善できるようにする。

【0018】

この出願の第2の態様は、ビークル測位装置を提供し、
ビークルの前方道路画像を取得するように構成された画像取得ユニットと、
前方道路画像に基づいて道路特徴マップを取得するように構成された特徴取得ユニットと、
道路特徴マップに基づいてビークルの横方向オフセットを決定するように構成されたオフセット決定ユニットと、
ビークルの横方向オフセット、ビークルの第1のポーズ、道路特徴マップ、及び第1のポーズに対応する局所マップに基づいて、ビークルの第2の位置を取得するように構成された位置決定ユニットと
を含む。

【0019】

第2の態様の可能な実現方式では、特徴取得ユニットは、道路特徴マップ内の車線境界線特徴に基づいてビークルの横方向オフセットを決定するように具体的に構成される。

【0020】

第2の態様の可能な実現方式では、道路特徴マップ内の車線境界線特徴は、道路特徴マップ内の関心領域ROI内の2つの車線境界線の特徴を含み、2つの車線境界線は、第1のポーズの左側及び右側に位置する。

【0021】

第2の態様の可能な実現方式では、特徴取得ユニットは、横方向画素オフセット及び事前設定画素比に基づいてビークルの横方向オフセットを取得するように具体的に構成され、横方向画素オフセットは、道路特徴マップ内のROIの上面図における車線境界線特徴に基づいて決定され、道路特徴マップ内のROIの上面図における車線境界線特徴は、道路特徴マップ内のROI内の2つの車線境界線の特徴を使用することにより取得される。

【0022】

第2の態様の可能な実現方式では、横方向画素オフセットは、上面図における第1のカメラの光学中心のROIマッピング点と車線中心点との間の距離であり、車線中心点は、第1のポーズの左側及び右側の車線境界線の間の車線中心点であり、第1のカメラは、前方道路画像をキャプチャするカメラである。

【0023】

第2の態様の可能な実現方式では、ビークル測位装置は、ビークルの横方向オフセット、第1のポーズ、道路特徴マップ及び局所マップに基づいて、ビークルの第2の姿勢を取得するように構成された姿勢決定ユニットを更に含む。

【0024】

第2の態様の可能な実現方式では、ビークルの第2の位置若しくは第2の姿勢又は双方は、局所マップ内の複数の候補ポーズ点に基づいて決定され、各候補ポーズ点のポーズは、ビークルの横方向オフセット、第1のポーズ及び局所マップに基づいて決定される。

【0025】

第2の態様の可能な実現方式では、複数の候補ポーズ点は、補正位置を中心として使用することにより局所マップの同じ車線方向において均等に分布し、補正位置は、ビークルの横方向オフセットに基づいて、且つ、第1のポーズに対応し且つ局所マップ内にある車線中心点位置及び道路方位角に基づいて取得される。

【0026】

第2の態様の可能な実現方式では、第2の位置は、投影画像及び道路特徴マップに対して特徴マッチングを実行することにより選択された1つの候補ポーズ点の位置情報であり、及び/又は、第2の姿勢は、投影画像及び道路特徴マップに対して特徴マッチングを実行することにより選択された候補ポーズ点の姿勢情報であり、投影画像は、候補ポーズ点のポーズ、第1のカメラの内部及び外部パラメータ、並びに局所マップに基づいて取得される。

【0027】

第2の態様の可能な実現方式では、ビークル測位装置は、第2の位置、ビークルの第1の姿勢及びセンサ測位データに基づいてビークルの第3のポーズを取得するか、或いは、第2の位置、ビークルの第2の姿勢及びセンサ測位データに基づいてビークルの第3のポーズを取得するように構成された融合ユニットを更に含む。

【0028】

第2の態様の可能な実現方式では、センサ測位データは、以下のもの、すなわち、GPS情報、IMU情報、INSビークル姿勢情報及びシャーシ情報のうち1つ以上を含む。

【0029】

第2の態様の可能な実現方式では、局所マップはベクトルマップからのものである。

【0030】

この出願の第3の態様は、プロセッサとメモリとを含むコンピューティングデバイスを提供する。メモリはプログラム命令を記憶し、プログラム命令がプロセッサにより実行されたとき、プロセッサは、第1の態様におけるビークル測位方法を実行することが可能になる。

【0031】

この出願の第4の態様は、コンピュータ可読記憶媒体を提供する。コンピュータ可読記憶媒体はプログラム命令を記憶し、プログラム命令がコンピュータにより実行されたとき、コンピュータは、第1の態様におけるビークル測位方法を実行することが可能になる。

【0032】

この出願の第5の態様は、コンピュータプログラムを含むコンピュータプログラム製品を提供する。コンピュータプログラムがプロセッサにより実行されたとき、プロセッサは、第1の態様におけるビークル測位方法を実行することが可能になる。

【0033】

この出願の第6の態様は、前方道路画像をキャプチャするように構成された第1のカメラと、第2の態様におけるビークル測位装置又は第3の態様におけるコンピューティングデバイスとを含むビークルを提供する。

【0034】

第6の態様の可能な実現方式では、ビークルは、以下のもの、すなわち、GPSセンサ、IMU、車速センサ及び加速度センサのうち1つ以上を更に含む。

【0035】

この出願の実施形態では、横方向オフセットが最初に決定され、次いで、ビークルの第2の位置が横方向オフセットに基づいて決定される。これは、画像マッチングのような複雑な処理の範囲を効果的に狭め、計算量及び計算の複雑さを低減できる。このように、この出願の実施形態では、ビークル測位の精度が改善されつつ、計算リソース消費及び時間コストが低減できる。GPSが故障したか或いは不十分な信号を有するか或いはその他の様々な場合に、ビークル測位の精度、信頼性及び適時性が同期して改善でき、それにより、無人運転及びインテリジェント運転のような様々な運転モードにおけるビークルの運転安全性を改善する。

【0036】

この出願のこれらの態様及び他の態様は、以下の(複数の)実施形態の説明においてより明確になり、より理解しやすくなる。

【図面の簡単な説明】

【0037】

以下に、添付の図面を参照して、この出願の特徴及び特徴の間の関係について更に説明する。添付の図面は全て例であり、いくつかの特徴は実際の比率で示されていない。さらに、いくつかの添付の図面において、この出願の分野においてこの出願に必須ではない共通の特徴は省略されることがある。代替として、この出願に必須ではない更なる特徴が示される。添付の図面に示す特徴の組み合わせは、この出願を限定することを意図するものではない。さらに、この明細書において、同じ参照符号は同じ内容を表す。具体的な添付の図面は以下の通り記載される。

【図1】この出願の実施形態による適用シナリオの例示的な図である。

【図2】この出願の実施形態によるビークル測位方法の概略フローチャートである。

【図3】この出願の実施形態による例における道路特徴マップの概略図である。

【図4】この出願の実施形態による例において車線境界線特徴を分離することにより取得された道路特徴マップの概略図である。

【図5】この出願の実施形態による例におけるカメラ座標系におけるROIの概略図である。

【図6】この出願の実施形態による例における道路特徴マップ内のROIの例示的な図である。

【図7】この出願の実施形態による例における道路特徴マップ内のROIの上面図の概略図である。

【図8】この出願の実施形態による例における、基準座標系における補正位置、第1の位置、横方向オフセット、及び補正位置と第1の位置と横方向オフセットとの間の関係の概略図である。

【図9】この出願の実施形態による例における候補ポーズ点の概略図である。

【図10】この出願の実施形態によるビークル測位方法の具体的な実現プロセスの概略図である。

【図11】この出願の実施形態によるビークル測位装置の構造の概略図である。

【図12】この出願の実施形態によるコンピューティングデバイスの構造の概略図である。

【図13】この出願の実施形態による例におけるビークルの構造の概略図である。

【発明を実施するための形態】

【0038】

この明細書及び特許請求の範囲において、「第1」、「第2」等の用語、又はユニットA及びユニットBのような同様の用語は、単に同様の物体の間を区別するために使用されており、物体の特定の順序を示すものではない。特定の順序又はシーケンスは、可能である場合には交換されてもよく、それにより、ここに記載されるこの出願の実施形態が、ここに例示又は記載される順序以外の順序で実現できるようにすることが理解され得る。

【0039】

以下の説明において、ステップを示すS210及びS220のような関係する参照符号は、必ずしもステップが順序に基づいて実行されることを示すものではなく、前後のステップは、可能である場合には入れ替えられてもよく、或いは、同時に実行されてもよい。

【0040】

以下に、この出願の実施形態における重要な用語及び関連する用語について説明する。

【0041】

ワールド座標系:測定座標系又は客観座標系とも呼ばれ、カメラ及び測定対象物の三次元位置及び三次元姿勢を記述するための基準として使用されてもよい。ワールド座標系は、客観的な三次元世界の絶対座標系である。通常では、三次元座標軸における座標値Pw(Xw,Yw,Zw)は物体の三次元位置を示し、三次元座標軸に対する物体の回転角(raw,pitch,yaw)は物体の三次元姿勢を示す。この出願の実施形態では、ワールド座標系は、グローバルポーズの基準座標系として使用されてもよい。

【0042】

カメラ座標系:カメラの光学中心が座標原点として使用される。Z軸及び光軸は一致し、カメラの前側を指す。X軸はカメラの右側を指す。Y軸はカメラの下側を指す。通常では、Pc(Xc,Yc,Zc)はカメラ座標系の座標値を示す。

【0043】

カメラの外部パラメータ:カメラ座標系とワールド座標系との間の相対的な位置関係を決定してもよい。ワールド座標系からカメラ座標系に変換されるパラメータは、回転行列R及び並進ベクトルTを含んでもよい。ピンホール撮像が例として使用される。カメラの外部パラメータ、ワールド座標及びカメラ座標は、関係式(1):Pc=RPw+T (1)を満たし、Pwはワールド座標系における座標値(Xw,Yw,Zw)であり、Pcはカメラ座標系における座標値(Xc,Yc,Zc)であり、T=(Tx,Ty,Tz)は並進ベクトルであり、R=R(α,β,γ)は回転行列であり、カメラ座標系のZ軸周りの回転角がγであり、Y軸周りの回転角がβであり、X軸周りの回転角がαである。すなわち、6つのパラメータα、β、γ、Tx、Ty及びTzは、カメラの外部パラメータである。

【0044】

カメラの内部パラメータ:三次元空間から二次元画像への投影関係を決定し、カメラのみに関連する。小さな穴の撮像モデルが例として使用される。画像歪みが考慮されない場合、内部パラメータは、画素座標系における2つの座標軸u及びvにおけるカメラのスケールファクタ、画像座標系に対する主点座標(x₀,y₀)、及び座標軸チルトパラメータsを含んでもよい。u軸におけるスケールファクタは、画像座標系のx方向における各画素の物理的な長さdxのカメラの焦点距離fに対する比である。v軸におけるスケールファクタは、画像座標系のy方向における画素の物理的長さdyのカメラの焦点距離に対する比である。画像歪みが考慮される場合、内部パラメータは、画素座標系の2つの座標軸u及びvにおけるカメラのスケールファクタ、撮像面座標系に対する主点座標、座標軸チルトパラメータ、及び歪みパラメータを含んでもよい。歪みパラメータは、カメラの3つの半径方向歪みパラメータと2つの接線方向歪みパラメータとを含んでもよい。カメラの内部パラメータ及び外部パラメータは、キャリブレーションを通じて取得されてもよい。

【0045】

画素座標系は、画素座標系又は正射投影画素座標系とも呼ばれてもよく、画素の単位の画像座標系である。画像平面の左上頂点が原点として使用され、u軸は水平方向右向きであり、v軸は垂直方向下向きであり、u軸及びv軸はそれぞれカメラ座標系のX軸及びY軸に平行である。通常では、p(u,v)は画素座標系の座標値を示す。画素座標系は、画像内の画素の位置を画素の単位で示し、画像座標系は、画像内の画素の位置を物理的単位(例えば、ミリメートル)で示す。

【0046】

透視投影(perspective projection):3Dカメラ座標系から2D画素座標系への透視投影関係である。座標系の原点位置が一致せず、スケールサイズが一致しないので、透視投影は、伸縮変換及び並進変換に関係する。ピンホールカメラモデルが例として使用される。カメラ座標系における点(Xc,Yc,Zc)から画素座標系における(u,v)への透視投影関係は、以下の式(2)に示す変換式を満たす。

【数1】

【0047】

(u,v)は画素座標系における座標値であり、(Xc,Yc,Zc)はカメラ座標系における座標値であり、Kはカメラの内部パラメータの行列表現である。

【0048】

画像歪みが考慮されない場合、式(2)は式(3)のように更に表現されてもよい。

【数2】

【0049】

f_xは画像座標系のx方向における各画素の物理的な長さdxに対するカメラの焦点距離fの比であり、x軸方向における焦点距離が画素を使用することにより記述されることを示す。f_yは画像座標系のy方向における各画素の物理的な長さdyに対するカメラの焦点距離fであり、y軸方向における焦点距離が画素を使用することにより記述されることを示す。(u₀,v₀)は、画素座標系における、カメラの光軸と画像平面との間の交点(すなわち、主点)の座標を示し、u₀は、画像座標系における主点の水平座標x₀のdxに対する比であり、v₀は、画像座標系における主点の垂直座標y₀のdyに対する比である。

【0050】

上面図はまた、エアリアルビューとも呼ばれてもよく、アフィン変換を通じて、正射投影画素座標系から上面図の画素座標系に座標値を変換してもよい。

【0051】

アフィン変換:アフィン変換は、透視中心、画像点及び目標点の3点共線条件下で、投影平面(すなわち、透視平面)が、トレース線(すなわち、透視軸)の周りで透視回転則に従って或る角度だけ回転し、元の投影ビームを破壊するが、投影平面上の投影の幾何学的形状が依然として不変のまま維持できる変換である。

【0052】

アフィン変換の一般式は、以下の式(4)である。

【数3】

【0053】

(u,v)は元の座標を示し、拡張ベクトルの形式で表され、w=1である。アフィン変換行列Mにおいて、a₁₁、a₁₂、a₂₁及びa₂₂は、線形変換(例えば、スケーリング、クリッピング及び回転)を示す。a₃₁及びa₃₂は並進に使用される。a₁₃及びa₂₃は透視変換を生成するために使用される。

【0054】

通常では、変換された座標(x,y)は、以下の式(5)を満たす。

【数4】

【0055】

変換行列が既知である場合、変換の式(5)及び式(4)に従って、以下の式(6)及び式(7)が取得されてもよく、式(6)及び式(7)に従って、元の座標を使用することにより、変換された座標が直接取得されてもよい。

【数5】

【0056】

ここで、アフィン変換行列Mの成分の値は、3つの点の対の元の座標及び変換された座標を使用することにより、上記の式による計算を通じて取得されてもよい。

【0057】

グローバルポーズ(global pose):絶対ポーズとも呼ばれ、基準座標系における物体の位置及び姿勢を含んでもよい。ビークルが例として使用される。物体の位置は、基準座標系における三次元座標値(例えば、上記のワールド座標系における座標値Pw(Xw,Yw,Zw))を使用することにより示されてもよい。物体の姿勢は、ビークルのピッチ角(pitch)、ヨー角(yaw)(ヨーの角度とも呼ばれる)及びロー角(raw)を使用することにより示されてもよい。ロー角はX軸周りの回転角であり、ピッチ角はY軸周りの回転角であり、ヨー角はZ軸周りの回転角である。代替として、物体の姿勢は四元数を使用することにより記述されてもよい。この出願の実施形態では、グローバルポーズの基準座標系は、上記のワールド座標系(座標値及び姿勢角を含む)、測地座標系、ユニバーサル横メルカトル(Universal Transverse Mercator, UTM)グリッド系(Grid System)(UTM座標系とも呼ばれる)等でもよいが、これらに限定されない。

【0058】

以下に、まず、可能な実現方式について簡単に分析する。

【0059】

上記のように、GPSが故障するか或いは不十分な測位効果を有するとき或いはその他の場合、GPSとIMUとの統合された測位にドリフトが発生し、その結果、測位精度が低減される。

【0060】

可能な実現方式では、測位システムは、視覚的測位装置と慣性航法装置とを含む。慣性航法装置は慣性測定ユニットを含む。慣性航法装置は、慣性測定ユニットの状態情報(キャリア座標系における慣性測定ユニットの比力加速度(specific force acceleration)及びオイラー角を含む)を取得する。視覚的測位装置は、状態情報に基づいて慣性測定ユニットの直線加速度を決定し、次いで、視覚的情報及び慣性測定ユニットの直線加速度に基づいて無人ビークルの位置情報を決定する。この実現方式は、無人ビークルの低い測位精度の問題を解決できる。しかし、この実現方式では累積誤差が存在し、視覚的情報のデータ量が大きく、計算の複雑さが高い。したがって、この実現方式における測位精度はセンチメートルレベルに達することができず、計算リソース消費は大きい。

【0061】

第2の可能な実現方式では、視覚的測位方法は、測位が実行される必要がある環境内のマーカの画像を事前に取得し、対応するマーカデータベースを確立するステップと、測位が実行される必要がある環境内のマーカの認識対象画像がキャプチャされた後に、認識対象画像とマーカデータベース内の画像との間の画像マッチングを実行するステップと、マッチングされた画像内の既知の幾何学的特徴に基づく計算を通じて現在位置を取得するステップとを含む。この実現方式は、GPSが故障したか或いは不十分な測位効果を有するときに測位精度が低いという問題を解決できる。しかし、測位は主に画像を使用することにより実行され、大量の画像マッチング処理が実行される必要がある。したがって、この実現方式もまた、測位精度がセンチメートルレベルに達することができず、計算リソース消費が過度に大きいという問題を有する。

【0062】

これを考慮して、この出願の実施形態は、ビークル、ビークル測位方法及び装置、デバイス並びにコンピュータ可読記憶媒体を提供する。まず、前方道路画像の道路特徴マップに基づいて横方向オフセットが決定され、次いで、横方向オフセット、ビークルの第1のポーズ及び局所マップに基づいてビークルの第2の位置が取得される。横方向オフセットはビークルの横方向道路距離を示し得るので、横方向オフセット及び第1のポーズが組み合わされ、それにより、局所マップの探索範囲が狭められ得るようにし、すなわち、画像マッチングの範囲が狭められるようにする。これは、ビークル測位の精度を改善しつつ、計算量及び計算の複雑さを効果的に低減できる。このように、この出願の実施形態では、GPSが故障したか或いは不十分な信号を有するか或いはその他の様々な場合、ビークル測位の精度、信頼性及び適時性が同時に改善できる。

【0063】

この出願の実施形態は、正確な測位が必要とされる様々なシナリオに適用可能でもよい。特に、この出願の実施形態は、ビークル、船舶、航空機、無人航空機のような輸送手段の測位に特に適用可能であり、例えば、ビークルの運転プロセスにおけるリアルタイム精密測位、物流シナリオにおける無人搬送ビークルの測位、及び屋外環境における無人航空機のリアルタイム精密測位に適用可能である。さらに、本発明の実施形態は、室内、室外、道路及び野外のような様々な環境に適用可能でもよい。

【0064】

この出願の実施形態における「ビークル(vehicle)」は、いずれかの種類の輸送手段でもよい。例えば、ここでの「ビークル」は、自家用車、商用車、バス、乗用車、高速鉄道、地下鉄、無人ビークル、無人航空機、物流輸送ビークル、無人輸送ビークル等でもよいが、これらに限定されない。「ビークル」の動力種類は、燃料駆動、純粋電気駆動、水素燃料電池駆動、ハイブリッド電気駆動等でもよい。さらに、ここでの「ビークル」は、人力駆動ビークル、自律走行ビークル、無人ビークル、又は他の種類のビークルでもよい。当業者は、リアルタイムで測位される必要があるいずれかの輸送手段が、この出願の実施形態における「ビークル」と考えられてもよいことを理解し得る。

【0065】

図１は、この出願の実施形態による例示的な適用シナリオの概略図である。図１のシナリオでは、道路上のビークルA、ビークルB、ビークルC及びビークルDは全て、この出願の実施形態における解決策を使用することにより、それぞれの位置をリアルタイムで測位してもよい。例えば、GPSが故障したか或いは不十分な信号を有するシナリオ、ビークルセンサの低い精度のシナリオ、トンネルのシナリオ、地下ガレージ、又は様々な他のシナリオにおいて、ビークルのリアルタイムで正確で信頼性の高い測位が、この出願の実施形態を使用することにより実現できる。

【0066】

例えば、図１を参照する。ビークルの測位位置は、ビークルの後車軸中心(図１における黒い実線の点)の位置により示されてもよい。

【0067】

以下に、この出願の実施形態の具体的な実現方式について詳細に説明する。

【0068】

図２は、この出願の実施形態によるビークル測位方法の概略フローチャートである。図２を参照する。この出願のこの実施形態において提供されるビークル測位方法は、以下のステップを含んでもよい。

【0069】

ステップS210:ビークルの前方道路画像を取得する。

【0070】

前方道路画像は、ビークルに搭載された第1のカメラを使用することによりキャプチャされてもよく、前方道路画像は、ビークルの前方道路の車線境界線及びマーカを含む。ここで、マーカは、信号機、地下駐車場の柱、壁、料金所、道路ゲート、衝突防止帯、障害物、保管位置、保管位置線、駐車禁止区域、歩行者交差路、減速ベルト、減速、停止、譲歩線、及び譲歩、道路標識板、電柱、道路エッジ、樹木、低木、中央分離帯、ガードレール等のような全ての交通標識及び道路標示を含んでもよいが、これらに限定されない。さらに、前方道路画像は、道路の車線中央線、案内線、案内矢印等を更に含んでもよい。

【0071】

前方道路画像は、ビークルの第1のポーズに基づいてビークルの第2の位置及び/又は第2の姿勢を決定するために使用され、第2の位置及び第2の姿勢により形成される第2のポーズは、第1のポーズの次のポーズである。言い換えると、前方道路画像は、ビークルが第1のポーズに達してからビークルが第2のポーズに達していないか或いはちょうど達するまでの期間にキャプチャされた前方道路画像である。例えば、前方道路画像のキャプチャ時間は、以下の時間、すなわち、ビークルが第1のポーズに達した時点、ビークルが第2のポーズに達した時点、又はビークルが第1のポーズに達してからビークルが第2のポーズに到達していないまでの期間でもよい。

【0072】

前方道路画像は、飛行時間(Time of Flight, TOF)画像、赤緑青(Red Green Blue, RGB)画像又は他の種類の画像でもよいが、これらに限定されない。第1のカメラは、TOFカメラ、RGBカメラ等でもよいが、これらに限定されない。第1のカメラの配置方式、設置位置、具体的な種類及び配置数、並びに前方道路画像の具体的な種類等は、この出願の実施形態では限定されない。

【0073】

ステップS220:前方道路画像に基づいて道路特徴マップを取得する。

【0074】

いくつかの実施形態では、前方道路画像の道路特徴マップは、前方道路画像に対して、意味的特徴抽出、適合後処理(例えば、不完全な車線境界線を長い直線に適合させること)及び特徴骨格化(例えば、車線境界線特徴骨格化、電柱特徴骨格化、案内線輪郭化及び標識板輪郭化)のような1つ以上の動作を実行することにより取得されてもよい。道路特徴マップを取得する具体的な実現方式は、この出願の実施形態では限定されない。

【0075】

いくつかの実施形態では、道路特徴マップはグレースケールマップでもよく、道路特徴マップの画素値の範囲は[0,255]である。具体的な適用の中で、異なる種類の道路特徴が、画素値を使用することにより示されてもよい。例えば、車線境界線特徴の画素値は255に事前設定されてもよく、電柱特徴の画素値は135に設定されてもよく、案内矢印特徴の画素値は95に設定されてもよく、標識板特徴の画素値は45に設定されてもよい。このように、道路特徴マップから必要な特徴を効率的且つ正確に抽出するために、道路特徴マップ内の異なる種類の道路特徴が、画素値を使用することにより区別されてもよい。例えば、道路特徴マップ内の車線境界線特徴が抽出される必要がある場合、道路特徴マップ内の画素値が255である画素のみが抽出される必要がある。道路特徴マップ内の画素の画素値が135である場合、これは、画素が電柱の特徴点であることを示す。

【0076】

いくつかの実施形態では、道路特徴マップは、前方道路画像内の道路の車線境界線特徴及びマーカ特徴を含んでもよい。図３は、道路特徴マップの例示的な図である。図３における例では、道路特徴マップは、車線境界線特徴31、電柱特徴32、信号機特徴33等を含んでもよい。図３から、道路特徴マップは、第1のポーズの左側及び右側に位置する2つの車線境界線の特徴を含むことが分かる。

【0077】

ステップS230:道路特徴マップに基づいてビークルの横方向オフセットを決定する。

【0078】

いくつかの実施形態では、ビークルの横方向オフセットは、ビークル(例えば、ビークルの後車軸中心又はビークル上の第1のカメラの光学中心)から車線中央線までの道路横方向距離を示してもよい。横方向オフセットは、実際の横方向オフセット又は横方向画素オフセットでもよいが、これらに限定されない。実際の横方向オフセットは、基準座標系における横方向オフセットである。横方向画素オフセットは、道路特徴マップの上面図における横方向オフセットである。

【0079】

いくつかの実施形態では、ビークルの横方向オフセットは、道路特徴マップ内の車線境界線特徴に基づいて決定されてもよい。車線境界線特徴は完全であり、信頼性が高い。したがって、車線境界線特徴を横方向オフセットの基礎として使用することにより、より良好な精度及び信頼性を有する横方向オフセットが取得できる。具体的な適用の中で、他の道路特徴、例えば、車線中央線、案内線又は案内矢印が、代替として、横方向オフセットを決定するための基礎として使用されてもよい。

【0080】

いくつかの実施形態では、道路特徴マップ内の車線境界線特徴は、道路特徴マップ内のROI内の2つの車線境界線の特徴を含んでもよく、2つの車線境界線は、第1のポーズの左側及び右側に位置する。言い換えると、ビークルの横方向オフセットは、道路特徴マップ内のROI内の2つの車線境界線の特徴に基づいて決定されてもよい。道路特徴マップ内のROIのデータ量がより小さく、第1のポーズの左側及び右側の2つの車線境界線の特徴が信頼性が高く完全であるので、横方向オフセットは、道路特徴マップ内のROI内の2つの車線境界線の特徴を使用することにより取得される。これは、横方向オフセット精度を改善しつつ、計算の複雑さ、計算リソース消費及び時間消費を更に低減できる。具体的な適用の中で、横方向オフセットは、代替として、道路特徴マップ内の他の特徴又は他の領域の車線境界線特徴を使用することにより取得されてもよい。ビークルの横方向オフセットを決定するために使用される特徴は、この出願の実施形態では限定されない。

【0081】

いくつかの実施形態では、ビークルの横方向オフセットは、横方向画素オフセット及び事前設定画素比に基づいて取得されてもよい。横方向画素オフセットは、道路特徴マップ内のROIの上面図における車線境界線特徴に基づいて決定され、道路特徴マップ内のROIの上面図における車線境界線特徴は、道路特徴マップ内のROI内の2つの車線境界線の特徴を使用することにより取得される。道路特徴マップ内のROIのデータ量がより小さく、道路特徴マップに含まれる2つの車線境界線の特徴が信頼が高く完全であるので、道路特徴マップ内のROIの上面図は、ビークルの前方道路の航空特徴図と同等であり、横方向画素オフセット及び画素比に基づいて横方向オフセットを取得する方式は、実現するのが簡単且つ容易であり、ビークルの横方向オフセットは、横方向画素オフセットに基づいて取得される。これは、横方向オフセット精度を改善しつつ、計算の複雑さ、計算リソース消費及び時間消費を更に低減できる。

【0082】

いくつかの実施形態では、横方向画素オフセットは、上面図における第1のカメラの光学中心のROIマッピング点と車線中心点との間の距離でもよく、車線中心点は、第1のポーズの左側及び右側の車線境界線の間の車線中心点である。第1のカメラの光学中心は、第1のカメラのカメラ座標系及び画素座標系の座標原点であり、第1のカメラの光学中心のROIマッピング点位置は取得するのが容易であるので、横方向画素オフセットは、第1のカメラの光学中心のROIマッピング点を使用することにより取得される。これは、計算の複雑さを更に低減できる。

【0083】

具体的な適用の中で、横方向画素オフセットは、代替として、ビークル上の他の剛体位置点(例えば、ビークルの後車軸中心)のROIマッピング点位置を使用することにより取得されてもよい。横方向画素オフセットを取得する具体的な方式は、この出願の実施形態では限定されない。

【0084】

いくつかの実施形態では、横方向オフセットを決定する例示的な具体的な実現プロセスは、以下のステップ(1)～ステップ(4)を含んでもよい。

【0085】

(1)事前設定されたROIサイズパラメータに基づいて、道路特徴マップ内のROIを決定し、道路特徴マップ内のROIは、第1のポーズの左側及び右側の車線境界線の特徴を含む。

【0086】

(2)道路特徴マップ内のROIの端点位置及び事前設定画素比に基づいて第1のカメラのアフィン変換行列を決定し、アフィン変換行列に基づいて、第1のカメラのアフィン変換を通じて道路特徴マップ内のROIの上面図を取得する。

【0087】

(3)道路特徴マップ内のROIの上面図における車線中心点位置及び第1のカメラの光学中心のROIマッピング点位置を決定し、車線中心点位置とROIマッピング点位置との間の距離を横方向画素オフセットとして使用する。

【0088】

(4)横方向画素オフセットと画素比との積を実際の横方向オフセットとして使用し、実際の横方向オフセットは最終的な横方向オフセットである。

【0089】

上記の例示的な実現方式では、ビークルの横方向オフセットは、車線境界線特徴に基づいて、第1のカメラの透視投影及びアフィン変換を通じて取得されてもよい。計算量は小さく、計算の複雑さは低い。さらに、これは、横方向オフセットの精度を改善し、ビークル測位の精度を改善しつつ、計算リソース消費及び時間消費を更に低減できる。

【0090】

ステップS240:ビークルの横方向オフセット、ビークルの第1のポーズ、道路特徴マップ、及び第1のポーズに対応する局所マップに基づいて、ビークルの第2の位置を取得する。

【0091】

第1のポーズは、ビークルの初期ポーズ又は前の時点でのポーズを示す。第1のポーズは、第1の位置及び第1の姿勢を含んでもよい。第1の位置は、ビークルの初期位置又は前の時点での位置であり、第1の姿勢は、ビークルの初期姿勢又は前の時点での姿勢である。

【0092】

第2のポーズは、第1のポーズの次のポーズであり、第2のポーズはまた、第1のポーズの視覚的測位ポーズとも呼ばれてもよい。第2のポーズは、第2の位置及び第2の姿勢を含んでもよい。ビークルの位置が変化せず、姿勢のみが変化する場合、第2の位置は第1の位置と同等である。ビークルの位置が変化する場合、第2の位置は、第1のポーズに対してステップS210～ステップS240における処理を実行することにより取得されてもよい。ビークルの姿勢が変化しない場合、又はビークルの姿勢の変化が懸念されない場合、第2の姿勢は第1の姿勢と同等でもよい。ビークルの姿勢が更新される必要があり、ビークルの姿勢が変化する場合、第2の姿勢は、代替として、第1のポーズに対してステップS210～ステップS240における処理を実行することにより取得されてもよい。

【0093】

第3のポーズは、第1のポーズに対してステップS210～ステップS250における処理を実行することにより取得されるポーズ(融合測位ポーズとも呼ばれてもよい)である。言い換えると、第2のポーズに対してステップS250における処理を実行することにより、第3のポーズが取得されてもよい。

【0094】

第2のポーズ及び第3のポーズの双方は、ビークルの測位ポーズ又は現時点でのポーズとして使用されてもよい。実際の適用の中で、第2のポーズ及び/又は第3のポーズは、要件に基づいて、ビークルの最終ポーズ又は現時点でのポーズとして選択されてもよい。ここで、第1のポーズ、第2のポーズ及び以降の第3のポーズは、上記のグローバルポーズでもよい。

【0095】

いくつかの実施形態では、ステップS240は、横方向オフセット、第1の位置、第1の姿勢、道路特徴マップ及び局所マップに基づいてビークルの第2の姿勢を取得するステップを更に含んでもよい。具体的な適用の中で、第2のポーズは、第2の位置と同期して取得されてもよく、或いは、第2のポーズ及び第2の位置は、順番に取得されてもよいが、取得順序は限定されない。

【0096】

いくつかの実施形態では、この出願の実施形態は、ビークルの第1のポーズに対応する局所マップを取得するステップを更に含んでもよい。実際の適用の中で、局所マップのデータは、クラウド内のマップから取得されてもよく、或いは、ローカルに記憶されたマップから抽出されてもよく、この出願の実施形態における測位方法が開始する前に取得されてもよく、或いは、この出願の実施形態の実行プロセスにおいて(例えば、ステップS240において或いはその前に)リアルタイムで取得されてもよい。

【0097】

局所マップは、マップ内の第1のポーズの周辺の領域に対応する部分である。いくつかの実施形態では、局所マップは、マップ内の第1のポーズの対応する位置を中心とする事前設定領域でもよく、事前設定領域は、円形領域、矩形領域、三角形領域、又は他のユーザ定義形状の領域でもよい。円形領域が例として使用される。局所マップは、第1のポーズの対応する位置が円の中心として使用され、事前設定長さがマップ内の半径として使用される、円形領域でもよい。事前設定長さは柔軟に設定されてもよく、或いは、ビークル速度に基づいて決定されてもよい。例えば、事前設定長さは、デフォルトで30メートル～50メートルでもよい。

【0098】

ベクトルマップ内のデータは正確且つ完全であるので、ビークル測位の精度を改善するために、この出願の実施形態における局所マップはベクトルマップからのものでもよい。いくつかの実施形態では、ベクトルマップは、高精細度ベクトルマップ又は高精度ベクトルマップでもよい。具体的な適用の中で、ベクトルマップは、クラウドからのものでもよく、或いは、ビークルの記憶デバイスに構築されてもよい。

【0099】

いくつかの実施形態では、局所マップに記録された情報は、各車線内の各点の位置情報、車線中心点の位置情報、道路方位角情報、マーカ情報等を含むが、これらに限定されない。局所マップ内の道路特徴(例えば、マーカ、車線境界線等)は、ベクトル線、曲線又は直線を使用することにより示されてもよく、異なる種類の道路特徴は、画素値を使用することにより区別されてもよい。局所マップ内の各車線の道路方位角情報は、位置情報と関連付けられてもよく、同じ車線の異なる位置に対応する道路方位角は同じでもよく或いは異なってもよい。さらに、局所マップはまた、案内矢印及び案内線のような様々な道路標識の情報を記録してもよい。局所マップの種類、視覚的表現方式、具体的な記録コンテンツ等は、この出願の実施形態では限定されない。

【0100】

いくつかの実施形態では、第2の位置若しくは第2の姿勢又は双方は、局所マップ内の複数の候補ポーズ点に基づいて決定されてもよく、各候補ポーズのポーズは、横方向オフセット、第1のポーズ及び局所マップに基づいて決定される。このように、ビークルは、横方向オフセットに基づいて選択された候補ポーズ点を使用することにより正確に測位でき、第1のポーズの周囲の領域に対して大規模なグローバル画像マッチングを実行する必要はない。計算量は小さく、計算の複雑さは低い。これは、ビークル測位の精度を改善しつつ、計算リソース消費及び時間消費を効果的に低減できる。

【0101】

いくつかの実施形態では、複数の候補ポーズ点は、補正位置を中心として使用することにより局所マップの同じ車線方向において均等に分布し、補正位置は、横方向オフセットに基づいて、且つ、第1のポーズに対応し且つ局所マップ内にある車線中心点位置及び道路方位角に基づいて取得される。このように、同じ車線方向の複数の候補ポーズ点を使用することにより、ビークルが正確に測位できる。探索範囲がより小さくなり、画像マッチング範囲が更に狭められる。これは、ビークル測位の精度を改善しつつ、計算リソース消費及び時間消費を更に低減できる。

【0102】

いくつかの実施形態では、第2の位置は、投影画像及び道路特徴マップに対して特徴マッチングを実行することにより選択された1つの候補ポーズ点の位置情報でもよく、及び/又は、第2の姿勢は、投影画像及び道路特徴マップに対して特徴マッチングを実行することにより選択された候補ポーズ点の姿勢情報でもよく、投影画像は、候補ポーズ点のポーズ、第1のカメラの内部及び外部パラメータ、並びに局所マップに基づいて取得される。投影画像と道路特徴マップとの間の一致の程度は、対応する候補ポーズ点と実際のビークルポーズとの間の近さの程度を示し得るので、投影画像と道路特徴マップとの間の特徴マッチングを実行することにより、正確で信頼性の高いビークル測位結果が取得できる。

【0103】

いくつかの例では、投影画像及び道路特徴マップに対して特徴マッチングを実行することにより選択された候補ポーズ点は、複数の候補ポーズ点の中で投影画像及び道路特徴マップのマッチングコストが事前設定閾値未満であるいずれかの候補ポーズ点、又は投影画像及び道路特徴マップの最小マッチングコストを有する候補ポーズ点でもよい。投影画像及び道路特徴マップの最小マッチングコストは、投影画像と道路特徴マップとの間の最高マッチング度を示し、また、対応する候補ポーズ点がビークルの実際のポーズに最も近いことも示す。したがって、事前設定閾値未満のマッチングコストを有するか或いは最小マッチングコストを有する候補ポーズ点のポーズは、ビークルの実際のポーズにより近い。このように、より正確で信頼性の高いビークル測位結果が取得できる。

【0104】

いくつかの実施形態では、この出願の実施形態において提供されるビークル測位方法は、第2の位置、第1の姿勢及びセンサ測位データに基づいてビークルの第3のポーズを取得するステップ、又は第2の位置、第2の姿勢及びセンサ測位データに基づいてビークルの第3のポーズを取得するステップS250を更に含んでもよい。ここで、センサ測位データは、以下のもの、すなわち、GPS情報、IMU情報、慣性航法システム(Inertial Navigation System, INS)ビークル姿勢情報及びシャーシ情報のうち1つ以上を含んでもよい。このように、第2の姿勢及び他のセンサのリアルタイム測位情報が融合されて、より高い精度及びより良好な信頼性を有する第3のポーズを取得し、第2のポーズの精度に対する第1のカメラの不十分な性能及び不十分な照明のような外部環境条件の影響を補償し、ビークル測位の精度及び信頼性を更に改善してもよい。

【0105】

いくつかの実施形態では、拡張カルマンフィルタ(Extended Kalman-Filter, EKF)が、マルチセンサ情報融合を実行して、計算を通じてビークルの第3のポーズを取得するために使用されてもよく、例えば、GPS情報、IMU情報、INSビークル姿勢情報、シャーシ情報及び第2のポーズの共分散の値を情報有効性の重みとして使用することにより、GPS情報、IMU情報、INSビークル姿勢情報、シャーシ情報及び第2のポーズに対して融合を実行して、ビークルの第3のポーズを取得してもよい。ここで、融合計算の具体的なアルゴリズムは、この出願の実施形態では限定されない。

【0106】

いくつかの実施形態では、ステップS230の例示的な実現手順は、以下のステップa1～ステップa5を含んでもよい。

【0107】

ステップa1:車線境界線特徴を分離する。

【0108】

いくつかの実施形態では、道路特徴マップ内の異なるマーカは、画素値を使用することにより分類されてもよい。車線境界線特徴の画素値がmであると合意されると仮定し、道路特徴マップ内の画素値がmである画素が抽出されて、車線境界線特徴のみを含む道路特徴マップを形成してもよい。図４は、図３における車線境界線特徴を分離することにより取得された道路特徴マップである。

【0109】

このステップは任意選択のステップである。車線境界線特徴を分離するステップは、実際の適用要件に基づいて適用されてもよく或いは省略されてもよい。道路特徴は、事前に分離される。これは、後続の処理プロセスのデータ量を低減し、計算の複雑さを低減し、不要な特徴データをフィルタ除去できる。車線中央線のような他の特徴が横方向にオフセットされている場合、車線中央線のような他の特徴も同様の方式で分離されてもよい。

【0110】

ステップa2:道路特徴マップ内のROIを取得する。

【0111】

ROIは、高い検出効果精度及び正確性を有する固定の視野領域として選択されてもよい。実際の適用の中で、近くの物体は、画像内でより大きい表現形式を有し、検出される可能性がより高い。遠くの物体は、画像内でより小さい表現形式を有し、検出される可能性がより低い。さらに、視野の端の物体は、画像内の不完全な物体である可能性が高く、検出誤差確率が高い。視野の端に近く且つ端にない領域では、画像データは完全で正確であり、検出精度は高い。したがって、カメラに近く且つ端にない部分的な視野領域は、通常では、ROIとして合意される。具体的な適用の中で、ROIは、固定の視野領域の実際のサイズ範囲として事前設定されてもよい。

【0112】

いくつかの実施形態では、関心領域(region of interest, ROI)が第1のカメラのカメラ座標系において選択されてもよく、ROIのサイズパラメータが事前設定される。サイズパラメータは、カメラ座標系におけるROI端点の位置、ROIの長さ及びROIの幅を含んでもよいが、これらに限定されない。矩形のROIが例として使用される。ROIのサイズパラメータは、4つのROI端点の位置(例えば、第1のカメラのカメラ座標系における4つの端点の座標値)、ROIの長さ及びROIの幅を含んでもよいが、これらに限定されない。

【0113】

このステップでは、道路特徴マップ内のROI端点は、第1のカメラの透視投影を通じてROI端点を第1のカメラの画素座標系に変換することにより取得されてもよい。これらの端点により定義される矩形領域は、道路特徴マップ内のROIである。

【0114】

図５は、第1のカメラのカメラ座標系におけるROIの概略図である。図５における例では、第1のカメラの実際の位置C(すなわち、基準座標系における第1のカメラの光学中心の位置)が座標原点として使用されるカメラ座標系XCYにおいて、4つの点P₁、P₂、P₃及びP₄により囲まれる矩形領域が、ROIとして地上で選択される。ROIのサイズパラメータは、カメラ座標系における4つの点の座標値P₁(x_p1,y_p1,z_p1)、P₂(x_p2,y_p2,z_p2)、P₃(x_p3,y_p3,z_p3)及びP₄(x_p4,y_p4,z_p4)と、ROIの長さm(すなわち、P₁からP₂までのメートル単位の実際の距離)と、ROIの幅n(すなわち、P₁からP₃までのメートル単位の実際の距離)とを含んでもよい。

【0115】

いくつかの実施形態では、道路特徴マップ内のROIが取得されるとき、第1のカメラの光学中心のROIマッピング点位置が更に決定されてもよい。具体的には、カメラ座標系における第1のカメラの光学中心のROIマッピング点位置は、カメラ座標系におけるROI端点の位置に基づいて決定されてもよく、画素座標系における第1のカメラの光学中心のROIマッピング点位置は、カメラ座標系における第1のカメラの光学中心のROIマッピング点位置に基づいて、第1のカメラの透視投影を通じて取得されてもよい。

【0116】

図５における例を参照する。第1のカメラの実際の位置CからROIに垂線が引かれ、垂線(すなわち、第1のカメラのカメラ座標系のY軸)とカメラに近いROIの側端との交点が、第1のカメラの光学中心のROIマッピング点Sである。カメラ座標系におけるROI端点の位置は既知であり、第1のカメラの光学中心のROIマッピング点Sの位置(S_X,S_Y,S_Z)が決定されてもよく、すなわち、S_Y=0であり、S_X=0であり、S_Z=z_P3=z_P4である。

【0117】

カメラ座標系における4つの点の座標値P₁(x_P1,y_P1,z_P1)、P₂(x_P2,y_P2,z_P2)、P₃(x_P3,y_P3,z_P3)及びP₄(x_P4,y_P4,z_P4)及びROIマッピング点Sの位置(S_X,S_Y,S_Z)は既知であり、第1のカメラの画素座標系におけるROI端点P₁、P₂、P₃及びP₄の位置P₁’(u_P1,v_P1)、P₂’(u_P2,v_P2)、P₃’(u_P3,v_P3)及びP₄’(u_P4,v_P4)、並びに第1のカメラの画素座標系におけるROIマッピング点Sの位置S’(u_S,v_S)は、式(2)及び式(3)の透視投影を通じて取得されてもよい。このように、道路特徴マップ内のROIが取得される。図６は、道路特徴マップ内のROIの例示的な図である。図６において、破線のボックスはROIの境界線を示し、実線は車線境界線を示す。

【0118】

ステップa3:道路特徴マップ内のROI内の2つの左及び右の隣接車線境界線の端点位置を決定する。

【0119】

いくつかの実施形態では、2つの左及び右の隣接車線境界線L₁及びL₂は、Hoff直線検出方法等を使用することにより道路特徴マップ内のROI内で検出されてもよく、車線境界線L₁の端点位置L_1up(x_l1,y_l1)及びL_1down(x_l2,y_l2)並びに車線境界線L₂の端点位置L_2up(x_l3,y_l3)及びL_2down(x_l4,y_l4)が決定される。このように、ROI内の2つの左及び右の隣接車線境界線は、横方向オフセットを決定するための基礎として、道路特徴マップ内のROI内の車線境界線の分布に基づいて選択されて、より信頼性の高い横方向オフセットを取得してもよい。図６は、道路特徴マップ内のROI内のビークルに隣接する2つの左及び右の車線境界線(図６における太い黒線)と、2つの車線境界線の端点とを示す。

【0120】

ステップa4:アフィン変換を通じて、道路特徴マップ内のROIの上面図における車線境界線特徴と、第1のカメラの光学中心のROIマッピング点位置とを取得する。

【0121】

いくつかの実現方式では、このステップの例示的な実現プロセスは、以下のサブステップ(1)及びサブステップ(2)を含んでもよい。

【0122】

(1)第1のカメラに対応する上面図を構築し、道路特徴マップ内のROIと道路特徴マップ内のROIの上面図との間のアフィン変換行列Mを決定する。

【0123】

具体的には、k(単位は、1メートル当たりの画素、すなわち、1メートル当たりの画素の数である)の画素比を有する上面図が事前に構築されてもよく、B_wの幅及びB_hの高さを有する。第1のカメラのカメラ座標系におけるROIの長さm及びROIの幅nに基づいて、B_w及びB_hは、式(8)に従って取得されてもよい。

【数6】

【0124】

具体的には、ROI端点P₁’(u_P1,v_P1)、P₂’(u_P2,v_P2)、P₃’(u_P3,v_P3)及びP₄’(u_P4,v_P4)は既知である。上面図の画素座標系における端点位置P₁’’(0,0)、P₂’’((B_w-1),0)、P₃'’((B_w-1),(B_h-1))及びP₄’’(0,(B_h-1))は、B_w及びB_hに基づいて取得されてもよい。このように、道路特徴マップ内のROIと道路特徴マップ内のROIの上面図との間のアフィン変換行列Mは、アフィン変換の上記の式(6)及び(7)に従って取得されてもよい。

【0125】

(2)アフィン変換を通じて、道路特徴マップ内のROIの上面図の車線境界線L₃及びL₄、並びにROIマッピング点S’’を取得する。

【0126】

まず、道路特徴マップ内のROI内の車線境界線L₁及びL₂が、アフィン変換を通じて上面図の画素座標系に変換されて、道路特徴マップ内のROIの上面図における対応する車線境界線L₃及びL₄を取得する。具体的には、上面図における車線境界線L₃及びL₄に対応する端点位置L_3up(x_l5,y_l5)、L_3down(x_l6,y_l6)、L_4up(x_l7,y_l7)及びL_2down(x_l8,y_l8)は、車線境界線L₁及びL₂の端点L_1up(x_l1,y_l1)、L_1down(x_l2,y_l2)、L_2up(x_l3,y_l3)及びL_2down(x_l4,y_l4)をアフィン変換の式(6)及び(7)に代入することにより取得されてもよい。

【0127】

次いで、車線境界線L₃及びL₄の端点位置に基づいて、車線境界線L₃の式(9)及び車線境界線L₄の式(10)が取得されてもよい。

【数7】

【0128】

k_L3は、車線境界線L₃の傾きを示し、b_L3は車線境界線L₃のy軸切片を示し、k_L4は車線境界線L₄の傾きを示し、b_L4は車線境界線L₄のy軸切片を示す。

【0129】

さらに、道路特徴マップ内のROI内の第1のカメラの光学中心のROIマッピング点位置S’(u_S,v_S)が、アフィン変換の式(6)及び(7)に代入されて、道路特徴マップ内のROIの上面図における第1のカメラの光学中心のROIマッピング点位置S’’(x₁,y₁)を取得する。図７は、道路特徴マップ内のROIの上面図の例示的な図である。図７はまた、道路特徴マップ内のROIの上面図における車線L₃及びL₄、並びにROIマッピング点S’’も示している。破線のボックスは、道路特徴マップ内のROIの上面図を示し、破線のボックス内の実線は、車線境界線を示し、2つの実線の間の破線は、車線断面線を示す。

【0130】

ステップa5:横方向オフセットを計算する。

【0131】

具体的には、道路特徴マップ内のROIの上面図における車線中心点の位置Q(x₂,y₂)は、車線境界線L₃の式(9)及び車線境界線L₄の式(10)に基づいて取得されてもよく、横方向画素オフセットは、車線中心点の位置Q(x₂,y₂)及びROIマッピング点位置S’’(x₁,y₁)に基づいて取得され、次いで、実際の横方向オフセットは、横方向画素オフセット及び事前設定画素比に基づいて取得される。

【0132】

図７における例を参照する。上面図の画素座標系において、S’’(x₁,y₁)を通じて車線境界線L₃又は車線境界線L₄に対して垂線が引かれ、垂線と車線境界線L₃との交点Q₁及び垂線と車線境界線L₄との交点Q₂が車線断面線の2つの端点である。車線断面線Q₁Q₂の中点、すなわち、交点Q₁と交点Q₂との間の中点が、車線中心点の位置Q(x₂,y₂)である。

【0133】

車線断面線の2つの端点の座標Q₁(l_x1,l_y1)及びQ₂(l_x2,l_y2)は、道路特徴マップ内のROIの上面図において車線境界線L₃の式(9)及び車線境界線L₄の式(10)、並びにROIマッピング点S’’(s₁,y₁)に基づいて決定されてもよい。次いで、車線中心点の位置Q(x₂,y₂)は、式(11)に従って取得されてもよい。

【数8】

【0134】

横方向画素オフセットは、道路特徴マップ内のROIの上面図の画素座標系における道路横方向オフセットである。図７から、道路特徴マップ内のROIの上面図の画素座標系におけるROIマッピング点S’’(x₁,y₁)と車線中心点Q(x₂,y₂)との間の距離が横方向画素オフセットであることが分かる。言い換えると、横方向画素オフセットoffset₁は、式(12)に従って取得されてもよい。

【数9】

【0135】

いくつかの実施形態では、実際の横方向オフセットは、基準座標系における道路横方向オフセットである。具体的には、実際の横方向オフセットoffset2は、式(13)に従って取得されてもよい。

【数10】

【0136】

offset₂は実際の横方向オフセットを示し、kは事前設定画素比を示す。

【0137】

いくつかの実施形態では、ステップS240の例示的な実現手順は、以下のステップb1～ステップb3を含んでもよい。

【0138】

ステップb1:横方向オフセットに基づいて第1の位置を補正して、第1のポーズに対応する補正位置を取得する。

【0139】

いくつかの実施形態では、補正位置H_start(H_x0,H_y0,H_z0)は、式(14)に従って取得されてもよい。

【数11】

する補正位置を取得する。
C_start(C_x,C_y,C_z)は、局所マップ内の第1の位置E_start(E_x,E_y,E_z)に対応する車線中心点C_startの位置を示し、offset₂は実際の横方向オフセットを示し、yaw_lは局所マップ内の第1の位置に対応する道路方位角を示す。通常では、C_start(C_x,C_y,C_z)及びyaw_lは、局所マップに記録され、第1の位置E_start(E_x,E_y,E_z)に基づいて局所マップから直接読み取られてもよい。

【0140】

図８は、基準座標系における補正位置、第1の位置及び横方向オフセットの概略図である。図８において、座標軸XOYは基準座標系のXY平面であり、Oは基準座標系の座標原点であり、E_startは第1の位置を示し、C_startは局所マップ内の第1の位置E_startに対応する車線中心点を示し、offset₂は実際の横方向オフセットを示す。図８から、各座標軸の横方向オフセット成分は、道路方位角yaw_lに基づいて基準座標系に対する横方向オフセットを分解することにより取得されてもよいことが分かる。補正位置H_startの座標値は、車線中心点の対応する座標値に各座標軸の横オフセット成分を加算することにより取得されてもよい。

【0141】

ステップb2:候補ポーズ点を決定する。

【0142】

実現方式では、候補ポーズ点は、補正位置H_start(H_x0,H_y0,H_z0)を中心として使用することにより、局所マップの車線方向において選択され、各候補ポーズ点のポーズは、補正位置H_start(H_x0,H_y0,H_z0)及び局所マップ内の道路方位角情報に基づいて決定されてもよい。

【0143】

具体的には、補正位置H_start(H_x0,H_y0,H_z0)、事前設定探索範囲及び事前設定探索ステップが既知であり、局所マップ内の道路方位データyaw_iに基づいて、補正位置H_start(H_x0,H_y0,H_z0)が、第0の候補ポーズ点H_z0の位置として使用される。候補ポーズ点の数(2n+1)及び各候補ポーズ点の位置情報(H_xi,H_yi,H_zi)は、式(15)～式(18)に従って決定されてもよい。

【数12】

【0144】

scopeは事前設定検索範囲を示し、stepは事前設定検索ステップを示し、H_i(H_xi,H_yi,H_zi)は第iの候補ポーズ点の位置を示し、yaw_i(i=-n,-n+1,…,-1,0,1,…,n-1,n)は第iの候補ポーズ点に対応する道路方位角を示す。yaw_iは局所マップから直接取得されてもよい。式(18)から、候補ポーズ点の数は2n+1であり、nは1以上の整数であることが分かる。式(15)～式(17)から、H_z-1及びH_z1は、第0の候補ポーズ点H_z0の位置と同じであることが分かる。

【0145】

図９は、候補ポーズ点の例示的な図である。図９において、白抜きの原点は候補ポーズ点H_iを示し、黒丸は補正位置H_startを示し、L₅は補正位置H_startを通過する車線方向を示し、L₀は車線中央線を示し、XOYは基準座標系のXY平面であり、Oは基準座標系の座標原点である。式(15)～式(18)及び図９から、候補ポーズ点は、局所マップの同じ車線方向において均等に分布し、車線方向は、補正位置を通過することが分かる。このように、特徴マッチングの範囲は、マップのグリッド内の車線に縮小でき、マップ内のビークルの位置の周りの全ての点をカバーする必要はない。投影撮像の計算量が大幅に低減され、特徴マッチングにおける点マッチングの範囲が大幅に低減される。計算量が大幅に低減され、計算の複雑さも大幅に低減されることが分かる。

【0146】

いくつかの実現方式では、ビークルの姿勢が基本的に変化しないか、ビークルの姿勢の変化が関係しないか、或いは、ビークルの姿勢は同期して決定される必要がない場合、各候補ポーズ点の姿勢情報(raw_i,pitch_i,yaw_i)は第1の姿勢でもよい。例えば、第1の姿勢が(raw_start,pitch_start,yaw_start)であるとき、各候補ポーズ点の姿勢情報も第1の姿勢(raw_start,pitch_start,yaw_start)である。言い換えると、第iの候補ポーズ点のポーズはH_i(H_xi,H_yi,H_zi,raw_start,pitch_start,yaw_start)でもよい。

【0147】

いくつかの実現方式では、ビークルの姿勢が同期して決定される必要がある場合、各候補ポーズ点の姿勢情報は、位置情報H_i(H_xi,H_yi,H_zi)の方式と同様の方式で決定されてもよい。例えば、各候補ポーズ点の姿勢情報は、事前設定された角度探索ステップと組み合わせて、第1の姿勢(raw_start,pitch_start,yaw_start)に基づいて決定されてもよい。ビークルの姿勢が同期して決定される必要がある場合、候補ポーズ点の数は、上記の「2n+1」に限定されない点に留意すべきである。

【0148】

ビークルの第2の姿勢が決定されるとき、候補ポーズ点と、各候補ポーズ点の位置情報及び姿勢情報とが、同様の方式で選択されてもよい。同様に、これは、計算量を著しく低減し、計算の複雑さを著しく低減できる。

【0149】

ステップb3:投影撮像(projection imaging)を実行する。

【0150】

このステップでは、各候補ポーズ点について、局所マップを使用することにより投影撮像が実行されて、各候補ポーズ点の投影画像を取得してもよい。

【0151】

いくつかの実現方式では、単一の候補ポーズ点の投影撮像プロセスは、候補ポーズ点のポーズを使用することにより第1のカメラの外部パラメータを調整することと、第1のカメラの外部パラメータ及び内部パラメータに基づいて、局所マップのマーカベクトル線上の画素を第1のカメラの画素座標系に投影することと、局所マップ内の画素の間の線形対応関係に基づいて、画素座標系における画素の間の線形対応関係を同期して確立することと、各マーカの事前設定画素値に基づいて、対応する画素をレンダリングして、候補ポーズ点の投影画像を取得することとを含んでもよい。このように、投影画像は、候補ポーズ点において光学中心を有する第1のカメラの前方道路画像の道路特徴マップと同等でもよい。

【0152】

ここで、マーカは、信号機、地下駐車場の柱、壁、料金所、道路ゲート、衝突防止帯、障害物、保管位置、保管位置線、駐車禁止区域、歩行者交差路、減速ベルト、減速、停止、譲歩線、及び譲歩、道路標識板、電柱、道路エッジ、樹木、低木、中央分離帯、ガードレール等のような全ての交通標識及び道路標示を含むが、これらに限定されない。

【0153】

いくつかの実現方式では、式(1)～式(3)の上記の原理に従って、局所マップ内のマーカの画素を第1のカメラの画素座標系に投影するプロセスは、以下の式(19)に従って実現されてもよい。

【数13】

【0154】

(u,v)は第1のカメラの画素座標系における画素の座標値を示し、(X_W,Y_W,Z_W)は基準座標系における局所マップ内のマーカの画素の座標値を示し、Rは第1のカメラの回転行列であり、Tは第1のカメラの並進行列であり、Rは、候補ポーズ点の姿勢情報(raw_i,pitch_i,yaw_i)、及び第1のカメラの初期外部パラメータの中の回転行列に基づいて決定されてもよく、Tは、候補ポーズ点の位置情報(H_xi,H_yi,H_zi)、及び第1のカメラの前記初期外部パラメータの中の並進行列に基づいて決定されてもよい。

【0155】

いくつかの実現方式では、特徴マッチングを容易にするために、投影画像内の各マーカの事前設定画素値は、道路特徴マップ内の対応するマーカの事前設定画素値と一致してもよい。

【0156】

ステップb4:特徴マッチングを通じてビークルの第2のポーズを取得する。

【0157】

このステップでは、候補ポーズ点に対応するマッチングコストを取得するために、各候補ポーズ点の投影画像と道路特徴マップとの間で特徴マッチングが実行され、全ての候補ポーズ点の中で最小マッチングコストを有する候補ポーズ点のポーズがビークルの第2のポーズとして選択され、すなわち、最小マッチングコストを有する候補ポーズ点の位置情報がビークルの第2の位置として使用され、最小マッチングコストを有する候補ポーズ点の姿勢情報がビークルの第2の姿勢として使用される。

【0158】

いくつかの実現方式では、各候補ポーズ点の投影画像と道路特徴マップとの間の特徴マッチングは、以下を含んでもよい。道路特徴マップ内の各画素p1について、完全な投影画像がトラバースされて、投影画像内で、画素値が画素p1に最も近い画素p2を見つけ、投影画像内の画素p2と道路特徴マップ内の画素p1との間のユークリッド距離D1が計算される。このように、道路特徴マップ内の各画素と投影画像内の対応する画素との間のユークリッド距離D1が取得される。道路特徴マップ内の全ての画素に対応するユークリッド距離D1の和は、投影画像と道路特徴マップとのマッチングコスト(cost)である。

【0159】

図１０は、この出願の実施形態によるビークル測位方法の例示的な具体的な実現手順である。図１０を参照する。この出願の実施形態において提供されるビークル測位方法の例示的な具体的な実現プロセスは、以下のステップを含んでもよい。

【0160】

ステップS1010:第1のカメラは、現時点におけるビークルの前方道路画像をキャプチャし、前方道路画像をコンピューティングデバイスに提供する。

【0161】

ステップS1020:コンピューティングデバイスは、第1のポーズに対応する局所マップを取得し、第1のポーズは、前の時点におけるビークルのグローバルポーズである。

【0162】

ステップS1030:コンピューティングデバイスは、前方道路画像及び第1のポーズに対応する局所マップに基づいてビークルの第2のポーズを決定する。

【0163】

具体的には、第1に、意味的特徴抽出、意味的特徴骨格化及び適合後処理のような処理を実行することにより、前方道路画像の道路特徴マップが取得され、第2に、道路特徴マップ内のROIが抽出され、道路特徴マップ内のROI内の車線境界線特徴及び第1のポーズに基づいて横方向オフセットが決定され、第3に、横方向オフセットに基づいて第1の位置の補正位置が取得され、ビークルの第2の姿勢を取得するために、補正位置の車線方向において縦方向探索が実行される。ここで、補正位置の車線方向における縦方向探索は、ビークルの第2の位置を決定する上記のプロセスである。当該プロセスは、補正位置の車線方向における複数の候補ポーズ点のポーズを選択して決定することと、各候補ポーズ点に対して局所マップの投影撮像を実行して、候補ポーズ点の投影画像を取得することと、各候補ポーズ点の投影画像及び道路特徴マップに対して特徴マッチングを実行して、最小マッチングコストを有する候補ポーズ点を見つけることと、最小マッチングコストを有する候補ポーズ点のポーズをビークルの第2のポーズとして使用することとを含んでもよい。

【0164】

ステップS1040:EKFモジュールを使用することにより、現時点におけるセンサ測位データとステップS1030において取得された第2のポーズとに対して融合計算を実行して、ビークルの第3のポーズを取得し、第3のポーズは現時点におけるビークルのポーズである。ここで、センサ測位データは、GPS情報、IMU情報、INSビークル姿勢情報及び/又はシャーシ情報を含む。複数の種類の測位情報の融合を通じて、ビークル測位の誤差範囲がセンチメートルレベルで制御されてもよく、それにより、ビークル測位の精度を更に改善する。

【0165】

いくつかの実施形態では、対応する情報の重みは、融合計算プロセスにおいて各センサの状態に基づいてリアルタイムで調整されてもよい。例えば、GPS情報は、GPS状態及び精度(例えば、GPSが適切に動作していること、故障していること、不十分な信号を有すること、又は他の状態を有すること)を記述するために使用されるフラグビットを搬送し、GPS情報を統合するか否か及びGPS情報の統合重みは、GPS情報内のフラグビットに基づいて決定されてもよい。例えば、GPSが故障しているとき、GPSセンサは、GPS情報が信頼できないことを示すフラグビットを提供するか、或いは、GPS情報を出力しない。この場合、ステップS1040における融合においてGPS情報が含まれなくもよい。言い換えると、現時点におけるIMU情報、INSビークル姿勢情報及びシャーシ情報と、ステップS1030において取得された第2のポーズとに対して融合計算が実行されて、ビークルの第3のポーズを取得する。GPSが良好な信号を有するとき、ステップS1040において、現時点におけるGPS情報、IMU情報、INSビークル姿勢情報及びシャーシ情報と、ステップS1030において取得された第2のポーズとに対して融合計算が実行されて、ビークルの第3のポーズを取得してもよい。

【0166】

いくつかの実施形態では、GPS情報は、ビークルの具体的な位置情報を含み、経度及び緯度並びに高度情報、又は基準座標系(例えば、UTM座標系)における三次元座標値を使用することにより記述されてもよい。IMU情報は、ビークル線加速度及びビークル角加速度を含むが、これらに限定されない。INSビークル姿勢情報は、IMU情報を分析することにより取得されるビークル姿勢情報を含む。シャーシ情報は、ビークル速度、ビークル加速度、ハンドル角度、ハンドル角速度及び他の情報を含んでもよいが、これらに限定されない。GPS情報、IMU情報、INSビークル姿勢情報及びシャーシ情報の具体的な内容は、この出願の実施形態では限定されない。

【0167】

GPSが適切であるか、故障しているか、不十分な信号を有するか、或いはその他の様々な場合、この出願の実施形態によれば、センチメートルレベルの測位誤差を有するビークル測位が実現でき、計算リソース消費及び時間消費が低減でき、それにより、ビークル測位の精度、信頼性及び適時性を同時に改善し、無人運転又はインテリジェント運転のような運転モードにおけるビークルの運転安全性を確保する。

【0168】

以下に、この出願の実施形態において提供されるビークル測位装置、コンピューティングデバイス、ビークル等の具体的な実現方式について詳細に説明する。

【0169】

図１１は、この出願の実施形態によるビークル測位装置1100の構造の概略図である。図１１を参照する。この出願のこの実施形態において提供されるビークル測位装置1100は、
ビークルの前方道路画像を取得するように構成された画像取得ユニット1110と、
前方道路画像に基づいて道路特徴マップを取得するように構成された特徴取得ユニット1120と、
道路特徴マップに基づいてビークルの横方向オフセットを決定するように構成されたオフセット決定ユニット1130と、
ビークルの横方向オフセット、ビークルの第1のポーズ、道路特徴マップ、及び第1のポーズに対応する局所マップに基づいて、ビークルの第2の位置を取得するように構成された位置決定ユニット1140と
を含んでもよい。

【0170】

いくつかの実施形態では、特徴取得ユニット1120は、道路特徴マップ内の車線境界線特徴に基づいてビークルの横方向オフセットを決定するように具体的に構成されてもよい。

【0171】

いくつかの実施形態では、道路特徴マップ内の車線境界線特徴は、道路特徴マップ内の関心領域ROI内の2つの車線境界線の特徴を含んでもよく、2つの車線境界線は、第1のポーズの左側及び右側に位置する。

【0172】

いくつかの実施形態では、特徴取得ユニット1120は、横方向画素オフセット及び事前設定画素比に基づいてビークルの横方向オフセットを取得するように具体的に構成されてもよく、横方向画素オフセットは、道路特徴マップ内のROIの上面図における車線境界線特徴に基づいて決定され、道路特徴マップ内のROIの上面図における車線境界線特徴は、道路特徴マップ内のROI内の2つの車線境界線の特徴を使用することにより取得される。

【0173】

いくつかの実施形態では、横方向画素オフセットは、上面図における第1のカメラの光学中心のROIマッピング点と車線中心点との間の距離であり、車線中心点は、第1のポーズの左側及び右側の車線境界線の間の車線中心点である。

【0174】

いくつかの実施形態では、ビークル測位装置1100は、ビークルの横方向オフセット、第1のポーズ、道路特徴マップ及び局所マップに基づいて、ビークルの第2の姿勢を取得するように構成された姿勢決定ユニット1150を更に含んでもよい。

【0175】

いくつかの実施形態では、ビークルの第2の位置若しくは第2の姿勢又は双方は、局所マップ内の複数の候補ポーズ点に基づいて決定され、各候補ポーズ点のポーズは、ビークルの横方向オフセット、第1のポーズ及び局所マップに基づいて決定される。

【0176】

いくつかの実施形態では、複数の候補ポーズ点は、補正位置を中心として使用することにより局所マップの同じ車線方向において均等に分布し、補正位置は、横方向オフセットに基づいて、且つ、第1のポーズに対応し且つ局所マップ内にある車線中心点位置及び道路方位角に基づいて取得される。

【0177】

いくつかの実施形態では、第2の位置は、投影画像及び道路特徴マップに対して特徴マッチングを実行することにより選択された1つの候補ポーズ点の位置情報であり、及び/又は、第2の姿勢は、投影画像及び道路特徴マップに対して特徴マッチングを実行することにより選択された候補ポーズ点の姿勢情報であり、投影画像は、候補ポーズ点のポーズ、第1のカメラの内部及び外部パラメータ、並びに局所マップに基づいて取得される。

【0178】

いくつかの実施形態では、ビークル測位装置1100は、第2の位置、ビークルの第1の姿勢及びセンサ測位データに基づいてビークルの第3のポーズを取得するか、或いは、第2の位置、ビークルの第2の姿勢及びセンサ測位データに基づいてビークルの第3のポーズを取得するように構成された融合ユニット1160を更に含んでもよい。ここで、センサ測位データは、以下のもの、すなわち、GPS情報、IMU情報、INSビークル姿勢情報及びシャーシ情報のうち1つ以上を含んでもよい。

【0179】

いくつかの実施形態では、局所マップはベクトルマップからのものでもよい。

【0180】

この出願の実施形態におけるビークル測位装置は、ソフトウェア、ハードウェア又はこれらの組み合わせを使用することにより実現されてもよい。例えば、ビークル測位装置1100は、コンピューティングデバイス内のソフトウェア(ソフトウェアは、上記の機能モジュールを有する)として実現されてもよく、或いは、上記の機能モジュールを有するコンピューティングデバイスとして直接実現されてもよい。

【0181】

図１２は、この出願の実施形態によるコンピューティングデバイス1200の構造の概略図である。コンピューティングデバイス1200は、1つ以上のプロセッサ1210と、1つ以上のメモリ1220とを含む。

【0182】

プロセッサ1210は、メモリ1220に接続されてもよい。メモリ1220は、プログラムコード及びデータを記憶するように構成されてもよい。したがって、メモリ1220は、プロセッサ1210内の記憶ユニット、プロセッサ1210と独立した外部記憶ユニット、又はプロセッサ1210内の記憶ユニットとプロセッサ1210と独立した外部記憶ユニットとを含むコンポーネントでもよい。

【0183】

任意選択で、コンピューティングデバイス1200は、通信インタフェース1230を更に含んでもよい。図１２に示すコンピューティングデバイス1200内の通信インタフェース1230は、他のデバイスとの通信のために使用されてもよいことが理解されるべきである。

【0184】

任意選択で、コンピューティングデバイス1200は、バス1240を更に含んでもよい。メモリ1220及び通信インタフェース1230は、バス1240を通じてプロセッサ1210に接続されてもよい。バス1240は、ペリフェラルコンポーネントインターコネクト(Peripheral Component Interconnect, PCI)バス、拡張業界標準アーキテクチャ(Extended Industry Standard Architecture, EISA)バス等でもよい。バス1240は、アドレスバス、データバス、制御バス等に分類されてもよい。表現を容易にするために、図１２では、バスは1つのラインのみを使用することにより示されている。しかし、これは、1つのバスのみ又は1つの種類のバスのみが存在することを示すものではない。

【0185】

この出願のこの実施形態では、プロセッサ1210は、中央処理装置(central processing unit, CPU)でもよいことが理解されるべきである。プロセッサは、代替として、汎用プロセッサ、デジタルシグナルプロセッサ(digital signal processor, DSP)、特定用途向け集積回路(application-specific integrated circuit, ASIC)、フィールドプログラマブルゲートアレイ(field programmable gate Array, FPGA)若しくは他のプログラム可能論理デバイス、ディスクリートゲート若しくはトランジスタ論理デバイス、又はディスクリートハードウェアコンポーネントでもよい。汎用プロセッサはマイクロプロセッサでもよく、或いは、プロセッサはいずれかの従来のプロセッサ等でもよい。代替として、プロセッサ1210は、1つ以上の集積回路でもよく、関連するプログラムを実行して、この出願の実施形態において提供される技術的解決策を実施するように構成される。

【0186】

メモリ1220は、読み取り専用メモリ及びランダムアクセスメモリを含み、プロセッサ1210に命令及びデータを提供してもよい。プロセッサ1210の一部は、不揮発性ランダムアクセスメモリを更に含んでもよい。例えば、プロセッサ1210は、デバイスタイプ情報を更に記憶してもよい。

【0187】

コンピューティングデバイス1200が動作するとき、プロセッサ1210は、メモリ1220内のコンピュータ実行可能命令を実行して、上記のビークル測位方法の動作ステップを実行する。

【0188】

この出願のこの実施形態によるコンピューティングデバイス1200は、この出願の実施形態による方法の対応する実行体に対応してもよく、コンピューティングデバイス1200内のモジュールの上記の及び他の動作及び/又は機能は、実施形態における方法の対応する手順を実現することを別々に意図されることが理解されるべきである。簡潔にするために、詳細はここでは再び説明しない。

【0189】

実際の適用の中で、コンピューティングデバイス1200は、チップ内の機能ユニット、独立したチップ、車載端末デバイスの機能ユニット、又は独立した車載端末デバイスとして実現されてもよい。いくつかの実施形態では、コンピューティングデバイス1200は、車載インフォテインメント、コックピットドメインコントローラ(cockpit domain controller, CDC)又はモバイルデータセンタ/マルチドメインコントローラ(Mobile Data Center/Multi-Domain Controller, MDC)における機能ユニット/モジュールでもよい。コンピューティングデバイス1200の形式及び配備方式は、この出願の実施形態では限定されない。

【0190】

この出願の実施形態は、ビークルを更に提供する。ビークルは、ビークルの前方道路画像をキャプチャするように構成された第1のカメラ(フロントビューカメラとも呼ばれてもよい)を含む。ビークルは、ビークル測位装置1100、コンピューティングデバイス1200、以下に記載されるコンピュータ可読記憶媒体、又は以下に記載されるコンピュータプログラム製品を更に含んでもよい。

【0191】

図１３は、この出願の実施形態によるビークルの例示的な図である。図１３を参照する。ビークル1300には、フロントビューカメラ1310(すなわち、上記の第1のカメラ)が設置されている。フロントビューカメラは、ビークルの前方道路画像をリアルタイムでキャプチャし、前方道路画像をビークルのコンピューティングデバイス1200(図示せず)に伝送してもよく、それにより、コンピューティングデバイス1200が、前方道路画像を使用することにより、リアルタイムでビークルを確実に測位するようにする。

【0192】

例えば、GPSセンサ1320、IMU1330、車速センサ1340、加速度センサ1350等がビークルに更に設置され、これらのセンサは、上記のコンピューティングデバイスに別々に接続される。図１０は単なる例である点に留意すべきである。具体的な適用の中で、GPSセンサ1320、IMU1330、車速センサ1340及び加速度センサ1350の数、種類、配備位置、設置方式等は、この出願の実施形態では限定されない。

【0193】

例えば、フロントビューカメラ1310、GPSセンサ1320、IMU1330、車速センサ1340及び加速度センサ1350は、無線又は有線でコンピューティング装置に別々に接続されてもよい。例えば、フロントビューカメラ、GPS、IMU、車速センサ及び加速度センサは、イーサネット、ブルートゥース(Bluetooth)、ワイヤレスフィデリティ(wireless fidelity, Wi-Fi)ネットワーク、セルラーネットワーク、コントローラエリアネットワーク(Controller Area Network, CAN)バス、及びローカル相互接続ネットワーク(local interconnect network, LIN)バスを通じて或いは様々な他の通信方式で、コンピューティングデバイスに接続されてよい。

【0194】

この出願の実施形態は、コンピュータ可読記憶媒体を更に提供する。コンピュータ可読記憶媒体は、コンピュータプログラムを記憶する。プログラムがプロセッサにより実行されたとき、プロセッサは、上記のビークル測位方法を実行することが可能になる。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体でもよい。コンピュータ可読記憶媒体は、電気、磁気、光学、電磁気、赤外線又は半導体のシステム、装置若しくはデバイス、又はこれらのいずれかの組み合わせでもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例(非網羅的なリスト)は、1つ以上のワイヤとの電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ、読み取り専用メモリ、消去可能プログラム可能読み取り専用メモリ、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ、光記憶デバイス、磁気記憶デバイス又はこれらのいずれかの適切な組み合わせを含む。

【0195】

この出願の実施形態は、コンピュータプログラムを含むコンピュータプログラム製品を更に提供する。コンピュータプログラムがプロセッサにより実行されたとき、プロセッサは、上記のビークル測位方法を実行することが可能になる。ここで、コンピュータプログラム製品のプログラム設計言語は、1つ以上でもよい。プログラム設計言語は、Java又はC++のようなオブジェクト指向プログラム設計言語、及び「C」言語のような従来の手続き型プログラム設計言語を含んでもよいが、これらに限定されない。

【0196】

上記は、この出願の単に例示的な実施形態及び使用される技術的原理である点に留意すべきである。当業者は、この出願がここに記載された特定の実施形態に限定されないことを理解してもよく、当業者は、この出願の保護範囲から逸脱することなく、様々な明らかな変更、再調整及び置換を行ってもよい。したがって、この出願は、上記の実施形態を参照して詳細に説明されるが、この出願は、上記の実施形態に限定されない。この出願の概念から逸脱することなく、より多くの他の同等の実施形態が含まれてもよく、全てがこの出願の保護範囲内に入る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【手続補正書】

【提出日】2024-05-31

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ビークル測位方法であって、
ビークルの前方道路画像を取得するステップと、
前記前方道路画像に基づいて道路特徴マップを取得するステップと、
前記道路特徴マップに基づいて前記ビークルの横方向オフセットを決定するステップと、
前記ビークルの前記横方向オフセット、前記ビークルの第1のポーズ、前記道路特徴マップ、及び前記第1のポーズに対応する局所マップに基づいて、前記ビークルの第2の位置を取得するステップと
を含む方法。

【請求項2】

前記道路特徴マップに基づいて前記ビークルの横方向オフセットを決定するステップは、前記道路特徴マップ内の車線境界線特徴に基づいて前記ビークルの前記横方向オフセットを決定するステップを含む、請求項１に記載の方法。

【請求項3】

前記道路特徴マップ内の前記車線境界線特徴は、前記道路特徴マップ内の関心領域(ROI)内の2つの車線境界線の特徴を含み、前記2つの車線境界線は、前記第1のポーズの左側及び右側に位置する、請求項２に記載の方法。

【請求項4】

前記道路特徴マップ内の車線境界線特徴に基づいて前記ビークルの前記横方向オフセットを決定するステップは、横方向画素オフセット及び事前設定画素比に基づいて前記ビークルの前記横方向オフセットを取得するステップと、前記道路特徴マップ内の前記ROIの上面図における車線境界線特徴に基づいて前記横方向画素オフセットを決定するステップとを含み、
前記道路特徴マップ内の前記ROIの前記上面図における前記車線境界線特徴は、前記道路特徴マップ内の前記ROI内の前記2つの車線境界線の前記特徴を使用することにより取得される、請求項３に記載の方法。

【請求項5】

前記横方向画素オフセットは、前記上面図における第1のカメラの光学中心のROIマッピング点と車線中心点との間の距離であり、前記車線中心点は、前記第1のポーズの前記左側及び前記右側の前記車線境界線の間の車線中心点であり、前記第1のカメラは、前記前方道路画像をキャプチャするカメラである、請求項４に記載の方法。

【請求項6】

当該方法は、前記ビークルの前記横方向オフセット、前記第1のポーズ、前記道路特徴マップ及び前記局所マップに基づいて、前記ビークルの第2の姿勢を取得するステップを更に含む、請求項１乃至５のうちいずれか１項に記載の方法。

【請求項7】

前記ビークルの前記第2の位置若しくは前記第2の姿勢又は双方は、前記局所マップ内の複数の候補ポーズ点に基づいて決定され、各候補ポーズ点のポーズは、前記ビークルの前記横方向オフセット、前記第1のポーズ及び前記局所マップに基づいて決定される、請求項６に記載の方法。

【請求項8】

前記複数の候補ポーズ点は、補正位置を中心として使用することにより前記局所マップの同じ車線方向において均等に分布し、前記補正位置は、前記ビークルの前記横方向オフセットに基づいて、且つ、前記第1のポーズに対応し且つ前記局所マップ内にある車線中心点位置及び道路方位角に基づいて取得される、請求項７に記載の方法。

【請求項9】

前記第2の位置は、投影画像及び前記道路特徴マップに対して特徴マッチングを実行することにより選択された1つの候補ポーズ点の位置情報であり、及び/又は、前記第2の姿勢は、前記投影画像及び前記道路特徴マップに対して特徴マッチングを実行することにより選択された前記候補ポーズ点の姿勢情報であり、
前記投影画像は、前記候補ポーズ点のポーズ、第1のカメラの内部及び外部パラメータ、並びに前記局所マップに基づいて取得される、請求項７又は８に記載の方法。

【請求項10】

当該方法は、前記第2の位置、ビークルの第1の姿勢及びセンサ測位データに基づいて前記ビークルの第3のポーズを取得するステップ、又は前記第2の位置、前記ビークルの前記第2の姿勢及びセンサ測位データに基づいて前記ビークルの第3のポーズを取得するステップを更に含む、請求項６乃至９のうちいずれか１項に記載の方法。

【請求項11】

前記センサ測位データは、以下のもの、すなわち、GPS情報、IMU情報、INSビークル姿勢情報及びシャーシ情報のうち1つ以上を含む、請求項１０に記載の方法。

【請求項12】

前記局所マップはベクトルマップからのものである、請求項１乃至１１のうちいずれか１項に記載の方法。

【請求項13】

ビークル測位装置であって、
ビークルの前方道路画像を取得するように構成された画像取得ユニットと、
前記前方道路画像に基づいて道路特徴マップを取得するように構成された特徴取得ユニットと、
前記道路特徴マップに基づいて前記ビークルの横方向オフセットを決定するように構成されたオフセット決定ユニットと、
前記ビークルの前記横方向オフセット、前記ビークルの第1のポーズ、前記道路特徴マップ、及び前記第1のポーズに対応する局所マップに基づいて、前記ビークルの第2の位置を取得するように構成された位置決定ユニットと
を含む装置。

【請求項14】

前記特徴取得ユニットは、前記道路特徴マップ内の車線境界線特徴に基づいて前記ビークルの前記横方向オフセットを決定するように具体的に構成される、請求項１３に記載の装置。

【請求項15】

前記道路特徴マップ内の前記車線境界線特徴は、前記道路特徴マップ内の関心領域(ROI)内の2つの車線境界線の特徴を含み、前記2つの車線境界線は、前記第1のポーズの左側及び右側に位置する、請求項１４に記載の装置。

【請求項16】

前記特徴取得ユニットは、横方向画素オフセット及び事前設定画素比に基づいて前記ビークルの前記横方向オフセットを取得するように具体的に構成され、前記横方向画素オフセットは、前記道路特徴マップ内の前記ROIの上面図における車線境界線特徴に基づいて決定され、前記道路特徴マップ内の前記ROIの前記上面図における前記車線境界線特徴は、前記道路特徴マップ内の前記ROI内の前記2つの車線境界線の前記特徴を使用することにより取得される、請求項１５に記載の装置。

【請求項17】

前記横方向画素オフセットは、前記上面図における第1のカメラの光学中心のROIマッピング点と車線中心点との間の距離であり、前記車線中心点は、前記第1のポーズの前記左側及び前記右側の前記車線境界線の間の車線中心点であり、前記第1のカメラは、前記前方道路画像をキャプチャするカメラである、請求項１６に記載の装置。

【請求項18】

当該装置は、前記ビークルの前記横方向オフセット、前記第1のポーズ、前記道路特徴マップ及び前記局所マップに基づいて、前記ビークルの第2の姿勢を取得するように構成された姿勢決定ユニットを更に含む、請求項１３乃至１７のうちいずれか１項に記載の装置。

【請求項19】

前記ビークルの前記第2の位置若しくは前記第2の姿勢又は双方は、前記局所マップ内の複数の候補ポーズ点に基づいて決定され、各候補ポーズ点のポーズは、前記ビークルの前記横方向オフセット、前記第1のポーズ及び前記局所マップに基づいて決定される、請求項１８に記載の装置。

【請求項20】

前記複数の候補ポーズ点は、補正位置を中心として使用することにより前記局所マップの同じ車線方向において均等に分布し、前記補正位置は、前記ビークルの前記横方向オフセットに基づいて、且つ、前記第1のポーズに対応し且つ前記局所マップ内にある車線中心点位置及び道路方位角に基づいて取得される、請求項１９に記載の装置。

【請求項21】

前記第2の位置は、投影画像及び前記道路特徴マップに対して特徴マッチングを実行することにより選択された1つの候補ポーズ点の位置情報であり、及び/又は、前記第2の姿勢は、前記投影画像及び前記道路特徴マップに対して特徴マッチングを実行することにより選択された前記候補ポーズ点の姿勢情報であり、
前記投影画像は、前記候補ポーズ点のポーズ、第1のカメラの内部及び外部パラメータ、並びに前記局所マップに基づいて取得される、請求項１９又は２０に記載の装置。

【請求項22】

当該装置は、前記第2の位置、ビークルの第1の姿勢及びセンサ測位データに基づいて前記ビークルの第3のポーズを取得するか、或いは、前記第2の位置、前記ビークルの前記第2の姿勢及びセンサ測位データに基づいて前記ビークルの第3のポーズを取得するように構成された融合ユニットを更に含む、請求項１８乃至２１のうちいずれか１項に記載の装置。

【請求項23】

前記センサ測位データは、以下のもの、すなわち、GPS情報、IMU情報、INSビークル姿勢情報及びシャーシ情報のうち1つ以上を含む、請求項２２に記載の装置。

【請求項24】

前記局所マップはベクトルマップからのものである、請求項１３乃至２３のうちいずれか１項に記載の装置。

【請求項25】

プロセッサとメモリとを含むコンピューティングデバイスであって、
前記メモリはプログラム命令を記憶し、前記プログラム命令が前記プロセッサにより実行されたとき、前記プロセッサは、請求項１乃至１２のうちいずれか１項に記載の方法を実行することが可能になる、コンピューティングデバイス。

【請求項26】

コンピュータ可読記憶媒体であって、
当該コンピュータ可読記憶媒体はプログラム命令を記憶し、前記プログラム命令がコンピュータにより実行されたとき、前記コンピュータは、請求項１乃至１２のうちいずれか１項に記載の方法を実行することが可能になる、コンピュータ可読記憶媒体。

【請求項27】

ビークルであって、
前方道路画像をキャプチャするように構成された第1のカメラと、
請求項１３乃至２４のうちいずれか１項に記載のビークル測位装置又は請求項２５に記載のコンピューティングデバイスと
を含むビークル。

【請求項28】

当該ビークルは、以下のもの、すなわち、GPSセンサ、IMU、車速センサ及び加速度センサのうち1つ以上を更に含む、請求項２７に記載のビークル。

【国際調査報告】