ホーム > 特許ランキング > 日立Ａｓｔｅｍｏ株式会社
知財求人 - 知財ポータルサイト「IP Force」
特表2024-526082自動運転および／または支援運転のための駆動装置、車両、および方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-07-17
(54)【発明の名称】自動運転および／または支援運転のための駆動装置、車両、および方法
(51)【国際特許分類】
G08G 1/16 20060101AFI20240709BHJP
B60W 40/10 20120101ALI20240709BHJP
B60W 40/02 20060101ALI20240709BHJP
B60W 30/02 20120101ALI20240709BHJP
B60W 60/00 20200101ALI20240709BHJP
B60W 10/04 20060101ALI20240709BHJP
B60W 10/184 20120101ALI20240709BHJP
B60W 10/20 20060101ALI20240709BHJP
【ＦＩ】
G08G1/16 C
B60W40/10
B60W40/02
B60W30/02
B60W60/00
B60W10/04
B60W10/184
B60W10/20
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023576216
(86)(22)【出願日】2022-02-21
(85)【翻訳文提出日】2023-12-11
(86)【国際出願番号】 JP2022006806
(87)【国際公開番号】W WO2023017624
(87)【国際公開日】2023-02-16
(31)【優先権主張番号】21386050.5
(32)【優先日】2021-08-11
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】509186579
【氏名又は名称】日立Ａｓｔｅｍｏ株式会社
(74)【代理人】
【識別番号】110002572
【氏名又は名称】弁理士法人平木国際特許事務所
(72)【発明者】
【氏名】アラビアン アリレザ
(72)【発明者】
【氏名】スーフラス イオアニス
【テーマコード（参考）】
3D241
5H181
【Ｆターム（参考）】
3D241BA16
3D241BC01
3D241BC02
3D241CC01
3D241CC08
3D241CC17
3D241CE06
3D241DB05Z
3D241DB12Z
3D241DB13Z
3D241DB15Z
3D241DB16Z
5H181AA01
5H181BB04
5H181BB20
5H181CC02
5H181CC03
5H181CC04
5H181CC12
5H181CC14
5H181CC17
5H181CC27
5H181FF04
5H181FF27
5H181LL01
5H181LL02
5H181LL04
5H181LL09
(57)【要約】
本発明は、車両（１０）に関し、車両（１０）は、慣性関連データを出力するように構成された慣性計測ユニット（２６）と、位置関連データを出力するように構成されたホイールオドメトリユニット（２８）と、第１画像データおよび第１画像データの前の画像データである第２画像データを出力するように構成された電磁センサユニット（２０）と、慣性関連データと、位置関連データと、第１画像データと、第２画像データとを受信するように構成され、かつ第１画像データから抽出された第１特徴点と第２画像データから抽出された第２特徴点とを関連付け、慣性計測ユニット（２６）からの慣性関連データおよびホイールオドメトリからの位置関連データに基づいて、第１特徴点と第２特徴点との関連付けを評価することによって計算された車両（１０）の推定姿勢を出力するように構成されたビジュアルオドメトリ部（３１）と、を備える。
【選択図】図３
【選択図】図３
【特許請求の範囲】
【請求項1】
車両（１０）の自動運転および／または支援運転のための駆動装置であって、慣性計測ユニット（２６）によって測定された慣性関連データを受信するように構成された第１入力ポート（３４）と、
ホイールオドメトリユニット（２８）によって測定された位置関連データを受信するように構成された第２入力ポート（３５）と、
電磁センサユニット（２０）による第１画像データおよび第２画像データを受信するように構成され、前記第２画像データは前記第１画像データの前の画像データである第３入力ポート（３６）と、
前記慣性関連データと、前記位置関連データと、前記第１画像データと、前記第２画像データとを受信するように構成され、かつ前記第１画像データから抽出された第１特徴点と前記第２画像データから抽出された第２特徴点とを関連付け、前記慣性計測ユニット（２６）からの前記慣性関連データおよびホイールオドメトリからの前記位置関連データに基づいて、前記第１特徴点と前記第２特徴点との前記関連付けを評価することによって計算された前記車両（１０）の推定姿勢を出力するように構成されたビジュアルオドメトリ部（３１）と、
前記推定姿勢に基づいて、自動運転および／または支援運転のための駆動信号を生成するように構成された制御部（３２）と、を備える、駆動装置。
【請求項2】
慣性関連データを出力するように構成された慣性計測ユニット（２６）と、位置関連データを出力するように構成されたホイールオドメトリユニット（２８）と、
第１画像データおよび前記第１画像データの前の画像データである第２画像データを出力するように構成された電磁センサユニット（２０）と、
前記慣性関連データと、前記位置関連データと、前記第１画像データと、前記第２画像データとを受信するように構成され、かつ前記第１画像データから抽出された第１特徴点と前記第２画像データから抽出された第２特徴点とを関連付け、前記慣性計測ユニット（２６）からの前記慣性関連データおよび前記ホイールオドメトリユニット（２８）からの前記位置関連データに基づいて、前記第１特徴点と前記第２特徴点との前記関連付けを評価することによって計算された車両（１０）の推定姿勢を出力するように構成されたビジュアルオドメトリ部（３１）と、
前記推定姿勢に基づいて、自動運転モードおよび／または支援運転モードで前記車両（１０）を運転するように構成された制御部（３２）と、を備える、車両。
【請求項3】
前記ビジュアルオドメトリ部（３１）は、前記第１特徴点および前記第２特徴点を生成し、前記第１特徴点と前記第２特徴点とを関連付けるように構成された特徴生成および関連付け部（３１ａ）と、
前記慣性関連データおよび前記位置関連データに基づいて計算された回転データおよび並進データを使用することで前記第２特徴点から第１投影特徴点を投影するように構成され、かつ前記第１特徴点と前記第１投影特徴点との間の画素距離を算出して、前記第１特徴点と前記第２特徴点との関連付けの確実性を評価するように構成された特徴点除去部（３１ｂ）と、を含む、請求項１または２に記載の駆動装置または車両。
【請求項4】
前記特徴点除去部（３１ｂ）は、前記画素距離が所定値よりも大きい場合、前記第１特徴点と前記第２特徴点との前記関連付けを除去するように構成されている、請求項３に記載の駆動装置または車両。
【請求項5】
前記ビジュアルオドメトリ部（３１）は、前記第１特徴点と前記第２特徴点との間の深度における物理的距離と、深度における予想物理的距離とを比較するように構成された世界点除去部（３１ｃ）をさらに含み、前記予想物理的距離は、前記ホイールオドメトリユニット（２８）からの前記位置関連データに基づいて算出される、請求項１から４のいずれか一項に記載の駆動装置または車両。
【請求項6】
前記世界点除去部（３１ｃ）は、前記予想物理的距離の上限および前記予想物理的距離の下限を算出し、前記深度における物理的距離が前記予想物理的距離の前記上限と前記予想物理的距離の前記下限との間にある場合、前記第１特徴点と前記第２特徴点との前記関連付けを受け入れるように構成されている、請求項５に記載の駆動装置または車両。
【請求項7】
前記推定姿勢は、推定回転および推定並進を含み、前記ビジュアルオドメトリ部（３１）は、前記慣性計測ユニット（２６）からの前記慣性関連データおよび前記ホイールオドメトリユニット（２８）からの前記位置関連データに基づいて算出される予想回転および予想並進を作成するように構成され、かつ前記予想回転および前記予想並進に基づいて前記推定回転および前記推定並進を評価するように構成された決定規則部（３１ｄ）を含む、請求項１から６のいずれか一項に記載の駆動装置または車両。
【請求項8】
前記予想並進は、前記予想並進の上限と前記予想並進の下限とを含み、前記予想回転は、前記予想回転の上限と前記予想回転の下限とを含み、
前記決定規則部（３１ｄ）は、前記車両（１０）が直線道路上にある場合に前記推定並進が前記予想並進の前記上限と前記下限との間にある場合、前記推定姿勢を受け入れるように構成されている、または、前記車両（１０）が曲線道路上にある場合に前記推定並進が前記予想並進の前記上限と前記下限との間にあり、前記推定回転が前記予想回転の前記上限と前記下限との間にある場合、前記推定姿勢を受け入れるように構成されている、請求項７に記載の駆動装置または車両。
【請求項9】
自動モードおよび／または運転支援モードで車両（１０）を運転するためのコンピュータ実装された方法であって、慣性関連データを慣性計測ユニット（２６）によって出力するステップと、
位置関連データをホイールオドメトリユニット（２８）によって出力するステップと、
第１画像データおよび第２画像データを電磁センサユニット（２０）によって出力するステップであって、前記第２画像データは前記第１画像データの前の画像データであるステップと、
ビジュアルオドメトリ部（３１）によって、前記慣性関連データと、前記位置関連データと、前記第１画像データと、前記第２画像データとを受信し、前記第１画像データから抽出された第１特徴点と前記第２画像データから抽出された第２特徴点とを関連付け、前記慣性計測ユニット（２６）からの前記慣性関連データおよびホイールオドメトリからの前記位置関連データに基づいて、前記第１特徴点と前記第２特徴点との前記関連付けを評価することによって計算された前記車両（１０）の推定姿勢を出力するステップと、
制御部（３２）によって、前記推定姿勢に基づいて、自動運転モードおよび／または支援運転モードで前記車両（１０）を運転するステップと、を備える、方法。
【請求項10】
車両（１０）の自動運転および／または支援運転のための駆動装置であって、慣性計測ユニット（２６）によって測定された慣性関連データを受信するように構成された第１入力ポート（３４）と、
ホイールオドメトリユニット（２８）によって測定された位置関連データを受信するように構成された第２入力ポート（３５）と、
電磁センサユニット（２０）による第１画像データおよび前記第１画像データの前の画像データである第２画像データを受信するように構成され、前記第２画像データは前記第１画像データの前の画像データである第３入力ポート（３６）と、
前記慣性関連データと、前記位置関連データと、前記第１画像データと、前記第２画像データとを受信するように構成され、かつ前記慣性関連データおよび前記位置関連データに基づいて算出された前記車両（１０）の推定姿勢を出力するように構成され、前記推定姿勢が推定回転および推定並進を含むビジュアルオドメトリ部（３１）と、
前記推定姿勢に基づいて、自動運転および／または支援運転のための駆動信号を生成するように構成された制御部（３２）と、を備え、
前記ビジュアルオドメトリ部（３１）は、前記慣性計測ユニット（２６）からの前記慣性データおよび前記ホイールオドメトリユニット（２８）からの前記位置関連データに基づいて算出される予想回転および予想並進を作成し、前記予想回転および前記予想並進に基づいて前記推定回転および前記推定並進を評価するように構成された決定規則部（３１ｄ）を含む、駆動装置。
【請求項11】
慣性関連データを出力するように構成された慣性計測ユニット（２６）と、位置関連データを出力するように構成されたホイールオドメトリユニット（２８）と、
第１画像データおよび前記第１画像データの前の画像データである第２画像データを出力するように構成された電磁センサユニット（２０）と、
前記慣性関連データと、前記位置関連データと、前記第１画像データと、前記第２画像データとを受信するように構成され、かつ前記慣性関連データおよび前記位置関連データに基づいて算出された車両（１０）の推定姿勢を出力するように構成され、前記推定姿勢が推定回転および推定並進を含むビジュアルオドメトリ部（３１）と、
前記推定姿勢に基づいて、自動運転モードおよび／または支援運転モードで前記車両（１０）を運転するように構成された制御部（３２）と、を備え、
前記ビジュアルオドメトリ部（３１）は、前記慣性計測ユニット（２６）からの前記慣性データおよび前記ホイールオドメトリユニット（２８）からの前記位置関連データに基づいて算出される予想回転および予想並進を作成し、前記予想回転および前記予想並進に基づいて前記推定回転および前記推定並進を評価するように構成された決定規則部（３１ｄ）を含む、車両。
【請求項12】
前記予想並進は、前記予想並進の上限と前記予想並進の下限とを含み、前記予想回転は、前記予想回転の上限と前記予想回転の下限とを含み、
前記決定規則部（３１ｄ）は、前記車両（１０）が直線道路上にある場合に前記推定並進が前記予想並進の前記上限と前記下限との間にある場合、前記推定姿勢を受け入れるように構成されている、または、前記車両（１０）が曲線道路上にある場合に前記推定並進が前記予想並進の前記上限と前記下限との間にあり、前記推定回転が前記予想回転の前記上限と前記下限との間にある場合、前記推定姿勢を受け入れるように構成されている、請求項１０または１１に記載の駆動装置または車両。
【請求項13】
自動モードおよび／または運転支援モードで車両（１０）を運転するためのコンピュータ実装された方法であって、慣性関連データを慣性計測ユニット（２６）によって出力するステップと、
位置関連データをホイールオドメトリユニット（２８）によって出力するステップと、
第１画像データおよび第２画像データを電磁センサユニット（２０）によって出力するステップであって、前記第２画像データは前記第１画像データの前の画像データであるステップと、
ビジュアルオドメトリ部（３１）によって、前記慣性関連データと、前記位置関連データと、前記第１画像データと、前記第２画像データとを受信し、前記慣性関連データおよび前記位置関連データに基づいて算出された前記車両（１０）の推定姿勢を出力するステップであって、前記推定姿勢が推定回転および推定並進を含むステップと、
制御部（３２）によって、前記推定姿勢に基づいて、自動運転モードおよび／または支援運転モードで前記車両（１０）を運転するステップと、を備え、
前記推定姿勢を出力するステップは、決定規則部（３１ｄ）によって、前記慣性計測ユニット（２６）からの前記慣性データおよび前記ホイールオドメトリユニット（２８）からの前記位置関連データに基づいて算出される予想回転および予想並進を作成し、前記予想回転および前記予想並進に基づいて前記推定回転および前記推定並進を評価することを含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両の自動運転および／または支援運転のための駆動装置に関し、駆動装置は、慣性計測ユニットによって測定された慣性関連データを受信するように構成された第１入力ポートと、ホイールオドメトリユニットによって測定された位置関連データを受信するように構成された第２入力ポートと、第１画像データおよび第２画像データを受信するように構成された第３入力ポートとを備える。
【0002】
本発明はさらに、慣性関連データを出力するように構成された慣性計測ユニットと、位置関連データを出力するように構成されたホイールオドメトリユニットと、第１画像データおよび第１画像データの前の画像データである第２画像データを出力するように構成された電磁センサユニットとを備える車両に関する。
【0003】
本発明はまた、自動モードおよび／または運転支援モードで車両を運転するためのコンピュータ実装された方法に関し、方法は、慣性関連データを慣性計測ユニットによって出力するステップと、位置関連データをホイールオドメトリユニットによって出力するステップと、第１画像データおよび第２画像データを電磁センサユニットによって出力するステップとを備える。
【背景技術】
【0004】
自律モード（例えば、無人運転）または半自律モード（運転支援を使用）で動作する車両は、運転者をいくつかの運転関連タスクから解放する。自律モードで動作する場合、車両は様々な場所にナビゲートすることができ、最小限の人的相互作用で、または場合によっては乗員なしで、車両が走行することを可能にする。同様に、支援運転モードでは、運転者のいくつかのタスクが（高度な）運転者支援システムによって実行される。
【0005】
車両位置特定は、地球上の車両の位置（および方位）である。正確な車両位置特定は、自律車両のための重要な構成要素である。従来の車両位置特定システムは、主にＧＰＳ（全地球測位システム）に依存しており、車両は、複数のＧＰＳ衛星に対する明確な見通し線を有する。しかしながら、ＧＰＳは、トンネルや超高層ビルを伴う都市といった状況においては、衛星と車両との間の見通し線が限られているか全くないため、機能しない傾向がある。
【0006】
米国特許出願公開第２０２０／１０３６６４号明細書は、姿勢情報を出力するための方法および装置に関連している。米国特許出願公開第２０２０／０８１１３４号明細書は、全地球航法衛星システムの位置データの他のセンサデータとの検証を記載している。米国特許出願公開第２０１９／３６８８７９号明細書は、地上車両の位置特定のための視覚支援慣性航法システムに関連している。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】米国特許出願公開第２０２０／１０３６６４号明細書
【特許文献2】米国特許出願公開第２０２０／０８１１３４号明細書
【特許文献3】米国特許出願公開第２０１９／３６８８７９号明細書
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明の目的は、姿勢（例えば、位置および方位）のより正確かつより頑健性のある推定を提供するための駆動装置、車両、およびコンピュータ実装された方法を提供することである。
【課題を解決するための手段】
【0009】
この目的は、独立請求項の主題によって解決される。従属請求項は、本発明の好ましい実施形態を記載する。
【0010】
車両の自動運転および／または支援運転のための駆動装置は、第１入力ポートと、第２入力ポートと、第３入力ポートと、ビジュアルオドメトリ部とを備える。第１入力ポートは、慣性計測ユニットによって測定された慣性関連データを受信するように構成されている。第２入力ポートは、ホイールオドメトリユニットによって測定された位置関連データを受信するように構成されている。第３入力ポートは、電磁センサユニットによる第１画像データおよび第２画像データを受信するように構成され、前記第２画像データは前記第１画像データの前の画像データである。ビジュアルオドメトリ部は、前記慣性関連データと、前記位置関連データと、前記第１画像データと、前記第２画像データとを受信するように構成され、かつ前記第１画像データから抽出された第１特徴点と前記第２画像データから抽出された第２特徴点とを関連付け、前記慣性計測ユニットからの前記慣性関連データおよびホイールオドメトリからの前記位置関連データに基づいて、前記第１特徴点と前記第２特徴点との前記関連付けを評価することによって計算された前記車両の推定姿勢を出力するように構成されている。
【0011】
任意選択で、駆動装置は、前記推定姿勢に基づいて、自動運転および／または支援運転のための駆動信号を生成するように構成された制御部を含んでもよい。
【0012】
車両は、慣性関連データを出力するように構成された慣性計測ユニットと、位置関連データを出力するように構成されたホイールオドメトリユニットと、第１画像データおよび前記第１画像データの前の画像データである第２画像データを出力するように構成された電磁センサユニットと、ビジュアルオドメトリ部とを備える。ビジュアルオドメトリ部は、前記慣性関連データと、前記位置関連データと、前記第１画像データと、前記第２画像データとを受信するように構成され、かつ前記第１画像データから抽出された第１特徴点と前記第２画像データから抽出された第２特徴点とを関連付け、前記慣性計測ユニットからの前記慣性関連データおよびホイールオドメトリからの前記位置関連データに基づいて、前記第１特徴点と前記第２特徴点との前記関連付けを評価することによって計算された前記車両の推定姿勢を出力するように構成されている。
【0013】
任意選択で、車両は、前記推定姿勢に基づいて、自動運転モードおよび／または支援運転モードで前記車両を運転するように構成された制御部を含んでもよい。
【0014】
本発明は、より正確で、より頑健性があり、および／またはより信頼性の高い車両姿勢を得るために、車両姿勢を推定する複数のセンサを組み合わせるという概念に基づいている。本発明は、慣性計測ユニットおよびホイールオドメトリユニットから受信した車両の推定姿勢に関する情報を使用して、ビジュアルオドメトリに基づく車両の姿勢の判定をより正確および／またはより頑健にする。したがって、車両の姿勢は、より広範な情報に基づいて判定される。加えて、慣性関連データおよび／または位置関連データに基づく姿勢の算出は、画像データを使用して判定される推定姿勢よりも正確であり得る。したがって、慣性関連データおよび／または位置関連データのより高い精度を使用して、画像データを使用して判定される推定姿勢の精度を高めることができる。
【0015】
車両および／または車両の駆動装置は、ロボカーと呼ばれることもある自律または自動運転車両であってもよい。代替的にまたは追加的に、車両および／または駆動装置は、半自律車両であってもよい。したがって、駆動装置は、高度運転者支援システムの制御装置とみなされてもよい。自動車標準化団体であるＳＡＥインターナショナルによってＪ３０１６＿２０２１０４「自動車用運転自動化システムのレベル分類及び定義（Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles）」として２０２１年に発行された６つのレベルを有する分類システムに従って、自律車両は、レベル４またはレベル５とみなされてもよく、半自律または支援運転車両は、レベル１からレベル３とみなされてもよい。
【0016】
ビジュアルオドメトリ部および／または制御部は、以下に概説するタスクを行うコンピュータまたはプロセッサの一部であってもよい。コンピュータは、以下に概説するタスクを実行するために必要なハードウェア（例えば、プロセッサ、メモリ、ストレージ）およびソフトウェア（例えば、オペレーティングシステム、プログラム）を含むことができる。ビジュアルオドメトリ部によって実行されるタスクは、記憶装置上にアルゴリズムおよび／または他の形態のコンピュータコードとして記憶されてもよい。
【0017】
記憶装置は、所与の容量のメモリを提供するために複数のメモリ装置を介して実装できる１つ以上のメモリを含んでもよい。記憶装置は、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、または他のタイプの記憶装置など、１つ以上の揮発性記憶（またはメモリ）装置を含んでもよい。記憶装置はまた、ソリッドステート装置（ＳＳＤ）を含んでもよい。しかしながら、他の実施形態では、記憶装置は、システムアクティビティの再開時に高速の電源投入が起こり得るように、電源切断事象中にコンテキスト状態および他のそのような情報の不揮発性記憶を可能にするＳＳＤキャッシュとして機能する、より小さい容量のＳＳＤストレージを備えた、または備えていないハードディスクドライブ（ＨＤＤ）を含んでもよい。
【0018】
記憶装置に記憶されたアルゴリズムは、周期的にまたは断続的に更新することができる。この目的のために、記憶装置は、ネットワークとの、ひいてはサーバ、車両または駆動装置の外部にある他のタイプの記憶装置との、および／または他の車両との有線または無線通信を可能にする通信部に、電子的におよび／通信可能に接続または結合されていてもよい。
【0019】
通信部は、無線トランシーバおよび／またはネットワークインターフェースカード（ＮＩＣ）を含むことができるネットワークインターフェース装置とみなされてもよい。無線トランシーバは、ＷｉＦｉトランシーバ、赤外線トランシーバ、Ｂｌｕｅｔｏｏｔｈトランシーバ、ＷｉＭａｘトランシーバ、無線携帯電話トランシーバ、もしくは他の無線周波数（ＲＦ）トランシーバ、またはそれらの組み合わせであってもよい。
【0020】
慣性計測ユニットは、加速度、回転、ヨー、および／または速度変化など、慣性計測ユニットが受ける力を測定するための装置である。慣性計測ユニットは、車両および／または駆動装置に固定して取り付けられてもよい。その場合、慣性計測ユニットは、車両および／または駆動装置の加速度および／または速度変化を測定するように構成される。
【0021】
慣性計測ユニットは、加速度計、ジャイロスコープ（ジャイロメータ）、および／または磁力計などの１つ以上のセンサを含んでもよい。センサによって生成された測定値は、加速度および／または速度変化を判定するために、慣性計測ユニットのプロセッサによって、および／またはビジュアルオドメトリ部によって処理されてもよい。言い換えれば、慣性計測ユニットは、その測定値を使用して慣性計測ユニットの加速度、回転、ヨー、および／または速度変化を判定することができるセンサを含んでもよい。ジャイロスコープは、微小電気機械システム（ＭＥＭＳ）のジャイロスコープを含んでもよい。
【0022】
慣性計測ユニットにより判定された加速度、回転、ヨー、および／または速度変化は、慣性関連データとして出力される。慣性計測ユニットは、慣性関連データを受信するための駆動装置のインターフェースであり得る第１入力ポートに、通信可能におよび／または電子的に接続／結合されてもよい。
【0023】
ホイールオドメトリユニットは、車両が走行した距離、車両の速度、および／または車両の車輪の傾きなど、車両の姿勢を示すパラメータを測定するための装置である。ホイールオドメトリユニットは、車両の車輪の回転を判定するためのセンサ、車両の車輪の傾きを判定するためのセンサ、および／または車両のハンドルの位置を判定するためのセンサなど、１つ以上のセンサを含んでもよい。ホイールオドメトリユニットのセンサによって収集されたこれらのパラメータの測定値は、車両が走行した距離および／または方位を決定するために、ホイールオドメトリユニットのプロセッサによって、および／またはビジュアルオドメトリ部によって処理することができる。
【0024】
車両が走行した距離および／または方位は、位置関連データとしてホイールオドメトリユニットにより出力される。ホイールオドメトリユニットは、慣性関連データを受信するための駆動装置のインターフェースであり得る第２入力ポートに通信可能におよび／または電子的に接続／結合されていてもよい。
【0025】
電磁センサユニットは、車両の周囲を２次元または３次元で判定することができるセンサを含んでもよい。電磁センサユニットは、車両の周囲を感知および／または探査するために、光学（可視）波長範囲および／または無線周波波長範囲（ＲＦ）などの様々な波長範囲の電磁放射を使用してもよい。電磁センサユニットは、単一の波長範囲または複数の波長範囲の電磁放射を検出および／または放出するように構成されてもよい。電磁センサユニットは、電磁放射を検出および／または放出するためのセンサユニットであってもよい。電磁センサユニットは、電磁放射センサユニットとみなされてもよい。
【0026】
例えば、電磁センサユニットは、モノカメラおよび／またはステレオカメラ、すなわち、車両の周囲のステレオ画像を得るために互いに間隔を空けた２つのカメラを含んでもよい。カメラは、スチルカメラおよび／またはビデオカメラであってもよい。カメラは、例えば、回転および／または傾斜プラットフォームにカメラを取り付けることによって、機械的に移動可能であってもよい。
【0027】
しかしながら、電磁放射を使用する他の撮像または走査技術が使用されてもよく、ひいては電磁センサユニットの一部を形成してもよい。光学検知装置は、代替的にまたは追加的に、レーダ装置および／または光検出・測距（ＬｉＤＡＲ）装置を含んでもよい。ＬｉＤＡＲ装置は、レーザを使用して車両の周囲の物体を感知し得る。ＬｉＤＡＲ装置は、他のシステム構成要素の中でも特に、１つ以上のレーザ源、レーザスキャナ、および１つ以上の検出器を含むことができる。レーダ装置は、車両のローカル環境内の物体を感知するために無線信号を利用するシステムとすることができる。いくつかの実施形態では、レーダユニットは、物体を感知することに加えて、道路上の他の車両などの他の物体の速度および／または進行方向をさらに感知し得る。
【0028】
電磁センサユニットは、電磁センサユニットを使用して車両の周囲の変化を検出できるように、車両の周囲を連続的にまたは周期的に感知／探査するように構成されている。例えば、電磁センサユニットは、車両の周囲の第２画像と、後の時点で、車両の周囲の第１画像とを撮像するように構成されている。第１画像および第２画像は、第１画像と第２画像との間の差が車両の動きに起因するように、車両に対して同じ方位および位置を有し得る。好ましくは、第１画像および第２画像の連続ストリームが生成される。第１画像と第２画像との間の時間差は、ミリ秒範囲内であってよい。
【0029】
第１画像および第２画像は、それぞれ第１画像データおよび第２画像データとして電磁センサユニットによって出力される。第１および／または第２画像データは、ステレオカメラの左右のカメラからの画像データを含んでもよい。より一般的には、第１および／または第２画像データは、電磁センサユニットの単一または複数のセンサによって特定の時点で記録される全てのデータを含む。第１画像データは、第２画像データと比較して後に記録される画像データを指す。第１画像データは現在の画像データとみなすことができ、第２画像データは前の画像データとみなすことができる。
【0030】
第３入力ポートは、第１画像データおよび第２画像データを受信するための駆動装置のインターフェースであってもよい。第１画像データおよび第２画像データは、それぞれ第１画像および第２画像を生成することができるデータである。例えば、第１画像データおよび第２画像データは、第１画像および第２画像をそれぞれ第１画像データおよび第２画像データから再生することができるように、第１画像および第２画像の画素に関連付けることができるデータポイントの集積である。
【0031】
ビジュアルオドメトリ部は、第１入力ポート、第２入力ポート、および第３入力ポートを介して、慣性関連データ、位置関連データ、第１画像データ、および第２画像データを受信するように構成されている。ビジュアルオドメトリ部は、第１画像データおよび第２画像データを分析することによって、車両の推定姿勢を算出または計算するように構成されている。概して、第１画像（第１画像データによって表される）と第２画像（第２画像データによって表される）との間の差は、車両の姿勢を推定することができる車両の動きを示す。
【0032】
ビジュアルオドメトリ部は、第１画像データおよび第２画像データから、または、言い換えれば、第１画像および第２画像から、同一の特徴点を抽出するように構成することができる。特徴点（キーポイントとも呼ばれることがある）は、エッジ、コーナー、および／または交線などの画像内の特有の特徴および／または関心特徴に関連する。第１画像（またはステレオ画像の第１のペア画像）と第２画像（またはステレオ画像の第２のペア画像）との間の画像平面上の特徴点の並進は、車両の動きを示す。したがって、第１画像および第２画像からの画像平面上の特徴点の並進（方向および大きさ）を使用して、実世界における車両の動きの方向および／または速度を算出することができる。
【0033】
好ましくは、複数の特徴点が抽出され、車両の姿勢を算出するために使用される。姿勢は、車両の回転（ヨー）および並進（方向および／または距離）を含むことができ、これらは両方ともベクトルによって表すことができる。理論的には、複数の特徴点は全て、車両の同じ姿勢の判定をもたらすべきである。しかしながら、計測の不正確さおよび／またはアーチファクトにより、第１および第２特徴点のそれぞれのペアは、（わずかに）異なった姿勢をもたらし得る。加えて、ビジュアルオドメトリ部は、同じ実世界特徴を参照しない第１特徴点と第２特徴点とを関連付けてもよい。言い換えれば、特徴点の関連付けは、誤差を含むことができる。
【0034】
ビジュアルオドメトリ部は、明らかに誤った特徴点または特徴点の関連付け（例えば、それらが所定の閾値だけ平均値から逸脱する場合）を除去するために複数の推定姿勢の平均値を使用するように、および／または多数の計測点に基づいて実際の値を決定するための他の数学的または統計的手段を使用するように構成されてもよい。任意選択で、ビジュアルオドメトリ部は、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）を使用するように構成されてもよい。ＲＡＮＳＡＣは、関連付けられた特徴点またはキーポイントを使用して、以下のように姿勢を推定する。最初に、一定数の関連付けられたキーポイントをランダムに選択し、次に、相対姿勢を推定する。次に、この推定された姿勢を使用し、この推定された相対姿勢と一致する（インライア）キーポイント関連付けの数を判定する。この処理は、相対姿勢が最大数のインライアを有するある停止基準まで繰り返される。要約すると、ＲＡＮＳＡＣは、キーポイント関連付けの最大サブセットに基づいて、最も可能性の高い相対姿勢を決定するためのコンセンサスベースのアプローチである（最大サブセットを見つけることができると仮定し、最大サブセットが実際に正確な相対姿勢に対応する場合）。
【0035】
ビジュアルオドメトリ部は、第２画像データから第２特徴点（リアルワード特徴の画像）を抽出するように、かつ第１画像データ内の同一の特徴点（全く同じリアルワード特徴の画像）を探索するように構成することができ、この特徴点は第１特徴点に対応する。そして、ビジュアルオドメトリ部は、第２画像データおよび第１画像データにおいて識別された２つの特徴点の間の距離および／または方位を判定するように構成することができる。続いて、ビジュアルオドメトリ部は、画像データ内の距離および／または方位と車両の動きとの間の事前に記憶された関係に基づいて、車両の動きを判定するように構成することができる。言い換えれば、第２画像データおよび第１画像データにおいて識別された２つの特徴点の間の画像平面上の距離および／または方位は、電磁センサユニット（または車両）が移動したことを推測する（対応する実世界の物体が固定されていると仮定する）。相対姿勢（すなわち、電磁センサユニットまたは車両の動き）を計算するために、幾何学的アプローチ（例えば、Perspective-n-Point（Pnp）アルゴリズム）および最適化アプローチ（再投影誤差を最小化する）を用いることができる。これらの両方の場合において、画像データにおける対応する２Ｄ特徴の３Ｄリアルワード位置を処理することができ、ここで、第１／第２の３Ｄ点が投影され、第２／第１特徴点と比較される。
【0036】
ビジュアルオドメトリ部は、（位置特定ユニットによって判定された）車両の最新の既知の位置に基づいて車両の姿勢を判定するように、かつ／または推定姿勢と位置特定ユニットから受信した姿勢推定ベースのデータとを比較するように構成することができる。
【0037】
位置特定ユニットは、車両の現在位置を判定するための衛星トランシーバ（例えば、全地球測位システム（ＧＰＳ）トランシーバ）であってもよい。車両の現在位置は、位置特定装置によって車両の位置特定データとして処理および／または出力される。したがって、位置特定データに基づいて車両の現在位置を判定することができる。位置特定ユニットは、例えば駆動装置の第４入力ポートを介して、ビジュアルオドメトリ部に通信可能におよび／または電子的に接続／結合されてもよい。
【0038】
ビジュアルオドメトリ部は、自律車両のためのディープラーニングソリューション（例えば、畳み込みニューラルネットワーク（ＣＮＮ）などのディープニューラルネットワーク（ＤＮＮ）を使用する）を含んでもよい。ニューラルネットワークまたは人工知能（ＡＩ）は、特徴点、車両の動き、および／または車両の推定姿勢を判定するために使用される。代替的にまたは追加的に、ビジュアルオドメトリ部は、アルゴリズムを使用してこれらのパラメータを計算／算出するように構成されてもよい。
【0039】
ビジュアルオドメトリ部は、推定姿勢を算出／計算するときに、慣性関連データおよび位置関連データを使用する。例えば、慣性関連データおよび／または位置関連データを使用して車両の推定姿勢および／または推定された動きを検証／確認してもよい。したがって、推定姿勢の精度および／または信頼性を高めることができる。
【0040】
制御部は、車両を自律的または半自律的に運転するための公知の制御部によって実装することができるので、本発明に必須ではない。本発明は、制御部が動作するために基づく推定姿勢を提供することにあるとみなすことができる。
【0041】
制御部は、推定姿勢を受信するために、ビジュアルオドメトリ部に電子的におよび／または通信可能に接続または結合される。制御部は、上述のコンピュータの一部または機能ユニットであってもよい。制御部は、走行可能な道路上で車両を運転するためのステアリング装置、スロットル装置（加速装置ともいう）、およびブレーキ装置を制御するための信号を生成するように構成される。ステアリング装置、スロットル装置、およびブレーキ装置は、車両をナビゲートするための制御装置の一部であってもよい。
【0042】
ステアリング装置は、車両の向きまたは進行方向を調整するための車両の一部とすることができる。スロットル装置もまた、モータまたはエンジンの速度を制御し、ひいては車両の速度および加速度を制御するための車両の一部であってよい。ブレーキ装置は、車両の車輪またはタイヤの速度を緩めるための摩擦を提供することによって車両を減速させるための車両の一部とすることができる。ステアリング装置、スロットル装置、および／または破断装置は、制御部によって出力される信号に基づいて制御されてもよい。
【0043】
制御部は、推定姿勢の情報に基づいて車両をナビゲートするためのアルゴリズムを実行してもよいし、かつ／またはそのようなニューラルネットワーク（ＡＩ）を含んでもよい。
【0044】
駆動装置は車両の一部であってもよく、それぞれ第１入力ポート、第２入力ポート、および第３入力ポートによって、慣性計測ユニット、ホイールオドメトリユニット、および電磁センサユニットに電子的におよび／または通信可能に接続される、または結合される。言い換えると、慣性計測ユニットは、第１入力ポートを介して駆動装置に入力される慣性関連データを出力し、ホイールオドメトリ部は、第２入力ポートを介して駆動装置に入力される位置関連データを出力し、電磁センサは、第３入力ポートを介して駆動装置に入力される画像データを出力する。
【0045】
任意選択の実施形態において、前記ビジュアルオドメトリ部は、前記第１特徴点および前記第２特徴点を生成し、前記第１特徴点と前記第２特徴点とを関連付けるように構成された特徴生成および関連付け部を含み、任意選択で、前記ビジュアルオドメトリ部は、前記慣性関連データおよび前記位置関連データに基づいて計算された回転データおよび並進データを使用することで前記第２特徴点から第１投影特徴点を投影するように構成され、かつ前記第１特徴点と前記第１投影特徴点との間の画素距離を算出して、前記第１特徴点と前記第２特徴点との関連付けの確実性を評価するように構成された特徴点除去部をさらに含む。
【0046】
上述した第１特徴点および第２特徴点の識別は、上述したコンピュータの一部または機能ユニットであり得る特徴生成および関連付け部によって実行されてもよい。詳細には、特徴生成および関連付け部は、第１画像データおよび第２画像データの両方において最も近い実世界特徴および／または全く同じ実世界特徴を識別し、第１画像データおよび第２画像データにおける第１特徴点および第２特徴点を、それぞれ、同じ実世界特徴を参照するという点で関連付けるように構成されている。
【0047】
特徴生成および関連付け部は、第１特徴点と第２特徴点との間の画素距離を算出するように構成されてもよい。画素距離とは、第１画像の第１特徴点の位置から、第２画像の対応する画素位置における第２特徴点の位置までの画素の距離である。画素距離は、第１特徴点と第２特徴点との関連付けを評価するために使用される。
【0048】
特徴点除去部は、上述したコンピュータの一部または機能ユニットとすることができる。特徴点除去部は、対応する第２特徴点、慣性関連データ、および位置関連データに基づいて、第１投影特徴点を算出／計算するように構成されてもよい。特徴点除去部は、慣性関連データおよび位置関連データに基づいて第２画像データが生成された時点と第１画像データが生成された時点との間の車両の動きを算出／計算するように構成されてもよい。両方のタイプのデータは車両の動きを示しており、これらの２つのタイプのデータに基づいて車両の動きを判定することができる。車両の動きは、並進（並進データによって表される）および／または回転／ヨー（回転データによって表される）で表すことができる。
【0049】
特徴点除去部は、車両の動きを画素距離に変換するように、かつ画素距離を第２特徴点に加算して投影された第１特徴点を取得するように構成することができる。
特徴点除去部は、車両の動き、対応する画素距離、および／または投影された第１特徴点を算出／計算するためのアルゴリズムを実行してもよく、かつ／またはそのようなニューラルネットワーク（ＡＩ）を含んでもよい。
特徴点除去部は、車両の動き、対応する画素距離、および／または投影された第１特徴点を算出／計算するためのアルゴリズムを実行してもよく、かつ／またはそのようなニューラルネットワーク（ＡＩ）を含んでもよい。
【0050】
【0051】
【0052】
カメラ投影行列Ｋは、車両に固有であってもよく、画像データ内の特徴の既知の位置および対応する実世界特徴の既知の位置を使用して投影を算出することによって決定することができる。電磁センサユニットの座標系が車両の座標系と異なる場合、これらの２つの座標系の間の変換が（例えば、さらなる変換行列を使用して）上記の式に追加される必要がある。
特徴点除去部は、第１特徴点と第２特徴点との間の関連付けが車両の真の姿勢を反映しているかどうかの信頼度を確立するために、第１特徴点と第１投影特徴点との間の画素距離を算出してもよい。したがって、第１特徴点と第１投影特徴点との間の画素距離は、第１特徴点と第２特徴点との間の関連付けが正しかったかどうか、すなわち、第１特徴点と第２特徴点とが同じ実世界特徴を参照しているかどうかを評価するために使用することができる。
特徴点除去部は、第１特徴点と第２特徴点との間の関連付けが車両の真の姿勢を反映しているかどうかの信頼度を確立するために、第１特徴点と第１投影特徴点との間の画素距離を算出してもよい。したがって、第１特徴点と第１投影特徴点との間の画素距離は、第１特徴点と第２特徴点との間の関連付けが正しかったかどうか、すなわち、第１特徴点と第２特徴点とが同じ実世界特徴を参照しているかどうかを評価するために使用することができる。
【0053】
例えば、特徴点除去部は、第１特徴点と投影された第１特徴点との間の画素距離が、第１特徴点と第２特徴点との間の関連付けが車両の真の姿勢を反映していることを示すかどうかを評価するために、統計的方法を用いてもよい。任意選択で、特徴点除去部は、第１特徴点と投影された第１特徴点との間の画素距離が全ての第１特徴点と投影された第１特徴点との間の全ての画素距離の統計的分布の分散よりも大きい場合、第１特徴点を除去する。
【0054】
特徴点除去部は、第１特徴点と第２特徴点との関連付けの確実性を判定してもよい。この確実性は、第１特徴点と第２特徴点との関連付けに基づいて算出された推定姿勢が真の姿勢を反映している可能性がどれだけ高いかという信頼度を割り当てることを含んでもよい。例えば、確実性は、画素距離の（数学的）関数である信頼度である。確実性または信頼度は、画素距離が小さいほど高くなり得る。確実性は、推定姿勢の算出において、第１特徴点と第２特徴点との特定の関連付けを重み付けするために使用されてもよい。
【0055】
確実性または信頼度は、第１特徴点と第２特徴点との関連付けを受け入れる、または除去するために使用されてもよい。例えば、確実性が（所定の）閾値を下回る場合、関連付けは除去され、そうでない場合は受け入れられる。
【0056】
任意選択の実施形態において、前記特徴点除去部は、前記画素距離が所定値よりも大きい場合、前記第１特徴点と前記第２特徴点との前記関連付けを除去するように構成されている。
【0057】
この任意選択の実施形態では、画素距離自体が、第１特徴点と第２特徴点との関連付けを受け入れるか除去するかを決定する尺度である。言い換えれば、確実性は、画素距離に直接関係している。
【0058】
除去されていない第１特徴点と対応する第２特徴点との関連付けは、対応する第２特徴点と併せて推定姿勢を算出／計算するために使用される。関連付けの除去は、第１特徴点および第２特徴点の両方、第１特徴点のみ、または第２特徴点のみが除去されることを含み得る。
【0059】
特徴点除去部は、第１特徴点と投影された第１特徴点との間のユークリッド距離を算出してもよい。所定値は固定値であってもよいし、予想並進ｔＷＯおよび／または予想回転ＲＩＭＵなどのパラメータに基づいて設定されてもよい。例えば、所定値と予想並進ｔＷＯおよび／または予想回転ＲＩＭＵとの間に線形関係または他の形式の関係があってもよい。
【0060】
第１特徴点が除去された場合、第１特徴点および第２特徴点のペアは、推定姿勢を算出するために使用されなくてもよい。所定の閾値要件を満たす第１特徴点および第２特徴点の他のペアが、推定姿勢を算出するために使用されてもよい。
【0061】
これは、第１特徴点と第２特徴点のペアにおける外れ値を除去するための方法である。したがって、第１特徴点および第２特徴点の除去されないペアは、車両の姿勢のより正確かつより信頼性の高い予測を提供する。特に、外れ値を除去するためのこの方法は、電磁センサユニットの近距離場および遠距離場、すなわち、電磁センサユニットの近くおよび遠くにある実世界の物体に対して機能する。
【0062】
任意選択の実施形態において、前記ビジュアルオドメトリ部は、前記第１特徴点と前記第２特徴点との間の深度における物理的距離と、深度における予想物理的距離とを比較するように構成された世界点除去部をさらに含み、任意選択で、前記予想物理的距離は、前記ホイールオドメトリユニットからの前記位置関連データに基づいて算出される。
【0063】
世界点除去部は、上述のコンピュータの一部または機能ユニットであってもよい。物理的距離とは、実世界距離、すなわち、実世界で測定することができる距離を指す。これは、電磁センサユニットによって生成される画像または画像データにおいて測定することができる距離である画素距離とは対照的である。深度は、世界点ベクトルのｚ座標、すなわち、実世界における２つの点を接続するベクトルに対応し得る。ｚ座標は、車両の前方、すなわち、車両が直進している場合は運転方向を指す車両の座標系における座標であってもよい。上述のように、深度は、車両が直進する場合、すなわち、車両の回転がゼロである場合、車両の並進ｔＷＯと平行してもよい。
【0064】
カメラ座標フレーム、または通常、電磁センサユニットの座標フレームは、車両座標フレームに対して任意に配置することができる。一例として、カメラは、車両の後ろを見て、または側面を見て配置され得る。加えて、電磁センサユニットの座標系は、車両の座標系に対して角度を付けることができる。カメラ座標フレーム（または電磁センサユニットのフレーム）の車両座標フレームへの変換が必要とされ得る。
【0065】
車両座標系におけるｘ座標は、垂直方向に延びていてもよく、車両座標系におけるｙ座標は、垂直方向に、例えば、ｚ方向を見た場合に右に延びていてもよい。
【0066】
本実施形態では、電磁センサユニットは、撮像された周囲の深度を判定することができる１つのセンサまたは複数のセンサを含む必要がある。これは、例えば三角測量法を使用して深度を算出するために必要となる。ステレオカメラは、三角測量法を使用して設定された深度を算出するために使用されてもよい。代替的に、深度は、ＬｉＤＡＲ測定値から、または深度を計算するために複数のカメラを使用することによって、直接導出可能であり得る。
【0067】
世界点除去部は、第１特徴点と第２特徴点との関連付けを物理的距離に変換するように構成されてもよい。世界点除去部は、画像座標系における第２特徴点に対する第１特徴点の並進に関する情報を物理的距離に変換することができるアルゴリズムまたはニューラルネットワーク（ＡＩ）を含んでいてもよい。代替的にまたは追加的に、特徴点投影部は、第１特徴点および第２特徴点の画素位置（すなわち、第１画像データおよび第２画像データにおける第１特徴点および第２特徴点の位置）を、例えば車両または電磁センサユニット（例えば、カメラまたは他のセンサ）の座標系などの実世界における対応する位置に変換するように構成されてもよい。この目的のために、世界点除去部は、カメラ投影行列Ｋの逆行列を使用してもよい。世界点除去部は、画素位置を実世界の位置に変換することができるアルゴリズムまたはニューラルネットワーク（ＡＩ）を含んでもよい。世界点除去部は、そして、算出された実世界の位置から実世界距離または物理的距離を算出または計算してもよい。最後に、世界点除去部は、算出された物理的距離または物理的並進から深度における物理的距離（または物理的距離のｚ成分）を算出してもよい。
【0068】
予想物理的距離は、ホイールオドメトリユニットからの位置関連データを使用して算出されてもよい。世界点除去部は、位置関連データから予想物理的距離を算出／計算することができるアルゴリズムおよび／またはニューラルネットワーク（ＡＩ）を含んでもよい。最後に、世界点除去部は、算出された予想物理的距離、または予想並進もしくは物理的並進から、深度における予想物理的距離（または予想物理的距離のｚ成分）を算出してもよい。
【0069】
深度における物理的距離と深度における予想物理的距離との間の比較は、第１特徴点および第２特徴点の過去の外れ値を除去するために使用することができる。第１特徴点および第２特徴点の残りのペアまたは除去されなかったペアは、推定姿勢を算出または計算するために使用される。外れ値が除去されるので、推定姿勢はより正確であり、および／またはより信頼性が高い。アウトライナーを除去するこの方法は、電磁センサユニットの近距離場において特に正確である。
【0070】
任意選択の実施形態において、前記世界点除去部は、前記予想物理的距離の上限および前記予想物理的距離の下限を算出し、前記深度における物理的距離が前記予想物理的距離の前記上限と前記予想物理的距離の前記下限との間にある場合、前記第１特徴点と前記第２特徴点との前記関連付けを受け入れるように構成されている。
【0071】
世界点除去部は、上限および／または下限を算出／計算することができるアルゴリズムおよび／またはニューラルネットワーク（ＡＩ）を含んでもよい。上限および／または下限は、固定値または所定値であってもよい。代替的に、上限および／または下限は可変であってもよく、並進ｔＷＯおよび／または回転ＲＩＭＵなどの他のパラメータに依存させることができる。好ましくは、上限および／または下限は、例えば上述のように位置関連データに基づいて算出され得る並進ｔＷＯのみに依存する。
【0072】
下限および／または上限は、並進ｔＷＯおよび／または回転ＲＩＭＵの関数であってもよく、好ましくは並進ｔＷＯのみの関数である。関数は、線形二次関数または下限および／または上限を並進ｔＷＯおよび／または回転ＲＩＭＵにリンクさせる他の形式の関数であってもよい。
【0073】
深度における物理的距離が上限および下限によって設定される境界内にある場合、物理的距離は、実際の物理的距離を正確におよび／または確実に表すことが予想される。この方法では、予想物理的距離を使用して、深度における物理的距離の精度を評価するために使用される上限および下限を決定する。深度における物理的距離が正確であるとみなされる場合、第１特徴点および第２特徴点の対応するペアが推定姿勢を算出するために使用される。
【0074】
【0075】
任意選択の実施形態では、推定姿勢は、推定回転および推定並進を含み、任意選択で、ビジュアルオドメトリ部は、慣性計測ユニットからの慣性関連データおよびホイールオドメトリユニットからの位置関連データに基づいて算出される予想回転および予想並進を生成するように、かつ予想回転および予想並進に基づいて推定回転および推定並進を評価するように構成された決定規則部を含む。
【0076】
推定姿勢は、上述のように算出されてもよく、すなわち、第１特徴点および第２特徴点のペアにおける外れ値は除去することができ、推定姿勢を算出するために使用されない。しかしながら、推定姿勢を算出するために第１特徴点および第２特徴点の全てのペアを使用することも可能である。
【0077】
本実施形態では、最終的な推定姿勢が予想姿勢を考慮して評価される。上述の実施形態では、最終的な推定姿勢を判定するために、第１特徴点および第２特徴点のペアが評価される。これは、上述の実施形態がデータの選択に関するものであるのに対し、本実施形態が最終的な推定姿勢の評価に関連するものであることを意味する。
【0078】
ビジュアルオドメトリ部は、予想回転および／または予想並進を算出するように構成されてもよい。推定回転および／または推定並進は、慣性関連データおよび位置関連データの両方を使用して算出または計算されてもよい。しかしながら、予想回転が慣性関連データのみに基づいて算出または計算され、および／または予想並進が位置関連データのみに基づいて算出または計算されることも可能である。この目的のために、ビジュアルオドメトリ部は、慣性関連データおよび／または位置関連データに基づいて、予想回転および／または予想並進を判定することができるアルゴリズムを実行してもよく、および／またはそのようなニューラルネットワーク（ＡＩ）を含んでもよい。
【0079】
決定規則部は、予想姿勢に基づいて推定姿勢を評価するように構成されてもよい。代替的に、決定規則部は、予想並進に基づいて推定並進を、および／または予想回転に基づいて推定回転を評価するように構成されてもよい。決定規則部は、推定姿勢の評価のために、統計的方法または任意の他の方法を使用してもよい。評価は、予想姿勢、予想並進、および／または予想回転を考慮した、推定姿勢、推定並進、および／または推定回転の除去または補正を包含することができる。代替的に、評価は、例えば推定姿勢がどのくらい真であると考えられるかを示す統計値を推定姿勢に関連付けることによって、推定姿勢の精度を評価することを含んでもよい。
【0080】
任意選択の実施形態において、前記予想並進は、前記予想並進の上限と前記予想並進の下限とを含み、任意選択で、前記予想回転は、前記予想回転の上限と前記予想回転の下限とを含み、さらに任意選択で、前記決定規則部は、前記車両が直線道路上にある場合に前記推定並進が前記予想並進の前記上限と前記下限との間にある場合、前記推定姿勢を受け入れるように構成されている、または、前記車両が曲線道路上にある場合に前記推定並進が前記予想並進の前記上限と前記下限との間にあり、前記推定回転が前記予想回転の前記上限と前記下限との間にある場合、前記推定姿勢を受け入れるように構成されている。
【0081】
予想並進の上限および／または予想並進の下限は、固定値または所定値であってもよい。代替的に、予想並進の上限および／または予想並進の下限は、予想並進および／または予想回転の関数とすることができる。同様に、予想回転の上限および／または予想回転の下限は、予想並進および／または予想回転の関数とすることができる。好ましくは、予想並進の上限および／または予想並進の下限は予想並進の関数であり、かつ／または予想回転の上限および／または予想回転の下限は予想回転の関数である。上限／下限と予想並進／回転との間の関数の代わりに、テーブルなどの他のタイプの関係を用いてもよい。
【0082】
車両が直線で走行している場合、車両が直線道路を走行していることが検出され、および／または操舵角がゼロに等しいことが検出され、回転が存在しないと仮定される。この場合、決定規則部は、並進のみを参照する。言い換えれば、決定規則部は、推定並進が予想並進の上限と下限との間であるか否かなど、予想並進を考慮して推定姿勢を評価するのみである。
【0083】
車両が直線で走行していない場合、車両が曲線道路を走行していることが検出され、および／または操舵角がゼロに等しくないことが検出され、回転が存在すると仮定される。この場合、決定規則部は、並進および回転の両方を参照する。言い換えれば、決定規則部は、予想並進および予想回転の両方を考慮して、推定姿勢を評価する。例えば、決定規則部は、推定並進が予想並進の上限と下限との間にあるか否か、および推定回転が予想回転の上限と下限との間にあるか否かの両方を評価する。
【0084】
これらの条件が満たされる場合、規則決定部は、推定姿勢を受け入れ、推定姿勢は車両をナビゲートするために使用できるようになる。受け入れられた推定姿勢は、駆動装置に転送されてもよい。しかしながら、これらの条件が満たされない場合、規則決定部は、推定姿勢を除去する。
【0085】
電磁センサユニットが異なるタイプのセンサを含む場合、推定姿勢を評価するための上述の方法は、これらの異なるタイプのセンサ全てに拡張され得る。このことは、推定姿勢が第１のタイプのセンサ（例えば、ステレオカメラ）、第２のタイプのセンサ（例えば、ＬｉＤＡＲ装置）、および／または第３のタイプのセンサ（例えば、レーダ装置）によって生成された画像データに基づいて算出され得ることを意味する。したがって、上記で説明したように、予想姿勢を考慮して様々な推定姿勢が算出および評価され得る。上述の評価プロセスで受け入れられた様々な推定姿勢は、単一の推定姿勢を達成するために結合されてもよい。様々な推定姿勢の結合は、拡張されたカルマンフィルタリングの融合モジュールを使用して行われてもよい。線形二次推定（ＬＱＥ）としても知られているカルマンフィルタリングは、統計および制御理論における異なる数値を結合するための公知のフィルタリング技術である。
【0086】
自動モードおよび／または運転支援モードで車両を運転するためのコンピュータ実装された方法は、以下のステップを備える。
ａ）慣性関連データを慣性計測ユニットによって出力するステップ、
ｂ）位置関連データをホイールオドメトリユニットによって出力するステップ、
ｃ）第１画像データおよび第２画像データを電磁センサユニットによって出力するステップであって、前記第２画像データは前記第１画像データの前の画像データであるステップ、および
ｄ）ビジュアルオドメトリ部によって、前記慣性関連データと、前記位置関連データと、前記第１画像データと、前記第２画像データとを受信し、前記第１画像データから抽出された第１特徴点と前記第２画像データから抽出された第２特徴点とを関連付け、前記慣性計測ユニットからの前記慣性関連データおよびホイールオドメトリからの前記位置関連データに基づいて、前記第１特徴点と前記第２特徴点との前記関連付けを評価することによって計算された前記車両の推定姿勢を出力するステップ。
ａ）慣性関連データを慣性計測ユニットによって出力するステップ、
ｂ）位置関連データをホイールオドメトリユニットによって出力するステップ、
ｃ）第１画像データおよび第２画像データを電磁センサユニットによって出力するステップであって、前記第２画像データは前記第１画像データの前の画像データであるステップ、および
ｄ）ビジュアルオドメトリ部によって、前記慣性関連データと、前記位置関連データと、前記第１画像データと、前記第２画像データとを受信し、前記第１画像データから抽出された第１特徴点と前記第２画像データから抽出された第２特徴点とを関連付け、前記慣性計測ユニットからの前記慣性関連データおよびホイールオドメトリからの前記位置関連データに基づいて、前記第１特徴点と前記第２特徴点との前記関連付けを評価することによって計算された前記車両の推定姿勢を出力するステップ。
【0087】
任意選択で、方法は、制御部によって、前記推定姿勢に基づいて、自動運転モードおよび／または支援運転モードで前記車両を運転するステップを追加的に含んでもよい。
【0088】
駆動装置および車両に関する上記のコメント、注釈、および任意選択の実施形態は、自動モードおよび／または運転支援モードで車両を運転するためのコンピュータ実装された方法にも同様に適用される。本方法は、走行可能道路検出部、画像ベース走行可能道路検出部、融合部、および／または制御部の機能を実行するコンピュータによって実行されてもよい。
【0089】
車両の自動運転および／または支援運転のための駆動装置は、第１入力ポートと、第２入力ポートと、第３入力ポートと、ビジュアルオドメトリ部と、を備える。第１入力ポートは、慣性計測ユニットによって測定された慣性関連データを受信するように構成されている。第２入力ポートは、ホイールオドメトリユニットによって測定された位置関連データを受信するように構成されている。第３入力ポートは、電磁センサユニットによる第１画像データ（または第１画像データのセット）および第２画像データ（または第１画像データのセット）を受信するように構成され、前記第２画像データは前記第１画像データの前の画像データである。ビジュアルオドメトリ部は、前記慣性関連データと、前記位置関連データと、前記第１画像データと、前記第２画像データとを受信するように構成され、かつ前記慣性関連データおよび前記位置関連データに基づいて算出された前記車両の推定姿勢を出力するように構成され、前記推定姿勢が推定回転および推定並進を含む。前記ビジュアルオドメトリ部は、前記慣性計測ユニットからの前記慣性データおよび前記ホイールオドメトリユニットからの前記位置関連データに基づいて算出される予想回転および予想並進を作成し、前記予想回転および前記予想並進に基づいて前記推定回転および前記推定並進を評価するように構成された決定規則部を含む。
【0090】
任意選択で、駆動装置は、前記推定姿勢に基づいて、自動運転および／または支援運転のための駆動信号を生成するように構成された制御部を含んでもよい。
【0091】
駆動装置および車両に関する上記のコメント、注釈、および任意選択の実施形態は、特に決定規則部に同様に適用される。
【0092】
車両は、慣性関連データを出力するように構成された慣性計測ユニットと、位置関連データを出力するように構成されたホイールオドメトリユニットと、第１画像データおよび前記第１画像データの前の画像データである第２画像データを出力するように構成された電磁センサユニットと、ビジュアルオドメトリ部とを備える。ビジュアルオドメトリ部は、前記慣性関連データと、前記位置関連データと、前記第１画像データと、前記第２画像データとを受信するように構成され、かつ前記慣性関連データおよび前記位置関連データに基づいて算出された前記車両の推定姿勢を出力するように構成され、前記推定姿勢が推定回転および推定並進を含む。前記ビジュアルオドメトリ部は、前記慣性計測ユニットからの前記慣性データおよび前記ホイールオドメトリユニットからの前記位置関連データに基づいて算出される予想回転および予想並進を作成し、前記予想回転および前記予想並進に基づいて前記推定回転および前記推定並進を評価するように構成された決定規則部を含む。
【0093】
任意選択で、車両は、前記推定姿勢に基づいて、自動運転モードおよび／または支援運転モードで前記車両を運転するように構成された制御部を含んでもよい。
【0094】
任意選択の実施形態において、前記予想並進は、前記予想並進の上限と前記予想並進の下限とを含み、任意選択で、前記予想回転は、前記予想回転の上限と前記予想回転の下限とを含み、さらに任意選択で、前記決定規則部は、前記車両が直線道路上にある場合に前記推定並進が前記予想並進の前記上限と前記下限との間にある場合、前記推定姿勢を受け入れるように構成されている、または、前記車両が曲線道路上にある場合に前記推定並進が前記予想並進の前記上限と前記下限との間にあり、前記推定回転が前記予想回転の前記上限と前記下限との間にある場合、前記推定姿勢を受け入れるように構成されている。
【0095】
自動モードおよび／または運転支援モードで車両を運転するためのコンピュータ実装された方法は、以下のステップを備える。
ａ）慣性関連データを慣性計測ユニットによって出力するステップ、
ｂ）位置関連データをホイールオドメトリユニットによって出力するステップ、
ｃ）第１画像データおよび第２画像データを電磁センサユニットによって出力するステップであって、前記第２画像データは前記第１画像データの前の画像データであるステップ、および
ｄ）ビジュアルオドメトリ部によって、前記慣性関連データと、前記位置関連データと、前記第１画像データと、前記第２画像データとを受信し、前記慣性関連データおよび前記位置関連データに基づいて算出された前記車両の推定姿勢を出力するステップであって、前記推定姿勢が推定回転および推定並進を含むステップ。
前記推定姿勢を出力するステップは、決定規則部によって、前記慣性計測ユニットからの前記慣性データおよび前記ホイールオドメトリユニットからの前記位置関連データに基づいて算出される予想回転および予想並進を作成し、前記予想回転および前記予想並進に基づいて前記推定回転および前記推定並進を評価することを含む。
ａ）慣性関連データを慣性計測ユニットによって出力するステップ、
ｂ）位置関連データをホイールオドメトリユニットによって出力するステップ、
ｃ）第１画像データおよび第２画像データを電磁センサユニットによって出力するステップであって、前記第２画像データは前記第１画像データの前の画像データであるステップ、および
ｄ）ビジュアルオドメトリ部によって、前記慣性関連データと、前記位置関連データと、前記第１画像データと、前記第２画像データとを受信し、前記慣性関連データおよび前記位置関連データに基づいて算出された前記車両の推定姿勢を出力するステップであって、前記推定姿勢が推定回転および推定並進を含むステップ。
前記推定姿勢を出力するステップは、決定規則部によって、前記慣性計測ユニットからの前記慣性データおよび前記ホイールオドメトリユニットからの前記位置関連データに基づいて算出される予想回転および予想並進を作成し、前記予想回転および前記予想並進に基づいて前記推定回転および前記推定並進を評価することを含む。
【0096】
任意選択で、方法は、制御部によって、前記推定姿勢に基づいて、自動運転モードおよび／または支援運転モードで前記車両を運転するステップを追加的に含む。
【0097】
本発明はさらに、プログラムがコンピュータによって実行されると、コンピュータに上述の方法のステップを実行させる命令を含むコンピュータプログラムに関する。
【0098】
本発明はまた、コンピュータによって実行されると、コンピュータに上述の方法のステップを実行させる命令を含むコンピュータ可読記憶媒体に関する。
【0099】
本発明の任意選択の実施形態を、添付の図面と併せて説明する。
【図面の簡単な説明】
【0100】
【発明を実施するための形態】
【0101】
図１は、任意の種類の自走式自動車とすることができ、好ましくは道路上を走行するように構成された車両１０を示す。例えば、車両１０は、車両１０の車輪を駆動するためのエンジンおよび／または電気モータを備える。
【0102】
車両１０は、電磁センサユニット２０、位置特定ユニット２２、制御装置２４、慣性計測ユニット２６、ホイールオドメトリユニット２８、および／または駆動装置３０を含む。電磁センサユニット２０、位置特定ユニット２２、制御装置２４、慣性計測ユニット２６、ホイールオドメトリユニット２８、および／または駆動装置３０は、データまたは他のタイプの情報を交換するために、通信可能におよび／または電子的に互いに接続されている。
【0103】
電磁センサユニット２０は、１つ以上のカメラ、ＬｉＤＡＲ装置、および／またはレーダ装置を含んでもよい。カメラは、任意選択で、ステレオカメラであってもよい。電磁センサユニット２０は、車両１０の周囲を撮像することができる。特に、電磁センサユニット２０は、車両１０の周囲の３Ｄ表現を提供するように構成されている。
【0104】
電磁センサユニット２０は、車両１０の周囲の表現を画像データとして出力する。電磁センサユニット２０は、任意選択で、車両１０の周囲を周期的におよび／または連続的に撮像するように構成される。したがって、電磁センサユニット２０は、それぞれの画像データが別の時点で撮影された複数の画像データを出力するように構成される。第１画像データは、第２画像データと比較して後の時点で撮影されてもよい。電磁センサユニット２０は、車両１０の座標系において周囲の同じ（角度の）部分を撮像するように構成される。電磁センサユニット２０は、車両１０上に静的に配置されてもよい。
【0105】
位置特定ユニット２２は、車両１０の位置を判定するための装置であってもよい。位置特定ユニット２２は、ＧＰＳ（全地球測位システム）トランシーバとすることができる。位置特定ユニット２２は、車両１０の位置を位置特定データとして出力するように構成される。
【0106】
制御装置２４は、車両１０を運転またはナビゲートするために制御することができる車両１０の構成要素を含む。制御装置２４は、車両１０を走行可能な道路上で走行させるためのステアリング装置、スロットル装置（加速装置ともいう）、およびブレーキ装置を含んでもよい。
【0107】
ステアリング装置は、車両１０の向きまたは進行方向を調整するための車両１０の一部とすることができる。スロットル装置もまた、モータまたはエンジンの速度を制御し、ひいては車両１０の速度および加速度を制御するための車両１０の一部であってよい。ブレーキ装置は、車両１０の車輪またはタイヤの速度を緩めるための摩擦を提供することによって車両１０を減速させるための車両１０の一部とすることができる。ステアリング装置、スロットル装置、および破断装置は、制御部によって出力される信号に基づいて制御されてもよい。
【0108】
慣性計測ユニット２６は、加速度、回転（ヨー）、および／または速度変化など、慣性計測ユニット２６が受ける力を測定するための装置である。慣性計測ユニット２６は、車両１０に固定して取り付けられてもよい。その場合、慣性計測ユニット２６は、車両１０の加速度、回転（ヨー）、および／または速度変化を測定するように構成される。慣性計測ユニット２６は、測定値を慣性関連データとして出力する。
【0109】
慣性計測ユニット２６は、加速度計、ジャイロスコープ（ジャイロメータ）、および／または磁力計などの１つ以上のセンサを含んでもよい。慣性計測ユニット２６は、その測定値を使用して、車両１０の加速度、回転（ヨー）、および／または速度変化を判定することができるセンサを含む。ジャイロスコープは、微小電気機械システム（ＭＥＭＳ）のジャイロスコープを含んでもよい。
【0110】
ホイールオドメトリユニット２８は、車両１０が走行した距離、車両１０の速度、および／または車両１０の車輪の傾きなど、車両１０の動きを示すパラメータを測定するための装置である。ホイールオドメトリユニット２８は、車両１０の車輪の回転を判定するためのセンサ、車両１０の車輪の傾きを判定するためのセンサ、および／または車両１０のハンドルの位置を判定するためのセンサなど、１つ以上のセンサを含む。ホイールオドメトリユニット２８は、測定値を位置関連データとして出力する。
【0111】
駆動装置３０は、複数のプロセッサ（図示せず）と記憶装置３３とを含むコンピュータまたはコンピュータシステムとみなすことができる。駆動装置３０は、記憶装置３３に記憶され得る複数のアルゴリズムを実行するように構成されている。駆動装置３０によって処理される複数のアルゴリズムは、車両１０を自律的または半自律的にナビゲートすることを可能にする。駆動装置３０は、車両１０のオートパイロットおよび／または運転支援システムとみなされてもよい。
【0112】
この目的のために、駆動装置３０は、ビジュアルオドメトリ部３１および／または制御部３２に関連付けることができる様々な機能を実行することができる。これらの部品の各々は、車両１０の自律的または半自律的ナビゲーションを達成するためのアルゴリズムを実行する駆動装置３０の一部または機能ユニットとみなすことができる。したがって、部品３１および／または３２は、コンピュータソフトウェアの実装とみなすことができる。
【0113】
部品３１および／または３２のためのアルゴリズムは、記憶装置３３に記憶することができる。駆動装置３０は、第１入力ポート３４を介して慣性計測ユニット２６から慣性関連データを受信することができる。同様に、駆動装置３０は、第２入力ポート３５を介してホイールオドメトリユニット２８から位置関連データを受信することができる。駆動装置３０は、第３入力ポート３６を介して電磁センサユニット２０から画像データを受信することができる。加えて、駆動装置３０は、第４入力ポート（図示せず）を介して位置特定ユニット２２から位置特定データを受信することができる。
【0114】
第１入力ポート３４、第２入力ポート３５、および第３入力ポート３６は、それぞれ、慣性計測ユニット２６、ホイールオドメトリユニット２８、および電磁センサユニット２０と駆動装置３０との通信を可能にするインターフェースとみなすことができる。
【0115】
ビジュアルオドメトリ部３１は、特徴生成および関連付け部３１ａ、特徴点除去部３１ｂ、世界点除去部３１ｃ、および／または決定規則部３１ｄを含むことができる。これらの部品の各々は、ビジュアルオドメトリ部３１の一部または機能ユニットとみなすことができる。部品３１ａ、３１ｂ、３１ｃ、および／または３１ｄのためのアルゴリズムは、記憶装置３３に記憶することができる。
【0116】
特徴生成および関連付け部３１ａは、第１画像データおよび第２画像データを受信し、第１画像データ内の第１特徴点（または第１のキーポイント）および第２特徴データ内の第２特徴点（または第２のキーポイント）を識別または抽出する。これは、第２画像データ内の第２特徴点を識別または抽出し、続いて、第１画像データ内の同じ特徴点を探索することによって行うことができる。代替的に、特徴生成関連付け部３１ａは、第１画像データの特徴点および第２特徴データの特徴点を探索し、続いて、対応する特徴点、すなわち、同じ実世界特徴に対応する特徴点を関連付ける。好ましくは、特徴生成および関連付け部３１ａは、第１特徴点および第２特徴点の複数のペアを抽出する。特徴生成および関連付け部３１ａは、第１特徴点と第２特徴点とを関連付けるためのニューラルネットワーク（ＡＩ）または他のタイプのアルゴリズムを含んでもよい。
【0117】
車両１０の動きにより、第１特徴点は、第２特徴点と比較すると異なる画素位置にあり得る。この画素差は、車両１０の動きに対応する。したがって、ビジュアルオドメトリ部３１は、第１画像データおよび第２画像データから車両１０の動きおよび／または車両１０の姿勢を抽出することができる。例えば、ビジュアルオドメトリ部３１は、第１特徴点および第２特徴点の複数のペアの関連付けに基づいて推定姿勢を算出または計算するためのニューラルネットワーク（ＡＩ）または他のタイプのアルゴリズムを含む。特に、ビジュアルオドメトリ部３１は、車両１０の推定姿勢を形成する車両１０の推定並進および推定回転を算出または計算することができる。
【0118】
理論的には、第１特徴点および第２特徴点のペアごとの画像座標系における第２特徴点に対する第１特徴点の並進に関する情報が、車両１０の動きおよび／または車両１０の姿勢の同じ推定をもたらすであろう。実際には、車両１０の動きおよび／または車両１０の姿勢の推定は、第１特徴点および第２特徴点のペアごとに異なる。推定姿勢の精度および／または位置を高める１つの方法は、車両１０の実際の姿勢を示さない第１特徴点および第２特徴点のペアを除去することである。
【0119】
第１実施形態では、特徴点除去部３１ｂは、特徴点の画素位置と第２特徴点の画素位置との間の画素距離を算出する（逆の議論が第１特徴点についても機能するであろう）。例えば、画素位置は、第１特徴点および第２特徴点の画素位置に対応する画素座標を用いて算出される。このステップは、第１特徴点および第２特徴点のペアごとに繰り返される。
【0120】
特徴点除去部３１ｂは、慣性関連データおよび位置関連データを用いて、第２特徴点に基づいて第１投影特徴点を投影することもできる。慣性関連データおよび位置は、車両１０の回転を示す回転データおよび車両１０の並進を示す並進データを算出するために用いられる。この目的のために、特徴点除去部３１ｂは、慣性関連データおよび／または位置関連データから回転データおよび並進データを算出または計算することができるニューラルネットワーク（ＡＩ）または他のタイプのアルゴリズムを含んでもよい。例えば、関数および／またはテーブルは、回転データおよび並進データを慣性関連データおよび／または位置関連データにリンクさせる。
【0121】
回転データおよび並進データは、実世界座標系における車両１０の動きを表す。回転データおよび並進データは、それから、特徴点除去部３１ｂによって画像座標系に変換される。これは、ニューラルネットワーク（ＡＩ）または他のタイプのアルゴリズムによって行うことができる。例えば、カメラ投影行列Ｋを使用することができる。その結果、車両１０の動きは、画像内の特徴点の動きに変換される。言い換えると、車両１０の動きに対応する実世界距離／ベクトルは、画素距離／ベクトルに変換される。したがって、特徴点の動きを予測することができる。第２特徴点の予測は、第１投影特徴点をもたらす。
【0122】
【0123】
【0124】
電磁センサユニット２０の座標系が車両１０の座標系と異なる場合、これらの２つの座標系の間の変換が（例えば、さらなる変換行列を使用して）上記の式に追加される必要がある。
【0125】
【0126】
この画素距離が特定の閾値を上回る場合、関連付けられた第１特徴点および第２特徴点のペアは除去され、推定姿勢の算出に寄与しない。第１特徴点、第１投影特徴点における第１特徴点の間の画素距離が閾値を下回る、関連付けられた第１特徴点および第２特徴点のペアが、推定姿勢を算出するために使用される。したがって、この方法により、推定姿勢の算出から、車両１０の真の動きを表していない可能性が低い特徴点のペアを除外することが可能である。加えて、関連付けが正しくなかった、すなわち、第１特徴点および第２特徴点が同じ実世界特徴に関連していない第１特徴点および第２特徴点のペアを除去することが可能である。
【0127】
特徴点除去部３１ｂの機能は、図５のフロー図にも示されている。この方法は、画素距離を使用するので、画像の座標系において機能する。第１特徴点および第２特徴点の外れ値を除去するこの方法は、電磁センサユニット２０の近距離場および遠距離場において機能する。
【0128】
第２実施形態では、世界点除去部３１ｃが、実世界座標系、例えば、車両１０の座標系における第１特徴点および第２特徴点のペアにおける外れ値を除去する。この目的のために、世界点除去部３１ｃは、第１特徴点と第２特徴点との間の深度における物理的距離を算出する。これは、上記で概説したように第１特徴点と第２特徴点との間の距離を算出し、その後、算出された距離を実世界または物理的距離に変換することによって行うことができる。代替的に、世界点除去部３１ｃは、第１特徴点および第２特徴点を対応する実世界位置に変換し、続いて、実世界位置に対する物理的距離を算出する。画素座標系から実世界座標系への変換は、ニューラルネットワーク（ＡＩ）または決定論的アルゴリズムを使用して世界点除去部３１ｃによって実行されてもよい。例えば、カメラ投影行列Ｋの逆行列およびステレオ視差推定を使用することができる。
【0129】
物理的な深度は、実世界における２つの点を接続するｚ座標に対応し得る。ｚ座標は、車両１０の前方、すなわち、車両１０が直進している場合は運転方向を指す車両１０の座標系における座標であってもよい。深度は、車両１０が直進する場合、すなわち、車両１０の回転がゼロである場合、車両１０の並進ｔＷＯと平行してもよい。
【0130】
世界点除去部３１ｃはまた、車両１０の並進ｔＷＯの関数とすることができる上限ＵＢ（ｔＷＯ）および下限ＬＢ（ｔＷＯ）を算出する。例えば、車両１０の並進ｔＷＯと上限ＵＢ（ｔＷＯ）および下限ＬＢ（ｔＷＯ）との間には、線形、指数関数的、および／またはべき乗則的な関係が存在する。代替的に、世界点除去部３１ｃは、車両１０の並進ｔＷＯを上限ＵＢ（ｔＷＯ）および下限ＬＢ（ｔＷＯ）にリンクさせるテーブルを含んでもよい。車両１０の並進ｔＷＯは、ホイールオドメトリユニット２８からの位置関連データを使用して算出される、車両１０が走行すると予想される予想物理的距離に対応する。この目的のために、世界点除去部３１ｃは、位置関連データを予想物理的距離、すなわち並進ｔＷＯにリンクさせるニューラルネットワーク（ＡＩ）および／または（決定論的）アルゴリズムを含む。
【0131】
世界点除去部３１ｃは、第１特徴点および第２特徴点の深度における物理的距離が上限ＵＢ（ｔＷＯ）と下限ＬＢ（ｔＷＯ）との間の範囲内にない場合、第１特徴点および第２特徴点のペアを除去する。これは、以下の式によって要約することができる。
【0132】
世界点除去部３１ｃの機能は、図６のフロー図にも示されている。この方法は、物理的距離を使用するので、車両１０の座標系または実世界座標系において機能する。第１特徴点および第２特徴点の外れ値を除去するこの方法は、電磁センサユニット２０の近距離場において特に良好に機能する。
【0133】
決定規則部３１ｄは、第１特徴点および第２特徴点のペアの除去に関するものではないが、上述のように複数の第１特徴点および第２特徴点上で算出される推定姿勢の評価に関連する。決定規則部３１ｄは、予想回転および／または予想並進を含むことができる予想姿勢を算出または計算するように構成される。予想姿勢は慣性関連データおよび／または位置関連データに基づいて判定されるのに対し、推定姿勢は画像データに基づいて判定される。決定規則部３１ｄは、位置関連データおよび／または慣性関連データに基づいて予想回転および／または予想並進を算出することを可能にするニューラルネットワーク（ＡＩ）および／または（決定論的）アルゴリズムを含んでもよい。好ましくは、予想回転は慣性関連データを使用して算出され、および／または予想並進は位置関連データを使用して算出される。
【0134】
決定規則部３１ｄは、予想回転ＲＩＭＵおよび予想並進ｔＷＯの両方について上限および下限を算出または計算するようにさらに構成される。したがって、決定規則部３１ｄは、並進に対する上限ＵＢ（ｔＷＯ）および下限ＬＢ（ｔＷＯ）ならびに回転に対する上限ＵＢ（ＲＩＭＵ）および下限ＬＢ（ＲＩＭＵ）を算出する。上限および下限は、上限および下限を予想回転ＲＩＭＵおよび予想並進ｔＷＯにリンクさせる（数学）関数および／またはテーブルを使用して決定されてもよい。
【0135】
車両１０が直線道路を走行する場合、または操舵角がゼロであることが検出される場合、推定姿勢は、以下の式が満たされる場合に受け入れられる。
ｔＶＯ ＜ ＵＢ（ｔＷＯ）
ｔＶＯ ＞ ＬＢ（ｔＷＯ）
ここで、ｔＶＯは、上述したように画像データに基づいて算出することができる推定並進となる。
ｔＶＯ ＜ ＵＢ（ｔＷＯ）
ｔＶＯ ＞ ＬＢ（ｔＷＯ）
ここで、ｔＶＯは、上述したように画像データに基づいて算出することができる推定並進となる。
【0136】
車両１０が曲線道路を走行する場合、または操舵角がゼロに等しくないことが検出される場合、推定姿勢は、以下の式が満たされる場合に受け入れられる。
ｔＶＯ ＜ ＵＢ（ｔＷＯ）
ｔＶＯ ＞ ＬＢ（ｔＷＯ）
ＲＶＯ ＜ ＵＢ（ＲＩＭＵ）
ＲＶＯ ＞ ＬＢ（ＲＩＭＵ）
ここで、ＲＶＯは、上述したように画像データに基づいて算出することができる推定回転である。
ｔＶＯ ＜ ＵＢ（ｔＷＯ）
ｔＶＯ ＞ ＬＢ（ｔＷＯ）
ＲＶＯ ＜ ＵＢ（ＲＩＭＵ）
ＲＶＯ ＞ ＬＢ（ＲＩＭＵ）
ここで、ＲＶＯは、上述したように画像データに基づいて算出することができる推定回転である。
【0137】
決定規則部３１ｄは、このように、第１特徴点および第２特徴点の個々のペアではなく、推定姿勢を評価する。図７のフロー図には、決定規則部３１ｄが動作する方法も示されている。
【0138】
決定規則部３１ｄは、電磁センサユニット２０の異なるセンサからの画像データを使用して判定される推定姿勢を評価する。これは、電磁センサユニット２０のそれぞれのセンサが、上記で概説した方法を使用して推定姿勢を算出するために使用される画像データを生成することを意味する。決定規則部３１ｄは、電磁センサユニット２０の異なるセンサからのそれぞれの推定姿勢が上記で概説した式を満たす場合、それらを受け入れる。
【0139】
フィルタリング融合モジュール３２ａは、決定規則部３１によって受け入れられた複数の推定姿勢を結合または融合する。したがって、フィルタリング融合モジュール３２ａは、決定規則部３１によって受け入れられる全ての推定姿勢の情報を含む単一の推定姿勢を生成する。フィルタリング融合モジュール３２ａは、決定規則部３１によって受け入れられる複数の推定姿勢を融合するためのカルマンフィルタを含んでもよい。この方法はまた、図８のフロー図に示されている。
【0140】
制御部３２は、ビジュアルオドメトリ部３１によってまたはフィルタリング融合モジュール３２ａによって出力される推定姿勢に基づいて、車両１０をナビゲートするための駆動信号を生成するために、公知のニューラルネットワークまたは他のタイプの公知の人工知能（ＡＩ）を含んでもよい。駆動システムは、自動運転および／または支援運転（半自動運転）のために使用されてもよい。制御部３２は、駆動信号に基づいてステアリング装置、スロットル装置、および／またはブレーキ装置を制御する制御装置２４に駆動信号を出力するための出力ポートを含むことができる。
【0141】
車両１０を自律的および／または半自律的にナビゲートする方法を図３と共に説明する。
【0142】
電磁センサユニット２０は、推定並進および推定回転を含む車両１０の推定姿勢を求めるためにビジュアルオドメトリ部３１が処理する画像データを出力する。この処理の詳細は上述されており、当技術分野で公知である。推定姿勢の正確さおよび精度を高めるために、ビジュアルオドメトリ部３１は、慣性計測ユニット２６によって出力された慣性関連データおよびホイールオドメトリユニット２８によって出力された位置関連データも処理する。位置関連データおよび慣性関連データは、画像データ内の特徴点または主要な特徴を除去するために使用される。除去された特徴点は、推定姿勢を表さないとみなされる。これは、推定姿勢を判定するために使用される特徴点が、車両１０の姿勢を判定するための他の手段、すなわち慣性計測ユニット２６およびホイールオドメトリユニット２８によって生成されるデータを考慮して評価されることを意味する。上述のように、特徴点の外れ値の除去は、画像データの座標系および実世界座標系の両方で行うことができる。さらに、位置特定ユニット２２からの位置特定データもまた、推定姿勢を評価するために使用され得る。例えば、位置特定データは、慣性関連データおよび位置関連データを使用して生成された予想並進および予想回転に基づく推定姿勢の評価と同様の評価処理に供給することができる予想並進および予想回転を算出するために使用され得る。
【0143】
後続のステップでは、予想姿勢に基づいて、推定姿勢が受け入れられるか、または除去される。詳細には、上述したように、予想姿勢を考慮して推定姿勢が受け入れられる範囲が決定される。上述のステップとは対照的に、推定姿勢自体が受け入れられるかまたは除去され、推定姿勢の算出に寄与する値ではない。ここでもまた、推定姿勢を受け入れるかまたは除去するために位置特定ユニット２２からの位置特定データが使用されてもよく、すなわち、位置特定データに基づいて予想姿勢が算出されてもよい。推定姿勢の受け入れまたは除去は、電磁センサユニット２０の異なるセンサから算出される推定姿勢ごとに行うことができる。言い換えれば、推定姿勢が予想姿勢を考慮して設定された境界内にある場合、電磁センサユニット２０のセンサごとに推定姿勢が算出され、受け入れられる。
【0144】
最後のステップでは、カルマンフィルタを使用して複数の受け入れられた推定姿勢が結合される。予想回転および予想並進ならびに位置特定データもまた、カルマンフィルタへの入力であってよい。単一の推定姿勢は、カルマンフィルタリング処理の結果である。
【0145】
最終的な任意選択のステップにおいて、車両１０は、単一の推定姿勢に基づいてナビゲートされる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【国際調査報告】