特表 2024-525504 低光環境における自動車の位置特定および地図作成

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-12

(54)【発明の名称】低光環境における自動車の位置特定および地図作成

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240705BHJP

   G06T 7/00 20170101ALI20240705BHJP

   G09B 29/00 20060101ALI20240705BHJP

【ＦＩ】

G06T7/70 Z

G06T7/00 650A

G06T7/00 350C

G09B29/00 Z

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023580891

(86)(22)【出願日】2022-06-30

(85)【翻訳文提出日】2024-02-01

(86)【国際出願番号】 US2022073302

(87)【国際公開番号】W WO2023279056

(87)【国際公開日】2023-01-05

(31)【優先権主張番号】17/305,261

(32)【優先日】2021-07-02

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】522165131

【氏名又は名称】コンチネンタル オートノマス モビリティ ユーエス，エルエルシー

【氏名又は名称原語表記】Ｃｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｎｏｍｏｕｓ Ｍｏｂｉｌｉｔｙ ＵＳ， ＬＬＣ

【住所又は居所原語表記】Ｏｎｅ Ｃｏｎｔｉｎｅｎｔａｌ Ｄｒｉｖｅ， Ａｕｂｕｒｎ Ｈｉｌｌｓ， ＭＩ ４８３２６， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】エドゥアルド ホセ ラミレス リャノス

(72)【発明者】

【氏名】アンドリュー フィリップ ボールダック

(72)【発明者】

【氏名】ジュリアン イプ

(72)【発明者】

【氏名】ディーレン ヴァーマ

(72)【発明者】

【氏名】シン ユー

【テーマコード（参考）】

2C032

5L096

【Ｆターム（参考）】

2C032HB11

2C032HB22

2C032HC17

5L096BA04

5L096DA01

5L096DA02

5L096FA66

5L096FA67

5L096HA11

5L096KA04

(57)【要約】

原動機付車両のための位置特定および地図作成システムおよび方法が開示されており、位置特定および地図作成システムおよび方法は、原動機付車両の周囲の環境の画像を取得するように構成された少なくとも１つのカメラと、原動機付車両の周囲のオブジェクトに関する位置情報を取得するように構成された少なくとも１つのセンサと、コントローラとを含み、コントローラは、少なくとも１つのカメラによって捕捉された画像と、少なくとも１つのセンサによって取得された位置情報とを受信するように構成されている。コントローラは、捕捉された画像を、ニューラルネットワークを利用して強化して、強化された画像を位置情報と組み合わせて、地図作成された環境内において車両を位置特定する。

【特許請求の範囲】

【請求項1】

原動機付車両のための位置特定および地図作成システムであって、前記位置特定および地図作成システムは、
前記原動機付車両の周囲の環境の画像を取得するように構成された少なくとも１つのカメラと、
前記原動機付車両の周囲のオブジェクトに関する位置情報を取得するように構成された少なくとも１つのセンサと、
コントローラと、
を含み、
前記コントローラは、前記少なくとも１つのカメラによって捕捉された画像と、前記少なくとも１つのセンサによって取得された位置情報とを受信し、前記捕捉された画像を、ニューラルネットワークを利用して強化して、強化された画像を生成し、前記強化された画像を前記位置情報と組み合わせて、組み合わせられた前記強化された画像および前記位置情報に基づいて、前記車両を位置特定するように構成されている、
位置特定および地図作成システム。

【請求項2】

前記ニューラルネットワークは、低光画像と、対応するグラウンドトゥルース画像とを有するデータベースを含む、請求項１記載の位置特定および地図作成システム。

【請求項3】

前記コントローラは、前記画像を強化するために前記画像のシーケンスに適用される損失関数に対して重み付け係数を適用するように構成されている、請求項２記載の位置特定および地図作成システム。

【請求項4】

前記重み付け係数は、前記捕捉された画像を強化するためにピクセル単位の平均二乗誤差損失に適用される、請求項３記載の位置特定および地図作成システム。

【請求項5】

前記重み付け係数は、捕捉された画像とグラウンドトゥルース画像との間のより近時の比較に基づいた強化の適用に向かって偏らせられている、請求項４記載の位置特定および地図作成システム。

【請求項6】

強化された出力画像は、前記原動機付車両の周囲の環境の地図を生成するために前記位置情報と組み合わせられる、請求項４記載の位置特定および地図作成システム。

【請求項7】

前記少なくとも１つのセンサは、前記原動機付車両に取り付けられた少なくとも１つのレーダセンシング装置を含む、請求項１記載の位置特定および地図作成システム。

【請求項8】

前記少なくとも１つのセンサは、前記車両に取り付けられた少なくとも１つの超音波センサを含む、請求項１記載の位置特定および地図作成システム。

【請求項9】

前記位置特定および地図作成システムは、車両動作パラメータに関する情報を生成する少なくとも１つのセンサを含み、
前記コントローラは、前記車両を位置特定するために、前記車両動作パラメータに関する情報と、前記強化された画像とを組み合わせるようにさらに構成されている、
請求項１記載の位置特定および地図作成システム。

【請求項10】

前記コントローラは、前記原動機付車両の周囲の環境を位置特定および地図作成するために、前記強化された画像と、前記車両の周囲のオブジェクトの位置に関する情報と、車両動作パラメータに関する情報とを利用して、位置特定および地図作成の同時実行（ＳＬＡＭ）アルゴリズムを実装するように構成されている、
請求項９記載の位置特定および地図作成システム。

【請求項11】

低光環境における車両のための位置特定および地図作成方法であって、前記方法は、
車両の周囲の環境の画像のシーケンスを取得することと、
低光画像強化モデルを用いて低光画像を強化して、強化された画像のシーケンスを生成することと、
前記強化された画像のシーケンスに基づいて、前記車両の周囲の環境の地図を生成することと、
を含む、方法。

【請求項12】

前記方法は、低光画像とグラウンドトゥルース画像との比較を受信するニューラルネットワークを用いて低光画像を強化するために、前記低光画像強化モデルを生成することをさらに含む、請求項１１記載の方法。

【請求項13】

前記方法は、補正係数の適用を、より新しい画像から形成された補正係数に偏らせる重み係数を適用することをさらに含む、請求項１２記載の方法。

【請求項14】

前記重み係数は、最新の画像に対してより一層の重要性を適用し、過去の画像を無視する、請求項１３記載の方法。

【請求項15】

前記方法は、
前記原動機付車両の周囲のオブジェクトに関する位置情報を取得するように構成された少なくとも１つのセンサから情報を取得することと、
前記車両の周囲の環境の地図を生成するために、前記位置情報と前記強化された画像とを組み合わせることと
をさらに含む、請求項１１記載の方法。

【請求項16】

前記方法は、
車両動作パラメータに関する情報を生成する少なくとも１つのセンサを受信することと、
前記車両を位置特定するために、前記車両動作パラメータに関する情報と、前記強化された画像とを組み合わせることと
をさらに含む、請求項１５記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、車両の周囲の環境を位置特定および地図作成するためのシステムおよび方法に関する。

【0002】

背景
自律的および半自律的な車両は、車両の位置および向きを決定するために情報を継続的に収集および更新する。場合により、車両は、見慣れない未知の低光環境において動作する。未知の低光環境は、車両センサおよび位置特定アルゴリズムに対して課題をもたらす。低光環境において撮影された画像は、車両の位置特定および方向特定のために有用である周囲環境の鮮明な写真を提供しない可能性がある。

【0003】

本明細書で提示される背景技術の説明は、本開示の文脈を概略的に紹介することを目的としている。この背景技術の章に記載されている限り、本明細書で挙げられた発明者の業績、ならびにさもなければ出願時点において従来技術として適さない可能性のある本明細書の態様は、明示的にも暗示的にも本開示に対抗する従来技術としては認められない。

【0004】

概要
開示された例示的な実施形態による原動機付車両のための位置特定および地図作成システムは、とりわけ、原動機付車両の周囲の環境の画像を取得するように構成された少なくとも１つのカメラと、原動機付車両の周囲のオブジェクトに関する位置情報を取得するように構成された少なくとも１つのセンサと、コントローラとを含み、コントローラは、少なくとも１つのカメラによって捕捉された画像と、少なくとも１つのセンサによって取得された位置情報とを受信し、捕捉された画像を、ニューラルネットワークを利用して強化して、強化された画像を生成し、強化された画像を位置情報と組み合わせて、組み合わせられた強化された画像および位置情報に基づいて、車両を位置特定するように構成されている。

【0005】

前述の位置特定および地図作成システムの別の例示的な実施形態では、ニューラルネットワークは、低光画像と、対応するグラウンドトゥルース画像(ground truth images)とを有するデータベースを含む。

【0006】

前述の位置特定および地図作成システムのいずれかの別の例示的な実施形態では、コントローラは、画像を強化するために画像のシーケンスに適用される損失関数に対して重み付け係数を適用するように構成されている。

【0007】

前述の位置特定および地図作成システムのうちのいずれかの別の例示的な実施形態では、重み付け係数は、捕捉された画像を強化するためにピクセル単位の平均二乗誤差損失(pixel-wise mean squared error loss)に適用される。

【0008】

前述の位置特定および地図作成システムのいずれかの別の例示的な実施形態では、重み付け係数は、捕捉された画像とグラウンドトゥルース画像との間のより近時の比較に基づいた強化の適用に向かって偏らせられている。

【0009】

前述の位置特定および地図作成システムのいずれかの別の例示的な実施形態では、強化された出力画像は、原動機付車両の周囲の環境の地図を生成するために位置情報と組み合わせられる。

【0010】

前述の位置特定および地図作成システムのいずれかの別の例示的な実施形態では、少なくとも１つのセンサは、原動機付車両に取り付けられた少なくとも１つのレーダセンシング装置を含む。

【0011】

前述の位置特定および地図作成システムのいずれかの別の例示的な実施形態では、少なくとも１つのセンサは、車両に取り付けられた少なくとも１つの超音波センサを含む。

【0012】

前述の位置特定および地図作成システムのいずれかの別の例示的な実施形態は、車両動作パラメータに関する情報を生成する少なくとも１つのセンサをさらに含み、コントローラは、車両を位置特定するために、車両動作パラメータに関する情報と、強化された画像とを組み合わせるようにさらに構成されている。

【0013】

前述の位置特定および地図作成システムのいずれかの別の例示的な実施形態では、コントローラは、原動機付車両の周囲の環境を位置特定および地図作成するために、強化された画像と、車両の周囲のオブジェクトの位置に関する情報と、車両動作パラメータに関する情報とを利用して、ＳＬＡＭ（simultaneous localization and mapping：位置特定および地図作成の同時実行）アルゴリズムを実装するように構成されている。

【0014】

別の開示された例示的な実施形態による、低光環境における車両のための位置特定および地図作成のための方法は、とりわけ、車両の周囲の環境の画像のシーケンスを取得することと、低光画像強化モデルを用いて低光画像を強化して、強化された画像のシーケンスを生成することと、強化された画像のシーケンスに基づいて、車両の周囲の環境の地図を生成することとを含む。

【0015】

前述の方法の別の例示的な実施形態は、低光画像とグラウンドトゥルース画像との比較を受信するニューラルネットワークを用いて低光画像を強化するために、低光画像強化モデルを生成することをさらに含む。

【0016】

前述の方法のいずれかの別の例示的な実施形態は、補正係数の適用を、より新しい画像から形成された補正係数に偏らせる重み係数を適用することをさらに含む。

【0017】

前述の方法のいずれかの別の例示的な実施形態では、重み係数は、最新の画像に対してより一層の重要性を適用し、過去の画像を無視する。

【0018】

前述の方法のいずれかの別の例示的な実施形態は、原動機付車両の周囲のオブジェクトに関する位置情報を取得するように構成された少なくとも１つのセンサから情報を取得することと、車両の周囲の環境の地図を生成するために、位置情報と強化された画像とを組み合わせることとをさらに含む。

【0019】

前述の方法のいずれかの別の例示的な実施形態は、車両動作パラメータに関する情報を生成する少なくとも１つのセンサを受信することと、車両を位置特定するために、車両動作パラメータに関する情報と、強化された画像とを組み合わせることとをさらに含む。

【0020】

種々異なる例は、図面に示された特定のコンポーネントを有しているが、本開示の実施形態は、これらの特定の組み合わせに限定されているわけではない。複数の実施例のうちの１つの実施例からのコンポーネントまたは特徴の一部を、複数の実施例のうちの別の１つの実施例からの特徴またはコンポーネントと組み合わせて使用することが可能である。

【0021】

本明細書で開示された上記の特徴および他の特徴は、以下の明細書および図面から最良に理解可能であり、以下は、図面の簡単な説明である。

【図面の簡単な説明】

【0022】

【図1】位置特定および地図作成システムを有する車両の概略図である。

【図2】捕捉された入力画像と、強化された出力画像との概略図である。

【図3】ニューラルネットワークを用いた入力画像の強化を説明する概略図である。

【図4】低光画像を強化するためのモデルを生成する例示的な方法のフローチャートである。

【図5】強化された画像のシーケンスを利用して車両の周囲の環境を位置特定および地図作成する例示的な方法のフローチャートである。

【0023】

詳細な説明
図１を参照すると、車両２０が概略的に示されており、車両２０は、周囲環境と、この周囲環境における車両の位置および向きとを位置特定および地図作成するためのシステム２５を含む。車両は、ますます多くの自律的および／または半自律的な運転者支援機能を含む。運転者支援機能は、動作するために環境情報を利用する。開示された例示的なシステム２５の実施形態は、処理能力の顕著な増大を必要とすることなく、車両の周囲の環境を位置特定および地図作成するために有用な情報を提供するために、低光状況において取得された画像のシーケンスを強化する。

【0024】

例示的な車両２０は、カメラ２４と、少なくとも１つの他のセンシング装置とを含む。開示された例では、センシング装置は、車両の周りの種々異なる場所に配置されたレーダ装置２２を含む。カメラ２４およびレーダ装置２２は、コントローラ２８に情報を提供する。レーダ装置２２が例として示されているが、本開示の思想内および範囲内においてその他のセンシング装置を利用することもできる。

【0025】

カメラ２４によって捕捉された画像は、低光環境では有用な情報を最大限には提供しない可能性がある。例示的なコントローラ２８は、捕捉された低光画像シーケンスを強化するアルゴリズムを含む。強化された画像は、次いで、例えばＳＬＡＭ（simultaneous localization and mapping：位置特定および地図作成の同時実行）アルゴリズム３４のような、位置特定および地図作成アルゴリズムによって利用される。ＳＬＡＭ３４は、他の車両センサならびに情報収集システムおよび情報収集装置から捕捉された情報と共に、この強化された画像を使用して、地図作成情報を生成する。

【0026】

コントローラ２８は、全体的な車両コントローラの一部であってもよいし、かつ／または例示的なシステム２５のための専用のコントローラであってもよい。コントローラ２８は、レーダ装置２２、カメラ２４、全地球測位システム装置３０から受信した情報と、参照符号２６で概略的に示されている種々異なる車両オペレーティングシステムからの情報とを処理して、周囲環境の内部における車両２０の位置および向きを特定するように構成されている。

【0027】

ＳＬＡＭアルゴリズム３４は、車両２０のコントローラ２８によって実行される。コントローラ２８は、概略的に示されており、少なくとも１つの処理装置およびメモリ装置３６を含む。コントローラ２８は、ソフトウェア、特にメモリ３６に格納されているソフトウェアを実行するためのハードウェア装置であってよい。処理装置は、カスタムメイドまたは市販のプロセッサ、中央処理装置（ＣＰＵ）、コンピューティング装置に関連付けられた複数のプロセッサのうちの１つの補助プロセッサ、半導体ベースの（マイクロチップまたはチップセットの形態の）マイクロプロセッサ、または一般的に、ソフトウェア命令を実行するための任意の装置であってよい。

【0028】

メモリ３６は、揮発性メモリ素子（例えば、ランダムアクセスメモリ（ＤＲＡＭ、ＳＲＡＭ、ＳＤＲＡＭ、ＶＲＡＭ等のようなＲＡＭ））および／または不揮発性メモリ素子のうちのいずれか１つまたはこれらの組み合わせを含むことができる。さらに、メモリ３６は、電子的、磁気的、光学的、かつ／または他の種類の記憶媒体を組み込むことができる。メモリが、分散型のアーキテクチャを有していてもよいことに留意すべきであり、この場合には、複数の異なるコンポーネントが、互いに離れた場所に配置されているが、プロセッサによってアクセス可能である。

【0029】

メモリ３６内のソフトウェアは、１つまたは複数の別個のプログラムを含むことができ、これらのプログラムの各々は、開示された論理関数および演算を実装するための実行可能命令の順序付けられたリストを含む。ソフトウェアとして具現化されるシステムコンポーネントは、ソースプログラム、実行可能プログラム（オブジェクトコード）、スクリプト、または実行されるべき命令の集合を含んでいる任意の他のエンティティとしても解釈可能である。プログラムは、ソースプログラムとして構築されている場合、メモリ内に含まれていてもよいしまたは含まれていなくてもよいコンパイラ、アセンブラ、インタプリタ、またはそれらに類するものを介して翻訳される。

【0030】

システムＩ／Ｏインタフェースに結合されてよい入力／出力装置（図示せず）は、入力装置、例えば、限定するわけではないがキーボード、マウス、スキャナ、マイクロフォン、カメラ、近接装置等を含むことができる。さらに、入力／出力装置は、出力装置、例えば、限定するわけではないがプリンタ、ディスプレイ等を含むこともできる。最後に、入力／出力装置は、入力部および出力部の両方として通信する装置、例えば、限定するわけではないが変調器／復調器（モデム；別の装置、システム、またはネットワークにアクセスするため）、無線周波数（ＲＦ）または他のトランシーバ、電話インタフェース、ブリッジ、ルータ等をさらに含むことができる。

【0031】

コントローラ２８は、車両２０を自律的に制御するように、または車両２０の操作者を支援するための運転者支援機能を提供するように、車両システムを制御することができる。

【0032】

図１を引き続き参照しながら図２を参照すると、例示的な低光画像３８が示されており、この低光画像３８は、強化のためにニューラルネットワークモデル３２に入力される。ニューラルネットワークモデル３２は、画像をピクセル単位で調整するための視覚的な強化技術を利用する。結果として得られる強化された出力画像４０は、画像の内部および車両２０の近傍のオブジェクトのより一層のコントラストおよび鮮明性を提供する。ニューラルネットワークモデル３２は、対応するグラウンドトゥルース画像と共に、過去の画像および現在の画像を利用して構築される。低光画像を強化するために必要とされる関数および特徴は、低光画像とグラウンドトゥルース画像との整合されたペアを使用することによって学習され、次いで、現在の画像に適用されて、強化された出力画像が取得される。

【0033】

図１および図２を引き続き参照しながら図３を参照すると、捕捉された低光画像を強化するためのモデル３２を生成するために、畳み込みニューラルネットワーク４２が使用される。畳み込みニューラルネットワーク４２への入力は、低光画像４４とグラウンドトゥルース画像４６との整合されたペアを含む。開示された画像強化は、以下の項：

【数1】

に従って動作する。

【0034】

上記の方程式において、Ｌ_{ｔｏｔａｌ}は、畳み込みニューラルネットワークによって最小化されるべき損失関数である。項

【数2】

は、画像強化のために利用されるピクセル単位の平均二乗誤差損失である。この項は、訓練データ（例えば、低光画像）とグラウンドトゥルースとの間の誤差を最小化する。この項は、

【数3】

によって与えられる。

【0035】

上記の方程式において、ＷおよびＨは、入力画像の幅および高さであり、

【数4】

および

【数5】

は、時間ｋにおける出力画像およびグラウンドトゥルース画像のピクセル値である。以下の項

【数6】

は、予測の品質を改善するためにより高レベルの特徴を捕捉する損失関数であり、この損失関数は、

【数7】

によって与えられ、ここで、φは、畳み込み層によって生成された特徴マップであり、Ｗ_φおよびＨ_φは、所与の画像Ｉ^ｋのための特徴マップの幅および高さである。項

【数8】

は、項

【数9】

によって実施されるようにピクセル毎の誤差にペナルティを課すのではなく、領域毎の誤差にペナルティを課すということに留意されたい。

【0036】

上記の損失関数は、いずれの画像にも重み付けしない。開示された例示的な強化は、以下の方程式

【数10】

に従って画像に重み付けする。

【0037】

Ｌは、最後の番号の画像ｎまでの

【数11】

の重み付けされた和である。最後の番号の画像までの重み付けされた和は、ｋからｋ－ｎまでの画像のシーケンスに対するピクセル強度の変動を平滑化する。重み係数ｗ_ｋは、最新の画像に対してより一層の重要性を与えるために、かつ格段に古い画像を無視するために選択されるスカラ値である。より新しい画像に重み付けし、かつより古い画像を無視および／または廃棄することによって、プロセッサシステムの要件が低減され、これによりコストが削減される。

【0038】

図１～図３を引き続き参照しながら図４を参照すると、ニューラルネットワークモデル３２の生成が概略的に示されている。低光画像を強化するための参照符号３２で示されたニューラルネットワークモデルを訓練および開発するために、低光画像４４と、対応するグラウンドトゥルース画像４６とが、畳み込みニューラルネットワーク４２に入力される。畳み込みニューラルネットワークは、モデル３２を継続的に更新および改善するために、重み係数と共に損失関数を適用する。モデルの継続的な改善は、初期訓練プロセス中に実施可能であり、かつ車両の動作中ずっと継続可能である。

【0039】

図４を引き続き参照しながら図５を参照すると、開示された例示的な方法は、カメラ２４からの画像と、ＧＰＳ３０、レーダ装置、および車両センサ２６からの情報とを融合して、自己生成された地図内において車両２０を生成および位置特定する。低光状況の間、カメラ２４からの低光画像５８が、ニューラルネットワークモデル３２によって処理されて、強化された画像６０が生成される。強化された画像６０は、ＳＬＡＭアルゴリズム３４に通信されて、位置特定された地図６４と、この地図６４内における参照符号６２で示されるような車両の向きおよび位置とが生成される。車両の向き、位置、および進行方向が、任意の他の位置的および力学的な車両方向情報と共に、運転者支援機能のナビゲーションおよび動作のために必要とされる。

【0040】

したがって、開示された例示的な位置特定および地図作成システムは、低光画像を強化して、見慣れない低光環境において車両を方向決めおよび位置決めするための有用な情報を改善する。

【0041】

種々異なる非限定的な実施形態が、特定のコンポーネントまたはステップを有するものとして示されているが、本開示の実施形態は、それらの特定の組み合わせに限定されているわけではない。任意の非限定的な実施形態からのコンポーネントまたは特徴の一部を、任意の他の非限定的な実施形態からの特徴またはコンポーネントと組み合わせて使用することが可能である。

【0042】

複数の図面を通して、同様の参照符号は、対応または類似する要素を識別しているということが理解されるべきである。これらの例示的な実施形態において特定のコンポーネントの配置が開示および図示されているが、その他の配置も、本開示の教示からの恩恵を受けることができるということが理解されるべきである。

【0043】

前述の説明は、例示として解釈されるべきであり、いかなる限定的な意味でも解釈されるべきではない。当業者であれば、特定の修正を本開示の範囲内に含めることができるということを理解するであろう。これらの理由から、本開示の真の範囲および内容を規定するための以下の特許請求の範囲が研究されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】