特表 2024-505422 オブジェクトを検出するための、並びに、その高さを割り出すための方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-06

(54)【発明の名称】オブジェクトを検出するための、並びに、その高さを割り出すための方法及び装置

(51)【国際特許分類】

   G01C 3/06 20060101AFI20240130BHJP

   G01S 17/86 20200101ALI20240130BHJP

   G01S 17/931 20200101ALI20240130BHJP

   G06T 7/00 20170101ALI20240130BHJP

   G06V 10/82 20220101ALI20240130BHJP

   G06V 20/58 20220101ALI20240130BHJP

【ＦＩ】

G01C3/06 110V

G01C3/06 140

G01C3/06 130

G01S17/86

G01S17/931

G06T7/00 350C

G06T7/00 650

G06V10/82

G06V20/58

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023542755

(86)(22)【出願日】2022-01-27

(85)【翻訳文提出日】2023-07-13

(86)【国際出願番号】 DE2022200009

(87)【国際公開番号】W WO2022179669

(87)【国際公開日】2022-09-01

(31)【優先権主張番号】102021201713.4

(32)【優先日】2021-02-24

(33)【優先権主張国・地域又は機関】DE

(81)【指定国・地域】

(71)【出願人】

【識別番号】322007626

【氏名又は名称】コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(74)【代理人】

【識別番号】100221981

【弁理士】

【氏名又は名称】石田 大成

(72)【発明者】

【氏名】クレーケル・ディーター

(72)【発明者】

【氏名】ヴァヘ・ヨナタン

(72)【発明者】

【氏名】ハインリヒ・シュテファン

(72)【発明者】

【氏名】プフィッツァー・マルティン

(72)【発明者】

【氏名】フェヒナー・トーマス

【テーマコード（参考）】

2F112

5J084

5L096

【Ｆターム（参考）】

2F112AC03

2F112AC06

2F112BA03

2F112CA05

2F112DA28

2F112FA03

2F112FA21

2F112FA45

2F112GA01

5J084AA04

5J084AA05

5J084AB01

5J084AC02

5J084AD01

5J084AD05

5J084BA03

5J084CA31

5J084CA65

5J084EA07

5L096AA09

5L096BA04

5L096CA02

5L096CA18

5L096DA01

5L096DA02

5L096FA02

5L096FA64

5L096FA66

5L096FA69

5L096HA11

5L096JA11

(57)【要約】

オブジェクトを検出するための、並びに、その高さを割り出すための方法及び装置
本発明は、車両の第一（２ａ）及び第二周辺捕捉センサ（２ｂ）を包含する周辺捕捉システム（１）によってオブジェクトを検出し、その高さを割り出すための方法であって、周辺捕捉センサの少なくとも一方がモノカメラであり、以下のステップを包含していることを特徴とする方法に関する：
－ カメラ（２ａ）を用いてモノ画像（Ｍ）を捕捉するステップ（Ｓ１）、
－ 第二周辺捕捉センサ（２ｂ）を用いて周辺描写を捕捉するステップ（Ｓ２）、
－ モノ画像内においてオブジェクト検出を実施するステップ（Ｓ３）、
－ 第二周辺捕捉センサ（２ｂ）の周辺描写内においてオブジェクト検出を実施するステップ（Ｓ４）、
－ 第二周辺捕捉センサ（２ｂ）の周辺描写内のオブジェクト（Ｏ１，Ｏ２，Ｏ３）までの距離割出しを実施するステップ（Ｓ５）、
－ 検出されたオブジェクト（Ｏ１，Ｏ２，Ｏ３）の高さ割出しを実施するステップ（Ｓ６）。

【特許請求の範囲】

【請求項1】

車両の第一（２ａ）及び第二周辺捕捉センサ（２ｂ）を包含する周辺捕捉システム（１）によってオブジェクトを検出し、その高さを割り出すための方法であって、周辺捕捉センサの少なくとも一方がモノカメラであり、以下のステップを包含していることを特徴とする方法：
－ カメラ（２ａ）を用いてモノ画像（Ｍ）を捕捉するステップ（Ｓ１）、
－ 第二周辺捕捉センサ（２ｂ）を用いて周辺描写を捕捉するステップ（Ｓ２）、
－ モノ画像内においてオブジェクト検出を実施するステップ（Ｓ３）、
－ 第二周辺捕捉センサ（２ｂ）の周辺描写内においてオブジェクト検出を実施するステップ（Ｓ４）、
－ 第二周辺捕捉センサ（２ｂ）の周辺描写内のオブジェクト（Ｏ１，Ｏ２，Ｏ３）までの距離割出しを実施するステップ（Ｓ５）、
－ 検出されたオブジェクト（Ｏ１，Ｏ２，Ｏ３）の高さ割出しを実施するステップ（Ｓ６）。

【請求項2】

オブジェクト（Ｏ１，Ｏ２，Ｏ３）の高さが、モノ画像（Ｍ）内におけるピクセル換算のオブジェクト（Ｏ１，Ｏ２，Ｏ３）の高さ、割り出されたオブジェクト（Ｏ１，Ｏ２，Ｏ３）までの距離、並びに、周辺捕捉センサ（２ａ，２ｂ）の既知の角解像度に基づいて割り出される
ことを特徴とする
請求項１に記載の方法。

【請求項3】

モノ画像（Ｍ）内におけるオブジェクト検出が、トレーニングされた畳み込みニューラルネットワークに基づいた意味論的セグメント化によって実施される
ことを特徴とする
請求項１に記載の方法。

【請求項4】

オブジェクト検出（Ｓ３，Ｓ４）の実施後、該オブジェクト（Ｏ１，Ｏ２，Ｏ３）が、モノ画像（Ｍ）と第二周辺描写を比較することによって確認される
ことを特徴とする
請求項１に記載の方法。

【請求項5】

周辺捕捉センサ（２ａ，２ｂ）のうちの一つにおけるオブジェクト検出が、周辺捕捉センサ（２ａ，２ｂ）のうちのもう一方の興味領域を定める
ことを特徴とする
請求項１に記載の方法。

【請求項6】

特定の角解像度を有する第一（２ａ）及び第二周辺捕捉センサ（２ｂ）、並びに、計算ユニット（３）を包含する車両用の周辺捕捉システム（１）であって
少なくとも該第一周辺捕捉センサ（２ａ）が、カメラとして構成されており、モノ画像（Ｍ）が、該カメラによって、且つ、更なる周辺描写が、第二捕捉センサ（２ｂ）によって撮影され、また、該計算ユニット（３）が、モノ画像（Ｍ）及び第二周辺捕捉センサ（２ｂ）の周辺描写内においてオブジェクト（Ｏ１，Ｏ２，Ｏ３）を検出できる様に構成されており、且つ、該計算ユニット（３）が、オブジェクト（Ｏ１，Ｏ２，Ｏ３）の距離同定及び高さ同定を実施できる様にも構成されている
ことを特徴とする周辺捕捉システム。

【請求項7】

該第一周辺捕捉センサ（２ａ）が、望遠カメラであり、該第二周辺捕捉センサ（２ｂ）が、ステレオカメラ、レーダセンサ、乃至、ライダセンサである
ことを特徴とする
請求項６に記載の周辺捕捉システム（１）。

【請求項8】

第二周辺捕捉センサ（２ｂ）が、ステレオカメラとして構成されており、該望遠カメラが、該ステレオカメラの構成要素である
ことを特徴とする
請求項７に記載の周辺捕捉システム（１）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両周辺部にあるオブジェクトを検出し、高さを割り出すための方法、並びに、装置に関する。

【背景技術】

【0002】

高度に自動化された走行には、遠くにある小さな障害物も信頼性高く検出できるセンサシステムが必要である。この様な役割用としては、現在のところでは、周辺を３Ｄに捉えることができる機能を有することから、ライダ（ＬＩＤＡＲ）システムやステレオカメラ・システムなどが、開発されている。これらにより、障害物や空いている空間の大きさと距離を同時に捕捉することができる。ステレオカメラ・システムは、ライダシステムと比較すると有意に高い横方向の解像度を提供する一方、該ライダシステムは、非常に正確な距離測定を可能にしている。しかしながら、現在のソリューションでは、遠くにある小さなオブジェクトを検出することは、不可能である。

【発明の概要】

【発明が解決しようとする課題】

【0003】

よって本発明の課題は、小さなオブジェクトを信頼性高く検出し、そのオブジェクトの高さを信頼性高く割り出すことを可能にする方法、並びに、システムを提供することである。

【課題を解決するための手段】

【0004】

上記の課題は、独立請求項１、並びに、６に記載されている対象によって達成される。好ましい形態及び実施形態は、従属請求項の対象である。

【0005】

第一の考察は、小さなオブジェクトによる危険度を評価するためには、オブジェクトの高さの正確な推定が必要であるということであった。

【0006】

従来のステレオ法は、主にＳＧＭ（Ｓｅｍｉ Ｇｌｏｂａｌ Ｍａｔｃｈｉｎｇ）法に基づくものである。最近では、ライダ測定のグランドトゥルース・データを用いて学習される深層ニューラルネットワークに基づく機械学習法も用いられるようになってきている。

【0007】

１００ｍ離れた地点にある高さ１０ｃｍの小さなオブジェクトを検出するためには、少なくとも０．０３度の角解像度が必要である。現在のところ、高解像度ライダシステムでも、この値の３から６倍の値を有しているため、このタスクに対して十分に適しているとは言えない。８ＭＰｉｘの画像センサ、並びに、３０°の開口角度を有するレンズを備えた高解像度カメラシステムは、１３０Ｐｉｘｅｌ／度の角解像度を与え、１００ｍ離れた地点にある高さ１０ｃｍのオブジェクトは、８Ｐｉｘｅｌ上に結像される。

【0008】

２台の高解像度カメラから構成されたステレオカメラ・システムは、理論上、１００ｍ離れた地点にあるこの様な小さなオブジェクトを検出できる。しかしながら、オブジェクトを一義的に検出すると共にオブジェクトの高さを割り出す目的のためには、一般的に、該シグナルは、ステレオ画像から得られる深度マップ内のノイズに対して、低品質すぎる。

【0009】

よって本発明では、車両の第一及び第二周辺捕捉センサを包含する周辺捕捉システムによってオブジェクトを検出し、その高さを割り出すための方法であって、該周辺捕捉センサの少なくとも一方がカメラであり、以下のステップを包含する方法が提案されている：
－ カメラを用いてモノ画像を捕捉するステップ、
－ 第二周辺捕捉センサを用いて周辺描写を捕捉するステップ、
－ モノ画像内においてオブジェクト検出を実施するステップ、
－ 第二周辺捕捉センサの周辺描写内においてオブジェクト検出を実施するステップ、
－ 第二周辺捕捉センサの周辺描写内のオブジェクトまでの距離割出しを実施するステップ、
－ 検出されたオブジェクトの高さ割出しを実施するステップ。

【0010】

ここで言う「カメラ」とは、好ましくは、高解像度望遠カメラのことである。このカメラは、例えば、８Ｍｐｉｘの解像度、３０°の開口角度、並びに、１３０Ｐｉｘｅｌ／度の角解像度を有している。第二周辺捕捉センサは、例えば、ステレオカメラである。この場合、周辺捕捉システムは、ステレオカメラとして構成されており、該モノカメラは、この形態においては、ステレオ・システムの一部であることもできる。尚、個別のモノカメラと独立したステレオカメラを用いることも考え得る。この形態では、第二周辺捕捉センサの周辺描写は、奥行画像であることも可能である。

【0011】

また、第二周辺捕捉センサとして、レーダセンサ乃至ライダセンサを用いることも考え得る。レーダセンサの場合であれば、周辺描写は、検出されたオブジェクト、乃至、それらのレーダシグナル、並びに、それらから車両までの距離が記載されている、オブジェクトリスト、乃至、レーダシグナルリストである。これらのデータは、モノ画像と融合されることができる。第二周辺捕捉センサが、ライダセンサである場合は、周辺描写は、点群であることができる。請求項では、読みやすさを優先し、単にオブジェクトと記載する。言うまでも無く、複数のオブジェクトが検出される場合も含まれる。更に、オブジェクトを検出するための双方のステップは、同時、或いは、順番は問わず順々に実施されることが可能であることも特記しておく。例えば、先ず、第二周辺捕捉センサの周辺描写内においてオブジェクト検出が実施され、その後になって初めて、モノ画像内のオブジェクト検出が実施される。既に述べた如く、逆の順序での、或いは、同時の実施も考え得る。

【0012】

モノ画像内におけるオブジェクトの検出は、オブジェクトの大きさをピクセル単位で示す。第二周辺捕捉センサ、特に、これがレーダやライダセンサの場合、好ましくは、オブジェクトまでの距離が測定される。

【0013】

ある特に好ましい実施形態においては、オブジェクトの高さは、モノ画像内におけるピクセル換算のオブジェクトの高さ、割り出されたオブジェクトまでの距離、並びに、周辺捕捉センサの既知の角解像度に基づいて割り出される。尚、各々のセンサの角解像度は、固有のセンサデータに基づく。

【0014】

ある他の好ましい実施形態においては、モノ画像内におけるオブジェクト検出は、トレーニングされた畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ／ＣＮＮ）に基づいた意味論的セグメント化によって実施される。これは、意味論的セグメント化によって、オブジェクトを効率的に検出でき、且つ、目的に応じてトレーニングされたＣＮＮによってオブジェクトの検出が改善されるだけでなく、オブジェクトの形状を割り出すことができるという理由から有利である。この情報は、オブジェクトの上を、他に方法が無い場合、車両に損傷を受けることなく通過できるか否かを判断するために有用であり得る。

【0015】

ある好ましい実施形態においては、オブジェクト検出の実施後、該オブジェクトを、モノ画像と第二周辺描写を比較することによって確認している。この形態では、検出された位置が一致するか否かが比較される。比較の際に一致が認められた場合、オブジェクトは、疑いなく確定される。

【0016】

更に、ある特に好ましい実施形態においては、周辺捕捉センサのオブジェクト検出が、他の周辺捕捉センサ用に、重点を置く領域を設定する。一例としては要するに、例えばレーダセンサである第二周辺捕捉センサのオブジェクト検出が、カメラ用の興味領域（Ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ／ＲＯＩ）、乃至、重点領域やサーチ領域を設定する。こうすることにより、該オブジェクトに関して、モノ画像の一定の領域内のみを調べることが可能になる。その結果、効率の良いオブジェクト検出が可能になる。更には、モノ画像内におけるオブジェクト検出が、レーダ・サーチにおける感度向上を可能にすることも考え得る。これにより、例えば、非常に弱いレーダ反射もオブジェクトとして認識されることが可能になる。加えて、これにより、効率の良い、更には、確実なオブジェクト検出を達成できる。

【0017】

本発明は更に、特定の角解像度を有する第一及び第二周辺捕捉センサ、並びに、計算ユニットを包含する車両用の周辺捕捉システムにも関するが、ここでは、少なくとも該第一周辺捕捉センサは、カメラとして構成されており、モノ画像は、該カメラによって、且つ、更なる周辺描写は、第二捕捉センサによって撮影され、また、該計算ユニットは、モノ画像及び第二周辺捕捉センサの周辺描写内においてオブジェクトを検出できる様に構成されており、且つ、該計算ユニットは、オブジェクトの距離同定及び高さ同定を実施できる様にも構成されている。

【0018】

ある好ましい実施形態においては、該第一周辺捕捉センサは、望遠カメラであり、該第二周辺捕捉センサは、ステレオカメラ、レーダセンサ、乃至、ライダセンサである。

【0019】

第二周辺捕捉センサが、ステレオカメラとして構成されており、該望遠カメラが、該ステレオカメラの構成要素であることも更に好ましい。この場合、該第二周辺捕捉センサは、ステレオカメラであり、第一は、これまで通り、モノカメラである。この際、該ステレオカメラは、奥行画像内において高さ同定を実施する高さを割り出すためのセンサとして機能する。

【0020】

更なる、好ましい形態及び実施形態は、図面の対象である。図の説明：

【図面の簡単な説明】

【0021】

【図1】図１は、本方法の実施形態の概略的フローチャートを；

【図2】図２は、本発明のある実施形態に係る周辺捕捉システムの概略図を；

【図3】図３は、シーン例の描写を；

【図4】図４は、図３に示されているシーンから奥行画像の例を、示している。

【発明を実施するための形態】

【0022】

図１は、車両の第一及び第二周辺捕捉センサを備え、そのうち少なくとも一つの周辺捕捉センサが、モノカメラである、ステレオ捕捉システムを用いたオブジェクトの検出及び高さ同定のための方法の好ましい実施形態の概略的フローチャートを示している。ステップＳ１では、カメラによって一枚のモノ画像が撮影される。ステップＳ２では、第二周辺捕捉センサを用いて周辺描写が捕捉される。続くステップＳ３では、モノ画像内においてオブジェクト検出が実施される。ステップＳ４では、第二周辺捕捉センサの周辺描写内において、オブジェクト検出が実施される。ステップＳ３とＳ４は、任意の順序において順々に、即ち、Ｓ４をＳ３の前に、或いは、Ｓ３をＳ４の前に、或いは、同時に実施することができる。ステップＳ５では、第二周辺捕捉センサの周辺描写内のオブジェクトまでの距離割出しが実施される。最後にステップＳ６において、検出されたオブジェクトの高さ同定が実施される。

【0023】

図２は、本発明のある実施形態に係る周辺捕捉システム１の概略的な描写を示している。ここで、該周辺捕捉システム１は、好ましくは、カメラとして構成される第一周辺捕捉センサ２ａ、並びに、第二周辺捕捉センサ２ｂを包含している。これら二つの周辺捕捉センサ２ａ，２ｂは、この際、計算ユニット３とデータ接続Ｄを介して接続されている。この計算ユニット３は、モノ画像からオブジェクトを検出する様に構成されているが、該計算ユニットは、更に、モノ画像と第二周辺捕捉センサの周辺描写内におけるオブジェクト検出を実施する様にも構成されており、加えて、該計算ユニットは、該オブジェクトまでの距離同定、及び、それの高さ同定を実施する様にも構成されている。尚、該データ接続Ｄは、有線乃至無線で構成されていることができる。

【0024】

図３は、シーン例の描写を示している。この描写には、路面の一部が描かれている。該路面上には、オブジェクトＯ１，Ｏ２，Ｏ３が、存在している。該描写は、ここでは、モノ画像Ｍである。該オブジェクトＯ１，Ｏ２，Ｏ３は、モノ画像Ｍないにおいて、例えば、意味論的セグメント化によって検出される。

【0025】

図４は、図３に示されているシーンの、ステレオカメラによって撮影された奥行画像の例を、示している。そのために、該第二周辺捕捉センサは、ステレオカメラとして構成されている。奥行画像Ｔ内には、オブジェクトＯ１，Ｏ２及びＯ３は、隆起物として可視である。また、該奥行画像Ｔでは、該オブジェクトＯ１，Ｏ２，Ｏ３までの距離も割り出すことができる。

【符号の説明】

【0026】

１ 周辺捕捉システム
２ａ 第一周辺捕捉センサ
２ｂ 第二周辺捕捉センサ
３ 計算ユニット
Ｄ データ接続
Ｍ モノ画像
Ｏ１－Ｏ３ オブジェクト
Ｓ１－Ｓ６ 方法ステップ
Ｔ 奥行画像

【図1】

【図2】

【図3】

【図4】

【国際調査報告】