特開 2024-174843 民生自動車の支援システムを較正する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024174843

(43)【公開日】2024-12-17

(54)【発明の名称】民生自動車の支援システムを較正する方法

(51)【国際特許分類】

   G06T 7/80 20170101AFI20241210BHJP

   G06T 7/521 20170101ALI20241210BHJP

   G06T 7/00 20170101ALI20241210BHJP

   G06V 10/82 20220101ALI20241210BHJP

   G08G 1/16 20060101ALI20241210BHJP

【ＦＩ】

G06T7/80

G06T7/521

G06T7/00 350C

G06V10/82

G08G1/16 C

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024089858

(22)【出願日】2024-06-03

(31)【優先権主張番号】10 2023 114 676.9

(32)【優先日】2023-06-05

(33)【優先権主張国・地域又は機関】DE

(71)【出願人】

【識別番号】524209981

【氏名又は名称】スプリーンラブ ゲーエムベーハー

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】ジョン ジェイ ボーラー デア フィルテ

(72)【発明者】

【氏名】フローリアン エールスナー

(72)【発明者】

【氏名】ジェレミ チルナー

(72)【発明者】

【氏名】シュテファン ミルツ

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181CC03

5H181CC04

5H181LL01

5L096AA02

5L096AA06

5L096AA09

5L096BA04

5L096CA02

5L096FA66

5L096FA67

5L096FA69

5L096FA76

5L096HA05

5L096HA11

5L096KA04

(57)【要約】      （修正有）

【課題】民生自動車の支援システムを較正する方法及び該方法を実行する民生自動車を提供する。
【解決手段】方法は、画像センサ座標系におけるカメラデバイスによって、民生自動車の周囲の画像データをキャプチャすることと、深度センサデバイスによって、民生自動車と周囲の物体との間の第１距離を示す深度データをキャプチャすることと、データ処理デバイスにおける人工知能に基づく画像解析によって、民生自動車と画像データにおいて表されている物体との間の第２距離を導出することと、３次元画像センサ座標系における画像データと第２距離とから３次元画像データを作成することと、データ処理デバイスにおいて画像データと深度データとを相互に較正することと、を含む。較正は、変換ルールを決定することを含む。方法はまた、その後に取得した画像データ及び／又は深度データに対し、データ処理デバイスによって当該変換ルールを適用することを含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

民生自動車の支援システムを較正する方法であって、
画像センサ座標系における民生自動車の周囲の画像データを、前記民生自動車に設けられているカメラデバイスによってキャプチャすることと、
深度センサ座標系における前記民生自動車と当該民生自動車の周囲の物体との間の第１距離を示す、前記民生自動車の周囲の深度データを、前記民生自動車に設けられている深度センサデバイスによってキャプチャすることと、
データ処理デバイスにおける人工知能に基づく画像解析によって、前記民生自動車と前記画像データにおいて表されている当該民生自動車の周囲の物体との間の第２距離を前記画像データから導出し、前記画像データおよび前記第２距離から３次元画像センサ座標系における３次元画像データを作成することと、
前記データ処理デバイスにおいて、前記画像データと前記深度データとを相互に較正することと、を含んでおり、
前記画像データと前記深度データとを相互に較正することは、
（ｉ）前記深度センサ座標系において前記第１距離の座標と前記第２距離の座標とが一致するように、前記３次元画像データが前記深度センサ座標系へと変換される、
（ｉｉ）前記３次元画像センサ座標系において前記第１距離の座標と前記第２距離の座標とが一致するように、前記深度データが前記３次元画像センサ座標系へと変換される、または、
（ｉｉｉ）所定の座標系において前記第１距離の座標と前記第２距離の座標とが一致するように、前記３次元画像データおよび前記深度データが前記所定の座標系へと変換される、
変換ルールを決定することを含んでおり、
前記方法は、
その後に取得された画像データおよび／または深度データに対して、前記データ処理デバイスによって前記変換ルールを適用することを含んでいる、方法。

【請求項2】

前記変換ルールは、座標変換のための行列を指定する、請求項１に記載の方法。

【請求項3】

前記画像データと前記深度データとの相互の較正が、リアルタイムで連続的に実行される、請求項１または２に記載の方法。

【請求項4】

前記方法は、前記変換ルールを適用することによって変換された画像データ、および／または、前記変換ルールを適用することによって変換された深度データを、（ｉ）相互に融合させること、あるいは、（ｉｉ）前記変換ルールが適用されていない残りの画像データまたは深度データと融合させること、を含んでおり、
互いに一致する座標を有する画像ピクセルおよび距離が割り当てられる、請求項１または２に記載の方法。

【請求項5】

融合されたデータは、前記民生自動車の運転者支援システムにおいて使用される、請求項４に記載の方法。

【請求項6】

その後に取得された画像データに対して前記変換ルールを適用することは、前記変換ルールにおける２次元射影を適用することを含んでおり、
深度データに対して変換ルールを適用することは、前記変換ルールを適用する前または後に、前記深度データに対して２次元射影を施すことを含んでいる、請求項１または２に記載の方法。

【請求項7】

前記民生自動車の走行動作時に実行される、請求項１または２に記載の方法。

【請求項8】

較正標準器を使用することなく実行される、請求項１または２に記載の方法。

【請求項9】

前記民生自動車に設けられており、かつ、ライダ測定デバイス、飛行時間測定デバイス、およびレーダ測定デバイスの群のうちから選択された、少なくとも１つの深度センサデバイスによって、前記深度データがキャプチャされる、請求項１または２に記載の方法。

【請求項10】

前記民生自動車に設けられており、かつ、ビデオ画像カメラデバイス、サーマル画像カメラデバイス、および赤外線カメラデバイスの群のうちから選択された、少なくとも１つのカメラデバイスによって、前記画像データがキャプチャされる、請求項１または２に記載の方法。

【請求項11】

前記民生自動車と画像データにおいて表されている当該民生自動車の周囲の物体との間の距離を、前記画像データから導出する場合における前記画像解析は、ニューラルネットワーク、特に単深度ネットワークの形態の人工知能に基づいている、請求項１または２に記載の方法。

【請求項12】

前記方法は、さらなる画像センサ座標系における前記民生自動車の周囲のさらなる画像データを、前記民生自動車に設けられているさらなるカメラデバイスによってキャプチャすることを含んでいる、請求項１または２に記載の方法。

【請求項13】

前記方法は、さらなる深度センサ座標系における前記民生自動車と当該民生自動車の周囲の物体との間の距離を示す、前記民生自動車の周囲のさらなる深度データを、前記民生自動車に設けられているさらなる深度センサデバイスによってキャプチャすることを含んでいる、請求項１または２に記載の方法。

【請求項14】

カメラデバイスと、
深度センサデバイスと、
データ処理デバイスと、を備えている民生自動車であって、
請求項１に記載の方法を実行する、民生自動車。

【発明の詳細な説明】

【発明の詳細な説明】

【0001】

本発明は、民生自動車（civilian motor vehicle）の支援システムを較正（キャリブレーション）する方法に関する。

【0002】

［背景］
道路交通の安全性を向上させるために、民生自動車は、深度（奥行き，depth）データを測定および解析するデバイスをますます有するようになってきている。深度データは、特に、自動車の周囲に存在する物体（対象物，object）を検出するために使用される。深度データは、例えば駐車支援、自律走行の支援、事故の回避などの観点から、運転者支援システム（ドライバアシスタンスシステム）に統合される場合がある。深度データは、深度センサによって測定される。従来の深度センサの例としては、ライダ（ｌｉｄｅｒ，light detection and ranging）およびレーダが存在している。

【0003】

民生自動車では、深度データに加えて、画像データを使用することも知られている。画像データは、個々の静止画像の形態にて取得され、連続的な画像シーケンス（ビデオ）の形態にても取得される。画像を記録するために、１つ以上のカメラが自動車に対して使用されうる。運転者の視野を補うために、または、当該視野を改善するために、画像データが使用されうる。特に、深度データを画像データと組み合わせて、これらを運転者に対して表示することが知られている。例えば、運転者に対して危険な状況を警告するために、より近くに存在している物体は、表示される表現において強調（ハイライト）されうる。

【0004】

画像データと深度データとを組み合わせるためには、これらを較正する必要がある。既知の較正方法は、自動車から既知の距離において既知の寸法を有する物体を提供することを含んでいる。当該物体は、自動車の深度センサおよびカメラによって記録される。その後、記録された物体の特徴（外観，feature）、例えばエッジおよびコーナが、画像データと深度データとにおいて互いに関連付け可能となるように、画像データと深度データとを解析するためのソフトウェアが設定される。

【0005】

［概要］
本発明の目的は、民生自動車の支援システムを較正する方法を提供することにある。

【0006】

このことを実現するために、独立請求項１に係る民生自動車の支援システムを較正する方法が提供されている。さらに、独立請求項１４に係る民生自動車が提供されている。実施形態は、従属請求項の主題である。

【0007】

一態様によれば、民生自動車の支援システムを較正する方法が提供されている。前記方法は、画像センサ座標系（image sensor coordinate system）における民生自動車の周囲の画像データを、民生自動車に設けられているカメラデバイスによってキャプチャ（取得）することを含む。前記方法は、民生自動車の周囲の深度データを、民生自動車に設けられている深度センサデバイスによってキャプチャすることを含む。当該深度データは、深度センサ座標系（depth sensor coordinate system）における、（ｉ）民生自動車と、（ｉｉ）当該民生自動車の周囲の物体と、の間の第１距離を示す。前記方法は、データ処理デバイスにおいて、人工知能に基づく画像解析によって、画像データから、民生自動車と当該画像データにおいて表されている当該民生自動車の周囲の物体との間の第２距離を導出することを含む。前記方法は、画像データと第２距離とから、３次元画像センサ座標系における３次元画像データを生成することを含む。前記方法は、データ処理デバイスにおいて、画像データと深度データとを相互に較正することを含む。画像データと深度データとを相互に較正することは、変換ルールを決定することを含んでいる。前記変換ルールによれば、（ｉ）深度センサ座標系において第１距離の座標（coordinates）と第２距離の座標とが一致するように、３次元画像データが前記深度センサ座標系へと変換される、（ｉｉ）前記３次元画像センサ座標系において第１距離の座標と第２距離の座標とが一致するように、深度データが３次元画像センサ座標系へと変換される、または、（ｉｉｉ）所定の座標系において第１距離の座標と第２距離の座標とが一致するように、３次元画像データおよび深度データが所定の座標系へと変換される。前記方法は、その後に取得された画像データおよび／または深度データに対して、前記データ処理デバイスによって変換ルールを適用することを含んでいる。

【0008】

画像データは、通常ではラスタフォーマットとして存在している。画像センサの座標系は、２次元的である。当該座標系の原点は、例えば、ラスタ（またはグリッド）の複数のコーナのうちの１つ、ラスタの中心、または、予め定められているラスタ内の任意の点に位置しうる。画像センサ座標系の水平軸は、カメラデバイスの水平方向に対応しうる。垂直軸は、垂直方向に対応しうる。

【0009】

深度データは、３次元的であり、ポイントクラウド（点群）として、および／または、ベクトルデータの集合として存在している。特に、深度データは、線の形態にて存在しうる。この場合、線上の全ての点は、観察者または深度センサに対して同等の距離を有している。深度センサ座標系の原点は、深度センサの位置に対応しうる。水平軸と垂直軸とは、深度センサの水平方向と垂直方向とに対応しうる。第３軸は、その光軸に対応しうる。

【0010】

民生自動車と画像データにおいて表されている物体との間の距離を導出する場合、２次元データから３次元データが生成される。この目的のために好ましく使用される人工知能は、例えば、２次元ラスタの各ピクセル（画素）について画像センサ座標系の原点からの特定の距離を決定するために、訓練データによって訓練されたニューラルネットワークである。このことは、（２つ以上のカメラデバイスを使用する場合には）ステレオ記録に基づいて、または画像シーケンスにおける連続的な画像の変化に基づいて、物体の距離（間隔）を決定すること、距離を決定するための他の手法を採用すること、または、これらの手法を組み合わせること、を含んでいる。導出された距離は、２次元データと同じ単位（例えば、ピクセル毎メートル）にて提示されてよい。当該距離は、他の単位にて提示されてもよい。あるいは、当該距離は、２次元データと比較して、拡張または集約された表現様式にて提示されてもよい。しかしながら、いずれの場合においても、距離値は互いに一致し、間隔についての関係を正しく再現する。変換係数を設定または決定することにより、距離値を２次元データと一致させることができる。

【0011】

画像データと深度データとの相互の実際の較正は、両データの点、ベクトル、線および／または物体を互いに割り当てることにより、あるルールを作成することを目的として使用されている。当該ルールは、後に記録されるデータ（画像データまたは深度データ）に対して適用可能である。当該ルールによれば、例えばこれらを重ね合わせて運転者に表示するために、これらを互いにマッピング（対応付ける）ことができる。本開示の文脈において、距離の座標が一致していることは、それぞれの距離が終了する座標の複数の点であって、互いに対応していることによって互いに割り当てられる複数の点が一致していることを意味していると理解されるべきである。

【0012】

一実施形態では、較正は、画像データにおいて決定された距離と深度データにおいて決定された距離とから、一致する特徴的物体部分（物体の特徴的な部分）を最初に決定することを含んでいる。物体の部分は、例えば、物体のコーナまたはエッジの３次元座標、個々の顕著な点、または物体の全体を含んでいる。特徴的物体部分は、画像データおよび／または深度データにおいて物体を特に代表しており、かつ、当該物体の形状を少なくとも部分的に定めるために十分でありうる、当該物体の部分である。特徴的物体部分の例は、立方体のコーナ、直方体のコーナ、または、平面によって区切られた他の幾何学的本体のコーナを含んでいる。これらの例では、角は、エッジよりも特徴的であり、かつ、本体表面の個々の点または部分よりも特徴的である。球体、一般的な回転体、あるいは任意の有機的な形状の場合、特徴的物体部分は、その外形または部分によって与えられてよい。一致する特徴的物体部分は、両データセットの特徴的物体部分であり、予め定められた許容値の範囲内において互いに対応付けることが可能である。したがって、一致する特徴的物体部分は、高い確率で、同じ物体または物体の同じ部分を表している。

【0013】

変換ルールは、少なくとも３つの実施形態のうちの１つによって決定されてよい。第１実施形態では、３次元画像データに由来する第２距離が深度データに由来する距離と一致するように、３次元画像データが変換される。したがって、変換ルールは、両データの距離に基づいてまずは３次元空間において決定される。次いで、当該変換ルールは、２次元空間に射影（投影）され、その後、さらなる画像データに適用される。この場合において適用される変換は、平行移動、回転、剪断、スケーリングなどを含みうる。変換ルールが適用されると、深度センサ座標系が２次元に射影された後、画像データが深度センサ座標系へと変換される。上述の説明における特徴的物体部分の決定を含む実施形態では、画像データの距離に替えて特徴的物体部分に基づいて、変換ルールが決定される。この場合、特徴的物体部分は、深度センサデータの対応する座標に一致させられる。

【0014】

第２実施形態では、３次元画像データの距離が深度データの距離と一致するように、３次元深度データが変換される。この場合、深度データは、３次元画像データの座標系へとマッピングされる。特徴的物体部分に関する実施形態では、距離に替えて、決定された物体部分が、深度データの対応する座標に一致させられる。

【0015】

第３実施形態では、３次元画像データおよび深度データは、所定の座標系へと変換される。画像センサの距離の座標と深度センサの座標とが、代替的には一実施形態では両方の座標系の特徴的物体部分が、所定の座標系において一致している。一実施形態では、所定の座標系は同様に３次元的である。一実施形態では、所定の座標系は２次元的であり、変換ルールは、２つの３次元座標系から、例えば射影によって２次元空間上へとマッピングを行う。所定の座標系は、例えば、（その）表示された画像データ内の画像部分を選択することによって、ユーザによって予め定められていてよい。代替的には、所定の座標系は、例えば、両座標系（３次元画像センサ座標系および深度センサ座標系）の重なりの中心を、所定の座標系の原点として決定することによって、３次元画像センサ座標系と深度センサ座標系との平均化として自動的に作成されてもよい。

【0016】

一実施形態では、３次元空間における変換ルールを決定することは、深度データから２次元画像センサ座標系へと複数の点を射影することと、両データセットのデータの対応関係を決定するために、複数の当該点を画像データにおける点または物体に割り当てることと、を含みうる。割り当ては、両データセットにおける点／物体の特定の類似性（例：類似の輝度値、近傍における類似の輝度値、類似の色値、近傍における類似の色値）に基づいて実行されてよい。割り当ては、深度データの各点に対して反復して実行されてもよい。反復は、割り当てを高速化するために、互いに独立して、したがって並列して実行されてもよい。

【0017】

このようにして決定される変換ルールは、好ましくは行列（変換行列）である。そして、当該行列は、変換（例：回転、スケーリング、剪断）を定める複数の行列の積であってもよい。行列は、用途に応じて、２次元的または３次元的な変換を実行しうる。３次元的な場合、行列は３次元に応じたパラメータ／係数によって拡張されうる。３次元への変換のための変換行列の関連するフォーマットは、当業者にとって既知である。

【0018】

変換行列が既知である場合、両方のデータ（画像データおよび深度データ）に対するさらなる解析を実行するために、または、組み合わせた形式によってデータを表示するために、当該変換行列は、その後に取得された画像データおよび／または深度データに適用されうる。一例として、観察者に特定の物体についての距離感を与えるために、データが重ね合わせて表示されうる。あるいは、より近くの物体に対して観察者の注意を引きつけ、かつ、当該観察者の注意をより遠くの物体から逸らさないようにするために、画像データ中の物体が、その距離の大小に基づいて強調または減衰されうる。この目的のために、異なる強度または色が使用されうる。例えば、より近くの物体に対しては、より遠くの物体に比べて、より強い強度および／または色が使用されうる。その逆も然りである。

【0019】

画像データと深度データとの相互の較正は、リアルタイムで連続的に実行されうる。代替的には、較正は、一定の間隔において、または。予め定められた時間において、実行されてよい。一実施形態では、照明条件が有意に変化した場合に、較正が実行されてよい。例えば、本方法は、（ｉ）周囲の明るさ（輝度，brightness）を連続的に測定することと、（ｉｉ）明るさが予め定めされた閾値を下回った場合、あるいは、明るさが当該閾値（または別の閾値）を上回った場合に、較正を繰り返すことと、を含みうる。一実施形態では、異なる照明条件について、複数の変換ルールが決定されてよい。明るさに応じて、それぞれの変換ルールが、画像データおよび／または深度データに対して適用される。

【0020】

本方法は、変換ルールを適用することによって変換された画像データ、および／または、変換ルールを適用することによって変換された深度データを、互いに融合させること、または、変換ルールが適用されない残りの画像データまたは深度データと融合させること、を含みうる。この場合、互いに一致する座標を有する画像ピクセルおよび距離が割り当てられる。データの融合は、例えば、強度値または色値を加算または減算することによる重ね合わせを含みうる。代替的には、既に説明した通り、画像データ内の個々の物体は、深度データに従って、その距離に基づいて強調または減衰されうる。

【0021】

特に、融合されたデータは、民生自動車の運転者支援システムにおいて使用される。このことは、データを表示することを含みうる。このことは、所定の最小距離内にある物体を判定することも含みうる。一実施形態では、自動車に接近し過ぎた物体が検出された場合に、警告が表示されうる。この警告は、関連する物体を表示することと、当該物体を指し示すことと、を含みうる。

【0022】

特定の実施形態では、特徴的物体部分が決定される。画像データおよび深度データにおいて一致する特徴的物体部分を決定することは、画像最適化アルゴリズムによって画像データを最適化することを含みうる。最適化は、特定のフィルタ操作を適用すること（例：エッジディテクタ、コントラストフィルタ、画像ノイズを抑制するフィルタの適用）を含みうる。このようにしてフィルタリングされたデータは、例えばセグメンテーションおよび／または局所的または大域的な極大値／極小値の解析によって、凝集的なピクセル（画素）についてさらに調査されうる。また、画像データおよび／または深度データは、特徴的物体部分を使用することなく、上述のフィルタ操作に供されてもよい。

【0023】

２次元画像データから３次元画像データを作成すること、および、民生自動車と画像データにおいて表されている民生自動車の周囲にある物体との間の決定された距離を、当該画像データから作成することは、第３の情報として、既に存在している２次元画像データに対して、民生自動車からのそれぞれの距離を第３の次元として追加することを含みうる。これにより、３次元のポイントクラウドが得られる。この場合、各点は、対応する画像点の強度および／または色と関連付けられる。

【0024】

その後取得された画像データに対して変換ルールを適用することは、変換ルールにおける２次元射影（２次元的な射影）を適用することを含みうる。さらに、深度データに対して変換ルールを適用することは、変換ルールを適用する前または後に、深度データに対して２次元射影を施すことを含みうる。

【0025】

本方法は、民生自動車の走行動作時に実行されうる。特に、本方法は、較正標準器を使用することなく実行されうる。このような較正標準器を用いた場合、従来の既知の寸法を有しており、かつ、民生自動車からの距離が既知である物体に基づいて較正を行うことになるであろう。上述の通り、本発明は、画像データおよび深度データにおける距離または測定された距離を決定することを含んでおり、一部の実施形態では代替的に特徴的物体部分を決定することを含んでおり、これらを相互に自動的にマッピングすることを含んでいる。このため、本発明によれば、上述の物体を提供する必要性が排除される。したがって、任意の周囲と、任意の寸法および距離を有する任意の物体とが使用されうる。さらに、較正方法は、所定の環境を設定することなく、または、当該環境を訪問することなく、いつでも繰り返し可能である。

【0026】

民生自動車に設けられており、かつ、ライダ測定デバイス、飛行時間（time-of-flight）測定デバイス、およびレーダ測定デバイスの群のうちから選択された、少なくとも１つの深度センサデバイスによって、深度データがキャプチャされてよい。特に、民生自動車に設けられており、ビデオ画像カメラデバイス、サーマル（熱）画像カメラデバイス、および赤外線カメラデバイスの群のうちから選択された、少なくとも１つのカメラデバイスによって、画像データがキャプチャされてよい。

【0027】

民生自動車と画像データにおいて表されている当該民生自動車の周囲の物体との間の距離を、画像データから導出する場合における画像解析は、ニューラルネットワーク、特に単深度（monodepth）ネットワークの形態の人工知能に基づきうる。

【0028】

さらなる画像センサ座標系（further image sensor coordinate system）における民生自動車の周囲のさらなる画像データは、民生自動車に設けられているさらなるカメラデバイスによってキャプチャされてよい。複数のカメラデバイスの画像データを使用する場合、較正ステップは下記の通り実行されうる。まず、さらなるカメラデバイスの画像データが、第２画像データとしてキャプチャされる。これらの画像データにおいて、民生自動車と第２画像データにおいて表されている物体との間の距離を導出するためのステップが、上述の導出の例と同様に実行される。第１実施形態では、続いて、一致する距離を決定することによって、一実施形態では代替的または付加的に特徴物体部分を決定し、変換ルールを決定することによって、第２画像データは、第１カメラデバイスの画像データを用いて較正される。第１画像データおよび深度データに基づいて実行される上述のステップとは異なり、この例における較正は、第１画像データおよび第２画像データを同様に使用する。第２実施形態では、第２画像データは、深度データを用いて較正される。上述のステップとは異なり、この例における較正は、第２画像データおよび深度データを同様に用いる。第３実施形態では、第２画像データは、第１画像データおよび深度データを用いて連続的に較正される。したがって、これらの実施形態の各々において、その後に取得された（第１および第２）画像データおよび／または深度データに対して適用可能な少なくとも１つの変換ルールが決定される。したがって、当該変換ルールを用いることで、深度データを用いて画像データを較正するだけでなく、複数のソースに由来する画像データを、深度データを用いて較正することも可能となる。

【0029】

民生自動車の周囲についてのさらなる深度データは、民生自動車に設けられているさらなる深度センサデバイスによってキャプチャされてよい。さらなる深度データは、さらなる深度センサ座標系における、民生自動車と当該民生自動車の周囲の物体との間の距離を示す。したがって、複数の（第１および第２）画像データに関して上述した例と同様に、較正は、画像データおよび深度データ、ならびに、さらなる深度データに基づいて実行されうる。この例においても、例えば、深度データとさらなる深度データとの間において、画像データとさらなる深度データとの間において、および、３つのデータ全ての組み合わせの間において、複数の変換ルールが決定されうる。

【0030】

本明細書に開示されている本発明のさらなる態様は、付加的には、カメラデバイスと深度センサデバイスとデータ処理デバイスとを有する民生自動車に関する。この場合、当該民生自動車は、本明細書に記載されている複数の方法のうちの１つ以上を実行するように構成されている。

【0031】

民生自動車の支援システムを較正する方法に関して上述した実施形態は、当該民生自動車に対応するように提供されてよい。その逆も然りである。

【0032】

［例示的実施形態の説明］
さらなる例示的な実施形態は、図面中の各図を参照して、以下においてより詳細に説明されている。図面において、
図１は、データを較正する既知の方法についての概略図を示しており；
図２は、データを較正する本発明に係る方法についての概略図を示しており；
図３Ａは、画像データの例を示しており；
図３Ｂは、深度データの例を示しており；
図３Ｃは、画像データと深度データとの融合の例を示しており；
図４は、変換ルールの決定を模式的に示している。

【0033】

図１は、民生自動車の支援システムを較正する既知の方法についての概略図を示す。ステップ１１０において、民生自動車に取り付けられたカメラデバイスによって、画像データが決定される。これらの画像データは、特定の画像特徴を決定するために、ステップ１１５において輝度／強度解析に供される。これらの画像特徴は、例えば、撮像された物体のエッジまたはコーナである。

【0034】

ステップ１２５は、例えばライダカメラデバイスによる３次元距離データの取得に関する。距離データは、例えばポイントクラウドの形態において存在しており、ステップ１３０において同様に輝度／強度解析に供される。この解析は、まず、距離データを２次元画像データに集約すること（reduction）を含んでいることが通常である。これらの２次元画像データにおいて、ステップ１１５と同様にして、特徴が検出される。

【0035】

ステップ１３５では、両データセットに含まれる特徴のうち、互いに割り当て可能な特徴が、それぞれ検出された特徴の範囲内において決定される。ステップ１４０では、これらの割り当てから、関数が決定される。当該関数を用いることにより、画像データを２次元集約距離データへとマッピングできる。次いで、この関数を用いることにより、後続の画像データを変換できる。このような変換の結果は、画像データに含まれる物体の距離を表示および／または強調するために、距離データと組み合わせられうる。

【0036】

図２は、民生自動車の支援システムを較正する本発明に係る方法についての概略図を示す。ステップ２１０において、本方法は、民生自動車に取り付けられたカメラデバイスによって、２次元画像データをキャプチャ（取得）する。ステップ２１５において、これらの画像データから、画像データにおいて表現されている民生自動車と物体との間の距離が導出され、このようにして３次元データが生成される。この導出は、人工知能に基づく画像解析によって、特に、特定の画像特徴からそれぞれの物体または当該画像の画素の距離に関する情報を導出するニューラルネットワークを用いて実行されることが好ましい。この導出は、データ処理デバイスによって実行される。当該データ処理デバイスは、例えば、民生自動車の車載電子機器のコンポーネントである。あるいは、当該データ処理デバイスは、リモートサーバに収容されており、処理すべき画像データを、無線を経由して受信する。ステップ２１０の結果として、３次元画像データが存在することとなる。３次元画像データにおける第３寸法は、決定された距離によって与えられる。

【0037】

一実施形態では、ステップ２２０において、導出された距離から、任意にはその基礎となる画像データからも、特徴的物体部分が決定される。ステップ２２０は、一実施形態における方法２００にとって絶対に必要なものではない。特徴的物体部分は、検出された物体の一部であるか、さもなくば当該物体の全部である。特徴的物体部分は、特に、物体のコーナ、エッジ、および／または、境界線を含んでいる。特に、複数の特徴的物体部分はそれぞれ、同一の物体に属する複数の座標を含んでいる。この決定は、例えば、３次元エッジディテクタまたは連結成分解析によって実行されてもよいし、他の方法（特にニューラルネットワーク）によって実行されてもよい。

【0038】

ステップ２２５では、民生自動車の周囲の深度データが取得される。この目的のために、ライダ機能を有するレーザスキャナ、またはレーダデバイスが使用されることが好ましい。距離のメートルを測定するための各デバイスは、原理的に、深度データをキャプチャするために適している。深度データは、３次元において存在している。

【0039】

一実施形態では、ステップ２２０と同様に、深度データも、解析によって、特徴的物体部分について調査される。既に説明した通り、このことは、同一の物体に属する座標のグループを決定することを含んでいる。

【0040】

ステップ２３５では、両データセットの相互に対応する距離が、３次元画像データにおける距離の座標と深度データにおける距離の座標とから決定される。このことは、両データセットの相関をとることによって実行されてよい。付加的または代替的には、統計解析および／または最適化が実行されてもよい。一実施形態では、両方のデータセットにおけるこれらの座標の対応関係が決定され、伝達情報（transinformation）、相互情報（mutual information）、および／または、シネントロピーによって、当該対応関係が最大化される。一実施形態では、距離の座標に替えて、両方のデータセットにおいて一致する複数の物体部分が、画像データおよび深さデータから導出された距離についての特徴的物体部分として決定されてもよい。例えば、相関法によって、一方のデータセットの複数の凝集座標（cohesive coordinates）のうちのいずれが、他方のデータセットの凝集座標と一致または対応しているかを決定できる。対応関係が所定の閾値を超えている場合、両データセットの座標は、互いに対応しているものとしてマーキングされるか、あるいは共に保存される。

【0041】

ステップ２４０は、画像データと深度データとを互いに対応付ける変換ルールの決定に関する。一例として、変換ルールは、画像座標および／または深度座標を異なる座標系へと変換する１つ以上の変換行列を含んでいる。変換行列に加えて、または変換行列に替えて、非線形変換が実行されてもよい。一例として、画像データは、３次元画像センサ座標系から深度センサ座標系へと変換される。この変換は、３次元画像センサ座標系における距離の３次元座標が、変換後に、３次元深度センサ座標系における距離座標と一致することを条件として実行される。このようにして得られた３次元変換ルールは、２次元変換ルールへと集約できる。その後、２次元変換ルールは、２次元画像データに適用されうる。例えば、３次元変換ルールは、行列の係数を省略することによって２次元変換ルールへと変換される１つ以上の行列によって表現されうる。非線形変換ルールにおいても、同様の操作が可能である。次いで、この２次元変換ルールが、２次元画像データに適用されてよい。これにより、当該２次元画像データを深度センサ座標系へと変換することができる。一実施形態では、画像データは、深度センサ座標系の２次元射影へと変換されてよい。

【0042】

さらなる例では、ステップ２４０は、両座標系の距離の座標が一致するように、深度データを３次元画像センサ座標系へと変換することを含んでいる。この例においても、変換ルールは、最初は３次元のものである。この形態では、当該変換ルールが後続の深度データに適用されてよい。これにより、後続の深度データを、後続の（２次元）画像データと一致させることができる。このことは、（ｉ）後続の深度データをまず３次元的に変換すること、および、（ｉｉ）その後、変換された深度データを画像データの２次元へと射影すること、さもなくば、２次元的に射影された深度データに対して、変換ルールにおける２次元射影を適用すること、を含んでいる。

【0043】

さらなる例では、ステップ２４０は、画像センサ座標系の距離の座標と深度センサ座標系の距離の座標とが所定の座標系において一致するように、３次元画像データおよび深度データを所定の座標系へと変換することを含んでいる。一実施形態では、所定の座標系も同様に３次元である。そして、決定された変換ルールも、３次元から３次元へとマッピングする。代替的には、所定の座標系は、２次元であってもよい。この場合、変換ルールは、３次元から２次元へのマッピングを行う。

【0044】

ステップ２４０の後、決定された変換ルールは、その後に記録された画像データおよび／または深度データに適用されてよい。

【0045】

図３Ａ、図３Ｂ、および図３Ｃは、例示的な画像データおよび深度データを示す。図３Ａは、本明細書では、グレースケール画像として表される画像データ３００Ａを示す。各画素は、輝度値を有している。画像データは、例えばＲＧＢ画像として、カラーで表現されてもよい。図３Ｂは、深度データ３００Ｂを示す。各画素は、記録デバイスから民生自動車の周囲におけるそれぞれの位置の距離を定める輝度値を有している。例えば、より明るい値は、より近いことを表しうる。その逆も然りである。深度データ３００Ｂは、本明細書ではグレースケール画像として表されている。ただし、当該深度データは、例えばＲＧＢコーディングのカラーデータを含んでいてもよい。同様に、距離が色値によって表されてもよい。あるいは、色値は、さらなる情報（例：以前に記録された深度データとの関連における変化）をコード化（符号化）しうる。

【0046】

画像データ３００Ａおよび深度データ３００Ｂでは、例えば、家屋の正面（ファサード）、自動車、自転車運転者、および歩行者などの物体が識別可能である。さらに、画像データおよび深度データは、使用されている記録デバイスの周囲の異なる部分を示す。カメラデバイスおよび深度センサは、異なるように配向している、および／または、異なる位置に取り付けられているからである。

【0047】

提示されている画像データおよび深度データは、上述の解析に供されうる。カメラデバイスと表現されている物体との間の距離は、画像データから導出される。当該距離は、画像データに第３次元として追加される。一実施形態では、３次元画像データおよび深度データの両方において、特徴的物体部分が決定されてよい。続いて、両方の座標系において一致する特徴的物体部分が決定されてよい。これらの一致する特徴的物体部分から、変換ルールが決定されてよい。その後、当該変換ルールは、画像データおよび／または深度データに適用される。これにより、これらのデータは、それぞれの修正された座標系へと変換される。一例として、全ての距離データが観察されるか、または、特徴的物体部分のみが観察されるかに関係なく、得られたデータは、重ね合わせ／融合させられうる。このような重ね合わせは、図３Ｃにおいて画像３００Ｃとして示されている。画像３００Ｃは、画像データ３００Ａの輝度値と深度データ３００Ｂの輝度値との両方を示している。深度データ３００Ｂの輝度値は、深度センサからの距離を色および／または輝度値によって示す連続線として認識できる。画像３００Ｃから認識できる通り、記録デバイスの向きの違いおよび設置位置の違いは、変換ルールによって改善されている。このため、画像データと深度データとを適切に重ね合わせることができている。

【0048】

図４は、本明細書において説明されている例において使用される複数の座標系を例示している。図４は、点Ｘ_Ｌを示している。当該点は、カメラデバイスおよび深度センサの周囲に、または、それらが取り付けられた民生自動車の周囲に位置している。図４はさらに、３次元深度センサ座標系４１０と２次元画像センサ座標系４２０とを示している。座標系４２０に含まれうる画像データから距離が導出され、次いで３次元データが生成される。これらは、３次元座標系４３０によって示されている。一実施形態では、一方では画像データおよび距離から、他方では深度データから、それぞれの特徴的物体部分が決定されうる。さらに、座標系４１０と座標系４３０とにおいて一致する特徴物体部分が決定されうる。両座標系の距離座標または特徴的物体部分を互いにマッピングする（対応付ける）ために、変換ルールＴ_ＣＬが決定されうる。その後、これは例えば２次元に集約され、次いで画像センサ座標系４２０に適用される。結果として得られる修正された画像センサ座標系は、座標系におけるｘ軸およびｙ軸の、ｕ軸およびｖ軸への変位によって示されている。

【0049】

上述の説明、特許請求の範囲、および図面に開示されている各構成は、様々な実施形態を具現化するために、個別に、および、任意の所望の組み合わせの両方において、重要でありうる。

【図面の簡単な説明】

【0050】

【図1】データを較正する既知の方法についての概略図を示す。

【図2】データを較正する本発明に係る方法についての概略図を示す。

【図3A】画像データの例を示す。

【図3B】深度データの例を示す。

【図3C】画像データと深度データとの融合の例を示す。

【図4】変換ルールの決定を模式的に示す。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【外国語明細書】