特許 7437513 車両又はロボットのカメラ及び／又はＬＩＤＡＲセンサを較正するための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-14

(45)【発行日】2024-02-22

(54)【発明の名称】車両又はロボットのカメラ及び／又はＬＩＤＡＲセンサを較正するための方法

(51)【国際特許分類】

   G01B 11/24 20060101AFI20240215BHJP

   G01B 11/00 20060101ALI20240215BHJP

   G01C 3/06 20060101ALI20240215BHJP

【ＦＩ】

G01B11/24 K

G01B11/00 H

G01C3/06 120Q

【請求項の数】 10

(21)【出願番号】P 2022542293

(86)(22)【出願日】2020-12-14

(65)【公表番号】

(43)【公表日】2023-03-13

(86)【国際出願番号】 EP2020085898

(87)【国際公開番号】W WO2021151572

(87)【国際公開日】2021-08-05

【審査請求日】2022-07-08

(31)【優先権主張番号】102020102466.5

(32)【優先日】2020-01-31

(33)【優先権主張国・地域又は機関】DE

(73)【特許権者】

【識別番号】598051819

【氏名又は名称】メルセデス・ベンツ グループ アクチェンゲゼルシャフト

【氏名又は名称原語表記】Ｍｅｒｃｅｄｅｓ－Ｂｅｎｚ Ｇｒｏｕｐ ＡＧ

【住所又は居所原語表記】Ｍｅｒｃｅｄｅｓｓｔｒａｓｓｅ １２０，７０３７２ Ｓｔｕｔｔｇａｒｔ，Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100101856

【弁理士】

【氏名又は名称】赤澤 日出夫

(72)【発明者】

【氏名】シンドラー，フィリップ

(72)【発明者】

【氏名】ブラウン，アレクサンダー

【審査官】信田 昌男

(56)【参考文献】

【文献】独国特許出願公開第１０２０１６００９３２７（ＤＥ，Ａ１）

【文献】米国特許出願公開第２００９／００５９０１１（ＵＳ，Ａ１）

【文献】特開２００７－２６１４６３（ＪＰ，Ａ）

【文献】特開２０１９－７４３９８（ＪＰ，Ａ）

【文献】特開２０１３－２４７１２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００ー１１／３０

Ｇ０１Ｃ ３／０６

(57)【特許請求の範囲】

【請求項1】

車両（１）又はロボットのカメラ（３）及び／又はＬＩＤＡＲセンサ（２．１）を較正するための方法であって、
－車両周囲又はロボット周囲の画像（Ｂ）は、前記カメラ（３）を使用して撮像され、
－実パターン（Ｍ_ｒ）は、少なくとも１つのＬＩＤＡＲセンサ（２．１）を使用して、前記車両周囲又は前記ロボット周囲において前記カメラ（３）の撮像範囲の少なくとも１つの部分に放射され、
－前記実パターン（Ｍ_ｒ）は、前記カメラ（３）を使用して撮像される、方法において、
－前記ＬＩＤＡＲセンサ（２．１）の座標系において生成された仮想パターン（Ｍ_ｖ）は、前記ＬＩＤＡＲセンサ（２．１）を使用して、前記車両周囲又は前記ロボット周囲において仮想平面（Ｅ_ｖ）上に投影され、
－前記ＬＩＤＡＲセンサ（２．１）を使用して放射されたレーザ光線は、前記仮想平面（Ｅ_ｖ）を貫通し、前記仮想パターン（Ｍ_ｖ）と相関する前記実パターン（Ｍ_ｒ）は、実投影面（Ａ）上で生成され、
－前記カメラ（３）を使用して撮像された前記実パターン（Ｍ_ｒ）は、前記実投影面（Ａ）の表面プロファイルに基づいて前記仮想平面（Ｅ_ｖ）へと再計算され、前記再計算から、ひずみ補正仮想パターン（Ｍ_ｅｖ）は、前記カメラ（３）の座標系において生成され、
－前記カメラ（３）及び／又は前記ＬＩＤＡＲセンサ（２．１）は、前記仮想パターン（Ｍ_ｖ）と前記ひずみ補正仮想パターン（Ｍ_ｅｖ）との比較に基づいて較正されることと、を特徴とする、方法。

【請求項2】

前記実投影面（Ａ）の前記表面プロファイルは、前記ＬＩＤＡＲセンサ（２．１）を使用して決定された、前記実パターン（Ｍ_ｒ）のピクセルまでの距離に基づいて決定されることを特徴とする、請求項１に記載の方法。

【請求項3】

前記仮想パターン（Ｍ_ｖ）の前記ひずみ補正仮想パターン（Ｍ_ｅｖ）への変換及び／又は前記ひずみ補正仮想パターン（Ｍ_ｅｖ）の前記仮想パターン（Ｍ_ｖ）への変換のための少なくとも１つの変換方程式は、前記仮想パターン（Ｍｖ）と前記ひずみ補正仮想パターン（Ｍ_ｅｖ）との比較において決定されることを特徴とする、請求項１又は２に記載の方法。

【請求項4】

前記カメラ（３）及び／又は前記ＬＩＤＡＲセンサ（２．１）の方位角誤差及び／又は仰角誤差は、前記較正において決定されることを特徴とする、請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記仮想パターン（Ｍ_ｖ）を生成するために、前記ＬＩＤＡＲセンサ（２．１）を使用して放射されたレーザ光線は、前記ＬＩＤＡＲセンサ（２．１）の回転ミラーを使用して偏向されることを特徴とする、請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記実パターン（Ｍ_ｒ）が前記カメラ（３）を使用して撮像されるとき、前記カメラ（３）の複数の連続撮像画像（Ｂ）にわたって積分が実行されることを特徴とする、請求項１から５のいずれか一項に記載の方法。

【請求項7】

前記カメラ（３）は、前記較正のために較正モードに切り替えられることを特徴とする、請求項１から６のいずれか一項に記載の方法。

【請求項8】

前記仮想パターン（Ｍ_ｖ）は、赤外線レーザ光線を使用して生成されることを特徴とする、請求項１から７のいずれか一項に記載の方法。

【請求項9】

前記カメラ（３）を使用して撮像された画像（Ｂ）を生成するために、前記カメラ（３）に入射する光線は、カメラ自体の赤外線フィルタを使用してフィルタリングされることを特徴とする、請求項１から８のいずれか一項に記載の方法。

【請求項10】

－前記ＬＩＤＡＲセンサ（２．１）から放射され、かつ前記実投影面（Ａ）により反射される赤外線レーザ光線に対して透過性である赤外線フィルタが使用されること、及び／又は
－前記赤外線フィルタは、前記カメラ（３）の較正モードでは、前記ＬＩＤＡＲセンサ（２．１）から放射され、かつ前記実投影面（Ａ）により反射される赤外線レーザ光線に対して透過性に切り替えられること、を特徴とする、請求項９に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、請求項１の前段部に記載の車両又はロボットのカメラ及び／又はＬＩＤＡＲセンサを較正するための方法に関する。

【0002】

特許文献１から、車両のカメラを較正するための方法は、公知であり、本方法においては、カメラを使用して、車両周囲の画像が撮像される。少なくとも１つのＬＩＤＡＲセンサを使用して、定義されたパターンは、車両周囲においてカメラの撮像範囲の少なくとも１つの部分に放射され、定義されたパターンは、カメラによって撮像される。カメラを使用して撮像された画像に含まれるパターンまでの距離値は、カメラに結合された又はカメラに統合された評価ユニットを用いて決定され、カメラの較正は、距離値に基づいて実行される。ＬＩＤＡＲセンサは、自己較正するように設計されており、自己較正は、物体の追跡に基づく。

【先行技術文献】

【特許文献】

【0003】

【文献】独国特許第１０ ２０１６ ００９ ３２７ Ａ１号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、従来技術に対して改善された、車両又はロボットのカメラ及び／又はＬＩＤＡＲセンサを較正するための方法を提供することを課題とする。

【課題を解決するための手段】

【0005】

本課題は、本発明によれば、請求項１に規定された特徴を有する方法によって解決される。

【0006】

本発明の有利な実施形態は、従属請求項の主題である。

【0007】

車両又はロボットのカメラ及び／又はＬＩＤＡＲセンサを較正するための方法では、車両周囲又はロボット周囲の画像は、カメラを使用して撮像される。少なくとも１つのＬＩＤＡＲセンサを使用して、実パターンは、車両周囲又はロボット周囲においてカメラの撮像範囲の少なくとも１つの部分に放射され、実パターンは、カメラを使用して撮像される。

【0008】

本発明によれば、ＬＩＤＡＲセンサの座標系において生成された仮想パターンは、ＬＩＤＡＲセンサを使用して車両周囲又はロボット周囲において仮想平面上に投影される。その際、ＬＩＤＡＲセンサから放射されたレーザ光線は、仮想平面を貫通し、仮想パターンと相関する実パターンが、実投影面上に生成される。カメラを使用して撮像された実パターンは、実投影面の表面プロファイルに基づいて仮想平面へと再計算される。この再計算から、ひずみ補正仮想パターンが、カメラの座標系において生成され、カメラ及び／又はＬＩＤＡＲセンサは、仮想パターンとひずみ補正仮想パターンとの比較に基づいて較正される。

【0009】

カメラを使用して撮像された画像では、レンズ系に起因して、またカメラで起こり得るオクルージョンにより、光学的ひずみが生じる可能性がある。このような光学的ひずみの発生を回避するために、カメラの較正は通常、例えば、チェッカーボードパターンを使用して、車両製造又はロボット製造において行われる。その際、決定された補正値が保存される。ただし、これらの補正値は、コンポーネントの経年劣化、多様な温度範囲、及び外部の機械的影響により、その正確性が損なわれるおそれがある。

【0010】

本方法により、カメラをほぼすべての目的に合わせて較正できるため、車両又はロボットの製造プロセスでの、例えば、製造プロセスの最後での較正を簡素化することができる。更に、較正は、車両又はロボットが動作している間、例えば、動作の短い一時中断中にも実行することができる。したがって、経年変化の影響を感知するために、カメラの動作継続時間にわたって較正することも可能である。したがって、較正は、カメラ及びＬＩＤＡＲセンサの操作中に実行され、かつ補正することもでき、これは、自動化された、特に高度に自動化された、自律的又は半自律的な方法で運転される車両にもまた特に有利である。また、複数の較正を１つのステップに組み合わせることもできる。較正を考慮した結果、カメラとＬＩＤＡＲセンサは、同じ場所にある同じ物体を認識する。

【0011】

言及されたロボットは、同様に、例えば、車両として、例えば、高度に自動化された又は完全に自動化された乗用車として、高度に自動化された又は完全に自動化された輸送車両として、又は高度に自動化された又は完全に自動化されたトラックとして形成されている。また、ロボットは、産業用ロボット、自動芝刈り機、ロボット掃除機、モッピングロボット、又は自動運航船であり得る。

【0012】

本方法の可能な一実施形態では、実投影面の表面プロファイルは、ＬＩＤＡＲセンサを使用して決定される実パターンのピクセルからの距離に基づいて決定される。これにより、カメラ及び／又はＬＩＤＡＲセンサを、特にいわゆるクロス較正で較正することができ、このクロス較正では、ＬＩＤＡＲセンサの反射がカメラに登録され、ＬＩＤＡＲセンサに対するカメラの相対的較正のために、すなわちカメラとＬＩＤＡＲセンサとの間の誤差に対して使用される。カメラで検出されたＬＩＤＡＲ反射に基づいて、車両又はロボットの周囲の任意の物体に仮想パターンを規定することができ、この物体は、ＬＩＤＡＲセンサによって３次元的に測定されるため、いわゆるグラウンドトゥルースを生成できる。カメラとＬＩＤＡＲセンサとの互いに対する較正により、カメラ及びＬＩＤＡＲセンサを使用して感知された物体を相互に適切に割り当てることができ、精度を向上させることが可能になる。カメラ及びＬＩＤＡＲセンサを相互に直接較正する場合、それらの間の相対誤差が減少する。ＬＩＤＡＲセンサに対するカメラの、またその逆でそのように行われた直接較正により、カメラ及びＬＩＤＡＲセンサの生データの直接融合を実行することができる。更に、カメラ及びＬＩＤＡＲセンサの独立したデータの融合もまた改善される。

【0013】

本方法の可能な更なる実施形態では、仮想パターンをひずみ補正仮想パターンに変換するための、かつ／又はひずみ補正仮想パターンを仮想パターンに変換するための少なくとも１つの変換方程式が、仮想パターンとひずみ補正仮想パターンとの比較において決定される。すなわち、両方の仮想パターンに基づいて、一方の仮想パターンを他方の仮想パターンに変換するための変換パラメータが計算されることを意味する。変換パラメータは、センサ構成のうちの１つ、すなわちカメラ又はＬＩＤＡＲセンサによって決定された周囲データを他のセンサ構成の座標系に変換するために使用することができる。

【0014】

本方法の可能な更なる実施形態では、カメラ及び／又はＬＩＤＡＲセンサの方位角誤差及び／又は仰角誤差は、較正において決定される。したがって、カメラは、カメラの光軸とＬＩＤＡＲセンサの光軸との間のあり得る差異、すなわち方位角誤差及び仰角誤差を補償できるように、ＬＩＤＡＲセンサに対して較正することができる。したがって、方位角誤差及び仰角誤差から生じる、カメラの座標系に対するＬＩＤＡＲセンサの座標系の変位及び回転を決定することができる。この変位及び回転は、２つの仮想パターンを比較するときに考慮され、これらの仮想パターンも同様に、相互に変位され、かつ回転されている。したがって、特に正確な較正を実行することができる。

【0015】

本方法の可能な更なる実施形態では、仮想パターンを生成するために、ＬＩＤＡＲセンサを使用して放射されたレーザ光線は、ＬＩＤＡＲセンサの回転ミラーを使用して偏向される。したがって、仮想平面内の仮想パターン及び実パターンは、特に簡単かつ信頼できる方法で生成可能である。

【0016】

本方法の可能な更なる実施形態では、実パターンがカメラを使用して撮像される場合、カメラの複数の連続撮像画像にわたって積分が実行される。この積分により、赤外線領域でのカメラの解像度が向上することは、従来のカラーカメラとして形成されたカメラが可視光領域で最高の感度を有するのに対して、赤外線領域でかなり低い感度を有するため、有利である。更に、回転ミラーの不規則運動は、仮想パターンの線と線との間の間隔が変動すること、したがって、実パターンの線と線との間の間隔が変動することをもたらす可能性がある。カメラの複数の連続撮像画像にわたって積分することで、これらの誤差の補正が可能となる。

【0017】

本方法の可能な更なる実施形態では、カメラは、較正のために較正モードに切り替えられる。

【0018】

本方法の可能な更なる実施形態では、仮想パターンは、赤外線レーザ光線によって生成されるため、カメラを使用して撮像が可能である。

【0019】

本方法の可能な更なる実施形態では、カメラを使用して撮像された画像を生成するために、カメラに入射する光線は、カメラ自体の赤外線光フィルタによってフィルタリングされる。赤外線フィルタにより、干渉が低減され、色品質が向上する。

【0020】

本方法の可能な更なる実施形態では、ＬＩＤＡＲセンサによって放射され、かつ実投影面によって反射される赤外線レーザ光線を透過する赤外線フィルタが使用され、その結果、実パターンの撮像が可能である。

【0021】

本方法の可能な更なる実施形態では、赤外線フィルタは、ＬＩＤＡＲセンサによって放射され、かつ実投影面によって反射される赤外線レーザ光線に対して透過性になるように、カメラの較正モードで切り替えられる。したがって、赤外線フィルタは、カメラの通常の動作中に干渉を減らし、色品質を向上させるために使用することができ、較正モードでは、非アクティブ化して、ＬＩＤＡＲセンサを使用して放射され、投影面によって反射される赤外線レーザ光線を最適に感知するために、無効化することができる。

【0022】

以下に図面を参照して、本発明の実施形態をより詳細に説明する。

【図面の簡単な説明】

【0023】

【図1】車両、仮想パターン、及び実パターンの概略斜視図である。

【図2】車両のカメラ及び／又はＬＩＤＡＲセンサを較正するための装置の概略ブロック図である。

【発明を実施するための形態】

【0024】

互いに対応する部分には、図面全体で同じ参照符号が付されている。

【0025】

図１には、車両１、仮想パターンＭ_ｖ、及び実パターンＭ_ｒの斜視図が示されている。図２は、車両１のカメラ３及び／又はＬＩＤＡＲセンサ２．１を較正するための装置４の可能な実施形態のブロック図を示す。

【0026】

以下の説明は、少なくとも１つのカメラ３及び／又は少なくとも１つのＬＩＤＡＲセンサ２．１を含むロボットにも同様に適用可能である。そのようなロボットはまた、例えば、車両として、例えば、高度に自動化された又は完全に自動化された乗用車として、高度に自動化された又は完全に自動化された輸送車両として、又は高度に自動化された又は完全に自動化されたトラックとして形成されている。また、ロボットは、産業用ロボット、自動芝刈り機、ロボット掃除機、モッピングロボット、又は自動運航船であり得る。

【0027】

車両１は、少なくとも１つのＬＩＤＡＲセンサ２．１を備えたＬＩＤＡＲ２及びカメラ３を含み、ＬＩＤＡＲ２及びカメラ３は、車両周囲を撮像するように形成されている。

【0028】

装置４は、ＬＩＤＡＲ２、カメラ３、及び処理ユニット５を含む。

【0029】

較正の目的は、カメラ３の光軸とＬＩＤＡＲセンサ２．１の光軸との間のあり得る差異、すなわち方位角誤差及び仰角誤差が補正されるように、ＬＩＤＡＲセンサ２．１に対してカメラ３を較正することであり、その結果、カメラ３及びＬＩＤＡＲセンサ２．１は、同じ場所にある同じ物体を認識する。

【0030】

この目的のために、仮想平面Ｅ_ｖは、車両１の前方に画定され、仮想平面Ｅ_ｖは、カメラ３の撮像範囲及びＬＩＤＡＲセンサ２．１の感知範囲内にある。赤外線レーザ光線は、ＬＩＤＡＲセンサ２．１を使用して放射され、そのようにして、仮想パターンＭ_ｖは、仮想平面Ｅ_ｖ上に生成される。仮想パターンＭ_ｖは、例えば、チェッカーボードパターンである。その際、仮想パターンＭ_ｖは、ＬＩＤＡＲセンサ２．１の座標系において生成される。赤外線レーザ光線は、仮想平面Ｅ_ｖを貫通するので、仮想パターンＭ_ｖと相関する実パターンＭ_ｒは、車両周囲の投影面Ａ、例えば、路面に投影される。この投影された実パターンＭ_ｒが仮想パターンＭ_ｖと比較して歪んでいるのは、実パターンＭ_ｒが作成される投影面Ａが、仮想平面Ｅ_ｖに対して平行面ではないためである。

【0031】

可能な一実施形態では、ＬＩＤＡＲ２又はＬＩＤＡＲセンサ２．１は、回転ミラーを有し、この回転ミラーを用いて、赤外線レーザ光線は、スキャンするシーンにわたって偏向される。

【0032】

投影された実パターンＭ_ｒの個々のピクセルまでの距離ｄは、ＬＩＤＡＲセンサ２．１を使用して決定される。したがって、投影面Ａの表面プロファイルは、処理ユニット５を使用して３次元的に決定され、いわゆるグラウンドトゥルースが生成される。

【0033】

カメラ３を使用して、実パターンＭ_ｒの少なくとも１つの画像Ｂが撮像される。投影面Ａの決定された表面プロファイルに基づいて、撮像された実パターンＭ_ｖは、仮想平面Ｅ_ｖ上で実パターンＭ_ｖがどのように見えることになるかを再計算することによって、処理ユニット５を使用してひずみ補正される。この再計算の結果は、カメラ３の座標系において再計算されたひずみ補正仮想パターンＭ_ｅｖである。

【0034】

ＬＩＤＡＲ２の回転ミラーの不規則運動は、仮想パターンＭ_ｖの線と線との間の間隔が変動すること、したがって実パターンＭ_ｒの線と線との間の間隔が変動することをもたらす可能性があるため、実パターンＭ_ｒを撮像するときにこれらの誤差を補正するために、可能な実施形態では、カメラ３の複数の画像Ｂにわたって積分が実行される。この積分により、赤外線領域でのカメラ３の解像度もまた向上し、これは、従来のカラーカメラとして形成されたカメラ３が可視光領域で最高の感度を有し、赤外線領域でかなり低い感度を有するため、有利である。

【0035】

可能な更なる実施形態では、カメラ３は、較正のために較正モードに切り替えられる。更に、干渉を低減し、かつ／又は色品質を向上させるために、カメラ３が赤外光フィルタを有することが可能である。この赤外線フィルタは、例えば、反射されたＩＲレーザパルスに対して透過性であること、又はカメラ３の較正モードにおいて、ＬＩＤＡＲセンサ２．１の赤外線レーザ光線に対する透過状態に切り替え可能であることのいずれかであるように設計されている。

【0036】

方位角誤差及び仰角誤差に基づいて、ＬＩＤＡＲセンサ２．１の座標系は、カメラ３の座標系に対して変位され、かつ回転されている。したがって、２つの仮想パターンＭ_ｖ、Ｍ_ｅｖもまた、互いに対して変位され、かつ回転されている。

【0037】

一方の仮想パターンＭ_ｖ、Ｍ_ｅｖを他方の仮想パターンＭ_ｅｖ、Ｍ_ｖに変換するための変換方程式は、２つの仮想パターンＭ_ｖ、Ｍ_ｅｖから決定される。すなわち、座標変換の変換パラメータＰが決定されることを意味し、変換パラメータＰを用いて、カメラ３によって撮像されたデータをＬＩＤＡＲセンサ２．１の座標系に変換することができるか、又はＬＩＤＡＲセンサ２．１によって感知されたデータをカメラ３の座標系に変換することができる。

【0038】

次いで、決定された変換パラメータＰを用いて、通常の動作中、ＬＩＤＡＲセンサ２．１又はカメラ３によって決定された周囲データは、それぞれの他方のセンサの座標系に変換される。次いで、ＬＩＤＡＲセンサ２．１及びカメラ３は、同じ場所で同じ物体を認識する。

【図1】

【図2】