特表 2023-553885 透明プレートの影響を測定するための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-12-26

(54)【発明の名称】透明プレートの影響を測定するための方法

(51)【国際特許分類】

   G01N 21/17 20060101AFI20231219BHJP

   G01B 11/24 20060101ALI20231219BHJP

   G06T 7/00 20170101ALI20231219BHJP

【ＦＩ】

G01N21/17 A

G01B11/24 Z

G06T7/00 610C

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023534261

(86)(22)【出願日】2021-10-18

(85)【翻訳文提出日】2023-07-18

(86)【国際出願番号】 EP2021078805

(87)【国際公開番号】W WO2022122230

(87)【国際公開日】2022-06-16

(31)【優先権主張番号】102020215417.1

(32)【優先日】2020-12-07

(33)【優先権主張国・地域又は機関】DE

(81)【指定国・地域】

(71)【出願人】

【識別番号】591245473

【氏名又は名称】ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(72)【発明者】

【氏名】バーグナー，アンドレ

(72)【発明者】

【氏名】クノル，モリッツ・ミヒャエル

(72)【発明者】

【氏名】ユンゲ，ベケ

(72)【発明者】

【氏名】フォン ツィッツェビッツ，ヘニング

(72)【発明者】

【氏名】ランゲ，オリバー

(72)【発明者】

【氏名】ジーモン，シュテフアン

【テーマコード（参考）】

2F065

2G059

5L096

【Ｆターム（参考）】

2F065AA20

2F065BB22

2F065FF01

2F065FF42

2F065JJ03

2F065JJ08

2F065JJ26

2F065QQ01

2F065QQ24

2F065QQ25

2F065QQ31

2G059AA02

2G059AA05

2G059BB08

2G059BB10

2G059CC20

2G059EE01

2G059EE04

5L096CA04

5L096FA66

(57)【要約】

透明プレート（１４）の影響を測定するための方法であって、プレート（１４）によって誘起された変位場が決定され、第１のステップでは、透明プレート（１４）無しでのテクスチャード加工面の第１の画像が撮影され、第２のステップでは、透明プレート（１４）有りでのテクスチャード加工面の第２の画像が撮影され、かつ第３のステップでは、オプティカルフロー法を使って両方の画像を分析することで変位場が決定される方法。

【特許請求の範囲】

【請求項1】

透明プレート（１４，５８，１０２）の影響を測定するための方法であって、前記プレート（１４，５８，１０２）によって誘起された変位場（１５０）が決定され、
－ 第１のステップでは、前記透明プレート（１４，５８，１０２）無しでのテクスチャード加工面（５６）の第１の画像（６０）が撮影され、
－ 第２のステップでは、前記透明プレート（１４，５８，１０２）有りでの前記テクスチャード加工面（５６）の第２の画像（６２）が撮影され、
－ 第３のステップでは、オプティカルフロー法を使って前記両方の画像（６０，６２）を分析することで前記変位場（１５０）が決定される、
方法。

【請求項2】

前記テクスチャード加工面（５６）が、表面へのテクスチャの投影によって生成される、請求項１に記載の方法。

【請求項3】

前記テクスチャード加工面（５６）が、強い局所的なコントラストを有する、請求項１または２に記載の方法。

【請求項4】

前記テクスチャード加工面（５６）が、様々な局所的な空間周波数を有するパターンによって規定されている、請求項１から３のいずれか一項に記載の方法。

【請求項5】

そのつど変化させたテクスチャード加工面（５６）の、それぞれ透明プレート（１４，５８，１０２）有りおよび無しでの複数の画像（６０，６２）が撮影され、前記画像（６０，６２）が、評価の際にそれぞれ組み合わされる、請求項１～４のいずれか一項に記載の方法。

【請求項6】

追加的に少なくとも１つのミラーが用いられる、請求項１～５のいずれか一項に記載の方法。

【請求項7】

前記少なくとも１つのミラーにおける不完全性の影響を決定するために用いられる、請求項６に記載の方法。

【請求項8】

前記測定された透明プレート（１４，５８，１０２）を格付けおよび場合によってはリリースするために用いられる、請求項１～７のいずれか一項に記載の方法。

【請求項9】

請求項１～８のいずれか一項に記載の方法を実施するために構築されている、透明プレート（１４，５８，１０２）の影響を測定するための装置。

【請求項10】

カメラ（１０，５４，１０４）を含む、請求項９に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、透明プレート、例えば防風ガラスの影響を測定するための方法およびこの方法を実施するための装置に関する。

【背景技術】

【0002】

フロントガラスとも呼ばれる防風ガラスは、通常ガラスから、例えば合わせガラスから成っており、車両の運転者に前方への眺望を可能にするプレートである。防風ガラスは同時に運転者に対し、風、天候、および気流中の粒子からの保護を提供する。以下に説明する方法は、フロントガラスに限定されるのではなく、リアガラスまたはその他の車窓ガラスの後ろのカメラシステムにも用いられ得る。以下では、典型的な適用例としてフロントガラスの事例が考察される。

【0003】

光は、防風ガラスを通って差し込むときにこの透明な媒質によって屈折する。この屈折は、したがって光路への防風ガラスの影響は、防風ガラス自体の湾曲により、および厚さの、湾曲のばらつきにより、または材料特性の局所的変化により予測し難い。たとえこの影響が人には少ないと判断されることが多くても、この影響は、典型的には防風ガラスに非常に密接して取り付けられるカメラシステムの機能には強く影響を及ぼし得る。

【0004】

これはとりわけ、昨今のカメラを利用した運転者支援システムまたは先進運転支援システム（ＡＤＡＳ）にとっては重大である。防風ガラスの影響は、これが考慮されない場合、例えばオブジェクトの位置または速度に関する誤推定を引き起こし得る。この影響は、いわゆる変位場によって説明され得る。プレートは、屈折によって視光線のズレおよび角度変化を誘起する。このズレは典型的には小さく、距離によって変化しない。しかし角度ズレは、比較的大きな距離ではその角度に応じて比較的大きな誤差を生じさせる。したがって変位場により、とりわけ第２の効果、誘起された角度変化が決定されるべきである。

【0005】

防風ガラスの変位場を決定するために様々な方法が利用される。プレートによって生成された角度変化を測定するため、自動車の分野では主としていわゆるモアレ干渉計が利用される。しかし、こうして得られた情報は、防風ガラスに密接して取り付けられたカメラの特有の変位場には転用し難い。

【0006】

その他の方法は、カメラおよび正確に把握している較正体を使って変位場を決定することに基づいている。較正体を把握したうえで、画像内または画像空間内の変位を決定することにより、防風ガラスの歪曲効果が算出される。

【発明の概要】

【課題を解決するための手段】

【0007】

これを踏まえて、請求項１に基づく方法および請求項９に基づく装置が紹介される。実施形態は引用形式請求項および発明の説明から明らかである。
この紹介される方法は、とりわけ、例えばカメラシステムのために、透明プレートを非常に正確に測定するために用いられ、その際にはこのプレートの影響が測定される。プレート、例えば防風ガラスは、典型的にはカメラの前に取り付けられ得るかまたはそこに取り付けられている。この方法は、透明プレートによって誘起された変位場を決定する。第１のステップでは、プレート無しでのテクスチャード加工面の第１の画像が撮影され、第２のステップでは、プレート有りでのテクスチャード加工面の第２の画像が撮影される。第３のステップでは、オプティカルフロー法を使って両方の画像を分析することで変位場が決定される。

【0008】

前述の方法は、防風ガラスまたはフロントガラスに限定されるのではなく、リアガラスまたはその他の車窓ガラスの後ろのカメラシステムにも用いられ得る。以下では、典型的な適用例として防風ガラスの事例が考察される。

【0009】

プレート有りで撮影するとは、撮影の際に、カメラとテクスチャード加工面の間に、したがってカメラとテクスチャード加工面の間の光線経路内にプレートがあることを意味している。これに相応して、プレート無しでの撮影ではこの箇所にプレートが配置されていない。

【0010】

テクスチャまたはテクスチャード加工面とは、この面が、ある特定のパターンを有するということである。これに関し、この方法には特に、ランダムなパターン、例えばノイズパターンを有し、空間周波数の幅広いスペクトルを有するテクスチャが提案される。このようなパターンは、例えば、様々な周波数のノイズパターンの重ね合わせによって生成することができ、この場合、例えばパーリンノイズが使用される。

【0011】

ここで提案している方法により、防風ガラスによって誘起され、カメラの画像空間内に生じている変位場を決定することが達成される。変位場とは、ここでは、変えられた光線経路から生じる例えば拡張、延伸、変位などによる、画像空間内のオブジェクトの幾何学的変位のことである。

【0012】

本発明のさらなる利点および形態は、発明の説明および添付の図面から明らかである。
上で挙げた特徴および以下でさらに解説する特徴が、それぞれ提示された組合せでだけでなく、その他の組合せでまたは単独でも、本発明の枠を逸脱することなく使用できることは自明である。

【図面の簡単な説明】

【0013】

【図1】防風ガラスおよびカメラの概略図である。

【図2】非常に正確な較正の際の手順を示す図である。

【図3】変位場を決定するための実験装置を示す図である。

【図4】照明されたランダムパターンを有する実験装置を示す図である。

【図5】前述の方法によって決定された変位場の一例を示す図である。

【図6】幕に投影された変位場を示す図である。

【発明を実施するための形態】

【0014】

本発明を、実施形態に基づいて図面に概略的に示しており、以下に図面を参照しながら詳細に説明する。
図１は、カメラ１０から出ており、光線経路１６を規定している視光線１２の、防風ガラス１４による幾何学的偏向を概略図で示す。防風ガラス１４の領域で、この偏向が、したがってここではカメラ１０から出ている光線経路１６への防風ガラス１４の影響が、はっきりと認識され得る。変えられた光線経路１６は、位置に関するズレも、視光線１２の方向変化も引き起こす。特に後者は、カメラ１０とオブジェクトの間に比較的大きな隔たりがある場合に重大である。

【0015】

１つのカメラによって撮影された、防風ガラス有りおよび無しでの２つの画像を比較することで、これらの画像の間に変位場が生じる。つまり、画像の一部が押しつぶされ、延伸され、または変位されており、したがって変化している。すなわち変位場は、この変化の数学的表現であるベクトル場である。これにより、画像内で見えているあらゆる構造に関し、それがどこに変位されたかが表現され得る。

【0016】

つまりここで提案している方法は、この変位場を、比較的簡単な手段および既存の方法で、非常に正確に、かつ密度高く、つまりターゲットのカメラシステムの各画素に対し、決定することを可能にする。ターゲットのカメラシステムを使って、防風ガラス有りおよび無しでのテクスチャード加工表面のそれぞれ１つの画像が撮影される。続いて、画像内のオプティカルフローに関する密な変位場を決定するための方法が、変位場を決定するために使用される。これは図２に概略的に示されている。

【0017】

図２は、非常に正確な較正のための手順を明らかにしている。この図は、上５０に防風ガラス無しでの撮影を、下５２に防風ガラス有りでの撮影を示している。この図は、上５０および下５２にそれぞれカメラ５４、テクスチャード加工面５６を、下５２に防風ガラス５８を示している。

【0018】

最初に、防風ガラス無しでのテクスチャード加工面５６の第１の画像６０が撮影される。続いて、防風ガラス５８有りでの第２の画像６２が撮影される。オプティカルフロー法を使って画像６０，６２を分析することで変位場が決定される。

【0019】

第１の画像内の各画素に対し、第２の画像内での帰属の画素が決定され、これに関し、両方の画像内の様子、例えば画像の明るさの変化またはそれを基に導き出された特徴は、高い類似性を有すると仮定される。この手順により、密なベクトル場を決定でき、つまり、すべてのまたはほぼすべての画素に変位情報がある。

【0020】

撮影されるテクスチャが、幾つかの特定の、ただし簡単に生成され得る特性を有するのが望ましいことを顧慮しなければならない。一部では、適切なテクスチャード加工表面が屋外環境でも見つけられ得る。

【0021】

生成されたテクスチャの場合と同じように、十分に強い局所的なコントラストを有するランダムなパターンが存在することが望ましい。これは、例えば強い天候影響に曝された外壁であり得る。これに対し、例えば青い空のような単調な領域は避けられるべきである。

【0022】

これまでは、防風ガラスの測定のために、特別な標識を検出するための特別な方法で機能する非常に正確な較正体が用いられてきた。これに対し、ここで提案している方法は、テクスチャード加工表面についての事前把握を必要とせず、テクスチャード加工表面の物理的性質にあまり条件を課さず、かつ密な変位場の決定に一般に行われている方法の利用を可能にする。

【0023】

この方法は、一方では、量産された防風ガラスの特性を決定するために、またはそれどころか製造中に決定するために利用され得る。つまり、防風ガラスの判定またはリリースが測定の結果に直接的に依存し得る。

【0024】

既に冒頭で解説したように、防風ガラスの変位場を決定するために様々な方法が使用される。これに関しては、なかでもモアレ干渉計が使用される。しかし、こうして得られた情報は、防風ガラスに密接して取り付けられたカメラの特有の変位場には転用し難い。その他の方法は、カメラおよび正確に把握している較正体を使って変位場を決定することに基づいている。そのような較正体が図３に示されている。

【0025】

図３は、把握している非常に正確な較正体８０を使って、カメラの前のプレートによって誘起された変位場を決定するための、あり得る実験装置を示す。この較正体８０は例えば市松模様の場であり得る。

【0026】

本願では、提案している方法を使って、防風ガラスによって誘起され、カメラの画像空間内に生じている変位場を決定することが目指される。変位場とは、ここでは、変えられた光線経路から生じる例えば拡張、延伸、変位のような、画像空間内のオブジェクトの幾何学的変位のことである。

【0027】

以下では、あり得る装置を説明する。この装置および一般的な手順に対する代替策は以下でさらに説明されている。この装置は、図２では概略的に、図４では現実的な装置において示されている。

【0028】

図４は、照明されたランダムパターン１００と、防風ガラス１０２の後ろに配置されたカメラ１０４とを有する実験装置を示す。カメラ１０４は、壁１０８の前で三脚１０６上に取り付けられる。壁１０８はそれ自体に特別なテクスチャが付いているか、またはプロジェクタによって特別なテクスチャが壁１０８に投影される。防風ガラス１０２のための支持体１１０は、カメラ１０４が防風ガラス１０２に対するその典型的な取付姿勢、つまり位置および向きになるように、カメラ１０４と壁１０８の間に配置される。次に、カメラ１０４により、その上に設置された防風ガラス１０２有りおよび無しでそれぞれ少なくとも１つの画像が撮影される。画像空間内の変位場を決定するための方法（これは一般にオプティカルフローと呼ばれる）を使って、画像中の変位場が決定される。

【0029】

一般的に、防風ガラス１０２無しでのカメラ１０４の結像特性は、把握されているかまたは簡単に、詳しくは取り付けられた防風ガラス１０２有りより簡単に決定することができる。典型的には、カメラ１０４の較正には測定スタンドが使われ、この測定スタンドの場合、カメラ１０４が専用の保持具内に締付固定され、かつ正確に把握している較正体が用いられる。このような手順は、１つまたは複数の取り付けられているカメラでは不可能である。それとともに、防風ガラス無しでのカメラに関する視光線角度と画素の関係は把握されている。そこで、変位場を使って、（防風ガラス有りの）修正された画素／視光線の関係が算出され得る。

【0030】

これに関し、例えば防風ガラス１０２のような光学要素の取り付けは、常に２つの効果を有し、すなわち一つには角度関係の変化、もう一つには図１に示されているような視光線のズレを有することを顧慮しなければならない。後者は、関心のあるオブジェクトが多くの場合に遠くに、例えば数メートル離れており、よってズレの影響は無視できるので、実際には重要でないことが多い。ただしこのズレは、壁１０８に対して様々な間隔をあけた、複数の上で説明したような撮影によって決定され得る。これは、他の適用例にとっては関心事であり得る。

【0031】

図５には、この方法で決定された変位場１５０が示されている。ここでは各画素に、密なオプティカルフロー法による測定が存在する。ここでは水平な変位だけが示されている。強さは色分けされ得る。

【0032】

オプティカルフロー法に適したテクスチャは、とりわけ、強い局所的なコントラストを有し、例えばランダムなノイズパターンのように可能な限りランダムである。テクスチャが、カメラに対する様々な距離のためにも機能するように、また様々な解像度を、つまり１度当たりの画素をもつカメラのためにも機能するように、パターンが様々な局所的な空間周波数を有することが理想である。パターンは事前に把握されていなくてもよい。

【0033】

例えば図３に示されているような非常に正確な較正体を用いる既知の方法に対し、ここで提案している方法は多くの利点を有する。
すなわち、ランダムテクスチャが、密なオプティカルフロー法を使用する際に各画素での変位場の決定を可能にする。較正体の場合、これは典型的にはすべての箇所では不可能である。図３の装置の場合、これは交点でしか可能でない。密なオプティカルフロー法は既知である。

【0034】

さらに、適切なオプティカルフロー法は、非常に高い精度に、詳しくは１つの画素の大きさよりはるかに細かい精度に達し得る。つまりこの方法の精度は、基礎になっているオプティカルフロー法の精度と直接的に関連し、しかし較正体の精度とは関連しない。

【0035】

ランダムテクスチャ内での異なる空間周波数の使用により、このパターンは、非常に異なる間隔またはカメラ画像解像度の場合でも使用され得る。これは典型的な較正体では多くの場合に簡単には可能でない。

【0036】

加えて、テクスチャード加工表面の作成に多くの余地を残しておくことが考慮されるべきである。つまり例えば、テクスチャード加工されたフィルムは壁に取り付けられ得、または簡単に１つのパターンが１つまたは複数のプロジェクタで投影され得る。

【0037】

理想的な場合には、テクスチャード加工表面が、カメラおよび防風ガラスに対して現実の状況でのオブジェクトと同じような距離をあけており、つまり数メートルあけている。その理由は、防風ガラスによって誘起されたズレが同じような影響を有するからである。比較的大きな開口角をもつカメラの場合、これは非常に大きな表面を必要とする。９０度の水平な開口角および５メートルの間隔の場合、平らな面は少なくとも１０メートルの幅でなければならない。このようなことは、典型的な較正体ではほとんど実現され得ない。プロジェクタを使えば、例えば簡単に大きな壁を利用できる。部屋の隅なども使える。表面積は基本的に重要な問題ではなく、陰にならなければよい。

【0038】

一例は図６に示した幕２００である。唯一の前提条件は、カメラ、表面、およびテクスチャに関するセットアップが撮影中に動かないことである。ここでは、平らな壁の代わりに幕２００にランダムパターンが投影されることを顧慮しなければならない。この撮影は、プレートの測定に使用され、この方法が非常に正確な較正体に依存しないことを明らかにする。

【0039】

プロジェクタを利用する際に、防風ガラス有りおよび無しでの、パターンを変化させての複数の撮影が行われる場合、結果を組み合わせることにより、しばしばオプティカルフロー法の精度がさらに高められ得る。

【0040】

図４の装置では、様々な空間周波数をもつランダムテクスチャを印刷されたことにより高度にテクスチャード加工された面が生成された。これに対する代替策は、プロジェクタも利用して、テクスチャード加工されていない面上に、様々な空間周波数をもつランダムテクスチャを生成することである。複数のプロジェクタが組み合わされてもよい。これは、大きな開口角をもつカメラの場合に必要なカバー率をもたらすために非常に有益であり得る。代わりにモニタまたはスクリーンが使われてもよい。例えばアスファルト表面、混紡の絨毯、フリース壁紙、またはいろいろな家のファサードのような、多くの元からあるテクスチャもこの方法に適する。

【0041】

必ずしも平らな表面が利用されなくてよい。特に、大きな開口角をもつカメラの場合、カーブした表面または部屋の隅が理想的であり得る。
この方法は、他のガラスプレートまたは光学要素の場合にももちろん使用され得る。

【0042】

さらに、多くの適用において光路の延長にミラーが用いられることを顧慮しなければならない。原則的には、ミラーにおける不完全性の影響を決定するためにもこの方法が利用され得る。

【0043】

紹介している方法は、企業において、とりわけ内部での防風ガラスの測定に用いられ得る。防風ガラスについての統計を取り、この情報を開発プロセスにフィードバックすることが目指され得る。こうして、多数のまたはすべての生産された防風ガラスを測定して、結果に基づいて格付けまたはリリースされ得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】