IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングの特許一覧

<>
  • 特許-周辺画像内の光源の位置座標の推定 図1a
  • 特許-周辺画像内の光源の位置座標の推定 図1b
  • 特許-周辺画像内の光源の位置座標の推定 図1c
  • 特許-周辺画像内の光源の位置座標の推定 図2
  • 特許-周辺画像内の光源の位置座標の推定 図3
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-29
(45)【発行日】2023-09-06
(54)【発明の名称】周辺画像内の光源の位置座標の推定
(51)【国際特許分類】
   G06T 7/70 20170101AFI20230830BHJP
   G06T 7/00 20170101ALI20230830BHJP
   G01B 11/00 20060101ALI20230830BHJP
【FI】
G06T7/70 A
G06T7/00 650Z
G01B11/00 H
【請求項の数】 9
(21)【出願番号】P 2020566274
(86)(22)【出願日】2019-05-22
(65)【公表番号】
(43)【公表日】2021-09-27
(86)【国際出願番号】 DE2019200045
(87)【国際公開番号】W WO2019233533
(87)【国際公開日】2019-12-12
【審査請求日】2022-05-10
(31)【優先権主張番号】102018208739.3
(32)【優先日】2018-06-04
(33)【優先権主張国・地域又は機関】DE
(73)【特許権者】
【識別番号】503355292
【氏名又は名称】コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング
【氏名又は名称原語表記】Conti Temic microelectronic GmbH
【住所又は居所原語表記】Ringlerstrasse 17, 85057 Ingolstadt, Germany
(74)【代理人】
【識別番号】100069556
【弁理士】
【氏名又は名称】江崎 光史
(74)【代理人】
【識別番号】100111486
【弁理士】
【氏名又は名称】鍛冶澤 實
(74)【代理人】
【識別番号】100191835
【弁理士】
【氏名又は名称】中村 真介
(74)【代理人】
【識別番号】100208258
【弁理士】
【氏名又は名称】鈴木 友子
(74)【代理人】
【識別番号】100221981
【弁理士】
【氏名又は名称】石田 大成
(72)【発明者】
【氏名】パナコス・アンドレアス
(72)【発明者】
【氏名】ビュルカー・マルティン
(72)【発明者】
【氏名】グローガー・シャルロッテ
(72)【発明者】
【氏名】キットマン・フランク
(72)【発明者】
【氏名】マイヤース・モーリッツ
(72)【発明者】
【氏名】フリーベ・マルクス
【審査官】藤原 敬利
(56)【参考文献】
【文献】特開2016-142647(JP,A)
【文献】独国特許出願公開第102011122454(DE,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01B 11/00 -11/30
G06T 1/00 - 1/40
G06T 3/00 - 7/90
G06V 10/00 -20/90
G06V 30/418
G06V 40/16 、40/20
H04N 5/222-5/257
(57)【特許請求の範囲】
【請求項1】
光源(120,125,128)の種類が、点光源乃至平行光源であることができ、以下の:
a)カメラ(200)によって周辺画像(300)として周辺部(100)を捕捉するステップと、
b)周辺画像(300)における高い明度の領域(310)、即ち、それらの明度が、予め定められた閾値を超えているピクセルの集合を割り出すステップと、
c)高い明度の領域(310)に基づいた光源(120,125,128)の位置座標(335)を第一算出方法の内の一つに基づいて割出すステップと、
d)周辺画像(300)上のオブジェクト(150)、特に車両の影(350)から光源の種類(120,125,128)を割り出すステップと、
を有していて、
ステップd)が、以下の部分ステップ:
d1)オブジェクト(150)の影(350)の縁(351,352,355,356)と光源(120,125,128)の位置座標(335)から影(350)を光源(120,125,128)に帰属させるステップと、
d2)影(350)の縁(351,352,355,356)の平行度から、光源(120,125,128)の種類、即ち、縁(355,356)が平行であることから平行光源であること、縁(355,356)が平行で無いことから点光源であることを割り出すステップと、
を有していることを特徴とする周辺画像(300)内の光源(120,125,128)の位置座標と種類を推定する方法。
【請求項2】
以下の:
e)平滑化するフィルタ、特に、カルマンフィルタを、光源(120,125,128)の位置座標に用いる付加的なステップを有していることを特徴とする請求項1に記載の方法。
【請求項3】
カメラ(200)が、複数のカメラから構成されている、特に好ましくは、サラウンドビューカメラであることを特徴とする請求項1又は2に記載の方法。
【請求項4】
ステップb),c),d)乃至e)が、複数回実施され、複数の光源(120,125,128)に対して用いられることを特徴とする請求項1~3のうちいずれか1項に記載の方法。
【請求項5】
周辺画像の高い明度の領域(310)が、白飛びしていることを特徴とする請求項1~4のいずれか1項に記載の方法。
【請求項6】
ステップc)が、以下の部分ステップ:
c1)高い明度の領域(310)の縁にある三つのピクセル(331,332,333)を選択するステップと、
c2)三つのピクセル(331,332,333)の内それぞれ二つのピクセル(331,332,333)を一本の第一(341)及び一本の第二直線(342)によってつなぐステップと、
c3)第一(341)及び第二直線(342)の中点を通る第一(346)及び第二法線(347)を形成するステップと、
c4)第一(346)及び第二法線(347)の交点(335)から光源(120,125,128)の位置座標(335)を割り出すステップと、
を有していることを特徴とする請求項1~5のいずれか1項に記載の方法。
【請求項7】
請求項1~6のいずれか1項に記載のカメラ(200)に接続され、請求項1~6のいずれか1項に記載の方法を実施できるように構成されている制御装置(400)。
【請求項8】
制御装置(400)上において実施された場合、制御装置(400)に対して、請求項1~6のいずれか1項に記載の方法を実施するように命令するプログラム・エレメント。
【請求項9】
請求項8に記載のプログラム・エレメントが保存されていることを特徴とするコンピュータによって読み取り可能な媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、周辺画像内の、特に車両におけるサラウンドビューカメラの周辺画像内の光源の位置座標と種類を推定する装置並びに方法に関する。更に本発明は、プログラム・エレメント、並びに、コンピュータによって読み取り自在な媒体に関する。
【背景技術】
【0002】
周辺画像内の光源の位置座標を推定するための方法は、例えば、所謂「拡張現実(“augmented reality”)」のアプリケーションにおいて、周辺の可能な限り現実的な画像を作成するために用いられる。最近では、この方法は、陸上用車両において、ドライバーに、その中に拡張現実のエレメントが映し出される周辺部の高速且つ直感的な画像を伝達するために用いられている。これには-車両が高速で走っている場合でも-リアルタムに算出される周辺部の写真現実的画像が必要とされる。ここでは、周辺画像内の光源の位置座標と種類が重要な役割を果たす。位置座標とは、ここでは、各々の光源の位置の二次元乃至三次元モデルであると解釈できる。幾つかの実施例においては、該位置座標は、各々の光源の方向であると解釈される。光源の種類は、点光源や平行光源として解釈される。平行光源(“directional illumination sources”)とは、典型的には、例えば、太陽など、非常に遠くにある光源である。点光源(“point illumination sources”)とは、例えば、街路灯など、近くに配置された光源である。
【0003】
従来の技術の方法では、この計算に、非常に高い計算能力が必要とされている。更に、多くの方法では、主光源として評価された唯一つの光源のみを考慮することが出来る。また、多くの方法は、一つの、或いは、複数の光源の位置座標を推測するために基準オブジェクトを必要としている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
これらの背景に基づき、本発明の課題は、従来の技術の欠点を少なくとも部分的に解消することである。
【課題を解決するための手段】
【0005】
上記目的は、独立特許請求項に記載されている対象によって達成される。本発明の発展形態は、従属請求項ならびに以下の明細書によって示される。
【0006】
本発明は、周辺画像内の光源の位置座標と種類を推定する方法を包含しているが、該光源の種類は、点光源乃至平行光源のいずれであっても良い。該方法は、以下のステップを包含している:
a)カメラによって周辺画像として周辺部を捕捉するステップ。該周辺画像は、幾つかの実施形態では-特に動いている陸上用車両では-規則的な時間的間隔をおいて、撮影される。それぞれの撮影の間に、該車両は、動いている。幾つかの実施形態では、これは、拡張現実の算出された画像が、適切な方法によって、特に好ましくは、車両の速度を考慮した上で、インポートされることによって考慮される。記載されている方法は、各々の周辺画像に適応される。該周辺画像は、例えば、制御装置、乃至、計算機のメインメモリに一時保存される。幾つかの実施形態では、該計算機は、車両内部に設置されている、乃至、車両と接続されている。
b)周辺画像における高い明度の領域、即ち、それらの明度が、予め定められた閾値を超えているピクセルの集合を割り出すステップ。この際、予め定められた閾値は、定数乃至変数であることができる。ある実施形態では、該閾値は、周辺画像の総合明度乃至最高明度から割り出される。特に、日没以降に撮影された周辺画像が、この様なケースに当てはまる。
【0007】
続いて、該捕捉された周辺画像は、ピクセルの集合が、関連しているか、或いは、関連していないものであるのかが、分析される。該ピクセルの集合が、関連しているものである場合、これは、明度が高い(関連した)面であると解釈される。該ピクセルの集合が、関連していないものである場合は、捕捉された周辺画像が、複数の独立した光源を有していると解釈される。この様なケースでは、以下のステップが、各々の光源一つ一つに対して実施される。幾つかの実施形態では、関連していないピクセル間の最少間隔が予め定義されており、この最少間隔を超えてからのみ、関連しないピクセルを、複数の独立した光源のものであるとみなされる。
c)高い明度の領域に基づいた光源の位置座標を第一算出方法の内の一つに基づいて割出すステップ。尚、該高い明度の領域は、予め定められた明度の閾値によって定まる縁を有している。幾つかの実施形態では、縁は、該閾値を超えるピクセルと、該閾値を下回っている隣接するピクセルによって定めることができる。幾つかの実施形態では、該縁は、平滑にすることもできる。
【0008】
高い明度の領域の縁を算出した後、第一計算方法によれば、高い明度の領域の中心が割り出される。その際、該第一計算方法は、例えば、各々の高い明度の領域の幾何学的重心を割り出すことができる、或いは、各々の領域の中心を算出するための割線方法乃至他の方法を採用することもできる。該中心乃至重心は、光源の位置座標であると見ることができる。
d)周辺画像上のオブジェクト、特に車両のから光源の種類を割り出すステップ。各々の光源の位置座標の算出後は、周辺画像のが、分析される。その際、カメラは、影を落とすオブジェクトに配置されていても良い。該オブジェクトは、特に、車両であることができる。この際、各々の光源にが帰属される。続いて、影の形状から、例えば、その縁の平行度から、光源の種類を割り出すことができる。
【0009】
この様な算出のやり方は、この様に得られた結果、即ち、各々の光源の位置座標だけでなくその種類に関しても知ることができることにより、拡張現実の画像の特にリアルなモデル化が可能になることから特に有利である。この方法によれば、唯一のメイン光源だけでなく、複数の光源を考慮できるため、更に有利である。特に、この方法では、必ずしも全方向性の周辺画像をベースとする必要も無い。加えて、これらの結果は、少ない計算負荷-即ち、短い計算時間、乃至、速度の遅いプロセッサ-によって得ることができる。更に、周辺部の煩雑なモデル化、及び/或いは、既知のオブジェクトのデータベースの使用も必要なくなる。
【0010】
ある実施形態では、本発明は、付加的に以下のステップも有してしている:
e)平滑化するフィルタ、特に、カルマンフィルタを、光源の位置座標に用いるステップ。
【0011】
これは、これまでの方法ステップにおけるエラーを内包する推定を、少なくとも部分的に補正することにおいて、特に有利である。このステップは、更には、カメラが、動いている車両に、乃至、その内部に配置されることにより、周辺画像の(例えば、時間的な)シーケンスがある場合、有利に使用することができる要するに、該方法の更なる長所は、静的でないシーンでも計算できると言うことにある。
【0012】
ある実施形態では、該カメラは、複数のカメラから構成されている、特に好ましくは、サラウンドビューカメラである。例えば、ある実施形態では、四台のカメラが、車両に乃至その内部に配置されている。その配置では、各方向(左、右、前、後)にそれぞれ一台のカメラを設けることができる。該カメラは、その際、必ずしも正確に90度ずらされている必要は無い。この実施形態は、光源の位置座標を三次元の座標において算出できる長所を有している。加えて、該カメラは、それらが重なり合っている領域において、各々他のカメラの周辺画像の修正のために用いられることができる。
【0013】
ある実施形態では、ステップb),c),d)乃至e)は、複数回実施されることができる。ある実施形態では、これらのステップは、複数の光源に対して用いられることができる。
【0014】
ある実施形態では、周辺画像の高い明度の領域は、白飛び(明るさが飽和)している。「白飛び」する値とは、用いられているカラースケールにおける最も高い明度値、即ち、例えば、純粋なグレースケールでは、十六進方法の「FF」、RGBスケールでは、「FFFFFF」で表される値である。これらの値は、従来の技術の多くのアルゴリズムでは、そのアルゴリズムに問題を生じさせる、及び/或いは、長い計算時間の要因となり得るため、避けられている。本件発明では、「白飛び」の値を用いることにより、計算を簡略化できる-即ち、更に加速できる。
【0015】
ある実施形態では、ステップc)は、以下の部分ステップを有している:
c1)高い明度の領域の縁にある三つのピクセルを選択するステップ;
c2)三つのピクセルの内それぞれ二つのピクセルを一本の第一及び一本の第二直線によってつなぐステップ;
c3)第一及び第二直線の中点を通る第一及び第二法線を形成するステップ;
c4)第一及び第二法線の交点から光源の位置座標を割り出すステップ。
【0016】
ある実施形態では、ステップc)は、以下の部分ステップを有している:
d1)オブジェクトのの縁と光源の位置座標からを光源に帰属させるステップ。
d2)の縁の平行度から、光源の種類、即ち、縁が平行であることから平行光源であること、縁が平行で無いことから点光源であることを割り出すステップ。
【0017】
本発明は、カメラとつながれ、上記方法を実施できるように設定された制御装置も包含している。該制御装置は、該一台の乃至複数のカメラと同様、車両に、或いは、車内に配置されることができる。計算能力の一部は、外部に、例えば、外部のサーバに委託する事も可能である。
【0018】
本発明は、上記の制御装置上で実施され、該制御装置に上記の方法の実施を命令するプログラム・エレメントも包含している。
【0019】
更に本発明は、コンピュータによって読み取り自在な、それに上記のプログラム・エレメントが保存されている媒体も包含している。
【0020】
本発明を、以下、明確さを高めるためのみであって、限定することは目的としていない実施形態の例に係る図面に基づいて説明する。
【図面の簡単な説明】
【0021】
図1a】模式的に、上記の方法を応用することができる起こり得るシナリオを示す。
図1b】模式的に、周辺画像から一つの光源の位置座標を算出する例を示す。
図1c】模式的に、一つの光源の種類を算出する例を示す。
図2】サラウンドビューカメラによって撮影された周辺画像の例を示す。
図3】一つの光源の位置座標と種類を算出する方法の例を示す。
【発明を実施するための形態】
【0022】
図1aは、模式的に、上記の方法を応用することができる起こり得るシナリオの概要を示している。ここでは、周辺100は、三つの光源120,125,128を有している。ここでは、光源120は、太陽、即ち、平行光源を示し、光源125と128は、点光源を示している。加えて、該周辺100は、それに四台のカメラ200が配置されている車両150も有している。更に、車両150内には、カメラと接続420を介して接続されている制御装置400も配置されている。該車両150は、第一光源120からの350を落としている。第二光源125と128からのは、ここでは、描写されていない。
【0023】
図1bは、四台のカメラ200によって撮影された周辺画像300から光源の位置座標を算出する例を示している。該カメラ200は、通常、周辺画像300内には写っていない;明確にするためだけに、ここでは、付加的に描かれている。位置座標を算出する一つのやり方が、第一光源120を例に示されている。第一光源120の高い明度の領域310は、その値として「白飛び」を有している。高い明度の領域310の縁330から、三つのピクセル331,332,333を選択し、各々二つを直線341,342によって結ぶ。該直線341,342の中点に垂線を下ろした、乃至、法線346,347を作図した。該法線346と347の交点335は、高い明度の領域310の算出された中心335である。ここで、二台のカメラ200が、第一光源120を捕捉していることは、好ましく利用できる。なぜならば、これにより、第一光源120の三次元的位置座標を割り出すことができるからである。
【0024】
この方法は、第二光源125と128にも応用することができる。これにより、図1bの周辺画像300からは、光源120,125,128の位置座標が算出される。
【0025】
図1cは、周辺画像300から一つの光源の種類を算出する例を示している。その際先ず、350が、その中心335が既に求められている第一光源120に帰属される。該350は、縁351,352を有している。ここでは、該縁351,352が、平行であることは、明らかである。よって、この計算から、第一光源120が、平行光源であることが解る。
【0026】
第二光源125-第二光源128も同様である-によるは、有意に異なる縁355,356を有している。これらの縁355,356は、平行ではなく、且つ、これらの縁355,356は、第二光源125に帰属され得るため、第二光源125は、点光源であると識別できる。同様に第二光源128も、点光源であると識別できる(は図示されていない)。
【0027】
図2は、サラウンドビューカメラによって撮影された周辺画像300の例を示している。ここでは、一つの第一光源120と一つの第二光源125が、明確に示されている。該第一光源120は、明度値「白飛び」を有している。更に、該第一光源120によって形成された高い明度の領域は、第一計算方法を実施するに当たって必ずしも円形である必要は無いことも示されている。加えて、周辺画像300には、車両150も示されている。該車両150は、第一光源120による350を落としている。該350は、縁351、352を有している。ここでは、該縁351,352が、平行であることは、明らかである。よって、この計算からは、該光源の位置座標だけでなく、第一光源120が、平行光源であることも解る。
【0028】
第二光源125によるは、縁355,356を有している。これらの縁355,356は、平行ではなく、且つ、これらの縁355,356は、第二光源125に帰属され得るため、第二光源125は、点光源であると識別できる。
【0029】
図3は、一つの光源の位置座標と種類を算出する方法の例を示している。
【0030】
第一ステップ501では、周辺部100は、周辺画像300として捕捉される。これは、カメラ200によって実施される。これらのカメラ200は、サラウンドビューカメラとして実施されていても良く、後に一枚の全体周辺画像300に合成される複数の物質的なカメラ200を包含していることができる。
【0031】
第二ステップ502では、周辺画像300の高い明度の領域310、即ち、その明度が予め定義されている閾値を超えているピクセルの集合が割り出される。ある実施形態では、周辺画像の高い明度の領域310は、白飛びしていてもよい。周辺画像300内に複数の光源120,125,128が写っている場合は、各々の光源120,125,128に対して高い明度の領域310が割り出される。
【0032】
第三ステップ503では、高い明度の領域310から、第一計算方法に基づいて、各々の光源120,125,128の位置座標335が割り出される。その際、該第一計算方法は、例えば、各々の高い明度の領域の幾何学的重心を割り出すことができる、或いは、各々の領域の中心を算出するための割線方法乃至他の方法を採用することもできる。該中心乃至重心は、光源の位置座標であると見ることができる。
【0033】
第四ステップ504では、車両150の影350から、光源120,125,128の種類が割り出される。各々の光源の位置座標が算出された後、周辺画像のが、分析される。その際、カメラは、影を落とすオブジェクトに配置されていても良い。該オブジェクトは、特に、車両であることができる。この際、各々の光源120,125,128にが帰属される。続いて、影の形状から、例えば、その縁の平行度から、光源の種類を割り出すことができる。
【0034】
尚、ここで使われている用語「包含する(原文=“umfassend”)」と「有する(原文=“aufweisend”)」は、他のエレメントや他のステップが含まれないと言う意味で使われているのではなく、また、原文における不定冠詞“eine”や“ein”(対訳=「ひとつの」)によって、「複数」が排除されるものではないことを、捕捉として指摘しておく。更に、ひとつの、或いは、上述の実施例への参照と共に記述されている特徴やステップは、他の上述の実施例の他の特徴やステップとの組み合わせで使用されてもよいことも指摘しておく。請求項内の符号は、制限をかけるものではない。
なお、本願は、特許請求の範囲に記載の発明に関するものであるが、他の観点として以下を含む。
1.
光源(120,125,128)の種類が、点光源乃至平行光源であることができ、以下の:
a)カメラ(200)によって周辺画像(300)として周辺部(100)を捕捉するステップと、
b)周辺画像(300)における高い明度の領域(310)、即ち、それらの明度が、予め定められた閾値を超えているピクセルの集合を割り出すステップと、
c)高い明度の領域(310)に基づいた光源(120,125,128)の位置座標(335)を第一算出方法の内の一つに基づいて割出すステップと、
d)周辺画像(300)上のオブジェクト(150)、特に車両の影(350)から光源の種類(120,125,128)を割り出すステップと、
を有していることを特徴とする周辺画像(300)内の光源(120,125,128)の位置座標と種類を推定する方法。
2.
以下の:
e)平滑化するフィルタ、特に、カルマンフィルタを、光源(120,125,128)の位置座標に用いる付加的なステップを有していることを特徴とする上記1の方法。
3.
カメラ(200)が、複数のカメラから構成されている、特に好ましくは、サラウンドビューカメラであることを特徴とする上記1又は2の方法。
4.
ステップb),c),d)乃至e)が、複数回実施され、複数の光源(120,125,128)に対して用いられることを特徴とする上記1~3のうちいずれか1つの方法。
5.
周辺画像の高い明度の領域(310)が、白飛びしていることを特徴とする上記1~4のいずれか1つの方法。
6.
ステップc)が、以下の部分ステップ:
c1)高い明度の領域(310)の縁にある三つのピクセル(331,332,333)を選択するステップと、
c2)三つのピクセル(331,332,333)の内それぞれ二つのピクセル(331,332,333)を一本の第一(341)及び一本の第二直線(342)によってつなぐステップと、
c3)第一(341)及び第二直線(342)の中点を通る第一(346)及び第二法線(347)を形成するステップと、
c4)第一(346)及び第二法線(347)の交点(335)から光源(120,125,128)の位置座標(335)を割り出すステップと、
を有していることを特徴とする上記1~5のいずれか1つの方法。
7.
ステップd)が、以下の部分ステップ:
d1)オブジェクト(150)の影(350)の縁(351,352,355,356)と光源(120,125,128)の位置座標(335)から影(350)を光源(120,125,128)に帰属させるステップと、
d2)影(350)の縁(351,352,355,356)の平行度から、光源(120,125,128)の種類、即ち、縁(355,356)が平行であることから平行光源であること、縁(355,356)が平行で無いことから点光源であることを割り出すステップと、
を有していることを特徴とする上記1~6のいずれか1つの方法。
8.
上記1~7のいずれか1つのカメラ(200)に接続され、上記1~7のいずれか1つの方法を実施できるように構成されている制御装置(400)。
9.
制御装置(400)上において実施された場合、制御装置(400)に対して、上記1~7のいずれか1つの方法を実施するように命令するプログラム・エレメント。
10.
上記9のプログラム・エレメントが保存されていることを特徴とするコンピュータによって読み取り可能な媒体。
【符号の説明】
【0035】
100 周辺部
120 第一光源
125,128 第二光源
150 車両
200 カメラ
300 周辺画像
320,322,324 高い明度の領域
330 高い明度の領域の縁
331,332,333 縁のピクセル
335 高い明度の領域の算出された中心
341,342 直線
346,347 法線
350 第一光源による
351,352 第一光源によるの縁
355,356 第二光源によるの縁
400 制御装置
420 カメラ-制御装置間の接続
501~504 方法のステップ
図1a
図1b
図1c
図2
図3