▶ コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-15
(54)【発明の名称】ガラス裏側の車両カメラシステムの動的自動較正
(51)【国際特許分類】
G06T 7/80 20170101AFI20241108BHJP
G06T 7/00 20170101ALI20241108BHJP
【ＦＩ】
G06T7/80
G06T7/00 650Z
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024531109
(86)(22)【出願日】2022-11-10
(85)【翻訳文提出日】2024-05-23
(86)【国際出願番号】 DE2022200263
(87)【国際公開番号】W WO2023104254
(87)【国際公開日】2023-06-15
(31)【優先権主張番号】102021214040.8
(32)【優先日】2021-12-09
(33)【優先権主張国・地域又は機関】DE
(81)【指定国・地域】
(71)【出願人】
【識別番号】322007626
【氏名又は名称】コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング
(74)【代理人】
【識別番号】100069556
【弁理士】
【氏名又は名称】江崎 光史
(74)【代理人】
【識別番号】100111486
【弁理士】
【氏名又は名称】鍛冶澤 實
(74)【代理人】
【識別番号】100191835
【弁理士】
【氏名又は名称】中村 真介
(74)【代理人】
【識別番号】100221981
【弁理士】
【氏名又は名称】石田 大成
(74)【代理人】
【識別番号】100191938
【弁理士】
【氏名又は名称】高原 昭典
(72)【発明者】
【氏名】ラサルク・アレス
(72)【発明者】
【氏名】ハハフェルト・フェリクス
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA04
5L096CA02
5L096DA02
5L096FA67
5L096FA69
(57)【要約】
本発明は、運転支援システムおよび自動運転用のセンサシステムとして用いることができる、車両（３３）の走行中に車両カメラ（１；３１；４０）を自動較正する方法および装置に関する。車両カメラ（１；３１；４０）によりガラス（３２；４４）越しに車両（３３）の周辺環境（４５；４６）の領域が写像される。
本方法は、
ａ）車両カメラ（１；３１；４０）の投影モデルを供給するステップであって、投影モデルが、パラメータ（θｊ，ｉｎｔ，ψ）として、複数の外部パラメータ（θｊ）、車両カメラ（１；３１；４０）の少なくとも１つの内部パラメータ（ｉｎｔ）および少なくとも１つの、ガラス（３２；４４）を特徴付けるパラメータ（ψ）を備える、ステップと、
ｂ）車両（３３）のカーブ走行（５）中に車両カメラ（１；３１；４０）の画像シーケンスをキャプチャするステップと、
ｃ）カーブ推定器によりカーブ走行（５）中の車両（３３）の実際の移動に基づいてカーブタイプを決定するステップと、
ｄ）－車両（３３）の周辺環境の静止物体（４５）の画像シーケンスの画像点、
－車両（３３）の実際の移動および
－決定されたカーブタイプ
を考慮して、車両周辺環境の静止物体（４５）に対応する、画像シーケンスから決定された画像点と、投影モデルを用いて投影された、静止物体（４５）の画像点（ｐｉｊ）と間の誤差を示す
を最小化することにより、パラメータを推定するステップと、
ｅ）推定されたパラメータ（θｊ，ψ，ｉｎｔ）の少なくとも１つを出力するステップとを備える。
本解決策は、車両メーカ側ではカメラベースの運転支援システムの生産において試験システムを大幅に簡素化し、修理工場側ではカメラシステムまたは車両ガラスの交換の際の試験システムまたは較正システムを大幅に簡素化するという有利な点を提供する。
本方法は、
ａ）車両カメラ（１；３１；４０）の投影モデルを供給するステップであって、投影モデルが、パラメータ（θｊ，ｉｎｔ，ψ）として、複数の外部パラメータ（θｊ）、車両カメラ（１；３１；４０）の少なくとも１つの内部パラメータ（ｉｎｔ）および少なくとも１つの、ガラス（３２；４４）を特徴付けるパラメータ（ψ）を備える、ステップと、
ｂ）車両（３３）のカーブ走行（５）中に車両カメラ（１；３１；４０）の画像シーケンスをキャプチャするステップと、
ｃ）カーブ推定器によりカーブ走行（５）中の車両（３３）の実際の移動に基づいてカーブタイプを決定するステップと、
ｄ）－車両（３３）の周辺環境の静止物体（４５）の画像シーケンスの画像点、
－車両（３３）の実際の移動および
－決定されたカーブタイプ
を考慮して、車両周辺環境の静止物体（４５）に対応する、画像シーケンスから決定された画像点と、投影モデルを用いて投影された、静止物体（４５）の画像点（ｐｉｊ）と間の誤差を示す
ｅ）推定されたパラメータ（θｊ，ψ，ｉｎｔ）の少なくとも１つを出力するステップとを備える。
本解決策は、車両メーカ側ではカメラベースの運転支援システムの生産において試験システムを大幅に簡素化し、修理工場側ではカメラシステムまたは車両ガラスの交換の際の試験システムまたは較正システムを大幅に簡素化するという有利な点を提供する。
【特許請求の範囲】
【請求項1】
車両（３３）の走行中に車両カメラ（１；３１；４０）を自動較正する方法であって、前記車両カメラ（１；３１；４０）によりガラス（３２；４４）越しに前記車両（３３）の周辺環境（４５；４６）の領域が写像される、方法において、ａ）前記車両カメラ（１；３１；４０）の投影モデルを供給するステップであって、前記投影モデルが、パラメータ（θｊ，ｉｎｔ，ψ）として、複数の外部パラメータ（θｊ）、前記車両カメラ（１；３１；４０）の少なくとも１つの内部パラメータ（ｉｎｔ）および少なくとも１つの、前記ガラス（３２；４４）を特徴付けるパラメータ（ψ）を備える、ステップと、
ｂ）前記車両（３３）のカーブ走行（５）中に前記車両カメラ（１；３１；４０）の画像シーケンスをキャプチャするステップと、
ｃ）カーブ推定器により前記カーブ走行（５）中の前記車両（３３）の実際の移動に基づいてカーブタイプを決定するステップと、
ｄ）－前記車両（３３）の周辺環境の静止物体（４５）の前記画像シーケンスの画像点、
－前記車両（３３）の実際の移動および
－前記決定されたカーブタイプ
を考慮して、車両周辺環境の静止物体（４５）に対応する、前記画像シーケンスから決定された画像点と、前記投影モデルを用いて投影された、前記静止物体（４５）の画像点（ｐｉｊ）と間の誤差を示す
【数1】
ｅ）前記推定されたパラメータ（θｊ，ψ，ｉｎｔ）の少なくとも１つを出力するステップとを備える、方法。
【請求項2】
前記パラメータ（θｊ；ψ；ｉｎｔ）の推定ステップの後、較正が成功したか否かを、前記最小化された誤差関数に関する閾値に基づいてチェックする、請求項１に記載の方法。
【請求項3】
自動較正が成功した場合、１つまたは複数のどのパラメータ（θｊ；ψ；ｉｎｔ）が十分に精確に推定されたか多意性分析を行い、１つまたは複数のこれに該当するパラメータ（θｊ；ψ；ｉｎｔ）を出力する、請求項２に記載の方法。
【請求項4】
前記推定されたパラメータ（θｊ；ψ；ｉｎｔ）に加えて情報をライブラリに出力し、前記ライブラリが、通行したカーブタイプの、その際の各々の推定可能なパラメータへの割り当てを備え、前記出力された情報が、実際のカーブタイプに関する一意的な推定が成功であるか否か、および１つまたは複数のどのパラメータ（θｊ；ψ；ｉｎｔ）に関して成功であるかを示す、請求項１～３の何れか１項に記載の方法。
【請求項5】
実際のカーブタイプに関する再較正すべきパラメータの推定可能性の評価を、前記ライブラリをチェックすることにより行い、１つまたは複数の前記再較正すべきパラメータ（θｊ；ψ；ｉｎｔ）の推定を、所定の推定可能性の場合にのみ行う、請求項１～４の何れか１項に記載の方法。
【請求項6】
多意性分析は共分散評価を含む、請求項３～５の何れか１項に記載の方法。
【請求項7】
前記内部および／またはガラスパラメータ（ψ；ｉｎｔ）の初期化を行い、これらのパラメータ（ψ；ｉｎｔ）の初期化を前記車両カメラ（１；３１；４０）の工場較正から行う、請求項１～６の何れか１項に記載の方法。
【請求項8】
前記カーブ走行中（５）の前記車両（３３）の実際の移動に基づいて、前記外部パラメータ（θｊ）の最初の解を求める、請求項１～７の何れか１項に記載の方法。
【請求項9】
オプティカルフロー推定器（６）および／またはフロートラッカ（７）を用いて、前記画像シーケンスから、車両周辺環境の静止物体（４５）に対応する画像点または画像特徴点を決定する、請求項１～８の何れか１項に記載の方法。
【請求項10】
前記少なくとも１つの、前記ガラス（３２；４４）を特徴付けるパラメータ（ψ）は、前記ガラスの厚さｂを含む、請求項１～９の何れか１項に記載の方法。
【請求項11】
前記少なくとも１つの、前記ガラスを特徴付けるパラメータ（ψ）は、前記ガラス（３２；４４）の【数2】
【請求項12】
車両（３３）の走行中に車両カメラ（１；３１；４０）を自動較正する装置であって、ガラス（３２；４４）越しに前記車両（３３）の周辺環境（４５；４６）の領域を写像するように構成される前記車両カメラ（１；３１；４０）と、
前記車両カメラ（１；３１；４０）の投影モデルを供給するように構成される計算ユニットであって、前記投影モデルが、パラメータ（θｊ，ｉｎｔ，ψ）として、複数の外部パラメータ（θｊ）、前記車両カメラ（１；３１；４０）の少なくとも１つの内部パラメータ（ｉｎｔ）および少なくとも１つの、前記ガラス（３２；４４）を特徴付けるパラメータ（ψ）を備える、計算ユニットと、
前記車両カメラ（１；３１；４０）が、前記車両（３３）のカーブ走行（５）中に画像シーケンスをキャプチャするように構成され、
前記車両（３３）の前記カーブ走行（５）中の前記車両の実際の移動に基づいてカーブタイプを決定するように構成されるカーブ推定器と、
前記計算ユニットが、
－前記車両（３３）の周辺環境の静止物体（４５）の前記画像シーケンスの画像点、
－前記車両（３３）の実際の移動および
－前記決定されたカーブタイプ
を考慮して、車両周辺環境の静止物体（４５）に対応する、前記画像シーケンスから決定された画像点と、前記投影モデルを用いて投影された、前記静止物体（４５）の画像点（ｐｉｊ）と間の誤差を示す
【数3】
前記推定されたパラメータ（θｋ，ｉｎｔ，ψ）を出力する出力ユニットとを備える、装置。
【請求項13】
車両カメラ（１；３１；４０）と請求項１２に記載の装置とを備える車両（３３）。
【請求項14】
データ処理ユニットがプログラムを実行するように構成されている場合に、請求項１～１１の何れか１項に記載の方法を実行するようにデータ処理ユニットに命令する、コンピュータプログラム素子。
【請求項15】
請求項１４に記載のコンピュータプログラム素子が格納されているコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、特に、車両において運転支援システムおよび自動運転用のセンサシステムとして用いることができ、ガラス越しに周辺環境をキャプチャする、車両カメラシステムを自動較正する方法および装置に関する。
【背景技術】
【0002】
特許文献１は、単眼車両カメラを自動較正する方法および装置を記載している。この方法は、
ａ）車両カメラの画像シーケンスをキャプチャするステップであって、車両カメラが車両前方の周辺環境の領域を写像する、ステップ、
ｂ）車両により記述されるカーブ半径が、定義された最大半径以下であるか、通過カーブ角度が、定義された最小角度以上である場合に自動較正に好適な車両のカーブ走行を検出するステップおよび
ｃ）少なくとも１つの自動較正に好適なカーブ走行が検出された場合に自動較正を行うステップであって、
ｄ）自動較正が、自動較正に好適なカーブ走行において車両の周辺環境の静止物体の移動を考慮して行われる、ステップを備える。
ａ）車両カメラの画像シーケンスをキャプチャするステップであって、車両カメラが車両前方の周辺環境の領域を写像する、ステップ、
ｂ）車両により記述されるカーブ半径が、定義された最大半径以下であるか、通過カーブ角度が、定義された最小角度以上である場合に自動較正に好適な車両のカーブ走行を検出するステップおよび
ｃ）少なくとも１つの自動較正に好適なカーブ走行が検出された場合に自動較正を行うステップであって、
ｄ）自動較正が、自動較正に好適なカーブ走行において車両の周辺環境の静止物体の移動を考慮して行われる、ステップを備える。
【0003】
カメラ較正は、運転支援システム（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ（ＡＤＡＳ））または自動運転用システム（Ａｕｔｏｍａｔｅｄ Ｄｒｉｖｉｎｇ（ＡＤ））が、車両内または車両上に取り付けられたカメラシステムを用いて周辺環境をキャプチャするために不可欠な要素である。カメラシステムは、車両の移動を跡付けるか、または同様に通行する。カメラ較正のために、推定法を用いて、３次元空間点とこれに対応する物理カメラシステムの画像点との間の形式的関係（投影）のパラメータが算出される。算出されたパラメータは、その後、さらなる使用のために、ＡＤＡＳシステムに保存される。投影ポリシーは、カメラの光学系内の光伝播経路の記述（内部パラメータ）と、車両における固定された参照座標系に関する位置および姿勢（外部パラメータ）とを含む。
【0004】
投影ポリシーのパラメータが精確に算出される場合には、走行中に、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ（ＳｆＭ）法または多視点法を用いて、車両の周辺環境空間をキャプチャ測定することが可能である。投影ポリシーのパラメータが実際の投影ポリシーから僅かに乖離する場合には、写像された物体について、カメラの画像データから算出された距離（例えば、アダプティブクルーズコントロール（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ（ＡＣＣ））、エマージェンシーブレーキアシスト（Ｅｍｅｒｇｅｎｃｙ Ｂｒａｋｉｎｇ Ａｓｓｉｓｔ（ＥＢＡ））または自動緊急ブレーキ（Ａｕｔｏｍａｔｉｃ Ｅｍｅｒｇｅｎｃｙ Ｂｒａｋｉｎｇ（ＡＥＢ）））または角度（例えば、車線維持アシスト（Ｌａｎｅ Ｋｅｅｐｉｎｇ Ａｓｓｉｓｔａｎｃｅ（ＬＫＡ））またはオートハイビーム制御（Ｈｅａｄ Ｌａｍｐ Ａｓｓｉｓｔ（ＨＬＡ）））を用いる後続の方法プロセスがこれにより不精確な結果を生じることがある。投影ポリシーのパラメータが実際の投影ポリシーから大幅に乖離する場合には、ＡＤＡＳ／ＡＤシステムが制限されるか、利用不可能（短期的または恒久的な障害）に陥ることがある。
【0005】
一般的に、ＡＤＡＳカメラは、車両中において、車両のウインドシールドガラスまたは保護ガラスの裏側に搭載される。（ウインドシールド）ガラスは、追加的な光学系を構成しており、シーンとカメラとの間にウインドシールドガラスが存在しない構成と比較して上述のカメラの投影ポリシーを大幅に変更させる。後続の方法プロセスの精確な機能性を担保するためには、ウインドシールドをカメラ較正の際に考慮することが必要である。
【0006】
ＡＤＡＳカメラシステムによる既存のカメラ較正のプロセスは、複数のステップを含んでいる。これには、カメラ生産ライン最終段階でのカメラ較正、車両生産ライン最終段階でのカメラ較正および走行中のカメラの自動較正が含まれる。（カメラ生産または車両生産のどちらであるかは問わず）生産における較正は、さらなる２つのステップのための最初の解または基礎の役割を果たすことから、車両におけるロバストな周辺環境キャプチャの基礎である。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】独国特許出願公開第１０２０１８２０４４５１号明細書
【特許文献2】欧州特許第３２９３７０１号明細書
【非特許文献】
【0008】
【非特許文献1】Ｈａｒｔｌｅｙ， Ｚｉｓｓｅｒｍａｎｎ， Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ２０００， Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ， ＩＳＢＮ： ０５２１６２３０４９ （第１版）．
【非特許文献2】Ｐｅｔｅｒ Ｓｔｕｒｍ： Ｃｒｉｔｉｃａｌ ｍｏｔｉｏｎ ｓｅｑｕｅｎｃｅｓ ｆｏｒ ｍｏｎｏｃｕｌａｒ ｓｅｌｆ－ｃａｌｉｂｒａｔｉｏｎ ａｎｄ ｕｎｃａｌｉｂｒａｔｅｄ ｅｕｃｌｉｄｅａｎ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ， ＣＶＰＲ， １９９７， ｐ． １１００－１１０５．
【非特許文献3】Ｃ． Ｗｕ： Ｃｒｉｔｉｃａｌ ｃｏｎｆｉｇｕｒａｔｉｏｎｓ ｆｏｒ ｒａｄｉａｌ ｄｉｓｔｏｒｔｉｏｎ ｓｅｌｆ－ｃａｌｉｂｒａｔｉｏｎ． Ｉｎ ＣＶＰＲ， ２０１４．
【発明の概要】
【発明が解決しようとする課題】
【0009】
カメラをカメラ生産ライン最終段階でウインドシールドガラスと共に較正することが基本的には考えられる。様々なウインドシールドガラスタイプの多様性に起因して、そして各ウインドシールドガラス裏側の各カメラの個々の搭載位置に起因して、これに対応する投影ポリシーも個別的である。従って、カメラ生産における較正は、実用的観点から言えば不可能であるか、有意義ではない。
【0010】
カメラを車両生産最終段階で特別なウインドシールドガラスと共に較正することも基本的には考えられる。この手法は、最も頻繁に用いられている従来技術でもある。この選択肢を選択すると、ガラス交換の際に光学系を新規に較正する必要があることは自明である。カメラ較正の精確さの要件に起因して、上記の手法による較正は非常に高コストであるため、高価である。この目的のために、高精度で生産されたターゲットが用いられる。また、車両は、高コストで高価な特別な装置を用いて、較正のために高精度で調整される。一般的に、上記の手法によると、再調整することができるのは外部パラメータのみである。
【0011】
カメラを通る光の光路に対するウインドシールドガラスの影響は、多くの場合、考慮されないままである。従来技術による較正がこの課題の一部を解決するとしても、この較正にとって、ＡＤＡＳカメラとウインドシールドガラスとからなる光学系が走行中に変更されるという構成は射程外である。このようにして、誤推定されたパラメータを備えるＡＤＡＳシステム、従って、機能性が制限されているＡＤＡＳシステムが、エンドユーザ、つまり、運転支援システムを備える車両の運転者により使用されるという危険が常に存在する。
本発明の課題は、カメラ較正のプロセスの簡素化および改善に関する解決策を提供することである。
本発明の課題は、カメラ較正のプロセスの簡素化および改善に関する解決策を提供することである。
【課題を解決するための手段】
【0012】
本課題は、独立請求項の特徴を有する主題により解決される。好ましい実施形態が従属請求項の主題である。
【0013】
本解決策の１つの態様は、ガラスとカメラとに基づく光学系全体の較正が、車両生産ライン最終段階において行われるのではなく、走行中に車両において動的に行われ、連続的に改善されることにより達成される。動的自動較正はオンライン較正とも称することができる。
【0014】
１つの態様は、ウインドシールドガラスまたは保護ガラスの裏側に搭載されるＡＤＡＳカメラシステムをカメラ生産中に較正するプロセスを、大幅に簡素化することができることである。
【0015】
本発明の１つの態様は、車両走行中にＡＤＡＳカメラシステムのパラメータセットを推定する装置および方法に関する。本発明の１つの有利な点は、高精度で生産されたターゲットが較正に必要とされないことである。
【0016】
本方法は、ウインドシールドガラスによる影響を較正するために、（未知の）交通シーンの車両前方に位置する固定部分を用いる。このことを達成するためには、ウインドシールドガラスとカメラとの組み合わせの特別な光学モデルが必要とされる。
【0017】
そのようなモデルのパラメータ推定が必ずしも可能ではないことは、先行技術文献における経験則から知られている。また、特定の有利な走行中に特定のパラメータを較正し、カメラ較正を行うことができることも、従来技術から知られている。ここでの有利な点は、例えば、非消滅の（例えば、半径方向の）歪曲収差である。そのパラメータをその走行軌道中に推定することができるという推定は、本発明の１つの形態においては、走行中に、それ以前の経験則に基づいて、学習することができる。これら２つの特性により、産業規格に匹敵する較正品質を、幾つかの数少ない測定後には達成することができる。
【0018】
本発明の１つの態様は、車両搭載カメラシステムの較正を演算する装置（例えば、制御装置）に関する。
本発明の１つの態様は、カーブ走行中の車両の走行移動または走行幾何の推定（つまり、カーブ移動推定）と、これをカメラシステムのパラメータ推定の際に考慮することに関する。
１つのさらなる態様は、ガラスを特徴付ける少なくとも１つのパラメータを考慮することに関する。
本発明の１つの態様は、カーブ走行中の車両の走行移動または走行幾何の推定（つまり、カーブ移動推定）と、これをカメラシステムのパラメータ推定の際に考慮することに関する。
１つのさらなる態様は、ガラスを特徴付ける少なくとも１つのパラメータを考慮することに関する。
【0019】
本解決策の１つの態様は、特別なカーブ走行中にウインドシールドガラスとカメラとに基づく光学モデル全体を自動較正することは、バンドル調整法を用いて可能であるという認識または仮定に関する。本方法は、カーブタイプと算出可能なパラメータとの間の相関を学習するように構成することができる。この方法は、現在の技術水準と比較して顕著に革新的なステップをなすものである。
【0020】
本発明の１つの態様は、その走行タイプまたはそのカーブタイプでのそのパラメータが更新可能または再較正可能である、情報が保存されるライブラリまたはある種の経験則データバンクの構成に関する。ライブラリを使用することで、特許文献１の方法と比較して、較正のためにより多くのカーブ走行を用いることができるようになり、どのパラメータをいつ再較正することができるかを具体的に見出す手法を備えることが可能になる。
【0021】
本装置および本方法は、バンドル調整アルゴリズムを初期化するために必要なデータを、良好な最初の解と共に供給することができるように構成されている。多数のカーブ走行の結果から、フィルタ処理を用いて、生産較正の精確さに匹敵可能な精確さの大幅な改善を得ることができる。
【0022】
本解決策は、車両メーカ側ではＡＤＡＳシステムの生産において試験システムを大幅に簡素化し、修理工場側ではカメラシステムまたは車両ガラスの交換の際の試験システムまたは較正システムを大幅に簡素化するという有利な点を提供する。これにより、ＡＤＡＳシステムの生産および保守のプロセスが大幅に簡素化され、安価になる。
【0023】
以下において、まず、本解決策の態様を、先行技術文献から既知となっている文脈に分類する。
先行技術文献リスト：
非特許文献１
非特許文献２
非特許文献３
先行技術文献リスト：
非特許文献１
非特許文献２
非特許文献３
【0024】
ターゲットを用いないカメラ較正は、先行技術文献において周知である（非特許文献１）。較正方法は、パラメータの（多かれ少なかれ大まかな）最初の解を推定する方法と、利用可能な解を改善する方法とに下位区分される。前者の方法は、代数的性質を有する。高コストのアルゴリズムと不良なロバスト性に起因して、前者の方法が実用的な解に適するのは特別な場合に限られる。また、そのような方法はＡＤＡＳ用途としては関連性に乏しいのは、ＡＤＡＳ界においては、一般的に、非常に良好な最初の解が生産から知られるためである。自動車用途として実用的な適用には、多くの場合、連続的に推定された較正を改善することに限定されるのであって、最後に推定されたパラメータはアルゴリズムにとって非常に良好な最初の解となる。「ゴールドスタンダード」（非特許文献１）として知られる最適な手法の種類は、バンドル調整法（非特許文献１では１０．４．１項に「ゴールドスタンダード」の概念が１０．３節のアルゴリズムにおけるバンドル調整と関連して言及されている）と言う。
【0025】
この利用可能な先行技術文献は、光学系にウインドシールドガラスが組み込まれている場合を十分にカバーしていない。関連する従来技術として、特許文献２がある。特許文献２には、ウインドシールドガラスを備えるカメラベースの車両システムを較正する方法が記載されている。既知のパターンを備えたプレートの形状を有するイメージングターゲットは、カメラがウインドシールドガラス越しにプレートの較正画像を撮影できるように、カメラベースシステムのカメラの視野内に配置されている。カメラを用いて精確にプレートの較正画像が撮影される。較正画像は既知のパターンと比較される。ウインドシールドガラスにより生じるウインドシールドガラス歪曲収差が、ウインドシールドガラスの歪曲収差特性を表すパラメータを備えるカメラモデルを用いて演算される。カメラの内部パラメータは既知として与えられる。ウインドシールドガラス歪曲収差はカメラベースシステムに保存される。
【0026】
既に以前から、現実の実装においては、先行技術文献ではそれまでに明確に答えが与えられてこなかった一連の非自明な問題が生じることが認識されていた。従来技術の問題は、較正用のいわゆる「臨界的構成（クリティカルコンフィギュレーション）」にある。これらの臨界的構成は、バンドル調整問題が一意解を有さないか、真の解が多意解の近傍に位置するような、光学モデルとシーン幾何と車両移動との不利な寄せ集めとして見なすことができる。これらの場合の全てにおいて、真のパラメータから大きく外れて原則的に任意に位置するという内部パラメータの誤推定が生じる可能性がある。
【0027】
非特許文献２においてペーター・ストゥームは、ピンホールカメラ自動較正用臨界的構成の全般的な分類法を記載している。この基本的な仕事から、平面における（例えば、カーブ走行に沿う）移動全体が、シーンに関わりなくピンホールカメラには臨界的であることは明らかである。しかし、ＡＤＡＳシステムを備える車両は、実際上、短期間（数秒）に略平面的な移動を行う。要約して言えば、純粋なピンホールカメラモデルをカメラのモデル化に用いると、車両における短期間での内部自動較正は不可能ではないとしても、ほぼ難しい。
【0028】
ペーター・ストゥーム（１９９０年代）以降、複雑なカメラモデル用の自動較正の一意性問題に取り組む先行技術文献はごく僅かである。半径方向の歪曲収差とそれに対応する関数の臨界的構成に関する論文は、Ｃ・ウー（非特許文献３）のみである。失敗の一部は、臨界的構成を分析するための形式が利用可能ではないことにある。
【0029】
その一方、バンドル調整プロセスの結果の評価は誤差関数の高次導関数に基づいて可能であることは、先行技術文献から知られている。この特性は、本発明の実施形態において有利に利用することができる。
【0030】
ウインドシールドガラスモデルに関して、臨界的構成の分析は現在のところ先行技術文献には存在しないのは、そのような光学系について実際上確立された数理モデルが現在まで存在しないからである。上記手法は、現在まで、この新たに生じた光学モデルには適用されてこなかった。以下の段落において、自動較正を実装するための実用的な手法が示され、詳細に説明される。
【0031】
車両の走行中に（透明な）ガラス越しに車両の周辺環境の領域を写像する車両カメラを自動較正する方法は、
ａ）車両カメラの投影モデルを供給するステップであって、投影モデルが、パラメータとして、複数の外部パラメータ、車両カメラの１つまたは複数の内部パラメータおよび少なくとも１つの、ガラスを特徴付けるパラメータを備える、ステップと、
ｂ）車両のカーブ走行中に車両カメラの画像シーケンスをキャプチャするステップと、
ｃ）例えば、カーブ推定器を用いて、カーブ走行中の車両の実際の移動に基づいてカーブタイプを決定するステップと、
ｄ）－車両の周辺環境の静止物体に対応する、画像点または画像特徴点、つまり、画像シーケンスにおける対応点、
－車両の実際の移動および
－決定されたカーブタイプ
を考慮して、（再較正すべき）パラメータを推定するステップであって、
パラメータの推定は、車両周辺環境の静止物体に対応する、画像シーケンスから決定された画像点／画像特徴点と、投影モデルを用いて投影された、静止物体の画像点と間の誤差を示す誤差関数（または損失関数（「ｌｏｓｓ ｆｕｎｃｔｉｏｎ」））を最小化することにより行われる、ステップと、
ｅ）推定されたパラメータの少なくとも１つを出力するステップとを備える。
ａ）車両カメラの投影モデルを供給するステップであって、投影モデルが、パラメータとして、複数の外部パラメータ、車両カメラの１つまたは複数の内部パラメータおよび少なくとも１つの、ガラスを特徴付けるパラメータを備える、ステップと、
ｂ）車両のカーブ走行中に車両カメラの画像シーケンスをキャプチャするステップと、
ｃ）例えば、カーブ推定器を用いて、カーブ走行中の車両の実際の移動に基づいてカーブタイプを決定するステップと、
ｄ）－車両の周辺環境の静止物体に対応する、画像点または画像特徴点、つまり、画像シーケンスにおける対応点、
－車両の実際の移動および
－決定されたカーブタイプ
を考慮して、（再較正すべき）パラメータを推定するステップであって、
パラメータの推定は、車両周辺環境の静止物体に対応する、画像シーケンスから決定された画像点／画像特徴点と、投影モデルを用いて投影された、静止物体の画像点と間の誤差を示す誤差関数（または損失関数（「ｌｏｓｓ ｆｕｎｃｔｉｏｎ」））を最小化することにより行われる、ステップと、
ｅ）推定されたパラメータの少なくとも１つを出力するステップとを備える。
【0032】
車両カメラは、車両カメラシステムも示してよい。最も簡素な場合、車両カメラは単眼カメラに対応する。車両カメラシステムが複数の単眼カメラを備えている場合、これら複数の単眼カメラは個別のカメラとして較正されてよい。その一方、任意で、複数のカメラに関する相互性を較正の際に考慮することができる。車両システムの全てのカメラが車両に固定して搭載されている場合、例えば、車両移動は全てのカメラにとって同一である。
【0033】
ガラスは、カメラの光路における（ガラス製の）ガラスであってよく、例えば、車両ガラス、例えば、車両のウインドシールドガラス、リアガラスまたはサイドガラスであってよく、これ越しにカメラは車両の周辺環境をキャプチャする。
【0034】
パラメータは、カメラの投影モデルに依存する。「投影モデルを供給する」とは、世界をモデル化するために用いる数理モデルに実際上決定することである。ここで、外部パラメータ、カメラの１つまたは複数の内部パラメータおよび少なくとも１つの、ガラスを特徴付けるパラメータが存在する。
【0035】
外部パラメータは、世界におけるカメラの位置および姿勢を定義する。つまり、外部パラメータは、世界座標とカメラ座標との間の関係に関する情報を与える。カメラの移動の際、カメラポーズは、並進と回転により変化する。車両に固定されて搭載されているカメラの場合、カメラ移動は、車両移動により特定される。全てのパラメータを推定するバンドル調整の場合に外部パラメータを初期化するために、推定されたカーブ情報またはそのために用いられたオドメトリデータを用いることができる。バンドル調整の最後において、多くの場合、重要であるのは内部パラメータとガラスパラメータのみであり、それ以外は破棄される。
【0036】
内部パラメータにより、カメラ座標を画像画素位置に写像することが可能になる。例えば、内部パラメータは、焦点距離、主点（または画像の中心）、画素の水平方向と垂直方向の大きさ、（例えば、半径方向の）歪曲収差に関する情報を与える歪曲収差係数等である。
【0037】
少なくとも１つの、ガラスを特徴付けるパラメータは、例えば、ガラスの厚さであってよい。また、ガラスの姿勢は、特徴付けパラメータであってよい。ガラスの姿勢は、ガラスの法線ベクトルにより示すことができる。カメラの視線方向または光軸に対するガラスの姿勢は、光路での入射角を定義する。さらなるガラスパラメータは、ガラス材料の屈折率であってよい。
【0038】
誤差関数は、変数として、空間点（静止物体）、外部カメラパラメータまたはカメラポーズ、内部カメラパラメータおよびガラスパラメータを備える。空間点の座標は、代替的には、共に推定される。
【0039】
１つの実施形態において、パラメータの推定ステップの後、較正が成功したか否かを、最小化された誤差関数に関する閾値に基づいてチェックする。
【0040】
１つの実施形態によると、自動較正が成功した場合、１つまたは複数のどのパラメータが十分に精確に推定されたか多意性分析または検証を行い、１つまたは複数のこれに該当するパラメータを出力する。また、全てのパラメータと、１つまたは複数のどのパラメータを十分に精確に推定することができたかという情報とを出力することもできる。１つの実施形態の変形例において、共分散分析が多意性を示していない場合にのみ、全ての可変パラメータの更新を考慮する。推定が一部に多意的なパラメータを含んでいると、他のパラメータも不精確に決定した危険性がある。そのような場合であったならば（つまり、多意性が示されなかった場合）、再度の共分散分析により「十分に良好」に推定されたようなパラメータのみが更新される。
【0041】
１つの実施形態において、推定されたパラメータに加えて情報をライブラリに出力する。ライブラリは、通行したカーブタイプの、その際の各々の（それ以前の情報に従って良好または一意的に）推定可能なパラメータへの割り当てを備える。ライブラリは、走行幾何の推定器に組み込まれてよい。出力された情報は、１つまたは複数の（再較正すべき）パラメータに関して、実際に通行したカーブタイプについて、推定が成功（および一意的）であるか否かを示し、（成功である場合には）１つまたは複数のどのパラメータに関して成功であるかを示す。言い換えれば、実際の（および成功した）推定が行われたカーブ走行が、カーブタイプに割り当てられ、このカーブタイプについて、特定のパラメータを（多意性分析の結果として）良好に推定することができることを意味している。
【0042】
１つの実施形態例によると、実際のカーブタイプに関する再較正すべきパラメータの推定可能性の評価を、特に、ライブラリをチェックすることにより行う。従って、特定のカーブタイプの場合に推定可能性が予想される、１つまたは複数の再較正すべきパラメータが算出される。これらのパラメータは、自由パラメータと称することができる。１つまたは複数のそれ以外のパラメータは固定される。
１つまたは複数の再較正すべきパラメータの実際の推定を、所定の推定可能性の場合にのみ行う。それ以外の場合、本方法を（その次の時間ステップにおいて）再び実行する。
１つまたは複数の再較正すべきパラメータの実際の推定を、所定の推定可能性の場合にのみ行う。それ以外の場合、本方法を（その次の時間ステップにおいて）再び実行する。
【0043】
１つの実施形態において、多意性分析は共分散評価を含む。
【0044】
１つの実施形態によると、内部および／またはガラスパラメータの初期化を、車両カメラの工場較正からの内部および／またはガラスパラメータの引き継ぎにより行う。
【0045】
１つの実施形態例によると、カーブ走行中の（例えば、オドメトリに基づく移動データにより定義される）車両の実際の移動に基づいて、外部パラメータの最初の解を求める。このようにして、走行移動の幾何をパラメータの推定に導入することができる。
【0046】
１つの実施形態において、オプティカルフロー推定器および／またはフロートラッカを用いて、画像シーケンスから、車両周辺環境の静止物体に対応する画像点／画像特徴点を決定する。
【0047】
１つの実施形態例によると、ガラスは車両のウインドシールドガラスである。
【0048】
本発明のさらなる主題は、車両の走行中に車両カメラを自動較正する装置に関する。本装置は、車両カメラと、計算ユニットと、カーブ推定器またはカーブ推定ユニットと、出力ユニットとを備える。
車両カメラは、（車両の）ガラス越しに車両の周辺環境の領域を写像するように構成される。
計算ユニットは、車両カメラの投影モデルを供給するように構成され、投影モデルが、パラメータとして、複数の外部パラメータ、車両カメラの少なくとも１つの内部パラメータおよび少なくとも１つの、ガラスを特徴付けるパラメータを備える。
車両カメラは、車両のカーブ走行中に画像シーケンスをキャプチャするように構成される。
計算ユニットは、
－車両の周辺環境の静止物体の画像シーケンスの画像点、
－車両の実際の移動および
－（実際に）決定されたカーブタイプ
を考慮して、パラメータを推定するように構成される。
パラメータは、車両周辺環境の静止物体に対応する、画像シーケンスから決定された画像点と、投影モデルを用いて投影された、静止物体の画像点と間の誤差を示す誤差関数を最小化することにより、推定される。
出力ユニットは、推定されたパラメータを出力するように構成される。
車両カメラは、（車両の）ガラス越しに車両の周辺環境の領域を写像するように構成される。
計算ユニットは、車両カメラの投影モデルを供給するように構成され、投影モデルが、パラメータとして、複数の外部パラメータ、車両カメラの少なくとも１つの内部パラメータおよび少なくとも１つの、ガラスを特徴付けるパラメータを備える。
車両カメラは、車両のカーブ走行中に画像シーケンスをキャプチャするように構成される。
計算ユニットは、
－車両の周辺環境の静止物体の画像シーケンスの画像点、
－車両の実際の移動および
－（実際に）決定されたカーブタイプ
を考慮して、パラメータを推定するように構成される。
パラメータは、車両周辺環境の静止物体に対応する、画像シーケンスから決定された画像点と、投影モデルを用いて投影された、静止物体の画像点と間の誤差を示す誤差関数を最小化することにより、推定される。
出力ユニットは、推定されたパラメータを出力するように構成される。
【0049】
本装置および／または計算ユニットは、特に、マイクロコントローラまたはマイクロプロセッサ、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、デジタルシグナルプロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等と、それに対応する方法ステップを実行するためのソフトウェアを備えてよい。
【0050】
本発明のさらなる主題は、車両カメラとそれに対応する自動較正装置とを備える車両に関する。
【0051】
本発明のさらなる主題は、データ処理ユニットまたは制御装置がプログラムを実行するように構成されている場合に、本発明に係る方法を実行するようにデータ処理ユニットに命令する、コンピュータプログラム素子に関する。
【0052】
本発明のさらなる主題は、本発明に係るコンピュータプログラム素子が格納されているコンピュータ可読記憶媒体に関する。
【0053】
従って、本発明は、デジタル電子回路、コンピュータハードウェア、ファームウェアまたはソフトウェアに実装されてよい。
【0054】
以下、実施形態例について記載し、図面を参照していくつかの態様について詳細に説明する。
【図面の簡単な説明】
【0055】
【発明を実施するための形態】
【0056】
図３は、開始状況を示す。
車両３３の内部において、ウインドシールドガラス３２の裏側で、およそ内部バックミラーの（上側の）領域に、運転支援システムの車両カメラ３１が搭載されている。車両カメラ３１は、略前方に向いており、つまり、車両３３前方の周辺環境または周囲をキャプチャする。
車両３３の内部において、ウインドシールドガラス３２の裏側で、およそ内部バックミラーの（上側の）領域に、運転支援システムの車両カメラ３１が搭載されている。車両カメラ３１は、略前方に向いており、つまり、車両３３前方の周辺環境または周囲をキャプチャする。
【0057】
図４は、車両３３の走行中の状況を非常に概略的に示す。車両３３の（車両）カメラ４０は、ハウジング４２、カメラ光学機器４３、および計算ユニットとの電気的接続４１を備える。車両３３のウインドシールドガラス４４は、平行平面で透明なガラスとしてモデル化することができる。カメラ光学機器４３は、車両３３外部の領域に対して焦点を合わせ、ウインドシールドガラス４４を略平行平面のガラスとして見なすことができる。ウインドシールドガラス４４越しに車両カメラ４０は実際の車両周辺環境のシーンをキャプチャする。カメラ光学機器４３またはカメラレンズは、例えば、魚眼レンズまたはレクティリニア広角レンズを備えてよい。カメラ光学機器は、カメラ４０の画像センサにおいて車両外部のシーンに対して焦点を合わせる。画像センサは、例えば、ＣＭＯＳセンサまたはＣＣＤセンサであってよい。画像センサによりキャプチャされたＲＡＷ画像は、計算ユニットによりさらに処理される。
【0058】
シーンは、固定部分４５（「静止物体」）、例えば、概略的に図示されている木または図示されていない建造物、交通標識、橋、建物等、および動的部分、例えば、移動中の歩行者を含む。車両３３の移動の際、車両カメラ４０（例えば、ウインドシールドガラス４４も）共に移動する。
【0059】
カメラ４０前方のウインドシールドガラス、または、一般的には、別のカメラをその裏側に配置可能な保護ガラスは、屈折媒体が厚さｂを有する略平行平面プレートであることを特徴とする。これに含まれるのは、例えば、平坦な出口開口を有するカメラの保護ガラス全体、そして車両のガラスウインドウである。
は、車両カメラ４０近傍の領域のウインドシールドガラス平面に対して垂直な方向を示す。ウインドシールドガラスは、屈折率ｖを有する。図４において、
例えば、木４５または静止物体の縁点が示されている。空間点ｓから出発して、ウインドシールドガラス４４で屈折し、カメラ光学機器４３を通って車両カメラ４０の画像センサに焦点を合わされている光線の光路４７が、概略的に破線として示されている。
【数1】
【数2】
【0060】
ウインドシールドガラスによる光路４７のオフセットは、妨害されずにウインドシールドに入射する仮想光線４８（点線）の平行シフト４９により表すまたは近似することができる。平行シフト４９は、ガラスシフトまたはプレートシフト（英語では「ｓｌａｂ ｓｈｉｆｔ」（スラブシフト））σと
の積として得られる。
【数3】
【0061】
ガラスシフトσは、定数、特に、ｂ（ν－１）／νとして近似することができる。この近似は、高速演算可能である一方で、十分に精確となるのは小さい入射角についてのみである。
【0062】
代替的に、ガラスシフトσは、４次関数の根σ０として演算することができる。
【0063】
【数4】
【0064】
この演算により高正確な結果が得られるが、非常に計算コストが高い。
【0065】
さらなる代替として、ガラスシフトσは、不動点方程式σ＝φ（σ）（φ（σ）＝ｂ（１－１／√［（ν２－１）（ｕ２／｛ｗ－σ｝２＋１）＋１］）、ｗおよびｕは上記のように定義）の不動点として演算することができる。この（収束する）不動点方程式を１回または２回反復することで非常に正確な結果が得られ、高速演算可能である。
【0066】
平行シフト４９が得られるとすぐに光路４７に遡ることができ、例えば、バンドル調整法またはステレオ法を用いて
を演算（再構築）することができる。
【数5】
【0067】
以下、車両３３の走行中に車両カメラ４０をどのようにして較正することができるか、詳細に説明する。
【0068】
図１を参照して、自動較正装置の相互作用と概略について説明する。
【0069】
車両カメラ１は、車両カメラが（走行方向）前方に方向付けられるように、移動車両３３においてウインドシールドガラス３２または保護ガラスの裏側に搭載されている。車両カメラ１は、同一の時間間隔で、画像を制御装置１１に供給する。本発明の１つの実施形態において、車両カメラ１は制御装置１１に組み込まれてよく、または、車両カメラおよび制御装置はハウジングに組み込まれてよく、これは「スマートカメラ」に対応する。
【0070】
本発明の１つの実施形態において、カーブセンサ２は、車両３３の実際の速度およびヨーレートに関する情報を制御装置１１に送信するように、車両３３に設けられている。本発明の１つの実施形態において、カーブセンサ２は、制御装置１１に組み込まれてよい。本発明のさらなる実施形態において、カーブセンサ２は、ヨーレートを決定するために、画像データ（およびさらなる演算ステップのデータ）を用いることができる。
【0071】
制御装置１１には、２つの互いに連続する、時点ｔおよびｔ－１に各々対応する画像３および４（またはその逆もあるが、ここでは以下考慮しない）のための格納装置が設けられている。両画像は、時点ｔに、光学フロー推定器６に供給される。その結果、ｔ－１からｔまでのいわゆる時間フローが生じる。この時間フローは、時点ｔ－１からｔまでのシーンの物体の画像点（無限小空間点）の移動を記述する。光学フローはフロートラッカ７において経時的に追跡され、動的物体はフィルタ処理され、外れ値は削除される。その結果、複数の画像にわたって１つの同じ静止物体を追跡する点のトラックが得られる。
【0072】
カーブセンサ２の情報は、制御装置１１において、走行幾何の推定器５により処理される。
【0073】
図２を参照して、走行幾何２６の推定について説明する。走行幾何の推定器５は、平面における走行幾何２６の推定を供給する。また、走行幾何推定器５は、実際のカーブ走行２５中にまたは実際のカーブ走行２５に基づいて、どのパラメータを推定することができるかという推定を供給することもできる。実際のカーブ走行は、カーブ進入点２３、カーブ半径２１、通過したカーブ角度２２、およびカーブ退出点２４により特徴付けることができる。走行したカーブが特別なカーブタイプに一致する場合、走行区間のデータおよび推定可能なパラメータがバンドル調整アルゴリズム８に転送される。
【0074】
本発明の１つの実装において、カーブセンサの情報は、個々のフレームの本質的な幾何から取り出される。バンドル調整アルゴリズム８は、推定可能として特徴付けられたパラメータの最初の解として、選択的に、最後に演算された結果、または、生産からの推定、または、所定の車両についてのノミナルデータを採用し、これを、カーブ走行中に算出されたものである実際に取得したフロートラックを用いて洗練化する。
【0075】
バンドル調整法８は、従来技術（非特許文献１）によると、投影モデルとして通常のカメラモデルではなく、ガラスを備える投影モデルが用いられるという違いがあっても、実行することができる。そのような投影モデルは、特許文献２の主題である。その一方、特許文献２が提案する、ウインドシールド裏側の車両カメラ、またはウインドシールドと共に車両カメラを較正する、ターゲットベースの方法は、動的自動較正とは両立可能ではない。特別な投影モデルは、画像における未知の投影についての光伝播の隠伏経路方程式（特許文献２の数式１５）の近似解に基づく。解法は一連の近似により実行され、最終的には、２次方程式の解が得られる（特許文献２の数式４３）。記載のモデルに関して、モデルのパラメータを算出するために用いることができる構成が提示されている（特許文献２の図３を参照）。
【0076】
特許文献２のこのモデルを発展させることにより、ウインドシールドを通す数学的投影に関して、近似は最早必要ではないか、近似によっても非常に小さい誤差が生じるに過ぎないとすることができる。モデルのさらなる発展について以下に説明する。このようにして、さらに発展させたモデルをバンドル調整と共に、ウインドシールドガラスの動的較正のために用いることができる。
【0077】
ウインドシールドガラスパラメータとして、車両カメラ近傍のウインドシールドガラス平面の
ウインドシールドガラスの厚さｂおよび／またはウインドシールドガラスの屈折率νを用いることができる。車両カメラ近傍の領域とは、特に、ウインドシールドガラスの領域であり、車両カメラの主点（または画像の中心）の周りである。
およびウインドシールドガラスの厚さｂは、例えば、幾何学的（例えば、ターゲットベースの）計測を用いて車両生産ライン最終段階で測定することにより、最初に決定することができる。
【数6】
【数7】
【0078】
ウインドシールドガラスの影響による光路の平行シフトは、ガラスシフトまたはプレートシフト（英語では「ｓｌａｂ ｓｈｉｆｔ」（スラブシフト））σと
の積と等価であるとすることができる。この平行シフト演算の選択は、非常に効果的であり、高速演算可能である。この選択は、直接的な光路の演算により示すことができる。
【数8】
【0079】
ガラスシフトσは定数として近似することができ、これにより、非常に高速な演算が可能になり、小さい視野角の場合に良好な結果が達成される。特に、定数を、ｂ（ν－１）／νと等しく設定することができ、これは、ウインドシールドガラス平面に対して垂直な光路の精確な解に一致する。
【0080】
代替的に、ガラスシフトσは、４次関数の根σ０として演算することができる。
【0081】
【数9】
【0082】
【数10】
【数11】
【0083】
さらなる代替として、ガラスシフトσは、
の不動点として演算することができる。ここでも、
は、画像の画素に対応する、シーンの空間の点である。この不動点方程式を取ることができるのは、点ｓから、ピンホールカメラのピンホールが仮定されている原点までの光路を演算する場合である。この場合においても、
に位置する座標を回転させることにより演算が軽減される。不動点方程式が、全ての実際の適用について１より小であるｃ＝ｂ／（ｗ－ｂ）により上に有界である、リプシッツ定数を有する縮小であることを示すことができる。従って、不動点方程式は収束し、不動点方程式を有限回反復することにより所定の精確度を達成することができる。この収束する不動点方程式を１回または２回反復することで正確な結果が得られ、高速演算可能である。
【数12】
【数13】
【数14】
【0084】
視点ｊにおけるｉ番目の
の各画像点ｐｉｊが外部パラメータθｊ、内部パラメータｉｎｔ、ウインドシールドガラスパラメータψにより以下の式を満たすように、光学系全体の投影モデルを、パラメータ化可能な写像ｋにより与える。
【数15】
【0085】
【数16】
【0086】
ここでは、未知のガラスパラメータψおよび１つまたは複数の内部パラメータｉｎｔが長い走行区間中に一定のままであり、１つの視点と次の視点とでθｊが異なるに過ぎないと仮定される。この点において、内部パラメータｉｎｔをガラスパラメータψに加算して、走行区間毎に近似する定数のパラメータψ’を得ることができる。
ここでは、ｐｉｊは陽に定義されるのではなく、測定された画像点はカメラ写像ｋにより完璧に記述することができると仮定される。つまり、これに対応する外部パラメータθｊ、
内部パラメータｉｎｔおよび１つまたは複数のガラスパラメータψを用いる場合、写像方程式により、測定された画像点へと精確に至る。
測定誤差または雑音に起因して、このような場合は当然ありえず、下記の（誤差関数の）和に用いるｐｉｊは実際には雑音を含むものとして理解されるべきであり、従って、非線形最適化により、精確な解に収束するのではなく、その近傍に位置する解に収束するに過ぎない。
ここでは、ｐｉｊは陽に定義されるのではなく、測定された画像点はカメラ写像ｋにより完璧に記述することができると仮定される。つまり、これに対応する外部パラメータθｊ、
【数17】
測定誤差または雑音に起因して、このような場合は当然ありえず、下記の（誤差関数の）和に用いるｐｉｊは実際には雑音を含むものとして理解されるべきであり、従って、非線形最適化により、精確な解に収束するのではなく、その近傍に位置する解に収束するに過ぎない。
【0087】
カーブ幾何の推定器から取得した情報（５）を用いる場合、この情報は、θｊの非常に良好な最初の解となる。この手法の残りの部分は、全て未知のもの、つまり、
カメラポーズθ１～θｍ、ガラスパラメータψおよび、必要に応じて、内部パラメータｉｎｔによって、バンドル調整問題の（局所）最小化により続けられる。
【数18】
【0088】
【数19】
【0089】
ここで、下付き添字ｎは、
が存在することを示し、下付き添字ｍは、ｍ個の視点θｊが存在すること、従って、ｍ個の外部パラメータが存在することを示す。最小化は、非線形最適化の標準的手法を用いて行われる。１つの実装において、例えば、レーベンバーグ・マルカート法を用いることができる。
【数20】
【0090】
また、バンドル調整最小化問題を別様に定式化することもできる。まず、全ての画像点ｐｉｊを
として書く。同一の順序に、全てのこれに対応する
を書き、全ての未知のパラメータを
にまとめる。このようにして、
を定義する。測定雑音を除外して
を決定することが意図されており、ここでは、以下が適用される。
【数21】
【数22】
【数23】
【数24】
【数25】
【0091】
【数26】
【0092】
しかし、画像点は測定雑音を含んでいるため、以下の確率論的モデルを用いる。
と共分散行列（経験により与えられる）とを備える確率変数である。
このようにして、バンドル調整最小化問題を以下の推定器としても書くことができる。
【数27】
このようにして、バンドル調整最小化問題を以下の推定器としても書くことができる。
【0093】
【数28】
【0094】
このパラメータベクトル推定器の共分散行列の近似を得るために、
のまわりにｆを線形展開させ、以下を得る。
【数29】
【0095】
【数30】
【0096】
共分散行列の伝播の公式を用いて以下を得る。
【0097】
【数31】
【0098】
理想的な場合には、真のパラメータベクトルを
として選択する。しかし、真のパラメータベクトルは利用可能ではないため、最良の近似として、利用可能である、推定されたパラメータベクトルを展開点として用いて、
を推定パラメータの近似共分散行列として得る。
この近似共分散行列については、各（成功の、つまり、例えば、ＲＭＳＥチェックが成功した）推定後に、多意性／不精確さに関して検証することが重要である。
【数32】
【数33】
この近似共分散行列については、各（成功の、つまり、例えば、ＲＭＳＥチェックが成功した）推定後に、多意性／不精確さに関して検証することが重要である。
【0099】
バンドル調整法８の演算結果は、洗練された車両ポーズ、固定シーンの周辺環境空間の再構築、洗練された内部パラメータおよび洗練されたウインドシールドガラスパラメータである。本方法は、多数の変更をにより（非特許文献１）、よりロバストに構成することができる。最適化の結果は、本発明の１つの実装において、平均法またはフィルタ処理により洗練化することができる。これにより、本方法の特性に基づいて、少数のフィルタ処理ステップの後には、生産の従来技術と等しい精確さを達成することができる。
【0100】
本発明の１つの実施形態において、カメラ４０の内部パラメータｉｎｔは共に推定される。カメラが、上記バンドル調整８を成功させるために、何らかの特性を有していることは有利である。本発明の１つの実装において、カメラ、従って、カメラモデルｋは、上に非消滅の半径方向の歪曲収差を有する（非特許文献２）。これは、現在の車両カメラには一般的である。１つのさらなる実装において、カメラは、この特徴に加えて、非消滅の接線方向の歪曲収差を有する。
【0101】
演算の最後に、結果が追加的に検証される。その結果得られるカメラパラメータは、肯定的な場合（較正成功）、必要に応じて、さらなる処理のために格納装置１０に格納される。否定的な場合、較正は多意的または誤差を含むことがある。多意性は、例えば、ベクトル値写像／残差関数のヤコビ行列に基づいて、および、誤差関数のヘッセ行列に基づいて、評価し、求めた最小点において算出することができる（（ＪＴΣＪ）－１）（上記参照）。原理的に、誤差関数のヘッセ行列の逆行列の固有ベクトルを分析する。このことは、推定されたパラメータの近似共分散行列ＣＯＶａｐｐｒｏｘとしても理解することができる。
この情報は、どのパラメータを一意に算出することができなかったかに関する情報も与える。この場合、パラメータのセットの算出またはその全ての算出について、それに対応する車両移動を不利としてマークすることができる。このようにして、走行中に、どのカーブタイプについてどのパラメータを推定すべきかの決定（図１の決定ステップ「カーブ」９を参照）を有利に改善することができ、それに対応する条件を厳しく予めチェックする必要はない。失敗した較正については、誤差関数ｌの大きい値から認識する。較正が失敗の場合、結果は破棄される。
この情報は、どのパラメータを一意に算出することができなかったかに関する情報も与える。この場合、パラメータのセットの算出またはその全ての算出について、それに対応する車両移動を不利としてマークすることができる。このようにして、走行中に、どのカーブタイプについてどのパラメータを推定すべきかの決定（図１の決定ステップ「カーブ」９を参照）を有利に改善することができ、それに対応する条件を厳しく予めチェックする必要はない。失敗した較正については、誤差関数ｌの大きい値から認識する。較正が失敗の場合、結果は破棄される。
【0102】
図５は、自動較正方法の開始を例示的に示す。
最初のステップＳ１０において、ウインドシールド裏側の車両内部のカメラにより車両周辺環境の写像を記述するためのモデルを決定または供給または設定する。モデルは、内部カメラパラメータｉｎｔとウインドシールドガラスを特徴付ける少なくとも１つのパラメータψとの両方を備える。
最初のステップＳ１０において、ウインドシールド裏側の車両内部のカメラにより車両周辺環境の写像を記述するためのモデルを決定または供給または設定する。モデルは、内部カメラパラメータｉｎｔとウインドシールドガラスを特徴付ける少なくとも１つのパラメータψとの両方を備える。
【0103】
さらなるステップＳ１２において、車両の移動、写像モデルおよび画像シーケンスにおける特徴量の位置（特徴点、例えば、画像点）を考慮する誤差関数を決定する。カメラの外部パラメータθｊは考慮される。外部パラメータθｊは、基本的に、車両の移動により決定される。
【0104】
さらなるステップＳ１４において、パラメータを初期化する。内部パラメータｉｎｔおよび１つまたは複数のウインドシールドガラスパラメータψは、工場較正から引き継がれてよい。
【0105】
ステップＳ１６において、通行したカーブタイプの、その際の推定可能なパラメータへの割り当てを備えるライブラリを供給する。このライブラリは、それ以前の（試験）走行により作成されていてよい。特許文献１の方法は、非常に基本的なライブラリを作成するために用いることができる。また、ライブラリは最初は空であってもよい。ライブラリは、本方法を反復的に実行することによるコンテンツ、つまり、どのパラメータを決定するためにどのカーブタイプが適しているかに関する情報を格納することができるという役割を果たす。
【0106】
【0107】
ステップＳ２０において、実際のカーブ移動中にキャプチャされたカメラの画像シーケンスを供給する。
【0108】
ステップＳ２２において、実際のカーブ移動のカーブタイプを、例えば、カーブ幾何推定器または走行幾何推定器を用いて推定する。車両が実際に直線走行していると推定されると、カメラの新規画像が要求または供給される。
【0109】
ステップＳ２４において、推定されたカーブタイプについて、ライブラリをチェックすることにより、再較正すべきパラメータの推定可能性を評価する。実際のカーブ移動に基づいて潜在的に再較正すべきパラメータの推定可能性が評価される。
【0110】
ステップＳ２６は、少なくとも１つの再較正すべきパラメータについて推定可能性が与えられたか否かの質問または決定に関する。
【0111】
実際のカーブタイプがパラメータの推定には適していないことがライブラリから分かると、再びステップＳ２０が開始する。このことは、直線走行に加えて、他のカーブタイプでも当てはまる場合がある。
【0112】
それ以外の場合、パラメータの１つまたは複数のどれについて推定可能性が与えられたかチェックされる。（ライブラリによれば）推定可能性が、例えば、１つのパラメータのみに与えられた場合、ステップＳ２８において、それ以外のパラメータ（再較正すべきでないパラメータ）を実際に使用された値に固定する。その場合、１つの再較正すべきパラメータのみが未だに自由パラメータであり、以下において更新されてよい。全てのパラメータを再較正すべきことがあり、その場合、パラメータの固定は省略される。
【0113】
ステップＳ３０において、自由または再較正すべきパラメータを（新たに）推定する。詳細については、後ほど、図７を参照して説明する。基本的に、１つまたは複数の新しいパラメータが誤差関数の最小化により決定される。
【0114】
ステップＳ４０は、新たに推定されたパラメータによる較正が成功したか否かの決定に関する。誤差関数が閾値を超える値を出力する場合、このことは、較正は成功していないことを意味し、新たに推定されたパラメータは破棄される。それに続いて、再びステップＳ２０が開始する。
【0115】
誤差関数が閾値を超えない値を出力する場合、較正は成功と見なされ、引き続いてステップＳ４２において、推定されたパラメータ（潜在的に再較正すべきパラメータ、つまり、以前に再較正すべきパラメータ）に多意性が存在するか否かについて決定される。
【0116】
１つまたは複数の推定されたパラメータが多意的である場合、ステップＳ４４において、実際のカーブタイプについてライブラリは、このカーブタイプが（一意的でない）推定されたパラメータの再較正には不適であるとして、更新される。パラメータを一意的に推定することができなかったため、この場合、パラメータは更新されない。本方法はステップＳ２０により継続する。
【0117】
対照的に、１つまたは複数の推定されたパラメータが一意的である場合、ステップＳ４６において、実際のカーブタイプについてライブラリは、このカーブタイプが１つまたは複数の再較正された（再較正すべき）パラメータには好適であるとして、更新される。１つまたは複数のどのパラメータを以前よりも良好に、または「十分に良好」に推定することができたかのチェックを共分散評価を用いて行うことができる。このことについては、次段落において例示的に説明する。言い換えれば、カーブ推定器は、このカーブタイプについて、良好に推定することができた１つまたは複数のパラメータをマークするとして、更新される。この１つまたは複数のパラメータは更新され、本方法はステップＳ２０から新たに開始される。
当然のことながら、更新されたパラメータまたは全ての実際のパラメータを、ステップＳ４６において出力することができ、その際にまたは各々必要な時点において読み出すことができ、画像評価関数、検出手法、較正メカニズムまたは修正メカニズムのために用いることができる。
当然のことながら、更新されたパラメータまたは全ての実際のパラメータを、ステップＳ４６において出力することができ、その際にまたは各々必要な時点において読み出すことができ、画像評価関数、検出手法、較正メカニズムまたは修正メカニズムのために用いることができる。
【0118】
共分散行列を用いた「十分に良好」評価の例示的フロー：
具体的な短い概要：
－共分散行列については、ｎ次元誤差超楕円体を考えることができる。どの確率質量を取るべきかに応じて、この楕円体は大きくまたは小さくスケーリングされる（これについては、例えば、分位数が挙げられる）。
－ｎ次元誤差超楕円体の上に、許容される精確さ許容値に対応するエッジ長さを有する中心のｎ次元直方体を配置する。
－楕円体の広がりが直方体の境界を越えない、全ての座標方向（そしてそれに対応するパラメータ）が適しており、それ以外の全ては不精確過ぎると推定されている。
式を用いた場合：
－ｉ番目の座標方向の要件が満たされるために、従って、以下のみがチェックされる必要がある。
具体的な短い概要：
－共分散行列については、ｎ次元誤差超楕円体を考えることができる。どの確率質量を取るべきかに応じて、この楕円体は大きくまたは小さくスケーリングされる（これについては、例えば、分位数が挙げられる）。
－ｎ次元誤差超楕円体の上に、許容される精確さ許容値に対応するエッジ長さを有する中心のｎ次元直方体を配置する。
－楕円体の広がりが直方体の境界を越えない、全ての座標方向（そしてそれに対応するパラメータ）が適しており、それ以外の全ては不精確過ぎると推定されている。
式を用いた場合：
【数34】
【0119】
【数35】
【0120】
本発明の実施形態例およびさらなる態様の要点の説明：
－車を運転し、各推定されたカーブタイプについて、それが新しいカーブタイプであるか否か、または、既に学習したものであるか否か調べる
（この区別はここでの説明上のものにすぎず、区別は、これ以降、本方法においてはループに起因して時代遅れであるのは、新しいカーブタイプは、経験則状態からなお全てのパラメータを推定することができるようなカーブタイプだからである）。
－新しい場合：通常通りパラメータ推定を演算（全てのパラメータは変数として維持される）。
－既知の場合：このカーブタイプにおいて多意性が生じないパラメータが存在するか否か、パラメータに関してそれ以前に収集した情報を調べる。ＹＥＳの場合、以前の経験則に従ってこのカーブタイプの場合に多意性が生じた、コスト関数の全てのパラメータを固定し、自由パラメータについて推定を演算する。
（ここで、これまでこれらのパラメータについて用いられた値に固定する）
－較正成功の場合（例えば、ＲＭＳＥ（ｒｏｏｔ ｍｅａｎ ｓｑｕａｒｅ ｅｒｒｏｒ）（２乗平均平方根誤差）が所定の閾値未満）共分散行列を分析する。これは、例えば、以下のようであってよい。
・ＣＯＶ－１（Ｐｅｓｔ＿ａｐｐｒｏｘ）＝（ｆ‘（Ｐ０）ＴΣ－１ｆ‘（Ｐ０））の固有値と固有ベクトルを演算する
・注：ＣＯＶ－１が固有値μを有する場合、ＣＯＶは固有値１／μを有し、固有ベクトルは同じままである
・固有ベクトル対固有値「０の近傍」／「小さ過ぎる」（そのようなＣＯＶにおける固有ベクトル対非常に大きい固有値は非常に大きい不確かさとなる）は、０とは大幅に不等であるその成分により、どのパラメータを良好に共に推定することができないかを示す（つまり、良好に共に推定することができないパラメータの潜在的なグループを示す）。
・実際のカーブタイプについてのこれらの情報を格納する
次の回に、このカーブタイプが発生した場合、共に推定することができないグループの各々パラメータを固定する（好ましくは、固有ベクトルの成分が大きいパラメータ、そして好ましくは、複数のグループの平均に位置するもの）。
その場合、推定後、固定されていない、つまり、自由で推定されたパラメータについて、同じ分析を再び行う（このようにして、推定可能なパラメータセットに「収束」するのである）。
－車を運転し、各推定されたカーブタイプについて、それが新しいカーブタイプであるか否か、または、既に学習したものであるか否か調べる
（この区別はここでの説明上のものにすぎず、区別は、これ以降、本方法においてはループに起因して時代遅れであるのは、新しいカーブタイプは、経験則状態からなお全てのパラメータを推定することができるようなカーブタイプだからである）。
－新しい場合：通常通りパラメータ推定を演算（全てのパラメータは変数として維持される）。
－既知の場合：このカーブタイプにおいて多意性が生じないパラメータが存在するか否か、パラメータに関してそれ以前に収集した情報を調べる。ＹＥＳの場合、以前の経験則に従ってこのカーブタイプの場合に多意性が生じた、コスト関数の全てのパラメータを固定し、自由パラメータについて推定を演算する。
（ここで、これまでこれらのパラメータについて用いられた値に固定する）
－較正成功の場合（例えば、ＲＭＳＥ（ｒｏｏｔ ｍｅａｎ ｓｑｕａｒｅ ｅｒｒｏｒ）（２乗平均平方根誤差）が所定の閾値未満）共分散行列を分析する。これは、例えば、以下のようであってよい。
・ＣＯＶ－１（Ｐｅｓｔ＿ａｐｐｒｏｘ）＝（ｆ‘（Ｐ０）ＴΣ－１ｆ‘（Ｐ０））の固有値と固有ベクトルを演算する
・注：ＣＯＶ－１が固有値μを有する場合、ＣＯＶは固有値１／μを有し、固有ベクトルは同じままである
・固有ベクトル対固有値「０の近傍」／「小さ過ぎる」（そのようなＣＯＶにおける固有ベクトル対非常に大きい固有値は非常に大きい不確かさとなる）は、０とは大幅に不等であるその成分により、どのパラメータを良好に共に推定することができないかを示す（つまり、良好に共に推定することができないパラメータの潜在的なグループを示す）。
・実際のカーブタイプについてのこれらの情報を格納する
次の回に、このカーブタイプが発生した場合、共に推定することができないグループの各々パラメータを固定する（好ましくは、固有ベクトルの成分が大きいパラメータ、そして好ましくは、複数のグループの平均に位置するもの）。
その場合、推定後、固定されていない、つまり、自由で推定されたパラメータについて、同じ分析を再び行う（このようにして、推定可能なパラメータセットに「収束」するのである）。
【0121】
（必要に応じて数回の反復後に）同じカーブタイプについて、共分散分析が推定されたパラメータのどれについても多意性を示さないような推定を行うとすぐに（依然として共分散行列から多意性が生じたそれ以前の実行においては更新していない）：
「十分に良好」に推定された、固定されていない、つまり、自由で推定されたパラメータ全てを更新する（「十分に良好」の評価については、再度共分散を用いることができる。上記実施形態を参照）
「十分に良好」に推定された、固定されていない、つまり、自由で推定されたパラメータ全てを更新する（「十分に良好」の評価については、再度共分散を用いることができる。上記実施形態を参照）
【0122】
図７は、パラメータ推定Ｓ３０の詳細を示す。再較正すべきでないパラメータを実際のまたはこれまで用いられた値に固定した後、再較正すべきパラメータ（ステップＳ３０）を以下のようにして推定する。
【0123】
ステップＳ３２において、例えば、オプティカルフロー推定器またはフロートラッカを用いて、カメラ画像シーケンスの画像点対応点を決定する。外部パラメータまたはその推定は、カーブ推定器により供給することができる。
【0124】
ステップＳ３４において、誤差関数を最小化する。誤差関数は、画像シーケンスの複数の画像について、決定または測定された画像点とパラメータモデルに従って投影された画像点との間の誤差を考慮する。
【0125】
結果として、ステップＳ３６において、再較正すべきパラメータについて新しい値を決定する。
【0126】
それに引き続き、ステップＳ４０（図６を参照）において、較正が成功したか否かを決定する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【手続補正書】
【提出日】2024-05-23
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】０１２６
【補正方法】変更
【補正の内容】
【0126】
それに引き続き、ステップＳ４０（図６を参照）において、較正が成功したか否かを決定する。
なお、本願は、特許請求の範囲に記載の発明に関するものであるが、他の観点として以下も含む。
１．
車両（３３）の走行中に車両カメラ（１；３１；４０）を自動較正する方法であって、前記車両カメラ（１；３１；４０）によりガラス（３２；４４）越しに前記車両（３３）の周辺環境（４５；４６）の領域が写像される、方法において、
ａ）前記車両カメラ（１；３１；４０）の投影モデルを供給するステップであって、前記投影モデルが、パラメータ（θ ｊ ，ｉｎｔ，ψ）として、複数の外部パラメータ（θ ｊ ）、前記車両カメラ（１；３１；４０）の少なくとも１つの内部パラメータ（ｉｎｔ）および少なくとも１つの、前記ガラス（３２；４４）を特徴付けるパラメータ（ψ）を備える、ステップと、
ｂ）前記車両（３３）のカーブ走行（５）中に前記車両カメラ（１；３１；４０）の画像シーケンスをキャプチャするステップと、
ｃ）カーブ推定器により前記カーブ走行（５）中の前記車両（３３）の実際の移動に基づいてカーブタイプを決定するステップと、
ｄ）－前記車両（３３）の周辺環境の静止物体（４５）の前記画像シーケンスの画像点、
－前記車両（３３）の実際の移動および
－前記決定されたカーブタイプ
を考慮して、車両周辺環境の静止物体（４５）に対応する、前記画像シーケンスから決定された画像点と、前記投影モデルを用いて投影された、前記静止物体（４５）の画像点（ｐ ｉｊ ）と間の誤差を示す
を最小化することにより、前記パラメータを推定するステップと、
ｅ）前記推定されたパラメータ（θ ｊ ，ψ，ｉｎｔ）の少なくとも１つを出力するステップとを備える、方法。
２．
前記パラメータ（θ ｊ ；ψ；ｉｎｔ）の推定ステップの後、較正が成功したか否かを、前記最小化された誤差関数に関する閾値に基づいてチェックする、上記１に記載の方法。
３．
自動較正が成功した場合、１つまたは複数のどのパラメータ（θ ｊ ；ψ；ｉｎｔ）が十分に精確に推定されたか多意性分析を行い、１つまたは複数のこれに該当するパラメータ（θ ｊ ；ψ；ｉｎｔ）を出力する、上記２に記載の方法。
４．
前記推定されたパラメータ（θ ｊ ；ψ；ｉｎｔ）に加えて情報をライブラリに出力し、前記ライブラリが、通行したカーブタイプの、その際の各々の推定可能なパラメータへの割り当てを備え、前記出力された情報が、実際のカーブタイプに関する一意的な推定が成功であるか否か、および１つまたは複数のどのパラメータ（θ ｊ ；ψ；ｉｎｔ）に関して成功であるかを示す、上記１～３の何れか１つに記載の方法。
５．
実際のカーブタイプに関する再較正すべきパラメータの推定可能性の評価を、前記ライブラリをチェックすることにより行い、１つまたは複数の前記再較正すべきパラメータ（θ ｊ ；ψ；ｉｎｔ）の推定を、所定の推定可能性の場合にのみ行う、上記１～４の何れか１つに記載の方法。
６．
多意性分析は共分散評価を含む、上記３～５の何れか１つに記載の方法。
７．
前記内部および／またはガラスパラメータ（ψ；ｉｎｔ）の初期化を行い、これらのパラメータ（ψ；ｉｎｔ）の初期化を前記車両カメラ（１；３１；４０）の工場較正から行う、上記１～６の何れか１つに記載の方法。
８．
前記カーブ走行中（５）の前記車両（３３）の実際の移動に基づいて、前記外部パラメータ（θ ｊ ）の最初の解を求める、上記１～７の何れか１つに記載の方法。
９．
オプティカルフロー推定器（６）および／またはフロートラッカ（７）を用いて、前記画像シーケンスから、車両周辺環境の静止物体（４５）に対応する画像点または画像特徴点を決定する、上記１～８の何れか１つに記載の方法。
１０．
前記少なくとも１つの、前記ガラス（３２；４４）を特徴付けるパラメータ（ψ）は、前記ガラスの厚さｂを含む、上記１～９の何れか１つに記載の方法。
１１．
前記少なくとも１つの、前記ガラスを特徴付けるパラメータ（ψ）は、前記ガラス（３２；４４）の
を含む、上記１～１０の何れか１つに記載の方法。
１２．
車両（３３）の走行中に車両カメラ（１；３１；４０）を自動較正する装置であって、
ガラス（３２；４４）越しに前記車両（３３）の周辺環境（４５；４６）の領域を写像するように構成される前記車両カメラ（１；３１；４０）と、
前記車両カメラ（１；３１；４０）の投影モデルを供給するように構成される計算ユニットであって、前記投影モデルが、パラメータ（θ ｊ ，ｉｎｔ，ψ）として、複数の外部パラメータ（θ ｊ ）、前記車両カメラ（１；３１；４０）の少なくとも１つの内部パラメータ（ｉｎｔ）および少なくとも１つの、前記ガラス（３２；４４）を特徴付けるパラメータ（ψ）を備える、計算ユニットと、
前記車両カメラ（１；３１；４０）が、前記車両（３３）のカーブ走行（５）中に画像シーケンスをキャプチャするように構成され、
前記車両（３３）の前記カーブ走行（５）中の前記車両の実際の移動に基づいてカーブタイプを決定するように構成されるカーブ推定器と、
前記計算ユニットが、
－前記車両（３３）の周辺環境の静止物体（４５）の前記画像シーケンスの画像点、
－前記車両（３３）の実際の移動および
－前記決定されたカーブタイプ
を考慮して、車両周辺環境の静止物体（４５）に対応する、前記画像シーケンスから決定された画像点と、前記投影モデルを用いて投影された、前記静止物体（４５）の画像点（ｐ ｉｊ ）と間の誤差を示す
を最小化することにより、パラメータを推定するように構成され、
前記推定されたパラメータ（θ ｋ ，ｉｎｔ，ψ）を出力する出力ユニットとを備える、装置。
１３．
車両カメラ（１；３１；４０）と上記１２に記載の装置とを備える車両（３３）。
１４．
データ処理ユニットがプログラムを実行するように構成されている場合に、上記１～１１の何れか１つに記載の方法を実行するようにデータ処理ユニットに命令する、コンピュータプログラム素子。
１５．
上記１４に記載のコンピュータプログラム素子が格納されているコンピュータ可読記憶媒体。
なお、本願は、特許請求の範囲に記載の発明に関するものであるが、他の観点として以下も含む。
１．
車両（３３）の走行中に車両カメラ（１；３１；４０）を自動較正する方法であって、前記車両カメラ（１；３１；４０）によりガラス（３２；４４）越しに前記車両（３３）の周辺環境（４５；４６）の領域が写像される、方法において、
ａ）前記車両カメラ（１；３１；４０）の投影モデルを供給するステップであって、前記投影モデルが、パラメータ（θ ｊ ，ｉｎｔ，ψ）として、複数の外部パラメータ（θ ｊ ）、前記車両カメラ（１；３１；４０）の少なくとも１つの内部パラメータ（ｉｎｔ）および少なくとも１つの、前記ガラス（３２；４４）を特徴付けるパラメータ（ψ）を備える、ステップと、
ｂ）前記車両（３３）のカーブ走行（５）中に前記車両カメラ（１；３１；４０）の画像シーケンスをキャプチャするステップと、
ｃ）カーブ推定器により前記カーブ走行（５）中の前記車両（３３）の実際の移動に基づいてカーブタイプを決定するステップと、
ｄ）－前記車両（３３）の周辺環境の静止物体（４５）の前記画像シーケンスの画像点、
－前記車両（３３）の実際の移動および
－前記決定されたカーブタイプ
を考慮して、車両周辺環境の静止物体（４５）に対応する、前記画像シーケンスから決定された画像点と、前記投影モデルを用いて投影された、前記静止物体（４５）の画像点（ｐ ｉｊ ）と間の誤差を示す
【数36】
ｅ）前記推定されたパラメータ（θ ｊ ，ψ，ｉｎｔ）の少なくとも１つを出力するステップとを備える、方法。
２．
前記パラメータ（θ ｊ ；ψ；ｉｎｔ）の推定ステップの後、較正が成功したか否かを、前記最小化された誤差関数に関する閾値に基づいてチェックする、上記１に記載の方法。
３．
自動較正が成功した場合、１つまたは複数のどのパラメータ（θ ｊ ；ψ；ｉｎｔ）が十分に精確に推定されたか多意性分析を行い、１つまたは複数のこれに該当するパラメータ（θ ｊ ；ψ；ｉｎｔ）を出力する、上記２に記載の方法。
４．
前記推定されたパラメータ（θ ｊ ；ψ；ｉｎｔ）に加えて情報をライブラリに出力し、前記ライブラリが、通行したカーブタイプの、その際の各々の推定可能なパラメータへの割り当てを備え、前記出力された情報が、実際のカーブタイプに関する一意的な推定が成功であるか否か、および１つまたは複数のどのパラメータ（θ ｊ ；ψ；ｉｎｔ）に関して成功であるかを示す、上記１～３の何れか１つに記載の方法。
５．
実際のカーブタイプに関する再較正すべきパラメータの推定可能性の評価を、前記ライブラリをチェックすることにより行い、１つまたは複数の前記再較正すべきパラメータ（θ ｊ ；ψ；ｉｎｔ）の推定を、所定の推定可能性の場合にのみ行う、上記１～４の何れか１つに記載の方法。
６．
多意性分析は共分散評価を含む、上記３～５の何れか１つに記載の方法。
７．
前記内部および／またはガラスパラメータ（ψ；ｉｎｔ）の初期化を行い、これらのパラメータ（ψ；ｉｎｔ）の初期化を前記車両カメラ（１；３１；４０）の工場較正から行う、上記１～６の何れか１つに記載の方法。
８．
前記カーブ走行中（５）の前記車両（３３）の実際の移動に基づいて、前記外部パラメータ（θ ｊ ）の最初の解を求める、上記１～７の何れか１つに記載の方法。
９．
オプティカルフロー推定器（６）および／またはフロートラッカ（７）を用いて、前記画像シーケンスから、車両周辺環境の静止物体（４５）に対応する画像点または画像特徴点を決定する、上記１～８の何れか１つに記載の方法。
１０．
前記少なくとも１つの、前記ガラス（３２；４４）を特徴付けるパラメータ（ψ）は、前記ガラスの厚さｂを含む、上記１～９の何れか１つに記載の方法。
１１．
前記少なくとも１つの、前記ガラスを特徴付けるパラメータ（ψ）は、前記ガラス（３２；４４）の
【数37】
１２．
車両（３３）の走行中に車両カメラ（１；３１；４０）を自動較正する装置であって、
ガラス（３２；４４）越しに前記車両（３３）の周辺環境（４５；４６）の領域を写像するように構成される前記車両カメラ（１；３１；４０）と、
前記車両カメラ（１；３１；４０）の投影モデルを供給するように構成される計算ユニットであって、前記投影モデルが、パラメータ（θ ｊ ，ｉｎｔ，ψ）として、複数の外部パラメータ（θ ｊ ）、前記車両カメラ（１；３１；４０）の少なくとも１つの内部パラメータ（ｉｎｔ）および少なくとも１つの、前記ガラス（３２；４４）を特徴付けるパラメータ（ψ）を備える、計算ユニットと、
前記車両カメラ（１；３１；４０）が、前記車両（３３）のカーブ走行（５）中に画像シーケンスをキャプチャするように構成され、
前記車両（３３）の前記カーブ走行（５）中の前記車両の実際の移動に基づいてカーブタイプを決定するように構成されるカーブ推定器と、
前記計算ユニットが、
－前記車両（３３）の周辺環境の静止物体（４５）の前記画像シーケンスの画像点、
－前記車両（３３）の実際の移動および
－前記決定されたカーブタイプ
を考慮して、車両周辺環境の静止物体（４５）に対応する、前記画像シーケンスから決定された画像点と、前記投影モデルを用いて投影された、前記静止物体（４５）の画像点（ｐ ｉｊ ）と間の誤差を示す
【数38】
前記推定されたパラメータ（θ ｋ ，ｉｎｔ，ψ）を出力する出力ユニットとを備える、装置。
１３．
車両カメラ（１；３１；４０）と上記１２に記載の装置とを備える車両（３３）。
１４．
データ処理ユニットがプログラムを実行するように構成されている場合に、上記１～１１の何れか１つに記載の方法を実行するようにデータ処理ユニットに命令する、コンピュータプログラム素子。
１５．
上記１４に記載のコンピュータプログラム素子が格納されているコンピュータ可読記憶媒体。
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
車両（３３）の走行中に車両カメラ（１；３１；４０）を自動較正する方法であって、前記車両カメラ（１；３１；４０）によりガラス（３２；４４）越しに前記車両（３３）の周辺環境（４５；４６）の領域が写像される、方法において、ａ）前記車両カメラ（１；３１；４０）の投影モデルを供給するステップであって、前記投影モデルが、パラメータ（θｊ，ｉｎｔ，ψ）として、複数の外部パラメータ（θｊ）、前記車両カメラ（１；３１；４０）の少なくとも１つの内部パラメータ（ｉｎｔ）および少なくとも１つの、前記ガラス（３２；４４）を特徴付けるパラメータ（ψ）を備える、ステップと、
ｂ）前記車両（３３）のカーブ走行（５）中に前記車両カメラ（１；３１；４０）の画像シーケンスをキャプチャするステップと、
ｃ）カーブ推定器により前記カーブ走行（５）中の前記車両（３３）の実際の移動に基づいてカーブタイプを決定するステップと、
ｄ）－前記車両（３３）の周辺環境の静止物体（４５）の前記画像シーケンスの画像点、
－前記車両（３３）の実際の移動および
－前記決定されたカーブタイプ
を考慮して、車両周辺環境の静止物体（４５）に対応する、前記画像シーケンスから決定された画像点と、前記投影モデルを用いて投影された、前記静止物体（４５）の画像点（ｐｉｊ）と間の誤差を示す
【数1】
ｅ）前記推定されたパラメータ（θｊ，ψ，ｉｎｔ）の少なくとも１つを出力するステップとを備える、方法。
【請求項2】
前記パラメータ（θｊ；ψ；ｉｎｔ）の推定ステップの後、較正が成功したか否かを、前記最小化された誤差関数に関する閾値に基づいてチェックする、請求項１に記載の方法。
【請求項3】
自動較正が成功した場合、１つまたは複数のどのパラメータ（θｊ；ψ；ｉｎｔ）が十分に精確に推定されたか多意性分析を行い、１つまたは複数のこれに該当するパラメータ（θｊ；ψ；ｉｎｔ）を出力する、請求項２に記載の方法。
【請求項4】
前記推定されたパラメータ（θｊ；ψ；ｉｎｔ）に加えて情報をライブラリに出力し、前記ライブラリが、通行したカーブタイプの、その際の各々の推定可能なパラメータへの割り当てを備え、前記出力された情報が、実際のカーブタイプに関する一意的な推定が成功であるか否か、および１つまたは複数のどのパラメータ（θｊ；ψ；ｉｎｔ）に関して成功であるかを示す、請求項１に記載の方法。
【請求項5】
実際のカーブタイプに関する再較正すべきパラメータの推定可能性の評価を、前記ライブラリをチェックすることにより行い、１つまたは複数の前記再較正すべきパラメータ（θｊ；ψ；ｉｎｔ）の推定を、所定の推定可能性の場合にのみ行う、請求項１に記載の方法。
【請求項6】
多意性分析は共分散評価を含む、請求項３に記載の方法。
【請求項7】
前記内部および／またはガラスパラメータ（ψ；ｉｎｔ）の初期化を行い、これらのパラメータ（ψ；ｉｎｔ）の初期化を前記車両カメラ（１；３１；４０）の工場較正から行う、請求項１に記載の方法。
【請求項8】
前記カーブ走行中（５）の前記車両（３３）の実際の移動に基づいて、前記外部パラメータ（θｊ）の最初の解を求める、請求項１に記載の方法。
【請求項9】
オプティカルフロー推定器（６）および／またはフロートラッカ（７）を用いて、前記画像シーケンスから、車両周辺環境の静止物体（４５）に対応する画像点または画像特徴点を決定する、請求項１に記載の方法。
【請求項10】
前記少なくとも１つの、前記ガラス（３２；４４）を特徴付けるパラメータ（ψ）は、前記ガラスの厚さｂを含む、請求項１に記載の方法。
【請求項11】
前記少なくとも１つの、前記ガラスを特徴付けるパラメータ（ψ）は、前記ガラス（３２；４４）の【数2】
【請求項12】
車両（３３）の走行中に車両カメラ（１；３１；４０）を自動較正する装置であって、ガラス（３２；４４）越しに前記車両（３３）の周辺環境（４５；４６）の領域を写像するように構成される前記車両カメラ（１；３１；４０）と、
前記車両カメラ（１；３１；４０）の投影モデルを供給するように構成される計算ユニットであって、前記投影モデルが、パラメータ（θｊ，ｉｎｔ，ψ）として、複数の外部パラメータ（θｊ）、前記車両カメラ（１；３１；４０）の少なくとも１つの内部パラメータ（ｉｎｔ）および少なくとも１つの、前記ガラス（３２；４４）を特徴付けるパラメータ（ψ）を備える、計算ユニットと、
前記車両カメラ（１；３１；４０）が、前記車両（３３）のカーブ走行（５）中に画像シーケンスをキャプチャするように構成され、
前記車両（３３）の前記カーブ走行（５）中の前記車両の実際の移動に基づいてカーブタイプを決定するように構成されるカーブ推定器と、
前記計算ユニットが、
－前記車両（３３）の周辺環境の静止物体（４５）の前記画像シーケンスの画像点、
－前記車両（３３）の実際の移動および
－前記決定されたカーブタイプ
を考慮して、車両周辺環境の静止物体（４５）に対応する、前記画像シーケンスから決定された画像点と、前記投影モデルを用いて投影された、前記静止物体（４５）の画像点（ｐｉｊ）と間の誤差を示す
【数3】
前記推定されたパラメータ（θｋ，ｉｎｔ，ψ）を出力する出力ユニットとを備える、装置。
【請求項13】
車両カメラ（１；３１；４０）と請求項１２に記載の装置とを備える車両（３３）。
【請求項14】
データ処理ユニットがプログラムを実行するように構成されている場合に、請求項１～１１の何れか１項に記載の方法を実行するようにデータ処理ユニットに命令する、コンピュータプログラム素子。
【請求項15】
請求項１４に記載のコンピュータプログラム素子が格納されているコンピュータ可読記憶媒体。
【国際調査報告】