特表 2021-522719 カメラ内部パラメータのオンライン評価

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】特表2021-522719(P2021-522719A)

(43)【公表日】2021年8月30日

(54)【発明の名称】カメラ内部パラメータのオンライン評価

(51)【国際特許分類】

   H04N 5/232 20060101AFI20210802BHJP

   G06T 7/80 20170101ALI20210802BHJP

【ＦＩ】

   H04N5/232

   G06T7/80

【審査請求】未請求

【予備審査請求】未請求

【全頁数】15

(21)【出願番号】特願2020-559383(P2020-559383)

(86)(22)【出願日】2019年4月15日

(85)【翻訳文提出日】2020年12月10日

(86)【国際出願番号】EP2019059690

(87)【国際公開番号】WO2019206723

(87)【国際公開日】20191031

(31)【優先権主張番号】18169389.6

(32)【優先日】2018年4月26日

(33)【優先権主張国】EP

(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT

(71)【出願人】

【識別番号】508097870

【氏名又は名称】コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｃｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ ＧｍｂＨ

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(74)【代理人】

【識別番号】100208258

【弁理士】

【氏名又は名称】鈴木 友子

(72)【発明者】

【氏名】シルヴァ・カルロス

【テーマコード（参考）】

5C122

5L096

【Ｆターム（参考）】

5C122DA14

5C122EA55

5C122FB06

5C122FH03

5C122FH04

5C122FH11

5C122GE26

5C122GE27

5C122HA42

5C122HA86

5C122HA88

5C122HB10

5L096BA04

5L096CA04

5L096FA06

5L096GA51

5L096GA59

(57)【要約】

本発明は、車両２用のカメラシステム１に関する。カメラシステム１は、車両２の周囲の画像データを取得するように構成され、カメラ１０と制御モジュール２０とを備える。制御モジュール２０は、画像データの逆投影、順投影、および／または再投影における誤差を決定することにより、ならびに誤差が既定の閾値を超えるかどうかを決定することにより、カメラシステム１の内部パラメータの較正が必要かどうかを決定するように構成されている。

【特許請求の範囲】

【請求項1】

車両（２）の周囲の画像データを取得するように構成された、車両（２）用のカメラシステム（１）であって、
カメラ（１０）と、
制御モジュール（２０）とを備え、
前記制御モジュール（２０）は、前記画像データの逆投影、順投影、および／または再投影における誤差を決定することにより、ならびに前記誤差が既定の閾値を超えるかどうかを決定することにより、前記カメラシステム（１）の内部パラメータの較正が必要かどうかを決定するように構成されているカメラシステム（１）。

【請求項2】

前記カメラ（１０）が魚眼カメラであることを特徴とする請求項１に記載のカメラシステム（１）。

【請求項3】

前記カメラ（１０）は、原画像（３０）を取得するように構成され、前記制御モジュール（２０）は、前記原画像（３０）におけるエッジ点（３６）を決定するように構成されていることを特徴とする請求項１および２に記載のカメラシステム（１）。

【請求項4】

前記制御モジュール（２０）は、前記エッジ点（３６）を有する前記原画像（３０）をカメラレイ（４０）に投影するように構成され、前記カメラレイ（４０）は、半径１の単位球面（４５）を備え、現実における直線（３５）は、前記単位球面（４５）の表面上の円の一部として表され、
前記制御モジュール（２０）は、さらに、前記カメラレイ（４０）における前記エッジ点（３６）を通じて円を適合させるように構成されていることを特徴とする請求項３に記載のカメラシステム（１）。

【請求項5】

前記制御モジュール（２０）は、前記カメラレイ（４０）における前記適合された円の内座層点（３６ａ）を決定するように構成され、
前記内座層点（３６ａ）は、前記決定されたエッジ点（３６）の一部であることを特徴とする、請求項４に記載のカメラシステム（１）。

【請求項6】

前記制御モジュール（２０）は、前記原画像における前記内座層点（３６ａ）を通じてコニック曲線（３８）を適合させるように構成されていることを特徴とする、請求項５に記載のカメラシステム（１）。

【請求項7】

前記制御モジュール（２０）は、コニック適合アルゴリズムを用いて、前記原画像（３０）における前記内座層点（３６ａ）を通じて前記コニック曲線（３８）を適合させるように構成されていることを特徴とする請求項６に記載のカメラシステム（１）。

【請求項8】

前記制御モジュール（２０）は、前記原画像（３０）における前記エッジ点（３６）と前記適合されたコニック曲線（３８）との間の前記誤差を決定するように構成されていることを特徴とする請求項６および７に記載のカメラシステム（１）。

【請求項9】

前記制御モジュール（２０）は、二乗平均平方根法により、前記原画像（３０）における前記エッジ点（３６）と前記適合されたコニック曲線（３８）との間の前記誤差を決定するように構成されていることを特徴とする請求項８に記載のカメラシステム（１）。

【請求項10】

前記制御モジュール（２０）は、前記既定の閾値が超えられる場合、前記内部パラメータの較正を始動するように構成されていることを特徴とする前記請求項のいずれか１項に記載のカメラシステム（１）。

【請求項11】

請求項１〜１０のいずれか１項に記載のカメラシステム（１）を備える車両（２）。

【請求項12】

カメラの内部パラメータを評価するための方法であって、
カメラにより原画像を取得するステップ（Ｓ１）と、
前記原画像におけるエッジ点を決定するステップ（Ｓ２）と、
前記エッジ点をカメラレイに投影するステップ（Ｓ３）であって、前記カメラレイは、半径１の単位球面を備え、現実における直線は、前記単位球面の表面上の円の一部として投影されるステップと、
前記カメラレイにおける前記エッジ点を通じて円を適合するステップ（Ｓ４）と、
前記カメラレイにおける前記適合された円の内座層点を決定するステップ（Ｓ５）であって、前記内座層点は、前記決定されたエッジ点の一部であるステップと、
前記内座層点を前記原画像に投影するステップ（Ｓ６）と、
前記原画像における前記内座層点を通じてコニック曲線を適合するステップ（Ｓ７）と、
前記原画像における前記エッジ点と前記コニック曲線との間の誤差を決定するステップ（Ｓ８）と、
前記決定された誤差を既定の閾値と比較し、前記閾値が超えられる場合、前記カメラの前記内部パラメータの較正を始動するステップ（Ｓ９）とを含む当該方法。

【請求項13】

プロセッサにより実行されると請求項１２に記載の方法を行うように構成されている、請求項１〜１０のいずれか１項に記載のカメラシステムおよび／または請求項１１に記載の車両用のコンピュータプログラム要素。

【請求項14】

請求項１３に記載のコンピュータプログラム要素を格納したコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両用のカメラシステム、カメラシステムを備える車両、カメラの内部パラメータを評価するための方法、プログラム要素、およびコンピュータ可読媒体に関する。

【背景技術】

【0002】

現代の車両では、走行中に車両の運転手をサポートするため、複数のセンサが車両に設置または搭載されている。センサの適正な機能を達成するため、これらのセンサを較正しうる。較正は、センサ、例えばカメラの内部パラメータおよび外部パラメータを含む。一般に、内部パラメータは、再較正されないか、または一定の時間もしくは動作間隔で再較正される。さらに、再較正は、多大なる演算能力および／または時間を必要としうる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

効率的なカメラ較正を提供することが目的になりうる。

【課題を解決するための手段】

【0004】

本発明の目的は、独立クレームの主題で解決され、さらなる実施形態は、従属クレームに組み込まれる。

【0005】

第１の態様は、車両用のカメラシステムを提供する。カメラシステムは、車両の周囲の画像データを取得するように構成され、カメラと制御モジュールとを備える。制御モジュールは、画像データの逆投影、順投影、および／または再投影における誤差を決定することにより、ならびに誤差が既定の閾値を超えるかどうかを決定することにより、カメラシステムの内部パラメータの較正が必要かどうかを決定するように構成されている。

【0006】

カメラレイと原画像との間の投影は、カメラの内部パラメータを用いて実行してもよく、その逆もまた同様である。従って、有効でない、または不正確な内部パラメータにより、カメラレイと原画像との間の投影が正しくないものとなり、その逆もまた同様となる。

【0007】

本発明は、現実の場面における直線が単位球面の表面上の単位円に投影され、原画像における曲線に投影されるという原理に依拠している。

【0008】

カメラシステムは、カメラおよび制御モジュールを備えうる。制御モジュールは、カメラの実際の内部パラメータがまだ有効かつ正確であるかどうかを評価するように構成しうる。このため、制御モジュールは、逆投影、順投影、および／または再投影のうちの少なくとも１つを分析する。さらに、制御モジュールは、これらの投影のそれぞれにおける誤差を計算してもよく、誤差が既定の閾値を超える場合、内部パラメータの再較正が必要となり、かかる再較正を任意で始動してもよい。制御モジュールは、再較正をオンラインで行いうる。従って、カメラシステムの動作の最中に、制御モジュールは、再較正を行うためのサービス停車を開始しうる。従って、カメラの再較正を必要なときに行うことができ、カメラシステムのサービス時間に加え演算能力または時間が削減される。

【0009】

原画像における直線を検出するために用いうる種々の方法がある。これらの直線の点を、エッジ点と表記しうる。制御モジュールは、カメラシステムまたは車両の他の機能により検出され用いられる直線を用いうる。このため、演算負荷をさらに削減しうる。

【0010】

さらにその上、（現実における）直線は、単位球面における円として、および原画像におけるコニック曲線として現れるはずであるため、決定されたエッジ点を通じて、（カメラレイであるか原画像であるかにより）円および／またはコニック曲線を適合しうる。より正確な結果のため、エッジ点に対する内座層点（エッジ点のサブセット）を決定し、円および／またはコニック曲線を適合するために用いうる。

【0011】

各投影における誤差、すなわち、内部パラメータの評価および検証は、原画像と単位球面との両方における適合関数からの誤差により測定しうる。

【0012】

カメラの内部パラメータは、焦点距離、画像中心のｘ値、画像中心のｙ値、ｘ方向における画素スケーリング、およびｙ方向における画素スケーリングであってもよく、かかるパラメータの全ては、デカルト座標において定義される。

【0013】

逆投影は、原画像から単位球面への投影変換として定義しうる。原画像において適合しうる、コニック曲線に対する内座層点であるエッジ点を、選択しうる。エッジ点から単位球面において定義される円への距離を測定しうる。この距離の二乗平均平方根が、逆投影の誤差を表しうる。

【0014】

順投影は、単位球面から原画像への投影変換として定義しうる。単位球面において適合しうる、円に対する内座層点であるエッジ点を、選択しうる。決定された内座層点の指標を用いて、原画像における対応する点を識別しうる。エッジ点から原画像における曲線への距離を測定しうる。この距離の二乗平均平方根が、順投影の誤差を表しうる。

【0015】

再変換は、逆投影と順投影との組み合わせとして定義しうる。原画像におけるエッジ点および内座層点を単位球面に投影してもよく、原画像に逆投影してもよい。再変換の誤差は、再投影された点と原画像における（内座層点を通じて）適合されたコニック曲線との間の距離の二乗平均平方根でありうる。

【0016】

実施形態によれば、カメラが魚眼カメラである。

【0017】

カメラシステムのカメラは、魚眼レンズを備えうる。魚眼レンズを用いるカメラにおける歪みは大きくなりうるため、画像データの正しい分析、例えば取得された画像データ内での距離の測定や物体の認識などが可能でありうるように、内部パラメータは正確であるべきである。特に、取得された画像データが自動化および／または自動運転機能に用いられる場合にそれが当てはまる。

【0018】

別の実施形態によれば、カメラは、原画像を取得するように構成されている。さらに、制御モジュールは、原画像におけるエッジ点を決定するように構成されている。

【0019】

制御モジュールは、現実における直線を決定するように構成してもよく、かかる直線は、カメラにより取得された原画像において曲線として表される。現実または場面における直線は、柱、壁、天井、および／または標識でありうる。これらの種類の物体は、通常、直線を備え、認識アルゴリズムがこれらの物体を検出し、取得された画像における直線を決定しうる。決定されたエッジ点は、カメラの内部パラメータの評価のための開始基準となりうる。エッジの検出は、例えば、Ｃａｎｎｙエッジ検出器により行いうる。

【0020】

実施形態によれば、制御モジュールは、エッジ点を含む原画像を、カメラの内部パラメータを用いることによりカメラレイに投影するように構成されている。カメラレイは、半径１の単位球面を備え、現実における直線が単位球面の表面上の円の一部として表される。制御モジュールは、さらに、カメラレイにおけるエッジ点を通じて円を適合させるように構成されている。

【0021】

次のステップでは、カメラの内部投影を用いて、検出または決定されたエッジ点を単位球面に投影しうる。場面における直線は、単位球面の表面上の円の一部となる。単位球面に適合する直線は、次式のようになりうる。

【0022】

【数1】

実施形態によれば、制御モジュールは、カメラレイにおける適合された円の内座層点を決定するように構成され、内座層点は、決定されたエッジ点の一部である。

【0023】

内座層点は、エッジ点を通じて円を適合させることによりカメラにおいて決定してもよく、かかるエッジ点は、原画像において決定し、カメラレイに投影してもよい。内座層点は、残留エッジ点として散らばりが小さいエッジ点でありうる。従って、内座層点は、エッジ点の導出により決定しうる。

【0024】

別の実施形態によれば、制御モジュールは、原画像における内座層点を通じてコニック曲線を適合させるように構成されている。

【0025】

決定された内座層点を用いて、それらを通じてコニック曲線を適合しうる。さらに、内座層点の指標を用いて、原画像における対応するエッジ点を識別しうる。従って、カメラレイの内座層点を原画像に投影する必要はないかもしれない。

【0026】

実施形態によれば、制御モジュールは、コニック適合アルゴリズムを用いて、原画像における内座層点を通じてコニック曲線を適合させるように構成されている。

【0027】

現実における直線は、原画像におけるコニック曲線に対応する。後者は、カメラシステムおける、例えばカメラのレンズにおける歪みに基づいている。特に、レンズが魚眼レンズの場合にそれが当てはまる。さらに、決定された内座層点を通じてコニック曲線を適合するため、コニック適合アルゴリズムを用いうる。

【0028】

場面における直線は、原画像におけるコニック曲線に対応する。コニック曲線は、次式により表しうる。

【0029】

【数2】

楕円のＦｉｔｚｇｉｂｂｏｎ直接最小二乗適合は、次式により表される。

【0030】

【数3】

従って、コニック曲線は、次式により表しうる。

【0031】

【数4】

別の実施形態によれば、適合アルゴリズムは、Ｆｉｔｚｇｉｂｂｏｎコニック適合アルゴリズムでありうる。

【0032】

別の実施形態によれば、制御モジュールは、原画像におけるエッジ点と適合されたコニック曲線との間の誤差を決定するように構成されている。

【0033】

エッジ点と適合されたコニック曲線との間の誤差または距離は、カメラの実際の内部パラメータおよび／またはカメラシステムの最近の較正の正確性に相当しうる。従って、適合されたコニック曲線と単独のエッジ点との間の誤差または平均距離が大きいほど、内部パラメータはより不正確である。取得された画像を確実に評価または分析するため、用いられるカメラの内部パラメータは、現実的で正確な必要がある。従って、カメラの内部パラメータの再較正が長時間にわたり必要となりうる。しかし、演算能力および時間を削減するため、再較正は、必要な場合にのみ行われるべきである。このため、逆投影、順投影、および／または再投影の１つにおける誤差を分析しうる。

【0034】

実施形態によれば、制御モジュールは、二乗平均平方根法により、原画像におけるエッジ点と適合されたコニック曲線との間の誤差を決定するように構成されている。

【0035】

例として、エッジ点と適合されたコニック曲線との間の誤差または距離は、二乗平均平方根法により決定しうる。

【0036】

実施形態によれば、制御モジュールは、既定の閾値が超えられる場合、内部パラメータの較正を始動するように構成されている。

【0037】

従って、正しく作動するカメラシステムを保証するため、コニック曲線とエッジ点との間の決定された誤差が一定の閾値を超える場合、内部パラメータを再較正しうる。較正は、オンラインで行いうる。従って、運転中に制御モジュールを介して、または作業場におけるサービス停車中に、行いうる。上記および以下に記載の方法は、特に、最近の較正の正確性の評価を扱うものである。

【0038】

本発明の別の態様によれば、余剰のオフデューティ時間間隔を決定するための運転手補助システムを備える車両が提供される。

【0039】

車両は、例えば、自動車、バス、またはトラックなどの自動車両、また、船舶、ボート、航空機、またはヘリコプタでありうる。

【0040】

さらに別の態様によれば、カメラの内部パラメータを評価するための方法が提供される。本方法は、以下のステップを備える：
カメラにより原画像を取得するステップと、
原画像におけるエッジ点を決定するステップと、
エッジ点をカメラレイに投影するステップであって、カメラレイは、半径１の単位球面を備え、現実における直線は、単位球面の表面上の円の一部として投影される、ステップと、
カメラレイにおけるエッジ点を通じて円を適合するステップと、
カメラレイにおける適合された円の内座層点を決定するステップであって、内座層点は、決定されたエッジ点の一部である、ステップと、
内座層点を原画像に投影するステップと、
原画像における内座層点を通じてコニック曲線を適合するステップと、
原画像におけるエッジ点とコニック曲線との間の誤差を決定するステップと、
決定された誤差を既定の閾値と比較し、閾値が超えられる場合、カメラの内部パラメータの較正を始動するステップ。

【0041】

方法は、別の順序で行われうることに留意すべきである。さらに、誤差は、カメラレイにおいて決定しうる。さらにその上、内座層点の指標を決定し、それを用いて原画像またはカメラレイにおける対応する点を識別しうる。従って、内座層点の逆投影を回避しうる。

【0042】

別の態様によれば、前述の装置を制御するコンピュータプログラム要素が提供され、かかるコンピュータプログラム要素は、処理ユニットにより実行され、前述の方法ステップを行うように適合されている。

【0043】

また、前述のコンピュータ要素を記憶したコンピュータ可読媒体も提供される。

【0044】

上記態様のいずれにより提供される利点も、その他の全ての態様に等しく適用され、その逆もまた同様であると有益である。

【0045】

上記の態様および例は、以下に記載の実施形態から明らかとなり、それらの実施形態を参照して説明される。

【0046】

以下の図面を参照して、例示的実施形態を以下で説明する。

【図面の簡単な説明】

【0047】

【図1】実施形態による車両用のカメラシステムの概略図を示す。

【図2】実施形態によるカメラシステムの検出されたエッジを含む取得された原画像を示す。

【図3】実施形態による単位球面の表面上の円上に投影された直線を有する単位球面を示す。

【図4】実施形態による、単位球面の表面上の円上に直線が投影されている、カメラレイにおける取得された画像を示す。

【図5】実施形態によるカメラの内部パラメータを評価するための流れ図を示す。

【図6a】実施形態による、検出されたエッジ点、エッジ点に対する決定された内座層点、適合したコニック曲線、および適合した曲線とエッジ点との間の誤差を示す。

【図6a】実施形態による、検出されたエッジ点、エッジ点に対する決定された内座層点、適合したコニック曲線、および適合した曲線とエッジ点との間の誤差を示す。

【図6c】実施形態による、検出されたエッジ点、エッジ点に対する決定された内座層点、適合したコニック曲線、および適合した曲線とエッジ点との間の誤差を示す。

【図6d】実施形態による、検出されたエッジ点、エッジ点に対する決定された内座層点、適合したコニック曲線、および適合した曲線とエッジ点との間の誤差を示す。

【図7】実施形態による、エッジ点を通じて適合したコニック曲線を含む取得された原画像を示す。

【図8】実施形態によるカメラシステムを有する車両を示す。

【図9】実施形態によるカメラの内部パラメータを評価するための方法の流れ図を示す。

【発明を実施するための形態】

【0048】

図１は、カメラシステム１を示す。カメラシステム１は、カメラ１０および制御モジュール２０を備える。制御モジュール２０は、カメラシステム１の内部パラメータの再較正が必要かどうかを決定するように構成しうる。このため、制御モジュール２０は、取得された画像データの逆投影、順投影、および／または再投影における誤差を決定するように構成しうる。後者の投影は、カメラの内部パラメータの支援により実行される。特に、制御モジュール２０は、逆投影、順投影、および／または再投影における誤差を既定の閾値と比較するように構成してもよく、誤差が閾値を超える場合、カメラ１０の内部パラメータの再較正を始動してもよい。この方法は、魚眼レンズを有するカメラに特に有用でありうる。

【0049】

カメラ１０は、現実の環境または場面の原画像を取得する。カメラ１０のレンズにより生じる歪みにより、現実における直線は、原画像において曲線として現れる。制御モジュール２０は、原画像における壁、木、尖塔、標識、看板、またはドアなどのエッジの一部である、原画像におけるエッジ点を決定するように構成しうる。代替として、または加えて、これらのエッジ点は、別のモジュールまたはアルゴリズムにより決定しうる。制御モジュール２０は、さらに、決定されたエッジ点を含む原画像を、内部パラメータを用いることによりカメラレイに投影するように構成しうる。カメラレイは、半径１の単位球面を備え、現実における直線が単位球面の表面上の円の一部として表される。制御モジュール２０は、また、カメラレイにおけるエッジ点を通じて単位球面の表面上の円を適合させるように構成しうる。続いて、制御モジュール２０は、エッジ点のサブセットまたは一部である、内座層点を決定しうる。さらに、制御モジュール２０は、Ｆｉｔｚｇｉｂｂｏｎによるコニック適合アルゴリズムなどのコニック適合アルゴリズムの使用により、原画像における内座層点を通じてコニック曲線を適合させるように構成しうる。エッジ点とコニック曲線との間の誤差および／または距離に基づいて、制御モジュール２０は、カメラの内部パラメータの較正がまだ有効であるか否かを決定することが可能である。特に、決定された誤差を既定の閾値と比較することにより決定する。代替として、または加えて、内座層点の指標を決定し、それを用いてコニック曲線を計算し、誤差を決定しうる。誤差は、二乗平均平方根法を用いることにより決定しうる。制御モジュール２０は、さらに、誤差が既定の閾値を超える場合、カメラ１０の内部パラメータの再較正を始動するように構成しうる。

【0050】

図２は、取得された原画像３０を示す。取得された原画像３０において、取得された場面のエッジが検出される。現実における直線３５が原画像３０においてはコニック曲線として表されるため、これらの検出されたエッジは、異なる陰影および形状のコニック曲線により示される。図２の場合、駐車場が示され、場面では直線３５である柱、天井、および路面標識を用いて、カメラの内部パラメータを評価しうる。

【0051】

図３は、カメラレイ４０の単位球面４５を示す。単位球面４５の半径ｎは、１である。現実における直線３５は、単位球面４５の表面上に投影され、単位球面４５の表面上の円の一部を表す。従って、直線３５は、カメラレイ４０における円の一部として現れる。

【0052】

図４は、カメラレイ４０を示し、図２の原画像がカメラレイ４０に変換され、カメラレイ４０における単位球面４５の表面上に投影される。図２の印字された直線３５は、原画像のその他の直線と同様に、カメラレイ４０における円の一部として表される。

【0053】

図５は、カメラの内部パラメータを評価するための方法の流れ図を示す。取得された画像または映像において、直線に対応するエッジが検出される。原画像のエッジ点がカメラレイに投影される。カメラレイでは、エッジ点が単位球面の表面上の円上にある。エッジ点を通じて円を適合した後、内座層点を決定しうる。この内座層点により、コニック曲線を原画像において適合、計算、または決定しうる。このため、内座層点を原画像に逆投影してもよく、内座層点の指標を決定し、内座層点の指標を用いて原画像における対応するエッジ点を識別する。さらに、適合されたコニック曲線とエッジ点との間の誤差を決定しうる。誤差が既定の閾値を超える場合、カメラの内部パラメータがもはや有効または正確でなく、カメラの内部パラメータを再較正する必要がある。

【0054】

図６ａ〜６ｄは、検出されたエッジ点、決定された内座層点、コニック曲線の適合、および誤差の決定を示す。

【0055】

図６ａにおける点は、原画像における（現実の）場面における直線のエッジ点３６を表す。図６ａに示すように、エッジ点は、正確に１本の曲線上にあるのでなく、これは、エッジ検出アルゴリズムの使用および取得された画像における画素サイズによる結果でありうる。さらに、エッジ点３６は、中央値の周辺に散在し、いくつかのエッジ点は、他のものよりも大きく散らばっていることが示されている。

【0056】

図６ｂは、内座層点３６ａの定義を示し、これらの点は、「外側の」エッジ点３６の間にある。図６ｂにおいて、エッジ点３６は濃色ドットとして、内座層点３６ａはグレー色ドットとして表されている。さらに、上側バリアおよび下側バリアが図６ｂに示され、黒線として表されている。点線は、内座層点３６ａが位置する曲線を表す。

【0057】

図６ｃは、適合されたコニック曲線３８を示し、かかる曲線は、内座層点３６ａに基づいて計算され、および／またはそれらを通じて適合されている。さらに、内座層点３６ａは、コニック曲線３８上に位置することが示されている。

【0058】

図６ｄは、適合されたコニック曲線３８およびエッジ点３６を示す。コニック曲線３８とエッジ点３６との間の距離は、カメラレイと原画像との間の逆投影における誤差を表す。エッジ点３６とコニック曲線３８との間の矢印は、誤差を示す。誤差が既定の閾値を超える場合、カメラの内部パラメータがもはや有効でなく、再較正する必要がある。

【0059】

図７は、複数の適合されたコニック曲線３８を有する原画像３０を示す。適合されたコニック曲線３８は、場面における直線のエッジ点の内座層点を通じて適合されている。図７には、教会の原画像が示されている。教会の尖塔およびドアは、多数の直線および／またはエッジを備える。これらの線および／またはエッジの点が原画像３０において決定され、決定されたエッジ点を通じてコニック曲線３８が適合されうる。エッジ点と適合されたコニック曲線３８との間の誤差により、内部パラメータおよびそれらの正確性についての情報が提供される。コニック曲線３８とエッジ点との間の誤差を決定するため、二乗平均平方根を考慮しうる。誤差が既定の閾値を超える場合、カメラの内部パラメータを再較正しうる。

【0060】

図８は、カメラシステム１を有する車両２を示す。カメラシステム１のカメラは、車両２の走行方向に面する車両２のフロントガラスの後方に搭載しうる。代替として、または加えて、カメラシステム１のカメラは、車両２の側方、サイドミラー、または車両２の後方エリアに面する車両２の後端に配置しうる。カメラシステム１のカメラおよび制御モジュールは、車両２内の同じ場所に配置してもよいが、離間配置してバスシステムまたはワイヤで接続してもよい。

【0061】

図９は、カメラの内部パラメータを評価するための方法の流れ図を示す。ステップＳ１において、カメラは原画像を取得し、カメラは魚眼レンズを備えうる。ステップＳ２において、取得された原画像においてエッジのエッジ点を決定する。ステップＳ３において、決定されたエッジ点をカメラレイに投影し、カメラレイは、半径１の単位球面を備え、現実における直線が単位球面の表面上の円の一部として投影される。続いて、ステップＳ４において、カメラレイにおけるエッジ点を通じて円を適合する。ステップＳ５において、カメラレイにおける適合された円の支援によりエッジ点の内座層点を決定する。ステップＳ６において、内座層点を原画像に投影する。ステップＳ７において、原画像における内座層点を通じてコニック曲線を適合する。続くステップＳ８において、エッジ点とコニック曲線との間の誤差を、原画像において決定する。ステップＳ９において、決定された誤差を既定の閾値と比較し、誤差が既定の閾値を超える場合、カメラの内部パラメータの較正を始動する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6a】

【図6b】

【図6c】

【図6d】

【図7】

【図8】

【図9】

【国際調査報告】