特許 6285958 ローリングシャッターを伴うステレオ支援

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6285958

(24)【登録日】2018年2月9日

(45)【発行日】2018年2月28日

(54)【発明の名称】ローリングシャッターを伴うステレオ支援

(51)【国際特許分類】

   G01C 3/06 20060101AFI20180215BHJP

   H04N 5/232 20060101ALI20180215BHJP

   H04N 5/225 20060101ALI20180215BHJP

   H04N 13/20 20180101ALI20180215BHJP

   G06T 1/00 20060101ALI20180215BHJP

   G03B 35/08 20060101ALI20180215BHJP

   G03B 7/091 20060101ALI20180215BHJP

   G03B 15/00 20060101ALI20180215BHJP

   G01C 3/00 20060101ALI20180215BHJP

【ＦＩ】

   G01C3/06 110V

   H04N5/232

   H04N5/225

   H04N13/02 710

   G06T1/00 400M

   G06T1/00 330Z

   G03B35/08

   G03B7/091

   G03B15/00 V

   G03B15/00 H

   G01C3/06 140

   G01C3/00 120

【請求項の数】19

【全頁数】32

(21)【出願番号】特願2015-552164(P2015-552164)

(86)(22)【出願日】2014年1月15日

(65)【公表番号】特表2016-514246(P2016-514246A)

(43)【公表日】2016年5月19日

(86)【国際出願番号】IB2014000582

(87)【国際公開番号】WO2014111814

(87)【国際公開日】20140724

【審査請求日】2017年1月10日

(31)【優先権主張番号】61/752,515

(32)【優先日】2013年1月15日

(33)【優先権主張国】US

(31)【優先権主張番号】61/761,724

(32)【優先日】2013年2月7日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】515168961

【氏名又は名称】モービルアイ ビジョン テクノロジーズ リミテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】シュタイン，ギデオン

(72)【発明者】

【氏名】ベルマン，エフィム

【審査官】 池田 剛志

(56)【参考文献】

【文献】 特表２０１１−５１２７３５（ＪＰ，Ａ）

【文献】 特開２０１２−１９８０７５（ＪＰ，Ａ）

【文献】 特開２００４−０３２２４４（ＪＰ，Ａ）

【文献】 特開２０１１−１６０２９９（ＪＰ，Ａ）

【文献】 特開２００５−２１０２１７（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００５／００７７４５０（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ１１／００ −１１／３０

Ｇ０１Ｃ ３／００ − ３／３２

Ｇ０３Ｂ３５／００ −３７／０６

Ｈ０４Ｎ ５／２２２− ５／２５７

１３／００ −１７／０６

(57)【特許請求の範囲】

【請求項1】

車両用の撮像システムであって、
第１の視野を有し、前記車両に関連するシーンに関する第１の画像を取得するように構成される第１の画像捕捉装置であって、前記第１の画像は、ローリングシャッターを使用して捕捉される第１の一連の画像走査線として取得される、第１の画像捕捉装置と、
前記第１の視野とは異なり、前記第１の視野と少なくとも部分的に重複する第２の視野を有する第２の画像捕捉装置であって、前記第２の画像捕捉装置は、前記車両に関連する前記シーンに関する第２の画像を取得するように構成され、前記第２の画像は、ローリングシャッターを使用して捕捉される第２の一連の画像走査線として取得される、第２の画像捕捉装置と
を含み、
前記第１の視野と前記第２の視野とが重複する結果、前記第１の画像の第１の重複部分が、前記第２の画像の第２の重複部分に対応し、
前記第１の画像捕捉装置は、前記第２の一連の画像走査線の取得に関連する第２の走査速度とは異なる前記第１の一連の画像走査線の取得に関連する第１の走査速度を有し、その結果、前記第１の画像捕捉装置は前記第１の画像の前記第１の重複部分を、前記第２の画像の前記第２の重複部分が取得される期間にわたって取得する、
システム。

【請求項2】

前記第２の走査速度が前記第１の走査速度よりも速い、請求項１に記載のシステム。

【請求項3】

前記第２の画像の前記第２の重複部分内の、前記第２の画像捕捉装置からの走査線の一部だけをサンプリングするように構成される画像処理装置を更に含む、請求項１に記載のシステム。

【請求項4】

前記第１の画像捕捉装置が、前記第１の一連の画像走査線の取得に関連する第１の水平帰線期間を有し、
前記第２の画像捕捉装置が、前記第２の一連の画像走査線の取得に関連する第２の水平帰線期間を有し、
前記第２の水平帰線期間が前記第１の水平帰線期間未満である、
請求項１に記載のシステム。

【請求項5】

前記第１の画像捕捉装置が、前記第１の一連の画像走査線の取得に関連する第１の垂直帰線期間を有し、
前記第２の画像捕捉装置が、前記第２の一連の画像走査線の取得に関連する第２の垂直帰線期間を有し、
前記第１の垂直帰線期間が前記第２の垂直帰線期間未満である、
請求項１に記載のシステム。

【請求項6】

前記第１の画像捕捉装置が、前記第１の一連の画像走査線の取得に関連する第１の総フレーム時間を有し、
前記第２の画像捕捉装置が、前記第２の一連の画像走査線の取得に関連する第２の総フレーム時間を有し、
前記第１の総フレーム時間が前記第２の総フレーム時間に等しい、
請求項１に記載のシステム。

【請求項7】

前記第２の視野が前記第１の視野よりも狭い、請求項１に記載のシステム。

【請求項8】

前記第２の視野の少なくとも中心が、前記第１の視野の少なくとも中心にほぼ対応する、請求項１に記載のシステム。

【請求項9】

前記第１の画像捕捉装置と前記第２の画像捕捉装置とが同期しているかどうかを判定するための周期的チェックを行う
ように構成される少なくとも１個の処理装置を更に含む、
請求項１に記載のシステム。

【請求項10】

前記第１の画像捕捉装置と前記第２の画像捕捉装置とが同期していないことを前記周期的チェックが示す場合、前記少なくとも１個の処理装置が、前記第１の画像捕捉装置及び前記第２の画像捕捉装置の再同期を行うように更に構成される、請求項９に記載のシステム。

【請求項11】

前記第１の画像捕捉装置が、前記第１の一連の画像走査線の取得に関連する第１の画素遅延を有し、
前記第２の画像捕捉装置が、前記第２の一連の画像走査線の取得に関連する第２の画素遅延を有し、
前記第１の画素遅延が前記第２の画素遅延を上回る、
請求項１に記載のシステム。

【請求項12】

前記第１の一連の画像走査線の少なくとも１つが前記第２の一連の画像走査線の少なくとも１つと整列している、請求項１に記載のシステム。

【請求項13】

前記第１の画像捕捉装置と前記第２の画像捕捉装置とが同期しているかどうかを判定するためのタイミングチェックを周期的に行うように構成される処理装置を更に含む、請求項１に記載のシステム。

【請求項14】

前記第１の一連の画像走査線の走査線又は前記第２の一連の画像走査線の走査線を周期的にリセットするように構成される処理装置を更に含む、請求項１に記載のシステム。

【請求項15】

車両に関連するシーンから画像を取得する方法であって、
第１の視野を有する第１の画像捕捉装置を介して前記車両に関連する前記シーンに関する第１の画像を取得するステップであって、前記第１の画像は、ローリングシャッターを使用して捕捉される第１の一連の画像走査線として取得される、ステップと、
前記第１の視野とは異なり、前記第１の視野と少なくとも部分的に重複する第２の視野を有する第２の画像捕捉装置を介して前記車両に関連する前記シーンに関する第２の画像を取得するステップであって、前記第２の画像は、ローリングシャッターを使用して捕捉される第２の一連の画像走査線として取得される、ステップと、
を含み、
前記第１の視野と前記第２の視野とが重複する結果、前記第１の画像の第１の重複部分が、前記第２の画像の第２の重複部分に対応し、
前記第１の画像捕捉装置は、前記第２の一連の画像走査線の取得に関連する第２の走査速度とは異なる前記第１の一連の画像走査線の取得に関連する第１の走査速度を有し、その結果、前記第１の画像捕捉装置は前記第１の画像の前記第１の重複部分を、前記第２の画像の前記第２の重複部分が取得される期間にわたって取得する、
方法。

【請求項16】

前記第２の走査速度が前記第１の走査速度よりも速い、請求項１５に記載の方法。

【請求項17】

前記第２の視野が前記第１の視野よりも狭い、請求項１５に記載の方法。

【請求項18】

車両用の撮像システムであって、
第１の視野を有し、第１の画像を取得するように構成される第１の画像捕捉装置であって、前記第１の画像は、ローリングシャッターを使用して捕捉される第１の一連の画像走査線として取得される、第１の画像捕捉装置と、
前記第１の視野とは異なり、前記第１の視野と少なくとも部分的に重複する第２の視野を有する第２の画像捕捉装置であって、前記第２の画像捕捉装置は、第２の画像を取得するように構成され、前記第２の画像は、ローリングシャッターを使用して捕捉される第２の一連の画像走査線として取得される、第２の画像捕捉装置と
を含み、
前記第１の画像捕捉装置は、前記第２の一連の画像走査線の取得に関連する第２の走査速度とは異なる前記第１の一連の画像走査線の取得に関連する第１の走査速度を有し、その結果、前記第１の画像捕捉装置は前記第１の画像の第１の重複部分を、前記第２の画像の第２の重複部分が取得される期間にわたって取得する、
システム。

【請求項19】

前記第１の視野と前記第２の視野とが重複する結果、前記第１の画像の前記第１の重複部分が、前記第２の画像の前記第２の重複部分に対応する、請求項１８に記載の撮像システム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０１３年１月１５日に出願された米国仮特許出願第６１／７５２，５１５号、及び２０１３年２月７日に出願された米国仮特許出願第６１／７６１，７２４号の優先権を米国特許法第１１９条の下で主張する。上記の各出願は、参照によりその全体を本明細書に援用する。

【0002】

背景
Ｉ．技術分野
本開示は一般に、カメラ撮像システムに関し、より詳細にはローリングシャッターによって画像を捕捉するための装置及び技法、車両に含めることができるステレオ画像取得システムに関する。

【背景技術】

【0003】

ＩＩ．背景情報
カメラによる車両用の運転手支援システムは、画像を集めるために単一のカメラに主に依存する単眼物体検出システムを含み得る。この種のシステム内の画像は単一視点から捕捉されるので、対象物までの距離を直接求めることが困難であり得る。従って、単眼対象物検出システムは、物体クラスに関する情報及び／又は物体のコンテキスト（例えば対象物がその上にある路面の様相）に関連するコンテキスト情報に基づいて対象物までの距離を間接的に求めるために推定技法を用いる場合がある。場合によっては、単眼システムは、単眼距離推定の前に特定の物体クラスを検出するために、パターン認識を使用することができる。

【0004】

カメラによる車両用の運転手支援システムは、２台のカメラを使用するステレオシステムも含み得る。一部のシステムでは、これらのカメラを並列に装着することができ、エピポーラ線が水平な画像走査線に対して位置合わせされる。かかるシステムは、高密度視差マップを使用して環境の３Ｄマップを作成することができる。次いでシステムは、例えば更に処理するための候補領域を見つけるために、その３Ｄ表現を前景及び／又は背景分離に使用することができる。システムは、興味をそそる物体の位置を突き止めるために、又は検出された物体までの距離及び／若しくは距離レートを推定するためにも３Ｄ表現を使用することができる。かかるステレオシステムは、近距離又は中距離の対象及び良い天気では上手く機能することができ、全体的な対象に関する奥行マップを与え得る。しかし、かかるステレオシステムは、悪天候の間又は雑然としたシーンが存在する場合に困難に直面する場合がある。更に、これらのシステムは、車両からより離れた距離にある物体を撮像するのが困難であり得る。

【0005】

米国特許第７，７８６，８９８号に記載のシステム等、一部の撮像システムは、単眼システム及びステレオシステムの両方からの情報を融合させることができる。この種のシステムは、対象を検出／選択し、距離を推定する役割を担う一次カメラを含み得る。対象を検証するために、二次カメラが被選択対象に対するステレオ距離を提供し得る。

【0006】

一部のステレオシステムは、ステレオ奥行と単眼奥行とを組み合わせることができる非対称構成を含み得る。例えば、２台の非対称カメラ（例えば異なる視野（ＦＯＶ）及び焦点距離を有する）を独立した用途で使用することができる。更に、それらのカメラからの画像情報を組み合わせてステレオ奥行をもたらすことができる。グローバルシャッターを有するカメラでは、かかるステレオ処理は、マッチする画像の対を提供するために、とりわけより広いＦＯＶのカメラをトリミングすること、画像を平滑化しサブサンプリングすること、及び／又は修正することを含み得る。

【発明の概要】

【発明が解決しようとする課題】

【0007】

自動車センサに使用され得る画像センサを含む最近の世代の画像センサは、ローリングシャッターを含み得る。かかるローリングシャッターは、特に異なる視野を有するカメラを用いる非対称ステレオ応用において、ステレオ画像処理に複雑さを生ぜしめる場合がある。例えば、ワイドＦＯＶカメラ及びナローＦＯＶカメラの両方が共通のシーンを狙う場合、ナローＦＯＶカメラがワイドＦＯＶカメラのＦＯＶの一部としか重複しない場合がある。同様の線走査速度で取得されるほぼ同数の画像走査線として両方のカメラが画像を取得する場合、２台のカメラの視野内の重複領域内の取得済みの画像走査線は同期しなくなる。かかる同期の欠如は、ナローＦＯＶカメラからの第２の画像内の画像点に対する、ワイドＦＯＶカメラからの第１の画像内の画像点の相関関係を求める際に問題を引き起こす場合があり、このことは物体距離測定で著しい不正確さにつながり得る。

【課題を解決するための手段】

【0008】

概要
開示する実施形態に従い、車両用の撮像システムが提供され、このシステムは、第１の視野を有し、車両に関連するシーンに関する第１の画像を取得するように構成される第１の画像捕捉装置を含み、第１の画像は、ローリングシャッターを使用して捕捉される第１の一連の画像走査線として取得される。この撮像システムは、第１の視野とは異なり、第１の視野と少なくとも部分的に重複する第２の視野を有する第２の画像捕捉装置も含むことができ、第２の画像捕捉装置は、車両に関連するシーンに関する第２の画像を取得するように構成され、第２の画像は、ローリングシャッターを使用して捕捉される第２の一連の画像走査線として取得される。第１の視野と第２の視野とが重複する結果、第１の画像の第１の重複部分が、第２の画像の第２の重複部分に対応し得る。第１の画像捕捉装置は、第２の一連の画像走査線の取得に関連する第２の走査速度とは異なり得る第１の一連の画像走査線の取得に関連する第１の走査速度を有することができ、その結果、第１の画像捕捉装置は第１の画像の第１の重複部分を、第２の画像の第２の重複部分が取得される期間にわたって取得する。

【0009】

開示する実施形態に従い、車両を開示し、この車両は車体及び車両用の撮像システムを含み、そのシステムは、第１の視野を有し、車両に関連するシーンに関する第１の画像を取得するように構成される第１の画像捕捉装置を含み、第１の画像は、ローリングシャッターを使用して捕捉される第１の一連の画像走査線として取得される。この撮像システムは、第１の視野とは異なり、第１の視野と少なくとも部分的に重複する第２の視野を有する第２の画像捕捉装置も含むことができ、第２の画像捕捉装置は、車両に関連するシーンに関する第２の画像を取得するように構成され、第２の画像は、ローリングシャッターを使用して捕捉される第２の一連の画像走査線として取得される。第１の視野と第２の視野とが重複する結果、第１の画像の第１の重複部分が、第２の画像の第２の重複部分に対応し得る。第１の画像捕捉装置は、第２の一連の画像走査線の取得に関連する第２の走査速度とは異なり得る第１の一連の画像走査線の取得に関連する第１の走査速度を有することができ、その結果、第１の画像捕捉装置は第１の画像の第１の重複部分を、第２の画像の第２の重複部分が取得される期間にわたって取得し、その期間は第１の走査速度と第２の走査速度との比率に関連する。

【0010】

開示する実施形態に従い、車両用の撮像システムが提供され、このシステムは、第１の視野を有し、車両に関連するシーンに関する第１の画像を取得するように構成される第１の画像捕捉装置を含み、第１の画像は、ローリングシャッターを使用して捕捉される第１の一連の画像走査線として取得される。このシステムは、第１の視野とは異なり、第１の視野と少なくとも部分的に重複する第２の視野を有する第２の画像捕捉装置も含むことができ、第２の画像捕捉装置は、車両に関連するシーンに関する第２の画像を取得するように構成され、第２の画像は、ローリングシャッターを使用して捕捉される第２の一連の画像走査線として取得される。第１の視野と第２の視野とが重複する結果、第１の画像の第１の重複部分が、第２の画像の第２の重複部分に対応し得る。システムは、第１の画像捕捉装置から第１の画像を受け取り、第２の画像捕捉装置から第２の画像を受け取り、第１の画像の第１の重複部分の少なくとも第１の領域を、第２の画像の第２の重複部分の対応する第２の領域に相関させるように構成される少なくとも１個の処理装置を含むことができる。

【0011】

上記の全般的な説明及び以下の詳細な説明はどちらも例示的及び説明的に過ぎず、特許請求の範囲を限定しないことを理解すべきである。

【0012】

図面の簡単な説明
本開示に組み込まれ、本開示の一部を成す添付図面は、開示される様々な実施形態を示す。

【図面の簡単な説明】

【0013】

【図1a】ここで開示する実施形態に従う、例示的車両撮像システムの概略的な側面図の描写である。

【図1b】図１ａに示す実施形態の概略的な平面図の描写である。

【図1c】ここで開示する実施形態に従う、別のカメラ構成を有する例示的車両撮像システムの概略的な平面図の描写である。

【図2a】開示する一例示的実施形態による、異なる視野を有する２台のカメラの重複視野を表す。

【図2b】開示する別の例示的実施形態による、異なる視野を有する２台のカメラの重複視野を表す。

【図3】グローバルシャッターを有するカメラを用いるシステム内で使用するための例示的プロセスを表す。

【図4】車両から様々な距離にある対象の同期線からの画像内の点の変位の一例である。

【図5】車両から所与の距離にある対象に関する奥行推定値の一例である。

【図6】対象平面のホモグラフィを用いて画像を前処理することを含むフィックス後の、様々な距離値に関するｙの変位を示す。

【図7】垂直物体の奥行測定を行うシステムで使用するための例示的プロセスを示す。

【図8a】車両の所与の前進移動及び横速度に関する、車両から所与の距離にある対象の奥行推定値を示す。

【図8b】前進車両移動、及び横速度なしの補正された奥行推定値を示す。

【図9】カメラの基線により路面上で予期される視差の一例である。

【図10】画像行に応じたｙ方向のシフトの一例である。

【図11】道路地物までの距離を推定するためにシステムで使用するための例示的プロセスを示す。

【図12a】車両の前進移動及び時間遅延によって引き起こされる画像内の様々な行の視差誤差の一例である。

【図12b】その行上の視差の一部としての視差誤差の一例である。

【図13】所与の行が同期される場合の、時間遅延及び前進移動による予期されるｙのシフトの一例である。

【図14a】行（ｙ）の関数としての、基線による真の視差に対する移動による視差誤差の比率の一例である。

【図14b】物体が横方向に移動している場合の、基線による真の視差に対する移動による視差誤差の比率の一例である。

【図15】移動視差がある場合にシステムで使用するための例示的プロセスを示す。

【発明を実施するための形態】

【0014】

詳細な説明
以下の詳細な説明は添付図面を参照する。可能な限り、図面及び以下の説明の中で同じ参照番号を使用して同じ又は同様の部分を指す。幾つかの例示的実施形態を本明細書に記載するが、修正形態、適合形態、及び他の実装形態が可能である。例えば、図中に示す構成要素に置換、追加、又は修正を加えることができ、開示する方法についてステップを置換し、並べ替え、除去し、又は追加することにより、本明細書に記載の例示的方法を修正することができる。従って、以下の詳細な説明は、開示する実施形態を限定するものではない。むしろ、適切な範囲は添付の特許請求の範囲によって定められる。

【0015】

添付図面を参照し、図１ａは、ここで開示するものに従う、例示的車両撮像システムの概略的な側面図の描写である。図１ｂは、図１ａに示す実施形態の概略的な平面図の描写である。図１ａに示すように、本発明の開示する実施形態は、第１の画像捕捉装置１１０、第２の画像捕捉装置１２０、及びプロセッサ１３０を備えるシステム１００を有する、車両１５０を含むことができる。２台の画像捕捉装置１１０及び１２０を示すが、他の実施形態は３台以上の画像捕捉装置を含んでも良いことを理解すべきである。

【0016】

開示する実施形態は車両に限定されず、他の脈絡で適用され得ることを理解すべきである。開示する実施形態は特定の種類の車両１５０に限定されず、自動車、トラック、トレーラ、及び他の種類の車両を含むあらゆる種類の車両に適用され得ることも理解すべきである。

【0017】

プロセッサ１３０は、様々な種類の装置を含み得る。例えばプロセッサ１３０は、制御ユニット、画像プロセッサ、中央処理装置（ＣＰＵ）、支援回路、デジタル信号プロセッサ、集積回路、メモリ、又は画像を処理し、解析するための他の任意の種類の装置を含み得る。画像プロセッサは、画像センサからの画像を捕捉し、デジタル化し、処理するための映像プロセッサを含み得る。ＣＰＵは、任意の数のマイクロコントローラ又はマイクロプロセッサを含み得る。支援回路は、キャッシュ、電源供給、クロック、及び入出力回路を含む、当技術分野で一般に良く知られている任意の数の回路であり得る。メモリは、プロセッサによる実行時にシステムの動作を制御するソフトウェアを記憶することができる。メモリは、データベース及び画像処理ソフトウェアを含み得る。メモリは、任意の数のランダムアクセスメモリ、読取専用メモリ、フラッシュメモリ、ディスクドライブ、光学記憶域、テープ記憶域、脱着可能記憶域、及び他の種類の記憶域を含み得る。一例では、メモリがプロセッサ１３０から分離され得る。別の例では、メモリがプロセッサ１３０に統合されても良い。

【0018】

第１の画像捕捉装置１１０は、任意の適切な種類の画像捕捉装置を含み得る。画像捕捉装置１１０は、光学軸１１６を含み得る。一例では、画像捕捉装置１１０が、グローバルシャッターを有するAptina M9V024 WVGAセンサを含み得る。他の実施形態では、画像捕捉装置１１０がローリングシャッターを含み得る。画像捕捉装置１１０は、様々な光学部品を含むことができる。例えば所望の焦点距離及び視野を画像捕捉装置に与えるために、一部の実施形態では１つ又は複数のレンズを含めることができる。一部の実施形態では、画像捕捉装置１１０が６ｍｍレンズ又は１２ｍｍレンズに関連し得る。一部の実施形態では、画像捕捉装置は、例えば４６度のＦＯＶ、５０度のＦＯＶ、５２度のＦＯＶ、又はそれを上回るＦＯＶ等の広いＦＯＶを含む、所望のＦＯＶを有する画像を捕捉するように構成され得る。一部の実施形態では、画像捕捉装置１１０が広角のバンパーカメラ又は最大１８０度のＦＯＶを有するバンパーカメラを含み得る。

【0019】

第１の画像捕捉装置１１０は、車両１５０に関連するシーンに関する複数の第１の画像を取得することができる。複数の第１の画像のそれぞれは、ローリングシャッターを用いて捕捉され得る一連の画像走査線として取得することができる。各走査線は、複数の画素を含み得る。

【0020】

第１の画像捕捉装置１１０は、第１の一連の画像走査線のそれぞれの取得に関連する走査速度を有し得る。走査速度は、画像センサが特定の走査線に含まれる各画素に関連する画像データを取得できる速度を指し得る。

【0021】

第１の画像捕捉装置１１０は、例えばＣＣＤセンサやＣＭＯＳセンサを含む任意の適切な種類の画像センサを含み得る。一実施形態では、行内の各画素が１つずつ読み取られ、全画像フレームが捕捉されるまで行の走査が行ごとに進むように、ローリングシャッターと共にＣＭＯＳ画像センサが使用されても良い。一部の実施形態では、行がフレームに対して上から下に逐次的に捕捉されても良い。

【0022】

ローリングシャッターを使用すると、異なる行内の画素が異なる時点で露光及び捕捉される場合があり、これは捕捉画像フレーム内のスキュー及び他の画像アーチファクトの原因になり得る。他方で、画像捕捉装置１１０がグローバルシャッター又は同期シャッターと共に動作するように構成される場合、全ての画素を同じ時間にわたり、及び共通の露光期間の間露光することができる。その結果、グローバルシャッターを使用するシステムから集められるフレーム内の画像データは、特定の時点における全ＦＯＶのスナップショットを表す。対照的に、ローリングシャッターの応用では、異なる時点においてフレーム内の各行が露光され、データが捕捉される。従って、ローリングシャッターを有する画像捕捉装置では、移動している物体が歪んで表示される場合がある。この現象については以下でより詳細に説明する。

【0023】

第２の画像捕捉装置１２０は、任意の種類の画像捕捉装置とすることができる。第１の画像捕捉装置１１０と同様に、画像捕捉装置１２０は光学軸１２６を含み得る。一実施形態では、画像捕捉装置１２０が、グローバルシャッターを有するAptina M9V024 WVGAセンサを含み得る。或いは画像捕捉装置１２０は、ローリングシャッターを含み得る。画像捕捉装置１１０と同様に、画像捕捉装置１２０は様々なレンズ及び光学部品を含むように構成され得る。一部の実施形態では、画像捕捉装置１２０に関連するレンズが、画像捕捉装置１１０に関連するＦＯＶと同じ又はそれよりも狭いＦＯＶを与え得る。例えば、画像捕捉装置１２０は、４０度、３０度、２６度、２３度、２０度、又はそれ未満のＦＯＶを有し得る。

【0024】

画像捕捉装置１２０は、車両１５０に関連するシーンに関する複数の第２の画像を取得することができる。複数の第２の画像のそれぞれは、ローリングシャッターを用いて捕捉され得る一連の第２の画像走査線として取得することができる。各走査線又は行は、複数の画素を有し得る。第２の画像捕捉装置１２０は、第２の一続きに含まれる画像走査線のそれぞれの取得に関連する第２の走査速度を有し得る。

【0025】

第２の画像捕捉装置１２０は、例えばＣＣＤセンサやＣＭＯＳセンサを含む任意の種類の画像センサを含み得る。一実施形態では、ＣＭＯＳ画像センサがローリングシャッターに関連付けられても良く、その場合、画像の行を次々と逐次的に露光及び捕捉して各画像フレームを得ることができる。

【0026】

各画像捕捉装置１１０、１２０は、車両１５０に対して任意の適切な位置及び向きで配置され得る。２つの画像捕捉装置１１０及び１２０の相対的な位置決めは、それらの画像捕捉装置から取得される情報を融合するのを支援するように選択され得る。例えば一部の実施形態では、画像捕捉装置１２０に関連するＦＯＶが、画像捕捉装置１１０に関連するＦＯＶに部分的に又は完全に重複する場合がある。

【0027】

画像捕捉装置１１０及び１２０は、任意の適切な相対的高さにおいて車両１５０上に配置され得る。一例では、２つの画像捕捉装置１１０と１２０との間に高差がある場合があり、この高差はステレオ解析を可能にするのに十分なパララックス情報をもたらし得る。図１ａに示すように、２つの画像捕捉装置１１０及び１２０を装着する高さの差をｄ_ｈで示す。画像捕捉装置１１０と１２０との間には、例えば処理装置１３０によるステレオ解析用の追加のパララックス情報を与える、横方向の変位差もあり得る。図１ｂに示すように、横方向の変位差はｄ_ｘで示され得る。一部の実施形態では、画像捕捉装置１１０と画像捕捉装置１２０との間に前方又は後方の変位（例えば距離変位）があり得る。例えば、画像捕捉装置１１０を、画像捕捉装置１２０の０．５から２メートル又はそれを上回る距離後ろに配置することができる。この種の変位は、画像捕捉装置の１つが、他の画像捕捉装置の潜在的な死角を有効範囲として含むことを可能にし得る。図１（ａ）に示すように、距離変位の差をｄ_ｚで示す。図１ｃに示すように、他の実施形態では、距離変位ｄｚ＝０及び高さ変位ｄｈ＝０だが、横方向の変位ｄｘがある場合がある。

【0028】

画像捕捉装置１１０は、任意の適切な分解能（例えば画像センサに関連する画素数）を有することができ、画像捕捉装置１１０に関連する画像センサの分解能は、画像捕捉装置１２０に関連する画像センサの分解能よりも高くても、低くても、同じでも良い。一部の実施形態では、画像捕捉装置１１０及び／又は画像捕捉装置１２０に関連する画像センサが、６４０ｘ４８０、１０２４ｘ７６８、１２８０ｘ９６０、又は他の任意の適切な分解能を有し得る。

【0029】

フレームレート（例えば画像捕捉装置が、次の画像フレームに関連する画素データの捕捉に進む前に或る画像フレームの１組の画素データを取得する速度）は制御可能とすることができる。画像捕捉装置１１０に関連するフレームレートは、画像捕捉装置１２０に関連するフレームレートよりも高くても、低くても、又はそれと同じでも良い。画像捕捉装置１１０及び１２０に関連するフレームレートは、フレームレートのタイミングに影響し得る様々な要因に依拠する場合がある。例えば、画像捕捉装置１１０及び／又は１２０の一方若しくは両方が、画像捕捉装置１１０及び／又は１２０内の画像センサの１つ又は複数の画素に関連する画像データの取得前に又は取得後に課せられる、選択可能な画素遅延期間を含む場合がある。概して、各画素に対応する画像データは、装置のクロックレートに従って取得され得る（例えば１クロックサイクル当たり１画素）。更に、ローリングシャッターを含む実施形態では、画像捕捉装置１１０及び／又は１２０の一方若しくは両方が、画像捕捉装置１１０及び／又は１２０内の画像センサの画素行に関連する画像データの取得前に又は取得後に課せられる、選択可能な水平帰線期間を含む場合がある。更に、画像捕捉装置１１０及び／又は１２０の一方若しくは両方が、画像捕捉装置１１０及び／又は１２０の画像フレームに関連する画像データの取得前に又は取得後に課せられる、選択可能な垂直帰線期間を含む場合がある。

【0030】

これらのタイミング制御は、例えそれぞれの線走査速度が異なっても、画像捕捉装置１１０及び１２０に関連するフレームレートを同期できるようにし得る。以下でより詳細に論じるように、幾つかある要因（例えば画像センサの分解能、最大線走査速度等）の中で特に、これらの選択可能なタイミング制御は、画像捕捉装置１１０の視野が画像捕捉装置１２０の視野と異なっても、画像捕捉装置１１０の視野が画像捕捉装置１２０の視野と重複する領域からの画像捕捉を同期できるようにし得る。

【0031】

更に、画像捕捉装置１１０及び／又は１２０内のフレームレートのタイミングは、関連する画像センサの分解能に依拠し得る。例えば、両方の装置について同様の線走査速度を仮定し、一方の装置が６４０ｘ４８０の分解能を有する画像センサを含み、もう一方の装置が１２８０ｘ９６０の分解能を有する画像センサを含む場合、高い解像度を有するセンサから画像データのフレームを取得するのにより長い時間が必要である。

【0032】

画像捕捉装置１１０及び／又は１２０内の画像データ取得のタイミングに影響する可能性がある別の要因は、最大線走査速度である。例えば、画像捕捉装置１１０及び／又は１２０内に含まれる画像センサから画像データの行を取得するには、幾ばくかの最低限の時間がかかる。画素遅延期間が追加されないと仮定し、画像データの行を取得するためのこの最低限の時間は、特定の装置の最大線走査速度に関係する。高い最大線走査速度を提供する装置は、低い最大線走査速度を有する装置よりも高いフレームレートを提供する潜在能力がある。一部の実施形態では、画像捕捉装置１２０が、画像捕捉装置１１０に関連する最大線走査速度よりも高い最大線走査速度を有し得る。一部の実施形態では、画像捕捉装置１２０の最大線走査速度が、画像捕捉装置１１０の最大線走査速度の１．２５倍、１．５倍、１．７５倍、２倍、又はそれを上回り得る。

【0033】

別の実施形態では、画像捕捉装置１１０及び１２０が同じ最大線走査速度を有し得るが、画像捕捉装置１１０がその最大走査速度以下の走査速度で動作させられる。画像捕捉装置１２０が、画像捕捉装置１１０の線走査速度に等しい線走査速度で動作するようにシステムが構成され得る。他の例では、画像捕捉装置１２０の線走査速度が、画像捕捉装置１１０の線走査速度の１．２５倍、１．５倍、１．７５倍、２倍、又はそれを上回り得るようにシステムが構成されても良い。

【0034】

一部の実施形態では、画像捕捉装置１１０及び１２０が非対称であり得る。つまり、画像捕捉装置１１０及び１２０は、異なる視野（ＦＯＶ）及び焦点距離を有するカメラを含む場合がある。画像捕捉装置１１０及び１２０の視野は、例えば車両１５０の環境に対する所望の任意の領域を含み得る。一部の実施形態では、画像捕捉装置１１０及び１２０の何れか又は両方が、車両１５０の前方の環境、車両１５０の後方の環境、車両１５０の側面の環境、又はそれらの組合せの環境の画像データを取得するように構成され得る。

【0035】

更に、各画像捕捉装置１１０及び／又は１２０に関連する焦点距離は、各装置が車両１５０に対して所望の距離範囲にある物体の画像を取得するように、（例えば適切なレンズを含めること等によって）選択可能とすることができる。例えば一部の実施形態では、画像捕捉装置１１０及び１２０が、車両から数メートルの範囲内にある近距離からの物体の画像を取得し得る。画像捕捉装置１１０及び１２０は、車両から更に離れた距離（例えば２５ｍ、５０ｍ、１００ｍ、１５０ｍ、又はそれを上回る距離）にある物体の画像を取得するように構成されても良い。更に、一方の画像捕捉装置（例えば画像捕捉装置１１０）が車両に比較的近い（例えば１０ｍ又は２０ｍの範囲内の）物体の画像を取得できる一方、他方の画像捕捉装置（例えば画像捕捉装置１２０）が車両１５０からより離れている（例えば２０ｍ、５０ｍ、１００ｍ、１５０ｍ等を上回る）物体の画像を取得できるように、画像捕捉装置１１０及び１２０の焦点距離が選択されても良い。

【0036】

画像捕捉装置１１０及び１２０のそれぞれに関連する視野は、それぞれの焦点距離によって決まり得る。例えば焦点距離が増加するにつれて、対応する視野が低下する。

【0037】

画像捕捉装置１１０及び画像捕捉装置１２０は、任意の適切な視野を有するように構成することができる。或る特定の例では、画像捕捉装置１１０が４６度の水平ＦＯＶを有することができ、画像捕捉装置１２０が２３度の水平ＦＯＶを有することができる。別の例では、画像捕捉装置１１０が５２度の水平ＦＯＶを有することができ、画像捕捉装置１２０が２６度の水平ＦＯＶを有することができる。一部の実施形態では、画像捕捉装置１２０のＦＯＶに対する画像捕捉装置１１０のＦＯＶの比率が、１．５から２．０の間で変動し得る。他の実施形態では、この比率が１．２５から２．２５の間で変動し得る。

【0038】

システム１００は、画像捕捉装置１１０の視野が、画像捕捉装置１２０の視野と（少なくとも部分的に又は完全に）重複するように構成され得る。一部の実施形態では、システム１００は、例えば画像捕捉装置１２０の視野が、画像捕捉装置１１０の視野に含まれ（例えば画像捕捉装置１１０の視野よりも狭く）、画像捕捉装置１１０の視野と共通の中心を共有するように構成され得る。他の実施形態では、画像捕捉装置１１０及び１２０が隣接ＦＯＶを捕捉することができ、又はそれらのＦＯＶ内に部分的重複を有しても良い。一部の実施形態では、より狭いＦＯＶの装置１２０の中心を、より広いＦＯＶの装置１１０の視野の下半分内（例えば図２ａの線２８０よりも下の領域）に位置決めできるように、装置１１０及び１２０の視野を位置合わせすることができる。

【0039】

図２ａは、開示する一例示的実施形態による、異なる視野を有する２台のカメラの重複視野を示す。図２ｂは、開示する別の例示的実施形態による、異なる視野を有する２台のカメラの重複視野を表す。

【0040】

ワイドＦＯＶカメラ１１０は、水平ＦＯＶ２１０及び垂直ＦＯＶ２２０によって画定され得る第１のＦＯＶ２５０を有する。一例では、ワイドＦＯＶカメラ１１０が、４６度の水平ＦＯＶ２１０及び１２８０ｘ９６０画素の画像分解能を有し得る。ワイドＦＯＶカメラ１１０は、ローリング走査方向２５１を示すローリングシャッターを有することができる。ローリングシャッター方向２５１は、垂直又は水平な任意の方向であり得る。図２ａの実施形態では、ローリングシャッターを使用することで、画像を複数の走査線、例えば走査線２５２及び２５３として捕捉できるようになる。

【0041】

ナローＦＯＶカメラ１２０は、水平ＦＯＶ２３０及び垂直ＦＯＶ２４０によって画定され得る第２のＦＯＶ２６０を有する。ナローＦＯＶカメラ１２０も、ローリング走査方向２６１を示すローリングシャッターを有することができる。一例では、ナローＦＯＶカメラ１２０が、２３度の水平ＦＯＶ２３０及びワイドＦＯＶカメラ１１０と同じ又は異なる画像分解能を有し得る。例えば一部の実施形態では、ナローＦＯＶカメラ１２０が１２８０ｘ９６０の画像分解能を有し得る。他の実施形態では、ナローＦＯＶカメラ１２０がワイドＦＯＶカメラ１１０と異なる画像分解能を有し得る（例えば６４０ｘ４８０画素）。ローリングシャッター方向２６１は、垂直又は水平な任意の方向とすることができ、ローリングシャッターは、例えば線２６２及び２６３を含む複数の走査線として画像を捕捉できるようにする。

【0042】

狭いＦＯＶ２６０及び広いＦＯＶ２５０は、ＦＯＶに関して部分的に又は完全に重複するように設定することができる。図２ａ及び図２ｂ内で網状線によって示す重複領域２７０は、狭い視野２６０が広い視野２５０と重複する領域を表す。図２ａに示すように、領域２７０はナロー画像捕捉装置１２０の全視野に対応し得る。更に、画像捕捉装置１１０のより広い視野内の中心に領域２７０を置くように、画像捕捉装置１１０及び１２０の視野を位置合わせすることができる。或いは図２ｂに示すように、領域２７０は、より狭い視野の画像捕捉装置１２０の全視野を表す必要も、より広い視野の画像捕捉装置の視野内の中心に置く必要もない。むしろ、図２ｂに示すように、領域２７０は画像捕捉装置１１０の中心からずれても良い。更に、画像捕捉装置１１０及び画像捕捉装置１２０の全視野未満の重複領域に領域２７０が対応するように、画像捕捉装置１１０及び１２０の視野を位置合わせしても良い。

【0043】

ローリングシャッターを使用する実施形態では、画像捕捉装置１１０からの画像フレームを、図２ａの線２５２及び２５３等、一連の逐次的に取得される走査線として得ることができる。同様に、図２ａに示すように、画像捕捉装置１２０に関連するローリングシャッターは、一連の逐次的に取得される走査線２６３及び２６３として画像フレームを捕捉できるようにする。画像捕捉装置１１０が画像捕捉装置１２０の焦点距離及び視野と異なる焦点距離及び視野を有し、両方の装置でローリングシャッターが使用される場合、画像捕捉装置１１０及び１２０は、重複領域２７０に対応するそのそれぞれの視野の部分を異なる時間に捕捉することができる。かかる同期の欠如は、取得画像の相関ステレオ解析上の問題を引き起こし得る。

【0044】

更に解説するために、或る例示的システムは、１２８０ｘ９６０のセンサ分解能をそれぞれ有する画像捕捉装置１１０及び１２０を含み得る。従って、ローリングシャッターを使用して両方の画像装置から画像フレームを取得する場合、１２８０画素の画像データをそれぞれ含む一連の９６０本の走査線として両方の捕捉装置からの画像フレームが取得される。図２ａに示すように、この例では画像捕捉装置１１０が５２度の視野を有することができ、画像捕捉装置が２６度の視野を有することができ、両方の視野が共通の中心を共有することができる。両方の画像捕捉装置が同様の線走査速度を含む場合、各画像捕捉装置の重複領域２７０に対応する画像フレームの部分の一部又は全てが異なる時間に取得されることが明らかになる。

【0045】

例えば、両方の画像捕捉装置がそれぞれの画像フレームを同時に取得し始める（即ち両方の画像捕捉装置の最初の走査線が同期される）と仮定した場合、画像捕捉装置１２０が重複領域２７０から最初の線を取得する間、画像捕捉装置は、例えば重複領域２７０の範囲外である自らの視野の上部から画像線を取得する。画像捕捉装置１２０が、画像捕捉装置１１０の視野の角度幅の半分である視野を有する例では、画像捕捉装置１１０は、走査線２４０に達する（自らの画像フレームの端から端までの４分の１）まで、重複領域２７０に対応する画像線を取得しない。ここでも両方の画像捕捉装置が同じ線走査速度を有すると仮定した場合、画像捕捉装置１１０が自らの走査線番号２４０に達するとき、画像捕捉装置１２０も、重複領域２７０の端から端までの２５％である自らの走査線２４０を取得している。更に、画像捕捉装置１２０がその走査の最後の線（即ち走査線９６０）を終えるとき、画像捕捉装置１２０は重複領域２７０の下部にある。しかし、それと同時に、画像捕捉装置１１０は、重複領域２７０から外れた自らの視野の最後の線を取得している。実際に、画像捕捉装置１１０の走査線２４０から７２０しか重複領域２７０を含まないのに対し、画像捕捉装置１２０の全９６０本の走査線が重複領域２７０に対応する。更に、この例では、（図２ａの破線２８０に対応する）中心走査線だけが両方の画像捕捉装置によって同時に捕捉される。重複領域２７０に対応する他の全ての線は異なる時間に取得され、そのことはやはり重複領域２７０に関連するステレオ解析を行う際の問題を引き起こし得る。

【0046】

但し、各画像捕捉装置の画像取得タイミング制御パラメータを調節することにより、重複領域２７０に対応する各画像捕捉装置の画像フレームの部分が同じ期間中に取得されることを確実にすることが可能であり得る。

【0047】

概して、この同期は様々な方法で実現することができる。例えば一実施形態では、画像捕捉装置１１０に関連する線走査速度と異なる線走査速度を有するように、（より狭い視野を有する）画像捕捉装置１２０を構成することができる。例えば、画像捕捉装置１２０の線走査速度が、画像捕捉装置１１０の線走査速度よりも速くても良い。一部の実施形態では、画像捕捉装置１２０の線走査速度が、画像捕捉装置１１０の線走査速度よりも２倍（又はそれを上回って）速くても良い。概して、少なくとも重複領域２７０に対応する画像捕捉装置１１０及び１２０の両方の画像フレームの部分を同じ期間中に取得できるように、より狭い視野の画像捕捉装置１２０は十分速い走査速度を有するべきである。

【0048】

画像捕捉装置１１０が５２度の視野を有し、画像捕捉装置１１０が２６度の視野を有し、両方が１２８０ｘ９６０の画像センサ分解能を含む例に戻り、重複領域２７０は、画像捕捉装置１１０の画像フレーム内の走査線２４０から７２０（合計４８０本の走査線）に対応する。他方で、重複領域２７０は、画像捕捉装置１２０の全９６０本の走査線に対応する。その結果、画像捕捉装置１１０の線２４０から７２０を画像捕捉装置１２０の９６０本の走査線と同じ期間中に捕捉するために、画像捕捉装置１２０の線走査速度は画像捕捉装置１１０の線走査速度よりも少なくとも２倍速くても良い。かかる構成は、重複領域２７０に対応する線２４０から７２０までの４８０本の走査線を画像捕捉装置１１０が取得するのにかかるのと同じ時間内に、画像捕捉装置１２０が全９６０本の線を捕捉することを可能にし得る。

【0049】

但し、線走査速度は、重複領域２７０に対応するそれぞれの画像フレームのそれらの部分の取得を同期できるようにする唯一のタイミング制御パラメータではない。重複領域２７０内の所望の捕捉同期を実現するために、画像捕捉装置１１０及び１２０の一方又は両方の水平帰線期間、垂直帰線期間、及び画素遅延を選んでも良い。例えば、重複領域２７０からの画像取得を同期することを確実にするのに、画像捕捉装置１２０の線走査速度が遅すぎる可能性がある実施形態では、画像捕捉装置１１０（より広い視野の装置）の水平帰線期間を長くして画像捕捉装置１１０の実効線走査速度を遅くしても良い。加えて、又は或いは、画像捕捉装置１１０に関連する画素遅延を高めて画像捕捉装置１１０の実効線走査速度を遅くしても良い。

【0050】

重複領域２７０内の画像取得の同期を可能にするのに十分な線走査速度を画像捕捉装置１２０が有する場合でも、重複領域２７０内の画像取得の同期を繰り返すことができるように、各画像捕捉装置の総フレームレートが同じであり得る。この例に戻り、重複領域２７０内の画像取得を同期するために、画像捕捉装置１２０は、画像捕捉装置１１０が走査線２４０に到達するとき走査線番号１においてデータを取得し始めるものとする。画像捕捉装置１１０が線２４０から７２０まで取得する間、画像捕捉装置１２０は自らの走査線の全９６０本を取得する。画像捕捉装置１１０が線７２１から９６０まで、及び線１から２３９まで捕捉している間、各フレーム内で重複領域２７０が同期することを確実にするために、画像捕捉装置１２０はアイドル状態のままであるものとする。画像捕捉装置１１０が重複領域２７０外の画像データを取得できるようにするように、画像捕捉装置１２０のこの遅延をもたらすために、画像捕捉装置１１０よりも長い垂直帰線期間によって画像捕捉装置１２０を構成することができる。

【0051】

上記に記載した一部の実施形態では、画像捕捉装置１１０及び１２０からの画像の同期部分が重複領域２７０に対応することに留意すべきである。他の事例では、画像捕捉装置１１０及び１２０の重複部分が、重複領域２７０内に同期された１本の線を有することができ、その線から離れると各線がより同期しなくなる場合がある。これをｄＴＬによって示すことができる。システムは、例えば画像捕捉装置１２０の走査線速度を調節することにより、線が同期されなくなる率を減らすことができる。例えば、画像捕捉装置１１０と１２０との間の焦点距離比が２である場合、システムはＴＬｎ＝０．５^＊ＴＬｗを調節することができ、その調節によりｄＴＬ＝０になり得る。別の例では、ＴＬｎ＝０．６^＊ＴＬｗである。一部の実施形態では、重複領域２７０内の画像取得の「同期」を、両方の画像捕捉装置によるその領域内の画像取得のタイミングが同一でなくても実現することができる。例えば、重複領域２７０内の装置１２０からの画像部分の取得との間のタイミング差が、重複領域２７０に対応する画像部分を装置１１０が取得するのにかかる時間の１％、５％、１０％、又は１５％の範囲内にある場合、（例えばステレオ解析を可能にするのに）十分な同期を実現することができる。

【0052】

例えば上記のように、画像捕捉装置１２０と１１０との間に焦点距離間の特定の比率（例えば２：１）がある場合、より広いＦＯＶの装置１１０の線走査速度に対するより狭いＦＯＶの装置１２０の線走査速度の比率は、全重複領域２７０にわたって取得画像を同期するために、少なくとも焦点距離比と同じ高さであるべきである。但し、一部の実施形態では、更に低い走査速度比が依然として有用な場合がある。例えば、画像捕捉装置１２０と１１０との間の焦点距離比よりも低い線走査速度比でも、重複領域２７０の一部（及びしばしば広い部分）にわたり、装置１１０及び１２０の画像部分を依然として同期することができる。

【0053】

例えば装置１２０と１１０との間の２：１の焦点距離比を仮定し、少なくとも２：１の線走査比が、全ＦＯＶ重複領域２７０にわたり画像を同期できるようにする。但し、全領域２７０未満にわたる画像の同期も依然として有用であり得る。例えば一部の実施形態では、１．９、１．８、１．７、１．６、１．５、又はそれ未満の線走査比が、重複領域２７０の領域の少なくとも一部内で装置１１０及び１２０からの画像間の有用な同期水準を依然として提供し得る。

【0054】

重複領域２７０内で装置１１０の画像部分の取得を装置１２０の画像部分の取得と同期できる期間は、装置１１０の線走査速度と装置１２０の線走査速度との間の比率に関係し得る。例えば、ＦＯＶの比率が２だが走査線タイミングの最大比が１．８である場合、この期間は１．８の走査線タイミング比（並びに適用される任意の画素遅延、水平帰線期間等）に基づき得る。

【0055】

タイミング制御パラメータ（例えば線走査速度、垂直帰線期間、水平帰線期間、画素遅延等）を調節することに加え、タイミング制御パラメータの調節と共に又はそれとは別に他の技法も使用することができる。一部の実施形態では、画像捕捉装置１１０よりも低い分解能の画像センサを用いて画像捕捉装置１２０（より狭い視野の装置）を構成することができる。従って、画像捕捉装置１１０が１２８０ｘ９６０の分解能を有する画像センサを有する場合、更に低い分解能（例えば６４０ｘ４８０）を有する画像センサを用いて画像捕捉装置１２０を構成することで、より速い画像捕捉装置１２０の線走査速度の必要性を軽減することができる。上記の同じ５２度／２６度の例を仮定し、両方の装置が同様の線走査速度を使用しても、重複領域２７０内で、画像捕捉装置１１０内の１２８０ｘ９６０画素センサを画像捕捉装置１２０内の６４０ｘ４８０画素センサと同期させることができる。この例では、画像捕捉装置１１０が重複領域２７０に対応する４８０本の線（即ち画像捕捉装置１１０の線２４０から７２０）を取得する間、画像捕捉装置１２０は、重複領域２７０に対応する自らの４８０本の走査線を取得する。

【0056】

加えて、又は或いは、より狭い視野の画像捕捉装置が各フレーム内の全ての画像線をサンプリングしない場合、より狭い視野の装置のより速い走査速度の需要が軽減され得る。例えば、或るフレームの取得中に、入手可能な走査線のサブセット（例えば奇数の走査線）だけをサンプリングするように画像捕捉装置１２０を構成することができる。次のフレームの捕捉中に、偶数の走査線をサンプリングするように画像捕捉装置１２０を構成することができる。この種のインタレース技法により、重複領域２７０に関連する画像データを取得するのにかかる時間を、フレームごとに全走査線を取得する技法に比べて半分に減らすことができる。

【0057】

タイミング制御パラメータの選択に関連する別の例では、画像捕捉装置１２０の線走査速度を増加できる場合、焦点距離間の目標比率も、それらが線のタイミング間の比率に一致するように低下させることもできる。例えば、画像捕捉装置１１０が４６°の水平ＦＯＶ２１０を有し、４５ＫＨｚ（２２．２μｓｅｃ）の線のタイミングで実行されるが、センサは６０ＫＨｚ（１５．２μｓｅｃ）の線のタイミングをサポートできる場合、画像捕捉装置１２０の３２°の水平ＦＯＶ２３０をサポートし、同期することができる：

【数1】

【0058】

ここでは、ＴＬｎが１５．２μｓｅｃ、ＴＬｗが２２．２μｓｅｃ、広い水平ＦＯＶ２１０が４６°であり得る。

【0059】

３０°の水平ＦＯＶ２３０を有する画像捕捉装置１２０は、分解能の（５０％の）増加及び小さいδＴＬ値をもたらすための適切な解を表し得る：
δＴ_Ｌ＝αＴ_Ｌｎ−Ｔ_Ｌｗ （４）

【0060】

ここで、

【数2】

は、２つの水平ＦＯＶ２１０と２３０との間の比率である。例えば、広い水平ＦＯＶと狭い水平ＦＯＶとの間の比率は、５２／２６；２５／２８；６０／３０；６０／３２；４６／３６；４６／２３；又は他の任意の適切な比率であり得る。かかる比率は、ナローＦＯＶカメラに更なる範囲を与えることができ、より離れた距離にあるより小さな物体を検出できるようにし得る。

【数3】

【0061】

画像捕捉装置１１０及び画像捕捉装置１２０に関連し、焦点距離／視野の任意の適切な比率を選択することができる。一部の実施形態では、この比率を１．５、１．６、１．７、１．８、２まで、又は２を上回って設定することができる。

【0062】

上記のように、同じ速度でフレームを出力するように画像捕捉装置１１０及び画像捕捉装置１２０の両方を構成することができる。例えば、フレーム当たりの総クロック数（取得される走査線、帰線期間、遅延等を含む）を両方の装置で同じとすることができる。重複領域２７０内の所望の同期を実現するために、線走査速度のタイミング掛ける重複領域２７０を覆う行数が、２つの画像捕捉装置について同じであり得る。

【0063】

カメラが同期されると、重複領域２７０内の所望の同期及び同様のフレームレートが保たれるように、それらのカメラはロックステップ動作を保つことができる。システムは、第１の画像捕捉装置１１０及び第２の画像捕捉装置１２０が、重複領域２７０内の画像データを捕捉する際に及び／又は全体的なフレームレートの点で同期したままであるかどうかを判定するためのタイミングチェックを周期的に行うことができる、１個又は複数個の処理装置（例えば処理装置１３０）を含み得る。同期の欠如が認められる場合、処理装置１３０は、１つ又は複数のタイミングパラメータを調節することができ、又は画像走査の１つ若しくは複数の側面をリセットすることができる（例えば最初の走査線等の所望の走査線番号や画像フレーム内の他の任意の走査線へのハードジャンプ）。かかる再同期プロセスは、画像捕捉装置１１０及び１２０の動作全体を通して周期的に行うことができる。

【0064】

一部の実施形態では、画像捕捉装置１１０及び１２０を独立した用途で使用することができる。他の実施形態では、例えば重複領域２７０内の画像捕捉を同期することが、両方の装置からの情報を組み合わせてステレオ解析（例えば特にステレオ奥行決定）を行う応用を可能にし得る。

【0065】

上記のように画像捕捉装置１１０及び１２０内のローリングシャッターを使用することに加え、一部の実施形態ではグローバルシャッターを使用することがある。かかる実施形態では、画像フレームを一連の逐次的に取得される画像走査線として捕捉するのではなく、特定の画像内の全ての画素行が同時にサンプリングされ、取得される。

【0066】

図３は、グローバルシャッターを有する画像捕捉装置を用いるシステム内で使用するための例示的プロセスを表す。図３に示すように、画像捕捉装置１１０及び１２０がグローバルシャッターを有するシステムでは、重複領域２７０内のステレオ処理が、重複領域２７０の外側のワイドＦＯＶカメラの画像データを単純にトリミングすることを含み得る（ステップ３１０）。次に、マッチする画像の対を得るために、より狭いＦＯＶの画像捕捉装置の画像データを平滑化し、サブサンプリングすることができる（ステップ３２０）。次いで、マッチする画像の対に基づいてステレオ処理を完了することができる（ステップ３３１）。マッチする画像の対が得られない場合、修正ステップが実際に必要であり得る（ステップ３３２）。

【0067】

上記のローリングシャッターの実施形態では、重複領域２７０内の画像データの捕捉を同期し、画像捕捉装置１１０と１２０との間の全体的なフレームレートも同期するために、タイミング制御パラメータ等を制御することができる。このハードウェアによるフロントエンドの同期解決策に加え、他の実施形態は、重複領域２７０の画像データをステレオ解析するための基礎としてバックエンド処理に依拠することができる。つまり、重複領域２７０内の画像データを画像捕捉装置１１０及び１２０に同じ期間にわたって取得させるのではなく、この画像データは異なる期間に捕捉することができ、そのデータに基づく有意味のステレオ解析を可能にするために捕捉画像データに対して処理を行うことができる。

【0068】

バックエンド処理の解決策は、画像捕捉装置１１０の１本の走査線を画像捕捉装置１２０の１本の走査線と同期できるということに依拠し得る。同期される各画像捕捉装置の特定の線は、異なる画像フレーム内で被選択同期線が変わっても良いように選択可能であり得る。

【0069】

特定の画像フレーム内で、両方の画像捕捉装置１１０及び１２０から集められる画像データが、被選択同期走査線において互いに対応する。図２ａ及び図２ｂに示す画像捕捉装置のように、異なる視野を有する画像捕捉装置では、同期線から離れた走査線が同期しなくなる。更に、画像走査線の同期の欠落は、被選択同期線から離れて増加する。

【0070】

走査線が同期を欠く場合、（例えば重複領域２７０内の）対応する走査線が異なる期間中に捕捉される結果として画像データ内の視差が存在し得る。例えば、或る物体が画像捕捉装置１１０及び１２０に関連するシーンを進む場合、同期線において、画像捕捉装置１１０及び１２０の両方からの捕捉画像データがその物体の同じ位置を示す（各画像捕捉装置内の同期走査線が同じ期間中に捕捉されるからである）。しかし、同期線から離れて取得される画像走査線は同期を欠く場合があり、従って移動物体の位置の視差を引き起こし得る。

【0071】

５２度のＦＯＶを有する画像捕捉装置１１０、及び２６のＦＯＶを有する画像捕捉装置１２０、その両方の装置が１２８０ｘ９６０の分解能を有する画像センサを含む例に戻り、被選択同期線は任意の被選択線位置において生じ得る。一部の実施形態では、同期線が重複領域２７０内に生じ得る。例えば、同期走査線が重複領域２７０の中心に選択されても良い。従って、重複領域２７０の中心にある同期線において取得される画像データは時間に関して一致するのに対し、その同期線から離れた線において捕捉される画像データは時間の点で一致しない。タイミングが一致しない水準は、同期線から離れて増加する。両方の画像捕捉装置の中心走査線が同期されている例では、重複領域２７０の最初の走査線が画像捕捉装置１１０及び１２０によって異なる時間に捕捉される。例えば、画像捕捉装置１２０（より狭いＦＯＶの装置）では、重複領域２７０内で取得される最初の走査線が、フレーム内で取得される最初の走査線に対応する。他方で、画像捕捉装置１１０が重複領域２７０内で取得する最初の走査線は走査線番号２４０において生じる。しかし、画像捕捉装置１１０が走査線２４０を取得するのと同じ時間に、画像捕捉装置１２０も自らの走査線２４０を取得している可能性がある。但し、画像捕捉装置１２０では、走査線２４０が重複領域２７０を既に２５％通過している。従って、画像捕捉装置１１０では、重複領域２７０内で取得される最初の走査線が、画像捕捉装置１２０によって重複領域２７０内の最初の画像走査線が捕捉された後で取得されることが分かる。

【0072】

被選択同期線に近づくにつれて減少するこの時間差は、画像の視差を引き起こし得る。例えば単純な例では、同期線から離れた走査線では、移動物体が画像捕捉装置１２０にとって見えるのと異なる位置に画像捕捉装置１１０にとっては見える場合がある。見かけの位置の差の程度は、時間差が同期線から離れて増えるにつれて増加し得る。

【0073】

但し、線を走査するタイミングが両方の画像捕捉装置１１０及び画像捕捉装置１２０で知られているので、引き起こされる視差の程度は予測可能である。従って、処理装置１３０は、線を走査するタイミングの差によって引き起こされる予期される視差を考慮に入れることにより、両方の装置から取得される画像データを解析することができ、重複領域２７０からステレオ解析情報を得ることができても良い。

【0074】

線を走査するタイミングは被選択同期線において収束するので、引き起こされる視差が小さく更には些細である、同期線に関する走査線の帯が存在し得る。従って、同期走査線の周りの走査線の帯では、認められる視差に対処するためにより少ない処理が必要であり得る。一部の実施形態では、関心のある物体に重複するように同期走査線を思慮深く選択することにより、この視差が少ない帯を関心のある物体の中心に置くことができる。

【0075】

道路上で遭遇する様々な種類の物体（例えば垂直物体、移動物体、路面に近い低い物体等）は、取得される画像の視差に関して異なるように振る舞い得る。従って、同期走査線の選択は、シーン内（例えば重複領域２７０内）の関心のある物体の種類によって決まり得る。

【0076】

上記のように、同期線の位置は調節することができる。特定の線の同期は、任意の特定の行を選択することを、ことによると可能にする、基本的な同期技術を提供する任意の画像捕捉装置１１０、１２０上で実行することができる。しかし、１本の線しか同期できない場合、あらゆる状況用の１本の最適な線がない場合がある。つまり、２つ以上の画像フレーム間で同期されている線を切り替えることが有用であり得る。被選択同期走査線のかかる調節は、任意の適切な技法によって実現することができる。

【0077】

例えば、一部の実施形態では、ナローＦＯＶ画像捕捉装置１２０の垂直帰線期間がフレーム間で調節されても良い。一部の実施形態では、画像捕捉装置１２０による画像の取得が画像捕捉装置１１０に遅れ、その後追い付くように垂直帰線期間を選択することができ、そのため、異なる画像フレーム内で異なる線が同期される。別の実施形態では、ナローＦＯＶ画像捕捉装置１２０の垂直帰線を、画像捕捉装置１１０に対して所望の差に設定することができる。例えば、画像捕捉装置１２０の垂直帰線期間がワイドＦＯＶ画像捕捉装置１１０よりも１００ライン少ない場合、その後の全てのフレーム内で同期線の位置が或る程度異なる（例えばｙ＝−１００）。

【0078】

一例では、同期線の選択が車速に依存するようにシステムを構成することができる。別の例では、選択された第１の走査線及び選択された第２の走査線の両方が、（例えば関心のある物体が位置し得る）車両から離れた所定の距離に対応するようにシステムを構成することができる。

【0079】

上記のように、画像捕捉装置１１０と１２０との間で１本の走査線だけが同期され且つ空間的に整列される場合、同期線からの距離が増すにつれ、その同期線よりも上の及び下の線が徐々に同期しなくなる可能性があり：
δｔ（ｙ）＝（ｙ−ｙ_О）δＴ_Ｌ （１）
但しｙ_０は、正しく同期されている両方の画像内の１本の線とすることができ、δＴＬは次式で表わすことができ：
δＴ_Ｌ＝２Ｔ_Ｌｎ−Ｔ_Ｌｗ （２）
但しＴＬｎはナローカメラ１２０の線のタイミングとすることができ、ＴＬｗはワイドカメラ１１０の線のタイミングとすることができる。多くの場合、ＴＬｎ＝ＴＬｗであり、δＴＬは１本の線のタイミング（例えば１／４５，０００ｓｅｃ）であり得る。

【0080】

更に、上記のように１本の線しか同期できない場合、その線は特定の用途の要件に基づいて選ぶことができる。例えば、路面の用途ではｙ＝−１００前後の同期線が有利であり得る。水平線に近い行は、全般的な物体検出に有用であり得る。従って、２つ又は３つ（若しくはそれを上回る数）の設定間、例えば行ｙ＝０と行ｙ＝−１００との間で同期される線を切り替えることが有用であり得る。

【0081】

２台の撮像装置が第１の撮像装置の行に同期されると仮定する特定の例では、共通画像の中心線（ｙ＝０）を同期することができる。ナローＦＯＶ装置１２０の垂直帰線期間がワイドＦＯＶ装置１１０よりも１００ライン長い場合、次のフレームでは、線ｙ＝−１００が同期され得る。変更を加えない場合、次のフレームでは線ｙ＝−２００が同期され、その後も同様に続き得る。これはやがて循環する場合があり、線ｙ＝０が慎重に再び同期し得る。例えば、１０００本の線があり、垂直帰線が５００本の線である場合、この循環は１５フレーム後に起こり得る。

【0082】

別の例では、システムが、ナローＦＯＶ装置１２０の垂直帰線を、ワイドＦＯＶ装置１１０よりも１００ライン少なく設定することができる（例えば４００ライン対５００ライン）。この設定は変えてはならないが、ナローＦＯＶカメラ１２０の全ての第２のフレームが、ワイドＦＯＶカメラ１１０に再同期される。ワイドＦＯＶカメラ１１０は、自走（マスタとも呼ぶ）とすることができる。Aptina 1M Pixelセンサでは、トリガピンを使用して同期を行うことができる。トリガピンは、第２のフレームの読出し後（例えばｙ＝−１００が同期される場合）に「０」に設定することができる。ワイドＦＯＶカメラ１１０からの読出開始のＮライン前に、トリガピンを「１」に設定することができる。Ｎは、ナローＦＯＶカメラ１２０内で設定される積分時間の長さによって決定され得る。Ｎが小さい場合、垂直帰線中にトリガピンを下げる及び上げる時間があり得る。夜の条件及び非常に長い積分時間では、ナローＦＯＶカメラ１２０が、フレームを飛ばさなければならないことがある。

【0083】

一実施形態では、第１の画像の第１の重複部分の少なくとも第１の領域を、第２の画像の第２の重複部分の対応する第２の領域に対して相関させることが、第２の画像の取得に関連する第２の走査線と同期すべき第１の画像の取得に関連する第１の走査線を選択すること、並びに第１の画像の第１の重複部分内の、及び第２の画像の第２の重複部分の対応する領域内の水平帯内で高密度奥行マップの計算を行うことを含むようにシステムを構成することができる。水平帯が少なくとも１００画素の幅を表すようにシステムを構成しても良い。

【0084】

次いでシステムは、画像の様々な帯を設定ごとに処理することができる。フレームごとに全画像を処理することの計算コストが高すぎる可能性がある場合、最適化された帯を処理することが、実行可能な代替策であり得る。一例では、次いで画像の様々な帯を、画像捕捉装置１１０、１２０の設定ごとに処理することができる。

【0085】

第１の画像の第１の重複部分の少なくとも第１の領域を、第２の画像の第２の重複部分の対応する第２の領域に対して相関させることが、第１の画像の第１の重複部分と第２の画像の第２の重複部分との間の高密度オプティカルフローを計算すること、及び高密度オプティカルフローを使用して第１の画像又は第２の画像の少なくとも１つをワープさせることを含むようにシステムを構成することができる。システムは、相関関係を確立するために、第１の画像内の物体特徴を第２の画像内の物体特徴に対してマッチするために取得画像を処理することができる。システムは、画素ごとの奥行情報を含む視差マップを作成することができる。特に、視差マップの計算は、撮像装置１１０及び１２０の情報を組み合わせることを含み得る。視差は、第１の画像及び第２の画像内の対応する点のｘ座標間の距離を典型的には画素単位で表し得る。第１の画像及び／又は第２の画像内の画素ごとに、視差マップは画像点の視差及び奥行情報を含み得る。システムは、様々な分解能で視差画像を生成することができる。

【0086】

一例では、システムは画像捕捉装置１１０及び１２０の奥行マップを求めて、シーン内の物体に関連する奥行情報を得ることができる。或る分解能における視差画像を用いて生成される奥行マップは、別の分解能における視差画像から生成される奥行マップと異なり得る。奥行マップは、シーン内の点までの奥行きを各画素値が示す、二次元画素配列とすることができる。

【0087】

第２の複数の画像の少なくとも１つのフレームとの同期を実現するために、第１の複数の画像の少なくとも１つのフレームをワープさせるようにシステムを構成することができる。所定の位置における対象平面のホモグラフィによって第２の画像を前処理するように、少なくとも１個の処理装置が更に構成されるようにシステムを構成することができる。

【0088】

第１の画像の第１の重複部分の少なくとも第１の領域を、第２の画像の第２の重複部分の対応する第２の領域に対して相関させることが、第１の画像又は第２の画像の少なくとも１つを速度依存関数に従ってプレワープすることを含むようにシステムを構成することができ、プレワープは車両の移動に関連するホモグラフィ行列を計算すること、及び第１の画像又は第２の画像の少なくとも１つの、線のスキューに関連するホモグラフィを計算することによって実現される。

【0089】

別の実施形態では、解決策は、複数のカメラのうちの１台の連続フレーム間の高密度オプティカルフロー（ｕ，ｖ）を計算し、各線が他のカメラと正確に同期されている場合に予期されるものであるように、そのフローを使用してフレームの１つをワープすることであり得る：

【数4】

【0090】

このシステムの一実施形態は、例えば垂直物体までの奥行測定に関係する場合があり、同期する線を選ぶこと、及びその線の周囲±１００画素等の水平帯内で高密度奥行マップの計算を行うことを含み得る。選択される線は車速に依存し得る。選択される線は、特定の対象の位置に依存しても良い。ナローＦＯＶ画像を対象平面のホモグラフィによって前処理し、水平線に沿って探索を行うことができる最小操作奥行（minimum operating depth）を大きくすることができる。より近い対象に対応する大きい視差をマッチするとき、隣接する線を探索してマッチを求めることができる。エピポーラ線の小さな相違を更に許容するために、消失点（ＦＯＥ）を推定することができる。ＦＯＥが分かっている場合、時間のずれを考慮に入れて距離推定値について解くことが可能であり得る。車両が主に前方向に動く場合、ＦＯＥの小さな誤差が大幅な補正を可能にし得る。ほぼ全範囲において、誤差を１ｍ未満に減らすことができる。車両の回転を画像から、又は慣性センサから測定することができ、正確にモデル化することができる。

【0091】

一例では、システムが、Ｂ＝０．０６ｍのステレオ基線、ｆ＝１６００画素のワイドカメラ１１０の焦点距離（例えば６ｍｍのレンズ及び３．７５μｍの画素を有するカメラ）、及び３２００画素のナローカメラ１２０の焦点距離（例えば１２ｍｍのレンズ及び同じ画素）を有し得る。或る構成では、ステレオ基線をＢ＝ｄｘ、ｄｈ＝ｄｚ＝０とすることができる。ナローＦＯＶ画像は、フルフレームで捕捉し、実効焦点距離を同じ１６００画素に減らすソフトウェアによってサブサンプリングすることができる。ワイドカメラ１１０の線のタイミングは、ＴＬｗ＝１／４５ｍｓｅｃとすることができ、この速度はセンサが提供可能な限り速いものとすることができ、フレーム内の最小限の時間のずれをもたらし得る。その場合、システムはＴＬｎ＝ＴＬｗを行うことができる。

【0092】

Ｚ１の距離にある静的対象では、予期される視差はエピポーラ線に沿う
ｄ＝ｆ＊Ｂ／Ｚ_１ （８）
であり得る。画像が修正されたと仮定し、これらの線は画像行とすることができ、マッチングは一次元探索であり得る。ホスト車両がＶの速度で対象に向かって動いている場合、画像点は、

【数5】

のレートで消失点（ＦＯＥ）から離れる場合があり、但し（ｘｅｐ，ｙｅｐ）がＦＯＥであり得る。但し、次式のように、ｄＺは画像行に依存することができる：
ｄＺ（ｙ）＝δｔ（ｙ）Ｖ＝（ｙ_２−ｙ_１）δＴ_ＬＶ （１１）

【0093】

今度は、第２の画像内の対応する点（ｘ２，ｙ２）を次式のように与えることができる：

【数6】

及び

【数7】

【0094】

ここでは、ｙｅｐが非ゼロである可能性があっても、ｙｅｐ＝０と仮定することができる。等式１５は、ｙ１の関数としてｙ２について解くことができる：

【数8】

【0095】

距離に依存するｙのシフトにより、相関関係を見つけることがグローバルシャッターの事例又は静的な事例よりも難しい可能性がある。相関関係が見つかると、ｘのシフトによって引き起こされる視差誤差が距離推定値の著しい誤差を引き起こす場合がある。これらの問題は、本システムの様々な実施形態の中で論じるように軽減することができる。

【0096】

図４は、車両から様々な距離にある対象の同期線からの画像内の点の変位の一例である。一例では図４は、Ｖ＝３０ｍ／ｓと仮定し、車両から様々な距離値にある対象のｙの変位を示す。

【0097】

例えば図４に示すように、ＦＯＥは、（０，０）の（ｘｅｐ，ｙｅｐ）にあり得る。車両Ｚから様々な距離、例えばＺ＝２．５ｍ（４１０）、Ｚ＝５ｍ（４２０）、Ｚ＝１０ｍ（４３０）、Ｚ＝２０ｍ（４４０）、及びＺ＝３０ｍ（４５０）にある対象について、−２５０画素から２５０画素の間のｙ１の値の結果が示されている。行ごとに、Ｖ及びＺに依存することができ、

【数9】

の小値に関して、ｙ１のほぼ二次方程式（almost quadratic in y1）とすることができる、ｙ２の一定の変位があり得る。ｙ２のシフトは正（又はローリングシャッターの向きに応じて負）であり得る。ｙ２のシフトはゼロ平均にはなり得ない。

【0098】

一例では、第１の画像内の対象のｙ座標を表すことができる値ｙ１を所与とすることができる。第２の画像内の対応する対象のｙ座標をｙ２で表わすことができる。十分に同期され、修正されたシステムでは、ｙ２がｙ１に等しい場合がある。第２の画像内の対応する対象が同じ行の上にあっても良い。しかし、画像捕捉装置の前進移動により、第１の画像及び第２の画像がＦＯＥから放射状に外れてフローする場合がある。時間差により、第１の画像内の対象が、第２の画像内の対応する対象よりも多く移動している可能性がある。第１の画像及び第２の画像における外向きのフロー（outward flow）は異なる場合があり、ｙ２がｙ１と異なる原因になり得る。

【0099】

１０ｍを上回る距離にある対象では、同期線ｙ０から±１００画素の領域内のｙ２の変位は１画素未満とすることができ、エピポーラ線に沿った探索が機能し得る。その領域を超えると、変位が大きくなる可能性があり、探索が二次元になる場合があり、ＦＯＥに依存し得る。例えば、約５ｍの距離にある対象では、同期線ｙ０から±１００画素の領域内のｙ２の変位は１．５画素に近い可能性がある。別の例では、約２．５ｍの距離にある対象では、同期線ｙ０から±１００画素の領域内のｙ２の変位は２．５〜３画素に近い可能性がある。

【0100】

図５は、車両から所与の距離にある対象に関する奥行推定値の一例である。一例では、図５は、３０ｍ／ｓの車両前進移動に関する、１０ｍにある対象の奥行推定値を示し得る。分かっている奥行きを使用し、画像のｘ位置を横方向距離に変換することができる。行、車速、及び対象距離に同様に依存する、視差の著しい誤差があり得る。

【0101】

図５による別の例では、同期された行の前後−１００から１００の間の水平方向の行（２０画素ごと）の結果が示されている。例えば、同期された行から−１００画素（５１０）の水平方向の行、同期された行から１００画素（５９２）の水平方向の行、同期された行から−８０画素（５２０）の水平方向の行、同期された行から８０画素（５９１）の水平方向の行、同期された行から−６０画素（５３０）の水平方向の行、同期された行から６０画素（５９０）の水平方向の行、同期された行から−４０画素（５４０）の水平方向の行、同期された行から４０画素（５８０）の水平方向の行、同期された行から−２０画素（５５０）の水平方向の行、同期された行から２０画素（５７０）の水平方向の行、及び０画素（５６０）の水平方向の行に関する結果が示されている。

【0102】

図６は、対象平面のホモグラフィを用いて画像を前処理することを含むフィックス後の、様々な距離値に関するｙの変位を示す。一例では図６は、１０ｍにおける面について補正した後の、Ｖ＝３０ｍ／ｓを仮定した様々な距離値に関するｙの変位を示す。ｙのシフトは、ホモグラフィによって概算することができる。ナローＦＯＶ画像を１０ｍ等の何らかの中間距離についてホモグラフィによって前処理する場合、ｙの変位が±１画素未満である最低距離を５ｍまで減らし且つ／又は改善することができる。

【0103】

例えば、１０ｍを上回る距離にある対象では、同期線ｙ０から±１００画素の領域内のｙの変位は−１画素未満であり得る。約５ｍの距離にある対象では、同期線ｙ０から±１００画素の領域内のｙの変位は１画素未満であり得る。別の例では、約２．５ｍの距離にある対象では、同期線ｙ０から±１００画素の領域内のｙの変位が２画素に近い場合がある。

【0104】

図７は、垂直物体の奥行測定を行うシステムで使用するための例示的プロセスを示す。別の実施形態では、同期するのに最適な線をシステムが選ぶことができる（ステップ７１０）。

【0105】

１０ｍにおける対象平面のホモグラフィにより、ナローＦＯＶ画像を前処理することができる（ステップ７２０）。このステップにより、水平線に沿って探索を行うことができる最小操作奥行を大きくすることができる。

【0106】

次いで、システムは、その同期線の周囲±１００画素等の水平帯内で高密度奥行マップの計算を行うことができる（ステップ７３０）。例えば、３０ｍ先の道路上の線に対応する画像線を同期しても良い。

【0107】

最適な線は速度に依存する場合があり、システムは２秒先の道路上の線に対応する線を同期しても良い。最適な線は、特定の対象の位置にも依存し得る。

【0108】

より近い対象に対応するより大きい視差をマッチするとき（ステップ７４０）、システムは隣接する線のマッチを探索することができる（ステップ７４１）。

【0109】

エピポーラ線の小さな相違を更に許容するために、ＦＯＥを推定することができる（ステップ７５０）。このプロセスは、エピポールを検出する際の小さな誤差に対して非常に敏感でなくても良い。

【0110】

ＦＯＥが分かっている場合、時間のずれを考慮に入れ、等式１３をＺについて解くことが可能であり得る（ステップ７５１）。車両の動きが主に前方向であり得るので、ＦＯＥの小さな誤差、更にはｘｅｐ＝０と取ることが大幅な補正を可能にし得る。

【0111】

図８ａは、車両の所与の前進移動及び横速度に関する、車両から所与の距離にある対象の奥行推定値を示す。例えば図８ａは、３０ｍ／ｓの車両前進移動及びＶｘ＝２ｍ／ｓの横速度に関する、１０ｍにある対象の奥行推定値の一例を示し得る。

【0112】

図８ａによる例では、同期された行の前後−１００から１００の間の水平方向の行（２０画素ごと）の結果が示されている。例えば、同期された行から−１００画素（８１０）の水平方向の行、同期された行から１００画素（８９２）の水平方向の行、同期された行から−８０画素（８２０）の水平方向の行、同期された行から８０画素（８９１）の水平方向の行、同期された行から−６０画素（８３０）の水平方向の行、同期された行から６０画素（８９０）の水平方向の行、同期された行から−４０画素（８４０）の水平方向の行、同期された行から４０画素（８８０）の水平方向の行、同期された行から−２０画素（８５０）の水平方向の行、同期された行から２０画素（８７０）の水平方向の行、及び０画素（８６０）の水平方向の行に関する結果が示されている。

【0113】

図８ｂは、前進車両移動、及び横速度なしの補正された奥行推定値を示す。一例では、図８ｂは、前進移動だけを仮定して（例えばＶｘ＝０と仮定して）補正された奥行推定値を示し得る。ほぼ全範囲において、誤差を１ｍ未満に減らすことができる。

【0114】

図８ｂによる例では、同期された行の前後−１００から１００の間の水平方向の行（２０画素ごと）の結果が示されている。例えば、同期された行から−１００画素（８１１）の水平方向の行、同期された行から１００画素（８９６）の水平方向の行、同期された行から−８０画素（８２１）の水平方向の行、同期された行から８０画素（８９５）の水平方向の行、同期された行から−６０画素（８３１）の水平方向の行、同期された行から６０画素（８９４）の水平方向の行、同期された行から−４０画素（８４１）の水平方向の行、同期された行から４０画素（８８１）の水平方向の行、同期された行から−２０画素（８５１）の水平方向の行、同期された行から２０画素（８７１）の水平方向の行、及び０画素（８６１）の水平方向の行に関する結果が示されている。

【0115】

別の態様では、車両の回転を画像から、又は慣性センサから測定することができ、正確にモデル化することができる。次いで、例えばナローＦＯＶ画像を補正することができる。ヨーが水平スキューを引き起こす場合がある。ピッチが、同期線の周りで垂直圧迫又は垂直方向の伸びを引き起こす場合がある。

【0116】

このシステムの別の実施形態は、道路地物までの距離を推定することに関係することができ、速度依存関数に従ってナローＦＯＶ画像をプレワープすることを含み得る。より全般的な手法は、（１）路面上の車両の移動によるホモグラフィ行列を線のタイミングごとに計算すること、（２）その線のスキューのホモグラフィを線ごとに計算すること、及び（３）線のホモグラフィに従ってその線をワープすることを含み得る。各線のホモグラフィは、（１）或るフレームと次のフレームとの間の時間差のホモグラフィ行列を計算すること、（２）ホモグラフィによる画像の動きを計算すること、及び（３）時間スキューに応じて線ごとにその動きの一部を用いてワープすることによって概算することができる。ホモグラフィ行列は、連続した２つのナローＦＯＶ画像からも直接推定することができる。補正が必要な場合があり、他の実施形態で説明したように行うことができる。同期される画像行を最適化することにより、路面推定について改善された成果を得ることができる。

【0117】

一例では、２台のカメラを路面から１．２５ｍのバックミラー付近に装着することができる。車速を３０ｍ／ｓとすることができる。車の前進移動により、画像内の道路上の点が下向き及び外向きのフローに遭遇する場合がある。フローの程度は時間差と共に増加し、その点における路面までの距離に反比例して増加し得る。後者の距離は、画像行に反比例し得る：

【数10】

【0118】

図９は、時間遅延がない場合及び時間遅延がある場合の、カメラの基線により路面上で予期される視差を示す。具体的には図９は、路面のステレオ視差のシミュレーションを示し、つまり、静的シーン並びに時間遅延及び前進移動による現在位置を仮定し、広角カメラによる原点、ナローカメラによるマッチする座標を示す。時間遅延は、同期線ｙ＝０から直線的に増加し得る。

【0119】

図１０は、画像行に応じた、時間遅延及び前進移動によるｙ方向のシフト（曲線１０１０）を示す。曲線１０１０は三次関数とすることができる。１９ｍ先とすることができる行ｙ＝−１００までは、ｙのシフトが非常に小さい（０．５画素未満の）可能性がある。行ｙ＝−１００未満では、システムが探索空間内で何らかの調節を行う必要があり得る。

【0120】

例えば、行０から行−１２４の間では、システムは（ｘ１，ｙ１）に中心を置く対象を行（ｙ２＝ｙ１）に沿って探すことができ、行−１２５から行−１７０の間では、システムは１行下（例えばｙ２＝ｙ１−１）を探すことができ、行−１７０から行−１９０の間では、システムは２行下（例えばｙ２＝ｙ１−２）を探すことができ、行−１９０から行−２２０の間では、システムは３行下を探すことができ、その後も同様に続く。

【0121】

別の例では、探索行を切り替えるのではなく、システムが図１０の関数に従って第２の画像をワープしても良い。このワーピングは、第２の画像を圧縮すること及び／又は修正すること（例えばグローバルシャッターの場合と同様の修正）を含み得る。ワーピング関数の数及びワーピングを伴う場合がある画像ぶれを減らすために、２つのワープを単一のマッピングに組み合わせることができる。第２の画像のワーピングは、比較的円滑な移行を与え得る。

【0122】

図１１は、道路地物までの距離を推定するためにシステムで使用するための例示的プロセスを示す。例えば、或る解決策では、プロセッサ１３０が、速度依存ｙシフト関数に従ってナロー画像を垂直にプレワープすることができる（ステップ４１０）。１０ｍ等の特定の距離を仮定し、プレワープすることには利点があり得る。

【0123】

より概括的な手法は、路面上の車両の移動によるホモグラフィ行列Ｈ_Πを線のタイミングＴ_Ｌごとにプロセッサ１３０が計算すること（ステップ４２０）とすることができ：

【数11】

但し、Ｒ及びＴは、（例えば慣性センサや速度計から取られる）時間Ｔ_Ｌ内の動きに関する変換行列及び回転行列である。理論上、面法線Ｎも、それぞれの線単位でＲによって修正することができる。次いでこの手法は、プロセッサ１３０がその線のスキューのホモグラフィを線ごとに計算すること（ステップ４３０）を含み得る：
Ｈ_Π（ｙ）＝Ｈ_Π（Ｔ_Ｌ）^ｙ （１９）

【0124】

次いでこの手法は、プロセッサ１３０が、その線のホモグラフィに従ってその線をワープすることを含み得る（ステップ４４１）。プロセッサ１３０は、或るフレームと次のフレームとの間の時間差のホモグラフィ行列を計算し（ステップ４４２）、ホモグラフィによる画像の動きを計算し（ステップ４５０）、時間スキューに応じてその動きの一部を用いて線ごとにワープすること（ステップ４６０）によって線のホモグラフィを概算することができる。プロセッサ１３０は、連続した２つのナローＦＯＶ画像からホモグラフィ行列を直接推定することもできる。

【0125】

図１２ａは、車両の前進移動及び時間遅延によって引き起こされる画像内の様々な行の視差誤差を示す。具体的には、この図面は−２０（ほぼゼロ）から始まり−２４０（画像のエッジにおける６画素を上回る誤差）まで２０画素ごとに、画像行の時間遅延による視差誤差を示す。例えば、水平方向の行−２０画素（１２１０）、水平方向の行−４０画素（１２２０）、水平方向の行−６０画素（１２３０）、水平方向の行−８０画素（１２４０）、水平方向の行−１００画素（１２５０）、水平方向の行−１２０画素（１２６０）、水平方向の行−１４０画素（１２７０）、水平方向の行−１６０画素（１２８０）、水平方向の行−１８０画素（１２９０）、水平方向の行−２００画素（１２９１）、水平方向の行−２２０画素（１２９２）、及び水平方向の行−２４０画素（１２９３）の結果が示されている。

【0126】

図１２ｂは、その行上の視差の一部としての視差誤差（つまり真の視差）を示す。改善された結果を得るために、補正が必要な場合があり、他の実施形態で説明したように視差に対して行うことができる。同期され得る画像行を最適化することにより、路面推定について改善された成果を得ることができる。例えば、水平方向の行−２０画素（１２１１）、水平方向の行−４０画素（１２２１）、水平方向の行−６０画素（１２３１）、水平方向の行−８０画素（１２４１）、水平方向の行−１００画素（１２５１）、水平方向の行−１２０画素（１２６１）、水平方向の行−１４０画素（１２７１）、水平方向の行−１６０画素（１２８１）、水平方向の行−１８０画素（１２９５）、水平方向の行−２００画素（１２９６）、水平方向の行−２２０画素（１２９７）、及び水平方向の行−２４０画素（１２９８）の結果が示されている。

【0127】

図１３は、所与の行が同期されている場合の、時間遅延及び前進移動による予期されるｙのシフトの一例である。一例では、図１３は、行−１００が同期される場合の時間遅延及び前進移動による予期されるｙのシフト（曲線１３２０）、及び行０が同期される場合の時間遅延及び前進移動による予期されるシフト（曲線１２１０）を示す。行−１００は、車の約２０ｍ先の行上の線に対応し得る。かかる行を選ぶことには利点があり得る。第１に、ｙのシフトが０．５画素未満である領域を−１５０まで増やすことができる。第２に、行−１００が今や完全に同期できることを所与とし、この行についての距離測定値が正確である可能性があり、そのように正確であることは、路面に対する車両のピッチの優れた推定値をもたらし得る。このことは、垂直方向のプレワープを改善するために、更にはｘの視差補正を改善するためにも使用することができる。

【0128】

一例では、画像のワープが、等式Ｚ＝ｆ^＊Ｈ／（ｙ−ｙ０）に基づき得る。水平線（ｙ０）が線ｙ＝０にあると仮定した場合、Ｚ＝ｆ^＊Ｈ／ｙが成立する。ｙ０が分かっている場合、システムはｙ’＝ｙ−ｙ０について解き、次いでＺ＝ｆ^＊Ｈ／ｙ’について解くことができる。他の例では、ｙ０が分かっていない場合があり、例えば車両のピッチの移動によってフレーム間で変動し得る。そのような場合、視差を使用し、行−１００における距離Ｚ１００を用いてｙ０を推定することができる：（ｙ１００−ｙ０）＝ｆ^＊Ｈ／Ｚ１００、即ちｙ０＝ｙ１００−ｆ^＊Ｈ／Ｚ１００。調節されたｙ０は、より優れた補正ワープ、従ってより優れたｘ視差の補正を与えることができる。

【0129】

別の実施形態は、横方向に移動する物体又は任意のソースからの移動視差に関することができ、複数のフレームを使用することにより誤差を減らすことを含み得る。概して横方向の視差は、静的シーン上で測定される真の視差と、移動による視差とに分けることができる。移動視差は、ナローＦＯＶカメラ及びワイドＦＯＶカメラ内の行間の時間スキューに対して、ほぼ直線性を有することができる。分かっている２つの異なる時点における横方向の視差は、２つの未知数（移動視差及び真の視差）の２つの線形方程式を与えることができ、真の視差をもたらすために解くことができる。２つのサンプルは、例えば２つの異なるフレーム内の、ワイドＦＯＶ画像内で見られる物体上の特徴と、ナローＦＯＶカメラ内で見られる同じ物体上の特徴との間で得ることができる。２つのサンプルは、異なる行上の物体上の２つの点からも得ることができ、それらの行ではそれらの点について同じ奥行きが予期される。この方法の改変形態は、同じカメラからの２つの画像間の或る特徴のオプティカルフロー又は高密度フローを計算することを含み得る。

【0130】

一例では、速度Ｖｘで横方向に移動している物体が、基線による静的視差ｄＢに誤差ｄｖｘを生じさせる場合がある。合計視差値は、次式に等しいものとすることができる：

【数12】

奥行きの精度は、比率：

【数13】

に関係し得る。

【0131】

誤差は、行に沿って一定であり、同期された行からの行の距離に関して直線的であり得る。

【0132】

ゆっくりと動く対象の妥当性検証では、視差誤差が大きくない場合がある。図１４ａは、行（ｙ）の関数としての、基線による真の視差に対する移動による視差誤差の比率の一例である。一例では、図１４ａは、物体が２ｍ／ｓで横方向に移動しており（低速走行）、０．０６ｍの基線の場合の、行（ｙ）の関数としての（基線による真の視差に対する移動による視差誤差の）比率を示す（曲線１４１０）。誤差率は、奥行きに関して予期される誤差とすることができ、画像の上部及び下部では約１５％の最大値に到達し得る。この用途では、この比率は許容可能と見なすことができる。何れにせよ、歩行者は、誤差がかなり少ない可能性がある中央領域内に概していることができる。

【0133】

速く動く対象の妥当性検証では、複数のフレームを使用して正確な結果を与える方法について説明する。図１４ｂは、物体が横方向に移動している場合の、基線による真の視差に対する移動による視差誤差の比率の一例である。一例では、図１４ｂは、物体が１５ｍ／ｓで横方向に移動している場合（例えば５０ｋｍｈで横切る車）の、基線による真の視差に対する移動による視差誤差の比率を示す（曲線１４２０）。この比率は、ナロー帯を除く全ての帯で２０％を上回り得る。複数のフレームを使用することにより、誤差を大幅に減らすことができる。

【0134】

図１５は、移動視差がある場合にシステムで使用するための例示的プロセスを示す。概して横方向の視差は、ホスト車両又は物体の静的シーン上で測定される真の視差と、移動による視差とに分けることができる（ステップ５１０）。移動による視差は、ナローＦＯＶカメラ１２０及びワイドＦＯＶカメラ１１０内の行間の時間スキューに対して、ほぼ直線性を有することができる（ステップ５２０）。（分かっている）２つの異なる時点における横方向の視差は、２つの未知数、真の視差及び移動視差の２つの線形方程式を与えることができ（ステップ５３０）、真の視差をもたらすために解くことができる（ステップ５４０）。２つのサンプルは、例えば２つの異なるフレーム内の、ワイドＦＯＶ画像内で見られる物体上の特徴と、ナローＦＯＶカメラ内で見られる同じ物体上の特徴との間で得ることができる。２つのサンプルは、異なる行上の物体上の２つの点からも得ることができ、それらの行では、垂直支柱のエッジ等、それらの点について同じ奥行きが予期される。この方法の改変形態は、同じカメラからの２つの画像間の或る特徴のオプティカルフロー（ｕ）又は高密度フローを計算することであり得る。次いで、

【数14】

によって移動視差を求めることができ、但しＴＦは、帰線消去を含む１つのフルフレームの時間である。このことは、横方向に移動する物体だけでなく、任意のソースからの移動視差にもほぼ当てはまり得ることに留意すべきである。

【0135】

更に、本明細書では例示的実施形態を説明してきたが、均等の要素、修正、省略、（例えば様々な実施形態にわたる側面の）組合せ、適合、及び／又は改変を有する任意の及び全ての実施形態の範囲が本開示に基づいて当業者によって理解される。特許請求の範囲における限定は、特許請求の範囲の中で使用する言語に基づいて広義に解釈すべきであり、本明細書内で又は本願の出願手続き中に説明される例に限定されない。例は非排他的と解釈すべきである。更に、開示したルーチンのステップは、ステップを並べ替えること及び／又はステップを挿入し若しくは削除することを含む任意の方法で修正することができる。従って、本明細書及び例は専ら例示的と見なされることを意図し、真の範囲及び趣旨は添付の特許請求の範囲及びその均等物の全範囲によって示す。

【図1a】

【図1b】

【図1c】

【図2a】

【図2b】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8a】

【図8b】

【図9】

【図10】

【図11】

【図12a】

【図12b】

【図13】

【図14a】

【図14b】

【図15】