知財求人 - 知財ポータルサイト「IP Force」
▶ モービルアイ ビジョン テクノロジーズ リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-21
(45)【発行日】2023-08-29
(54)【発明の名称】自動運転車両システム用交差視野
(51)【国際特許分類】
H04N 23/90 20230101AFI20230822BHJP
G01C 3/06 20060101ALI20230822BHJP
H04N 7/18 20060101ALI20230822BHJP
H04N 23/52 20230101ALI20230822BHJP
G08G 1/16 20060101ALI20230822BHJP
【ＦＩ】
H04N23/90
G01C3/06 110V
H04N7/18 J
H04N23/52
G08G1/16 C
【請求項の数】
28
(21)【出願番号】P 2019553322
(86)(22)【出願日】2018-05-10
(65)【公表番号】
(43)【公表日】2020-07-30
(86)【国際出願番号】 US2018032087
(87)【国際公開番号】W WO2018209103
(87)【国際公開日】2018-11-15
【審査請求日】2021-05-06
(31)【優先権主張番号】62/504,504
(32)【優先日】2017-05-10
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】515168961
【氏名又は名称】モービルアイ ビジョン テクノロジーズ リミテッド
【住所又は居所原語表記】Ｐ．Ｏ．Ｂ． ４５１５７，１３ ＨＡＲＴＯＭ ＳＴＲＥＥＴ， ＨＡＲ ＨＯＴＺＶＩＭ， ＪＥＲＵＳＡＬＥＭ， ９７７７５１３ ＩＳＲＡＥＬ
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所
(72)【発明者】
【氏名】シュタイン、ギデオン
(72)【発明者】
【氏名】エイタン、オリ
(72)【発明者】
【氏名】ベルマン、エフィム
(72)【発明者】
【氏名】ケイティー、モーセ
【審査官】高野 美帆子
(56)【参考文献】
【文献】特表２０１５－５３２７１４（ＪＰ，Ａ）
【文献】特開２０１６－１４３３０８（ＪＰ，Ａ）
【文献】特開２００４－２０１４８９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／９０
Ｇ０１Ｃ ３／０６
Ｈ０４Ｎ ７／１８
Ｈ０４Ｎ ２３／５２
Ｇ０８Ｇ １／１６
(57)【特許請求の範囲】
【請求項1】
車両用の撮像システムであって、撮像モジュールと、
前記撮像モジュールに結合された第１のカメラであって、第１の視野及び第１の光軸を有する第１のレンズを含む第１のカメラと、
前記撮像モジュールに結合された第２のカメラであって、第２の視野及び第２の光軸を有する第２のレンズを含む第２のカメラであり、前記第２の視野は前記第１の視野とは異なり、前記第１のレンズは前記第２のレンズより広角を有する、第２のカメラと、
前記第１のカメラ及び前記第２のカメラが同じ高さに位置するとともに前記第１のカメラ及び前記第２のカメラが前記車両に対して外側に面するように、前記車両のリアサイドウィンドウの内面に前記撮像モジュールを取り付けるように構成されたマウントアセンブリとを備え、
前記第１の光軸は、交差面の交差点で前記第２の光軸と交差し、
前記第１のカメラは、前記交差面の前記交差点を越えて第１の水平距離に焦点が合わされ、前記第２のカメラは、前記交差面の前記交差点を越えて第２の水平距離に焦点が合わされ、
前記第１の視野及び前記第２の視野は、少なくとも部分的に重複し、組み合わされた視野を形成し、前記第１の視野は前記車両の中央の長手方向軸に対して実質的に垂直である、撮像システム。
【請求項2】
前記第１の光軸は、水平面内で前記第２の光軸と交差する、請求項１に記載の撮像システム。
【請求項3】
前記第１の光軸は、垂直面内で前記第２の光軸と交差する、請求項１に記載の撮像システム。
【請求項4】
前記第１の光軸は、水平面及び垂直面の両方の面内で、前記第２の光軸と交差する、請求項１に記載の撮像システム。
【請求項5】
前記第１の水平距離及び前記第２の水平距離は等しい距離である、請求項１～４の何れか一項に記載の撮像システム。
【請求項6】
前記第１の水平距離及び前記第２の水平距離は、異なる距離である、請求項１～４の何れか一項に記載の撮像システム。
【請求項7】
前記交差面の前記交差点は、前記リアサイドウィンドウと前記第１のカメラ及び前記第２のカメラとの間に配置されている、請求項１～６の何れか一項に記載の撮像システム。
【請求項8】
前記交差面の前記交差点は、前記リアサイドウィンドウの外面から予め定められた距離に配置されている、請求項１～６の何れか一項に記載の撮像システム。
【請求項9】
前記組み合わされた視野は、前記車両の前方の少なくとも１８０度を有する、請求項１～６の何れか一項に記載の撮像システム。
【請求項10】
前記第１のカメラ及び前記第２のカメラの前記第１の視野及び前記第２の視野から障害を取り除くように構成された少なくとも１つのワイヤブレードを有するワイパーアセンブリを、さらに備える、請求項１～９の何れか一項に記載の撮像システム。
【請求項11】
前記撮像モジュールは、半円の円弧に沿って前記第１のカメラ及び前記第２のカメラを配置するように構成されている、請求項１～１０の何れか一項に記載の撮像システム。
【請求項12】
前記交差面の前記交差点は、前記第１のカメラのレンズと前記第２のカメラのレンズとの最短距離の１倍から４倍までの範囲の離間距離で、前記第１のカメラ及び前記第２のカメラから離れている、請求項１～１１の何れか一項に記載の撮像システム。
【請求項13】
前記リアサイドウィンドウは、前記リアサイドウィンドウを透過させて光が前記撮像モジュールまで到達することを可能にする比較的小さい透過エリアを囲むグレアシールドを含む、請求項１～１２のいずれか一項に記載の撮像システム。
【請求項14】
前記比較的小さい透過エリアは、前記第１のカメラ及び第２のカメラへの開口部を提供するように構成され、それによって、前記第１のカメラの被写界深度と前記第２のカメラの被写界深度とを増大させ、広範囲の距離の複数の異なる対象物に焦点が合ったままとすることができる、請求項１３に記載の撮像システム。
【請求項15】
前記交差面の前記交差点は、前記比較的小さい透過エリアの中心にある、請求項１３又は１４に記載の撮像システム。
【請求項16】
比較的小さい透過エリアは、前記第１のカメラ及び前記第２のカメラの前記組み合わされた視野と実質的に等しい広角の視野を有する広角カメラによって獲得されるであろう比較透過エリアより小さい、請求項１３～１５の何れか一項に記載の撮像システム。
【請求項17】
車両用の撮像システムであって、撮像モジュールと、
前記撮像モジュールに結合された第１のカメラであって、第１の視野及び第１の光軸を有する第１のレンズを含む第１のカメラと、
前記撮像モジュールに結合された第２のカメラであって、第２の視野及び第２の光軸を有する第２のレンズを含む第２のカメラであり、前記第２の視野は前記第１の視野とは異なる、第２のカメラと、
前記撮像モジュールに結合された第３のカメラであって、第３の視野及び第３の光軸を有する第３のレンズを含む第３のカメラであり、前記第３の視野は前記第１の視野とは異なり、前記第３のレンズは前記第１のレンズ及び前記第２のレンズより広角を有する、第３のカメラと、
前記第１のカメラ、前記第２のカメラ、及び前記第３のカメラが前記車両に対して外側に面するように、前記車両のリアサイドウィンドウの内面に前記撮像モジュールを取り付けるように構成されたマウントアセンブリとを備え、
前記第１の光軸は、第１の交差面の第１の交差点で前記第２の光軸と交差し、
前記第１の光軸は、第２の交差面の第２の交差点で前記第３の光軸と交差し、
前記第２の光軸は、第３の交差面の第３の交差点で前記第３の光軸と交差し、
前記第１の視野及び前記第２の視野は、前記第３の視野と少なくとも部分的に重なり、前記第１の視野、前記第２の視野、及び前記第３の視野は、組み合わされた視野を形成し、前記第３の視野は前記車両の中央の長手方向軸に対して実質的に垂直であり、前記第３のカメラは、前記第１のカメラより前記リアサイドウィンドウに近く、前記第３のカメラは、前記第２のカメラより前記リアサイドウィンドウに近い、撮像システム。
【請求項18】
前記第１の光軸は、水平面内で前記第２の光軸と交差し、前記第１の光軸は、水平面内で前記第３の光軸と交差し、前記第２の光軸は、水平面内で前記第３の光軸と交差する、請求項１７に記載の撮像システム。
【請求項19】
前記第１の光軸は、垂直面内で前記第２の光軸と交差し、前記第１の光軸は、垂直面内で前記第３の光軸と交差し、前記第２の光軸は、垂直面内で前記第３の光軸と交差する、請求項１７に記載の撮像システム。
【請求項20】
前記第１の光軸は、水平軸及び垂直軸の両方において、前記第２の光軸と交差し、前記第１の光軸は、水平軸及び垂直軸の両方において、前記第３の光軸と交差し、前記第２の光軸は、水平軸及び垂直軸の両方において、前記第３の光軸と交差する、請求項１７に記載の撮像システム。
【請求項21】
前記第１の交差面の前記第１の交差点、前記第２の交差面の前記第２の交差点、及び前記第３の交差面の前記第３の交差点は、互いに一致し、同時交差面の同時交差点を形成する、請求項１７に記載の撮像システム。
【請求項22】
前記同時交差面の前記同時交差点は、何れの前記第１のカメラ、前記第２のカメラ、及び前記第３のカメラ間の最短距離の１倍から４倍までの範囲の離間距離によって、前記第１のカメラ、前記第２のカメラ、及び第３のカメラから離れている、請求項２１に記載の撮像システム。
【請求項23】
前記第３のカメラは、前記長手方向軸に平行な方向に関して、前記第１のカメラ及び前記第２のカメラ間の中心にほぼ等間隔で配置される、請求項１７に記載の撮像システム。
【請求項24】
前記第１のカメラ、前記第２のカメラ、及び前記第３のカメラの前記視野から障害を取り除くように構成された少なくとも１つのワイヤブレードを有するワイパーアセンブリをさらに備える、請求項１７～２３の何れか一項に記載の撮像システム。
【請求項25】
前記撮像モジュールは、半円の円弧に沿って、前記第１のカメラ、前記第２のカメラ、及び前記第３のカメラを配置するように構成されている、請求項１７～２４の何れか一項に記載の撮像システム。
【請求項26】
前記リアサイドウィンドウの内面は、前記リアサイドウィンドウの内面を透過させて光が前記撮像モジュールまで到達することを可能にする比較的小さいエリアを囲むグレアシールドを含み、前記比較的小さいエリアは、前記第１のカメラ、前記第２のカメラ、及び前記第３のカメラへの開口を提供するように構成され、これにより、前記第１のカメラの被写界深度、前記第２のカメラの被写界深度、及び前記第３のカメラの被写界深度を増大させ、複数の異なる対象物を広範囲の距離で焦点が合ったままとすることができる、請求項１７～２５のいずれか一項に記載の撮像システム。
【請求項27】
同時交差面の同時交差点が、比較的小さい透過エリアの中心エリアに一致する、請求項２６に記載の撮像システム。
【請求項28】
前記比較的小さい透過エリアは、前記第１のカメラ、前記第２のカメラ、及び前記第３のカメラの組み合わされた視野と等しい広角視野を有する広角カメラによって必要とされるであろう比較透過エリアより小さい、請求項２６に記載の撮像システム。
【発明の詳細な説明】
【技術分野】
【0001】
［関連出願への相互参照］
この出願は、２０１７年５月１０日に出願された米国仮特許出願第６２／５０４，５０４の優先権の利益を請求する。前述の出願は、その全体を参照することにより本明細書に組み込まれる。
この出願は、２０１７年５月１０日に出願された米国仮特許出願第６２／５０４，５０４の優先権の利益を請求する。前述の出願は、その全体を参照することにより本明細書に組み込まれる。
【0002】
本開示は、概して自動運転車両用カメラシステムに関する。他の態様において、本開示は、概して交差視野を有するカメラシステムに関する。
【背景技術】
【0003】
自動運転車両は、様々な要因を考慮し、それらの要因に基づいて意図した目的地に安全かつ正確に到着するように適切な決断を下す必要があるかもしれない。また、例えば、目的地へナビゲートするために、自動運転車両は、その道路内の位置を識別し（例えば、複数車線のうちの特定の車線）、他の車両の横をナビゲートし、障害物及び歩行者を回避し、信号機及び道路標識を観察し、適切な交差点又はインターチェンジである一の道路から他の道路へ移動する必要があるかもしれない。その目的地まで移動する車両である自動運転車両によって収集された莫大な量の情報の利用及び解釈は、多くの設計課題をもたらす。自動運転車両が分析、アクセス、及び／又は、格納する必要があるかもしれない、完全な量のデータ（例えば、キャプチャされた画像データ、地図データ、ＧＰＳデータ、センサデータ等）は、実際には、自律ナビゲーションを制限し、あるいは、悪影響を与えることができる課題をもたらす。例えば、収集されたデータの一部として、自動運転車両は、視覚情報（例えば、車両の個別の位置に配置された多数のカメラからキャプチャされた情報）を処理及び解釈する必要があるかもしれない。各カメラは特定の視野を有してもよい。複数のカメラがともに使用される例では、カメラの視野は、ある状況において、重なり及び／又は冗長でもよい。
【発明の概要】
【0004】
本開示に相当する実施形態は、自動運転車両ナビゲーション用システム及び方法を提供する。開示される実施形態は、自動運転車両ナビゲーション機能を提供するためにカメラを使用することができる。例えば、開示される実施形態に相当する本開示のシステムは、車両の環境をモニタする１つ、２つ、３つ、又はそれ以上のカメラを含むことができる。各カメラの視野は、他のカメラ、あるいは複数のカメラと重複してもよい。本開示のシステムは、例えば、カメラの１又は複数によってキャプチャされた画像の分析に基づくナビゲーション応答を提供することができる。また、ナビゲーション応答は、例えば、グローバルポジショニングシステム（ＧＰＳ）データ、センサデータ（例えば、加速度計、速度センサー、サスペンションセンサー等から）、及び／又は他の地図データを含む他のデータを考慮に入れてもよい。
【0005】
一実施形態において、撮像システムは車両用に提供される。撮像システムは、撮像モジュールと、撮像モジュールに結合された第１のカメラとを含んでもよい。第１のカメラは、第１の視野及び第１の光軸を有してもよい。また、撮像システムは、撮像モジュールに結合された第２のカメラを含んでもよい。第２のカメラは、第２の視野及び第２の光軸を有してもよい。また、撮像システムは、第１及び第２のカメラが、車両に対して外向きに面するように、車両に撮像モジュールを取り付けるように構成されたマウントアセンブリを含んでもよい。さらに、第１の光軸は、交差面の少なくとも１つの交差点で第２の光軸と交差してもよい。さらに、第１のカメラは、交差面の交差点を越えて第１の水平距離に焦点が合わされてもよく、第２のカメラは、交差面の交差点を越えて第２の水平距離に焦点を合わされてもよく、第１の視野及び第２の視野は、組み合わされた視野を形成してもよい。
【0006】
一実施形態において、撮像システムは車両用に提供される。撮像システムは、撮像モジュールと、撮像モジュールに結合された第１のカメラとを含んでもよい。第１のカメラは、第１の視野及び第１の光軸を有してもよい。また、撮像システムは、撮像モジュールに結合された第２のカメラを含んでもよい。第２のカメラは、第２の視野及び第２の光軸を有してもよい。また、撮像システムは、撮像モジュールに結合された第３のカメラを含んでもよい。第３のカメラは、第３の視野及び第３の光軸を有してもよい。また、撮像システムは、第１のカメラ、第２のカメラ、及び第３のカメラが、車両に対して外向きに面するように、車両のウィンドウの内面に撮像モジュールを取り付けるように構成されたマウントアセンブリを含んでもよい。さらに、第１の光軸は、第１の交差面の少なくとも１つの第１の交差点において、第２の光軸と交差することができ、第１の光軸は、第２の交差面の少なくとも１つの第２の交差点において、第３の光軸と交差することができ、第２の光軸は、第３の交差面の少なくとも１つの第３の交差点において、第３の光軸と交差することができる。さらに、第１の視野、第２の視野、及び第３の視野は、組み合わされた視野を形成してもよい。
【0007】
一実施形態において、撮像システムは、車両用に提供される。撮像システムは、半円の円弧に沿って複数のカメラを配置するように構成された撮像モジュールを含んでもよい。複数のカメラは、半円の半径に向かって方向付けされてもよい。また、撮像システムは、複数のカメラが車両に対して外向きに面するように、車両のウィンドウの内面に撮像モジュールを取り付けるように構成されたマウントアセンブリを含んでもよい。さらに、複数のカメラのうちのそれぞれのカメラは、単一の比較的小さい透過開口部の外側に投影されるそれぞれの視野及びそれぞれの光軸を有することができる。さらに、それぞれの視野は、半円の半径、及び単一の比較的小さい透過開口部の中心となる位置に配置された半円の半径と、少なくとも部分的に重なってもよい。さらに依然として、それぞれの光軸は、それぞれの交差面の少なくとも１つのそれぞれの交差点において、他の全てのそれぞれの光軸と交差し、それぞれの視野の全ては、組み合わされた視野を形成する。
【0008】
前述の一般的な説明及び以下の詳細な説明は、例示及び説明のみであり、特許請求の範囲を限定しない。
【図面の簡単な説明】
【0009】
本開示に組み込まれ、本開示の一部を構成する添付図面は、開示される様々な実施形態を示す。図面は以下の通りである。
【0010】
【図1】開示される実施形態と一致する例示的なシステムの概略図である。
【0011】
【図2A】開示される実施形態と一致するシステムを含む例示的な車両の概略側面図である。
【0012】
【0013】
【図2C】開示される実施形態と一致するシステムを含む他の実施形態の車両の概略平面図である。
【0014】
【図2D】開示される実施形態と一致するシステムを含むさらに他の実施形態の車両の概略平面図である。
【0015】
【図2E】開示される実施形態と一致するシステムを含むさらに他の実施形態の車両の概略平面図である。
【0016】
【図2F】開示される実施形態と一致する例示的な車両制御システムの概略図である。
【0017】
【図3A】バックミラー、及び開示される実施形態と一致する車両撮像システム用ユーザーインターフェースを含む車両の室内の概略図である。
【0018】
【図3B】開示される実施形態と一致する車両のフロントガラスに対しバックミラーの背後に配置されるように構成されたカメラマウントの例を示す図である。
【0019】
【0020】
【図3D】開示される実施形態と一致する車両のフロントガラスに対しバックミラーの背後に配置されるように構成されたカメラマウントの例を示す図である。
【0021】
【図4】開示される実施形態と一致する１又は複数の動作を実行するための命令を格納するように構成されたメモリの例示的なブロック図である。
【0022】
【図5A】開示される実施形態と一致する単眼画像解析に基づく１又は複数のナビゲーション応答を生じさせるための例示的なプロセスを示すフローチャートである。
【0023】
【図5B】開示される実施形態と一致する画像のセットにおいて、１又は複数の車両及び／又は歩行者を検出するための例示的なプロセスを示すフローチャートである。
【0024】
【図5C】開示される実施形態と一致する画像のセットにおいて、道路マーク及び／又は車線形状情報を検出するための例示的なプロセスを示すフローチャートである。
【0025】
【図5D】開示される実施形態と一致する画像のセットにおいて、信号機を検出するための例示的なプロセスを示すフローチャートである。
【0026】
【図5E】開示される実施形態と一致する車両経路に基づく１又は複数のナビゲーション応答を生じさせるための例示的なプロセスを示すフローチャートである。
【0027】
【図5F】開示される実施形態と一致し、先頭車両が車線変更しているかどうかを決定するための例示的なプロセスを示すフローチャートである。
【0028】
【図6】開示される実施形態と一致し、ステレオ画像解析に基づく１又は複数のナビゲーション応答を生じさせるための例示的なプロセスを示すフローチャートである。
【0029】
【図7】開示される実施形態と一致し、３セットの画像の分析に基づく１又は複数のナビゲーション応答を生じさせるための例示的なプロセスを示すフローチャートである。
【0030】
【図8】開示される実施形態と一致する撮像システムの実施形態の概略図である。
【0031】
【図9】単一のカメラ広視野撮像システムの概略図である。
【0032】
【図10】開示される実施形態と一致する撮像システムの他の実施形態の概略図である。
【0033】
【図11A】開示される実施形態と一致する組み合わされた視野を有する例示的な撮像システムの概略平面図である。
【0034】
【図11B】開示される実施形態と一致する組み合わされた視野を有する例示的な撮像システムの概略平面図である。
【0035】
【図12A】開示される実施形態と一致する組み合わされた視野を有する他の例示的な撮像システムの概略平面図である。
【0036】
【図12B】開示される実施形態と一致する組み合わされた視野を有する他の例示的な撮像システムの概略平面図である。
【0037】
【図13】開示される実施形態と一致する組み合わされた視野を有する他の例示的な撮像システムの概略平面図である。
【0038】
【図14】開示される実施形態と一致する組み合わされた視野を有する他の例示的な撮像システムの概略平面図である。
【0039】
【図15】開示される実施形態と一致する組み合わされた視野を有する他の例示的な撮像システムの斜視図である。
【0040】
【0041】
【図17】開示される実施形態と一致する組み合わされた視野を有する他の例示的な撮像システムの斜視図である。
【0042】
【0043】
【図19】開示される実施形態と一致する組み合わされた視野を有する他の例示的な撮像システムの概略平面図である。
【0044】
【図20】開示される実施形態と一致する組み合わされた視野を有する他の例示的な撮像システムの概略平面図である。
【0045】
【図21】開示される実施形態と一致する他の例示的な撮像システムの立面図である。
【0046】
【図22】開示される実施形態と一致する撮像システムを含む例示的な車両の斜視図である。
【0047】
【図23】開示される実施形態と一致する撮像システムを含む例示的な車両の側面図である。
【0048】
【0049】
【図25】開示される実施形態と一致する撮像システムの概略平面図である。
【発明を実施するための形態】
【0050】
以下の詳細な説明において、添付図面を参照する。可能な限り、図面又は以下の説明で同じ又は類似の部品を指すために同じ参照番号が使用される。いくつかの例示的な実施形態が本明細書で説明されているが、修正、適合、及び他の実装が可能である。例えば、図面に示された構成要素に置換、追加、又は変更を行うことができ、本明細書で説明する例示的な方法は、開示された方法の段階を置換、並べ替え、削除、又は追加することによって変更することができる。従って、以下の詳細な説明は、開示される実施形態及び実施例に限定されない。代わりに、適切な範囲は添付の特許請求の範囲によって定義されます。
【0051】
自動運転車両の概要
【0052】
本開示を通じて使用される「自動運転車両」という用語は、運転者の入力なしで少なくとも１つのナビゲーションの変更を実行することができる車両を指す。ナビゲーションの変更は、車両のステアリング、ブレーキ、又は加速の１又は複数における変更を指す。自律的であるためには、車両は完全に自動（例えば、運転者なしの、又は運転者の入力なしの完全な動作）である必要はない。むしろ、自動運転車両には、特定の期間中、運転者の制御下で、他の期間中、運転者の制御なしで動作できるものが含まれる。また、自動運転車両は、車両ナビゲーションのステアリング操作のようないくつかの態様のみを制御する車両を含むことができ（例えば、車線制約の間で車両のコースを維持するように）、しかし、他の態様を運転者に残してもよい（例えば、ブレーキ）。ある場合において、自動運転車両は、車両のブレーキ、速度制御、及び／又は、ステアリングのいくつか又は全ての態様を扱うことができる。
【0053】
通常、人間の運転者は、車両を制御するために、視覚的指示及び観察順序に頼っているので、それに応じて、交通インフラストラクチャーは構築され、車線表示、交通標識、及び信号機は、全て、運転者に視覚情報を提供するように設計されている。交通インフラストラクチャーのこれらの設計特性を考慮して、自動運転車両は、カメラと、車両の環境からキャプチャされた視覚情報を分析する処理ユニットとを含むことができる。例えば、視覚情報は、運転者によって観測可能な交通インフラストラクチャーの構成要素（例えば、車線表示、交通標識、信号機等）、及び他の障害物（例えば、他の車両、歩行者、破片等）を含むことができる。さらに、自動運転車両は、例えば、ナビゲーションしているときに、車両の環境のモデルを提供する情報等、格納された情報を使用することもできる。例えば、車両は、車両が走行している間、ＧＰＳデータ、センサデータ（例えば、加速度計、速度センサ、サスペンションセンサー等から）、及び／又は、その環境に関する情報を提供する他の地図データを使用することができ、車両（他の車両と同様に）は、モデル上でそれ自体を位置特定するための情報を使用することができる。
【0054】
本開示におけるいくつかの実施形態において、自動運転車両は、ナビゲートの間に得られた情報を使用することができる（例えば、カメラ、ＧＰＳデバイス、加速度計、速度センサー、サスペンションセンサー等から）。他の実施形態において、自動運転車両は、ナビゲートの間、過去のナビゲーションから車両によって（又は他の車両によって）得られた情報を使用することができる。さらに他の実施形態において、自動運転車両は、ナビゲートの間に得られた情報、及び過去のナビゲーションから得られた情報の組み合わせを使用することができる。以下のセクションは、開示される実施形態と一致するシステムの概要を提供し、続いて、前方を向く撮像システム及びシステムに一致する方法の概要を提供する。以下のセクションでは、自動運転車両ナビゲーション用の点在する地図を構成、使用、及び更新するためのシステム及び方法を開示する。
【0055】
本開示を通じて使用される「視野」という用語は、カメラが３次元において視認できる全てのエリアを指す。本開示が単一の角度を参照して視野を説明する場合、その単一の角度は、２次元の水平視野を指す。本開示を通じて使用される「光軸」という用語は、カメラの視野の中心軸線を指す。言い換えれば、「光軸」とは、カメラの視認可能なエリアの投影中心のベクトルである。別の言い方をすれば、「光軸」は、対称に方向付けられるカメラの視野についての軸である。
【0056】
システムの概要
【0057】
図１は、開示される例示的な実施形態と一致するシステム１００のブロック図である。システム１００は、特定の実施の要件に応じて様々なコンポーネントを含むことができる。いくつかの実施形態において、システム１００は、処理ユニット１１０、画像取得ユニット１２０、位置センサー１３０、１又は複数のメモリユニット１４０，１５０、地図データベース１６０、ユーザーインターフェース１７０、及び無線送受信機１７２を含むことができる。処理ユニット１１０は、１又は複数の処理デバイスを含むことができる。いくつかの実施形態において、処理ユニット１１０は、アプリケーションプロセッサ１８０、イメージプロセッサ１９０、又は任意の他の適切な処理デバイスを含むことができる。類似して、画像取得ユニット１２０は、特定の用途の要件に応じて、任意の数の画像捕捉デバイス及び構成要素を含むことができる。いくつかの実施形態において、画像取得ユニット１２０は、画像キャプチャデバイス１２２、画像キャプチャデバイス１２４、及び画像キャプチャデバイス１２６等の１又は複数の画像キャプチャデバイス（例えば、カメラ）を含むことができる。また、システム１００は、処理デバイス１１０を画像捕捉デバイス１２０に通信可能に接続するデーターインターフェイス１２８を含むことができる。例えば、データーインターフェース１２８は、画像捕捉デバイス１２０によって取得された画像データを処理ユニット１１０に送信ための任意の有線及び／又は無線のリンク又は複数のリンクを含むことができる。
【0058】
無線送受信機１７２は、無線周波数、赤外線周波数、磁場、又は電場を使用することによって、エアーインターフェースを通じて１又は複数のネットワーク（例えば、セルラー、インターネット等）に伝送交換するように構成された１又は複数のデバイスを含んでもよい。無線送受信機１７２は、データを送信及び／又は受信するために任意の知られた標準を使用することができる（例えば、Ｗｉ－Ｆｉ、ブルートゥース（登録商標）、ブルートゥーススマート、８０２．１５．４、ジグビー等）。そのような伝送は、ホスト車両から１又は複数の遠隔配置サーバへの通信を含むことができる。また、そのような伝送は、ホスト車両（例えば、ホスト車両の環境内の対象車両を考慮して、又は対象車両とともにホスト車両のナビゲーションの連携を容易にするため）の環境において、ホスト車両と１又は複数の対象車両との通信（一方向又は双方向）、あるいは、送信車両の近くにおいて、不特定の受信者へのブロードキャスト送信を含むことができる。
【0059】
アプリケーションプロセッサ１８０及びイメージプロセッサ１９０の両方は、様々な種類の処理デバイスを含むことができる。例えば、アプリケーションプロセッサ１８０及びイメージプロセッサ１９０の何れか又は両方は、マイクロプロセッサ、プリプロセッサ（画像プリプロセッサ等）、グラフィック処理装置（ＧＰＵ）、中央処理装置（ＣＰＵ）、サポート回路、デジタルシグナルプロセッサ、集積回路、メモリ、又はアプリケーションの動作に適し、画像処理及び画像解析に適した任意の他の種類のデバイスを含むことができる。いくつかの実施形態において、アプリケーションプロセッサ１８０及び／又はイメージプロセッサ１９０は、任意の種類のシングル又はマルチコアプロセッサ、モバイルデバイス、マイクロコントローラー、中央処理装置等を含むことができる。様々な処理デバイスは、例えば、インテル（登録商標）、ＡＭＤ（登録商標）等の製造業者から入手可能なプロセッサ、又はＮＶＩＤＩＡ（登録商標）、ＡＴＩ（登録商標）等のような製造業者から入手可能なＧＰＵ等を含み、使用されることができ、様々なアーキテクチャ（例えば、ｘ８６プロセッサー、ＡＲＭ（登録商標）等）を含むことができる。
【0060】
いくつかの実施形態において、アプリケーションプロセッサ１８０及び／又はイメージプロセッサ１９０は、Ｍｏｂｉｌｅｙｅ（登録商標）から入手可能な任意のＥｙｅＱシリーズのプロセッサチップを含むことができる。これらプロセッサ設計は、それぞれ、ローカルメモリ及び命令セットを有する複数の処理ユニットを含む。そのようなプロセッサは、複数のイメージセンサーから画像データを受信するためのビデオ入力を含むことができ、また、ビデオ出力機能を含むことができる。一例において、ＥｙｅＱ２（登録商標）は、３３２Ｍｈｚで動作する９０ｎｍ－ミクロン技術を使用する。ＥｙｅＱ２（登録商標）アーキテクチャは、２つの浮動小数点、ハイパースレッド３２－ビットＲＩＳＣ ＣＰＵ（ＭＩＰＳ３２（登録商標） ３４Ｋ（登録商標） コア）、５つのＶｉｓｉｏｎ－Ｃｏｍｐｕｔｉｎｇ－Ｅｎｇｉｎｅｓ（ＶＣＥ）、３つのＶｅｃｔｏｒ－Ｍｉｃｒｏｃｏｄｅ Ｐｒｏｃｅｓｓｏｒ（ＶＭＰ（登録商標））、Ｄｅｎａｌｉ－６４ビットモバイルＤＤＲコントローラーで構成されています、１２８－ビットの内部Ｓｏｎｉｃｓ－Ｉｎｔｅｒｃｏｎｎｅｃｔ、１６ビットのデュアルビデオ入力及び１８ビットのビデオ出力コントローラー、１６チャネルＤＭＡ、及びいくつかの周辺機器から成る。ＭＩＰＳ３４Ｋ ＣＰＵは、他の周辺機器と同様に、５つのＶＣＥ、３つのＶＭＰ及びＤＭＡ、第２ＭＩＰＳ３４Ｋ ＣＰＵ及びマルチチャネルＤＭＡを管理する。５つのＶＣＥ、３つのＶＭＰ（登録商標）、及びＭＩＰＳ３４Ｋ ＣＰＵは、多機能バンドルアプリケーションによって、必要な集中的なビジョン計算を実行することができる。他の例では、第３世代プロセッサであり、ＥｙｅＱ２（登録商標）よりも６倍強力なＥｙｅＱ３（登録商標）は、開示される実施形態において使用され得る。他の例では、ＥｙｅＱ４（登録商標）及び／又はＥｙｅＱ５（登録商標）は、開示される実施形態において使用され得る。また、言うまでもなく、開示される実施形態とともに、任意の最新又は将来のＥｙｅＱ処理デバイスは、使用され得る。
【0061】
本明細書に開示される何れの処理デバイスも、特定の機能を実行するように構成され得る。何れかの説明されたＥｙｅＱプロセッサ又は他のコントローラ又はマイクロプロセッサのような処理デバイスを特定の機能を実行するように構成することは、コンピューター実行可能命令のプログラミングと、処理デバイスの動作中に、実行のためにそれらの命令を処理デバイスで利用可能にすることが含まれ得る。いくつかの実施形態において、処理デバイスを構成することは、アーキテクチャ命令で処理デバイスを直接的にプログラミングすることを含んでもよい。例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡｓ）、特定用途向け集積回路（ＡＳＩＣｓ）等のような処理デバイスは、例えば、１又は複数のハードウェア記述言語（ＨＤＬｓ）を使用して構成され得る。
【0062】
他の実施形態において、処理デバイスを構成することは、動作中に処理デバイスにアクセス可能なメモリに、実行可能な命令を格納することを含んでもよい。例えば、処理デバイスは、動作中に格納された命令を取得及び実行するために、メモリにアクセスすることができる。どちらの場合にも、本明細書で開示される検知、画像解析、及び／又はナビゲーション機能を実行するように構成された処理デバイスは、ホスト車両の複数のハードウェアベースのコンポーネントの制御における特化したハードウェアベースのシステムを表す。
【0063】
図１は、処理ユニット１１０に含まれる２つの別個の処理デバイスを示しているが、より多く又はより少ない処理デバイスが用いられてもよい。例えば、いくつかの実施形態において、単一処理デバイスは、アプリケーションプロセッサ１８０及びイメージプロセッサ１９０のタスクを達成するために使用されてもよい。他の実施形態において、これらタスクは、２以上の処理デバイスによって実行されてもよい。さらに、いくつかの実施形態において、システム１００は、画像取得ユニット１２０のような他のコンポーネントを含まない処理ユニット１１０の１又は複数を含んでもよい。
【0064】
処理ユニット１１０は、様々な種類のデバイスを備えることができる。例えば、処理ユニット１１０は、コントローラ、画像プリプロセッサ、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、サポート回路、デジタルシグナルプロセッサ、集積回路、メモリ、又は任意の他の種類の画像処理及び画像解析用デバイス等の様々なデバイスを含むことができる。画像プリプロセッサは、イメージセンサからの画像を、キャプチャ、デジタル化、及び処理するためビデオプロセッサを含むことができる。ＣＰＵは、任意の数のマイクロコントローラー又はマイクロプロセッサを備えることができる。また、ＧＰＵは、任意の数のマイクロコントローラー又はマイクロプロセッサを備えることができる。サポート回路は、キャッシュメモリ、電力供給、クロック、及び入力－出力回路を含む、この技術分野で一般的によく知られている任意の数の回路でもよい。メモリは、プロセッサによる実行時に、システムの動作を制御するソフトウェアを格納することができる。メモリは、データベース及び画像処理ソフトウェアを含むことができる。メモリは、任意の数のＲＡＭ、ＲＯＭ、フラッシュメモリ、ディスクドライブ、光記憶装置、テープストレージ、リムーバブルストレージ、及び他の種類の記憶装置を備えることができる。一例として、メモリは、処理ユニット１１０から分離されていてもよい。他の例として、メモリは、処理ユニット１１０に統合されていてもよい。
【0065】
各メモリ１４０、１５０は、プロセッサ（例えば、アプリケーションプロセッサ１８０及び／又はイメージプロセッサ１９０）による実行時に、様々な態様のシステム１００の動作を制御することができるソフトウェア命令を含んでもよい。これらメモリユニットは、例えば、ニューラルネットワーク又はニューラルネットワークのような訓練されたシステムだけでなく、様々なデータベース及び画像処理ソフトウェアも含むことができる。メモリユニットは、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、フラッシュメモリ、ディスクドライブ、光記憶装置、テープストレージ、リムーバブルストレージ、及び／又は任意の他の種類の記憶装置を含むことができる。いくつかの実施形態において、メモリユニット１４０、１５０は、アプリケーションプロセッサ１８０及び／又はイメージプロセッサ１９０から分離されていてもよい。他の実施形態において、これらのメモリユニットは、アプリケーションプロセッサ１８０及び／又はイメージプロセッサ１９０に統合されていてもよい。
【0066】
位置センサー１３０は、システム１００の少なくとも１つの構成要素と関連する位置を決定するのに適した任意の種類のデバイスを含むことができる。いくつかの実施形態において、位置センサー１３０は、ＧＰＳ受信機を含むことができる。そのような受信器は、グローバルポジショニングシステム衛星によってブロードキャストされた信号を処理することによって、ユーザの位置及び速度を決定することができる。位置センサー１３０からの位置情報は、アプリケーションプロセッサ１８０及び／又はイメージプロセッサ１９０で利用できるようにされてもよい。
【0067】
いくつかの実施形態において、システム１００は、車両２００の速度を測定するための速度センサ（例えば、回転速度計、速度計等）、及び／又は車両２００の加速度を測定するための加速度計（単一軸又は複数軸何れか）のような構成要素を含むことができる。
【0068】
ユーザーインターフェース１７０は、システム１００の１又は複数のユーザへの情報の提供、又は１又は複数のユーザからの入力の受信に適した任意のデバイスを含むことができる。いくつかの実施形態において、ユーザーインターフェース１７０は、例えば、タッチスクリーン、マイク、キーボード、ポインタデバイス、トラックホイール、カメラ、つまみ、ボタン等を含むユーザ入力デバイスを含むことができる。そのような入力デバイスを使用して、ユーザは、命令又は情報をタイピングすることによって、音声コマンドを提供することによって、ボタン、ポインタ、又は視線追跡機能を用いてスクリーン上のメニューオプションを選択することによって、又はシステム１００への情報通信のための任意の他の適切な技術を通して、情報入力又はコマンドをシステム１００に提供することができる。
【0069】
ユーザーインターフェース１７０は、ユーザーとの間で情報を提供及び受信するように構成され、例えば、アプリケーションプロセッサ１８０による使用のための情報を処理するように構成された１又は複数の処理デバイスに搭載されてもよい。いくつかの実施形態において、そのような処理デバイスは、目の動きの認識及び追跡、音声コマンドの受信及び解釈、タッチスクリーンでなされたタッチ及び／又はジェスチャーの認識及び解釈、キーボード入力又はメニュー選択に対する応答等のための命令を実行することができる。いくつかの実施形態において、ユーザーインターフェース１７０は、ディスプレイ、スピーカー、触覚デバイス、及び／又は、出力情報をユーザに提供するための任意の他のデバイスを含んでもよい。
【0070】
地図データベース１６０は、システム１００において有用な地図データを格納するために、任意の種類のデータベースを含むことができる。いくつかの実施形態において、地図データベース１６０は、道路を含み、水域的特徴、地理的特徴、ビジネス、興味を起こさせるポイント、レストラン、給油所等、様々なアイテムの、基準座標系における位置に関するデータを含んでもよい。地図データベース１６０は、そのようなアイテムの位置だけでなく、例えば、格納される特徴の何れかと関連する名前を含むアイテムに関する記述子もまた格納することができる。いくつかの実施形態において、地図データベース１６０は、システム１００の他のコンポーネントと共に物理的に配置されてもよい。代替的又は追加的に、地図データベース１６０又はそれらの部分は、システム１００の他のコンポーネントに対して遠隔的に配置されてもよい（例えば、処理ユニット１１０）。そのような実施形態において、地図データベース１６０からの情報は、有線又は無線データ接続ネットワーク（例えば、セルラーネットワーク及び／又はインターネット等を介して）を介してダウンロードできる。いくつかの場合において、地図データベース１６０は、特定の道路特徴（例えば、車線表示）又はホスト車両のターゲット軌跡の多項式表現を含む点在するデータモデルを格納することができる。そのような地図を生成するシステム及び方法は、図８～図１９を参照して、以下に述べる。
【0071】
画像キャプチャデバイス１２２、１２４及び１２６は、環境からの少なくとも１つの画像を撮像するのに適した任意の種類のデバイスをそれぞれ含んでもよい。さらに、任意の数の画像キャプチャデバイスは、イメージプロセッサへ入力用の画像を捕捉するために使用されることができる。ある実施形態は、単一画像キャプチャデバイスのみを含むことができ、しかし一方、他の実施形態は、２つ、３つ、あるいは４つ、又はそれより多くの画像キャプチャデバイスを含むことができる。さらに、画像キャプチャデバイス１２２、１２４及び１２６は、図２Ｂ～図２Ｅを参照して以下に説明される。
【0072】
システム１００、又はそれらの様々なコンポーネントは、様々な異なるプラットフォームに組み込れてもよい。いくつかの実施形態において、システム１００は、図２Ａに示されるように、車両２００に含まれてもよい。例えば、車両２００は、図１に関し上述したように、処理ユニット１１０及びシステム１００の任意の他のコンポーネントを装備することができる。 いくつかの実施形態において、車両２００は、単一画像キャプチャデバイス（例えば、カメラ）のみを搭載することができるが、図２Ｂ～図２Ｅに関連して述べられたそれらのような他の実施形態において、複数の画像キャプチャデバイスが用いられてもよい。例えば、図２Ａに示されるように車両２００の画像キャプチャデバイス１２２及び１２４の何れかは、ＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍｓ、高度運転者支援システム）撮像セットの一部でもよい。
【0073】
画像取得ユニット１２０の一部として車両２００に含まれた画像キャプチャデバイスは、任意の好適な位置に配置されていてもよい。図２Ａ～図２Ｅ及び図３Ａ～図３Ｃに示されるように、いくつかの実施形態において、画像キャプチャデバイス１２２は、バックミラーの近くに配置されてもよい。この位置は、運転者に見えるもの及び見えないものを決定することを支援できる車両２００の運転者の視界に類似する視線を提供してもよい。画像キャプチャデバイス１２２は、バックミラーの近くの任意の位置に配置されてもよいが、ミラーの運転者側に画像キャプチャデバイス１２２を配置することは、さらに、運転者の視野及び／又は視線を表す画像の取得を支援することができる。
【0074】
また、画像取得ユニット１２０の画像キャプチャデバイスのための他の場所が、使用されてもよい。例えば、画像キャプチャデバイス１２４は、車両２００のバンパーの上又は内部に配置されてもよい。そのような位置は、広い視野を有する画像キャプチャデバイスに、特に適していてもよい。バンパーに配置された画像キャプチャデバイスの視線は、運転者の視線と異なることができ、従って、バンパー画像キャプチャデバイス及び運転者は、常に同じ対象物を見ないかもしれない。また、画像キャプチャデバイス（例えば、画像キャプチャデバイス１２２、１２４及び１２６）は、他の場所に配置されてもよい。例えば、画像キャプチャデバイスは、車両２００の１つ又は両方のサイドミラー上又は内部に、車両２００のルーフ上に、車両２００のボンネットに、車両２００のトランクに、車両２００の側部に、配置され、車両２００の任意のウィンドウに取り付けられ、の背後に配置され又は前面に配置され、車両２００の正面及び／又は背面のライト外観に又はの近く等に取り付けられてもよい。
【0075】
画像キャプチャデバイスに加えて、車両２００は、システム１００の様々な他のコンポーネントを含むことができる。例えば、処理ユニット１１０は、車両のエンジン制御ユニット（ＥＣＵ）と統合され又は分離されて、車両２００に含まれていてもよい。また、車両２００は、ＧＰＳ受信機等の位置センサー１３０を搭載してもよく、また、地図データベース１６０及びメモリユニット１４０及び１５０を含んでもよい。
【0076】
先に述べたように、無線送受信機１７２は、１又は複数のネットワーク（例えば、セルラーネットワーク、インターネット等）を介してデータを、送信及び／又は受信してもよい。例えば、無線送受信機１７２は、システム１００によって収集されたデータを１又は複数のサーバにアップロードしてもよく、１又は複数のサーバからデータをダウンロードしてもよい。無線送受信機１７２を介して、システム１００は、例えば、地図データベース１６０、メモリ１４０、及び／又はメモリ１５０に格納されたデータに対する定期的な又は必要に応じたアップデート情報を受信してもよい。類似して、無線送受信機１７２は、任意のデータ（例えば、画像取得ユニット１２０によってキャプチャされた画像、位置センサー１３０又は他のセンサによって受信されたデータ、車両制御システム等）を、システム１００によって及び／又は処理ユニット１１０によって処理された任意のデータから、１又は複数のサーバにアップロードできる。
【0077】
システム１００は、プライバシーレベル設定に基づいて、サーバに（例えばクラウドに）データをアップロードしてもよい。例えば、システム１００は、車両、及び／又は車両の運転者／所有者を一意に識別可能なサーバに送信されるデータ（メタデータを含む）のタイプを調節又は制限するために、プライバシーレベル設定を実装することができる。そのような設定は、例えば無線送受信機１７２を介してユーザによって設定されてもよく、工場出荷時のデフォルト設定、又は無線送受信機１７２によって受信したデータによって、初期化され得る。
【0078】
いくつかの実施形態において、システム１００は、プライバシーレベル「高」に従って、設定された設定の下でデータをアップロードでき、システム１００は、特定の車両、及び／又は運転者／所有者について詳細がないデータ（例えば、ルートに関する位置情報、キャプチャされた複数の画像、等）を送信することができる。例えば、プライバシー設定「高」に従ってデータをアップロードする場合、システム１００は、車両識別番号（ＶＩＮ）、又は車両の運転者又所有者の名前を含まなくてもよく、代わりに、キャプチャされた複数の画像及び／又はルートに関する制限された位置情報等のデータを送信してもよい。
【0079】
他のプライバシーレベルが考慮される。例えば、システム１００は、プライバシーレベル「中」に従ってサーバにデータを送信でき、プライバシーレベル「高」のもとでは含まれない、車両のメーカー及び／又はモデル、及び／又は車両タイプ等の（例えば、乗用車、スポーツ用多目的車、トラック等）追加情報を含むことができる。いくつかの実施形態において、システム１００は、プライバシーレベル「低」に従ってデータをアップロードできる。プライバシーレベル設定「低」に従って、システム１００は、データをアップロードすることができ、特定の車両、所有者／運転者、及び／又は、車両が移動するルートの一部又は全部を、一意に識別するための十分な情報を含むことができる。そのようなプライバシーレベル「低」のデータは、例えば、ＶＩＮ、運転者／所有者の名前、出発前の車両の起点、車両の目的地、車両のメーカー及び／又はモデル、車両のタイプ等の１又は複数を含んでもよい。
【0080】
図２Ａは、開示される実施形態と一致する例示的な車両撮像システムの概略側面図である。図２Ｂは、図２Ａに示される実施形態の概略平面図である。図２Ｂに示されるように、開示される実施形態は、車両２００のバックミラー及び／又は運転者の近くに配置された第１の画像キャプチャデバイス１２２と、車両２００のバンパー領域（例えば、バンパー領域２１０の１つ）又は内部に配置された第２の画像キャプチャデバイス１２４と、処理ユニット１１０とを備えたシステム１００をその本体に含む車両２００を含んでもよい。
【0081】
図２Ｃに示されるように、画像キャプチャデバイス１２２及び１２４は、両方とも、バックミラーの近くに、及び／又は車両２００の運転者の近くに配置されてもよい。さらに、２つの画像キャプチャデバイス１２２及び１２４が、図２Ｂ及び図２Ｃに示されているが、他の実施形態において、２より多くの画像キャプチャデバイスを含んでもよいことが理解されるべきである。例えば、図２Ｄ及び図２Ｅに示される実施形態において、第１、第２及び第３の画像キャプチャデバイス１２２、１２４及び１２６は、車両２００のシステム１００に含まれる。
【0082】
図２Ｄに示されるように、画像キャプチャデバイス１２２は、バックミラーの近くに、及び／又は車両２００の運転者の近くに配置されていてもよく、画像キャプチャデバイス１２４及び１２６は、車両２００のバンパー領域（例えば、バンパー領域２１０の１つ）又は内部に配置されていてもよい。そして、図２Ｅに示されるように、画像キャプチャデバイス１２２、１２４及び１２６は、バックミラーの近くに、及び／又は、車両２００の運転者シートの近くに配置されてもよい。開示される実施形態は、画像キャプチャデバイスの任意の特定の数及び構成に限定されず、画像キャプチャデバイスは、車両２００の内部及び／又は車両２００上の任意の適当な位置に配置されてもよい。
【0083】
開示される実施形態は車両に限定されず、他の状況で適用され得ることを理解されたい。 また、開示される実施形態は特定のタイプの車両２００に限定されず、自動車、トラック、トレーラ及び他の種類の車両を含む全ての種類の車両に適用可能でもよいことを理解されたい。
【0084】
第１の画像キャプチャデバイス１２２は、任意の好適なタイプの画像キャプチャデバイスを含むことができる。画像キャプチャデバイス１２２は、光軸を含むことができる。一例として、画像キャプチャデバイス１２２は、グローバルシャッター付きのAptina M9V024 WVGAセンサーを含むことができる。他の実施形態において、画像キャプチャデバイス１２２は、1280x960ピクセルの解像度を提供することができ、ローリングシャッタを含むことができる。画像キャプチャデバイス１２２は、様々な光学素子を含むことができる。いくつかの実施形態において、１又は複数のレンズは、例えば、画像キャプチャデバイスのための所望の焦点長さ及び視野を提供するように含まれてもよい。いくつかの実施形態において、画像キャプチャデバイス１２２は、６ｍｍレンズ又は１２ｍｍレンズに関連づけられることができる。いくつかの実施形態において、画像キャプチャデバイス１２２は、図２Ｄに示されるように、所望の視野（ＦＯＶ）２０２を有する画像をキャプチャするように構成されていてもよい。例えば、画像キャプチャデバイス１２２は、４６度のＦＯＶ、５０度のＦＯＶ、５２度のＦＯＶ、又はそれより大きいものを含む４０度から５６度までの範囲内等の規則的なＦＯＶを有するように構成されていてもよい。代替的に、画像キャプチャデバイス１２２は、２８度のＦＯＶ又は３６度のＦＯＶ等の２３度から４０度までの範囲の狭い視野を有するように構成されていてもよい。加えて、画像キャプチャデバイス１２２は、１００度から１８０度までの範囲の広い視野を有するように構成されていてもよい。いくつかの実施形態において、画像キャプチャデバイス１２２は、広角のバンパーカメラ又は最大１８０度のＦＯＶのものを含むことができる。いくつかの実施形態において、画像キャプチャデバイス１２２は、約１００度の水平ＦＯＶで、アスペクト比が約２：１であり、７．２Ｍピクセルの画像キャプチャデバイスでもよい（例えば、ＨｘＶ＝３８００ｘ１９００ピクセル）。そのような画像キャプチャデバイスは、３つの画像キャプチャデバイス構成の代わりに用いられてもよい。著しいレンズ歪みに起因して、そのような画像キャプチャデバイスの垂直ＦＯＶは、画像キャプチャデバイスが放射対称性レンズを使用する実装において、５０度より大幅に小さくてもよい。例えば、そのようなレンズは、１００度の水平ＦＯＶで５０度より大きい垂直ＦＯＶを許容するであろう放射対称性ではなくてもよい。
【0085】
第１の画像キャプチャデバイス１２２は、車両２００に関連するシーンに関する複数の第１の画像を捕捉できる。複数の第１の画像のそれぞれは、ローリングシャッタを用いてキャプチャされ得る一連の画像スキャンラインとして捕捉されてもよい。各スキャンラインは、複数のピクセルを含むことができる。
【0086】
第１の画像キャプチャデバイス１２２は、第１の一連の画像スキャンラインのそれぞれの取得と関連するスキャンレートを有することができる。スキャンレートは、特定のスキャンラインに含まれる各ピクセルに関連する画像データをイメージセンサが捕捉することができる速度を指してもよい。
【0087】
画像キャプチャデバイス１２２、１２４及び１２６は、例えば、ＣＣＤセンサ又はＣＭＯＳセンサを含む任意の好適なタイプ及び数のイメージセンサを含むことができる。一実施形態において、ＣＭＯＳイメージセンサは、一列の各ピクセルが同時に読み込まれるように、列のスキャニングは、画像フレーム全体がキャプチャされるまで列ごとに進行するように、ローリングシャッタと連動して使用されてもよい。いくつかの実施形態において、列は、フレームに対して上から下まで順次キャプチャされてもよい。
【0088】
いくつかの実施形態において、本明細書に開示される画像キャプチャデバイス（例えば、画像キャプチャデバイス１２２、１２４及び１２６）の１又は複数は、高解像度を構成するものでもよく、５Ｍピクセル、７Ｍピクセル、１０Ｍピクセルより大きく、又はより大きい解像度を有してもよい。
【0089】
ローリングシャッタの使用は、異なる時間で露光されキャプチャされた異なる列内のピクセルをもたらす可能性があり、キャプチャされた画像フレームにスキュー及び他の画像アーチファクトを発生させるかもしれない。一方、グローバルシャッター又は同期シャッターで動作するように構成された画像キャプチャデバイス１２２の場合、全てのピクセルは、同じ時間の長さの間、共通の露光時間中に露光されてもよい。結果として、グローバルシャッタを採用するシステムから収集されたフレーム内の画像データは、特定の時間のＦＯＶ全体（ＦＯＶ２０２等）のスナップショットを表現する。その一方、ローリングシャッタの適用において、フレーム内の各列は露光され、データは異なる時間にキャプチャされる。したがって、移動する対象物は、ローリングシャッタを有する画像キャプチャデバイスにおいて歪んで見えるかもしれない。この現象は、以下でより詳細に説明される。
【0090】
第２の画像キャプチャデバイス１２４及び第３の画像キャプチャデバイス１２６、任意の種類の画像キャプチャデバイスでもよい。同様に、第１の画像キャプチャデバイス１２２、画像キャプチャデバイス１２４及び１２６のそれぞれは、光軸を含んでもよい。一実施形態において、それぞれの画像キャプチャデバイス１２４及び１２６は、グローバルシャッターを有するAptina M9V024 WVGAセンサーを含むことができる。代替的に、それぞれの画像キャプチャデバイス１２４及び１２６は、ローリングシャッターを含んでもよい。同様に、画像キャプチャデバイス１２２、画像キャプチャデバイス１２４及び１２６は、様々なレンズ及び光学素子を含むように構成されていてもよい。いくつかの実施形態において、画像キャプチャデバイス１２４及び１２６に関連するレンズは、画像キャプチャデバイス１２２に関連するＦＯＶ（ＦＯＶ２０２等）と同じ又はより狭いＦＯＶ（ＦＯＶ２０４及び２０６等）を提供することができる。例えば、画像キャプチャデバイス１２４及び１２６は、４０度、３０度、２６度、２３度、２０度、又はより小さいＦＯＶを有することができる。
【0091】
画像キャプチャデバイス１２４及び１２６は、車両２００に関連するシーンに関する複数の第２及び第３の画像を捕捉することができる。複数の第２の画像及び第３の画像のそれぞれは、ローリングシャッタを使用してキャプチャされ得る画像スキャンラインの第２のシリーズ及び第３のシリーズとして取得できる。各スキャンライン又は列は、複数のピクセルを有してもよい。画像キャプチャデバイス１２４及び１２６は、第２のシリーズ及び第３のシリーズに含まれる各画像スキャンラインの取得に関連する第２のスキャンレート及び第３のスキャンレートを有することができる。
【0092】
各画像キャプチャデバイス１２２、１２４及び１２６は、車両２００に対して任意の適切な位置及び向きに配置されていてもよい。画像キャプチャデバイス１２２、１２４、及び１２６の相対的な配置は、画像キャプチャデバイスから取得された情報をともに融合するのを支援するために選択されてもよい。例えば、いくつかの実施形態において、画像キャプチャデバイス１２４に関連するＦＯＶ（ＦＯＶ２０４等）は、画像キャプチャデバイス１２２に関連するＦＯＶ（ＦＯＶ２０２等）及び画像キャプチャデバイス１２６に関連するＦＯＶ（ＦＯＶ２０６等）と部分的又は完全に重なり得る。
【0093】
画像キャプチャデバイス１２２、１２４及び１２６は、任意の好適な相対的な高さで車両２００に配置されていてもよい。一例として、ステレオ分析可能な十分な視差情報を提供できる画像キャプチャデバイス１２２、１２４及び１２６間の高さの差があってもよい。例えば、図２Ａに示されるように、２つの画像キャプチャデバイス１２２及び１２４は異なる高さである。また、例えば、処理ユニット１１０によるステレオ分析のための追加の視差情報を与える画像キャプチャデバイス１２２、１２４及び１２６間の横方向の位置の差があってもよい。図２Ｃ及び図２Ｄに示されるように、横方向の位置の差は、ｄｘで示すことができる。いくつかの実施形態において、前後のずれ（例えば、ずれ範囲）は、画像キャプチャデバイス１２２、１２４及び１２６間に存在してもよい。例えば、画像キャプチャデバイス１２２は、画像キャプチャデバイス１２４及び／又は画像キャプチャデバイス１２６の後方、０．５メートルから２メートル又はそれ以上に配置されていてもよい。このタイプのずれは、画像キャプチャデバイスの１つが、他の画像キャプチャデバイスの潜在的な死角をカバーを可能にするかもしれない。
【0094】
画像キャプチャデバイス１２２は、任意の好適な解像度機能（例えば、イメージセンサに関連するピクセルの数）を有してもよく、画像キャプチャデバイス１２２に関連するイメージセンサの解像度は、画像キャプチャデバイス１２４及び１２６に関連するイメージセンサの解像度より高くてもよく、より低くてもよく、同じでもよい。いくつかの実施形態において、画像キャプチャデバイス１２２及び／又は画像キャプチャデバイス１２４及び１２６に関連するイメージセンサは、６４０ｘ４８０、１０２４ｘ７６８、１２８０ｘ９６０の解像度、又は任意の他の適切な解像度を有してもよい。
【0095】
フレームレート（例えば、画像キャプチャデバイスが次の画像フレームに関連するピクセルデータをキャプチャするために、移動前に１つの画像フレームのピクセルデータのセットを捕捉するレート）は、制御可能でもよい。画像キャプチャデバイス１２２に関連するフレームレートは、画像キャプチャデバイス１２４及び１２６に関連するフレームレートより高くてもよく、より低くてもよく、同じでもよい。画像キャプチャデバイス１２２、１２４及び１２６に関連するフレームレートは、フレームレートのタイミングに影響を与えるかもしれない様々な要因に依存するかもしれない。例えば、画像キャプチャデバイス１２２、１２４及び１２６の１又は複数は、画像キャプチャデバイス１２２、１２４及び／又は１２６内のイメージセンサの１又は複数のピクセルに関連する画像データの取得前又は取得後に課される選択可能なピクセル遅延時間を含むことができる。概して、各ピクセルに対応する画像データは、デバイス（例えば、クロックサイクルにつき１ピクセル）のためのクロックレートに従って取得することができる。さらに、ローリングシャッタを含む実施形態において、画像キャプチャデバイス１２２、１２４及び１２６の１又は複数は、画像キャプチャデバイス１２２、１２４及び／又は１２６内のイメージセンサの１列のピクセルに関連する画像データの取得前又は取得後に課される選択可能な水平方向のブランキング期間を含むことができる。さらに、画像キャプチャデバイス１２２、１２４及び／又は１２６の１又は複数は、画像キャプチャデバイス１２２、１２４及び／又は１２６の画像フレームに関連する画像データの取得前又は取得後に課される選択可能な垂直方向のブランキング期間を含むことができる。
【0096】
これらのタイミング制御は、それぞれのラインスキャンレートが異なる場合でも、画像キャプチャデバイス１２２、１２４及び１２６に関連するフレームレートの同期を可能にし得る。さらに、以下でより詳細に説明するように、これらの選択可能なタイミング制御は、他の要因間で（例えば、イメージセンサ解像度、最大ラインスキャンレート等）、画像キャプチャデバイス１２２の視野が画像キャプチャデバイス１２４及び１２６のＦＯＶと異なる場合でも、画像キャプチャデバイス１２２のＦＯＶが画像キャプチャデバイス１２４及び１２６の１又は複数のＦＯＶと重なるエリアから画像キャプチャの同期を可能としてもよい。
【0097】
画像キャプチャデバイス１２２、１２４及び１２６におけるフレームレートタイミングは、イメージセンサに関連する解像度に依存してもよい。例えば、両方のデバイスで類似のラインスキャンレートを想定することは、１つのデバイスが、６４０ｘ４８０の解像度を有するイメージセンサを含み、他のデバイスが１２８０ｘ９６０の解像度を有するイメージセンサを含むとすると、そのとき、より高い解像度を有するセンサーから画像データのフレームを捕捉するためにより多くの時間が必要になる。
【0098】
画像キャプチャデバイス１２２、１２４および１２６において、画像データ取得のタイミングに影響を与えるかもしれたない他の要因は、最大ラインスキャンレートである。例えば、画像キャプチャデバイス１２２、１２４および１２６に含まれるイメージセンサからの画像データの列の取得には、ある最小時間長さが必要になる。追加されるピクセル遅延時間がないと仮定すると、画像データの列の取得のためのこの最小時間長さは、特定のデバイスのための最大ラインスキャンレートに関係するであろう。より高い最大ラインスキャンレートを提供するデバイスは、より低い最大ラインスキャンレートをともなうデバイスより高いフレームレートを提供するポテンシャルを有する。いくつかの実施形態において、画像キャプチャデバイス１２４および１２６の１又は複数は、画像キャプチャデバイス１２２に関連する最大ラインスキャンレートより高い最大ラインスキャンレートを有することができる。いくつかの実施形態において、画像キャプチャデバイス１２４及び／又は１２６の最大ラインスキャンレートは、画像キャプチャデバイス１２２の最大ラインスキャンレートの１．２５倍、１．５倍、１．７５倍、又は２倍又はそれより多くてもよい。
【0099】
別の実施形態において、画像キャプチャデバイス１２２、１２４および１２６は、同じ最大ラインスキャンレートでもよく、しかし、画像キャプチャデバイス１２２は、その最大スキャンレート未満又は等しいスキャンレートで運転されてもよい。システムは、画像キャプチャデバイス１２２のラインスキャンレートと等しいラインスキャンレートで、画像キャプチャデバイス１２４および１２６の１又は複数を運転するように構成されてもよい。他の例において、システムは、画像キャプチャデバイス１２４及び／又は画像キャプチャデバイス１２６のラインスキャンレートが、画像キャプチャデバイス１２２のラインスキャンレートの１．２５倍、１．５倍、１．７５倍、又は２倍又はそれより多くてもよいように構成され得る。
【0100】
いくつかの実施形態において、画像キャプチャデバイス１２２、１２４および１２６は非対称的でもよい。つまり、それらは、異なる視野（ＦＯＶ）及び焦点長を有するカメラを含んでもよい。画像キャプチャデバイス１２２、１２４および１２６の視野は、例えば車両２００の環境に関する任意の所望のエリアを含むことができる。いくつかの実施形態において、画像キャプチャデバイス１２２、１２４および１２６の１又は複数は、車両２００の前方、車両２００の後方、車両２００の側方、又はそれらの組み合わせの環境から画像データを捕捉するように構成され得る。
【0101】
さらに、各画像キャプチャデバイス１２２、１２４及び／又は１２６に関連する焦点長は、各デバイスが車両２００に対して所望の距離範囲で対象物の画像を捕捉するように選択可能でもよい（例えば、適切なレンズ等を含むことによって）。例えば、いくつかの実施形態において、画像キャプチャデバイス１２２、１２４および１２６は、車両から数メートルの範囲内でクローズアップ対象物の画像を捕捉してもよい。また、画像キャプチャデバイス１２２、１２４および１２６は、車両からより遠い範囲（例えば、２５ｍ、５０ｍ、１００ｍ、１５０ｍ、又はそれ以上）で対象物の画像を捕捉するように構成されていてもよい。さらに、画像キャプチャデバイス１２２、１２４および１２６の焦点長は、１つの画像キャプチャデバイス（例えば、画像キャプチャデバイス１２２）が車両に比較的近い（例えば、１０ｍの範囲、又は２０ｍの範囲）対象物の画像を捕捉できるように、一方、他の画像キャプチャデバイス（例えば、画像キャプチャデバイス１２４および１２６）は、車両２００からより遠い（例えば、２０ｍ、５０ｍ、１００ｍ、１５０ｍより大きい、等）対象物の画像を捕捉できるように、選択されてもよい。
【0102】
いくつかの実施形態によれば、１又は複数の画像キャプチャデバイス１２２、１２４および１２６のＦＯＶは、広角を有することができる。例えば、特に、車両２００の近くのエリアの画像をキャプチャするために使用され得る画像キャプチャデバイス１２２、１２４および１２６については、１４０度のＦＯＶを有することが有利であるかもしれない。例えば、画像キャプチャデバイス１２２は、車両２００の右又は左のエリアの画像をキャプチャするために使用されてもよく、そのような実施形態において、画像キャプチャデバイス１２２が広い視野（例えば、少なくとも１４０度）を有することが望ましいかもしれない。
【0103】
各画像キャプチャデバイス１２２、１２４および１２６に関連する視野は、それぞれの焦点長に依存していてもよい。例えば、焦点長が増えると、対応する視野が減る。
【0104】
画像キャプチャデバイス１２２、１２４および１２６は、任意の好適な視野を有するように構成されていてもよい。ある特定の例において、画像キャプチャデバイス１２２は、４６度の水平ＦＯＶを有してもよく、画像キャプチャデバイス１２４は、２３度の水平ＦＯＶを有してもよく、画像キャプチャデバイス１２６は、２３度と４６度との間の水平ＦＯＶを有してもよい。他の例としては、５２度の水平ＦＯＶを有してもよく、画像キャプチャデバイス１２４は、２６度の水平ＦＯＶを有してもよく、画像キャプチャデバイス１２６は、２６度と５２度との間の水平ＦＯＶを有してもよい。いくつかの実施形態において、画像キャプチャデバイス１２２のＦＯＶと、画像キャプチャデバイス１２４及び／又は画像キャプチャデバイス１２６のＦＯＶとの比は、１．５から２．０まで変化し得る。他の実施形態において、この比は、１．２５と２．２５との間で変化し得る。
【0105】
システム１００は、画像キャプチャデバイス１２２の視野が、画像キャプチャデバイス１２４及び／又は画像キャプチャデバイス１２６の視野と、少なくとも部分的又は完全に、重なるように構成されていてもよい。いくつかの実施形態において、システム１００は、画像キャプチャデバイス１２４および１２６の視野が、例えば、画像キャプチャデバイス１２２の視野の範囲内にあり（例えば、より狭い）、当該視野の共通の中心を共有するように構成されていてもよい。他の実施形態において、画像キャプチャデバイス１２２、１２４および１２６は、隣接するＦＯＶをキャプチャしてもよく、又はそれらのＦＯＶにおいて、部分的な重複を有していてもよい。いくつかの実施形態において、画像キャプチャデバイス１２２、１２４および１２６の視野は、より狭いＦＯＶ画像キャプチャデバイス１２４及び／又は１２６の中心がより広いＦＯＶデバイス１２２の視野の下半分に配置され得るように位置合わせされていてもよい。
【0106】
図２Ｆは、開示される実施形態と一致する例示的な車両制御システムの概略図である。図２Ｆに示されるように、車両２００は、スロットルシステム２２０、ブレーキシステム２３０、及びステアリングシステム２４０を含むことができる。システム１００は、データを送信するための１又は複数のデータリンク（例えば、任意の有線及び／又は無線のリンク又は複数のリンク）を介したスロットルシステム２２０、ブレーキシステム２３０、及びステアリングシステム２４０の１又は複数への入力（例えば、制御信号）を提供してもよい。例えば、画像キャプチャデバイス１２２、１２４及び／又は１２６によって取得された画像の解析に基づき、システム１００は、車両２００をナビゲートするスロットルシステム２２０、ブレーキシステム２３０、及びステアリングシステム２４０（例えば、加速、曲がり、車線変更等を生じさせることによって）の１又は複数へ制御信号を提供することができる。さらに、システム１００は、車両２００の運転条件（例えば、速度、車両２００がブレーキ及び／又はターンするかどうか、等）を指示するスロットルシステム２２０、ブレーキシステム２３０、及びステアリングシステム２４０の１又は複数から入力を受信してもよい。さらなる詳細は、図４～図７に関連して、以下に提供される。
【0107】
また、図３Ａに示されるように、車両２００は、車両２００の運転者又は搭乗者と相互作用するためのユーザーインターフェース１７０を含むことができる。例えば、車両用途におけるユーザーインターフェース１７０は、タッチスクリーン３２０、ノブ３３０、ボタン３４０、及びマイク３５０を含んでもよい。また、車両２００の運転者又は搭乗者は、システム１００とやりとりするためのハンドル（例えば、例えば、方向指示器、ハンドルを含む車両２００のステアリングコラムに又は近くに配置された）、ボタン（例えば、車両２００のステアリングホイールに配置され）等を使用することができる。いくつかの実施形態において、マイク３５０は、バックミラー３１０に隣接して配置されていてもよい。類似して、いくつかの実施形態において、画像キャプチャデバイス１２２は、バックミラー３１０の近くに配置されていてもよい。また、いくつかの実施形態において、ユーザーインターフェース１７０は、１又は複数のスピーカー３６０を含んでもよい（例えば、車両オーディオシステムのスピーカー）。例えば、システム１００は、スピーカー３６０を介して、様々な通知（例えば、警告）を提供することができる。
【0108】
図３Ｂ～図３Ｄは、開示される実施形態に一致し、バックミラー（例えば、バックミラー３１０）の背後に、車両のフロントガラスに対して配置されるように構成された例示的なカメラマウント３７０の図である。図３Ｂに示されるように、カメラマウント３７０は、画像キャプチャデバイス１２２、１２４および１２６含んでもよい。画像キャプチャデバイス１２４および１２６は、車両のフロントガラスに対して面一であり、フィルム及び／又は反射防止材の構成を含むことができるグレアシールド３８０の後方に配置されていてもよい。例えば、グレアシールド３８０は、シールドが、一致する傾きを有する車両のフロントガラスに対して整列するように、配置されていてもよい。いくつかの実施形態において、画像キャプチャデバイス１２２、１２４および１２６のそれぞれは、例えば図３Ｄに示されるように、グレアシールド３８０の後方に配置されていてもよい。開示される実施形態は、画像キャプチャデバイス１２２、１２４および１２６及びカメラマウント３７０、及びグレアシールド３８０の任意の特定の構成に限定されない。図３Ｃは、図３Ｂに示されるカメラマウント３７０を正面から示す図である。
【0109】
本開示の利益を有する当業者によって理解されるように、前述の開示された実施形態に対して多数の変形及び／又は修正を行うことができる。例えば、全ての構成要素がシステム１００の動作のために重要というわけではない。さらに、任意の構成要素は、システム１００の任意の適当な一部に配置されていてもよく、構成要素は、開示される実施形態の機能を提供しながら、様々な構成に再配置され得る。従って、前述構成は例であり、上述の構成にかかわらず、システム１００は、車両２００の周囲を分析し、分析に応じて、車両２００をナビゲートするために、幅広い機能を提供できる。
【0110】
以下に詳細に説明し、開示される様々な実施形態と一致するように、システム１００は、自動運転及び／又は運転者アシスト技術に関する様々な特徴を提供することができる。例えば、システム１００は、画像データ、位置データ、（例えば、ＧＰＳ位置情報）、地図データ、速度データ、及び／又は車両２００に含まれるセンサからのデータを分析することができる。システム１００は、例えば、画像取得ユニット１２０、位置センサー１３０、及び他のセンサから、分析用データを収集できる。さらに、システム１００は、車両２００が特定の動作を取るべきか否かを決定するために、収集されたデータを分析することができ、その後、自動的に、人の介在なく、決定された動作を取ることができる。例えば、車両２００が人の介在なくナビゲートする場合、システム１００は、自動的に、車両２００のブレーキ、加速、及び／又はステアリングを制御することができる（例えば、スロットルシステム２２０、ブレーキシステム２３０、及びステアリングシステム２４０の１又は複数に制御信号を送信することによって）。さらに、システム１００は、収集されたデータを分析することができ、収集されたデータの分析に基づいて、車両の乗員に、警告を発行し、及び／又は注意を喚起することができる。システム１００によって提供される様々な実施形態に関する追加の詳細が以下に提供される。
【0111】
前方を向くマルチ撮像システム
【0112】
上述のように、システム１００は、マルチカメラシステムを使用するドライブアシスト機能を提供することができる。マルチカメラシステムは、車両の前方を向いている１又は複数のカメラを使用することができる。他の実施形態において、マルチカメラシステムは、車両の側方、又は車両の後方を向いている１又は複数のカメラを含んでもよい。例えば、一実施形態において、システム１００は、第１のカメラ及び第２のカメラが（例えば、画像キャプチャデバイス１２２および１２４）、車両（例えば、車両２００）の前部及び／又は側部に配置され得る２つのカメラ撮像システムを使用することができる。第１のカメラは、第２のカメラの視野より大きい、より小さい、又は部分的に重複する視野を有してもよい。加えて、第１のカメラは、第１のカメラによって提供された画像の単眼画像解析を実行する第１のイメージプロセッサに接続されていてもよく、第２のカメラは、第２のカメラによって提供された画像の単眼画像解析を実行する第２のイメージプロセッサに接続されていてもよい。第１及び第２のイメージプロセッサの出力（例えば、処理された情報）は、組み合わされていてもよい。いくつかの実施形態において、第２のイメージプロセッサは、ステレオ分析を実行するために、第１のカメラ及び第２のカメラの両方から画像を受信することができる。別の実施形態において、システム１００は、それぞれのカメラが異なる視野を有する３つのカメラ撮像システムを使用することができる。従って、そのようなシステムは、車両の前方及び側方の両方の様々な距離にある対象物から導出された情報に基づいて決定することができる。単眼画像解析への言及は、画像解析が単一の視点から（例えば、単一のカメラから）キャプチャされた画像に基づいて実行される例を指すことができる。ステレオ画像解析は、画像キャプチャパラメータの１又は複数の変化を有してキャプチャされた２つ又はそれより多くの画像に基づいて画像解析が実行された例を指すことができる。例えば、ステレオ画像解析の実行に適したキャプチャされた複数の画像は、２つ又はそれより多くの異なる位置から、異なる視野から、異なる焦点長を用いて、視差情報等に連動して、キャプチャされた画像を含むことができる。
【0113】
例えば、一実施形態において、システム１００は、画像キャプチャデバイス１２２、１２４および１２６を使用する３つのカメラ構成を実装することができる。そのような構成において、画像キャプチャデバイス１２２は、狭い視野（例えば、３４度、又は約２０度から４５度までの範囲から選択された他の値、等）を提供することができ、画像キャプチャデバイス１２４は、広視野（例えば、１５０度、又は約１００度から約１８０度までの範囲から選択された他の値）を提供することができ、画像キャプチャデバイス１２６は、中視野（例えば、４６度又は約３５から約６０度までの範囲から選択された他の値）を提供することができる。いくつかの実施形態において、画像キャプチャデバイス１２６は、メイン又は最上位のカメラとして動作することができる。画像キャプチャデバイス１２２、１２４および１２６は、バックミラー３１０の背後に配置され、実質的に並んで（例えば、６ｃｍ離れて）配置されていてもよい。さらに、いくつかの実施形態において、上述のように、画像キャプチャデバイス１２２、１２４および１２６の１又は複数は、車両２００のフロントガラスに対して面一であるグレアシールド３８０の後方に取り付けていてもよい。そのような遮蔽は、画像キャプチャデバイス１２２、１２４および１２６に対する車内からのあらゆる反射の影響を最小化するように動作し得る。
【0114】
別の実施形態において、上述のように、図３Ｂおよび３Ｃ関連して、広視野カメラは（例えば、上記の例において、画像キャプチャデバイス１２４）、狭い視野カメラ及びメイン視野カメラ（例えば、上記の例において、画像デバイス１２２および１２６）より低く取り付けられていてもよい。この構成は、広視野カメラから自由な視線を提供することができる。反射を減らすために、カメラは、車両２００のフロントガラスに接近して取り付けられていてもよく、反射光を弱めるために、カメラに偏光子を含んでもよい。
【0115】
３つのカメラシステムは、特定の動作特性を提供することができる。例えば、いくつかの実施形態は、他のカメラからの検出結果に基づいて、１つのカメラによる対象物の検出の妥当性を確認する能力を含むことができる。上述の３つのカメラ構成において、例えば、処理ユニット１１０は、画像キャプチャデバイス１２２、１２４および１２６の１又は複数によってキャプチャされた画像を処理するための専用の各処理デバイスを有する３つの処理デバイス（例えば、上述のように３つのＥｙｅＱシリーズのプロセッサチップ）を含むことができる。
【0116】
３つのカメラシステムにおいて、第１の処理装置は、メインカメラ及び狭い視野カメラの両方から画像を受信することができ、例えば、他の車両、歩行者、車線マーク、交通標識、信号機、及び他の道路対象物を検出するために狭い視野カメラの視覚処理を実行することができる。さらに、第１の処理装置は、メインカメラ及び狭いカメラからの画像間のピクセルの視差を算出することができ、車両２００の環境の３Ｄ再構成を作成することができる。次に、第１の処理装置は、他のカメラからの情報に基づいて算出された３Ｄ地図データ又は３Ｄ情報を有する３Ｄ再構成を組み合わせることができる。
【0117】
第２の処理デバイスは、メインカメラから画像を受信することができ、他の車両、歩行者、車線マーク、交通標識、信号機、及び他の道路対象物を検出する視覚処理を実行することができる。さらに、第２の処理デバイスは、カメラの変位を算出し、変位に基づいて、算出することができ、連続的画像間のピクセルの視差を算出することができ、シーン（例えば、動きから構造）の３Ｄ再構成を作成することができる。第２の処理デバイスは、ステレオ３Ｄ画像と組み合わされるように、３Ｄ再構成に基づく動きから構造を第１の処理装置に送信することができる。
【0118】
第３の処理装置は、広い視野カメラから画像を受信することができ、車両、歩行者、車線マーク、交通標識、信号機、及び他の道路対象物を検出するために、画像を処理することができる。さらに、第３の処理装置は、画像を分析する追加の処理命令を実行することができ、車線変更する車両、歩行者等のような、画像内で移動する対象物を識別することができる。
【0119】
いくつかの実施形態において、キャプチャされ、独立して処理される画像に基づく情報のストリームを有することは、システムにおいて、冗長性を提供するための機会を提供することができる。例えば、そのような冗長性は、少なくとも第２の画像キャプチャデバイスからの画像情報をキャプチャし処理することによって得られた情報を検証及び／又は捕捉するために、第１の画像キャプチャデバイス、及びそのデバイスによって処理された画像を使用することを含むことができる。
【0120】
いくつかの実施形態において、システム１００は、車両２００のためのナビゲーション支援の提供において、２つの画像キャプチャデバイス（例えば、画像キャプチャデバイス１２２および１２４）を使用することができ、冗長性を提供し、他の２つの画像キャプチャデバイスから受信したデータの分析を検証するために、第３の画像キャプチャデバイス（例えば、画像キャプチャデバイス１２６）を使用することができる。例えば、そのような構成において、画像キャプチャデバイス１２２および１２４は、車両２００をナビゲートするために、システム１００によるステレオ分析用の画像を提供することができ、一方、画像キャプチャデバイス１２６は、画像キャプチャデバイス１２２及び／又は画像キャプチャデバイス１２４からキャプチャされた画像に基づいて得られた情報の冗長性及び検証を提供するためにシステム１００による単眼分析用画像を提供することができる。つまり、画像キャプチャデバイス１２６（及び対応する処理デバイス）画像キャプチャデバイス１２２および１２４（例えば、自動緊急ブレーキ（ＡＥＢ）システムを提供するため）から導出された分析に関する確認を提供するための冗長サブシステムを提供することを考慮することができる。さらに、いくつかの実施形態において、受信したデータの冗長性及び検証は、もう１つのセンサ（例えば、レーダー、ライダー、音響センサ、車両の外部の１又は複数の送受信機から受信した情報等）から受信された情報に基づいて補完されてもよい。
【0121】
当業者は、上記のカメラ構成、カメラの配置、カメラの数、カメラの位置等が単なる例であることを認識するであろう。これらの構成要素及びシステム全体に関して説明された他の構成要素は、開示される実施形態の範囲から逸脱することなく様々な異なる構成で組み立てられ使用されることができる。運転者アシスト及び／又は自動運転機能を提供するためのマルチカメラシステムの使用についてのさらなる詳細は以下の通りである。
【0122】
図４は、開示される実施形態と一致する１又は複数の動作を実行するための命令を格納／プログラムすることができるメモリ１４０及び／又は１５０の例示的な機能ブロック図である。以下にメモリ１４０について言及するが、当業者は、命令がメモリ１４０及び／又は１５０に格納され得ることを認識するであろう。
【0123】
図４に示されるように、メモリ１４０は、単眼画像解析モジュール４０２、ステレオ画像解析モジュール４０４、速度及び加速度モジュール４０６、及びナビゲーション応答モジュール４０８を格納することができる。開示される実施形態は任意の特定の構成のメモリ１４０に限定されない。さらに、アプリケーションプロセッサ１８０及び／又はイメージプロセッサ１９０は、メモリ１４０に含まれる任意のモジュール４０２、４０４、４０６および４０８に格納された命令を実行することができる。当業者は、以下の議論における処理ユニット１１０への言及がアプリケーションプロセッサ１８０及びイメージプロセッサ１９０を個別に又は集合的に指してもよいことを理解するであろう。従って、以下の処理の任意の段階が、１又は複数の処理デバイスによって実行され得る。
【0124】
一実施形態において、単眼画像解析モジュール４０２は、処理ユニット１１０による実行時に、画像キャプチャデバイス１２２、１２４および１２６の１つによって取得された画像のセットの単眼画像解析を実行する命令（コンピュータビジョンソフトウェア等）を格納することができる。いくつかの実施形態において、処理ユニット１１０は、単眼画像解析を実行するために、追加の知覚情報（例えば、レーダー、ライダー等からの情報）を有する画像のセットからの情報を組み合わせることができる。以下の図５Ａ～図５Ｄに関連して説明されるように、単眼画像解析モジュール４０２は、車線表示、車両、歩行者、道路標識、高速道路出口ランプ、信号機、危険物、及び車両の環境に関連する任意の他の特徴等、画像セット内の特徴セットを検出ための命令を含むことができる。分析に基づいて、システム１００（例えば、処理ユニット１１０を用いて）は、ナビゲーション応答モジュール４０８に関連して、以下で述べるように、ターン、車線変更、加速度の変更等のような、１又は複数のナビゲーション応答を車両２００に引き起こすことができる。
【0125】
一実施形態において、ステレオ画像解析モジュール４０４は、処理ユニット１１０による実行時に、任意の画像キャプチャデバイス１２２、１２４および１２６から選択された画像キャプチャデバイスの組み合わせによって取得された第１及び第２の画像セットのステレオ画像解析を実行する命令（コンピュータビジョンソフトウェア等）を格納することができる。いくつかの実施形態において、処理ユニット１１０は、ステレオ画像解析を実行するために、追加の知覚情報（例えば、レーダーからの情報）を有する第１及び第２の画像セットからの情報を組み合わせることができる。例えば、ステレオ画像解析モジュール４０４は、画像キャプチャデバイス１２４によって取得された第１の画像のセット及び画像キャプチャデバイス１２６によって取得された第２の画像のセットに基づいてステレオ画像解析を実行するためのための命令を含むことができる。以下の図６に関連して説明されるように、ステレオ画像解析モジュール４０４は、車線表示、車両、歩行者、道路標識、高速道路出口ランプ、信号機、危険物等のような、第１及び第２の画像セット内の特徴セットを検出ための命令を含むことができる。分析に基づいて、処理ユニット１１０は、ナビゲーション応答モジュール４０８に関連して、以下で述べるように、ターン、車線変更、加速度の変更等のような、１又は複数のナビゲーション応答を車両２００に引き起こすことができる。さらに、いくつかの実施形態において、ステレオ画像解析モジュール４０４は、キャプチャされ処理された知覚情報から環境内の対象物を検出及び／又は分類するためのコンピュータビジョンアルゴリズムを使用するように構成され得るシステム等、訓練されたシステム（ニューラルネットワーク又はディープニューラルネットワーク等）又は訓練されていないシステムに関連する技術を実装することができる。一実施形態において、ステレオ画像解析モジュール４０４及び／又は他の画像処理モジュールは、訓練されたシステム及び訓練されていないシステムの組み合わせを使用するように構成され得る。
【0126】
一実施形態において、速度及び加速度モジュール４０６は、車両２００の速度及び／又は加速度に変更を生じさせるように構成された車両２００内の１又は複数のコンピューティング及び電気機械式デバイスから受信したデータを分析するように構成されたソフトウェアを格納することができる。例えば、処理ユニット１１０は、単眼画像解析モジュールの実行４０２及び／又はステレオ画像解析モジュール４０４によって導出されたデータに基づく車両２００の目標速度を算出するために、速度及び加速度モジュール４０６に関連付けられた命令を実行することができる。例えば、そのようなデータは、目標位置、速度、及び／又は加速度、近くの車両に関係する車両２００の位置及び／又は速度、歩行者、又は道路対象物、道路の車線表示に関係する車両２００のための位置情報等を含むことができる。加えて、処理ユニット１１０は、感覚入力（例えば、レーダーからの情報）、及び車両２００のスロットルシステム２２０、ブレーキシステム２３０、及び／又はステアリングシステム２４０等の車両２００の他のシステムからの入力に基づいた車両２００のための目標速度を算出することができる。 算出された目標速度に基づいて、処理ユニット１１０は、例えば、物理的に、車両２００のブレーキを押し下げ又はアクセルを緩めることによって、速度及び／又は加速度に変更をもたらすために車両２００のスロットルシステム２２０、ブレーキシステム２３０、及び／又はステアリングシステム２４０に対して、電子信号を送信することができる。
【0127】
一実施形態において、ナビゲーション応答モジュール４０８は、単眼画像解析モジュール４０２及び／又はステレオ画像解析モジュール４０４の実行から導出されたデータに基づいて、処理ユニット１１０によって、所望のナビゲーション応答を決定することを実行可能なソフトウェアを格納することができる。そのようなデータは、近くの車両、歩行者、及び道路対象物に関連する位置及び速度情報、車両２００のための目標位置情報等を含むことができる。さらに、いくつかの実施形態において、ナビゲーション応答は、地図データ、車両２００の所定の位置、及び／又は、単眼画像解析モジュール４０２及び／又はステレオ画像解析モジュール４０４の実行から検出された１又は複数の対象物と車両２００との間の相対速度又は相対加速度に基づく（部分的又は完全に）ことができる。また、ナビゲーション応答モジュール４０８は、感覚入力（例えば、レーダーからの情報）、及び車両２００のスロットルシステム２２０、ブレーキシステム２３０、及びステアリングシステム２４０等の車両２００の他のシステムからの入力に基づいた所望のナビゲーション応答を決定することができる。所望のナビゲーション応答に基づいて、処理ユニット１１０は、例えば、車両２００のステアリングホイールの回転によって、所定の角度の回転を実現するための所望のナビゲーション応答をもたらすために車両２００のスロットルシステム２２０、ブレーキシステム２３０、及びステアリングシステム２４０に対して、電子信号を送信することができる。いくつかの実施形態において、処理ユニット１１０は、車両２００の速度の変更を算出するために、速度及び加速度モジュール４０６の実行ための入力として、ナビゲーション応答モジュール４０８（例えば、所望のナビゲーション応答）の出力を使用することができる。
【0128】
さらに、本明細書に開示されるモジュール（例えば、モジュール４０２、４０４および４０６）の何れは、訓練されたシステム（ニューラルネットワーク又はディープニューラルネットワーク等）、又は訓練されていないシステムに関連する技術を実装することができる。
【0129】
図５Ａは、開示される実施形態に一致する単眼画像解析に基づく１又は複数のナビゲーション応答を生じさせるための例示的なプロセス５００Ａを示すフローチャートである。段階５１０では、処理ユニット１１０は、処理ユニット１１０と画像取得ユニット１２０との間で、データーインターフェース１２８を経由した複数の画像を受信することができる。例えば、画像取得ユニット１２０（視野２０２を有を有する画像キャプチャデバイス１２２等）に含まれるカメラは、車両２００の前方のエリアの複数の画像を（又は、例えば、車両の側方又は後方の）キャプチャすることができ、それらをデータ接続（例えば、デジタル、有線、ＵＳＢ、無線、ブルートゥース等）を介して、処理ユニット１１０に送信することができる。段階５２０では、処理ユニット１１０は、図５Ｂ～図５Ｄに関連して、以下にさらに詳細に説明されるように、複数の画像を解析するために単眼画像解析モジュール４０２を実行することができる。解析を実行することによって、処理ユニット１１０は、車線表示、車両、歩行者、道路標識、高速道路出口ランプ、信号機等のような画像セット内の特徴セットを検出することができる。
【0130】
また、処理ユニット１１０は、段階５２０において、例えば、トラックのタイヤ、落下した道路標識、緩んだ貨物、小動物等の部分のような様々な道路障害物を検出するために、単眼画像解析モジュール４０２を実行することができる。道路障害物は、そのような障害物の検出をより困難にさせるかもしれない構造、形状、サイズ、及び色において変化し得る。いくつかの実施形態において、処理ユニット１１０は、道路障害物を検出するように複数の画像に関してマルチフレーム分析を実行するための単眼画像解析モジュール４０２を実行することができる。例えば、処理ユニット１１０は、連続する複数の画像フレーム間のカメラ動きを推定することができ、道路の３Ｄ地図を構築するためにフレーム間のピクセルにおける視差を算出することができる。次に、処理ユニット１１０は、路面の上方に存在する障害物と同様に、路面を検出するために３Ｄ地図を使用することができる。
【0131】
段階５３０では、処理ユニット１１０は、段階５２０で実行される分析、及び図４に関連した上述の技術に基づいて、１又は複数のナビゲーション応答を車両２００に引き起こすために、ナビゲーション応答モジュール４０８を実行することができる。ナビゲーション応答は、例えば、ターン、車線変更、加速度の変更等を含むことができる。いくつかの実施形態において、処理ユニット１１０は、１又は複数のナビゲーション応答を引き起こすために、速度及び加速度モジュール４０６の実行から導出されたデータ使用することができる。さらに、複数のナビゲーション応答は、同時に、順番に、又はそれらの任意の組み合わせで、発生し得る。例えば、処理ユニット１１０は、例えば、車両２００のステアリングシステム２４０及びスロットルシステム２２０に制御信号を順次に送信することによって、車両２００をある車線に変更させ、その後加速させることができる。代替的に、処理ユニット１１０は、車両２００のブレーキシステム２３０及びステアリングシステム２４０に、例えば、同時に制御信号を送信することによって、同時に車線を変更しながら車両２００にブレーキを動作させることができる。
【0132】
図５Ｂは、開示される実施形態と一致する画像のセットにおいて、１又は複数の車両及び／又は歩行者を検出するための例示的なプロセス５００Ｂを示すフローチャートである。処理ユニット１１０は、処理５００Ｂを実行するために単眼画像解析モジュール４０２を実行することができる。段階５４０では、処理ユニット１１０は、車両及び／又は歩行者の可能性を表す対象物候補のセットを決定することができる。例えば、処理ユニット１１０は、１又は複数の画像をスキャンすることができ、その画像を１又は複数の予め定められたパターンと比較することができ、それぞれの画像内で、関心がある対象物を含むかもしれない可能性がある位置を識別することができる（例えば、車両、歩行者、又はそれらの部分）。予め定められたパターンは、高い割合の「誤ったヒット」及び低い割合の「当て損ない」を達成するような方法で設計されていてもよい。例えば、処理ユニット１１０は、車両又は歩行者の可能性があるような対象物候補を識別するために、予め定められたパターンと類似性が低い閾値を使用することができる。そうすることにより、処理ユニット１１０が車両又は歩行者を表す対象物候補を見逃す（例えば、識別しない）確率を減らすことができる。
【0133】
段階５４２では、処理ユニット１１０は、分類基準に基づいて特定の候補（例えば、無関係又はあまり関係がない対象物）を排除するために、対象物候補のセットをフィルタにかけることができる。そのような基準は、データベース（例えば、メモリ１４０に格納されたデータベース）に格納された対象物タイプに関連付けられた様々な特性から導出され得る。特性は、対象物の形状、面積、構造、位置（例えば、車両２００に対して）等を含むことができる。したがって、処理ユニット１１０は、対象物候補のセットからの誤った候補を拒絶するための１又は複数の基準のセットを使用することができる。
【0134】
段階５４４では、処理ユニット１１０は、車両及び／又は歩行者を表す対象物候補のセット内の対象物であるかどうかを決定するために、画像の複数のフレームを分析することができる。例えば、処理ユニット１１０は、連続したフレームにわたって、検出された対象物候補を追跡することができ、検出された対象物（例えば、車両２００に対するサイズ、位置等）に関連するフレームごとのデータを蓄積することができる。さらに、処理ユニット１１０は、検出された対象物に関するパラメータを推定することができ、対象物のフレームごとの位置データと予測され位置とを比較することができる。
【0135】
段階５４６では、処理ユニット１１０は、検出された対象物のための測定結果のセットを構築することができる。そのような測定結果は、例えば、検出された対象物に関連づけられた位置、速度、及び加速度値（車両２００に対する）を含んでもよい。いくつかの実施形態において、処理ユニット１１０は、カルマンフィルタ又は線形二次推定（ＬＱＥ）等の一連の時間ベースの観測を使用する推定技術に基づいて、及び／又は異なる対象物タイプ（例えば、自動車、トラック、歩行者、自転車、道路標識等）に関して入手可能なモデリングデータに基づいて、測定結果を構築することができる。カルマンフィルタは、対象物の等級測定に基づくことができ、ここで、等級測定は、衝突までの時間（例えば、車両２００が対象物に到達までの時間の長さ）に比例する。したがって、段階５４０～５４６を実行することによって、処理ユニット１１０は、キャプチャ画像のセット内に現れる車両及び歩行者を識別することができ、車両及び歩行者に関連する情報（例えば、位置、速度、サイズ）を導出することができる。識別及び導出された情報に基づいて、処理ユニット１１０は、図５Ａに関連して、上で説明されたように、１又は複数のナビゲーション応答を車両２００に引き起こすことができる。
【0136】
段階５４８では、処理ユニット１１０は、「誤ったヒット」の検出及び車両又は歩行者を表す対象物候補の見逃しの確率を減らすために１又は複数の画像のオプティカルフロー分析を実行することができる。例えば、オプティカルフロー分析は、他の車両及び歩行者に関連し、路面の動きと異なる１又は複数の画像内の車両２００に対する動きのパターンを分析することを指すことができる。処理ユニット１１０は、異なる時間にキャプチャされた複数の画像フレームにわたり、対象物の異なる位置を観察することによって、対象物候補の動きを算出することができる。処理ユニット１１０は、対象物候補の動きの算出のために、数学モデルへの入力として、位置及び時間の値を使用することができる。したがって、オプティカルフロー分析は、車両２００の近くに存在する車両及び歩行者の他の検出方法を提供することができる。処理ユニット１１０は、段階５４０～５４６を組み合わせて、オプティカルフロー分析を実行することができ、車両及び歩行者を検出するための冗長性を提供し、システム１００の信頼性を向上させることができる。
【0137】
図５Ｃは、開示される実施形態と一致し、画像のセット内の道路マーク及び／又は車線形状情報を検出するための例示的なプロセス５００Ｃを示すフローチャートである。処理ユニット１１０は、処理５００Ｃを実行するために単眼画像解析モジュール４０２を実行することができる。段階５５０では、処理ユニット１１０は、１又は複数の画像のスキャニングによって、対象物セットを検出することができる。車線表示、車線形状情報、及び関係がある他の道路マークのセグメントを検出するために、処理ユニット１１０は、対象物セットをフィルタにかけることができ、無関係であると決定されたそれらのもの（例えば、主要でない穴、小さい岩等）を排除することができる。段階５５２では、処理ユニット１１０は、同じ道路マーク又は車線マークに属し、段階５５０で検出されたセグメントを一緒に分類することができる。分類に基づいて、処理ユニット１１０は、数学モデル等、検出されたセグメントを表すためのモデルを開発することができる。
【0138】
段階５５４では、処理ユニット１１０は、検出されたセグメントに関連する測定結果のセットを構築することができる。いくつかの実施形態において、処理ユニット１１０は、検出されたセグメントの画像平面から実世界平面上への投影を作成することができる。投影は、検出された道の位置、傾き、曲率、及び曲率導関数のような物理特性に対応する係数を有する３次多項式を使用して特徴づけられることができる。投影の生成において、処理ユニット１１０は、車両２００に関連するピッチ及びロール割合と同様に、路面の変化を考慮に入れることができる。加えて、処理ユニット１１０は、路面上に存在する位置及び動きのきっかけを分析することによって、道路高度をモデル化することができる。さらに、処理ユニット１１０は、１又は複数の画像内の特徴点のセットをトラッキングすることによって、車両２００に関連するピッチ及びロール割合を推定することができる。
【0139】
段階５５６では、処理ユニット１１０は、例えば、連続する複数の画像フレームにわたって検出されたセグメントをトラッキングすることによって、及び検出されたセグメントに関連してフレームごとのデータを蓄積することによって、マルチフレーム分析を実行することができる。処理ユニット１１０は、マルチフレーム分析を実行するので、段階５５４では、構築された測定結果のセットは、より信頼できるようになり、ますます高い信頼レベルに関連づけられるかもしれない。したがって、段階５５０、５５２、５５４および５５６を実行することによって、処理ユニット１１０は、キャプチャ画像のセット内に現れる道路マークを識別することができ、車線形状情報を導出することができる。識別及び導出された情報に基づいて、処理ユニット１１０は、図５Ａに関連して、上で説明されたように、１又は複数のナビゲーション応答を車両２００に引き起こすことができる。
【0140】
段階５５８では、処理ユニット１１０は、周囲の状況における車両２００のための安全モデルをさらに開発するために、追加の情報源を考慮することができる。処理ユニット１１０は、安全な方法で、車両２００の自律制御を実行することができるシステム１００の状況を定義する安全モデルを使用することができる。安全モデルを開発するために、いくつかの実施形態において、処理ユニット１１０は、他の車両の位置及び動き、検出された道路の端及びフェンス、及び／又は、地図データ（地図データベース１６０からのデータ等）から抽出された一般的な道路形状描写を考慮してもよい。追加の情報源を考慮することによって、処理ユニット１１０は、道路マーク及び車線の幾何学形状を検出するための冗長性を提供することができ、システム１００の信頼性を向上させることができる。
【0141】
図５Ｄは、開示される実施形態に一致し、画像のセット内の信号機を検出するための例示的なプロセス５００Ｄを示すフローチャートである。処理ユニット１１０は、処理５００Ｄを実行するために単眼画像解析モジュール４０２を実行することができる。段階５６０では、処理ユニット１１０は、画像のセットをスキャンすることができ、信号機を含みそうな画像内の位置に現れる対象物を識別することができる。例えば、処理ユニット１１０は、信号機に対応する可能性が低いそれらの対象物を除外して、対象物候補のセットを構築するために、識別された対象物をフィルタにかけることができる。フィルタリングは、形状、面積、構造、位置（例えば、車両２００に対する）等のような、信号機に関連する様々な特性に基づいて行われることができる。そのような特性は、信号機及び交通制御信号の複数の例に基づくことができ、データベースに格納されることができる。いくつかの実施形態において、処理ユニット１１０は、信号機の可能性を反映する対象物候補のセットに関して、マルチフレーム分析を実行することができる。例えば、処理ユニット１１０は、連続する複数の画像フレームにわたって対象物候補を追跡することができ、対象物候補の実世界の位置を推定することができ、移動する（信号機の可能性が低い）それらの対象物を除外することができる。いくつかの実施形態において、処理ユニット１１０は、対象物候補に関する色分析を実行することができ、信号機の可能性があるもの内部に現れる検出された色の相対位置を識別することができる。
【0142】
段階５６２では、処理ユニット１１０は、ジャンクションの幾何学形状を分析できる。分析は、（ｉ）車両２００の両側で検出された車線の数、（ｉｉ）道路上で検出されたマークキング（矢印マーク等）、及び（ｉｉｉ）地図データから抽出されたジャンクションの説明（地図データベース１６０からのデータ等）の任意の組み合わせに基づくことができる。処理ユニット１１０は、単眼画像解析モジュール４０２の実行によって導出された情報を使用する分析を指揮することができる。加えて、処理ユニット１１０は、段階５６０で検出された信号機と車両２００の近くに現れる車線との間の対応を決定することができる。
【0143】
車両２００がジャンクションに近づくと、段階５６４では、処理ユニット１１０は、分析されたジャンクションの幾何学形状及び検出された信号機に関連する信頼レベルを更新することができる。例えば、ジャンクションで実際に現れる数と比較して、ジャンクションで見えると推定される信号機の数は、信頼レベルに影響を与えるかもしれない。したがって、信頼レベルに基づいて、処理ユニット１１０は、安全な条件を改善するために、車両２００の運転者に制御を委任することができる。段階５６０、５６２および５６４を実行することによって、処理ユニット１１０は、キャプチャ画像のセット内に現れる信号機を識別することができ、ジャンクションの幾何学形状情報を分析することができる。識別及び分析に基づいて、処理ユニット１１０は、図５Ａに関連して、上で説明されたように、１又は複数のナビゲーション応答を車両２００に引き起こすことができる。
【0144】
図５Ｅは、開示される実施形態に一致し、車両経路に基づいて、車両２００に１又は複数のナビゲーション応答を生じさせるための例示的なプロセス５００Ｅを示すフローチャートである。段階５７０では、処理ユニット１１０は、車両２００に関連する初期車両経路を構築することができる。車両経路は、座標（ｘ，ｚ）で表現されるポイントのセットを使用して表されてもよく、ポイントのセット内の２つのポイント間の距離ｄｉは、１メートルから５メートルまでの範囲内に収まるかもしれない。一実施形態において、処理ユニット１１０は、左右の道路多項式等、２つの多項式を使用する初期車両経路を構築することができる。処理ユニット１１０は、２つの多項式間の幾何学的中間点を算出することができ、もしあれば、予め定められたオフセット（例えば、スマート車線オフセット）による車両経路の結果に含まれる各ポイントを弱めることができる（ゼロのオフセットは、車線の中央での移動に対応することができる）。オフセットは、車両経路内の任意の２つの地点間のセグメントに対して垂直な方向でもよい。別の実施形態において、処理ユニット１１０は、予め定められたオフセット（例えば、スマート車線オフセット）を加えた半分の推定車線幅で、車両経路の各ポイントを弱めるために、１つの多項式及び推定車線幅を使用することができる。
【0145】
段階５７２では、処理ユニット１１０は、段階５７０で構築された車両経路を更新することができる。処理ユニット１１０は、上で説明された距離ｄｉ未満である車両経路を表すポイントのセット内の２つのポイント間の距離ｄkのような、より高い解像度を使用して段階５７０で構築された車両経路を再構成することができる。例えば、距離ｄｋは、０．１メートルから０．３メートルまでの範囲内に収まるかもしれない。処理ユニット１１０は、車両経路の全長（すなわち、車両経路を表すポイントのセットに基づく）に対応する累積距離ベクトルＳをもたらすことができる放物線スプラインアルゴリズムを使用する車両経路を再構成することができる。
【0146】
段階５７４では、処理ユニット１１０は、段階５７２で構築され、更新された車両経路に基づく先読みポイント（（座標（ｘｌ，ｚｌ）で表現される）を決定することができる。処理ユニット１１０は、累積距離ベクトルＳからの先読みポイントを抽出することができ、先読みポイントは、先読み距離及び先読み時間に関連づけられることができる。１０メートルから２０メートルまでの範囲の下限を有することができる先読み距離は、車両２００の速度及び先読み時間の産物として算出することができる。例えば、車両２００の速度が減るとき、先読み距離もまた減少してもよい（例えば、下限に到達するまで）。０．５秒から１．５秒までの範囲でもよい先読み時間は、制御ループ追跡機首方位誤差等、車両２００にナビゲーション応答を生じさせることに関連する１又は複数の制御ループのゲインに反比例してもよい。例えば、制御ループ追跡機首方位誤差のゲインは、ヨーレートループ、ステアリングアクチュエータループ、自動車横方向ダイナミクス等の処理能力に依存してもよい。したがって、制御ループ追跡機首方位誤差のゲインが高くなれば高くなるほど、先読み時間がより短くなる。
【0147】
段階５７６では、処理ユニット１１０は、段階５７４で決定された先読みポイントに基づいて、機首方位誤差及びヨーレートコマンド決定することができる。処理ユニット１１０は、例えば、アークタンジェント（Ｘｌ／Ｚｌ）等、先読みポイントの逆正接を算出することによって、機首方位誤差を決定することができる。処理ユニット１１０は、機首方位誤差及びハイレベル制御ゲインの産物として、ヨーレートコマンドを決定することができる。先読み距離が下限にない場合、ハイレベル制御ゲインは、（２／先読み時間）と等しくてもよい。そうでなければ、ハイレベル制御ゲインは、（２＊車両２００の速度／先読み距離）と等しくてもよい。
【0148】
図５Ｆは、開示される実施形態と一致し、先頭車両が車線変更しているかどうかを決定するための例示的なプロセス５００Ｆを示すフローチャートである。段階５８０では、処理ユニット１１０は、先頭車両（例えば、車両２００の前方を走行する車両）に関連するナビゲーション情報を決定することができる。例えば、処理ユニット１１０は、図５Ａおよび５Ｂに関連して、上述された技術を使用して、先頭車両の位置、速度（例えば、方向及び速度）、及び／又は加速度を決定することができる。また、処理ユニット１１０は、図５Ｅに関連して、上述された技術を使用して、１又は複数の道路多項式、先読みポイント（車両２００に関連して）、及び／又は、スネイルトレイル（例えば、先頭車両によって利用された経路に描写されているポイントのセット）を決定することができる。
【0149】
段階５８２では、処理ユニット１１０は、段階５８０で決定されたナビゲーション情報を分析できる。一実施形態において、処理ユニット１１０は、スネイルトレイルと道路多項式（例えば、軌跡に沿った）との間の距離を算出することができる。軌跡に沿ったこの距離の変動量が予め定められた閾値（例えば、直線道路に関して０．１メートルから０．２メートルまで、適度に曲った道路に関して０．３メートルから０．４メートルまで、急カーブを有する道路に関して、０．５メートルから０．６メートルまで）を超える場合、処理ユニット１１０は、先頭車両が車線変更しそうであることを決定することができる。複数の車両が車両２００の前方を走行していることが検出された場合、処理ユニット１１０は、それぞれの車両に関連するスネイルトレイルを比較してもよい。比較に基づいて、処理ユニット１１０は、他の車両のスネイルトレイルと一致しないスネイルトレイルの車両は、車線変更しそうであると決定することができる。さらに、処理ユニット１１０は、（先頭車両に関連する）スネイルトレイルの曲率を、先頭車両が走行している道路セグメントの予測曲率と比較することができる。予測曲率は、地図データ（例えば、地図データベース１６０からのデータ）から、道路多項式から、他の車両のスネイルトレイルから、道路についての事前の情報等から、抽出されてもよい。スネイルトレイルの曲率と道路セグメントの予測曲率と差が、予め定められた閾値を超える場合、処理ユニット１１０は、先頭車両が車線変更しそうであると決定することができる。
【0150】
別の実施形態において、処理ユニット１１０は、特定の期間（例えば、０．５秒から１．５秒まで）を通して、（車両２００に関連する）先読みポイントと先頭車両の瞬時位置を比較してもよい。特定の期間中、先頭車両の瞬時位置と先読みポイントとの間の距離が異なる場合、変化の合計の累積が予め定められた閾値（例えば、直線道路に関して０．３メートルから０．４メートルまで、適度なカーブ道路に関して０．７メートルから０．８メートルまで、急カーブを有する道路に関して１．３メートルから１．７メートルまで）を超える場合、処理ユニット１１０は、先頭車両が車線変更しそうであることを決定することができる。別の実施形態において、処理ユニット１１０は、軌跡に沿って移動した横方向の距離をスネイルトレイルの予測曲率と比較することによって、スネイルトレイルの幾何学形状を分析することができる。予測曲率半径は、（δｚ
２＋δｘ
２）／２／（δｘ）の計算に従って決定されることができ、ここでで、δｘは移動した横方向の距離を表し、δｚは、移動した長手方向の距離を表す。移動した横方向の距離と予測曲率との間の差が、予め定められた閾値（例えば、５００メートルから７００メートルまで）を超える場合、処理ユニット１１０は、先頭車両が車線変更しそうであることを決定することができる。別の実施形態において、処理ユニット１１０は先頭車両の位置を分析することができる。先頭車両の位置が道路多項式を分かりにくくする場合（例えば、先頭車両が、道路多項式の上に重ねられる）、次に、処理ユニット１１０は、先頭車両が車線変更しそうであることを決定することができる。他の車両が先頭車両の前方で検出されるような場合、及び２つの車両のスネイルトレイルが平行でない場合、先頭車両の位置がそのような場合、処理ユニット１１０は、（より近い）先頭車両が車線変更しそうであることを決定することができる。
【0151】
段階５８４では、処理ユニット１１０は、段階５８２で実行された分析に基づいて、先頭車両２００が車線変更しているか否かを決定することができる。例えば、処理ユニット１１０は、段階５８２で実行された個々の分析の加重平均に基づいて、決定させることができる。例えば、そのようなスキームの下では、特定のタイプの分析に基づいて、先頭車両が車線変更しそうであるとの処理ユニット１１０による決定は、「１」の値が割り当てられることができる（先頭車両が車線変更しそうではない決定を表すために「０」）。段階５８２で実行された異なる分析は、異なる重みが割り当てられることができ、開示される実施形態は、分析及び重みの任意の特定の組み合わせに限定されない。
【0152】
図６は、開示される実施形態と一致し、ステレオ画像解析に基づく１又は複数のナビゲーション応答を生じさせるための例示的なプロセス６００を示すフローチャートである。段階６１０では、処理ユニット１１０は、データーインターフェース１２８を経由した第１及び第２の複数の画像を受信することができる。例えば、画像取得ユニット１２０（視野２０２および２０４を有する画像キャプチャデバイス１２２および１２４等）に含まれるカメラは、車両２００の前方のエリアの第１及び第２の複数の画像をキャプチャすることができ、それらをデジタル接続（例えば、ＵＳＢ、無線、ブルートゥース等）を経由して処理ユニット１１０に送信することができる。いくつかの実施形態において、処理ユニット１１０は、２つ又はそれより多くのデーターインターフェースを介して第１及び第２の複数の画像を受信することができる。開示される実施形態は、任意の特定のデーターインターフェース構成又はプロトコルに限定されない。
【0153】
段階６２０では、処理ユニット１１０は、車両の前方の道路の３Ｄ地図を作成するために、第１及び第２の複数の画像のステレオ画像解析を実行するためのステレオ画像解析モジュール４０４を実行することができ、車線表示、車両、歩行者、道路標識、高速道路出口ランプ、信号機、道路障害物等のような画像内の特徴を検出することができる。ステレオ画像解析は、図５Ａ～図５Ｄに関連して、上述した段階と同様の態様で実行することができる。例えば、処理ユニット１１０は、第１及び第２の複数の画像内の対象物候補（例えば、車両、歩行者、道路マーク、信号機、道路障害物等）を検出するためのステレオ画像解析モジュール４０４を実行することができ、様々な基準に基づいて対象物候補のサブセットを除外することができ、マルチフレーム分析を実行することができ、測定結果を構築することができ、残りの対象物候補ための信頼レベルを決定することができる。上の段階の実行において、処理ユニット１１０は、単独の画像のセットの１つからの情報よりむしろ、第１及び第２の複数の画像の両方からの情報を考慮することができる。例えば、処理ユニット１１０は、第１及び第２の複数の画像の両方に現れる対象物候補のためのピクセルレベルデータ（キャプチャされた複数の画像の２つのストリームの中からの他のデータサブセット）における差を分析することができる。他の例として、処理ユニット１１０は、複数の画像の１つに現れるが、他の画像には表れない対象物を観察することによって、又は２つの画像ストリームに現れる対象物に関連して存在することができる他の差に関連して、対象物候補（例えば、車両２００に対する）の位置及び／又は速度を推定することができる。例えば、車両２００に対する位置、速度、及び／又は加速度は、１又は両方の画像ストリームに現れる対象物に関連する特徴の軌跡、位置、移動特性等に基づいて決定されることができる。
【0154】
段階６３０では、処理ユニット１１０は、段階６２０で実行される解析、及び図４に関連した上述の技術に基づいて、１又は複数のナビゲーション応答を車両２００に引き起こすために、ナビゲーション応答モジュール４０８を実行することができる。ナビゲーション応答は、例えば、ターン、車線変更、加速度の変更、速度の変更、ブレーキ動作等を含むことができる。いくつかの実施形態において、処理ユニット１１０は、１又は複数のナビゲーション応答を引き起こすために、速度及び加速度モジュール４０６の実行から導出されたデータ使用することができる。さらに、複数のナビゲーション応答は、同時に、順番に、又はそれらの任意の組み合わせで、発生し得る。
【0155】
図７は、開示される実施形態と一致し、３セットの画像の分析に基づく１又は複数のナビゲーション応答を生じさせるための例示的なプロセス７００を示すフローチャートである。段階７１０では、処理ユニット１１０は、データーインターフェース１２８を経由した第１、第２、及び第３の複数の画像を受信することができる。例えば、（視野２０２、２０４および２０６を有する画像キャプチャデバイス１２２、１２４および１２６等）画像取得ユニット１２０に含まれるカメラは、車両２００の前方及び／又は側方のエリアの第１、第２、及び第３の複数の画像をキャプチャすることができ、それらをデジタル接続（例えば、ＵＳＢ、無線、ブルートゥース等）を経由して、処理ユニット１１０に送信することができる。いくつかの実施形態において、処理ユニット１１０は、３つの又はそれ以上のデーターインターフェイスを経由して、第１、第２、及び第３の複数の画像を受信することができる。例えば、画像キャプチャデバイス１２２、１２４、１２６のそれぞれは、処理ユニット１１０へのデータ通信のための関連するデーターインターフェースを有することができる。開示される実施形態は、任意の特定のデーターインターフェース構成又はプロトコルに限定されない。
【0156】
段階７２０では、処理ユニット１１０は、車線表示、車両、歩行者、道路標識、高速道路出口ランプ、信号機、道路障害物等のような、画像内の特徴を検出するために、第１、第２、及び第３の複数の画像を分析することができる。分析は、図５Ａ～図５Ｄ及び図６に関連してして、上述した段階と同様の態様で実行することができる。例えば、処理ユニット１１０は、第１、第２、及び第３の複数の画像のそれぞれに関して、（例えば、単眼画像解析モジュール４０２の実行を用いて、及び図５Ａ～図５Ｄに関連して、上述した段階に基づいて、）単眼画像解析を実行することができる。代替的に、処理ユニット１１０は、第１及び第２の複数の画像、第２及び第３の複数の画像、及び／又は第１及び第３の複数の画像に関して、（例えば、ステレオ画像解析モジュール４０４の実行、及び図６に関連して、上述した段階に基づいて、）ステレオ画像解析を実行することができる。第１、第２、及び／又は第３の複数の画像の分析に対応する処理された情報は、組み合わされることができる。いくつかの実施形態において、処理ユニット１１０は、単眼及びステレオ画像解析の組み合わせを実行することができる。例えば、処理ユニット１１０は、第１の複数の画像に関して（例えば、単眼画像解析モジュール４０２の実行を用いて）単眼画像解析を実行することができ、第２及び第３の複数の画像に関して（例えば、ステレオ画像解析モジュール４０４の実行を用いて）ステレオ画像解析を実行することができる。それらのそれぞれの位置及び視野２０２、２０４および２０６を含む画像キャプチャデバイス１２２、１２４および１２６の構成は、第１、第２、及び第３の複数の画像について実施される分析のタイプに影響を与えることができる。開示される実施形態は、画像キャプチャデバイス１２２、１２４および１２６の特定の構成、又は第１、第２、及び第３の複数の画像について実施される分析のタイプに限定されない。
【0157】
いくつかの実施形態において、処理ユニット１１０は、段階７１０および７２０で取得され分析された画像に基づいてシステム１００に関する試験を実行することができる。そのような試験は、画像キャプチャデバイス１２２、１２４および１２６の特定の構成についてシステム１００の全体性能のインジケータを提供することができる。例えば、処理ユニット１１０は、「誤ったヒット」（例えば、システム１００が車両又は歩行者の存在を間違って決定した場合）及び「当て損ない」の割合を決定することができる。
【0158】
段階７３０では、処理ユニット１１０は、第１、第２、及び第３の複数の画像のうちの２つから導出された情報に基づいて、１又は複数のナビゲーション応答を車両２００に引き起こすことができる。第１、第２、及び第３の複数の画像のうちの２つの選択は、例えば、複数の画像のそれぞれにおいて検出された対象物の数、タイプ、及びサイズ等、様々な要因に依存することができる。また、処理ユニット１１０は、画質及び解像度、画像に反映された有効視野、キャプチャされたフレームの数、フレームにおいて１又は複数の関心がある対象物が実際に現れる範囲（例えば、対象物が現れるフレームの割合、それぞれのそのようなフレームにおいて現れる対象物の割合等）等に基づいて、選択させることができる。
【0159】
いくつかの実施形態において、処理ユニット１１０は、１つの画像ソースから導出された情報が他の画像ソースから導出された情報に一致する範囲を決定することによって、第１、第２、及び第３の複数の画像のうちの２つから導出される情報を選択することができる。例えば、処理ユニット１１０は、（単眼分析、ステレオ分析、又はこれらの２つの任意の組み合わせによるかどうか）画像キャプチャデバイス１２２、１２４および１２６のそれぞれから導出された処理された情報を組み合わせることができ、（例えば、車線表示、検出された車両及びその位置、及び／又は経路、検出された信号機等）画像キャプチャデバイス１２２、１２４および１２６のそれぞれからキャプチャされた画像にわたって一致する視覚インジケータを決定することができる。また、処理ユニット１１０は、（例えば、車線を変更する車両、車両２００に近すぎる車両を示す車線モデル等）キャプチャされた複数の画像にわたって矛盾する情報を排除することができる。したがって、処理ユニット１１０は、一致する情報及び矛盾する情報の決定に基づいて、第１、第２、及び第３の複数の画像のうちの２つから導出された情報を選択することができる。
【0160】
ナビゲーション応答は、例えば、ターン、車線変更、加速度の変更等を含むことができる。処理ユニット１１０は、段階７２０で実行された分析及び図４に関連して上述したような技術に基づく１又は複数のナビゲーション応答を生じさせることができる。また、処理ユニット１１０は、１又は複数のナビゲーション応答を生じさせるめに、速度及び加速度モジュール４０６の実行から導出されたデータを使用することができる。いくつかの実施形態において、処理ユニット１１０は、車両２００と、第１、第２、及び第３の複数の画像の何れか内で検出された対象物との間の相対位置、相対速度、及び／又は相対加速度に基づく１又は複数のナビゲーション応答を生じさせることができる。複数のナビゲーション応答は、同時に、順番に、又はそれらの任意の組み合わせで、発生し得る。
【0161】
交差視野を有する撮像システム
【0162】
いくつかの実施形態において、車両２００は、撮像システム含むことができる。撮像システムは、車両２００のような、例えば、自動運転車両であるホスト車両に又は内部に取り付けられるように構成された撮像モジュールを含むことができる。本明細書で用いられる用語「撮像モジュール」は、少なくとも１つのカメラを収容し正しい方向に向ける構造を指す。撮像モジュールは、使用されるカメラのタイプに応じて、他のハードウェア及び配線を含むことができる。次に、撮像モジュールは、撮像モジュール内に収容された少なくとも１つのカメラが、車両２００のような車両に対して外向きに面するように、車両に撮像モジュールを取り付けるように構成されたマウントアセンブリに結合されることができる。本明細書で用いられる用語「マウントアセンブリ」は、車両２００のような車両に、取り付けモジュールを結合するように構成された任意のハードウェア又はデバイスを指す。マウントアセンブリは、当業者によって理解されるようなマウントブラケット、取り付け吸引結合器、取り付けフレーム、取り付け接着剤、迅速な／接続結合器等を含むことができる。
【0163】
本開示全体を通して、用語「交差」は、カメラ及びカメラ光学の技術分野の当業者によって理解されるような特定の幾何学的意味を有する。例えば、用語「交差」は、実際の物理的な交点又は投影交差点を必ずしも指すものでなく、あるいは、むしろ、少なくとも１つの平面内の少なくとも２つの投影の重複を指す。これは、地面に平行であり、（地面から測定された）異なる高さであり、交互のソースに由来する光軸に基づくベクトルについて、特に当てはまる。例えば、外向きに投影され１メートルの高さで地面に平行な光軸に基づく第１のベクトルと、外向きに投影され１．２メートルの高さで地面に平行な光軸に基づく第２のベクトルとについて、考慮する。この例によれば、ベクトルが必ずしも交差しなくても、平面図上に投影する場合、光軸に基づく第１のベクトルは、光軸に基づく第２のベクトルに「交差」する可能性がある。
【0164】
別の言い方をすれば、光軸に基づく第１の３次元ベクトルは、第１の２次元の光軸（又は第１のライン）として投影され、光軸に基づく第２の３次元ベクトルは、第２の２次元の光軸（又は第２のライン）として投影され、平面図の視点から見ると（又は他の２次元の視点）、第１の光軸及び第２の光軸は、「交差点」で互いに交差するように見えるであろう。さらに、「交差点」は幾何学原理から導出され、必ずしも、３次元空間内で２つの光軸の実際の交点ではないことが理解される。
【0165】
「交差点」を理解する他の方法は、「交差点」は、幾何学原理から導出される光軸に基づく第１のベクトル及び光軸に基づく第２のベクトルが交差する平面上の点の位置である。類似して、「交差面」は、光軸に基づく少なくとも２つのベクトルが交差する幾何学的平面として理解されべきである。従って、「交差面」は、少なくとも２つの光軸の投影交差点に対応する「交差点」を含む。
【0166】
いくつかの実施形態において、撮像システムは、互いに重複するそれぞれの視野及び組み合わされた視野を形成する少なくとも２つのカメラを含むことができる。いくつかの実施形態において、撮像システムは、他のカメラの少なくとも１つと交差するそれぞれの視野を有する３つ又はそれより多くのカメラを含むことができ、組み合わされた視野を形成することができる。
【0167】
いくつかの実施形態において、マウントアセンブリは、カメラが車両に対して外向きに面するように、車両に撮像モジュールを取り付けるように構成されてもよい。また、いくつかの実施形態において、マウントアセンブリは、車両に対して外向きに面し、地面に平行となるように、カメラを方向付けてもよい。マウントアセンブリは、車両のウィンドウの内面、又は車両の他の構成要素、例えば、バンパー、ピラー、ヘッドライト、テイルライト等に、撮像モジュールを取り付けるように構成されていてもよい。また、いくつかの実施形態において、マウントアセンブリは、ウィンドウの傾きを補うように構成されていてもよい。
【0168】
いくつかの実施形態において、撮像システムは、それぞれのカメラの視野から障害を取り除くように構成されたワイヤブレードを有するワイパーアセンブリを含むことができる。ワイパーアセンブリは、必要に応じて、ワイヤブレードを制御するように構成されたタイマ、センサ、及びモータをさらに含むことができる。
【0169】
いくつかの実施形態において、撮像システムは、グレアスクリーン又はフィルタを含むことができる。グレアスクリーン又はフィルタは、ウィンドウの傾き（例えば、スロープ）によって引き起こされる入射光からのグレアを低減することによって撮像システムの性能を改善することができる。さらに、グレアシールドは、カメラへの開口を提供するように構成されていてもよく、これにより、広範囲の距離にある複数の異なる対象物に生じる被写界深度を増大させることができ、焦点が合ったままになる。
【0170】
図８は、２つのカメラを有する撮像システムの実施形態の概略図である。例示的な実施形態は、少なくとも第１のカメラ８０５及び第２のカメラ８０９を含むことができる。図８において、２つのカメラが示されているが、いくつかの実施形態において、撮像システムは、２より多くのカメラ（例えば、３つのカメラ、４つのカメラ、５つのカメラ等）を含むことができる。いくつかの実施形態において、複数のカメラ（例えば、第１のカメラ８０５及び第２のカメラ８０９）は、上述の画像キャプチャデバイス１２２、１２４および１２６の１又は複数の特性を共有することができる。
【0171】
図８に示されように、第１のカメラ８０５は、光軸８０５ａを有する第１の視野を有し、第２のカメラ８０９は、光軸８０９ａを有する第２の視野を有する。いくつかの実施形態によれば、第１のカメラ８０５及び第２のカメラ８０９は、第１のカメラ８０５の第１の光軸８０５ａが、少なくとも１つの平面内で（例えば、水平面、垂直面、又は、水平面及び垂直面両方）、第２のカメラ８０９の第２の光軸８０９ａと交差するように（例えば、向き）配置される。いくつかの実施形態において、第１のカメラ８０５及び第２のカメラ８０９は、撮像モジュールに固定されることができ、撮像モジュールはマウントアセンブリに固定され又は結合され、マウントアセンブリはマウントブラケットに、順に、固定され又は結合されることができる。いくつかの実施形態において、撮像モジュールは、半円の円弧に沿って、第１のカメラ８０５及び第２のカメラ８０９を配置するように構成される。
【0172】
図８は、２次元（Ｘ，Ｙ）又は２Ｄにおいて、カメラ８０５および８０９の投影視界を示すことが理解されるべきである。理解を助けるだけのために２次元投影として図示されるが、光軸８０５ａおよび８０９ａは、光軸に基づくベクトルである。図示されるように、光軸８０５ａは、交差面の交差点８８８で（図示せず）、光軸８０９ａと交差し、光軸８０５ａおよび８０９ａは、図示された２Ｄ表現において、交差するように見えるが、それは、３Ｄにおいて実際には交差しないかもしれない。図示されるように、交差点８８８は、透明な透過エリア８０９の中央領域に一致する。このように、光軸８０５ａは、水平面内で光軸８０９ａに交差する。他の実施形態において、光軸８０５ａは、垂直面において光軸８０９ａと交差する。他の実施形態において、依然として、光軸８０５ａは、水平面及び垂直面において光軸８０９ａと交差する。交差点８８８は、比較的小さい透過エリア８０３の中央領域と一致する位置に図示されているが、交差点８８８は、それとは違って配置されていてもよい。例えば、交差面の交差点８８８は、比較的小さい透過エリア８０３の外側に配置されるように、第１のカメラ８０５及び第２のカメラ８０９からさらに離れて配置され得る。代替的に、交差面の交差点８８８は、比較的小さい透過エリア８０３の外側に配置されるように、第１のカメラ８０５及び第２のカメラ８０９により近くに配置されていてもよい。このように、交差面の交差点８８８は、比較的小さい透過エリア８０３から予め定められた距離に、例えば、約０．２メートルから２．０メートルまで、又は０．５メートルから１．０メートルまでの範囲に配置されていてもよい。少なくとも１つの実施形態において、第１のカメラ８０５及び第２のカメラ８０９は、車両のウィンドウの背後に取り付けられるように構成され、交差面の交差点８８８は、ウィンドウと第１のカメラ８０５及び第２のカメラ８０９との間に配置される。少なくとも１つの実施形態において、第１のカメラ８０５及び第２のカメラ８０９は、車両のウィンドウの背後に取り付けられるように構成され、交差面の交差点８８８は、ウィンドウの外面から予め定められた距離に配置される。
【0173】
例示的な実施形態において、第１のカメラ８０５は、焦点Ｐ１に焦点を合わせ、第２のカメラ８０９は、焦点Ｐ２に焦点を合わせる。このように、焦点Ｐ１は、交差面の交差点８８８を越えて第１の水平距離に配置され、焦点Ｐ２は、交差面の交差点８８８を越えて第２の水平距離に配置される。図示されるように、第１の水平距離及び第２の水平距離は、実質的に等しい距離であるが、代替的な実施形態において、それらは異なる距離とすることができる。例えば、Ｐ１は、Ｐ２の水平距離のおおよそ１．５倍でもよい。他の実施形態において、Ｐ１は、Ｐ２の水平距離のおおよそ、１．２５倍、１．７５倍、２．０倍、２．５倍、又は３．０倍でもよい。さらに、Ｐ１及びＰ２は、３次元空間において必ずしも特異点ではないことを留意すべきであり、すなわち、焦点Ｐ１及び焦点Ｐ２は、カメラ及びカメラ光学の技術分野の当業者によって理解されるように、それぞれの焦点エリアをそれぞれ包含することができる。さらに、依然として、焦点Ｐ１に対応する焦点エリア及び焦点Ｐ２に対応する焦点エリアは、少なくとも部分的に、重複してもよい。
【0174】
例示的な実施形態において、交差面の交差点８８８は、第１のカメラ８０５のレンズと、第２のカメラ８０７のレンズとの間の最短距離Ｄｘとほぼ等しい離隔距離Ｄｙで、第１のカメラ８０５及び第２のカメラ８０９から離れている。図示されるように、第１のカメラ８０５のレンズと第２のカメラ８０７のレンズとの間の最短距離Ｄｘは、Ｄｘによって表され、交差面の交差点８８８と、第１のカメラ８０５及び第２のカメラ８０９との間の離隔距離Ｄｙは、Ｄｙによって表される。離隔距離Ｄｙは、カメラ８０５又はカメラ８０９のレンズから測定されてもよく、従って、離隔距離Ｄｙは異なってもよいことが理解される。いくつかの実施形態において、離隔距離Ｄｙは、最短距離Ｄｘの１倍から４倍の範囲内にあってもよい。他の実施形態において、離隔距離Ｄｙは、最短距離Ｄｘの１倍から２倍、２倍から３倍、３倍から４倍、２倍から３倍、又は２倍から４倍の範囲内にあってもよい。いくつかの実施形態において、Ｄｘ及びＤｙは、交差面の交差点（例えば、交差点８８８）が配置され得る距離を定義する比で表現されてもよい。例えば、Ｄｙ≦Ｎ×Ｄｘ、ここで２≦Ｎ≧４。
【0175】
図示されるように、カメラ８０５の第１の視野及びカメラ８０９の第２の視野は、重複し、おおよそ９０度である組み合わされた視野を形成する。いくつかの実施形態において、カメラ８０５の第１の視野及びカメラ８０９の第２の視野は、部分的にのみ重なり合うが、それにも関わらず、組み合わされた視野を形成することができる。透明な透過エリア８０３は、構成要素８０１によって、境界として、輪郭が描かれてもよい。構成要素８０１は、車両の構成要素、例えば、ピラー、バンパー、ドアパネル、ヘッドライト、サイドウィンドウ、フロントウィンドウ等のような固体の機構でもよい。少なくとも１つの実施形態において、構成要素８０１は、少なくとも部分的に、図８の斜線の入ったエリア（すなわち、構成要素８０１）に対応する透明性のないエリアによって囲まれた透明な透過エリア８０３のような光を通過させる透明な透過エリア８０３を含むことができる。このように、比較的小さい透過エリア８０３は、第１のカメラ及び第２のカメラの組み合わされた視野と等しい広角視野を有する広角カメラによって必要とされるであろう比較透過エリアより小さい。他の実施形態において、構成要素８０１は、ホスト車両の外側に付着された撮像ブラケット又は撮像モジュールの外周でもよい。
【0176】
図９は、単一のカメラの広い視野システムの概略図である。いくつかの実施形態において、カメラ（例えば、単一のカメラ９０５）は、上述の画像キャプチャデバイス１２２、１２４および１２６の１又は複数の特性を共有することができる。単一のカメラ９０５は、比較的大きい透明な透過エリア９０３の外側に投影する光軸９０５ａを有する視野を有する。図示されるように、光軸９０５ａは、外向きに突出し、単一のカメラ９０５の視野を２つの対称的なエリアに分割する。単一のカメラ９０５は、図８の第１のカメラ８０１及び第２のカメラ８０９の組み合わされた視野と実質的に等しい視野を有する。図示されるように、単一のカメラ９０５は、およそ９０度である視野を有する。図９を図８と比較することによって理解できるように、透明な透過エリア９０３（構成要素９０１によって、境界として、輪郭が描かれてもよい）は、図８の透過エリア８０３より大きく、しかし、図８の撮像システムの組み合わされた視野は、図９の単一のカメラの視野と実質的に等しい。 単一のカメラの広い視野システムは、単一のカメラ９０５を使用するので、透明な透過エリア９０３は、同等な範囲エリアを有する視野を提供するために透明な透過エリア８０３より大きくなければならない。結果として、単一広視野システムに関連する設置面積は、図８の実施形態の設置面積より大きい。本開示の目的は、さらに広い視野（組み合わされた視野）を提供するために、撮像システムの設置面積を最小化することである。
【0177】
図１０は、３つのカメラを有する撮像システムの他の実施形態の概略図である。例示的な実施形態は、図８の実施形態に類似してもよい。例示的な実施形態は、第１のカメラ１００５、第２のカメラ１００７、及び第３のカメラ１００９を含むことができる。いくつかの実施形態において、カメラ（例えば、第１のカメラ１００５、第２のカメラ１００７、及び第３のカメラ１００９）は、上述した画像キャプチャデバイス１２２、１２４および１２６の１又は複数の特性を共有することができる。
【0178】
図１０に示されるように、第１のカメラ１００５は、光軸１００５ａを有する第１の視野を有し、第２のカメラ１００９は、光軸１００９ａを有する第２の視野を有し、第３のカメラ１００７は、光軸１００７ａを有する第３の視野を有する。 図１０は、２次元（Ｘ，Ｙ）又は２Ｄにおいて、カメラ１００５、１００７、および１００９の投影視界を示すことが理解されるべきである。理解を助けるだけのために２次元投影として図示されるが、光軸１００５ａ、１００７ａおよび１００９ａは、光軸に基づくベクトルである。図示されるように、光軸１００５ａ、光軸１００９ａ、及び光軸１００７ａは、交差面の少なくとも１つ（例えば、水平面、垂直面、又は、水平面及び垂直面の両方）の交差点１０１０において、互いにクロスオーバーする。例示的な実施形態において、第３のカメラ１００７は、実質的に、第１のカメラ１００５及び第２のカメラ１００９の中心及び等距離に配置される。しかしながら、他の実施形態において、第３のカメラ１００７は、例えば、第１のカメラ１００５または第２のカメラ１００９の中心ではなく及び／又はより近くにないように、交互に配置されてもよい。他の実施形態において、依然として、第３のカメラ１００７は、第１のカメラ１００５及び第２のカメラ１００９の前方であり、例えば、比較的小さい透明な透過エリア１００３の近くに配置されていてもよい。図示されるように、透明な透過エリア１００３は、構成要素１００１によって、境界として輪郭が描かれていてもよい。構成要素１００１は、車両の構成要素、例えば、ピラー、バンパー、ドアパネル、ヘッドライト、サイドウィンドウ、フロントウィンドウ等のような固体の機構でもよい。いくつかの実施形態において、第１のカメラ１００５、第２のカメラ１００９、第３のカメラ１００７は、撮像モジュールに固定されることができ、撮像モジュールは、マウントアセンブリに固定され又は結合され、マウントアセンブリは、マウントブラケットに、順に、固定され又は結合されることができる。いくつかの実施形態において、撮像モジュールは、半円の円弧に沿って、第１のカメラ１００５、第２のカメラ１００９、及び第３のカメラ１００７を配置するように構成されていてもよい。例えば、撮像モジュールは、半円のような形状でもよい。
【0179】
示されるように、光軸１００５ａ、１００９ａおよび１００７ａは、交差面（図示せず）の交差点１０１０で互いに交差する。示されるように、交差面の交差点１０１０は、透明な透過エリア１００３の中央領域に一致する。しかしながら、光軸１００５ａ、１００９ａおよび１００７ａは、任意の手法で独立して交差してもよいことを留意すべきである。つまり、追加の交差点及び／又は交差面があってもよい（図示せず）。さらに、いくつかの実施形態において、交差面の交差点１０１０は、同時に一致する独立した交差面の複数の独立した交差点を表してもよい。例えば、光軸１００５ａおよび１００９ａは、交差して、第１の交差面の第１の交差点を形成し、光軸１００５ａおよび１００７ａは、交差して、第２の交差面の第２の交差点を形成し、光軸１００９ａおよび１００７ａは、交差して、第３の交差面の第３の交差点を形成する。図示されるように、第１の交差面の第１の交差点、第２の交差面の第２の交差点、第３の交差面の第３の交差点は、互いに一致し、交差点１０１０として表され、同時交差面の同時交差点を形成する。 従って、「交差点」という用語は、少なくとも２つの光軸（光軸１００５ａ、１００９ａおよび１００７ａ等）が少なくとも１つの平面、例えば、水平面及び／又は垂直面において互いに交差する位置を指すことが理解される。
【0180】
交差面の交差点１０１０は、比較的小さい透過エリア１００３の中央領域に一致する位置に図示されているが、交差面の交差点１０１０は、それとは違って配置されていてもよい。例えば、交差面の交差点１０１０は、比較的小さい透過エリア１００３の外側に配置されるように、第１のカメラ１００５、第２のカメラ１００９、及び／又は第３のカメラ１００７からさらに離れて配置されていてもよい。代替的に、交差面の交差点１０１０は、比較的小さい透過エリア８０３の外側に配置されるように、第１のカメラ１００５、第２のカメラ１００９、及び／又は第３のカメラ１００７により近くに配置されていてもよい。このように、交差面の交差点１０１０は、比較的小さい透過エリア１００３から予め定められた距離に、例えば、約０．０１メートルから２．０メートルまで、０．１メートルから０．５メートルまで、又は０．５メートルから１．０メートルまでの範囲に配置されていてもよい。
【0181】
例示的な実施形態において、第１のカメラ１００５は、焦点Ｐ１に焦点を合わせ、第２のカメラ１００９は、焦点Ｐ２に焦点を合わせ、第３のカメラ１００７は、焦点Ｐ３に焦点を合わせる。このように、焦点Ｐ１は、交差面の交差点１０１０を越えて第１の水平距離に配置され、焦点Ｐ２は、交差点１０１０を越えて第２の水平距離に配置され、焦点Ｐ３は交差点１０１０を越えて第２の水平距離に配置される。図示されるように、第１、第２、及び第３の水平距離は、実質的に等しい距離であるが、代替的な実施形態において、異なる距離とすることができる。例えば、Ｐ１は、Ｐ２及び／又はＰ３の水平距離のおよそ１．５倍でもよく、その逆でもよい。他の実施形態において、Ｐ１は、Ｐ２の水平距離のおおよそ、１．２５倍、１．７５倍、２．０倍、２．５倍、又は３．０倍でもよい。さらに、Ｐ１、Ｐ２、及びＰ３は、３次元空間において、必ずしも特異点ではないことを留意すべきであり、すなわち、それらは、カメラ及びカメラ光学の技術分野の当業者によって理解されるように、それぞれの焦点エリアをそれぞれ包含することができる。さらに、依然として、焦点Ｐ１に対応する焦点エリア、焦点Ｐ２に対応する焦点エリア、及び焦点Ｐ３に対応する焦点エリアは、少なくとも部分的に、重複してもよい。
【0182】
例示的な実施形態において、交差点１０１０の交差点は、第１のカメラ１００５のレンズと第２のカメラ１００７のレンズとの間の最短距離Ｄｘとほぼと等しい離隔距離Ｄｙで、第１のカメラ１００５、第２のカメラ１００９及び第３のカメラ１００７から離れている。図示されるように、第１のカメラ１００５のレンズと第２のカメラ１００７のレンズとの間の最短距離Ｄｘは、Ｄｘによって表され、交差面の交差点１０１０と、第１のカメラ１００５及び第２のカメラ１００９との間の離隔距離Ｄｙは、Ｄｙによって表される。離隔距離Ｄｙは、カメラ１００５、カメラ１００９、又はカメラ１００７のレンズから測定されてもよく、従って、離隔距離Ｄｙは異なってもよいことが理解される。また、固有の最短距離Ｄｘは、それぞれのカメラ間に存在してもよいことが理解されるべきである。このように、各カメラ１００５、１００９および１００７は、それぞれの最短離隔距離Ｄｙ及びそれぞれの最短距離Ｄｘを有することができる。いくつかの実施形態において、離隔距離Ｄｙは、最短距離Ｄｘの１倍から４倍の範囲内にあってもよい。他の実施形態において、離隔距離Ｄｙは、最短距離Ｄｘの１倍から２倍、２倍から３倍、３倍から４倍、２倍から３倍、又は２倍から４倍の範囲内にあってもよい。いくつかの実施形態において、Ｄｘは、互いに最も遠く離れている、例えば、第１のカメラ１００５及び第２のカメラ１００９、２つのカメラ間の間隔を指してもよい。いくつかの実施形態において、Ｄｘ及びＤｙは、交差面の交差点１０１０が配置され得る距離を定義する比で表現されてもよい。例えば、Ｄｙ≦Ｎ×Ｄｘ、ここで２≦Ｎ≧４。
【0183】
図示されるように、第１のカメラ１００５の視野は、第２のカメラ１００９の第２の視野と重なる。第１及び第２のカメラ１００５、１００９の視野の両方は、第３のカメラ１００７の視野と重なる。例示的な実施形態において、光軸１００５ａは、比較的小さい透明な透過エリア１００３の中央領域において、光軸１００９ａ及び光軸１００７ａと交差する。このように、比較的小さい透過エリア１００３は、第１のカメラ、第２のカメラ、及び第３のカメラの組み合わされた視野と等しい広角視野を有する広角カメラによって必要とされるであろう比較透過エリアより小さい。図示されるように、カメラ１００５の第１の視野、カメラ１００９の第２の視野、及びカメラ１００７の第３の視野は、およそ１５０度である組み合わされた視野を形成する。他の実施形態において組み合わされた視野は、４５度から１８０度の範囲でもよい。例えば、組み合わされた視野は、５５度、６５度、７５度、８５度、９５度、１０５度、１１５度、１２５度、１３５度、１４５度、１５５度、１６５度、又は１７５度でもよい。
【0184】
図１１Ａは、図１０の３つのカメラの実施形態に一致する例示的な撮像システムの概略平面図である。 図示されるように、図１１Ａの例示的な撮像システムは、車両９９のリアサイドウィンドウ又は車両９９の本体のピラー部分等の構成要素に取り付けられることができる。いくつかの実施形態において、車両９９は自動運転車両でもよい。理解を容易にするため、車両９９は、２つの実質的に対称的な半分に長さ方向に車両９９を分割する中央の長手方向軸Ｃｘとともに示される。例示的な撮像システムは、それぞれの視野を有する各カメラをともなう３つのカメラを含む。例えば、第１の視野Ｆ１は、６６度の小さいキャップレンズを有する第１のカメラに対応し、第２の視野Ｆ２は、６６度の小さいキャップレンズを有する第２のカメラに対応し、第３の視野Ｆ３は、６６度の小さいキャップレンズを有する第３のカメラに対応する。例示的な実施形態において、各カメラは、６６度の視野を有する。第１の視野Ｆ１は、第３の視野Ｆ３と重なる。 同じく、第２の視野Ｆ２は、第３の視野Ｆ３と重なる。
【0185】
図１１Ａにおいて、第１の視野Ｆ１は、車両９９の中央の長手方向軸Ｃｘから５度オフセットしていてもよい。他の実施形態において、Ｆ１は、車両９９の中央の長手方向軸Ｃｘから、５度から３０度までの範囲、例えば、１０度、１５度、２０度、又は２５度、オフセットしていてもよい。第２の視野Ｆ２は、車両９９の中央の長手方向軸Ｃｘから１３度オフセットしていてもよい。他の実施形態において、Ｆ２は、車両９９の中央の長手方向軸Ｃｘから、５度から３０度までの範囲、例えば、１０度、１５度、２０度、又は２５度、オフセットしていてもよい。例示的な実施形態において、第３の視野Ｆ３は、第１の視野Ｆ１及び第２の視野Ｆ２と、等しい量、重なる。他の実施形態において、第３の視野Ｆ３は、車両９９の中央の長手方向軸Ｃｘに対して、実質的に垂直である。他の実施形態において、第３の視野Ｆ３は、車両９９の中央の長手方向軸Ｃｘからオフセットしていてもよく、すなわち、光軸は、中央の長手方向軸Ｃｘに対して、垂直ではない。
【0186】
例示的な実施形態において、組み合わされた視野は、１６２度である。他の実施形態において、組み合わされた視野は大きくても小さくてもよい。例えば、他の例示的な実施形態において、組み合わされた視野は、１００度から１７５度までの範囲、例えば、１１０度、１２０度、１３０度、１４０度、１５０度、１６５度等でもよい。
【0187】
図１１Ｂは、図８の２つのカメラの実施形態と一致する例示的な撮像システムの概略平面図である。 例示的な撮像システムは、図１１Ａの実施形態と類似する。従って、同様の特徴は、詳細に説明しないであろう。例示的な実施形態において、第１の視野Ｆ１Ｂは、６６度の小さいキャップレンズを有する第１のカメラに対応し、第２の視野Ｆ３Ｂは、６６度の小さいキャップレンズを有する第２のカメラに対応する。例示的な実施形態において、各カメラは、６６度の視野を有する。第１の視野Ｆ１Ｂは、第３の視野Ｆ３Ｂと重なる。
【0188】
図１１Ｂにおいて、第１の視野Ｆ１Ｂは、車両９９の中央の長手方向軸Ｃｘから５度オフセットしていてもよい。他の実施形態において、Ｆ１Ｂは、車両９９の中央の長手方向軸Ｃｘから、５度から３０度までの範囲、例えば、１０度、１５度、２０度、又は２５度、オフセットしていてもよい。第２の視野Ｆ３Ｂは、車両９９の中央の長手方向軸Ｃｘから６０度オフセットしていてもよい。他の実施形態において、Ｆ３Ｂは、車両９９の中央の長手方向軸Ｃｘから、３０度から９０度までの範囲、例えば、１０度、２０度、３０度、４０度、５０度、６０度、７０度、８０度、又は９０度、オフセットしていてもよい。
【0189】
例示的な実施形態において、組み合わされた視野は、１１５度である。他の実施形態において、組み合わされた視野は大きくても小さくてもよい。例えば、他の例示的な実施形態において、組み合わされた視野は、９０度から１７５度までの範囲、例えば、９５度、１００度、１１０度、１２０度、１３０度、１４０度、１５０度、１６５度等でもよい。
【0190】
図１２Ａは、図１０の３つのカメラの実施形態と一致する例示的な撮像システムの概略平面図である。 図１２Ａにおいて、例示的な撮像システムは、それぞれの視野を有する各カメラをともなう３つのカメラを含む。例えば、第１の視野Ｆ４は、５２度の小さいキャップレンズを有する第１のカメラに対応し、第２の視野Ｆ５は、５２度の小さいキャップレンズを有する第２のカメラに対応し、第３の視野Ｆ６は、１００度のレンズを有する第３のカメラに対応する。例示的な実施形態において、第１の視野Ｆ４は、第３の視野Ｆ６と重なる。同じく、第２の視野Ｆ５は、第３の視野Ｆ６と重なる。他の実施形態において、第１のカメラは、５２度の小さいキャップレンズを有してもよく、第２のカメラは、５２度の小さいキャップレンズを有してもよい。
【0191】
図１２Ａにおいて、第１の視野Ｆ４は、車両９９の中央の長手方向軸Ｃｘから５度オフセットする。他の実施形態において、Ｆ４は、車両９９の中央の長手方向軸Ｃｘから、５度から３０度までの範囲、例えば、１０度、１５度、２０度、又は２５度、オフセットしていてもよい。第２の視野Ｆ５は、車両９９の中央の長手方向軸Ｃｘから１３．１度オフセットしていてもよい。他の実施形態において、Ｆ５は、車両９９の中央の長手方向軸Ｃｘから、５度から３０度までの範囲、例えば、１０度、１５度、２０度、又は２５度、オフセットしていてもよい。例示的な実施形態において、第３の視野Ｆ６は、第１の視野Ｆ４及び第２の視野Ｆ５と、等しい量、重なる。他の実施形態において、第３の視野Ｆ６は、車両９９の中央の長手方向軸Ｃｘに対して実質的に垂直である。他の実施形態において、第３の視野Ｆ６は、車両９９の中央の長手方向軸Ｃｘからオフセットしていてもよく、すなわち、光軸は、中央の長手方向軸Ｃｘに対して、垂直ではない。
【0192】
いくつかの実施形態において、第３の視野は、第１の視野Ｆ４及び第２の視野Ｆ６と、等しい量、重なるように、方向付けされている。例示的な実施形態において、組み合わされた視野は、１６１．９度である。他の実施形態において、組み合わされた視野は大きくても小さくてもよい。例えば、他の例示的な実施形態において、組み合わされた視野は、１００度から１７５度までの範囲、例えば、１１０度、１２０度、１３０度、１４０度、１５０度、１６５度等でもよい。
【0193】
図１２Ｂは、図８の２つのカメラの実施形態と一致する例示的な撮像システムの概略平面図である。例示的な撮像システムは、図１２Ｂの実施形態と類似する。従って、同様の特徴は、詳細に説明しないであろう。図１２Ｂにおいて、例示的な撮像システムは、それぞれの視野を有する各カメラをともなう２つのカメラを含む。例えば、第１の視野Ｆ４Ｂは、５２度の小さいキャップレンズを有する第１のカメラに対応し、第２の視野Ｆ５Ｂは、１００度のレンズを有する第２のカメラに対応する。例示的な実施形態において、第１の視野Ｆ４Ｂは、第２の視野Ｆ６Ｂと重なる。
【0194】
図１２Ｂにおいて、第１の視野Ｆ４Ｂは、車両９９の中央の長手方向軸Ｃｘから５度オフセットしていてもよい。他の実施形態において、第１の視野Ｆ４Ｂは、車両９９の中央の長手方向軸Ｃｘから、５度から３０度までの範囲、例えば、１０度、１５度、２０度、又は２５度、オフセットしていてもよい。例示的な実施形態において、第２の視野Ｆ６Ｂは、車両９９の中央の長手方向軸Ｃｘから４３度オフセットしていてもよい。他の実施形態において、第２の視野Ｆ６Ｂは、車両９９の中央の長手方向軸Ｃｘに対して、実質的に垂直である。他の実施形態において、第２の視野Ｆ６Ｂは、車両９９の中央の長手方向軸Ｃｘからオフセットしていてもよく、すなわち、光軸は、中央の長手方向軸Ｃｘに対して、垂直ではない。
【0195】
例示的な実施形態において、組み合わされた視野は、１３２度である。他の実施形態において、組み合わされた視野は大きくても小さくてもよい。例えば、他の例示的な実施形態において、組み合わされた視野は、１００度から１７５度までの範囲、例えば、１１０度、１２０度、１３０度、１４０度、１５０度、１６５度等でもよい。
【0196】
図１３は、図１０の３つのカメラの実施形態と一致する例示的な撮像システムの概略平面図である。図１３において、例示的な撮像システムは、それぞれの視野を有する各カメラをともなう３つのカメラを含む。例えば、第１の視野Ｆ７は、５２度の小さいキャップレンズを有する第１のカメラに対応し、第２の視野Ｆ８は、５２度の小さいキャップレンズを有する第２のカメラに対応し、第３の視野Ｆ９は、１００度のレンズを有する第３のカメラに対応する。例示的な実施形態において、第１の視野Ｆ７は、第３の視野Ｆ９と、１７度、重なる。同じく、第２の視野Ｆ８は、第３の視野Ｆ９と、１７度、重なる。他の実施形態において、第１の視野Ｆ７及び第２の視野Ｆ９は、１０度から３５度の範囲内で、第３の視野Ｆ９とそれぞれ重なることができる。例えば、約１５度、２０度、２５度、３０度、３５度等。図１３において、第１の視野Ｆ７は、車両９９の中央の長手方向軸Ｃｘから５度オフセットし、第２の視野Ｆ８は、車両９９の中央の長手方向軸Ｃｘから５度オフセットする。例示的な実施形態において、第３の視野Ｆ９は、車両９９の中央の長手方向軸Ｃｘに対して、実質的に垂直であり、すなわち、光軸（図示せず）が、車両９９の中央の長手方向軸Ｃｘに対して、実質的に垂直である。他の実施形態において、第３の視野Ｆ９は、車両９９の中央の長手方向軸Ｃｘからオフセットしていてもよく、すなわち、光軸は、中央の長手方向軸Ｃｘに対して、垂直ではない。
【0197】
図１４は、図１０の３つのカメラの実施形態と一致する例示的な撮像システムの概略平面図である。図１４において、例示的な撮像システムは、それぞれの視野を有する各カメラをともなう３つのカメラを含む。例えば、第１の視野Ｆ１０は、５２度の小さいキャップレンズを有する第１のカメラに対応し、第２の視野Ｆ１１は、５２度の小さいキャップレンズを有する第２のカメラに対応し、第３の視野Ｆ１２は、１００度のレンズを有する第３のカメラに対応する。例示的な実施形態において、第１の視野Ｆ１０は、車両９９の中央の長手方向軸Ｃｘから７度オフセットし、第２の視野Ｆ１１は、車両９９の中央の長手方向軸Ｃｘから１３度オフセットする。例示的な実施形態において、第３の視野Ｆ１２は、車両９９の中央の長手方向軸Ｃｘに対して、完全に垂直ではないが、実質的に垂直であると言うことができる。
【0198】
図１５および１６は、開示される実施形態に一致する組み合わされた視野を有する他の例示的な撮像システムの斜視図である。撮像システム１４００は、第１のカメラ１４０２及び第２のカメラ１４０４を含む。 撮像システム１４００は、第１のカメラ１４０２及び第２のカメラ１４０４を収容するマウントアセンブリ１４０８をさらに含むことができる。マウントアセンブリ１４０８は、図１５に示されるように、第１のカメラ１４０２及び第２のカメラ１４０４が車両に対して外側に面するように、撮像モジュール１４００を車両に取り付けるように構成されていてもよい。図１５において、車両９９の側部に配置されるように示されるが、撮像システム１４００は、車両９９の任意のウィンドウ（例えば、フロントウィンドウ、サイドウィンドウ、リアウィンドウ）の背後に配置されていてもよく、車両９９の任意の構成要素（例えば、ピラー、バンパー、ドアパネル、ヘッドライト、トランクの蓋、フェンダー、ルーフラック、クロスバー等）に含まれ、又は取り付けていてもよい。例えば、車両の構成要素に含まれる場合、撮像システム１４００は、構成要素の開口部に交差して設けられた透明な表面（例えば、ガラス、プレキシガラス等）の背後に配置されていてもよい。
【0199】
マウントアセンブリ１４０８は、第１のカメラ１４０２及び第２のカメラ１４０４を地面と平行に方向付けするように構成されていてもよい。代替的に、マウントアセンブリ１４０８は、第１のカメラ１４０２及び第２のカメラ１４０４を地面に対してオフセット角度、例えば、５度、１０度、又は１５度で方向付けするように構成されていてもよい。
【0200】
撮像システム１４００は、少なくとも１つのワイヤブレードを含むワイパーアセンブリ１４０６をさらに含むことができる。ワイパーアセンブリ１４０６は、第１のカメラ１４０２及び第２のカメラ１４０４のそれぞれの視野から障害を取り除くするように構成されていてもよい。いくつかの実施形態において、ワイパーアセンブリ１４０６は、車両９９の外側に設置されることができる。ワイパーアセンブリ１４０６は、検知機能、タイマー機能、電動式アクチュエータ、ヒンジ式アクチュエータ、回転式アクチュエータ等を含むことができる。
【0201】
図１７及び図１８は、開示される実施形態と一致する組み合わされた視野を有する他の例示的な撮像システムの斜視図である。撮像システム１８００は、第１のカメラ１８０２（例示を目的として部分的に見えなくされている）、第２のカメラ１８０４及び第３のカメラ１８０６を含む。マウントアセンブリ（図１６の１４０８を参照）は、第１のカメラ１８０２、第２のカメラ１８０４、及び第３のカメラ１８０６が、車両９９のサイドリアウィンドウに対して外向きに面するように、車両９９の撮像モジュール１８００を取り付けるように構成されている。他の実施形態において、マウントアセンブリ（図１６の１４０８参照）は、図１９及び図２０に関連して、下でさらに詳細に述べるように、車両９９のフロントガラスに撮像モジュール１８００を取り付けるように構成されていてもよい。他の実施形態において依然として、マウントアセンブリ（図１６の参照１４０８）は、車両９９の構成要素、例えば、バンパー、ピラー、ドアパネル、ヘッドライト、トランクの蓋、フェンダー、ルーフラック、クロスバー等に撮像モジュール１８００を取り付けるように構成されていてもよい。
【0202】
フロントガラスの実施形態によれば、撮像システム１８００は、車両のフロントガラスに取り付けられることができる。この例示的な実施形態によれば、また、第３のカメラの光軸が直接的に前方となるように、第３のカメラモジュールは、直接的に前方に（車両９９の後輪を通る軸に対して垂直に）取り付けられることができる。第１のカメラは、第３のカメラの左に取り付けられることができ、第１のカメラの光軸が第３のカメラの光軸と交差するように（例えば、左から右に）向けられ、第２のカメラは、第３のカメラの右に取り付けられ、第２のカメラの光軸が第３のカメラの光軸と交差するように（例えば、右から左に）向けられる。また、第１及び第２のカメラの光軸は、必ずしも交差する必要はないが、互いに交差してもよいことも理解されるべきである。
【0203】
図１９及び図２０は、車両９９のフロントガラスに使用するための例示的な撮像システムの様々な実施形態を示す。図１９及び図２０は、前に説明した実施形態と類似し、従って、同様の特徴及び類似性は詳細に説明しない。全ての前述の例示的な範囲は、図１９及び図２０に従って実施形態に同じく適用可能であることは理解されるべきである。
【0204】
図１９は、図１０及び図１１Ａ～図１４の３つのカメラの実施形態と一致する例示的な撮像システムの概略平面図である。図１９において、例示的な撮像システムは、それぞれの視野を有する各カメラをともなう３つのカメラを含む。例えば、第１の視野Ｆ１３は、６６度の小さいキャップレンズを有する第１のカメラに対応し、第２の視野Ｆ１４は、６６度の小さいキャップレンズを有する第２のカメラに対応し、第３の視野Ｆ１５は、６６度のレンズを有する第３のカメラに対応する。例示的な実施形態において、第１の視野Ｆ１３は、第３の視野Ｆ１５と重なる。 同じく、第２の視野Ｆ１４は、第３の視野Ｆ１５と重なる。
【0205】
図２０は、図１０の３つのカメラの実施形態と一致する例示的な撮像システムの概略平面図である。図２０において、例示的な撮像システムは、それぞれの視野を有する各カメラをともなう３つのカメラを含む。例えば、第１の視野Ｆ１６は、５２度の小さいキャップレンズを有する第１のカメラに対応し、第２の視野Ｆ１７は、５２度の小さいキャップレンズを有する第２のカメラに対応し、第３の視野Ｆ１８は、１００度のレンズを有する第３のカメラに対応する。例示的な実施形態において、第１の視野Ｆ１６は、第３の視野Ｆ１８と重なる。同じく、第２の視野Ｆ１７は、第３の視野Ｆ１８と重なる。いくつかの実施形態において、組み合わされた視野は、車両の前方１８０度を有することができる。
【0206】
図２１は、例示的な撮像システム２２００の概略側面図である。図２２は、図１０の３つのカメラの実施形態と一致する撮像システム２２００の全体像の図である。図示されるように、撮像システム２２００は、車両９９のリアウィンドウの内側に設置される。他の実施形態において、撮像システム２２０は、本開示の原則に従って、車両９９のフロントガラスに設置されてもよい。撮像システム２２００は、光がウィンドウを透過してカメラ２２０５、２２０７および２００９に到達することが可能にする比較的小さい透過エリア２２０４を取り囲むグレアシールド２２０２を含むことができる。グレアシールド２２０２は、ダーク接着剤、遮光ペンキ、着色、偏光、露光量のための印刷又は塗装されたエリア、それらの任意の組み合わせを含むことができる。グレアシールド２２０２の少なくとも１つの利点は、フロントガラスの傾き（スロープ）によって引き起こされる入射光からからのグレアを低減することができる。グレアシールド２２０２は、カメラ１００５、１００７および１００９への開口を提供するように構成された比較的小さい透過エリア２２０４を取り囲むことができ、これにより、カメラ２２０５、２２０７および２２０９の被写界深度を増大させ、複数の異なる対象物を広範囲の距離で焦点が合ったままとすることができる。いくつかの実施形態において、比較的小さい透過エリア２２０４は着色され又は偏光されることができる。
【0207】
図２３は、フロントガラス２３００に配置された例示的な撮像システム２２００の側面図である。図示されるように、フロントガラス２３００は、真っすぐな水平方向表面、例えば、地面に対して４０度の傾きを有する。図２３の例は、４０度の傾きでフロントガラス２３００を示すが、他の傾き（例えば、３５度、３８度、４２度、４５度等）のフロントガラスは、開示される実施形態に一致する。例示的な実施形態において、撮像システム２２００は、３つのカメラ２２０５、２２０７および２２０９を含み（図２２参照）、しかしながら、側面図において、カメラ２２０５によってカメラ２２０９は見えなくなるので、第１のカメラ２２０５及び第３のカメラ２２０７のみが図示される。図示されるように、カメラ２２０５および２２０７は、異なる高さである。従って、それぞれの光軸（それぞれの破線で示された）に関連するベクトルは、垂直面内で交差しないかもしれない。しかしながら、それぞれの光軸（それぞれの破線でで示された）に関連するベクトルは、水平面内で交差してもよい。さらに、いくつかの実施形態において、先に述べたように、撮像システム２２０は、２つのカメラを含むことができる。例示的な実施形態において、撮像モジュール２３５０は、フロントガラス２３００に実質的に等しいおおよその傾き、例えば、真っすぐな水平方向表面に対して、約４０度の傾きを有するように成形されている。他の実施形態において、撮像モジュール２３５０は、実質的に長方形であり、フロントガラス２３００の傾きを構成するために単にマウントアセンブリ（理解を容易にするためラベルなし）に依存することができる。さらに、マウントアセンブリ（理解を容易にするためラベルなし）は、カメラ２００５、２００７および２００９がフロントガラス２３００に対して外向きに投影するように、ウィンドウに対してしっかりと撮像モジュール２３５０を保持するように構成されている。さらに、カメラ２２０５、２２０７および２２０９の光軸（破線の矢印によって表され）は、地面に平行に外向きに投影することができる。このように、撮像モジュール及びマウントアセンブリは、フロントガラスの傾き（スロープ）を構成することができる。これと同じ方法で、撮像モジュール及びマウントアセンブリは、他のレベル及びタイプの傾き、例えば、水平方向、垂直方向、水平方向及び垂直方向の組み合わせを構成してもよいことが理解されるべきである。
【0208】
図２４は、図２３の概略平面図である。図２４では、３つのカメラ、すなわち、第１のカメラ２２０５、第２のカメラ２２０９、及び第３のカメラ２２０７が図示されている。図示されるように、３つのカメラ２２０５、２２０９および２２０７は、グレアシールド２２０２によって囲まれる比較的小さい透明な透過エリアを通って外向きに突出する。グレアシールドは、カメラ１００５、１００７および１００９への開口を提供するように構成され、これにより、カメラ２２０５、２２０７および２２０９の被写界深度を増大させ、複数の異なる対象物を広範囲の距離で焦点が合ったままとすることが可能である。いくつかの実施形態において、比較的小さい透過エリア２２０４は着色され又は偏光されることができる。
【0209】
一実施形態において、第１、第２、及び第３のカメラは、グレアシールド２２０２（例えば、図２２）において同じ開口部を使用することができる。他の実施形態において、各カメラは、それ自体のそれぞれのグレアシールド及び対応する透明なエリア（図示せず）を有することができる。いくつかの例において、カメラによって用いられる印刷又は塗装されたエリアの開口部は、カメラモジュールの３つの（又はそれ以上）カメラの組み合わされたＦＯＶのような類似特性をともなう視野を有するカメラによって必要とされるであろうエリアと等しく又はより小さくてもよい。
【0210】
一実施形態において、第３のカメラは、任意で、第１及び第２のカメラ間に配置される。従って、サイドカメラ（第１及び第２のカメラ２２０５、２２０７）が組み合わされることができるので、第３のカメラ２２０７単独の視野よりも大きい組み合わされた視野を形成し得ることが理解され、組み合わされたＦＯＶを利用することによって、カメラモジュールの性能を妨げることなく、第３のカメラでより細いレンズを使用できる場合があります。これは、第１及び第２のカメラ２２０５、２２０７に対して第３のカメラ２２０７が車両のフロントガラス（又はウィンドウ）の近くに取り付けられ得るので、特に有利であり得る。さらに、フロントガラスにより近づけて取り付けられた中央カメラ２２０７を有することによって、ウィンドウの印刷または塗装された開口部の小さな開口部に、より大きな視野範囲が得られ、または支持され得ることがさらに理解されるであろう。
【0211】
図２５は、本開示に一致する他の実施形態の概略平面図である。例示的な実施形態において、撮像モジュール２５１２は、比較的小さい透明な透過エリア２５１１と一致する半径を有する半円の形状に配置されたカメラを含む。つまり、例示的な実施形態において、撮像モジュールは、半円の円弧に沿って、複数のカメラ２５０１、２５０２、２５０３、２５０４、２５０５、２５０６および２５０７を配置するように構成される。図示されるように、カメラは、半円の半径に向かって方向付けされてもよい。他の開示される実施形態と一致して、マウントアセンブリは（図示せず）、カメラが車両に対して外方に面するように車両のウィンドウの内面に（又は他のコンポーネント）撮像モジュール２５１１を取り付けるように構成されていてもよい。他の実施形態において、弓形の形状を有する撮像モジュール２５１２では、対応する半径は、比較的小さい透明な透過エリア２５１１に一致して配置されなくてもよく、例えば、何れの側部にあってもよい。例示的な実施形態において、対称に方向付けされた７つのカメラ２５０１、２５０２、２５０３、２５０４、２５０５、２５０６および２５０７があるが、他の実施形態において、より多くの又はより少ないカメラがあってもよい。いくつかの実施形態において、カメラは、半円の弧線に沿って対称に離間されていなくてもよい。
【0212】
例示的な実施形態において、それぞれのカメラ２５０１、２５０２、２５０３、２５０４、２５０５、２５０６および２５０７は、それぞれの視野（対応する三角領域によって表され）及それぞれの光軸を有し、それぞれの光軸（対応する破線によって表され）は、単一の比較的小さい透過開口部２５１１の外向きに突出する。例示的な実施形態において、組み合わされた視野Ｆｃが１７０度であるが、他の実施形態において、例えば、約１００度から１８０度の範囲内で、より多く又はより少なくすることができる。図示されるように、各カメラ２５０１、２５０２、２５０３、２５０４、２５０５、２５０６および２５０７は、組み合わされた視野Ｆｃと比較される場合、比較的狭い視野を有する。
【0213】
図示されるように、それぞれの視野は、半円の半径、及び単一の比較的小さい透過開口部２５１１の中心となる位置に配置された半円の半径と、少なくとも部分的に重なる。 さらに、それぞれの光軸（対応する破線によって表され）は、上記の開示と一致するそれぞれの交差面（理解を容易にするために図示せず）の少なくとも１つのそれぞれの交差点で、他の全てのそれぞれの光軸と交差する（図１０参照）。このように、２つの光軸の各交差は、それぞれの交差面のそれぞれの交差点に対応する。例示的な実施形態において、それぞれの光軸は、少なくとも水平面内で、他の全てのそれぞれの光軸と交差する。他の実施形態において、それぞれの光軸は、少なくとも垂直面内で、他の全てのそれぞれの光軸と交差する。依然として、他の実施形態において、それぞれの光軸は、水平面内及び垂直面内の両方で、他の全てのそれぞれの光軸と交差する。
【0214】
例示的な実施形態において、比較的小さい透過エリア２５１１は、それぞれのカメラ２５０１、２５０２、２５０３、２５０４、２５０５、２５０６および２５０７への開口を提供するように構成され、これにより、それぞれのカメラ２５０１、２５０２、２５０３、２５０４、２５０５、２５０６および２５０７の被写界深度を増大させ、複数の異なる対象物を広範囲の距離で焦点が合ったままとすることができる。さらに、比較的小さい透過エリア２５１１は、組み合わされた視野Ｆｃと実質的に等しい広角視野を有する広角カメラによって必要とされるであろう比較透過エリアより小さい。いくつかの実施形態において、組み合わされた視野は、車両９９の前方に少なくとも約１８０度でもよい。図示されるように、透明な透過エリア２５１１は、構成要素２５１０によって、境界として輪郭が描かれていてもよい。構成要素２５１０は、車両の構成要素、例えば、ピラー、バンパー、ドアパネル、ヘッドライト、サイドウィンドウ、フロントウィンドウ等のような固体の機構でもよい。
【0215】
例示的な実施形態において、それぞれのカメラ２５０１、２５０２、２５０３、２５０４、２５０５、２５０６および２５０７は、複数のカメラのうちの直接隣接したカメラ２５０１、２５０２、２５０３、２５０４、２５０５、２５０６または２５０７の少なくとも１つから等距離だけ離れている。他の実施形態において、それぞれのカメラ２５０１、２５０２、２５０３、２５０４、２５０５、２５０６および２５０７は、等しい距離で離間していない。例示的な実施形態において、各交差面の各交差点は、直接隣接するカメラ間と少なくとも等しい距離、最も近いカメラから離れて配置されている。図示されるように、各交差面の各交差点は、直接隣接するカメラ間と等しい距離の最大４倍、最も近いカメラから離れて配置されている。他の実施形態において、各交差面の各交差点は、直接隣接するカメラ間と等しい距離の最大６倍、最も近いカメラから離れて配置されている。
【0216】
例示的な実施形態において、それらの対応する光軸と比較的小さい透明な透過エリア２５１１との間の最大の静止角をともなうカメラは、偏光フィルタ２５１５を有することができる。偏光フィルタ２５１５は、比較的小さい透過開口部２５１１によって屈折された入射光から反射を除去又は回避することが支援することができる。さらに、複数のカメラを使用することによって、偏光フィルタ２５１５は、最も影響があるそれらのカメラのみに取り付けられてもよい。さらに、例示的な実施形態は、複数のカメラ２５０１、２５０２、２５０３、２５０４、２５０５、２５０６および２５０７を有するので、各カメラの露光レベルは、その特定のカメラのために最適化され得る。さらに、一つの特定のカメラのレンズに当たる太陽光に起因するグレアは、他のカメラから画像に影響を与えないかもしれない。このように、複数のカメラ２５０１、２５０２、２５０３、２５０４、２５０５、２５０６および２５０７は、画像品質に冗長性を提供することができ、そうでなければ、露光不良の可能性に対してヘッジするように構成され得る。
【0217】
少なくとも１つの実施形態において、約２ｍｍの７つのＶＧＡ解像度カメラキューブは、図２５によって図示されるように、半円の円弧に沿って互いに離間している。本実施形態によれば、半円は、約１０ｍｍの直径を有する円に対応する。この実施形態の少なくとも１つの利点は、結果として、非常にコンパクトな高解像度の組み合わされた視野をもたらすことである。
【0218】
類似であるが代替的な実施形態において、複数のカメラは、比較的小さい透過半球開口の最も近くに配置された１２カメラの第１のリングをともなう半球体に取り付けられてもよい。本実施形態において、第１のリングの１２カメラのそれぞれは、偏光フィルタを有することができる。さらに、８カメラの第２のリング、４カメラの第３のリング、及び中央カメラが含まれてもよい。
【0219】
画像処理技術は、２つ又はそれより多くのカメラの視野を組み合わせて使用されることができ、本明細書の開示と一致してもよいように、組み合わされた視野を提供できることを当業者は理解するであろう。例えば、少なくとも１つの処理デバイス（例えば、処理ユニット１１０）は、組み合わされた視野を提供するため、及び／又は、２つ又はそれより多くのカメラによってキャプチャされた１又は複数の画像を分析するための命令プログラムを実行することができる。２つ又はそれより多くのカメラのそれぞれの視野が部分的に重複する場合、任意の結果として起こり得る組み合わされた視野は、２つ又はそれより多くのカメラの視野の重複エリア及び２つ又はそれより多くのカメラの何れか１つの非重複エリアを含み得る。トリミングは、本開示に一致する撮像技術において、冗長性を低減又は防止するために使用され得る。
【0220】
また、開示される実施形態は、ホスト車両の内部又はホスト車両のどこかに配置されていてもよく、必ずしも自動運転車両に限定されないことを、当業者は理解するであろう。さらに、いくつかの実施形態において、マルチ撮像システムは、車両９９に設置されてもよい。例えば、第１の撮像システムは右サイドリアウィンドウに設置されされてもよく、第２の撮像システムは左サイドリアウィンドウに設置されてもよく、第３の撮像システムはリアバックウィンドウに設置されてもよく、第４の撮像システムはフロントガラスに設置されてもよい。本実施形態によれば、マルチ撮像システムは、車両９９を囲む全体パノラマの組み合わされた視野を形成するために組み合わせることができる。
【0221】
前述の説明は、例示の目的で提示されている。包括的ではなく、正確な形態又は開示された実施形態に限定されない。変更及び適合は、明細書および開示される実施形態の実施を考慮することにより、当業者には明らかであろう。
【0222】
さらに、例示的な実施形態が本明細書で説明されたが、同等の素子、修正、省略、組み合わせ（例えば、様々な実施形態にわたる態様の）、適応及び／又はような変更を有する実施形態の何れの及び全ての範囲が、本開示に基づいて当業者によって理解されるであろう。特許請求の範囲における制限は、特許請求の範囲で使用される言語に基づいて広く解釈されるべきであり、本明細書に説明された例または出願の審査中に限定されない。例は非排他的であると解釈されるべきである。さらに、開示された方法の段階は、段階を並べ替えること及び／又は段階を挿入または削除することを含む、任意の手法で変更されてもよい。従って、本明細書および実施例は例示にすぎないと考えられることが意図されており、真の範囲および主旨は以下の特許請求の範囲およびそれらの均等物の全範囲によって示される。
【図1】
【図2A】
【図2B】
【図2C】
【図2D】
【図2E】
【図2F】
【図3A】
【図3B】
【図3C】
【図3D】
【図4】
【図5A】
【図5B】
【図5C】
【図5D】
【図5E】
【図5F】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図12A】
【図12B】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】