IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ウェイモ エルエルシーの特許一覧

特許7210589ダイナミックレンジを拡大するための複数の動作モード
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-01-13
(45)【発行日】2023-01-23
(54)【発明の名称】ダイナミックレンジを拡大するための複数の動作モード
(51)【国際特許分類】
   H04N 23/741 20230101AFI20230116BHJP
   G03B 7/091 20210101ALI20230116BHJP
   G03B 15/00 20210101ALI20230116BHJP
   H04N 23/45 20230101ALI20230116BHJP
   H04N 23/60 20230101ALI20230116BHJP
【FI】
H04N5/235 500
G03B7/091
G03B15/00 Q
G03B15/00 V
H04N5/225 800
H04N5/232 290
【請求項の数】 18
(21)【出願番号】P 2020535108
(86)(22)【出願日】2018-11-30
(65)【公表番号】
(43)【公表日】2021-03-18
(86)【国際出願番号】 US2018063332
(87)【国際公開番号】W WO2019133177
(87)【国際公開日】2019-07-04
【審査請求日】2020-08-12
(31)【優先権主張番号】62/611,206
(32)【優先日】2017-12-28
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/199,998
(32)【優先日】2018-11-26
(33)【優先権主張国・地域又は機関】US
【前置審査】
(73)【特許権者】
【識別番号】317015065
【氏名又は名称】ウェイモ エルエルシー
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100126480
【弁理士】
【氏名又は名称】佐藤 睦
(72)【発明者】
【氏名】ウェンデル,アンドリアス
(72)【発明者】
【氏名】ディットマー,ジェレミー
(72)【発明者】
【氏名】ハーマリン,ブレンダン
(72)【発明者】
【氏名】イングラム,ベンジャミン
【審査官】吉川 康男
(56)【参考文献】
【文献】特開2007-096684(JP,A)
【文献】特開2006-060425(JP,A)
【文献】特開2003-030665(JP,A)
【文献】特表2012-521673(JP,A)
【文献】特開平04-214937(JP,A)
【文献】米国特許出願公開第2015/0350510(US,A1)
【文献】特開2015-207861(JP,A)
【文献】特表2010-512719(JP,A)
【文献】特開2009-253316(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/235
G03B 7/091
G03B 15/00
H04N 5/225
H04N 5/232
(57)【特許請求の範囲】
【請求項1】
カメラシステムであって、
シーンにおける輝度レベルの第1の範囲に対応する第1のダイナミックレンジを有する第1の画像センサと、
前記シーンにおける輝度レベルの第2の範囲に対応する第2のダイナミックレンジを有する第2の画像センサであって、前記第2の画像センサが中性濃度フィルタを介して前記シーンから光を受信し、輝度レベルの前記第2の範囲が輝度レベルの前記第1の範囲よりも高い輝度レベルを含む、第2の画像センサと、
前記第1の画像センサおよび前記第2の画像センサに結合されたプロセッサであって、前記プロセッサが、
前記第1の画像センサによって捕捉された前記シーンの第1の画像における第1の物体タイプの物体を識別することであって、前記第1の物体タイプが輝度レベルの前記第1の範囲内の予想される輝度を有する、識別することと、
前記第2の画像センサによって捕捉された前記シーンの第2の画像における第2の物体タイプの物体を識別することであって、前記第2の物体タイプが輝度レベルの前記第2の範囲内の予想される輝度を有し、前記第1の画像および前記第2の画像が前記第1の画像センサおよび前記第2の画像センサによって同時に捕捉される、識別することと、
前記第1の画像センサおよび前記第2の画像センサによって同時に捕捉された前記第1の画像および前記第2の画像の組み合わせに基づいて深度を決定することと、
前記シーンの前記第2の画像における前記第1の物体タイプの物体を識別することと、
前記シーンの前記第1の画像において識別された前記第1の物体タイプの前記物体と前記シーンの前記第2の画像において識別された前記第1の物体タイプの物体とを比較することによって、前記第1の物体タイプの前記識別された物体のエラーをチェックすることと、を行うための命令を実行するように構成されている、プロセッサと、を備える、カメラシステム。
【請求項2】
前記第1の画像センサが照度に基づいて命令を実行するコントローラによって調整される可変露出を有し、
前記第2の画像センサが固定露出を有する、請求項1に記載のカメラシステム。
【請求項3】
輝度に基づいて前記可変露出を調整することが、前記第1の画像センサの露出持続時間、絞りサイズ、ゲインレベル、またはISO感度を調整することを含む、請求項2に記載のカメラシステム。
【請求項4】
カメラシステムであって、
前記可変露出が、前記第1の画像センサ上のシャッターに関連するシャッタースピードまたはゲインを修正することによって調整され、
第1の物体タイプが、
前記カメラシステムに対して動いており、前記シャッタースピードに対して高い速度を有する物体、または、
前記シャッタースピードよりも速い速度で変調されている能動的照光物体、を含み、
前記第2の物体タイプが、
前記カメラシステムに対して動いており、前記シャッタースピードに対して低い速度もしくは同等の速度を有する物体、または、
前記シャッタースピードと同様、もしくはそれより遅い速度で変調されている能動的照光物体、を含む、請求項2に記載のカメラシステム。
【請求項5】
カメラシステムであって、前記シーンにおける輝度レベルの第3の範囲に対応する第3のダイナミックレンジを有する第3の画像センサをさらに備え、
プロセッサが前記第3の画像センサに結合されており、
輝度レベルの前記第3の範囲が、輝度レベルの前記第1の範囲よりも低い少なくとも1つの輝度レベルを含み、
前記プロセッサが、前記第3の画像センサによって捕捉された前記シーンの第3の画像における第3の物体タイプの物体を識別することであって、前記第3の物体タイプが、輝度レベルの前記第3の範囲内の予想される輝度を有する、識別すること、を行うための命令を実行するようにさらに構成されている、請求項1に記載のカメラシステム。
【請求項6】
前記第3の画像センサが照度に基づいて命令を実行するコントローラによって調整される可変露出を有する、請求項5に記載のカメラシステム。
【請求項7】
輝度に基づいて前記可変露出を調整することが、前記第3の画像センサの露出持続時間、シャッタースピード、絞りサイズ、またはISO感度を調整することを含む、請求項6に記載のカメラシステム。
【請求項8】
前記第1の画像センサおよび前記第2の画像センサが、単一の画像センサの重複しないセンサ領域である、請求項1に記載のカメラシステム。
【請求項9】
カメラシステムであって、
前記第1のダイナミックレンジを有する第3の画像センサと、
前記第2のダイナミックレンジを有する第4の画像センサと、をさらに備え、
前記第4の画像センサが追加の中性濃度フィルタを介して前記シーンの別の視点からの光を受信し、
前記プロセッサが前記第3の画像センサおよび前記第4の画像センサに結合されており、
前記プロセッサが、
前記第3の画像センサによって捕捉された前記シーンの前記別の視点の第3の画像における前記第1の物体タイプの物体を識別することと、
前記第4の画像センサによって捕捉された前記シーンの前記別の視点の第4の画像における前記第2の物体タイプの物体を識別することと、を行うための命令を実行するようにさらに構成されている、請求項1に記載のカメラシステム。
【請求項10】
カメラシステムであって、
前記第1のダイナミックレンジを有する第3の画像センサと、
前記第2のダイナミックレンジを有する第4の画像センサと、をさらに備え、
前記第4の画像センサが追加の中性濃度フィルタを介して前記シーンの別の視点からの光を受信し、
前記プロセッサが前記第3の画像センサおよび前記第4の画像センサに結合されており、
前記プロセッサが、
前記第3の画像センサによって捕捉された前記シーンの前記別の視点の第3の画像における第3の物体タイプの物体を識別することであって、前記第3の物体タイプが、輝度レベルの前記第1の範囲内の予想される輝度を有する、識別することと、
前記第4の画像センサによって捕捉された前記シーンの前記別の前記視点の第4の画像における第4の物体タイプの物体を識別することであって、前記第4の物体タイプが、輝度レベルの前記第2の範囲内の予想される輝度を有する、識別することと、を行うための命令を実行するようにさらに構成されている、請求項1に記載のカメラシステム。
【請求項11】
前記第3の画像センサが輝度に基づいて命令を実行するコントローラによって調整される可変露出を有し、
前記第4の画像センサが固定露出を有する、請求項10に記載のカメラシステム。
【請求項12】
輝度に基づいて前記可変露出を調整することが、前記第3の画像センサの露出持続時間、絞りサイズ、またはISO感度を調整することを含む、請求項11に記載のカメラシステム。
【請求項13】
カメラシステムであって、
前記第1の画像センサに光学的に結合され、第1の焦点距離を有する第1のレンズと、
前記第2の画像センサに光学的に結合され、第2の焦点距離を有する第2のレンズと、をさらに備え、
前記第1の焦点距離が前記第2の焦点距離とは異なり、
対応して、前記シーンの前記第1の画像および前記シーンの前記第2の画像が異なる焦点距離で捕捉され、
前記プロセッサが、光学的に結合された、シミュレートされたレンズを有するシミュレートされた画像センサによって捕捉された画像をシミュレートする画像を生成すること、を行うための命令を実行するようにさらに構成されており、
前記シミュレートされたレンズが、前記第1の焦点距離と前記第2の焦点距離との間の焦点距離を有する、請求項1に記載のカメラシステム。
【請求項14】
カメラシステムであって、
シーンにおける輝度レベルの第1の範囲に対応する第1のダイナミックレンジを有する第1の画像センサと、
前記シーンにおける輝度レベルの第2の範囲に対応する第2のダイナミックレンジを有する第2の画像センサであって、前記第2の画像センサが中性濃度フィルタを介して前記シーンから光を受信し、輝度レベルの前記第2の範囲が輝度レベルの前記第1の範囲よりも高い輝度レベルを含む、第2の画像センサと、
前記第1の画像センサおよび前記第2の画像センサに結合されたプロセッサと、
前記第1の画像センサに光学的に結合され、第1の焦点距離を有する第1のレンズと、
前記第2の画像センサに光学的に結合され、第2の焦点距離を有する第2のレンズと、を備え、
前記第1の焦点距離が前記第2の焦点距離とは異なり、
対応して、前記シーンの前記第1の画像および前記シーンの前記第2の画像が異なる焦点距離で捕捉され、
前記プロセッサが、
前記第1の画像センサによって捕捉された前記シーンの前記第1の画像における第1の物体タイプの物体を識別することであって、前記第1の物体タイプが輝度レベルの前記第1の範囲内の予想される輝度を有する、識別することと、
前記第2の画像センサによって捕捉された前記シーンの前記第2の画像における第2の物体タイプの物体を識別することであって、前記第2の物体タイプが輝度レベルの前記第2の範囲内の予想される輝度を有し、前記第1の画像および前記第2の画像が前記第1の画像センサおよび前記第2の画像センサによって同時に捕捉される、識別することと、
前記第1の画像センサおよび前記第2の画像センサによって同時に捕捉された前記第1の画像および前記第2の画像の組み合わせに基づいて深度を決定することと、
前記シーンの前記第2の画像における前記第1の物体タイプの物体を識別することと、
前記カメラシステムからの前記シーンにおける前記第1の物体タイプの1つ以上の物体の距離を、
前記第1の焦点距離と、
前記第2の焦点距離と、
前記シーンの前記第1の画像における前記1つ以上の物体の焦点と、
前記シーンの前記第2の画像における前記1つ以上の物体の焦点と、に基づいて判定することと、を行うための命令を実行するように、構成されている、カメラシステム。
【請求項15】
前記第1の画像センサおよび前記第2の画像センサが、垂直に位置合わせされている、請求項1に記載のカメラシステム。
【請求項16】
前記カメラシステムが、自律車両に装着されており、物体の検出および回避のために使用される、請求項1に記載のカメラシステム。
【請求項17】
方法であって、
シーンにおける輝度レベルの第1の範囲に対応する第1のダイナミックレンジを有する第1の画像センサによって、前記シーンの第1の画像を捕捉することと、
前記シーンにおける輝度レベルの第2の範囲に対応する第2のダイナミックレンジを有する第2の画像センサによって、前記シーンの第2の画像を捕捉することであって、
前記第2の画像センサが、中性濃度フィルタを介して前記シーンの前記第2の画像を捕捉し、
輝度レベルの前記第2の範囲が、輝度レベルの前記第1の範囲よりも高い輝度レベルを含む、捕捉することと、
前記第1の画像センサおよび前記第2の画像センサに結合されたプロセッサによって、前記第1の画像における第1の物体タイプの第1の物体を識別することであって、
前記第1の物体タイプが、輝度レベルの前記第1の範囲内の予想される輝度を有する、識別することと、
前記プロセッサによって、前記第2の画像における第2の物体タイプの第2の物体を識別することであって、
前記第2の物体タイプが、輝度レベルの前記第2の範囲内の予想される輝度を有し、前記第1の画像および前記第2の画像が前記第1の画像センサおよび前記第2の画像センサによって実質的に同時に捕捉される、識別することと、
前記第1の画像センサおよび前記第2の画像センサによって実質的に同時に捕捉された前記第1の画像および前記第2の画像の組み合わせに基づいて深度を決定することと、
前記シーンの前記第2の画像における前記第1の物体タイプの物体を識別することと、
前記シーンの前記第1の画像において識別された前記第1の物体タイプの前記物体と前記シーンの前記第2の画像において識別された前記第1の物体タイプの物体とを比較することによって、前記第1の物体タイプの前記識別された物体のエラーをチェックすることと、を含む、方法。
【請求項18】
命令が格納された非一時的なコンピュータ可読媒体であって、前記命令が、プロセッサによって実行されると、
シーンにおける輝度レベルの第1の範囲に対応する第1のダイナミックレンジを有する第1の画像センサから、前記シーンの第1の画像を受信することであって、
前記シーンの前記第1の画像が、前記第1の画像センサによって捕捉された、受信することと、
前記シーンにおける輝度レベルの第2の範囲に対応する第2のダイナミックレンジを有する第2の画像センサから、前記シーンの第2の画像を受信することであって、
前記シーンの前記第2の画像が、中性濃度フィルタを介して前記第2の画像センサによって捕捉されており、
輝度レベルの前記第2の範囲が、輝度レベルの前記第1の範囲よりも高い輝度レベルを含む、捕捉することと、
前記第1の画像における第1の物体タイプの第1の物体を識別することであって、
前記第1の物体タイプが、輝度レベルの前記第1の範囲内の予想される輝度を有する、識別することと、
前記第2の画像における第2の物体タイプの第2の物体を識別することであって、
前記第2の物体タイプが、輝度レベルの前記第2の範囲内の予想される輝度を有し、前記第1の画像および前記第2の画像が前記第1の画像センサおよび前記第2の画像センサによって実質的に同時に捕捉される、識別することと、
前記第1の画像センサおよび前記第2の画像センサによって実質的に同時に捕捉された前記第1の画像および前記第2の画像の組み合わせに基づいて深度を決定することと、
前記シーンの前記第2の画像における前記第1の物体タイプの物体を識別することと、
前記シーンの前記第1の画像において識別された前記第1の物体タイプの前記物体と前記シーンの前記第2の画像において識別された前記第1の物体タイプの物体とを比較することによって、前記第1の物体タイプの前記識別された物体のエラーをチェックすることと、を含む、非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、参照により、米国仮特許出願第62/508,467号に対する優先権を主張する米国特許出願第15/613,546号を本明細書に組み入れる。本出願はまた、2017年12月28日に出願された米国仮特許出願第62/611,206号に対する優先権を主張する米国特許出願第16/199,998号に対する優先権を主張し、そのそれぞれの内容は参照により本明細書に組み入れられる。
【背景技術】
【0002】
カメラおよび画像センサは、シーンの画像を捕捉するために使用されるデバイスである。いくつかのカメラ(フィルムカメラなど)は、化学的にフィルム上の画像を捕捉する。他のカメラ(デジタルカメラなど)は、(例えば、電荷結合デバイス(CCD)または相補型金属酸化膜半導体(CMOS)センサを使用して)画像データを電気的に捕捉する。カメラで捕捉した画像を分析して、その内容を判定できる。例えば、プロセッサは、物体の形状、色、サイズなどを含む以前に分類された物体のライブラリに基づいてシーンにおける物体を識別するために機械学習アルゴリズムを実行する場合がある(例えば、このような機械学習アルゴリズムは、ロボット工学、または他の応用のコンピュータビジョンに適用され得る)。
【0003】
カメラは、カメラを互いに区別できる様々な特徴を有し得る。例えば、カメラおよび/またはカメラによって捕捉された画像は、絞りサイズ、F値、露出持続時間/シャッタースピード、被写界深度、焦点距離、国際標準化機構(ISO)の感度(またはゲイン)、ピクセルサイズ、センサ解像度、露出距離などの値によって識別されてもよい。これらの特徴は、レンズ、画像センサ、および/またはカメラの追加のファセットに基づいてもよい。さらに、これらの特徴は、単一のカメラ内で調整可能であってもよい(例えば、カメラのレンズの絞りを写真間で調整できる)。
【0004】
いくつかの応用は、広いダイナミックレンジを有するカメラから利益を得る。例えば、最も明るい物体(例えば、真昼の太陽または緊急車両のライト)の輝度および最も暗い物体(例えば、真夜中の黒い猫)の輝度は、互いに数桁(例えば、10ニットから10-2ニット、つまり10 cd/m から10-2cd/mの範囲)変化してもよい。このような広いダイナミックレンジの両端で画像を捕捉できることは、例えば自律車両におけるナビゲーションならびに物体の検出および回避にとって重要になる場合がある。自律車両応用では、車両の動きのために広いダイナミックレンジを実現することが難しい場合がある。例えば、車両が比較的高速で移動している場合、モーションブラーを防止するために露出持続時間が比較的短く保たれ、それによって最大露出持続時間を制限してもよい。さらに、適切な露出設定で画像センサによって特定の範囲の輝度値が捕捉されない場合、画像内の色が歪む可能性がある(例えば、赤チャネルが飽和してクリッピングを開始すると、飽和した捕捉画像で赤が黄色として表示され得る)。フレア、グレア、またはその他の形の異常な光も、捕捉した画像の品質を損なう可能性がある。
【発明の概要】
【0005】
システムおよび方法の例は、複数の動作モードを使用してダイナミックレンジの拡大を可能にしてもよい。露出設定が異なる複数の画像センサを使用することで、より大きなダイナミックレンジを実現できる。一実施形態では、(例えば、関連する中性濃度フィルタを含む)1つの画像センサは、シーンの明るさに関係なく変化しない固定露出設定を有してもよく、別の画像センサは、シーンの明るさに基づいて変更される可変露出設定を有してもよい。次に、第1の画像センサおよび第2の画像センサによって捕捉された画像が、プロセッサによって実行される物体認識アルゴリズムに供給され得る。特定のタイプの物体が、捕捉された2つの画像のうちの1つにおいてより容易に識別されてもよい。例えば、明るい物体(例えば、能動的照光物体)は、「明るい画像」においては露出オーバーであるが、「暗い画像」においては適切に露出されているため、「暗い画像」において識別しやすい。単一の画像よりも広いダイナミックレンジにまたがる2つ以上の画像を有することで、(例えば、自律車両内の)物体の識別および回避を改善できる。露出設定および視点が異なる2台のカメラを使用するその他の応用についても説明する。
【0006】
一態様では、カメラシステムが提供される。カメラシステムは、シーンにおける輝度レベルの第1の範囲に対応する第1のダイナミックレンジを有する第1の画像センサを含む。カメラシステムはまた、シーンにおける輝度レベルの第2の範囲に対応する第2のダイナミックレンジを有する第2の画像センサを含む。第2の画像センサは、中性濃度フィルタを介してシーンからの光を受信する。輝度レベルの第2の範囲は、輝度レベルの第1の範囲よりも高い輝度レベルを含む。さらに、カメラシステムは、第1の画像センサおよび第2の画像センサに結合されたプロセッサを含む。プロセッサは、第1の画像センサによって捕捉されたシーンの第1の画像における第1の物体タイプの物体を識別するための命令を実行するように構成されている。第1の物体タイプは、輝度レベルの第1の範囲内の予想される輝度を有する。プロセッサはまた、第2の画像センサによって捕捉されたシーンの第2の画像における第2の物体タイプの物体を識別するための命令を実行するように構成されている。第2の物体タイプは、輝度レベルの第2の範囲内で予想される輝度を有する。
【0007】
別の態様では、方法が提供される。本方法は、シーンにおける輝度レベルの第1の範囲に対応する第1のダイナミックレンジを有する第1の画像センサによって、シーンの第1の画像を捕捉することを含む。本方法はまた、シーンにおける輝度レベルの第2の範囲に対応する第2のダイナミックレンジを有する第2の画像センサによって、シーンの第2の画像を捕捉することを含む。第2の画像センサは、中性濃度フィルタを介してシーンの第2の画像を捕捉する。輝度レベルの第2の範囲は、輝度レベルの第1の範囲よりも高い輝度レベルを含む。さらに、本方法は、第1の画像センサおよび第2の画像センサに結合されたプロセッサによって、第1の画像における第1の物体タイプの第1の物体を識別することを含む。第1の物体タイプは、輝度レベルの第1の範囲内の予想される輝度を有する。さらに、本方法は、プロセッサによって、第2の画像における第2の物体タイプの第2の物体を識別することを含む。第2の物体タイプは、輝度レベルの第2の範囲内で予想される輝度を有する。
【0008】
さらに別の態様では、命令が格納された非一時的なコンピュータ可読媒体が証明される。命令は、プロセッサによって実行されると、シーンにおける輝度レベルの第1の範囲に対応する第1のダイナミックレンジを有する第1の画像センサから、シーンの第1の画像を受信することを含む。シーンの第1の画像は、第1の画像センサによって捕捉された。命令はまた、プロセッサによって実行されると、シーンにおける輝度レベルの第2の範囲に対応する第2のダイナミックレンジを有する第2の画像センサから、シーンの第2の画像を受信することも含む。シーンの第2の画像は、中性濃度フィルタを介して第2の画像センサによって捕捉された。輝度レベルの第2の範囲は、輝度レベルの第1の範囲よりも高い輝度レベルを含む。さらに、命令は、プロセッサによって実行されると、第1の画像における第1の物体タイプの第1の物体を識別することを含む。第1の物体タイプは、輝度レベルの第1の範囲内の予想される輝度を有する。さらに、命令は、プロセッサによって実行されると、第2の画像における第2の物体タイプの第2の物体を識別することを含む。第2の物体タイプは、輝度レベルの第2の範囲内で予想される輝度を有する。
【0009】
さらに別の態様では、システムが開示される。本システムは、シーンにおける輝度レベルの第1の範囲に対応する第1のダイナミックレンジを有する第1の画像センサによって、シーンの第1の画像を捕捉するための手段を含む。本システムはまた、シーンにおける輝度レベルの第2の範囲に対応する第2のダイナミックレンジを有する第2の画像センサによって、シーンの第2の画像を捕捉するための手段を含む。第2の画像センサは、中性濃度フィルタを介してシーンの第2の画像を捕捉する。輝度レベルの第2の範囲は、輝度レベルの第1の範囲よりも高い輝度レベルを含む。さらに、本システムは、第1の画像センサおよび第2の画像センサに結合されたプロセッサによって、第1の画像における第1の物体タイプの第1の物体を識別するための手段を含む。第1の物体タイプは、輝度レベルの第1の範囲内の予想される輝度を有する。さらに、本システムは、プロセッサによって、第2の画像における第2の物体タイプの第2の物体を識別するための手段を含む。第2の物体タイプは、輝度レベルの第2の範囲内で予想される輝度を有する。
【0010】
これらの態様ならびに他の態様、利点、および代替物は、当業者には、以下の詳細な説明を添付の図面を適宜参照して読み取ることにより明らかになるであろう。
【図面の簡単な説明】
【0011】
図1】例示的な実施形態による、車両を図解する機能ブロック図である。
図2】例示的な実施形態による、車両の物理的構成の図である。
図3】例示的な実施形態による、自律車両に関連する様々なコンピューティングシステム間の無線通信の概念図である。
図4A】例示的な実施形態による、カメラシステムの図である。
図4B】例示的な実施形態による、カメラシステムのダイナミックレンジの図である。
図4C】例示的な実施形態による、カメラシステムの図である。
図4D】例示的な実施形態による、カメラシステムの図である。
図5】例示的な実施形態による、カメラシステムの図である。
図6A】例示的な実施形態による、カメラシステムの図である。
図6B】例示的な実施形態による、カメラシステムの画像センサによって捕捉された画像の図である。
図6C】例示的な実施形態による、カメラシステムの画像センサによって捕捉された画像の図である。
図7】例示的な実施形態による、カメラシステムの図である。
図8A】例示的な実施形態による、カメラシステムの図である。
図8B】例示的な実施形態による、カメラシステムのダイナミックレンジの図である。
図9A】例示的な実施形態による、カメラシステムの図である。
図9B】例示的な実施形態による、カメラシステムの図である。
図9C】例示的な実施形態による、カメラシステムの図である。
図9D】例示的な実施形態による、カメラシステムの図である。
図10】例示的な実施形態による、方法のフローチャートである。
【発明を実施するための形態】
【0012】
本明細書では、方法およびシステムの例について記載する。本明細書において記載された任意の例示的な実施形態または特徴は、必ずしも他の実施形態または特徴よりも好ましいまたは有利であると解釈されるものではない。本明細書において記載された例示的な実施形態は、限定的であることを意味するものではない。開示されるシステムおよび方法の特定の態様は、多種多様な異なる構成で配置し、組み合わせることができ、これらの構成のすべてが、本明細書において熟考されることは容易に理解できるであろう。
【0013】
さらに、図に示されている特定の配置は、限定的であるとみなされるべきではない。他の実施形態は、所定の図に示されるそれぞれの要素をより多く、またはより少なく含むことができることを理解されるべきである。さらに、図示の構成要素のうちのいくつかの構成要素は、組み合わせることができるか、または省略することができる。またさらに、例示的な実施形態は、図に示されていない要素を含んでいてもよい。
【0014】
I.概要
例示的な実施形態は、2つの画像センサのセット(またはいくつかの実施形態ではそれ以上)に関する。いくつかの実施形態では、画像センサは、垂直に(例えば、上下に重ねて)位置合わせされてもよい。画像センサは、同じシーンの異なる画像を捕捉してもよい。いくつかの実施形態では、異なる画像が同時に捕捉されてもよい。さらに、第1の画像センサは、可変露出レベル(例えば、カメラコントローラが適切な露出レベルを判定し、シャッタースピード、レンズ絞り、かつ/またはISO感度を操作して、判定された適切な露出レベルを実現する、カメラの自動露出設定など)を有してもよく、一方、第2の画像センサは、固定された(つまり、事前定義された)露出レベル(例えば、シャッタースピード、絞りサイズ、およびISO感度に基づく)を有してもよい。可変露出レベルにより、第1の画像センサは、周囲光レベル(例えば、昼対夜)に基づいて適切な露出レベルに調整することが可能であってもよい。
【0015】
第1の画像センサは可変露出レベルを有し、第2の画像センサは固定露出レベルを有するため、画像センサの各々は異なる時間領域をサブサンプリングすることが可能であってもよい。例えば、可変露出レベルは、(例えば、調整可能なシャッタースピードに基づく)可変露出持続時間に対応してもよく、一方、固定露出レベルは、(例えば、シャッタースピードに基づく)固定露出持続時間に対応してもよい。各画像センサの露出持続時間が異なる場合、特定のイベントは画像センサのうちの1つによってのみ捕捉されてもよい。例えば、高速で移動する物体(例えば、時速70マイル(mph)で走行する車)は、露出持続時間がより長い画像センサにおいて画像のぼやけが発生するため、露出持続時間が十分に短い画像センサによって捕捉された画像を使用してのみ識別されてもよい。ただし、露出持続時間が短い画像センサは点滅している物体(道路標識またはテールライトなどのパルス幅変調された光源)が照らされている時間を逃す可能性があるため、点滅している物体は、露出持続時間が長い画像センサでのみ捕捉されてもよい。
【0016】
より長い露出持続時間はより長い捕捉時間に対応するため、より長い露出持続時間が点滅する物体を捕捉する確率は、露出持続時間が短い場合よりも高くなる。場合によっては、十分に長い露出持続時間(例えば、道路標識などの点滅する物体で使用される最小周波数に関連する期間より長い露出持続時間)が与えられた場合、点滅しているディスプレイを捕捉することは確実であるとみなすことができる。この最小、または下限の周波数は、人間が瞬きを知覚しないように支援するか、または保証するために使用される周波数であってもよい。多くの場合、短い露出持続時間は無視できる検出確率に対応してもよい。例えば、車両のテールライトは、1%のデューティサイクルで100Hzでパルス幅変調(PWM)されてもよい。ランダムにタイミングが決められた0.5msの露出持続時間で車両のテールライトを感知しようとすると、能動的なPWM期間のどの部分も露出と重なる可能性が6%しかない可能性がある。ただし、問題をさらに悪化させるために、画像センサに関連付けられている露出周波数は、通常、ランダムにタイミングが決められない。したがって、画像センサが、PWM駆動の光が時間の6%未満で画像化される(例えば、決して画像化されない)露出ケーデンスにロックする可能性がある非ゼロ確率がある。
【0017】
追加的に、または代替的に、画像センサのうちの1つ(例えば、第2の画像センサ)は、その画像センサによって捕捉されたシーンに対応する照度を制限する光学要素(例えば、中性濃度フィルタ、カラーフィルタ、偏光子など)を含み得る。いくつかの実施形態では、複数の画像センサではなく、複数の独立したセンサ領域を有する単一の画像センサを使用してもよい(例えば、画像センサ領域におけるピクセル数が画像センサ領域の感度に対応する場合、複数の画像センサ領域がそれぞれ、複数のピクセルを含む)。いくつかの実施形態では、複数の画像センサ領域を有する単一の画像センサは、様々な数のピクセルの領域に加えて、またはその代わりに、様々なサイズのピクセルの領域を含み得る。
【0018】
3つの画像センサを有する実施形態では、第3の画像センサは、第1の画像センサの可変露出レベルとは異なる可変露出レベルを有してもよい(例えば、第3の画像センサの露出レベルが第1の画像センサとは異なるように、第3の画像センサ上の自動露出設定がカメラコントローラによって判定されてもよく、)。カメラコントローラがシャッタースピード/露出持続時間、絞りサイズ、および/またはISO感度を操作して、第3の画像センサの判定された露出レベルを実現してもよい)。例えば、第3の画像センサの露出持続時間は、第1の画像センサの露出持続時間よりも長くてもよく、その結果、第3の画像センサは、シーンにおける低輝度物体に対してより敏感になる。
【0019】
2つの画像センサを有する実施形態では、第1の画像センサがシーンの第1の画像を捕捉し、第2の画像センサがシーンの第2の画像を捕捉した後、命令を実行するプロセッサは、(例えば機械学習アルゴリズムに基づいて)画像分析を実行し、画像のライブラリを使用して訓練された)、第1の画像および/または第2の画像に存在する1つ以上の物体を識別してもよい。いくつかの実施形態では、第1の画像を使用して識別された物体は第1の輝度範囲内にあってもよく、第2の画像を使用して識別された物体は第2の輝度範囲内にあってもよい。第2の輝度範囲は、少なくとも部分的に、第1の輝度範囲より高くてもよい。より明るい物体が識別可能となる一方でより暗い物体が識別不能となってもよいように、中性濃度フィルタを使用することによって、または露出設定を変更してシーンを暗くすることによって、より高い輝度範囲が実現されてもよい。
【0020】
同様に、中性濃度フィルタなしで画像センサから生成される画像において、(例えば、事前定義された絞りサイズ、シャッタースピード/露出持続時間、またはISO感度を上げることにより)露出レベルが上げられてもよい。このように、高輝度の物体は対応する画像において露出オーバーである/ウォッシュアウトされる可能性があるが、より輝度が低い物体(例えば、夜間の暗い道路上の黒い猫)は識別可能であってもよい。
【0021】
2つの画像における異なるタイプの物体(例えば、明るい物体対暗い物体)を識別するこのような技術は、計算時間を節約し、かつ/または全体的に識別できる物体の数を増やしてもよい。例えば、プロセッサは、機械学習モデル(例えば、畳み込み深層ニューラルネットワーク)を使用して、個別にまたは組み合わせて、2つの画像の各々において物体識別を実行してもよい。計算時間を節約するために、プロセッサは、より暗い画像(例えば、対応する中性濃度フィルタを有する第2の画像センサから生じる第2の画像)において能動的照光物体(例えば、テールライト、信号機、発光ダイオード(LED)道路標識など)のみを識別しようと試みてもよく、対応する中性濃度フィルタを備えた第2の画像センサから、受動的に照らされている(例えば、歩行者、木、一時停止標識、動物などの、光の反射または屈折によって照らされた物体)、周囲光から照らされている物体、および/または、より明るい画像(例えば、第1の画像センサから発生する第1の画像)における非照光物体のみを識別しようと試みてもよい。
【0022】
上記の2つの画像センサスキームに加えて、(中性濃度フィルタを使用しても使用しなくても)1つ以上の追加の画像センサが追加され得る。追加の画像センサは、追加の露出設定を使用して同じシーンの追加の画像を捕捉できる。このようにして、追加の画像における物体の輝度値は、(例えば、部分的に、または全体的に第2の輝度範囲を超えるか、部分的に、または全体的に第1の輝度範囲を下回るか、部分的に、または全体的に第2の輝度範囲と第1の輝度範囲にあるか、または第1および/または第2の輝度範囲と部分的に、または全体的に重なる)追加の輝度範囲にあってもよい。これにより、画像センサのセットによって捕捉された画像を使用するプロセッサにより、さらに極端な輝度値の追加の物体を容易に識別できるようになる場合がある。
【0023】
いくつかの実施形態では、カメラシステムにおいて複数の画像センサがあってもよい。例えば、一実施形態では、自律車両または半自律車両の周りに装着されたセンサの複数のセットが存在してもよい。いくつかの実施形態では、センサは異なる方向に面していてもよい。各セットを使用して、センサのそれぞれのセットの向きに基づいて、シーンの所与の視点に配設された物体を識別してもよい。さらに、自律車両の周りの画像センササブシステムのうちのいくつかは、2つの画像センサしか含まなくてもよいが、他は3つの画像センサを含む。例えば、3つの正面向き画像センササブシステム(例えば、0度、-45度、45度を向き、0度が真っ直ぐ前にあるサブシステム)は、3つの画像センサを含み、前方の道路上の物体を識別しやすくなってもよく、一方、残りの画像センササブシステムは、2つの画像センサのみを含み、計算リソースを節約してもよい。
【0024】
上述の利点に加えて、物体識別のための2つの画像センサシステムは、さらなる利点を有してもよい。例えば、シーンは少なくとも2つのわずかに異なる視点から捕捉されているので、特定のエラー補正が(例えば、命令を実行するプロセッサによって)実行されてもよい。1つの補正は、物体が誤って識別されたかどうかを判定することを含み得る。例えば、物体は、第1の画像および第2の画像の両方を使用して識別可能な範囲にそれを配置する輝度を有してもよい。物体が両方の画像を使用して識別可能であるが、どの画像が識別に使用されるかに応じて、2つの画像のうちの1つにおいてのみ識別されるか、または異なる物体であると識別される場合、冗長システム(例えば、投票システムまたはベイズ推定を含むシステム)は、物体が実際にシーンにおいて存在していたかどう、または2つの識別された物体の可能性のうちのどちらが正確である可能性が高いかを判定するために実装されてもよい。物体が最終的にシーンにおいて存在するか、または不在であると判定された場合は、画像センサのいずれかに問題があることを示している可能性がある(例えば、レンズにひびが入っているか、または汚れている、画像センサが破損している、画像センサ上の破片によってシーンが塞がれているなど)。画像センサのうちの1つに問題があることを検出した後、このような問題は説明され得るか、または修正され得る。
【0025】
追加的に、または代替的に、第1の画像センサおよび第2の画像センサは、それぞれ(例えば、非点収差レンズまたは複数のレンズを使用して)異なる焦点距離に関連付けられてもよい。したがって、2つの画像センサによって捕捉された2つの画像は、焦点距離が異なってもよい。次に、これらの2つの画像を使用して、(例えば、各画像でどの物体に焦点が合っているか、または焦点が合っていないかに基づいて)画像センサからシーンにおける1つ以上の物体までの距離を判定できる。
【0026】
距離を判定するために使用することに加えて、2つの画像を合成するか、または他の方法で組み合わせて、2つの実際の焦点距離の中間の焦点距離を持つ画像をシミュレートし得る。2つの画像センサのうちの1つの前に配設された他の光学要素を使用して、シーン/環境の他の特徴を調べることも可能である(例えば、クロマティックフィルタまたは偏光フィルタを使用した偏光を使用して色を調べることができる)。
【0027】
さらに他の実施形態では、2つ以上の画像センサがわずかに異なる場所(例えば、一方が他方のわずかに上)に位置付けられてもよいため、シーンに対する2つの画像センサの視点はわずかに異なる。これは、シーン自体のアーティファクトが原因で発生する迷光や散乱を補正するために使用できる。例えば、太陽が識別される物体の真後ろにある場合、その物体の捕捉された画像は、太陽の存在が原因で、白とびしたり、露出オーバーになったり、歪んだり、飽和したりすることがある。ただし、シーンのわずかに異なる視点から見ると、太陽は物体の位置から十分に離れている可能性があり、問題ではない。したがって、太陽が物体の後ろに配置されていない画像は、物体を識別するために使用できる。複数の視点を使用することで説明され得る迷光および散乱の他の例には、能動的照光光源(例えば、テールライトまたは信号機)からのルーバーまたは(例えば、シーンの特定の視点からの物体の表示を妨げる障害物から生じる)覆いが含まれる。
【0028】
II.例示的な車両システムおよび動作
ここで、本開示の範囲内の例示的なシステムをより詳細に説明する。例示的なシステムは、自動車に実装され得るか、または自動車の形態を取り得る。しかしながら、システムの例はまた、車、トラック、オートバイ、バス、ボート、飛行機、ヘリコプター、芝刈り機、アースムーバ、ボート、スノーモービル、航空機、レクリエーション車両、遊園地車両、農機具、建設機械、トラム、ゴルフカート、電車、トロリー、ロボットデバイスなどの、他の車両に実装され得、または他の車両の形態を取り得る。他の車両も同じく可能である。さらに、いくつかの実施形態では、例示的なシステムは車両を含まない場合がある。
【0029】
ここで図を参照すると、図1は、自律モードで完全にまたは部分的に動作するように構成され得る、例示的な車両100を図解する機能ブロック図である。より具体的には、車両100は、コンピューティングシステムから制御命令を受信することを通して、人間の相互作用なしに自律モードで動作し得る。自律モードでの動作の一部として、車両100は、センサを使用して、周囲環境の物体を検出し、場合によっては識別して、安全なナビゲーションを可能にし得る。いくつかの実施形態では、車両100はまた、運転者が車両100の動作を制御することを可能にするサブシステムを含み得る。
【0030】
図1に示されるように、車両100は、推進システム102、センサシステム104、制御システム106、1つ以上の周辺機器108、電源110、(コンピューティングシステムとも称され得る)コンピュータシステム112、データストレージ114、およびユーザインターフェース116などの様々なサブシステムを含み得る。他の例では、車両100は、各々複数の要素を含むことができるより多いまたはより少ないサブシステムを含んでもよい。車両100のサブシステムおよび構成要素は、様々な方法で相互接続され得る。さらに、本明細書で説明する車両100の機能は、追加の機能的または物理的構成要素に分割するか、または実施形態内でより少ない機能的もしくは物理的構成要素に組み合わせることができる。例えば、制御システム106およびコンピュータシステム112は、様々な動作に従って車両100を操作する単一のシステムに組み合わされ得る。
【0031】
推進システム102は、車両100に対して動力付き運動を提供するように動作可能な1つ以上の構成要素を含み得、他の可能な構成要素の中でも、エンジン/モータ118、エネルギー源119、トランスミッション120、および車輪/タイヤ121を含み得る。例えば、エンジン/モータ118は、エネルギー源119を機械的エネルギーに変換するように構成され得、他の可能なオプションの中でも、内燃エンジン、電気モータ、蒸気エンジン、またはスターリングエンジンのうちの1つまたは組み合わせに対応し得る。例えば、いくつかの実施形態では、推進システム102は、ガソリンエンジンおよび電気モータなどの複数のタイプのエンジンおよび/またはモータを含み得る。
【0032】
エネルギー源119は、完全にまたは部分的に、車両100の1つ以上のシステム(例えば、エンジン/モータ118)に動力を供給し得るエネルギー源を表す。例えば、エネルギー源119は、ガソリン、ディーゼル、他の石油ベースの燃料、プロパン、他の圧縮ガスベースの燃料、エタノール、ソーラパネル、電池、および/または他の電力源に対応することができる。いくつかの実施形態では、エネルギー源119は、燃料タンク、電池、コンデンサ、および/またはフライホイールの組み合わせを含み得る。
【0033】
トランスミッション120は、エンジン/モータ118からの機械動力を、車輪/タイヤ121および/または車両100の他の可能なシステムに伝達し得る。したがって、トランスミッション120は、他の可能な構成要素の中でもとりわけ、ギアボックス、クラッチ、ディファレンシャル、および駆動シャフトを含み得る。駆動シャフトは、1つ以上の車輪/タイヤ121に接続する車軸を含み得る。
【0034】
車両100の車輪/タイヤ121は、例示的な実施形態内で様々な構成を有し得る。例えば、車両100は、他の可能な構成の中でも、一輪車、自転車/オートバイ、三輪車、または自動車/トラックの四輪車の形式で存在し得る。したがって、車輪/タイヤ121は、様々な方法で車両100に接続することができ、金属およびゴムなどの異なる材料で存在することができる。
【0035】
センサシステム104は、他の可能なセンサの中でも、全地球測位システム(GPS)122、慣性測定ユニット(IMU)124、レーダ126、レーザ距離計/LIDAR128、カメラ130、ステアリングセンサ123、およびスロットル/ブレーキセンサ125などの様々なタイプのセンサを含むことができる。いくつかの実施形態では、センサシステム104はまた、車両100の内部システムを監視するように構成されたセンサ(例えば、Oモニタ、燃料計、エンジンオイル温度、ブレーキ摩耗)を含み得る。
【0036】
GPS122は、地球に対する車両100の位置に関する情報を提供するように動作可能なトランシーバを含み得る。IMU124は、1つ以上の加速度計および/またはジャイロスコープを使用する構成を有し得、慣性加速度に基づいて車両100の位置および向きの変化を感知し得る。例えば、IMU124は、車両100が静止しているかまたは動いている間に車両100のピッチおよび偏揺れを検出することができる。
【0037】
レーダ126は、物体のスピードおよび進行方向を含めて、無線信号を使用して、車両100のローカル環境内の物体を感知するように構成された1つ以上のシステムを表すことができる。したがって、レーダ126は、無線信号を送信および受信するように構成されたアンテナを含み得る。いくつかの実施形態では、レーダ126は、車両100の周囲環境の測定値を取得するように構成された装着可能なレーダシステムに対応し得る。
【0038】
レーザ距離計/LIDAR128は、他のシステム構成要素の中でも、1つ以上のレーザ源、レーザスキャナ、および1つ以上の検出器を含み得、コヒーレントモード(例えば、ヘテロダイン検出を使用)または非コヒーレント検出モードで動作し得る。カメラ130は、車両100の環境の画像を捕捉するように構成された1つ以上のデバイス(例えば、スチルカメラまたはビデオカメラ)を含み得る。
【0039】
ステアリングセンサ123は、車両100のステアリング角度を感知し得、これは、ステアリングホイールの角度を測定すること、またはステアリングホイールの角度を表す電気信号を測定することを含み得る。いくつかの実施形態では、ステアリングセンサ123は、車両100の前方軸に対する車輪の角度を検出するなど、車両100の車輪の角度を測定し得る。ステアリングセンサ123はまた、ステアリングホイールの角度、ステアリングホイールの角度を表す電気信号、および車両100の車輪の角度の組み合わせ(またはサブセット)を測定するように構成され得る。
【0040】
スロットル/ブレーキセンサ125は、車両100のスロットル位置またはブレーキ位置のいずれかの位置を検出し得る。例えば、スロットル/ブレーキセンサ125は、アクセルペダル(スロットル)およびブレーキペダルの両方の角度を測定してもよく、または、例えば、アクセルペダル(スロットル)の角度および/もしくはブレーキペダルの角度を表すことができる電気信号を測定してもよい。スロットル/ブレーキセンサ125はまた、エンジン/モータ118(例えば、バタフライバルブまたはキャブレタ)にエネルギー源119のモジュレーションを提供する物理的機構の一部を含み得る、車両100のスロットルボディの角度を測定してもよい。加えて、スロットル/ブレーキセンサ125は、車両100のロータ上の1つ以上のブレーキパッドの圧力、またはアクセルペダル(スロットル)およびブレーキペダルの角度の組み合わせ(またはサブセット)、アクセルペダル(スロットル)およびブレーキペダルの角度を表す電気信号、スロットルボディの角度、および少なくとも1つのブレーキパッドが車両100のロータに加える圧力、を測定し得る。他の実施形態では、スロットル/ブレーキセンサ125は、スロットルまたはブレーキペダルなどの車両のペダルに加えられた圧力を測定するように構成されてもよい。
【0041】
制御システム106は、ステアリングユニット132、スロットル134、ブレーキユニット136、センサ融合アルゴリズム138、コンピュータビジョンシステム140、ナビゲーション/経路探索システム142、および障害物回避システム144など、車両100をナビゲートするのを助けるように構成された構成要素を含み得る。より具体的には、ステアリングユニット132は、車両100の進行方向を調整するように動作可能であり得、スロットル134は、エンジン/モータ118の動作スピードを制御して、車両100の加速を制御し得る。ブレーキユニット136は、車両100を減速することができ、これは、摩擦を使用して車輪/タイヤ121を減速することを含み得る。いくつかの実施形態では、ブレーキユニット136は、車両100のシステムまたはシステム(複数)によるその後の使用のために、車輪/タイヤ121の運動エネルギーを電流に変換し得る。
【0042】
センサ融合アルゴリズム138は、カルマンフィルタ、ベイジアンネットワーク、またはセンサシステム104からのデータを処理することができる他のアルゴリズムを含み得る。いくつかの実施形態では、センサ融合アルゴリズム138は、個々の物体および/もしくは特徴の評価、特定の状況の評価、ならびに/または所与の状況内の潜在的な影響の評価など、着信センサデータに基づくアセスメントを提供し得る。
【0043】
コンピュータビジョンシステム140は、物体、環境物体(例えば、信号機、道路の境界など)、および障害物を判定しようとする際に画像を処理および分析するように動作可能なハードウェアおよびソフトウェアを含み得る。したがって、コンピュータビジョンシステム140は、物体認識、Structure From Motion(SFM)、ビデオ追跡、および、例えば、物体を認識し、環境をマッピングし、物体を追跡し、物体のスピードを推定するためなどにコンピュータビジョンで使用される他のアルゴリズムを使用し得る。
【0044】
ナビゲーション/経路探索システム142は、車両100の運転経路を判定してもよく、これは、動作中にナビゲーションを動的に調整することを含み得る。したがって、ナビゲーション/経路探索システム142は、他の情報源の中でもとりわけ、センサ融合アルゴリズム138、GPS122、および地図からのデータを使用して、車両100をナビゲートし得る。障害物回避システム144は、センサデータに基づいて潜在的な障害物を評価し、車両100のシステムに潜在的な障害物を回避または別の方法で通り抜けさせ得る。
【0045】
図1に示されるように、車両100はまた、無線通信システム146、タッチスクリーン148、マイクロフォン150、および/またはスピーカ152などの周辺機器108を含み得る。周辺機器108は、ユーザがユーザインターフェース116と相互作用するための制御または他の要素を提供し得る。例えば、タッチスクリーン148は、車両100のユーザに情報を提供し得る。ユーザインターフェース116はまた、タッチスクリーン148を介してユーザからの入力を受け入れ得る。周辺機器108はまた、車両100が、他の車両のデバイスなどのデバイスと通信することを可能にし得る。
【0046】
無線通信システム146は、1つ以上のデバイスと直接または通信ネットワークを介して無線で通信し得る。例えば、無線通信システム146は、CDMA、EVDO、GSM/GPRSなどの3Gセルラ通信、またはWiMAXもしくはLTEなどの4Gセルラ通信を使用することができる。あるいは、無線通信システム146は、WiFiまたは他の可能な接続を使用して無線ローカルエリアネットワーク(WLAN)と通信し得る。無線通信システム146はまた、例えば、赤外線リンク、Bluetooth、またはZigBeeを使用してデバイスと直接通信し得る。様々な車両通信システムなどの他の無線プロトコルが、本開示の文脈内で可能である。例えば、無線通信システム146は、車両および/または道路沿いの給油所間の公共および/または私的データ通信を含み得る1つ以上の専用狭域通信(DSRC)デバイスを含み得る。
【0047】
車両100は、構成要素に電力を供給するための電源110を含み得る。電源110は、いくつかの実施形態では、再充電可能なリチウムイオンまたは鉛蓄電池を含み得る。例えば、電源110は、電力を提供するように構成された1つ以上の電池を含み得る。車両100はまた、他のタイプの電源を使用してもよい。例示的な実施形態では、電源110およびエネルギー源119は、単一のエネルギー源に統合されてもよい。
【0048】
車両100はまた、そこに記載されている動作などの動作を行うためのコンピュータシステム112を含み得る。したがって、コンピュータシステム112は、データストレージ114などの非一時的なコンピュータ可読媒体に格納された命令115を実行するように動作可能な少なくとも1つのプロセッサ113(少なくとも1つのマイクロプロセッサを含むことができる)を含み得る。いくつかの実施形態では、コンピュータシステム112は、車両100の個々の構成要素またはサブシステムを分散して制御するように機能し得る複数のコンピューティングデバイスを表してもよい。
【0049】
いくつかの実施形態では、データストレージ114は、図1に関連して上述したものを含めて、車両100の様々な機能を実行するためにプロセッサ113によって実行可能な命令115(例えば、プログラム論理)を含み得る。データストレージ114は、推進システム102、センサシステム104、制御システム106、および周辺機器108のうちの1つ以上にデータを送信する、データを受信する、相互作用する、および/または制御する命令を含む追加の命令も含み得る。
【0050】
命令115に加えて、データストレージ114は、他の情報の中でもとりわけ、道路地図、経路情報などのデータを格納し得る。そのような情報は、自律モード、半自律モード、および/または手動モードでの車両100の動作中に、車両100およびコンピュータシステム112によって使用され得る。
【0051】
車両100は、車両100のユーザに情報を提供するか、または車両100のユーザから入力を受信するためのユーザインターフェース116を含み得る。ユーザインターフェース116は、タッチスクリーン148上に表示され得るコンテンツおよび/またはインタラクティブ画像のレイアウトを制御することができるか、または制御を可能にし得る。さらに、ユーザインターフェース116は、無線通信システム146、タッチスクリーン148、マイクロフォン150、およびスピーカ152などの周辺機器108のセット内の1つ以上の入力/出力デバイスを含むことができる。
【0052】
コンピュータシステム112は、様々なサブシステム(例えば、推進システム102、センサシステム104、および制御システム106)から、ならびにユーザインターフェース116から受信した入力に基づいて、車両100の機能を制御し得る。例えば、コンピュータシステム112は、推進システム102および制御システム106によって生成された出力を推定するために、センサシステム104からの入力を利用してもよい。実施形態に応じて、コンピュータシステム112は、車両100およびそのサブシステムの多くの態様を監視するように動作可能であり得る。いくつかの実施形態では、コンピュータシステム112は、センサシステム104から受信した信号に基づいて、車両100の一部またはすべての機能を無効にし得る。
【0053】
車両100の構成要素は、それらのそれぞれのシステム内またはシステム外の他の構成要素と相互接続された方法で機能するように構成され得る。例えば、例示的な実施形態では、カメラ130は、自律モードで動作している車両100の環境の状態に関する情報を表すことができる複数の画像を捕捉することができる。環境の状態は、車両が動作している道路のパラメータを含むことができる。例えば、コンピュータビジョンシステム140は、道路の複数の画像に基づいて、傾斜(勾配)または他の特徴を認識することができ得る。加えて、GPS122とコンピュータビジョンシステム140によって認識された特徴との組み合わせは、特定の道路パラメータを判定するために、データストレージ114に格納された地図データとともに使用され得る。さらに、レーダユニット126はまた、車両の周囲についての情報を提供し得る。
【0054】
言い換えると、様々なセンサ(入力指標センサおよび出力指標センサと呼ぶことができる)とコンピュータシステム112との組み合わせが相互作用して、車両を制御するために提供される入力の指標または車両の周囲の指標を提供することができる。
【0055】
いくつかの実施形態では、コンピュータシステム112は、無線システム以外のシステムによって提供されるデータに基づいて、様々な物体に関する判定を行い得る。例えば、車両100は、車両の視野内の物体を感知するように構成されたレーザまたは他の光学センサを有し得る。コンピュータシステム112は、様々なセンサからの出力を使用して、車両の視野内の物体に関する情報を判定し得、様々な物体までの距離および方向情報を判定し得る。コンピュータシステム112はまた、様々なセンサからの出力に基づいて、物体が望ましいか望ましくないかを判定し得る。
【0056】
図1は、車両100の様々な構成要素、すなわち、無線通信システム146、コンピュータシステム112、データストレージ114、およびユーザインターフェース116を車両100に統合されているものとして示しているが、これらの構成要素のうちの1つ以上は、車両100とは別個に装着しまたは関連付けることができる。例えば、データストレージ114は、部分的または完全に、車両100とは別個に存在することができる。したがって、車両100は、別個にまたは一緒に配置され得るデバイス要素の形態で提供され得る。車両100を構成するデバイス要素は、有線および/または無線方式で一緒に通信可能に結合され得る。
【0057】
図2は、図1を参照して説明された車両100の1つの可能な物理的構成を表し得る車両200の例示的な物理的構成を示す。実施形態に応じて、車両200は、他の可能な構成要素の中でもとりわけ、センサユニット202、無線通信システム204、ラジオユニット206、デフレクタ208、およびカメラ210を含み得る。例えば、車両200は、図1に記載された構成要素のうちの一部またはすべての要素を含み得る。車両200は図2では自動車として示されているが、車両200は、他の可能な例の中でもとりわけ、トラック、バン、セミトレーラートラック、オートバイ、ゴルフカート、オフロード車両、または農業用車両などの例内の他の構成を有することができる。
【0058】
センサユニット202は、車両200の周囲環境の情報を捕捉するように構成された1つ以上のセンサを含み得る。例えば、センサユニット202は、他の可能なタイプのセンサの中でもとりわけ、カメラ、レーダ、LIDAR、距離計、無線デバイス(例えば、Bluetoothおよび/または802.11)、および音響センサの任意の組み合わせを含み得る。いくつかの実施形態では、センサユニット202は、センサユニット202内のセンサの向きを調整するように動作可能な1つ以上の可動マウントを含み得る。例えば、可動マウントは、車両200の周りの各方向から情報を取得するためにセンサをスキャンすることができる回転プラットフォームを含み得る。センサユニット202の可動マウントはまた、特定の範囲の角度および/または方位角内の走査方式で可動であってもよい。
【0059】
いくつかの実施形態では、センサユニット202は、センサユニット202が車のルーフの頂上に装着されることを可能にする機械的構造を含み得る。加えて、例の範囲内で他の装着場所も可能である。
【0060】
無線通信システム204は、図2に示されるように、車両200に対して相対的な場所を有し得るが、実施形態内で異なる場所を有することもできる。無線通信システム200は、他の外部または内部デバイスと通信し得る1つ以上の無線送信機および1つ以上の受信機を含み得る。例えば、無線通信システム204は、他の可能なエンティティの中でもとりわけ、ユーザのデバイス、他の車両、および道路要素(例えば、標識、交通信号機)と通信するための1つ以上のトランシーバを含み得る。したがって、車両200は、専用狭域通信(DSRC)、無線周波数識別(RFID)、および高度道路交通システムを対象とする他の提案された通信規格などの通信を容易にするための1つ以上の車両通信システムを含み得る。
【0061】
カメラ210は、車両200のフロントガラス上の場所など、車両200に対して様々な位置を有し得る。そのようにして、カメラ210は、車両200の環境の画像を捕捉し得る。図2に示されるように、カメラ210は、車両200に対して前向き(正面向き)の視野から画像を捕捉し得るが、カメラ210の他の装着場所(可動マウントを含む)および視野角が、実施形態内で可能である。例えば、カメラ210は、カメラが車両200の風防ガラスを通して車両200の環境の画像を捕捉するように車両内に位置付けられ得る。
【0062】
いくつかの例では、カメラ210は、1つ以上の可視光カメラに対応し得る。代替的に、または追加的に、カメラ210は、赤外線感知機能を含み得る。カメラ210はまた、調整可能な視野を提供し得る光学系を含み得る。他の例も可能である。
【0063】
図3は、例示的な実施形態による、自律車両に関連する様々なコンピューティングシステム間の無線通信の概念図である。特に、無線通信は、ネットワーク304を介して、リモートコンピューティングシステム302と車両200との間で発生し得る。無線通信はまた、サーバコンピューティングシステム306とリモートコンピューティングシステム302との間、およびサーバコンピューティングシステム306と車両200との間でも発生し得る。
【0064】
車両200は、場所間で乗客または物体を輸送することができる様々なタイプの車両に対応することができ、上述の車両のうちの任意の1つ以上の形態を取り得る。場合によっては、車両200は、制御システムがセンサ測定値を使用して目的地間で車両200を安全にナビゲートすることを可能にする自律モードで動作し得る。自律モードで動作しているとき、車両200は、乗客の有無にかかわらずナビゲートし得る。その結果、車両200は、所望の目的地間で乗客を拾い、降ろし得る。
【0065】
リモートコンピューティングシステム302は、本明細書で説明されるものを含むがこれに限定されないリモートアシスタンス技術に関連する任意のタイプのデバイスを表し得る。例の中で、リモートコンピューティングシステム302は、(i)車両200に関連する情報を受信し、(ii)人間のオペレータが次に情報を知覚し、情報に関連する応答を入力することができるインターフェースを提供し、および(iii)応答を車両200に、または他のデバイスに送信する、ように構成された任意のタイプのデバイスを表し得る。リモートコンピューティングシステム302は、ワークステーション、デスクトップコンピュータ、ラップトップ、タブレット、携帯電話(例えば、スマートフォン)、および/またはサーバなどの、様々な形態を取り得る。いくつかの例では、リモートコンピューティングシステム302は、ネットワーク構成で一緒に動作する複数のコンピューティングデバイスを含み得る。
【0066】
リモートコンピューティングシステム302は、車両200のサブシステムおよび構成要素と同様または同一の1つ以上のサブシステムおよび構成要素を含み得る。最低でも、リモートコンピューティングシステム302は、本明細書で説明される様々な動作を行うために構成されたプロセッサを含み得る。いくつかの実施形態では、リモートコンピューティングシステム302はまた、タッチスクリーンおよびスピーカなどの入力/出力デバイスを含むユーザインターフェースを含み得る。他の例も可能である。
【0067】
ネットワーク304は、リモートコンピューティングシステム302と車両200との間の無線通信を可能にするインフラストラクチャを表す。ネットワーク304はまた、サーバコンピューティングシステム306とリモートコンピューティングシステム302との間、およびサーバコンピューティングシステム306と車両200との間の無線通信を可能にする。
【0068】
リモートコンピューティングシステム302の位置は、例の範囲内で変わることができる。例えば、リモートコンピューティングシステム302は、ネットワーク304を介した無線通信を有する車両200から遠隔位置を有し得る。別の例では、リモートコンピューティングシステム302は、車両200とは別個であるが、人間のオペレータが車両200の乗客または運転者と相互作用することができる車両200内のコンピューティングデバイスに対応し得る。いくつかの例では、リモートコンピューティングシステム302は、車両200の乗客によって操作可能なタッチスクリーンを備えたコンピューティングデバイスであってもよい。
【0069】
いくつかの実施形態では、リモートコンピューティングシステム302によって行われる本明細書で説明される動作は、追加的に、または代替的に、車両200によって(すなわち、車両200の任意のシステム(複数可)またはサブシステム(複数可)によって)行われ得る。言い換えれば、車両200は、車両の運転者または乗客が相互作用することができるリモートアシスタンス機構を提供するように構成され得る。
【0070】
サーバコンピューティングシステム306は、ネットワーク304を介してリモートコンピューティングシステム302および車両200と(または、場合によっては、リモートコンピューティングシステム302および/もしくは車両200と直接)無線通信するように構成され得る。サーバコンピューティングシステム306は、車両200およびそのリモートアシスタンスに関する情報を受信、格納、判定、および/または送信するように構成された任意のコンピューティングデバイスを表し得る。かくして、サーバコンピューティングシステム306は、リモートコンピューティングシステム302および/または車両200によって行われるものとして本明細書で説明される任意の動作(複数可)またはそのような動作(複数可)の一部を行うように構成され得る。リモートアシスタンスに関連する無線通信の一部の実施形態では、サーバコンピューティングシステム306を利用できるが、他の実施形態では利用できない。
【0071】
サーバコンピューティングシステム306は、本明細書に記載の様々な動作を行うように構成されたプロセッサ、ならびにリモートコンピューティングシステム302および車両200から情報を受信し、それらに情報を提供するための無線通信インターフェースなどの、リモートコンピューティングシステム302および/または車両200のサブシステムおよび構成要素と同様または同一の1つ以上のサブシステムおよび構成要素を含み得る。
【0072】
上記の様々なシステムは、様々な動作を行い得る。ここで、これらの動作および関連する機能について説明する。
【0073】
上記の議論に沿って、コンピューティングシステム(例えば、リモートコンピューティングシステム302、またはおそらくサーバコンピューティングシステム306、あるいは車両200にローカルなコンピューティングシステム)は、自律車両の環境の画像を捕捉するためにカメラを使用するように動作し得る。一般に、少なくとも1つのコンピューティングシステムが画像を分析することができ、場合によっては自律車両を制御する。
【0074】
いくつかの実施形態では、自律動作を容易にするために、車両(例えば、車両200)は、車両が動作する環境内の物体を表すデータ(本明細書では「環境データ」とも称される)を様々な方法で受信し得る。車両のセンサシステムは、環境の物体を表す環境データを提供し得る。例えば、車両は、カメラ、レーダユニット、レーザ距離計、マイクロフォン、ラジオユニット、および他のセンサを含む様々なセンサを有し得る。これらのセンサの各々は、各それぞれのセンサが受信する情報について、環境データを車両内のプロセッサに通信し得る。
【0075】
一例では、カメラが、静止画像および/またはビデオを捕捉するように構成され得る。いくつかの実施形態では、車両は、異なる向きに位置付けられた2つ以上のカメラを有する場合がある。また、いくつかの実施形態では、カメラは、異なる方向で画像および/またはビデオを捕捉するために移動することができる場合がある。カメラは、車両の処理システムによる後の処理のために、捕捉された画像およびビデオをメモリに格納するように構成され得る。捕捉された画像および/またはビデオは、環境データである場合がある。さらに、カメラは、本明細書で説明されるような画像センサを含み得る。
【0076】
別の例では、レーダユニットが、車両の近くの様々な物体によって反射される電磁信号を送信し、次いで物体から反射する電磁信号を捕捉するように構成され得る。捕捉された反射電磁信号は、レーダシステム(または処理システム)が電磁信号を反射した物体について様々な判定を行うことを可能にし得る。例えば、様々な反射物体までの距離および位置が判定され得る。いくつかの実施形態では、車両は、異なる向きに2つ以上のレーダを有し得る。レーダシステムは、車両の処理システムによる後の処理のために、捕捉された情報をメモリに格納するように構成され得る。レーダシステムによって捕捉された情報は、環境データである場合がある。
【0077】
別の例では、レーザ距離計が、車両近くの対象物体によって反射される電磁信号(例えば、気体もしくはダイオードレーザ、または他の可能な光源からのものなどの光)を送信するように構成され得る。レーザ距離計は、反射された電磁(例えば、レーザ)信号を捕捉することができ得る。捕捉された反射電磁信号は、測距システム(または処理システム)が様々な物体までの距離を判定することを可能にし得る。測距システムはまた、対象物体の速度またはスピードを判定することができ、それを環境データとして格納することができる。
【0078】
加えて、一例では、マイクロフォンが、車両を取り巻く環境のオーディオを捕捉するように構成され得る。マイクロフォンで捕捉された音には、緊急車両のサイレンや他の車両の音が含まれる場合がある。例えば、マイクロフォンは緊急車両のサイレンの音を捕捉する場合がある。処理システムは、捕捉されたオーディオ信号が緊急車両を示していることを識別でき得る。別の例では、マイクロフォンは、オートバイからの排気など、別の車両の排気の音を捕捉する場合がある。処理システムは、捕捉されたオーディオ信号がオートバイを示していることを識別でき得る。マイクロフォンによって捕捉されたデータは、環境データの一部を形成し得る。
【0079】
さらに別の例では、ラジオユニットが、Bluetooth信号、802.11信号、および/または他の無線技術信号の形態を取り得る電磁信号を送信するように構成され得る。第1の電磁放射信号は、ラジオユニットに配置された1つ以上のアンテナを介して送信され得る。さらに、第1の電磁放射信号は、多くの異なる無線信号モードのうちの1つで送信されてもよい。しかしながら、いくつかの実施形態では、自律車両の近くに配置されているデバイスからの応答を要求する信号モードで第1の電磁放射信号を送信することが望ましい。処理システムは、ラジオユニットに返信された応答に基づいて近くのデバイスを検出することができ得、この伝達された情報を環境データの一部として使用し得る。
【0080】
いくつかの実施形態では、処理システムは、車両の環境をさらに判定するために、様々なセンサからの情報を組み合わせることが可能であり得る。例えば、処理システムは、レーダ情報および捕捉された画像の両方からのデータを組み合わせて、別の車両または歩行者が自律車両の前にいるかどうかを判定し得る。他の実施形態では、センサデータの他の組み合わせを処理システムが使用して、環境についての判定を行い得る。
【0081】
自律モードで動作している間、車両はほとんどまたはまったく人間の入力なしでその動作を制御し得る。例えば、人間のオペレータが住所を車両に入力すると、車両は、人間からのさらなる入力なしに(例えば、人間がブレーキ/アクセルペダルを操縦したり触れたりする必要がなく)、指定された目的地まで運転することができ得る。さらに、車両が自律的に動作している間、センサシステムは環境データを受信していてもよい。車両の処理システムは、様々なセンサから受信した環境データに基づいて車両の制御を変更し得る。いくつかの例では、車両は、様々なセンサからの環境データに応答して、車両の速度を変え得る。車両は、障害物を回避し、交通法に従うなどのために速度を変え得る。車両での処理システムが車両の近くの物体を識別すると、車両は速度を変更するか、または別の方法で動きを変えることが可能であり得る。
【0082】
車両が物体を検出したが物体の検出に十分自信がない場合、車両は、人間のオペレータ(またはより強力なコンピュータ)に、(i)物体が実際に環境内に存在するかどうかを確認する(例えば、実際に一時停止標識があるか、または実際に一時停止標識がないか)、(ii)車両の物体の識別が正しいかどうかを確認する、(iii)識別が正しくなかった場合、識別を修正する、および/または(iv)自律車両に対して補足的な命令を提供する(または現在の命令を変更する)などの、1つ以上のリモートアシスタンスタスクを行うよう要求することができる。リモートアシスタンスタスクにはまた、人間のオペレータが車両の動作を制御するための命令を提供する(例えば、人間のオペレータが、物体は一時停止標識であると判定した場合、一時停止標識で停止するよう車両に命令する)ことが含まれるが、いくつかのシナリオでは、物体の識別に関連する人間のオペレータのフィードバックに基づいて、車両自体が自身の動作を制御する場合がある。
【0083】
これを容易にするために、車両は、環境の物体を表す環境データを分析して、閾値未満の検出信頼度を有する少なくとも1つの物体を判定し得る。車両のプロセッサは、様々なセンサからの環境データに基づいて環境の様々な物体を検出するように構成され得る。例えば、一実施形態では、プロセッサは、車両が認識するのに重要であり得る物体を検出するように構成され得る。このような物体には、歩行者、街路標識、他の車両、他の車両のインジケータ信号、および捕捉された環境データで検出された他の様々な物体が含まれ得る。
【0084】
検出信頼度は、判定された物体が環境内で正しく識別されているか、または環境内に存在している可能性を示し得る。例えば、プロセッサは、受信した環境データの画像データ内の物体の物体検出を行い、閾値を超える検出信頼度を有する物体を識別することができないことに基づいて、少なくとも1つの物体が閾値を下回る検出信頼度を有すると判定し得る。物体の物体検出または物体認識の結果が決定的でない場合、検出信頼度が低いか、または設定された閾値を下回っている場合がある。
【0085】
車両は、環境データのソースに応じて、様々な方法で環境の物体を検出し得る。いくつかの実施形態では、環境データはカメラから来て、画像またはビデオデータであり得る。他の実施形態では、環境データはLIDARユニットから来る場合がある。車両は、捕捉された画像またはビデオデータを分析して、画像またはビデオデータ内の物体を識別し得る。方法および装置は、環境の物体の存在について画像および/またはビデオデータを監視するように構成され得る。他の実施形態では、環境データは、レーダ、オーディオ、または他のデータであり得る。車両は、レーダ、オーディオ、または他のデータに基づいて環境の物体を識別するように構成され得る。
【0086】
いくつかの実施形態では、物体を検出するために車両が使用する技術は、既知のデータのセットに基づいていてもよい。例えば、環境物体に関連するデータは、車両に配置されたメモリに格納されてもよい。車両は、受信したデータを格納されたデータと比較して、物体を判定し得る。他の実施形態では、車両は、データの文脈に基づいて物体を判定するように構成され得る。例えば、建設に関連する街路標識は、概してオレンジ色を有し得る。したがって、車両は、道路脇近くに配置されたオレンジ色の物体を、工事関連の街路標識として検出するように構成されてもよい。加えて、車両の処理システムは、捕捉されたデータ内の物体を検出すると、それはまた各物体の信頼度を計算することができる。
【0087】
さらに、車両はまた、信頼度閾値を有し得る。信頼度閾値は、検出される物体のタイプに応じて異なり得る。例えば、別の車両のブレーキライトなど、車両からの迅速な応答アクションを要求し得る物体については、信頼度閾値が低くなり得る。しかしながら、他の実施形態では、検出されたすべての物体について、信頼度閾値が同じであってもよい。検出された物体に関連付けられた信頼度が信頼度閾値より高い場合、車両は、物体が正しく認識されたと想定し、その想定に基づいて車両の制御を応答的に調整し得る。
【0088】
検出された物体に関連付けられた信頼度が信頼度閾値より低い場合、車両が取るアクションは変わり得る。いくつかの実施形態では、車両は、低い信頼度レベルにもかかわらず、検出された物体が存在するかのように反応する場合がある。他の実施形態では、車両は、検出された物体が存在しないかのように反応することがある。
【0089】
車両は、環境の物体を検出すると、特定の検出された物体に関連付けられた信頼度も計算することができる。信頼度は、実施形態に応じて様々な方法で計算され得る。一例では、環境の物体を検出するとき、車両は、環境データを既知の物体に関連する所定のデータと比較し得る。環境データと所定のデータとの一致が近いほど、信頼度はより高くなる。他の実施形態では、車両は、環境データの数学的分析を使用して、物体に関連付けられた信頼度を判定し得る。
【0090】
物体が閾値を下回る検出信頼度を有するとの判定に応答して、車両は、リモートコンピューティングシステムに、物体の識別とともにリモートアシスタンスの要求を送信し得る。上述のように、リモートコンピューティングシステムは、様々な形態を取り得る。例えば、リモートコンピューティングシステムは、車両とは別個の車両内のコンピューティングデバイス、リモートアシスタンス情報を表示するためのタッチスクリーンインターフェースなど、であってもよいが、それによって人間のオペレータが車両の乗客または運転者と相互作用することができる。追加的に、または代替的に、別の例として、リモートコンピューティングシステムは、車両の近くではない場所に配置されたリモートコンピュータ端末または他のデバイスであってもよい。
【0091】
リモートアシスタンスの要求は、画像データ、オーディオデータなどの、物体を含む環境データを含み得る。車両は、ネットワーク(例えば、ネットワーク304)上で、いくつかの実施形態では、サーバ(例えば、サーバコンピューティングシステム306)を介してリモートコンピューティングシステムに環境データを送信し得る。リモートコンピューティングシステムの人間のオペレータは、次に、要求に応答するための基礎として環境データを使用し得る。
【0092】
いくつかの実施形態では、物体が信頼度閾値を下回る信頼度を有するとして検出された場合、物体には予備識別が与えられてもよく、車両は、予備識別に応答して車両の動作を調整するように構成され得る。そのような動作の調整は、他の可能な調整の中でもとりわけ、車両を停止すること、車両を人間制御モードに切り替えること、車両の速度(例えば、スピードおよび/または方向)を変更することの形態を取り得る。
【0093】
他の実施形態では、車両が閾値を満たす、または超える信頼度を有する物体を検出した場合でも、車両は検出された物体に従って動作し得る(例えば、物体が一時停止標識として高い信頼度で識別された場合に停止する)が、車両が検出された物体に従って動作するのと同時に(または後で)リモートアシスタンスを要求するように構成され得る。
【0094】
III.画像検知システムの例
カメラ130に加えて、またはその代わりに、コンピュータビジョンシステム140、センサユニット202、および/もしくはカメラ210、またはおそらくカメラ130の一部として、コンピュータビジョンシステム140、センサユニット202、および/またはカメラ210、例示的な車両は、図4Aに示されるように、1つ以上のカメラシステム400を含み得る。カメラシステム400は、物体の検出および回避、ならびにナビゲーションのために自律車両によって使用され得る。図4Aに示されるように、カメラシステム400は、第1の画像センサ410および第2の画像センサ420を含み得る。第1の画像センサ410および第2の画像センサ420は、シーン402の画像を捕捉するように構成され得る。さらに、第1の画像センサ410および第2の画像センサ420は、プロセッサ430に個別に通信可能に結合されてもよい。代替的な実施形態では、プロセッサ430と第1の画像センサ410および第2の画像センサ420の各々との間の個々の通信結合ではなく、プロセッサ430とカメラシステム400との間に単一の通信結合があり得る。
【0095】
シーン402は、第1の画像センサ410および第2の画像センサ420によって捕捉された画像を分析して物体を検出するために、命令を実行するプロセッサによって識別可能な1つ以上の物体を含み得る。全体を通して使用されるように、物体は、シーンに存在するもののサブセットを含むことができる。例えば、物体は、車両(例えば、救急車)、車両の一部(例えば、タイヤ、ドア、フロントガラスなど)、自然の特徴(例えば、木、リス、草、雲、雨、雪など)、自然の特徴の一部(例えば、幹、リスの頭など)、標識(例えば、一時停止標識、工事標識、制限速度標識など)、道路上のマーキング(例えば、道路の中心線または路肩)、単語(例えば、「STOP(停止)」)、単語の一部(例えば、「S」などの文字)、またはここに開示されているか、もしくは当業者によって理解されている無数の物体認識アルゴリズムのうちのいずれかを介して識別可能なシーンの他の構成要素を含み得る。各物体は、対応する輝度レベル(すなわち、明るさレベル)を有することができる。例えば、信号機の輝度レベルは黒猫の輝度レベルよりも高い場合がある。輝度レベルは、例えば、平方メートルあたりのカンデラの単位で測定され得る。さらに、シーン全体は、合成輝度レベルによって(例えば、平方メートルあたりのカンデラまたはニットで)定義されてもよい。合成輝度レベルは、シーン402内のすべての物体の輝度値の合計、中央値、最大、または所与の百分位数(例えば、90パーセンタイル)であり得る。あるいは、合成輝度レベルは、シーン402の特定の領域内のすべての物体の輝度値の合計、中央値、最大、または所定の百分位数(例えば、90パーセンタイル)であり得る。さらに、いくつかの実施形態では、シーン402内の1つ以上の物体は、2つ以上の輝度値(例えば、物体の異なる部分に対して異なる輝度値)を有し得る。例えば、再帰反射器を備えた自転車は、再帰反射器のためのある輝度値(例えば、高輝度値)および自転車の残りのための別の輝度値(例えば、より低い輝度値)を有し得る。
【0096】
さらに、シーン402内のいくつかの物体は、能動的に照光し得る。能動的照光物体は、それ自体が物体の観察に使用される光を生成する物体である。例えば、街路灯、テールライト、信号機、非常用フラッシャー、照光道路標識(例えば、一時的な工事標識)などはすべて、能動的照光物体を含み得る。能動的照光物体は、断続的に(例えば、パルス幅変調に従って)光を生成する場合がある。一例は、単語を綴るために標識の文字を順番に照らす工事標識である。別の例は、ランダムまたは疑似ランダムに連続して(例えば、ピクセルごとにまたはシンボルごとにランダムに)文字および/または記号を照らす工事標識または他の標識であり得る。その他の例としては、オーバーヘッド速度標識および右折禁止の電子ディスプレイなどがある。能動的照光物体のパルス幅変調は、対応する画像センサのシャッタースピード(および対応する露出持続時間)と同様またはそれより遅い速度である関連する変調時間を有し得る。このようにして、パルス幅変調の照光部分(すなわち、デューティサイクルの「オン」部分)は、関連するシャッタースピード/露出持続時間で捕捉された画像内に完全に捕捉されない場合がある。例えば、1%のデューティサイクルで10Hzで能動的に照光している物体の場合、10msの露出持続時間で10Hzの速度で画像を捕捉する画像センサは、画像センサが能動的照光物体と位相がずれている場合、1%のデューティサイクルの「オン」部分を捕捉することはない。
【0097】
ただし、能動的照光物体のパルス幅変調に、対応する画像センサのシャッタースピード(および対応する露出持続時間)よりも速い変調時間が関連付けられている場合(例えば、シャッタースピード/露出持続時間よりも1桁速い、シャッタースピード/露出持続時間よりも10%速い、シャッタースピード/露出持続時間よりも1%速いなど)、パルス幅変調期間は、関連するシャッタースピード(および対応する露出持続時間)で捕捉された画像内で完全に捕捉され得る。例えば、画像センサのシャッタースピード/露出持続時間が、標識の文字を順番に照らして単語を綴る工事標識の変調スピードより遅い場合、単語全体が遅いシャッタースピード/露出持続時間を有する画像センサによって捕捉された画像内で捕捉される可能性がある。
【0098】
追加的に、または代替的に、シーン402内のいくつかの物体は、受動的に照らされ得る。受動的に照らされている物体は、物体の観察に使用される光を生成しない物体である。代わりに、受動的に照らされている物体は、他の光源(例えば、太陽、ヘッドライト、街路灯など)によって生成された光を反射する場合がある。例えば、反射板、岩、木、手すり、柱、茂み、歩行者、動物、中心線、道路、反射道路標識(例えば、一時停止標識)、ライトが付いていない車両(例えば、日中の移動中)などはすべて、受動的に照らされている物体を含む。
【0099】
シーン402内の物体が能動的に照光しているか、または受動的に照らされているどうかに関係なく、物体は、カメラシステム400に対して動いている可能性がある。このような物体は、シャッタースピード/露出持続時間に対して高い速度(例えば、物体の写真が所定の対応するシャッタースピード/露出持続時間に対してぼやけて見えるようなスピード)またはシャッタースピード/露出持続時間に対して低いもしくは同等の(例えば、物体の写真が所定の対応するシャッタースピード/露出持続時間でぼやけて見えないようなスピード)を有し得る。
【0100】
図示のように、第2の画像センサ420は、光学中性濃度フィルタ422(例えば、ND2、ND4、ND8、ND16、ND32、ND64、ND100、ND128、ND128、ND256、ND400、ND512、ND1024、ND2048、ND4096、ND6310、ND8192、ND10000、またはND100000フィルタ)を介して、シーン402の画像を捕捉し得る。中性濃度フィルタ422は、(例えば、中性濃度フィルタ422に入射する光の一部のみを透過させることによって)第2の画像センサ420に到達するシーン402からの光の強度を低減し得る。中性濃度フィルタ422は、画像センサ420によって感知される波長の範囲にわたって第2のセンサ420に到達する光の強度を均一に(またはほぼ均一に)低減し得る。例えば、センサ420が可視スペクトルの波長を感知するように構成されている場合、シーン402からの可視スペクトルの各波長は、第2の画像センサ420に到達する前に、同じまたは実質的に同じ量/パーセンテージだけ強度が低減され得る。これは、一部の波長が他の波長よりも減衰するクロマティック光学フィルタとは異なる。例えば、単色光学フィルタでは、所与の色(例えば、オレンジまたは527nm±10nm)に対応する狭い範囲の波長のみがフィルタによって透過され得る。
【0101】
代替的な実施形態では、カメラシステム400は、追加の中性濃度フィルタまたは他のフィルタ(例えば、段階的中性濃度フィルタ、クロマティック光学フィルタ、または偏光フィルタ)を含み得る。さらに、いくつかの実施形態では、カメラシステム400は、中性濃度フィルタまたは他の光学フィルタ以外の、第2の画像センサ420に到達する光の強度を低減する追加または代替の固定機構を含み得る。例えば、中性濃度フィルタまたは他の光学フィルタの代わりに、画像センサの固定絞りまたは固定感度設定を使用することができる。
【0102】
さらに他の実施形態では、第2の画像センサ420は、第2の画像センサ420に到達する光の強度を低減する固定機構を含まなくてもよい。例えば、第2の画像センサ420の露出は、捕捉されているシーンについての以前のデータに基づいて変化し得る。例えば、カメラシステム400が非常に高い明るさまたは非常に低い明るさ(例えば、以前のデータによって示されるような)を有する信号機を撮像している場合、第2の画像センサ420の露出設定はそれに応じて設定され得る。以前のデータに基づく露出設定の調整は、シーンにおける周囲光に基づく第2の画像センサ420の露出設定の調整に加えて、またはその代わりである可能性がある。第2の画像センサ420の露出設定を変える他の固定されていない方法も可能である。
【0103】
また、図4Aに示されるように、第1の画像センサ410および第2の画像センサ420は、互いに垂直に位置合わせされてもよい。このようにして、シーン402内の物体の向きは、第2の画像センサ420によって捕捉された画像の場合と同様に、第1の画像センサ410によって捕捉された画像の場合と同様またはほぼ同様であり得る。いくつかの実施形態では、第1の画像センサ410と第2の画像センサ420との間の垂直分離は、第1の画像センサ410の視点および第2の画像センサ420の視点が最大限に類似するように最小化され得る。さらに、いくつかの実施形態では、第1の画像センサ410および第2の画像センサ420は、実質的に同時に画像を捕捉するように構成されてもよい。追加的に、または代替的に、第1の画像センサ410および第2の画像センサ420は、水平に位置合わせされ得る(例えば、第2の画像センサ420によって捕捉された画像の場合と同様に、シーン402内の物体の向きが、第1の画像センサ410によって捕捉された画像と同様またはほぼ同様であることを再び確実にする)。
【0104】
いくつかの実施形態では、第1の画像センサ410および/または第2の画像センサ420はそれぞれ、シーン402からの光がそれぞれの画像センサに入る1つ以上のレンズを有し得る。このようなレンズは、(例えば、1つ以上のレンズのうち1つ以上の焦点距離を調整することにより)それぞれの画像センサのシーン402の倍率を修正し、それぞれの画像センサの被写界深度を修正し、かつ/または画像センサの焦点を修正するように調整し得る。追加的に、または代替的に、第1の画像センサ410および/または第2の画像センサ420は、シーン402からの光がそれぞれの画像センサに入る1つ以上の絞りを有し得る。このような絞りは、それぞれの画像センサによって捕捉されている所与の画像に関して、それぞれの画像センサに到達するシーン402からの光の量を制御し、それぞれの画像センサの被写界深度を修正し、かつ/またはそれぞれの画像センサに到達する光に基づいて実行可能な露出持続時間の範囲を修正するように調整され得る。
【0105】
第1の画像センサ410は、いくつかの実施形態では、シーン402の合成輝度レベル(シーンに基づく固定値)に基づいて調整され得る。例えば、第1の画像センサ410は、第1の画像センサ410上の照度値を感知し、照度値を第1の画像センサ410のコントローラに送信し得る。コントローラは、照度値に基づいて、第1の画像センサ410上の照度値(露出設定に基づいて修正可能な値)が閾値の許容範囲内になるまで、第1の画像センサ410に対応する露出設定(例えば、露出持続時間/シャッタースピード、絞りサイズ、1つ以上のレンズの焦点距離、画像センサのISO感度など)を修正し得る。このようにして、第1の画像センサ410は、照度値に基づいてコントローラによって調整される可変露出を有し得る。これは、いくつかのカメラ(デジタル一眼レフ(DSLR)カメラなど)の「自動露出」設定に類似している場合がある。
【0106】
いくつかの実施形態では、第2の画像センサ420はまた、第2の画像センサ420上の照度値が閾値の許容範囲内になるまで、第2の画像センサ420に対応する露出設定を修正し得る。しかしながら、代替的な実施形態では、第2の画像センサ420は、固定露出設定を有し得る。第2の画像センサ420は、中性濃度フィルタ422を介してシーン402から光を受信するため、第2の画像センサ420が照度値に基づいて調整されない場合、第2の画像センサ420は、全体的により低い強度のシーン402の画像を捕捉し得る。露出設定(露出持続時間、絞りサイズなど)を修正することにより、中性濃度フィルタ422を補正せずに、中性濃度フィルタ422を介して画像を捕捉すると、露出オーバーになることなく明るい物体(救急車の緊急信号などの能動的照光物体)を観察することが可能になり得る。さらに、全体的な強度をより低くして画像を捕捉すると、捕捉された画像における迷光、グレア、フレアのアーティファクトが低減する場合がある。
【0107】
部分的には、第2の画像センサ420が中性濃度フィルタ422を含み、第1の画像センサ410が含まないため、第2の画像センサ420はより低い照度値が存在する場合に露出設定を補正しない可能性がある一方で第1の画像センサ410は補正する可能性があり、第1の画像センサ410および第2の画像センサ420はそれぞれ、対応する(場合によっては異なる)ダイナミックレンジを有し得る。図4Bに示されるように、第1のダイナミックレンジ414は第1の画像センサ410に対応し得、第2のダイナミックレンジ424は第2の画像センサ420に対応し得る。
【0108】
ダイナミックレンジ414/424の各々は、シーン402(輝度に対数目盛を使用して図4Bに示される)内の輝度レベルの範囲に対応し得る。図4Bに示されるように、第2のダイナミックレンジ424は、第1のダイナミックレンジ414よりも高い輝度レベルの範囲に対応し得る。したがって、第2の画像センサ420を使用して、第1の画像センサ410よりも高い輝度を有する物体を検出/識別し得る。例えば、第2の画像センサ420によって捕捉された画像は、信号機を識別するために使用され得、一方、第1の画像センサ410によって捕捉された画像は、歩行者を識別するために使用され得る。追加の例として、図4Cに示すように、第2の画像センサ420によって捕捉された画像は、車両のテールライト452(または他の能動的照光物体)を識別するために使用され得、第1の画像センサ410によって捕捉された画像は、通りを横断する歩行者450(または他の受動的に照らされている物体)を識別するために使用され得る。このような歩行者450は、例えば、テールライト452を備えたカメラシステム400と車両との間の道路を横断している場合がある。
【0109】
また、(第1のダイナミックレンジ414から延びる矢印によって)図4Bに示されるように、第1の画像センサ410は、第1の画像センサ410によって感知された照度値に基づいてその露出設定を調整し得るため、対応する第1のダイナミックレンジ414は、より高いまたはより低い輝度値を含合するように変化し得る。さらに、第2のダイナミックレンジ424は、第1のダイナミックレンジ414よりも高い1つ以上の輝度レベルを含み得る。図示のように、第1のダイナミックレンジ414の輝度レベルの少なくとも一部は、第2のダイナミックレンジ424の輝度レベルの一部と重なり得る。
【0110】
代替的な実施形態では、第1のダイナミックレンジ414は、第2のダイナミックレンジ424と重ならなくてもよい(例えば、第1のダイナミックレンジ414におけるすべての輝度レベルは、第2のダイナミックレンジ424のすべての輝度レベルよりも低くてもよい)。例えば、第1のダイナミックレンジ414または第2のダイナミックレンジ424のいずれによってもカバーされない、第1のダイナミックレンジ414と第2のダイナミックレンジ424との間にある範囲の輝度レベルがあり得る。さらに他の実施形態では、第1のダイナミックレンジ414の一部または全体は、第2のダイナミックレンジ424内の輝度レベルのすべてよりも高い輝度レベルを含み得る。
【0111】
いくつかの代替的な高ダイナミックレンジ(HDR)撮像アプローチでは、一連の輝度レベルを使用して、完全な合成画像を生成する(例えば、単一の画像センサを使用するHDR撮像アプローチ)。ただし、一部の代替的なHDR撮像アプローチでは、ダイナミックレンジのギャップが許容されない。したがって、観察/検出する必要のない物体を含む輝度レベルの範囲がある実施形態では、それらの輝度レベルをスキップすることができる。これにより、例えば、ダイナミックレンジのギャップを許容しないHDR撮像アプローチと比較すると、データストレージおよび計算時間を節約できる。あるいは、本明細書に開示されるいくつかの実施形態では、第1のダイナミックレンジ414は、第2のダイナミックレンジ424を完全に包含してもよく、逆もまた同様である。
【0112】
図4Bに示すように、(第1のダイナミックレンジ414および第2のダイナミックレンジ424を含む)カメラシステム400がまたがる集合的なダイナミックレンジは、第1のダイナミックレンジ414または第2のダイナミックレンジ424のいずれよりも個別に大きい。
【0113】
上記のような技術を使用すると、画像センサ自体を必ずしも修正することなく、カメラのダイナミックレンジを効果的に拡大できる。画像センサは必ずしも修正する必要がないため、このような技術は、特化した(そして潜在的に高価な)カメラ/画像センサを必要とせずにダイナミックレンジの向上につながる可能性がある。
【0114】
さらに、第1の画像センサ410および第2の画像センサ420の各々は、(例えば、図1に示されるプロセッサ113に類似する)プロセッサ430に接続されてもよい。プロセッサ430は、メモリ(例えば、図1に示されるデータストレージ114)に格納された命令(例えば、図1に示される命令115)を実行するコンピューティングデバイス(例えば、図1に示されるコンピュータシステム112)の一部であり得る。プロセッサ430は、第1の画像センサ410から第1の捕捉された画像を、かつ/または第2のセンサ420から第2の捕捉された画像を受信し得る。次に、プロセッサ430は、(例えば、物体認識/物体識別アルゴリズムおよび/または命令内に格納されたローカリゼーションアルゴリズムを使用して)画像のいずれかまたは両方内の物体を識別またはローカライズしようと試み得る。識別された物体のアイデンティティおよび場所(例えば、互いに対する場所および/または車両に対する場所)を使用して、プロセッサ430および/または関連する制御システム(例えば、図1に示される制御システム106)は、(例えば、ステアリングユニット132を使用して車両の進路を変更し得る、スロットル134を使用して車両のスピードを変更し得る、方向指示器をオンにし得るなど)車両の様々な構成要素の挙動を指示し得る。
【0115】
計算時間を節約するために、プロセッサ430は、第2の画像センサ420によって捕捉された画像を使用して、能動的照光物体(例えば、テールライト、信号機など)の識別のみを試み得、第1の画像センサ410によって捕捉された画像を使用して、受動的に照らされている物体(例えば、歩行者、樹木、一時停止標識などの光を反射または屈折させることによって照光されている物体)の識別のみを試み得る。
【0116】
追加的に、または代替的に、計算時間を節約するために、プロセッサ430は、第1の画像センサ410によって捕捉された画像内の第1の画像センサ410のシャッタースピード/露出持続時間に対して高い速度を有する、カメラシステム400に対して動きのある物体(例えば、雨などの気象効果)のみを識別しようと試み得る。さらに、計算時間を節約するために、プロセッサ430は、第1の画像センサ410によって捕捉された画像内の第1の画像センサ410のシャッタースピード/露出持続時間より速い速度で変調されている、能動的照光物体(例えば、工事標識)のみを識別しようと試み得る。
【0117】
同様に、計算時間を節約するために、プロセッサ430は、第2の画像センサ420によって捕捉された画像内の第1の画像センサ410のシャッタースピード/露出持続時間に対して低い速度または同等の速度を有するカメラシステムに対して動きのある物体(例えば、歩行者)のみを識別しようと試み得る。さらに、計算時間を節約するために、プロセッサ430は、第2の画像センサ420によって捕捉された画像内の第1の画像センサ410のシャッタースピード/露出持続時間と同様またはより遅い速度で変調されている能動的照光物体(例えば、点滅する方向指示器)のみを識別しようと試み得る。
【0118】
さらに、いくつかの実施形態では、第1の画像センサ410および第2の画像センサ420はそれぞれ、特定のタイプの物体(例えば、高速移動物体対低速移動物体または能動的照明物体対受動的に照らされている物体)を捕捉するように構成され得るため、所与の画像センサのハードウェアは、輝度レベルの所与の範囲および/または経時的な変動に特化し得る。例えば、第2の画像センサ420は、受動的に照らされている物体を検出するために特化したハードウェア(例えば、第1の画像センサ410とは異なるレンズ、第1の画像センサ410と比較した1つ以上の追加のフィルタなどの中性濃度フィルタ422に加えて特化したハードウェア)を有し得る。
【0119】
シーン402の捕捉された画像をコンピューティングデバイスに送信する前に、第1の画像センサ410および第2の画像センサ420は、捕捉された画像を圧縮し得る。追加的に、または代替的に、コンピューティングデバイスは、第1の画像センサ410および第2の画像センサ420から受け取った後に、捕捉された画像を圧縮し得る。
【0120】
さらに、いくつかの物体識別アルゴリズム(例えば、画像内の物体を識別するためにプロセッサによって実行可能なメモリ内に格納された命令)は、第1の画像センサ410および第2の画像センサ420によって捕捉された画像に適用され得る。物体識別アルゴリズムは、HDR、24ビット画像(すなわち、赤、緑および青の各色の8ビット数によって各ピクセルを表すHDR画像)に最適化し得る。したがって、第1の画像センサ410および第2の画像センサ420によって捕捉された画像がそれぞれ24ビット画像である場合、第1の画像センサ410および第2の画像センサ420によって捕捉された画像は、組み合わされた画像がHDR、24ビット画像のために最適化された物体識別アルゴリズムの1つによって処理できるように単一のHDR、24ビット画像に組み合わされ得る。他の実施形態では、物体識別アルゴリズムは、代わりに他のタイプの画像(例えば、30ビット画像、36ビット画像、42ビット画像、48ビット画像など)のために最適化されてもよい。
【0121】
2つの捕捉された画像を単一のHDRに組み合わせると、24ビット画像は、トーンマッピングの実行(つまり、HDRを概算するために、個々の捕捉された画像のカラーセット組み合わされた画像の新しいグローバルカラーセットに再マッピングすること)を含み得る。これにより、物体識別アルゴリズム(例えば、HDR、24ビット画像用に最適化された物体識別アルゴリズムなど)の拡大ライブラリを使用できるようになるが、トーンマッピングにより、第1の画像センサ410および第2の画像センサ420によって捕捉された個々の画像にわたって含まれる物理的な輝度レベルおよびグローバルコントラストに関する固有のデータが犠牲になる場合がある。
【0122】
いくつかの実施形態では、物理的な輝度レベルおよびグローバルコントラストに関するこの固有のデータを保存するために、個々の画像の各々が(例えば、プロセッサによって実行可能であり、メモリ内に格納された)別個の物体識別アルゴリズムに供給され得る。このような別個の物体識別アルゴリズムは、それら自体が、所与のダイナミックレンジ(例えば、輝度レベルの所与の範囲)のために一緒に、かつ/または個別に最適化され得る。
【0123】
さらに他の実施形態では、物理的な輝度レベルおよびグローバルコントラストに関するこの固有のデータを保存するために、個々の画像の各々が、両方の画像を一緒に処理するように設計された単一の組み合わされた物体識別アルゴリズムに供給され得る。例えば、組み合わされた物体識別アルゴリズムは、畳み込みニューラルネットワークなどの機械学習アルゴリズムであってもよい。畳み込みニューラルネットワークは、正規の3色(赤、緑、青)とは対照的に、組み合わされた画像を6色であるかのように処理し得る。畳み込みニューラルネットワークは、例えば、ピクセルごとに4つ以上のカラー値(例えば、6つのカラー値)を追跡する中間ニューロン層を使用して、6つのカラーチャネルを解釈し得る。
【0124】
このような組み合わされた物体識別アルゴリズム、または本明細書で説明する他のアルゴリズムを使用して、プロセッサは、単一の捕捉された画像のみを使用するのではなく、両方の捕捉された画像を使用して物体の物体識別を実行し得る。例えば、夜間の緊急車両は、高輝度レベル(例えば、緊急車両の緊急灯)および低輝度レベル(例えば、緊急車両のタイヤまたは塗装された本体)の両方を含み得る。したがって、第1の画像センサ410によって捕捉された画像および第2の画像センサ420によって捕捉された画像の両方の一部を使用して、物体を救急車、消防車、または警察車両として識別し得る。このような実施形態が図4Dに示されている。図示されるように、第2の画像センサ420は、緊急車両(例えば、救急車)のライト460に方向付けられ得、第1の画像センサ410は、緊急車両の塗装された本体462(例えば、緊急車両の赤い縞、緊急車両の赤い市松模様、または緊急車両の赤十字)に方向付けられ得る。両方の画像センサによって取得した画像を使用して、緊急車両を識別し得る。例えば、第1の画像において赤十字を含み、第2の画像において赤および白の非常灯を含む本体塗装の識別された組み合わせは、識別された物体が緊急車両(例えば、救急車)であることを示し得る。さらに、例えば、赤および白の非常灯が点滅しているかどうかに基づいて、緊急車両が動的緊急事態への/からの途上にあるかどうかを判定し得る。
【0125】
図4Aに示されるように、第1の画像センサ410および第2の画像センサ420は、ある距離だけ互いに対してオフセットされ(例えば、図4Aではある距離だけ垂直にオフセットされ)てもよい。例えば、第1の画像センサ410は、シーン402に対して第2の画像センサ420の上、下、左、右、前、後ろ、または上、下、左、右、前、後ろのいくつかの重ね合わせにあってもよい。オフセット距離のため、カメラシステム400に接続されたプロセッサは、物体が第1の画像センサ410によって捕捉された画像または第2の画像センサ420によって捕捉された画像において適切に識別され得るかどうかに関わらず、両眼距離計算を実行するように構成され得る。距離は、プロセッサが命令を実行することにより判定され、(第1の画像センサ410と第2の画像センサ420との間の既知のオフセット距離を考慮に入れて)第1の画像センサ410によって捕捉された画像内の物体の場所と第2の画像センサ420によって捕捉された画像内の物体の場所との間の視差を計算し得る。
【0126】
同じシーンの2つの画像を別々のダイナミックレンジで捕捉する従来の方法には、(2つの画像センサではなく)単一の画像センサのみを備えたカメラを使用することが含まれる。単一の画像センサを備えたカメラを使用すると、(例えば、ISO、センサ感度、露出持続時間/シャッタースピード、絞りサイズなどの露出設定に応じて)第1のダイナミックレンジでシーンの画像を捕捉し得る。次に、単一の画像センサの露出設定を変更し(例えば、シャッタースピード/露出持続時間または絞りサイズを修正して)、第2のダイナミックレンジのシーンの第2の画像を捕捉し得る。
【0127】
ただし、捕捉イベント間の露出設定が変更されて、複数の画像が同じ画像センサによって捕捉されているため、2つの画像が実質的に同時に捕捉されない場合がある。したがって、(例えば、物体認識および/またはエラーチェックにおける冗長性のために)後で2つの画像が互いに比較される場合、両方の画像を捕捉する間にシーンの視点が実質的に変化している可能性がある。これは静止したシーン(例えば、ポート速度)では許容され得るが、動いているシーンでは問題が発生する可能性がある。例えば、単一の画像センサが移動中の車両に装着されている場合、画像捕捉イベント間で露出設定を修正するのに必要なのは50msしかなくても、画像捕捉イベント間で視点は大幅に異なる可能性がある(例えば、移動中の車両が50mphで移動すると、50msは1.1mの平行移動に対応し、無視できない場合がある)。
【0128】
さらに、シーンの画像は、画像捕捉イベント間で露出設定を修正する単一の画像センサによって実質的に同時に捕捉されないため、シーンの画像も物体分析を実質的に同時に実行するコンピューティングデバイスに送信されない場合がある。単一の画像センサのカメラに、一度に1つの捕捉された画像をローカルに保存するのに十分なオンボードメモリしかない場合、これは問題になる可能性がある。コンピューティングデバイスのプロセッサは、捕捉した画像の各々を順次処理するか、カメラが捕捉した画像の解像度を下げて、2つの画像をローカルメモリ内に格納し、その後、両方の画像をコンピューティングデバイスに送信する。しかしながら、これはまた、第1の画像が捕捉されるときと、コンピューティングデバイスが第1の画像に対して画像分析を実行しているときとの間にかなりの遅れが存在し得るため、問題を引き起こし得る。したがって、コンピューティングデバイスが捕捉された第1の画像を処理しているときまでに、捕捉された第1の画像に基づいて意味のある制御判定を行うには遅すぎる場合がある。
【0129】
前の3つの段落で説明した潜在的な問題は、ここで説明するカメラシステムを使用することで完全に軽減または排除できる。
【0130】
図5は、例示的な実施形態による別のシステム500を示す。図示されるように、カメラシステム500は、画像センサ510、中性濃度フィルタ522、第1のレンズ514、および第2のレンズ524を含み得る。第1のレンズ514は、シーン402の視野を画像センサ510の第1の独立した領域に方向付けることができる。同様に、第2のレンズ524は、シーン402の視野を画像センサ510の第2の独立した領域に方向付けることができる。図示のように、第2のレンズ524は、シーン402の視野を、中性濃度フィルタ522を介して画像センサの第2の独立した領域に方向付けることができる。他の実施形態では、シーン402の視野を第1の画像センサ510の独立したセンサ領域に方向付けるために、第1のレンズ514および第2のレンズ524に加えて、またはそれに代わって、他の光学構成要素(例えば、レンズ以外の自由空間光学系)を使用し得る。いくつかの実施形態では、カメラシステム500はまた、画像センサ510に通信可能に結合され、(例えば、メモリ内に格納された命令を実行することにより)物体認識を実行するように構成されている、(例えば、図4Aに示されるプロセッサ430に類似した)プロセッサを含み得る。
【0131】
いくつかの実施形態では、画像センサ510は、両方の独立したセンサ領域にわたって可変露出を有し得る。可変露出は、両方の独立したセンサ領域によって感知された合成照度に基づいて(例えば、第1の画像センサ領域および第2のセンサ領域の照度の平均に基づいて)様々な露出設定(例えば、露出持続時間、ISO感度など)を調整することによって、コントローラによって制御され得る。他の実施形態では、両方の独立したセンサ領域にわたる露出設定を固定し得る。さらに他の実施形態では、両方の独立したセンサ領域の露出設定は、個別に制御可能であり得る。例えば、上部の独立したセンサ領域は、上部の独立したセンサ領域において感知された照度に基づいてコントローラによって感度が調整され得るが、下部の独立したセンサ領域は、下部の独立したセンサ領域において感知された照度に関係なく、固定露出設定を有し得る。
【0132】
図5のカメラシステム500を使用すると、単一の画像センサを使用して、合成画像を捕捉することができる。合成画像は、複数の領域を含み得、各領域は、所与の視野および視点によるシーン402の完全な複製を含む。いくつかの実施形態では、視野および視点は、各領域において同様であり得る。それでも、合成画像の領域の各々は、異なる照度で捕捉される場合がある。このようにして、捕捉された画像の異なる領域を分析して、異なるダイナミックレンジ内の物体を識別し得る。図5の例をとると、対応する捕捉された合成画像の上部領域を使用して(例えば、物体識別アルゴリズムを実行するプロセッサによって)、より低い相対輝度値を有する物体(例えば、受動的に照らされている物体)を識別し得、対応する捕捉された合成画像の下部領域を使用して(例えば、物体識別アルゴリズムを実行するプロセッサによって)、より高い相対輝度値を有する物体(例えば、能動的照光物体)を識別し得る。
【0133】
別の実施形態では、独立したセンサ領域は、上下ではなく左右に配置されてもよい。さらに他の実施形態では、3つ以上の独立したセンサ領域があってもよい。例えば、一実施形態では、4つの独立したセンサ領域:中性濃度フィルタなしの1つの独立したセンサ領域、1つの中性濃度フィルタ(例えば、ND8中性濃度フィルタ)によりカバーされた1つの独立したセンサ領域、別の中性濃度フィルタ(例えば、中性濃度128中性濃度フィルタ)でカバーされた1つの独立したセンサ領域、および、さらに別の中性濃度フィルタ(例えば、中性濃度4096)でカバーされた1つの独立したセンサ領域があり得る。
【0134】
図6Aは、例示的な実施形態による、カメラシステム400の図である。カメラシステム400は、例えば、図4Aに示されるのと同じカメラシステム400であってもよい。図6Aでは、カメラシステム400は、シーン600の画像を捕捉するために使用されている。図4Aに示されるカメラシステム400と同様に、第1の画像センサ410および第2の画像センサ420は、ある距離だけ互いから垂直方向にオフセットされ得る。したがって、シーン600に対する第1の画像センサ410の視点は、シーン600に対する第2の画像センサ420の視点とは異なり得る。いくつかの実施形態では、カメラシステム400はまた、第1の画像センサ410および第2の画像センサ420に通信可能に結合され、(例えば、メモリ内に格納された命令を実行することにより)物体認識を実行するように構成されている、(例えば、図4Aに示されるプロセッサ430に類似した)プロセッサを含み得る。
【0135】
画像センサはシーン600に対して異なる視点にあるため、それぞれの画像センサによって捕捉された画像は異なって見える場合がある。例えば、第1の画像センサ410によって捕捉されたシーン600の第1の画像610が図6Bに示されている。同様に、第2の画像センサ420によって捕捉されたシーン600の第2の画像620が図6Cに示されている。図6Aの点線によって示されるように、かつ図6Bおよび6Cの第1の画像610と第2の画像620との間の違いと同様に、シーン600におけるいくつかの物体は、すべての視点から観察可能ではない場合がある。例えば、シーン600におけるリスは、第1の画像センサ410によって観察可能ではないが、第2の画像センサ420によって観察可能である。
【0136】
さらに、シーン600における物体が、第1のダイナミックレンジ414と第2のダイナミックレンジ424の両方内にある輝度値を有する場合、物体がそれぞれの画像センサ410/420のシーン600のそれぞれの視点内に存在する場合に、両方の画像センサによって捕捉された画像を使用して(例えば、プロセッサによって実行される物体識別アルゴリズムによって)、物体を識別することができる。
【0137】
物体は、第1の画像センサ410および第2の画像センサ420によって記録された画像内で物体が識別可能であるため、物体の識別は、エラー補正および冗長性を含み得る。例えば、シーンに対してそれぞれ異なる視点にある2つの画像センサを使用して、シーン内のアーティファクトによる迷光および散乱を補正できる。太陽などの明るい物体が識別される物体の真後ろにある場合、その物体は、太陽の存在により、第1の画像センサ410と第2の画像センサ420によってそれぞれ捕捉された2つの画像のいずれかにおいて、白とびしたり、露出オーバーになったり、歪んだり、飽和したりする可能性がある。ただし、2つの画像のもう一方では、識別される物体に対して太陽の位置が異なる場合があるため、白とびした特徴、露出オーバー、歪み、および/または飽和の問題が発生しなくなる。したがって、識別される物体の真後ろに太陽が位置付けられていない画像を使用して(例えば、メモリ内に格納された物体識別アルゴリズムを実行するプロセッサによって)、物体を識別することができる。追加または代替のタイプの迷光、散乱、および/または閉塞は、複数の視点において画像センサを使用することで説明できる(例えば、能動的照光光源からのルーバー)。
【0138】
図6Aの例を使用すると、第1の画像センサ410が第1の画像610を捕捉する場合、リスは第1の画像センサ410の視野に存在しないので、プロセッサは第1の画像610を分析し、リスを識別しなくてもよい。しかしながら、第2の画像センサ420によって捕捉された第2の画像620を使用すると、リスは第2の画像センサ420の視野内に存在するので、プロセッサは一時停止標識の近くのリスを識別することができる。さらに、リスが画像のうちの1つでのみ識別されたとしても、対応する制御システムは(例えば、ステアリングユニット132を使用してリスを回避することにより)、シーン内のそれぞれの場所におけるリスの存在を説明することができる。
【0139】
さらに、図6Aとは異なり、所与の物体が第1の画像センサ410および第2の画像センサ420の両方の視点にあり、物体が第1のダイナミックレンジ414および第2のダイナミックレンジ424の両方内の輝度値を有する場合、物体は、第1の画像センサ410および第2の画像センサ420の両方によって捕捉された画像内で識別可能でなければならない。しかしながら、物体が2つの画像のうちの1つにおいてのみ識別されるか、または2つの画像内の異なる物体であると識別される場合、物体識別を実行する対応するコンピューティングデバイスは、これを様々な方法で修正することができる。例えば、(例えば、所与の物体識別において識別された信頼レベルに基づく)投票システムを実装して、物体がシーンに実際に存在していたか、または、(物体が2つの画像内で異なる物体であると識別された場合)識別された2つの物体の可能性のどちらがより正確であるかが判定され得る。さらに、物体がセンサのうちの1つによって捕捉された画像でのみ識別可能である場合、物体が識別可能であるセンサのダイナミックレンジ(例えば、第1のダイナミックレンジ414または第2のダイナミックレンジ424)を使用して、物体の輝度範囲を識別し得る。
【0140】
コンピューティングデバイスによって物体が識別されていないか、または誤識別されている場合、コンピューティングデバイスは、誤識別または識別の欠如が発生した画像に対応する画像センサが機能不全であるという警告を出力することができる。追加的に、または代替的に、コンピューティングデバイスおよび/または対応する制御システムは、機能不全を補正しようとするアクションを実行し得る(例えば、ワイパーブレードで破片を取り除き、かつ/または洗浄液を塗布するか、もしくは物体識別アルゴリズムにおいて補正係数を適用することによってレンズを洗浄する)。
【0141】
さらに、冗長性およびエラー補正は、識別された物体の違い以外の、捕捉された画像における違いに基づく場合がある。例えば、第1の画像センサ410によって捕捉された画像と第2の画像センサ420によって捕捉された画像との間の鮮明度を比較することができる。捕捉された画像のうちの1つがあまり鮮明でない場合、第2の画像センサ420の光路における閉塞および/または第2の画像センサ420の位置ずれが検出され得る。このような閉塞は、例えば、第2の画像センサ420もしくは関連するレンズ上の破片、または第2の画像センサ420のレンズ上の汚れを含み得る。鮮明度以外の他の違いも、様々な実施形態で比較することができる。例えば、コントラストも比較できる。追加的に、または代替的に、(例えば、1つの画像センサの50%以上が破片によって閉塞されている場合に)重度の閉塞も識別することができる。
【0142】
さらに他の実施形態では、画像全体の内容を比較することによって、エラーチェックおよび/またはエラー補正を実行することができる。いくつかの実施形態では、画像内のすべてのピクセルにわたって計算された勾配または勾配合計を画像間で比較することができる。例えば、信号機(または他の能動的照光物体)が第1の画像センサ410および第2の画像センサ420によって捕捉された画像内に存在する場合、信号機に対応するピクセルは、信号機を囲むピクセルに対する明るさ値の急激な像際に対応し得る。明るさ値のこの急激な増大は、両方の画像の信号に対応するピクセルの生の明るさ値に関係なく、両方の画像に存在する可能性がある。したがって、両方の画像にわたって計算された明るさ勾配合計を比較して、このような信号機が実際に両方の画像に存在することを確認できる。明るさ勾配の合計に加えて、画像全体にわたって計算された他の統計も、エラーチェックやエラー補正の目的で比較できる。例えば、鮮明度勾配合計、色勾配合計、色相勾配の合計などを比較できる。
【0143】
図7は、カメラシステム700を示す。一部の実施形態では、カメラシステム700は、自律車両に装着され、物体の検出および回避、ならびにナビゲーションに使用されてもよい。カメラシステム700は、図4Aに示されているカメラシステム400に類似している場合がある。例えば、カメラシステム700は、第1の画像センサ710および第2の画像センサ720を含み得、第2の画像センサ720は、中性濃度フィルタ722または同様の機構を介してシーン402から光を受信し得る。しかしながら、図4のカメラシステム400とは異なり、図7に示されるカメラシステム700は、図5に示される第1のレンズ514および第2のレンズ524に幾分類似する第1のレンズ714および第2のレンズ724を含む。代替的な実施形態では、第1の画像センサ710はまた、中性濃度フィルタを介してシーン402から光を受信し得る。さらに他の実施形態では、第1の画像センサ710も第2の画像センサ720も、中性濃度フィルタを介してシーン402から光を受信することができない。いくつかの実施形態では、カメラシステム700はまた、第1の画像センサ710および第2の画像センサ720に通信可能に結合され、(例えば、メモリ内に格納された命令を実行することにより)物体認識を実行するように構成されている、(例えば、図4Aに示されるプロセッサ430に類似した)プロセッサを含み得る。
【0144】
さらに、様々な実施形態では、第1の画像センサ710および/または第2の画像センサ720は、(例えば、第1の画像センサ710および/または第2の画像センサ720によって感知された照度値に基づいてカメラコントローラによって調整可能な)可変露出設定を有し得る。追加的に、または代替的に、第1の画像センサ710および/または第2の画像センサ720は、固定露出設定を有し得る。
【0145】
第1のレンズ714は、光をシーン402から第1の画像センサ710に方向付け、第2のレンズ724は、光をシーン402から第2の画像センサ720に方向付ける。代替的な実施形態では、シーン402からの光を画像センサに方向付ける2つ以上のレンズ/光学要素があってもよい。例えば、シーン402からの光を方向付けるために、1つ以上のミラーをカメラシステム700内に含め得る。
【0146】
図示されるように、第1のレンズ714および第2のレンズ724は、異なる焦点距離を有し得る。いくつかの実施形態では、第1のレンズ714の焦点距離は、第2のレンズ724の焦点距離よりも大きくてもよい。他の実施形態では、第1のレンズ714の焦点距離は、第2のレンズ724の焦点距離未満でもよい。さらに他の実施形態では、第1のレンズ714および第2のレンズ724は、同じ焦点距離を有し得る。
【0147】
いくつかの実施形態では、第1のレンズ714および第2のレンズ724の焦点距離および/またはベストフォーカスの位置が異なるため、第1の画像センサ710によって捕捉された画像は、第2の画像センサ720によって捕捉された画像とは異なるズームレベルを有し得る。追加的に、または代替的に、第1のレンズ714および第2のレンズ724の焦点距離が異なるため、第1の画像センサ710によって捕捉されたシーン402の画像は、第2のレンズ720によって捕捉されたシーン402の画像とは異なる物体に焦点を合わせ得る。例えば、第1のレンズ714が第2のレンズ724よりも小さい焦点距離を有する場合、シーン402の前景にある物体は、第1の画像センサ710によって捕捉された画像に対して焦点が合っているが、シーン402の背景にある物体は、第2の画像センサ720によって捕捉された画像に対して焦点を合わせ得る。いくつかの実施形態では、どの物体に焦点が合っているかは、第1のレンズ714/第2のレンズ724の焦点距離とは無関係であり得る。さらに、焦点が合っている物体は、焦点距離以外に画像センサに関連する他の光学特性を修正することによって調整可能であり得る。
【0148】
第1の画像センサ710によって捕捉された画像および第2の画像センサ720によって捕捉された画像は、焦点が合っているか焦点が合っていない異なる物体を有する場合があるため、各画像センサによって同時に捕捉された画像の組み合わせを使用して深度を判定し得る。例えば、物体が第1の画像センサ710および第2の画像センサ720の両方のダイナミックレンジ内にあると仮定すると、物体に適切に焦点が合っている場合、物体は、(例えば、カメラシステム700に結合されたプロセッサによって実行された物体識別アルゴリズムを使用して)第1の画像センサ710および第2の画像センサ720によって捕捉された画像内で識別できる。ただし、識別可能な物体がシーン402の前景または背景にある場合、第1のレンズ714と第2のレンズ724との間の焦点距離の差を考慮すると、第1の画像センサ710によって捕捉された画像または第2の画像センサ720によって捕捉された画像(両方によって捕捉された画像ではない)においてのみ、物体は適切に焦点を合わせ得る。
【0149】
物体が識別されている画像を捕捉した画像センサのレンズの関連する焦点距離に基づいて、シーン402内の識別された物体とカメラシステム700との間の距離が判定または推定され得る。シーン402内の物体とカメラシステム700との間の距離の判定は、第1の焦点距離、第2の焦点距離、シーン402の第1の画像内の物体の焦点、および/またはシーン402の第2の画像内の物体の焦点に基づき得る。代替的な実施形態では、それぞれがそれぞれの焦点距離を有するそれぞれのレンズを有する2つの画像センサではなく、カメラシステム700は、アレイ内の他のレンズに対して固有の焦点距離を有するそれぞれのレンズを有する複数の画像センサのアレイを含み得る。
【0150】
関連するレンズの焦点距離に基づいて、識別された焦点の合った物体までの距離を判定することに加えて、両方の画像において焦点が合っていない物体までの距離を計算し得る。例えば、物体が第1の画像センサ710および第2の画像センサ720の両方のダイナミックレンジ内にあると仮定すると、物体は、第1の画像センサ710および第2の画像センサ720の両方によって捕捉された画像内に捕捉できる。(例えば、物体識別アルゴリズムを使用して)物体が所与の画像で識別できない場合でも、このような画像では(例えば、ローカリゼーションアルゴリズムを使用して)物体までの距離が判定可能である場合がある。
【0151】
物体認識アルゴリズム(例えば、機械学習された物体認識アルゴリズム)を実行するプロセッサは、焦点が合っている物体を識別することに加えて、焦点が合っていない物体を識別することが可能である場合がある。例えば、物体認識アルゴリズムを実行するプロセッサは、一時停止標識が捕捉された画像のいずれにも焦点が合っていない場合でも、第1の画像センサ710および第2の画像センサ720の両方によって捕捉されたシーン402の画像内の一時停止標識を検出することが可能である場合がある。捕捉された画像の各々において一時停止標識にどれだけ焦点が合っていないかに基づいて、物体認識アルゴリズムを実行するプロセッサは、カメラシステム700から一時停止標識までの距離を判定することが可能である場合がある。あるいは、プロセッサは、捕捉された画像の各々における一時停止標識に焦点がどれだけ合っていないかに基づいて、画像の各々における一時停止標識間の鮮明度の違いを識別することができる。鮮明度のこの違いは、カメラシステム700から一時停止標識までの距離を判定するために使用できる。
【0152】
カメラシステム700から物体までの距離を判定することに加えて、カメラシステム700に関連付けられたプロセッサは、メモリ内に格納された命令を実行して、第1の画像センサ710によって捕捉された画像および第2の画像センサ720によって捕捉された画像に基づいて合成画像を生成し得る。合成画像は、すべての物体がシーン内にあり、各々の物体がそれぞれの深度にあり、焦点が合っているか、またはほぼ焦点が合っている画像であってもよい。例えば、命令を実行するプロセッサは、第1のレンズ714が第2のレンズ724より短い焦点距離を有するため、シーン402の前景にある物体に対応する第1の画像センサ710によって捕捉された画像から領域を抽出し得る。同様に、命令を実行するプロセッサは、第2のレンズ724は第1のレンズ714より長い焦点距離を有するため、シーン402の背景にある物体に対応する第2の画像センサ720によって捕捉された画像から領域を抽出し得る。次に、命令を実行するプロセッサは、これらの領域を組み合わせて、複数の焦点距離を表す単一の合成画像にし得る。
【0153】
追加的に、または代替的に、カメラシステム700に関連付けられたプロセッサは、メモリ内に格納された命令を実行して、シミュレートされた焦点深度および/またはシミュレートされた焦点距離を有するシミュレートされたレンズを有する1つ以上の画像を生成し得る。例えば、シーン402の第1の画像センサ710によって捕捉されたシーン402の画像は、(例えば、第1のレンズ714の焦点距離に基づく)最小焦点距離に対応し得、第2の画像センサ720によって捕捉されたシーン402の画像は、(例えば、第2のレンズ724の焦点距離に基づいて)最大焦点距離に対応し得る。これら2つの画像を使用して潜在的な焦点距離の範囲のエッジを定義すると、命令を実行するプロセッサは、最小焦点距離と最大焦点距離との間の中間焦点距離を有する画像をシミュレート(例えば、生成、保存、および/または送信)し得る。あるいは、これらの2つの画像を使用すると、命令を実行するプロセッサは、様々な焦点深度を有する画像をシミュレート(例えば、生成、保存、および/または送信)し得る。これは、いずれかの画像の特定の領域を鮮明にし、いずれかの画像の特定の領域をぼかし、かつ/または画像のいずれかの元の領域、鮮鋭化された領域、または不鮮明な領域を合成することによって行うことができる。
【0154】
いくつかの実施形態では、別個のレンズ(例えば、第1のレンズ714および第2のレンズ724)を使用するのではなく、単一の非点収差レンズを使用して、シーン402から第1の画像センサ710および第2の画像センサ720の両方に光を提供し得る。第1の画像センサ710および第2の画像センサ720は、ある距離だけ互いにオフセットされ得るため、非点収差レンズは、異なる焦点距離でシーンから各画像センサに光を提供し得る。代替的な実施形態では、各画像センサは、個別に、それぞれの非点収差レンズ(例えば、第1の画像センサ710用の第1の非点収差レンズおよび第2の画像センサ720用の第2の非点収差レンズ)を有することができる。このようにして、第1の画像センサ710によって捕捉された画像および/または第2の画像センサ720によって捕捉された画像は、それ自体、異なる焦点距離で捕捉されたシーン402の様々な領域を含むことができる。非点収差レンズは、それぞれの画像センサに対して平行移動または回転することもでき、その結果、それぞれの画像センサによって追加の焦点距離が捕捉される。
【0155】
異なる焦点距離のレンズを有することに加えて、またはその代わりに、いくつかの実施形態では、第1の画像センサ710および第2の画像センサ720はそれぞれ、異なるサイズの関連する絞りを有してもよい。このような絞りは、いくつかの実施形態では、サイズが(例えば、コントローラによって)調整可能であり得る。他の実施形態では、このような絞りはサイズが固定されていてもよい。異なるサイズの絞りを使用することにより、画像センサの各々は異なる被写界深度を捕捉できる。異なる被写界深度を使用して(例えば、メモリ内に格納された命令を実行するカメラシステム700に結合されたプロセッサによって)、カメラシステム700に対する物体の距離を判定し、かつ/またはシーン402の画像を様々な被写界深度や焦点距離でシミュレーションすることができる。
【0156】
さらに、レンズおよび絞りに加えて、またはその代わりに、他の光学要素が、第1の画像センサ710および/または第2の画像センサ720の前に配設されてもよい。他の光学要素を使用して、シーン402の他の特徴(例えば、クロマティックフィルタを使用する色または偏光フィルタを使用する偏光)を評価/研究することができる。
【0157】
図8Aは、カメラシステム800を示す。一部の実施形態では、カメラシステム800は、自律車両に装着され、物体の検出および回避、ならびにナビゲーションに使用されてもよい。カメラシステム800は、図4Aに示されるカメラシステム400と同様に、中性濃度フィルタ822を介してシーン402から光を受信する第1の画像センサ810および第2の画像センサ820を含み得る。しかしながら、図4のカメラシステム400とは異なり、図8Aに示されるカメラシステム800は、第3の画像センサ830も含み得る。代替的な実施形態では、第1の画像センサ810および/または第3の画像センサ830はまた、中性濃度フィルタを介してシーン402から光を受信し得る。さらに他の実施形態では、第1の画像センサ810、第2の画像センサ820、または第3の画像センサ830のいずれも、中性濃度フィルタを介してシーン402から光を受信することができない。画像センサと中性濃度フィルタの他の組み合わせも可能である。いくつかの実施形態では、カメラシステム800はまた、第1の画像センサ810、第2の画像センサ820、および第3の画像センサ830に通信可能に結合され、(例えば、メモリ内に格納された命令を実行することにより)物体認識を実行するように構成されている、(例えば、図4Aに示されるプロセッサ430に類似した)プロセッサを含み得る。
【0158】
図4Aに関して上述した第1の画像センサ410と同様に、いくつかの実施形態では、第1の画像センサ810は、シーン402の合成輝度レベルに基づいて調整されてもよい。例えば、第1の画像センサ810は、第1の画像センサ810上の照度値を感知し、照度値を第1の画像センサ810のコントローラに送信し得る。コントローラは、照度値に基づいて、第1の画像センサ810上の照度値が閾値の許容範囲内になるまで、第1の画像センサ810に対応する露出設定(例えば、露出持続時間/シャッタースピード、絞りサイズ、1つ以上のレンズの焦点距離、画像センサのISO感度など)を修正し得る。このようにして、第1の画像センサ810は、照度値に基づいてコントローラによって調整される可変露出を有し得る。これは、いくつかのカメラ(DSLRカメラなど)の「自動露出」設定に類似している場合がある。
【0159】
追加的に、または代替的に、第3の画像センサ830は、いくつかの実施形態では、シーン402の合成輝度レベルに基づいて調整可能であり得る。例えば、第3の画像センサ830は、第3の画像センサ830上の照度値を感知し、照度値を第3の画像センサ830のコントローラに送信し得る。第3の画像センサ830のコントローラは、様々な実施形態において、第1の画像センサ810のコントローラと同じコントローラであっても、異なるコントローラであってもよい。とにかく、第3の画像センサ830は、第1の画像センサ810とは独立して制御されてもよい。第3の画像センサ830のコントローラは、第3の画像センサ830上の照度値に基づいて、第3の画像センサ830上の照度値が照度に関する閾値の許容範囲内になるまで、第3の画像センサ830に対応する露出設定(例えば、露出持続時間/シャッタースピード、絞りサイズ、1つ以上のレンズの焦点距離、画像センサのISO感度など)を修正し得る。
【0160】
いくつかの実施形態では、第3の画像センサ830の照度の許容可能な閾値範囲は、第1の画像センサ810の許容可能な照度範囲とは異なり得る。例えば、第3の画像センサ830上の照度の許容可能な閾値範囲は、第1の画像センサ810上の輝度の許容可能な閾値範囲内の照度値よりも低い複数の照度値を含み得る。このような実施形態では、第3の画像センサ830の露出レベルは、第1の画像センサ810の露出レベルより高くてもよく、それにより、第3の画像センサ830は、第1の画像センサ810よりもシーン402の低輝度物体に対してより敏感になる。
【0161】
図4Aに示され、上記で説明された第2の画像センサ420と同様に、第2の画像センサ820は、(例えば、画像センサの露出持続時間/シャッタースピード、絞りサイズ、1つ以上のレンズの焦点距離、ISO感度などに基づく)固定露出設定を有し得る。代替的な実施形態では、第1の画像センサ810および/または第3の画像センサ830は、(可変露出設定ではなく)固定露出設定を有することもできる。追加的に、または代替的に、いくつかの実施形態では、第2の画像センサ820は、代わりに(例えば、第2の画像センサ820のコントローラによって制御される)可変露出設定を有し得る。
【0162】
図8Bに示すように、第1のダイナミックレンジ814は第1の画像センサ810に対応し得、第2のダイナミックレンジ824は第2の画像センサ820に対応し得、第3のダイナミックレンジ834は第3の画像センサ830に対応し得る。また、図示されるように、第1のダイナミックレンジ814、第2のダイナミックレンジ824、および第3のダイナミックレンジ834を含むシステムがまたがる集合的なダイナミックレンジは、個々のダイナミックレンジのいずれよりも大きくてもよい。
【0163】
ダイナミックレンジ814/824/834の各々は、(輝度に関して対数目盛を使用して図8Bに示された)シーン内の輝度レベルの範囲に対応し得る。図8Bに示されるように、第2のダイナミックレンジ824は、第1のダイナミックレンジ814および第3のダイナミックレンジ834よりも高い輝度レベルの範囲に対応し得る。したがって、第2の画像センサ820を使用して、第1の画像センサ810および第3の画像センサ830よりも高い輝度を有する物体を検出/識別し得る。例えば、第2の画像センサ820によって捕捉された画像は、街路灯(能動的照光物体)を識別するために使用され得、第1の画像センサ810によって捕捉された画像は、歩行者(受動的に照光されている物体)を識別するために使用され得る。
【0164】
同様に、図示されるように、第3のダイナミックレンジ834は、第1のダイナミックレンジ814および第2のダイナミックレンジ824よりも低い輝度レベルの範囲に対応し得る。したがって、第3の画像センサ830は、第1の画像センサ810および/または第2の画像センサ820よりも低い輝度を有する物体を検出/識別するために使用され得る。例えば、第2の画像センサ820によって捕捉された画像が街路灯を識別するために使用され、第1の画像センサ810によって捕捉された画像が歩行者を識別するために使用される場合、第3の画像センサ834によって捕捉された画像を使用して、建物の影にいる黒い猫(受動的に照らされている)が識別され得る。いくつかの実施形態では、第3のダイナミックレンジ834の一部は、第1のダイナミックレンジ814の全体と重なるか、またはそれを包含してもよい。追加的に、または代替的に、第3のダイナミックレンジ834の一部は、第2のダイナミックレンジ824の全体と重なるか、またはそれを包含してもよい。
【0165】
第1のダイナミックレンジ814から延びる矢印によって示されるように、第1の画像センサ810は、第1の画像センサ810によって感知された照度に基づいてその露出設定を調整できるため、対応する第1のダイナミックレンジ814は、より高いまたはより低い輝度値にまたがるように変化し得る。同様に、第3のダイナミックレンジ834から延びる矢印によって再び示されるように、第3の画像センサ830は、第3の画像センサ830によって感知された照度に基づいてその露出設定を調整できるため、対応する第3のダイナミックレンジ834は、より高いまたは広い低い輝度値にまたがるように変化し得る。代替的な実施形態では、第2の画像センサ820は、第2の画像センサ820による照度センサに基づいてその露出設定を調整することもできる。このような実施形態では、対応する第2のダイナミックレンジ824は、より高いまたはより低い輝度値に及ぶように変更されてもよい。
【0166】
図9Aは、例示的な実施形態による、システム900を示す。図示されるように、カメラシステム900は、(図2に示されるように)車両200のセンサユニット202に隣接して(例えば、上に)配設されるか、またはその一部であり得る。カメラシステム900は、複数のカメラサブシステムを含み得る(例えば、各カメラサブシステムは、図4Aに示されるカメラシステム400に類似している)。例えば、カメラシステム900は、車両200の移動の前方に対して、前方を向く第1のカメラサブシステム400Aおよび後方を向く第2のカメラサブシステム400Bを含み得る。正面向きカメラサブシステム400Aは、シーンの第1の視点902から光を受信することができ、後向きカメラサブシステム400Bは、同じシーンの第2の視点904から光を受信することができる。いくつかの実施形態では、カメラシステム900はまた、第1のカメラサブシステム400Aおよび/または第2のカメラサブシステム400Bにおける画像センサに通信可能に結合され、(例えば、メモリ内に格納された命令を実行することにより)物体認識を実行するように構成されている、(例えば、図4Aに示されるプロセッサ430に類似した)プロセッサを含み得る。
【0167】
いくつかの実施形態では、第1の視点902および第2の視点904は、互いに異なる物体を含み得る(例えば、第1の視点902はツリーを含み得、第2の視点904は一時停止標識を含む)。追加的に、または代替的に、第1の視点902は、能動的照光物体および/または受動的に照光されている物体を含み得る。同様に、第2の視点904は、能動的照光物体および/または受動的に照光されている物体を含み得る。カメラシステム900を使用すると、車両200に対して複数の方向にある物体(すなわち、カメラシステム900の画像センサの各々に視野に基づく複数の視点)を捕捉し、識別することができる。
【0168】
複数のカメラサブシステム400A/400Bの各々は、第1の画像センサ410A/410Bおよび第2の画像センサ420A/420Bを含み得る。図4Aに示す第1の画像センサ410および第2の画像センサ420と同様に、カメラサブシステム400A/400Bの各々における第1の画像センサ410A/410Bは、コントローラによって制御される可変露出設定を有し得、カメラサブシステム400A/400Bの各々における第2の画像センサ420A/420Bは、中性濃度フィルタ422A/422Bを介して光を受信し、固定露出設定を有し得る。また、図4Aに示される第1の画像センサ410および第2の画像センサ420と同様に、カメラサブシステム400A/400Bの各々における第1の画像センサ410A/410Bおよび第2の画像センサ420A/420Bは、互いに垂直に整列され得る。代替的な実施形態では、第1の画像センサ410A/410Bおよび第2の画像センサ420A/420Bは、カメラシステム900内の複数のカメラサブシステム400A/400Bにわたって、異なるように、かつ/または互いに対して異なる距離で位置合わせされ得る。
【0169】
カメラサブシステム400A/400Bの各々から各画像センサ410A/410B/420A/420Bによって捕捉された画像は、(例えば、メモリ内に格納された命令を実行して物体識別を実行するように構成されたプロセッサを含む)単一のコンピューティングデバイスに送信され得る。あるいは、それぞれのカメラサブシステム400A/400Bから各画像センサ410A/410B/420A/420Bによって捕捉された画像は、独立したそれぞれのコンピューティングデバイスに送信されてもよい。
【0170】
単一のコンピューティングデバイスまたは複数のコンピューティングデバイスが物体認識/識別を実行しているかどうかに関係なく、コンピューティングデバイス(複数可)は、第1の画像センサ410A/410Bによって捕捉された画像における第1のタイプの物体のみを検索し、第2の画像センサ420A/420Bによって捕捉された画像における第2のタイプの物体のみを検索することによって、(例えば、プロセッサによって実行され、メモリ内に格納された物体認識命令に基づいて)計算時間を節約しようと試み得る。第1のタイプの物体は、第1の画像センサ410A/410Bおよび第2の画像センサ420A/420Bのシャッタースピード/露出持続時間と比較したときに、遅いまたは同等の変調時間を有する能動的照光物体、受動的に照らされている物体、第1の画像センサ410A/410Bおよび第2の画像センサ420A/420Bのシャッタースピード/露出持続時間に対して高い速度で移動している物体、または、シーンの残りの部分と比較したときに低い輝度を有する物体を含み得る。第2のタイプの物体は、第1の画像センサ410A/410Bおよび第2の画像センサ420A/420Bのシャッタースピード/露出持続時間と比較したときに、速い変調時間を有する能動的照光物体、第1の画像センサ410A/410Bおよび第2の画像センサ420A/420Bのシャッタースピード/露出持続時間に対して遅いまたは同等の速度で移動している物体、またはシーンの残りの部分と比較したときに高い輝度を有する物体を含み得る。
【0171】
図9Bは、(各カメラサブシステムがそれぞれの画像センサを含む)複数のカメラサブシステムを含む代替的なカメラシステム910を示す。カメラシステム910は、車両に装着されてもよく、カメラシステム910の画像センサによって捕捉された画像は、物体の識別および回避および/またはナビゲーションのために使用されてもよい。対応する車両の潜在的な移動の方向は、破線の矢印によって図9Bに示されている。
【0172】
図9Bは、カメラシステム910の上面図である。図示されたカメラシステム910は、例えば、30°から60°の間の角度だけカメラシステム910の周辺機器の周囲に離間した、図4Aに図示された8つのカメラシステム400を含む。図9Bの破線は、それぞれのカメラシステム400内の画像センサの可能な視野を示している。いくつかの実施形態では、カメラシステム400内の画像センサは、80°から100°の間の視野を有することができる。したがって、カメラシステム400の視野は重なることがある。図示されるように、カメラシステムおよび対応する画像センサは、リング構成で組み立てられ得る。リング構成は、各々の個々のカメラシステムおよび対応する画像センサの角度および向きが正しく位置付けられ、死角をなくすように設計できる。したがって、カメラシステムは、一緒に動作して、周囲のシーンのまとまりのある円形のビジョンを形成することができる。代替的な実施形態では、各カメラシステム400の視野は異なっていてもよい(例えば、15°、30°、45°、60°、75°、105°、120°、135°、150°、165°、180°、195°、210°、225°、240°、255°、270°、285°、300°、315°、330°、345°、または360°)。他の実施形態では、カメラシステムおよび対応する画像センサは、(例えば、車両のルーフの角にカメラシステムを備えた)非リング構成で組み立てられてもよい。
【0173】
さらに、いくつかの実施形態では、(例えば、単一のタイプのカメラシステムの8つのインスタンスではなく)複数のタイプのカメラシステムを使用することができる。異なるカメラシステムは、それぞれ異なる対応する視野を持っている場合がある。さらに、代替実施形態では、最小数のカメラシステム400を使用して、車両の周囲にまたがることができる。例えば、使用されるカメラシステム400が図9Bのように互いにすべて同様であり、それぞれが80°から100°の間の視野を有する画像センサを含む場合、4つのカメラシステムのみがカメラシステム910に含まれ得る(例えば、360°を90°で割ったものは、4つのカメラシステムに対応する)。
【0174】
いくつかの実施形態では、車両の後ろまたは車両に隣接する(例えば、移動の方向に垂直)のではなく、車両の前の(すなわち、移動の方向にある)物体を検出および回避することがより重要であり得る。したがって、図9Cに示すように、一例のカメラシステム920は、カメラシステム920の正面向き部分に追加の画像センサを含むことができる。図9Cに示されるように、3つの正面カメラサブシステムは、それぞれ、図8Aに示されるカメラシステム800であり得る。図8Aに示されるように、カメラシステム800は3つの画像センサを含み、その1つは低輝度物体(例えば、夜の黒い猫)を感知するように構成され得る。このようにして、図9Cに示されているカメラシステム920の物体検出および回避能力は、図9Bに示されているカメラシステム910と比較すると改善され得る。
【0175】
車両の正面向き部分に追加の画像センサが含まれる別の可能な実施形態は、図9Dに示されるようなカメラシステム930である。図示されるように、カメラシステム930の正面向き部分は、図9Bおよび9Cに示すカメラシステム910、920と比較したときに、(例えば、移動の方向に対して40°から50°の間の、かつ、-40°から-50°の間の角度に加えて、20°から25°の間の、かつ-20°から-25°の間の角度にある)追加のカメラサブシステムを含む。また、図示されるように、追加の正面カメラサブシステムを有することに加えて、正面カメラサブシステムは、微光画像センサ(例えば、図8Aに図示されるカメラシステム800における第3の画像センサ830)を含み得る。代替的な実施形態では、図8Aに示すような追加のカメラシステム800が車両の正面向き部分に含まれるのではなく、図4Aに示すような追加のカメラシステム400および/または他の追加のカメラシステムがカメラシステム930に含まれてもよい。
【0176】
IV.例示的なプロセス
図10は、例示的な実施形態による、方法1000のフローチャート図である。方法1000は、例えば、画像感知システムを使用して自律車両の環境内の1つ以上の物体を検出および/または回避するために使用され得る。方法1000は、例えば、図4Aに示されるカメラシステム400を使用して実行され得る。代替的な実施形態では、方法1000は、代替のカメラシステムを使用して実行されてもよい。
【0177】
ブロック1002で、方法1000は、シーンにおける輝度レベルの第1の範囲に対応する第1のダイナミックレンジを有する第1の画像センサによって、シーンの第1の画像を捕捉することを含む。
【0178】
ブロック1004で、方法1000は、シーンにおける輝度レベルの第2の範囲に対応する第2のダイナミックレンジを有する第2の画像センサによって、シーンの第2の画像を捕捉することを含む。第2の画像センサは、中性濃度フィルタを介してシーンの第2の画像を捕捉する。輝度レベルの第2の範囲は、輝度レベルの第1の範囲よりも高い輝度レベルを含む。
【0179】
ブロック1006で、方法1000は、第1の画像センサおよび第2の画像センサに結合されたプロセッサによって、第1の画像における第1の物体タイプの第1の物体を識別することを含む。第1の物体タイプは、輝度レベルの第1の範囲内の予想される輝度を有する。
【0180】
ブロック1008で、方法1000は、プロセッサによって、第2の画像における第2の物体タイプの第2の物体を識別することを含む。第2の物体タイプは、輝度レベルの第2の範囲内で予想される輝度を有する。
【0181】
V.結論
本開示は、本出願に記載の特定の実施形態に関して限定されるものではなく、特定の実施形態は、様々な態様の説明として意図されるものである。当業者には明らかなことであるが、多くの変形および変更を本開示の趣旨および範囲から逸脱することなく行うことができる。本明細書において列挙される方法および装置に加えて、本開示の範囲内の機能的に同等の方法および装置は当業者には、これまでの説明から明らかであろう。このような変形および変更は、添付の特許請求の範囲内にあることが意図されている。
【0182】
上記の詳細な説明は、添付の図面を参照して、開示されたシステム、デバイス、および方法の様々な特徴および機能を説明している。図では、特に文脈によって説明しない限り、同様の記号は通常、同様の構成要素を指している。本明細書および図に記載の例示的な実施形態は、限定することを意図しているものではない。本明細書において提示される主題の趣旨または範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を行うことができる。本明細書で概して説明され、かつ図に例証されている、本開示の態様は、多種多様な異なる構成で配置、置換、結合、分離、および設計することができ、そのすべてが明示的に企図されることは容易に理解されよう。
【0183】
図に示されている特定の配置は、限定であるとみなされるべきではない。他の実施形態が、所与の図に示される各要素をそれより多く、またはそれより少なく含み得ることを理解されたい。さらに、図示の要素のうちのいくつかを組み合わせることも、省略することもできる。またさらに、例示的な実施形態は、図に示されていない要素を含むこともできる。
【0184】
様々な態様および実装態様が本明細書において開示されているが、当業者には、その他の態様および実装態様が明らかとなるであろう。本明細書に開示される様々な態様および実施形態は、例証を目的とするものであり、限定することを意図するものではなく、真の範囲は、以下の特許請求の範囲によって示される。
図1
図2
図3
図4A
図4B
図4C
図4D
図5
図6A
図6B
図6C
図7
図8A
図8B
図9A
図9B
図9C
図9D
図10