ホーム > 特許ランキング > ウェイモ エルエルシー
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024170370
(43)【公開日】2024-12-10
(54)【発明の名称】自動露出レイテンシの低減
(51)【国際特許分類】
H04N 23/70 20230101AFI20241203BHJP
H04N 23/60 20230101ALI20241203BHJP
G03B 15/00 20210101ALI20241203BHJP
【ＦＩ】
H04N23/70
H04N23/60 500
G03B15/00 U
【審査請求】有
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024069722
(22)【出願日】2024-04-23
(31)【優先権主張番号】18/312,369
(32)【優先日】2023-05-04
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
２．ＺＩＧＢＥＥ
(71)【出願人】
【識別番号】317015065
【氏名又は名称】ウェイモ エルエルシー
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100126480
【弁理士】
【氏名又は名称】佐藤 睦
(72)【発明者】
【氏名】キム，エリック ダニエル
(72)【発明者】
【氏名】ダリア，ニラーヴ シャイレッシュ クマール
(57)【要約】
【課題】自動露出レイテンシを低減する。
【解決手段】例示的な実施形態は、自動露出レイテンシを低減する方法を含む。方法は、プロセッサーによって、画像センサーによって捕捉される第一のフレームに対する露光パラメーターの第一の設定を決定することを含む。露光パラメーターの第一の設定は、画像センサーによって捕捉された以前のフレームの特性に少なくとも部分的に基づいて決定される。露光パラメーターの第一の設定は、第一のフレームの捕捉と関連付けられる第一のフレーム期間中に決定される。方法はまた、プロセッサーによって、露光パラメーターの第一の設定に基づいて、第一のフレーム露光動作を開始することを含む。第一のフレーム露光動作中、画像センサーは、第一のフレーム期間中に第一のフレームを捕捉する。
【解決手段】例示的な実施形態は、自動露出レイテンシを低減する方法を含む。方法は、プロセッサーによって、画像センサーによって捕捉される第一のフレームに対する露光パラメーターの第一の設定を決定することを含む。露光パラメーターの第一の設定は、画像センサーによって捕捉された以前のフレームの特性に少なくとも部分的に基づいて決定される。露光パラメーターの第一の設定は、第一のフレームの捕捉と関連付けられる第一のフレーム期間中に決定される。方法はまた、プロセッサーによって、露光パラメーターの第一の設定に基づいて、第一のフレーム露光動作を開始することを含む。第一のフレーム露光動作中、画像センサーは、第一のフレーム期間中に第一のフレームを捕捉する。
【特許請求の範囲】
【請求項1】
システムであって、
画像センサーと、
前記画像センサーに結合されたプロセッサーと、を備え、
前記プロセッサーが、前記画像センサーによって捕捉される第一のフレームに対する露光パラメーターの第一の設定を決定するように構成されていて、
前記露光パラメーターの前記第一の設定が、前記画像センサーによって捕捉された以前のフレームの特性に少なくとも部分的に基づいて決定され、
前記露光パラメーターの前記第一の設定が、前記第一のフレームの捕捉と関連付けられる第一のフレーム期間中に決定され、
前記画像センサーが、前記第一のフレーム期間中に第一のフレーム露光動作を実施するように構成されていて、
前記第一のフレーム露光動作が、前記露光パラメーターの前記第一の設定に基づく、システム。
画像センサーと、
前記画像センサーに結合されたプロセッサーと、を備え、
前記プロセッサーが、前記画像センサーによって捕捉される第一のフレームに対する露光パラメーターの第一の設定を決定するように構成されていて、
前記露光パラメーターの前記第一の設定が、前記画像センサーによって捕捉された以前のフレームの特性に少なくとも部分的に基づいて決定され、
前記露光パラメーターの前記第一の設定が、前記第一のフレームの捕捉と関連付けられる第一のフレーム期間中に決定され、
前記画像センサーが、前記第一のフレーム期間中に第一のフレーム露光動作を実施するように構成されていて、
前記第一のフレーム露光動作が、前記露光パラメーターの前記第一の設定に基づく、システム。
【請求項2】
前記露光パラメーターが、開口サイズ、露光時間、アナログゲイン、またはデジタルゲインに対応する、請求項１に記載のシステム。
【請求項3】
前記以前のフレームが、前記第一のフレーム期間に先行し、かつそれに隣接するフレーム期間中に捕捉される、請求項１に記載のシステム。
【請求項4】
前記プロセッサーが、外部入力に基づいて、前記露光パラメーターの前記第一の設定を決定するようにさらに構成されている、請求項１に記載のシステム。
【請求項5】
前記外部入力が、一つまたは複数の他のセンサーからの外部センサーデータに基づく、請求項４に記載のシステム。
【請求項6】
前記外部センサーデータが、画像センサーデータまたは環境センサーデータに対応する、請求項５に記載のシステム。
【請求項7】
前記第一のフレーム露光動作が、トリガー信号の受信に応答して開始される、請求項１に記載のシステム。
【請求項8】
前記プロセッサーが、
前記第一のフレーム期間中に前記トリガー信号の送信をスケジュールするように、および
前記トリガー信号のスケジュールされた送信に従って、前記第一のフレーム期間中に前記トリガー信号を前記画像センサーに送信するように、さらに構成されている、請求項７に記載のシステム。
前記第一のフレーム期間中に前記トリガー信号の送信をスケジュールするように、および
前記トリガー信号のスケジュールされた送信に従って、前記第一のフレーム期間中に前記トリガー信号を前記画像センサーに送信するように、さらに構成されている、請求項７に記載のシステム。
【請求項9】
前記プロセッサーが、前記画像センサーによって捕捉される第二のフレームに対する前記露光パラメーターの第二の設定を決定するようにさらに構成されていて、
前記露光パラメーターの前記第二の設定が、前記第一のフレームの特性に少なくとも部分的に基づいて決定され、
前記露光パラメーターの前記第二の設定が、前記第二のフレームの捕捉と関連付けられる第二のフレーム期間中に決定され、
前記第二のフレーム期間が、前記第一のフレーム期間に続いて起こり、かつそれに隣接していて、
前記画像センサーが、前記第二のフレーム期間中に第二のフレーム露光動作を実施するようにさらに構成されていて、
前記第二のフレーム露光動作が、前記露光パラメーターの前記第二の設定に基づく、請求項１に記載のシステム。
前記露光パラメーターの前記第二の設定が、前記第一のフレームの特性に少なくとも部分的に基づいて決定され、
前記露光パラメーターの前記第二の設定が、前記第二のフレームの捕捉と関連付けられる第二のフレーム期間中に決定され、
前記第二のフレーム期間が、前記第一のフレーム期間に続いて起こり、かつそれに隣接していて、
前記画像センサーが、前記第二のフレーム期間中に第二のフレーム露光動作を実施するようにさらに構成されていて、
前記第二のフレーム露光動作が、前記露光パラメーターの前記第二の設定に基づく、請求項１に記載のシステム。
【請求項10】
前記プロセッサーが、前記以前のフレームの前記特性に基づいて、前記露光パラメーターの前記第二の設定を決定するようにさらに構成されている、請求項９に記載のシステム。
【請求項11】
システムであって、
画像センサーと、
前記画像センサーに結合されたプロセッサーと、を備え、前記プロセッサーが、
第一のフレームの捕捉と関連付けられる第一のフレーム期間中に、前記画像センサーから第一の前露光フレームを受信するように、および
前記画像センサーによって捕捉される前記第一のフレームに対する露光パラメーターの第一の設定を決定するように、構成されていて、前記露光パラメーターの前記第一の設定が、前記第一の前露光フレームの特性に少なくとも部分的に基づいて決定され、前記露光パラメーターの前記第一の設定が、前記第一のフレーム期間中に決定され、
前記画像センサーが、前記露光パラメーターの前記第一の設定に基づいて、第一のフレーム露光動作を実施するように構成されていて、
前記第一のフレーム露光動作中、前記画像センサーが、前記第一のフレーム期間中に前記第一のフレームを捕捉する、システム。
画像センサーと、
前記画像センサーに結合されたプロセッサーと、を備え、前記プロセッサーが、
第一のフレームの捕捉と関連付けられる第一のフレーム期間中に、前記画像センサーから第一の前露光フレームを受信するように、および
前記画像センサーによって捕捉される前記第一のフレームに対する露光パラメーターの第一の設定を決定するように、構成されていて、前記露光パラメーターの前記第一の設定が、前記第一の前露光フレームの特性に少なくとも部分的に基づいて決定され、前記露光パラメーターの前記第一の設定が、前記第一のフレーム期間中に決定され、
前記画像センサーが、前記露光パラメーターの前記第一の設定に基づいて、第一のフレーム露光動作を実施するように構成されていて、
前記第一のフレーム露光動作中、前記画像センサーが、前記第一のフレーム期間中に前記第一のフレームを捕捉する、システム。
【請求項12】
前記第一の前露光フレームが、前記第一のフレーム期間中に前記画像センサーによって捕捉される、請求項１１に記載のシステム。
【請求項13】
前記第一の前露光フレームが、前記画像センサー上の画像ピクセルのサブセットをサンプリングすることに応答して生成される、請求項１１に記載のシステム。
【請求項14】
画像ピクセルの前記サブセットが、前記画像センサー上の関心領域と関連付けられる、請求項１３に記載のシステム。
【請求項15】
前記関心領域が、前記画像センサーの中心セクションに近接する長方形領域に対応する、請求項１４に記載のシステム。
【請求項16】
前記関心領域が、一つまたは複数の行、一つまたは複数の列、または両方に対応する、請求項１４に記載のシステム。
【請求項17】
画像ピクセルの前記サブセットが、前記画像センサーにわたって分布する、請求項１３に記載のシステム。
【請求項18】
前記露光パラメーターが、開口サイズ、露光時間、アナログゲイン、またはデジタルゲインに対応する、請求項１１に記載のシステム。
【請求項19】
前記プロセッサーが、外部入力に基づいて、前記露光パラメーターの前記第一の設定を決定するようにさらに構成されている、請求項１１に記載のシステム。
【請求項20】
方法であって、
プロセッサーによって、第一のフレームの捕捉と関連付けられる第一のフレーム期間中に、画像センサーから第一の前露光フレームを受信することと、
前記プロセッサーによって、前記画像センサーによって捕捉される前記第一のフレームに対する露光パラメーターの第一の設定を決定することであって、前記露光パラメーターの前記第一の設定が、前記第一の前露光フレームの特性に少なくとも部分的に基づいて決定され、かつ前記露光パラメーターの前記第一の設定が、前記第一のフレーム期間中に決定される、決定することと、
前記プロセッサーによって、前記露光パラメーターの前記第一の設定に基づいて、第一のフレーム露光動作を開始することであって、前記第一のフレーム露光動作中、前記画像センサーが、前記第一のフレーム期間中に前記第一のフレームを捕捉する、開始することと、を含む、方法。
プロセッサーによって、第一のフレームの捕捉と関連付けられる第一のフレーム期間中に、画像センサーから第一の前露光フレームを受信することと、
前記プロセッサーによって、前記画像センサーによって捕捉される前記第一のフレームに対する露光パラメーターの第一の設定を決定することであって、前記露光パラメーターの前記第一の設定が、前記第一の前露光フレームの特性に少なくとも部分的に基づいて決定され、かつ前記露光パラメーターの前記第一の設定が、前記第一のフレーム期間中に決定される、決定することと、
前記プロセッサーによって、前記露光パラメーターの前記第一の設定に基づいて、第一のフレーム露光動作を開始することであって、前記第一のフレーム露光動作中、前記画像センサーが、前記第一のフレーム期間中に前記第一のフレームを捕捉する、開始することと、を含む、方法。
【発明の詳細な説明】
【背景技術】
【0001】
本明細書に別段の記載がない限り、この章の説明は、本出願の特許請求の範囲の先行技術ではなく、この章に含めることにより先行技術であると認められるべきではない。
【0002】
自律車両は、周囲環境の画像を捕捉する一つまたは複数の画像センサーを含むことができる。画像センサーは、典型的には、画像の品質を改善するために選択的に使用される異なる露光設定を有する。非限定的な例として、周囲環境が比較的暗い場合、画像センサーで画像を捕捉するために使用される露光時間は、比較的長い持続時間を有するように調整することができ、これは次に、画像の照明特性を増加させ得る（例えば、画像を明るくする）。しかしながら、周囲環境が比較的明るい場合、画像センサーで画像を捕捉するために使用される露光時間は、比較的短い持続時間を有するように調整することができ、これは次に、画像の照明特性を減少させ得る（例えば、画像を暗くする）。典型的には、露光設定が調整されるときと、調整された露光設定で画像センサーが画像を捕捉するときとの間に遅延がある。例えば、画像センサーは、露光設定が変更されたときと、新しい設定で取得されたフレームが読み取られるときとの間に単一フレーム遅延または複数フレーム遅延を有し得る。結果として、フレーム遅延の間、画像センサーは、一つまたは複数の露光過剰フレームおよび／または露光不足フレームを捕捉する可能性があり、これは、記憶スペースを占有し、自律車両の動作にほとんど（または全く）利益を提供しない。
【発明の概要】
【0003】
本明細書に記載される技術は、自動露出動作と関連付けられるレイテンシ（例えば、フレーム遅延）を低減する。特に、本明細書に記載される技術は、露光時間、アナログゲイン、またはデジタルゲインなどの目標露光パラメーターを決定し、単一フレーム期間で実行することを可能にする。例えば、一実施形態によれば、特定のフレーム期間中、オンチッププロセッサーは、画像センサーによって捕捉された以前のフレームを分析して、特定のフレーム期間中に画像センサーによって捕捉される「現在の」フレームに対する目標露光パラメーターを決定することができる。別の例として、一実施形態によると、特定のフレーム期間中、オンチッププロセッサーは、画像センサー上のピクセルのサブセットをサンプリングして、「前露光」フレームを生成し、前露光フレームを分析して、目標露光パラメーターを決定することができる。目標露光パラメーターを決定することに応答して（例えば、以前のフレームに基づいて、または前露光フレームに基づいて）、画像センサーは、目標露光パラメーターを決定することと、目標露光パラメーターを使用して捕捉される画像フレームを読み取ることとの間にフレーム遅延がないように、目標露光パラメーターを使用して現在のフレームを捕捉することができる。
【0004】
システムは、画像センサーと、画像センサーに結合されたプロセッサーとを含む。プロセッサーは、画像センサーによって捕捉される第一のフレームに対する露光パラメーターの第一の設定を決定するように構成される。露光パラメーターの第一の設定は、画像センサーによって捕捉された以前のフレームの特性に少なくとも部分的に基づいて決定される。露光パラメーターの第一の設定は、第一のフレームの捕捉と関連付けられる第一のフレーム期間中に決定される。画像センサーは、第一のフレーム期間中に第一のフレーム露光動作を実施するように構成される。第一のフレーム露光動作は、露光パラメーターの第一の設定に基づく。
【0005】
方法は、プロセッサーによって、画像センサーによって捕捉される第一のフレームに対する露光パラメーターの第一の設定を決定することを含む。露光パラメーターの第一の設定は、画像センサーによって捕捉された以前のフレームの特性に少なくとも部分的に基づいて決定される。露光パラメーターの第一の設定は、第一のフレームの捕捉と関連付けられる第一のフレーム期間中に決定される。方法はまた、プロセッサーによって、露光パラメーターの第一の設定に基づいて、第一のフレーム露光動作を開始することを含む。第一のフレーム露光動作中、画像センサーは、第一のフレーム期間中に第一のフレームを捕捉する。
【0006】
非一時的なコンピューター可読媒体は、プロセッサーによって実行されるとき、プロセッサーに動作を実行させる命令を含む。動作は、画像センサーによって捕捉される第一のフレームに対する露光パラメーターの第一の設定を決定することを含む。露光パラメーターの第一の設定は、画像センサーによって捕捉された以前のフレームの特性に少なくとも部分的に基づいて決定される。露光パラメーターの第一の設定は、第一のフレームの捕捉と関連付けられる第一のフレーム期間中に決定される。動作はまた、露光パラメーターの第一の設定に基づいて、第一のフレーム露光動作を開始することを含む。第一のフレーム露光動作中、画像センサーは、第一のフレーム期間中に第一のフレームを捕捉する。
【0007】
システムは、画像センサーと、画像センサーに結合されたプロセッサーとを含む。プロセッサーは、第一のフレームの捕捉と関連付けられる第一のフレーム期間中に、画像センサーから第一の前露光フレームを受信するように構成される。プロセッサーはまた、画像センサーによって捕捉される第一のフレームに対する露光パラメーターの第一の設定を決定するように構成される。露光パラメーターの第一の設定は、第一の前露光フレームの特性に少なくとも部分的に基づいて決定され、露光パラメーターの第一の設定は、第一のフレーム期間中に決定される。画像センサーは、露光パラメーターの第一の設定に基づいて、第一のフレーム露光動作を実施するように構成される。第一のフレーム露光動作中、画像センサーは、第一のフレーム期間中に第一のフレームを捕捉する。
【0008】
方法は、プロセッサーによって、第一のフレームの捕捉と関連付けられる第一のフレーム期間中に、画像センサーから第一の前露光フレームを受信することを含む。方法はまた、プロセッサーによって、画像センサーによって捕捉される第一のフレームに対する露光パラメーターの第一の設定を決定することを含む。露光パラメーターの第一の設定は、第一の前露光フレームの特性に少なくとも部分的に基づいて決定され、露光パラメーターの第一の設定は、第一のフレーム期間中に決定される。方法はさらに、プロセッサーによって、露光パラメーターの第一の設定に基づいて、第一のフレーム露光動作を開始することを含む。第一のフレーム露光動作中、画像センサーは、第一のフレーム期間中に第一のフレームを捕捉する。
【0009】
非一時的なコンピューター可読媒体は、プロセッサーによって実行されるとき、プロセッサーに動作を実行させる命令を含む。動作は、第一のフレームの捕捉と関連付けられる第一のフレーム期間中に、画像センサーから第一の前露光フレームを受信することを含む。動作はまた、画像センサーによって捕捉される第一のフレームに対する露光パラメーターの第一の設定を決定することを含む。露光パラメーターの第一の設定は、第一の前露光フレームの特性に少なくとも部分的に基づいて決定され、露光パラメーターの第一の設定は、第一のフレーム期間中に決定される。動作はさらに、露光パラメーターの第一の設定に基づいて、第一のフレーム露光動作を開始することを含む。第一のフレーム露光動作中、画像センサーは、第一のフレーム期間中に第一のフレームを捕捉する。
【0010】
これらの並びに他の態様、利点、および代替物は、当業者には、以下の詳細な説明を添付の図面を適宜参照して読み取ることにより明らかになるであろう。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
例示的な方法およびシステムが本明細書で企図される。本明細書において説明される任意の例示的な実施形態または特徴の例は、必ずしも他の実施形態または特徴よりも好ましいか、または有利であると解釈されるべきではない。さらに、本明細書において説明される例示的な実施形態は、限定的であることを意味するものではない。開示されたシステムおよび方法の特定の態様は、多種多様な異なる構成で配置し、組み合わせることができ、これらの構成の全てが、本明細書において企図されることは容易に理解されよう。加えて、図に示される特定の配置は、限定としてみなされるべきではない。他の実施形態は、所定の図に示されるそれぞれの要素をより多く、またはより少なく含むことができることが理解されるべきである。追加的に、例解される要素のうちのいくつかは、組み合わせされ得るか、または省略され得る。なお更に、例示的な実施形態は、図に例解されていない要素を含み得る。
【0013】
本明細書に記載される技術は、自動露出動作と関連付けられるレイテンシを低減する。特に、本明細書に記載される技術は、フレームの捕捉と関連付けられるフレーム期間中に、露光時間など、フレームに対する露光パラメーターを決定および実行（例えば、調整）することを可能にする。結果として、目標露光パラメーターが決定されるときと、捕捉されたフレームが目標露光パラメーターを使用して画像センサーから読み取られるときとの間に遅延（例えば、単一フレーム遅延または複数フレーム遅延）を有する代わりに、本明細書に記載される技術は、目標露光パラメーターを有するフレームが、目標露光パラメーターが決定される同じフレーム期間中に読み取られるように、遅延を低減（または排除）することができる。上述のレイテンシを低減することによって、本明細書に記載される技術は、捕捉される露光過剰フレームの数を低減することができ、捕捉される露光不足フレームの数を低減することができる。
【0014】
本明細書で使用される場合、現在のフレームの「フレーム期間」は、以前のフレームの捕捉の直後に開始し、現在のフレームの捕捉の直後に終了する期間に対応する。よって、シャッターが閉じて、以前のフレームの捕捉を完了すると、以前のフレームのフレーム期間は終了し、現在のフレームのフレーム期間が開始する。加えて、シャッターが閉じて現在のフレームの捕捉を完了すると、現在のフレームのフレーム期間が終了する。フレーム期間を定義する時間の長さは、フレームレートの逆数として定義することができ、フレームレートは関連するカメラシステムに固有である。
【0015】
上述のようにレイテンシを低減するために、一部の実装によれば、「現在のフレーム」のフレーム期間（例えば、現在のフレームの捕捉と関連付けられるフレーム期間）中に、プロセッサーは、以前に捕捉されたフレームの特性に基づいて、現在のフレームを捕捉するために使用される露光パラメーターを動的に変更することができる。例示のために、現在のフレームのフレーム期間中、プロセッサーは、捕捉された以前のフレームを分析し、分析に基づいて露光パラメーターの設定を決定することができる。非限定的な例として、現在のフレームのフレーム期間中に、以前のフレームの照明メトリックが下側照明閾値を満たさなかった（例えば、以前のフレームが暗すぎた）場合、プロセッサーは、現在のフレームの露光時間を延長すべきであると決定し、画像センサーで延長された露光時間を実行することができる。逆に、現在のフレームのフレーム期間中に、以前のフレームの照明メトリックが上側照明閾値を満たさなかった（例えば、以前のフレームが明るすぎた）場合、プロセッサーは、現在のフレームの露光時間を短縮すべきであると決定し、画像センサーで短縮された露光時間を実行することができる。当然のことながら、以前のフレームを分析して、現在のフレームに対する露光パラメーターを決定することに加えて、プロセッサーはまた、以前に捕捉された一つまたは複数の追加的フレーム、以前に捕捉されたフレームと関連付けられるデータのヒストグラム、他のセンサーから収集されたデータを示す外部入力などの他のデータを分析することができる。露光パラメーターが決定された後、画像センサーは、露光パラメーターを使用してフレーム露光動作を実施して、現在のフレームのフレーム期間中に現在のフレームを捕捉することができる。
【0016】
他の実装によれば、上述のようにレイテンシを低減するために、現在のフレームのフレーム期間中、プロセッサーは、「前露光」フレームの特性に基づいて、現在のフレームを捕捉するために使用される露光パラメーターを動的に変更することができる。この実装では、現在のフレームのフレーム期間の開始時に、プロセッサーは、画像センサー上の画像ピクセルのサブセットを（短期間の間）サンプリングして、前露光フレームを生成することができる。画像ピクセルのサブセットは、特定の関心領域に対応し得る、または画像センサーにわたる分散領域に対応し得る。前露光フレームは、プロセッサーによって使用されて、現在のフレームを捕捉する際に露光パラメーターをどのように調整すべきか、または調整すべきかどうかを決定することができる。露光パラメーターがどのように調整されるべきかを決定した後、現在のフレームのフレーム期間中、画像センサーは、調整された露光パラメーターを使用してフレーム露光動作を実施して、現在のフレームを捕捉することができる。
【0017】
露光パラメーターは、前露光フレームに基づいて調整され得るが、一部の実装では、露光パラメーターは、一つまたは複数の他のセンサーからのデータに基づいて追加的に調整され得る。非限定的な例として、現在のフレームのフレーム期間の開始時に、プロセッサーはまた、一つまたは複数の他のセンサーからデータ（例えば、画像）を受信することができる。これらの実装では、プロセッサーは、前露光フレームに基づいて、および一つまたは複数の他のセンサーからのデータ（例えば、画像）に基づいて、現在のフレームの露光パラメーターを調整することができる。
【0018】
以下の説明および添付図面は、さまざまな例示的な実施形態の特徴を明らかにする。提供される実施形態は、例としてのものであり、限定することを意図するものではない。従って、図面の寸法は、必ずしも縮尺どおりではない。
【0019】
特定の実施形態が、図面を参照して本明細書に記載される。記載において、共通の特徴は、図面全体を通して共通の参照番号によって示されている。一部の図では、特定のタイプの特徴の複数の例が使用される。これらの特徴は物理的および／または論理的に異なるが、それぞれに対して同じ参照番号が使用され、異なる例は、参照番号への文字の追加によって区別される。グループまたはタイプとしての特徴が本明細書で言及される場合（例えば、特徴の特定の一つが言及されていない場合）、参照番号は識別文字なしで使用される。しかしながら、同じタイプの複数の特徴の一つの特定の特徴が本明細書で言及される場合、参照番号は識別文字とともに使用される。例えば、図４を参照すると、複数のフレームが図示され、参照番号４５０Ａ、４５０Ｂなどと関連付けられる。フレーム４５０Ａなど、これらのフレームの特定の一つを指す場合、識別文字「Ａ」が使用される。しかしながら、これらのフレームのうちの任意の一つまたはこれらのフレームをグループとして参照する場合、参照番号４５０は、識別文字なしで使用される。
【0020】
ここで、本開示の範囲内の例示的なシステムをより詳細に説明する。例示的なシステムは、自動車に実装され得るか、または自動車の形態を採り得る。追加的に、例示的なシステムはまた、自動車、トラック（例えば、ピックアップトラック、バン、トラクタ、およびトラクタトレーラーなど）、オートバイ、バス、飛行機、ヘリコプタ、ドローン、芝刈り機、ブルドーザ、ボート、潜水艦、全地形対応車両、スノーモービル、航空機、レクリエーション車両、遊園地車両、農機具または農業用車両、建設機械または建設車両、倉庫設備または倉庫車両、工場設備または工場車両、トラム、ゴルフカート、電車、トロリー、歩道運搬車両、ロボットデバイスなどの、さまざまな車両において実装され得るか、またはさまざまな車両の形態を採り得る。他の車両も同じく可能である。さらに、いくつかの実施形態では、例示的なシステムは、車両を含み得ない。
【0021】
ここで図を参照すると、図１は、自律モードで完全にまたは部分的に動作するように構成され得る、例示的な車両１００を例解する機能ブロック図である。より具体的には、車両１００は、コンピューティングシステムから制御命令を受信することを通して、人間の相互作用なしに自律モードで動作し得る。自律モードにおける動作の一部として、車両１００は、センサーを使用して、周囲環境の物体を検出し、場合によっては識別して、安全なナビゲーションを可能にし得る。追加的に、例示的な車両１００は、車両１００のいくつかの機能が車両１００の人間の運転手によって制御され、車両１００のいくつかの機能がコンピューティングシステムによって制御される、部分的に自律（すなわち、半自律）モードで動作し得る。例えば、車両１００はまた、運転手がステアリング、加速、およびブレーキなどの車両１００の動作を制御することを可能にするサブシステムを含み得るが、一方で、コンピューティングシステムは、周囲環境内の他の物体（例えば、車両）に基づき、車線逸脱警告／車線維持支援またはアダプティブクルーズコントロールなどの支援機能を実施する。
【0022】
本明細書に説明されるように、部分的自律運転モードでは、車両が一つまたは複数の運転動作（例えば、レーンセンタリング、アダプティブクルーズコントロール、先進運転支援システム（ＡＤＡＳ）、および緊急ブレーキを実施するためのステアリング、ブレーキ、および／または加速）を支援するが、人間の運転手は、車両１００の周囲を状況的に認識し、支援された運転動作を監督することが期待される。ここで、車両１００が特定の状況で全ての運転タスクを実施し得るが、人間の運転手は、必要に応じて制御を行う責任を負うことが期待される。
【0023】
簡略化及び簡潔化のために、様々なシステム及び方法が自律車両と併せて以下に説明されているが、これら又は同様のシステム及び方法は、完全自律運転システム（すなわち、部分的に自律運転システム）のレベルに達しない様々な運転支援システムで使用され得る。米国では、自動車技術者協会（ＳＡＥ）は、車両が運転をどの程度多く、又はどの程度少なく制御するかを示すために、異なるレベルの自動化された運転動作を定義しているが、米国又は他の国における異なる組織が、レベルを異なって分類し得る。より具体的には、本開示のシステム及び方法は、ステアリング、ブレーキ、加速、レーンセンタリング、アダプティブクルーズコントロールなど、及び他の運転手サポートを実装するＳＡＥレベル２の運転支援システムで使用され得る。開示されたシステムおよび方法は、限定された（例えば、高速道路）条件下で自律運転が可能なＳＡＥレベル３の運転支援システムで使用され得る。同様に、開示されたシステムおよび方法は、ほとんどの通常の運転状況下で自律的に動作し、人間のオペレーターの時折の注意のみを必要とする、ＳＡＥレベル４の自動運転システムを使用する車両に使用され得る。全てのそのようなシステムでは、正確なレーン推定は、運転手の入力または制御（例えば、車両が移動中）なしで自動的に実施され、車両測位およびナビゲーションの改善された信頼性、並びに自律運転、半自律運転、および他の運転支援システムの全体的な安全性を結果的にもたらす。上記のように、ＳＡＥが自動運転動作のレベルを分類する方式に加えて、米国または他の国における他の組織は、自動運転動作のレベルを異なって分類し得る。限定されるものではないが、本明細書の開示されたシステムおよび方法は、これらの他の組織の自動運転動作のレベルによって定義される運転支援システムに使用され得る。
【0024】
図１に示されるように、車両１００は、推進システム１０２、センサーシステム１０４、制御システム１０６、一つまたは複数の周辺装置１０８、電源１１０、データストレージ１１４を有するコンピューターシステム１１２（コンピューティングシステムとも称され得る）、およびユーザーインターフェース１１６などのさまざまなサブシステムを含み得る。他の例では、車両１００は、各々複数の要素を含み得る、より多いかまたはより少ないサブシステムを含み得る。車両１００のサブシステムおよび構成要素は、さまざまな方法で相互接続され得る。加えて、本明細書で説明される車両１００の機能は、追加の機能的または物理的構成要素に分割されるか、または実施形態内でより少ない機能的もしくは物理的構成要素に組み合わされ得る。例えば、制御システム１０６およびコンピューターシステム１１２は、さまざまな動作に従って車両１００を動作させる単一のシステムに組み合わされ得る。
【0025】
推進システム１０２は、車両１００に対して動力付き運動を提供するように動作可能な一つまたは複数の構成要素を含み得、他の可能な構成要素の中でも、エンジン／モーター１１８、エネルギー源１１９、トランスミッション１２０、および車輪／タイヤ１２１を含み得る。例えば、エンジン／モーター１１８は、エネルギー源１１９を機械的エネルギーに変換するように構成され得、他の可能なオプションの中でも、内燃エンジン、電気モーター、蒸気エンジン、またはスターリングエンジンのうちの一つまたは組み合わせに対応し得る。例えば、いくつかの実施形態では、推進システム１０２は、ガソリンエンジンおよび電気モーターなどの多数のタイプのエンジンおよび／またはモーターを含み得る。
【0026】
エネルギー源１１９は、完全にまたは部分的に、車両１００の一つまたは複数のシステム（例えば、エンジン／モーター１１８）に動力を供給し得るエネルギー源を表す。例えば、エネルギー源１１９は、ガソリン、ディーゼル、他の石油ベースの燃料、プロパン、他の圧縮ガスベースの燃料、エタノール、ソーラパネル、電池、および／または他の電力源に対応することができる。いくつかの実施形態では、エネルギー源１１９は、燃料タンク、電池、コンデンサー、および／またはフライホイールの組み合わせを含み得る。
【0027】
トランスミッション１２０は、エンジン／モーター１１８からの機械動力を、車輪／タイヤ１２１および／または車両１００の他の可能なシステムに伝達し得る。従って、トランスミッション１２０は、他の可能な構成要素の中でもとりわけ、ギアボックス、クラッチ、ディファレンシャル、および駆動シャフトを含み得る。駆動シャフトは、車輪／タイヤ１２１のうちの一つまたは複数に接続する車軸を含み得る。
【0028】
車両１００の車輪／タイヤ１２１は、例示的な実施形態内でさまざまな構成を有し得る。例えば、車両１００は、他の可能な構成の中でも、一輪車、自転車／オートバイ、三輪車、または自動車／トラックの四輪の形態で存在し得る。従って、車輪／タイヤ１２１は、さまざまな方法で車両１００に接続することができ、金属およびゴムなどの異なる材料で存在することができる。
【0029】
センサーシステム１０４は、他の可能なセンサーの中でも特に、全地球測位システム（ＧＰＳ）１２２、慣性測定ユニット（ＩＭＵ）１２４、レーダー１２６、ライダー１２８、カメラ１３０、ステアリングセンサー１２３、およびスロットル／ブレーキセンサー１２５などのさまざまなタイプのセンサーを含むことができる。いくつかの実施形態では、センサーシステム１０４は、車両１００の内部システムを監視するように構成されるセンサー（例えば、Ｏ２モニター、燃料計、エンジンオイル温度、およびブレーキ摩耗）も含み得る。
【0030】
ＧＰＳ １２２は、地球に対する車両１００の位置に関する情報を提供するように動作可能なトランシーバーを含み得る。ＩＭＵ １２４は、一つまたは複数の加速度計および／またはジャイロスコープを使用する構成を有し得、慣性加速度に基づき車両１００の位置および配向の変化を感知し得る。例えば、ＩＭＵ １２４は、車両１００が静止しているか、または動いている間に車両１００のピッチおよびヨーを検出し得る。
【0031】
レーダー１２６は、物体の速さおよび方位を含めて、無線信号を使用して、車両１００の周囲環境内の物体を感知するように構成される一つまたは複数のシステムを表すことができる。従って、レーダー１２６は、無線信号を送信および受信するように構成されるアンテナを含み得る。いくつかの実施形態では、レーダー１２６は、車両１００の周囲環境の測定値を得るように構成される取り付け可能なレーダーに対応し得る。
【0032】
ライダー１２８は、他のシステム構成要素の中でも特に、一つまたは複数のレーザー源、レーザースキャナー、および一つまたは複数の検出器を含み得、コヒーレントモード（例えば、ヘテロダイン検出などを使用）またはインコヒーレント検出モード（すなわち、飛行時間モード）で動作し得る。いくつかの実施形態では、ライダー１２８の一つまたは複数の検出器は、特に感度の高い検出器（例えば、アバランシェフォトダイオード）であり得る、一つまたは複数の光検出器を含み得る。いくつかの例では、そのような光検出器は、単一光子（例えば、単一光子アバランシェダイオード（ＳＰＡＤ））を検出することが可能であり得る。さらに、そのような光検出器は、アレイ内に配置され得る（例えば、シリコン光電子増倍管（ＳｉＰＭ）のように）（例えば、直列の電気接続を通して）。いくつかの例では、一つまたは複数の光検出器は、ガイガーモードで動作するデバイスであり、ライダーは、そのようなガイガーモード動作のために設計されたサブ構成要素を含む。
【0033】
カメラ１３０は、車両１００の周囲環境の画像を捕捉するように構成される、一つまたは複数の装置（例えば、スチルカメラ、ビデオカメラ、熱画像カメラ、ステレオカメラ、およびナイトビジョンカメラ）を含み得る。
【0034】
ステアリングセンサー１２３は、車両１００のステアリング角度を感知し得、これは、ステアリングホイールの角度を測定すること、またはステアリングホイールの角度を表す電気信号を測定することを含み得る。いくつかの実施形態では、ステアリングセンサー１２３は、車両１００の前方軸に対する車輪の角度を検出するなど、車両１００の車輪の角度を測定し得る。ステアリングセンサー１２３はまた、ステアリングホイールの角度、ステアリングホイールの角度を表す電気信号、および車両１００の車輪の角度の組み合わせ（またはサブセット）を測定するように構成され得る。
【0035】
スロットル／ブレーキセンサー１２５は、車両１００のスロットル位置またはブレーキ位置のいずれかの位置を検出し得る。例えば、スロットル／ブレーキセンサー１２５は、アクセルペダル（スロットル）およびブレーキペダルの両方の角度を測定し得るか、または、例えば、アクセルペダル（スロットル）の角度および／またはブレーキペダルの角度を表し電気信号を測定し得る。スロットル／ブレーキセンサー１２５はまた、エンジン／モーター１１８（例えば、バタフライバルブおよびキャブレタ）にエネルギー源１１９のモジュレーションを提供する物理的機構の一部を含み得る、車両１００のスロットルボディの角度を測定し得る。追加的に、スロットル／ブレーキセンサー１２５は、車両１００のロータ上の一つまたは複数のブレーキパッドの圧力、またはアクセルペダル（スロットル）およびブレーキペダルの角度の組み合わせ（またはサブセット）、アクセルペダル（スロットル）およびブレーキペダルの角度を表す電気信号、スロットルボディの角度、並びに少なくとも一つのブレーキパッドが車両１００のロータに加える圧力、を測定し得る。他の実施形態では、スロットル／ブレーキセンサー１２５は、スロットルまたはブレーキペダルなどの車両のペダルに加えられた圧力を測定するように構成され得る。
【0036】
制御システム１０６は、ステアリングユニット１３２、スロットル１３４、ブレーキユニット１３６、センサー融合アルゴリズム１３８、コンピュータービジョンシステム１４０、ナビゲーション／経路探索システム１４２、および障害物回避システム１４４など、車両１００をナビゲートすることを支援するように構成される構成要素を含み得る。より具体的には、ステアリングユニット１３２は、車両１００の方位を調整するように動作可能であり得、スロットル１３４は、エンジン／モーター１１８の動作スピードを制御して、車両１００の加速を制御し得る。ブレーキユニット１３６は、車両１００を減速することができ、これは、摩擦を使用して車輪／タイヤ１２１を減速することを伴い得る。いくつかの実施形態では、ブレーキユニット１３６は、車両１００の一つまたは複数のシステムによるその後の使用のために、車輪／タイヤ１２１の運動エネルギーを電流に変換し得る。
【0037】
センサー融合アルゴリズム１３８は、カルマンフィルター、ベイジアンネットワーク、またはセンサーシステム１０４からのデータを処理することができる他のアルゴリズムを含み得る。いくつかの実施形態では、センサー融合アルゴリズム１３８は、個々の物体および／もしくは特徴の評価、特定の状況の評価、並びに／または所与の状況内の可能性のある影響の評価など、着信センサーデータに基づくアセスメントを提供し得る。
【0038】
コンピュータービジョンシステム１４０は、移動中である物体（例えば、他の車両、歩行者、自転車に乗る人、または動物）および移動中ではない物体（例えば、交通信号機、車道境界、スピードバンプ、またはくぼみ）を決定するために画像を処理および分析するように動作可能なハードウェアおよびソフトウェア（例えば、中央処理装置（ＣＰＵ）などの汎用プロセッサー、グラフィック処理ユニット（ＧＰＵ）またはテンソル処理ユニット（ＴＰＵ）などの専用プロセッサー、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、揮発性メモリー、不揮発性メモリー、または一つまたは複数の機械学習モデル）を含み得る。従って、コンピュータービジョンシステム１４０は、物体認識、ストラクチャフロムモーション（ＳＦＭ）、ビデオ追跡、および、例えば、物体を認識し、環境をマッピングし、物体を追跡し、物体のスピードを推定するためなどにコンピュータービジョンで使用される他のアルゴリズムを使用し得る。
【0039】
ナビゲーション／経路探索システム１４２は、車両１００の運転経路を決定することができ、これは、動作中にナビゲーションを動的に調整することを伴い得る。従って、ナビゲーション／経路探索システム１４２は、数ある情報源の中でも特に、センサー融合アルゴリズム１３８、ＧＰＳ １２２、およびマップからのデータを使用して、車両１００をナビゲートし得る。障害物回避システム１４４は、センサーデータに基づき潜在的な障害物を評価し、車両１００のシステムに潜在的な障害物を回避させるか、または別様に切り抜けさせ得る。
【0040】
図１に示されるように、車両１００はまた、無線通信システム１４６、タッチスクリーン１４８、内部マイクロフォン１５０、および／またはスピーカー１５２などの周辺機器１０８を含み得る。周辺機器１０８は、ユーザーがユーザーインターフェース１１６と相互作用するための制御または他の要素を提供し得る。例えば、タッチスクリーン１４８は、車両１００のユーザーに情報を提供し得る。ユーザーインターフェース１１６はまた、タッチスクリーン１４８を介してユーザーからの入力を受けいれ得る。周辺機器１０８はまた、車両１００が、他の車両のデバイスなどのデバイスと通信することを可能にし得る。
【0041】
無線通信システム１４６は、一つまたは複数の装置と直接または通信ネットワークを介して無線で通信し得る。例えば、無線通信システム１４６は、符号分割多重アクセス（ＣＤＭＡ）、エボリューションデータ最適化（ＥＶＤＯ）、モバイル通信用グローバルシステム（ＧＳＭ）／汎用パケット無線サービス（ＧＰＲＳ）などの３Ｇセルラー通信、または４Ｇワールドワイドインターオペラビリティフォーマイクロウェーブアクセス（ＷｉＭＡＸ）もしくはロングタームエボリューション（ＬＴＥ）などのセルラー通信、または５Ｇを使用することができる。代替的に、無線通信システム１４６は、ＷＩＦＩ（登録商標）または他の可能な接続を使用して無線ローカルエリアネットワーク（ＷＬＡＮ）と通信し得る。無線通信システム１４６はまた、例えば、赤外線リンク、Ｂｌｕｅｔｏｏｔｈ、またはＺｉｇＢｅｅを使用してデバイスと直接通信し得る。さまざまな車両通信システムなどの他の無線プロトコルが、本開示の文脈内で可能である。例えば、無線通信システム１４６は、車両および／または路側ステーション間の公共および／または私的データ通信を含み得る一つまたは複数の専用狭域通信（ＤＳＲＣ）デバイスを含み得る。
【0042】
車両１００は、構成要素に電力を供給するための電源１１０を含み得る。電源１１０は、いくつかの実施形態では、再充電可能なリチウムイオンまたは鉛蓄電池を含み得る。例えば、電源１１０は、電力を提供するように構成される一つまたは複数の電池を含み得る。車両１００はまた、他のタイプの電源を使用し得る。例示的な実施形態では、電源１１０とエネルギー源１１９とが、統合されて単一のエネルギー源になり得る。
【0043】
車両１００はまた、そこに説明される動作などの動作を行うためのコンピューターシステム１１２を含み得る。従って、コンピューターシステム１１２は、データストレージ１１４などの非一時的なコンピューター可読媒体に記憶された命令１１５を実行するように動作可能な少なくとも一つのプロセッサー１１３（少なくとも一つのマイクロプロセッサーを含み得る）を含み得る。いくつかの実施形態では、コンピューターシステム１１２は、車両１００の個々の構成要素またはサブシステムを分散方式で制御するように機能し得る複数のコンピューティング装置を表し得る。
【0044】
いくつかの実施形態では、データストレージ１１４は、図１に関連して上述したものを含めて、車両１００のさまざまな機能を実行するための、プロセッサー１１３によって実行可能な命令１１５（例えば、プログラム論理）を含み得る。データストレージ１１４は、推進システム１０２、センサーシステム１０４、制御システム１０６、および周辺機器１０８のうちの一つまたは複数にデータを送信する、データを受信する、相互作用する、および／または制御する命令を含む追加の命令も含み得る。
【0045】
命令１１５に加えて、データストレージ１１４は、情報の中でもとりわけ、道路地図、経路情報などのデータを記憶し得る。そのような情報は、自律モード、半自律モード、および／または手動モードにおける車両１００の動作中に、車両１００およびコンピューターシステム１１２によって使用され得る。
【0046】
車両１００は、車両１００のユーザーに情報を提供するか、または車両１００のユーザーから入力を受信するためのユーザーインターフェース１１６を含み得る。ユーザーインターフェース１１６は、タッチスクリーン１４８上に表示され得るコンテンツおよび／またはインタラクティブ画像のレイアウトを制御するまたは制御を可能にし得る。さらに、ユーザーインターフェース１１６は、無線通信システム１４６、タッチスクリーン１４８、マイクロフォン１５０、およびスピーカー１５２などの周辺機器１０８のセット内の一つまたは複数の入力／出力デバイスを含むことができる。
【0047】
コンピューターシステム１１２は、さまざまなサブシステム（例えば、推進システム１０２、センサーシステム１０４、または制御システム１０６）から、およびユーザーインターフェース１１６から受信した入力に基づき、車両１００の機能を制御し得る。例えば、コンピューターシステム１１２は、推進システム１０２および制御システム１０６によって生成された出力を推定するために、センサーシステム１０４からの入力を利用し得る。実施形態に応じて、コンピューターシステム１１２は、車両１００およびそのサブシステムの多くの態様を監視するように動作可能であり得る。いくつかの実施形態では、コンピューターシステム１１２は、センサーシステム１０４から受信した信号に基づき、車両１００の一部または全ての機能を無効にし得る。
【0048】
車両１００の構成要素は、それらのそれぞれのシステム内または外部の他の構成要素と相互接続される方式で機能するように構成され得る。例えば、例示的な実施形態では、カメラ１３０は、自律または半自律モードで動作している車両１００の周囲環境の状態に関する情報を表すことができる複数の画像を捕捉することができる。周囲環境の状態は、車両が動作している道路のパラメーターを含み得る。例えば、コンピュータービジョンシステム１４０は、道路の複数の画像に基づき、傾斜（勾配）または他の特徴を認識することが可能であり得る。追加的に、ＧＰＳ １２２とコンピュータービジョンシステム１４０によって認識された特徴との組み合わせは、具体的な道路パラメーターを決定するために、データストレージ１１４に記憶された地図データとともに使用され得る。さらに、レーダー１２６および／もしくはライダー１２８、並びに／またはいくつかの他の環境マッピング、範囲、および／もしくは測位センサーシステムもまた、車両の周囲についての情報を提供し得る。
【0049】
言い換えると、さまざまなセンサー（入力指標センサーおよび出力指標センサーと呼ぶことができる）とコンピューターシステム１１２との組み合わせが相互作用して、車両を制御するために提供される入力の指標または車両の周囲の指標を提供することができる。
【0050】
いくつかの実施形態では、コンピューターシステム１１２は、無線システム以外のシステムによって提供されるデータに基づき、さまざまな物体に関する決定を行い得る。例えば、車両１００は、車両の視野内の物体を感知するように構成されるレーザーまたは他の光学センサーを有し得る。コンピューターシステム１１２は、さまざまなセンサーからの出力を使用して、車両の視野内の物体に関する情報を決定し得、さまざまな物体までの距離および方向情報を決定し得る。コンピューターシステム１１２はまた、さまざまなセンサーからの出力に基づき、物体が望ましいか、または望ましくないかを決定し得る。
【0051】
図１は、車両１００のさまざまな構成要素（すなわち、無線通信システム１４６、コンピューターシステム１１２、データストレージ１１４、およびユーザーインターフェース１１６）を車両１００に統合されるものとして示すが、これらの構成要素のうちの一つまたは複数は、車両１００とは別個に取り付けられるかまたは関連付けられ得る。例えば、データストレージ１１４は、部分的または完全に、車両１００とは別個に存在することができる。従って、車両１００は、別個にまたは一緒に位置し得るデバイス要素の形態で提供され得る。車両１００を構成するデバイス要素は、有線および／または無線方式で一緒に通信可能に結合され得る。
【0052】
図２Ａ～２Ｅは、図１を参照して車両１００に関連して説明された機能の一部または全てを含み得る例示的な車両２００（例えば、完全自律車両または半自律車両）を示す。車両２００は、例解目的で、サイドミラーを有するバンとして図２Ａ～２Ｅに例解されるが、本開示は、そのように限定されるものではない。例えば、車両２００は、トラック、自動車、セミトレーラートラック、オートバイ、ゴルフカート、オフロード車両、農業用車両、または本明細書の他の箇所で説明される任意の他の車両（例えば、バス、ボート、飛行機、ヘリコプタ、ドローン、芝刈り機、ブルドーザ、潜水艦、全地形対応車両、スノーモービル、航空機、レクリエーション車両、遊園地車両、農機具、建設機械または建設車両、倉庫設備または倉庫車両、工場設備または工場車両、トラム、電車、トロリー、歩道運搬車両、およびロボットデバイス）を表し得る。
【0053】
例示的な車両２００は、一つまたは複数のセンサーシステム２０２、２０４、２０６、２０８、２１０、２１２、２１４、および２１８を含み得る。いくつかの実施形態では、センサーシステム２０２、２０４、２０６、２０８、２１０、２１２、２１４、および／または２１８は、一つまたは複数の光学システム（例えば、カメラ）、一つまたは複数のライダー、一つまたは複数のレーダー、一つまたは複数の慣性センサー、一つまたは複数の湿度センサー、一つまたは複数の音響センサー（例えば、マイクロフォン、およびソナーデバイス）、または車両２００を取り囲む環境についての情報を感知するように構成される一つまたは複数の他のセンサーを表し得る。言い換えると、現在既知または今後作り出される任意のセンサーシステムは、車両２００に結合され得、および／または車両２００のさまざまな動作と併せて利用され得る。一例として、ライダーは、自動運転、または車両２００の他のタイプのナビゲーション、計画、知覚、および／もしくはマッピング動作に利用され得る。加えて、センサーシステム２０２、２０４、２０６、２０８、２１０、２１２、２１４、および／または２１８は、本明細書に説明されるセンサー（例えば、一つまたは複数のライダーおよびレーダー、一つまたは複数のライダーおよびカメラ、一つまたは複数のカメラおよびレーダー、一つまたは複数のライダー、カメラ、およびレーダー）の組み合わせを表し得る。
【0054】
図２Ａ～Ｅに描写されるセンサーシステム（例えば、２０２、および２０４）の数、場所、およびタイプが、自律または半自律車両のそのようなセンサーシステムの場所、数、およびタイプの非限定的な実施例として意図されることに留意されたい。そのようなセンサーの代替的な数、場所、タイプ、および構成が可能である（例えば、車両サイズ、形状、空気力学、燃料経済、美観、またはコストを低減するか、特殊な環境もしくは適用状況に適合するための他の条件と適合するために）。例えば、センサーシステム（例えば、２０２、および２０４）は、車両（例えば、場所２１６にある）上のさまざまな他の場所に配設され得、車両２００の内部および／または周囲環境に対応する視野を有し得る。
【0055】
センサーシステム２０２は、車両２００の上部に取り付けられ、車両２００を取り囲む環境についての情報を検出し、情報の指標を出力するように構成される一つまたは複数のセンサーを含み得る。例えば、センサーシステム２０２は、カメラ、レーダー、ライダー、慣性センサー、湿度センサー、および音響センサー（例えば、マイクロフォン、およびソナーデバイス）の任意の組み合わせを含み得る。センサーシステム２０２は、センサーシステム２０２内の一つまたは複数のセンサーの配向を調整するように動作可能であり得る一つまたは複数の可動マウントを含み得る。一実施形態では、可動マウントは、車両２００の周囲の各方向から情報を得るようにセンサーを走査することができる回転プラットフォームを含み得る。別の実施形態では、センサーシステム２０２の可動マウントは、特定の角度および／または方位角および／または仰角の範囲内で走査方式で移動可能であり得る。センサーシステム２０２は、他の取り付け場所も考えられ得るが、車の屋根上に取り付けられ得る。
【0056】
追加的に、センサーシステム２０２のセンサーは、さまざまな場所に分散され得、単一の場所に併置される必要はない。さらに、センサーシステム２０２の各センサーは、センサーシステム２０２の他のセンサーとは独立して移動または走査されるように構成され得る。追加的または代替的に、複数のセンサーは、センサー場所２０２、２０４、２０６、２０８、２１０、２１２、２１４、および／または２１８のうちの一つまたは複数に取り付けられ得る。例えば、センサー場所に取り付けられた二つのライダー装置が存在し得、並びに／またはセンサー場所に取り付けられた一つのライダー装置および一つのレーダーが存在し得る。
【0057】
センサーシステム２０２、２０４、２０６、２０８、２１０、２１２、２１４、および／または２１８のうちの一つまたは複数は、一つまたは複数のライダー装置を含み得る。例えば、ライダー装置は、所与の平面（例えば、ｘ－ｙ平面）に対してある角度範囲にわたって配設された複数の光エミッターデバイスを含み得る。例えば、センサーシステム２０２、２０４、２０６、２０８、２１０、２１２、２１４、および／または２１８のうちの一つまたは複数は、車両２００を取り囲む環境を光パルスで照明するように、所与の平面に垂直な軸（例えば、ｚ軸）の周りを回転または枢動するように構成され得る。反射光パルスのさまざまな態様（例えば、経過した飛行時間、偏光、および強度）の検出に基づき、周囲環境についての情報が決定され得る。
【0058】
例示的な実施形態では、センサーシステム２０２、２０４、２０６、２０８、２１０、２１２、２１４、および／または２１８は、車両２００の周囲環境内の物理的物体に関連し得るそれぞれの点群情報を提供するように構成され得る。車両２００、並びにセンサーシステム２０２、２０４、２０６、２０８、２１０、２１２、２１４、および２１８は、特定の特徴を含むものとして例解されるが、他のタイプのセンサーシステムが本開示の範囲内で企図されることが理解されよう。さらに、例示的な車両２００は、図１の車両１００に関連して説明される構成要素のいずれかを含むことができる。
【0059】
例示的な構成では、一つまたは複数のレーダーが車両２００上に位置し得る。上記のレーダー１２６と同様に、一つまたは複数のレーダーは、電波（例えば、３０Ｈｚ～３００ＧＨｚの周波数を有する電磁波など）を送信および受信するように構成されるアンテナを含み得る。そのような電波は、車両２００の周囲環境内の一つまたは複数の物体の距離および／または速度を決定するために使用され得る。例えば、センサーシステム２０２、２０４、２０６、２０８、２１０、２１２、２１４、および／または２１８のうちの一つまたは複数は、一つまたは複数のレーダーを含み得る。いくつかの例では、一つまたは複数のレーダーが、車両２００の後部付近に位置して（例えば、センサーシステム２０８、および２１０）、電波反射物体の存在に関して、車両２００の背面付近の環境を能動的に走査し得る。同様に、一つまたは複数のレーダーが、車両２００の前方付近に位置して（例えば、センサーシステム２１２、２１４）、車両２００の前方付近の環境を能動的に走査し得る。レーダーは、例えば、車両２００の他の特徴によって塞がれることなく、車両２００の前進路を含む領域を照明するのに好適な場所に位置付けられ得る。例えば、レーダーは、フロントバンパー、フロントヘッドライト、カウル、および／もしくはフードなどに埋め込まれる、並びに／またはそれらにもしくはそれらの近くに取り付けられ得る。さらに、一つまたは複数の追加のレーダーは、リアバンパー、サイドパネル、ロッカーパネル、および／または下部走行体などに、またはそれらの近くにそのようなデバイスを含めることなどによって、電波反射物体の存在に関して、車両２００の側面および／または後方を能動的に走査するように位置し得る。
【0060】
車両２００は、一つまたは複数のカメラを含み得る。例えば、センサーシステム２０２、２０４、２０６、２０８、２１０、２１２、２１４、および／または２１８のうちの一つまたは複数は、一つまたは複数のカメラを含み得る。カメラは、車両２００の周囲環境の複数の画像を捕捉するように構成される、スチルカメラ、ビデオカメラ、熱画像カメラ、ステレオカメラ、ナイトビジョンカメラなどの感光性機器であり得る。この目的のために、カメラは、可視光を検出するように構成され得、追加的または代替的に、赤外光または紫外光などのスペクトルの他の部分からの光を検出するように構成され得る。カメラは、二次元検出器であり得、任意選択的に、三次元空間の感度範囲を有し得る。いくつかの実施形態では、カメラは、例えば、カメラから周囲環境内のいくつかの点までの距離を示す二次元画像を生成するように構成される範囲検出器を含み得る。この目的のために、カメラは、一つまたは複数の範囲検出技法を使用し得る。例えば、カメラは、構造化光技法を使用することによって範囲情報を提供することができ、この構造化光技法では、車両２００が、格子またはチェッカーボード模様などの所定の光パターンで周囲環境内の物体を照明し、カメラを使用して、環境周囲からの所定の光パターンの反射を検出する。反射光パターンの歪みに基づき、車両２００は、物体上の点までの距離を決定し得る。所定の光パターンは、赤外光、またはそのような測定に好適な他の波長の放射線を含み得る。いくつかの例では、カメラは、車両２００のフロントガラスの内側に取り付けられ得る。具体的には、カメラは、車両２００の配向に対して前方視から画像を捕捉するように位置付けられ得る。カメラの他の取り付け場所および視野角は車両２００の内部または外部のいずれであろうが、使用され得る。また、カメラは、調整可能な視野を提供するように動作可能な関連する光学素子を有し得る。さらにまた、カメラは、パン／チルト機構などを介して、カメラの指向角を変えるように、可動マウントを用いて車両２００に取り付けられ得る。
【0061】
車両２００はまた、車両２００の周囲環境を感知するために使用される一つまたは複数の音響センサーを含み得る（例えば、センサーシステム２０２、２０４、２０６、２０８、２１０、２１２、２１４、２１６、２１８のうちの一つまたは複数が、一つまたは複数の音響センサーを含み得る）。音響センサーは、車両２００を取り囲む環境の流体（例えば、空気）中の音響波（すなわち、圧力差）を感知するために使用されるマイクロフォン（例えば、圧電マイクロフォン、コンデンサーマイクロフォン、リボンマイクロフォン、およびマイクロ電気機械システム（ＭＥＭＳ）マイクロフォン）を含み得る。そのような音響センサーは、車両２００の制御ストラテジーが基づき得る周囲環境中の音（例えば、サイレン、人間の発話、動物の音、および警報）を識別するために使用され得る。例えば、音響センサーがサイレン（例えば、移動性サイレン、および／または消防車のサイレン）を検出する場合、車両２００は、減速する、および／または道路の縁にナビゲートし得る。
【0062】
図２Ａ～２Ｅには示されていないが、車両２００は、無線通信システム（例えば、図１の無線通信システム１４６と同様の、および／または図１の無線通信システム１４６に加えてなど）を含み得る。無線通信システムは、車両２００の外部または内部のデバイスと通信するように構成され得る無線送信機および無線受信機を含み得る。具体的には、無線通信システムは、例えば、車両通信システムまたは路側ステーションにおいて、他の車両および／またはコンピューティング装置と通信するように構成されるトランシーバーを含み得る。このような車両通信システムの例としては、ＤＳＲＣ、無線周波数識別（ＲＦＩＤ）、およびインテリジェントトランスポートシステム向けに提案された他の通信規格が挙げられる。
【0063】
車両２００は、これら示されたものに加えて、またはその代わりに一つまたは複数の他の構成要素を含み得る。追加の構成要素は、電気的または機械的機能を含み得る。
【0064】
車両２００の制御システムは、複数の可能な制御ストラテジーの中から制御ストラテジーに従って車両２００を制御するように構成され得る。制御システムは、車両２００に結合されるセンサー（車両２００上または車両２００外）から情報を受信し、その情報に基づき制御ストラテジー（および関連する運転挙動）を修正し、修正された制御ストラテジーに従って車両２００を制御するように構成され得る。制御システムは、センサーから受信した情報を監視し、駆動条件を継続的に評価するようにさらに構成され得、また、駆動条件の変化に基づき、制御ストラテジーおよび運転挙動を修正するように構成され得る。例えば、一つの目的地から別の目的地までの、車両によって取られる経路は、駆動条件に基づき修正され得る。追加的または代替的に、速度、加速度、転回角度、車間距離（すなわち、現在の車両の前方の車両までの距離）、レーン選択などは、全て、駆動条件の変化に応答して修正され得る。
【0065】
上記のように、いくつかの実施形態では、車両２００は、バンの形態を採り得るが、代替形態もまた可能であり、本明細書で企図される。従って、図２Ｆ～２Ｉは、車両２５０がセミトラックの形態を採る実施形態を例解する。例えば、図２Ｆは、車両２５０の正面図を例解し、図２Ｇは、車両２５０の等角図を例解する。車両２５０がセミトラックである実施形態では、車両２５０は、トラクタ部分２６０およびトレーラー部分２７０（図２Ｇに例解される）を含み得る。図２Ｈおよび２Ｉは、それぞれ、トラクタ部分２６０の側面図および上面図を提供する。上記に例解される車両２００と同様に、図２Ｆ～２Ｉに例解される車両２５０はまた、さまざまなセンサーシステム（例えば、図２Ａ～２Ｅを参照して示され、説明されるセンサーシステム２０２、２０６、２０８、２１０、２１２、２１４と同様）を含み得る。いくつかの実施形態では、図２Ａ～２Ｅの車両２００は、いくつかのセンサーシステム（例えば、センサーシステム２０４）の単一コピーのみを含み得るが、図２Ｆ～２Ｉに例解される車両２５０は、そのセンサーシステム（例えば、例解されるように、センサーシステム２０４Ａおよび２０４Ｂ）の複数のコピーを含み得る。
【0066】
図面および全体的説明は、所与の車両形態（例えば、セミトラック車両２５０またはバン車両２００）を参照し得るが、本明細書に説明される実施形態は、さまざまな車両の文脈（例えば、車両のフォームファクタを考慮するために採用される修正を用いて）で等しく適用され得ることが理解される。例えば、バン車両２００の一部であるとして説明または例解されるセンサーおよび／または他の構成要素もまた、セミトラック車両２５０で使用され得る（例えば、ナビゲーション並びに／または障害物検出および回避のために）。
【0067】
図２Ｊは、さまざまなセンサー視野（例えば、上記の車両２５０と関連付けられる）を例解する。上記のように、車両２５０は、複数のセンサー／センサーユニットを含有し得る。さまざまなセンサーの場所は、例えば、図２Ｆ～２Ｉに開示されるセンサーの場所に対応し得る。しかしながら、場合によっては、センサーは、他の場所を有し得る。図面の簡略化のために、センサー場所参照番号は、図２Ｊから省略される。車両２５０の各センサーユニットについて、図２Ｊは、代表的な視野（例えば、２５２Ａ、２５２Ｂ、２５２Ｃ、２５２Ｄ、２５４Ａ、２５４Ｂ、２５６、２５８Ａ、２５８Ｂ、および２５８Ｃとしてラベル付けされた視野）を例解する。センサーの視野は、センサーが物体を検出し得る角度領域（例えば、方位角領域および／または仰角領域）を含み得る。
【0068】
図２Ｋは、例示的な実施形態による、車両（例えば、図２Ｆ～２Ｊを参照して示され、説明される車両２５０）のセンサーに対するビームステアリングを例解する。さまざまな実施形態では、車両２５０のセンサーユニットは、レーダー、ライダー、ソナーなどであり得る。さらに、いくつかの実施形態では、センサーの動作中、センサーは、センサーの視野内で走査され得る。例示的なセンサーに対するさまざまな異なる走査角度が、領域２７２として示されており、各々は、センサーが動作している角度領域を示す。センサーは、それが動作している領域を、定期的にまたは反復的に変化させ得る。いくつかの実施形態では、複数のセンサーが、領域２７２を測定するために車両２５０によって使用され得る。加えて、他の領域が、他の例に含まれ得る。例えば、一つまたは複数のセンサーは、車両２５０のトレーラー２７０の態様および／または車両２５０の前方の領域を測定し得る。
【0069】
いくつかの角度において、センサーの動作領域２７５は、トレーラー２７０の後輪２７６Ａ、２７６Ｂを含み得る。従って、センサーは、動作中に後輪２７６Ａおよび／または後輪２７６Ｂを測定し得る。例えば、後輪２７６Ａ、２７６Ｂは、センサーによって送信されたライダー信号またはレーダー信号を反射し得る。センサーは、後輪２７６Ａ、２７６から反射された信号を受信し得る。それゆえに、センサーによって収集されるデータは、車輪からの反射からのデータを含み得る。
【0070】
センサーがレーダーであるときなどの、いくつかの事例では、後輪２７６Ａ、２７６Ｂからの反射は、受信されたレーダー信号内のノイズとして現れ得る。結果として、レーダーは、後輪２７６Ａ、２７６Ｂが、センサーから離れるようにレーダー信号を向ける事例では、増強された信号対雑音比で動作し得る。
【0071】
図３は、例示的な実施形態による、自律または半自律車両に関連するさまざまなコンピューティングシステム間の無線通信の概念例解図である。特に、無線通信は、ネットワーク３０４を介して、リモートコンピューティングシステム３０２と車両２００との間で発生し得る。無線通信はまた、サーバーコンピューティングシステム３０６とリモートコンピューティングシステム３０２との間、およびサーバーコンピューティングシステム３０６と車両２００との間でも発生し得る。
【0072】
車両２００は、場所間で乗客または物体を輸送することができるさまざまなタイプの車両に対応することができ、上で考察される車両のうちの任意の一つまたは複数の形態を採り得る。場合によっては、車両２００は、制御システムがセンサー測定値を使用して目的地間で車両２００を安全にナビゲートすることを可能にする自律または半自律モードで動作し得る。自律または半自律モードで動作しているとき、車両２００は、乗客の有無にかかわらずナビゲートし得る。結果として、車両２００は、所望の目的地間で乗客を拾い、降ろし得る。
【0073】
リモートコンピューティングシステム３０２は、本明細書で説明されるものを含むがこれに限定されないリモートアシスタンス技術に関連する任意のタイプのデバイスを表し得る。例の中で、リモートコンピューティングシステム３０２は、（ｉ）車両２００に関係する情報を受信し、（ｉｉ）インターフェイスを提供し、それを通して、次に人間のオペレーターが情報に気付き、情報に関係する応答を入力することができ、（ｉｉｉ）応答を車両２００に、または他のデバイスに送信するように構成される任意のタイプのデバイスを表し得る。リモートコンピューティングシステム３０２は、ワークステーション、デスクトップコンピューター、ラップトップ、タブレット、携帯電話（例えば、スマートフォン）、および／またはサーバーなどの、さまざまな形態を採り得る。いくつかの例では、リモートコンピューティングシステム３０２は、ネットワーク構成で一緒に動作する複数のコンピューティング装置を含み得る。
【0074】
リモートコンピューティングシステム３０２は、車両２００のサブシステムおよび構成要素と同様または同一の一つまたは複数のサブシステムおよび構成要素を含み得る。少なくとも、リモートコンピューティングシステム３０２は、本明細書で説明するさまざまな動作を実行するように構成されるプロセッサーを含むことができる。いくつかの実施形態では、リモートコンピューティングシステム３０２は、タッチスクリーンおよびスピーカーなどの入力／出力デバイスを含むユーザーインターフェースも含み得る。他の例も同様に可能である。
【0075】
ネットワーク３０４は、リモートコンピューティングシステム３０２と車両２００との間の無線通信を可能にするインフラストラクチャを表す。ネットワーク３０４はまた、サーバーコンピューティングシステム３０６とリモートコンピューティングシステム３０２との間、およびサーバーコンピューティングシステム３０６と車両２００との間の無線通信を可能にする。
【0076】
リモートコンピューティングシステム３０２の位置は、例の範囲内で変わることができる。例えば、リモートコンピューティングシステム３０２は、ネットワーク３０４を介した無線通信を有する車両２００からリモート位置にあり得る。別の実施例では、リモートコンピューティングシステム３０２は、車両２００とは別個であるが、人間のオペレーターが車両２００の乗客または運転手と相互作用することができる、車両２００内のコンピューティング装置に対応し得る。いくつかの例では、リモートコンピューティングシステム３０２は、車両２００の乗客によって操作可能なタッチスクリーンを備えたコンピューティング装置であり得る。
【0077】
いくつかの実施形態では、リモートコンピューティングシステム３０２によって行われる本明細書で説明される動作は、追加的または代替的に、車両２００によって（すなわち、車両２００の任意のシステムまたはサブシステムによって）行われ得る。言い換えると、車両２００は、車両の運転手または乗客が相互作用することができるリモートアシスタンス機構を提供するように構成され得る。
【0078】
サーバーコンピューティングシステム３０６は、ネットワーク３０４を介してリモートコンピューティングシステム３０２および車両２００と（または、場合によっては、リモートコンピューティングシステム３０２および／もしくは車両２００と直接）無線通信するように構成され得る。サーバーコンピューティングシステム３０６は、車両２００およびそのリモートアシスタンスに関する情報を受信し、記憶し、決定し、かつ／または送信するように構成される任意のコンピューティング装置を表し得る。このように、サーバーコンピューティングシステム３０６は、リモートコンピューティングシステム３０２および／または車両２００によって行われるものとして本明細書で説明される任意の動作またはそのような動作の部分を行うように構成され得る。リモートアシスタンスに関連する無線通信のいくつかの実施形態では、サーバーコンピューティングシステム３０６を利用できるが、他の実施形態では利用できない。
【0079】
サーバーコンピューティングシステム３０６は、本明細書に説明されるさまざまな動作を行うように構成されるプロセッサー、並びにリモートコンピューティングシステム３０２および車両２００から情報を受信し、それらに情報を提供するための無線通信インターフェイスなどの、リモートコンピューティングシステム３０２および／または車両２００のサブシステムおよび構成要素と同様または同一の一つまたは複数のサブシステムおよび構成要素を含み得る。
【0080】
上記のさまざまなシステムは、さまざまな動作を行い得る。ここで、これらの動作および関連する特徴について説明する。
【0081】
上の考察に沿えば、コンピューティングシステム（例えば、リモートコンピューティングシステム３０２、サーバーコンピューティングシステム３０６、および車両２００にローカルなコンピューティングシステム）は、カメラを使用して自律または半自律車両の周囲環境の画像を捕捉するように動作し得る。一般に、少なくとも一つのコンピューティングシステムが画像を分析して、可能であれば自律または半自律車両を制御することができる。
【0082】
いくつかの実施形態では、自律または半自律動作を容易にするために、車両（例えば、車両２００）は、車両を取り囲む環境内の物体を表すデータ（本明細書では「環境データ」とも称される）をさまざまな方式で受信し得る。車両のセンサーシステムは、周囲環境の物体を表す環境データを提供し得る。例えば、車両は、カメラ、レーダー、ライダー、マイクロフォン、無線ユニット、および他のセンサーを含むさまざまなセンサーを有し得る。これらのセンサーの各々は、各それぞれのセンサーが受信する情報について、環境データを車両内のプロセッサーに通信し得る。
【0083】
一例では、カメラが、静止画像および／またはビデオを捕捉するように構成され得る。いくつかの実施形態では、車両は、異なる配向に位置付けられる二つ以上のカメラを有し得る。また、いくつかの実施形態では、カメラは、異なる方向で画像および／またはビデオを捕捉するために移動することが可能であり得る。カメラは、車両の処理システムによる後の処理のために、捕捉された画像およびビデオをメモリーに記憶するように構成され得る。捕捉された画像および／またはビデオは、環境データであり得る。さらに、カメラは、本明細書で説明されるような画像センサーを含み得る。
【0084】
別の実施例では、レーダーが、車両の近くのさまざまな物体によって反射される電磁信号を送信し、次いで物体から反射する電磁信号を捕捉するように構成され得る。捕捉された反射電磁信号は、レーダー（または処理システム）が電磁信号を反射した物体についてさまざまな決定を行うことを可能にし得る。例えば、さまざまな反射物体までの距離および位置が決定され得る。いくつかの実施形態では、車両は、異なる配向に二つ以上のレーダーを有し得る。レーダーは、車両の処理システムによる後の処理のために、捕捉された情報をメモリーに記憶するように構成され得る。レーダーによって捕捉された情報は、環境データであり得る。
【0085】
別の実施例では、ライダーが、車両近くの標的物体によって反射される電磁信号（例えば、気体もしくはダイオードレーザー、または他の可能な光源からのものなどの赤外光）を送信するように構成され得る。ライダーは、反射された電磁（例えば、赤外光）信号を取得することが可能であり得る。捕捉された反射電磁信号は、測距システム（または処理システム）がさまざまな物体までの距離を決定することを可能にし得る。ライダーはまた、標的物体の速度またはスピードを決定することができ、それを環境データとして記憶することができる。
【0086】
追加的に、一例では、マイクロフォンが、車両の周囲環境のオーディオを捕捉するように構成され得る。マイクロフォンで捕捉された音は、緊急車両のサイレンおよび他の車両の音を含み得る。例えば、マイクロフォンは、救急車、消防自動車、警察車両のサイレンの音を捕捉し得る。処理システムは、捕捉された音声信号が緊急車両を示すことを識別することが可能であり得る。別の実施例では、マイクロフォンは、オートバイからの排気など、別の車両の排気の音を捕捉し得る。処理システムは、捕捉された音声信号がオートバイを示すことを識別することが可能であり得る。マイクロフォンによって捕捉されたデータは、環境データの一部分を形成し得る。
【0087】
さらに別の実施例では、ラジオユニットが、Ｂｌｕｅｔｏｏｔｈ信号、８０２．１１信号、および／または他の無線技術信号の形態を採り得る電磁信号を送信するように構成され得る。第一の電磁放射信号は、無線ユニットに位置する一つまたは複数のアンテナを介して送信され得る。さらに、第一の電磁放射信号は、多くの異なる無線信号モードのうちの一つで送信され得る。しかしながら、いくつかの実施形態では、自律または半自律車両の近くに位置するデバイスからの応答を要求する信号モードで第一の電磁放射信号を送信することが望ましい。処理システムは、ラジオユニットに返信された応答に基づき近くのデバイスを検出し、この通信された情報を環境データの一部分として使用することが可能であり得る。
【0088】
いくつかの実施形態では、処理システムは、車両の周囲環境をさらに決定するために、さまざまなセンサーからの情報を組み合わせることが可能であり得る。例えば、処理システムは、レーダー情報および捕捉された画像の両方からのデータを組み合わせて、別の車両または歩行者が自律または半自律車両の前にいるかどうかを決定し得る。他の実施形態では、センサーデータの他の組み合わせが、処理システムによって使用されて、周囲環境についての決定を行い得る。
【0089】
自律モード（または半自律モード）で動作している間、車両はほとんどまたはまったく人間の入力なしでその動作を制御し得る。例えば、人間のオペレーターが住所を車両に入力した場合、車両は、人間からのさらなる入力なしに（例えば、人間がブレーキ／アクセルペダルを操縦したり触れたりする必要がなく）、指定された目的地まで運転することが可能であり得る。さらに、車両が自律的または半自律的に動作している間、センサーシステムは、環境データを受信し得る。車両の処理システムは、さまざまなセンサーから受信した環境データに基づき車両の制御を変更し得る。一部の実施例では、車両は、さまざまなセンサーからの環境データに応答して車両の速度を変更し得る。車両は、障害物を回避し、交通法に従うなどのために速度を変え得る。車両での処理システムが車両の近くの物体を識別すると、車両は速度を変更するか、または別の方法で動きを変えることが可能であり得る。
【0090】
車両が物体を検出したが物体の検出に十分自信がない場合、車両は、人間のオペレーター（もしくはより強力なコンピューター）に、（ｉ）物体が実際に周囲環境内に存在するかどうかを確認する（例えば、実際に一時停止標識があるか、もしくは実際に一時停止標識がないか）、（ｉｉ）車両の物体の識別が正しいかどうかを確認する、（ｉｉｉ）識別が正しくなかった場合、識別を訂正する、および／または（ｉｖ）自律または半自律車両に対して補足的な命令を提供する（もしくは現在の命令を修正する）などの、一つまたは複数のリモートアシスタンスタスクを行うよう要求することができる。リモートアシスタンスタスクにはまた、人間のオペレーターが車両の動作を制御するための命令を提供する（例えば、人間のオペレーターが、物体は一時停止標識であると決定した場合、一時停止標識で停止するよう車両に命令する）ことが含まれるが、いくつかのシナリオでは、物体の識別に関連する人間のオペレーターのフィードバックに基づき、車両自体が自身の動作を制御し得る。
【0091】
これを容易にするために、車両は、周囲環境の物体を表す環境データを分析して、閾値未満の検出信頼度を有する少なくとも一つの物体を決定し得る。車両のプロセッサーは、さまざまなセンサーからの環境データに基づき周囲環境のさまざまな物体を検出するように構成され得る。例えば、一実施形態では、プロセッサーは、車両が認識するのに重要であり得る物体を検出するように構成され得る。このような物体には、歩行者、自転車に乗る人、街路標識、他の車両、他の車両のインジケーター信号、および捕捉された環境データで検出された他のさまざまな物体が含まれ得る。
【0092】
検出信頼度は、決定された物体が周囲環境内で正しく識別される、または周囲環境内に存在している可能性を示し得る。例えば、プロセッサーは、受信した環境データにおける画像データ内の物体の物体検出を行い、少なくとも一つの物体が、閾値を超える検出信頼度を有すると識別することができないことに基づき、その物体が閾値を下回る検出信頼度を有すると決定し得る。物体の物体検出または物体認識の結果が決定的でない場合、検出信頼度が低いか、または設定閾値を下回っている場合がある。
【0093】
車両は、環境データのソースに応じて、さまざまな方法で周囲環境の物体を検出し得る。いくつかの実施形態では、環境データは、カメラから来る、画像またはビデオデータであり得る。他の実施形態では、環境データはライダーから来る場合がある。車両は、捕捉された画像またはビデオデータを分析して、画像またはビデオデータ内の物体を識別し得る。方法および装置は、周囲環境の物体があるかについて、画像および／またはビデオデータを監視するように構成され得る。他の実施形態では、環境データは、レーダー、オーディオ、または他のデータであり得る。車両は、レーダー、オーディオ、または他のデータに基づき周囲環境の物体を識別するように構成され得る。
【0094】
いくつかの実施形態では、物体を検出するために車両が使用する技術は、既知のデータのセットに基づき得る。例えば、環境物体に関連するデータは、車両に位置するメモリーに記憶され得る。車両は、受信したデータを保存されたデータと比較して、物体を決定し得る。他の実施形態では、車両は、データの文脈に基づき物体を決定するように構成され得る。例えば、工事に関連する街路標識は、一般にオレンジ色を有し得る。従って、車両は、道路脇近くに位置するオレンジ色の物体を、工事関連の街路標識として検出するように構成され得る。追加的に、車両の処理システムは、捕捉されたデータ内の物体を検出すると、それはまた各物体の信頼度を計算することができる。
【0095】
さらに、車両はまた、信頼度閾値を有し得る。信頼度閾値は、検出される物体のタイプに応じて異なり得る。例えば、別の車両のブレーキライトなど、車両からの迅速な応答アクションを要求し得る物体については、信頼度閾値が低くなり得る。しかしながら、他の実施形態では、検出された全ての物体について、信頼度閾値が同じであり得る。検出された物体に関連付けられる信頼度が信頼度閾値より高い場合、車両は、物体が正しく認識されたと想定し、その想定に基づき車両の制御を応答的に調整し得る。
【0096】
検出された物体と関連付けられる信頼度が信頼度閾値より低い場合、車両が講じるアクションは変わり得る。いくつかの実施形態では、車両は、低い信頼レベルにもかかわらず、検出された物体が存在するかのように反応し得る。他の実施形態では、車両は、検出された物体が存在しないかのように反応し得る。
【0097】
車両は、周囲環境の物体を検出すると、特定の検出された物体と関連付けられる信頼度も計算することができる。信頼度は、実施形態に応じてさまざまな方法で計算され得る。一例では、周囲環境の物体を検出すると、車両は、環境データを既知の物体に関連する所定のデータと比較し得る。環境データと所定のデータとの一致が近いほど、信頼度はより高くなる。他の実施形態では、車両は、環境データの数学的分析を使用して、物体と関連付けられる信頼度を決定し得る。
【0098】
物体が閾値を下回る検出信頼度を有するとの決定に応答して、車両は、リモートコンピューティングシステムに、物体の識別とともにリモートアシスタンスの要求を送信し得る。上で考察されるように、リモートコンピューティングシステムは、さまざまな形態を採り得る。例えば、リモートコンピューティングシステムは、車両とは別個の車両内のコンピューティング装置であるが、それによって人間のオペレーターが車両の乗客または運転手と相互作用することができる、リモート支援情報を表示するためのタッチスクリーンインターフェイスなどであり得る。追加的または代替的に、別の実施例として、リモートコンピューティングシステムは、車両の近くではない場所に位置するリモートコンピューター端末または他のデバイスであり得る。
【0099】
リモートアシスタンスの要求は、画像データ、オーディオデータなどの、物体を含む環境データを含み得る。車両は、ネットワーク（例えば、ネットワーク３０４）上で、いくつかの実施形態では、サーバー（例えば、サーバーコンピューティングシステム３０６）を介してリモートコンピューティングシステムに環境データを送信し得る。リモートコンピューティングシステムの人間のオペレーターは、次に、要求に応答するための基礎として環境データを使用し得る。
【0100】
いくつかの実施形態では、物体が信頼度閾値を下回る信頼度を有するとして検出された場合、物体には予備識別が与えられ得、車両は、予備識別に応答して車両の動作を調整するように構成され得る。そのような動作の調整は、他の可能な調整の中でも特に、車両を停止する、車両を人間制御モードに切り替える、車両の速度（例えば、スピードおよび／または方向）を変更するという形態を採り得る。
【0101】
他の実施形態では、車両が閾値を満たす、または超える信頼度を有する物体を検出した場合でも、車両は検出された物体に従って動作し得る（例えば、物体が一時停止標識として高い信頼度で識別された場合に停止する）が、車両が検出された物体に従って動作するのと同時に（または後で）リモートアシスタンスを要求するように構成され得る。
【0102】
図４を参照すると、自動露出レイテンシを低減するように動作可能なシステム４００の特定の例示的な例が示されている。システム４００は、プロセッサー４０２、メモリー４０４、および画像センサー４０６を含む。一つの実装によれば、プロセッサー４０２、メモリー４０４、および画像センサー４０６は、プロセッサー４０２が画像センサー４０６に対して「オンチップ」処理機能を提供するように、回路に統合され得る、または単一のチップに統合され得る。プロセッサー４０２は、メモリー４０４に結合されて、プロセッサー４０２とメモリー４０４との間のデータおよびコマンドの交換を可能にすることができ、メモリー４０４は、画像センサー４０６に結合されて、メモリー４０４と画像センサー４０６との間のデータの交換を可能にすることができ、画像センサー４０６は、プロセッサー４０２に結合されて、画像センサー４０６とプロセッサー４０２との間のデータおよびコマンドの交換を可能にし得る。
【0103】
一つの実装によれば、システム４００は、一つまたは複数のセンサーシステムに統合され得る。非限定的な例として、システム４００は、車両２００のセンサーシステム２０２、２０４、２０６、２０８、２１０、２１２、２１４、２１８のうちの一つまたは複数に統合され得る。別の非限定的な例として、システム４００は、車両１００のセンサーシステム１０４に統合され得る。特定の実装では、システム４００は、カメラ１３０に統合され得る。上記の実施形態は、限定することを意図するものではなく、システム４００は、他のセンサーシステムおよびカメラに統合され得ることが理解されるべきである。
【0104】
プロセッサー４０２は、露光動作ユニット４１０、前露光動作ユニット４１２、フレーム分析ユニット４１４、および露光パラメーター決定ユニット４１６を含む。一つの実装によれば、ユニット４１０、４１２、４１４、４１６のうちの一つまたは複数が、一つまたは複数のＡＳＩＣまたは一つまたは複数のＦＰＧＡなどの専用ハードウェアを使用して実装され得る。一つの実装によれば、ユニット４１０、４１２、４１４、４１６のうちの一つまたは複数が、プロセッサー４０２によって実行される、メモリー４０４に記憶された命令４９０を使用して実装され得る。例えば、プロセッサー４０２は、メモリー４０４（例えば、非一時的なコンピューター可読媒体）に記憶された命令４９０を実行して、本明細書に記載される動作を実施することができる。
【0105】
一部の実装では、ユニット４１０、４１２、４１４、４１６のうちの一つまたは複数と関連付けられる動作または機能は、単一のユニットに統合され得ることに留意されたい。非限定的な例として、露光動作ユニット４１０および前露光動作ユニット４１２の機能は、単一のユニットに統合され得る。また、一部の実装では、ユニット４１０、４１２、４１４、４１６のうちの一つまたは複数は、プロセッサー４０２に存在しない場合があることに留意されたい。非限定的な例として、図５に関して記載される実装などの一部の実装では、前露光フレームが生成されない場合、前露光動作ユニット４１２は、プロセッサー４０２に存在しない場合がある。
【0106】
露光動作ユニット４１０は、画像センサー４０６が異なるフレーム４５０を捕捉することを可能にするフレーム露光動作を開始するように構成され得る。一つの実装によれば、露光動作ユニット４１０は、トリガー信号４１５を画像センサー４０６に送信して、画像センサー４０６がフレーム４５０を捕捉するのを可能にすることができる。例えば、フレーム４５０Ａを捕捉するためのフレーム期間中、露光動作ユニット４１０は、トリガー信号４１５を画像センサー４０６に送信して、画像センサー４０６がフレーム４５０Ａを捕捉するのを可能にすることができる。同様に、他のフレーム４５０Ｂ、４５０Ｃを捕捉するためのフレーム期間中、露光動作ユニット４１０は、トリガー信号４１５を画像センサー４０６に送信して、画像センサー４０６がフレーム４５０Ｂ、４５０Ｃをそれぞれ捕捉するのを可能にすることができる。一部の実装では、トリガー信号４１５は、システム４００の外部にあるホストから生成され、画像センサー４０６に送信され得る。
【0107】
フレーム分析ユニット４１４は、画像センサー４０６によって捕捉されたフレーム４５０のフレーム特性４６０（例えば、画像特性）を決定するように構成され得る。例えば、フレーム分析ユニット４１４は、画像センサー４０６がフレーム４５０Ａを捕捉するのに応答して、フレーム４５０Ａのフレーム特性４６０Ａを決定することができ、フレーム分析ユニット４１４は、画像センサー４０６がフレーム４５０Ｂを捕捉するのに応答して、フレーム４５０Ｂのフレーム特性４６０Ｂを決定することができ、フレーム分析ユニット４１４は、画像センサー４０６がフレーム４５０Ｃを捕捉するのに応答して、フレーム４５０Ｃのフレーム特性４６０Ｃを決定することができる。一つの実装によれば、フレーム特性４６０は、フレーム４５０と関連付けられる照明特性を示し得る。しかしながら、他の実装では、フレーム特性４６０は、ノイズレベル、コントラストなどの他の特性を示し得る。
【0108】
一部の実装では、前露光動作ユニット４１２は、画像センサー４０６が前露光フレーム４５２を捕捉することを可能にするフレーム露光動作を開始するように構成され得る。例えば、前露光動作ユニット４１２は、画像センサー４０６が前露光動作を実施して、前露光フレーム４５２を捕捉することを可能にするトリガー信号４１３を生成および送信することができる。前露光フレーム４５２は、フレーム期間の開始時に捕捉され、分析されて、フレーム期間の後半に捕捉されるフレーム（例えば、「フル」フレーム）に対する一つまたは複数の露光パラメーター４３０、４３４を決定することができる、「部分」フレームである。前露光フレーム４５２は、画像センサー４０６上の画像ピクセルのサブセットをサンプリングすることに応答して生成され得る。一実装によれば、画像ピクセルのサブセットは、画像センサー４０６上の特定の関心領域と関連付けられる。非限定的な例として、画像センサー４０６上の特定の関心領域は、画像センサー４０６上の中央セクションに近接する長方形領域に対応し得る。別の非限定的な例として、画像センサー４０６上の特定の関心領域は、一つまたは複数の行（例えば、ピクセル行）、一つまたは複数の列（例えば、ピクセル列）、または両方に対応し得る。別の実装によれば、画像ピクセルのサブセットは、画像センサー４０６にわたって分布される。
【0109】
フレーム分析ユニット４１４がフレーム４５０のフレーム特性４６０を決定するのと類似の様式で、フレーム分析ユニット４１４は、画像センサー４０６によって捕捉された前露光フレーム４５２の前露光フレーム特性４６２（例えば、画像特性）を決定するように構成され得る。一つの実装によれば、前露光フレーム特性４６２は、前露光フレーム４５２と関連付けられる照明特性を示し得る。しかしながら、他の実装では、前露光フレーム特性４６２は、ノイズレベル、コントラストなどの他の特性を示し得る。
【0110】
露光パラメーター決定ユニット４１６は、異なる露光パラメーター４３０、４３４のそれぞれに対して、目標設定４３２、４３６を決定するように構成され得る。露光パラメーター４３０、４３４は、画像センサー４０６の露光時間（例えば、シャッター速度）、画像センサー４０６の開口サイズ、アナログゲイン、デジタルゲインなどに対応し得る。説明を容易にするために、別段の記載がない限り、露光パラメーター４３０は、露光時間に対応する。しかしながら、他の実装では、露光パラメーター４３０、４３４のうちの一つまたは複数は、異なるパラメーター（例えば、開口サイズ、アナログゲイン、および／またはデジタルゲイン）に対応し得ることが理解されるべきである。また、他の実装では、露光パラメーター決定ユニット４１６は、三つ以上の露光パラメーターの目標設定を決定するように構成され得るか、または単一露光パラメーターの目標設定を決定するように構成され得ることに留意されたい。
【0111】
露光パラメーター決定ユニット４１６は、フレーム特性４６０、４６２に少なくとも部分的に基づいて、画像センサー４０６によって捕捉されるフレームに対する露光パラメーター４３０、４３４それぞれの設定４３２、４３６を決定することができる。例えば、一つの実装によれば、図５に関してより詳細に記載するように、露光パラメーター決定ユニット４１６は、以前のフレーム（例えば、フレーム４５０Ａ）のフレーム特性４６０Ａを分析し、分析に基づいて、画像センサー４０６によって捕捉される後続のフレーム４５０Ｂ、４５０Ｃの露光パラメーター４３０、４３４それぞれの設定４３２、４３６を、どのように調整するかを決定することができる。別の実装によれば、図６に関してより詳細に記載するように、露光パラメーター決定ユニット４１６は、前露光フレーム４５２の前露光フレーム特性４６２を分析し、分析に基づいて、捕捉されるフレーム４５０Ｂの露光パラメーター４３０、４３４それぞれの設定４３２、４３６をどのように調整するかを決定することができる。さらに別の実装によれば、図７に関してより詳細に記載するように、露光パラメーター決定ユニット４１６は、外部ソースからのデータ（例えば、他のセンサーから収集されたデータ）を分析し、分析に基づいて、捕捉されるフレーム４５０の露光パラメーター４３０、４３４それぞれの設定４３２、４３６をどのように調整するかを決定することができる。
【0112】
上述のように、画像センサー４０６は、周囲環境の画像を捕捉するように構成され得る。非限定的な例として、画像センサー４０６は、車両１００の周囲環境、車両２００、または両方の画像（例えば、フレーム）を捕捉するように構成され得る。アクティブピクセルセンサー（例えば、相補型金属酸化膜半導体（ＣＭＯＳ）センサー）として本明細書で一般的に記載されているが、一部の実装では、画像センサー４０６は、電荷結合素子（ＣＣＤ）であり得る。
【0113】
一部のシナリオでは、周囲環境の特性が変化すると（例えば、車両１００が暗いトンネルに入るか、または出るとき）、画像センサー４０６と関連付けられる露光パラメーター４３０、４３４は、高品質の画像を捕捉するように調整される必要がある。例えば、車両１００がトンネル内に入り、周囲環境が比較的暗くなる場合、画像センサー４０６で画像を捕捉するために使用される露光時間を長くして、画像の照明特性を増加させる（例えば、画像を明るくする）ことができる。しかしながら、車両１００がトンネルを出て、周囲環境が比較的明るくなる場合、画像センサー４０６で画像を捕捉するために使用される露光時間を短くして、画像の照明特性を減少させる（例えば、画像を暗くする）ことができる。図５～７に関して以下に記載するように、単一フレーム期間内に、露光パラメーター４３０、４３４を調整することができ、調整された露光パラメーターを有する対応するフレームを生成することができるように、オンチッププロセッサー４０２は、画像センサー４０６の露光パラメーター４３０、４３４の調整と関連付けられるレイテンシを低減するように構成され得る。
【0114】
図５を参照すると、自動露出レイテンシを低減するためのプロセス５００の特定の例示的な例が示されている。プロセス５００は、図４のシステム４００の様々な構成要素によって実施され得る。特に、プロセス５００の一つまたは複数の動作は、システム４００のプロセッサー４０２によって実施され得る。
【0115】
プロセス５００は、異なるフレーム４５０の捕捉と関連付けられる三つのフレーム期間５５０を表す。例えば、プロセス５００は、フレーム４５０Ａの捕捉と関連付けられるフレーム期間５５０Ａ、フレーム４５０Ｂの捕捉に関連するフレーム期間５５０Ｂ、およびフレーム４５０Ｃの捕捉と関連するフレーム期間５５０Ｃを表す。各フレーム期間５５０中に、トリガー信号４１５が放たれて、対応するフレーム４５０の捕捉を開始する。例えば、トリガー信号４１５がフレーム期間５５０Ａ中に放たれると、フレーム４５０Ａを捕捉するためのフレーム露光動作が開始される。フレーム４５０Ａを捕捉するためのフレーム露光動作中、シャッターリリース５８０Ａが発生してフレーム４５０Ａを捕捉し、露光時間５８４Ａが経過した後、フレーム４５０Ａが読み取られる５８２Ａ。同様に、トリガー信号４１５がフレーム期間５５０Ｂ中に放たれると、フレーム４５０Ｂを捕捉するためのフレーム露光動作が開始される。フレーム４５０Ｂを捕捉するためのフレーム露光動作中、シャッターリリース５８０Ｂが発生してフレーム４５０Ｂを捕捉し、露光時間５８４Ｂが経過した後、フレーム４５０Ｂが読み取られる５８２Ｂ。
【0116】
プロセス５００によれば、プロセッサー４０２は、画像センサー４０６によって捕捉されるフレーム４５０Ｂに対する露光パラメーター４３０（例えば、露光時間５８４Ｂ）の設定４３２を決定するように構成され得る。例えば、露光パラメーター決定期間５７０中に、プロセッサー４０２は、捕捉されるフレーム４５０Ｂに対する露光時間５８４Ｂを決定することができる。露光パラメーター決定期間５７０は、フレーム４５０Ｂを捕捉するためのフレーム期間５５０Ｂのサブセットである。よって、プロセッサー４０２は、フレーム４５０Ｂが生成されるのと同じフレーム期間５５０Ｂ中に、フレーム４５０Ｂに対する露光パラメーター４３０の設定４３２を決定することができる（例えば、露光時間５８４Ｂを設定することができる）。
【0117】
プロセッサー４０２は、フレーム４５０Ａ（例えば、以前のフレーム）のフレーム特性４６０Ａに少なくとも部分的に基づいて、フレーム４５０Ｂに対する露光パラメーター４３０の設定４３２を決定することができる。非限定的な例として、以前のフレーム４５０Ａの照明メトリックが下側照明閾値を満たさなかった（例えば、超えなかった）（例えば、以前のフレーム４５０Ａが暗すぎた）ことを、以前のフレーム４５０Ａのフレーム特性４６０が示す場合、現在のフレーム４５０Ｂのフレーム期間５５０Ｂ中（例えば、露光パラメーター決定期間５７０中）に、プロセッサー４０２は、（以前のフレーム４５０Ａの露光時間５８４Ａと比較して）現在のフレーム４５０Ｂの露光時間５８４Ｂを延長すべきであると決定し、延長された露光時間５８４Ｂを画像センサー４０６で実行することができる。逆に、以前のフレーム４５０Ａの照明メトリックが上側照明閾値を満たさなかった（例えば、下回らなかった）（例えば、以前のフレーム４５０Ａが明るすぎた）ことを、以前のフレーム４５０Ａのフレーム特性４６０が示す場合、現在のフレーム４５０Ｂのフレーム期間５５０Ｂ中（例えば、露光パラメーター決定期間５７０中）に、プロセッサー４０２は、（以前のフレーム４５０Ａの露光時間５８４Ａと比較して）現在のフレーム４５０Ｂの露光時間５８４Ｂを短縮すべきであると決定し、短縮された露光時間５８４Ｂを画像センサー４０６で実行することができる。
【0118】
上記の例は、フレーム４５０Ａ（以前のフレーム）のフレーム特性４６０Ａに基づいて、露光時間５８４Ａを調整することを記載するが、プロセッサー４０２は、露光パラメーター決定期間５７０中に他の露光パラメーターの設定を調整し、調整された設定をフレーム４５０Ｂに適用することができることが理解されるべきである。非限定的な例として、フレーム４５０Ａのフレーム特性４６０Ａに基づいて、プロセッサー４０２は、アナログゲイン設定、デジタルゲイン設定などを調整することができる。加えて、図７に関してより詳細に記載するように、露光パラメーターは、外部入力（例えば、他のセンサーからのデータ）に基づいてさらに調整され得る。
【0119】
よって、図４および図５に関連して記載した技術は、プロセッサー４０２が、露光時間５８４Ｂの調整と関連付けられるレイテンシを低減することを可能にする。例えば、目標露光時間５８４Ｂ（または他の目標露光パラメーター）が決定されるときと、目標露光時間５８４Ｂを有するフレーム４５０Ｂが画像センサー４０６から読み取られるときとの間に遅延（単一フレーム遅延または複数フレーム遅延）を有する代わりに、図４および図５に関して記載される技術は、目標露光時間５８４Ｂを有するフレーム４５０Ｂが、目標露光時間５８４Ｂが決定されるのと同じフレーム期間５５０Ｂ中に読み取られるように、遅延を低減（または排除）することができる。上述のようにレイテンシを低減することによって、図４および図５に記載される技術は、捕捉される露光過剰フレームの数を低減することができ、捕捉される露光不足フレームの数を低減することができる。
【0120】
図６を参照すると、自動露出レイテンシを低減するためのプロセス６００の特定の例示的な例が示されている。プロセス６００は、図４のシステム４００の様々な構成要素によって実施され得る。特に、プロセス６００の一つまたは複数の動作は、システム４００のプロセッサー４０２によって実施され得る。
【0121】
プロセス６００は、異なるフレーム４５０の捕捉と関連付けられる二つのフレーム期間６５０を表す。例えば、プロセス６００は、フレーム４５０Ａの捕捉と関連付けられるフレーム期間６５０Ａ、およびフレーム４５０Ｂの捕捉と関連付けられるフレーム期間６５０Ｂを表す。各フレーム期間６５０中に、トリガー信号４１５が放たれて、対応するフレーム４５０の捕捉を開始する。例えば、トリガー信号４１５がフレーム期間６５０Ａ中に放たれると、フレーム４５０Ａを捕捉するためのフレーム露光動作が開始される。フレーム４５０Ａを捕捉するためのフレーム露光動作中、シャッターリリース６８０Ａが発生してフレーム４５０Ａを捕捉し、露光時間６８４Ａが経過した後、フレーム４５０Ａが読み取り工程６８２Ａから読み取られる。同様に、トリガー信号４１５がフレーム期間６５０Ｂ中に放たれると、フレーム４５０Ｂを捕捉するためのフレーム露光動作が開始される。フレーム４５０Ｂを捕捉するためのフレーム露光動作中、シャッターリリース６８０Ｂが発生してフレーム４５０Ｂを捕捉し、露光時間６８４Ｂが経過した後、フレーム４５０Ｂが読み取られる６８２Ｂ。
【0122】
フレーム４５０Ｂを捕捉する前に、前露光フレーム４５２は、フレーム期間６５０Ｂ中に捕捉される。例えば、フレーム期間６５０Ｂの開始時に、トリガー信号４１３が放たれて、前露光フレーム４５２の捕捉を可能にする。前露光フレーム４５２は、画像センサー４０６上の画像ピクセルのサブセットをサンプリングすることに応答して生成され得る。画像ピクセルのサブセットは、特定の関心領域（例えば、画像センサーの中心セクションに近接する領域、特定の行、および／または特定の列）と関連付けられてもよく、または画像センサー４０６にわたって分布し得る。
【0123】
フレーム期間６５０Ｂの開始時に前露光フレーム４５２を捕捉することに応答して、フレーム期間６５０Ｂ内に収まる（例えば、そのサブセットである）露光パラメーター決定期間６７０中に、プロセッサー４０２は、捕捉されるフレーム４５０Ｂの露光時間６８４Ｂを決定することができる。よって、プロセッサー４０２は、フレーム４５０Ｂが生成されるのと同じフレーム期間６５０Ｂ中に、フレーム４５０Ｂに対する露光パラメーター４３０の設定４３２を決定することができる（例えば、露光時間６８４Ｂを設定することができる）。
【0124】
プロセス６００によれば、プロセッサー４０２は、前露光フレーム４５２の前露光フレーム特性４６２に少なくとも部分的に基づいて、捕捉されるフレーム４５０Ｂの露光時間６８４Ｂを決定するように構成され得る。非限定的な例として、前露光フレーム４５２の照明メトリックが下側照明閾値を満たさなかった（例えば、前露光フレーム４５２が暗すぎた）ことを、前露光フレーム４５２の前露光フレーム特性４６２が示す場合、露光パラメーター決定期間６７０中に、プロセッサー４０２は、現在のフレーム４５０Ｂの露光時間６８４Ｂを延長すべきであると決定し、延長された露光時間６８４Ｂを画像センサー４０６で実行することができる。逆に、前露光フレーム４５２の照明メトリックが上側照明閾値を満たさなかった（例えば、前露光フレーム４５２が明るすぎた）ことを、前露光フレーム４５２の前露光フレーム特性４６２が示す場合、露光パラメーター決定期間６７０中に、プロセッサー４０２は、現在のフレーム４５０Ｂの露光時間６８４Ｂを短縮すべきであると決定し、短縮された露光時間６８４Ｂを画像センサー４０６で実行することができる。
【0125】
上記の例は、前露光フレーム４５２の前露光フレーム特性４６２に基づいて、露光時間６８４Ａを調整することを記載するが、プロセッサー４０２は、露光パラメーター決定期間６７０中に他の露光パラメーターの設定を調整し、調整された設定をフレーム４５０Ｂに適用することができることが理解されるべきである。非限定的な例として、前露光フレーム４５２の前露光フレーム特性４６２に基づいて、プロセッサー４０２は、アナログゲイン設定、デジタルゲイン設定などを調整することができる。加えて、図７に関してより詳細に記載するように、露光パラメーターは、外部入力（例えば、他のセンサーからのデータ）に基づいてさらに調整され得る。
【0126】
よって、図４および図６に関連して記載した技術は、プロセッサー４０２が、露光時間６８４Ｂの調整と関連付けられるレイテンシを低減することを可能にする。例えば、目標露光時間６８４Ｂ（または他の目標露光パラメーター）が決定されるときと、目標露光時間６８４Ｂを有するフレーム４５０Ｂが画像センサー４０６から読み取られるときとの間に遅延（単一フレーム遅延または複数フレーム遅延）を有する代わりに、図４および図６に関して記載される技術は、目標露光時間６８４Ｂを有するフレーム４５０Ｂが、目標露光時間６８４Ｂが決定されるのと同じフレーム期間６５０Ｂ中に読み取られるように、遅延を低減（または排除）することができる。上述のレイテンシを低減することによって、図４および図６に記載される技術は、捕捉される露光過剰フレームの数を低減することができ、捕捉される露光不足フレームの数を低減することができる。
【0127】
図７を参照すると、自動露出レイテンシを低減するためのプロセス７００の特定の例示的な例が示されている。プロセス７００は、図４のシステム４００の様々な構成要素によって実施され得る。特に、プロセス７００の一つまたは複数の動作は、システム４００のプロセッサー４０２によって実施され得る。
【0128】
プロセス７００は、異なるフレーム４５０の捕捉と関連付けられる二つのフレーム期間７５０Ａおよび７５０Ｂを表す。例えば、プロセス７００は、フレーム４５０Ａの捕捉と関連付けられるフレーム期間７５０Ａ、およびフレーム４５０Ｂの捕捉と関連付けられるフレーム期間７５０Ｂを表す。各フレーム期間中に、トリガー信号４１５が放たれて、対応するフレーム４５０の捕捉を開始する。例えば、トリガー信号４１５がフレーム期間７５０Ａ中に放たれると、フレーム４５０Ａを捕捉するためのフレーム露光動作が開始される。フレーム４５０Ａを捕捉するためのフレーム露光動作中、シャッターリリース７８０Ａが発生してフレーム４５０Ａを捕捉し、露光時間７８４Ａが経過した後、フレーム４５０Ａが読み取り工程７８２Ａで読み取られる。同様に、トリガー信号４１５がフレーム期間７５０Ｂ中に放たれると、フレーム４５０Ｂを捕捉するためのフレーム露光動作が開始される。フレーム４５０Ｂを捕捉するためのフレーム露光動作中、シャッターリリース７８０Ｂが発生してフレーム４５０Ｂを捕捉し、露光時間７８４Ｂが経過した後、フレーム４５０Ｂが読み取り工程７８２Ｂで読み取られる。
【0129】
フレーム４５０Ｂを捕捉する前に、前露光フレーム４５２は、フレーム期間７５０Ｂ中に捕捉される。例えば、図６に関して記載したものと類似の様式で、フレーム期間７５０Ｂの開始時に、トリガー信号４１３が放たれて、前露光フレーム４５２の捕捉を可能にする。加えて、外部入力７９０はまた、フレーム期間７５０Ｂ中にプロセッサー４０２によって受信され得る。外部入力７９０は、一つまたは複数の他のセンサー（例えば、他のカメラ、一つまたは複数のライダー、一つまたは複数のレーダー、および／または一つまたは複数の加速度計）から捕捉されたデータを含み得る。非限定的な例として、外部入力７９０は、一つまたは複数の他のセンサーによって捕捉された画像フレームに基づいた、環境条件を示すデータを含み得る。一部の実装によれば、外部入力７９０の基礎である画像フレームは、フレーム期間７５０Ｂ中に捕捉される画像フレーム４５０Ｂの直前に捕捉され得る。
【0130】
フレーム期間７５０Ｂ内に収まる（例えば、そのサブセットである）露光パラメーター決定期間７７０中、プロセッサー４０２は、外部入力７９０、以前のフレーム４５０Ａのフレーム特性４６０Ａ、前露光フレーム４５２の前露光フレーム特性４６２、またはそれらの組み合わせに基づいて、捕捉されるフレーム４５０Ｂに対する露光パラメーター４３０、４３４の設定４３２、４３６を決定することができる。例えば、外部入力７９０、以前のフレーム４５０Ａのフレーム特性４６０Ａ、または前露光フレーム４５２の前露光フレーム特性４６２のうちの少なくとも一つに基づいて、プロセッサー４０２は、フレーム４５０Ｂの露光時間７８４Ｂ、フレーム４５０Ｂのアナログゲイン、フレーム４５０Ｂのデジタルゲインなどを決定し、フレーム４５０Ｂに対する露光パラメーター４３０、４３４を調整し得る。
【0131】
よって、図４および図７に関連して記載した技術は、プロセッサー４０２が、露光時間７８４Ｂの調整と関連付けられるレイテンシを低減することを可能にする。例えば、目標露光時間７８４Ｂが決定されるときと、目標露光時間６８４Ｂを有するフレーム４５０Ｂが画像センサー４０６から読み取られるときとの間に遅延（単一フレーム遅延または複数フレーム遅延）を有する代わりに、図４および図７に関して記載される技術は、目標露光時間７８４Ｂを有するフレーム４５０Ｂが、目標露光時間７８４Ｂが決定されるのと同じフレーム期間７５０Ｂ中に読み取られるように、遅延を低減（または排除）することができる。上述のレイテンシを低減することによって、図４および図７に記載される技術は、捕捉される露光過剰フレームの数を低減することができ、捕捉される露光不足フレームの数を低減することができる。
【0132】
図８を参照すると、自動露出レイテンシを低減するための方法８００の特定の例示的な例が示されている。方法８００は、図４のシステム４００の様々な構成要素によって実施され得る。特に、方法８００と関連付けられる一つまたは複数の動作は、システム４００のプロセッサー４０２によって実施され得る。
【0133】
方法８００は、ブロック８０２で、プロセッサーによって、画像センサーによって捕捉される第一のフレームに対する露光パラメーターの第一の設定を決定することを含む。露光パラメーターの第一の設定は、画像センサーによって捕捉された以前のフレームの特性に少なくとも部分的に基づいて決定され、露光パラメーターの第一の設定は、第一のフレームの捕捉と関連付けられる第一のフレーム期間中に決定される。例えば、図４および図５を参照すると、プロセッサー４０２は、画像センサー４０６によって捕捉されるフレーム４５０Ｂの露光パラメーター４３０の設定４３２を決定することができる。露光パラメーター４３０の設定４３２は、画像センサー４０６によって捕捉されたフレーム４５０Ａのフレーム特性４６０Ａに少なくとも部分的に基づいて決定することができ、設定４３２は、フレーム４５０Ｂの捕捉と関連付けられるフレーム期間５５０Ｂ中に決定することができる。方法８００の一つの実装によれば、先行するフレーム４５０Ａは、第一のフレーム期間５５０Ｂに先行し、かつ隣接するフレーム期間５５０Ａ中に捕捉される。
【0134】
方法８００はまた、ブロック８０４で、プロセッサーによって、第一のフレーム期間中に第一のフレーム露光動作を開始することを含む。第一のフレーム露光動作は、露光パラメーターの第一の設定に基づく。例えば、図４および図５を参照すると、プロセッサー４０２は、フレーム期間５５０Ｂ中にフレーム露光動作を開始することができる。フレーム露光動作は、露光パラメーター４３０の設定４３２に基づき得る。
【0135】
方法８００の一つの実装によれば、露光パラメーターは、露光時間５８４Ｂに対応する。方法８００の他の実装によれば、露光パラメーターは、アナログゲインまたはデジタルゲインに対応する。
【0136】
一つの実装によると、方法８００はまた、外部入力に基づいて、露光パラメーターの第一の設定を決定することを含む。例えば、図４および図７を参照すると、プロセッサー４０２は、フレーム４５０Ａのフレーム特性４６０Ａに加え、外部入力７９０に基づいて、フレーム４５０Ｂに対する露光パラメーター４３０の設定４３２を決定することができる。外部入力７９０は、一つまたは複数の他のセンサーからの外部センサーデータに基づき得る。例えば、一部の実装によると、外部センサーデータは、画像センサーデータまたは環境センサーデータに対応する。
【0137】
方法８００の一つの実装によれば、第一のフレーム露光動作は、トリガー信号４１５などのトリガー信号の受信に応答して開始される。方法８００はまた、第一のフレーム期間５５０Ｂの間のトリガー信号４１５の送信をスケジュールすることと、トリガー信号４１５のスケジュールされた送信に従って、第一のフレーム期間５５０Ｂ中にトリガー信号４１５を画像センサー４０６に送信することと、を含み得る。
【0138】
一つの実装によれば、方法８００はまた、画像センサーによって捕捉される第二のフレームに対する露光パラメーターの第二の設定を決定することを含む。例えば、図４および図５を参照すると、プロセッサー４０２は、画像センサー４０６によって捕捉されるフレーム４５０Ｃの露光パラメーター４３０の別の設定を決定することができる。露光パラメーター４３０の第二の設定は、第一のフレーム４５０Ｂの特性４６０Ｂに少なくとも部分的に基づいて決定され得る。第二の設定は、第二のフレーム４５０Ｃの捕捉と関連付けられる第二のフレーム期間５５０Ｃ中に決定することができ、第二のフレーム期間５５０Ｃは、第一のフレーム期間５５０Ｂに続いて起こりかつそれに隣接し得る。方法８００はまた、第二のフレーム期間５５０Ｃ中に第二のフレーム露光動作を実施することを含み得る。第二のフレーム露光動作は、露光パラメーター４３０の第二の設定に基づく。方法８００の一つの実装によれば、露光パラメーター４３０の第二の設定は、以前のフレーム４５０Ａの特性４６０Ａに基づいてさらに決定される。
【0139】
図８の方法８００は、プロセッサー４０２が、露光時間５８４Ｂの調整と関連付けられるレイテンシを低減することを可能にする。例えば、目標露光時間５８４Ｂ（または他の目標露光パラメーター）が決定されるときと、目標露光時間５８４Ｂを有するフレーム４５０Ｂが画像センサー４０６から読み取られるときとの間に遅延を有する代わりに、方法８００は、目標露光時間５８４Ｂを有するフレーム４５０Ｂが、目標露光時間５８４Ｂが決定されるのと同じフレーム期間５５０Ｂ中に読み取られるように、遅延を低減（または排除）することができる。上述のようにレイテンシを低減することによって、方法８００は、捕捉される露光過剰フレームの数を低減することができ、捕捉される露光不足フレームの数を低減することができ、これは次に、記憶容量を改善することができる。
【0140】
図９を参照すると、自動露出レイテンシを低減するための方法９００の特定の例示的な例が示されている。方法９００は、図４のシステム４００の様々な構成要素によって実施され得る。特に、方法９００と関連付けられる一つまたは複数の動作は、システム４００のプロセッサー４０２によって実施され得る。
【0141】
方法９００は、ブロック９０２で、プロセッサーによって、第一のフレームの捕捉と関連付けられる第一のフレーム期間中に、画像センサーから第一の前露光フレームを受信することを含む。例えば、図４および図６を参照すると、プロセッサー４０２は、フレーム４５０Ｂの捕捉と関連付けられるフレーム期間６５０Ｂ中、画像センサー４０６から前露光フレーム４５２を受信することができる。
【0142】
方法９００はまた、ブロック９０４で、プロセッサーによって、画像センサーによって捕捉される第一のフレームに対する露光パラメーターの第一の設定を決定することを含む。露光パラメーターの第一の設定は、第一の前露光フレームの特性に少なくとも部分的に基づいて決定され、露光パラメーターの第一の設定は、第一のフレーム期間中に決定される。例えば、図４および図６を参照すると、プロセッサーは、画像センサー４０６によって捕捉されるフレーム４５０Ｂの露光パラメーター４３０の設定４３２を決定することができる。露光パラメーター４３０の設定４３２は、前露光フレーム４５２の前露光フレーム特性４６２に少なくとも部分的に基づいて決定され、露光パラメーター４３０の設定４３２は、フレーム期間６５０Ｂ中に決定される。
【0143】
方法９００はまた、ブロック９０６で、プロセッサーによって、露光パラメーターの第一の設定に基づいて、第一のフレーム露光動作を開始することを含む。第一のフレーム露光動作中、画像センサーは、第一のフレーム期間中に第一のフレームを捕捉する。例えば、プロセッサー４０２は、露光パラメーター４３０の設定４３２に基づいて、フレーム露光動作を開始することができる。フレーム露光動作中、画像センサー４０６は、フレーム期間６５０Ｂ中にフレーム４５０Ｂを捕捉する。
【0144】
方法９００の一つの実装によれば、第一の前露光フレーム４５２は、第一のフレーム期間６５０Ｂ中に画像センサー４０６によって捕捉される。第一の前露光フレーム４５２は、画像センサー４０６上の画像ピクセルのサブセットをサンプリングすることに応答して生成され得る。画像ピクセルのサブセットは、画像センサー４０６上の特定の関心領域と関連付けられてもよく、または画像センサー４０６にわたって分布され得る。特定の関心領域は、画像センサー４０６の中心セクションに近接する長方形領域、ピクセルの一つまたは複数の行、ピクセルの一つまたは複数の列などに対応し得る。
【0145】
一つの実装によると、方法９００はまた、外部入力に基づいて、露光パラメーターの第一の設定を決定することを含む。例えば、図４および図７を参照すると、プロセッサー４０２は、前露光フレーム４５２の前露光フレーム特性４６２に加え、外部入力７９０に基づいて、フレーム４５０Ｂに対する露光パラメーター４３０の設定４３２を決定することができる。外部入力７９０は、一つまたは複数の他のセンサーからの外部センサーデータに基づき得る。例えば、一部の実装によると、外部センサーデータは、画像センサーデータまたは環境センサーデータに対応する。
【0146】
図９の方法９００は、プロセッサー４０２が、露光時間６８４Ｂの調整と関連付けられるレイテンシを低減することを可能にする。例えば、目標露光時間６８４Ｂ（または他の目標露光パラメーター）が決定されるときと、目標露光時間６８４Ｂを有するフレーム４５０Ｂが画像センサー４０６から読み取られるときとの間に遅延を有する代わりに、方法９００は、目標露光時間６８４Ｂを有するフレーム４５０Ｂが、目標露光時間６８４Ｂが決定されるのと同じフレーム期間６５０Ｂ中に読み取られるように、遅延を低減（または排除）することができる。上述のレイテンシを低減することによって、方法９００は、捕捉される露光過剰フレームの数を低減することができ、捕捉される露光不足フレームの数を低減することができ、これは次に、記憶容量を改善することができる。
【0147】
本開示は、本出願に説明される特定の実施形態に関して限定されるものではなく、特定の実施形態は、さまざまな態様の例解として意図されるものである。当業者には明らかなことであるが、多くの修正および変形を本開示の趣旨および範囲から逸脱することなく行うことができる。本明細書において列挙される方法および装置に加えて、本開示の範囲内の機能的に同等の方法および装置は当業者には、これまでの説明から明らかであろう。このような修正および変形は、添付の特許請求の範囲内にあることが意図される。
【0148】
上記の詳細な説明は、添付の図面を参照して、開示されたシステム、デバイス、および方法のさまざまな特徴および機能を説明している。図では、文脈が別の方法で指示しない限り、同様の記号は、典型的には、同様の構成部品を同一に扱っている。本明細書および図に説明される例示的な実施形態は、限定することを意図しているものではない。本明細書において提示される主題の範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を行うことができる。本明細書で一般に説明され、かつ図に例解される、本開示の態様は、多種多様な異なる構成で配置、置換、結合、分離、および設計することができ、その全てが明示的に企図されることは容易に理解されよう。
【0149】
図における、また本明細書において考察されるメッセージフロー図、シナリオ、およびフローチャートのいずれかまたは全てに関して、各ステップ、ブロック、動作、および／または通信は、例示的な実施形態に従った情報の処理および／または情報の送信を表し得る。代替の実施形態は、これらの例示的な実施形態の範囲内に含まれる。これらの代替の実施形態では、例えば、ステップ、ブロック、送信、通信、要求、応答、および／またはメッセージとして記載される動作は、関連する機能に応じて、実質的に同時にまたは逆の順序でなど、示されたものまたは論じられたものとは異なる順序で実行することができる。さらに、それより多いかまたは少ないブロックおよび／または動作を、本明細書で考察されるメッセージフロー図、シナリオ、およびフローチャートのいずれかで使用することができ、これらのメッセージフロー図、シナリオ、およびフローチャートは、部分的にまたは全体として互いに組み合わせることができる。
【0150】
情報の処理に相当するステップ、ブロック、または動作は、本明細書に説明される方法または技法の特定の論理機能を果たすように構成され得る回路網に対応し得る。代替的にまたは追加的に、情報の処理に相当するステップまたはブロックは、モジュール、セグメント、またはプログラムコード（関連データを含む）の一部分に対応し得る。プログラムコードには、特定の論理演算または動作を方法または技法において実施するためのプロセッサーにより実行可能な一つまたは複数の命令を含めることができる。プログラムコードおよび／または関連データは、ＲＡＭ、ディスクドライブ、ソリッドステートドライブ、または別の記憶媒体を含む記憶装置など、いずれのタイプのコンピューター可読媒体にも記憶され得る。
【0151】
さらに、一つまたは複数の情報送信に相当するステップ、ブロック、または動作は、同じ物理デバイスにおけるソフトウェアモジュールおよび／またはハードウェアモジュール間の情報送信に対応し得る。しかしながら、他の情報送信は、さまざまな物理デバイスにおけるソフトウェアモジュールおよび／またはハードウェアモジュール間の情報送信であり得る。
【0152】
図に示される特定の配置は、限定としてみなされるべきではない。他の実施形態は、所与の図に示されるそれぞれの要素をより多く、またはより少なく含むことができることが理解されるべきである。さらに、例解された要素のうちのいくつかは、組み合わされ得るか、または省略され得る。さらに、例示的な実施形態は、図に例解されていない要素を含み得る。
【0153】
さまざまな態様および実施形態が本明細書に開示されるが、他の態様および実施形態が、当業者には明らかであろう。本明細書に開示されるさまざまな態様および実施形態は、例解を目的とするものであり、限定することを意図するものではなく、真の範囲は、以下の特許請求の範囲によって示される。
【図1】
【図2A】
【図2B】
【図2C】
【図2D】
【図2E】
【図2F】
【図2G】
【図2H】
【図2I】
【図2J】
【図2K】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【外国語明細書】