(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-28
(45)【発行日】2022-10-06
(54)【発明の名称】太陽認識車両ルーティングのための方法およびシステム
(51)【国際特許分類】
G01C 21/34 20060101AFI20220929BHJP
G08G 1/0969 20060101ALI20220929BHJP
G08G 1/09 20060101ALI20220929BHJP
【FI】
G01C21/34
G08G1/0969
G08G1/09 D
(21)【出願番号】P 2020530985
(86)(22)【出願日】2018-12-04
(86)【国際出願番号】 US2018063877
(87)【国際公開番号】W WO2019118234
(87)【国際公開日】2019-06-20
【審査請求日】2020-07-15
(32)【優先日】2017-12-14
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】317015065
【氏名又は名称】ウェイモ エルエルシー
(74)【代理人】
【識別番号】100079108
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100126480
【氏名又は名称】佐藤 睦
(72)【発明者】
【氏名】ディットマー,ジェレミー
(72)【発明者】
【氏名】ウェンデル,アンドリアス
【審査官】吉村 俊厚
(56)【参考文献】
【文献】特開2017-207340(JP,A)
【文献】特開平08-159800(JP,A)
【文献】特開2007-139477(JP,A)
【文献】特開2011-158281(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01C 21/34
G08G 1/0969
G08G 1/09
(57)【特許請求の範囲】
【請求項1】
車両を、前記車両に結合された画像捕捉デバイスによって生成される画像データに少なくとも基づいて操作するように構成されたコンピューティングシステムによって、地理的領域に対する太陽の予想位置を判定することと、
前記地理的領域に対する前記太陽の前記予想位置に少なくとも基づいて、前記コンピューティングシステムによって、前記地理的領域内の1つ以上の場所を通る前記車両の移動により、前記太陽が前記画像捕捉デバイスの視点からの前記画像捕捉デバイスの視野内の物体に近接する結果になると予想されるという判定を行うことと、
前記判定を行うことに応答して、前記地理的領域での前記車両のためのルートを、前記1つ以上の場所を通る前記車両の移動を回避する前記ルートに少なくとも基づいて生成することと、
前記生成されたルートに従って移動するように前記車両を操作することと、を含む、方法。
【請求項2】
前記コンピューティングシステムによって、1つ以上の時刻に、前記地理的領域に対する前記太陽の1つ以上の予想位置に関するエフェメリスデータを受信することをさらに含み、
前記地理的領域に対する前記太陽の前記予想位置を判定することが、前記受信されたエフェメリスデータに基づく、請求項1に記載の方法。
【請求項3】
前記判定を行うことが、特定の時刻に特定の場所を通る前記車両の移動により、前記太陽が前記画像捕捉デバイスの前記視点からの前記画像捕捉デバイスの前記視野内の前記物体に近接する結果になると予想されるという判定を行うことを含み、
前記1つ以上の場所を通る前記車両の移動を回避することが、前記特定の時刻に前記特定の場所を通る前記車両の移動を回避することを含む、請求項1に記載の方法。
【請求項4】
前記判定を行うことが、前記1つ以上の場所を通る前記車両の移動が前記画像捕捉デバイスに閾値低画質を有する画像データを生成させると予想されることを判定することを含む、請求項1に記載の方法。
【請求項5】
前記コンピューティングシステムによって、前記1つ以上の場所を通る前記車両の移動中の前記画像捕捉デバイスの1つ以上の予想配向および/または1つ以上の予想空間位置を判定することをさらに含み、
前記判定を行うことが、前記1つ以上の場所を通る前記車両の移動中の前記画像捕捉デバイスの前記1つ以上の予想配向および/または前記1つ以上の予想空間位置にさらに基づく、請求項1に記載の方法。
【請求項6】
前記コンピューティングシステムによって、前記1つ以上の場所での前記画像捕捉デバイスに対する前記物体の1つ以上の位置および/または1つ以上の配向を判定することをさらに含み、
前記判定を行うことが、前記1つ以上の場所での前記画像捕捉デバイスに対する前記物体の前記1つ以上の位置および/または前記1つ以上の配向にさらに基づく、請求項1に記載の方法。
【請求項7】
前記1つ以上の場所が、特定の交通車線の一部を含み、前記生成されたルートが、前記特定の交通車線の前記一部を通る前記車両の移動を回避する、請求項1に記載の方法。
【請求項8】
前記1つ以上の場所が、特定の道路の一部を含み、前記生成されたルートが、前記特定の道路の前記一部を通る前記車両の移動を回避する、請求項1に記載の方法。
【請求項9】
前記1つ以上の場所が、特定の交差点を含み、前記生成されたルートが、前記特定の交差点を通る前記車両の移動を回避する、請求項1に記載の方法。
【請求項10】
前記物体が、交通信号機である、請求項1に記載の方法。
【請求項11】
前記物体が第1の物体であり、前記車両が、前記画像捕捉デバイスが遭遇する外部光の範囲を制御するように調整可能である光制御機能を含み、前記方法が、
前記生成されたルートに従う前記車両の移動中に、前記太陽が前記画像捕捉デバイスの前記視点からの前記画像捕捉デバイスの前記視野内の第2の物体に近接するというさらなる判定を行うことと、
前記さらなる判定を行うことに応答して、前記コンピューティングシステムによって、前記画像捕捉デバイスの前記視点からの前記画像捕捉デバイスの前記視野での前記太陽の少なくとも一部を遮るように前記光制御機能に対して調整を行うことと、をさらに含む、請求項1に記載の方法。
【請求項12】
前記第1および第2の物体が、同じ物体である、請求項11に記載の方法。
【請求項13】
前記光制御機能が前記画像捕捉デバイスの前記視野での前記太陽の少なくとも一部を遮る間に、前記コンピューティングシステムによって、画像データを生成するように前記画像捕捉デバイスを操作することと、
前記光制御機能が前記画像捕捉デバイスの前記視野での前記太陽の少なくとも一部を遮る間に、前記コンピューティングシステムによって、前記車両を、前記画像捕捉デバイスによって生成された画像データに少なくとも基づいて操作することと、をさらに含む、請求項11に記載の方法。
【請求項14】
前記光制御機能が機械デバイスを備え、前記調整を行うことが、前記画像捕捉デバイスの前記視野での前記太陽の少なくとも一部を遮るように前記機械デバイスの位置を調整することを含む、請求項11に記載の方法。
【請求項15】
前記光制御機能が、調整可能な光透過特性を有する光制御デバイスを備え、前記調整を行うことが、前記画像捕捉デバイスが遭遇する太陽光の前記範囲を制御するように前記光制御デバイスの光透過特性を調整することを含む、請求項11に記載の方法。
【請求項16】
自動運転車両を、前記車両に結合された画像捕捉デバイスによって生成される画像データに少なくとも基づいて操作するように構成されたコンピューティングシステムであって、
1つ以上のプロセッサと、
非一時的なコンピュータ可読媒体と、
前記非一時的なコンピュータ可読媒体に格納されており、かつ前記1つ以上のプロセッサによって、
地理的領域に対す
る太陽の予想位置を判定することと、
前記地理的領域に対する前記太陽の前記予想位置に少なくとも基づいて、前記地理的領域内の1つ以上の場所を通る前記車両の移動により、前記太陽が前記画像捕捉デバイスの視点からの前記画像捕捉デバイスの視野内の物体に近接する結果になると予想されるという判定を行うことと、
前記判定を行うことに応答して、前記地理的領域での前記車両のためのルートを、前記1つ以上の場所を通る前記車両の移動を回避する前記ルートに少なくとも基づいて生成することと、
前記生成されたルートに従って移動するように前記車両を操作することと、を行うように実行可能なプログラム命令と、を備える、コンピューティングシステム。
【請求項17】
前記命令が、1つ以上の時刻に、前記地理的領域に対する前記太陽の1つ以上の予想位置に関するエフェメリスデータを受信するようにさらに実行可能であり、前記地理的領域に対する前記太陽の前記予想位置を判定することが、前記受信されたエフェメリスデータに基づく、請求項16に記載のコンピューティングシステム。
【請求項18】
前記判定を行うことが、特定の時刻に特定の場所を通る前記車両の移動により、前記太陽が前記画像捕捉デバイスの前記視点からの前記画像捕捉デバイスの前記視野内の前記物体に近接する結果になると予想されるという判定を行うことを含み、
前記1つ以上の場所を通る前記車両の移動を回避することが、前記特定の時刻に前記特定の場所を通る前記車両の移動を回避することを含む、請求項16に記載のコンピューティングシステム。
【請求項19】
前記特定の場所が、特定の交差点の少なくとも一部であり、前記物体が、前記特定の交差点に位置付けられた交通信号機であり、前記ルートを判定することが、前記地理的領域での前記車両のためのルートを、前記特定の交差点の少なくとも前記一部を通る前記車両の移動を回避する前記ルートに少なくとも基づいて判定することを含む、請求項
18に記載のコンピューティングシステム。
【請求項20】
車両であって、
前記車両の周りの環境を表す画像データを生成するように構成された画像捕捉デバイスと、
前記車両を、前記画像捕捉デバイスによって生成された画像データに少なくとも基づいて操作するように構成されたコンピューティングシステムと、を備え、前記コンピューティングシステムが、
地理的領域に対する太陽の予想位置を判定することと、
前記地理的領域に対する前記太陽の前記予想位置に少なくとも基づいて、前記地理的領域内の1つ以上の場所を通る前記車両の移動により、前記太陽が前記画像捕捉デバイスの視点からの前記画像捕捉デバイスの視野内の物体に近接する結果になると予想されるという判定を行うことと、
前記判定を行うことに応答して、前記地理的領域での前記車両のためのルートを、前記1つ以上の場所を通る前記車両の移動を回避する前記ルートに少なくとも基づいて生成することと、
前記生成されたルートに従って移動するように前記車両を操作することと、を行うようにさらに構成されている、車両。
【請求項21】
前記コンピューティングシステムによって、前記物体の周辺の別の物体が、前記画像捕捉デバイスの視点から前記太陽を遮ることで前記判定が無効になるか否かを判定することをさらに含む、請求項1に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、その全体が参照により本明細書に組み込まれる、2017年12月14日出願の米国特許出願第15/842,055号、発明の名称「Methods and Systems for Sun-Aware Vehicle Routing」の優先権を主張する。
【背景技術】
【0002】
車両は、任意の車輪のある動力付き車両であり得、車、トラック、オートバイ、バスなどを含み得る。車両は、人および物品の輸送などの様々なタスク、ならびに多くの他の用途のために利用され得る。
【0003】
一部の車両は、部分的または完全に自律型である場合がある。例えば、車両が自律モードにある場合、車両動作の運転面の一部またはすべては、自律車両システム(すなわち、自律車両の制御を容易にするために個別または集合的に機能する任意の1つ以上のコンピュータシステム)によって操作することができる。このような場合、オンボードおよび/またはサーバネットワークに位置付けられたコンピューティングデバイスは、運転ルートの計画、車両の感知態様、車両の環境の感知、ならびにステアリング、スロットル、およびブレーキなどの運転構成要素の制御などの機能を実行するように動作可能であり得る。このため、自律車両は、車両動作の様々な態様における人間の相互作用の必要性を低減または排除し得る。
【発明の概要】
【0004】
一態様では、方法が開示される。本方法は、車両を、車両に結合された画像捕捉デバイスによって生成される画像データに少なくとも基づいて操作するように構成されたコンピューティングシステムによって、地理的領域に対する太陽の予想位置を判定することを含む。本方法はまた、地理的領域に対する太陽の予想位置に少なくとも基づいて、コンピューティングシステムによって、地理的領域内の1つ以上の場所を通る車両の移動により、太陽が画像捕捉デバイスの視点からの画像捕捉デバイスの視野内の物体に近接する結果になると予想されるという判定を行うことを含む。加えて、本方法は、判定を行うことに応答して、地理的領域での車両のためのルートを、1つ以上の場所を通る車両の移動を回避するルートに少なくとも基づいて生成することを含む。本方法は、生成されたルートに従って移動するように車両を操作することをさらに含む。
【0005】
別の態様では、自動運転車両を、車両に結合された画像捕捉デバイスによって生成される画像データに少なくとも基づいて操作するように構成されたコンピューティングシステムが開示される。特に、本コンピューティングシステムは、1つ以上のプロセッサと、非一時的なコンピュータ可読媒体と、非一時的なコンピュータ可読媒体に格納されており、かつ1つ以上のプロセッサによって動作を行うように実行可能なプログラム命令とを含む。具体的には、プログラム命令は、地理的領域に対する太陽の予想位置を判定するように実行可能であり得る。また、プログラム命令は、地理的領域に対する太陽の予想位置に少なくとも基づいて、地理的領域内の1つ以上の場所を通る車両の移動により、太陽が画像捕捉デバイスの視点からの画像捕捉デバイスの視野内の物体に近接する結果になると予想されるという判定を行うように実行可能であり得る。加えて、プログラム命令は、判定を行うことに応答して、地理的領域での車両のためのルートを、1つ以上の場所を通る車両の移動を回避するルートに少なくとも基づいて生成するように実行可能であり得る。さらに、プログラム命令は、生成されたルートに従って移動するように車両を操作するように実行可能であり得る。
【0006】
さらに別の態様では、車両が開示される。本車両は、車両の周りの環境を表す画像データを生成するように構成された画像捕捉デバイスと、車両を、画像捕捉デバイスによって生成された画像データに少なくとも基づいて操作するように構成されたコンピューティングシステムとを含む。また、コンピューティングシステムは、(i)地理的領域に対する太陽の予想位置を判定し、(ii)地理的領域に対する太陽の予想位置に少なくとも基づいて、地理的領域内の1つ以上の場所を通る車両の移動により、太陽が画像捕捉デバイスの視点からの画像捕捉デバイスの視野内の物体に近接する結果になると予想されるという判定を行い、(iii)判定を行うことに応答して、地理的領域での車両のためのルートを、1つ以上の場所を通る車両の移動を回避するルートに少なくとも基づいて生成し、(iv)生成されたルートに従って移動するように車両を操作するように構成され得る。
【0007】
さらに別の態様では、別のシステムが開示される。本システムは、地理的領域に対する太陽の予想位置を判定するための手段を含み得、車両が、車両に結合された画像捕捉デバイスによって生成される画像データに少なくとも基づいて動作可能である。本システムはまた、地理的領域に対する太陽の予想位置に少なくとも基づいて、地理的領域内の1つ以上の場所を通る車両の移動により、太陽が画像捕捉デバイスの視点からの画像捕捉デバイスの視野内の物体に近接する結果になると予想されるという判定を行うための手段を含み得る。加えて、本システムは、判定を行うことに応答して、地理的領域での車両のためのルートを、1つ以上の場所を通る車両の移動を回避するルートに少なくとも基づいて生成するための手段を含み得る。本システムは、生成されたルートに従って移動するように車両を操作するための手段をさらに含み得る。
【0008】
これらの態様ならびに他の態様、利点、および代替物は、当業者には、以下の詳細な説明を添付の図面を適宜参照して読み取ることにより明らかになるであろう。さらに、この概要セクションおよびこの文書の他の場所で提供される説明は、限定ではなく例として請求される主題を例示することを意図していることを理解されたい。
【図面の簡単な説明】
【0009】
【
図1】実装形態例による、車両を図解する機能ブロック図である。
【
図2】実装形態例による、車両の物理的構成の概念図である。
【
図3】実装形態例による、自律車両に関連する様々なコンピューティングシステム間の無線通信の概念図である。
【
図4A】例示的なカメラシステムの構成要素例を示す簡略ブロック図である。
【
図4B】実装形態例による、カメラおよびワイパの配置を示す。
【
図4C】実装形態例による、カメラおよびエレクトロクロミックウィンドウの配置を示す。
【
図5B】自律車両の画像捕捉デバイスの視点からの交通信号機の詳細を覆い隠す太陽光グレアを示す。
【
図6A】地理的領域および地理的領域での自律車両についての目標場所を示す。
【
図6B】実装形態例による、自律車両によって回避されるべき地理的領域での1つ以上の場所を示す。
【
図6C】実装形態例による、1つ以上の場所を通る自律車両の移動を回避する目標場所へのルートを示す。
【
図7A】実装態様例による、自律車両の画像捕捉デバイスが遭遇する太陽光の範囲を制御するためのワイパの使用を示す。
【
図7B】実装態様例による、自律車両の画像捕捉デバイスが遭遇する太陽光の範囲を制御するためのワイパの使用を示す。
【
図8】実装態様例による、自律車両の画像捕捉デバイスが遭遇する太陽光の範囲を制御するためのエレクトロクロミックデバイスの使用を示す。
【
図9】実装形態例による、方法のフローチャートである。
【
図10】実装形態例による、コンピュータプログラム製品の概略図である。
【発明を実施するための形態】
【0010】
例示的な方法およびシステムが本明細書で説明される。「例示的」という単語は、本明細書では「例、事例、または例証としての役割を果たす」ことを意味するために使用されることを理解されたい。本明細書で「例示的(exemplary)」または「例示的(illustrative)」として説明される実装形態または機能は、他の実装形態または機能よりも好ましいまたは有利であると必ずしも解釈されるべきではない。図では、特に文脈によって説明しない限り、同様の記号は通常、同様の構成素子を指している。本明細書で説明される実装形態の例は、限定することを意味するものではない。本明細書で一般的に説明され、かつ図に示されている、本開示の態様が、多種多様な異なる構成で配置、置換、結合、分離、および設計され得、そのすべてが本明細書で企図されることは容易に理解されるであろう。
【0011】
I.概要
車両は、運転者からの入力がほとんどまたはまったくない環境を通って車両がナビゲートする自律モードで動作するように構成され得る。このような自律車両は、車両が動作する環境についての情報を提供する画像データを生成するように構成された画像捕捉デバイス(例えば、1つ以上のカメラ)を含むことができる。車両のコンピューティングシステムは、自律モードで車両を操作するための根拠として、画像捕捉デバイスによって生成される画像データを使用し得る。
【0012】
しかしながら、いくつかの状況では、画像捕捉デバイスによって生成される画像データの品質は、画像捕捉デバイスが遭遇する太陽光により低下し得る。例えば、自律車両が交通信号機を有する交差点にある場合、太陽は、画像捕捉デバイスの視点からの画像捕捉デバイスの視野内で交通信号機に実質的に近接すること(例えば、交通信号灯の後ろ)になり得る。次に、この状況は、とりわけ、ブルーミング、レンズフレア、または迷光などにより、画像捕捉デバイスによって捕捉される画像のブルーミング劣化につながり得る。その結果、コンピューティングシステムは、交通信号機の色または状態を判定するための根拠として、したがって、車両が交差点で実行すべきその後の自律動作を判定するための根拠として、このような画像を使用することができない場合がある。
【0013】
この問題を克服するのに役立ち得る手法が、本明細書で開示される。開示された手法に従って、コンピューティングシステムは、地理的領域に対する太陽の位置を追跡することができ、太陽が画像捕捉デバイスの視点からの画像捕捉デバイスの視野内の物体に近接する状況を防止するのに役立つ車両のためのルートを判定することができる。ルートが判定されると、コンピューティングシステムは、判定されたルートに従って移動するように車両を操作することができる。
【0014】
より具体的には、コンピューティングシステムは、地理的領域に対する太陽の予想位置を判定することができ、地理的領域内の1つ以上の場所を通る車両の移動により、太陽が画像捕捉デバイスの視点からの画像捕捉デバイスの視野内の物体に近接する結果になると予想されるという判定を行うための根拠として、少なくとも予想位置を使用することができる。そうするために、コンピューティングシステムは、例えば、エフェメリスデータを使用して、所与の時刻での地理的領域上の空での太陽の位置を判定することができる。所与の時刻での地理的領域上の太陽の位置が与えられると、コンピューティングシステムは、車両が所与の時刻に地理的領域内の所与の場所で移動する場合、画像捕捉デバイスの視野に対する太陽の位置を予測することができる。次いで、画像捕捉デバイスの視野に対する太陽の予測位置に基づいて、場合によってはまた、画像捕捉デバイスに対する物体の予測位置および/または配向に基づいて、コンピューティングシステムは、所与の時刻に所与の場所を通る車両の移動により、太陽が画像捕捉デバイスの視点からの画像捕捉デバイスの視野内の物体に近接する結果になると予想されるかどうかを判定することができる。
【0015】
特定の例では、コンピューティングシステムは、エフェメリスデータを使用して、所与の時刻での交差点上の空での太陽の位置を判定することができる。加えて、コンピューティングシステムは、車両が所与の時刻に交差点の特定の部分を通って移動する場合、画像捕捉デバイスの配向および位置を予測することができる。さらに、コンピューティングシステムは、車両が所与の時刻に特定の部分を通って移動する場合、画像捕捉デバイスに対する交差点での交通信号機の配向および/または位置を予測することができる。この情報が与えられると、コンピューティングシステムは、車両が所与の時刻に交差点の特定の部分を通って移動する場合、太陽が画像捕捉デバイスの視点からの画像捕捉デバイスの視野内の交通信号機に近接すると予想されることを判定することができる。
【0016】
コンピューティングシステムが、地理的領域内の1つ以上の場所を通る車両の移動により、太陽が画像捕捉デバイスの視点からの画像捕捉デバイスの視野内の物体に近接する結果になると予想されるという判定を行うと、コンピューティングシステムは、それに応じて、車両のためのルートを判定する場合の要素としてこの判定を使用し得る。特に、コンピューティングシステムは、それに応じて、太陽が画像捕捉デバイスの視野内の物体に近接すると予想される1つ以上の時刻などに、1つ以上の場所を通る車両の移動を回避する地理的領域での車両のためのルートを判定し得る。例として、問題の場所のうちの1つが特定の道路での特定の車線である場合、コンピューティングシステムは、その同じ特定の道路上の移動を含むが、代わりに特定の車線以外の車線上の移動を含む車両のためのルートを判定し得る。別の例では、問題の場所のうちの1つが特定の道路のすべての車線を含む場合、コンピューティングシステムは、その特定の道路を完全に回避する車両のためのルートを判定し得る。他の例も可能である。
【0017】
II.例示的な車両システムおよび動作
ここで、本開示の範囲内の例示的なシステムをより詳細に説明する。例示的なシステムは、自動車に実装され得るか、または自動車の形態をとり得る。しかしながら、例示的なシステムはまた、車、トラック、オートバイ、バス、ボート、飛行機、ヘリコプター、芝刈り機、アースムーバ、ボート、スノーモービル、航空機、レクリエーション車両、遊園地車両、農機具、建設機械、トラム、ゴルフカート、電車、トロリー、およびロボットデバイスなどの、他の車両に実装され得るか、または他の車両の形態をとり得る。他の車両も同じく可能である。
【0018】
ここで図を参照すると、
図1は、自律モードで完全にまたは部分的に動作するように構成され得る、例示的な車両100を図解する機能ブロック図である。より具体的には、車両100は、コンピューティングシステムから制御命令を受信することを通して、人間の相互作用なしに自律モードで動作し得る。自律モードでの動作の一部として、車両100は、センサを使用して、周囲環境の物体を検出し、場合によっては識別して、安全なナビゲーションを可能にし得る。いくつかの実装形態では、車両100はまた、運転者が車両100の動作を制御することを可能にするサブシステムを含み得る。
【0019】
図1に示されるように、車両100は、推進システム102、センサシステム104、制御システム106、1つ以上の周辺機器108、電源110、(コンピューティングシステムとも称され得る)コンピュータシステム112、データストレージ114、およびユーザインターフェース116などの様々なサブシステムを含み得る。他の例では、車両100は、各々複数の要素を含むことができるより多いまたはより少ないサブシステムを含んでもよい。車両100のサブシステムおよび構成要素は、様々な方法で相互接続され得る。加えて、本明細書で説明する車両100の機能は、追加の機能的または物理的構成要素に分割するか、または実装形態内でより少ない機能的もしくは物理的構成要素に組み合わせることができる。例えば、制御システム106およびコンピュータシステム112は、様々な動作に従って車両100を操作する単一のシステムに組み合わされ得る。
【0020】
推進システム102は、車両100に対して動力付き運動を提供するように動作可能な1つ以上の構成要素を含み得、他の可能な構成要素の中でも、エンジン/モータ118、エネルギー源119、トランスミッション120、および車輪/タイヤ121を含み得る。例えば、エンジン/モータ118は、エネルギー源119を機械的エネルギーに変換するように構成され得、他の可能なオプションの中でも、内燃エンジン、電気モータ、蒸気エンジン、またはスターリングエンジンのうちの1つまたは組み合わせに対応し得る。例えば、いくつかの実装形態では、推進システム102は、ガソリンエンジンおよび電気モータなどの複数のタイプのエンジンおよび/またはモータを含み得る。
【0021】
エネルギー源119は、完全にまたは部分的に、車両100の1つ以上のシステム(例えば、エンジン/モータ118)に動力を供給し得るエネルギー源を表す。例えば、エネルギー源119は、ガソリン、ディーゼル、他の石油ベースの燃料、プロパン、他の圧縮ガスベースの燃料、エタノール、ソーラパネル、電池、および/または他の電力源に対応することができる。いくつかの実装形態では、エネルギー源119は、燃料タンク、電池、コンデンサ、および/またはフライホイールの組み合わせを含み得る。
【0022】
トランスミッション120は、エンジン/モータ118からの機械動力を、車輪/タイヤ121および/または車両100の他の可能なシステムに伝達し得る。したがって、トランスミッション120は、他の可能な構成要素の中でもとりわけ、ギアボックス、クラッチ、ディファレンシャル、および駆動シャフトを含み得る。駆動シャフトは、1つ以上の車輪/タイヤ121に接続する車軸を含み得る。
【0023】
車両100の車輪/タイヤ121は、例示的な実装形態内で様々な構成を有し得る。例えば、車両100は、他の可能な構成の中でも、一輪車、自転車/オートバイ、三輪車、または車/トラックの四輪車の形式で存在し得る。したがって、車輪/タイヤ121は、様々な方法で車両100に接続することができ、金属およびゴムなどの異なる材料で存在することができる。
【0024】
センサシステム104は、他の可能なセンサの中でも、全地球測位システム(GPS)122、慣性測定ユニット(IMU)124、レーダ126、レーザ距離計/LIDAR128、カメラ130、ステアリングセンサ123、およびスロットル/ブレーキセンサ125などの様々なタイプのセンサを含むことができる。いくつかの実装形態では、センサシステム104はまた、車両100の内部システムを監視するように構成されたセンサ(例えば、O2モニタ、燃料計、エンジンオイル温度、ブレーキ摩耗)を含み得る。
【0025】
GPS122は、地球に対する車両100の位置に関する情報を提供するように動作可能なトランシーバを含み得る。IMU124は、1つ以上の加速度計および/またはジャイロスコープを使用する構成を有し得、慣性加速度に基づいて車両100の位置および配向の変化を感知し得る。例えば、IMU124は、車両100が静止しているかまたは動いている間に車両100のピッチおよび偏揺れを検出することができる。
【0026】
レーダ126は、物体のスピードおよび進行方向を含めて、無線信号を使用して、車両100のローカル環境内の物体を感知するように構成された1つ以上のシステムを表すことができる。したがって、レーダ126は、無線信号を送信および受信するように構成されたアンテナを含み得る。いくつかの実装形態では、レーダ126は、車両100の周囲環境の測定値を取得するように構成された装着可能なレーダシステムに対応し得る。
【0027】
レーザ距離計/LIDAR128は、他のシステム構成要素の中でも、1つ以上のレーザ源、レーザスキャナ、および1つ以上の検出器を含み得、コヒーレントモード(例えば、ヘテロダイン検出を使用)または非コヒーレント検出モードで動作し得る。カメラ130は、車両100の環境の画像を捕捉するように構成された1つ以上のデバイス(例えば、スチルカメラまたはビデオカメラ)を含み得る。
【0028】
ステアリングセンサ123は、車両100のステアリング角度を感知し得、これは、ステアリングホイールの角度を測定すること、またはステアリングホイールの角度を表す電気信号を測定することを含み得る。いくつかの実装形態では、ステアリングセンサ123は、車両100の前方軸に対する車輪の角度を検出するなど、車両100の車輪の角度を測定し得る。ステアリングセンサ123はまた、ステアリングホイールの角度、ステアリングホイールの角度を表す電気信号、および車両100の車輪の角度の組み合わせ(またはサブセット)を測定するように構成され得る。
【0029】
スロットル/ブレーキセンサ125は、車両100のスロットル位置またはブレーキ位置のいずれかの位置を検出し得る。例えば、スロットル/ブレーキセンサ125は、アクセルペダル(スロットル)およびブレーキペダルの両方の角度を測定してもよく、または、例えば、アクセルペダル(スロットル)の角度および/もしくはブレーキペダルの角度を表すことができる電気信号を測定してもよい。スロットル/ブレーキセンサ125はまた、エンジン/モータ118(例えば、バタフライバルブまたはキャブレタ)にエネルギー源119のモジュレーションを提供する物理的メカニズムの一部を含み得る、車両100のスロットルボディの角度を測定してもよい。加えて、スロットル/ブレーキセンサ125は、車両100のロータ上の1つ以上のブレーキパッドの圧力、またはアクセルペダル(スロットル)およびブレーキペダルの角度の組み合わせ(またはサブセット)、アクセルペダル(スロットル)およびブレーキペダルの角度を表す電気信号、スロットルボディの角度、ならびに少なくとも1つのブレーキパッドが車両100のロータに加える圧力、を測定し得る。他の実装形態では、スロットル/ブレーキセンサ125は、スロットルまたはブレーキペダルなどの車両のペダルに加えられた圧力を測定するように構成されてもよい。
【0030】
制御システム106は、ステアリングユニット132、スロットル134、ブレーキユニット136、センサ融合アルゴリズム138、コンピュータビジョンシステム140、ナビゲーション/経路探索システム142、および障害物回避システム144など、車両100をナビゲートするのを助けるように構成された構成要素を含み得る。より具体的には、ステアリングユニット132は、車両100の進行方向を調整するように動作可能であり得、スロットル134は、エンジン/モータ118の動作スピードを制御して、車両100の加速を制御し得る。ブレーキユニット136は、車両100を減速することができ、これは、摩擦を使用して車輪/タイヤ121を減速することを含み得る。いくつかの実装形態では、ブレーキユニット136は、車両100のシステムまたはシステム(複数)によるその後の使用のために、車輪/タイヤ121の運動エネルギーを電流に変換し得る。
【0031】
センサ融合アルゴリズム138は、カルマンフィルタ、ベイジアンネットワーク、またはセンサシステム104からのデータを処理することができる他のアルゴリズムを含み得る。いくつかの実装形態では、センサ融合アルゴリズム138は、個々の物体および/もしくは特徴の評価、特定の状況の評価、ならびに/または所与の状況内の潜在的な影響の評価など、入ってくるセンサデータに基づくアセスメントを提供し得る。
【0032】
コンピュータビジョンシステム140は、物体、環境物体(例えば、停止信号、道路の境界など)、および障害物を判定しようとする際に画像を処理および分析するように動作可能なハードウェアおよびソフトウェアを含み得る。したがって、コンピュータビジョンシステム140は、物体認識、Structure From Motion(SFM)、ビデオ追跡、および、例えば、物体を認識し、環境をマッピングし、物体を追跡し、物体のスピードを推定するためなどにコンピュータビジョンで使用される他のアルゴリズムを使用し得る。
【0033】
ナビゲーション/経路探索システム142は、車両100の運転経路を判定することができ、これは、動作中にナビゲーションを動的に調整することを含み得る。したがって、ナビゲーション/経路探索システム142は、他の情報源の中でもとりわけ、センサ融合アルゴリズム138、GPS122、および地図からのデータを使用して、車両100をナビゲートし得る。障害物回避システム144は、センサデータに基づいて潜在的な障害物を評価し、車両100のシステムに潜在的な障害物を回避または別の方法で通り抜けさせ得る。
【0034】
図1に示されるように、車両100はまた、無線通信システム146、タッチスクリーン148、マイクロフォン150、および/またはスピーカ152などの周辺機器108を含み得る。周辺機器108は、ユーザがユーザインターフェース116と相互作用するための制御または他の要素を提供し得る。例えば、タッチスクリーン148は、車両100のユーザに情報を提供し得る。ユーザインターフェース116はまた、タッチスクリーン148を介してユーザからの入力を受け入れ得る。周辺機器108はまた、車両100が、他の車両のデバイスなどのデバイスと通信することを可能にし得る。
【0035】
無線通信システム146は、1つ以上のデバイスと直接または通信ネットワークを介して無線で通信し得る。例えば、無線通信システム146は、CDMA、EVDO、GSM/GPRSなどの3Gセルラ通信、またはWiMAXもしくはLTEなどの4Gセルラ通信を使用することができる。代替的に、無線通信システム146は、WiFiまたは他の可能な接続を使用して無線ローカルエリアネットワーク(WLAN)と通信し得る。無線通信システム146はまた、例えば、赤外線リンク、Bluetooth、またはZigBeeを使用してデバイスと直接通信し得る。様々な車両通信システムなどの他の無線プロトコルが、本開示の文脈内で可能である。例えば、無線通信システム146は、車両および/または道路沿いの給油所間の公共および/または私的データ通信を含み得る1つ以上の専用狭域通信(DSRC)デバイスを含み得る。
【0036】
車両100は、構成要素に電力を供給するための電源110を含み得る。電源110は、いくつかの実装形態では、再充電可能なリチウムイオンまたは鉛蓄電池を含み得る。例えば、電源110は、電力を提供するように構成された1つ以上の電池を含み得る。車両100はまた、他のタイプの電源を使用してもよい。例示的な実装形態では、電源110およびエネルギー源119は、単一のエネルギー源に統合されてもよい。
【0037】
車両100はまた、そこに記載されている動作などの動作を行うためのコンピュータシステム112を含み得る。したがって、コンピュータシステム112は、データストレージ114などの非一時的なコンピュータ可読媒体に格納された命令115を実行するように動作可能な少なくとも1つのプロセッサ113(少なくとも1つのマイクロプロセッサを含むことができる)を含み得る。いくつかの実装形態では、コンピュータシステム112は、車両100の個々の構成要素またはサブシステムを分散して制御するように機能し得る複数のコンピューティングデバイスを表してもよい。
【0038】
いくつかの実装形態では、データストレージ114は、
図1に関連して上述したものを含めて、車両100の様々な機能を実行するためにプロセッサ113によって実行可能な命令115(例えば、プログラム論理)を含み得る。データストレージ114は、推進システム102、センサシステム104、制御システム106、および周辺機器108のうちの1つ以上にデータを送信する、データを受信する、相互作用する、および/または制御する命令を含む追加の命令も含み得る。
【0039】
命令115に加えて、データストレージ114は、他の情報の中でもとりわけ、道路地図、経路情報などのデータを格納し得る。そのような情報は、自律モード、半自律モード、および/または手動モードでの車両100の動作中に、車両100およびコンピュータシステム112によって使用され得る。
【0040】
車両100は、車両100のユーザに情報を提供するか、または車両100のユーザから入力を受信するためのユーザインターフェース116を含み得る。ユーザインターフェース116は、タッチスクリーン148上に表示され得るコンテンツおよび/またはインタラクティブ画像のレイアウトを制御することができるか、または制御を可能にし得る。さらに、ユーザインターフェース116は、無線通信システム146、タッチスクリーン148、マイクロフォン150、およびスピーカ152などの周辺機器108のセット内の1つ以上の入力/出力デバイスを含むことができる。
【0041】
コンピュータシステム112は、様々なサブシステム(例えば、推進システム102、センサシステム104、および制御システム106)から、ならびにユーザインターフェース116から受信した入力に基づいて、車両100の機能を制御し得る。例えば、コンピュータシステム112は、推進システム102および制御システム106によって生成された出力を推定するために、センサシステム104からの入力を利用してもよい。実装形態に応じて、コンピュータシステム112は、車両100およびそのサブシステムの多くの態様を監視するように動作可能であり得る。いくつかの実装形態では、コンピュータシステム112は、センサシステム104から受信した信号に基づいて、車両100の一部またはすべての機能を無効にし得る。
【0042】
車両100の構成要素は、それらのそれぞれのシステム内またはシステム外の他の構成要素と相互接続された方法で機能するように構成され得る。例えば、例示的な実装形態では、カメラ130は、自律モードで動作している車両100の環境の状態に関する情報を表すことができる複数の画像を捕捉することができる。環境の状態は、車両が動作している道路のパラメータを含むことができる。例えば、コンピュータビジョンシステム140は、道路の複数の画像に基づいて、傾斜(勾配)または他の特徴を認識することが可能であり得る。加えて、GPS122とコンピュータビジョンシステム140によって認識された特徴との組み合わせは、特定の道路パラメータを判定するために、データストレージ114に格納された地図データと共に使用され得る。さらに、レーダユニット126はまた、車両の周囲についての情報を提供し得る。
【0043】
言い換えると、様々なセンサ(入力指標センサおよび出力指標センサと呼ぶことができる)とコンピュータシステム112との組み合わせが相互作用して、車両を制御するために提供される入力の指標または車両の周囲の指標を提供することができる。
【0044】
いくつかの実装形態では、コンピュータシステム112は、無線システム以外のシステムによって提供されるデータに基づいて、様々な物体に関する判定を行い得る。例えば、車両100は、車両の視野内の物体を感知するように構成されたレーザまたは他の光学センサを有し得る。コンピュータシステム112は、様々なセンサからの出力を使用して、車両の視野内の物体に関する情報を判定し得、様々な物体までの距離および方向情報を判定し得る。コンピュータシステム112はまた、様々なセンサからの出力に基づいて、物体が望ましいか望ましくないかを判定し得る。
【0045】
図1は、車両100の様々な構成要素、すなわち、無線通信システム146、コンピュータシステム112、データストレージ114、およびユーザインターフェース116を車両100に統合されているものとして示しているが、これらの構成要素のうちの1つ以上は、車両100とは別個に取り付けまたは関連付けることができる。例えば、データストレージ114は、部分的または完全に、車両100とは別個に存在することができる。したがって、車両100は、別個にまたは一緒に位置付けられ得るデバイス要素の形態で提供され得る。車両100を構成するデバイス要素は、有線および/または無線方式で一緒に通信可能に結合され得る。
【0046】
図2は、
図1を参照して説明された車両100の1つの可能な物理的構成を表し得る車両200の例示的な物理的構成を示す。実装形態に応じて、車両200は、他の可能な構成要素の中でもとりわけ、センサユニット202、無線通信システム204、ラジオユニット206、デフレクタ208、およびカメラ210を含み得る。例えば、車両200は、
図1に記載された構成要素のうちの一部またはすべての要素を含み得る。車両200は
図2では車として示されているが、車両200は、他の可能な例の中でもとりわけ、トラック、バン、セミトレーラートラック、オートバイ、ゴルフカート、オフロード車両、または農業用車両などの例内の他の構成を有することができる。
【0047】
センサユニット202は、車両200の周囲環境の情報を捕捉するように構成された1つ以上のセンサを含み得る。例えば、センサユニット202は、他の可能なタイプのセンサの中でもとりわけ、カメラ、レーダ、LIDAR、距離計、無線デバイス(例えば、Bluetoothおよび/または802.11)、および音響センサの任意の組み合わせを含み得る。いくつかの実装形態では、センサユニット202は、センサユニット202内のセンサの配向を調整するように動作可能な1つ以上の可動マウントを含み得る。例えば、可動マウントは、車両200の周りの各方向から情報を取得するためにセンサをスキャンすることができる回転プラットフォームを含み得る。センサユニット202の可動マウントはまた、特定の範囲の角度および/または方位角内の走査方式で可動であってもよい。
【0048】
いくつかの実装形態では、センサユニット202は、センサユニット202が車のルーフの頂上に取り付けられることを可能にする機械的構造を含み得る。加えて、例の範囲内で他の取り付け場所も可能である。
【0049】
無線通信システム204は、
図2に示されるように、車両200に対して相対的な場所を有し得るが、実装形態内で異なる場所を有することもできる。無線通信システム200は、他の外部または内部デバイスと通信し得る1つ以上の無線送信機および1つ以上の受信機を含み得る。例えば、無線通信システム204は、他の可能なエンティティの中でもとりわけ、ユーザのデバイス、他の車両、および道路要素(例えば、標識、交通信号機)と通信するための1つ以上のトランシーバを含み得る。したがって、車両200は、専用狭域通信(DSRC)、無線周波数識別(RFID)、および高度道路交通システムを対象とする他の提案された通信規格などの通信を容易にするための1つ以上の車両通信システムを含み得る。
【0050】
カメラ210は、車両200の前方の風防ガラス上の場所など、車両200に対して様々な位置を有し得る。したがって、カメラ210は、車両200の環境の画像を捕捉し得る。
図2に示されるように、カメラ210は、車両200に対して前向き(前向き)の視野から画像を捕捉し得るが、カメラ210の他の取り付け場所(可動マウントを含む)および視野角が、実装形態内で可能である。例えば、カメラ210は、カメラが車両200の風防ガラスを通して車両200の環境の画像を捕捉するように車両内に位置付けられ得る。
【0051】
いくつかの例では、カメラ210は、1つ以上の可視光カメラに対応し得る。代替的に、または追加的に、カメラ210は、赤外線感知機能を含み得る。カメラ210はまた、調整可能な視野を提供し得る光学系を含み得る。他の例も可能である。
【0052】
図3は、実装形態例による、自律車両に関連する様々なコンピューティングシステム間の無線通信の概念図である。特に、無線通信は、ネットワーク304を介して、リモートコンピューティングシステム302と車両200との間で発生し得る。無線通信はまた、サーバコンピューティングシステム306とリモートコンピューティングシステム302との間、およびサーバコンピューティングシステム306と車両200との間でも発生し得る。
【0053】
車両200は、場所間で乗客または物体を輸送することができる様々なタイプの車両に対応することができ、上述の車両のうちの任意の1つ以上の形態をとり得る。場合によっては、車両200は、制御システムがセンサ測定値を使用して目的地間で車両200を安全にナビゲートすることを可能にする自律モードで動作し得る。自律モードで動作しているとき、車両200は、乗客の有無にかかわらずナビゲートし得る。その結果、車両200は、所望の目的地間で乗客を拾い、降ろし得る。
【0054】
リモートコンピューティングシステム302は、本明細書で説明されるものを含むがこれに限定されないリモートアシスタンス技術に関連する任意のタイプのデバイスを表し得る。例の中で、リモートコンピューティングシステム302は、(i)車両200に関連する情報を受信し、(ii)人間のオペレータが次に情報を知覚し、情報に関連する応答を入力することができるインターフェースを提供し、および(iii)応答を車両200に、または他のデバイスに送信する、ように構成された任意のタイプのデバイスを表し得る。リモートコンピューティングシステム302は、ワークステーション、デスクトップコンピュータ、ラップトップ、タブレット、携帯電話(例えば、スマートフォン)、および/またはサーバなどの、様々な形態をとり得る。いくつかの例では、リモートコンピューティングシステム302は、ネットワーク構成で一緒に動作する複数のコンピューティングデバイスを含み得る。
【0055】
リモートコンピューティングシステム302は、車両200のサブシステムおよび構成要素と同様または同一の1つ以上のサブシステムおよび構成要素を含み得る。最低でも、リモートコンピューティングシステム302は、本明細書で説明される様々な動作を行うために構成されたプロセッサを含み得る。いくつかの実装形態では、リモートコンピューティングシステム302はまた、タッチスクリーンおよびスピーカなどの入力/出力デバイスを含むユーザインターフェースを含み得る。他の例も可能である。
【0056】
ネットワーク304は、リモートコンピューティングシステム302と車両200との間の無線通信を可能にするインフラストラクチャを表す。ネットワーク304はまた、サーバコンピューティングシステム306とリモートコンピューティングシステム302との間、およびサーバコンピューティングシステム306と車両200との間の無線通信を可能にする。
【0057】
リモートコンピューティングシステム302の位置は、例の範囲内で変わることができる。例えば、リモートコンピューティングシステム302は、ネットワーク304を介した無線通信を有する車両200から遠隔位置を有し得る。別の例では、リモートコンピューティングシステム302は、車両200とは別個であるが、人間のオペレータが車両200の乗客または運転者と相互作用することができる車両200内のコンピューティングデバイスに対応し得る。いくつかの例では、リモートコンピューティングシステム302は、車両200の乗客によって操作可能なタッチスクリーンを備えたコンピューティングデバイスであってもよい。
【0058】
いくつかの実装形態では、リモートコンピューティングシステム302によって行われる本明細書で説明される動作は、追加的または代替的に、車両200によって(すなわち、車両200の任意のシステム(複数可)またはサブシステム(複数可)によって)行われ得る。言い換えれば、車両200は、車両の運転者または乗客が相互作用することができるリモートアシスタンス機構を提供するように構成され得る。
【0059】
サーバコンピューティングシステム306は、ネットワーク304を介してリモートコンピューティングシステム302および車両200と(または、場合によっては、リモートコンピューティングシステム302および/もしくは車両200と直接)無線通信するように構成され得る。サーバコンピューティングシステム306は、車両200およびそのリモートアシスタンスに関する情報を受信、格納、判定、および/または送信するように構成された任意のコンピューティングデバイスを表し得る。したがって、サーバコンピューティングシステム306は、リモートコンピューティングシステム302および/または車両200によって行われるものとして本明細書で説明される任意の動作(複数可)またはそのような動作(複数可)の一部を行うように構成され得る。リモートアシスタンスに関連する無線通信の一部の実装形態では、サーバコンピューティングシステム306を利用できるが、他の実装形態では利用できない。
【0060】
サーバコンピューティングシステム306は、本明細書に記載の様々な動作を行うように構成されたプロセッサ、ならびにリモートコンピューティングシステム302および車両200から情報を受信し、それらに情報を提供するための無線通信インターフェースなどの、リモートコンピューティングシステム302および/または車両200のサブシステムおよび構成要素と同様または同一の1つ以上のサブシステムおよび構成要素を含み得る。
【0061】
上記の様々なシステムは、様々な動作を行い得る。ここで、これらの動作および関連する機能について説明する。
【0062】
上記の議論に沿って、コンピューティングシステム(例えば、リモートコンピューティングシステム302、またはおそらくサーバコンピューティングシステム306、あるいは車両200にローカルなコンピューティングシステム)は、自律車両の環境の画像を捕捉するためにカメラを使用するように動作し得る。一般に、少なくとも1つのコンピューティングシステムが画像を分析することができ、場合によっては自律車両を制御する。
【0063】
いくつかの実装形態では、自律動作を容易にするために、車両(例えば、車両200)は、車両が動作する環境内の物体を表すデータ(本明細書では「環境データ」とも称される)を様々な方法で受信し得る。車両のセンサシステムは、環境の物体を表す環境データを提供し得る。例えば、車両は、カメラ、レーダユニット、レーザ距離計、マイクロフォン、ラジオユニット、および他のセンサを含む様々なセンサを有し得る。これらのセンサの各々は、各それぞれのセンサが受信する情報について、環境データを車両内のプロセッサに通信し得る。
【0064】
一例では、カメラが、静止画像および/またはビデオを捕捉するように構成され得る。いくつかの実装形態では、車両は、異なる配向に位置決めされた2つ以上のカメラを有する場合がある。また、いくつかの実装形態では、カメラは、異なる方向で画像および/またはビデオを捕捉するために移動することができる場合がある。カメラは、車両の処理システムによる後の処理のために、捕捉された画像およびビデオをメモリに格納するように構成され得る。捕捉された画像および/またはビデオは、環境データである場合がある。さらに、カメラは、本明細書で説明されるような画像センサを含み得る。
【0065】
別の例では、レーダユニットが、車両の近くの様々な物体によって反射される電磁信号を送信し、次いで物体から反射する電磁信号を捕捉するように構成され得る。捕捉された反射電磁信号は、レーダシステム(または処理システム)が電磁信号を反射した物体について様々な判定を行うことを可能にし得る。例えば、様々な反射物体までの距離および位置が判定され得る。いくつかの実装形態では、車両は、異なる配向に2つ以上のレーダを有し得る。レーダシステムは、車両の処理システムによる後の処理のために、捕捉された情報をメモリに格納するように構成され得る。レーダシステムによって捕捉された情報は、環境データである場合がある。
【0066】
別の例では、レーザ距離計が、車両近くの対象物体によって反射される電磁信号(例えば、気体もしくはダイオードレーザ、または他の可能な光源からのものなどの光)を送信するように構成され得る。レーザ距離計は、反射された電磁(例えば、レーザ)信号を捕捉することが可能であり得る。捕捉された反射電磁信号は、測距システム(または処理システム)が様々な物体までの距離を判定することを可能にし得る。測距システムはまた、対象物体の速度またはスピードを判定すること、およびそれを環境データとして格納することが可能であり得る。
【0067】
加えて、一例では、マイクロフォンが、車両を取り巻く環境のオーディオを捕捉するように構成され得る。マイクロフォンで捕捉された音には、緊急車両のサイレンおよび他の車両の音が含まれる場合がある。例えば、マイクロフォンは、緊急車両のサイレンの音を捕捉する場合がある。処理システムは、捕捉されたオーディオ信号が緊急車両を示していることを識別することが可能であり得る。別の例では、マイクロフォンは、オートバイからの排気など、別の車両の排気の音を捕捉する場合がある。処理システムは、捕捉されたオーディオ信号がオートバイを示していることを識別することが可能であり得る。マイクロフォンによって捕捉されたデータは、環境データの一部を形成し得る。
【0068】
さらに別の例では、ラジオユニットが、Bluetooth信号、802.11信号、および/または他の無線技術信号の形態をとり得る電磁信号を送信するように構成され得る。第1の電磁放射信号は、ラジオユニットに位置付けられた1つ以上のアンテナを介して送信され得る。さらに、第1の電磁放射信号は、多くの異なる無線信号モードのうちの1つで送信されてもよい。しかしながら、いくつかの実装形態では、自律車両の近くに位置するデバイスからの応答を要求する信号モードで第1の電磁放射信号を送信することが望ましい。処理システムは、ラジオユニットに返信された応答に基づいて近くのデバイスを検出することが可能であり得、この伝達された情報を環境データの一部として使用し得る。
【0069】
いくつかの実装形態では、処理システムは、車両の環境をさらに判定するために、様々なセンサからの情報を組み合わせることが可能であり得る。例えば、処理システムは、レーダ情報および捕捉された画像の両方からのデータを組み合わせて、別の車両または歩行者が自律車両の前にいるかどうかを判定し得る。他の実装形態では、センサデータの他の組み合わせを処理システムが使用して、環境についての判定を行い得る。
【0070】
自律モードで動作している間、車両はほとんどまたはまったく人間の入力なしでその動作を制御し得る。例えば、人間のオペレータが住所を車両に入力すると、車両は、人間からのさらなる入力なしに(例えば、人間がブレーキ/アクセルペダルを操縦するまたは触れる必要がなく)、指定された目的地まで運転することが可能であり得る。さらに、車両が自律的に動作している間、センサシステムは環境データを受信していてもよい。車両の処理システムは、様々なセンサから受信した環境データに基づいて車両の制御を変更し得る。いくつかの例では、車両は、様々なセンサからの環境データに応答して、車両の速度を変え得る。車両は、障害物を回避し、交通法に従うなどのために速度を変え得る。車両での処理システムが車両の近くの物体を識別すると、車両は速度を変更するか、または別の方法で動きを変えることが可能であり得る。
【0071】
車両が物体を検出したが物体の検出に十分自信がない場合、車両は、人間のオペレータ(またはより強力なコンピュータ)に、(i)物体が実際に環境内に存在するかどうかを確認する(例えば、実際に一時停止標識があるか、もしくは実際に一時停止標識がないか)、(ii)車両の物体の識別が正しいかどうかを確認する、(iii)識別が正しくなかった場合、識別を修正する、および/または(iv)自律車両に対して補足的な命令を提供する(もしくは現在の命令を変更する)などの、1つ以上のリモートアシスタンスタスクを行うように要求することができる。リモートアシスタンスタスクにはまた、人間のオペレータが車両の動作を制御するための命令を提供する(例えば、人間のオペレータが、物体は一時停止標識であると判定した場合、一時停止標識で停止するよう車両に命令する)ことが含まれるが、いくつかのシナリオでは、物体の識別に関連する人間のオペレータのフィードバックに基づいて、車両自体が自身の動作を制御する場合がある。
【0072】
III.例示的なカメラシステムおよび動作
図4Aは、例示的なカメラシステム400の構成要素例を表す簡略ブロック図を示す。この例示的なカメラシステム400は、カメラ130に対応し得る。また、カメラシステム400の様々な構成要素が分散した構成要素として示されているが、このような構成要素のいずれも、コンピューティングシステムの所望の構成により物理的に統合および/または分散され得ることを理解されたい。
【0073】
カメラシステム400は、少なくとも1つのプロセッサ402およびシステムメモリ404を含み得る。例示的な実施形態では、カメラシステム400は、プロセッサ402およびシステムメモリ404、ならびにカメラシステム400の他の構成要素を通信可能に接続するシステムバス408を含み得る。所望の構成に応じて、プロセッサ402は、マイクロプロセッサ(μP)、マイクロコントローラ(μC)、デジタル信号プロセッサ(DSP)、またはそれらの任意の組み合わせを含むがこれらに限定されない任意のタイプのプロセッサであり得る。さらに、システムメモリ404は、揮発性メモリ(RAMなど)、不揮発性メモリ(ROM、フラッシュメモリなど)、またはそれらの任意の組み合わせを含むがこれらに限定されない、現在知られている、または今後開発される任意のタイプのメモリであり得る。いくつかの例では、システムメモリ404は、画像データを一時的に格納するためのメモリキャッシュであり得る。
【0074】
例示的なカメラシステム400は、様々な他の構成要素も同様に含み得る。例えば、カメラシステム400は、画像センサ406を含む。画像センサ406は、本明細書で説明されるような画像センサであり得る。例えば、画像センサ406は、ローリングシャッターを含み得、プロセッサ402によって選択的に有効または無効にされる部分を有するように構成され得る。加えて、カメラシステム400は、システムメモリ404(および/または場合によっては別のデータストレージ媒体)に格納されており、かつプロセッサ402によって実行可能なプログラム命令410を含んで、本明細書で説明される様々な機能を容易にし得る。
【0075】
さらに、カメラシステム400は、外部コンピューティングシステムに結合され得る。外部コンピューティングシステム412は、自律車両の異なる部分に配置された、および/またはリモートコンピュータサーバに配置されたコンピューティングシステムであり得る。例えば、外部コンピューティングシステム412は、コンピューティングシステム112であり得る。いずれの場合でも、コンピューティングシステム412は、他のオプションの中でもとりわけ、カメラシステム400の様々な動作を制御し得る。
【0076】
例示的な実施形態によれば、カメラシステム400はまた、カメラシステム400(例えば、画像センサ406によって)が遭遇する外部光の範囲を制御するように調整可能である光制御機能414を含むことができる。本明細書でさらに説明されるように、光制御機能414は、例えばワイパなどの機械デバイスであり得る。追加的または代替的に、光制御機能414は、エレクトロクロミックデバイス(例えば、エレクトロクロミックウィンドウ)または可変液晶ディスプレイ(LCD)などの調整可能な光透過特性を有する光制御デバイスであり得る。さらに、光制御機能414は、例えば、コンピューティングシステム412などのコンピューティングシステムによって制御され得る。他の配置も可能である。
【0077】
次に、
図4Bおよび
図4Cは、カメラおよび光制御機能の例示的な配置を示す。
【0078】
最初の事項として、
図4Bおよび
図4Cは、各それぞれ、光学システム416(例えば、レンズ)および画像センサ418を含む装置の撮像動作を示す。画像センサ418は、
図4Aに示されるカメラシステム400などのカメラ内に存在し得る。光学システム416は、全体的な視野420を画像センサ418に提供する。全体的な視野420は、垂直視野422および水平視野424を含む。全体的な視野420は、画像センサ418が光学システム416を介して画像化することができる最大角度範囲に対応する。
【0079】
加えて、
図4Bおよび
図4Cは、各それぞれ、光学システム416および画像センサ418がハウジング426内に配置され得ることを示す。ハウジング426は、画像センサ418が車両の環境の画像を捕捉することができる開口428(例えば、透明な開口)を含むように示される。加えて、ハウジング426は、回転プラットフォーム430に結合され得、これは、軸432周りに回転し得、それによってまた、ハウジング426、光学システム416、および画像センサ418の回転をもたらす。このようにして、画像センサ418は、車両の環境の様々な部分の画像を捕捉する。
【0080】
しかしながら、別の実装形態では、光学システム416、画像センサ418、およびハウジング426のうちのいずれか1つは、(例えば、車両の一部に)実質的に固定され得、したがって、必ずしも軸周りに回転し得ない。例えば、画像センサ418は、車両の環境の特定の部分(複数可)の画像を取得するように、車両に固定され得る。他の実装形態も可能である。
【0081】
本開示に沿って、
図4Bおよび
図4Cはまた、光制御機能を示す。例えば、
図4Bは、ハウジング426の外側部分に、具体的には開口428の近くに結合されたワイパ434を示す。この配置で、コンピューティングシステムは、画像センサ418および/または光学システム416が遭遇する外部光の範囲を制御するように、画像センサ418に対するワイパ434の位置を調整する(例えば、視野420に対するワイパ434の位置を調整する)ことができる。別の例では、
図4Cは、開口428内に組み込まれ、それによって、エレクトロクロミックウィンドウ436を通して環境の画像を画像センサ418に捕捉させるエレクトロクロミックウィンドウ436を示す。また、本明細書でさらに論じられるように、エレクトロクロミックウィンドウ436は、調整可能な光透過特性を有し得る。この配置で、コンピューティングシステムは、画像センサ418が遭遇する外部光の範囲を制御するように、エレクトロクロミックウィンドウ436の光透過特性を調整することができる。他の図も可能である。
【0082】
IV.太陽認識車両ルーティング
上記の議論に沿って、画像捕捉デバイスは、例えば、車両(例えば、車両100)の周りの環境などの環境を表す画像データ(例えば、環境の捕捉画像(複数可))を生成することができる任意のデバイスであり得る。一般的に、画像捕捉デバイスは、他のオプションの中でもとりわけ、カメラ(例えば、カメラ130)、カメラシステム(例えば、カメラシステム400)、および/または画像センサ(例えば、
図4Aの画像センサ406)であり得るか、そうでなければそのように称され得る。さらに、画像捕捉デバイスは、とりわけ、本明細書で説明される配置を使用するなど、任意の実現可能な方法で車両に結合され得る。
【0083】
いくつかの状況では、前述のように、画像捕捉デバイスによって捕捉される画像の品質は、画像捕捉デバイスが遭遇する太陽光により低下し得、これは、車両の自律動作のための根拠として使用されるのに十分な品質の画像データを画像捕捉デバイスが生成することを妨げ得る。多くの場合、このような画質の劣化は、太陽が画像捕捉デバイスの視野内にある状況で、特に太陽が画像捕捉デバイスの視点から、画像が捕捉されるべき目標物体に実質的に近接する場合に発生し得る。いずれの場合でも、太陽光は、様々な方法で画像(複数可)の品質を低下させ得る。
【0084】
例えば、画像捕捉デバイスは、過剰な光が画像に明るいパッチ(例えば、所与のピクセルでの大きな電荷による、画像で捕捉される光源からの光の縞)をもたらし得る現象であるブルーミングに遭遇し得る。別の例では、画像捕捉デバイスは、設計で意図されていなかった方法で画像捕捉デバイスの光学システムを通って移動する光(例えば、いくつかの波長で測定される信号を増加させる偽の光)である迷光に遭遇し得る。さらに別の例では、画像捕捉デバイスは、一般的に、高強度の光が画像での特徴の可視性を損なう現象であるグレアに遭遇し得る。さらに別の例では、画像捕捉デバイスは、画像捕捉デバイスの光学システムで光が散乱または輝き、それによって、画像に望ましくない影響をもたらす現象であるレンズフレアに遭遇し得る。さらに他の例では、画像捕捉デバイスは、他の可能性の中でもとりわけ、過飽和、過度露光、露光不足(例えば、太陽光トリガの自動露光設定による画像での関心のある領域の露光不足)、および/または画像解像度の劣化に遭遇し得る。
【0085】
図5A~
図5Bは、自律車両の画像捕捉デバイスが車両の自律動作のための根拠として使用されるのに十分な品質の画像を捕捉することを太陽光が妨げ得る状況の例を示す。
【0086】
図5Aは、車両200が交通信号機502を有する交差点500に到達する状況を示す。この状況では、車両200のコンピューティングシステムは、交差点500の画像(複数可)を捕捉するように、センサユニット202の前向きカメラなどの画像捕捉デバイスを操作し得る。画像(複数可)が捕捉されると、コンピューティングシステムは、交通信号機502の色または状態を判定するための根拠として、したがって、車両が交差点500で実行すべきその後の自律動作を判定するための根拠として、捕捉された画像(複数可)を使用することを試み得る。例えば、
図5Aに示されるように、交通信号機502の上部の光(例えば、赤色光)が発光しているが、交通信号灯502の中央および下部の光が発光しておらず、それによって、車両(複数可)が交差点500のその部分で停止すべきであるという指標として役割を果たす。したがって、コンピューティングシステムは、交通信号機502の上部の光が発光しているかどうか、したがって、コンピューティングシステムが交差点500で停止するように車両200を操作すべきかどうかを判定するための根拠として、捕捉された画像(複数可)を使用することを試み得る。
【0087】
しかしながら、残念ながら、車両の画像捕捉デバイスの視点からの太陽504の位置は、交通信号機502の色または状態を判定するための根拠として使用されるのに十分な品質である交通信号機502の画像を画像捕捉デバイスが捕捉することを妨げ得る。特に、示されるように、太陽504は、画像捕捉デバイスの視点から(例えば、センサユニット202の前向きカメラの視野で)、交通信号機502に実質的に近接するかまたは後ろに位置付けられている。この状況は、画像捕捉デバイスに、他のオプションの中でもとりわけ、ブルーミングをもたらし、および/または画像解像度を低下させるのに十分な強度の太陽光に遭遇させ得る。その結果、画像捕捉デバイスは、交通信号機502の色または状態を判定するための根拠として使用されるのに十分な品質である交通信号機502の画像(複数可)を捕捉することができない場合がある。
【0088】
例えば、
図5Bは、上述の状況の間に車両の画像捕捉デバイスによって捕捉された画像506の例を示す。示されるように、交通信号機502は、太陽504が画像捕捉デバイスの視野に位置付けられ、画像捕捉デバイスの視点から交通信号機502の後ろかまたは実質的に近接して位置付けられることによってもたらされる画像アーチファクト508により画像506で完全には見えない。したがって、コンピューティングシステムが、交通信号機502の色または状態を判定するための根拠として捕捉された画像506を使用することを試みる場合、コンピューティングシステムは、交通信号機502の上部の光が発光していることを判定するための根拠として画像506を使用することができない場合がある。その結果、コンピューティングシステムは、交通信号機の状態を十分な確信をもって判定することができず、これにより、他の望ましくない結果の中でもとりわけ、交差点500で停止させるように、またはそうでなければ予想されるように車両200をコンピューティングシステムが適時に操作することを妨げ得る場合、車両200が交差点500で停止すべきであることを判定することができないか、車両200が交差点500で停止すべきであることを判定するのに遅延を経験し得るか、または車両がデフォルトとして停止すべきであることを判定し得る。他の例も可能である。
【0089】
太陽光が車両の画像捕捉デバイスによって捕捉されている画像(複数可)の品質を低下させ得る状況を低減または防止するのに役立つ手法が、本明細書で開示される。開示された手法は、具体的には、太陽が車両の画像捕捉デバイスの視野にあり、画像捕捉デバイスの視点からのその視野内の物体に近接する状況を回避するのに役立つ方法で車両をルーティングすることを含み得る。実際には、この手法は、上述の状況(複数可)を回避するルートの事前の判定に備えるように、事前対応の手法であり得る。
【0090】
開示された手法に従って、車両のコンピューティングシステムは、地理的領域に対する太陽の予想位置を判定し得る。一般的に、地理的領域は、地球上の2次元または3次元の空間などの地球上の1つ以上の空間ポイントであり得る。特定の例では、地理的領域は、他のオプションの中でもとりわけ、特定の都市および/または特定の地域であり得る。さらに、地理的領域に対する太陽の位置は、地理的領域での1つ以上の場所の視点からの「空での」太陽の位置であり得る。
【0091】
より具体的には、地理的領域に対する太陽の位置は、様々な方法で定義され得る。例えば、地理的領域での特定の場所が基準ポイントであり得、太陽の位置がその基準ポイントに対する角度のセットとして定義され得る。例として、太陽は、基準ポイントに対する太陽の高度および方位角により定義され得る。高度は、水平線から上の角度を定義し得、ここで、0度(0°)の高度が基準ポイントの視点からのローカルな水平線に対応し、90°の高度が基準ポイントの視点から空に向かって基準ポイントから「垂直」である。一方、方位角は、水平線に沿った角度を定義し得、ここで、0°の方位角が「北」に対応し、方位角の角度が時計回り方式で増加する(例えば、90°が「東」、180°が「南」、270°が「西」である)。したがって、高度および方位角は、所与の場所に対する太陽の位置を説明するために使用され得る。
【0092】
さらに、コンピューティングシステムが地理的領域に対する太陽の予想位置を判定する場合、コンピューティングシステムは、1つ以上の時刻で太陽の予想位置を判定することができる。これらの時刻(複数可)は、他のオプションの中でもとりわけ、日の時刻(複数可)、月の時刻(複数可)、および/または年の時刻(複数可)であり得る。いずれの場合でも、角度のセットが太陽の位置を説明するために使用される場合、角度のそのセットは、所与の時刻での所与の場所に対する太陽の位置を説明し得る。例えば、2016年6月15日の午前7時25分での特定の場所の視点からの太陽の位置は、17°の高度および73.3°の方位角であった。一方、2016年6月15日午前8時10分での同じ特定の場所の視点からの太陽の位置は、25.7°の高度および79.3°の方位角であった。他の例も可能である。
【0093】
これに関して、コンピューティングシステムは、様々な技術を使用して、地理的領域に対する太陽の予想位置を判定し得る。例えば、コンピューティングシステムは、エフェメリスデータを受信および使用して、所与の時刻での所与の場所上の空での太陽の位置を判定することができる。実際には、エフェメリスデータは、1つ以上の時刻に、地理的領域の1つ以上の場所に対する1つ以上の太陽の予想位置に関連し得る。さらに、コンピューティングシステムは、他のオプションの中でもとりわけ、エフェメリスデータについてのアルマナックを含むデータストレージを参照することによって、および/または、アルマナックを含む中央サーバと通信して関与することによって、このようなエフェメリスデータを受信し得る。別の例では、システムは、太陽の位置を画像捕捉デバイスからの画像データに基づいて推定し得る(例えば、太陽の方位角および高さを画像データに基づいて推定し得る)。他の例も可能である。
【0094】
コンピューティングシステムが地理的領域に対する太陽の予想位置を判定すると、(例えば、1つ以上の特定の時刻に)地理的領域内の1つ以上の場所を通る車両の移動により、太陽が画像捕捉デバイスの視点からの画像捕捉デバイスの視野内の物体に近接する結果になると予想されるという判定を行うための根拠として、コンピューティングシステムは少なくとも判定された予想位置を使用することができる。上記の議論に沿って、この判定は、1つ以上の場所を通る車両の移動により、画像デバイスに閾値低画質を有する画像データ(例えば、ブルーミング、過飽和、過度露光、および/または低下解像度に遭遇する画像)を生成させると予想されるという判定に対応し得る。
【0095】
より具体的には、最初の問題として、太陽が画像捕捉デバイスの視点から物体に近接していることは、様々な方法で定義され得る。一例では、太陽および物体の両方が画像捕捉デバイスの視野にある場合、太陽は、画像捕捉デバイスの視野から物体に近接していると考えられ得る。別の例では、太陽が画像捕捉デバイスの視点から物体から閾値距離内の隔たりである(例えば、その視点からデバイスによって捕捉される画像で見ることができるように、太陽の「中心」が、画像捕捉デバイスの視点から物体の「エッジ」から1センチメートル未満の隔たりである)場合、太陽は、画像捕捉デバイスの視点から物体に近接していると考えられ得る。さらに別の例では、太陽の位置が画像捕捉デバイスの視点からの物体の位置と少なくとも部分的に重なる(例えば、太陽が画像捕捉デバイスの視点から物体の後ろにある)場合、太陽は、画像捕捉デバイスの視点から物体に近接していると考えられ得る。他の例も可能である。
【0096】
一般的に、コンピューティングシステムは、様々な技術を使用して、地理的領域に対する太陽の予想位置に基づいて判定を行うことができる。
【0097】
一実装形態では、コンピューティングシステムは、地理的領域での特定の場所(例えば、特定の交差点の特定の部分)に対する太陽の予想位置、ならびに特定の場所に対する物体の既知および/または予想位置を、判定を行うための根拠として使用することができる。一般的に、コンピューティングシステムは、様々な方法で物体の位置を判定または予測することができる。例えば、コンピューティングシステムは、地理的領域での複数の物体のそれぞれの位置を指定する地図を参照し得る。追加的または代替的に、コンピューティングシステムは、物体の空間位置を物体の既知の特性に基づいて予測し得る。例えば、交通信号灯は、特定の高さにあるように規制され得、交差点は、車線の数に応じて特定の幅(複数可)であり得、したがって、コンピューティングシステムは、このような規格に従って交通信号灯の空間位置を予測することができる。いずれの場合でも、コンピューティングシステムは、物体の位置を太陽の予想位置と比較することができ、比較に基づいて判定を行うことができる。
【0098】
一例として、コンピューティングシステムは、特定の交差点の特定の部分での特定の空間位置(例えば、交差点の特定の側での特定の車線の上の特定の高さ)に対する所与の時刻での太陽の予想位置が2°の高度および90°の方位角であることを判定することができ、これは、太陽が、交差点の特定の部分での特定の空間位置の視点から、東にあり実質的にローカルな水平線にあることを意味する。加えて、コンピューティングシステムは、交差点での交通信号機が特定の交差点の特定の部分に対して88°の方位角に位置付けられていることを判定することができ、また、交差点でのほとんどの物体がローカルな水平線にある可能性が高いため、交通信号機が交差点の特定の部分での特定の空間位置の視点からローカルな水平線に位置付けられていることを判定することができる。
【0099】
したがって、この例では、コンピューティングシステムは、(i)太陽および交通信号機の両方が、所与の時刻に交差点の特定の部分での特定の空間位置の視点からローカルな水平線にあると予想され、(ii)交通信号機の88°の方位角と太陽の90°の方位角との間の方位角差が、所与の時刻に交差点の特定の部分での特定の空間位置の視点から閾値差(例えば、4°未満である方位角差)未満であると予想されるという判定を行うことができる。また、この判定は、画像捕捉デバイスが実質的に特定の空間位置にあり交通信号機に向けられていると予想される状態で、所与の時刻に交差点の特定の部分を通る車両のその移動により、太陽が画像捕捉デバイスの視点からの画像捕捉デバイスの視野内の交通信号機に近接する結果になると予想されるという判定に対応し得る。他の例も可能である。
【0100】
いくつかの実装形態では、太陽の予想位置および物体の既知の位置に加えて、コンピューティングシステムはまた、上述の判定を行うために他のパラメータを使用することができる。
【0101】
ある場合では、コンピューティングシステムは、地理的領域での1つ以上の場所を通る車両の移動中に、画像捕捉デバイスの予想配向(複数可)および/または予想位置(複数可)を判定することができる。コンピューティングシステムは、配向(複数可)および/または位置(複数可)を、(i)(例えば、道路形状および/または道路上の移動の方向に従う)地理的領域での1つ以上の場所を通る車両の移動中の車両の配向(複数可)および/または位置(複数可)、ならびに(ii)車両に対する画像捕捉デバイスの配置(例えば、道路に対する画像捕捉デバイスの高さおよび/または車両の中心線に対する画像捕捉デバイスの位置付けオフセット)を指定する格納された情報などに基づいて、様々な方法で判定することができる。いずれの場合でも、コンピューティングシステムは、判定を行うためのさらなる根拠としてこれらの予想配向(複数可)および/または位置(複数可)を、使用することができる。
【0102】
例えば、コンピューティングシステムは、画像捕捉デバイスの視野が車両の移動の前方方向に対応する方向に配向されていること、および画像捕捉デバイスが、車両が移動している地表面の上の1.2メートルの高さで車両のルーフに位置付けられていることを判定することができる。次いで、車両の移動の方向に対する画像捕捉デバイスの配向、および交通信号機の上述の既知の位置に基づいて、コンピューティングシステムは、交差点の特定の部分を通り交通信号機に向かう車両の移動が、交通信号機が画像捕捉デバイスの視野にあるということをもたらすと予想されることを判定することができる。加えて、特定の部分(例えば、特定の部分の地表面の上の1.2メートル)に対する画像捕捉デバイスの予想位置、および特定の部分に対する交通信号機の既知の位置に基づいて、コンピューティングシステムは、画像捕捉デバイスに対する交通信号機の予想位置を判定することができる。さらに、特定の部分に対する画像捕捉デバイスの予想位置、および特定の部分に対する太陽の予想位置に基づいて、コンピューティングシステムは、画像捕捉デバイスに対する太陽の予想位置を判定することができる。したがって、コンピューティングシステムは、交通信号機が画像捕捉デバイスの視野にあると予想されることを判定することによって、および画像捕捉デバイスに対する交通信号機の予想位置が画像捕捉デバイスに対する太陽の予想位置から閾値距離内の隔たりであることを判定することによって、上述の判定を行うことができる。他の例も可能である。
【0103】
別の場合では、コンピューティングシステムは、地理的領域での1つ以上の場所を通る車両の移動中に、画像捕捉デバイスに対する物体の予想配向(複数可)を判定することができる。コンピューティングシステムは、地理的領域での複数の物体のそれぞれの配向を指定する地図を参照することなどによって、様々な方法で配向(複数可)を判定することができる。したがって、地理的領域での場所に対する(またはより具体的には画像捕捉デバイスに対する)物体の位置を考慮することに加えて、またはその代わりに、コンピューティングシステムは、判定を行うためのさらなる根拠として物体の予想配向(複数可)を使用することができる。すなわち、コンピューティングシステムは、物体の特定の部分が視野内にあると予想されるかどうか、したがって、太陽が画像捕捉デバイスの視点からその特定の部分に近接すると予想されるかどうかをより具体的に判定することができる。
【0104】
例えば、コンピューティングシステムは、交通信号機の光が特定の部分に向けられていることを判定することなどによって、交差点の特定の部分に対する交通信号機の配向を判定することができる。交通信号機の光が特定の部分に向けられていることの判定、および交通信号機が画像捕捉デバイスの視野にあると予想されることの判定に基づいて、コンピューティングシステムは、交通信号機の光が画像捕捉デバイスの視野にあると予想されることを判定することができる。したがって、太陽が画像捕捉デバイスの視点から交通信号機に近接すると予想されることを判定することによって、および交通信号機の光が画像捕捉デバイスの視野にあると予想されることを判定することによって、コンピューティングシステムは、太陽が画像捕捉デバイスの視点から交通信号機の光に近接すると予想されることをより具体的に判定し得る。一般的に、この判定は、所与の時刻に交差点の特定の部分を通る車両の移動により、コンピューティングシステムが交通信号機の光によって表される色または状態を判定することを可能にする画像(複数可)を画像捕捉デバイスが取得することを妨げると予想されるという判定に対応し得る。他の例も可能である。
【0105】
さらに別の場合では、コンピューティングシステムは、画像捕捉デバイスの1つ以上のパラメータを判定することができる。コンピューティングシステムは、そのパラメータ(複数可)を取得するために画像捕捉デバイスと通信して関与することなどによって、様々な方法でこのようなパラメータ(複数可)を判定することができる。したがって、コンピューティングシステムは、判定を行うためのさらなる根拠としてこれらのパラメータ(複数可)を使用することができる。
【0106】
例えば、コンピューティングシステムは、画像捕捉デバイスが特定の幅の視野を有する「広角」カメラであることを判定することなどによって、画像捕捉デバイスの全体的な視野を判定することができる。この全体的な視野は、追加の要素であり得、これに基づいて、コンピューティングシステムは、交差点の特定の部分を通る車両の移動中に交通信号機が画像捕捉デバイスの視野内にあると予想されることを判定することができる。例えば、コンピューティングシステムは、広角カメラの特定の幅が、交差点の特定の部分を通る車両の移動中に交通信号機がカメラの視野内にあるということをカメラがもたらすことを可能にするのに十分大きいことを判定することができる。いずれの場合でも、コンピューティングシステムが、交通信号機が画像捕捉デバイスの視野内にあると予想されることを判定する際の追加の要素として全体的な視野を使用できることを考慮し、上述の判定が、物体が視野内にあると予想されるとコンピューティングシステムが判定することに少なくとも部分的に基づくものであることを考慮すると、したがって、全体的な視野は、問題の判定を行うための追加の要素として役割を果たし得る。他の例も可能である。
【0107】
さらに別の場合では、コンピューティングシステムは、問題の物体(例えば、交通信号機)付近の他の物体(複数可)に関連する特性(複数可)を判定することができ、判定を行うためのさらなる根拠としてこれらの特性(複数可)を使用することができる。例えば、コンピューティングシステムは、地図データを使用して、付近の他の物体を識別し、所与の物体の位置、配向、および/または高さなど、これらの他の物体の特性を判定することができる。また、コンピューティングシステムは、判定を行うプロセスの一部としてこれらの特性を評価することができる。
【0108】
例えば、コンピューティングシステムは、地理的領域内の特定の場所を通る車両の移動により、太陽が画像捕捉デバイスの視点からの画像捕捉デバイスの視野内の交通信号機に近接する結果になると予想されるという判定を行うことができる。しかし、コンピューティングシステムはまた、交通信号機付近の木が、画像捕捉デバイスの視点から太陽を遮ることになり、それによって上述の問題を防止する位置および高さであることを判定し得る。代替的に、コンピューティングシステムは、交通信号機付近の木が、画像捕捉デバイスの視点から太陽を遮ることにならず、それによって判定が有効であることを判定し得る位置および高さであることを判定し得る。他の例も可能である。
【0109】
さらに別の場合では、コンピューティングシステムは、以前に行われた判定に関連する履歴データに基づいて問題の判定を行うことができる。例えば、コンピューティングシステムは、地理的領域内の特定の場所を通る車両の移動により、太陽が特定の位置にあるとき、太陽が画像捕捉デバイスの視点からの画像捕捉デバイスの視野内の物体に近接する結果になることを以前に判定している場合がある。したがって、太陽が特定の位置にあるか、または特定の位置にあると予想されることをコンピューティングシステムが再び判定する場合、コンピューティングシステムは、特定の場所を通るその移動により、太陽が画像捕捉デバイスの視点からの画像捕捉デバイスの視野内の物体に再び近接する結果になると予想されるという別の判定を行うための根拠として以前の判定を使用し得る。
【0110】
さらに別の場合では、コンピューティングシステムは、地理的領域での表面高さを示す高さデータに基づいて問題の判定を行うことができる。例えば、コンピューティングシステムは、高さデータを利用して、地理的領域での特定の場所を通って移動するときに車両が有する空間配向を判定し得る。また、判定された車両の空間配向に少なくとも基づいて、コンピューティングシステムは、本明細書で論じられるような判定を行う際の要素としてコンピューティングシステムによって使用され得る、画像捕捉デバイスの配向を判定することができる。他の場合および例も可能である。
【0111】
コンピューティングシステムが、地理的領域内の1つ以上の場所を通る車両の移動により、太陽が画像捕捉デバイスの視点からの画像捕捉デバイスの視野内の物体に近接する結果になると予想されるという判定を行うと、コンピューティングシステムは、問題の1つ以上の場所を通る車両の移動を回避する地理的領域での車両のためのルートを生成することによって判定に応答し得る。一般的に、ルートは、他の可能性の中でもとりわけ、地理的領域での第1の場所から第2の場所への車両のための運転経路として定義され得る。
【0112】
より具体的には、コンピューティングシステムが、所与の時刻に地理的領域での特定の場所を通る車両の移動が、太陽が画像捕捉デバイスの視野内の物体に近接することをもたらすと予想されることを判定する場合、コンピューティングシステムは、それに応じて所与の時刻に特定の場所を通る車両の移動を防止するような動作を実行し得る。例えば、コンピューティングシステムが特定のルート計画アルゴリズムを実行して車両のためのルートを判定すると仮定すると、コンピューティングシステムは、車両が所与の時刻に回避すべき場所として特定の場所を指定するルート計画アルゴリズムに「回避」制約を追加し得る。したがって、ルート計画アルゴリズムは、回避制約を満たしながら、ルートを1つ以上の要素に基づいて判定し得る。例えば、ルート計画アルゴリズムは、ルートを、目標場所への(すなわち、車両が移動する距離に関する)最短可能ルートであるルート、および所与の時刻に特定の場所を通る車両の移動を回避するルートに基づいて判定し得る。他の例も可能である。
【0113】
これに関して、コンピューティングシステムが1つ以上の場所を通る車両の移動を回避するルートを生成するとき、これらの1つ以上の場所は、様々な形態を取ることができる。一例では、1つ以上の場所は、特定の交通車線の一部を含み得、したがって、コンピューティングシステムは、その特定の交通車線の少なくともその一部を通る車両の移動を回避するルート(例えば、その一部を通る移動を回避する特定の交通車線内の車両のわずかな動き)を生成し得る。別の例では、1つ以上の場所は、特定の道路の一部を含み得、したがって、コンピューティングシステムは、その特定の道路の少なくともその一部を通る車両の移動を回避するルートを生成し得る。さらに別の例では、上で提供された例に沿って、1つ以上の場所は、特定の交差点の一部を含み得、したがって、コンピューティングシステムは、その特定の交差点の少なくともその一部を通る車両の移動を回避する(例えば、停止線の3メートル手前で車両を停止させる)ルートを生成し得る。他の例も可能である。
【0114】
問題の1つ以上の場所を通る車両の移動を回避する地理的領域での車両のためのルートをコンピューティングシステムが生成すると、コンピューティングシステムは、生成されたルートに従って移動するように車両を操作し得る。そうすることで、コンピューティングシステムは、太陽が画像捕捉デバイスの視点からの画像捕捉デバイスの視野内の物体に近接する状況を防止するのに役立ち得る。このようにして、コンピューティングシステムは、画像捕捉デバイスが遭遇する太陽光により画像データの品質が低下する状況を低減または防止し得る。また次に、コンピューティングシステムは、車両を操作するための(例えば、画像データに基づいて検出される物体を考慮しながら車両をナビゲートするための)根拠としてコンピューティングシステムが使用するのに十分な品質である画像データを画像捕捉デバイスが生成する可能性を増加させ得る。
【0115】
次に、
図6A、
図6B、および
図6Cは、画像捕捉デバイスの視点からの画像捕捉デバイスの視野で、太陽が物体に近接すると予想される場所(複数可)を通る移動を車両がどのように回避することができるかを示す。特に、
図6Aは、地理的領域600に対する太陽504の位置を示し、地理的領域600が複数の道路、複数の交通信号機(例えば、交通信号機502)、および車両200が移動すると予想される目標場所602を含むことを示す。次に、
図6Bは場所606および608を示し、ここで、これらの場所のうちの1つを通る車両200の移動が、太陽504が画像捕捉デバイスの視点からの車両200の画像捕捉デバイスの視野内の交通信号灯に近接することをもたらすと予想される。例えば、交通信号灯502に対する太陽504の位置が与えられると、地理的領域600での場所606を通る車両202の移動は、太陽504が画像捕捉デバイスの視点からの車両200の画像捕捉デバイスの視野内の交通信号灯502に近接することをもたらすと予想される。最後に、
図6Cは、場所606および608を通る車両の移動を回避する、目標場所602への車両のためのルート610を示す。したがって、このルート610を通る車両の移動は、太陽504が画像捕捉デバイスの視点からの車両200の画像捕捉デバイスの視野内の交通信号灯に近接する状況を低減または防止するのに役立ち得る。他の図も可能である。
【0116】
さらに、いくつかのシナリオ(複数可)では、車両は、それでもなお、太陽が画像捕捉デバイスの視点からの画像捕捉デバイスの視野内の物体に近接する状況に遭遇し得る。一般的に、この物体は、問題のルートを生成するためのトリガとして役割を果たした上述の判定中に評価された物体と同じかまたは異なり得る。いずれの場合も、これらのシナリオ(複数可)は、様々な理由で発生し得る。
【0117】
例えば、上述の場所(複数可)を通る車両の移動を完全に回避する実現可能なルートがなく、したがって、車両がそれらの場所(複数可)を通って移動することになり得るシナリオが発生し得る。その結果、車両は依然として、太陽が画像捕捉デバイスの視点からの画像捕捉デバイスの視野内の物体に近接する状況に遭遇し得る。
【0118】
別の例では、例えば、いくつかの物体の位置が、コンピューティングシステムが参照する地図で指定されない場合があるため、コンピューティングシステムは、地理的領域でのすべての物体のそれぞれの位置を判定することができない場合がある。また、コンピューティングシステムがいくつかの物体のそれぞれの位置を判定することができないため、所与の時刻に所与の場所を通る車両の移動が、太陽が画像捕捉デバイスの視点からの画像捕捉デバイスの視野でのそれらの物体のうちの所与の1つに近接することをもたらし得ることをコンピューティングシステムは判定することができない場合がある。その結果、生成されたルートに従う車両の移動中、たとえコンピューティングシステムがその状況を回避するのに役立つように試みてルートを生成したとしても、太陽は依然として、画像捕捉デバイスの視点からの画像捕捉デバイスの視野での物体に近接することになり得る。他の例も可能である。
【0119】
これを前提として、本開示によれば、コンピューティングシステムは、これらのシナリオ(複数可)で発生し得るいかなる問題も克服するのに役立つバックアップ手法を事前にまたは事後に実行することができる。特に、バックアップ手法は、太陽が画像捕捉デバイスの視点からの画像捕捉デバイスの視野内の物体に近接していることを判定し、画像捕捉デバイスの視点からの画像捕捉デバイスの視野での太陽の少なくとも一部を遮るように光制御機能を使用することなどによって、画像捕捉デバイスが遭遇する光の範囲を制御するための光制御機能をそれに応じて使用するコンピューティングシステムを含み得る。以下で、このバックアップ手法をより詳細に説明する。
【0120】
V.車両の画像捕捉デバイスが遭遇する光の範囲の制御
前述のように、太陽が画像捕捉デバイスの視点からの画像捕捉デバイスの視野内の物体に近接する状況に車両がそれでもなお遭遇する場合などに、コンピューティングシステムは、バックアップ手法を事前にまたは事後に実行することができる。このバックアップ手法は、太陽が画像捕捉デバイスの視点からの画像捕捉デバイスの視野内の物体に近接していることを判定し、画像捕捉デバイスが遭遇する光の範囲を制御するための光制御機能をそれに応じて使用するコンピューティングシステムを含み得る。
【0121】
より具体的には、車両は、画像捕捉デバイスが遭遇する光の範囲を事前にまたは事後に制御するために、コンピューティングシステムによって調整可能である光制御機能を装備され得る。特定の光制御機能が本明細書で例として説明されるが、他の光制御機能も同様に、本開示の範囲から逸脱することなく可能である。
【0122】
ある場合では、光制御機能は、他の可能性の中でもとりわけ、画像捕捉デバイスの視野に対してなど、画像捕捉デバイスに対して移動可能である機械デバイスであり得る。例えば、本明細書でさらに論じられるように、機械デバイスは、画像捕捉デバイスの視点から外部光源(例えば、太陽)を遮るように画像捕捉デバイスの視野に位置付けられ、それによって、画像捕捉デバイスが遭遇する外部光の範囲を低減することができる。一般的に、任意の実現可能な機械デバイスが使用され得、その機械デバイスは、任意の実現可能な方法で車両に結合され得る。
【0123】
例として、問題の機械デバイスは、雨、雪、氷、および/または破片を(例えば、車両の)風防または風防ガラスから除去するために通常使用されるワイパデバイスなどのワイパであり得る。例えば、ワイパは、一端で枢動するアーム(例えば、金属アーム)を含み得、また、アームに取り付けられたワイパブレード(例えば、ゴムブレード)を含み得る。アームは、アームを移動させるように、車両のコンピューティングシステムによって動作可能であり得るモータ(例えば、電気モータ)によって動力を供給され得る。この配置で、コンピューティングシステムは、例えば、特定のスピードで風防ガラスのガラス上でワイパを前後に移動させることなどによって、任意の実現可能な方法で任意の実現可能なスピードで移動するようにワイパを操作することができる。この例では、ワイパは、様々な方法で車両に結合され得る。
【0124】
一配置では、ワイパは、車両の前方または後方の風防ガラスに近接してなど、車両の風防ガラスに近接して位置付けられ得、また任意で、雨、雪、氷、および/または破片をその風防ガラスから除去するために使用され得る。この配置では、画像捕捉デバイスは、画像捕捉デバイスが風防ガラスを通して車両200の環境の画像を捕捉できるように車両内に位置付けられ得る。その結果、コンピューティングシステムは、ワイパが画像捕捉デバイスに対して移動し、具体的には、画像捕捉デバイスの視野に対して移動するようにワイパを操作することができる。
【0125】
別の配置では、画像捕捉デバイスは、車両に結合されたハウジング内に配置され得、ワイパは、そのハウジングに結合され得るか、そうでなければそのハウジングに近接して位置付けられ得る。例えば、問題のハウジングは、画像捕捉デバイスが位置付けられるセンサユニット(例えば、センサユニット202)の半透明なハウジングであり得る。したがって、画像捕捉デバイスは、ハウジングの半透明な材料を通して車両200の環境の画像を捕捉することができる。それでもなお、この配置では、具体的には、画像捕捉デバイスの視野に対してワイパを移動させるために、コンピューティングシステムが画像捕捉デバイスに対するワイパの動きをもたらすことができる方法で、ワイパがハウジングに結合され得るか、そうでなければハウジングの近くに位置付けられ得る。他の配置も可能である。
【0126】
別の場合では、光制御機能は、調整可能な光透過特性を有する光制御デバイスであり得、コンピューティングシステムは、光制御デバイスを操作することができる。具体的には、光制御デバイスは、画像捕捉デバイスの視野に位置付けられ得、その結果、画像捕捉デバイスは、光制御デバイスを通して車両の環境の画像を捕捉する。この配置で、コンピューティングシステムは、光制御デバイスの光透過特性を調整することができ、したがって、光制御デバイスを通過する光の量を制御することができる。また、光制御デバイスを通過する光の量を制御することによって、コンピューティングシステムは、画像捕捉デバイスが遭遇する光の範囲を効果的に制御し得る。さらに、いくつかの実装形態では、コンピューティングシステムは、光制御デバイスの特定の部分の光透過特性を選択的に調整することができ、これにより、コンピューティングシステムが、画像捕捉デバイスの視野での選択領域から到達する外部光の範囲を効果的に制御することが可能であり得る。
【0127】
この場合では、様々な光制御デバイスのうちの1つ以上が使用され得る。例えば、光制御デバイスは、「スマート」ガラスであり得、その光透過特性は、電圧、光、および/または熱が加えられると変わり得る。とりわけ、スマートガラスは、エレクトロクロミックデバイス、フォトクロミックデバイス、および/またはサーモクロミックデバイスであり得る。エレクトロクロミックデバイスの場合では、例えば、コンピューティングシステムは、電気信号を加えることによってエレクトロクロミックデバイスに光透過特性を変更させ、それによって、通過する光の量を制御することができる。実際には、エレクトロクロミックデバイスの光透過特性を変更することは、エレクトロクロミックデバイスの不透明度を透明状態と色付き(半透明)状態との間で変更することを含み得る。他の例も可能である。
【0128】
さらに、光制御デバイスは、任意の実現可能な方法で車両に結合され得る。例えば、上述のスマートガラスは、車両の風防ガラス内に組み込まれ得るか、そうでなければ置き換えられ得、画像捕捉デバイスは、画像捕捉デバイスがスマートガラスを通して車両200の環境の画像を捕捉できるように車両内に位置付けられ得る。別の例では、スマートガラスは、ハウジングの材料内に組み込まれ得るか、そうでなければ置き換えられ得、画像捕捉デバイスは、画像捕捉デバイスがハウジングでのスマートガラスを通して車両の環境の画像を捕捉できるようにハウジング内に配置され得る。他の例も可能である。
【0129】
上述のように配置されたシステムでは、コンピューティングシステムは、トリガを検出して、光制御機能に対する調整を行うことができる。一般的に、トリガを検出することは、画像捕捉デバイスによって生成される画像データの品質が、画像捕捉デバイスが遭遇するかまたは遭遇すると予想される外部光により閾値品質未満であるか、またはそう予想されるという判定を行うことを含むことができる。コンピューティングシステムは、この判定を様々な方法で行うことができる。
【0130】
ある場合では、コンピューティングシステムは、画像分析技術を使用して、捕捉された画像(例えば、最近捕捉された画像)の特性を評価し、それによって、その画像の品質を効果的に評価することによって上述の判定を行うことができる。例えば、コンピューティングシステムは、例えば、画像が明るい列のピクセルの形態を取る光の縞を含むことを判定することによってなど、捕捉された画像がブルーミングの特性を示すことを判定することによって判定を行うことができる。別の例では、コンピューティングシステムは、捕捉された画像での過飽和を判定することによって判定を行うことができる。別の例では、コンピューティングシステムは、捕捉された画像での露光レベルが第1の閾値露光レベルよりも上であることを判定することによってか、または捕捉された画像での露光レベルが(例えば、第1の閾値露光レベルと同じかまたは異なり得る)第2の閾値露光レベルよりも下であることを判定することによって判定を行うことができる。さらに別の例では、コンピューティングシステムは、捕捉された画像の画像解像度レベルが閾値解像度レベルよりも低いことを判定することによって、判定を行うことができる。他の例も可能である。
【0131】
別の場合では、コンピューティングシステムは、捕捉された画像が物体の検出および/または識別に使用できないことを判定することによって、上述の判定を行うことができる。例えば、画像捕捉デバイスは、車両の環境の画像を捕捉することができ、コンピューティングシステムは、コンピューティングシステムが環境での物体を検出および/または識別するための根拠として使用することができる情報を、その画像を表す画像データが提供しないという特定の判定を行い得る。したがって、この特定の判定は、画像捕捉デバイスによって生成される画像データの品質が、場合によっては、画像捕捉デバイスが遭遇する外部光により閾値品質未満であるという上述の判定に対応し得る。
【0132】
さらに別の場合では、コンピューティングシステムは、画像捕捉デバイス以外の1つ以上のセンサから受信されるセンサデータを評価することによって、上述の判定を行うことができる。例えば、車両は、外部光の強度および到達の方向についての情報を提供する光センサを装備され得、その光センサは、画像捕捉デバイスに実質的に近接して位置付けられ得る。この配置で、コンピューティングシステムは、画像捕捉デバイスに不十分な品質の画像データを生成させると予想されるか、そうでなければそう知られている光の強度/方向を光センサからのデータが表すという特定の判定を行うことができる。したがって、この特定の判定は、画像捕捉デバイスによって生成される画像データの品質が、画像捕捉デバイスが遭遇する外部光により閾値品質未満であるという上述の判定に対応し得る。
【0133】
さらに別の場合では、コンピューティングシステムは、画像捕捉デバイスが十分な品質の画像データを生成できないか、または生成する可能性が低い状況に車両が遭遇したことを判定することによって、上述の判定を行うことができる。例えば、コンピューティングシステムは、光源が画像捕捉デバイスの視野内にあるか、またはそう予想されることを、場合によっては、光源が画像捕捉デバイスの視点から物体に近接しているか、またはそう予想されることを判定することによって、判定を行うことができる。コンピューティングシステムは、様々な方法でそうすることができる。
【0134】
例えば、コンピューティングシステムは、エフェメリスデータを受信および使用して、所与の時刻での所与の場所上の空での太陽の位置を判定することができる。所与の時刻での所与の場所上の太陽の位置が与えられると、コンピューティングシステムは、車両が所与の時刻に地理的領域内の所与の場所で移動しているか、または移動すると予想される場合、画像捕捉デバイスの視野に対する太陽の位置を判定または予測することができる。したがって、コンピューティングシステムは、この手法を使用して、太陽が画像捕捉デバイスの視野内にあるか、またはそう予想されることを判定または予測することができる。さらに、所与の場所での物体(例えば、交通信号機)の既知の場所に基づいて、コンピューティングシステムは、太陽が画像捕捉デバイスの視点から、問題の物体に近接している、または近接している可能性が高いことをさらに判定することができる。他の例も可能である。
【0135】
さらに別の場合では、コンピューティングシステムは、車両の場所が、画像捕捉デバイスが十分な品質の画像データを生成するのに特に重要であるものであることを判定することによって、上述の判定を行うことができる。これを容易にするために、例えば、コンピューティングシステムは、それぞれが「重要な場所」として指定された場所のリスト(例えば、交差点のリスト)を有し得、コンピューティングシステムは、このリストを参照して、光制御機能が調整されるべき場所に車両がいることを判定することができる。したがって、車両の判定された場所は、効果的に、光制御機能に対する調整を行うためのトリガであり得る。他の場合も可能である。
【0136】
コンピューティングシステムが光制御機能に対する調整を行うためのトリガを検出すると、コンピューティングシステムは、それに応じて、光制御機能に対する調整を行うことができる。一般的に、コンピューティングシステムは、画像捕捉デバイスが遭遇するか、または遭遇すると予想される外部光の範囲を制御するようにこの調整を行うことができる。例えば、調整を行うことは、画像捕捉デバイスが遭遇するか、または遭遇すると予想される外部光の範囲を減少させるように行われ得る。これは、例えば、画像捕捉デバイスが比較的高い範囲の外部光に遭遇するか、または遭遇すると予想される状況で有用であり得る。別の例では、調整を行うことは、画像捕捉デバイスが遭遇するか、または遭遇すると予想される外部光の範囲を増加させるように行われ得る。これは、例えば、画像捕捉デバイスが比較的低い範囲の外部光に遭遇するか、または遭遇すると予想される状況で有用であり得る。それでもなお、調整が、様々な方法で実行され得る。
【0137】
一実装形態では、光制御機能に対する調整は、所定の調整であり得る。例えば、コンピューティングシステムは、所定の光透過特性を示すように光制御デバイスを調整することができ、および/または画像捕捉デバイスに対して(例えば、画像捕捉デバイスの視野に対して)所定の位置(複数可)へ機械デバイスを移動させることができる。この実装形態では、所定の調整は、遭遇する外部光の範囲に、十分な画質につながるのに役立ち得る特性(例えば、強度)を示させるように配置され得る。例えば、光制御機能は、他のオプションの中でもとりわけ、ブルーミングおよび/または飽和を防止するのに役立つことが分かっている所定の設定に調整され得る。他の例も可能である。
【0138】
別の実装形態では、光制御機能に対する調整は、1つ以上の要素に基づき得る。例えば、コンピューティングシステムは、光制御デバイスの光透過特性を1つ以上の要素に基づいて調整することができ、および/または1つ以上の要素に基づいて選択される位置(複数可)へ機械デバイスを移動させることができる。一般的に、様々な要素(複数可)が、調整のための根拠として使用され得る。
【0139】
ある場合では、光制御機能に対する調整は、画像捕捉デバイスの視点からの外部光源の位置に基づき得る。特に、コンピューティングシステムは、他のオプションの中でもとりわけ、光センサからのデータを評価すること、最近捕捉された画像を評価すること、および/または(外部光源が太陽であると仮定すると)エフェメリスデータを評価することなどによって、画像捕捉デバイスの視点からの外部光源の位置を判定または推定することができる。次いで、コンピューティングシステムは、光制御機能を、外部光源の判定された位置に基づいて調整することができる。
【0140】
例えば、コンピューティングシステムは、画像捕捉デバイスの視点から、外部光源の判定された位置と少なくとも部分的に重なる位置へ機械デバイスを移動させ、それによって、画像捕捉デバイスの視点から外部光源を少なくとも部分的に機械デバイスに遮らせることができる。別の例では、コンピューティングシステムは、画像捕捉デバイスの視点から、外部光源の判定された位置と少なくとも部分的に重なる光制御デバイスの一部を選択することができ、次いで、選択された部分の光透過特性を調整し(例えば、選択された部分の不透明度を色付き状態に変更し)、それによって、画像捕捉デバイスの視点から外部光源を少なくとも部分的に遮ることができる。他の例も可能である。
【0141】
別の場合では、光制御機能に対する調整は、画像捕捉デバイスによって生成される画像データの品質を閾値品質よりも高くすることに基づき得る。特に、コンピューティングシステムは、遭遇する外部光の範囲に、特定の目標結果につながる特性(例えば、強度)を示させるように光制御機能を調整することができる。一般的に、これらの結果は、(i)捕捉された画像(複数可)がブルーミングの特性を示すのを防止すること、(ii)捕捉された画像(複数可)が飽和の特性を示すのを防止すること、(iii)捕捉された画像(複数可)での露光レベルを上述の第1の閾値露光レベルよりも下であるレベルなどまで減少させること、(iv)捕捉された画像(複数可)での露光レベルを、上述の第2の閾値露光レベルよりも上であるレベルなどまで増加させること、および/または(v)捕捉された画像(複数可)での画像解像度を、上述の閾値解像度レベルよりも高いレベルなどまで増加させることを含み得る。
【0142】
例として、コンピューティングシステムは、例えば、第1の閾値露光レベルよりも下であるレベルなどまで画像(複数可)での露光レベルが減少すべきであることを判定することができる。コンピューティングシステムは、最近捕捉された画像(複数可)を評価し、最近捕捉された画像(複数可)での露光レベルが第1の閾値露光レベルよりも上であることを判定することなどによって、様々な方法でこの目標結果を判定することができる。それでもなお、この例では、画像データの品質を閾値品質よりも高くすることは、捕捉される画像(複数可)の露光レベルを、場合によっては、第1の閾値露光レベルよりも下であるレベルまで減少させる目標結果に対応する。したがって、コンピューティングシステムは、具体的には、捕捉された画像(複数可)での露光レベルを減少させる設定、場合によっては、露光レベルを第1の閾値露光レベルよりも下にする設定に光制御機能を調整することができる。例えば、コンピューティングシステムは、露光レベルを減少させるように光制御デバイスの不透明度を変更することができ、場合によっては、露光レベルを第1の閾値露光レベルよりも下にする範囲で不透明度を変更することができる。他の例も可能である。
【0143】
いずれの実装形態でも、コンピューティングシステムは、車両の自律動作のための根拠として使用されるのに十分な品質である少なくとも1つの画像を理想的に取得するように、調整中に画像データを生成するように画像捕捉デバイスを操作することができる。特に、コンピューティングシステムは、調整中に複数の画像を捕捉するように画像捕捉デバイスを操作することができる。また、複数の画像が捕捉されることを考慮すると、それらの画像のうちの少なくとも1つが十分な品質である可能性が増加し得る。例えば、本明細書で論じられる他の考慮の中でもとりわけ、画像がブルーミングの特性を示さない場合、および/または重要な物体(複数可)が画像で見ることができる場合、画像は十分な品質であると考えられ得る。それでもなお、捕捉された画像のうちの少なくとも1つが十分な品質になると仮定すると、コンピューティングシステムは、車両を操作するための根拠として、その画像に対応する少なくとも画像データを使用することができる。
【0144】
特定の例では、コンピューティングシステムが複数の画像を捕捉するように画像捕捉デバイスを操作する間に、コンピューティングシステムは、画像捕捉デバイスの視野にわたってワイパを漸進的に移動させることができる。次に、これにより、複数の画像がそれぞれ、画像捕捉デバイスの視野内の異なる位置でワイパを示すことになり得る。この例では、複数の画像の中から少なくとも1つの特定の画像は、ワイパが画像捕捉デバイスの視野で外部光源(例えば、太陽)の少なくとも一部を遮るものであり得る。理想的には、その特定の画像はまた、物体(複数可)(例えば、交通信号機(複数可))が見えるものであり得る。例えば、特定の画像は、重要な物体が(i)特定の画像の視点からワイパによって遮られておらず、(ii)コンピューティングシステムによる特定の画像の評価を通じて検出可能および/または識別可能であるものであり得る。したがって、コンピューティングシステムは、車両を操作するための根拠として少なくとも特定の画像を使用することができる。他の例も可能である。
【0145】
図7A~
図7Bおよび
図8は、自律車両200の画像捕捉デバイスが遭遇する太陽光の範囲を制御するための光制御機能(複数可)の使用を示す。
【0146】
図7Aは、自律車両200の画像捕捉デバイスが遭遇する太陽光の範囲を制御するためのワイパ702の使用を示す。次いで、
図7Bは、ワイパ702の使用により十分な品質になった捕捉された画像700を示す。
【0147】
示されるように、コンピューティングシステムは、ワイパ702を画像捕捉デバイスの視野内に位置付けさせ、その結果、画像の視点から、ワイパ702は、太陽504を少なくとも部分的に遮り、交通信号機502を遮らない。その結果、太陽504が、画像捕捉デバイスの視野に位置付けられており、かつ画像捕捉デバイスの視点から交通信号機502に実質的に近接して位置付けられているにもかかわらず、ワイパ702のその位置への動きは、画像アーチファクトを防止するのに役立ち、それによって、捕捉された画像700での交通信号機502の十分な可視性につながった。したがって、コンピューティングシステムは、交通信号機502の上部の光が発光しているかどうか、したがって、コンピューティングシステムが交差点500で停止するように車両200を操作すべきかどうかを判定するための根拠として、画像700を使用することができる。
【0148】
同様に、
図8は、自律車両200の画像捕捉デバイスが遭遇する太陽光の範囲を制御するためのエレクトロクロミックデバイス(図示せず)の使用を示す。具体的には、
図8は、エレクトロクロミックデバイスの使用により十分な品質になった捕捉された画像800を示す。すなわち、コンピューティングシステムは、エレクトロクロミックデバイスを通過する光の量を低減し、したがって、画像捕捉デバイスが遭遇する光の範囲を低減するように、エレクトロクロミックデバイスの不透明度を色付き状態に変更した。その結果、太陽504が、画像捕捉デバイスの視野に位置付けられており、かつ画像捕捉デバイスの視点から交通信号機502に実質的に近接して位置付けられているにもかかわらず、エレクトロクロミックデバイスに対するこの調整は、ブルーミングを防止するのに役立ち、それによって、捕捉された画像800での交通信号機502の十分な可視性につながった。したがって、コンピューティングシステムは、交通信号機502の上部の光が発光しているかどうか、したがって、コンピューティングシステムが交差点500で停止するように車両200を操作すべきかどうかを判定するための根拠として、画像800を使用することができる。他の図も可能である。
【0149】
さらなる態様では、捕捉された画像の品質に影響を与えることになる他の状況が発生し得、光制御機能は、それらの他の状況も同様に克服するのに役立ち得る。
【0150】
例として、画像捕捉デバイスは、とりわけ、風防ガラスまたはハウジングのガラスなどの表面を通して環境の画像を捕捉するように配置され得る。しかしながら、残念ながら、表面は、表面を汚染し得る環境の態様(例えば、汚れまたは他の破片の蓄積)に曝され得る。いくつかの場合では、この状況は、画像捕捉デバイスが遭遇する外部光の範囲の大幅な減少をもたらし得、これは、捕捉された画像の品質を大幅に低減し得る。一方、他の場合では、この状況は、画像捕捉デバイスが遭遇する外部光の範囲の大幅な増加をもたらし得、これはまた、捕捉された画像の品質を大幅に低減し得る。いずれの場合でも、コンピューティングシステムは、捕捉された画像を評価して、このような汚染の兆候を検出する(例えば、表面上の汚れの蓄積を識別する)ことができる。また、コンピューティングシステムが汚染の兆候を検出する場合、コンピューティングシステムはそれに応じて、汚染を除去しようとして移動するようにワイパを操作し、それによって、画像捕捉デバイスが遭遇する光の範囲を制御するための別の方法を提供することができる。
【0151】
別の例では、画像捕捉デバイスは、とりわけ、風防ガラスまたはハウジングのガラスなどの表面を通して環境の画像を捕捉するように配置され得る。しかしながら、残念ながら、表面は、損傷を受けることになり得る(例えば、ガラスには、傷が付くかまたは亀裂が入り得る)。実際には、損傷は、表面を通過する光の量を低減することなどによって、画像捕捉デバイスが遭遇する外部光の範囲の大幅な減少をもたらし得、これは、捕捉された画像の品質を大幅に低減し得る。しかし、他の場合では、損傷は、画像センサに達する迷光の量を増加させることなどによって、画像捕捉デバイスが遭遇する外部光の範囲の大幅な増加をもたらし得、これはまた、捕捉された画像の品質を大幅に低減し得る。いずれの場合でも、コンピューティングシステムは、捕捉された画像を評価して、このような損傷の兆候を検出する(例えば、画像捕捉デバイスの視野の外側から到達する迷光を検出する)ことができる。また、コンピューティングシステムが損傷の兆候を検出する場合、コンピューティングシステムはそれに応じて、損傷を軽減しようと試みてワイパを操作することができる。例えば、コンピューティングシステムはそれに応じて、光が問題の表面の損傷部分を通過するのを遮る位置へワイパを移動させ、それによって、画像捕捉デバイスが遭遇する光の範囲を制御するための別の方法を提供することができる。他の例も可能である。
【0152】
VI.例示的方法
図9は、実装形態例による、方法900を示すフローチャートである。
図9に示される方法900(ならびに本明細書で開示される他のプロセスおよび方法)は、例えば、他の可能なシステムの中でもとりわけ、
図1~
図8に示されるシステムのいずれかを含む配置内で(またはより具体的には、プロセッサ、および本明細書で説明される機能をデバイスに実行させるように実行可能な命令を有する非一時的なコンピュータ可読媒体などの、その1つ以上の構成要素またはサブシステムによって)実装され得る方法を提示する。
【0153】
方法900ならびに本明細書で開示される他のプロセスおよび方法は、例えば、ブロック902~908のうちの1つ以上によって示されるような、1つ以上の動作、機能、またはアクションを含み得る。ブロックは、連続した順序で示されているが、これらのブロックはまた、並行して、および/または本明細書で説明されるものとは異なる順序で行われ得る。また、様々なブロックは、より少ないブロックに組み合わされ、追加のブロックに分割され、かつ/または所望の実装に基づいて除去されてもよい。
【0154】
加えて、方法900ならびに本明細書で開示される他のプロセスおよび方法について、フローチャートは、本開示のうちの1つの可能な実装形態の機能および動作を示す。これに関して、各ブロックは、プロセスでの特定の論理機能またはステップを実装するためのプロセッサによって実行可能な1つ以上の命令を含む、モジュール、セグメント、またはプログラムコードの一部を表し得る。プログラムコードは、例えば、ディスクまたはハードドライブを含むストレージデバイスのような任意のタイプのコンピュータ可読媒体に格納することができる。コンピュータ可読媒体は、例えば、レジスタメモリ、プロセッサキャッシュ、およびランダムアクセスメモリ(RAM)のような短期間にデータを格納するコンピュータ可読媒体などの非一時的なコンピュータ可読媒体を含み得る。コンピュータ可読媒体は、例えばリードオンリーメモリ(ROM)、光ディスクまたは磁気ディスク、コンパクトディスクリードオンリーメモリ(CD-ROM)のような補助ストレージまたは永続長期ストレージなどの非一時的なコンピュータ可読媒体を含むこともできる。コンピュータ可読媒体は、任意の他の揮発性または不揮発性ストレージシステムとすることもできる。コンピュータ可読媒体は、例えばコンピュータ可読ストレージ媒体、または有形のストレージデバイスであると考えることができる。加えて、方法900ならびに本明細書で開示される他のプロセスおよび方法について、
図9での各ブロックは、プロセスでの特定の論理機能を行うように配線された回路を表し得る。
【0155】
ブロック902で、方法900は、地理的領域に対する太陽の予想位置を判定するコンピューティングシステムを含み得る。一般的に、コンピューティングシステムは、車両を、車両に結合された画像捕捉デバイスによって生成される画像データに少なくとも基づいて操作するように構成され得る。加えて、ブロック904で、方法900は、地理的領域に対する太陽の予想位置に少なくとも基づいて、コンピューティングシステムによって、地理的領域内の1つ以上の場所を通る車両の移動により、太陽が画像捕捉デバイスの視点からの画像捕捉デバイスの視野内の物体に近接する結果になると予想されるという判定を行うことを含み得る。さらに、ブロック906で、方法900は、判定を行うことに応答して、地理的領域での車両のためのルートを、1つ以上の場所を通る車両の移動を回避するルートに少なくとも基づいて生成することを含み得る。さらには、ブロック908で、方法900は、生成されたルートに従って移動するように車両を操作することを含み得る。
【0156】
VII.例示的なコンピュータプログラム製品
図10は、実装形態例による、コンピュータプログラムの概略図である。いくつかの実装形態では、開示された方法は、機械可読フォーマットの非一時的なコンピュータ可読ストレージ媒体上、または他の非一時的な媒体もしくは製造物品上に符号化されたコンピュータプログラム命令として実装され得る。
【0157】
例示的な実装形態では、コンピュータプログラム製品1000は、信号担持媒体1002を使用して提供され、それは、1つ以上のプロセッサによって実行されるときに、
図1~
図9に関して上記で説明した機能または機能の一部を提供し得る1つ以上のプログラミング命令1004を含み得る。いくつかの例では、信号担持媒体1002は、ハードディスクドライブ、CD、DVD、デジタルテープ、メモリ、遠隔に(例えば、クラウド上に)格納するための構成要素などであるがこれらに限定されない非一時的なコンピュータ可読媒体1006を包含し得る。いくつかの実装形態では、信号担持媒体1002は、メモリ、読み取り/書き込み(R/W)CD、R/WDVDなどであるがこれらに限定されないコンピュータ記録可能媒体1008を包含し得る。いくつかの実装形態では、信号担持媒体1002は、デジタルおよび/またはアナログ通信媒体(例えば、光ファイバケーブル、導波路、有線通信リンク、無線通信リンクなど)などであるがこれらに限定されない通信媒体1010を包含し得る。同様に、信号担持媒体1002は、リモートストレージ(例えば、クラウド)に対応し得る。コンピューティングシステムは、情報を送信または受信することを含めて、情報をクラウドと共有し得る。例えば、コンピューティングシステムは、センサまたは別のエンティティから取得した情報を補強するために、クラウドから追加情報を受信し得る。このため、例えば、信号担持媒体1002は、無線形態の通信媒体1010によって伝達されてもよい。
【0158】
1つ以上のプログラミング命令1004は、例えば、コンピュータ実行可能および/または論理実装された命令であってもよい。いくつかの例では、
図1のコンピュータシステム112、もしくは
図3のリモートコンピューティングシステム302、および、場合によっては、サーバコンピューティングシステム306、または
図4Aのプロセッサのうちの1つなどのコンピューティングデバイスは、コンピュータ可読媒体1106、コンピュータ記録可能媒体1008、および/または通信媒体1010のうちの1つ以上によってコンピュータシステム112に伝達されるプログラミング命令1004に応答して、様々な動作、機能、またはアクションを提供するように構成され得る。
【0159】
非一時的なコンピュータ可読媒体はまた、複数のデータストレージ要素および/またはクラウドの間に(例えば、遠隔で)分散させることもでき、これらは互いに遠隔に配置することができる。格納された命令の一部またはすべてを実行するコンピューティングデバイスは、
図2に図解された車両200などの車両であり得る。代替的に、格納された命令の一部またはすべてを実行するコンピューティングデバイスは、サーバなどの別のコンピューティングデバイスであり得る。
【0160】
上の発明を実施するための形態は、開示されるシステム、デバイス、および方法の様々な特徴および動作を添付の図を参照しながら述べている。本明細書では様々な態様および実施形態が開示されてきたが、他の態様および実施形態は明らかであろう。本明細書に開示される様々な態様および実施形態は、例証を目的とするものであり、限定することを意図するものではなく、真の範囲は、以下の特許請求の範囲によって示される。
【0161】
VIII.結論
図に示されている特定の配置は、限定であると見なされるべきではない。他の実装形態は、所与の図に示される各要素をより多く、またはより少なく含むことができることを理解されたい。さらに、図示の要素のうちのいくつかは、組み合わせることができるか、または省略することができる。さらには、例示的な実装形態は、図に示されていない要素を含んでいてもよい。
【0162】
様々な態様および実装形態が本明細書において開示されているが、他の態様および実装形態は当業者には明らかであろう。本明細書において開示される様々な態様および実装形態は、例示を目的とするものであり、限定することを意図するものではなく、真の範囲および趣旨は、以下の特許請求の範囲により示される。本明細書において提示される主題の趣旨または範囲から逸脱することなく、他の実装形態を利用することができ、他の変更を行うことができる。本明細書で一般的に説明され、かつ図に示されている、本開示の態様は、多種多様な異なる構成で配置、置換、結合、分離、および設計され得、そのすべてが本明細書で企図されることは容易に理解されるであろう。