(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-16
(45)【発行日】2024-07-24
(54)【発明の名称】強い背景光からの飽和を回避し、方向制御を達成するために回転カメラ上のフレーム時間を能動的に調整する、制御ウィンドウカメラの方向付け
(51)【国際特許分類】
H04N 23/71 20230101AFI20240717BHJP
H04N 23/73 20230101ALI20240717BHJP
H04N 23/60 20230101ALI20240717BHJP
【FI】
H04N23/71
H04N23/73
H04N23/60 100
【外国語出願】
(21)【出願番号】P 2022179045
(22)【出願日】2022-11-08
【審査請求日】2023-01-12
(32)【優先日】2021-11-29
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】317015065
【氏名又は名称】ウェイモ エルエルシー
(74)【代理人】
【識別番号】100079108
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100126480
【氏名又は名称】佐藤 睦
(72)【発明者】
【氏名】ブラレイ,コリン
(72)【発明者】
【氏名】サルズベリー,チェイス
(72)【発明者】
【氏名】ファン,ポ-チャオ
【審査官】門田 宏
(56)【参考文献】
【文献】国際公開第2021/134039(WO,A1)
【文献】特表2021-508960(JP,A)
【文献】特表2021-507552(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/222- 5/257
H04N 23/00
H04N 23/40 -23/76
h04N 23/90 -23/959
(57)【特許請求の範囲】
【請求項1】
方法であって
ライダデバイスを使用して、
前記ライダデバイスの回転に従って、前記ライダデバイスの周囲環境の光強度情報を判定することであって、前記光強度情報は、光露出の閾値範囲内の複数の角度を含むことと、
前記光露出の閾値範囲内の前記角度の各々と関連付けられた
前記回転
の時間を判定することと、
前記光露出の閾値範囲内の前記角度の各々と関連付けられた前記回転
の時間に基づいて、複数のターゲット撮像時間を判定することと、
前記ライダデバイスと共に回転するカメラシステムによって、前記複数のターゲット撮像時間において複数の画像を捕捉することと、
を含む、方法。
【請求項2】
前記複数のターゲット撮像時間は、画像読み出しブランクラインを変更することによって調整される、請求項1に記載の方法。
【請求項3】
画像読み出しブランクラインを変更することは、後続の画像フレームの前の画像フレームのカメラ読み出し時間を増加させること、又は前記後続の画像フレームの前の前記画像フレームの前記カメラ読み出し時間を減少させることのうちの少なくとも1つを含む、請求項2に記載の方法。
【請求項4】
前記複数のターゲット撮像時間を判定することは、前記光露出の閾値範囲内の前記複数の角度と関連付けられた前記回転
の時間中に前記複数のターゲット撮像時間を設定することを含む、請求項1に記載の方法。
【請求項5】
前記カメラシステムはストリーミングカメラである、請求項1に記載の方法。
【請求項6】
前記複数の画像に基づいて、前記ライダデバイスが遮蔽されていると判定することを更に含む、請求項1に記載の方法。
【請求項7】
前記光強度情報は、低光露出の複数の角度と高光露出の複数の角度とを含み、前記低光露出及び前記高光露出は、前記周囲環境の背景光輝度を含む、請求項1に記載の方法。
【請求項8】
前記ライダデバイスを使用して、前記ライダデバイスの前記周囲環境の光強度情報を判定することであって、前記光強度情報が、前記光露出の閾値範囲内の前記複数の角度を含むことは、
前記ライダデバイスを使用して、複数の固定サイズのヨーセクタの平均背景光を測定することと、
前記複数の固定サイズのヨーセクタの前記光強度情報を、前記複数の固定サイズのヨーセクタの露出時間に変換することと、
前記複数の固定サイズのヨーセクタのサブセットが前記光露出の閾値範囲内にあると判定することと、を更に含む、請求項1に記載の方法。
【請求項9】
前記複数の角度は、複数のヨー角及び複数の仰角のうちの少なくとも1つを含む、請求項1に記載の方法。
【請求項10】
前記カメラシステムによって、前記ライダデバイスの前記回転がわたる複数の角度を監視することを更に含む、請求項1に記載の方法。
【請求項11】
前記光露出の閾値範囲内の前記角度の各々と関連付けられた前記回転
の時間は、前記ライダデバイスの一定の回転スピードと、前記ライダデバイスの前記回転がわたる前記複数の角度とに基づく、請求項10に記載の方法。
【請求項12】
前記ライダデバイスの前記周囲環境の光強度情報は、前記ライダデバイスの前記周囲環境の複数の角度についての平均輝度を含む、請求項1に記載の方法。
【請求項13】
前記複数の角度における前記角度の各々についての前記平均輝度を露出時間に変換することを更に含む、請求項12に記載の方法。
【請求項14】
前記露出時間で前記複数の画像を捕捉することを更に含む、請求項13に記載の方法。
【請求項15】
前記ライダデバイスを使用して、前記光強度情報が、前記光露出の閾値範囲外の第2の複数の角度を更に含むと判定することと、
前記光露出の閾値範囲外の前記第2の複数の角度の各々と関連付けられた回転
の時間を判定することと、
前記光露出の閾値範囲外の前記第2の複数の角度の各々と関連付けられた前記回転
の時間に基づいて、複数の望ましくない撮像時間を判定することと、
前記複数の望ましくない撮像時間を判定することに応答して、画像読み出しブランクラインを変更することと、を更に含む、請求項1に記載の方法。
【請求項16】
命令が記憶された非一時的コンピュータ可読媒体であって、前記命令は、プロセッサによって実行されると、前記プロセッサに、
ライダデバイスを使用して、
前記ライダデバイスの回転に従って、前記ライダデバイスの周囲環境の光強度情報を判定することであって、前記光強度情報は、光露出の閾値範囲内の複数の角度を含むことと、
前記光露出の閾値範囲内の前記角度の各々と関連付けられた
前記回転
の時間を判定することと、
前記光露出の閾値範囲内の前記角度の各々と関連付けられた前記回転
の時間に基づいて、複数のターゲット撮像時間を判定することと、
前記ライダデバイスと共に回転するカメラシステムによって、前記複数のターゲット撮像時間において複数の画像を捕捉することと、
を含む、方法を実行させる、非一時的コンピュータ可読媒体。
【請求項17】
前記複数のターゲット撮像時間は、画像読み出しブランクラインを変更することによって調整され、画像読み出しブランクラインを変更することは、後続の画像フレームの前の画像フレームのカメラ読み出し時間を増加させること、又は前記後続の画像フレームの前の前記画像フレームの前記カメラ読み出し時間を減少させることのうちの少なくとも1つを含む、請求項16に記載の非一時的コンピュータ可読媒体。
【請求項18】
前記ライダデバイスを使用して、前記ライダデバイスの前記周囲環境の光強度情報を判定することは、
前記ライダデバイスを使用して、複数の固定サイズのヨーセクタの平均背景光を測定することと、
前記複数の固定サイズのヨーセクタの前記光強度情報を、前記複数の固定サイズのヨーセクタの露出時間に変換することと、
前記複数の固定サイズのヨーセクタのサブセットが前記光露出の閾値範囲内にあると判定することと、を更に含む、請求項16に記載の非一時的コンピュータ可読媒体。
【請求項19】
前記複数の角度は、複数のヨー角及び複数の仰角のうちの少なくとも1つを含む、請求項16に記載の非一時的コンピュータ可読媒体。
【請求項20】
光学システムであって、
光学部品と、
撮像光学系を介してシーンから受光するように構成された画像センサと、
撮像ルーチンを実行するように構成されたコントローラと、を備え、前記撮像ルーチンは、
ライダデバイスを使用して、
前記ライダデバイスが回転するに従って、前記ライダデバイスの周囲環境の光強度情報を判定することであって、前記光強度情報は、光露出の閾値範囲内の複数の角度を含むことと、
前記光露出の閾値範囲内の前記角度の各々と関連付けられた回転
の時間を判定することと、
前記光露出の閾値範囲内の前記角度の各々と関連付けられた前記回転
の時間に基づいて、複数のターゲット撮像時間を判定することと、
前記ライダデバイスと共に回転するカメラシステムによって、前記複数のターゲット撮像時間において複数の画像を捕捉することと、
を含む、光学システム。
【発明の詳細な説明】
【背景技術】
【0001】
本明細書において別段の指示がない限り、このセクションで記載される資料は、本出願の特許請求の範囲の先行技術ではなく、このセクションに含めることによって先行技術であると認められるものではない。
【0002】
カメラ及び画像センサは、シーンの画像を捕捉するために使用されるデバイスである。いくつかのカメラ(例えば、フィルムカメラ等)は画像をフィルムに化学的に捕捉する。他のカメラ(例えば、デジタルカメラ等)は(例えば、電荷結合素子(charge-coupled device、CCD)、相補型金属酸化膜半導体(complementary metal-oxide-semiconductor、CMOS)センサ等を使用して)画像データを電気的に捕捉する。カメラによって捕捉された画像は、それらの内容を判定するために分析され得る。例えば、プロセッサは、物体の形状、色、サイズ等を含む、以前に分類された物体のライブラリに基づいてシーン中の物体を識別するために、機械学習アルゴリズムを実行し得る(例えば、そのような機械学習アルゴリズムは、ロボット工学におけるコンピュータビジョン又は他の用途において適用され得る)。
【0003】
カメラは、1つのカメラを別のカメラから区別することができる様々な特徴を有することができる。例えば、カメラ及び/又はカメラによって捕捉された画像は、開口サイズ、f値、露出時間、シャッタースピード、被写界深度、焦点距離、国際標準化機構(International Organization for Standardization、ISO)感度(又はゲイン)、ピクセルサイズ、センサ解像度、露出距離等の値によって識別され得る。これらの特徴は、カメラのレンズ、画像センサ、及び/又は追加のファセットに基づき得る。更に、これらの特徴はまた、単一のカメラ内で調整可能であってもよい(例えば、カメラ上のレンズの開口は、写真間等で調整されることができる)。
【0004】
更に、カメラは、ライダデバイス用途において使用され、任意の汚れ、水、又は他のごみが、ライダを封入するウィンドウ上にあるかどうかを検出し得る。汚れ、水、及び他のごみは、「付着物」と称されることもあり、ライダ読取り値に悪影響を及ぼす可能性がある。他のアーチファクトの中でも、ライダの開口上の付着物は、迷光に起因して、点群における範囲劣化、不正確な測距、及びブルーミングアーチファクトを引き起こす可能性がある。いくつかのシステムは、ライダデバイス上に搭載されたカメラを含む。カメラは、ライダの封入ウィンドウを撮像するライダデバイスの内側に搭載されることができる。このようにして、カメラは、ライダデバイス自体上のあらゆる遮蔽(水、汚れ、ごみ等)を検出するために使用されることができる。
【発明の概要】
【0005】
本明細書に記載される実施形態は、一貫性のない露出を回避するためにフレーム時間を調整することによってカメラの方向を制御するための方法に関し得る。例示的な実施形態は、画像全体にわたって一貫した露出を有するために、ある所定のヨー角及び/又は仰角で画像を撮影するようにプログラムされたカメラシステムに関する。
【0006】
一態様では、方法が提供される。方法は、ライダデバイスを使用して、ライダデバイスの周囲環境の光強度情報を判定することを含む。光強度情報は、光露出の閾値範囲内の複数の角度を含む。方法はまた、光露出の閾値範囲内の角度の各々と関連付けられた回転時間を判定することを含む。更に、方法は、光露出の閾値範囲内の角度の各々と関連付けられた回転時間に基づいて、複数のターゲット撮像時間を判定することを含む。加えて、方法は、カメラシステムによって、複数のターゲット撮像時間において複数の画像を捕捉することを含む。
【0007】
別の態様では、命令が記憶された非一時的コンピュータ可読媒体が提供される。命令は、プロセッサによって実行されると、プロセッサに方法を実行させる。方法は、ライダデバイスを使用して、ライダデバイスの周囲環境の光強度情報を判定することを含む。光強度情報は、光露出の閾値範囲内の複数の角度を含む。方法はまた、光露出の閾値範囲内の角度の各々と関連付けられた回転時間を判定することを含む。更に、本方法は、光露出の閾値範囲内の角度の各々と関連付けられた回転時間に基づいて、複数のターゲット撮像時間を判定することを含む。加えて、方法は、カメラシステムによって、複数のターゲット撮像時間において複数の画像を捕捉することを含む。
【0008】
更なる態様では、光学システムが提供される。光学検出器システムは、光学部品を含む。光学検出器システムはまた、撮像光学系を介してシーンから受光するように構成された画像センサを含む。更に、光学検出器システムは、撮像ルーチンを実行するように構成されたコントローラを含む。撮像ルーチンは、ライダデバイスを使用して、ライダデバイスの周囲環境の光強度情報を判定することを含む。光強度情報は、光露出の閾値範囲内の複数の角度を含む。撮像ルーチンはまた、光露出の閾値範囲内の角度の各々と関連付けられた回転時間を判定することを含む。更に、撮像ルーチンは、光露出の閾値範囲内の角度の各々と関連付けられた回転時間に基づいて、複数のターゲット撮像時間を判定することを含む。加えて、撮像ルトは、カメラシステムによって、複数のターゲット撮像時間において複数の画像を捕捉することを含む。
【0009】
これら並びに他の態様、利点、及び代替形態は、適切な場合には添付の図面を参照して以下の詳細な説明を読むことによって当業者に明らかになるであろう。
【図面の簡単な説明】
【0010】
【
図1】例示的な実施形態による、車両を示す機能ブロック図である。
【
図2A】例示的な実施形態による、車両の物理的構成の図である。
【
図2B】例示的な実施形態による、車両の物理的構成の図である。
【
図2C】例示的な実施形態による、車両の物理的構成の図である。
【
図2D】例示的な実施形態による、車両の物理的構成の図である。
【
図2E】例示的な実施形態による、車両の物理的構成の図である。
【
図3】例示的な実施形態による、自律型車両に関連する様々なコンピューティングシステム間の無線通信の概念図である。
【
図4A】例示的な実施形態による、ライダデバイスを含むシステムのブロック図である。
【
図4B】例示的な実施形態による、ライダデバイスのブロック図である。
【
図5】例示的な実施形態による、環境と相互作用する光学システムの図である。
【
図6A】例示的な実施形態による、ライダデバイスに対する異なる角度における背景光の図である。
【
図6B】例示的な実施形態による、ライダデバイスに対する異なる角度における背景光の図である。
【
図8】例示的な実施形態による、背景光を光露出時間に変換するための図である。
【発明を実施するための形態】
【0011】
例示的な方法及びシステムが本明細書で企図される。本明細書に記載される任意の例示的な実施形態又は特徴は、必ずしも他の実施形態又は特徴よりも好ましい又は有利であると解釈されるべきではない。更に、本明細書に記載される例示的な実施形態は、限定することを意図していない。開示されるシステム及び方法のある態様は、多種多様な異なる構成で配置及び組み合わせることができ、それらの全てが本明細書で企図されることが容易に理解されよう。加えて、図に示された特定の配置は、限定するものとみなされるべきではない。他の実施形態は、所与の図に示される各要素をより多く又はより少なく含み得ることを理解されたい。加えて、図示される要素のうちのいくつかは、組み合わせられてもよく、又は省略されてもよい。更に、例示的な実施形態は、図に示されていない要素を含むことができる。
【0012】
本明細書に記載されるライダデバイスは、1つ以上の発光体と、1つ以上の発光体によって放出され、ライダデバイスの周囲の環境内の1つ以上の物体によって反射される光を検出するために使用される1つ以上の検出器とを含むことができる。一例として、周囲環境は、建物の内部又は建物の外部等の内部環境又は外部環境を含むことができる。追加的又は代替的に、周囲環境は車両の内部を含むことができる。更に、周囲環境は、車道の周り及び/又は上の近傍を含むことができる。周囲環境内の物体の例は、他の車両、交通標識、歩行者、自転車通行者、道路表面、建物、地形等を含むが、これらに限定されない。加えて、1つ以上の発光体は、ライダシステム自体の局所環境内に光を放出することができる。例えば、1つ以上の発光体から放出された光は、ライダシステムのハウジング及び/又はライダシステムに結合された表面若しくは構造と相互作用し得る。また、場合によっては、ライダシステムは、車両に搭載されてもよく、その場合、1つ以上の発光体は、車両の近傍内の物体と相互作用する光を放出するように構成されてもよい。更に、発光体は、他の可能なものの中でもとりわけ、光ファイバ増幅器、レーザダイオード、発光ダイオード(light-emitting diode、LED)を含むことができる。
【0013】
ライダシステムは、画像を捕捉するために使用される複数の部品を含む。例えば、いくつかのライダは、ライダの他の部品を封入及び保護するためのドームを含んでもよく、ライダが外で動作するためのウィンドウを更に含んでもよい。いくつかの例では、ウィンドウは、製造中、組立中、又は通常の使用中に、ごみによる遮蔽、損傷、位置ずれ等が起こり得る。カメラは、任意の汚れ、水、又は他のごみ(例えば、塵、土、泥、昆虫、又は他のタイプの有機若しくは無機物質等)がライダドーム上にあるかどうか、あるいはライダドームが損傷しているか(例えば、亀裂が入っているか、割れているか等)どうかを検出するために、ライダ用途で使用され得る。汚れ、水、及び他のごみは、「付着物」と称されることもあり、ライダ読取り値に悪影響を及ぼす可能性がある。いくつかのシステムは、ライダの封入ドームウィンドウを撮像する、ライダデバイスの内側に搭載されたカメラを含む。そのような構成では、カメラは、ライダ自体上のあらゆる遮蔽物(水、汚れ、他のごみ等)を見ることができる。カメラは、付着物がライダウィンドウの任意の部分を遮蔽しているときを検出するために、ライダと共に回転し得る。カメラは、カメラ、付着物カメラ、又は障害物検出カメラと称され得る。
【0014】
動作中に現在使用されている1つの技法は、システムが回転している間にカメラが可能な限り多くの画像を撮影することである。したがって、画像は異なる角度で撮影される。しかしながら、車両の周囲の環境に依存して、いくつかのヨー角及び仰角で撮影された画像は、露出オーバー又は露出アンダーとなり得る。例えば、晴れた日に自動車がトンネルを出る場合を考える。カメラがトンネルに向かって後方を向いているとき、周囲照明が暗いので、露出アンダーの画像を回避するために、より長い光露出時間を使用すべきである。カメラが太陽に向かって前方を向いているとき、露出オーバーの画像を回避するために、短い光露出時間が使用されるべきである。露出オーバー及び露出アンダーの画像は、更なる計算に使用することができず、したがって使い物にならない。画像の露出量に対処するために自動露出が使用され得るが、視野内に飽和を引き起こす領域を有する場合が依然として存在し得ることに留意されたい。
【0015】
本明細書に提示される例示的な実施形態は、画像全体にわたって一貫した露出を有するために、ある所定のヨー角及び/又は仰角で画像を撮影するようにプログラムされたカメラシステムを提供する。カメラシステムは、画像を捕捉するように構成される、スチルカメラ、ビデオカメラ、熱撮像カメラ、ステレオカメラ、暗視カメラ等の任意のタイプの感光機器であり得る。本技法の方法は、ライダデバイスを利用することによって、視野のどの部分が撮像されるべきでないのかを判定し得る。例えば、車両が動作している間、関連付けられたライダデバイス(障害物検出カメラよりも高いダイナミックレンジを有し得る)は、周囲シーンから情報を収集し得る。周囲シーンは、建物若しくはトンネルの内側、又は建物の外側等の、内部環境又は外部環境を含むことができる。追加的に又は代替的に、周囲シーンは、車道の周り及び/又は上の近傍を含むことができる。周囲環境内の物体の例は、他の車両、交通標識、歩行者、自転車通行者、道路表面、建物、地形等を含み得るが、これらに限定されない。関連するライダデバイスは、固定サイズのヨーセクタ内の周囲シーンから光強度情報を収集することができる。この強度情報は、固定サイズのヨーセクタにおける周囲シーンの輝度(例えば、周囲シーンにおける太陽による背景の輝度等)を示し得る。輝度測定値を使用して、障害物検出カメラの適切な光露出時間を判定することができ、露出時間はカメラのヨー角と共に変化する。例えば、平均輝度は、ヨーセクタごとに計算することができる。次いで、「平均輝度」は、予め計算されたルックアップテーブルを用いて「露出時間」に変換することができる。追加の実施形態では、多項式へのフィッティング等の任意のマッピングを使用して、平均輝度を露出時間に変換することができる。
【0016】
本実施形態では、特定の角度で画像を撮影することは、システムに割り当てられるその時のライダヨー角及び/又は仰角に基づいて、カメラが画像を撮影する時間を能動的に変更することによって達成され得る。ライダソフトウェアは、ライダ角度を追跡することができ、カメラシステムは、次の画像が指定された角度で撮影され得るように、角度を考慮し、撮像時間を能動的に調整することができる。本出願におけるカメラは、典型的にはストリーミングカメラ(すなわち、インターネット等のコンピュータネットワークに、又はそれを介してリアルタイムで画像又はビデオを供給又はストリーミングすることができるカメラ)であるので、角度ロックは、画像読み出しと関連付けられたブランクラインを増加又は減少させることによって達成され得る。ブランクラインは、画像データを含まないが、毎秒フレームを変更するために典型的に使用されるカメラモジュールのパラメータであり得る。具体的には、ブランクラインを調整して画像読み出し時間を長く又は短くすることで、次の画像撮影時に影響を与える。ライン数を増加させることは、カメラ読み出し時間を増加させ、したがって、次のカメラフレーム開始時間を遅延させることになる。ライン数を減少させることは、カメラ読み出し時間を減少させ、したがって、次のカメラフレーム開始時間をスピードアップすることになる。例示的なセンサモデルでは、1つの追加のブランクラインが、次のフレームを54.792マイクロ秒だけ遅延させることができる。このようにして、ライダ回転の一定スピードを想定することによって、画像が撮影される角度は、画像が撮影される時間を操作することによって選択され得る。次いで、画像を使用して、ライダウィンドウが付着物によって遮られているかどうかを判定することができる。代替実施形態では、非ストリーミングカメラを使用して、画像読み出しと関連付けられたブランクラインを増加又は減少させることによって、所定の角度で画像を捕捉することもできる。非ストリーミングカメラは、後で処理される複数の画像を記憶する少なくとも1つのカメラを含むことができる。
【0017】
本明細書に記載されるように、いくつかの実施形態は、ライダデバイスを使用して、ライダデバイスが回転するに従って、ライダデバイスの周囲環境の光強度情報を判定することを含んでもよい。ライダデバイスは、環境の平均背景輝度を判定するために、少なくとも1つの高感度フォトダイオードを含むことができる。平均背景輝度は、高感度フォトダイオードによって感知される平均光露出量を含むことができる。光強度情報は、光露出の閾値範囲内の複数の角度を更に含み得る。光露出の閾値範囲は、所望の露出時間の範囲であり得る。
【0018】
いくつかの実施形態は、方法はまた、光露出の閾値範囲内の角度の各々と関連付けられた回転時間を判定することを含み得る。回転時間は、ライダの一定回転スピードと、ライダデバイスが現在向いている既知の角度とを使用して判定され得る。ライダデバイスの部品は、ライダデバイスが向いている角度を追跡することができる。いくつかの実施形態は、光露出の閾値範囲内の角度の各々と関連付けられた回転時間に基づいて、複数のターゲット撮像時間を判定することを含む。ターゲット撮像時間は、最も望ましい露出中に画像を撮影する目的で判定される。次いで、実施形態は、カメラシステムによって、複数のターゲット撮像時間において複数の画像を捕捉することを含む。次に、複数の画像を使用して、ライダデバイスのウィンドウが遮られているかどうかを判定することができる。
【0019】
以下の説明及び添付の図面は、様々な例示的な実施形態の特徴を明らかにする。提供される実施形態は、例としてであり、限定することを意図するものではない。したがって、図面の寸法は必ずしも縮尺通りではない。
【0020】
これより、本開示の範囲内の例示的なシステムをより詳細に説明する。例示的なシステムは、自動車内に実装され得るか、又は自動車の形態をとり得る。追加的に、例示的なシステムは、自動車、トラック、オートバイ、バス、飛行機、ヘリコプタ、ドローン、芝刈り機、土工機械、ボート、潜水艦、全地形万能車、スノーモービル、航空機、レクリエーショナル車両、遊園地の乗り物、農業機器又は車両、建設機器又は車両、倉庫機器又は車両、工場機器又は車両、路面電車、ゴルフカート、列車、トロリー、歩道配送車両、ロボットデバイス等の様々な車両において実装されてもよいか、又はそれらの形態をとってもよい。他の車両も同様に可能である。更に、いくつかの実施形態では、例示的なシステムは車両を含まなくてもよい。
【0021】
ここで図面を参照すると、
図1は、完全に又は部分的に自律モードで動作するように構成され得る例示的な車両100を示す機能ブロック図である。より具体的には、車両100は、コンピューティングシステムから制御命令を受信することによって、人間の相互作用なしに自律モードで動作することができる。自律モードで動作することの一部として、車両100は、安全なナビゲーションを可能にするために、センサを使用して周囲環境の物体を検出し、場合によっては識別することができる。追加的に、例示的な車両100は部分的自律(すなわち、半自律)モードで動作することができ、部分的自律モードでは、車両100のいくつかの機能が車両100の人間の運転者によって制御され、車両100のいくつかの機能がコンピューティングシステムによって制御される。例えば、車両100はまた、コンピューティングシステムが、周囲環境内の他の物体(例えば、車両等)に基づいて車線逸脱警報/車線維持支援又は適応走行制御等の支援機能を実行する一方で、運転者が操舵、加速、及び制動等の車両100の動作を制御することを可能にするサブシステムを含むことができる。
【0022】
本明細書に記載されるように、部分的自律運転モードでは、車両が1つ以上の運転動作(例えば、車線センタリング、適応走行制御、先進運転支援システム(advanced driver assistance system、ADAS)、緊急制動等を実行するための操舵、制動及び/又は加速)を支援しても、人間の運転者は、車両の周囲を状況に応じて認識し、支援された運転動作を監督することが求められる。ここで、車両が特定の状況において全ての運転タスクを実行し得るとしても、人間の運転者は、必要に応じて制御を行う責任を負うことが求められる。
【0023】
簡略及び簡潔のために、様々なシステム及び方法が自律型車両に関連して以下に記載されるが、これらの又は同様のシステム及び方法は、完全自律型走行システムのレベルに達しない様々な運転者支援システム(すなわち、部分的自律型走行システム)において使用され得る。米国では、自動車技術者協会(Society of Automotive Engineers、SAE)は、車両が運転をどれだけ制御するか、又はどれだけ制御しないかを示すために、自動運転動作の異なるレベルを定義しているが、米国又は他の国における異なる組織が、レベルを異なるように分類し得る。より具体的には、開示されたシステム及び方法は、操舵、制動、加速、車線センタリング、適応走行制御等、並びに他の運転者支援を実施するSAEレベル2運転者支援システムにおいて使用することができる。開示されたシステム及び方法は、限られた(例えば、高速道路等)条件下で自律型走行が可能なSAEレベル3運転支援システムにおいて使用することができる。同様に、開示されたシステム及び方法は、ほとんどの通常の運転状況の下で自律的に動作し、人間のオペレータの注意はたまにしか必要としないSAEレベル4自動運転システムを使用する車両において使用することができる。全てのそのようなシステムにおいて、正確な車線推定は、運転者入力又は制御なしに(例えば、車両が動いている間等)自動的に実行されることができ、車両測位及びナビゲーションの信頼性並びに自律型、半自律型、及び他の運転者支援システムの全体的な安全性の改善をもたらす。前述したように、SAEが自動運転動作のレベルを分類する方式に加えて、米国又は他の国における他の組織は、自動運転動作のレベルを異なるように分類し得る。限定するものではないが、本明細書に開示されるシステム及び方法は、これらの他の組織の自動運転動作のレベルによって定義される運転支援システムにおいて使用することができる。
【0024】
図1に示すように、車両100は、推進システム102、センサシステム104、制御システム106、1つ以上の周辺機器108、電源110、データ記憶装置114を有するコンピュータシステム112(コンピューティングシステムとも称され得る)、及びユーザインターフェース116等の様々なサブシステムを含み得る。他の例では、車両100は、各々が複数の要素を含むことができる、より多くの又はより少ないサブシステムを含んでもよい。車両100のサブシステム及び部品は、様々な方式で相互接続され得る。加えて、本明細書に記載される車両100の機能は、実施形態内で、追加の機能的又は物理的部品に分割され得るか、又はより少ない機能的又は物理的部品に組み合わせられ得る。例えば、制御システム106及びコンピュータシステム112は、様々な動作に従って車両100を動作させる単一のシステムに組み合わされてもよい。
【0025】
推進システム102は、車両100に動力運動を提供するように動作可能な1つ以上の部品を含むことができ、他の可能な部品の中でもとりわけ、エンジン/モータ118、エネルギー源119、トランスミッション120、及び車輪/タイヤ121を含むことができる。例えば、エンジン/モータ118は、エネルギー源119を機械的エネルギーに変換するように構成されてもよく、他の可能な選択肢の中でも特に、内燃機関、電気モータ、蒸気エンジン、又はスターリングエンジンのうちの1つ又は組み合わせに対応することができる。例えば、いくつかの実施形態では、推進システム102は、ガソリンエンジン及び電気モータ等の複数のタイプのエンジン及び/又はモータを含むことができる。
【0026】
エネルギー源119は、車両100の1つ以上のシステム(例えば、エンジン/モータ118等)に完全に又は部分的に動力を供給することができるエネルギー源を表す。例えば、エネルギー源119は、ガソリン、ディーゼル、他の石油系燃料、プロパン、他の圧縮ガス系燃料、エタノール、ソーラーパネル、バッテリ、及び/又は他の電力源に対応することができる。いくつかの実施形態では、エネルギー源119は、燃料タンク、バッテリ、コンデンサ、及び/又はフライホイールの組み合わせを含んでもよい。
【0027】
トランスミッション120は、エンジン/モータ118から車輪/タイヤ121及び/又は車両100の他の可能なシステムに機械的動力を伝達することができる。したがって、トランスミッション120は、他の可能な部品の中でも、ギアボックス、クラッチ、差動装置、及び駆動シャフトを含むことができる。駆動シャフトは、1つ以上の車輪/タイヤ121に接続する車軸を含んでもよい。
【0028】
車両100の車輪/タイヤ121は、例示的な実施形態内で様々な構成を有し得る。例えば、車両100は、他の可能な構成の中でも、一輪車、自転車/オートバイ、三輪車、又は自動車/トラックの四輪形式で存在してもよい。したがって、車輪/タイヤ121は、様々な方式で車両100に接続することができ、金属及びゴム等の異なる材料で存在することができる。
【0029】
センサシステム104は、他の可能なセンサの中でも特に、全地球測位システム(Global Positioning System、GPS)122、慣性測定ユニット(inertial measurement unit、IMU)124、レーダ126、レーザ距離計/ライダ128、カメラ130、ステアリングセンサ123、及びスロットル/ブレーキセンサ125等の様々なタイプのセンサを含むことができる。いくつかの実施形態では、センサシステム104はまた、車両100の内部システム(例えば、O2モニタ、燃料計、エンジンオイル温度、ブレーキ摩耗等)を監視するように構成されたセンサを含んでもよい。
【0030】
GPS122は、地球に対する車両100の位置に関する情報を提供するように動作可能なトランシーバを含むことができる。IMU124は、1つ以上の加速度計及び/又はジャイロスコープを使用する構成を有してもよく、慣性加速度に基づいて車両100の位置及び向きの変化を感知してもよい。例えば、IMU124は、車両100が静止又は移動している間に、車両100のピッチ及びヨーを検出してもよい。
【0031】
レーダ126は、無線信号を使用して、車両100の周囲環境内の物体のスピード及び進行方向を含め、物体を感知するように構成された1つ以上のシステムを表すことができる。したがって、レーダ126は、無線信号を送受信するように構成されたアンテナを含むことができる。いくつかの実施形態では、レーダ126は、車両100の周囲環境の測定値を取得するように構成された搭載可能レーダシステムに対応し得る。
【0032】
レーザ距離計/ライダ128は、他のシステム部品の中でも特に、1つ以上のレーザ源、レーザスキャナ、及び1つ以上の検出器を含んでもよく、コヒーレントモード(例えば、ヘテロダイン検出等を使用する)又はインコヒーレント検出モード(すなわち、飛行時間モード)で動作してもよい。いくつかの実施形態では、レーザ距離計/ライダ128の1つ以上の検出器は、特に高感度の検出器(例えば、アバランシェフォトダイオード等)であり得る1つ以上の光検出器を含んでもよい。いくつかの例では、そのような光検出器は、単一光子を検出することが可能であり得る(例えば、単一光子アバランシェダイオード(single-photon avalanche diode、SPAD)等)。更に、そのような光検出器は、(例えば、シリコン光電子増倍管(silicon photomultiplier、SiPM)等におけるように)アレイに(例えば、直列の電気接続等を通して)配列されることができる。いくつかの例では、1つ以上の光検出器は、ガイガーモードで動作するデバイスであり、ライダは、そのようなガイガーモード動作のために設計されたサブ部品を含む。
【0033】
カメラ130は、車両100の周囲環境の画像を捕捉するように構成された1つ以上のデバイス(例えば、スチルカメラ、ビデオカメラ、熱撮像カメラ、ステレオカメラ、暗視カメラ等)を含み得る。
【0034】
ステアリングセンサ123は、車両100のステアリング角度を感知することができ、これは、ステアリングホイールの角度を測定すること、又はステアリングホイールの角度を表す電気信号を測定することを含むことができる。いくつかの実施形態では、ステアリングセンサ123は、車両100の前方軸に対する車輪の角度を検出する等、車両100の車輪の角度を測定することができる。ステアリングセンサ123はまた、ステアリングホイールの角度、ステアリングホイールの角度を表す電気信号、及び車両100の車輪の角度の組み合わせ(又はサブセット)を測定するように構成されてもよい。
【0035】
スロットル/ブレーキセンサ125は、車両100のスロットル位置又はブレーキ位置のいずれかの位置を検出することができる。例えば、スロットル/ブレーキセンサ125は、アクセルペダル(スロットル)及びブレーキペダルの両方の角度を測定してもよく、又は、例えば、アクセルペダル(スロットル)の角度及び/又はブレーキペダルの角度を表し得る電気信号を測定してもよい。スロットル/ブレーキセンサ125はまた、車両100のスロットル本体の角度を測定してもよく、スロットル本体は、エンジン/モータ118にエネルギー源119の変調を提供する物理的機構(例えば、バタフライ弁、気化器等)の一部を含んでもよい。加えて、スロットル/ブレーキセンサ125は、車両100のロータ上の1つ以上のブレーキパッドの圧力、又はアクセルペダル(スロットル)及びブレーキペダルの角度、アクセルペダル(スロットル)及びブレーキペダルの角度を表す電気信号、スロットルボディの角度、及び少なくとも1つのブレーキパッドが車両100のロータに加えている圧力の組み合わせ(又はサブセット)を測定してもよい。他の実施形態では、スロットル/ブレーキセンサ125は、スロットルペダル又はブレーキペダル等の車両のペダルに加えられる圧力を測定するように構成されてもよい。
【0036】
制御システム106は、ステアリングユニット132、スロットル134、ブレーキユニット136、センサフュージョンアルゴリズム138、コンピュータビジョンシステム140、ナビゲーション/パシングシステム142、及び障害物回避システム144等、車両100のナビゲーションを支援するように構成された部品を含み得る。より具体的には、ステアリングユニット132は、車両100の進行方向を調整するように動作可能であってもよく、スロットル134は、エンジン/モータ118の動作スピードを制御して、車両100の加速度を制御してもよい。ブレーキユニット136は、車両100を減速させることができ、これは、摩擦を使用して車輪/タイヤ121を減速させることを含むことができる。いくつかの実施形態では、ブレーキユニット136は、車輪/タイヤ121の運動エネルギーを、車両100の1つ又は複数のシステムによるその後の使用のための電流に変換することができる。
【0037】
センサフュージョンアルゴリズム138は、カルマンフィルタ、ベイジアンネットワーク、又はセンサシステム104からのデータを処理することができる他のアルゴリズムを含んでもよい。いくつかの実施形態では、センサフュージョンアルゴリズム138は、個々の物体及び/若しくは特徴の評価、特定の状況の評価、並びに/又は所与の状況内の潜在的な影響の評価等、着信センサデータに基づく評価を提供することができる。
【0038】
コンピュータビジョンシステム140は、動いている物体(例えば、他の車両、歩行者、自転車通行者、動物等)及び動いていない物体(例えば、交通信号、道路境界、スピードバンプ、道路の穴等)を判定するために画像を処理及び分析するように動作可能なハードウェア及びソフトウェア(例えば、汎用プロセッサ、特定用途向け集積回路(application-specific integrated circuit、ASIC)、揮発性メモリ、不揮発性メモリ、1つ以上の機械学習モデル等)を含み得る。したがって、コンピュータビジョンシステム140は、物体認識、ストラクチャフロムモーション(structure from motion、SFM)、ビデオ追跡、及びコンピュータビジョンで使用される他のアルゴリズムを使用して、例えば、物体を認識し、環境をマッピングし、物体を追跡し、物体のスピードを推定する等し得る。
【0039】
ナビゲーション/パシングシステム142は、車両100の走行経路を判定することができ、これは、動作中にナビゲーションを動的に調整することを含むことができる。したがって、ナビゲーション/パシングシステム142は、他のソースの中でも、センサフュージョンアルゴリズム138、GPS122、及び地図からのデータを使用して、車両100をナビゲートすることができる。障害物回避システム144は、センサデータに基づいて潜在的な障害物を評価し、車両100のシステムに潜在的な障害物を回避させるか、さもなければ乗り越えさせてもよい。
【0040】
図1に示すように、車両100は、無線通信システム146、タッチスクリーン148、マイクロフォン150、及び/又はスピーカ152等の周辺機器108を含むこともできる。周辺機器108は、ユーザがユーザインターフェース116と相互作用するための制御又は他の要素を提供することができる。例えば、タッチスクリーン148は、車両100のユーザに情報を提供してもよい。ユーザインターフェース116はまた、タッチスクリーン148を介してユーザからの入力を受け付けてもよい。周辺機器108はまた、車両100が他の車両デバイス等のデバイスと通信することを可能にし得る。
【0041】
無線通信システム146は、1つ以上のデバイスと直接に、又は通信ネットワークを介して無線通信し得る。例えば、無線通信システム146は、符号分割多元接続(code-division multiple access、CDMA)、エボリューションデータオプティマイズド(evolution-data optimized、EVDO)、グローバルシステムフォーモバイル・コミュニケーションズ(global system for mobile communications、GSM)(登録商標)/汎用パケット無線サービス(general packet radio service、GPRS)等の3Gセルラ通信、又は4Gワイマックス(worldwide interoperability for microwave access、WiMAX)若しくはロングタームエボリューション(long-term evolution、LTE)等のセルラ通信、又は5Gを使用することができる。代替的に、無線通信システム146は、WIFI(登録商標)又は他の可能な接続を使用して無線ローカルエリアネットワーク(wireless local area network、WLAN)と通信し得る。無線通信システム146はまた、例えば、赤外線リンク、Bluetooth(登録商標)、又はZigBee(登録商標)を使用してデバイスと直接通信し得る。様々な車両通信システム等の他の無線プロトコルが、本開示の文脈内で可能である。例えば、無線通信システム146は、車両及び/又は路側局の間のパブリック及び/又はプライベートデータ通信を含み得る1つ以上の専用狭域通信(dedicated short-range communications、DSRC)デバイスを含み得る。
【0042】
車両100は、部品に電力供給するための電源110を含むことができる。電源110は、いくつかの実施形態では、再充電可能なリチウムイオンバッテリ又は鉛酸バッテリを含み得る。例えば、電源110は、電力を供給するように構成された1つ以上のバッテリを含んでもよい。車両100はまた、他のタイプの電源を使用してもよい。例示的な実施形態では、電源110及びエネルギー源119は、単一のエネルギー源に統合されてもよい。
【0043】
車両100はまた、本明細書に記載される動作等の動作を実行するためのコンピュータシステム112を含み得る。したがって、コンピュータシステム112は、データ記憶装置114等の非一時的コンピュータ可読媒体に記憶された命令115を実行するように動作可能な少なくとも1つのプロセッサ113(少なくとも1つのマイクロプロセッサを含むことができる)を含むことができる。いくつかの実施形態において、コンピュータシステム112は、車両100の個々の部品又はサブシステムを分散様式で制御するように機能し得る複数のコンピューティングデバイスを表し得る。
【0044】
いくつかの実施形態において、データ記憶装置114は、
図1に関連して上述したものを含む、車両100の様々な機能を実行するためにプロセッサ113によって実行可能な命令115(例えば、プログラムロジック等)を含んでもよい。データ記憶装置114は、推進システム102、センサシステム104、制御システム106、及び周辺機器108のうちの1つ以上にデータを送信し、それらからデータを受信し、それらと相互作用し、かつ/又はそれらを制御するための命令を含む、追加の命令も含むことができる。
【0045】
命令115に加えて、データ記憶装置114は、他の情報の中でも特に、道路地図、経路情報等のデータを記憶することができる。そのような情報は、自律モード、半自律モード、及び/又は手動モードでの車両100の動作中に、車両100及びコンピュータシステム112によって使用され得る。
【0046】
車両100は、車両100のユーザに情報を提供し、又は車両100のユーザから入力を受信するためのユーザインターフェース116を含むことができる。ユーザインターフェース116は、タッチスクリーン148上に表示され得る対話型画像のコンテンツ及び/又はレイアウトを制御し得るか、又は制御可能にし得る。更に、ユーザインターフェース116は、無線通信システム146、タッチスクリーン148、マイクロフォン150、及びスピーカ152等、周辺機器108のセット内に1つ以上の入力/出力デバイスを含むことができる。
【0047】
コンピュータシステム112は、様々なサブシステム(例えば、推進システム102、センサシステム104、制御システム106等)から、並びにユーザインターフェース116から受信される入力に基づいて、車両100の機能を制御してもよい。例えば、コンピュータシステム112は、推進システム102及び制御システム106によって生成される出力を推定するために、センサシステム104からの入力を利用することができる。実施形態に応じて、コンピュータシステム112は、車両100及びそのサブシステムの多くの態様を監視するように動作可能であり得る。いくつかの実施形態では、コンピュータシステム112は、センサシステム104から受信した信号に基づいて、車両100のいくつか又は全ての機能を無効にすることができる。
【0048】
車両100の部品は、それぞれのシステム内又はシステム外の他の部品と相互接続された様式で動作するように構成され得る。例えば、例示的な実施形態では、カメラ130は、自律モード又は半自律モードで動作している車両100の周囲環境の状態に関する情報を表すことができる複数の画像を捕捉することができる。周囲環境の状態は、車両が動作している道路のパラメータを含むことができる。例えば、コンピュータビジョンシステム140は、道路の複数の画像に基づいて、傾斜(勾配)又は他の特徴を認識することが可能であり得る。更に、GPS 122とコンピュータビジョンシステム140によって認識された特徴との組み合わせは、特定の道路パラメータを判定するために、データ記憶装置114に記憶された地図データと共に使用され得る。更に、レーダ126及び/又はレーザ距離計/ライダ128、並びに/若しくは他の何らかの環境マッピング、測距、及び/又は測位センサシステムも、車両の周囲に関する情報を提供することができる。
【0049】
換言すれば、様々なセンサ(入力表示センサ及び出力表示センサと呼ぶことができる)とコンピュータシステム112との組合せは、車両を制御するために提供される入力の表示又は車両の周囲の表示を提供するために相互作用することができる。
【0050】
いくつかの実施形態では、コンピュータシステム112は、無線システム以外のシステムによって提供されるデータに基づいて、様々な物体に関する判定を行うことができる。例えば、車両100は、車両の視野内の物体を感知するように構成されたレーザ又は他の光センサを有することができる。コンピュータシステム112は、様々なセンサからの出力を使用して、車両の視野内の物体に関する情報を判定することができ、様々な物体までの距離及び方向情報を判定することができる。コンピュータシステム112はまた、様々なセンサからの出力に基づいて、物体が望ましいか又は望ましくないかを判定してもよい。
【0051】
図1は、車両100の様々な部品(すなわち、無線通信システム146、コンピュータシステム112、データ記憶装置114、及びユーザインターフェース116)を車両100に統合されているものとして示しているが、これらの部品のうちの1つ以上は、車両100とは別個に搭載又は関連付けられ得る。例えば、データ記憶装置114は、部分的に又は完全に、車両100から分離して存在することができる。したがって、車両100は、別々に又は一緒に配置され得るデバイス要素の形態で提供され得る。車両100を構成するデバイス要素は、有線及び/又は無線様式で互いに通信可能に結合され得る。
【0052】
図2A~
図2Eは、
図1を参照して車両100に関連して説明した機能の一部又は全部を含むことができる例示的な車両200(例えば、完全自律型車両又は半自律型車両等)を示す。
図2A~
図2Eでは、車両200は、説明のためにサイドミラー216を有するバンとして示されているが、本開示はこれに限定されない。例えば、車両200は、トラック、自動車、セミトレーラトラック、オートバイ、ゴルフカート、オフロード車両、農業用車両、又は本明細書の他の場所で記載される任意の他の車両(例えば、バス、ボート、飛行機、ヘリコプタ、ドローン、芝刈り機、土工機械、潜水艦、全地形万能車、スノーモービル、航空機、レクリエーショナル車両、遊園地の乗り物、農業機器、工事機器又は車両、倉庫機器又は車両、建設機器又は車両、路面電車、列車、トロリー、歩道配達車両、及びロボットデバイス等)を表すことができる。
【0053】
例示的な車両200は、1つ以上のセンサシステム202、204、206、208、210、212、214、及び218を含むことができる。いくつかの実施形態では、センサシステム202、204、206、208、210、212、214、及び/又は218は、1つ以上の光学システム(例えば、カメラ等)、1つ以上のライダ、1つ以上のレーダ、1つ以上の距離計、1つ以上の慣性センサ、1つ以上の湿度センサ、1つ以上の音響センサ(例えば、マイクロフォン、ソナーデバイス等)、又は車両200の周囲の環境に関する情報を感知するように構成された1つ以上の他のセンサを表すことができる。換言すれば、現在知られている又は後に作成される任意のセンサシステムは、車両200に結合することができ、及び/又は車両200の様々な動作と併せて利用することができる。一例として、ライダシステムは、車両200の自動運転又は他のタイプのナビゲーション、計画、知覚、及び/又はマッピング動作において利用され得る。加えて、センサシステム202、204、206、208、210、212、214、及び/又は218は、本明細書に記載されるセンサの組み合わせ(例えば、1つ以上のライダ及びレーダ、1つ以上のライダ及びカメラ、1つ以上のカメラ及びレーダ、1つ以上のライダ、カメラ、及びレーダ、等)を表し得る。
【0054】
図2A~
図2Eに示すセンサシステム(例えば、202、204等)の数、位置、及びタイプは、自律型又は半自律型車両のそのようなセンサシステムの位置、数、及びタイプの非限定的な例として意図されていることに留意されたい。そのようなセンサの代替的な数、位置、タイプ、及び構成が可能である(例えば、車両のサイズ、形状、空気力学、燃料経済性、美観、又は他の条件に適合させるため、コストを削減するため、特殊な環境又は適用状況に適合させるため等)。例えば、センサシステム(例えば、202、204等)は、車両上の様々な他の位置(例えば、位置216等)に配置することができ、車両200の内部環境及び/又は周囲環境に対応する視野を有することができる。
【0055】
センサシステム202は、車両200の上に搭載されてもよく、車両200の周囲の環境に関する情報を検出し、情報の表示を出力するように構成された1つ以上のセンサを含んでもよい。例えば、センサシステム202は、カメラ、レーダ、ライダ、距離計、慣性センサ、湿度センサ、及び音響センサ(例えば、マイクロフォン、ソナーデバイス等)の任意の組み合わせを含むことができる。センサシステム202は、センサシステム202内の1つ以上のセンサの向きを調整するように動作可能であり得る1つ以上の可動マウントを含むことができる。一実施形態では、可動マウントは、車両200の周りの各方向から情報を取得するようにセンサを走査することができる回転プラットフォームを含むことができる。別の実施形態では、センサシステム202の可動マウントは、角度及び/又は方位角及び/又は仰角の特定の範囲内で走査様式で移動可能であり得る。センサシステム202は、自動車の屋根の上に搭載することができるが、他の搭載位置も可能である。
【0056】
加えて、センサシステム202のセンサは、異なる場所に分散されてもよく、単一の場所に配置される必要はない。更に、センサシステム202の各センサは、センサシステム202の他のセンサから独立して移動又は走査されるように構成することができる。追加的又は代替的に、複数のセンサが、センサ位置202、204、206、208、210、212、214、及び/又は218のうちの1つ以上に搭載されてもよい。例えば、センサ位置に搭載された2つのライダデバイスが存在してもよく、及び/又はセンサ位置に搭載された1つのライダデバイス及び1つのレーダが存在してもよい。
【0057】
1つ以上のセンサシステム202、204、206、208、210、212、214、及び/又は218は、1つ以上のライダセンサを含むことができる。例えば、ライダセンサは、所与の平面(例えば、x-y平面等)に対してある範囲の角度にわたって配置された複数の発光体デバイスを含むことができる。例えば、センサシステム202、204、206、208、210、212、214、及び/又は218のうちの1つ以上は、車両200の周囲の環境を光パルスで照射するために、所与の平面に垂直な軸(例えば、z軸等)を中心に回転又は旋回するように構成され得る。反射光パルスの様々な態様(例えば、経過飛行時間、偏光、強度等)を検出することに基づいて、周囲環境に関する情報を判定することができる。
【0058】
例示的な実施形態では、センサシステム202、204、206、208、210、212、214、及び/又は218は、車両200の周囲環境内の物理的物体に関連し得るそれぞれの点群情報を提供するように構成され得る。車両200並びにセンサシステム202、204、206、208、210、212、214、及び218は、特定の特徴を含むものとして示されているが、他のタイプのセンサシステムが本開示の範囲内で企図されることが理解されるであろう。更に、例示的な車両200は、
図1の車両100に関連して説明した部品のいずれかを含むことができる。
【0059】
例示的な構成では、1つ以上のレーダを車両200上に配置することができる。上述したレーダ126と同様に、1つ以上のレーダは、電波(例えば、30Hz~300GHzの周波数を有する電磁波等)を送受信するように構成されたアンテナを含んでもよい。そのような電波は、車両200の周囲環境内の1つ以上の物体までの距離及び/又は速度を判定するために使用され得る。例えば、1つ以上のセンサシステム202、204、206、208、210、212、214、及び/又は218は、1つ以上のレーダを含むことができる。いくつかの例では、1つ以上のレーダを車両200の後部付近(例えば、センサシステム208、210等)に配置して、車両200の後部付近の環境を電波反射物体の存在について能動的に走査することができる。同様に、1つ以上のレーダを車両200の前部付近(例えば、センサシステム212、214等)に配置して、車両200の前部付近の環境を能動的に走査することができる。レーダは、例えば、車両200の他の特徴によって遮られることなく、車両200の前進経路を含む領域を照射するのに好適な位置に据えられることができる。例えば、レーダは、フロントバンパ、フロントヘッドライト、カウル、及び/又はフード等に埋め込まれ、及び/又はその付近に搭載され得る。更に、1つ以上の追加のレーダは、リアバンパ、サイドパネル、ロッカーパネル、及び/又は車台等に又はその付近にそのようなデバイスを含むことによって、電波反射物体の存在について車両200の側面及び/又は後部を能動的にスキャンするように配置され得る。
【0060】
車両200は、1つ以上のカメラを含むことができる。例えば、1つ以上のセンサシステム202、204、206、208、210、212、214、及び/又は218は、1つ以上のカメラを含むことができる。カメラは、車両200の周囲環境の複数の画像を捕捉するように構成された、スチルカメラ、ビデオカメラ、熱撮像カメラ、ステレオカメラ、暗視カメラ等の感光機器であり得る。この目的のために、カメラは、可視光を検出するように構成することができ、追加的に又は代替的に、赤外光又は紫外光等のスペクトルの他の部分からの光を検出するように構成することができる。カメラは二次元検出器とすることができ、任意選択で三次元空間範囲の感度を有することができる。いくつかの実施形態では、カメラは、例えば、カメラから周囲環境内のいくつかの点までの距離を示す二次元画像を生成するように構成された範囲検出器を含むことができる。この目的のために、カメラは、1つ以上の範囲検出技法を使用することができる。例えば、カメラは、構造化光技術を使用することによって距離情報を提供することができ、構造化光技術では、車両200は、格子又は市松模様等の所定の光パターンで周囲環境内の物体を照射し、カメラを使用して、周囲環境からの所定の光パターンの反射を検出する。反射光パターンの歪みに基づいて、車両200は、物体上の点までの距離を判定することができる。所定の光パターンは、赤外光、又はそのような測定に好適な他の波長の放射を含むことができる。いくつかの例では、カメラは、車両200のフロントガラスの内側に搭載され得る。具体的には、カメラは、車両200の向きに対して前方視野から画像を捕捉するように据えられることができる。車両200の内側又は外側のいずれかで、カメラの他の搭載位置及び視野角も使用することができる。更に、カメラは、調整可能な視野を提供するように動作可能な関連する光学系を有することができる。更に、カメラは、パン/チルト機構等を介してカメラのポインティング角を変更するために可動マウントを用いて車両200に搭載することができる。
【0061】
車両200はまた、車両200の周囲環境を感知するために使用される1つ以上の音響センサを含んでもよい(例えば、センサシステム202、204、206、208、210、212、214、216、218のうちの1つ以上は、1つ以上の音響センサ等を含んでもよい)。音響センサは、車両200の周囲の環境の流体(例えば、空気等)中の音波(すなわち、圧力差)を感知するために使用されるマイクロフォン(例えば、圧電マイクロフォン、コンデンサマイクロフォン、リボンマイクロフォン、微小電気機械システム(microelectromechanical system、MEMS)マイクロフォン等)を含み得る。そのような音響センサは、車両200のための制御戦略が基づき得る周囲環境における音(例えば、サイレン、人間の発話、動物の音、警報等)を識別するために使用され得る。例えば、音響センサがサイレン(例えば、救急サイレン、消防車サイレン等)を検出した場合、車両200は減速し、及び/又は車道の端にナビゲートされてもよい。
【0062】
図2A~
図2Eには示されていないが、車両200は、無線通信システム(例えば、
図1の無線通信システム146と同様のもの、及び/又は
図1の無線通信システム146に加えて等)を含むことができる。無線通信システムは、車両200の外部又は内部のデバイスと通信するように構成され得る無線送信機及び受信機を含み得る。具体的には、無線通信システムは、例えば、車両通信システム又は車道局において、他の車両及び/又はコンピューティングデバイスと通信するように構成された送受信機を含むことができる。そのような車両通信システムの例は、DSRC、無線周波数識別(radio frequency identification、RFID)、及び高度道路交通システムに向けられた他の提案された通信規格を含む。
【0063】
車両200は、図示されるものに加えて、又はそれらの代わりに、1つ以上の他の部品を含んでもよい。追加の部品は、電気的又は機械的機能を含むことができる。
【0064】
車両200の制御システムは、複数の可能な制御戦略の中からの制御戦略に従って車両200を制御するように構成され得る。制御システムは、車両200に(車両200の上に又は車両200から離れて)結合されたセンサから情報を受信し、情報に基づいて制御戦略(及び関連する運転挙動)を修正し、修正された制御戦略に従って車両200を制御するように構成され得る。制御システムは更に、センサから受信した情報を監視し、運転条件を連続的に評価するように構成されてもよく、また、運転条件の変化に基づいて制御戦略及び運転挙動を修正するように構成されてもよい。例えば、ある目的地から別の目的地まで車両が辿る経路は、運転条件に基づいて修正され得る。追加的又は代替的に、速度、加速度、旋回角度、追従距離(すなわち、現在の車両の前方の車両までの距離)、車線選択等は全て、運転条件の変化に応じて修正され得る。
【0065】
図3は、例示的な実施形態による、自律型又は半自立型車両に関連する様々なコンピューティングシステム間の無線通信の概念図である。特に、無線通信は、ネットワーク304を介して遠隔コンピューティングシステム302と車両200との間で行われ得る。無線通信はまた、サーバコンピューティングシステム306と遠隔コンピューティングシステム302との間、及びサーバコンピューティングシステム306と車両200との間で行われてもよい。
【0066】
車両200は、場所間で乗客又は物体を輸送することができる様々なタイプの車両に対応することができ、上で考察された車両のうちの任意の1つ以上の形態をとることができる。いくつかの例では、車両200は、制御システムがセンサ測定値を使用して目的地間で車両200を安全にナビゲートすることを可能にする自律モード又は半自律モードで動作し得る。自律モード又は半自律モードで動作しているとき、車両200は、乗客を乗せて又は乗せずにナビゲートすることができる。その結果、車両200は、所望の目的地間で乗客を乗降させることができる。
【0067】
遠隔コンピューティングシステム302は、限定はしないが、本明細書に記載されるものを含む、遠隔支援技法に関連する任意のタイプのデバイスを表し得る。例において、遠隔コンピューティングシステム302は、(i)車両200に関連する情報を受信し、(ii)人間のオペレータが次に情報を知覚して情報に関連する応答を入力することができるインターフェースを提供し、(iii)応答を車両200又は他のデバイスに送信するように構成された任意のタイプのデバイスを表すことができる。遠隔コンピューティングシステム302は、ワークステーション、デスクトップコンピュータ、ラップトップ、タブレット、モバイルフォン(例えば、スマートフォン等)、及び/又はサーバ等の様々な形態をとり得る。いくつかの例では、遠隔コンピューティングシステム302は、ネットワーク構成において一緒に動作する複数のコンピューティングデバイスを含み得る。
【0068】
遠隔コンピューティングシステム302は、車両200のサブシステム及び部品と同様又は同一の1つ以上のサブシステム及び部品を含み得る。少なくとも、遠隔コンピューティングシステム302は、本明細書で説明する様々な動作を実行するように構成されたプロセッサを含むことができる。いくつかの実施形態では、遠隔コンピューティングシステム302はまた、タッチスクリーン及びスピーカ等の入力/出力デバイスを含むユーザインターフェースを含んでもよい。他の例も同様に可能である。
【0069】
ネットワーク304は、遠隔コンピューティングシステム302と車両200との間の無線通信を可能にするインフラストラクチャを表す。ネットワーク304はまた、サーバコンピューティングシステム306と遠隔コンピューティングシステム302との間、及びサーバコンピューティングシステム306と車両200との間の無線通信を可能にする。
【0070】
遠隔コンピューティングシステム302の位置は、実施例内で変化し得る。例えば、遠隔コンピューティングシステム302は、ネットワーク304を介した無線通信を有する車両200からの遠隔位置を有してもよい。別の例では、遠隔コンピューティングシステム302は、車両200とは別個であるが、人間のオペレータが対話することができ、そして車両200の乗客又は運転者も対話することができる、車両200内のコンピューティングデバイスに対応し得る。いくつかの例では、遠隔コンピューティングシステム302は、車両200の乗客によって操作可能なタッチスクリーンを有するコンピューティングデバイスであってもよい。
【0071】
いくつかの実施形態において、遠隔コンピューティングシステム302によって実行される本明細書に記載の動作は、追加的に又は代替的に、車両200によって(すなわち、車両200の任意のシステム又はサブシステムによって)実行されてもよい。換言すれば、車両200は、車両の運転者又は乗客が対話することができる遠隔支援機構を提供するように構成されてもよい。
【0072】
サーバコンピューティングシステム306は、ネットワーク304を介して遠隔コンピューティングシステム302及び車両200と無線通信する(又は、遠隔コンピューティングシステム302及び/又は車両200と直接通信する)ように構成されてもよい。サーバコンピューティングシステム306は、車両200及びその遠隔支援に関する情報を受信、記憶、判定、及び/又は送信するように構成された任意のコンピューティングデバイスを表し得る。したがって、サーバコンピューティングシステム306は、遠隔コンピューティングシステム302及び/又は車両200によって実行されるものとして本明細書に記載される任意の動作又はそのような動作の部分を実行するように構成され得る。遠隔支援に関連する無線通信のいくつかの実施形態は、サーバコンピューティングシステム306を利用してもよいが、他の実施形態は利用しなくてもよい。
【0073】
サーバコンピューティングシステム306は、本明細書に記載される様々な動作を実行するように構成されたプロセッサ、並びに遠隔コンピューティングシステム302及び車両200から情報を受信し、遠隔コンピューティングシステム302及び車両200に情報を提供するための無線通信インターフェース等、遠隔コンピューティングシステム302及び/又は車両200のサブシステム及び部品と同様又は同一の1つ以上のサブシステム及び部品を含むことができる。
【0074】
上記で説明した様々なシステムは、様々な動作を実行し得る。ここで、これらの動作及び関連する特徴について説明する。
【0075】
上で考察された詳解に沿って、コンピューティングシステム(例えば、遠隔コンピューティングシステム302、サーバコンピューティングシステム306、車両200にローカルなコンピューティングシステム等)は、自律型又は半自律型車両の周囲環境の画像を捕捉するためにカメラを使用するように動作し得る。一般に、少なくとも1つのコンピューティングシステムは、画像を分析し、場合によっては自律型又は半自律型車両を制御することができる。
【0076】
いくつかの実施形態では、自律又は半自律動作を容易にするために、車両(例えば、車両200等)は、車両の周囲の環境内の物体を表すデータ(本明細書では「環境データ」とも称される)を様々な方式で受信することができる。車両上のセンサシステムは、周囲環境の物体を表す環境データを提供することができる。例えば、車両は、カメラ、レーダユニット、レーザ距離計、マイクロフォン、無線ユニット、及び他のセンサを含む、様々なセンサを有してもよい。これらのセンサの各々は、各それぞれのセンサが受信する情報に関する環境データを車両内のプロセッサに通信することができる。
【0077】
一例では、カメラは、静止画像及び/又はビデオを捕捉するように構成され得る。いくつかの実施形態では、車両は、異なる向きに配置された2つ以上のカメラを有し得る。また、いくつかの実施形態では、カメラは、異なる方向で画像及び/又はビデオを捕捉するために移動することが可能であり得る。カメラは、車両の処理システムによる後の処理のために、捕捉された画像及びビデオをメモリに記憶するように構成され得る。捕捉された画像及び/又はビデオは、環境データであり得る。更に、カメラは、本明細書に記載されるような画像センサを含んでもよい。
【0078】
別の例では、レーダユニットは、車両の近くの様々な物体によって反射される電磁信号を送信し、次いで、物体から反射する電磁信号を捕捉するように構成され得る。捕捉された反射電磁信号は、レーダシステム(又は処理システム)が電磁信号を反射した物体について様々な判定を行うことを可能にし得る。例えば、様々な反射物体までの距離及び位置を判定することができる。いくつかの実施形態では、車両は、異なる向きに2つ以上のレーダを有し得る。レーダシステムは、車両の処理システムによる後の処理のために、捕捉された情報をメモリに記憶するように構成され得る。レーダシステムによって捕捉される情報は、環境データであってもよい。
【0079】
別の例では、レーザ距離計は、車両の近くのターゲット物体によって反射されることになる電磁信号(例えば、ガス若しくはダイオードレーザ、又は他の可能な光源等からの赤外光等)を送信するように構成され得る。レーザ距離計は、反射された電磁(例えば、赤外光等)信号を捕捉することが可能であり得る。捕捉された反射電磁信号は、測距システム(又は処理システム)が様々な物体までの距離を判定することを可能にし得る。レーザ距離計は、ターゲット物体の速度又はスピードを判定し、それを環境データとして記憶することもできる。
【0080】
加えて、一例では、マイクロフォンは、車両の周囲の環境の音声を捕捉するように構成され得る。マイクロフォンによって捕捉された音は、緊急車両サイレン及び他の車両の音を含み得る。例えば、マイクロフォンは、救急車、消防車、又は警察車両のサイレンの音を捕捉してもよい。処理システムは、捕捉された音声信号が緊急車両を示すことを識別することが可能であり得る。別の例では、マイクロフォンは、オートバイからのもの等、別の車両の排気の音を捕捉することができる。処理システムは、捕捉された音声信号がオートバイを示すことを識別することが可能であり得る。マイクロフォンによって捕捉されたデータは、環境データの一部分を形成し得る。
【0081】
更に別の例では、無線ユニットは、Bluetooth(登録商標)信号、802.11信号、及び/又は他の無線技術信号の形態をとり得る電磁信号を送信するように構成され得る。第1の電磁放射信号は、無線ユニット内に配置された1つ以上のアンテナを介して送信され得る。更に、第1の電磁放射信号は、多くの異なる無線シグナリングモードのうちの1つで送信されてもよい。しかしながら、いくつかの実施形態では、自律型又は半自律型車両の近くに位置するデバイスからの応答を要求するシグナリングモードで第1の電磁放射信号を送信することが望ましい。処理システムは、無線ユニットに返信された応答に基づいて近くのデバイスを検出し、この通信された情報を環境データの一部分として使用することができる。
【0082】
いくつかの実施形態では、処理システムは、車両の周囲環境の更なる判定を行うために、様々なセンサからの情報を組み合わせることが可能であり得る。例えば、処理システムは、別の車両又は歩行者が自律型又は半自律型車両の前にあるかどうかを判定するために、レーダ情報と捕捉された画像との両方からのデータを組み合わせ得る。他の実施形態では、センサデータの他の組合せを処理システムによって使用して、周囲環境についての判定を行うことができる。
【0083】
自律モード(又は半自律モード)で動作している間、車両は、人間の入力をほとんど又は全く伴わずにその動作を制御することができる。例えば、人間のオペレータが車両に住所を入力してもよく、その後、車両は、人間からの更なる入力なしに(例えば、人間がブレーキ/アクセルペダル等を操舵する又は触れる必要なく)、指定された目的地まで運転することが可能であってもよい。更に、車両が自律的又は半自律的に動作している間、センサシステムは環境データを受信していてもよい。車両の処理システムは、様々なセンサから受信した環境データに基づいて車両の制御を変更することができる。いくつかの例では、車両は、様々なセンサからの環境データに応答して車両の速度を変更することができる。車両は、障害物を回避し、交通法規に従う等のために速度を変更し得る。車両内の処理システムが車両の近くの物体を識別するとき、車両は、速度を変更するか、又は別の方式で移動を変更することが可能であり得る。
【0084】
車両が物体を検出したが、物体の検出に高い信頼度がない場合、車両は、人間のオペレータ(又はより強力なコンピュータ)に、(i)物体が実際に周囲環境に存在するかどうかを確認すること(例えば、実際に停止標識が存在する場合、又は実際に停止標識が存在しない場合等)、(ii)物体の車両の識別が正しいかどうかを確認すること、(iii)識別が正しくない場合に識別を訂正すること、及び/又は(iv)自律型又は半自律型車両のための補足命令を提供すること(又は現在の命令を修正すること)等、1つ以上の遠隔支援タスクを実行するように要求することができる。遠隔支援タスクはまた、人間のオペレータが車両の動作を制御する命令を提供すること(例えば、人間のオペレータが物体が停止標識であると判断した場合、車両に停止標識で停止するように命令すること等)を含んでもよいが、いくつかのシナリオでは、車両自体が、物体の識別に関する人間のオペレータのフィードバックに基づいて、それ自体の動作を制御してもよい。
【0085】
これを容易にするために、車両は、周囲環境の物体を表す環境データを分析して、閾値未満の検出信頼度を有する少なくとも1つの物体を判定することができる。車両内のプロセッサは、様々なセンサからの環境データに基づいて、周囲環境の様々な物体を検出するように構成され得る。例えば、一実施形態では、プロセッサは、車両が認識することが重要であり得る物体を検出するように構成され得る。そのような物体は、歩行者、自転車通行者、道路標識、他の車両、他の車両上のインジケータ信号、及び捕捉された環境データ内で検出された他の様々な物体を含み得る。
【0086】
検出信頼度は、判定された物体が周囲環境において正しく識別されるか、又は周囲環境に存在する可能性を示し得る。例えば、プロセッサは、受信された環境データ中の画像データ内の物体の物体検出を実行し、閾値を上回る検出信頼度で物体を識別することができないことに基づいて、少なくとも1つの物体が閾値を下回る検出信頼度を有すると判定し得る。物体の物体検出又は物体認識の結果が決定的でない場合、検出信頼度は低いか又は設定された閾値未満であり得る。
【0087】
車両は、環境データのソースに応じて様々な方式で周囲環境の物体を検出することができる。いくつかの実施形態では、環境データは、カメラから来てもよく、画像又はビデオデータであってもよい。他の実施形態では、環境データは、ライダユニットから来てもよい。車両は、捕捉された画像又はビデオデータを分析して、画像又はビデオデータ内の物体を識別することができる。方法及び装置は、周囲環境の物体の存在について画像及び/又はビデオデータを監視するように構成され得る。他の実施形態では、環境データは、レーダ、音声、又は他のデータであってもよい。車両は、レーダ、音声、又は他のデータに基づいて、周囲環境の物体を識別するように構成され得る。
【0088】
いくつかの実施形態では、車両が物体を検出するために使用する技法は、既知のデータのセットに基づくことができる。例えば、環境物体に関連するデータは、車両内に配置されたメモリに記憶され得る。車両は、受信したデータを記憶されたデータと比較して、物体を判定することができる。他の実施形態では、車両は、データのコンテキストに基づいて物体を判定するように構成され得る。例えば、工事に関連する道路標識は、一般にオレンジ色を有し得る。したがって、車両は、オレンジ色であり、道路脇に位置する物体を工事関連道路標識として検出するように構成され得る。加えて、車両の処理システムが捕捉されたデータ内の物体を検出するとき、処理システムはまた、各物体についての信頼度を計算し得る。
【0089】
更に、車両は信頼度閾値を有してもよい。信頼度閾値は、検出されている物体のタイプに応じて変化し得る。例えば、信頼度閾値は、別の車両上のブレーキライト等、車両からの迅速な応答作動を必要とし得る物体に対してより低くてもよい。しかしながら、他の実施形態では、信頼度閾値は、全ての検出された物体について同じであってもよい。検出された物体と関連付けられた信頼度が信頼度閾値よりも大きいとき、車両は、物体が正しく認識されたと想定し、それに応じて、その想定に基づいて車両の制御を調整することができる。
【0090】
検出された物体と関連付けられた信頼度が信頼度閾値未満である場合、車両が取る作動は変化し得る。いくつかの実施形態において、車両は、低い信頼度レベルにもかかわらず、検出された物体が存在するかのように反応することができる。他の実施形態では、車両は、検出された物体が存在しないかのように反応することができる。
【0091】
車両が周囲環境の物体を検出するとき、車両はまた、特定の検出された物体と関連付けられた信頼度を計算してもよい。信頼度は、実施形態に応じて様々な方式で計算することができる。一例では、周囲環境の物体を検出するとき、車両は、環境データを既知の物体に関する所定のデータと比較することができる。環境データと所定のデータとの間の一致が近いほど、信頼度は高くなる。他の実施形態では、車両は、環境データの数学的分析を使用して、物体と関連付けられた信頼度を判定することができる。
【0092】
物体が閾値未満の検出信頼度を有すると判定したことに応答して、車両は、遠隔コンピューティングシステムに、物体の識別を伴う遠隔支援の要求を送信することができる。上で考察されたように、遠隔コンピューティングシステムは様々な形態をとることができる。例えば、遠隔コンピューティングシステムは、遠隔支援情報を表示するためのタッチスクリーンインターフェース等、車両とは別個であるが、人間のオペレータが対話することができ、そして車両の乗客又は運転者も対話することができる、車両内のコンピューティングデバイスであってもよい。追加的又は代替的に、別の例として、遠隔コンピューティングシステムは、車両の近くではない場所に位置する遠隔コンピュータ端末又は他のデバイスであってもよい。
【0093】
遠隔支援の要求は、画像データ、音声データ等の物体を含む環境データを含み得る。車両は、ネットワーク(例えば、ネットワーク304等)を介して、いくつかの実施形態ではサーバ(例えば、サーバコンピューティングシステム306等)を介して、環境データを遠隔コンピューティングシステムに送信することができる。遠隔コンピューティングシステムの人間のオペレータは、次いで、要求に応答するための基礎として環境データを使用することができる。
【0094】
いくつかの実施形態では、物体が信頼度閾値未満の信頼度を有するものとして検出されたとき、物体は予備識別を与えられてもよく、車両は、予備識別に応答して車両の動作を調整するように構成されてもよい。そのような動作の調整は、他の可能な調整の中でもとりわけ、車両を停止させること、車両を人間制御モードに切り替えること、車両の速度(例えば、スピード及び/又は方向等)を変更することの形態をとり得る。
【0095】
他の実施形態では、車両が閾値を満たすか又は超える信頼度を有する物体を検出した場合であっても、車両は、検出された物体に従って動作してもよいが(例えば、物体が高い信頼度で停止標識として識別された場合に停止する等)、車両が、検出された物体に従って動作するのと同時に(又はその後に)遠隔支援を要求するように構成されてもよい。
【0096】
図4Aは、例示的な実施形態による、システムのブロック図である。特に、
図4Aは、システムコントローラ402、ライダデバイス410、複数のセンサ412、及び複数の制御可能な部品414を含むシステム400を示す。システムコントローラ402は、プロセッサ404と、メモリ406と、メモリ406上に記憶され、機能を実行するためにプロセッサ404によって実行可能である命令408とを含む。
【0097】
プロセッサ404は、1つ以上の汎用マイクロプロセッサ(例えば、シングルコア又はマルチコア等を有する)及び/又は1つ以上の専用マイクロプロセッサ等の1つ以上のプロセッサを含むことができる。1つ以上のプロセッサは、例えば、1つ以上の中央処理装置(central processing unit、CPU)、1つ以上のマイクロコントローラ、1つ以上のグラフィック処理ユニット(graphical processing unit、GPU)、1つ以上のテンソル処理ユニット(tensor processing unit、TPU)、1つ以上のAS IC、及び/又は1つ以上のフィールドプログラマブルゲートアレイ(field-programmable gate array、FPGA)を含んでもよい。ソフトウェア命令を実行するように構成された他のタイプのプロセッサ、コンピュータ、又はデバイスも、本明細書で企図される。
【0098】
メモリ406は、読取り専用メモリ(read-only memory、ROM)、プログラマブル読取り専用メモリ(programmable read-only memory、PROM)、消去可能プログラマブル読取り専用メモリ(erasable programmable read-only memory、EPROM)、電気的消去可能プログラマブル読取り専用メモリ(erasable programmable read-only memory、EEPROM)、不揮発性ランダムアクセスメモリ(例えば、フラッシュメモリ等)、ソリッドステートドライブ(solid state drive、SSD)、ハードディスクドライブ(hard disk drive、HDD)、コンパクトディスク(compact disc、CD)、デジタルビデオディスク(digital video disk、DVD)、デジタルテープ、読取り/書込み(read/write、R/W)CD、R/W DVD等を含み得るが、これに限定されない、非一時的コンピュータ可読媒体等のコンピュータ可読媒体を含み得る。
【0099】
以下で更に説明するライダデバイス410は、光(例えば、光パルス等)を放出するように構成された複数の発光体と、光(例えば、光パルスの反射部分等)を検出するように構成された1つ以上の光検出器とを含む。ライダデバイス410は、光検出器の出力から三次元(three-dimensional、3D)点群データを生成し、3D点群データをシステムコントローラ402に提供してもよい。システムコントローラ402は、次に、3D点群データに対して動作を実行して、周囲環境の特性(例えば、周囲環境内の物体の相対位置、エッジ検出、物体検出、近接感知等)を判定することができる。
【0100】
同様に、システムコントローラ402は、複数のセンサ412からの出力を使用して、システム400の特性及び/又は周囲環境の特性を判定することができる。例えば、センサ412は、GPS、IMU、画像捕捉デバイス(例えば、カメラ等)、光センサ、熱センサ、並びにシステム400及び/又は周囲環境に関連するパラメータを示す他のセンサのうちの1つ以上を含み得る。ライダデバイス410は、例示の目的でセンサ412とは別に示されており、いくつかの例では、センサ412の一部又はセンサ412とみなされてもよい。
【0101】
ライダデバイス410及びセンサ412からの出力に基づいてシステムコントローラ402によって判定されたシステム400及び/又は周囲環境の特性に基づいて、システムコントローラ402は、制御可能な部品414を制御して、1つ以上の作動を実行することができる。例えば、システム400は車両に対応してもよく、その場合、制御可能な部品414は、車両の制動システム、旋回システム、及び/又は加速システムを含んでもよく、システムコントローラ402は、(例えば、システムコントローラ402が自律モード又は半自律モードで車両を制御するとき等)ライダデバイス410及び/又はセンサ412から判定された特性に基づいて、これらの制御可能な部品の態様を変更してもよい。実施例において、ライダデバイス410及びセンサ412はまた、システムコントローラ402によって制御可能である。
【0102】
図4Bは、例示的な実施形態による、ライダデバイスのブロック図である。特に、
図4Bは、複数の発光体424及び1つ以上の光検出器、例えば、複数の光検出器426等を制御するように構成されたコントローラ416を有するライダデバイス410を示す。ライダデバイス410は、複数の発光体424のそれぞれの発光体を選択して電力を供給するように構成された点弧回路428を更に含み、複数の光検出器426のそれぞれの光検出器を選択するように構成されたセレクタ回路430を含んでもよい。コントローラ416は、プロセッサ418と、メモリ420と、メモリ420に記憶された命令422とを含む。
【0103】
プロセッサ404と同様に、プロセッサ418は、1つ以上の汎用マイクロプロセッサ及び/又は1つ以上の専用マイクロプロセッサ等の1つ以上のプロセッサを含むことができる。1つ以上のプロセッサは、例えば、1つ以上のCPU、1つ以上のマイクロコントローラ、1つ以上のGPU、1つ以上のTPU、1つ以上のASIC、及び/又は1つ以上のFPGAを含んでもよい。ソフトウェア命令を実行するように構成された他のタイプのプロセッサ、コンピュータ、又はデバイスも、本明細書で企図される。
【0104】
メモリ406と同様に、メモリ420は、限定はしないが、ROM、PROM、EPROM、EEPROM、不揮発性ランダムアクセスメモリ(例えば、フラッシュメモリ等)、SSD、HDD、CD、DVD、デジタルテープ、R/W CD、R/W DVD等、非一時的コンピュータ可読媒体等のコンピュータ可読媒体を含み得る。
【0105】
命令422は、メモリ420上に記憶され、プロセッサ418によって実行可能であり、3D点群データを生成し、かつ3D点群データを処理するために、点弧回路428及びセレクタ回路430を制御することに関連する機能を実行する(又は、おそらく、システムコントローラ402等の別のコンピューティングデバイスによる3D点群データの処理を容易にする)ためのものである。
【0106】
コントローラ416は、発光体424を使用して光のパルスを放出することによって、3D点群データを判定することができる。発光時間が各発光体に対して確立され、発光時間における相対位置も追跡される。様々な物体等のライダデバイス410の周囲環境の態様は、光のパルスを反射する。例えば、ライダデバイス410が道路を含む周囲環境にある場合、そのような物体は、車両、標識、歩行者、路面、工事用コーン等を含み得る。いくつかの物体は、他の物体よりも反射性が高く、反射光の強度が光パルスを反射する物体のタイプを示し得る。更に、物体の表面は、ライダデバイス410に対して異なる位置にあり得、したがって、光パルスの部分をライダデバイス410に反射して戻すのにより多くの又はより少ない時間を要し得る。したがって、コントローラ416は、反射光パルスが光検出器によって検出される検出時間と、検出時間における光検出器の相対位置とを追跡することができる。放出時間と検出時間との間の時間差を測定することによって、コントローラ416は、光パルスが受信される前にどれだけ遠くまで移動するか、したがって、対応する物体の相対距離を判定することができる。放出時間及び検出時間における相対位置を追跡することによって、コントローラ416は、ライダデバイス410に対する光パルス及び反射光パルスの向き、したがって物体の相対的な向きを判定することができる。受信された光パルスの強度を追跡することによって、コントローラ416は、物体がどの程度反射しているかを判定することができる。したがって、この情報に基づいて判定される3D点群データは、検出された反射光パルスの相対位置(例えば、デカルト座標系等の座標系内)及び各反射光パルスの強度を示すことができる。
【0107】
以下で更に説明するように、点弧回路428は、光パルスを放出するための発光体を選択するために使用される。セレクタ回路430は、同様に、光検出器からの出力をサンプリングするために使用される。
【0108】
図5は、例示的な実施形態による光学システム500を示す。前述したように、光学システム500は、ライダシステム、例えば、ライダユニット528の一部であり得る。光学システム500は、ライダシステムの内側に搭載され、ライダドームウィンドウを監視し、ドーム上になんらかの付着物があるか、又はドームへの損傷があるかどうかを検出することができる。光学システム500は、光学部品510及び1つ以上の光源520を含む。様々な実施形態では、光学部品510はレンズを含むことができる。そのようなシナリオでは、光学部品510は、1つ以上の平凸レンズ、プリズムレンズ、円柱レンズ、円錐レンズ、及び/又は他のタイプのレンズを含むことができる。しかしながら、フィルタ、フィルム、ミラー、ウィンドウ、拡散器、格子、及び/又はプリズム等の他のタイプの光学部品が企図され、可能である。
【0109】
光学システム500はまた、検出器530を含む。検出器530は、相互作用光信号524の少なくとも一部分を検出光信号526として検出するように構成された感光性デバイスとすることができる。いくつかのシナリオでは、検出器530は、電荷結合素子(CCD)、CCDの一部分、カメラの画像センサ、又はカメラの画像センサの一部分のうちの少なくとも1つを含むことができる。追加的に又は代替的に、検出器530は、シリコン光電子増倍管(SiPM)、アバランシェフォトダイオード(avalanche photodiode、APD)、単一光子アバランシェ検出器(SPAD)、極低温検出器、フォトダイオード、又はフォトトランジスタを含むことができる。他の感光性デバイス又はシステムが可能であり、本明細書で企図される。
【0110】
いくつかの実施形態では、光学システム500は、画像センサ540を含んでもよい。例えば、画像センサ540は、複数の電荷結合素子(CCD)素子及び/又は複数の相補型金属酸化膜半導体(CMOS)素子を含むことができる。いくつかの実施形態では、光学システム500は、複数の画像センサを含むことができる。例示的な実施形態では、画像センサ540は、赤外スペクトル(例えば、約700ナノメートル~約1000ナノメートル等)及び/又は可視スペクトル(例えば、約400ナノメートル~約700ナノメートル等)内の光を検出するように構成することができる。他のスペクトル範囲の光(例えば、8~12ミクロンの間の波長を有する長波長赤外線(long-wavelength infrared、LWIR)光等)を感知するために画像センサ540を使用することが可能であり、本明細書で企図される。
【0111】
画像センサ540は、画像センサフォーマットに従って構成(例えば、サイズ設定、寸法設定等)され得る。例えば、画像センサ540は、フルフレーム(例えば、35ミリメートル等)フォーマットセンサを含むことができる。追加的又は代替的に、画像センサ540は、APS-C(例えば、対角28.4mm等)又は1インチ(例えば、対角15.86mm等)フォーマット等の「クロップセンサ」フォーマットを含むことができる。他の画像センサフォーマットが企図され、本開示の範囲内で可能である。
【0112】
光学システム500は、コントローラ550を更に含む。いくつかの実施形態において、コントローラ550は、画像センサ540に電気的に結合された読み出し集積回路(read-out integrated circuit、ROIC)であり得る。コントローラ550は、フィールドプログラマブルゲートアレイ(FPGA)及び特定用途向け集積回路(ASIC)の少なくとも一方を含む。追加又は代替として、コントローラ550は、1つ以上のプロセッサ552及びメモリ554を含んでもよい。1つ以上のプロセッサ552は、(例えば、シングルコア又はマルチコア等を有する)汎用プロセッサ及び/又は専用プロセッサ(例えば、デジタル信号プロセッサ等)を含み得る。1つ以上のプロセッサ552は、例えば、1つ以上の中央処理装置(CPU)、1つ以上のマイクロコントローラ、1つ以上のグラフィック処理ユニット(GPU)、1つ以上のテンソル処理ユニット(TPU)、1つ以上のASIC、及び/又は1つ以上のフィールドプログラマブルゲートアレイ(FPGA)を含んでもよい。ソフトウェア命令を実行するように構成された他のタイプのプロセッサ、コンピュータ、又はデバイスも、本明細書で企図される。1つ以上のプロセッサ552は、メモリ554に記憶されたコンピュータ可読プログラム命令を実行するように構成され得る。いくつかの実施形態では、1つ以上のプロセッサ552は、プログラム命令を実行して、本明細書で説明する機能及び動作のうちの少なくともいくつかを提供することができる。
【0113】
メモリ554は、1つ以上のプロセッサ552によって読み取られるか又はアクセスされ得る1つ以上のコンピュータ可読記憶媒体を含むか、又はその形態をとり得る。1つ以上のコンピュータ可読記憶媒体は、1つ以上のプロセッサ552のうちの少なくとも1つと共に、全体的又は部分的に統合され得る、光学メモリ、磁気メモリ、有機メモリ、ソリッドステートメモリ又は他のメモリ若しくはディスク記憶装置等の揮発性及び/又は不揮発性記憶部品を含むことができる。いくつかの実施形態では、メモリ554は、単一の物理デバイス(例えば、1つの光学メモリ、磁気メモリ、有機ソリッドステートメモリ、又は他のメモリ若しくはディスク記憶ユニット)を使用して実装されてもよく、他の実施形態では、メモリ554は、2つ以上の物理デバイスを使用して実装され得る。
【0114】
上述したように、メモリ554は、光学システム500の動作に関連するコンピュータ可読プログラム命令を含むことができる。少なくとも1つのプロセッサ552は、動作を実行するために、少なくとも1つのメモリ554に記憶された命令を実行する。
【0115】
動作は、ライダデバイス128を使用して、ライダデバイス128の周囲環境50の光強度情報522を判定することを含む。光強度情報522は、光露出の閾値範囲内の複数の角度を含むことができる。いくつかの実施形態では、少なくとも1つの高感度フォトダイオードは、周囲環境における太陽による背景の平均輝度を判定するために、少しの時間ウィンドウにわたって感知された背景光の量を統合することができる。例えば、車からの鏡面反射は、建物の拡散反射よりも明るい可能性がある。
【0116】
動作また、光露出の閾値範囲内の角度の各々と関連付けられた回転時間を判定することを含むことができる。
【0117】
動作はまた、光露出の閾値範囲内の角度の各々と関連付けられた回転時間に基づいて、複数のターゲット撮像時間を判定することを含むことができる。
【0118】
動作はまた、カメラシステムによって、複数のターゲット撮像時間において複数の画像を捕捉することを含むことができる。
【0119】
図6A及び
図6Bは、車両600上のライダデバイスの周囲の環境を示す。周囲環境は、複数の角度602にセグメント化される。これらの図は更に、高い光露出を有する第1の角度604、低い光露出を有する第2の角度606、及びライダデバイスによって検出された光露出の閾値範囲内の複数の角度608を示す。例示的な実施形態は、露出時間が画像全体にわたって一貫しているように、光露出の閾値範囲内の角度と関連付けられた回転時間において、障害物検出カメラで画像を撮影することを含むことができる。このようにして、画像を撮影するために同じ露出設定を使用することができ、したがって、画像の品質を改善し、処理時間を削減する。
【0120】
例示的な実施形態では、
図6Aは、平均背景光が車両の前部で非常に明るく、車両の後部で非常に暗いシナリオを示す。このシナリオは、例えば、晴れた日にトンネルを出ている間に起こり得る。障害物検出カメラがトンネルに向かって後方を向いているとき、平均背景光が暗いので、露出アンダーの画像を回避するために、より長い露出時間を使用すべきである。カメラが太陽に向かって前方を向いているとき、露出オーバーの画像を回避するために、短い露出時間が使用されるべきである。しかしながら、光露出の閾値範囲内の平均背景輝度と関連付けられた角度で画像を撮影することによって、全ての画像に対して同じ露出時間を使用することができる。全ての画像に対して一貫した露出時間を有するように試みることによって、処理を低減することができる。次いで、画像を使用して、ライダウィンドウが遮られているかどうかを判定することができる。
【0121】
例示的な実施形態では、
図6Bは、平均背景光が、太陽に起因して車両の上方で非常に明るく、また、太陽の反射に起因して車両に向かって非常に明るいシナリオを示す。このシナリオは、特に晴れた日の間に起こり得る。周囲環境は、複数の仰角610にセグメント化される。これらの図は、高い光露出を有する第1の角度612、低い光露出を有する第2の角度614、及びライダデバイスによって検出された光露出の閾値範囲内の複数の角度616を更に示す。
図6Aと同様に、画像は、ライダデバイス及びカメラが、光露出の閾値範囲内の平均背景輝度と関連付けられた角度を向いているときに撮影されることができる。
【0122】
図7は、例示的な実施形態による、方法700のフローチャートである。方法700の1つ以上のブロックは、様々な実施形態において、
図1に示されるコンピュータシステム112によって実行され得る。いくつかの実施形態において、方法700のブロックのうちの1つ以上は、コンピューティングデバイス(例えば、光学システム500の1つ以上の又は複数の部品のうちのコントローラ等)によって実行され得る。コンピューティングデバイスは、不揮発性メモリ(例えば、ハードドライブ、読み出し専用メモリ(ROM)等)、揮発性メモリ(例えば、ダイナミックランダムアクセスメモリ(dynamic random-access memory、DRAM)、スタティックランダムアクセスメモリ(static random-access memory、SRAM)等のランダムアクセスメモリ(random-access memory、RAM)等)、ユーザ入力デバイス(例えば、マウス、キーボード等)、ディスプレイ(例えば、LEDディスプレイ、液晶ディスプレイ(liquid-crystal display、LCD)等)、及び/又はネットワーク通信コントローラ(例えば、IEEE 802.11規格に基づくWIFI(登録商標)コントローラ、イーサネット(登録商標)コントローラ等)等のコンピューティング部品を含んでもよい。コンピューティングデバイスは、例えば、非一時的なコンピュータ可読媒体(例えば、ハードドライブ等)に記憶された命令を実行して、本明細書で企図される動作のうちの1つ以上を実行することができる。
【0123】
ブロック702において、方法700は、ライダデバイスを使用して、ライダデバイスの周囲環境の光強度情報を判定することを含み得る。光強度情報は、光露出の閾値範囲内の複数の角度を含むことができる。ブロック704において、方法はまた、光露出の閾値範囲内の角度の各々と関連付けられた回転時間を判定することを含み得る。ブロック706において、本方法は、光露出の閾値範囲内の角度の各々と関連付けられた回転時間に基づいて、複数のターゲット撮像時間を判定することを含むことができる。ブロック708において、方法は、カメラシステムによって、複数のターゲット撮像時間において複数の画像を捕捉することを含むことができる。
【0124】
方法700のいくつかの実施形態では、ライダデバイスは常に回転している。デバイスは、ライダが回転している間にライダが現在向いている角度を追跡することができ、ライダデバイスに統合され得る複数の高感度フォトダイオードを用いて、ライダの周囲環境の光強度情報を判定することができる。代替的に、光強度情報を判定するために、ライダの固有の感光性素子が使用され得る。ライダの固有の感光性素子は、特に高感度の検出器(例えば、アバランシェフォトダイオード等)であり得る、以前に説明された(例えば、段落[0045]等に記載されるような)1つ以上の光検出器であり得る。いくつかの例では、そのような光検出器は、単一光子を検出することが可能であり得る(例えば、単一光子アバランシェダイオード(SPAD)等)。更に、そのような光検出器は、(例えば、シリコン光電子増倍管(SiPM)等におけるように)アレイに(例えば、直列の電気接続等を通して)配列されることができる。いくつかの例では、1つ以上の光検出器は、ガイガーモードで動作するデバイスであり、ライダは、そのようなガイガーモード動作のために設計されたサブ部品を含む。光検出器は、放出された後に戻ってくる光パルスを感知し方向付けるために、ライダデバイスによって使用されることができる。
【0125】
光強度情報は、ライダデバイスの周囲環境の複数の角度についての平均輝度を含むことができる。例えば、ライダデバイスは、ライダデバイスが回転するのに従って、周囲環境の平均背景光を感知することができ、感知された背景光値を、ライダがその時点で向いていた特定の角度と関連付けることができる。光強度情報は、少なくとも低光露出及び高光露出を有するライダデバイスの周囲環境の背景光輝度を更に含むことができる。特に、光強度情報は、ライダデバイスが低光露出で向いていた複数の角度と、ライダデバイスが高光露出で向いていた複数の角度とを含むことができる。低光露出は、約100ルーメン/平方メートル未満の任意の輝度とみなすことができ、高光露出は、15,000ルーメン/平方メートルを超える任意の輝度とみなすことができる。
【0126】
方法700の例示的な実施形態では、複数の角度内の各角度の平均輝度を露出時間に変換することができる。例えば、
図8は、平均背景輝度を露出時間に変換するためのルックアップテーブルを示す。異なるセンサを使用して平均背景光を測定することができ、異なる種類のセンサは異なる光感度レベルを有することができる。テーブルにおいて、平均背景光の単位は、それらを集めるために使用されているデバイスに依存し、したがって任意であり得る。例示的な実施形態では、ライダデバイスの光検出器を使用して、生の平均背景光をルーメン単位で収集することができる。次いで、ルックアップテーブルを使用して、生の平均背景光を、その背景光に対する適切な露出時間に相関させることができる。追加の実施形態では、異なるマッピングを使用して、背景輝度を露出時間に変換することができる。例えば、データを多項式に当てはめることができる。
【0127】
方法700の例示的な実施形態では、光強度情報は、複数の角度を含むことができる。複数の角度は、ライダデバイスによって判定されることができる。それらは、複数のヨー角及び複数の仰角のうちの少なくとも1つであり得る。具体的には、複数のヨー角について、ライダデバイスは、ライダデバイスが垂直軸の周りを回転する間にライダデバイスが向いている角度を追跡することができる。仰角については、ライダデバイスは、直交軸を中心に回転することができ、ライダデバイスは、角度を追跡することができる。複数の角度は、光露出の閾値範囲内であり得る。光露出の範囲は、カメラの複数の露出時間とすることができる。例えば、ほとんどのカメラで光露出の使用可能な範囲は、1ミリ秒未満から25ミリ秒までに及ぶ。例示的な実施形態では、露出時間の閾値範囲は、5ミリ秒~15ミリ秒であり得る。代替実施形態では、露出の閾値範囲は、1ミリ秒~25ミリ秒のいずれかであり得る。
【0128】
光強度情報が光露出の閾値範囲内の複数の角度を含む、ライダデバイスの周囲環境の光強度情報を判定するために、方法700の例示的な実施形態は、ライダデバイスを使用して、複数の固定サイズのヨーセクタの平均背景光を測定することを含むことができる。複数の固定サイズのヨーセクタは、ライダデバイスの360度回転の選択された部分であり得る。セクタのサイズは、ライダ回転周波数、及び障害物検出カメラの可能なフレームレートと共に光露出の閾値範囲に依存し得る。例えば、ヨーセクタのサイズは、ライダデバイスの回転周波数に閾値露出時間を乗じ、360度を乗じたものであってもよい。加えて、ライダデバイスの360度回転は、14個の均等にサイズ設定されたセクタに分割されることができる。他の数の均等にサイズ設定されたセクタ、例えば、均等に分割される4つの固定サイズのヨーセクタ等も可能であり得る。セクタはまた、ライダデバイスのスピード又は障害物検出カメラの露出時間を変更することによって、不均等に分割されることも可能である。追加の実施形態では、ヨーセクタは、補間関数によってサイズ設定されてもよく、又はライダデバイスの周囲環境に基づいて動的にサイズ設定されてもよい。例えば、ヨーセクタのサイズは、環境内の背景照明に基づいて変更することができる。
【0129】
複数の固定サイズのヨーセクタの光強度情報は、次いで、複数の固定サイズのヨーセクタの露出時間に変換され得る。前述したように、光強度情報を、ルックアップテーブル又はマッピング技術の少なくとも1つを使用して露出時間に変換することができる。次いで、実施形態は、複数の固定サイズのヨーセクタのサブセットが光露出の閾値範囲内にあると判定することを含むことができる。例えば、光露出の閾値範囲は、5ミリ秒~15ミリ秒であり得る。ルックアップテーブル又はマッピング技術に基づいて、閾値範囲に対応する光強度情報を含んだ固定サイズのヨーセクタはいずれも、複数のサブセット内の固定サイズのヨーセクタである。追加の実施形態では、所望の露出時間は、各固定サイズのヨーセクタ内の光強度に基づいて選択することができる。例えば、光強度は、各ヨーセクタ内で合計することができ、次いで、露出時間は、撮像時間がヨーセクタの位置と整合するように選択することができる。光強度はまた、所望の露出時間を判定するために複数のヨーセクタにわたって合計され得る。
【0130】
方法700のいくつかの実施形態は、光露出の閾値範囲内の角度の各々と関連付けられた回転時間を判定することを含む。回転時間は、ライダデバイスが向いている既知の角度及びライダデバイスの一定回転スピードに基づいて判定されることができる。ライダデバイスが回転すると、コンピュータシステム112又はコントローラ550等のライダと関連付けられたコンピューティングデバイスは、車両の前部に対するライダが向いている角度を追跡することができる。例えば、車両の中央前部に向いているライダは、0度及び360度であり得る一方、車両の中央後部に向いているライダは、180度であり得る。同様に、ライダが複数の走査軸を有する場合、ライダと関連付けられたコンピューティングデバイスは、ライダが向いている仰角を追跡することができる。例えば、上向きのライダは、0度であり得る。
【0131】
例示的な実施形態では、角度は、固定サイズのセクタにグループ化され得る。例えば、0~10度、10~20度等である。代替的に、角度は一緒にグループ化されず、代わりに単独で考慮され得る。
【0132】
ライダデバイスと関連付けられたコンピューティングシステムがライダデバイスが向いている角度を監視することに加えて、カメラシステムは、ライダデバイスの回転がわたる複数の角度も監視することができる。カメラシステムは、コンピュータシステム112又はコントローラ550等の、ライダデバイスにおける同じコンピューティングデバイスに対応することができる。代替として、コンピュータシステムは、それ自体のコンピューティングデバイスを含むことができる。カメラシステムは、ライダデバイスがわたる複数の角度を監視し、角度を使用して、いつ画像を撮影するかを判定することができる。ライダデバイスがわたる複数の角度は、ライダが向いている0度~360度まで角度であり得る。
【0133】
複数の角度が判定され、閾値光露出内の角度が判定されると、回転時間は、閾値光露出内の角度の各々と関連付けられ得る。ライダ及びそれに取り付けられた障害物検出カメラは、一定の回転スピードで回転することができる。例えば、ライダは、10Hzで回転することができる。ライダデバイスの一定の回転スピードと、ライダデバイスの回転がわたる複数の角度とを使用して、光露出の閾値範囲内の角度の各々と関連付けられた回転時間もまた、判定されることができる。
【0134】
方法700の例示的な実施形態は、光露出の閾値範囲内の角度の各々と関連付けられた回転時間に基づいて、複数のターゲット撮像時間を判定することを含むことができる。具体的には、カメラシステムは、光露出の閾値範囲内の角度と関連付けられた撮像時間において画像を撮影することができる。このようにして、露出アンダー又は露出オーバーの画像を回避する目的で、所望の露出時間で画像を撮影することができる。複数のターゲット撮像時間は、光露出の閾値範囲内の複数の角度と関連付けられた複数の回転時間の間に設定され得る。例えば、ターゲット撮像時間は、45度~90度が光露出の閾値範囲内であったと想定して、45度~90度と関連付けられた任意の時間であり得る。
【0135】
ターゲット撮像時間は、閾値内にない時間を回避するように更に調整することができる。複数のターゲット撮像時間は、画像読み出しブランクラインを変更することによって調整することができる。画像読み出しブランクラインは、カメラモジュールの例示的な実施形態におけるパラメータである。画像読み出しブランクラインは、画像データを含まないが、毎秒フレームを変更するために使用することができる。例示的な実施形態では、画像読み出しブランクラインを変更することは、後続の画像フレームの前の画像フレームのカメラ読み出し時間を増加させること、又は後続の画像フレームの前の画像フレームのカメラ読み出し時間を減少させることのうちの少なくとも1つを含む。ブランクラインの数を増加させることによって、カメラ読み出し時間が増加し、したがって、後続のフレームの開始時間が遅延する。同様に、ブランクラインの数を減少させることによって、カメラ読み出し時間が減少し、後続のフレームの開始時間が繰り上がる。ブランクラインを増加又は減少させることによって、システムは、画像が光露出の閾値内にある角度で撮影される時間を操作することができる。例示的な実施形態では、1つの追加のブランクラインは、後続のフレームを54.792マイクロ秒だけ遅延させることができる。複数のブランクフレームを使用して、画像を撮影するための所望の位置を達成することができる。代替実施形態では、ブランクラインは他の時間に対応することができる。
【0136】
方法700の例示的な実施形態は、カメラシステムによって、複数のターゲット撮像時間において複数の画像を捕捉することを含むことができる。ターゲット撮像時間において複数の画像を撮影することによって、画像は、全ての画像にわたって所望の露出時間を使用して撮影され得る。ターゲット撮像時間を達成するために画像が撮影される時間は、上述のように変更することができ、複数の画像をリアルタイムで処理するためにストリーミングカメラを使用して撮影することができる。代替実施形態では、カメラシステムは、静止画像及び/又はビデオを捕捉するように構成された任意のカメラであってもよい。例えば、非ストリーミングカメラも複数の画像を捕捉することができる。非ストリーミングカメラは、後で処理される複数の画像を記憶する少なくとも1つのカメラを含むことができる。複数の画像は、全ての画像にわたって所望の露出時間で複数のターゲット時間に撮影することができ、ライダウィンドウが遮蔽されているかどうかを後で判定するために記憶することができる。複数の画像がターゲット撮像時間に撮影されると、それらは、ライダデバイスが遮蔽されているかどうかを判定するために使用されることができる。具体的には、複数の画像を使用して、ライダウィンドウ上に何らかの付着物があるかどうか、又はライダウィンドウが何らかの形で損傷しているかどうかを判定することができる。
【0137】
方法700の例示的な実施形態はまた、光露出の閾値範囲外である第2の複数の角度を判定することを含み、カメラシステムがそれらの角度及び時間で画像を撮影することを回避することができる。実施形態は、ライダデバイスを使用して、光強度情報が、光露出の閾値範囲外の第2の複数の角度を更に含むと判定することを含むことができる。ライダデバイスは、前に考察されたように、角度及び角度の各々に対する平均背景光を判定することができる。次いで、平均背景光を露出時間に変換することができる。前述したように、光露出の閾値範囲は5ミリ秒~15ミリ秒であり得る。第2の複数の角度は、閾値範囲外である光露出を有することができ、したがって、画像を撮影するのに好ましくない。
【0138】
前述の方法を使用して、コンピューティングシステムは、ライダデバイスが回転中に向く角度の全てと関連付けられた回転時間を判定することができる。これは、光露出の閾値範囲外の第2の複数の角度の各々と関連付けられた回転時間を判定することを含むことができる。光露出の閾値範囲外の第2の複数の角度の各々と関連付けられた回転時間に基づいて、コンピューティングシステムは複数の望ましくない撮像時間を判定することができる。複数の望ましくない撮像時間は、その間に画像が撮影された場合に、望ましくない光露出で画像を生成する時間を含むことができる。したがって、複数の望ましくない撮像時間を判定することに応答して、カメラシステムと関連付けられたコンピューティングシステムは、閾値外の光露出を有する角度を回避するために、画像読み出しブランクラインを変更することができる。
【0139】
複数の画像は、複数の画像を調和させる目的で同様の露出時間を使用する角度で撮影されるので、本明細書に記載されるいくつかの例示的な実施形態は、複数の画像にわたって同じ信号処理を使用することを含むことができる。具体的には、画像は特定の角度で撮影され、同様の平均背景光及び同様の視野を有するので、同様に処理することができる。例えば、複数の画像にわたってシーケンシャルフレーム処理技術を使用することができる。通常、シーケンシャルフレーム処理は、異なる背景光を含む異なる角度で複数の画像が撮影されるので、経時的に360度回転するセンサに対しては選択肢ではない。例えば、背景効果を差し引くフレーム間差分法は、視野の2つの異なる部分が画像フレーム内にあるので、使用することができない。しかしながら、複数の画像は特定の角度で撮影されるので、画像フレーム間の視野は同様である。したがって、同様の角度で撮影された画像は、ライダウィンドウが遮蔽されているかどうかを判定するために背景減算されることができる。同様に、平均背景光は画像にわたって類似しているので、任意の背景照明を画像から減算することができる。したがって、この方法の結果として、照明器のオンオフシーケンシング及び背景減算の全てがより使用可能になる。
【0140】
本開示は、様々な態様の例示として意図される、本出願において記載される特定の実施形態に関して限定されるべきではない。当業者には明らかなように、本発明の趣旨及び範囲から逸脱することなく、多くの修正及び変形を行うことができる。本開示の範囲内の機能的に等価な方法及び装置は、本明細書に列挙されたものに加えて、前述の説明から当業者には明らかであろう。そのような修正及び変形は、添付の特許請求の範囲の範囲内に収まることが意図される。
【0141】
上記の詳細な説明は、添付の図面を参照して、開示されたシステム、デバイス、及び方法の様々な特徴及び機能を説明する。図面では、文脈が指示しない限り、同様の符号は典型的には同様の構成要素を識別する。本明細書及び図面に記載される例示的な実施形態は、限定することを意図していない。本明細書に提示される主題の範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を行うことができる。本明細書で一般的に説明され、図に示される本開示の態様は、多種多様な異なる構成で配置、置換、組み合わせ、分離、及び設計することができ、それらの全てが本明細書で明示的に企図されることが容易に理解されよう。
【0142】
図中のメッセージフロー図、シナリオ、及びフローチャートのいずれか又は全てに関して、本明細書で考察されるように、各ステップ、ブロック、動作、及び/又は通信は、例示的な実施形態による、情報の処理及び/又は情報の送信を表すことができる。代替実施形態は、これらの例示的な実施形態の範囲内に含まれる。これらの代替実施形態では、例えば、ステップ、ブロック、送信、通信、要求、応答、及び/又はメッセージとして記載される動作は、関与する機能性に応じて、実質的に同時又は逆の順序を含む、図示又は考察される順序とは異なる順序で実行されることができる。更に、より多くの又はより少ないブロック及び/又は動作が、本明細書で考察されるメッセージフロー図、シナリオ、及びフローチャートのいずれかと共に使用されることができ、これらのメッセージフロー図、シナリオ、及びフローチャートは、部分的に又は全体的に、互いに組み合わせられることができる。
【0143】
情報の処理を表すステップ、ブロック、又は動作は、本明細書に記載される方法又は技法の特定の論理機能を実行するように構成され得る回路に対応することができる。代替的又は追加的に、情報の処理を表すステップ又はブロックは、モジュール、セグメント、又はプログラムコードの一部分(関連データを含む)に対応することができる。プログラムコードは、方法又は技法における特定の論理動作又は作動を実施するためにプロセッサによって実行可能な1つ以上の命令を含むことができる。プログラムコード及び/又は関連データは、RAM、ディスクドライブ、ソリッドステートドライブ、又は別の記憶媒体を含む記憶デバイス等、任意のタイプのコンピュータ可読媒体上に記憶され得る。
【0144】
更に、1つ以上の情報送信を表すステップ、ブロック、又は動作は、同じ物理デバイス内のソフトウェアモジュール及び/又はハードウェアモジュール間の情報送信に対応することができる。しかしながら、他の情報送信は、異なる物理デバイス内のソフトウェアモジュール及び/又はハードウェアモジュール間であり得る。
【0145】
図に示された特定の配置は、限定するものとみなされるべきではない。他の実施形態は、所与の図に示される各要素をより多く又はより少なく含み得ることを理解されたい。更に、図示される要素のうちのいくつかは、組み合わせられてもよく、又は省略されてもよい。更に、例示的な実施形態は、図に示されていない要素を含むことができる。
【0146】
様々な態様及び実施形態が本明細書に開示されているが、他の態様及び実施形態が当業者には明らかであろう。本明細書に開示される様々な態様及び実施形態は、例示を目的としており、限定を意図するものではなく、真の範囲は、以下の特許請求の範囲によって示される。