IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ウェイモ エルエルシーの特許一覧

特許7595105光検出及び測距(LIDAR)デバイスにおける近くの物体検出のための光検出器
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-27
(45)【発行日】2024-12-05
(54)【発明の名称】光検出及び測距(LIDAR)デバイスにおける近くの物体検出のための光検出器
(51)【国際特許分類】
   G01S 7/4861 20200101AFI20241128BHJP
   H01L 31/10 20060101ALI20241128BHJP
   H04N 25/70 20230101ALI20241128BHJP
【FI】
G01S7/4861
H01L31/10 A
H04N25/70
【請求項の数】 20
【外国語出願】
(21)【出願番号】P 2023049391
(22)【出願日】2023-03-27
(65)【公開番号】P2023181970
(43)【公開日】2023-12-25
【審査請求日】2023-05-30
(31)【優先権主張番号】17/806,629
(32)【優先日】2022-06-13
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】317015065
【氏名又は名称】ウェイモ エルエルシー
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100126480
【弁理士】
【氏名又は名称】佐藤 睦
(72)【発明者】
【氏名】ボガトコ,アレックス
(72)【発明者】
【氏名】オナル,ケイナー
(72)【発明者】
【氏名】カープラス,ポール
【審査官】渡辺 慶人
(56)【参考文献】
【文献】国際公開第2018/151226(WO,A1)
【文献】米国特許出願公開第2012/0261516(US,A1)
【文献】特開2007-214564(JP,A)
【文献】特開2018-013370(JP,A)
【文献】特開平09-105776(JP,A)
【文献】米国特許出願公開第2013/0135606(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/48 - 7/51
17/00 - 17/95
(57)【特許請求の範囲】
【請求項1】
光検出及び測距(LIDAR)デバイスであって、
第1の時点で光信号を放出するように構成された光エミッタと、
前記光エミッタによって放出された前記光信号を検出するように構成された光検出器と、
バイアス信号を使用して前記光検出器の検出器バイアスを修正するように構成されたバイアス回路と、を備え、
前記バイアス信号が、前記検出器バイアスを、前記第1の時点における第1のバイアスレベルから、第2の時点における第2のバイアスレベルまでランプさせ、
前記第2の時点が、前記第1の時点の後に発生し、ランプ持続時間だけ、前記第1の時点から分離され、
前記第2のバイアスレベルが、前記第1のバイアスレベルよりも大きく、
前記ランプ持続時間は、前記放出された光信号によって引き起こされた前記LIDARデバイス内の任意の内部フィードバックが、前記光検出器、又は前記光検出器と関連付けられた検出回路を飽和させることを防止するのに十分であり、
前記バイアス信号が、前記検出器バイアスを、前記第1の時点における前記第1のバイアスレベルから、前記第2の時点における前記第2のバイアスレベルまで、3つの段階でランプさせ、前記3つの段階が、
前記第1のバイアスレベルから第1の中間バイアスレベルまでランプさせる第1の段階と、
前記第1の中間バイアスレベルから第2の中間バイアスレベルまでランプさせる第2の段階と、
前記第2の中間バイアスレベルから前記第2のバイアスレベルまでランプさせる第3の段階と、を含む、LIDARデバイス。
【請求項2】
前記光検出器が、1つ以上のシリコン光電子増倍管(SiPM)を備える、請求項1に記載のLIDARデバイス。
【請求項3】
前記第1のバイアスレベルが、前記1つ以上のSiPMの線形モードに対応し、前記第2のバイアスレベルが、前記1つ以上のSiPMのガイガーモードに対応する、請求項2に記載のLIDARデバイス。
【請求項4】
ハウジングを更に備え、前記ランプ持続時間が、
少なくとも、前記光信号が、前記光エミッタから前記ハウジングに、次いで、前記ハウジングから前記光検出器に戻って伝播するための通過時間と同じ長さ、又は
少なくとも、前記光信号が、前記光エミッタから前記ハウジング上に配設された破片に、次いで、前記ハウジング上に配設された前記破片から前記光検出器に戻って伝播するための通過時間と同じ長さである、請求項1に記載のLIDARデバイス。
【請求項5】
前記第1の段階は非線形段階であり、
前記第2の段階は線形段階であり、
前記第3の段階は非線形段階である、請求項1に記載のLIDARデバイス。
【請求項6】
前記3つの段階のうちの前記1つ以上の段階が、前記検出器バイアスを指数的にランプさせる段階を含む、請求項1に記載のLIDARデバイス。
【請求項7】
前記バイアス回路に前記バイアス信号を調整させるように構成されたコントローラを更に備え、前記コントローラは、前記バイアス回路に、周囲環境中の標的に対する所望の最小検出可能距離に基づいて、前記バイアス信号の前記ランプ持続時間を調整させるように構成されている、請求項1に記載のLIDARデバイス。
【請求項8】
光検出及び測距(LIDAR)デバイスであって、
第1の時点で光信号を放出するように構成された光エミッタと、
前記光エミッタによって放出された前記光信号を検出するように構成された光検出器と、
バイアス信号を使用して前記光検出器の検出器バイアスを修正するように構成されたバイアス回路と、
コントローラであって、
前記光エミッタに較正信号を放出させることと、
前記光検出器から、検出された較正信号を受信することであって、前記検出された較正信号は、前記バイアス回路が前記バイアス信号を使用して前記光検出器の前記検出器バイアスを修正していた間に、前記放出された較正信号に基づいて、前記光検出器によって検出されたことと、
前記光エミッタに物体検出信号を放出させることと、
前記光検出器から、検出された物体検出信号を受信することであって、前記検出された物体検出信号は、前記バイアス回路が前記バイアス信号を使用して前記光検出器の前記検出器バイアスを修正していた間に、前記放出された物体検出信号に基づいて、前記光検出器によって検出されたことと、
前記検出された物体検出信号から前記検出された較正信号を減算することによって、修正された物体検出信号を生成することと、を行うように構成されている、コントローラと、を備え、
前記バイアス信号が、前記検出器バイアスを、前記第1の時点における第1のバイアスレベルから、第2の時点における第2のバイアスレベルまでランプさせ、
前記第2の時点が、前記第1の時点の後に発生し、ランプ持続時間だけ、前記第1の時点から分離され、
前記第2のバイアスレベルが、前記第1のバイアスレベルよりも大きく、
前記ランプ持続時間は、前記放出された光信号によって引き起こされた前記LIDARデバイス内の任意の内部フィードバックが、前記光検出器、又は前記光検出器と関連付けられた検出回路を飽和させることを防止するのに十分である、LIDARデバイス。
【請求項9】
前記バイアス信号が、前記検出器バイアスを、前記第1の時点における前記第1のバイアスレベルから、前記第2のバイアスレベルまで、1つ以上の段階でランプさせ、前記1つ以上の段階が、前記検出器バイアスを対数的にランプさせる段階を含む、請求項8に記載のLIDARデバイス。
【請求項10】
前記修正された物体検出信号を生成することが、
前記検出された物体検出信号から、前記光検出器の検出回路に対する前記バイアス信号の影響を除去すること、又は
前記検出された物体検出信号から、前記放出された光信号によって引き起こされた前記LIDARデバイス内の前記内部フィードバックの影響を除去すること、を含む、請求項8に記載のLIDARデバイス。
【請求項11】
光検出及び測距(LIDAR)デバイスであって、
第1の時点で光信号を放出するように構成された光エミッタと、
前記光エミッタによって放出された前記光信号を検出するように構成された光検出器と、
バイアス信号を使用して前記光検出器の検出器バイアスを修正するように構成されたバイアス回路と、
前記バイアス回路に、前記光検出器の温度に基づいて前記バイアス信号を調整させるように構成されたコントローラと、を備え、
前記バイアス信号が、前記検出器バイアスを、前記第1の時点における第1のバイアスレベルから、第2の時点における第2のバイアスレベルまでランプさせ、
前記第2の時点が、前記第1の時点の後に発生し、ランプ持続時間だけ、前記第1の時点から分離され、
前記第2のバイアスレベルが、前記第1のバイアスレベルよりも大きく、
前記ランプ持続時間は、前記放出された光信号によって引き起こされた前記LIDARデバイス内の任意の内部フィードバックが、前記光検出器、又は前記光検出器と関連付けられた検出回路を飽和させることを防止するのに十分である、LIDARデバイス。
【請求項12】
前記コントローラが、前記バイアス回路に、
前記光検出器の前記温度の上昇に応答して、前記バイアス信号の少なくとも一部分に沿って傾斜を増加させること、又は
前記光検出器の前記温度の低下に応答して、前記バイアス信号の少なくとも一部分に沿って傾斜を減少させること、を行わせるように構成されている、請求項11に記載のLIDARデバイス。
【請求項13】
前記コントローラが、前記バイアス回路に、
前記光検出器の前記温度の上昇に応答して、前記第2のバイアスレベルを増加させること、又は
前記光検出器の前記温度の低下に応答して、前記第2のバイアスレベルを減少させること、を行わせるように構成されている、請求項11に記載のLIDARデバイス。
【請求項14】
前記コントローラが、前記光検出器の前記温度に基づいて、前記ランプ持続時間を調整するように構成されている、請求項11に記載のLIDARデバイス。
【請求項15】
前記光検出器又は前記光検出器の近くの前記温度を測定するように構成された温度センサを更に備え、前記コントローラが、前記温度センサに通信可能に結合され、前記コントローラが、前記温度センサから受信されたデータに基づいて、前記光検出器の前記温度を判定するように構成されている、請求項11に記載のLIDARデバイス。
【請求項16】
光検出及び測距(LIDAR)デバイスであって、
第1の時点で光信号を放出するように構成された光エミッタと、
前記光エミッタによって放出された前記光信号を検出するように構成された光検出器と、
バイアス信号を使用して前記光検出器の検出器バイアスを修正するように構成されたバイアス回路と、を備え、
前記バイアス信号が、前記検出器バイアスを、前記第1の時点における第1のバイアスレベルから、第2の時点における第2のバイアスレベルまでランプさせ、
前記第2の時点が、前記第1の時点の後に発生し、ランプ持続時間だけ、前記第1の時点から分離され、
前記第2のバイアスレベルが、前記第1のバイアスレベルよりも大きく、
前記ランプ持続時間は、前記放出された光信号によって引き起こされた前記LIDARデバイス内の任意の内部フィードバックが、前記光検出器、又は前記光検出器と関連付けられた検出回路を飽和させることを防止するのに十分であり、
前記バイアス回路が、
コンデンサであって、前記コンデンサの端子間に電圧差を生成するために電荷を蓄積するように構成された、コンデンサと、
電圧入力に基づいて、前記コンデンサを充電するように構成された昇圧コンバータと、
前記光検出器間に電圧差を選択するように生成し、結果として検出器バイアスをもたらすために、前記コンデンサとともに使用される1つ以上のスイッチングデバイスと、を備える、LIDARデバイス。
【請求項17】
前記第2のバイアスレベルが、約30V~約70Vである、請求項1に記載のLIDARデバイス。
【請求項18】
方法であって、
光検出及び測距(LIDAR)デバイスの光エミッタによって、第1の時点で光信号を放出することと、
前記LIDARデバイスの光検出器によって、前記光エミッタによって放出された前記光信号を検出することと、
前記LIDARデバイスのバイアス回路によって、バイアス信号を使用して前記光検出器の検出器バイアスを修正することと、を含み、
前記バイアス信号が、前記検出器バイアスを、前記第1の時点における第1のバイアスレベルから、第2の時点における第2のバイアスレベルまでランプさせ、
前記第2の時点が、前記第1の時点の後に発生し、ランプ持続時間だけ、前記第1の時点から分離され、
前記第2のバイアスレベルが、前記第1のバイアスレベルよりも大きく、
前記ランプ持続時間は、前記放出された光信号によって引き起こされた前記LIDARデバイス内の任意の内部フィードバックが、前記光検出器、又は前記光検出器と関連付けられた検出回路を飽和させることを防止するのに十分であり、
前記バイアス信号が、前記検出器バイアスを、前記第1の時点における前記第1のバイアスレベルから、前記第2の時点における前記第2のバイアスレベルまで、3つの段階でランプさせ、前記3つの段階が、
前記第1のバイアスレベルから第1の中間バイアスレベルまでランプさせる第1の段階と、
前記第1の中間バイアスレベルから第2の中間バイアスレベルまでランプさせる第2の段階と、
前記第2の中間バイアスレベルから前記第2のバイアスレベルまでランプさせる第3の段階と、を含む、方法。
【請求項19】
前記LIDARデバイスの前記光検出器によって、前記光信号を検出することが、
前記LIDARデバイスの前記光検出器によって、前記放出された光信号によって引き起こされた前記LIDARデバイス内の内部フィードバックに対応する前記光信号の第1の部分を検出することと、
前記LIDARデバイスの前記光検出器によって、周囲環境内の1つ以上の物体からの前記光信号の反射に対応する、前記光信号の第2の部分を検出することと、を含む、請求項18に記載の方法。
【請求項20】
光検出及び測距(LIDAR)デバイスであって、
複数の光エミッタであって、各光エミッタが、対応する第1の時点で光信号を放出するように構成されている、複数の光エミッタと、
複数の光検出器であって、各光検出器が、前記複数の光エミッタのうちの少なくとも1つの光エミッタに対応し、各光検出器が、前記光検出器が対応する前記光エミッタによって放出された前記光信号を検出するように構成されている、複数の光検出器と、
1つ以上のバイアス信号を使用して、前記複数の光検出器のうちの1つ以上の光検出器に対する検出器バイアスを修正するように構成されたバイアス回路と、を備え、
各バイアス信号が、前記1つ以上の対応する光検出器に対する前記検出器バイアスを、前記対応する第1の時点における対応する第1のバイアスレベルから、対応する第2の時点における対応する第2のバイアスレベルまでランプさせ、
各対応する第2の時点が、前記対応する第1の時点の後に発生し、対応するランプ持続時間だけ、前記対応する第1の時点から分離され、
各第2のバイアスレベルが、前記対応する第1のバイアスレベルよりも大きく、
各ランプ持続時間は、前記対応する放出された光信号によって引き起こされた前記LIDARデバイス内の任意の内部フィードバックが、前記対応する光検出器、又は前記対応する光検出器と関連付けられた検出回路を飽和させることを防止するのに十分であり、
前記バイアス信号が、前記検出器バイアスを、前記第1の時点における前記第1のバイアスレベルから、前記第2の時点における前記第2のバイアスレベルまで、3つの段階でランプさせ、前記3つの段階が、
前記第1のバイアスレベルから第1の中間バイアスレベルまでランプさせる第1の段階と、
前記第1の中間バイアスレベルから第2の中間バイアスレベルまでランプさせる第2の段階と、
前記第2の中間バイアスレベルから前記第2のバイアスレベルまでランプさせる第3の段階と、を含む、LIDARデバイス。
【発明の詳細な説明】
【背景技術】
【0001】
本明細書に別段の記載がない限り、この章の説明は、本出願の特許請求の範囲の先行技術ではなく、この章に含めることにより先行技術であると認められるべきではない。
【0002】
車両は、運転手からの入力がほとんど又は全くない状態で、環境を車両がうまく通過する自律モードで動作するように構成され得る。こうした自律車両は、車両が動作する環境についての情報を検出するように構成される、1つ以上のセンサを含み得る。
【0003】
光検出及び測距(LIDAR)デバイスは、所与の環境における物体までの距離を推測し得る。例えば、LIDARシステムのエミッタサブシステムは、LIDARデバイスの環境において、物体と相互作用し得る近赤外光パルスを放出し得る。光パルスの少なくとも一部分は、(例えば、反射又は散乱に起因して)LIDARデバイスの方に戻るように方向転換され、かつレシーバサブシステムによって検出され得る。従来のレシーバサブシステムは、複数の光検出器及び、それぞれの光パルスの到着時刻を、高時間分解能(例えば、約400ps)で判定するように構成された対応するコントローラを含み得る。LIDARデバイスと所与の物体との間の距離は、所与の物体と相互作用する、対応する光パルスの飛行時間に基づいて判定され得る。
【0004】
レシーバサブシステム内の複数の光検出器は、それらの表面上に照射される光を検出するために(光の強度に対応する、電圧又は電流などの電気信号を出力することによって)、フォトダイオード、単一光子アバランシェダイオード(SPAD)、又は他のタイプのアバランシェフォトダイオード(APD)を含み得る。そのようなデバイスの多くのタイプは、半導体材料から製造される。実質的な幾何学的領域にわたる光を検出するために、複数の光検出器がアレイに(例えば、直列の電気接続を通して)配置され得る。これらのアレイは、シリコン光電子増倍管(SiPM)又はマルチピクセル光子カウンタ(MPPC)と称されることがある。
【発明の概要】
【0005】
本開示は、LIDARデバイス内の1つ以上の光検出器(例えば、SiPM)のバイアスをランプさせることに関する。1つ以上の光検出器に適用されるバイアスをランプさせることによって、内部フィードバックの悪影響(例えば、内部フィードバックに基づく1つ以上の光検出器の飽和)が軽減され得る。例えば、光信号が、LIDARデバイス内の1つ以上の光エミッタによって放出されるとき、LIDARデバイスの1つ以上の構成要素(例えば、LIDARデバイスのハウジング)からの内部反射は、1つ以上の光検出器によって検出され得る。これらの反射の強度を考慮すると、軽減技術の非存在下では、1つ以上の光検出器が、飽和し、次いで、回復するのに時間がかかる場合がある。この回復期間中、追加の反射信号(例えば、周囲環境中の物体からの)が検出不可能な場合がある。したがって、内部反射に基づいてバイアスをランプさせ、飽和を防止することによって、周囲環境内の近くの物体(例えば、軽減技術の非存在下で回復期間に収まるように、LIDARデバイスに十分に近いそれらの物体)は、検出可能なままになり得る。
【0006】
第1の態様では、光検出及び測距(LIDAR)デバイスが提供される。LIDARデバイスは、第1の時点で光信号を放出するように構成された光エミッタを含む。LIDARデバイスはまた、光エミッタによって放出された光信号を検出するように構成された光検出器を含む。追加的に、LIDARデバイスは、バイアス信号を使用して光検出器の検出器バイアスを修正するように構成されたバイアス回路を含む。バイアス信号は、検出器バイアスを、第1の時点における第1のバイアスレベルから、第2の時点における第2のバイアスレベルまでランプさせる。第2の時点が、第1の時点の後に発生し、ランプ持続時間だけ、第1の時点から分離される。第2のバイアスレベルが、第1のバイアスレベルよりも大きい。ランプ持続時間は、放出された光信号によって引き起こされたLIDARデバイス内の任意の内部フィードバックが、光検出器、又は光検出器と関連付けられた検出回路を飽和させることを防止するのに十分である。
【0007】
第2の態様では、方法が提供される。方法は、光検出及び測距(LIDAR)デバイスの光エミッタによって、第1の時点で光信号を放出することを含む。方法はまた、LIDARデバイスの光検出器によって、光エミッタによって放出された光信号を検出することを含む。追加的に、方法は、LIDARデバイスのバイアス回路によって、バイアス信号を使用して光検出器の検出器バイアスを修正することを含む。バイアス信号は、検出器バイアスを、第1の時点における第1のバイアスレベルから、第2の時点における第2のバイアスレベルまでランプさせる。第2の時点が、第1の時点の後に発生し、ランプ持続時間だけ、第1の時点から分離される。第2のバイアスレベルが、第1のバイアスレベルよりも大きい。ランプ持続時間は、放出された光信号によって引き起こされたLIDARデバイス内の任意の内部フィードバックが、光検出器、又は光検出器と関連付けられた検出回路を飽和させることを防止するのに十分である。
【0008】
第3の態様では、光検出及び測距(LIDAR)デバイスが提供される。LIDARデバイスは、複数の光エミッタを含む。各光エミッタは、対応する第1の時点で光信号を放出するように構成されている。LIDARデバイスはまた、複数の光検出器を含む。各光検出器は、複数の光エミッタのうちの少なくとも1つの光エミッタに対応する。各光検出器は、光検出器が対応する光エミッタによって放出された光信号を検出するように構成されている。追加的に、LIDARデバイスは、1つ以上のバイアス信号を使用して、複数の光検出器のうちの1つ以上の光検出器に対する検出器バイアスを修正するように構成されたバイアス回路を含む。各バイアス信号が、1つ以上の対応する光検出器に対する検出器バイアスを、対応する第1の時点における対応する第1のバイアスレベルから、対応する第2の時点における対応する第2のバイアスレベルまでランプさせる。各対応する第2の時点が、対応する第1の時点の後に発生し、対応するランプ持続時間だけ、対応する第1の時点から分離される。各第2のバイアスレベルが、対応する第1のバイアスレベルよりも大きい。各ランプ持続時間は、対応する放出された光信号によって引き起こされたLIDARデバイス内の任意の内部フィードバックが、対応する光検出器、又は対応する光検出器と関連付けられた検出回路を飽和させることを防止するのに十分である。
【0009】
これらの並びに他の態様、利点、及び代替物は、当業者には、以下の詳細な説明を添付の図面を適宜参照して読み取ることにより明らかになるであろう。
【図面の簡単な説明】
【0010】
図1】例示的な実施形態による、車両を例解する機能ブロック図である。
図2A】例示的な実施形態による、車両の物理的構成の例解図である。
図2B】例示的な実施形態による、車両の物理的構成の例解図である。
図2C】例示的な実施形態による、車両の物理的構成の例解図である。
図2D】例示的な実施形態による、車両の物理的構成の例解図である。
図2E】例示的な実施形態による、車両の物理的構成の例解図である。
図2F】例示的な実施形態による、車両の物理的構成の例解図である。
図2G】例示的な実施形態による、車両の物理的構成の例解図である。
図2H】例示的な実施形態による、車両の物理的構成の例解図である。
図2I】例示的な実施形態による、車両の物理的構成の例解図である。
図2J】例示的な実施形態による、様々なセンサの視野の例解図である。
図2K】例示的な実施形態による、センサに対するビームステアリングの例解図である。
図3】例示的な実施形態による、自律又は半自律車両に関連する様々なコンピューティングシステム間の無線通信の概念例解図である。
図4A】例示的な実施形態による、LIDARデバイスを含むシステムのブロック図である。
図4B】例示的な実施形態による、LIDARデバイスのブロック図である。
図5A】例示的な実施形態による、光検出器バイアス回路を例解する。
図5B】例示的な実施形態による、光検出器サンプリング回路を例解する。
図5C】例示的な実施形態による、SiPMを例解する。
図6A】例示的な実施形態による、LIDARデバイスの内部フィードバックの例解図である。
図6B】例示的な実施形態による、軽減されていない内部フィードバックによって影響され得る検出イベントの例解図である。
図6C】例示的な実施形態による、軽減されていない内部フィードバックによって影響され得る検出イベントの例解図である。
図7】例示的な実施形態による、発射シーケンス及びバイアス信号の例解図である。
図8A】例示的な実施形態による、バイアス信号の例解図である。
図8B】例示的な実施形態による、バイアス信号の例解図である。
図8C】例示的な実施形態による、バイアス信号の例解図である。
図9A】例示的な実施形態による、検出された較正信号の例解図である。
図9B】例示的な実施形態による、検出された物体検出信号の例解図である。
図9C】例示的な実施形態による、差動信号の例解図である。
図10】例示的な実施形態による、方法のフローチャート図である。
【発明を実施するための形態】
【0011】
例示的な方法及びシステムが本明細書で企図されている。本明細書において説明される任意の実施形態又は特徴の例は、必ずしも他の実施形態又は特徴よりも好ましいか、又は有利であると解釈されるべきではない。更に、本明細書において説明される例示的な実施形態は、限定的であることを意味するものではない。開示されるシステム及び方法の特定の態様は、多種多様な異なる構成で配置し、組み合わせることができ、これらの構成の全てが、本明細書において企図されることは容易に理解されよう。加えて、図に示される特定の配置は、限定としてみなされるべきではない。他の実施形態は、所定の図に示されるそれぞれの要素をより多く、又はより少なく含むことができることが理解されるべきである。追加的に、例解される要素のうちのいくつかは、組み合わせされ得るか、又は省略され得る。なお更に、例示的な実施形態は、図に例解されていない要素を含み得る。
【0012】
本明細書に説明されるLIDARデバイスは、1つ以上の光エミッタと、1つ以上の光エミッタによって放出され、LIDARデバイスを取り囲む環境内の1つ以上の物体によって反射される光を検出するために使用される1つ以上の検出器と、を含み得る。一例として、周囲環境は、建物の内側又は建物の外側などの、内部又は外部環境を含み得る。追加的又は代替的に、周囲環境は、車両の内部を含み得る。なお更に、周囲環境は、道路の周り及び/又は道路上の周辺を含み得る。周囲環境にある物体の例としては、限定されるものではないが、他の車両、交通標識、歩行者、自転車に乗る人、道路表面、建物、地形などが挙げられる。追加的に、1つ以上の光エミッタは、LIDAR自体の局所環境中に光を放出し得る。例えば、1つ以上の光エミッタから放出された光は、LIDARのハウジング及び/又はLIDARに結合された表面若しくは構造と相互作用し得る。場合によっては、LIDARは、車両に取り付けられ得、その場合、1つ以上の光エミッタは、車両の周辺内の物体と相互作用する光を放出するように構成され得る。光エミッタは、他の可能性の中でも、光ファイバ増幅器、レーザダイオード、発光ダイオード(LED)を含み得る。
【0013】
LIDARデバイスは、エミッタサブシステム及び/又は受信サブシステム内のいくつかの構成要素を含み得る。例えば、LIDARデバイスは、1つ以上のレンズ、1つ以上のミラー、1つ以上の導波路、1つ以上のバッフル、1つ以上の光学窓、LIDARデバイスの内部構成要素を封止する外部ハウジング、1つ以上の電源、1つ以上のコントローラ、1つ以上の回路基板などを含み得る。これらの構成要素の結果として、いくつかのLIDARデバイスは、望ましくない内部反射(すなわち、LIDARデバイス内の構成要素のうちの1つ以上によって反射される、光エミッタによって放出された光信号から結果として生じる)を被る場合がある。そのような内部反射は、光検出器によって検出され得る。LIDARデバイスから、LIDARデバイスによって検出される周囲環境中の物体までの距離(例えば、0.0cm~300.0m)に対するLIDARデバイス内の構成要素を分離する距離(例えば、1.0μm~50.0cm)を考慮すると、内部反射の検出は、光検出器の検出サイクルの比較的早期に発生し得る。
【0014】
LIDARデバイス内の内部反射に関連する検出イベントは、データセット(例えば、周囲環境の三次元点群を生成するために使用可能なデータセット)を生成するときに、LIDARデバイスによって無視され得る。例えば、光エミッタ/光検出器からの閾値距離未満(例えば、10.0cm未満、15.0cm未満、20.0cm未満、25.0cm未満、30.0cm未満、35.0cm未満、40.0cm未満、45.0cm未満、50.0cm未満など)である距離(例えば、光信号の飛行時間に基づく)に対応する任意の検出イベントは、内部反射に対応するとみなされ、それゆえに、無視され得る。
【0015】
しかしながら、比較的短い通過時間を有するスプリアス検出イベントを生成することに加えて、内部反射はまた、他の物体(例えば、LIDARデバイスに比較的近い周囲環境中の物体)を検出する光検出器の能力を一時的に阻害し得る。例えば、いくつかの実施形態では、光検出器は、1つ以上の半導体検出器(例えば、シリコン光電子増倍管(SiPM)、アバランシェフォトダイオード(APD)、単一光子アバランシェフォトダイオード(SPAD)、電荷結合素子(CCD)など)を含み得る。更に、内部反射が、実質的に包囲された空間内であり得る、及び/又は光検出器の実質的に近く(例えば、著しい減衰には不十分な距離内)で発生し得るため、内部反射は、比較的高い強度を有し得る。高強度信号が半導体検出器上に入射するとき、そのような信号は、大きい出力電気信号を結果的にもたらし得る(特に半導体検出器が、適用される強い逆バイアスなどの強いバイアスを有する場合)。加えて、結果として、高強度信号はまた、半導体検出器を飽和させ得る。飽和すると、半導体検出器は、それが回復するまで追加の検出を実施することができない場合がある。そのような回復プロセスは、追加の時間がかかり、それゆえに、周囲環境中のいくつかの物体が、結果的に、ある期間、有効に検出不可能になり得る。例えば、SiPM光検出器が、内部反射を検出することに起因して飽和し、次いで、飽和後に回復するために20nsかかる場合、SiPMは、これらの20nsの間に追加の検出を実施することができない場合がある。そのような回復時間は、LIDARデバイスによって有効に検出不可能である3.0mの周囲環境に対応し得る。半導体検出器の飽和に加えて、又はその代わりに、検出回路(例えば、半導体検出器から出力を受信し、出力をコントローラに送信するために使用される回路)もまた、高強度の戻り信号(例えば、内部反射に起因する)の結果として飽和し得る。半導体検出器の飽和と同様に、検出回路の飽和はまた、検出回路と関連付けられた回復時間中の追加の検出を防止し得る。
【0016】
本明細書に説明される例示的な実施形態は、内部反射に起因して光検出器が飽和することを防止することによって、周囲環境のこの検出不可能な領域を低減又は排除する。そのような技術は、例えば、モノスタティックLIDARデバイス(すなわち、光検出器と光エミッタとの間に一対一の相関を有するLIDARデバイス)で使用され得る。本明細書に説明される1つの技術は、光信号が放出された時点から、光信号がもはや光検出器によって検出可能である内部反射を引き起こさない時点まで、光検出器に適用されるバイアスをランプさせることを含む。例えば、光検出器に適用されるバイアスは、放出された光信号が、LIDARデバイスの外部筐体(例えば、ハウジング)に到達するために十分に遠くまで伝播されると、光信号の放出の時点における第1のバイアスレベル(例えば、第1のバイアス電圧)から、第2のバイアスレベル(例えば、第2のバイアス電圧)までランプされ得る。第1のバイアスレベルは、線形モード(例えば、光子検出イベントがアバランシェ降伏を結果的にもたらさない、ガイガーモードバイアスを下回るバイアスを有するモード)で動作する光検出器(例えば、SiPM)を表し得るが、それに対して、第2のバイアスレベルは、ガイガーモード(例えば、光子検出イベントがアバランシェ降伏/飽和を結果的にもたらすモード)で動作する光検出器(例えば、SiPM)を表し得る。更に、そのようなバイアスレベルは、バイアス回路によって光検出器に適用され得る。光信号がLIDARデバイスの外部筐体に到達すると、内部反射は、もはや飽和を結果的に生じさせなくなり得る。したがって、この時点では、光検出器は、早期の飽和からの有害な影響をもはや被ることがない場合がある。更に、検出される周囲環境中の物体からの反射は、比較的低い強度を有し得る(例えば、物体の低反射率に起因して)。したがって、そのような反射を検出しようと試みるときにアバランシェ降伏を有することが望ましい場合がある。
【0017】
第1のバイアスレベルから第2のバイアスレベルにランプさせることは、様々な方式で実施され得る。例えば、第1のバイアスレベルから第2のバイアスレベルまでの線形ランプが存在し得る。他のランプ形状もまた可能であり、本明細書で企図される(例えば、指数ランプ形状、二次ランプ形状、対数ランプ形状など)。更に、いくつかの実施形態では、区分関数が、複数の段階で第1のバイアスレベルから第2のバイアスレベルまでランプさせるために使用され得る。例えば、ランプは、3つの段階、すなわち、第1のバイアスレベルから第1の中間バイアスレベル(例えば、第1のバイアスレベルと第2のバイアスレベルとの間の差の10%だけ、第1のバイアスレベルよりも高いレベル)までランプさせる第1の段階、第1の中間バイアスレベルから第2の中間バイアスレベル(例えば、第1のバイアスレベルと第2のバイアスレベルとの間の差の10%だけ、第2のバイアスレベルよりも小さいレベル)までランプさせる第2の段階、及び第2の中間バイアスレベルから第2のバイアスレベルまでランプさせる第3の段階を含み得る。そのような実施形態では、3つの段階は、異なるランプ形状を有し得る(例えば、第1の段階は、指数ランプ形状などの非線形ランプ形状を有し、第2の段階は、線形ランプ形状を有し、第3の段階は、指数ランプ形状などの非線形ランプ形状を有する)。
【0018】
いくつかの実施形態では、第1のバイアスレベルは、ガイガーモードにおける動作をほぼ表す値に対応し得るが、一方で、線形モードにおける動作を依然として表す(例えば、ガイガーモードレベルの80%、ガイガーモードレベルの85%、ガイガーモードレベルの90%、ガイガーモードレベルの95%、ガイガーモードレベルの99%、ガイガーモードレベルの99.9%など)。このようにして(例えば、光検出器の時定数に基づいて光検出器をバイアスすることと関連付けられた時間遅延を考慮すると)、バイアスレベルは、比較的迅速に(例えば、内部反射がもはや光検出器内の検出イベントを結果的に生じない十分な時間が経過すると)、線形モードにおける動作からガイガーモードにおける動作に切り替えられ得る。
【0019】
更に、いくつかの実施形態では、バイアスランプが第2のバイアスレベル(例えば、ガイガーモードにおける動作に対応するレベル)に到達する時間は、LIDARデバイスの外部筐体に可能な限りほぼ対応するように設定され得る、及び/又はLIDARデバイスの外部筐体のすぐ内側若しくはすぐ外側である距離に対応するように設定され得る。このようにして、光検出器は、LIDARデバイスの外部筐体(例えば、ハウジングの外部表面)からの反射を依然として検出することが可能であり得る。そのような検出イベントは、LIDARデバイスの外部筐体を表す距離に対応する検出サイクルの間の時間における正確な位置を判定するときに有用であり得る。追加的又は代替的に、そのような検出イベントは、任意の障害物又は破片が、LIDARデバイスの外部筐体上に存在するか否か(例えば、外部筐体の亀裂、外部筐体上の水、氷、雪、外部筐体上の埃、外部筐体上の指紋など)を識別するのに有用であり得る。更に、そのような検出イベントは、1つの放出/検出サイクルが、後続の放出/検出サイクルと比較され得るベースラインとして使用され得るため、LIDARデバイスの動作(例えば、光デバイスの光エミッタの動作)を監視するのに有用であり得る。例えば、1つの放出/検出サイクルから別の放出/検出サイクルへの信号対雑音比(SNR)におけるドリフトは、内部反射に関連する検出イベントを比較することによって識別され得る。LIDARデバイスの外部筐体を検出することが有益であり得るため、いくつかの実施形態では、バイアスランプは、そのような検出に基づいて検出された光の完全な飽和を引き起こすことなく、外部筐体によって引き起こされた内部反射に基づいて、外部筐体の検出を可能にするように調整され得ることが理解される。
【0020】
周囲環境内の近くの物体を検出する能力に対するフィードバック信号の悪影響を軽減するために、光検出器(例えば、SiPM)内のバイアスをランプさせることに加えて、又はその代わりに、代替的な光検出器の組み合わせもまた、探索され得る。例えば、いくつかの実施形態では、所与の光エミッタに対応する光検出器要素は、APDと並列に接続されたSiPMを含み得る。SiPMの検出出力及びAPDの検出出力は、両方ともコントローラ(例えば、LIDARデバイスのコントローラ)に向けられ得る。APDの出力は、近くの物体(例えば、3.0m未満の距離に対応する部分などの、リスニングウィンドウの初期部分)に対応するリスニングウィンドウの一部分を分析するときにコントローラによって使用され得るが、一方で、遠く離れた物体(例えば、3.0mを超える距離に対応する部分などの、リスニングウィンドウの後期部分)に対応するリスニングウィンドウの一部分を分析するときにコントローラによって使用され得る。そのような実施形態では、APDは、静的にバイアスされ得(例えば、標準的な線形動作モードで)、SiPMは、静的にバイアスされ得る(例えば、標準的なガイガー動作モードで)。代替的に、いくつかの実施形態では、APDは、静的にバイアスされ得る(例えば、標準的な線形動作モードで)が、一方、SiPMは、バイアスランプ(例えば、上記に説明されるように)に供され得る。
【0021】
以下の説明及び添付図面は、様々な例示的な実施形態の特徴を明らかにする。提供される実施形態は、例としてのものであり、限定することを意図するものではない。したがって、図面の寸法は必ずしも縮尺どおりではない。
【0022】
ここで、本開示の範囲内の例示的なシステムをより詳細に説明する。例示的なシステムは、自動車に実装され得るか、又は自動車の形態を採り得る。追加的に、例示的なシステムはまた、車、トラック(例えば、ピックアップトラック、バン、トラクタ、トラクタトレーラーなど)、オートバイ、バス、飛行機、ヘリコプタ、ドローン、芝刈り機、ブルドーザ、ボート、潜水艦、全地形対応車両、スノーモービル、航空機、レクリエーション車両、遊園地車両、農機具又は農業用車両、建設機械又は建設車両、倉庫設備又は倉庫車両、工場設備又は工場車両、トラム、ゴルフカート、電車、トロリー、歩道運搬車両、ロボットデバイスなどの、様々な車両において実装され得るか、又は様々な車両の形態を採り得る。他の車両も同じく可能である。更に、いくつかの実施形態では、例示的なシステムは、車両を含まない場合がある。
【0023】
ここで図を参照すると、図1は、自律モードで完全に又は部分的に動作するように構成され得る、例示的な車両100を例解する機能ブロック図である。より具体的には、車両100は、コンピューティングシステムから制御命令を受信することを通して、人間の相互作用なしに自律モードで動作し得る。自律モードにおける動作の一部として、車両100は、センサを使用して、周囲環境の物体を検出し、場合によっては識別して、安全なナビゲーションを可能にし得る。追加的に、例示的な車両100は、車両100のいくつかの機能が車両100の人間の運転手によって制御され、車両100のいくつかの機能がコンピューティングシステムによって制御される、部分的に自律(すなわち、半自律)モードで動作し得る。例えば、車両100はまた、運転手がステアリング、加速、及びブレーキなどの車両100の動作を制御することを可能にするサブシステムを含み得るが、一方で、コンピューティングシステムは、周囲環境内の他の物体(例えば、車両など)に基づいて、車線逸脱警告/車線維持支援又はアダプティブクルーズコントロールなどの支援機能を実施する。
【0024】
本明細書に説明されるように、部分的自律運転モードでは、車両が1つ以上の運転動作(例えば、レーンセンタリング、アダプティブクルーズコントロール、先進運転支援システム(ADAS)、緊急ブレーキなどを実施するためのステアリング、ブレーキ、及び/又は加速)を支援するが、人間の運転手は、車両の周囲を状況的に認識し、支援された運転動作を監督することが期待される。ここで、車両が特定の状況で全ての運転タスクを実施し得るが、人間の運転手は、必要に応じて制御を行う責任を負うことが期待される。
【0025】
簡略化及び簡潔化のために、様々なシステム及び方法が自律車両と併せて以下に説明されているが、これら又は同様のシステム及び方法は、完全自律運転システム(すなわち、部分的に自律運転システム)のレベルに達しない様々な運転支援システムで使用され得る。米国では、自動車技術者協会(SAE)は、車両が運転をどの程度多く、又はどの程度少なく制御するかを示すために、異なるレベルの自動化された運転動作を定義しているが、米国又は他の国における異なる組織が、レベルを異なって分類し得る。より具体的には、本開示のシステム及び方法は、ステアリング、ブレーキ、加速、レーンセンタリング、アダプティブクルーズコントロールなど、及び他の運転手サポートを実装するSAEレベル2の運転支援システムで使用され得る。開示されるシステム及び方法は、限定された(例えば、高速道路など)条件下で自律運転が可能なSAEレベル3の運転支援システムで使用され得る。同様に、開示されるシステム及び方法は、ほとんどの通常の運転状況下で自律的に動作し、人間のオペレータの時折の注意のみを必要とする、SAEレベル4の自動運転システムを使用する車両に使用され得る。全てのそのようなシステムでは、正確なレーン推定は、運転手の入力又は制御(例えば、車両が移動中など)なしで自動的に実施され、車両測位及びナビゲーションの改善された信頼性、並びに自律運転、半自律運転、及び他の運転支援システムの全体的な安全性を結果的にもたらす。上記のように、SAEが自動運転動作のレベルを分類する方式に加えて、米国又は他の国における他の組織は、自動運転動作のレベルを異なって分類し得る。限定されるものではないが、本明細書の開示されるシステム及び方法は、これらの他の組織の自動運転動作のレベルによって定義される運転支援システムに使用され得る。
【0026】
図1に示されるように、車両100は、推進システム102、センサシステム104、制御システム106、1つ以上の周辺機器108、電源110、データストレージ114を有するコンピュータシステム112(コンピューティングシステムとも称され得る)、及びユーザインターフェース116などの様々なサブシステムを含み得る。他の例では、車両100は、各々複数の要素を含み得る、より多いか又はより少ないサブシステムを含み得る。車両100のサブシステム及び構成要素は、様々な方法で相互接続され得る。加えて、本明細書で説明される車両100の機能は、追加の機能的又は物理的構成要素に分割されるか、又は実施形態内でより少ない機能的若しくは物理的構成要素に組み合わされ得る。例えば、制御システム106及びコンピュータシステム112は、様々な動作に従って車両100を動作させる単一のシステムに組み合わされ得る。
【0027】
推進システム102は、車両100に対して動力付き運動を提供するように動作可能な1つ以上の構成要素を含み得、他の可能な構成要素の中でも、エンジン/モータ118、エネルギー源119、トランスミッション120、及び車輪/タイヤ121を含み得る。例えば、エンジン/モータ118は、エネルギー源119を機械的エネルギーに変換するように構成され得、他の可能なオプションの中でも、内燃エンジン、電気モータ、蒸気エンジン、又はスターリングエンジンのうちの1つ又は組み合わせに対応し得る。例えば、いくつかの実施形態では、推進システム102は、ガソリンエンジン及び電気モータなどの多数のタイプのエンジン及び/又はモータを含み得る。
【0028】
エネルギー源119は、完全に又は部分的に、車両100の1つ以上のシステム(例えば、エンジン/モータ118など)に動力を供給し得るエネルギー源を表す。例えば、エネルギー源119は、ガソリン、ディーゼル、他の石油ベースの燃料、プロパン、他の圧縮ガスベースの燃料、エタノール、ソーラパネル、電池、及び/又は他の電力源に対応することができる。いくつかの実施形態では、エネルギー源119は、燃料タンク、電池、コンデンサ、及び/又はフライホイールの組み合わせを含み得る。
【0029】
トランスミッション120は、エンジン/モータ118からの機械動力を、車輪/タイヤ121及び/又は車両100の他の可能なシステムに伝達し得る。したがって、トランスミッション120は、他の可能な構成要素の中でもとりわけ、ギアボックス、クラッチ、ディファレンシャル、及び駆動シャフトを含み得る。駆動シャフトは、1つ以上の車輪/タイヤ121に接続する車軸を含み得る。
【0030】
車両100の車輪/タイヤ121は、例示的な実施形態内で様々な構成を有し得る。例えば、車両100は、他の可能な構成の中でも、一輪車、自転車/オートバイ、三輪車、又は自動車/トラックの四輪の形態で存在し得る。したがって、車輪/タイヤ121は、様々な方法で車両100に接続することができ、金属及びゴムなどの異なる材料で存在することができる。
【0031】
センサシステム104は、他の可能なセンサの中でも特に、全地球測位システム(GPS)122、慣性測定ユニット(IMU)124、RADAR126、LIDAR128、カメラ130、ステアリングセンサ123、及びスロットル/ブレーキセンサ125などの様々なタイプのセンサを含むことができる。いくつかの実施形態では、センサシステム104は、車両100の内部システムを監視するように構成されたセンサ(例えば、Oモニタ、燃料計、エンジンオイル温度、ブレーキ摩耗など)も含み得る。
【0032】
GPS122は、地球に対する車両100の位置に関する情報を提供するように動作可能なトランシーバを含み得る。IMU124は、1つ以上の加速度計及び/又はジャイロスコープを使用する構成を有し得、慣性加速度に基づいて車両100の位置及び配向の変化を感知し得る。例えば、IMU124は、車両100が静止しているか、又は動いている間に車両100のピッチ及びヨーを検出し得る。
【0033】
RADAR126は、物体の速さ及び方位を含めて、無線信号を使用して、車両100の周囲環境内の物体を感知するように構成された1つ以上のシステムを表すことができる。したがって、RADAR126は、無線信号を送信及び受信するように構成されたアンテナを含み得る。いくつかの実施形態では、RADAR126は、車両100の周囲環境の測定値を得るように構成された取り付け可能なRADARに対応し得る。
【0034】
LIDAR128は、他のシステム構成要素の中でも特に、1つ以上のレーザ源、レーザスキャナ、及び1つ以上の検出器を含み得、コヒーレントモード(例えば、ヘテロダイン検出などを使用)又はインコヒーレント検出モード(すなわち、飛行時間モード)で動作し得る。いくつかの実施形態では、LIDAR128の1つ以上の検出器は、特に感度の高い検出器(例えば、アバランシェフォトダイオードなど)であり得る、1つ以上の光検出器を含み得る。いくつかの例では、そのような光検出器は、単一光子(例えば、単一光子アバランシェダイオード(SPAD)など)を検出することが可能であり得る。更に、そのような光検出器は、アレイ内に配置され得る(例えば、シリコン光電子増倍管(SiPM)などのように)(例えば、直列の電気接続などを通して)。いくつかの例では、1つ以上の光検出器は、ガイガーモードで動作するデバイスであり、LIDARは、そのようなガイガーモード動作のために設計されたサブ構成要素を含む。
【0035】
カメラ130は、車両100の周囲環境の画像を捕捉するように構成された、1つ以上のデバイス(例えば、静止カメラ、ビデオカメラ、熱画像カメラ、ステレオカメラ、ナイトビジョンカメラなど)を含み得る。
【0036】
ステアリングセンサ123は、車両100のステアリング角度を感知し得、これは、ステアリングホイールの角度を測定すること、又はステアリングホイールの角度を表す電気信号を測定することを含み得る。いくつかの実施形態では、ステアリングセンサ123は、車両100の前方軸に対する車輪の角度を検出するなど、車両100の車輪の角度を測定し得る。ステアリングセンサ123はまた、ステアリングホイールの角度、ステアリングホイールの角度を表す電気信号、及び車両100の車輪の角度の組み合わせ(又はサブセット)を測定するように構成され得る。
【0037】
スロットル/ブレーキセンサ125は、車両100のスロットル位置又はブレーキ位置のいずれかの位置を検出し得る。例えば、スロットル/ブレーキセンサ125は、アクセルペダル(スロットル)及びブレーキペダルの両方の角度を測定し得るか、又は、例えば、アクセルペダル(スロットル)の角度及び/又はブレーキペダルの角度を表し電気信号を測定し得る。スロットル/ブレーキセンサ125はまた、エンジン/モータ118(例えば、バタフライバルブ又はキャブレタなど)にエネルギー源119のモジュレーションを提供する物理的機構の一部を含み得る、車両100のスロットルボディの角度を測定し得る。追加的に、スロットル/ブレーキセンサ125は、車両100のロータ上の1つ以上のブレーキパッドの圧力、又はアクセルペダル(スロットル)及びブレーキペダルの角度の組み合わせ(又はサブセット)、アクセルペダル(スロットル)及びブレーキペダルの角度を表す電気信号、スロットルボディの角度、並びに少なくとも1つのブレーキパッドが車両100のロータに加える圧力、を測定し得る。他の実施形態では、スロットル/ブレーキセンサ125は、スロットル又はブレーキペダルなどの車両のペダルに加えられた圧力を測定するように構成され得る。
【0038】
制御システム106は、ステアリングユニット132、スロットル134、ブレーキユニット136、センサ融合アルゴリズム138、コンピュータビジョンシステム140、ナビゲーション/経路探索システム142、及び障害物回避システム144など、車両100をナビゲートすることを支援するように構成された構成要素を含み得る。より具体的には、ステアリングユニット132は、車両100の方位を調整するように動作可能であり得、スロットル134は、エンジン/モータ118の動作スピードを制御して、車両100の加速を制御し得る。ブレーキユニット136は、車両100を減速することができ、これは、摩擦を使用して車輪/タイヤ121を減速することを伴い得る。いくつかの実施形態では、ブレーキユニット136は、車両100の1つ以上のシステムによるその後の使用のために、車輪/タイヤ121の運動エネルギーを電流に変換し得る。
【0039】
センサ融合アルゴリズム138は、カルマンフィルタ、ベイジアンネットワーク、又はセンサシステム104からのデータを処理することができる他のアルゴリズムを含み得る。いくつかの実施形態では、センサ融合アルゴリズム138は、個々の物体及び/若しくは特徴の評価、特定の状況の評価、並びに/又は所与の状況内の可能性のある影響の評価など、着信センサデータに基づくアセスメントを提供し得る。
【0040】
コンピュータビジョンシステム140は、移動中である物体(例えば、他の車両、歩行者、自転車に乗る人、動物など)及び移動中ではない物体(例えば、信号機、車道境界、スピードバンプ、くぼみなど)を判定するために画像を処理及び分析するように動作可能なハードウェア及びソフトウェア(例えば、中央処理装置(CPU)などの汎用プロセッサ、グラフィカルプロセシングユニット(GPU)又はテンソルプロセシングユニット(TPU)などの専用プロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、揮発性メモリ、不揮発性メモリ、1つ以上の機械学習モデルなど)を含み得る。したがって、コンピュータビジョンシステム140は、物体認識、ストラクチャフロムモーション(SFM)、ビデオ追跡、及び、例えば、物体を認識し、環境をマッピングし、物体を追跡し、物体のスピードを推定するためなどにコンピュータビジョンで使用される他のアルゴリズムを使用し得る。
【0041】
ナビゲーション/経路探索システム142は、車両100の運転経路を判定することができ、これは、動作中にナビゲーションを動的に調整することを伴い得る。したがって、ナビゲーション/経路探索システム142は、数ある情報源の中でも特に、センサ融合アルゴリズム138、GPS122、及びマップからのデータを使用して、車両100をナビゲートし得る。障害物回避システム144は、センサデータに基づいて潜在的な障害物を評価し、車両100のシステムに潜在的な障害物を回避させるか、又は別様に切り抜けさせ得る。
【0042】
図1に示されるように、車両100はまた、無線通信システム146、タッチスクリーン148、内部マイクロフォン150、及び/又はスピーカ152などの周辺機器108を含み得る。周辺機器108は、ユーザがユーザインターフェース116と相互作用するための制御又は他の要素を提供し得る。例えば、タッチスクリーン148は、車両100のユーザに情報を提供し得る。ユーザインターフェース116はまた、タッチスクリーン148を介してユーザからの入力を受け入れ得る。周辺機器108はまた、車両100が、他の車両のデバイスなどのデバイスと通信することを可能にし得る。
【0043】
無線通信システム146は、1つ以上のデバイスと直接又は通信ネットワークを介して無線で通信し得る。例えば、無線通信システム146は、符号分割多重アクセス(CDMA)、エボリューションデータ最適化(EVDO)、モバイル通信用グローバルシステム(GSM)/汎用パケット無線サービス(GPRS)などの3Gセルラー通信、又は4Gワールドワイドインターオペラビリティフォーマイクロウェーブアクセス(WiMAX)若しくはロングタームエボリューション(LTE)などのセルラー通信、又は5Gを使用することができる。代替的に、無線通信システム146は、WIFI(登録商標)又は他の可能な接続を使用して無線ローカルエリアネットワーク(WLAN)と通信し得る。無線通信システム146はまた、例えば、赤外線リンク、Bluetooth、又はZigBeeを使用してデバイスと直接通信し得る。様々な車両通信システムなどの他の無線プロトコルが、本開示の文脈内で可能である。例えば、無線通信システム146は、車両及び/又は路側給油所間の公共及び/又は私的データ通信を含み得る1つ以上の専用狭域通信(DSRC)デバイスを含み得る。
【0044】
車両100は、構成要素に電力を供給するための電源110を含み得る。電源110は、いくつかの実施形態では、再充電可能なリチウムイオン又は鉛蓄電池を含み得る。例えば、電源110は、電力を提供するように構成された1つ以上の電池を含み得る。車両100はまた、他のタイプの電源を使用して得る。例示的な実施形態では、電源110とエネルギー源119とが、統合されて単一のエネルギー源になり得る。
【0045】
車両100はまた、そこに説明されている動作などの動作を行うためのコンピュータシステム112を含み得る。したがって、コンピュータシステム112は、データストレージ114などの非一時的なコンピュータ可読媒体に記憶された命令115を実行するように動作可能な少なくとも1つのプロセッサ113(少なくとも1つのマイクロプロセッサを含み得る)を含み得る。いくつかの実施形態では、コンピュータシステム112は、車両100の個々の構成要素又はサブシステムを分散方式で制御するように機能し得る複数のコンピューティングデバイスを表し得る。
【0046】
いくつかの実施形態では、データストレージ114は、図1に関連して上述したものを含めて、車両100の様々な機能を実行するための、プロセッサ113によって実行可能な命令115(例えば、プログラム論理など)を含み得る。データストレージ114は、推進システム102、センサシステム104、制御システム106、及び周辺機器108のうちの1つ以上にデータを送信する、データを受信する、相互作用する、及び/又は制御する命令を含む追加の命令も含み得る。
【0047】
命令115に加えて、データストレージ114は、情報の中でもとりわけ、道路地図、経路情報などのデータを記憶し得る。そのような情報は、自律モード、半自律モード、及び/又は手動モードにおける車両100の動作中に、車両100及びコンピュータシステム112によって使用され得る。
【0048】
車両100は、車両100のユーザに情報を提供するか、又は車両100のユーザから入力を受信するためのユーザインターフェース116を含み得る。ユーザインターフェース116は、タッチスクリーン148上に表示され得るコンテンツ及び/又はインタラクティブ画像のレイアウトを制御する又は制御を可能にし得る。更に、ユーザインターフェース116は、無線通信システム146、タッチスクリーン148、マイクロフォン150、及びスピーカ152などの周辺機器108のセット内の1つ以上の入力/出力デバイスを含むことができる。
【0049】
コンピュータシステム112は、様々なサブシステム(例えば、推進システム102、センサシステム104、制御システム106など)から、並びにユーザインターフェース116から受信した入力に基づいて、車両100の機能を制御し得る。例えば、コンピュータシステム112は、推進システム102及び制御システム106によって生成された出力を推定するために、センサシステム104からの入力を利用し得る。実施形態に応じて、コンピュータシステム112は、車両100及びそのサブシステムの多くの態様を監視するように動作可能であり得る。いくつかの実施形態では、コンピュータシステム112は、センサシステム104から受信した信号に基づいて、車両100の一部又は全ての機能を無効にし得る。
【0050】
車両100の構成要素は、それらのそれぞれのシステム内又は外部の他の構成要素と相互接続された方式で機能するように構成され得る。例えば、例示的な実施形態では、カメラ130は、自律又は半自律モードで動作している車両100の周囲環境の状態に関する情報を表すことができる複数の画像を捕捉することができる。周囲環境の状態は、車両が動作している道路のパラメータを含み得る。例えば、コンピュータビジョンシステム140は、道路の複数の画像に基づいて、傾斜(勾配)又は他の特徴を認識することが可能であり得る。追加的に、GPS122とコンピュータビジョンシステム140によって認識された特徴との組み合わせは、具体的な道路パラメータを判定するために、データストレージ114に記憶された地図データとともに使用され得る。更に、RADAR126及び/若しくはLIDAR128、並びに/又はいくつかの他の環境マッピング、範囲、及び/若しくは測位センサシステムもまた、車両の周囲についての情報を提供し得る。
【0051】
言い換えると、様々なセンサ(入力指標センサ及び出力指標センサと呼ぶことができる)とコンピュータシステム112との組み合わせが相互作用して、車両を制御するために提供される入力の指標又は車両の周囲の指標を提供することができる。
【0052】
いくつかの実施形態では、コンピュータシステム112は、無線システム以外のシステムによって提供されるデータに基づいて、様々な物体に関する判定を行い得る。例えば、車両100は、車両の視野内の物体を感知するように構成されたレーザ又は他の光学センサを有し得る。コンピュータシステム112は、様々なセンサからの出力を使用して、車両の視野内の物体に関する情報を判定し得、様々な物体までの距離及び方向情報を判定し得る。コンピュータシステム112はまた、様々なセンサからの出力に基づいて、物体が望ましいか、又は望ましくないかを判定し得る。
【0053】
図1は、車両100の様々な構成要素(すなわち、無線通信システム146、コンピュータシステム112、データストレージ114、及びユーザインターフェース116)を車両100に統合されているものとして示しているが、これらの構成要素のうちの1つ以上は、車両100とは別個に取り付けられるか又は関連付けられ得る。例えば、データストレージ114は、部分的又は完全に、車両100とは別個に存在することができる。したがって、車両100は、別個に又は一緒に位置し得るデバイス要素の形態で提供され得る。車両100を構成するデバイス要素は、有線及び/又は無線方式で一緒に通信可能に結合され得る。
【0054】
図2A~2Eは、図1を参照して車両100に関連して説明される機能の一部又は全てを含み得る例示的な車両200(例えば、完全自律車両又は半自律車両など)を示す。車両200は、例解目的で、側面ミラーを有するバンとして図2A~2Eに例解されているが、本開示は、そのように限定されるものではない。例えば、車両200は、トラック、乗用車、セミトレーラートラック、オートバイ、ゴルフカート、オフロード車両、農業用車両、又は本明細書の他の箇所で説明される任意の他の車両(例えば、バス、ボート、飛行機、ヘリコプタ、ドローン、芝刈り機、ブルドーザ、潜水艦、全地形対応車両、スノーモービル、航空機、レクリエーション車両、遊園地車両、農機具、建設機械又は建設車両、倉庫設備又は倉庫車両、工場設備又は工場車両、トラム、電車、トロリー、歩道運搬車両、及びロボットデバイスなど)を表し得る。
【0055】
例示的な車両200は、1つ以上のセンサシステム202、204、206、208、210、212、214、及び218を含み得る。いくつかの実施形態では、センサシステム202、204、206、208、210、212、214、及び/又は218は、1つ以上の光学システム(例えば、カメラなど)、1つ以上のLIDAR、1つ以上のRADAR、1つ以上の慣性センサ、1つ以上の湿度センサ、1つ以上の音響センサ(例えば、マイクロフォン、ソナーデバイスなど)、又は車両200を取り囲む環境についての情報を感知するように構成された1つ以上の他のセンサを表し得る。言い換えると、現在既知又は今後作り出される任意のセンサシステムは、車両200に結合され得、及び/又は車両200の様々な動作と併せて利用され得る。一例として、LIDARは、自動運転、又は車両200の他のタイプのナビゲーション、計画、知覚、及び/若しくはマッピング動作に利用され得る。加えて、センサシステム202、204、206、208、210、212、214、及び/又は218は、本明細書に説明されるセンサ(例えば、1つ以上のLIDAR及びRADAR、1つ以上のLIDAR及びカメラ、1つ以上のカメラ及びRADAR、1つ以上のLIDAR、カメラ、及びRADARなど)の組み合わせを表し得る。
【0056】
図2A~Eに描写されるセンサシステム(例えば、202、204など)の数、場所、及びタイプが、自律又は半自律車両のそのようなセンサシステムの場所、数、及びタイプの非限定的な例として意図されていることに留意されたい。そのようなセンサの代替的な数、場所、タイプ、及び構成が可能である(例えば、車両サイズ、形状、空気力学、燃料経済、美観、又はコストを低減するか、特殊な環境若しくは適用状況に適合するための他の条件などと適合するために)。例えば、センサシステム(例えば、202、204など)は、車両(例えば、場所216などにある)上の様々な他の場所に配設され得、車両200の内部及び/又は周囲環境に対応する視野を有し得る。
【0057】
センサシステム202は、車両200の上部に取り付けられ、車両200を取り囲む環境についての情報を検出し、情報の指標を出力するように構成された1つ以上のセンサを含み得る。例えば、センサシステム202は、カメラ、RADAR、LIDAR、慣性センサ、湿度センサ、及び音響センサ(例えば、マイクロフォン、ソナーデバイスなど)の任意の組み合わせを含み得る。センサシステム202は、センサシステム202内の1つ以上のセンサの配向を調整するように動作可能であり得る1つ以上の可動マウントを含み得る。一実施形態では、可動マウントは、車両200の周囲の各方向から情報を得るようにセンサを走査することができる回転プラットフォームを含み得る。別の実施形態では、センサシステム202の可動マウントは、特定の角度及び/又は方位角及び/又は仰角の範囲内で走査するように移動可能であり得る。センサシステム202は、他の取り付け場所も考えられ得るが、車の屋根上に取り付けられ得る。
【0058】
追加的に、センサシステム202のセンサは、様々な場所に分散され得、単一の場所に併置される必要はない。更に、センサシステム202の各センサは、センサシステム202の他のセンサとは独立して移動又は走査されるように構成され得る。追加的又は代替的に、複数のセンサは、センサ場所202、204、206、208、210、212、214、及び/又は218のうちの1つ以上に取り付けられ得る。例えば、センサ場所に取り付けられた2つのLIDARデバイスが存在し得、並びに/又はセンサ場所に取り付けられた1つのLIDARデバイス及び1つのRADARが存在し得る。
【0059】
1つ以上のセンサシステム202、204、206、208、210、212、214、及び/又は218は、1つ以上のLIDARセンサを含み得る。例えば、LIDARシステムは、所与の平面(例えば、x-y平面など)に対してある角度範囲にわたって配設された複数の光エミッタデバイスを含み得る。例えば、センサシステム202、204、206、208、210、212、214、及び/又は218のうちの1つ以上は、車両200を取り囲む環境を光パルスで照明するように、所与の平面に垂直な軸(例えば、z軸など)の周りを回転又は枢動するように構成され得る。反射光パルスの様々な態様(例えば、経過した飛行時間、偏光、強度など)の検出に基づいて、周囲環境についての情報が判定され得る。
【0060】
例示的な実施形態では、センサシステム202、204、206、208、210、212、214、及び/又は218は、車両200の周囲環境内の物理的物体に関連し得るそれぞれの点群情報を提供するように構成され得る。車両200、並びにセンサシステム202、204、206、208、210、212、214、及び218は、特定の特徴を含むものとして例解されているが、他のタイプのセンサシステムが本開示の範囲内で企図されることが理解されよう。更に、例示的な車両200は、図1の車両100に関連して説明される構成要素のいずれかを含むことができる。
【0061】
例示的な構成では、1つ以上のRADARが車両200上に位置し得る。上記のRADAR126と同様に、1つ以上のRADARは、電波(例えば、30Hz~300GHzの周波数を有する電磁波など)を送信及び受信するように構成されたアンテナを含み得る。そのような電波は、車両200の周囲環境内の1つ以上の物体の距離及び/又は速度を判定するために使用され得る。例えば、1つ以上のセンサシステム202、204、206、208、210、212、214、及び/又は218は、1つ以上のRADARを含み得る。いくつかの例では、1つ以上のRADARが、車両200の後部付近に位置して(例えば、センサシステム208、210など)、電波反射物体の存在に関して、車両200の背面付近の環境を能動的に走査し得る。同様に、1つ以上のRADARが、車両200の前方付近に位置して(例えば、センサシステム212、214など)、車両200の前方付近の環境を能動的に走査し得る。RADARは、例えば、車両200の他の特徴によって塞がれることなく、車両200の前進路を含む領域を照明するのに好適な場所に位置付けられ得る。例えば、RADARは、フロントバンパー、フロントヘッドライト、カウル、及び/若しくはフードなどに埋め込まれる、並びに/又はそれらに若しくはそれらの近くに取り付けられ得る。更に、1つ以上の追加のRADARは、リアバンパー、サイドパネル、ロッカーパネル、及び/又は車台などに、又はそれらの近くにそのようなデバイスを含めることなどによって、電波反射物体の存在に関して、車両200の側面及び/又は後方を能動的に走査するように位置し得る。
【0062】
車両200は、1つ以上のカメラを含み得る。例えば、1つ以上のセンサシステム202、204、206、208、210、212、214、及び/又は218は、1つ以上のカメラを含み得る。カメラは、車両200の周囲環境の複数の画像を捕捉するように構成されている、静止カメラ、ビデオカメラ、熱画像カメラ、ステレオカメラ、ナイトビジョンカメラなどの感光性機器であり得る。この目的のために、カメラは、可視光を検出するように構成され得、追加的又は代替的に、赤外光又は紫外光などのスペクトルの他の部分からの光を検出するように構成され得る。カメラは、二次元検出器であり得、任意選択的に、三次元空間の感度範囲を有し得る。いくつかの実施形態では、カメラは、例えば、カメラから周囲環境内のいくつかの点までの距離を示す二次元画像を生成するように構成された範囲検出器を含み得る。この目的のために、カメラは、1つ以上の範囲検出技法を使用し得る。例えば、カメラは、構造化光技法を使用することによって範囲情報を提供することができ、この構造化光技法では、車両200が、格子又はチェッカーボードパターンなどの所定の光パターンで周囲環境内の物体を照明し、カメラを使用して、環境周囲からの所定の光パターンの反射を検出する。反射光パターンの歪みに基づいて、車両200は、物体上の点までの距離を判定し得る。所定の光パターンは、赤外光、又はそのような測定に好適な他の波長の放射線で構成され得る。いくつかの例では、カメラは、車両200のフロントガラスの内側に取り付けられ得る。具体的には、カメラは、車両200の配向に対して前方視から画像を捕捉するように位置付けられ得る。カメラの他の取り付け場所及び視野角も使用され得、車両200の内部又は外部のいずれであり得る。また、カメラは、調整可能な視野を提供するように動作可能な関連する光学素子を有し得る。更にまた、カメラは、パン/チルト機構などを介して、カメラの指向角を変えるように、可動マウントを用いて車両200に取り付けられ得る。
【0063】
車両200はまた、車両200の周囲環境を感知するために使用される1つ以上の音響センサを含み得る(例えば、センサシステム202、204、206、208、210、212、214、216、218のうちの1つ以上が、1つ以上の音響センサを含み得るなど)。音響センサは、車両200を取り囲む環境の流体(例えば、空気など)中の音響波(すなわち、圧力差)を感知するために使用されるマイクロフォン(例えば、圧電マイクロフォン、コンデンサマイクロフォン、リボンマイクロフォン、マイクロ電気機械システム(MEMS)マイクロフォンなど)を含み得る。そのような音響センサは、車両200の制御戦略が基づき得る周囲環境中の音(例えば、サイレン、人間の発話、動物の音、警報など)を識別するために使用され得る。例えば、音響センサがサイレン(例えば、移動性サイレン、消防車のサイレンなど)を検出する場合、車両200は、減速する、及び/又は道路の縁にナビゲートし得る。
【0064】
図2A~2Eには示されていないが、車両200は、無線通信システム(例えば、図1の無線通信システム146と同様の、及び/又は図1の無線通信システム146に加えてなど)を含み得る。無線通信システムは、車両200の外部又は内部のデバイスと通信するように構成され得る無線トランスミッタ及びレシーバを含み得る。具体的には、無線通信システムは、例えば、車両通信システム又は道路給油所において、他の車両及び/又はコンピューティングデバイスと通信するように構成されたトランシーバを含み得る。このような車両通信システムの例としては、DSRC、無線周波数識別(RFID)、及びインテリジェントトランスポートシステム向けに提案された他の通信規格が挙げられる。
【0065】
車両200は、これら示されたものに加えて、又はその代わりに1つ以上の他の構成要素を含み得る。追加の構成要素は、電気的又は機械的機能を含み得る。
【0066】
車両200の制御システムは、複数の可能な制御戦略の中から制御戦略に従って車両200を制御するように構成され得る。制御システムは、車両200に結合されたセンサ(車両200上又は車両200外)から情報を受信し、その情報に基づいて制御戦略(及び関連する運転挙動)を修正し、修正された制御戦略に従って車両200を制御するように構成され得る。制御システムは、センサから受信した情報を監視し、運転状態を継続的に評価するように更に構成され得、また、運転状態の変化に基づいて、制御戦略及び運転挙動を修正するように構成され得る。例えば、1つの目的地から別の目的地までの、車両によって取られる経路は、運転条件に基づいて修正され得る。追加的又は代替的に、速度、加速度、転回角度、車間距離(すなわち、現在の車両の前方の車両までの距離)、レーン選択などは、全て、運転条件の変化に応答して修正され得る。
【0067】
上記のように、いくつかの実施形態では、車両200は、バンの形態を採り得るが、代替形態もまた可能であり、本明細書で企図される。したがって、図2F~2Iは、車両250がセミトラックの形態を採る実施形態を例解する。例えば、図2Fは、車両250の正面図を例解し、図2Gは、車両250の等角図を例解する。車両250がセミトラックである実施形態では、車両250は、トラクタ部分260及びトレーラー部分270(図2Gに例解される)を含み得る。図2H及び2Iは、それぞれ、トラクタ部分260の側面図及び上面図を提供する。上記に例解される車両200と同様に、図2F~2Iに例解される車両250はまた、様々なセンサシステム(例えば、図2A~2Eを参照して示され、説明されるセンサシステム202、206、208、210、212、214と同様)を含み得る。いくつかの実施形態では、図2A~2Eの車両200は、いくつかのセンサシステム(例えば、センサシステム204)の単一コピーのみを含み得るが、図2F~2Iに例解される車両250は、そのセンサシステム(例えば、例解されるように、センサシステム204A及び204B)の複数のコピーを含み得る。
【0068】
図面及び全体的説明は、所与の車両形態(例えば、セミトラック車両250又はバン車両200)を参照し得るが、本明細書に説明される実施形態は、様々な車両の文脈(例えば、車両のフォームファクタを考慮するために採用される修正を用いて)で等しく適用され得ることが理解される。例えば、バン車両200の一部であるとして説明又は例解されるセンサ及び/又は他の構成要素もまた、セミトラック車両250で使用され得る(例えば、ナビゲーション並びに/又は障害物検出及び回避のために)。
【0069】
図2Jは、様々なセンサ視野(例えば、上記の車両250と関連付けられる)を例解する。上記のように、車両250は、複数のセンサ/センサユニットを含有し得る。様々なセンサの場所は、例えば、図2F~2Iに開示されるセンサの場所に対応し得る。しかしながら、場合によっては、センサは、他の場所を有し得る。図面の簡略化のために、センサ場所参照番号は、図2Jから省略される。車両250の各センサユニットについて、図2Jは、代表的な視野(例えば、252A、252B、252C、252D、254A、254B、256、258A、258B、及び258Cとしてラベル付けされた視野)を例解する。センサの視野は、センサが物体を検出し得る角度領域(例えば、方位角領域及び/又は仰角領域)を含み得る。
【0070】
図2Kは、例示的な実施形態による、車両(例えば、図2F~2Jを参照して示され、説明される車両250)のセンサに対するビームステアリングを例解する。様々な実施形態では、車両250のセンサユニットは、RADAR、LIDAR、ソナーなどであり得る。更に、いくつかの実施形態では、センサの動作中、センサは、センサの視野内で走査され得る。例示的なセンサに対する様々な異なる走査角度が、領域272として示されており、各々は、センサが動作している角度領域を示す。センサは、それが動作している領域を、定期的に又は反復的に変化させ得る。いくつかの実施形態では、複数のセンサが、領域272を測定するために車両250によって使用され得る。加えて、他の領域が、他の例に含まれ得る。例えば、1つ以上のセンサは、車両250のトレーラー270の態様及び/又は車両250の前方の領域を測定し得る。
【0071】
いくつかの角度において、センサの動作領域275は、トレーラー270の後輪276A、276Bを含み得る。したがって、センサは、動作中に後輪276A及び/又は後輪276Bを測定し得る。例えば、後輪276A、276Bは、センサによって送信されたLIDAR信号又はRADAR信号を反射し得る。センサは、後輪276A、276から反射された信号を受信し得る。それゆえに、センサによって収集されるデータは、車輪からの反射からのデータを含み得る。
【0072】
センサがRADARであるときなどの、いくつかの事例では、後輪276A、276Bからの反射は、受信されたRADAR信号内のノイズとして現れ得る。結果として、RADARは、後輪276A、276Bが、センサから離れるようにRADAR信号を向ける事例では、増強された信号対雑音比で動作し得る。
【0073】
図3は、例示的な実施形態による、自律又は半自律車両に関連する様々なコンピューティングシステム間の無線通信の概念例解図である。特に、無線通信は、ネットワーク304を介して、リモートコンピューティングシステム302と車両200との間で発生し得る。無線通信はまた、サーバコンピューティングシステム306とリモートコンピューティングシステム302との間、及びサーバコンピューティングシステム306と車両200との間でも発生し得る。
【0074】
車両200は、場所間で乗客又は物体を輸送することができる様々なタイプの車両に対応することができ、上で考察される車両のうちの任意の1つ以上の形態を採り得る。場合によっては、車両200は、制御システムがセンサ測定値を使用して目的地間で車両200を安全にナビゲートすることを可能にする自律又は半自律モードで動作し得る。自律又は半自律モードで動作しているとき、車両200は、乗客の有無にかかわらずナビゲートし得る。結果として、車両200は、所望の目的地間で乗客を拾い、降ろし得る。
【0075】
リモートコンピューティングシステム302は、本明細書で説明されるものを含むがこれに限定されないリモートアシスタンス技術に関連する任意のタイプのデバイスを表し得る。例の中で、リモートコンピューティングシステム302は、(i)車両200に関係する情報を受信し、(ii)インターフェースを提供し、それを通して、次に人間のオペレータが情報に気付き、情報に関係する応答を入力することができ、(iii)応答を車両200に、又は他のデバイスに送信するように構成された任意のタイプのデバイスを表し得る。リモートコンピューティングシステム302は、ワークステーション、デスクトップコンピュータ、ラップトップ、タブレット、携帯電話(例えば、スマートフォンなど)、及び/又はサーバなどの、様々な形態を採り得る。いくつかの例では、リモートコンピューティングシステム302は、ネットワーク構成で一緒に動作する複数のコンピューティングデバイスを含み得る。
【0076】
リモートコンピューティングシステム302は、車両200のサブシステム及び構成要素と同様又は同一の1つ以上のサブシステム及び構成要素を含み得る。少なくとも、リモートコンピューティングシステム302は、本明細書で説明する様々な動作を実行するように構成されたプロセッサを含むことができる。いくつかの実施形態では、リモートコンピューティングシステム302は、タッチスクリーン及びスピーカなどの入力/出力デバイスを含むユーザインターフェースも含み得る。他の例も同じく可能である。
【0077】
ネットワーク304は、リモートコンピューティングシステム302と車両200との間の無線通信を可能にするインフラストラクチャを表す。ネットワーク304はまた、サーバコンピューティングシステム306とリモートコンピューティングシステム302との間、及びサーバコンピューティングシステム306と車両200との間の無線通信を可能にする。
【0078】
リモートコンピューティングシステム302の位置は、例の範囲内で変わることができる。例えば、リモートコンピューティングシステム302は、ネットワーク304を介した無線通信を有する車両200からリモート位置にあり得る。別の例では、リモートコンピューティングシステム302は、車両200とは別個であるが、人間のオペレータが車両200の乗客又は運転手と相互作用することができる、車両200内のコンピューティングデバイスに対応し得る。いくつかの例では、リモートコンピューティングシステム302は、車両200の乗客によって操作可能なタッチスクリーンを備えたコンピューティングデバイスであり得る。
【0079】
いくつかの実施形態では、リモートコンピューティングシステム302によって行われる本明細書で説明される動作は、追加的又は代替的に、車両200によって(すなわち、車両200の任意のシステム又はサブシステムによって)行われ得る。言い換えると、車両200は、車両の運転手又は乗客が相互作用することができるリモートアシスタンス機構を提供するように構成され得る。
【0080】
サーバコンピューティングシステム306は、ネットワーク304を介してリモートコンピューティングシステム302及び車両200と(又は、場合によっては、リモートコンピューティングシステム302及び/若しくは車両200と直接)無線通信するように構成され得る。サーバコンピューティングシステム306は、車両200及びそのリモートアシスタンスに関する情報を受信し、記憶し、判定し、かつ/又は送信するように構成された任意のコンピューティングデバイスを表し得る。したがって、サーバコンピューティングシステム306は、リモートコンピューティングシステム302及び/又は車両200によって行われるものとして本明細書で説明される任意の動作又はそのような動作の部分を行うように構成され得る。リモートアシスタンスに関連する無線通信のいくつかの実施形態では、サーバコンピューティングシステム306を利用できるが、他の実施形態では利用できない。
【0081】
サーバコンピューティングシステム306は、本明細書に説明される様々な動作を行うように構成されたプロセッサ、並びにリモートコンピューティングシステム302及び車両200から情報を受信し、それらに情報を提供するための無線通信インターフェースなどの、リモートコンピューティングシステム302及び/又は車両200のサブシステム及び構成要素と同様又は同一の1つ以上のサブシステム及び構成要素を含み得る。
【0082】
上記の様々なシステムは、様々な動作を行い得る。ここで、これらの動作及び関連する特徴について説明する。
【0083】
上の考察に沿えば、コンピューティングシステム(例えば、リモートコンピューティングシステム302、サーバコンピューティングシステム306、車両200にローカルなコンピューティングシステムなど)は、カメラを使用して自律又は半自律車両の周囲環境の画像を捕捉するように動作し得る。概して、少なくとも1つのコンピューティングシステムが画像を分析して、可能であれば自律又は半自律車両を制御することができる。
【0084】
いくつかの実施形態では、自律又は半自律動作を容易にするために、車両(例えば、車両200など)は、車両を取り囲む環境内の物体を表すデータ(本明細書では「環境データ」とも称される)を様々な方式で受信し得る。車両のセンサシステムは、周囲環境の物体を表す環境データを提供し得る。例えば、車両は、カメラ、RADAR、LIDAR、マイクロフォン、無線ユニット、及び他のセンサを含む様々なセンサを有し得る。これらのセンサの各々は、各それぞれのセンサが受信する情報について、環境データを車両内のプロセッサに通信し得る。
【0085】
一例では、カメラが、静止画像及び/又はビデオを捕捉するように構成され得る。いくつかの実施形態では、車両は、異なる配向に位置付けられた2つ以上のカメラを有し得る。また、いくつかの実施形態では、カメラは、異なる方向で画像及び/又はビデオを捕捉するために移動することが可能であり得る。カメラは、車両の処理システムによる後の処理のために、捕捉された画像及びビデオをメモリに記憶するように構成され得る。捕捉された画像及び/又はビデオは、環境データであり得る。更に、カメラは、本明細書で説明されるような画像センサを含み得る。
【0086】
別の例では、RADARが、車両の近くの様々な物体によって反射される電磁信号を送信し、次いで物体から反射する電磁信号を捕捉するように構成され得る。捕捉された反射電磁信号は、RADAR(又は処理システム)が電磁信号を反射した物体について様々な判定を行うことを可能にし得る。例えば、様々な反射物体までの距離及び位置が判定され得る。いくつかの実施形態では、車両は、異なる配向に2つ以上のRADARを有し得る。RADARは、車両の処理システムによる後の処理のために、捕捉された情報をメモリに記憶するように構成され得る。RADARによって捕捉された情報は、環境データであり得る。
【0087】
別の例では、LIDARが、車両近くの標的物体によって反射される電磁信号(例えば、気体若しくはダイオードレーザ、又は他の可能な光源からのものなどの赤外光)を送信するように構成され得る。LIDARは、反射された電磁(例えば、赤外光など)信号を捕捉することが可能であり得る。捕捉された反射電磁信号は、測距システム(又は処理システム)が様々な物体までの距離を判定することを可能にし得る。LIDARはまた、標的物体の速度又はスピードを判定することができ、それを環境データとして記憶することができる。
【0088】
追加的に、一例では、マイクロフォンが、車両の周囲の環境のオーディオを捕捉するように構成され得る。マイクロフォンで捕捉された音は、緊急車両のサイレン及び他の車両の音を含み得る。例えば、マイクロフォンは、救急車、消防自動車、警察車両のサイレンの音を捕捉し得る。処理システムは、捕捉されたオーディオ信号が緊急車両を示していることを識別することが可能であり得る。別の例では、マイクロフォンは、オートバイからの排気など、別の車両の排気の音を捕捉し得る。処理システムは、捕捉されたオーディオ信号がオートバイを示していることを識別することが可能であり得る。マイクロフォンによって捕捉されたデータは、環境データの一部分を形成し得る。
【0089】
更に別の例では、ラジオユニットが、Bluetooth信号、802.11信号、及び/又は他の無線技術信号の形態を採り得る電磁信号を送信するように構成され得る。第1の電磁放射信号は、無線ユニットに位置する1つ以上のアンテナを介して送信され得る。更に、第1の電磁放射信号は、多くの異なる無線信号モードのうちの1つで送信され得る。しかしながら、いくつかの実施形態では、自律又は半自律車両の近くに位置するデバイスからの応答を要求する信号モードで第1の電磁放射信号を送信することが望ましい。処理システムは、ラジオユニットに返信された応答に基づいて近くのデバイスを検出し、この通信された情報を環境データの一部分として使用することが可能であり得る。
【0090】
いくつかの実施形態では、処理システムは、車両の周囲環境を更に判定するために、様々なセンサからの情報を組み合わせることが可能であり得る。例えば、処理システムは、RADAR情報及び捕捉された画像の両方からのデータを組み合わせて、別の車両又は歩行者が自律又は半自律車両の前にいるかどうかを判定し得る。他の実施形態では、センサデータの他の組み合わせが、処理システムによって使用されて、周囲環境についての判定を行い得る。
【0091】
自律モード(又は半自律モード)で動作している間、車両は、ほとんど又は全く人間の入力なしでその動作を制御し得る。例えば、人間のオペレータが住所を車両に入力した場合、車両は、人間からの更なる入力なしに(例えば、人間がブレーキ/アクセルペダルを操縦したり触れたりすることなどの必要なしで)、指定された目的地まで運転することが可能であり得る。更に、車両が自律的又は半自律的に動作している間、センサシステムは、環境データを受信している場合がある。車両の処理システムは、様々なセンサから受信した環境データに基づいて車両の制御を変更し得る。いくつかの例では、車両は、様々なセンサからの環境データに応答して、車両の速度を変更し得る。車両は、障害物を回避し、交通法に従うなどのために速度を変え得る。車両での処理システムが車両の近くの物体を識別すると、車両は速度を変更するか、又は別の方式で動きを変えることが可能であり得る。
【0092】
車両が物体を検出したが物体の検出に十分自信がない場合、車両は、人間のオペレータ(若しくはより強力なコンピュータ)に、(i)物体が実際に周囲環境内に存在するかどうかを確認する(例えば、実際に一時停止標識があるか、若しくは実際に一時停止標識がないかなど)、(ii)車両の物体の識別が正しいかどうかを確認する、(iii)識別が正しくなかった場合、識別を訂正する、及び/又は(iv)自律又は半自律車両に対して補足的な命令を提供する(若しくは現在の命令を修正する)などの、1つ以上のリモートアシスタンスタスクを行うよう要求することができる。リモートアシスタンスタスクにはまた、人間のオペレータが車両の動作を制御するための命令を提供すること(例えば、人間のオペレータが、物体は一時停止標識であると判定した場合、一時停止標識で停止するよう車両に命令することなど)が含まれるが、いくつかのシナリオでは、物体の識別に関連する人間のオペレータのフィードバックに基づいて、車両自体が自身の動作を制御し得る。
【0093】
これを容易にするために、車両は、周囲環境の物体を表す環境データを分析して、閾値未満の検出信頼度を有する少なくとも1つの物体を判定し得る。車両のプロセッサは、様々なセンサからの環境データに基づいて周囲環境の様々な物体を検出するように構成され得る。例えば、一実施形態では、プロセッサは、車両が認識するのに重要であり得る物体を検出するように構成され得る。このような物体には、歩行者、自転車に乗る人、街路標識、他の車両、他の車両のインジケータ信号、及び捕捉された環境データで検出された他の様々な物体が含まれ得る。
【0094】
検出信頼度は、判定された物体が周囲環境内で正しく識別されている、又は周囲環境内に存在している可能性を示し得る。例えば、プロセッサは、受信した環境データにおける画像データ内の物体の物体検出を行い、少なくとも1つの物体が、閾値を超える検出信頼度を有すると識別することができないことに基づいて、その物体が閾値を下回る検出信頼度を有すると判定し得る。物体の物体検出又は物体認識の結果が決定的でない場合、検出信頼度が低いか、又は設定閾値を下回っている場合がある。
【0095】
車両は、環境データのソースに応じて、様々な方法で周囲環境の物体を検出し得る。いくつかの実施形態では、環境データは、カメラから来る、画像又はビデオデータであり得る。他の実施形態では、環境データはLIDARから来る場合がある。車両は、捕捉された画像又はビデオデータを分析して、画像又はビデオデータ内の物体を識別し得る。方法及び装置は、周囲環境の物体があるかについて、画像及び/又はビデオデータを監視するように構成され得る。他の実施形態では、環境データは、RADAR、オーディオ、又は他のデータであり得る。車両は、RADAR、オーディオ、又は他のデータに基づいて周囲環境の物体を識別するように構成され得る。
【0096】
いくつかの実施形態では、物体を検出するために車両が使用する技術は、既知のデータのセットに基づき得る。例えば、環境物体に関連するデータは、車両に位置するメモリに記憶され得る。車両は、受信したデータを記憶されたデータと比較して、物体を判定し得る。他の実施形態では、車両は、データの文脈に基づいて物体を判定するように構成され得る。例えば、工事に関連する街路標識は、概してオレンジ色を有し得る。したがって、車両は、道路脇近くに位置するオレンジ色の物体を、工事関連の街路標識として検出するように構成され得る。追加的に、車両の処理システムは、捕捉されたデータ内の物体を検出すると、それはまた各物体の信頼度を計算することができる。
【0097】
更に、車両はまた、信頼度閾値を有し得る。信頼度閾値は、検出される物体のタイプに応じて異なり得る。例えば、別の車両のブレーキライトなど、車両からの迅速な応答アクションを要求し得る物体については、信頼度閾値が低くなり得る。しかしながら、他の実施形態では、検出された全ての物体について、信頼度閾値が同じであり得る。検出された物体に関連付けられた信頼度が信頼度閾値より高い場合、車両は、物体が正しく認識されたと想定し、その想定に基づいて車両の制御を応答的に調整し得る。
【0098】
検出された物体と関連付けられた信頼度が信頼度閾値より低い場合、車両が講じるアクションは変わり得る。いくつかの実施形態では、車両は、低い信頼度レベルにもかかわらず、検出された物体が存在するかのように反応することがある。他の実施形態では、車両は、検出された物体が存在しないかのように反応することがある。
【0099】
車両は、周囲環境の物体を検出すると、特定の検出された物体と関連付けられた信頼度も計算することができる。信頼度は、実施形態に応じて様々な方法で計算され得る。一例では、周囲環境の物体を検出すると、車両は、環境データを既知の物体に関連する所定のデータと比較し得る。環境データと所定のデータとの一致が近いほど、信頼度はより高くなる。他の実施形態では、車両は、環境データの数学的分析を使用して、物体と関連付けられた信頼度を判定し得る。
【0100】
物体が閾値を下回る検出信頼度を有するとの判定に応答して、車両は、リモートコンピューティングシステムに、物体の識別とともにリモートアシスタンスの要求を送信し得る。上で考察されるように、リモートコンピューティングシステムは、様々な形態を採り得る。例えば、リモートコンピューティングシステムは、車両とは別個の車両内のコンピューティングデバイスであるが、それによって人間のオペレータが車両の乗客又は運転手と相互作用することができる、リモートアシスタンス情報を表示するためのタッチスクリーンインターフェースなどであり得る。追加的又は代替的に、別の例として、リモートコンピューティングシステムは、車両の近くではない場所に位置するリモートコンピュータ端末又は他のデバイスであり得る。
【0101】
リモートアシスタンスの要求は、画像データ、オーディオデータなどの、物体を含む環境データを含み得る。車両は、ネットワーク(例えば、ネットワーク304など)上で、いくつかの実施形態では、サーバ(例えば、サーバコンピューティングシステム306など)を介してリモートコンピューティングシステムに環境データを送信し得る。リモートコンピューティングシステムの人間のオペレータは、次に、要求に応答するための基礎として環境データを使用し得る。
【0102】
いくつかの実施形態では、物体が信頼度閾値を下回る信頼度を有するとして検出された場合、物体には予備識別が与えられ得、車両は、予備識別に応答して車両の動作を調整するように構成され得る。そのような動作の調整は、他の可能な調整の中でも特に、車両を停止する、車両を人間制御モードに切り替える、車両の速度(例えば、スピード及び/又は方向など)を変更するという形態を採り得る。
【0103】
他の実施形態では、車両が閾値を満たす、又は超える信頼度を有する物体を検出した場合でも、車両は検出された物体に従って動作し得る(例えば、物体が一時停止標識として高い信頼度で識別された場合に停止するなど)が、車両が検出された物体に従って動作するのと同時に(又は後で)リモートアシスタンスを要求するように構成され得る。
【0104】
図4Aは、例示的な実施形態による、システムのブロック図である。特に、図4Aは、システムコントローラ402、LIDARデバイス410、複数のセンサ412、及び複数の制御可能な構成要素414を含むシステム400を示す。システムコントローラ402は、プロセッサ404、メモリ406、及びメモリ406上に記憶され、機能を実施するためにプロセッサ404によって実行可能な命令408を含む。
【0105】
プロセッサ404は、1つ以上の汎用マイクロプロセッサ(例えば、シングルコア又はマルチコアを有するなど)及び/又は1つ以上の専用マイクロプロセッサなどの1つ以上のプロセッサを含み得る。1つ以上のプロセッサは、例えば、1つ以上の中央処理装置(CPU)、1つ以上のマイクロコントローラ、1つ以上のグラフィカルプロセシングユニット(GPU)、1つ以上のテンソルプロセシングユニット(TPU)、1つ以上のASIC、及び/又は1つ以上のフィールドプログラマブルゲートアレイ(FPGA)を含み得る。ソフトウェア命令を実行するように構成される他のタイプのプロセッサ、コンピュータ、又はデバイスもまた、本明細書において企図される。
【0106】
メモリ406は、限定なしで、リードオンリーメモリ(ROM)、プログラマブルリードオンリーメモリ(PROM)、消去可能なプログラマブルリードオンリーメモリ(EPROM)、電気的に消去可能なプログラマブルリードオンリーメモリ(EEPROM)、不揮発性ランダムアクセスメモリ(例えば、フラッシュメモリなど)、固体ドライブ(SSD)、ハードディスクドライブ(HDD)、コンパクトディスク(CD)、デジタルビデオディスク(DVD)、デジタルテープ、リード/ライト(R/W)CD、R/W DVDなどを含み得る、非一時的なコンピュータ可読媒体などのコンピュータ可読媒体を含み得る。
【0107】
以下で更に説明されるLIDARデバイス410は、光を放出する(例えば、光パルスなどで)ように構成された複数の光エミッタ、及び光(例えば、光パルスの反射部分など)を検出するように構成された1つ以上の光検出器を含む。LIDARデバイス410は、光検出器の出力から三次元(3D)点群データを生成し、3D点群データをシステムコントローラ402に提供し得る。システムコントローラ402は、次に、3D点群データ上で動作を実施して、周囲環境(例えば、周囲環境内の物体の相対位置、エッジ検出、物体検出、近接感知など)の特性を判定し得る。
【0108】
同様に、システムコントローラ402は、複数のセンサ412からの出力を使用して、システム400の特性及び/又は周囲環境の特性を判定し得る。例えば、センサ412は、GPS、IMU、画像捕捉デバイス(例えば、カメラなど)、光センサ、熱センサ、並びにシステム400及び/又は周囲環境に関連するパラメータを示す他のセンサのうちの1つ以上を含み得る。LIDARデバイス410は、例として、センサ412とは別個のものとして描写されており、いくつかの例では、センサ412の一部として、又はセンサ412としてみなされ得る。
【0109】
システム400並びに/又はLIDARデバイス410及びセンサ412からの出力に基づいてシステムコントローラ402によって判定された周囲環境の特性に基づいて、システムコントローラ402は、制御可能な構成要素414を制御して、1つ以上のアクションを実施し得る。例えば、システム400は、車両に対応し得、その場合、制御可能な構成要素414は、車両のブレーキシステム、転回システム、及び/又は加速システムを含み得、システムコントローラ402は、LIDARデバイス410及び/又はセンサ412から判定された特性(例えば、システムコントローラ402が車両を自律又は半自律モードで制御するときなど)に基づいて、これらの制御可能な構成要素の態様を変更し得る。例の中で、LIDARデバイス410及びセンサ412はまた、システムコントローラ402によって制御可能である。
【0110】
図4Bは、例示的な実施形態による、LIDARデバイスのブロック図である。特に、図4Bは、複数の光エミッタ424及び1つ以上の光検出器、例えば、複数の光検出器426などを制御するように構成されたコントローラ416を有する、LIDARデバイス410を示す。LIDARデバイス410は、複数の光エミッタ424のそれぞれの光エミッタへの電力を選択及び提供するように構成された発射回路428を更に含み、複数の光検出器426のそれぞれの光検出器を選択するように構成されたセレクタ回路430を含み得る。セレクタ回路430は、光検出器426をバイアスする(例えば、デバイアスモード、線形モード、又はガイガーモードなどの様々なバイアスモードに光検出器426を置くために、光検出器426のうちの1つ以上にわたって逆バイアスを提供する)ために使用される1つ以上のバイアス信号を生成するバイアス回路436を組み込み得る。代替的な実施形態では、バイアス回路436は、セレクタ430から分離され得る(例えば、コントローラ416によって依然として制御される)。コントローラ416は、プロセッサ418、メモリ420、及びメモリ420上に記憶された命令422を含む。
【0111】
プロセッサ404と同様に、プロセッサ418は、1つ以上の汎用マイクロプロセッサ及び/又は1つ以上の専用マイクロプロセッサなどの1つ以上のプロセッサを含み得る。1つ以上のプロセッサは、例えば、1つ以上のCPU、1つ以上のマイクロコントローラ、1つ以上のGPU、1つ以上のTPU、1つ以上のASIC、及び/又は1つ以上のFPGAを含み得る。ソフトウェア命令を実行するように構成される他のタイプのプロセッサ、コンピュータ、又はデバイスもまた、本明細書において企図される。
【0112】
メモリ406と同様に、メモリ420は、限定されるものではないが、ROM、PROM、EPROM、EEPROM、不揮発性ランダムアクセスメモリ(例えば、フラッシュメモリなど)、SSD、HDD、CD、DVD、デジタルテープ、R/W CD、R/W DVDなどの非一時的コンピュータ可読媒体などのコンピュータ可読媒体を含み得る。
【0113】
命令422は、メモリ420上に記憶され、プロセッサ418によって実行可能であり、3D点群データを生成するために、及び3D点群データを処理するために(又はシステムコントローラ402などの別のコンピューティングデバイスによって3D点群データを処理することをおそらく容易にするために)、発射回路428及びセレクタ回路430を制御することに関連する機能を実施する。
【0114】
コントローラ416は、光のパルスを放出するために、光エミッタ424を使用することによって、3D点群データを判定し得る。放出時間は、各光エミッタに対して確立され、放出時間の相対場所も追跡される。様々な物体などのLIDARデバイス410の周囲環境の態様は、光のパルスを反射する。例えば、LIDARデバイス410が道路を含む周囲環境にある場合、そのような物体は、車両、標識、歩行者、路面、建設用コーンなどを含み得る。いくつかの物体は、反射光の強度が光パルスを反射する物体のタイプを示し得るように、他のものよりもより反射性が高い場合がある。更に、物体の表面は、LIDARデバイス410に対して異なる位置にあり、したがって、光パルスの一部分を反射して、LIDARデバイス410に戻すのに多少の時間がかかり得る。したがって、コントローラ416は、反射光パルスが光検出器によって検出される検出時間、及び検出時間における光検出器の相対位置を追跡し得る。放出時間と検出時間との間の時間差を測定することによって、コントローラ416は、光パルスが受信される前にどの程度の距離を移動するか、したがって、対応する物体の相対距離を判定し得る。放出時間及び検出時間における相対位置を追跡することによって、コントローラ416は、LIDARデバイス410に対する光パルス及び反射光パルスの配向、したがって、物体の相対的な配向を判定し得る。受信された光パルスの強度を追跡することによって、コントローラ416は、物体がどの程度反射するかを判定し得る。この情報に基づいて判定される3D点群データは、したがって、検出された反射光パルス(例えば、デカルト座標系などの座標系内などの)の相対位置及び各反射光パルスの強度を示し得る。
【0115】
発射回路428は、光パルスを放出するための光エミッタを選択するために使用される。同様に、セレクタ回路430は、光検出器からの出力をサンプリングするために使用される。
【0116】
図5Aは、例示的な実施形態による、光検出器バイアス回路を例解する。特に、図5Aは、図4Bに示され、説明されるバイアス回路436と同一又は同様の機能を有し得る回路500を示す。回路500は、回路500のバイアスコンデンサ512に電圧を提供するために使用され得る電圧入力ノード502を含む。電圧入力ノード502は、検出器セレクタ回路(例えば、図4Bに示され、説明されるセレクタ回路430)などの、より大きい回路に接続されるか、又は電圧源に直接接続され得る。回路500は、第1の端子で電圧入力ノード502に接続され、第2の端子でダイオード510のアノードに接続される、コイル504を更に含む。コイル504の第2の端子及びダイオード510のアノードは、ゲート508を有するトランジスタ506に接続される。ダイオード510のカソードは、出力ノードでコンデンサ512の第1の端子に接続される。電圧入力ノード502、コイル504、トランジスタ506、及びダイオード510は、昇圧コンバータを形成し、それによって、デューティサイクルでゲート508を使用してトランジスタ506を制御することは、電圧入力ノード502における電圧及びデューティサイクルに従って、コンデンサ512を充電し得る。昇圧コンバータが図5Aに描写されているが、コンデンサ512を充電する他の方式(例えば、降圧コンバータ又は降圧-昇圧コンバータを使用する)が可能である。電圧変換器を使用してコンデンサ512を充電することは、異なる電圧レベルを使用するLIDARデバイスの共通電圧源を使用して、光検出器に対応するレベルまでコンデンサ512が充電されることを可能にし得る。
【0117】
コンデンサ512の第2の端子は、電圧差ドライバ514に接続される。電圧差ドライバ514は、電圧源ノード524で電圧源に接続された第1のトランジスタ516と、接地に接続された第2のトランジスタ518と、を含む。第1のトランジスタ516の第1のゲート520、及び第2のトランジスタ518の第2のゲート522は、光検出器をバイアスすることと関連付けられた電圧差(本明細書では「Vdiff」と別途称される)を選択的に駆動するために使用され得る。特に、Vdiffは、電圧源ノード524と関連付けられた非ゼロ電圧に対応し得るか、又は接地と関連付けられたゼロ電圧に対応し得る。このようにして、電圧差ドライバ514は、出力ノード526で出力電圧(本明細書では「Vout」と別途称される)を駆動するためにコンデンサ512の充電レベルと併せて使用され得る。電圧差ドライバ514のトランジスタ516及び518は、電界効果トランジスタ(FET)として描写されているが、他のトランジスタ又はスイッチングデバイスが使用され得る。
【0118】
代替的な例では、電圧差ドライバ514は、1つのトランジスタのみを含み得る。例えば、トランジスタ518は、電圧差ドライバ514から除去されるか、又はダイオードで置き換えられ得る。これらの例では、トランジスタ516が閉じられているとき、出力電圧は、高レベルに駆動され、光検出器528は、バイアスされ、コンデンサ512は、充電され得る。逆に、トランジスタ516が開かれているとき、光検出器528は、有効に「浮動」している(すなわち、接地又は電圧源に接続されるコンデンサ512と関連付けられた導電経路に接続されない)。この状態では、光検出器528は、光信号を受信するときに自動的にデバイアスされ、光信号と関連付けられた電流を受動的に生成し得る(例えば、漏れを通して)。
【0119】
したがって、電圧差ドライバ514は、光検出器528の検出期間の第1の部分の間に、第2の端子を電圧源に接続するように構成され得る。例えば、これは、トランジスタ516、スイッチ、又は第2の端末を電圧源に接続する別の手段を使用して実施され得る。第2の端末を電圧源に接続することは、光検出器528のバイアス閾値を上回る第1の電圧レベルに出力電圧を駆動し、それによって、光検出器528をバイアスする。
【0120】
電圧差ドライバ514は、検出期間の第2の部分の間に、第2の端末を電圧源から接地に接続解除するように更に構成され得る。例えば、これは、トランジスタ516、スイッチ、又は第2の端末を電圧源に接続解除する別の手段を使用して実施され得る。第2の端末を電圧源から接続解除することは、光検出器528のバイアス閾値を下回る第2の電圧に出力電圧を到達させ、それによって、光検出器528をデバイアスする。例えば、トランジスタ516を使用して第2の端子を電圧源から接続解除すると同時に、電圧差ドライバ514は、トランジスタ518を使用して第2の端子を接地に接続し、これは、コンデンサ512の電荷レベルに対応する低レベルに出力電圧レベルを駆動する。別の例では、第2の端末は、接地に接続されておらず、第2の端末を電圧源から接続解除することは、受信された光及びコンデンサ512の充電レベルに基づいて、光検出器528を自動的にデバイアスさせる。例えば、第2の端末を電圧源から接続解除することは、光検出器528(例えば、SiPM)が降伏電圧に到達しないことに対応し得る。したがって、比較的低い漏れ電流は、光検出器528の両端の対応する低い電圧降下に対応し、特定の電圧条件に基づいて、光検出器を、線形モードでデバイアス又はバイアスさせる(例えば、光子検出イベントがアバランシェ降伏を結果的にもたらさないガイガーモードバイアスを下回るバイアスを有するレジームにおいて)。
【0121】
図5Aはまた、光検出器528を示す。光検出器528は、フォトダイオードとして描写されるが、他のタイプの光検出器を使用することができる。例えば、光検出器は、フォトコンダクタ(フォトレジスタ)、光起電デバイス(光電池)、フォトトランジスタ、フォトダイオード、金属酸化物半導体(MOS)コンデンサ、APD、SPAD、SiPM、又は光検出器によって受信される光の強度を示す出力を生成することができる別のデバイスであり得る。SiPMが以下に説明されるが、光検出器528は、上記に列挙された光検出器又は他のタイプの光検出器のいずれかを含み得ることが理解されるべきである。光検出器528は、それらの比較的高い感度に起因して、SiPMを含み得る。本明細書に説明されるように、SiPMは、ガイガーモードでバイアスされることが可能であり得、多くの個々のSPAD要素(例えば、ダイナミックレンジを構築するために並列に接続される)で作製され得る。しかしながら、本明細書にも説明されるように、SiPMは、所与のSiPMの設計における有限数のセルに基づいて飽和しやすい場合がある。加えて、所与のSiPMの各SPAD要素は、光子検出イベントに起因して発射された後、感度損失を受け得、これは、デバイスに蓄えられた内部電荷が、SiPMの回復時定数(例えば、デバイスに応じて、5ns~30ns)に従って発生する補充を必要とするためである。更に、有限回復時間を伴う飽和は、強い反射信号を検出した後に、後続の光信号を検出する能力に関して、SiPMによる(例えば、ガイガーモードでバイアスされたとき)過剰な感度損失及び非線形性を結果的にもたらし得る。対照的に、APDは、より広いダイナミックレンジにわたって線形に挙動し得る(例えば、より軽度の2次飽和効果を受ける場合もある)。
【0122】
更に、例では、光検出器528は、「バイアス」されていると称され得る(例えば、バイアスなし、線形モードバイアス、又はガイガーモードバイアスなどの、様々なバイアスモードで)。これは、図5Aに示されるように、逆バイアスされることを含み得る。ガイガーモードで動作している間、SiPM、SPAD、及び他のタイプの高感度光検出器は、単一光子レベルのセンシングを提供できる。ガイガーモードは、例えば、単一の光励起イベントの空乏領域内に複数のキャリアを生成するために、pn接合の逆バイアスが強いという条件を含み得る(例えば、アバランシェ降伏による)。しかしながら、そのバイアスが強いという条件のため、暗電流もまた、測定可能な数の少数キャリアにカスケードする熱的に生成された少数キャリアから生じ得る。熱的に生成された少数キャリアに加えて、一部の少数キャリアは、接合部を介して吸収されずに通過し、基板に吸収される光子によって、デバイスの基板内で光励起され得る。「暗電流」は、光源が光検出器を照射しなくなった後でも、光検出器が信号を出力しているときに生じ得る。これは、代替的及び交換可能に、本明細書では「疑似電流」、「疑似出力信号」、「ダークカウント」、又は「検出イベントに関連する延長された時間減衰定数」と称され得る。
【0123】
追加的に、光検出器528は、文脈に応じて、それが回路500の一部とみなされる場合、又はみなされない場合があることを示す点線で描写されている。例えば、光検出器528は、回路500内に含有されるか、又は回路500の出力に結合された別個の要素であると考えられ得る。
【0124】
SiPMなどの光検出器は、光を受信することに応答して電流を生成し得る。例えば、SiPMがその降伏電圧を上回る電圧で逆バイアスされる(例えば、SiPMがガイガーモードでバイアスされる)とき、単一の光子の受信に応答して、電流を生成する。例えば、このバイアス電圧は、約50Vであり得、コンデンサ512及び電圧差ドライバ514によって駆動される出力ノード526における出力電圧に対応し得る。多くのSiPMを含むデバイス(例えば、図4Bに対して示され、説明されるLIDARデバイス410)では、SiPMを連続的にバイアスすることは、相当量の電力を消費し得る。電力をより効率的に使用するために、SiPMは、特定の選択された時点のみでバイアスされ得る(例えば、バイアス回路436を使用して)。例えば、LIDARデバイス410では、SiPM(例えば、光検出器426のうちの1つ)は、SiPMに対応する光エミッタ424(例えば、レーザダイオード)が、発射されるときに対する2つの別個の期間、すなわち、バックグラウンド測定値を取得するために、レーザダイオードが発射される前の第1の期間(例えば、1マイクロ秒)と、SiPMが戻りパルスを検出し得るリスニング期間として機能する、レーザダイオードが発射された後の第2の期間(例えば、2マイクロ秒)と、の間にバイアスされ得る。他の期間中、SiPMは、デバイアスされる。このようにして、電力は、デバイアス期間中に節約され得る。更なる例では、SiPMがバイアスされる第1の期間及び第2の期間は、光エミッタと関連付けられたパルス周期の第1の部分の第1の時間枠及び第2の時間枠と総称され得、SiPMがデバイアスされる他の期間は、パルス周期の第2の部分と称され得る。他のバイアススキームもまた可能であり、本明細書で企図される。例えば、図7~8Cは、内部フィードバックから結果的に生じる悪影響を軽減するために使用される潜在的なバイアススキームを例解する(例えば、LIDARデバイス内の内部反射に基づくSiPMの飽和を防止するために)。
【0125】
SiPMの選択的なバイアス及びデバイアスを達成するために、回路500は、出力ノード526でSiPMに出力電圧(Vout)を印加するように構成されている。いくつかの実施形態では、この出力電圧は、調整可能である(例えば、2つの離散電圧の間、又は連続した電圧の間で)。例えば、出力電圧は、SiPMをバイアスする(例えば、ガイガーモード又は線形/APDモードでSiPMをバイアスする)のに十分である高レベル(例えば、約50V)と、SiPMをバイアスするには低過ぎる低レベル(例えば、0V)(例えば、SiPMはバイアスされないままであり、それゆえに、入射光信号に基づいていかなる電流も生成しない)との間で調整され得る。更に、Vdiffは、光検出器528のバイアス電圧の半分未満とすることができる。例えば、コンデンサ512は、昇圧コンバータを使用して40Vに充電され得、電圧差ドライバ514は、ゲート520又は522のいずれかに制御電圧を印加することによって選択されるゲートに応じて、追加の10V又は0Vを供給し得る。このように、図5Aに示されるFETのゲートに印加される制御電圧は、Voutがより高いレベル(例えば、SiPMに対して50Vなどのガイガーモードバイアス設定に対応する)であるか、又はより低いレベル(例えば、SiPMに対して40Vなどの線形モード/APDモードバイアス設定に対応する)であるかを制御するために使用され得る。具体的には、第1のトランジスタ516がオンであり、第2のトランジスタ518がオフであるとき、コンデンサ512の第2の端子は、電圧源に接続され、Voutは、より高いレベルにある。逆に、第1のトランジスタ516がオフであり、第2のトランジスタ518がオンであるとき、コンデンサ512の第2の端子は、接地に接続され、Voutは、より低いレベルにある。
【0126】
いくつかの実施形態では、電圧源ノード524の電圧を設定するために使用される電圧源は、変調され得る(例えば、電圧源ノード524に対して、及びそれに応じて、出力ノード526に対して、連続した電位値を提供するために)。追加的又は代替的に、いくつかの実施形態では、電圧差ドライバ514は、コンデンサ512の第2の端子に接続された、連続した電圧を提供するための追加の回路を含み得る。例えば、2つの異なる電圧(例えば、10V又は0V)に接続された2つのトランジスタ516、518ではなく、より多数のトランジスタ(例えば、3つのトランジスタ、4つのトランジスタ、5つのトランジスタなど)が、Voutに対する追加の離散電圧選択肢を提供するために、対応するより多数の異なる電圧(例えば、3つの異なる電圧、4つの異なる電圧、5つの異なる電圧など)に接続され得る。更に、電圧差ドライバ514が連続範囲の電圧選択肢(例えば、コンデンサ512の第2の端子に接続するための)を提供する技術もまた、本明細書で企図されている。そのような連続範囲の電圧選択肢は、結果として、出力ノード526に対する電圧ランプ(例えば、ランプアップ又はランプダウン)を提供する(例えば、それによって、光検出器528に対するバイアスランプを結果的にもたらす)ために、LIDARデバイスの対応するコントローラ(例えば、図4Bを参照して示され、説明されるコントローラ416)によって制御され得る。
【0127】
図5Bは、例示的な実施形態による、光検出器サンプリング回路550を例解する。特に、図5Bは、出力ノード526に結合された回路500の延長を示す。光検出器528のカソードは、出力ノード526に接続され、光検出器528のアノードは、電圧源535に接続され、これは、次いで、接地に接続される。電圧源535は、例解目的で提供され、光検出器サンプリング回路550には存在しない場合があることが理解されるべきである。Voutがバイアス閾値を上回る(例えば、ガイガーモード閾値を上回るか、又は線形モード/APDモード閾値を上回る)ことに基づいて光検出器528がバイアスされるとき、光検出器528は、出力ノード526を通して電流を駆動する。
【0128】
概念上、電圧源535は、光検出器528がバイアスされたときに負の電圧(例えば、-50V)であり、光検出器528がデバイアスされたときに0V又は0V付近であるように理解され得る。例えば、光検出器528がデバイアスされるとき、電圧源535は、光検出器528からの漏れ電流に起因する比較的低電圧(例えば、1V未満)であると理解され得る。電流は、光検出器528によって受信される光の強度に比例し得る。光検出器サンプリング回路550はまた、第1の抵抗器530及び第2の抵抗器532を含む分圧器を含み得る。光検出器528によって受信される光のレベルを検出することは、アナログ-デジタル変換器(ADC)534を使用して、第2の抵抗器532で電圧降下をサンプリングすることを含み得る。特に、光検出器528がバイアスされ(例えば、ガイガーモード又は線形モード/APDモードで)、光を受信するとき、光検出器528は、電流を駆動し、コンデンサ512は、放電する。例えば、これは、回路500のリスニング期間の間に発生し得る。ADC534は、コンデンサ512が放電する前及び後に(例えば、リスニング期間の開始時及びリスニング期間の終了時に)、第2の抵抗器532における電圧レベルをサンプリングする。したがって、光検出器528によって駆動される電流は、サンプル間の電圧差(V2-V1)によって乗算され、サンプル間の時間差(t2-t1)によって除算されたコンデンサ512の静電容量(C)に等しいか、又は比例するように判定され得る(I=C*(V2-V1)/(t2-t1))。ADC534は、第2の抵抗器532の両端の電圧降下を測定するために使用される。次に、コントローラ416は、ADC534によってサンプリングされた値を解釈して、光検出器528によって受信される光の強度を判定し得る。SiPMが光検出器528として使用される実施態様では、SiPMによって受信される光子の数が判定され得る。これはまた、他のタイプの光検出器でも同じく可能であり得る。
【0129】
図5Cは、例示的な実施形態による、例示的なSiPM529を例解する。特に、図5Cは、SiPMの簡略化された回路表現を示す。例示の目的として、SiPM529は、光検出器528に関して上記に説明されるように動作し得る。SiPM529は、カソード536、アノード538、及び高速出力540を含み得る。連続性の目的で、カソード536は、出力ノード526に接続し得、高速出力540は、出力ノード526を有効に連続させ、図5Bに示される分圧器などの、対応する回路の他の要素に向かって電流を駆動し得ることが理解されるべきである。SiPM529は、第1のマイクロセル542及び第2のマイクロセル544を含む、マイクロセルのアレイを含む。各マイクロセルは、入射光546などの光を検出するように構成されている。マイクロセルのいずれかが光子を受信するとき、電流は、高速出力540を介して駆動される。この電流は、複数のマイクロセルによって受信される入射光546の量に比例し得、結果的に得られる電流は、何個の光子がSiPM529によって受信されるかを判定するために使用され得る。
【0130】
SiPM529をバイアス及びデバイアスすることは、通常のサイクルに従って実施され得る。例えば、既知のパルス周期は、光を放出する光エミッタ(例えば、レーザダイオード)と関連付けられ得、SiPM529をバイアス及びデバイアスすることは、既知のパルス周期に従って実施され得る。このようにして、対応する回路は、1つ以上のレーザダイオードから光を放出するように構成された他の回路と凝集して動作し得る。いくつかの実施形態では、SiPM529のバイアス及びデバイアスは、バイアス信号を使用して実施され得る(例えば、図4Bに対して示され、説明されるバイアス回路436などのバイアス回路によって提供される)。
【0131】
個々の光子を検出するためにSiPM529を使用することは、光エミッタ(例えば、レーザダイオード)が発射された(すなわち、光信号を放出した)後、画定された持続時間(例えば、2マイクロ秒)を有するリスニング期間の間に発生し得る。光パルスは、サンプリングされた光子カウントが閾値を超えるときに検出される。例えば、閾値カウント(例えば、100個の光子)は、動作的にバイアスされている間にSiPM529によって駆動される電流レベルに基づいて、又は電流から結果的に生じる対応する電圧レベルによって、判定され得る。
【0132】
いくつかの実施形態では、閾値カウントは、各リスニング期間に対して動的に判定され得る。例えば、各光検出器は、対応する光エミッタが光信号を放出する前に、画定された期間(例えば、1マイクロ秒)のバックグラウンド測定期間の間にバックグラウンドノイズレベルを測定し得る。各特定の光検出器のリスニング期間で使用される閾値は、その特定の光検出器のバックグラウンド測定期間の間に測定されるバックグラウンドノイズレベルに基づき得る。この閾値は、バックグラウンド測定期間中に検出された電圧レベルに対応し得る。例えば、4つの光子が、第1の時間枠の間に検出される電圧レベルに基づいて、第1の時間枠の間に検出され得、光パルスを検出するための閾値カウントは、第2の時間枠の間に104個の光子に調整され得る。このようにして、反射光パルスは、第1の時間枠中に判定された環境中の光レベルに基づいて検出され、検出動作が実行される。他の実施態様では、光子の数は、明示的に判定されない場合があるが、反射光パルスの検出は、むしろ、SiPM529の出力信号(例えば、経時的にサンプリングされた出力電圧及び/又は電流レベル)に基づく。例えば、予想される信号をSiPM529(又は、例えば、光検出器528)の出力信号に相関させる整合フィルタが、光パルスの反射部分がSiPM529によって受信されたか否かを判定するために適用され得る。
【0133】
図5A~5Cの回路は、単に例として提供され、他の検出回路も可能であり、本明細書で企図されていることが理解される。例えば、代替的な回路が、光検出器528のバイアスを生成するために使用され得る(例えば、バイアス信号を使用する)。追加的又は代替的に、異なる回路が、入射光に基づいて光検出器528によって生成された光検出器528からの出力信号を検出するために使用され得る。
【0134】
図6Aは、例示的な実施形態による、LIDARデバイス(例えば、図4Bを参照して示され、説明されるLIDARデバイス410)の内部フィードバックの例解図である。例えば、例解されるように、LIDARデバイス410の光エミッタ424は、LIDARデバイス410の光検出器426によって結果的に検出される(例えば、光信号の反射に基づいて)光信号を放出し得る。場合によっては、検出された光信号は、内部反射の結果であり得る(例えば、図6Aに例解されるように、LIDARデバイス410のハウジング若しくは光学窓からの、又はミラー、導波路、電子機器、回路、レンズ、フィルタなどの、LIDARデバイス410の1つ以上の他の内部構成要素からの)。光検出器426へのLIDARデバイス410の内部構成要素の近接性を理由に、いくつかの実施形態では、そのような内部反射は、比較的高い強度を有し得る。追加的又は代替的に、光検出器426による、そのような内部反射の検出は、光検出器426を飽和させ得る(例えば、光検出器426がガイガーモードでバイアスされている場合)。
【0135】
上記に説明されるように、光検出器426が飽和すると、光検出器426が追加の信号を検出することができない、関連付けられた回復時間が存在し得る。したがって、光検出器426が周囲環境中の物体を検出することから有効に盲目化される、内部反射を検出した後(例えば、光検出器426が飽和される際)の時間ウィンドウが存在し得る。この時間ウィンドウは、光エミッタ424によって放出される光信号の移動時間に基づいて、所与の範囲のセットに対応し得る。例えば、LIDARデバイス410に比較的近い周囲環境中の物体は、内部反射の検出に起因する光検出器426の飽和の結果として検出可能ではない場合がある。図6Bは、例えば、例示的な実施形態による、軽減されていない内部フィードバックによって影響され得る検出イベントの例解図である。例解されるように、LIDARデバイス410に近い周囲環境中(例えば、0.1m以内、図6Bに例解されるように0.3m以内、0.5m以内、0.7m以内、0.9m以内、1.0m以内、1.5m以内、2.0m以内、2.5m以内、3.0m以内など)に物体602が存在し得る。物体602は、LIDARデバイス410によって別様に検出可能であり得る(例えば、光エミッタ424による光信号の放出及び光検出器426による反射光信号の検出に基づいて)が、内部フィードバックの結果として(例えば、図6Aに例解されるように、内部反射に起因する光検出器426の飽和)、物体602は、LIDARデバイス410によって検出されずに進み得る。図6Cは、例示的な実施形態による、軽減されていない内部フィードバックによって影響され得る検出イベントの別の例解図である。例えば、LIDARデバイス410の表面上(例えば、LIDARデバイス410のハウジングの外部上)に存在する破片604(例えば、図6Cに例解されるように葉、雨、雪、土、泥、埃、結露、埃、昆虫残基など)は、図6Bに例解される物体602のように、内部フィードバックの結果(例えば、図6Aに例解されるように、内部反射に起因する光検出器426の飽和)として検出不可能であり得る。
【0136】
様々な状況では、LIDARデバイス410は、比較的近い物体(例えば、図6Bに例解される物体602)を検出することができること、及び/又は破片604(例えば、図6Cに例解されるように、LIDARデバイス410の外部表面上に位置する破片604)を検出することができることが望ましい場合がある。例えば、近くの物体(例えば、図6Bの物体602)を検出することは、物体回避判定を行うために使用され得る(例えば、LIDARデバイス410と関連付けられた車両によって)。更に、破片604(例えば、図6Cに例解されるように)を検出することは、LIDARデバイス410の1つ以上のチャネルが遮蔽されているか(例えば、それゆえに、周囲環境中の物体を検出することができない)否かを識別するために使用され得る。追加的又は代替的に、破片604(例えば、図6Cに例解されるように)を検出することは、LIDARデバイス410の1つ以上のチャネルが部分的に遮蔽されているか否かを識別するために使用され得る。例えば、いくつかの実施形態では、LIDARデバイス410のチャネルのうちの1つ以上は、破片604によって部分的に遮断され得(例えば、75%遮蔽される、50%遮蔽される、25%遮蔽されるなど)、これは、範囲検出の劣化を結果的にもたらし得る(例えば、光パルスの強度の低減及び/又は光パルスの別の部分と比較される光パルスの1つの部分に対する標的までの距離の変動に基づき、通過時間に基づいて、検出される光パルスに対して識別される距離は、不正確であり得る)。したがって、本開示全体を通して説明されるように、例示的な実施形態は、LIDARデバイス410内の内部フィードバックから結果的に生じる悪影響を軽減する技術を含み得る(例えば、検出された内部反射に基づいて、光検出器426の飽和を防止することによって)。例えば、本明細書に説明される技術は、破片の1つ以上の断片に基づいて、破片の存在及び/又は遮蔽の程度(例えば、パーセンテージの観点で)を判定するために使用され得る。
【0137】
なお更に、いくつかの実施形態では、LIDARデバイス410のハウジング自体を検出することが望ましい場合がある。例えば、LIDARデバイス410の外部ハウジング内に画定された光学窓から反射された光信号を検出することによって、どの検出期間が、LIDARデバイス410の内側からの反射に対応し、どの検出期間が、周囲環境中の物体からの反射に対応するかの判定が行われ得る(例えば、LIDARデバイス410のコントローラによって)。言い換えると、LIDARデバイス410のハウジングを検出することによって、反射光信号に基づいて、0.0mの標的範囲に対応する時点が判定され得る。これらの潜在的な利益の観点から、例示的な実施形態はまた、内部フィードバックが生成され得るLIDARデバイス410又はLIDARデバイス410からの他の構成要素の外部筐体(例えば、ハウジング)を検出することができる技術も提供する。例えば、LIDARデバイス410/LIDARデバイス410の外部筐体内からの内部反射に対応する検出期間中、光検出器426は、線形モード/APDモードでバイアスされ得る(例えば、バイアス信号を使用してバイアス回路によって)(例えば、それによって、光検出器426が、光検出器426を飽和させることなく、内部フィードバックを検出することを依然として可能にする)が、それに対して、周囲環境中の物体からの反射に対応する検出期間中、光検出器426は、ガイガーモードでバイアスされ得る(例えば、バイアス信号を使用してバイアス回路によって)(例えば、それによって、検出された光信号に応答して、アバランシェ降伏が発生することを可能にする)。
【0138】
図7は、例示的な実施形態による、発射シーケンス702及びバイアス信号704の例解図である。発射シーケンス702及びバイアス信号704は、図7に例解されるように、時間において互いに対して調整される。発射シーケンス702は、経時的に光エミッタ(例えば、図4Bに関して示され、説明されるLIDARデバイス410の光エミッタ424のうちの1つ)によって放出された光強度を表し得るか、又は経時的に光エミッタ(例えば、図4Bに関して示され、説明されるLIDARデバイス410の光エミッタ424のうちの1つ)に提供される発射シーケンス702(例えば、電圧又は電流に関して)は、光エミッタに光を放出させる。バイアス信号704は、光検出器が光信号を検出することを可能にするように経時的に光検出器(例えば、図4Bに関して示され、説明されるLIDARデバイス410の光検出器426のうちの1つ)に提供される電圧バイアス(例えば、逆バイアス電圧)を表し得る。例えば、バイアス信号704は、経時的に、図5Aに関して例解及び説明されるように、出力ノード526に印加される出力電圧(「Vout」)を表し得る。
【0139】
また図7では、垂直破線を使用して、第1の時点712、中間時点714、第2の時点716、及び第3の時点718がラベル付けされている。第1の時点712、中間時点714、第2の時点716、及び第3の時点718は、各々、LIDARデバイス内の光エミッタの発射シーケンス、及びLIDARデバイス内の対応する光検出器の検出シーケンス内の別個の時点を表し得る。図7の発射及び検出シーケンス内の3つの黒いドットによって例解されるように、発射及び検出シーケンスが、繰り返されて(例えば、無期限に)、LIDARデバイスの周囲環境に関するデータ(例えば、複数の時点に対して複数の点群を形成するために使用されるデータ)を検出し得る。第1の時点712は、光エミッタが、発射シーケンス702に従って発射を開始する時点を表し得る。中間時点714は、光エミッタによって放出された光信号の一部分が、LIDARデバイスの外部筐体に移動し、光デバイスの外部筐体から反射され、光検出器によって検出されるのに十分な時間を有した時点を表し得る。言い換えると、中間時点714は、放出された光信号が、LIDARデバイスの外部筐体に移動し、光検出器に戻るためにかかる、第1の時点712に対する遅延時間を表し得る。
【0140】
第2の時点716は、光検出器がガイガーモードレジームで逆バイアスされること(例えば、LIDARデバイスの周囲環境内の物体を検出するために)をバイアス信号704が結果的にもたらす、時点を表し得る。第3の時点718は、リセットフェーズの開始を表し得、その間、光エミッタ及び/又は光検出器が、それぞれ、追加の発射又は検出の準備をするためにリセットされる。第1の時点712と中間時点714との間の時間ウィンドウは、LIDARデバイス内の構成要素から光エミッタによって放出された光信号の任意の内部反射が光検出器によって検出されることになる時間に対応し得る。追加的に、中間時点714と第3の時点718との間の時間ウィンドウは、光検出器が周囲環境中の物体からの反射信号を検出しようと試みる(例えば、周囲環境中の物体までの距離についてのデータを収集するために)、リスニングウィンドウに対応し得る。更に、第3の時点718と、後続する発射シーケンス/検出シーケンスの第1の時点712との間の時間ウィンドウは、リセットフェーズ(例えば、光エミッタ及び/又は光検出器が、後続する発射シーケンス/検出シーケンスに対してリセットする)に対応し得る。
【0141】
図7に例解されるように、バイアス信号704(例えば、光検出器をバイアスするためにバイアス回路によって使用される)は、時間に対して変化し得る。例えば、例解されるように、バイアス信号704は、第1の時点712の直前に、デバイアスモードレジーム(例えば、光検出器が入射光信号に応答して、検出可能な電流を生成しないレジーム)で光検出器をバイアスし得る。次に、第1の時点712で光エミッタが発射した後、バイアス信号704は、検出器の逆バイアスを増加させ得る(例えば、中間時点714まで、第2の時点716まで、及び/又は第2の時点716を越えた時点まで)。例えば、例解されるように、バイアス信号704は、検出器の逆バイアスがデバイアスモードレジームから線形モード(すなわち、APDモード)レジームに移行するように、第1の時点712と中間時点714との間の時間ウィンドウの間にバイアスをランプさせ得る。同様に、例解されるように、バイアス信号704は、検出器の逆バイアスが線形モード(すなわち、APDモード)レジームからガイガーモードレジームに移行するように、中間時点714と第2の時点716との間の時間ウィンドウの間にバイアスをランプさせ得る。なお更に、例解されるように、バイアス信号704は、第3の時点718と、後続の第1の時点712との間の時間ウィンドウの間(すなわち、リセットフェーズの間)、バイアスを、ガイガーモードレジームから線形モード(すなわち、APDモード)レジームに、デバイアスモードレジームに逆方向にランプさせ得る(すなわち、高から低にランプさせる)。図7に例解されるレジームは、破線によって明確に線引きされているが、いくつかの実施形態では、これらのレジームは、いくらかの重複を有し得、あまり明確に画定されない場合があり、及び/又は他の要因(例えば、温度)に依存し得ることが理解される。したがって、図7に例解されるレジームは、例として提供され、限定と解釈されるべきではない。
【0142】
ランプ持続時間は、列挙された時点のうちの2つ以上の間に画定され得る。例えば、ランプ持続時間は、第1の時点712と中間時点714との間、中間時点714と第2の時点716との間、第1の時点712と第2の時点716との間などに画定され得る。更に、いくつかの実施形態では、ランプ持続時間のうちの1つ以上は、調整可能であり得る。例えば、コントローラ(例えば、LIDARデバイスの)は、バイアス回路にバイアス信号を順番に調整させるか、又はランプ持続時間のうちの1つ以上を調整させるように構成され得る。例えば、コントローラは、周囲環境内の標的に対する所望の最小検出可能距離に基づいて、バイアス回路にランプ持続時間(例えば、第1の時点712と第2の時点716との間のランプ持続時間)を調整させ得る(例えば、第1の時点712と第2の時点716との間のランプ持続時間は、5.0m程度に近い物体を検出することが所望される場合と比較して、0.5m程度に近い物体を検出することが所望される場合に調整され得る)。
【0143】
上記のバイアスランピング/逆ランピングは、様々な方式で行われ得る。例えば、バイアス信号704は、第1の時点712から中間時点714まで、及び/又は中間時点714から第2の時点716まで線形にランプされ得る。そのようなランピングを伴う例示的なバイアス信号が、図8Aに例解される(例えば、バイアス信号704は、第1の時点712から中間時点714まで、中間時点714から第2の時点716まで、したがって、第1の時点712から第2の時間716まで、線形にランプされる)。他の実施形態では、バイアス信号704は、第1の時点712から中間時点714まで、中間時点714から第2の時点716まで、及び第1の時点712から第3の時点718まで、指数的にランプされ得る(例えば、図8Bに例解されるように)。更に他の実施形態では、バイアス信号704は、第1の時点712から中間時点714まで、中間時点714から第2の時点716まで、及び第1の時点712から第3の時点718まで、対数的にランプされ得る(例えば、図8Cに例解されるように)。
【0144】
他のランピング技術もまた可能であり、本明細書で企図される。例えば、バイアス信号は、二次的にランプされ得る。更に他の実施形態では、バイアス信号は、区分的様式でランプされ得る(例えば、複数のランピング段階にわたって)。例えば、バイアス信号は、第1の時間セグメントの間(例えば、第1の時点712と第2の時点716との間の時間ウィンドウの最初の10%の間)に指数的にランプされ、第2の時間セグメントの間(例えば、第1の時点712と第2の時点716との間の時間ウィンドウの10%から、第1の時点712と第2の時点716との間の時間ウィンドウの90%まで)に線形にランプされ、第3の時間セグメントの間(例えば、第1の時点712と第2の時点716との間の時間ウィンドウの最後の10%の間)に指数的にランプされ得る。代替的に、バイアス信号は、第1の時間セグメントの間(例えば、第1の時点712と第2の時点716との間の時間ウィンドウの最初の50%の間)に第1の傾斜で線形にランプされ、次いで、第2の時間セグメントの間(例えば、第1の時点712と第2の時点716との間の時間ウィンドウの第2の50%の間)に第2の傾斜で線形にランプされ得る。他の区分的なバイアスランピングスキームもまた可能であり、本明細書で企図される。
【0145】
更に、いくつかの実施形態では、バイアス信号704は、中間時点714における逆バイアス電圧が、ガイガーモードレジームに対応する最小電圧よりもわずかに小さいように(例えば、ガイガーモードレジームに対応する最小電圧の約80%であり得、ガイガーモードレジームに対応する最小電圧の約85%であり得、ガイガーモードレジームに対応する最小電圧の約90%であり得、ガイガーモードレジームに対応する最小電圧の約95%であり得、ガイガーモードレジームに対応する最小電圧の約99%であり得、ガイガーモードレジームに対応する最小電圧の約99.9%であり得る、など)、第1の時点712から中間時点714までランプされ得る。これは、バイアス信号が、中間時点714のまさにすぐ後に、検出器を線形モードからガイガーモードに移行させることを可能にし得る(例えば、対応するLIDARデバイスの外部筐体からわずかに離れている検出距離に対応する)。そのような実施形態では、第2の時点716は、中間時点714に時間的に非常に近くあり得る。いくつかの実施形態では、中間時点714と第2の時点716との間の持続時間を最小化して、LIDARデバイスの外部筐体に比較的近い物体(例えば、図6Cに例解される破片604)の検出を可能にすることが望ましくあり得る。
【0146】
いくつかの実施形態では、バイアス信号704が適用される光検出器は、SiPMを含み得る。更に、そのような実施形態では、デバイアスモードレジームは、0V~約10Vの逆バイアス電圧に対応し得、線形モードレジーム(すなわち、APDモードレジーム)は、約10V~約50Vの逆バイアス電圧に対応し得、ガイガーモードレジームは、約50Vを上回る逆バイアス電圧に対応し得る。例えば、第2の時点716におけるバイアスレベルは、約30V~約70Vの値を有し得る(例えば、50Vなどの45V~55V)。これらの電圧値は、単に例として提供され、バイアスレジームに対する他の電圧もまた可能であり、本明細書で企図されることが理解される。
【0147】
図7に例解されるバイアス信号704は、単に例として提供され、他のバイアス信号もまた可能であり、本明細書で企図される。更に、いくつかの実施形態では、LIDARデバイスは、光検出器/光エミッタの複数の対を含み得る。光検出器/光エミッタの対のうちの2つ以上は、互いに異なるバイアス信号を有し得る。例えば、1つの光検出器/光エミッタ対は、他方の光検出器/光エミッタ対のバイアス信号とは異なる形状のバイアスランプを有するバイアス信号を有し得る。追加的又は代替的に、例えば、1つの光検出器/光エミッタ対は、他方の光検出器/光エミッタ対のバイアス信号とは異なるランプ持続時間のバイアスランプを有するバイアス信号を有し得る。なお更に、いくつかの実施形態では、1つの光検出器/光エミッタ対は、他の光検出器/光エミッタ対のバイアス信号とは異なる最大バイアス電圧にランプするバイアスランプを有するバイアス信号を含み得る。更には、いくつかの実施形態では、発射シーケンスの一部分(例えば、発射シーケンス全体)は、1つの光検出器/光エミッタ対に対して、別の光検出器/光エミッタ対と比較して遅延され得る。また更に、いくつかの実施形態では、検出シーケンスの一部分(例えば、検出シーケンス全体)は、1つの光検出器/光エミッタ対に対して、別の光検出器/光エミッタ対と比較して遅延され得る。更に他の実施形態では、バイアス信号によって到達される最大逆バイアス(例えば、ガイガーモードレジーム内で)は、1つの光検出器/光エミッタ対に対して、別の光検出器/光エミッタ対よりも高い場合がある。異なる光エミッタ/光検出器対に対するバイアス信号間のそのような差は、LIDARデバイスの内部構成要素内の異なる場所(例えば、1つの光検出器が、別の光検出器よりもLIDARデバイスの外部筐体に近くあり得る)、又は光検出器(例えば、異なる検出器タイプ)及び/若しくは光エミッタ(例えば、異なるエミッタタイプ)に使用される異なる構成要素に基づき得る。
【0148】
いくつかの実施形態では、電圧レジームの各々に対する逆バイアス電圧値は、少なくとも部分的に、光検出器の温度に依存し得る。したがって、バイアス信号は、温度(例えば、周囲温度及び/又は光検出器自体の温度)に基づいて調整され得る(例えば、バイアス回路にバイアス信号を調整させるように構成されたコントローラを使用して)。例えば、コントローラは、バイアス回路に、光検出器の温度の上昇に応答して、バイアス信号の少なくとも一部分に沿った傾斜を増加させるか、又は光検出器の温度の低下に応答して、バイアス信号の少なくとも一部分に沿った傾斜を減少させるように構成され得る。追加的又は代替的に、コントローラは、バイアス回路に、光検出器の温度の上昇に応答して、第2のバイアスレベルを増加させるか、又は光検出器の温度の低下に応答して、第2のバイアスレベルを減少させるように構成され得る。なお更に、コントローラは、光検出器の温度に基づいて、バイアス信号のランプ持続時間を調整するように構成され得る。いくつかの実施形態では、LIDARデバイスは、光検出器の温度又は光検出器付近の温度を測定するように構成された温度センサを含み得る。したがって、コントローラは、温度センサに通信可能に結合され、温度センサから受信されたデータに基づいて光検出器の温度を判定するように構成され得る。コントローラは、例えば、温度センサからのデータに基づいて、バイアス信号に調整を行い得る。
【0149】
いくつかの実施形態では、1つ以上の較正測定が行われ得る(例えば、各ランタイム測定が行われる前、2回毎、3回毎、4回毎、5回毎などのランタイム測定後などの規則的な間隔で、LIDARデバイス及び/若しくは光検出器の初期化/電源オン時、雨若しくは破片のような障害物がLIDARデバイスの外部筐体上に存在するときなど、LIDARデバイスのコントローラからの命令に基づいて、並びに/又はLIDARデバイスの製造/アセンブリ中)。本明細書で使用される場合、「ランタイム測定」は、周囲環境の1つ以上の態様を観察/感知しようと試みる際に行われる測定であり得る(例えば、1つ以上の制御判定を行うために。そのような「ランタイム測定」は、LIDARデバイスの適切な機能を確保するためにのみ「較正測定」が行われ得るという点で、「較正測定」とは異なり得る。更に、そのような較正測定値は、光検出器をバイアスするためにバイアス回路によって使用されるバイアス信号の1つ以上の態様を修正するために使用され得る(例えば、コントローラによって)。追加的又は代替的に、そのような較正測定は、LIDARデバイスの光検出器から受信された検出データを分析するために使用され得る(例えば、コントローラによって)。例えば、いくつかの実施形態では、コントローラは、光エミッタに、較正信号を放出させ(例えば、ランタイム中に私用される発射シーケンスに従って)、その後、光検出器(例えば、ランタイムに最終的に使用されることになるバイアス信号が適用されている状態で)は、較正信号を検出し得る(例えば、較正信号がLIDARデバイスの1つ以上の内部構成要素から反射された後)。図9Aは、例えば、例示的な検出された較正信号を表し得る。例解されるように、検出された較正信号は、中間時点(例えば、図7を参照して示され、説明される中間時点714)でピークになるパルス(例えば、光エミッタによって放出される較正パルスに対応する)を含み得る。
【0150】
較正信号を放出及び検出した後、LIDARデバイスは、物体検出信号を放出及び検出すること(例えば、ランタイム中に)に進み得る。物体検出信号は、周囲環境中の1つ以上の物体(例えば、LIDARデバイスの外部筐体の外側にある物体)を検出するために使用され得る。そのような物体検出信号は、周囲環境中の物体までの距離(例えば、点群内に含めること)、及び/又は周囲環境中の物体の表面の品質(例えば、周囲環境中の物体の反射率)を判定するために使用され得る。図9Bは、LIDARデバイスの光検出器によって検出された物体検出信号の例解図である。図9Bの物体検出信号を検出するために使用される光検出器は、例えば、図7に例解されるバイアス信号を使用してバイアスされ得る。追加的又は代替的に、図9Bの物体検出信号を検出するために使用される光検出器は、図9Aを参照して示され、説明されるように、較正信号を検出するために使用される光検出器をバイアスするために使用される同じバイアス信号を使用してバイアスされ得る。
【0151】
図9Bに例解されるように、検出された物体検出信号は、強度の2つのピークを有し得る(例えば、LIDARデバイスの外部筐体までの距離に対応するピーク、及び周囲環境中の物体に対応する別のピーク)。光検出器は、光検出器が本明細書に説明されるバイアス技術(例えば、光検出器が内部フィードバックの結果として飽和することを防止する)に従ってバイアスされるため、LIDARデバイスの外部筐体に対応するピーク及び周囲環境中の物体(例えば、LIDARデバイスの外部筐体の外面上にある物体、LIDARデバイスの外部筐体から約0.1mである物体、LIDARデバイスの外部筐体から約0.2mである物体、LIDARデバイスの外部筐体から約0.3mである物体など)に対応するピークの両方を検出することが可能であり得る。LIDARデバイスの外部筐体に対応するピークは、LIDARデバイスの外部筐体の場所を判定するために使用され得る(例えば、検出時間及び/又は物理的空間における、LIDARデバイスの外部筐体と周囲環境との間の境界面の場所を判定するために)。物体に対応するピークは、LIDARデバイスに対する物体の場所を判定するために使用され得る(例えば、検出時間及び/又は物理的空間における、LIDARデバイスの外部筐体と物体との間の距離を判定するために)。
【0152】
検出された物体に対応する検出された物体検出信号の一部分のみを分析するために、内部フィードバックに対応する検出された物体検出信号の一部分が、検出された物体検出信号から除去され得る。例えば、LIDARデバイスのコントローラは、光検出器から、検出された較正信号(例えば、図9Aに例解される検出された較正信号)を受信し、その後、光検出器から検出された物体検出信号(例えば、図9Bに例解される検出された物体検出信号)を受信し得る。次いで、コントローラは、差動信号を生成するために、検出された物体検出信号から、検出された較正信号を減算し得る(例えば、周囲環境中の物体に対応する検出された物体検出信号の一部分のみを表す)。例示的な差動信号(すなわち、修正された物体検出信号)が図9Cに例解される。例解されるように、差動信号は、周囲環境中の物体に対応する1つのピークを含み得る。
【0153】
較正信号は、検出された物体検出信号に対する内部反射の影響を除去するために使用可能であると上記に説明されているが、較正信号を放出及び検出すること(例えば、図9Aに例解されるように)は、追加的又は代替的な目的のために実施され得ることが理解される。例えば、較正信号は、光検出器の検出回路に対するバイアス信号の影響自体を判定するために使用され得る。バイアス信号は、光検出器によって検出された光が完全に存在しない場合でも、光検出器の出力で(例えば、図5Bに関して示され、説明されるADC534において)、何らかの測定可能な信号を提供し得る。したがって、較正測定は、バイアス信号の影響が、後で、ランタイム測定から除去され得るように、行われ得る。そのような較正測定は、最終的にランタイムで使用されることになる同じバイアス信号を用いて光検出器をバイアスすることを含み得る。更に、そのような較正測定のいくつかの実施形態では、較正光信号は、光エミッタによって放出され得るが(例えば、その後、光検出器によって検出され、それによって、単一の較正測定において、バイアス信号の影響自体を、LIDARデバイスからの検出された内部反射の影響と組み合わせる)、他の実施形態では、光信号が、光エミッタによって放出されないことになる(例えば、それによって、較正測定において、バイアス信号の影響のみを分離する)。較正測定の他の形態もまた可能であり、本明細書で企図される。
【0154】
図10は、例示的な実施形態による、方法1000のフローチャート図である。いくつかの実施形態では、方法1000は、LIDARデバイス(例えば、図4A及び4Bを参照して示され、説明されるLIDARデバイス410)によって実施され得る。
【0155】
ブロック1002では、方法1000は、光検出及び測距(LIDAR)デバイスの光エミッタによって、第1の時点で光信号を放出することを含み得る。
【0156】
ブロック1004では、方法1000はまた、LIDARデバイスの光検出器によって、光エミッタによって放出された光信号を検出することを含み得る。
【0157】
ブロック1006では、方法1000は、LIDARデバイスのバイアス回路によって、バイアス信号を使用して光検出器の検出器バイアスを修正することを含み得る。バイアス信号は、検出器バイアスを、第1の時点における第1のバイアスレベルから、第2の時点における第2のバイアスレベルまでランプさせ得る。第2の時点が、第1の時点の後に発生し得、ランプ持続時間だけ、第1の時点から分離され得る。第2のバイアスレベルは、第1のバイアスレベルよりも大きくあり得る。ランプ持続時間は、放出された光信号によって引き起こされたLIDARデバイス内の任意の内部フィードバックが、光検出器、又は光検出器と関連付けられた検出回路を飽和させることを防止するのに十分であり得る。
【0158】
方法1000のいくつかの実施形態では、ブロック1004は、LIDARデバイスの光検出器によって、放出された光信号によって引き起こされたLIDARデバイス内の内部フィードバックに対応する光信号の第1の部分を検出することを含み得る。更に、ブロック1004は、LIDARデバイスの光検出器によって、周囲環境内の1つ以上の物体からの光信号の反射に対応する、光信号の第2の部分を検出することを含み得る。
【0159】
本開示は、本出願に説明される特定の実施形態に関して限定されるものではなく、特定の実施形態は、様々な態様の例解として意図されるものである。当業者には明らかなことであるが、多くの修正及び変形を本開示の趣旨及び範囲から逸脱することなく行うことができる。本明細書において列挙される方法及び装置に加えて、本開示の範囲内の機能的に同等の方法及び装置は当業者には、これまでの説明から明らかであろう。このような修正及び変形は、添付の特許請求の範囲内にあることが意図されている。
【0160】
上記の詳細な説明は、添付の図面を参照して、開示されたシステム、デバイス、及び方法の様々な特徴及び機能を説明している。図では、文脈が別の方法で指示しない限り、同様の記号は、典型的には、同様の構成部品を同一に扱っている。本明細書及び図に説明される例示的な実施形態は、限定することを意図しているものではない。本明細書において提示される主題の範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を行うことができる。本明細書で概して説明され、かつ図に例解されている、本開示の態様は、多種多様な異なる構成で配置、置換、結合、分離、及び設計することができ、その全てが明示的に企図されることは容易に理解されよう。
【0161】
図における、また本明細書において考察されるメッセージフロー図、シナリオ、及びフローチャートのいずれか又は全てに関して、各ステップ、ブロック、動作、及び/又は通信は、実施形態例に従った情報の処理及び/又は情報の送信を表し得る。代替的な実施形態は、これらの例示的な実施形態の範囲内に含まれる。これらの代替的な実施形態では、例えば、ステップ、ブロック、送信、通信、要求、応答、及び/又はメッセージとして説明される動作は、関わる機能性に応じて、図示又は考察されるものとは異なる順序で、実質的に同時に、又は逆の順序で実行され得る。更に、それより多いか又は少ないブロック及び/又は動作を、本明細書で考察されるメッセージフロー図、シナリオ、及びフローチャートのいずれかで使用することができ、これらのメッセージフロー図、シナリオ、及びフローチャートは、部分的に又は全体として互いに組み合わせることができる。
【0162】
情報の処理に相当するステップ、ブロック、又は動作は、本明細書に説明される方法又は技法の特定の論理機能を果たすように構成され得る回路網に対応し得る。代替的に又は追加的に、情報の処理に相当するステップ又はブロックは、モジュール、セグメント、又はプログラムコード(関連データを含む)の一部分に対応し得る。プログラムコードには、特定の論理演算又は動作を方法又は技法において実施するためのプロセッサにより実行可能な1つ以上の命令を含めることができる。プログラムコード及び/又は関連データは、RAM、ディスクドライブ、ソリッドステートドライブ、又は別の記憶媒体を含む記憶デバイスなど、いずれのタイプのコンピュータ可読媒体にも記憶され得る。
【0163】
更に、1つ以上の情報送信に相当するステップ、ブロック、又は動作は、同じ物理デバイスにおけるソフトウェアモジュール及び/又はハードウェアモジュール間の情報送信に対応し得る。しかしながら、他の情報送信は、様々な物理デバイスにおけるソフトウェアモジュール及び/又はハードウェアモジュール間の情報送信であり得る。
【0164】
図に示される特定の配置は、限定としてみなされるべきではない。他の実施形態が、所与の図に示される各要素をそれより多く、又はそれより少なく含み得ることを理解されたい。更に、例解された要素のうちのいくつかは、組み合わされ得るか、又は省略され得る。更に、例示的な実施形態は、図に例解されていない要素を含み得る。
【0165】
様々な態様及び実施形態が本明細書に開示されているが、他の態様及び実施形態が、当業者には明らかであろう。本明細書に開示される様々な態様及び実施形態は、例解を目的とするものであり、限定することを意図するものではなく、真の範囲は、以下の特許請求の範囲によって示される。
図1
図2A
図2B
図2C
図2D
図2E
図2F
図2G
図2H
図2I
図2J
図2K
図3
図4A
図4B
図5A
図5B
図5C
図6A
図6B
図6C
図7
図8A
図8B
図8C
図9A
図9B
図9C
図10