IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ウェイモ エルエルシーの特許一覧

特許7369873光検出及び測距(LIDAR)デバイスにおける干渉軽減のための発光器の選択的非アクティブ化
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-18
(45)【発行日】2023-10-26
(54)【発明の名称】光検出及び測距(LIDAR)デバイスにおける干渉軽減のための発光器の選択的非アクティブ化
(51)【国際特許分類】
   G01S 7/495 20060101AFI20231019BHJP
   G01S 17/931 20200101ALI20231019BHJP
   G01S 7/4863 20200101ALI20231019BHJP
【FI】
G01S7/495
G01S17/931
G01S7/4863
【請求項の数】 19
(21)【出願番号】P 2022559307
(86)(22)【出願日】2021-06-03
(65)【公表番号】
(43)【公表日】2023-05-23
(86)【国際出願番号】 US2021035666
(87)【国際公開番号】W WO2022005689
(87)【国際公開日】2022-01-06
【審査請求日】2022-11-25
(31)【優先権主張番号】16/916,031
(32)【優先日】2020-06-29
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】317015065
【氏名又は名称】ウェイモ エルエルシー
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100126480
【弁理士】
【氏名又は名称】佐藤 睦
(72)【発明者】
【氏名】シャンド,マーク アレクサンダー
【審査官】佐藤 宙子
(56)【参考文献】
【文献】特開2017-125682(JP,A)
【文献】特開平06-242240(JP,A)
【文献】特表2019-504326(JP,A)
【文献】特表2019-516101(JP,A)
【文献】特表2022-550200(JP,A)
【文献】中国特許出願公開第110927734(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/48- 7/51
G01S 17/00-17/95
G01C 3/00- 3/32
(57)【特許請求の範囲】
【請求項1】
方法であって、
発射シーケンスの第1の発射サイクル中に光検出及び測距(LIDAR)デバイス内の第1の複数の発光器から光信号を放射することと、
前記第1の発射サイクル中に、前記第1の複数の発光器に関連付けられた前記LIDARデバイスの各光検出器によって、周囲の環境から反射された光信号を待つことと、
前記第1の複数の発光器の中から1つ以上の無関心領域に基づいて選択された1つ以上の発光器を前記発射シーケンスの第2の発射サイクル中に非アクティブ化することと、
前記第2の発射サイクル中に前記LIDARデバイス内の第2の複数の発光器から光信号を放射することと、
前記第2の発射サイクル中に、前記第1の複数の発光器に関連付けられた前記LIDARデバイスの各光検出器によって、前記周囲の環境からの光信号を待つことと、
干渉が前記LIDARデバイスによって行われる測定に影響を及ぼしているかどうかを識別すること、を含み、前記第2の複数の発光器が、前記第1の複数の発光器のうち前記第2の発射サイクル中に非アクティブ化されなかった発光器を含み、干渉が前記LIDARデバイスによって行われる測定に影響を及ぼしているかどうかを識別することが、前記非アクティブ化された1つ以上の発光器に関連付けられた前記LIDARデバイスの各光検出器について、光信号が前記第2の発射サイクル中に検出されたかどうかを判定することを含む、方法。
【請求項2】
前記第2の発射サイクル中に非アクティブ化する、前記LIDARデバイス内の前記1つ以上の発光器を疑似ランダムに選択することを更に含む、請求項1に記載の方法。
【請求項3】
前記第2の発射サイクル中に非アクティブ化する、前記LIDARデバイス内の前記1つ以上の発光器を疑似ランダムに選択することが、線形シフトレジスタ、フィードバックシフトレジスタ、又は暗号回路を使用して疑似ランダムシーケンスを生成することを含む、請求項2に記載の方法。
【請求項4】
前記線形シフトレジスタ、前記フィードバックシフトレジスタ、又は前記暗号回路が、シードを使用して前記疑似ランダムシーケンスを生成し、前記シードが、前記LIDARデバイスに関連付けられた車両を制御するために使用されるコンピューティングシステムによって提供される、請求項3に記載の方法。
【請求項5】
前記無関心領域のうちの少なくとも1つが、前記LIDARデバイスに関連付けられた車両の近くの地形に基づいて識別される、請求項に記載の方法。
【請求項6】
前記無関心領域のうちの少なくとも1つが、前記LIDARデバイスに関連付けられた車両の進行方向に基づいて識別される、請求項に記載の方法。
【請求項7】
前記無関心領域のうちの少なくとも1つが、前記LIDARデバイスを使用して以前に生成された点群に基づいて識別される、請求項に記載の方法。
【請求項8】
前記第2の発射サイクル中に非アクティブ化される前記発光器が、前記LIDARデバイス内の発光器のアレイにわたって連続して位置決めされる、請求項1に記載の方法。
【請求項9】
前記第2の発射サイクル中に非アクティブ化される前記発光器が、前記LIDARデバイス内の発光器の総数の約10%に相当する、請求項1に記載の方法。
【請求項10】
前記第2の発射サイクル中に非アクティブ化される前記発光器が、前記LIDARデバイス内の発光器の総数の約50%に相当する、請求項1に記載の方法。
【請求項11】
前記LIDARデバイスによって行われる測定に影響を及ぼすものとして干渉が識別されたとき、前記LIDARデバイス又は関連車両を劣化状態モードにすることを更に含む、請求項1に記載の方法。
【請求項12】
前記LIDARデバイスが、LIDARデバイスのフリート内の複数のLIDARデバイスのうちの1つであり、前記LIDARデバイスによって行われる測定に干渉が影響を及ぼしているかどうかを識別することが、LIDARデバイスの前記フリート内の別のLIDARデバイスが前記LIDARデバイスによって行われる測定に影響を及ぼしているかどうかを判定することを更に含む、請求項1に記載の方法。
【請求項13】
干渉が前記LIDARデバイスによって行われる測定に影響を及ぼしているかどうかを識別することが、悪意のある光源が前記LIDARデバイスによって行われる測定に影響を及ぼしているかどうかを判定することを含む、請求項1に記載の方法。
【請求項14】
干渉検出プロセスが実行されるべきであることを識別することを更に含む、請求項1に記載の方法。
【請求項15】
前記LIDARデバイスが、LIDARデバイスのフリート内の複数のLIDARデバイスのうちの1つであり、前記干渉検出プロセスが実行されるべきであることを識別することが、前記LIDARデバイスがLIDARデバイスの前記フリート内の別のLIDARデバイスの閾値距離内にあることを判定することを含む、請求項14に記載の方法。
【請求項16】
前記干渉検出プロセスが実行されるべきであることを識別することが、前記干渉検出プロセスを実行するための命令を受信することを含む、請求項14に記載の方法。
【請求項17】
前記LIDARデバイスの前記発光器が、約905nm、約940nm、又は約1550nmの波長を有する光信号を送信する、請求項1に記載の方法。
【請求項18】
光検出及び測距(LIDAR)デバイスであって、
発光器のアレイと、
光検出器のアレイであって、前記光検出器の各々が、発光器の前記アレイにおける1つ以上の発光器に関連付けられている、光検出器のアレイと、
コントローラと、を備え、前記コントローラが、
発射シーケンスの第1の発射サイクル中に、発光器の前記アレイ内の第1の複数の発光器に光信号を放射させ、
前記第1の発射サイクル中に、前記第1の複数の発光器に関連付けられた光検出器の前記アレイ内の各光検出器に周囲の環境から反射される光信号を待たせ、
前記第1の複数の発光器の中から1つ以上の無関心領域に基づいて選択された1つ以上の発光器を前記発射シーケンスの第2の発射サイクル中に非アクティブ化させ、
前記第2の発射サイクル中に、発光器の前記アレイ内の第2の複数の発光器に光信号を放射させ、
前記第2の発射サイクル中に、前記第1の複数の発光器に関連付けられた光検出器の前記アレイ内の各光検出器に前記周囲の環境からの光信号を待たせ、
干渉が前記LIDARデバイスによって行われる測定に影響を及ぼしているかどうかを識別するように構成されており、前記第2の複数の発光器が、前記第1の複数の発光器のうち前記第2の発射サイクル中に非アクティブ化されなかった発光器を含み、干渉が前記LIDARデバイスによって行われる測定に影響を及ぼしているかどうかを識別することが、前記非アクティブ化された1つ以上の発光器に関連付けられた前記LIDARデバイスの各光検出器について、光信号が前記第2の発射サイクル中に検出されたかどうかを判定することを含む、光検出及び測距(LIDAR)デバイス。
【請求項19】
命令が格納されている非一時的なコンピュータ可読媒体であって、前記命令が、プロセッサによって実行されると、方法を実施し、前記方法が、
発射シーケンスの第1の発射サイクル中に、光検出及び測距(LIDAR)デバイスの発光器のアレイ内の第1の複数の発光器に光信号を放射させることと、
前記第1の発射サイクル中に、前記第1の複数の発光器に関連付けられた前記LIDARデバイスの光検出器のアレイ内の各光検出器に周囲の環境から反射される光信号を待たせることと、
前記第1の複数の発光器の中から1つ以上の無関心領域に基づいて選択された1つ以上の発光器を前記発射シーケンスの第2の発射サイクル中に非アクティブ化させることと、
前記第2の発射サイクル中に、発光器の前記アレイ内の第2の複数の発光器に光信号を放射させることと、
前記第2の発射サイクル中に、前記第1の複数の発光器に関連付けられた光検出器の前記アレイ内の各光検出器に前記周囲の環境からの光信号を待たせることと、
干渉が前記LIDARデバイスによって行われる測定に影響を及ぼしているかどうかを識別することと、を含み、前記第2の複数の発光器が、前記第1の複数の発光器のうち前記第2の発射サイクル中に非アクティブ化されなかった発光器を含み、干渉が前記LIDARデバイスによって行われる測定に影響を及ぼしているかどうかを識別することが、前記非アクティブ化された1つ以上の発光器に関連付けられた前記LIDARデバイスの各光検出器について、光信号が前記第2の発射サイクル中に検出されたかどうかを判定することを含む、非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2020年6月29日に出願された米国特許出願第16/916,031号の優先権を主張し、その内容は参照によりその全体が本明細書に組み込まれる。
【背景技術】
【0002】
本明細書に別段の指示がない限り、本項に記載の題材は、本出願の特許請求の範囲に対する先行技術ではなく、本項に含めることよって先行技術であると認められるものではない。
【0003】
自律車両又は自律モードで動作する車両は、様々なセンサを使用して周囲を検出し得る。例えば、光検出及び測距(LIDAR)デバイス、無線検出及び測距(RADAR)デバイス、及び/又はカメラを使用して、自律車両の周囲の環境で物体を識別することができる。このようなセンサは、例えば、物体の検出及び回避、及び/又はナビゲーションに使用し得る。
【0004】
LIDARデバイスは、シーンを走査しながら環境特徴までの距離を判定することで、環境内の反射面を示す「点群」に組み合わせられることができる、データを収集することができる。点群の個々の点は、例えば、レーザパルスを送信し、環境における物体から反射された戻りパルスがあればそれを検出し、その後、パルスの送信とその反射パルスの受信との間の時間遅延に従って物体までの距離を測定することによって判定することができる。その結果、例えば、環境における反射性特徴の位置を示す点の三次元マップを生成することができる。
【発明の概要】
【0005】
本開示は、LIDAR測定による外部干渉(例えば、悪意のある個人からの悪意のある干渉又は別のLIDARデバイスからの不注意による干渉)を検出するための技術に関する。本明細書で説明する技術は、発光器が光信号を発している期間中に、1つ以上の発光器を非アクティブ化することを含む。その後、対応する検出期間内に対応する光検出器によって光信号が検出された場合、LIDARデバイスによって行われる測定に影響を及ぼすものとして干渉が識別される。干渉がLIDARデバイスによって行われる測定に影響を及ぼすものとして識別された場合、その後、適切な措置を講じることができる(例えば、LIDARデバイスを劣化状態モードにする、LIDARデバイスを廃止する、干渉が測定に影響を及ぼすと判定された光検出器に対応する点群から点を削除するなど)。
【0006】
一態様では、方法が提供される。この方法は、光検出及び測距(LIDAR)デバイス内の1つ以上の発光器を発射サイクル中に非アクティブ化することを含む。この方法はまた、干渉がLIDARデバイスによって行われる測定に影響を及ぼしているかどうかを識別することを含む。干渉がLIDARデバイスによって行われる測定に影響を及ぼしているかどうかを識別することは、発射サイクル中に非アクティブ化された1つ以上の発光器に関連付けられていたLIDARデバイスの各光検出器について、光信号が発射サイクル中に検出されたかどうかを判定することを含む。
【0007】
別の態様では、光検出及び測距(LIDAR)デバイスが提供される。LIDARデバイスは、発光器のアレイを備える。LIDARデバイスはまた、光検出器のアレイを備える。光検出器の各々は、発光器のアレイ内の1つ以上の発光器に関連付けられている。加えて、LIDARデバイスはコントローラを備える。コントローラは、発光器のアレイにおける1つ以上の発光器を発射サイクル中に非アクティブ化させるように構成されている。コントローラは、干渉がLIDARデバイスによって行われる測定に影響を及ぼしているかどうかを識別するようにも構成されている。干渉がLIDARデバイスによって行われる測定に影響を及ぼしているかどうかを識別することは、発射サイクル中に非アクティブ化された1つ以上の発光器に関連付けられたLIDARデバイスの各光検出器について、光信号が発射サイクル中に検出されたかどうかを判定することを含む。
【0008】
追加の態様では、命令が格納されている非一時的なコンピュータ可読媒体が提供される。命令は、プロセッサによって実行されると、方法を実施する。この方法は、光検出及び測距(LIDAR)デバイスの1つ以上の発光器を発射サイクル中に非アクティブ化させることを含む。この方法はまた、干渉がLIDARデバイスによって行われる測定に影響を及ぼしているかどうかを識別することを含む。干渉がLIDARデバイスによって行われる測定に影響を及ぼしているかどうかを識別することは、発射サイクル中に非アクティブ化された1つ以上の発光器に関連付けられたLIDARデバイスの各光検出器について、光信号が発射サイクル中に検出されたかどうかを判定することを含む。
【0009】
これらの並びに他の態様、利点、及び代替物は、当業者には、以下の詳細な説明を添付の図面を適宜参照して読み取ることにより明らかになるであろう。
【図面の簡単な説明】
【0010】
図1】例示的な実施形態による、車両を図解する機能ブロック図である。
図2A】例示的な実施形態による、車両の物理的構成の図示である。
図2B】例示的な実施形態による、車両の物理的構成の図示である。
図2C】例示的な実施形態による、車両の物理的構成の図示である。
図2D】例示的な実施形態による、車両の物理的構成の図示である。
図2E】例示的な実施形態による、車両の物理的構成の図示である。
図3】例示的な実施形態による、自律車両に関連する様々なコンピューティングシステム間の無線通信の概念図である。
図4】例示的な実施形態による、LIDARデバイスの動作の例を図示する。
図5】例示的な実施形態による、LIDARデバイスの正面図である。
図6A】例示的な実施形態による、LIDARデバイスの側面図である。
図6B】例示的な実施形態による、LIDARデバイスの側面図である。
図6C】例示的な実施形態による、LIDARデバイスの図である。
図6D】例示的な実施形態による、LIDARデバイスの測定に影響を及ぼす不注意な干渉の図である。
図6E】例示的な実施形態による、LIDARデバイスの測定に影響を及ぼす悪意のある干渉の図である。
図7A】例示的な実施形態による、LIDARデバイスの正面図である。
図7B】例示的な実施形態による、LIDARデバイスの正面図である。
図8A】例示的な実施形態による、LIDARデバイス付近の無関心領域の図である。
図8B】無関心領域に基づいた、LIDARデバイス内の1つ以上の発光器の選択的非アクティブ化を示すグラフである。
図9A】例示的な実施形態による、LIDARデバイス付近の無関心領域の図である。
図9B】無関心領域に基づいた、LIDARデバイス内の1つ以上の発光器の選択的非アクティブ化を示すグラフである。
図10】例示的な実施形態による、方法のフローチャートである。
【発明を実施するための形態】
【0011】
例示的な方法及びシステムが本明細書で企図されている。本明細書において記載された任意の例示的な実施形態又は特徴は、必ずしも他の実施形態又は特徴よりも好ましい又は有利であると解釈されるものではない。本明細書において記載された例示的な実施形態は、限定的であることを意味するものではない。開示されるシステム及び方法の特定の態様は、多種多様な異なる構成で配置し、組み合わせることができ、これらの構成の全てが、本明細書において企図されることは容易に理解されよう。
【0012】
更に、図面に示される特定の配置は、限定するものとみなされるべきではない。他の実施形態は、所与の図に示される各要素をより多く、又はより少なく含むことができることを理解されたい。更に、例解される要素のうちのいくつかは、組み合わせることができるか、又は省略することができる。なお更に、例示的な実施形態は、例解されていない要素を含み得る。
【0013】
I.概要
例示的な実施形態では、LIDARデバイスは、1つ以上の発光器(例えば、レーザダイオード)及び1つ以上の光検出器(例えば、シリコン光電子増倍管(SiPM)、SPAD、APDなど)を含み得る。例えば、LIDARデバイスの例は、発光器のアレイ及び対応する光検出器のアレイを含み得る。そのようなアレイは、シーン内の物体を照らし、シーン内の物体からの反射光を受信して、LIDARデバイスに対して特定の角度視野の点群を生成するために使用できるデータを収集し得る。更に、増強された視野(例えば、完全な360°視野)で点群を生成するために、発光器のアレイ及び対応する光検出器のアレイは、所定の時間及び/又は増強された視野内の所定の位置で光を送受信することができる。例えば、LIDARデバイスは、光が360°の視野の周りの複数の方向で同時に送受信されるように、垂直軸の周りに配置し得る発光器のアレイ及び対応する光検出器のアレイを備え得る。別の例として、LIDARデバイスは、複数のデータセットを送信/受信するために、中心軸の周りを走査する、例えば、回転させる、又は他の機構を使用してビーム走査し得る。データを使用して点群が形成され得、点群を合成して増強された視野が生成され得る。いくつかの実施形態では、発光器/対応する光検出器のアレイは、均一な密度を有していない場合がある。例えば、アレイの特定の部分は、アレイの他の部分と比較して、発光器/光検出器の密度が高くなる場合がある。これにより、視野の点群の特定の部分で解像度を高めることができる。例えば、点群の中央領域は、他の領域と比較して中央領域でより高密度のビームを可能にする構成で発光器/光検出器のアレイを配置することによって、点群の周辺領域よりも高い密度を有することができる。)例えば、1つの構成は、周辺部と比較したとき、アレイの中央部分においてより高い密度の発光器/光検出器を有し得る。米国特許第10,365,351号も参照されたい。
【0014】
ただし、LIDARデバイスは干渉に影響されやすい可能性がある。例えば、LIDARデバイスの発光器以外の光源から発生する光信号が、光検出器によって不注意に検出され、周囲のシーンにおける物体として識別される可能性がある(例えば、LIDARデバイスからの検出データを使用して生成された点群に偽陽性が含まれる可能性がある)。特にひどい状況では、このような干渉は、LIDARデバイスを使用する自律車両の制御の決定に影響を及ぼす可能性がある。例えば、実際には存在しないのに、点群データがLIDARデバイスの前に物体があることを示している場合、自律車両は停止したままになることを選択する可能性がある。ただし、このシナリオでは、実際にはLIDARデバイスの前に物体がないため、自律車両は停止したままにする必要はなく、代わりに所定のルートを続行し得る。干渉によって影響を及ぼされる可能性のある制御決定の他の例も考えられる(例えば、はっきりしない速度、不必要な回避操作など)。
【0015】
本明細書では、LIDARデバイスとの干渉の存在を検出するための技術について説明する。1つのそのような技術は、非アクティブ化された発光器に対応する光検出器を有効のままにしつつ、1つ以上の発射サイクルの間、1つ以上の発光器を選択的に非アクティブ化することを含み得る(対応する光検出器を有効にしたまま、発光器の例えば、1%、5%、10%、15%、20%、25%、30%、35%、40%、45%、50%、55%、60%、65%などを選択的に非アクティブ化する)。発光器によって信号が送信されなくても、対応する光検出器が依然として信号を検出する場合、一実施形態では、システムは、その特定の発光器/光検出器の組み合わせとの干渉が発生していると結論付け得る。
【0016】
このような干渉は、様々なソースから発生する可能性がある。例えば、LIDARデバイスの近くにある他のLIDARデバイスは、LIDARデバイスの発光器と同様の波長範囲内の光信号を放射し得る(例えば、約905nm、約940nm、約1310nm、約1350nm、約1450nm、約1470nm、又は約1550nm)。このような他のLIDARデバイスは、現在のLIDARデバイスと同じ車両のフリート内の車両に取り付けることができる。代替的に、そのような他のLIDARデバイスは、現在のLIDARデバイスとは異なる車両のフリート内の車両に取り付けることができる。他の場合には、そのような他のLIDARデバイスは、現在のLIDARデバイスが通過する建物又は信号機などの他の構造物に取り付けられてもよい。他の場合には、悪意のある干渉が存在する可能性がある(例えば、悪意のある誰かが、LIDARデバイスの発光器の波長で光を発する光源を使用して、LIDARデバイス又は関連する車両の動作に悪影響を与えようとして試みている可能性がある)。
【0017】
干渉検出のために選択的に非アクティブ化される発光器は、無関心領域に基づいて非アクティブ化のために選択され得る。いくつかの実施形態では、干渉検出のために使用される生成された点群のそれらのチャネル又は領域は、実際の検出が生じた場合に受信する結果が、LIDARデバイスにおける他のチャネル又は生成された点群の他の領域によって受信される可能性のある結果よりも有用性が低い可能性がある(つまり、これらのチャネルは「無関心領域」に対応する)。例えば、いくつかの発光器が、より少ない情報を集めることができる、又はより少ない情報を使用することができる周囲環境の部分で光信号を発射している場合、それらの発光器は、干渉検出の目的で、少なくとも一時的に非アクティブ化され得る。干渉検出の目的で無関心領域を選択することは、LIDARデバイスを装備した自律車両に対する特定の方向が、自律車両に対する他の方向よりも関心が低い可能性があり(例えば、車両の後方の領域は、車両の前方の領域よりも関心が低く、車両の側面の領域は、車両の前方の領域よりも関心が低く、あるいは車両の上方の領域は、車両の下方の領域よりも関心が低い可能性がある)、二次元又は三次元のマップデータによる周囲環境における特定の場所(例えば、横断歩道や信号機の近くの領域は、他の領域よりもより関心が高い可能性がある)、他のセンサからの情報(例えば、対応するRADARデバイス又はカメラがシーン内の物体を検出できる場合、LIDARデバイスに対するシーン内の物体の位置に対応する領域は、シーンにおける他の領域よりも関心が低く、又は同様に、対応するRADARデバイス又はカメラの視野がシーンの他の領域よりも関心がより高い可能性がある)、季節、日付、及び/又は時刻(例えば、スプリングタイム、休日、又は正午)に関連するデータ、場所及び/又はイベントに関連するデータ(例えば長い直線路を有する高速道路区間及び/又はコンサート又はスポーティングイベントの終了)、他の車両のフリートからのデータ、リモートサーバからのデータ、履歴データ(例えば、特定の場所で履歴的に一般的な人々/動物の交差があった時刻又は年)、LIDARデバイスに関連付けられた車両に対応する制御データ(例えば、車両が左折している場合、車両の左側のシーンの領域は、車両の右側の領域よりも関心が高い可能性がある)、地形(例えば、LIDARデバイスが上り坂又は下り坂を移動しているときに、高い高度又は低い高度の角度に向いている領域は、無関心領域に対応する可能性がある)、天候(例えば、雪の場合、無関心領域は、LIDARデバイスに関連付けられた車両のすぐ後ろの領域である可能性がある)など、という基準の1つ以上に基づき得る。他の情報も、同様に、干渉検出で使用するための無関心領域を識別するのに使用することができる。
【0018】
干渉検出のための選択的非アクティブ化のために無関心領域を識別することに追加して、又はその代わりに、チャネルをランダム又は疑似ランダムに非アクティブ化してもよい。例えば、LIDARデバイスの発光器のアレイ内の発光器のリストは、コンピューティングデバイス(例えば、LIDARデバイスのコントローラ又は関連付けられた車両の制御システム)による非アクティブ化のために疑似ランダムに選択され得る。コンピューティングデバイスは、疑似ランダムに生成されたリストを、LIDARデバイスにおける光検出器の検出に基づいて生成された点群と組み合わせて使用することにより、干渉を判定する際に後で使用するために、疑似ランダムに生成されたリストを格納し得る。疑似ランダムに生成されたリストは、発光器のアレイ内の発光器の連続したセットを含むことができ、又は、代替的に、発光器のパッチワークパターンを含み得る。パッチワークパターンは、干渉を識別する際のあいまいさの解消を強化し得る。他の実施形態では、コンピューティングデバイスが非アクティブ化された発光器のリストを疑似ランダムに生成するのではなく、回路によってリストを生成することができる(例えば、線形シフトレジスタ、フィードバックシフトレジスタ、一方向ハッシュ関数、及び/又は暗号回路を使用して)。場合によっては、コンピューティングデバイス(例えば、自律車両又はLIDARデバイスを制御するために使用されるコントローラ)は、回路の疑似乱数発生器をシードし得る。このシードは、発光器を非アクティブ化するために使用される正確な疑似乱数シーケンスを再構築するために後で使用され得る(例えば、干渉検出に使用されたチャネルを履歴データ内でより容易に識別するため)。
【0019】
干渉が検出された場合、結果として特定の制御アクションが実行され得る。例えば、LIDARデバイス及び/又は関連する自律車両は、劣化状態モードに置かれる可能性がある。劣化状態モードでは、自律車両に停車、減速、駐車、基地に戻らせることが可能性である。追加的又は代替的に、干渉が検出された場合、LIDARデバイスを使用して捕捉されたデータは、データが干渉の影響を受けている可能性があり、不正確な可能性があることを示すメタデータの1つ以上の断片でフラグが立てられ得る。より抜本的には、いくつかの実施形態では、干渉によって影響を受けていると判定された点群内の点は、点群が制御決定を行うために使用される前に、点群から単純に削除されてもよい(例えば、対応する自律車両について)。
【0020】
II.例示的なシステム
以下の説明及び添付図面は、様々な例示的な実施形態の特徴を明らかにする。提供される実施形態は例としてのものであり、限定することを意図するものではない。したがって、図面の寸法は必ずしも縮尺通りではない。
【0021】
ここで、本開示の範囲内の例示的なシステムをより詳細に説明する。例示的なシステムは、自動車に実装され得るか、又は自動車の形態を取り得る。追加的に、例示的なシステム例はまた、車、トラック、オートバイ、バス、ボート、飛行機、ヘリコプタ、芝刈り機、ブルドーザ、ボート、スノーモービル、航空機、レクリエーション車両、遊園地車両、農機具、建設機械、トラム、ゴルフカート、電車、トロリー、ロボットデバイスなどの、様々な車両において実装され得るか、又は様々な車両の形態を取り得る。他の車両も同様に可能である。更に、いくつかの実施形態では、例示的なシステムは、車両を含まない場合がある。
【0022】
ここで図を参照すると、図1は、自律モードで完全に又は部分的に動作するように構成され得る、例示的な車両100を示す機能ブロック図である。より具体的には、車両100は、コンピューティングシステムから制御命令を受信することを通して、人間の相互作用なしに自律モードで動作し得る。自律モードでの動作の一部として、車両100は、センサを使用して、周囲環境の物体を検出し、可能であれば識別して、安全なナビゲーションを可能にし得る。いくつかの実施形態では、車両100は、運転者が車両100の動作を制御することを可能にするサブシステムも含み得る。
【0023】
図1に示されるように、車両100は、推進システム102、センサシステム104、制御システム106、1つ以上の周辺機器108、電源110、コンピュータシステム112(コンピューティングシステムとも称され得る)、データストレージ114、及びユーザインターフェース116などの様々なサブシステムを含み得る。他の例では、車両100は、各々が多数の要素を含み得る、サブシステムをより多く又はより少なく含み得る。車両100のサブシステム及び構成要素は、様々な方法で相互接続され得る。加えて、本明細書で説明する車両100の機能は、追加の機能的又は物理的構成要素に分割するか、又は実施形態内でより少ない機能的若しくは物理的構成要素に組み合わせることができる。例えば、制御システム106及びコンピュータシステム112は、様々な動作に従って車両100を操作する単一のシステムに組み合わされ得る。
【0024】
推進システム102は、車両100に動力付き運動を提供するように動作可能な1つ以上の構成要素を含み得、他の可能な構成要素の中でも特に、エンジン/モータ118、エネルギー源119、トランスミッション120、及び車輪/タイヤ121を含み得る。例えば、エンジン/モータ118は、エネルギー源119を機械的エネルギーに変換するように構成され得、他の可能な選択肢の中でも特に、内燃エンジン、電気モータ、蒸気エンジン、又はスターリングエンジンのうちの1つ又はそれらの組み合わせに対応し得る。例えば、いくつかの実施形態では、推進システム102は、ガソリンエンジン及び電気モータなどの多数の種類のエンジン及び/又はモータを含み得る。
【0025】
エネルギー源119は、完全に又は部分的に、車両100の1つ以上のシステム(例えば、エンジン/モータ118)に動力を供給し得るエネルギー源を表す。例えば、エネルギー源119は、ガソリン、ディーゼル、他の石油系燃料、プロパン、他の圧縮ガス系燃料、エタノール、ソーラパネル、電池、及び/又は他の電力源に対応することができる。いくつかの実施形態では、エネルギー源119は、燃料タンク、電池、コンデンサ、及び/又はフライホイールの組み合わせを含み得る。
【0026】
トランスミッション120は、エンジン/モータ118からの機械動力を、車輪/タイヤ121及び/又は車両100の他の可能なシステムに伝達し得る。したがって、トランスミッション120は、他の可能な構成要素の中でも特に、ギアボックス、クラッチ、ディファレンシャル、及び駆動シャフトを含み得る。駆動シャフトは、1つ以上の車輪/タイヤ121に接続する車軸を含み得る。
【0027】
車両100の車輪/タイヤ121は、例示的な実施形態内で様々な構成を有し得る。例えば、車両100は、他の可能な構成の中でも特に、一輪車、自転車/オートバイ、三輪車、又は乗用車/トラック四輪車の形式で存在し得る。したがって、車輪/タイヤ121は、様々な方法で車両100に接続することができ、金属及びゴムなどの異なる材料で存在することができる。
【0028】
センサシステム104は、他の可能なセンサの中でも特に、GPS122、慣性計測ユニット(IMU)124、RADAR126、レーザ距離計/LIDAR128、カメラ130、ステアリングセンサ123、及びスロットル/ブレーキセンサ125などの様々なタイプのセンサを含むことができる。いくつかの実施形態では、センサシステム104は、車両100の内部システムをモニタするように構成されたセンサ(例えば、Oモニタ、燃料計、エンジンオイル温度、ブレーキ摩耗)も含み得る。
【0029】
GPS122は、地球に対する車両100の位置に関する情報を提供するように動作可能なトランシーバを含み得る。IMU124は、1つ以上の加速度計及び/又はジャイロスコープを使用する構成を有し得、慣性加速度に基づいて車両100の位置及び配向の変化を感知し得る。例えば、IMU124は、車両100が静止しているか又は動いている間に車両100のピッチ及び偏揺れを検出することができる。
【0030】
RADAR126は、物体の速さ及び進行方向を含めて、無線信号を使用して、車両100のローカル環境内の物体を感知するように構成された1つ以上のシステムに相当し得る。したがって、RADAR126は、無線信号を送受信するように構成されたアンテナを含み得る。いくつかの実施形態では、RADAR126は、車両100の周囲環境の測定値を得るように構成された取り付け可能なRADARシステムに対応し得る。
【0031】
レーザ距離計/LIDAR128は、他のシステム構成要素の中でも特に、1つ以上のレーザ源、レーザスキャナ、及び1つ以上の検出器を含み得、コヒーレントモード(例えば、ヘテロダイン検出を使用)又はインコヒーレント検出モードで動作し得る。一部の実施形態では、レーザ距離計/LIDAR128の1つ以上の検出器は1つ以上の光検出器を含み得る。このような光検出器は、特に高感度検出器であり得る。一部の例では、そのような光検出器は単一光子を検出可能であってもよい(例えば、SPAD)。更に、そのような光検出器はアレイに(例えば、直列の電気接続を介して)配置することができる。一部の例では、1つ以上の光検出器はガイガーモードで動作するデバイスであり、LIDARはそのようなガイガーモード動作のために設計されたサブ構成要素を含む。
【0032】
カメラ130は、車両100の環境の画像を捕捉するように構成された1つ以上のデバイス(例えば、スチルカメラ又はビデオカメラ)を含み得る。
【0033】
ステアリングセンサ123は、車両100のステアリング角度を感知し得、これは、ステアリングホイールの角度を測定すること、又はステアリングホイールの角度を表す電気信号を測定することを含み得る。いくつかの実施形態では、ステアリングセンサ123は、車両100の前方軸に対する車輪の角度を検出するなど、車両100の車輪の角度を測定し得る。ステアリングセンサ123はまた、ステアリングホイールの角度、ステアリングホイールの角度を表す電気信号、及び車両100の車輪の角度の組み合わせ(又はサブセット)を測定するように構成され得る。
【0034】
スロットル/ブレーキセンサ125は、車両100のスロットル位置又はブレーキ位置のいずれかの位置を検出し得る。例えば、スロットル/ブレーキセンサ125は、アクセルペダル(スロットル)及びブレーキペダルの両方の角度を測定し得、又は、例えば、アクセルペダル(スロットル)の角度及び/若しくはブレーキペダルの角度を表すことができる電気信号を測定し得る。スロットル/ブレーキセンサ125はまた、エンジン/モータ118(例えば、バタフライバルブ又はキャブレタ)にエネルギー源119の変調を提供する物理的機構の一部を含み得る、車両100のスロットルボディの角度を測定し得る。加えて、スロットル/ブレーキセンサ125は、車両100のロータにかかる1つ以上のブレーキパッドの圧力、又はアクセルペダル(スロットル)及びブレーキペダルの角度、アクセルペダル(スロットル)及びブレーキペダルの角度を表す電気信号、スロットルボディの角度、並びに少なくとも1つのブレーキパッドが車両100のロータに加える圧力の組み合わせ(又はサブセット)、を測定し得る。他の実施形態では、スロットル/ブレーキセンサ125は、スロットル又はブレーキペダルなどの車両のペダルに加えられた圧力を測定するように構成され得る。
【0035】
制御システム106は、ステアリングユニット132、スロットル134、ブレーキユニット136、センサ融合アルゴリズム138、コンピュータビジョンシステム140、ナビゲーション/経路探索システム142、及び障害物回避システム144など、車両100をナビゲートすることを支援するように構成された構成要素を含み得る。より具体的には、ステアリングユニット132は、車両100の進行方向を調整するように動作可能であり得、スロットル134は、エンジン/モータ118の動作速度を制御して、車両100の加速を制御し得る。ブレーキユニット136は、車両100を減速することができ、これは、摩擦を使用して車輪/タイヤ121を減速することを伴い得る。いくつかの実施形態では、ブレーキユニット136は、車両100の1つ以上のシステムによるその後の使用のために、車輪/タイヤ121の運動エネルギーを電流に変換し得る。
【0036】
センサ融合アルゴリズム138は、カルマンフィルタ、ベイジアンネットワーク、又はセンサシステム104からのデータを処理することができる他のアルゴリズムを含み得る。いくつかの実施形態では、センサ融合アルゴリズム138は、個々の物体及び/若しくは特徴の評価、特定の状況の評価、並びに/又は所与の状況内の可能性のある影響の評価など、着信センサデータに基づくアセスメントを提供し得る。
【0037】
コンピュータビジョンシステム140は、物体、環境物体(例えば、交通信号、車道境界など)、及び障害物を判定しようとする際に画像を処理し、分析するように動作可能なハードウェア及びソフトウェアを含み得る。したがって、コンピュータビジョンシステム140は、物体認識、ストラクチャフロムモーション(SFM)、ビデオ追跡、及び、例えば、物体を認識し、環境をマッピングし、物体を追跡し、物体のスピードを推定するためなどにコンピュータビジョンで使用される他のアルゴリズムを使用し得る。
【0038】
ナビゲーション/経路探索システム142は、車両100の運転経路を判定することができ、これは、動作中にナビゲーションを動的に調整することを含み得る。したがって、ナビゲーション/経路探索システム142は、数ある情報源の中でも特に、センサ融合アルゴリズム138、GPS122、及びマップからのデータを使用して、車両100をナビゲートし得る。障害物回避システム144は、センサデータに基づいて障害となり得るものを評価し、車両100のシステムに障害となり得るものを回避させるか又は別の方法で切り抜けさせ得る。
【0039】
図1に示されるように、車両100はまた、無線通信システム146、タッチスクリーン148、マイクロフォン150、及び/又はスピーカ152などの周辺機器108を含み得る。周辺機器108は、ユーザがユーザインターフェース116と相互作用するための制御装置又は他の要素を提供し得る。例えば、タッチスクリーン148は、車両100のユーザに情報を提供し得る。ユーザインターフェース116はまた、タッチスクリーン148を介してユーザからの入力を受け入れ得る。周辺機器108はまた、車両100が、他の車両のデバイスなどのデバイスと通信することを可能にし得る。
【0040】
無線通信システム146は、1つ以上のデバイスと直接又は通信ネットワークを介して無線で通信し得る。例えば、無線通信システム146は、符号分割多重アクセス(CDMA)、エボリューションデータ最適化(EVDO)、モバイル通信用グローバルシステム(GSM)/汎用パケット無線サービス(GPRS)などの3Gセルラー通信、又は4Gワールドワイドインターオペラビリティフォーマイクロウェーブアクセス(WiMAX)若しくはロングタームエボリューション(LTE)などのセルラー通信、あるいは5Gを使用する可能性がある。代替的に、無線通信システム146は、WIFI(登録商標)又は他の可能な接続を使用して無線ローカルエリアネットワーク(WLAN)と通信し得る。無線通信システム146はまた、例えば、赤外線リンク、Bluetooth、又はZigBeeを使用してデバイスと直接通信し得る。様々な車両通信システムなどの他の無線プロトコルが、本開示の文脈内で可能である。例えば、無線通信システム146は、車両及び/又は道路沿いの給油所間の公共及び/又は私的データ通信を含み得る1つ以上の専用狭域通信(DSRC)デバイスを含み得る。
【0041】
車両100は、構成要素に電力を供給するための電源110を含み得る。電源110は、いくつかの実施形態では、再充電可能なリチウムイオン又は鉛蓄電池を含み得る。例えば、電源110は、電力を提供するように構成された1つ以上の電池を含み得る。車両100はまた、他の種類の電源を使用し得る。例示的な実施形態では、電源110とエネルギー源119とが、統合されて単一のエネルギー源になり得る。
【0042】
車両100は、本明細書に記載の動作などの動作を行うためのコンピュータシステム112も含み得る。したがって、コンピュータシステム112は、データストレージ114などの非一時的なコンピュータ可読媒体に格納された命令115を実行するように動作可能な少なくとも1つのプロセッサ113(少なくとも1つのマイクロプロセッサが含まれ得る)を含み得る。いくつかの実施形態では、コンピュータシステム112は、車両100の個々の構成要素又はサブシステムを分散方式で制御するように機能し得る複数のコンピューティングデバイスを表し得る。
【0043】
いくつかの実施形態では、データストレージ114は、図1に関連して上述したものを含めて、車両100の様々な機能を実行するための、プロセッサ113によって実行可能な命令115(例えば、プログラム論理)を含み得る。データストレージ114は、推進システム102、センサシステム104、制御システム106、及び周辺機器108のうちの1つ以上にデータを送信する、それからデータを受信する、それと相互作用する、かつ/又はそれを制御するための命令を含む追加の命令も含み得る。
【0044】
命令115に加えて、データストレージ114は、他の情報の中でもとりわけ、道路マップ、経路情報などのデータを格納し得る。そのような情報は、自律モード、半自律モード、及び/又は手動モードでの車両100の動作中に、車両100及びコンピュータシステム112によって使用され得る。
【0045】
車両100は、車両100のユーザに情報を提供するか、又は車両100のユーザから入力を受信するためのユーザインターフェース116を含み得る。ユーザインターフェース116は、タッチスクリーン148上に表示され得るコンテンツ及び/若しくはインタラクティブ画像のレイアウトを制御することができるか、又は制御を可能にし得る。更に、ユーザインターフェース116は、無線通信システム146、タッチスクリーン148、マイクロフォン150、及びスピーカ152などの周辺機器108のセット内の1つ以上の入力/出力デバイスを含むことができる。
【0046】
コンピュータシステム112は、様々なサブシステム(例えば、推進システム102、センサシステム104、及び制御システム106)並びにユーザインターフェース116から受信した入力に基づいて、車両100の機能を制御し得る。例えば、コンピュータシステム112は、推進システム102及び制御システム106によって生成された出力を推定するために、センサシステム104からの入力を利用し得る。実施形態に応じて、コンピュータシステム112は、車両100及びそのサブシステムの多くの態様を監視するように動作可能であり得る。いくつかの実施形態では、コンピュータシステム112は、センサシステム104から受信した信号に基づいて、車両100の一部又は全ての機能を無効にし得る。
【0047】
車両100の構成要素は、それらのそれぞれのシステム内又はシステム外の他の構成要素と相互接続して機能するように構成され得る。例えば、例示的な実施形態では、カメラ130は、自律モードで動作している車両100の環境の状態に関する情報を表すことができる複数の画像を捕捉することができる。環境の状態には、車両が動作している道路のパラメータが含まれ得る。例えば、コンピュータビジョンシステム140は、道路の複数の画像に基づいて、傾斜(勾配)又は他の特徴を認識することができ得る。加えて、GPS122とコンピュータビジョンシステム140によって認識された特徴との組み合わせは、特定の道路パラメータを判定するために、データストレージ114に格納されたマップデータとともに使用され得る。更に、RADAR126がまた、車両の周囲に関する情報を提供し得る。
【0048】
言い換えると、様々なセンサ(入力指標センサ及び出力指標センサと呼ぶことができる)とコンピュータシステム112との組み合わせが相互作用して、車両を制御するために提供される入力の指標又は車両の周囲の指標を提供することができる。
【0049】
いくつかの実施形態では、コンピュータシステム112は、無線システム以外のシステムによって提供されるデータに基づいて、様々な物体に関する判定を行い得る。例えば、車両100は、車両の視野内の物体を感知するように構成されたレーザ又は他の光学センサを有し得る。コンピュータシステム112は、様々なセンサからの出力を使用して、車両の視野内の物体に関する情報を判定し得、様々な物体までの距離及び方向の情報を判定し得る。コンピュータシステム112はまた、様々なセンサからの出力に基づいて、物体が望ましいか望ましくないかを判定し得る。
【0050】
図1は、車両100の様々な構成要素(すなわち、無線通信システム146、コンピュータシステム112、データストレージ114、及びユーザインターフェース116)を車両100に統合されているものとして示しているが、これらの構成要素のうちの1つ以上は、車両100とは別個に取り付けられるか又は関連付けることができる。例えば、データストレージ114は、部分的又は完全に、車両100とは別個に存在することが可能である。したがって、車両100は、別個に又はともに位置し得るデバイス要素の形態で提供され得る。車両100を構成するデバイス要素は、有線及び/又は無線方式でともに通信可能に結合され得る。
【0051】
図2A~2Eは、図1を参照して車両100に関連して説明された機能の一部又は全てを含み得る例示的な車両200を示す。車両200は、例証の目的で、バンとして図2A~2Eに示されているが、本開示は、そのように限定されるものではない。例えば、車両200は、トラック、乗用車、セミトレーラートラック、オートバイ、ゴルフカート、オフロード車両、又は農業用車両などを表し得る。
【0052】
車両例200は、センサユニット202、第1のLIDARユニット204、第2のLIDARユニット206、第1のRADARユニット208、第2のRADARユニット210、第1のLIDAR/RADARユニット212、第2のLIDAR/RADARユニット214、並びに、RADARユニット、LIDARユニット、レーザ距離計ユニット、及び/又は他のタイプの1つ以上のセンサが車両200上で位置し得る2つの追加の場所216、218を含む。第1のLIDAR/RADARユニット212及び第2のLIDAR/RADARユニット214の各々はLIDARユニット、RADARユニット、又はその両方の形態を取り得る。
【0053】
更に、例示的な車両200は、図1の車両100に関連して説明された構成要素のいずれかを含むことができる。第1及び第2のRADARユニット208、210並びに/又は第1及び第2のLIDARユニット204、206は、障害となり得るものがあるか周囲環境を能動的に走査することができ、車両100のRADAR126及び/又はレーザ距離計/LIDAR128と同様のものであり得る。
【0054】
センサユニット202は、車両200の上部に取り付けられ、車両200の周辺環境に関する情報を検出し、情報の指標を出力するように構成された1つ以上のセンサを含む。例えば、センサユニット202は、カメラ、RADAR、LIDAR、距離計、慣性センサ、湿度センサ、及び音響センサの任意の組み合わせを含み得る。センサユニット202は、センサユニット202内の1つ以上のセンサの向きを調整するように動作可能であり得る1つ以上の可動マウントを含み得る。一実施形態では、可動マウントは、車両200の周囲の各方向から情報を得るようにセンサを走査することができる回転プラットフォームを含み得る。別の実施形態では、センサユニット202の可動マウントは、特定の角度及び/又は方位角及び/又は仰角の範囲内で走査するように移動可能であり得る。センサユニット202は、他の取り付け場所も考えられ得るが、車の屋根上に取り付けられ得る。
【0055】
加えて、センサユニット202のセンサは、様々な場所に分散されてもよく、単一の場所に併置される必要はない。いくつかの考えられ得るセンサタイプ及び取り付け場所には、2つの追加の場所216、218が含まれる。更に、センサユニット202の各センサは、センサユニット202の他のセンサとは独立して移動又は走査されるように構成され得る。
【0056】
例示的な構成では、1つ以上のRADARスキャナ(例えば、第1及び第2のRADARユニット208、210)が、電波反射物体があるか、車両200の背面付近の環境を能動的に走査するように、車両200の後部付近に位置し得る。同様に、第1のLIDAR/RADARユニット212及び第2のLIDAR/RADARユニット214が、車両200の正面付近の環境を能動的に走査するように、車両200の前部付近に取り付けられ得る。RADARスキャナは、例えば、車両200の他の特徴によって塞がれることなく、車両200の前進路を含む領域を照らすのに好適な場所に位置付けられ得る。例えば、RADARスキャナは、フロントバンパ、フロントヘッドライト、カウル、及び/又はボンネットなどに埋め込まれ、かつ/又はその中かその近くに取り付けられ得る。また、1つ以上の追加のRADAR走査デバイスが、リアバンパ、サイドパネル、ロッカーパネル、及び/又は車台などに、又はその近くにこのようなデバイスを含むことなどによって、電波反射物体があるか、車両200の側部及び/又は後部を能動的に走査するように位置し得る。
【0057】
図2A~2Eには示されていないが、車両200は、無線通信システムを含み得る。無線通信システムは、車両200の外部又は内部のデバイスと通信するように構成され得る無線送信機及び無線受信機を含み得る。具体的には、無線通信システムは、例えば、車両通信システム又は道路給油所において、他の車両及び/又はコンピューティングデバイスと通信するように構成されたトランシーバを含み得る。このような車両通信システムの例には、DSRC、無線周波数識別(RFID)、及びインテリジェントトランスポートシステム向けに提案された他の通信規格が含まれる。
【0058】
車両200は、場合によっては、センサユニット202の内側の場所にカメラを含み得る。カメラは、車両200の環境の複数の画像を捕捉するように構成されている、スチルカメラ、ビデオカメラなどの感光性機器であり得る。この目的のために、カメラは、可視光を検出するように構成され得、追加的又は代替的に、赤外光又は紫外光などのスペクトルの他の部分からの光を検出するように構成され得る。カメラは、二次元検出器であり得、任意選択で、三次元空間の感度範囲を有し得る。いくつかの実施形態では、カメラは、例えば、カメラから環境内のいくつかの点までの距離を示す二次元画像を生成するように構成された範囲検出器を含み得る。この目的のために、カメラは、1つ以上の範囲検出技法を使用し得る。例えば、カメラは、構造化光技法を使用することによって範囲情報を提供することができ、この構造化光技法では、車両200が、格子又はチェッカーボードパターンなどの所定の光パターンで環境内の物体を照らし、カメラを使用して、環境周囲からの所定の光パターンの反射を検出する。反射光パターンの歪みに基づいて、車両200は、物体上の点までの距離を判定し得る。所定の光パターンは、赤外光、又はそのような測定に好適な他の波長の放射線で構成され得る。いくつかの例では、カメラは、車両200のフロントガラスの内側に取り付けられ得る。具体的には、カメラは、車両200の向きに対して前方視から画像を捕捉するように位置付けられ得る。カメラの他の取り付け場所及び視野角も使用され得、車両200の内部又は外部のいずれであってもよい。また、カメラは、調整可能な視野を提供するように動作可能な関連する光学素子を有し得る。更にまた、カメラは、パン/チルト機構を介してなど、カメラの指向角を変えるように、可動マウントを用いて車両200に取り付けられ得る。
【0059】
車両200は、これら示されたものに加えて、又はその代わりに1つ以上の他の構成要素を含み得る。追加の構成要素は、電気的又は機械的機能を含み得る。
【0060】
車両200の制御システムは、複数の可能な制御戦略の中から制御戦略に従って車両200を制御するように構成され得る。制御システムは、車両200に結合されたセンサ(車両200上又は車両外)から情報を受信し、その情報に基づいて制御戦略(及び関連する運転挙動)を修正し、修正された制御戦略に従って車両200を制御するように構成され得る。制御システムは、センサから受信した情報をモニタし、運転状態を継続的に評価するように更に構成され得、また、運転状態の変化に基づいて、制御戦略及び運転挙動を修正するように構成され得る。
【0061】
図3は、例示的な実施形態による、自律車両に関連する様々なコンピューティングシステム間の無線通信の概念図である。特に、無線通信は、ネットワーク304を介して、リモートコンピューティングシステム302と車両200との間で発生し得る。無線通信はまた、サーバコンピューティングシステム306とリモートコンピューティングシステム302との間、及びサーバコンピューティングシステム306と車両200との間でも発生し得る。
【0062】
車両200は、場所間で乗客又は物体を輸送することができる様々なタイプの車両に対応することができ、上述の車両のうちの任意の1つ以上の形態を取り得る。場合によっては、車両200は、制御システムがセンサ測定値を使用して目的地間で車両200を安全にナビゲートすることを可能にする自律モードで動作し得る。自律モードで動作しているとき、車両200は、乗客の有無にかかわらずナビゲートし得る。その結果、車両200は、所望の目的地間で乗客を拾い、降ろし得る。
【0063】
リモートコンピューティングシステム302は、本明細書で説明されるものを含むがこれに限定されないリモートアシスタンス技術に関連する任意のタイプのデバイスを表し得る。例の中で、リモートコンピューティングシステム302は、(i)車両200に関係する情報を受信し、(ii)インターフェースを提供し、それを通して、次に人間のオペレータが情報に気付き、情報に関係する応答を入力することができ、(iii)応答を車両200に、又は他のデバイスに送信する、ように構成された任意の種類のデバイスを表し得る。リモートコンピューティングシステム302は、ワークステーション、デスクトップコンピュータ、ラップトップ、タブレット、携帯電話(例えば、スマートフォン)、及び/又はサーバなどの、様々な形態を取り得る。いくつかの例では、リモートコンピューティングシステム302は、ネットワーク構成で一緒に動作する複数のコンピューティングデバイスを含み得る。
【0064】
リモートコンピューティングシステム302は、車両200のサブシステム及び構成要素と同様又は同一の1つ以上のサブシステム及び構成要素を含み得る。最低でも、リモートコンピューティングシステム302は、本明細書で説明される様々な動作を行うように構成されたプロセッサを含み得る。いくつかの実施形態では、リモートコンピューティングシステム302は、タッチスクリーン及びスピーカなどの入力/出力デバイスを含むユーザインターフェースも含み得る。他の例も可能である。
【0065】
ネットワーク304は、リモートコンピューティングシステム302と車両200との間の無線通信を可能にするインフラストラクチャを表す。ネットワーク304はまた、サーバコンピューティングシステム306とリモートコンピューティングシステム302との間、及びサーバコンピューティングシステム306と車両200との間の無線通信を可能にする。
【0066】
リモートコンピューティングシステム302の位置は、例の範囲内で変わることができる。例えば、リモートコンピューティングシステム302は、ネットワーク304を介した無線通信を有する車両200からリモート位置にあり得る。別の例では、リモートコンピューティングシステム302は、車両200とは別個であるが、人間のオペレータが車両200の乗客又は運転者と相互作用することができる、車両200内のコンピューティングデバイスに対応し得る。いくつかの例では、リモートコンピューティングシステム302は、車両200の乗客によって操作可能なタッチスクリーンを備えたコンピューティングデバイスであってもよい。
【0067】
いくつかの実施形態では、リモートコンピューティングシステム302によって行われる本明細書で説明される動作は、追加的又は代替的に、車両200によって(すなわち、車両200の任意のシステム又はサブシステムによって)行われ得る。言い換えれば、車両200は、車両の運転者又は乗客が相互作用することができるリモートアシスタンス機構を提供するように構成され得る。
【0068】
サーバコンピューティングシステム306は、ネットワーク304を介してリモートコンピューティングシステム302及び車両200と(又は、場合によっては、リモートコンピューティングシステム302及び/若しくは車両200と直接)無線通信するように構成され得る。サーバコンピューティングシステム306は、車両200及びそのリモートアシスタンスに関する情報を受信し、格納し、判定し、かつ/又は送信するように構成された任意のコンピューティングデバイスを表し得る。このように、サーバコンピューティングシステム306は、リモートコンピューティングシステム302及び/又は車両200によって行われるものとして本明細書で説明される任意の動作又はそのような動作の部分を行うように構成され得る。リモートアシスタンスに関連する無線通信の一部の実施形態では、サーバコンピューティングシステム306を利用できるが、他の実施形態では利用できない。
【0069】
サーバコンピューティングシステム306は、本明細書に記載の様々な動作を行うように構成されたプロセッサ、並びにリモートコンピューティングシステム302及び車両200から情報を受信し、それらに情報を提供するための無線通信インターフェースなどの、リモートコンピューティングシステム302及び/又は車両200のサブシステム及び構成要素と同様又は同一の1つ以上のサブシステム及び構成要素を含み得る。
【0070】
上記の様々なシステムは、様々な動作を行い得る。ここで、これらの動作及び関連する機能について説明する。
【0071】
上の考察に沿えば、コンピューティングシステム(例えば、リモートコンピューティングシステム302、サーバコンピューティングシステム306、又は車両200にローカルなコンピューティングシステム)は、カメラを使用して自律車両の環境の画像を捕捉するように動作することができる。概して、少なくとも1つのコンピューティングシステムが画像を分析して、可能であれば自律車両を制御することができる。
【0072】
いくつかの実施形態では、自律動作を容易にするために、車両(例えば、車両200)は、車両が動作する環境内の物体を表すデータ(本明細書では「環境データ」とも称される)を様々な方法で受信し得る。車両のセンサシステムは、環境の物体を表す環境データを提供し得る。例えば、車両は、カメラ、RADARユニット、レーザ距離計、マイクロフォン、無線ユニット、及び他のセンサを含む様々なセンサを有し得る。これらのセンサの各々は、各それぞれのセンサが受信する情報について、環境データを車両内のプロセッサに通信し得る。
【0073】
一例では、カメラが、静止画像及び/又はビデオを捕捉するように構成され得る。いくつかの実施形態では、車両は、異なる向きに位置付けられた2つ以上のカメラを有する場合がある。また、いくつかの実施形態では、カメラは、異なる方向で画像及び/又はビデオを捕捉するために移動することができる場合がある。カメラは、車両の処理システムによる後の処理のために、捕捉された画像及びビデオをメモリに格納するように構成され得る。捕捉された画像及び/又はビデオは、環境データである場合がある。更に、カメラは、本明細書で説明されるような画像センサを含み得る。
【0074】
別の例では、RADARユニットが、車両の近くの様々な物体によって反射される電磁信号を送信し、次いで物体から反射する電磁信号を捕捉するように構成され得る。捕捉された反射電磁信号は、RADARシステム(又は処理システム)が電磁信号を反射した物体について様々な判定を行うことを可能にし得る。例えば、様々な反射物体までの距離及び位置が判定され得る。いくつかの実施形態では、車両は、異なる向きに2つ以上のRADARを有し得る。RADARシステムは、車両の処理システムによる後の処理のために、捕捉された情報をメモリに格納するように構成され得る。RADARシステムによって捕捉された情報は、環境データである場合がある。
【0075】
別の例では、レーザ距離計が、車両近くの対象物体によって反射される電磁信号(例えば、気体若しくはダイオードレーザ、又は他の可能な光源からのものなどの赤外光)を送信するように構成され得る。レーザ距離計は、反射された電磁(例えば、レーザ)信号を捕捉することが可能であり得る。捕捉された反射電磁信号は、測距システム(又は処理システム)が様々な物体までの距離を判定することを可能にし得る。レーザ距離計はまた、対象物体の速度又はスピードを判定することができ、それを環境データとして格納することができる。
【0076】
加えて、一例では、マイクロフォンが、車両の周囲の環境のオーディオを捕捉するように構成され得る。マイクロフォンで捕捉された音は、緊急車両のサイレンや他の車両の音を含み得る。例えば、マイクロフォンは、救急車、消防自動車、警察車両のサイレンの音を捕捉し得る。処理システムは、捕捉されたオーディオ信号が緊急車両を示していることを識別することができ得る。別の例では、マイクロフォンは、オートバイからの排気など、別の車両の排気の音を捕捉し得る。処理システムは、捕捉されたオーディオ信号がオートバイを示していることを識別することができ得る。マイクロフォンによって捕捉されたデータは、環境データの一部を形成し得る。
【0077】
更に別の例では、ラジオユニットが、Bluetooth信号、802.11信号、及び/又は他の無線技術信号の形態を取り得る電磁信号を送信するように構成され得る。第1の電磁放射信号は、無線ユニットに位置する1つ以上のアンテナを介して送信され得る。更に、第1の電磁放射信号は、多くの異なる無線信号モードのうちの1つで送信され得る。しかしながら、いくつかの実施形態では、自律車両の近くに位置するデバイスからの応答を要求する信号モードで第1の電磁放射信号を送信することが望ましい。処理システムは、ラジオユニットに返信された応答に基づいて近くのデバイスを検出することができ得、この伝達された情報を環境データの一部として使用し得る。
【0078】
いくつかの実施形態では、処理システムは、車両の環境を更に判定するために、様々なセンサからの情報を組み合わせることが可能であり得る。例えば、処理システムは、RADAR情報及び捕捉された画像の両方からのデータを組み合わせて、別の車両又は歩行者が自律車両の前にいるかどうかを判定し得る。他の実施形態では、センサデータの他の組み合わせを処理システムが使用して、環境についての判定を行い得る。
【0079】
自律モードで動作している間、車両はほとんど又はまったく人間の入力なしでその動作を制御し得る。例えば、人間のオペレータが住所を車両に入力した場合、車両は、人間からの更なる入力なしに(例えば、人間がブレーキ/アクセルペダルを操縦したり触れたりする必要がなく)、指定された目的地まで運転することができ得る。更に、車両が自律的に動作している間、センサシステムは環境データを受信していてもよい。車両の処理システムは、様々なセンサから受信した環境データに基づいて車両の制御を変更し得る。いくつかの例では、車両は、様々なセンサからの環境データに応答して、車両の速度を変え得る。車両は、障害物を回避し、交通法に従うなどのために速度を変え得る。車両での処理システムが車両の近くの物体を識別すると、車両は速度を変更するか、又は別の方法で動きを変えることが可能であり得る。
【0080】
車両が物体を検出したが物体の検出に十分自信がない場合、車両は、人間のオペレータ(又はより強力なコンピュータ)に、(i)物体が実際に環境内に存在するかどうかを確認する(例えば、実際に一時停止標識があるか、又は実際に一時停止標識がないか)、(ii)車両の物体の識別が正しいかどうかを確認する、(iii)識別が正しくなかった場合、識別を修正する、及び/又は(iv)自律車両に対して補足的な命令を提供する(又は現在の命令を変更する)などの、1つ以上のリモートアシスタンスタスクを行うよう要求することができる。リモートアシスタンスタスクにはまた、人間のオペレータが車両の動作を制御するための命令を提供する(例えば、人間のオペレータが、物体は一時停止標識であると判定した場合、一時停止標識で停止するよう車両に命令する)ことが含まれるが、いくつかのシナリオでは、物体の識別に関連する人間のオペレータのフィードバックに基づいて、車両自体が自身の動作を制御する場合がある。
【0081】
これを容易にするために、車両は、環境の物体を表す環境データを分析して、閾値未満の検出信頼度を有する少なくとも1つの物体を判定し得る。車両のプロセッサは、様々なセンサからの環境データに基づいて環境の様々な物体を検出するように構成され得る。例えば、一実施形態では、プロセッサは、車両が認識するのに重要であり得る物体を検出するように構成され得る。このような物体には、歩行者、街路標識、他の車両、他の車両のインジケータ信号、及び捕捉された環境データで検出された他の様々な物体が含まれ得る。
【0082】
検出信頼度は、判定された物体が環境内で正しく識別されている、又は環境内に存在している可能性を示し得る。例えば、プロセッサは、受信した環境データにおける画像データ内の物体の物体検出を行い、少なくとも1つの物体が閾値を超える検出信頼度を有すると識別することができないことに基づいて、その物体が閾値を下回る検出信頼度を有すると判定し得る。物体の物体検出又は物体認識の結果が決定的でない場合、検出信頼度が低いか、又は設定閾値を下回っていることがある。
【0083】
車両は、環境データのソースに応じて、様々な方法で環境の物体を検出し得る。いくつかの実施形態では、環境データは、カメラから来る、画像又はビデオデータであり得る。他の実施形態では、環境データはLIDARユニットから来る可能性がある。車両は、捕捉された画像又はビデオデータを分析して、画像又はビデオデータ内の物体を識別し得る。方法及び装置は、環境の物体があるかについて、画像及び/又はビデオデータをモニタするように構成され得る。他の実施形態では、環境データは、RADAR、オーディオ、又は他のデータであり得る。車両は、RADAR、オーディオ、又は他のデータに基づいて環境の物体を識別するように構成され得る。
【0084】
いくつかの実施形態では、物体を検出するために車両が使用する技術は、既知のデータのセットに基づいていてもよい。例えば、環境物体に関連するデータは、車両に位置するメモリに格納され得る。車両は、受信したデータを格納されたデータと比較して、物体を判定し得る。他の実施形態では、車両は、データの文脈に基づいて物体を判定するように構成され得る。例えば、工事に関連する街路標識は、概してオレンジ色を有し得る。したがって、車両は、道路脇近くに位置するオレンジ色の物体を、工事関連の街路標識として検出するように構成され得る。加えて、車両の処理システムは、捕捉されたデータ内の物体を検出すると、それはまた各物体の信頼度を計算することができる。
【0085】
更に、車両はまた、信頼度閾値を有し得る。信頼度閾値は、検出される物体の種類に応じて異なり得る。例えば、別の車両のブレーキライトなど、車両からの迅速な応答アクションを要求し得る物体については、信頼度閾値が低くなり得る。しかしながら、他の実施形態では、検出された全ての物体について、信頼度閾値が同じであってもよい。検出された物体に関連付けられた信頼度が信頼度閾値より高い場合、車両は、物体が正しく認識されたと想定し、その想定に基づいて車両の制御を応答的に調整し得る。
【0086】
検出された物体に関連付けられた信頼度が信頼度閾値より低い場合、車両が取るアクションは変わり得る。いくつかの実施形態では、車両は、低い信頼度レベルにもかかわらず、検出された物体が存在するかのように反応することがある。他の実施形態では、車両は、検出された物体が存在しないかのように反応することがある。
【0087】
車両は、環境の物体を検出すると、特定の検出された物体に関連付けられた信頼度も計算することができる。信頼度は、実施形態に応じて様々な方法で計算され得る。一例では、環境の物体を検出すると、車両は、環境データを既知の物体に関連する所定のデータと比較し得る。環境データと所定のデータとの一致が近いほど、信頼度はより高くなる。他の実施形態では、車両は、環境データの数学的分析を使用して、物体に関連付けられた信頼度を判定し得る。
【0088】
物体が閾値を下回る検出信頼度を有するとの判定に応答して、車両は、リモートコンピューティングシステムに、物体の識別とともにリモートアシスタンスの要求を送信し得る。上で考察されるように、リモートコンピューティングシステムは、様々な形態を取り得る。例えば、リモートコンピューティングシステムは、車両とは別個の車両内のコンピューティングデバイスであるが、それによって人間のオペレータが車両の乗客又は運転者と相互作用することができる、リモートアシスタンス情報を表示するためのタッチスクリーンインターフェースなどであり得る。追加的又は代替的に、別の例として、リモートコンピューティングシステムは、車両の近くではない場所に配置されたリモートコンピュータ端末又は他のデバイスであってもよい。
【0089】
リモートアシスタンスの要求は、画像データ、オーディオデータなどの、物体を含む環境データを含み得る。車両は、ネットワーク(例えば、ネットワーク304)上で、いくつかの実施形態では、サーバ(例えば、サーバコンピューティングシステム306)を介してリモートコンピューティングシステムに環境データを送信し得る。リモートコンピューティングシステムの人間のオペレータは、次に、要求に応答するための基礎として環境データを使用し得る。
【0090】
いくつかの実施形態では、物体が信頼度閾値を下回る信頼度を有するとして検出された場合、物体には予備識別が与えられ得、車両は、予備識別に応答して車両の動作を調整するように構成され得る。そのような動作の調整は、他の可能な調整の中でも特に、車両を停止する、車両を人間制御モードに切り替える、車両の速度(例えば、スピード及び/又は方向)を変更するという形態を取り得る。
【0091】
他の実施形態では、車両が閾値を満たす、又は超える信頼度を有する物体を検出した場合でも、車両は検出された物体に従って動作し得る(例えば、物体が一時停止標識として高い信頼度で識別された場合に停止する)が、車両が検出された物体に従って動作するのと同時に(又は後で)リモートアシスタンスを要求するように構成され得る。
【0092】
図4は、例示的な実施形態によると、LIDARデバイス(例えば、図2A~2Eに示される第1のLIDARユニット204)を備えた車両(例えば、図2A~2Eに示される車両200)を示す。車両200は自動車として示されているが、上記したように、他のタイプの車両も可能である。更に、車両200は自律モードで動作するように構成され得る車両として示されているが、本明細書に記載される実施形態は、自律的に動作するように構成されていない車両にも適用可能である。
【0093】
図4は、第1のLIDARユニット204が、1つ以上の光パルスを放射するとともに、車両200の環境内の物体からの反射光パルスを検出しながら、垂直軸232を中心として回転することによって、車両200の周りの環境を走査するように構成され得ることを示す。
【0094】
したがって、図示されるように、第1のLIDARユニット204は、例えば図4では、ページの右側に向かう指向方向として図示されている、第1のLIDARユニット204の指向方向に光を放射し得る。この構成により、第1のLIDARユニット204は、車両200に比較的近い環境の領域(例えば、近くの道路標識)、及び車両からより遠い環境の領域(例えば、車両前方の道路標識)に向けて光を放射することができる。このように、軸232の周りの第1のLIDARユニット204(又はその1つ以上の構成要素)の各完全な走査ごとに、第1のLIDARユニット204は車両200の周りの360°FOVを取得することができる。
【0095】
図5は、LIDARデバイス500(例えば、図4に例示される第1のLIDARユニット204)の図である。図4に図解されるLIDARユニット204と同様に、図5のLIDARデバイス500は、LIDARデバイス500を取り囲む環境における1つ以上の物体を感知するために使用され得る(例えば、自律車両内の物体検出及び回避の目的のために)。光信号の放射時間とそれらの光信号の検出時間との間の時間遅延に基づいて、環境における物体までの距離を判定し得る。環境における複数の物体までの距離を識別するために、LIDARデバイス500は、発光器及び検出器を(例えば、方位角方向及び/又は仰角方向に)回転、調整、又はさもなければ移動するように構成された1つ以上のアクチュエータを含み得る。例えば、アクチュエータは、360°視野が観測されるように、発光器及び検出器を方位角に回転させ得る。ビームステアリングなどの他の機構を追加的又は代替的に使用して、車両の周囲を360°走査し得る。アクチュエータ又は他の機構が、例えば発光器からの送信光を操縦するとき、例えば一連の光信号として反射光を検出することによって、周囲環境の異なる領域までの距離を判定し得る。そのような距離は、周囲の環境を表す点群(例えば、三次元の点群)に統合され得る。点群は、判定された距離から車載のLIDARデバイス500で生成され得る。追加的又は代替的に、点群は、別個のコンピューティングデバイス(例えば、サーバデバイスなどの接続化されるか又はネットワーク化されたコンピューティングデバイス)を使用して、判定された距離に基づいて生成されてもよい。
【0096】
図示のように、LIDARデバイス500は、1つ以上の発光器502のアレイ、1つ以上の光検出器504の対応するアレイ、導電トレース506、及び制御回路508(例えば、コントローラを含む制御回路508)を含み得る。図5に示される構成要素は、LIDARデバイス500の構成要素の一部のみを表し得ることが理解される。例えば、LIDARデバイス500はまた、1つ以上の導波路、1つ以上の光学フィルタ(例えば、色フィルタ又は偏光フィルタ)、1つ以上のミラー、1つ以上のレンズ、1つ以上の電源などを含んでもよい。更に、5個の発光器502のグループに配置された100個の発光器502、及び5個の光検出器504のグループに配置された対応する100個の光検出器504が図5に示されているが、この構成は例としてのみ提供されていることが理解される。他の数の発光器502及び/又は光検出器504及び/又は発光器502及び/又は光検出器504の他の構成がLIDARデバイス500内に存在することができ、それらは全て本明細書で企図される。例えば、いくつかの実施形態は、単一の発光器502及び単一の光検出器504のみを含み得る。そのような実施形態では、単一の発光器502及び対応する単一の光検出器504を動かして(例えば、1つ以上のアクチュエータによって回転及び/又は旋回して)、360°方位角視野が達成され得、及び/又は180°仰角視野が達成され得る。いくつかの実施形態では、回転ミラーを使用して、発光器502から放射された光及び/又は環境から受信された光を追加的又は代替的に方向転換し得る。
【0097】
発光器502の各々は、光検出器404のうちの1つに対応し得る。例えば、光検出器504は、光信号が周囲環境における1つ以上の物体から反射されると、対応する発光器502によって放射された光信号を受信し得る。図5に示されるように、所与の発光器502に対応する光検出器504は、発光器502の下のLIDARデバイス500の基板上に位置決めされ得る(すなわち、図示のようにy位置がわずかに低い)。他の実施形態では、対応する光検出器504は、対応する発光器502の上、左、右、又は完全に異なる場所に位置決めされてもよい。他の実施形態では、複数の発光器502が単一の光検出器504に対応し得るか、又は複数の光検出器504が単一の発光器502に対応し得る。
【0098】
アレイにおける発光器502は、レーザダイオードなどの光源を含み得る。いくつかの実施形態では、発光器502は、パルス光源を含み得る。例えば、光源は、1つ以上のパルスレーザ(例えば、Qスイッチレーザ)を含み得る。代替の実施形態では、連続波(CW)光源が使用され得る。いくつかの実施形態では、発光器502は、光増幅器に結合されたファイバレーザを含み得る。特に、ファイバレーザは、活性利得媒体(すなわち、レーザ内の光利得源)が光ファイバ内にあるレーザであり得る。更に、ファイバレーザは、LIDARデバイス500内に様々な方法で配置することができる。しかしながら、更に他の実施形態において、アレイにおける1つ以上の発光器502は、追加的又は代替的に、発光ダイオード(LED)、垂直共振器面発光レーザ(VCSEL)、有機発光ダイオード(OLED)、ポリマー発光ダイオード(PLED)、発光ポリマー(LEP)、液晶ディスプレイ(LCD)、微小電気機械システム(MEMS)、及び/又は選択的に光を送信し、反射し、かつ/若しくは光を放射して、放射された光ビーム及び/又はパルスを提供するように構成された任意の他のデバイスを含み得る。発光器502は、周囲環境内の物体に向けて光信号を放射するように構成されてもよく、このような物体によって反射されると、検出器によって検出されてLIDARデバイス500とそれぞれの物体との間の距離を判定することができる。
【0099】
発光器502によって放射される波長範囲は、例えば、電磁スペクトルの紫外、可視、及び/又は赤外部分にあってもよい。いくつかの例では、波長範囲は、レーザによって提供されるような、狭い波長範囲であり得る。いくつかの実施形態では、波長範囲は、約905nm(例えば、900nm~910nm)、約940nm(例えば、935nm~945nm)、又は約1550nm(例えば、1545nm~1555nm)の波長を含む。これらの波長は、例としてのみ提供されており、限定することを意図していないことに留意されたい。
【0100】
アレイにおける発光器502によって放射される光信号(例えば、光パルス)は、周囲環境に送信される前に、誘導、方向転換、集束、コリメート、フィルタリング、反射、屈折、及び/又はその他、調整され得る。これにより、光信号を方位角及び/又は仰角の範囲にわたって向けることができる(例えば、周囲環境内の対応する角度範囲を調べるために)。例えば、LIDARデバイス500における発光器502の(x,y)位置のアレイに基づいて(例えば、図5に示されるように)、送信される各光信号は、異なる方位角及び/又は仰角(例えば、レンズ又はミラーなど、LIDARデバイス500の他の光学系に基づく)に向けられ得る。
【0101】
光検出器504は、様々なタイプの検出器(例えば、単一光子検出器)を含み得る。例えば、光検出器504は、SPAD及び/又はSiPMを含み得る。SPADは、逆バイアスされたpn接合(すなわち、ダイオード)内でアバランシェ降伏を利用して、SPADへの所与の入射照明に対する出力電流を増加させ得る。更に、SPADは、単一の入射光子に対して複数の電子正孔対を生成することが可能であり得る。いくつかの実施形態では、光検出器504は、アバランシェ降伏電圧より上にバイアスされ得る。このようなバイアス条件は、1より大きいループ利得を有する正のフィードバックループを生成し得る。更に、アバランシェ降伏電圧の閾値を超えてバイアスをかけられたSPADは、単一光子に敏感である可能性がある。追加的又は代替的に、光検出器504は、APDとも呼ばれる線形モードAPDを含み得る。他の例では、光検出器504は、フォトレジスタ、電荷結合素子(CCD)、光電池、及び/又は任意の他のタイプの光検出器を含み得る。
【0102】
いくつかの実装形態では、光検出器504のアレイは、アレイにわたって複数のタイプの光検出器を含み得る。例えば、光検出器504のアレイは、複数の異なる波長の光を検出するように構成することができる(例えば、発光器502が発光器502のアレイにわたって異なる波長の光を放射する実施形態において)。そのために、例えば、光検出器504のアレイは、1つの波長範囲に感度を有するいくつかのSPADと、異なる波長範囲に感度を有する他のSPADとを含み得る。いくつかの実施形態では、光検出器504は、400nm~1.6μmの波長(可視及び/又は赤外波長)に感度を有し得る。更に、光検出器504は、様々なサイズ及び形状を有し得る。いくつかの実施形態では、光検出器504の各々は、光検出器504の上に位置決めされたマイクロレンズを含み、光検出器504の検出面に伝達される受光量を高め得る。追加的又は代替的に、光検出器504のうちの1つ以上は、1つ以上の光学フィルタ(例えば、減光フィルタ、偏光フィルタ、及び/又は色フィルタ)を含み得る。
【0103】
上述のように、いくつかの実施形態では、光検出器504の各々は、LIDARデバイス500におけるそれぞれの発光器502に対応し得る。他の実施形態では、複数の光検出器504が単一の発光器502に対応し得るか、又は単一の光検出器504が複数の発光器502に対応し得る。図5に示される発光器502と同様に、図5における光検出器504の数及び位置は、単に例として提供されている。発光器502及び光検出器504の両方について、他の数及び位置も可能であり、本明細書で企図される。
【0104】
上述のように、発光器502は、方位角及び/又は仰角の範囲にわたって(例えば、LIDARデバイス500内の対応するレンズ及び/又はミラーの位置及び特性に基づいて)周囲環境に光信号を送信するように構成され得る。同様に、LIDARデバイス500内の光検出器504の位置に基づいて、光検出器504は、同じ範囲の方位角及び/又は仰角にわたってLIDARデバイス500を取り囲む環境における物体から反射された光信号を受信するように配置され得る。
【0105】
いくつかの実施形態では、発光器502及び/又は対応する光検出器504は、LIDARデバイス500内で、クロストークを防止するために(例えば、隣接する送信/受信チャネル間の光信号の相互結合を防止するために)十分な距離だけ離されてもよい。クロストークを防ぐことで、自己誘導干渉を防ぎ得る。追加的又は代替的に、いくつかの実施形態では、隣接する発光器502及び/又は光検出器504の間に1つ以上のバッフルを位置決めし得る。バッフルは、発光器502によって放射される光信号の1つ以上の波長に対して不透明であってもよい。このようなバッフルは、チャネル間のクロストークも防ぎ得る(例えば、送信側と受信側の両方で)。
【0106】
発光器502のアレイ及び/又は光検出器504のアレイは、制御回路508によって電力供給及び/又は制御されてもよい。図示のように、制御回路508は、LIDARデバイス500で定義された導電トレース506(又は他の有線又は無線接続)によって、発光器502のうちの1つ以上及び/又は光検出器504のうちの1つ以上に接続され得る。制御回路508は、様々な実施形態において、コントローラ(例えば、汎用プロセッサ又は特定用途向け集積回路(ASIC))、発射回路、メモリ(例えば、読み取り専用メモリ(ROM)又はランダムアクセスメモリ(RAM))、及び/又は電源を含み得、発光器502及び光検出器504を制御する。例えば、いくつかの実施形態では、制御回路508は、1つ以上のコンデンサを含み得る。そのようなコンデンサは、1つ以上の電源によって充電し得る。次に、発光器502に光信号を放射させる(すなわち、「発射」させる)ために、コンデンサに蓄積されたエネルギーを、発光器502を通して、放電することができる。いくつかの実施形態では、制御回路508は、発光器502が互いに同時に光信号を放射するようにすることができる。他の実施形態では、制御回路508は、発光器502に、光信号を連続的に(例えば、発射シーケンスに従って所定の間隔で繰り返し)放射させてもよい。上述のもの以外の制御回路508内の構成要素も可能であり、本明細書で企図される。
【0107】
本明細書で使用される「発射シーケンス」という用語は、LIDARデバイス(例えば、LIDARデバイス500)内の一連の発光器(例えば、発光器502)が発射される順序を表し得る。「発射シーケンス」は、1つ以上の「発射サイクル」を含み得、「発射サイクル」は、1つ以上の発光器が発射される時間セグメントを表し、その後、1つ以上の対応する光検出器が、もしあるなら、周囲の環境から反射された光信号を待つ(すなわち、検出を試みる)。例えば、発射シーケンスは、複数の発射サイクルを含むことができ、各発射サイクル中に、発光器の各々が発射される。代替的に、発射シーケンスは、第1のタイプの発射サイクルと第2のタイプの発射サイクルを交互に含むことができ、第1のタイプの発射サイクル中に、発光器の第1の半分が発射され、第2のタイプの発射サイクル中に、発光器の第2の半分が発射される。LIDARデバイスは、動作中に複数の発射シーケンスを交互に実行することもできる。更に、いくつかの実施形態では、LIDARデバイス又は対応するコンピューティングデバイス(例えば、図3を参照して図示及び説明されたサーバコンピューティングシステム306などの、フリート管理サーバ)は、1つ以上の発射シーケンスを修正し得る(例えば、発射シーケンスにおける発射サイクルの数を変更することによって、1つ以上の発射サイクル中にどの発光器が発射されるかを変更することによって、1つ以上の発射サイクルの持続時間を変更することによって、及び/又は1つ以上の発射サイクル間の遅延時間を変更することによって)。
【0108】
いくつかの実施形態では、「発射シーケンス」は、所定の時間量(例えば、200ns、500ns、700ns、1μs、1.5μs、2μs、3μs、5μs、8μs、10μs、15μs、20μs、50μs、100μs、1ms、1sなど)又は所定の空間観測領域(例えば、発射シーケンスは、360°の方位視野に対応するLIDARデバイスの各回転、又は180°の垂直視野に対応するLIDARデバイスの各回転に対して実行される発射サイクルのグループを表す)に対応し得る。更に、「発射シーケンス」は、発射サイクルのうちの1つ以上において発光器を発射するために使用されるコンデンサについての充電時間及び放電時間などの情報を含み得る。いくつかの実施形態では、「発射シーケンス」は、一連の波形(例えば、各発光器についての波形であり、波形は各発光器についての発射サイクルを表す)として表すことができる(例えば、メモリ内に記憶される)。
【0109】
発射シーケンス及び関連する発射サイクルに従って、制御回路508は、実施形態に応じて、サブセット(発光器502の、例えば、2、3、4、5、6、7、8、9、10などのサブセット)で発光器502の各々を個別に、及び/又は普遍的に(すなわち、LIDARデバイス500内の全ての発光器502を同時に)発射するように構成され得る。同様に、制御回路508(例えば、制御回路508内のコントローラ)は、実施形態に応じて、サブセット(光検出器504の、例えば、2、3、4、5、6、7、8、9、10などのサブセット)で光検出器504の各々からの検出信号を個別に、及び/又は普遍的に(すなわち、LIDARデバイス500内の全ての光検出器504から一度に単一の集合信号が受信される)受信するように構成され得る。
【0110】
他の発射シーケンス及び発射サイクル(ランダム及び疑似ランダム発射シーケンスを含む)も可能であり、本明細書で企図される。例えば、発光器502のアレイは、発光器のサブアレイ(例えば、LIDARデバイス500の左側の発光器502に対応する第1のサブアレイと、LIDARデバイス500の右側の発光器502に対応する第2のサブアレイ)に分割され得る。発光器502のサブアレイは、互いに独立して電力供給され得る。したがって、発光器502の第1のサブアレイ及び発光器502の第2のサブアレイは、互いに異なる時間に発射されるように構成され得る(例えば、発光器502の第2のサブアレイは、発光器502の第1のサブアレイの発射に対して遅延して発射され得るし、又はその逆で発射され得る)。発光器502の第1のサブアレイ及び第2のサブアレイは、光検出器504の第1のサブアレイ及び第2のサブアレイにそれぞれ対応し得る。光検出器504の第1のサブアレイ及び第2のサブアレイもまた、互いに独立して電力供給され得る。発光器502の第1のサブアレイと発光器502の第2のサブアレイとの間の発射時間の差に基づいて、光検出器504の第1のサブアレイと光検出器504の第2のサブアレイを用いた信号検出は時間的にずれることもある。発光器502及び光検出器504の複数のサブアレイ(特に、独立して電力を供給されるサブアレイ)を有することは、周囲環境内の物体を検出するための冗長性を提供し得る。
【0111】
上述のように、制御回路508は、コントローラ(例えば、非一時的なコンピュータ可読媒体に格納された命令を実行するように構成されたマイクロプロセッサ)を含み得る。追加的又は代替的に、制御回路508は、外部コントローラと通信し得る。コントローラが制御回路508の内部にあるか外部にあるかに関係なく、コントローラは、発射制御信号を介して(例えば、発射シーケンスに従って)発射回路を使用して発光器502を選択的に発射し得る。更に、コントローラは、光検出器504内の検出イベントに対応する光検出器504からの電気信号を受信し得る。更に、コントローラは、そのような電気信号を使用して、LIDARデバイス500を取り囲む環境内の物体に関する情報を判定し得る。例えば、コントローラは、電気信号に基づいて、周囲環境における1つ以上の物体までの範囲及び/又は周囲環境における1つ以上の物体の反射率を判定し得る。図示のように、導電トレース506は、複数の光検出器504に接続され得る。したがって、光検出器504の各々からの電気信号は、識別情報(例えば、ヘッダコード)を含み、電気信号がどの光検出器504から発信されたかを識別し得る。追加的又は代替的に、光検出器504は、特定のタイミングスキームに従って同じ導電トレース506に沿って電気信号を送信するように構成され得、これにより、電気信号は、信号が発信された光検出器504とコントローラによって一致され得る。代替の実施形態では、各導電トレース506は、単一の光検出器504にのみ接続され得る(例えば、単一の導電トレースがコントローラと単一の光検出器504との間を走り得る)。そのような実施形態では、電気信号の多重化は使用されなくてもよい。
【0112】
いくつかの実施形態では、コントローラは、LIDARデバイス500の他の機能を制御するように構成されてもよい。例えば、コントローラは、LIDARデバイス500に関連付けられた1つ以上のアクチュエータの動きを制御し、及び/又は環境内の物体から反射された検出された光信号に対応するLIDARデバイス500における光検出器504から受信した電子信号に基づいて、LIDARデバイス500を取り囲む環境の点群表現を生成することができる。点群表現の生成は、様々な実施形態において、放射信号の強度と比較した検出信号の強度に基づいて、及び/又は放射信号のタイミングと比較した検出信号のタイミングに基づいて行うことができる。代替の実施形態では、検出された光信号及び/又は放射された光信号に関するデータ(例えば、タイミングデータ又は強度データ)は、別個のコンピューティングデバイス(例えば、リモートに配置されたサーバコンピューティングデバイス又は車載車両コントローラ)に送信され得る。別個のコンピューティングデバイスは、点群表現を生成する(例えば、点群表現をメモリに格納する、及び/又は点群表現をLIDARコントローラに送信する)ように構成され得る。
【0113】
図6Aは、LIDARデバイス(例えば、図5に示されるLIDARデバイス500)の側面図である。LIDARデバイス500は、(例えば、発射シーケンスの一部として)発射サイクルを実行し得る。発射サイクルは、発光器502のうちの1つ以上から1つ以上の送信光信号528を放射すること、及び光検出器530のうちの1つ以上で1つ以上の反射光信号530を受信することを含み得る。いくつかの実施形態では、送信光信号528及び反射光信号530は、約905nm、約940nm、及び/又は約1550nmの波長を有し得る。更に、図6Aに示されるシステムは、共有レンズ526も含み得る。共有レンズ526は、(図示のように)仰角の範囲及び/又は方位角の範囲にわたって送信光信号528を分配し得る。送信光信号529と反射光信号530との間の時間遅延に基づいて、周囲環境における1つ以上の物体までの距離を判定し得る。いくつかの実施形態では、そのような距離に基づいて点群(例えば、三次元点群)を生成し得る。更に、送信光信号528の強度を対応する反射光信号530の強度と比較することによって、周囲環境における1つ以上の物体の反射率を判定し得る。
【0114】
図6Aは、時間内のスナップショットを表していないかもしれない。例えば、周囲環境内の物体までの距離に応じて、反射光信号530は、送信光信号528が発光器502によって放射させられるときに対して時間遅延を伴って光検出器504に到着し得る。例えば、周囲環境内の物体が送信光信号528を反射しており、LIDARデバイス500から100.0m離れている場合、反射光信号530は、送信光信号528が対応する発光器502によって放射された後、約333.3nsで光検出器504に到達することができる。場合によっては、各送信光信号528が、対応する反射光信号530を有しない場合があることも理解される(例えば、送信光信号528が空に向かって発射されるか、検出可能な反射を提供しないように十分に低い反射率を有する周囲環境の物体と相互作用するなど、送信光信号528が周囲環境内の物体と相互作用しなかった場合)。
【0115】
図6B及び6Cは、LIDARデバイス(例えば、図5に示されるLIDARデバイス500)の側面図である。LIDARデバイス500は、(例えば、発射シーケンスの一部として)発射サイクルを実行し得る。図6Aと同様に、発射サイクルは、発光器502のうちの1つ以上から1つ以上の送信光信号528を放射すること、及び光検出器530のうちの1つ以上で1つ以上の反射光信号530を受信することを含み得る。しかしながら、図6Aとは異なり、図6B及び6Cの発射サイクル中、発光器は、選択的に非アクティブ化されている(例えば、選択的に非アクティブ化された発光器602は送信光信号528を放射しない)。
【0116】
干渉を検出するために、選択的に不アクティブ化された発光器602は、発射サイクル(例えば、選択的に不アクティブ化された発光器602が光信号を放射している発射サイクル)中に非アクティブ化され得る。しかしながら、選択的に非アクティブ化されていない発光器502(及び対応する光検出器504)は、発射サイクル中の物体検出(例えば、距離判定)のために依然として使用され得る。
【0117】
干渉は、LIDARデバイス500によって行われる測定に影響を及ぼす、LIDARデバイス500の外部の1つ以上の発光器(例えば、周囲環境における発光器)から送信される1つ以上の光信号を表し得る。本明細書で使用される「干渉」という用語は、「ノイズ」という用語とは区別される。「ノイズ」は、使用可能なデータポイントとして登録するためにLIDARデバイス500の光信号が放射/検出される強度ノイズフロアを設定する広帯域背景光(例えば、太陽光)のようなものを表すことができる。しかしながら、「干渉」、「干渉信号」、及び「干渉光信号」という用語は、比較的狭帯域の光信号を表す場合がある(例えば、1nm帯域幅、2nm帯域幅、3nm帯域幅、4nm帯域幅、5nm帯域幅、6nm帯域幅、7nm帯域幅、8nm帯域幅、9nm帯域幅、10nm帯域幅など、及び/又はLIDARデバイス500の発光器502の帯域幅とほぼ同じ帯域幅を有する)。更に、場合によっては、「干渉」、「干渉信号」、及び「干渉光信号」は、LIDARデバイスの1つ以上の光検出器によって検出される目的で、他の発光器によって放射され得る。例えば、いくつかの「干渉信号」は、他のLIDARデバイスが距離測定を実行できるように、他のLIDARデバイス(例えば、LIDARデバイス500のフリートとは異なるフリート内のLIDARデバイス、又はLIDARデバイス500と同じフリート内の他のLIDARデバイス)の発光器によって放射されてもよい。代替的に、「干渉信号」は、そのような「干渉信号」がLIDARデバイス500によって検出されたときに(予想される反射光信号530に加えて、又はその代わりに)、LIDARデバイス500の光検出器504の検出を妨害する目的で、悪意のある光源から放射される可能性がある。
【0118】
図6Dは、LIDARデバイス500による干渉影響測定が別の車両650上の別のLIDARデバイスから生じ得る実施形態を図解する。様々な実施形態では、追加のLIDARデバイスは、LIDARデバイス500と同じフリート内にあっても、LIDARデバイス500とは異なるフリート内にあってもよい。他方、図6Eは、LIDARデバイス500による測定に影響を及ぼす干渉が、悪意のあるソースから生じ得る実施形態を示す(例えば、LIDARデバイス500をスプリアス光信号で照射することによって、LIDARデバイス500によって行われる測定に悪影響を与えることを望む敵対者)。
【0119】
いくつかの実施形態では、干渉検出プロセスを実行すべきであるという識別に基づいて(例えば、LIDARデバイス500に搭載されたコントローラ、LIDARデバイス500に関連付けられた車両に搭載されたコントローラ、フリート管理サーバ、又は別のコンピューティングデバイスによって)、選択的に非アクティブ化された発光器602が非アクティブ化され得る。例えば、LIDARデバイス500は、LIDARデバイスのフリート内の複数のLIDARデバイスのうちの1つであり得、干渉検出プロセスが実行されるべきであることを識別することは、LIDARデバイス500が、LIDARデバイスのフリート内の別のLIDARデバイスの閾値距離内にあることを判定することを含む。閾値距離は、LIDARデバイス500が他のLIDARデバイスから放射された光信号を不注意に検出する可能性がある距離よりも短い、別のLIDARデバイスに対する距離であり得る。追加的又は代替的に、干渉検出プロセスが実行されるべきであることを識別することは、干渉検出プロセスを実行するための命令を受信することを含み得る(例えば、別のLIDARデバイスから、LIDARデバイス500に関連付けられた車両上の別のセンサから、LIDARデバイス500に対応する車両と同じフリート内の別の車両から、フリート管理サーバからなど)。更に他の実施形態では、干渉検出プロセスが実行されるべきであることを識別することは、LIDARデバイス500によって行われた1つ以上の最近の測定が少なくとも閾値量だけ不正確であることを判定することを含み得る。
【0120】
図6B及び6Cでは発光器のうちの1つのみが選択的に非アクティブ化されているが、これは単に例として提供されているだけであり、干渉検出のために他の数の発光器502を選択的に非アクティブ化することもできることを理解されたい(例えば、図7A及び7Bを参照して以下に示され、説明されるように)。
【0121】
図6Bに示されるように、反射光信号は、選択的に不アクティブ化された発光器602に対応する光検出器604によって受信されない。これは、干渉が光検出器604に入射しないことを示し得る。したがって、いくつかの実施形態では、干渉がLIDARデバイス500によって行われる測定に影響を及ぼしていない(例えば、他の干渉測定と併せて)ことが判定され得る。したがって、LIDARデバイス500によって行われる測定は、信頼できるものであると判定され得る(例えば、関連する自律車両内の物体検出及び回避のために)。
【0122】
しかしながら、他の場合(例えば、図6Cに示されるように)では、対応する光検出器604は、入射光信号(すなわち、干渉信号630)を検出し得る。選択的に非アクティブ化された発光器602に対応する光検出器604で光信号が検出されるため、干渉信号630がLIDARデバイス500によって送信されなかったと判定され得る。上述のように、干渉信号630は、偶発的/不注意による干渉及び/又は悪意のある干渉に対応し得る。したがって、1つ以上の発光器を選択的に非アクティブ化し、対応する光検出器で干渉信号が検出されるかどうかを識別することによって、LIDARデバイス500によって行われる測定に、干渉が影響を及ぼしたか、現在及ぼしているか、及び/又は将来影響を及ぼす可能性があるかどうかを識別することができる。
【0123】
上述のように、LIDARデバイス500内の1つ以上の発光器602は、干渉がLIDARデバイス500によって行われる測定に影響を及ぼしているかどうかを識別するために、発射サイクル中に選択的に非アクティブ化され得る。しかしながら、追加的又は代替的に、干渉を識別するために、発光器602のうちの1つ以上の放射に対して他の変更を行うことができることを理解されたい。例えば、発光器602のうちの1つ以上を不アクティブ化するのではなく、発光器602のうちの少なくとも1つの放射パワーを低減させてもよい。次に、対応する光検出器604が、低減された放射パワーとは対照的に、デフォルトの放射パワーを有する信号を検出する場合、干渉は依然として検出可能である。しかしながら、対応する光検出器604が低減された放射パワーの光信号を検出する場合、干渉が存在しないと判定され得、検出された光信号が使用され得る(例えば、検出された光信号を使用して生成された点群に基づく物体検出及び回避のために)。更に他の実施形態では、放射された光信号に対して他の変更を行い得る。例えば、放射信号の偏光を修正し、検出信号の偏光を修正偏光と比較して干渉を識別できる(例えば、偏光が一致しない場合、干渉が存在する可能性がある)。更に他の実施形態では、放射信号のパルス形状を修正し(例えば、正弦波形状から正方形形状又は三角形形状に)、干渉を識別するために検出信号のパルス形状と比較することができる。
【0124】
干渉を識別するために使用される方法に関係なく、干渉が、LIDARデバイスによって行われる測定に影響を及ぼしてきた、現在影響を及ぼしている、又は将来影響を及ぼす可能性があることが識別された場合、LIDARデバイス500及び/又は関連デバイスは、アクションを実行し、通信を送信し、及び/又は識別された干渉に基づいてフラグを設定し得る。例えば、LIDARデバイス500又は関連する車両(例えば、図2A~3に示される車両200)は、LIDARデバイス500によって行われる測定に影響を及ぼすものとして干渉が識別されると、劣化状態モードに置かれ得る。LIDARデバイス500を劣化状態モードにすることは、1つ以上の発光器502及び/又は1つ以上の対応する光検出器504を非アクティブ化することと、干渉を経験している1つ以上の発光器502/光検出器504の組み合わせによって行われた測定を無視することと、1つ以上の発光器502/光検出器504の組み合わせによって行われた測定を修正することと(例えば、後処理で測定された強度又は距離を調整することによって)、LIDARデバイス500全体の電源を切ることと、LIDARデバイス500を廃止することなどを含み得る。追加的に、関連する車両200を劣化状態モードにすることは、車両の速度を遅くすることと、車両200を駐車することと、車両200上の1つ以上のセンサ(例えば、LIDARデバイス500の補助的なセンサ)により大きく依存することと、車両200を廃止することと、より危険なエリアを回避するために車両200の経路を変更することなどを含み得る。更に、LIDARデバイス500及び/又は関連車両200は、別のLIDARデバイス、車両の車体における別の車両、及び/又はフリート管理サーバ(例えば、図3を参照して図示及び説明したサーバコンピューティングシステム306)に通信を送信し得る。通信は、LIDARデバイス500及び/又は車両200が劣化状態モードに置かれていることを示すことができ、LIDARデバイス500及び/又は車両200がどのような種類の劣化状態モードに置かれているのかを示すことができ、干渉の発生元の存在及び/又は方向を示すことができ、劣化状態モードにするかどうかの決定に関して支援を要求することができ、フリート内の他のLIDARデバイス/車両が将来の干渉を低減するために、LIDARデバイス500/車両200の領域の回避を要求することができ、LIDARデバイス500及び/又は車両200が、指定された期間、作動していないことを示すことができ得る。
【0125】
いくつかの実施形態(例えば、干渉検出の目的のために複数の発光器502が非アクティブ化される実施形態)では、検出された干渉信号に基づいて、発光器502/光検出器504にわたる干渉のマップを作成することができる。例えば、干渉信号630を検出する選択的に不アクティブ化された発光器602に対応する光検出器604と一致するLIDARデバイス500の領域は、干渉を経験していると識別され得る。1つ以上の干渉検出手順の結果に基づいて、干渉を経験している全ての領域のマップを生成し得る。そのようなマップは、メモリ(例えば、LIDARデバイス500のメモリ、LIDARデバイス500に関連付けられた車両、及び/又は図3を参照して図示及び説明されたサーバコンピューティングシステム306などのフリート管理サーバのメモリなど)内に格納され得、及び/又はLIDARデバイス500によって行われた測定を分析/補償するために使用される。更に、いくつかの実施形態では、干渉のマップは、1つ以上の干渉検出手順中に選択的に非アクティブ化されなかった発光器502に対応するLIDARデバイス500内の領域に対する補間及び/又は外挿を含み得るが、1つ以上の干渉検出手順中に選択的に非アクティブ化された発光器602/光検出器604の組み合わせの間、又は1つ以上の干渉検出手順中に選択的に非アクティブ化された1つ以上の発光器602/光検出器604の組み合わせの近くにある。
【0126】
いくつかの実施形態では、LIDARデバイス500の発光器502の放射帯域幅は、比較的狭くてもよい(例えば、帯域幅で1.0nm、2.0nm、3.0nm、4.0nm、5.0nm、6.0nm、7.0nm、8.0nm、9.0nm、10.0nmなど)。このように、光検出器504は、対応する狭い検出帯域を有することができる(例えば、光検出器504自体の物理的性質に基づいて、又は放射帯域外の波長を除去するためにLIDARデバイス500内に1つ以上の光学フィルタを適用することによって設計される)。これにより、LIDARデバイス500による測定に影響を及ぼす可能性のある周囲環境からのノイズを低減及び/又は除去し得る(例えば、太陽光、交通信号、ヘッドライト、テールライト、ブレーキライト、又は非常灯などの他の車両からの光、街灯、照らされた看板などから生じるノイズを低減又は除去し得る)。したがって、対応する光検出器604によって検出される光信号がノイズを表す可能性は低い(干渉とは対照的に)。しかしながら、いくつかの実施形態では、干渉信号からノイズ信号を明確にするために、1つ以上の技術が使用されてもよい(例えば、LIDARデバイス500によって放射された光信号は、所与の周波数でパルス化されてもよく、又は受信された光信号が与えられた周波数/変調方式を持たない信号は、ノイズとは対照的に、検出信号又は干渉信号のいずれかに分類され得る)。
【0127】
更に、いくつかの実施形態では、LIDARデバイス500は、LIDARデバイス500によって行われる測定に影響を与える干渉のタイプ(もしあれば)を明確にし得る。例えば、LIDARデバイス500(又は、図3を参照して図示及び説明されたサーバコンピューティングシステム306などの関連するコンピューティングデバイス又はフリート管理サーバ)は、不注意による干渉又は悪意のある干渉がLIDARデバイス500による測定に影響を与えているかどうかを判定し得る(例えば、検出された干渉信号630に基づいて)。更に、不注意による干渉が発生している場合、LIDARデバイス500(又は、図3を参照して図示及び説明したサーバコンピューティングシステム306などの関連するコンピューティングデバイス又はフリート管理サーバ)は、LIDARデバイス500と同じフリート内の1つ以上のLIDARデバイスから、又はLIDARデバイス500のフリート外のデバイスから不注意による干渉が発生しているかどうかを判定し得る(例えば、異なるメーカによって製造された、又は異なる自律車両サービスに関与するLIDARデバイス)。不注意による干渉又は悪意のある干渉が発生しているかどうか、より具体的には、不注意による干渉が同じフリート又は異なるフリートから発生しているかどうかを判定することは、LIDARデバイス500によって使用される変調方式を、干渉信号630に関連付けられた変調方式又はその欠如と比較することを含み得る。干渉信号630の変調方式がLIDARデバイス500の変調方式と一致する場合、干渉は、LIDARデバイス500と同じフリート内の別のLIDARデバイスからの不注意による干渉である可能性がある。干渉信号630がLIDARデバイス500の変調方式とは異なる変調方式に関連付けられている場合、干渉はLIDARデバイスの異なるフリート内のLIDARデバイスからの不注意による干渉であると判定され得る。更に、干渉信号630を生成するために変調方式が使用されない場合、干渉は悪意のある干渉であると判定され得る。干渉のタイプ間のあいまいさを解消する他の方法も可能であり、本明細書で企図される。
【0128】
上述のように、1つ以上の発光器は、LIDARデバイスの測定に影響を及ぼす干渉を識別するために、発射サイクル中に非アクティブ化され得る。図7Aは、複数の発光器602が選択的に非アクティブ化されている(例えば、図6Cに示される選択的に非アクティブ化される発光器602と同様の)LIDARデバイス(例えば、図6A~6Cに示されるLIDARデバイス500)の正面図である。図6Cと同様に、図7Aの選択的に非アクティブ化された発光器602は、干渉信号が存在するかどうかを識別するために、発射サイクル中に選択的に非アクティブ化され得る。いくつかの実施形態では、選択的に非アクティブ化された発光器602は、発射サイクル中の非アクティブ化のために疑似ランダムに選択され得る。例えば、選択的に非アクティブ化された発光器602は、線形シフトレジスタ、フィードバックシフトレジスタ、又は暗号回路を使用して疑似ランダムシーケンスを生成することにより、発射サイクル中に非アクティブ化のために疑似ランダムに選択され得る。更に、そのような線形シフトレジスタ、フィードバックシフトレジスタ、又は暗号回路は、シードを使用して疑似乱数シーケンスを生成し得る。シードは、LIDARデバイス500に関連付けられた車両を制御するために使用されるコンピューティングシステム(例えば、図1を参照して図示及び説明されたコンピュータシステム112)によって、LIDARデバイス500のコントローラによって、及び/又は、フリート管理サーバ(例えば、図3を参照して図示及び説明したサーバコンピューティングシステム306)によって提供され得る。
【0129】
更に、図7Aに示されるように、干渉を識別するために発射サイクル中にLIDARデバイス500内で選択的に非アクティブ化される発光器は、LIDARデバイス500の発光器のアレイにわたって連続的に位置決めされ得る。換言すれば、選択的に不アクティブ化される発光器602の各々は、選択的に不アクティブ化されない発光器がその間に位置することなく、別の選択的に不アクティブ化される発光器602に隣接し得る。しかしながら、他の実施形態では、そうである必要はない。例えば、図7Bは、選択的に不アクティブ化された発光器602が全て隣接して配置されていない実施形態の正面図である。
【0130】
いくつかの実施形態では、LIDARデバイス500による測定に影響を及ぼす干渉を識別するために、LIDARデバイス500内の発光器502の総数の約10%が、発射サイクル中に非アクティブ化され得る。これは、図7A及び7Bに示されている(100個の発光器502のうちの10個が選択的に非アクティブ化されている)。選択的に不アクティブ化される発光器602のこの数は単に例として提供され、選択的に不アクティブ化される発光器602の他のパーセンテージも可能であり、ここで企図されることが理解される。例えば、光検出器502の約1%、約5%、約15%、約20%、約25%、約30%、約35%、約40%、約45%、約50%などあるいは、干渉を識別する目的で選択的に無効にすることも可能である。しかしながら、約10%の選択的不アクティブ化は、干渉が存在するかどうかを適切に識別することができるように、発射サイクル中に選択的に不アクティブ化される十分な発光器602を有することと、一方でLIDARデバイス500を使用した適切な測定を実行するために、発射サイクル中にアクティブ化された十分な発光器502を依然として残すこととの間に、適切なバランスを取り得る(例えば、発光器502の約90%)。
【0131】
上述のように、1つ以上の発光器は、LIDARデバイスによる測定に影響を及ぼす干渉を識別するために、発射サイクル中に非アクティブ化され得る。いくつかの実施形態では、どの発光器が選択的に非アクティブ化されるか、及び/又はそれらの発光器が発射シーケンス内でどの発射サイクルに対して非アクティブ化されるかは、LIDARデバイス500を取り囲む環境内の1つ以上の無関心領域に基づいて判定され得る。この例示的な実施形態は、図8Aに図解される。図示のように、1つ以上の無関心領域812は、LIDARデバイス500を取り囲む環境にあり得る。図8Aに示されるように、無関心領域812は、LIDARデバイス500に対応する車両の周囲の特定の方位角領域に対応し得る。無関心領域812を表さない方位角領域は、図8Aにおいて関心領域810としてラベル付けされている。図8Aに示すように、1つ以上の無関心領域812は、LIDARデバイス500に対応する車両の右側(例えば「乗客側」)及び左側(例えば「運転車側」)の領域に対応し得る。同様に、関心領域810は、LIDARデバイス500に対応する車両の前方(例えば、進行方向)及び後方(例えば、進行方向の反対)の領域に対応し得る。
【0132】
LIDARデバイス500を取り囲む環境内の1つ以上の無関心領域812は、様々な方法で識別され得る。いくつかの実施形態では、1つ以上の無関心領域812は、以前の測定に基づいて判定され得る。例えば、無関心領域812は、LIDARデバイス500又は別のLIDARデバイスによる測定に基づいて以前に生成された点群に基づいて判定され得る。追加的又は代替的に、1つ以上の無関心領域812は、LIDARデバイス500(例えば、カメラ及び/又はRADARユニット)に対応する車両の1つ以上の補助センサ、又はLIDARデバイス500と同じフリート内の別の車両の1つ以上の補助センサ(例えば、フリート内の他の車両に取り付けられたカメラ及び/又はRADARユニット)からの測定値に基づいて判定され得る。
【0133】
更に、1つ以上の無関心領域812は、周囲環境内の他の物体よりも注意を必要としない(例えば、識別を必要としない)物体を含むLIDARデバイス500を取り囲む環境の特定の領域に基づいて判定され得る。例えば、LIDARデバイス500から遠くにある物体は、近くにある物体よりも注意を払う必要がないかもしれない。いくつかの実施形態では、周囲環境の所与の領域内の物体がLIDARデバイス500からの閾値距離を超えている場合、周囲環境の領域が無関心領域812として識別され得る閾値距離が存在し得る。他の実施形態では、無関心領域812は、これらの領域が特定のタイプの物体を含む場合に識別され得る。例えば、特定の領域が無関心物体を含むか(例えば、以前に特定されて識別された静止物体又は他の車両との通信やフリート管理サーバとの通信など、LIDAR検出以外の方法によって位置が判定された同じフリート内の他の車両)又は物体がまったくない(例えば、LIDARデバイス500を取り囲む空に対応する領域)、それらの領域は無関心領域812であると判定され得る。
【0134】
いくつかの実施形態では、LIDARデバイス500に対応する車両の制御システムは、1つ以上の無関心領域812及び/又は1つ以上の関心領域810の位置を示し得る。いくつかの実施形態では、そのような無関心領域812及び/又は関心領域810は、LIDARデバイス500に対応する車両の移動方向に基づき得る。例えば、車両が左折又は車線変更をしている場合、無関心領域812及び/又は関心領域810は、そのような操作に対応するように調整され得る(例えば、追加の無関心領域812が、車両の左側に対応するLIDARデバイス500の走査範囲の部分に割り当てられ得る)。同様に、車両が前進ではなく後進している場合、無関心領域812及び/又は関心領域810の数及び/又は角度範囲が変化し得る。更に、いくつかの実施形態では、無関心領域812のうちの1つ以上及び/又は関心領域810のうちの1つは、LIDARデバイス500に関連付けられた車両の近くの地形に基づいて識別され得る(例えば、車両が上り坂を走行している場合、標高の高い地域は、標高の低い地域よりも関心が高い可能性があり、車両が下り坂を走行している場合はその逆になる)。更に、関心のある領域810及び無関心領域812は、路面、道路の水平線、頭上の標識、信号、陸橋、車両、歩行者、動物などの位置に基づいて選択され得る。
【0135】
更に、無関心領域812及び/又は関心領域810は、LIDARデバイス500又はLIDARデバイス500に対応する車両に、別の車両(例えば、同じフリート内の別の車両)、別のLIDARデバイス、又はコンピューティングデバイス(例えば、LIDARデバイス500又はLIDARデバイス500に関連付けられた車両と通信するように構成されたフリート管理サーバ)から通信され得る。無関心領域は、上記の方法に加えて、又はその代わりに、様々な方法で識別できることが理解される。無関心領域を識別するそのような代替又は追加の方法は、本明細書で企図される。
【0136】
例示の目的で、図8Aは、2つの無関心領域812を示す。光信号が無関心領域812に向かって放射されるようにLIDARデバイス500が(例えば、LIDARデバイス500の1つ以上のアクチュエータによって)方位角方向に向けられる場合、発光器502のうちの1つ以上が選択的に非アクティブ化され、かつ対応する光検出器504を干渉検出に使用し得る。図8Aに示される2つの無関心領域812よりも多くても少なくてもよく、無関心領域812は、図8Aに示されているものとは異なる方位角に位置されてもよく、及び/又は無関心領域812がまたがる角度範囲は、図8Aに示したものとは異なる場合があることを理解されたい。LIDARデバイス500は、異なる方位角に向けられた異なる発光器502を有するアクチュエータを含む必要がないことも理解される。例えば、LIDARデバイス500内の異なる発光器502は、LIDARデバイス500の1つ以上のミラー及び/又は1つ以上のレンズに対して異なる位置にあってもよく、したがって、周囲環境内の異なる方位角に向かって光信号を放射してもよい。
【0137】
図8Bは、図8Aにおける無関心領域812に基づく、LIDARデバイス500の発光器502のうちの1つ以上の発射シーケンスを示す(特に、発光器502は、無関心領域812に配向されたときに1回以上の発射サイクルの間、選択的に非アクティブ化されて、干渉検出を実行する)。関心領域810(例えば、無関心領域812ではない領域)に向けられると、発光器502は、周囲環境の測定を実行するために、所与の強度レベル(例えば、発射シーケンスに従って)で光信号を放射し得る。しかしながら、無関心領域812に向けられた場合、1つ以上の発光器502は、本明細書で説明するように干渉検出を実行できるように、光信号の放射を選択的に控えてもよい。図8A及び8Bに示されるように、無関心領域812は、約45°~約135°及び約225°~約315°の方位角に対応し得る。それに応じて、関心領域810は、約0°~約45°、約135°~約225°、及び約315°~約360°の方位角に対応し得る。無関心領域812及び関心領域810の数、並びに無関心領域812及び関心領域810のそれぞれの角度スパンは、単に例として提供されており、他の数及び/又は角度スパンも可能であり、本明細書で企図されていることが理解される。
【0138】
図9A及び9Bは、それぞれ図8A及び8Bに類似している。しかしながら、図8A及び8Bの関心領域810及び無関心領域812とは異なり、関心領域910及び無関心領域912は、LIDARデバイス500に対して(方位角とは対照的に)仰角方向に定義される。異なる仰角への放射は、LIDARデバイス500内の1つ以上のミラー及び/又は1つ以上のレンズに対する発光器502の向きに基づいて、LIDARデバイス500によって達成され得る。追加的又は代替的に、LIDARデバイス500のアクチュエータは、仰角がスイープアウトされるように、仰角軸を中心として発光器502及び光検出器504を回転させるように構成され得る。図9Aに示されるように、LIDARデバイス500に対応する車両に対するいくつかの領域は、関心領域910を表し得、いくつかの領域は、無関心領域912を表し得る。図8A及び8Bと同様に、図9A及び9Bの無関心領域912は、干渉検出を実行するために、発射サイクル中にLIDARデバイス500内の1つ以上の発光器502が選択的に非アクティブ化される領域に対応し得る。また、図8A及び8Bの無関心領域812と同様に、無関心領域912は、多くの方法で判定され得る(例えば、地形に基づいて、LIDARデバイス500に関連付けられた車両のコンピューティングデバイスからの通信、LIDARデバイス500と同じフリート内の他の車両又はLIDARデバイスからの通信に基づいて、フリート管理サーバからの通信に基づいて、気象条件に基づいて、進行方向に基づいて、LIDARデバイス500からの以前の測定に基づいて、他のセンサからの以前の測定に基づいて、路面の位置に基づいて、道路の水平線の位置に基づいて、頭上の標識の位置に基づいて、信号の位置に基づいて、陸橋の位置に基づいて、別の車両の位置に基づいて、歩行者の位置に基づいて、動物の位置に基づいてなど)。
【0139】
無関心領域912は、約0°~約60°、約110°~約265°、及び約300°~約360°であるとして図9A及び9Bに示されているが、無関心領域912及び関心領域910の他の数及び/又は角度範囲もまた可能であり、本明細書で企図される。
【0140】
図8Bと同様に、図9Bは、図9Aの無関心領域912に基づくLIDARデバイス500の発光器502のうちの1つ以上の発射シーケンスを示す図である(特に、発光器502を無関心領域912内で選択的に非アクティブ化して、干渉検出を実行する)。関心領域910(例えば、無関心領域912以外の領域)に向けられると、発光器502は、所与の強度レベルで(例えば、発射シーケンスに従って)光信号を放射し得る。しかしながら、無関心領域912に向けられたとき、発光器502は、干渉検出が実行できるように光信号の放射を控えてもよい。
【0141】
III.例示的なプロセス
図10は、例示的な実施形態による、方法1000のフローチャート図である。いくつかの実施形態では、LIDARデバイス(例えば、物体の検出及び回避を実行するために自律車両100で使用されるLIDARデバイス)によって図10の1つ以上のブロックが実行され得る。いくつかの実施形態では、方法1000は、LIDARデバイス(例えば、発光器のアレイ及び光検出器のアレイを含むLIDARデバイスであって、光検出器の各々が発光器のアレイ内の1つ以上の発光器に関連付けられているLIDARデバイス)のコントローラによって実行され得る。代替的に、いくつかの実施形態では、非一時的なコンピュータ可読媒体(例えば、ハードドライブ又はソリッドステートメモリなどの読み取り専用メモリ(ROM))に格納された命令を実行するプロセッサが、実行される方法1000をもたらし得る。そのようなプロセッサ及び/又は非一時的なコンピュータ可読媒体は、様々な実施形態において、LIDARデバイスの構成要素、装備されたLIDARデバイスを有する車両の構成要素、又は車両又は車両のフリートをリモート管理するために使用されるコンピューティングデバイスの構成要素であり得る。
【0142】
ブロック1002で、方法1000は、光検出及び測距(LIDAR)デバイス内の1つ以上の発光器を発射サイクル中に非アクティブ化することを含み得る。
【0143】
ブロック1004で、方法1000は、干渉がLIDARデバイスによって行われる測定に影響を及ぼしているかどうかを識別することを含むことができる。干渉がLIDARデバイスによって行われる測定に影響を及ぼしているかどうかを識別することは、発射サイクル中に非アクティブ化された1つ以上の発光器に関連付けられたLIDARデバイスの各光検出器について、発射サイクル中に光信号が検出されたかどうかを判定することを含み得る。
【0144】
いくつかの実施形態では、方法1000は、発射サイクル中に非アクティブ化する、LIDARデバイス内の1つ以上の発光器を疑似ランダムに選択することも含み得る。
【0145】
いくつかの実施形態では、発射サイクル中に非アクティブ化する、LIDARデバイス内の1つ以上の発光器を疑似ランダムに選択することは、線形シフトレジスタ、フィードバックシフトレジスタ、又は暗号回路を使用して疑似ランダムシーケンスを生成することを含み得る。
【0146】
いくつかの実施形態では、線形シフトレジスタ、フィードバックシフトレジスタ、又は暗号回路は、シードを使用して疑似ランダムシーケンスを生成することができる。シードは、LIDARデバイスに関連付けられた車両を制御するために使用されるコンピューティングシステムによって提供され得る。
【0147】
いくつかの実施形態では、方法1000はまた、1つ以上の無関心領域に基づいて、発射サイクル中に非アクティブ化する、LIDARデバイス内の1つ以上の発光器を選択することを含み得る。
【0148】
いくつかの実施形態では、無関心領域のうちの少なくとも1つは、LIDARデバイスに関連付けられた車両の近くの地形に基づいて識別され得る。
【0149】
いくつかの実施形態では、無関心領域のうちの少なくとも1つは、LIDARデバイスに関連付けられた車両の移動方向に基づいて識別され得る。
【0150】
いくつかの実施形態では、無関心領域のうちの少なくとも1つは、LIDARデバイスを使用して以前に生成された点群に基づいて識別され得る。
【0151】
いくつかの実施形態では、発射サイクル中に非アクティブ化される発光器は、LIDARデバイス内の発光器のアレイにわたって連続して位置決めされ得る。
【0152】
いくつかの実施形態では、発射サイクル中に非アクティブ化される発光器は、LIDARデバイス内の発光器の総数の約10%に相当し得る。
【0153】
いくつかの実施形態では、発射サイクル中に不アクティブ化される発光器は、光デバイス内の発光器の総数の約50%に相当し得る。
【0154】
いくつかの実施形態では、方法1000は、干渉がLIDARデバイスによって行われる測定に影響を与えるものとして識別された場合、LIDARデバイス又は関連車両を劣化状態モードにすることも含み得る。
【0155】
いくつかの実施形態では、LIDARデバイスは、LIDARデバイスのフリート内の複数のLIDARデバイスのうちの1つであり得る。更に、干渉がLIDARデバイスによって行われる測定に影響を及ぼしているかどうかを識別することは、LIDARデバイスのフリート内の別のLIDARデバイスがLIDARデバイスによって行われる測定に影響を及ぼしているかどうかを判定することを含み得る。
【0156】
いくつかの実施形態では、干渉がLIDARデバイスによって行われる測定に影響を及ぼしているかどうかを識別することは、悪意のある光源がLIDARデバイスによって行われる測定に影響を及ぼしているかどうかを判定することを含み得る。
【0157】
いくつかの実施形態では、方法1000は、干渉検出プロセスが実行されるべきであることを識別することも含み得る。
【0158】
いくつかの実施形態では、LIDARデバイスは、LIDARデバイスのフリート内の複数のLIDARデバイスのうちの1つであり得る。更に、干渉検出プロセスが実行されるべきであることを識別することは、LIDARデバイスがLIDARデバイスのフリート内の別のLIDARデバイスの閾値距離内にあることを判定することを含み得る。
【0159】
いくつかの実施形態では、干渉検出プロセスが実行されるべきであることを識別することは、干渉検出プロセスを実行するための命令を受信することを含み得る。
【0160】
いくつかの実施形態では、LIDARデバイスの発光器は、約905nm、約940nm、又は約1550nmの波長を有する光信号を送信し得る。
【0161】
IV.結論
本開示は、本出願に記載の特定の実施形態に関して限定されるものではなく、特定の実施形態は、様々な態様の例解として意図される。当業者には明らかなことであるが、多くの変形及び変更を本開示の趣旨及び範囲から逸脱することなく行うことができる。本明細書において列挙される方法及び装置に加えて、本開示の範囲内の機能的に同等の方法及び装置は当業者には、これまでの説明から明らかであろう。このような変形及び変更は、添付の特許請求の範囲内にあることが意図されている。
【0162】
上記の詳細な説明は、添付の図を参照して、開示されたシステム、デバイス、及び方法の様々な特徴及び機能を説明している。図では、特に文脈で記載しない限り、同様の記号は通常、同様の構成要素を指している。本明細書及び図に記載の例示的な実施形態は、限定することを意図しているものではない。本明細書に提示される主題の範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を行うことができる。本明細書で概して説明され、かつ図に例解されている、本開示の態様は、多種多様な異なる構成で配置、置換、組み合わせ、分離、及び設計することができ、その全てが、本明細書において明示的に想定されていることが容易に理解されよう。
【0163】
図及び本明細書で説明されるメッセージフロー図、シナリオ、及びフローチャートのいずれか又は全てに関して、各ステップ、ブロック、動作、及び/又は通信は、例示的な実施形態に従った情報の処理及び/又は情報の送信を表し得る。代替的な実施形態は、これらの例示的な実施形態の範囲内に含まれる。これらの代替的な実施形態では、例えば、ステップ、ブロック、送信、通信、要求、応答、及び/又はメッセージとして記載される動作は、関わる機能性に応じて、実質的に同時又は逆の順序を含む、図示又は記載されるものとは異なる順序で実行され得る。更に、それより多い又は少ないブロック及び/又は動作を、本明細書において説明されるメッセージフロー図、シナリオ、及びフローチャートのいずれかで使用することができ、これらのメッセージフロー図、シナリオ、及びフローチャートは、部分的に又は全体として相互に組み合わせることができる。
【0164】
情報の処理を表すステップ、ブロック、又は動作は、本明細書に記載の方法又は技術の特定の論理機能を果たすように構成され得る回路網に対応することができる。代替的又は追加的に、情報の処理を表すステップ又はブロックは、モジュール、セグメント、又はプログラムコード(関連データを含む)の一部分に対応することができる。プログラムコードは、特定の論理演算又は動作を方法又は技術において実施するためのプロセッサにより実行可能な1つ以上の命令を含むことができる。プログラムコード及び/又は関連データは、RAM、ディスクドライブ、ソリッドステートドライブ、又は別の記憶媒体を含む、記憶デバイスなど、任意の種類のコンピュータ可読媒体に格納され得る。
【0165】
更に、1つ以上の情報送信を表すステップ、ブロック、又は動作は、同じ物理デバイスにおけるソフトウェアモジュール及び/又はハードウェアモジュール間の情報送信に対応することができる。しかしながら、他の情報送信は、様々な物理デバイスにおけるソフトウェアモジュール及び/又はハードウェアモジュール間の情報送信であり得る。
【0166】
図に示す特定の配置は、限定としてみなされるべきではない。他の実施形態が、所与の図に示される各要素をそれより多く、又はそれより少なく含み得ることを理解されたい。更に、示される要素のうちのいくつかを組み合わせることも、又は省略することもできる。なお更に、例示的な実施形態は、図に示されていない要素を含むことができる。
【0167】
様々な態様及び実施形態が本明細書において開示されているが、当業者には、他の態様及び実施形態が明らかとなるであろう。本明細書に開示される様々な態様及び実施形態は、例証を目的とするものであり、限定することを意図するものではなく、真の範囲は、以下の特許請求の範囲によって示される。
図1
図2A
図2B
図2C
図2D
図2E
図3
図4
図5
図6A
図6B
図6C
図6D
図6E
図7A
図7B
図8A
図8B
図9A
図9B
図10