特表2022-534339 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

青山学院大学 (神奈川県相模原市中央区淵野辺)

▶ バイドゥドットコム　タイムズ　テクノロジー　（ベイジン）　カンパニー　リミテッドの特許一覧 ▶ バイドゥ　ユーエスエイ　エルエルシーの特許一覧

特表2022-534339自動運転車両で使用されるセンサのタイミングの検証

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3A
3B
4A
4B
5
6A
6B
7
8A
8B
9
10A
10B
11
12
13
14

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-07-29

(54)【発明の名称】自動運転車両で使用されるセンサのタイミングの検証

(51)【国際特許分類】

G01S 7/497 20060101AFI20220722BHJP

H04L 7/00 20060101ALI20220722BHJP

G01S 17/93 20200101ALI20220722BHJP

G01S 13/931 20200101ALI20220722BHJP

G01S 7/40 20060101ALI20220722BHJP

G01S 15/931 20200101ALI20220722BHJP

【ＦＩ】

G01S7/497

H04L7/00 990

G01S17/93

G01S13/931

G01S7/40

G01S15/931

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021539003

(86)(22)【出願日】2019-08-30

(85)【翻訳文提出日】2021-11-15

(86)【国際出願番号】 CN2019103811

(87)【国際公開番号】W WO2021035722

(87)【国際公開日】2021-03-04

(81)【指定国・地域】

(71)【出願人】

【識別番号】517323290

【氏名又は名称】バイドゥドットコムタイムズテクノロジー（ベイジン）カンパニーリミテッド

【氏名又は名称原語表記】Ｂａｉｄｕ．ｃｏｍＴｉｍｅｓＴｅｃｈｎｏｌｏｇｙ（Ｂｅｉｊｉｎｇ）Ｃｏ．，Ｌｔｄ．

【住所又は居所原語表記】２／ＦＡ２ＺｈｏｎｇｇｕａｎｃｕｎＳｏｆｔｗａｒｅＰａｒｋ１７ｔｈｂｕｉｌｄｉｎｇ，Ｎｏ．８，ＤｏｎｇｂｅｉｗａｎｇＷｅｓｔＲｏａｄ，ＨａｉｄｉａｎＤｉｓｔｒｉｃｔ，Ｂｅｉｊｉｎｇ１０００８０，Ｃｈｉｎａ

(71)【出願人】

【識別番号】516357421

【氏名又は名称】バイドゥユーエスエイエルエルシー

【氏名又は名称原語表記】ＢａｉｄｕＵＳＡＬＬＣ

(74)【代理人】

【識別番号】110000729

【氏名又は名称】特許業務法人ユニアス国際特許事務所

(72)【発明者】

【氏名】ワン、ショアイ

(72)【発明者】

【氏名】チャン、マンチアン

(72)【発明者】

【氏名】シェン、ヤオミン

(72)【発明者】

【氏名】チョウ、シアンフェイ

(72)【発明者】

【氏名】リー、リンチャン

(72)【発明者】

【氏名】リー、シエンフェイ

【テーマコード（参考）】

5J070

5J083

5J084

5K047

【Ｆターム（参考）】

5J070AC02

5J070AE01

5J070AF03

5J070AK40

5J070BD04

5J070BD06

5J083AA02

5J083AB13

5J083AC26

5J083AD04

5J083AE01

5J083AF05

5J083AG04

5J083AG05

5J084AA05

5J084AB01

5J084AC02

5J084AD01

5J084AD12

5J084AD13

5J084CA31

5J084EA20

5K047AA18

(57)【要約】

【要約】いくつかの実施形態では、センサの動作を検証するための方法が提供される。この方法は、第一時刻で、検出器に波を送信するようにセンサデータをセンサに取得させることを含む。この方法は、検出器が第二時刻で波を検出したと判定することをさらに含む。この方法は、第三時刻でセンサからセンサデータを受信することをさらに含む。この方法は、第一時刻、第二時刻及び第三時刻のうちの少なくともの１つに基づいて、センサの動作を検証することをさらに含む。
【選択図】図１２

【特許請求の範囲】

【請求項1】

第一時刻で、検出器に波を送信するようにセンサデータをセンサに取得させることと、
前記検出器が第二時刻で前記波を検出したと判定することと、
第三時刻で前記センサからの前記センサデータを受信することと、
前記第一時刻、前記第二時刻及び前記第三時刻のうちの少なくともの１つに基づいて、自動運転車両の自動運転中に運転環境を感知するための前記センサの動作を検証することと、
を含む、方法。

【請求項2】

前記第一時刻で前記センサデータを前記センサに取得させることは、
前記センサに、信号を送信することと、
前記センサに、前記センサが前記センサデータを取得することを示すメッセージを送信すること、のうちの少なくとも一つを含む、
請求項１に記載の方法。

【請求項3】

前記検出器が第二時刻で前記波を検出したと判定することは、
前記検出器から信号を受信することと、
前記検出器からメッセージを受信すること、のうちの少なくとも一つを含む、
請求項１に記載の方法。

【請求項4】

前記センサの動作を検証することは、
前記第二時刻と前記第三時刻とに基づいて、前記センサのデータ取得遅延が閾値以下であるか否かを判定することを含む、
請求項１に記載の方法。

【請求項5】

前記センサの動作を検証することは、
前記第一時刻と前記第二時刻とに基づいて、起動遅延が閾値以下であるか否かを判定することを含む、
請求項１に記載の方法。

【請求項6】

前記センサの動作を検証することは、
前記第一時刻と前記第三時刻との差が閾値時刻よりも小さいか否かを判定することを含む、
請求項１に記載の方法。

【請求項7】

タイミング信号を生成することと、
前記タイミング信号を、前記センサおよび前記検出器の少なくとも一方に供給することと、をさらに含む、
請求項１に記載の方法。

【請求項8】

前記センサデータは、前記タイミング信号に基づく前記センサによって決定されるタイムスタンプを含む、
請求項７に記載の方法。

【請求項9】

前記センサデータは、前記センサが物体を検出したことを示すか否かを判定することをさらに含む、
請求項１に記載の方法。

【請求項10】

前記センサは、アクティブセンサを含む、
請求項１に記載の方法。

【請求項11】

前記アクティブセンサは、
光検出及び測距ＬＩＤＡＲセンサと、
レーダーセンサと、
超音波センサと、のうちの少なくとも１つを含む、
請求項１０に記載の方法。

【請求項12】

第一時刻でセンサデータをセンサに取得させることであって、前記センサは、波を検出することにより前記センサデータを取得し、前記センサは、前記センサにより検出された波を生成できないように構成されることと、
第二時刻で前記センサに検出させるための励起を生成することと、
第三時刻で前記センサからの前記センサデータを受信することと、
前記第一時刻、前記第二時刻及び前記第三時刻のうちの少なくともの１つに基づいて、自動運転車両の自動運転中に運転環境を感知するための前記センサの動作を検証することと、
を含む、方法。

【請求項13】

前記第一時刻で前記センサデータを前記センサに取得させることは、
前記センサに、信号を送信することと、
前記センサに、前記センサが前記センサデータを取得することを示すメッセージを送信すること、のうちの少なくとも一つを含む、
請求項１２に記載の方法。

【請求項14】

前記センサに検出させるための励起を生成することは、
前記第二時刻の、前記センサのデータの採集特性に基づいて決定された開始期間について、励起を生成することを含む、
請求項１２に記載の方法。

【請求項15】

前記センサの動作を検証することは、
前記第二時刻と前記第三時刻とに基づいて、前記センサのデータ取得遅延が閾値以下であるか否かを判定することを含む、
請求項１２に記載の方法

【請求項16】

前記センサの動作を検証することは、
前記第一時刻と前記第二時刻とに基づいて、起動遅延が閾値以下であるか否かを判定することを含む、
請求項１２に記載の方法

【請求項17】

前記センサの動作を検証することは、
前記第一時刻と前記第三時刻との差が閾値時刻よりも小さいか否かを判定することを含む、
請求項１２に記載の方法。

【請求項18】

タイミング信号を生成することと、
前記タイミング信号を、前記センサおよび前記検出器の少なくとも一方に供給することと、をさらに含む、
請求項１２に記載の方法

【請求項19】

前記センサデータは、前記タイミング信号に基づく前記センサによって決定されるタイムスタンプを含む、
請求項１８に記載の方法。

【請求項20】

プロセッサにより実行される際に、
第一時刻で、検出器に波を送信するようにセンサデータをセンサに取得させることと、
前記検出器が第二時刻で前記波を検出したと判定することと、
第三時刻で前記センサからの前記センサデータを受信することと、
前記第一時刻、前記第二時刻及び前記第三時刻のうちの少なくともの１つに基づいて、前記センサの動作を検証することと、を含む動作を、
プロセッサに実行させる命令が記憶している
非一時的な機械可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の実施形態は、一般に、自動運転車両の動作に関する。より具体的には、本開示の実施形態は、自動運転車両で使用されるセンサの動作を検証することに関する。

【背景技術】

【0002】

自動運転モード（例えば、無人運転）で走行する車両は、乗員、特に運転者をいくつかの運転関連職責から解放することができる。自動運転モードで走行している場合、車両が車載センサでナビゲートして様々な場所に移動できるため、車両は、ヒューマンマシンインタラクションが最小限に抑えられた場合または乗客がいない場合でも、走行することができる。

【0003】

動作計画および制御は、自動運転における重要な操作である。経路は、自動運転車両の移動に使用される幾何学的形状を説明する。自動運転車両は、様々なセンサを使用して、自動運転車両が配置されている環境内のオブジェクトを検出することができる。自動運転車両は、検出されたオブジェクトに基づいて、環境を通り抜ける経路を決定することができる。

【発明の概要】

【0004】

第一態様によると、本開示の実施形態は、自動運転車両で使用されるセンサの動作を検証するための方法を提供する。この方法は、第一時刻で、検出器に波を送信するようにセンサデータをセンサに取得させることと、検出器が第二時刻で波を検出したと判定することと、第三時刻でセンサからのセンサデータを受信することと、第一時刻、第二時刻及び第三時刻のうちの少なくともの１つに基づいて、自動運転車両の自動運転中に運転環境を感知するためのセンサの動作を検証することと、を含む。

【0005】

第二態様によると、本開示の実施形態は、自動運転車両で使用されるセンサの動作を検証するための方法を提供する。この方法は、第一時刻でセンサデータをセンサに取得させることと、第二時刻でセンサに検出させるための励起を生成することと、第三時刻でセンサからのセンサデータを受信することと、第一時刻、第二時刻及び第三時刻のうちの少なくともの１つに基づいて、自動運転車両の自動運転中に運転環境を感知するためのセンサの動作を検証することと、を含む。

【0006】

第三態様によると、本開示の実施形態は、非一時的な機械可読媒体を提供する。この非一時的な機械可読媒体には、プロセッサにより実行される際に、動作をプロセッサに実行させる命令が記憶されている。この動作は、第一時刻で、検出器に波を送信するようにセンサデータをセンサに取得させることと、検出器が第二時刻で波を検出したと判定することと、第三時刻でセンサからのセンサデータを受信することと、第一時刻、第二時刻及び第三時刻のうちの少なくともの１つに基づいて、センサの動作を検証することと、を含む。

【図面の簡単な説明】

【0007】

本開示の実施形態は、図面の各図に限定的ではなく例示的な形態で示されており、図面内の同じ図面記号は、同様の要素を示す。

【図1】一実施形態に係るネットワークシステムを示すブロック図である。

【図2】一実施形態に係る自動運転車両の一例を示すブロック図である。

【図3A-3B】一実施形態に係る、自動運転車両と共に使用される感知・計画システムの一例を示すブロック図である。

【図4A】一実施形態に係る決定・計画プロセスの一例を示すブロック図である。

【図4B】一実施形態に係る自動運転のためのシステムアーキテクチャを示すブロック図である。

【図5】一実施形態に係るセンサユニットの一例を示すブロック図である。

【図6A】一実施形態に係る高精度時刻生成ユニットの一例を示すブロック図である。

【図6B】一実施形態に係る、３つのカウンタ発生器を備えた高精度時刻生成ユニットの一例を示すブロック図である。

【図7】一実施形態に係る例示的な同期モジュールのブロック図である。

【図8A】一実施形態に係る２つのセンサの動作のタイミングを示す曲線図である。

【図8B】一実施形態に係る２つのセンサの動作のタイミングを示す曲線図である。

【図9】一実施形態に係る、自動運転車両のセンサを同期させるための例示的なプロセスを示すフローチャートである。

【図10A】一実施形態に係る例示的なセンサ検証システムを示すブロック図である。

【図10B】一実施形態に係る例示的なセンサ検証システムを示すブロック図である。

【図11】一実施形態に係る例示的な検証システムを示すブロック図である。

【図12】一実施形態に係る、自動運転車両で使用されるセンサを検証するための例示的なプロセスを示すフローチャートである。

【図13】一実施形態に係る例示的な検証システムを示すブロック図である。

【図14】一実施形態に係る、自動運転車両で使用されるセンサを検証するための例示的なプロセスを示すフローチャートである。

【発明を実施するための形態】

【0008】

本開示の様々な実施形態および態様は、以下で説明される詳細を参照して説明され、図面は、様々な実施形態を示す。以下の説明および図面は、本開示を説明するものであり、本開示を限定するものとして解釈されるべきではない。本開示の様々な実施形態の包括的な理解を提供するために、多くの特定の詳細が説明される。しかしながら、特定の例では、本開示の実施形態の簡潔な説明を提供するために、周知または従来の詳細は説明されていない。

【0009】

本明細書における「一実施形態」または「実施形態」への言及は、この実施形態に関連して説明される特定の特徴、構造、または特性が、本開示の少なくとも１つの実施形態に含まれ得ることを意味する。本明細書の様々な場所での「一実施形態では」という句の出現は、必ずしもすべてが同じ実施形態を指すとは限らない。

【0010】

いくつかの実施形態は、自動運転車両（ＡＤＶ）のセンサを同期させるための方法、デバイス、およびシステムに関する。上記のように、ＡＤＶは、様々なセンサを使用して、ＡＤＶが配置されている環境および／またはＡＤＶが移動している環境内のオブジェクトを検出することができる。センサが同期されていない場合、センサは、センサデータを一斉にまたは同時にキャプチャ、取得、および記録できない可能性がある。これにより、ＡＤＶにとって、センサからのセンサデータを相互に関連付けたり使用したりするのはより困難になる。例えば、ＡＤＶにとって、１つのセンサによって検出されたオブジェクトが第二センサによって検出されたオブジェクトと同じであるか否かを決定するのはより困難になる可能性がある。従って、複数のセンサがセンサデータを同時に（例えば、一斉に）キャプチャおよび／または取得するように、センサを同期させることが役立つ可能性がある。

【0011】

図１は、本開示の一実施形態に係る自動運転車両のネットワーク構成を示すブロック図である。図１を参照すると、ネットワーク構成１００は、ネットワーク１０２を介して１つまたは複数のサーバ１０３から１０４に通信可能に接続され得る自動運転車両１０１を含む。１つのみの自動運転車両が示されているが、複数の自動運転車両は、ネットワーク１０２を介して、相互におよび／またはサーバ１０３～１０４に接続され得る。ネットワーク１０２は、任意のタイプのネットワーク、例えば、有線または無線のローカルエリアネットワーク（ＬＡＮ）、インターネットなどのワイドエリアネットワーク（ＷＡＮ）、セルラーネットワーク、衛星ネットワーク、またはそれらの組み合わせであり得る。サーバ１０３から１０４は、任意のタイプのサーバまたはサーバクラスタ、例えば、ネットワークまたはクラウドサーバ、アプリケーションサーバ、バックエンドサーバ、またはそれらの組み合わせであり得る。サーバ１０３から１０４は、データ分析サーバ、コンテンツサーバ、交通情報サーバ、地図・ポイントオブインタレスト（ＭＰＯＩ）サーバ、または位置サーバなどであり得る。

【0012】

自動運転車両とは、運転者からの入力がほとんどまたはまったくない場合に車両がナビゲートして環境を通り抜ける自動運転モードになるように構成され得る車両を指す。このような自動運転車両は、車両の動作環境に関連する情報を検出するように構成される１つまたは複数のセンサを有するセンサシステムを含み得る。前記車両およびそれに関連するコントローラは、検出された情報を使用して、ナビゲートして前記環境を通り抜ける。自動運転車両１０１は、手動モード、全自動運転モード、または部分自動運転モードで動作することができる。以下では、「自動運転車両」と「自動運転車両」（ＡＤＶ）という用語は、同じ意味で使用され得る。

【0013】

一実施形態では、自動運転車両１０１は、感知・計画システム１１０、車両制御システム１１１、無線通信システム１１２、ユーザインターフェースシステム１１３、インフォテインメントシステム（図示せず）、およびセンサシステム１１５を含むが、これらに限定されない。自動運転車両１０１は、エンジン、ホイール、ステアリングホイール、トランスミッションなど、一般的な車両に含まれるいくつかの一般的なコンポーネントをさらに含み得る。前記コンポーネントは、加速信号または命令、減速信号または命令、ステアリング信号または命令、ブレーキ信号または命令などの様々な通信信号および／または命令を使用して、車両制御システム１１１および／または感知・計画システム１１０によって制御され得る。

【0014】

コンポーネント１１０から１１５は、インターコネクト、バス、ネットワーク、またはそれらの組み合わせを介して相互に通信可能に接続され得る。例えば、コンポーネント１１０から１１５は、コントローラエリアネットワーク（ＣＡＮ）バスを介して相互に通信可能に接続され得る。ＣＡＮバスは、ホストなしのアプリケーションでマイクロコントローラとデバイスが相互に通信できるように設計された車両バス規格である。これは、もともと自動車内の多重電気配線のために設計されたメッセージベースのプロトコルであるが、他の多くの環境でも使用される。

【0015】

ここで図２を参照すると、一実施形態では、センサシステム１１５は、１つまたは複数のカメラ２１１、全地球測位システム（ＧＰＳ）ユニット２１２、慣性測定ユニット（ＩＭＵ）２１３、レーダーユニット２１４、および光検出・測距（ＬＩＤＡＲ）ユニット２１５を含むが、これらに限定されない。ＧＰＳユニット２１２は、自動運転車両の位置に関する情報を提供するように動作可能な送受信機を含み得る。ＩＭＵユニット２１３は、慣性加速度に基づいて自動運転車両の位置および向きの変化を感知することができる。レーダーユニット２１４は、無線信号を使用して自動運転車両のローカル環境内のオブジェクトを感知するシステムを表すことができる。いくつかの実施形態では、オブジェクトを感知することに加えて、レーダーユニット２１４は、オブジェクトの速度および／または進行方向をさらに感知することができる。ＬＩＤＡＲユニット２１５は、レーザーを使用して、自動運転車両が配置されている環境内のオブジェクトを感知することができる。他のシステムコンポーネントに加えて、ＬＩＤＡＲユニット２１５は、１つまたは複数のレーザー源、レーザースキャナ、および１つまたは複数の検出器をさらに含み得る。カメラ２１１は、自動運転車両の周囲環境の画像を採集するための１つまたは複数のデバイスを含み得る。カメラ２１１は、スチルカメラおよび／またはビデオカメラであり得る。カメラは、例えば、カメラを回転および／または傾斜プラットフォームに取り付けることにより、機械的に移動可能であり得る。

【0016】

センサシステム１１５は、ソナーセンサ、赤外線センサ、ステアリングセンサ、スロットルセンサ、ブレーキセンサ、およびオーディオセンサ（例えば、マイクロフォン）などの他のセンサをさらに含み得る。オーディオセンサは、自動運転車両の周囲環境から音声を採集するように構成され得る。ステアリングセンサは、ステアリングホイール、車両のホイール、またはそれらの組み合わせのステアリング角度を感知するように構成され得る。スロットルセンサおよびブレーキセンサは、それぞれ車両のスロットル位置およびブレーキ位置を感知する。いくつかの場合では、スロットルセンサおよびブレーキセンサは、統合型スロットル／ブレーキセンサとして統合され得る。

【0017】

一実施形態では、車両制御システム１１１は、ステアリングユニット２０１、スロットルユニット２０２（加速ユニットとも呼ばれる）、およびブレーキユニット２０３を含むが、これらに限定されない。ステアリングユニット２０１は、車両の方向または前進方向を調整するために使用される。スロットルユニット２０２は、モータまたはエンジンの速度を制御して、車両の速度および加速度を制御するために使用される。ブレーキユニット２０３は、車両のホイールまたはタイヤを減速させるための摩擦を与えることにより、車両を減速させるために使用される。なお、図２に示すコンポーネントは、ハードウェア、ソフトウェア、またはそれらの組み合わせで実装され得る。

【0018】

図１に戻って参照すると、無線通信システム１１２は、自動運転車両１０１と、デバイス、センサ、他の車両などの外部システムとの間の通信を可能にする。例えば、無線通信システム１１２は、１つまたは複数のデバイスと直接無線通信することができるか、またはネットワーク１０２を介してサーバ１０３から１０４と通信するなど、通信ネットワークを介して無線通信を実行することができる。無線通信システム１１２は、任意のセルラー通信ネットワークまたはＷｉＦｉなどの無線ローカルエリアネットワーク（ＷＬＡＮ）を介して、別のコンポーネントまたはシステムと通信することができる。無線通信システム１１２は、例えば、赤外線リンク、ブルートゥース（登録商標）などを介して、デバイス（例えば、乗客のモバイルデバイス、ディスプレイデバイス、および車両１０１内のスピーカ）と直接通信することができる。ユーザインターフェースシステム１１３は、例えば、キーボード、タッチスクリーンディスプレイデバイス、マイクロフォン、スピーカなどを含む、車両１０１内に実装された周辺デバイスの一部であり得る。

【0019】

自動運転車両１０１の機能の一部または全部は、特に自動運転モードで動作している場合、感知・計画システム１１０によって制御または管理され得る。感知・計画システム１１０は、センサシステム１１５、制御システム１１１、無線通信システム１１２、および／またはユーザインターフェースシステム１１３から情報を受信し、受信された情報を処理し、出発地から目的地までのルートまたは経路を計画し、計画および制御情報に基づいて車両１０１を運転するために必要なハードウェア（例えば、プロセッサ、メモリ、記憶装置）およびソフトウェア（例えば、オペレーティングシステム、計画・ルーティングプログラム）を含む。あるいは、感知・計画システム１１０は、車両制御システム１１１と統合され得る。

【0020】

例えば、乗客としてのユーザは、例えばユーザインターフェースを介して、行程の出発地および目的地を指定することができる。感知・計画システム１１０は、行程関連データを取得する。例えば、感知・計画システム１１０は、サーバ１０３から１０４の一部であり得るＭＰＯＩサーバから位置およびルート情報を取得することができる。位置サーバは位置サービスを提供し、ＭＰＯＩサーバは地図サービスおよび特定の位置のＰＯＩを提供する。あるいは、そのような位置およびＭＰＯＩ情報は、感知・計画システム１１０の永久記憶装置にローカルにキャッシュされ得る。

【0021】

自動運転車両１０１がルートに沿って移動しているとき、感知・計画システム１１０は、交通情報システムまたはサーバ（ＴＩＳ）からリアルタイムの交通情報を取得することもできる。なお、サーバ１０３から１０４は、サードパーティエンティティによって操作され得る。あるいは、サーバ１０３から１０４の機能は、感知・計画システム１１０と統合され得る。リアルタイムの交通情報、ＭＰＯＩ情報、および位置情報、ならびにセンサシステム１１５によって検出または感知されたリアルタイムのローカル環境データ（例えば、障害物、オブジェクト、近くの車両）に基づいて、感知・計画システム１１０は、経路またはルートを計画し、計画されたルートに従って、例えば、制御システム１１１を介して車両１０１を運転して、指定された目的地に安全かつ効率的に到達することができる。

【0022】

サーバ１０３は、様々なクライアントのためにデータ分析サービスを実行するデータ分析システムであり得る。一実施形態では、データ分析システム１０３は、データコレクタ１２１および機械学習エンジン１２２を含む。データコレクタ１２１は、自動運転車両または運転者によって運転される従来の車両である様々な車両から運転統計データ１２３を採集する。運転統計データ１２３は、発行された運転命令（例えば、スロットル、ブレーキ、ステアリング命令）と、異なる時点で車両のセンサによってキャプチャされた車両の応答（例えば、速度、加速、減速、方向）とを示す情報を含む。運転統計データ１２３は、異なる時点での運転環境を説明する情報、例えば、ルート（出発地および目的地を含む）、ＭＰＯＩ、道路状況、気象条件などをさらに含み得る。

【0023】

運転統計データ１２３に基づいて、機械学習エンジン１２２は、様々な目的のために一連の規則、アルゴリズム、および／または予測モデル１２４を生成または訓練する。一実施形態では、アルゴリズム１２４は、入力、制約、およびコスト関数を受信し、経路に関連する快適度および経路への好感度を考慮して、車線の中心線に近く、緩衝地帯がある場合に障害物から離れたままであるように、ＡＤＶのための経路を生成する経路アルゴリズムを含み得る。それはまた、アルゴリズム１２４の一部として経路計画のためのコスト関数を生成することができる。次に、アルゴリズム１２４は、自動運転中にリアルタイムで使用され得るようにＡＤＶにアップロードされ得る。

【0024】

図３Ａおよび図３Ｂは、一実施形態に係る、自動運転車両と共に使用される感知・計画システムの一例を示すブロック図である。システム３００は、感知・計画システム１１０、制御システム１１１、およびセンサシステム１１５を含むがこれらに限定されない、図１の自動運転車両１０１の一部として実装され得る。図３Ａから図３Ｂを参照すると、感知・計画システム１１０は、位置決めモジュール３０１、感知モジュール３０２、予測モジュール３０３、決定モジュール３０４、計画モジュール３０５、制御モジュール３０６、ルーティングモジュール３０７、静的障害物マッパー３０８、および経路プランナ３０９を含むが、これらに限定されない。

【0025】

モジュール３０１から３０９の一部または全部は、ソフトウェア、ハードウェア、またはそれらの組み合わせで実装され得る。例えば、これらのモジュールは、永久記憶装置３５２にインストールされ、メモリ３５１にロードされ、１つまたは複数のプロセッサ（図示せず）によって実行され得る。なお、これらのモジュールの一部または全部は、図２の車両制御システム１１１のモジュールの一部または全部に通信可能に接続され得るか、またはこれらと統合され得る。モジュール３０１から３０９の一部は、統合モジュールとして一緒に統合され得る。

【0026】

位置決めモジュール３０１は、（例えば、ＧＰＳユニット２１２を使用して）自動運転車両３００の現在位置を決定し、ユーザの行程またはルートに関連するすべてのデータを管理する。位置決めモジュール３０１（地図／ルーティングモジュールとも呼ばれる）は、ユーザの行程またはルートに関連するすべてのデータを管理する。ユーザは、例えば、ユーザインターフェースを介してログインし、行程の出発地および目的地を指定することができる。位置決めモジュール３０１は、地図／ルート情報３１１などの自動運転車両３００の他のコンポーネントと通信して、行程関連データを取得する。例えば、位置決めモジュール３０１は、位置サーバおよび地図・ＰＯＩ（ＭＰＯＩ）サーバから位置およびルート情報を取得することができる。位置サーバは位置サービスを提供し、ＭＰＯＩサーバは地図サービスおよび特定の位置のＰＯＩを提供する。これらは、地図／ルート情報３１１の一部としてキャッシュされ得る。自動運転車両３００がルートに沿って移動しているとき、位置決めモジュール３０１はまた、交通情報システムまたはサーバからリアルタイムの交通情報を取得することができる。

【0027】

センサシステム１１５によって提供されたセンサデータ、および位置決めモジュール３０１によって取得された位置決め情報に基づいて、感知モジュール３０２は、周囲環境の感知を決定する。感知情報は、運転者が運転している車両の周囲で一般的な運転者が何を感知するかを表すことができる。感知情報は、オブジェクトの形態などを採用した、車線構成、交通信号灯信号、別の車両の相対位置、歩行者、建物、横断歩道、または他の交通関連標識（例えば、止まれの標識、譲れの標識）などを含み得る。車線構成は、車線または各車線を説明する情報、例えば、車線の形状（直線または曲線）、車線の幅、道路内の車線数、一方向または双方向の車線、合流車線または分岐車線、出口車線などを含む。

【0028】

感知モジュール３０２は、自動運転車両の環境内のオブジェクトおよび／または特徴を認識するために、１つまたは複数のカメラによって採集された画像を処理および分析するためのコンピュータビジョンシステムまたはコンピュータビジョンシステムの機能を含み得る。前記オブジェクトは、交通信号、道路境界、他の車両、歩行者、および／または障害物などを含み得る。コンピュータビジョンシステムは、オブジェクト認識アルゴリズム、ビデオ追跡、および他のコンピュータビジョン技術を使用することができる。いくつかの実施形態では、コンピュータビジョンシステムは、環境地図を作成し、オブジェクトを追跡し、オブジェクトの速度などを推定することができる。感知モジュール３０２はまた、レーダーおよび／またはＬＩＤＡＲなどの他のセンサによって提供された他のセンサデータに基づいてオブジェクトを検出することができる。

【0029】

オブジェクトのそれぞれについて、予測モジュール３０３は、その状況下でオブジェクトが実行する動作を予測する。予測は、一連の地図／ルート情報３１１および交通規則３１２に基づいて、様々な時点での運転環境を感知することによって得られた感知データに基づいて実行される。例えば、オブジェクトが反対方向の車両であり、現在の運転環境が交差点を含む場合、予測モジュール３０３は、車両が直接前進する可能性が高いか、またはステアリングする可能性が高いかを予測する。感知データが、交差点に交通信号灯がないことを示す場合、予測モジュール３０３は、車両が交差点に入る前に完全に停止しなければならない可能性があると予測することができる。感知データが、車両が現在左折専用車線または右折専用車線にあることを示す場合、予測モジュール３０３は、車両がそれぞれ左折または右折する可能性が高いと予測することができる。

【0030】

オブジェクトのそれぞれについて、決定モジュール３０４は、オブジェクトをどのように処理するかについての決定を行う。例えば、特定のオブジェクト（例えば、交差点にある別の車両）、およびこのオブジェクトを説明するメタデータ（例えば、速度、方向、ステアリング角度）について、決定モジュール３０４は、どのようにこのオブジェクトとすれ違うか（例えば、追い越し、譲れ、停止、通過）を決定する。決定モジュール３０４は、永久記憶装置３５２に記憶され得る一連の規則（例えば、交通規則または運転規則３１２）に基づいてそのような決定を行うことができる。

【0031】

ルーティングモジュール３０７は、出発地から目的地までの１つまたは複数のルートまたは経路を提供するように構成される。例えば、ユーザから受信された出発地から目的地までの所与の行程について、ルーティングモジュール３０７は、地図／ルート情報３１１を取得し、出発地から目的地までのすべての可能なルートまたは経路を決定する。ルーティングモジュール３０７は、それが決定する出発地から目的地までのルートのそれぞれについて、地形図の形態での基準線を生成することができる。基準線とは、他の車両、障害物、または交通状況などからの干渉を受けない理想的なルートまたは経路を指す。即ち、道路上に他の車両、歩行者、または障害物がない場合、ＡＤＶは、基準線に正確にまたは厳密に追従しなければならない。次に、地形図は、決定モジュール３０４および／または計画モジュール３０５に提供される。決定モジュール３０４および／または計画モジュール３０５は、位置決めモジュール３０１からの交通状況、感知モジュール３０２によって感知された運転環境、および予測モジュール３０３によって予測された交通状況など、他のモジュールによって提供された他のデータに基づいて、すべての可能なルートをチェックして、最適なルートの１つを選択して変更する。ＡＤＶを制御するための実際の経路またはルートは、その時点での特定の運転環境に応じて、ルーティングモジュール３０７によって提供された基準線に近いか、または異なる場合がある。

【0032】

感知されたオブジェクトのそれぞれの決定に基づいて、計画モジュール３０５は、ルーティングモジュール３０７によって提供された基準線を基礎として使用して、自動運転車両の経路またはルートおよび運転パラメータ（例えば、距離、速度、および／またはステアリング角度）を計画する。即ち、所与のオブジェクトについて、決定モジュール３０４はこのオブジェクトに対して何を処理するかを決定するが、計画モジュール３０５はどのように処理するかを決定する。例えば、所与のオブジェクトについて、決定モジュール３０４はこのオブジェクトを追い越すことを決定することができるが、計画モジュール３０５はこのオブジェクトの左側または右側のどちらを追い越すかを決定することができる。計画および制御データは、車両３００が次の移動周期（例えば、次のルート／経路セグメント）でどのように移動するかを説明する情報を含む計画モジュール３０５によって生成される。例えば、計画および制御データは、車両３００に、時速３０マイル（ｍｐｈ）の速度で１０メートル移動し、次に２５ｍｐｈの速度で右側車線に変更するように指示することができる。

【0033】

計画プロセスの一部として、経路プランナ３０９は、永久記憶装置３５２に記憶され得るコスト関数３１３に基づいて、複数の計画されたＡＤＶ状態を生成することができる。

【0034】

計画および制御データに基づいて、制御モジュール３０６は、計画および制御データによって定義されたルートまたは経路に従って、適切な命令または信号を車両制御システム１１１に送信することにより、自動運転車両を制御して運転する。計画および制御データは、経路またはルートに沿って異なる時点で適切な車両設定または運転パラメータ（例えば、スロットル、ブレーキ、ステアリング命令）を使用して、ルートまたは経路の第一点から第二点まで車両を運転するのに十分な情報を含む。

【0035】

一実施形態では、計画段階は、例えば１００ミリ秒（ｍｓ）の時刻間隔ごとなど、複数の計画周期（運転周期とも呼ばれる）で実行される。計画周期または運転周期ごとに、計画および制御データに基づいて１つまたは複数の制御命令が発行される。即ち、１００ｍｓごとに、計画モジュール３０５は、例えば、目標位置およびＡＤＶが目標位置に到達するのに必要な時刻を含む、次のルートセグメントまたは経路セグメントを計画する。あるいは、計画モジュール３０５は、特定の速度、方向、および／またはステアリング角度などをさらに指定することができる。一実施形態では、計画モジュール３０５は、次の所定の期間（例えば、５秒）内にルートセグメントまたは経路セグメントを計画する。各計画サイクルについて、計画モジュール３０５は、前の周期で計画された目標位置に基づいて、現在の周期（例えば、次の５秒）の目標位置を計画する。次に、制御モジュール３０６は、現在の周期の計画および制御データに基づいて、１つまたは複数の制御命令（例えば、スロットル、ブレーキ、ステアリング制御命令）を生成する。

【0036】

なお、決定モジュール３０４および計画モジュール３０５は、統合モジュールとして統合され得る。決定モジュール３０４／計画モジュール３０５は、自動運転車両の運転経路を決定するためのナビゲーションシステムまたはナビゲーションシステムの機能を含み得る。例えば、ナビゲーションシステムは、自動運転車両が経路に沿って移動するための一連の速度および前進方向を決定することができる。前記経路は、自動運転車両が、感知された障害物を実質的に回避しながら、最終目的地に通じる車道ベースの経路に沿って前進することを可能にする。目的地は、ユーザインターフェースシステム１１３を介したユーザ入力に従って設定され得る。ナビゲーションシステムは、自動運転車両の運転中に運転経路を動的に更新することができる。ナビゲーションシステムは、ＧＰＳシステムおよび１つまたは複数の地図からのデータを統合して、自動運転車両の運転経路を決定することができる。

【0037】

一実施形態では、経路は、ＳＬ座標系で計画される。ＳＬ座標系は、基準線（道路／車線の中心線）を基準にして定義され得る。縦方向距離またはｓ距離は、基準線の接線方向に沿った距離を表す。同様に、横方向距離またはｌ距離は、ｓ方向に垂直な距離を表す。ＳＬ空間内の縦方向サイズは、基準線に沿って運転すると想定される車両の現在位置からの特定のオブジェクトの縦方向距離を表す。ＳＬ空間内の横方向サイズは、縦方向サイズで表される特定の時刻または位置でのオブジェクトと基準線との間の最短距離を表す。ＳＬ空間内のこのような図は、ＳＬ図と呼ばれる。一実施形態では、横方向距離は、基準線からの距離として簡単に定義され得る。従って、デカルト座標系（ＸＹ平面）で表されることに加えて、車両の位置（ポーズ）は、ＳＬ座標系で、基準線を基準にした順序対（縦方向ポーズ／位置「ｓポーズ」、横方向ポーズ／位置「ｌポーズ」）として表され得るか、または単に（ｓ、ｌ）として表され得る。

【0038】

いくつかの実施形態では、感知・計画システム１１０の１つまたは複数のコンポーネントは、１つまたは複数のニューラルネットワークを含み得、および／または使用し得る。例えば、計画モジュール３０５は、様々なタスク、機能、操作、動作などを実行するために、１つまたは複数のニューラルネットワークを含み得、および／または使用し得る。別の例では、感知モジュール３０２は、様々なタスク、機能、操作、動作などを実行するために、１つまたは複数のニューラルネットワークを含み得、および／または使用し得る。一実施形態では、感知システムの１つまたは複数のコンポーネントに含まれ得、および／または感知システムの１つまたは複数のコンポーネントによって使用され得る１つまたは複数のニューラルネットワークは、ＡＤＶのセンサによってキャプチャおよび／または生成された画像内の車線（例えば、道路車線）を検出することができる。例えば、感知モジュール３０２によって使用されるニューラルネットワークは、画像内の道路車線を示すことができる路線標識を決定することができる。

【0039】

図３Ａに示すように、システム３００は、人工知能（ＡＩ）アクセラレータ３６０を含む。ＡＩアクセラレータ３６０は、人工知能アプリケーション向けに設計、カスタマイズ、および／または配置され得る処理デバイスであり得る。例えば、ＡＩアクセラレータ３６０は、人工ニューラルネットワークの操作を加速して、マシンビジョンおよび／または機械学習の操作などを実行するために使用され得る。ＡＩアクセラレータ３６０の例は、グラフィックス処理ユニット（ＧＰＵ）、特定用途向け集積回路、フィールド・プログラマブル・ゲート・アレイなどを含み得る。

【0040】

図４Ａは、一実施形態に係る決定・計画プロセス４００の一例を示すブロック図である。決定・計画プロセス４００は、位置決め／感知データ４０１、経路決定プロセス４０３、速度決定プロセス４０５、経路計画プロセス４０７、速度計画プロセス４０９、アグリゲータ４１１、および軌跡計算機４１３を含む。

【0041】

経路決定プロセス４０３および速度決定プロセス４０５は、図３Ｂに示す決定モジュール３０４によって実行され得る。図３Ｂを参照すると、決定モジュール３０４は、動的計画法を使用して、経路計画プロセス４０７／速度計画プロセス４０９の初期制約として大まかな経路プロファイルを生成することができる。決定モジュール３０４は、以前の計画結果および重要な情報（例えば、ＡＤＶが走行しているか、それとも別の車線に変換しているか）並びに交通規則を提供する経路状態機械を使用することができる。状態、交通規則、ルーティングモジュール３０７によって提供された基準線、およびＡＤＶによって感知された障害物に基づいて、経路決定プロセス４０３は、どのように感知された障害物を処理するか（即ち、無視、追い越し、譲れ、停止、通過）を大まかな経路プロファイルの一部として決定することができる。

【0042】

例えば、一実施形態では、大まかな経路プロファイルは、経路の曲率と、基準線および／または基準点から障害物までの距離とに基づいて、コストからなるコスト関数によって生成される。基準線上の点は選択され、候補経路を表す候補移動として基準線の左側または右側に移動される。候補移動のそれぞれは、関連するコストを有する。基準線上の１つまたは複数の点の候補移動に関連するコストは、最適なコストのための動的計画法を使用して、一度に１点ずつ順番に解かれ得る。動的計画法（または動的最適化）は、解くべき問題を一連の値関数に分解して、これらの値関数のそれぞれのみを毎回解き、それらの解を記憶する数理最適化方法であり得る。次回に同じ値関数が発生すると、その解を再計算するのではなく、以前に計算された解を検索するだけでよい。

【0043】

速度決定プロセス４０５は、速度状態機械、速度交通規則、および１つまたは複数の走行距離－時刻（ｓｔａｔｉｏｎ－ｔｉｍｅ）図を使用することができる。速度決定プロセス４０５は、動的計画法を使用して、経路計画プロセス４０７／速度計画プロセス４０９の初期制約として大まかな速度分布を生成することができる。速度状態機械の状態、速度交通規則、決定プロセス４０３によって生成された大まかな経路プロファイル、および感知された障害物に基づいて、速度決定プロセス４０５は、ＡＤＶをいつ加速および／または減速するかを制御するための大まかな速度プロファイルを生成することができる。

【0044】

経路計画プロセス４０７は、二次計画法を使用して最適な基準線を再計算するための初期制約として、大まかな経路プロファイル（例えば、走行距離－横方向偏移（ｓｔａｔｉｏｎ－ｌａｔｅｒａｌ）図）を使用することができる。二次計画法は、境界、線形等式および／または不等式制約の対象となる目的関数（例えば、いくつかの変数を持つ二次関数）を最小化または最大化することに関する。動的計画法と二次計画法の違いの１つは、二次計画法が基準線上のすべての点に対してすべての候補移動を一度に最適化することである。経路計画プロセス４０７は、平滑化アルゴリズム（例えば、Ｂスプラインまたは回帰）を出力された走行距離－横方向偏移図に適用することができる。経路コスト関数を使用して、経路コストに基づいて基準線を再計算し、基準点の候補移動の合計コストを最適化することができる。例えば、二次計画法（ＱＰ）最適化を使用して最適化を実行する。

【0045】

速度計画プロセス４０９は、大まかな速度分布（例えば、走行距離－時刻図）および１つまたは複数のＳ－Ｔ図を使用して、ＡＤＶの１つまたは複数の速度を決定することができる。いくつかの実施形態では、Ｓ－Ｔ図は、Ｓ－Ｔ軌跡を含み得る。Ｓ－Ｔ軌跡は、以下でより詳細に説明するように、異なる時点でＡＤＶが経路に沿って走行する距離を示すことができる。従って、（Ｓ－Ｔ図の）Ｓ－Ｔ軌跡は、異なる時点での車両の速度を示すかまたは決定するために使用され得る。Ｓ－Ｔ図はまた、１つまたは複数の停止条件を含むかまたは示すことができる。例えば、Ｓ－Ｔ図はまた、歩行者、歩道、道路分離帯（例えば、中央分離帯）、別の車両などの障害物を回避するためにＡＤＶが停止すべき距離と時刻を示すことができる。本明細書ではＳＴ図について説明しているが、他の実施形態では、他のタイプの図（例えば、ＳＬ図、デカルト座標系を使用する図など）を使用することができる。速度計画プロセス４０９はまた、１つまたは複数の制約を使用して、ＡＤＶの１つまたは複数の速度を決定することができる。制約は、速度計画プロセス４０９が該組の速度を決定するときに満たすべき１つまたは複数の条件であり得る。例えば、制約は、候補解が満たすべきＱＰ最適化問題に課せられる条件であり得る。１つまたは複数の制約は、以下でより詳細に説明する速度制約関数で示され得る。

【0046】

アグリゲータ４１１は、経路および速度計画結果を集約する機能を実行する。例えば、一実施形態では、アグリゲータ４１１は、二次元Ｓ－Ｔ図およびＳ－Ｌ図を三次元ＳＬＴ図に組み合わせることができる。別の実施形態では、アグリゲータ４１１は、Ｓ－Ｌ基準線上またはＳ－Ｔ曲線上の２つの連続点に基づいて補間する（または追加の点を埋める）ことができる。別の実施形態では、アグリゲータ４１１は、基準点を座標（Ｓ、Ｌ）から座標（ｘ、ｙ）に変換することができる。軌跡計算機４１３は、ＡＤＶを制御するための最終軌跡を計算することができる。例えば、軌跡計算機４１３は、アグリゲータ４１１によって提供されたＳＬＴ図に基づいて、ＡＤＣが特定の座標（ｘ、ｙ）をいつ通過すべきかを示す点（ｘ、ｙ、Ｔ）のリストを計算する。

【0047】

従って、図４Ａに戻って参照すると、経路決定プロセス４０３および速度決定プロセス４０５は、障害物および／または交通状況を考慮して、大まかな経路プロファイルおよび大まかな速度プロファイルを生成する。障害物に関するすべての経路および速度の決定が与えられた場合、経路計画プロセス４０７および速度計画プロセス４０９は、ＱＰ計画を使用して、障害物に基づいて大まかな経路プロファイルおよび大まかな速度プロファイルを最適化し、最小の経路コストおよび／または速度コストで最適な軌跡を生成する。

【0048】

図４Ｂは、一実施形態に係る自動運転のためのシステムアーキテクチャ４５０を示すブロック図である。システムアーキテクチャ４５０は、図３Ａおよび図３Ｂに示す自動運転システムのシステムアーキテクチャを表すことができる。図４Ｂを参照すると、システムアーキテクチャ４５０は、アプリケーション層４５１、計画・制御（ＰＮＣ）層４５２、感知層４５３、ドライバ層４５４、ファームウェア層４５５、およびハードウェア層４５６を含むが、これらに限定されない。アプリケーション層４５１は、自動運転車両のユーザまたは乗客と対話するユーザインターフェースまたは構成アプリケーション、例えば、ユーザインターフェースシステム１１３に関連付けられた機能を含み得る。ＰＮＣ層４５２は、少なくとも計画モジュール３０５および制御モジュール３０６の機能を含み得る。感知層４５３は、少なくとも感知モジュール３０２の機能を含み得る。一実施形態では、予測モジュール３０３および／または決定モジュール３０４の機能を含む追加層が存在する。あるいは、このような機能は、ＰＮＣ層４５２および／または感知層４５３に含まれ得る。システムアーキテクチャ４５０は、ドライバ層４５４、ファームウェア層４５５、およびハードウェア層４５６をさらに含む。ファームウェア層４５５は、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）の形態で実装され得るセンサシステム１１５の機能を少なくとも表すことができる。ハードウェア層４５６は、制御システム１１１および／またはセンサシステム１１５などの自動運転車両のハードウェアを表すことができる。層４５１－４５３は、デバイスドライバ層４５４を介してファームウェア層４５５およびハードウェア層４５６と通信することができる。

【0049】

図５は、本開示の一実施形態に係るセンサシステムの一例を示すブロック図である。図５を参照すると、センサシステム１１５は、複数のセンサ５１０、およびホストシステム１１０に接続されたセンサユニット５００を含む。ホストシステム１１０は、図３Ａおよび図３Ｂに示すモジュールの少なくともいくつかを含み得る上記の計画・制御システムを表す。センサユニット５００は、ＦＰＧＡデバイスまたはＡＳＩＣ（特定用途向け集積回路）デバイスの形態で実装され得る。一実施形態では、センサユニット５００は、特に、１つまたは複数のセンサデータ処理モジュール５０１（略してセンサ処理モジュールとも呼ばれる）、データ伝送モジュール５０２、およびセンサ制御モジュールまたはロジック５０３を含む。モジュール５０１－５０３は、センサインターフェース５０４を介してセンサ５１０と通信することができ、ホストインターフェース５０５を介してホストシステム１１０と通信することができる。任意選択的に、内部または外部バッファ５０６を利用して、処理のためのデータをバッファリングすることができる。

【0050】

一実施形態では、受信経路または上流方向について、センサ処理モジュール５０１は、センサインターフェース５０４を介してセンサからセンサデータを受信し、バッファ５０６に一時的に記憶され得るセンサデータ（例えば、フォーマット変換、エラーチェック）を処理するように構成される。データ伝送モジュール５０２は、ホストインターフェース５０５と互換性のある通信プロトコルを使用して、処理されたデータをホストシステム１１０に送信するように構成される。同様に、送信経路または下流方向について、データ伝送モジュール５０２は、ホストシステム１１０からデータまたは命令を受信するように構成される。次に、センサ処理モジュール５０１は、対応するセンサと互換性のあるフォーマットにデータを処理する。次に、処理されたデータをセンサに送信する。

【0051】

【0052】

センサインターフェース５０４は、イーサネット、ＵＳＢ（ユニバーサル・シリアル・バス）、ＬＴＥ（ロングタームエボリューション）またはセルラー、ＷｉＦｉ、ＧＰＳ、カメラ、ＣＡＮ、シリアル（例えば、ユニバーサル非同期受信機／送信機またはＵＡＲＴ）、ＳＩＭ（加入者識別モジュール）カード、および他のユニバーサル入力／出力（ＧＰＩＯ）インターフェースのうちの１つまたは複数を含み得る。ホストインターフェース５０５は、ＰＣＩｅインターフェースなど、任意の高速または高帯域幅のインターフェースであり得る。センサ５１０は、例えば、カメラ、ＬＩＤＡＲデバイス、ＲＡＤＡＲデバイス、ＧＰＳ受信機、ＩＭＵ、超音波センサ、ＧＮＳＳ（グローバルナビゲーション衛星システム）受信機、ＬＴＥまたはセルラーＳＩＭカード、車両センサ（例えば、スロットル、ブレーキ、ステアリングセンサ）、システムセンサ（例えば、温度、湿度、圧力センサ）など、自動運転車両で使用される様々なセンサを含み得る。

【0053】

例えば、カメラは、イーサネットまたはＧＰＩＯインターフェースを介して接続され得る。ＧＰＳセンサは、ＵＳＢまたは特定のＧＰＳインターフェースを介して接続され得る。車両センサは、ＣＡＮインターフェースを介して接続され得る。ＲＡＤＡＲセンサまたは超音波センサは、ＧＰＩＯインターフェースを介して接続され得る。ＬＩＤＡＲデバイスは、イーサネットインターフェースを介して接続され得る。外部ＳＩＭモジュールは、ＬＴＥインターフェースを介して接続され得る。同様に、内部ＳＩＭモジュールは、センサユニット５００のＳＩＭソケットに挿入され得る。ＵＡＲＴなどのシリアルインターフェースは、デバッグのためにコンソールシステムに接続され得る。

【0054】

なお、センサ５１０は、任意のタイプのセンサであり得、様々な供給業者または供給者によって提供される。センサ処理モジュール５０１は、異なるタイプのセンサおよびそれらのそれぞれのデータフォーマットおよび通信プロトコルを処理するように構成される。一実施形態によれば、各センサ５１０は、センサデータを処理し、処理されたセンサデータをホストシステム１１０と対応するセンサとの間で伝送するための特定のチャネルに関連付けられる。各チャネルは、対応するセンサデータおよびプロトコルを処理するように構成またはプログラミングされた特定のセンサ処理モジュールおよび特定のデータ伝送モジュールを含む。

【0055】

一実施形態では、センサユニット５００は、高精度時刻生成回路５１７を含む。図６Ａから図６Ｂに示すように、高精度時刻生成回路５１７は、センサデータがいつ各センサ５１０によって送信またはキャプチャ／トリガーされたか、および／またはセンサユニット５００によって受信されたかを追跡するために、各センサ５１０によって使用される時刻および／またはタイムスタンプを生成することができる。

【0056】

センサシステム１１５は、同期モジュール５１９をさらに含む。一実施形態では、同期モジュール５１９は、１つまたは複数の追従センサとガイドセンサのデータ取得時刻を同期させることができる。以下でより詳細に説明されるように、これにより、ガイドセンサおよび追従センサは、同じ時点で（例えば、一斉に、同時になど）センサデータを取得、記録、キャプチャなどすることができる。センサがセンサデータを一斉にまたは同時にキャプチャ、取得、および記録できない場合、ＡＤＶにとって、センサＳ１およびＳ２からのセンサデータを相互に関連付けたり、使用したりするのはより困難になる可能性がある。例えば、ＡＤＶにとって、１つのセンサによって検出されたオブジェクトが第二センサによって検出されたオブジェクトと同じであるか否かを決定するのはより困難になる可能性がある。別の例では、２つのセンサがオブジェクトを異なる時点で検出する場合、ＡＤＶにとって、オブジェクトの位置を決定するのはより困難になる可能性がある。いくつかの実施形態では、ＡＤＶのセンサを同期させることは、ＡＤＶが、異なるセンサからの異なるセンサデータを相互に関連付けるか、またはより容易に相互に関連付けることを可能にし得る。異なるセンサからのセンサデータを相互に関連付けることは、ＡＤＶが、環境内の車両、オブジェクト、障害物、歩行者、車線などをより迅速に、効果的に、容易に、および／またはより正確に検出することを可能にし得る。

【0057】

ここで図６Ａを参照すると、高精度時刻生成回路５１７は、時刻同期ユニット５５０、ＧＰＳセンサ５５１、およびローカルタイマ５５３を含み得る。時刻同期ユニット５５０は、ＧＰＳセンサ５５１からの毎秒パルス（ＰＰＳ）信号から導出された時刻に関してローカルタイマ５５３を同期させることができる。ＰＰＳは、正確な時刻測定のためのローカルタイマ５５３をナノ秒に設定するために使用され得る。ＧＰＳセンサ５５１は、図２のセンサシステム１１５のＧＰＳユニット２１２の一部であり得るか、またはＧＰＳセンサ５５１は、高精度時刻生成回路５１７に統合された専用のＧＰＳセンサであり得る。ローカルタイマ５５３は、センサユニット５００のために時刻を生成することができる。ローカルタイマ５５３は、センサユニット５００からの任意のローカルＲＴＣ（例えば、ＣＰＵＲＴＣまたはＦＰＧＡＲＴＣ）、センサのタイマ、またはセルラーソースの外部ソース（例えば、４Ｇ、ロングタームエボリューション（ＬＴＥ）、５Ｇ）、ＷＩＦＩソース、ＦＭ受信機などから検索された時刻であり得る。

【0058】

図６Ｂに示すように、時刻同期ユニット５５０は、監視モジュール５５５、調整モジュール５５７、ミリ秒発生器６０３、マイクロ秒発生器６０５、ナノ秒発生器６０７、デマルチプレクサ６０９、および構成６１１を含み得る。ミリ秒発生器６０３、マイクロ秒発生器６０５、およびナノ秒発生器６０７は、それぞれ、ローカルタイマ５５３の発振器（例えば、粒度の異なる３つの発振器カウンタ）に基づいて、ミリ秒、マイクロ秒、およびナノ秒の発振周期を生成することができる。構成６１１は、ミリ秒発生器６０３、マイクロ秒発生器６０５、およびナノ秒発生器６０７の出力のうちのどれが監視モジュール５５５にルーティングされるかを選択するように選択信号を設定することができる。監視モジュール５５５は、生成された発振周期を監視して、これらの周期をカウントすることができる。調整モジュール５５７は、ローカルタイマ５５３をＧＰＳセンサ５５１からのＰＰＳ信号と同期させるために、カウントを調整する（またはカウント表現を修正する）ことができる。一実施形態では、構成６１１に使用される選択信号は、センサユニット５００のユーザによって、またはフィードバックループ内の監視モジュール５５５／調整モジュール５５７によってプログラミングされ得る。例えば、ローカルタイマ５５３の精度が高いと決定された場合、ユーザは、ミリ秒発生器を無効化するように構成することができる。

【0059】

使用される水晶発振器のタイプに応じて、ローカルタイマ５５３は、０．１から１００ｐｐｍの範囲の精度を有することができ、例えば、任意のパルスは、０．１から１００マイクロ秒だけ偏移することができる。ＧＰＳセンサ５５１からの毎秒パルス（ＰＰＳ）信号は、０．１ｐｐｍ未満の精度率または０．１マイクロ秒未満の毎秒パルスの偏差を有する。０．１ｐｐｍのＧＰＳＰＰＳ信号の場合、ＧＰＳセンサ５５１から受信されたＰＰＳ信号は、１秒あたりの連続パルスが９９９，９９９．９から１，０００，０００．１マイクロ秒の間であると推測することができるが、典型的な１００ｐｐｍのローカルタイマ５５３は、１秒あたりの連続パルスが９９９，９００から１，０００，１００マイクロ秒の間であると推測することができる。また、ローカルタイマ５５３が使用する水晶発振器ＩＣの周囲温度の変化により、ローカルタイマ５５３のパルス偏差の変化は、リアルタイムで変更され得る。従って、その目的は、ローカルタイマ５５３を調整または同期して、ＧＰＳセンサ５５１とリアルタイムで一致させることである。

【0060】

ローカルタイマ５５３をＧＰＳセンサ５５１と同期させるために、一実施形態では、ＧＰＳセンサ５５１は、衛星が一定の精度（例えば、＜０．１ｐｐｍ）で信号を宇宙に放送することによって送信するＲＦ信号であるＧＰＳパルス信号（ＰＰＳ）を受信する。いくつかの実施形態では、ＧＰＳセンサ５５１は、第一ＧＰＳ衛星からＰＰＳ信号を受信し、次に、第一ＧＰＳ衛星が範囲外にある場合、第二ＧＰＳ衛星からＰＰＳ信号を受信する。ＧＰＳ衛星が独自の正確な時刻測定を使用し、各衛星が独自の原子時計のエアボーンセットを有するため、ＧＰＳ衛星からのＰＰＳ信号は、１つまたは複数の基準タイマとみなされ得る。しかしながら、ローカルタイマ５５３が任意のＧＰＳＰＰＳ信号と一致するようにリアルタイムで調整されるので、２つまたは複数の異なるＧＰＳ衛星のＧＰＳＰＰＳ信号間の時刻差はさほど重要ではないと想定される。これは、以下でさらに説明されるように、ローカルタイマ５５３がリアルタイムでスムーズに同期され得るためである。

【0061】

ＧＰＳＰＰＳ信号が受信されると、監視モジュール５５５は、ＰＰＳ信号の時刻とローカルタイマ５５３の時刻との間の任意の偏差を決定することができ、決定された偏差に基づいて第二ローカルリアルタイムクロック／タイマを生成することができる。例えば、ＰＰＳ信号に基づいて、日付と時刻の情報（協定世界時またはＵＴＣ形式）は、ＧＰＳ（米国海洋電子機器協会）ＮＭＥＡデータ情報によって最初に提供され得、精度が数秒に達する。次に、一実施形態では、ミリ秒発生器６０３は、ローカルタイマ５５３を使用して、１ミリ秒に近い発振カウント（例えば、第一粒度）を生成することができる。１ミリ秒に近い発振カウントは、分周器回路を使用して、ローカルタイマ５５３の信号周波数を分周することにより生成され得る。次に、監視モジュール５５５は、ミリ秒発生器６０３からの周期数（例えば、９９９個の周期）を１秒のＧＰＳＰＰＳ信号時刻間隔で検出またはカウントすることができる。例えば、ローカルタイマ５５３は、ＧＰＳＰＰＳ信号を約１ミリ秒遅らせる。ミリ秒発生器６０３がＧＰＳＰＰＳより遅れているので、一実施形態では、調整モジュール５５７は、ミリ秒発生器の出力を調整して、発振あたり１．００１ミリ秒を表す。次に、ミリ秒発生器６０３は、１秒あたり１０００回の発振表現、即ち、０．０００、１．００１、２．００２、…、９９９．９９９、および１００１ミリ秒を生成する。従って、ミリ秒発生器６０３からの９９９番目の周期は、９９９．９９９ミリ秒にカウントされる。

【0062】

次に、マイクロ秒発生器６０５は、ローカルタイマ５５３を使用して、１マイクロ秒に近い発振カウントを生成することができる。１マイクロ秒に近い発振カウントは、第二分周器回路を使用して、ローカルタイマ５５３の信号周波数を分周することによって生成され得る。監視モジュール５５５は、１ミリ秒のＧＰＳＰＰＳ時刻間隔で、マイクロ秒発生器６０５からの９８８個の周期または２マイクロ秒の偏差をカウントすることができる。同様に、マイクロ秒発生器６０５がＧＰＳＰＰＳより遅れているので、調整モジュール５５７は、マイクロ秒発生器の出力を調整して、発振あたり１．００２マイクロ秒を表す。次に、マイクロ秒発生器は、ミリ秒あたり１０００回の発振表現、即ち、０．０００、１．００２、２．００４、．．．、９９９．９９６、１０００．９９８、および１００２マイクロ秒を生成する。従って、９９８番目の周期は、９９９．９９６マイクロ秒にカウントされる。

【0063】

次に、ナノ秒発生器６０７は、ローカルタイマ５５３を使用して、１ナノ秒に近い発振カウントを生成することができる。１ナノ秒に近い発振カウント（例えば、第三粒度）は、第三分周器回路を使用して、ローカルタイマ５５３の信号周波数を分周することによって生成され得る。監視モジュール５５５は、１マイクロ秒のＧＰＳＰＰＳ時刻間隔で、ナノ秒発生器６０７からの９９７個の周期をカウントするか、３ナノ秒の偏差を検出することができる。同様に、調整モジュール５５７は、ナノ秒発生器の出力を調整して、発振あたり１．００３ナノ秒を表すことができる。次に、ナノ秒発生器は、マイクロ秒あたり１０００回の発振表現、即ち、０．０００、１．００３、２．００６、．．．、９９９．９９１、１０００．９９４、１００１．９９７、および１００３ナノ秒を生成する。従って、ナノ秒発生器６０７からの９７７番目の周期は、９９９．９９１ナノ秒にカウントされる。このようにして、任意の発生器出力（例えば、表現）またはそれらの組み合わせは、高精度時刻をリアルタイムで生成することができる。次に、高精度時刻をセンサユニット５００のセンサに提供することができる。上記の例では、ナノ秒発生器を使用して生成された時刻は、最大１ナノ秒までの精度を有する。なお、３つの発生器（例えば、３つの粒度）が説明されるが、高精度時刻は、任意の数の発生器および粒度を使用して生成され得る。

【0064】

いくつかの実施形態では、構成６１１は、デマルチプレクサ６０９を介して、発生器６０３－６０７のいずれかを選択的に有効化／無効化することができる。任意の発生器を選択的にオン／オフにすることができます。出力のサブセットのみが必要な場合、前記選択性は、発生器出力のサブセット（例えば、ナノ秒発生器のみ）を選択するのに役立つ。別の実施形態では、監視モジュール５５５は、異なる粒度の偏差をバッファリング（例えば、保存）し、ＧＰＳセンサ信号が失われた場合、ＧＰＳセンサ信号が再び復元されるまで、第一カウント値、第二カウント値、および第三カウント値（例えば、各発振の値表現）を維持する。

【0065】

図７は、一実施形態に係る例示的な同期モジュール５１９のブロック図である。上記のように、同期モジュール５１９は、センサシステム１１５の一部であり得る。同期モジュール５１９は、センサインターフェース（例えば、図５に示すセンサインターフェース５０４）を介して、センサ７１０Ａ、７２０Ａ－７２０Ｚ、７４０Ａ、および７６０Ａ－７６０Ｚに接続され得る。センサインターフェースは、イーサネット、ＵＳＢ（ユニバーサル・シリアル・バス）、ＬＴＥ（ロングタームエボリューション）またはセルラー、ＷｉＦｉ、ＧＰＳ、カメラ、ＣＡＮ、シリアル（例えば、ユニバーサル非同期受信機／送信機またはＵＡＲＴ）、ＳＩＭ（加入者識別モジュール）カード、ＰＣＩｅおよび／または他のユニバーサル入力／出力（ＧＰＩＯ）インターフェースのうちの１つまたは複数を含み得る。センサ７１０Ａ、７２０Ａ－７２０Ｚ、７４０Ａ、および７６０Ａ－７６０Ｚは、自動運転車両の一部であり得、自動運転車両が配置されている環境内のオブジェクト（例えば、オブジェクト、車両、歩行者、サイクリスト、車線、建物、標識など）を検出するために自動運転車両によって使用され得る。センサの例は、カメラ、ＬＩＤＡＲデバイス／センサ、ＲＡＤＡＲデバイスセンサ、ＧＰＳ受信機、ＩＭＵ、超音波デバイス／センサ、ＧＮＳＳ（グローバルナビゲーション衛星システム）受信機センサ、ＬＴＥまたはセルラーＳＩＭカード、車両センサ（例えば、スロットル、ブレーキ、ステアリングセンサ）、システムセンサ（例えば、温度、湿度、圧力センサ）などを含み得る。

【0066】

センサ７１０Ａおよび７４０Ａはガイドセンサであり得、センサ７２０Ａ－７２０Ｚは追従センサであり得る。ガイドセンサは、一連の追従センサ（例えば、１つまたは複数の追従センサ）に関連付けられ得る。ガイドセンサは、他のセンサ（例えば、１つまたは複数の追従センサのセット）がいつセンサデータを記録、キャプチャ、取得、獲得、感知などするべきかを決定するために使用されるセンサであり得る。例えば、ガイドセンサは、特定の時刻にセンサデータをキャプチャまたは取得することができる。ガイドセンサに関連付けられた追従センサのセットは、センサデータを同時にキャプチャまたは取得するように構成され得る。例えば、ガイドセンサと追従センサのセットは、センサデータを同時にキャプチャ／取得することができる。追従センサは、ガイドセンサに関連付けられ得る（例えば、ガイドセンサと組み合わせられ得る）。上記のように、追従センサは、関連付けられたガイドセンサがセンサデータをキャプチャ／取得する時刻に基づいてセンサデータをキャプチャ／取得するセンサであり得る。異なる実施形態では、任意の組み合わせおよび／または任意の数のガイドセンサおよび／または追従センサは、センサシステム１１５で使用され得る。例えば、センサは、異なるセットに編成され得、各セットは、１つまたは複数のガイドセンサおよび１つまたは複数の追従センサを有することができる。

【0067】

各センサは、１つまたは複数のデータ取得特性を有することができる。センサのデータ取得特性は、特性、特徴、パラメータ、属性、機能などであり得る。それは、センサがデータをキャプチャするのにかかる時刻を示したり、決定したりするために使用され得る。例えば、センサがカメラである場合、カメラのデータ取得特性は、シャッター速度、露出設定、絞り設定、ＩＳＯ速度などを含み得る。これらのデータ取得特性は、カメラが画像を撮影または記録するのにかかる時刻を示したり、決定（計算など）したりするために使用され得る。別の例では、センサがＬＩＤＡＲセンサ／デバイスである場合、ＬＩＤＡＲセンサ／デバイスのデータ取得特性は、レーザー機器または反射鏡の回転速度を含み得る。回転速度は、ＬＩＤＡＲセンサ／デバイスがＬＩＤＡＲデータをキャプチャするのにかかる時刻を示したり、決定（計算など）したりするために使用され得る。

【0068】

一実施形態では、センサのデータ取得特性は、命令、メッセージ、パケットなどを受信した後、センサがセンサデータをキャプチャ／取得するのにかかる時刻を含み得る。例えば、カメラは、カメラ内のＣＣＤ（電荷結合デバイス）およびＣＭＯＳ（相補型金属酸化膜半導体）センサを起動するのに時刻がかかる可能性がある。別の例では、レーダーデバイス／センサは、送信機の電源を入れるのに時刻がかかる可能性がある。別の例では、ＬＩＤＡＲデバイス／センサは、レーザー機器の電源を入れるのに時刻がかかる可能性がある。命令、メッセージ、パケットなどを受信してからセンサデータのキャプチャを開始するまでの時刻は、センサの起動遅延と呼ばれ得る。さらに別の例では、ＬＩＤＡＲデバイス／センサの場合、レーザー機器または反射鏡は、特定の位置／位置に回転するのに時刻がかかる可能性がある。起動遅延は、センサのデータ取得特性の一例であり得る。

【0069】

一実施形態では、センサのデータ取得特性は、センサがセンサデータをキャプチャ／取得するのにかかる時刻を含み得る。例えば、カメラは、画像をキャプチャまたは記録するのに一定の時刻がかかる可能性がある。別の例では、レーダーセンサ／デバイスは、オブジェクトまでの距離を決定するのに十分な測定を実行するのに時刻がかかる可能性がある。センサは、かかった時刻をキャプチャ、取得、記録、生成などする。センサデータは、取得遅延と呼ばれ得る。取得遅延は、センサのデータ取得特性の一例であり得る。取得遅延は、センサの他のデータ取得特性（例えば、カメラのシャッター速度、露出時刻など）に基づくものであり得る。

【0070】

同期モジュール５１９は、ガイドセンサモジュール７３１Ａおよび７５１Ａを含む。一実施形態では、ガイドセンサモジュールは、ガイドセンサの１つまたは複数のデータ取得特性を決定することができる。例えば、ガイドセンサモジュール７３１Ａは、センサ７１０Ａ（例えば、ガイドセンサ）の１つまたは複数のデータ取得特性を決定することができ、ガイドセンサモジュール７５１Ａは、センサ７４０Ａ（例えば、ガイドセンサ）の１つまたは複数のデータ取得特性を決定することができる。ガイドセンサモジュールは、ガイドセンサの設定／パラメータへのアクセス、プロファイルの読み取り、データ取得特性についてのガイドセンサへの照会（例えば、データ取得特性についてのガイドセンサへの照会）などによって、ガイドセンサの１つまたは複数の特性を決定することができる。

【0071】

同期モジュール５１９は、追従センサモジュール７３３Ａ－７３３Ｚおよび７５３Ａ－７５３Ｚをさらに含む。一実施形態では、追従センサモジュールは、追従センサの１つまたは複数のデータ取得特性を決定することができる。一実施形態では、追従センサモジュール７３３Ａは、センサ７２０Ａ（例えば、追従センサ）の１つまたは複数のデータ取得特性を決定することができる。追従センサモジュールは、追従センサの設定／パラメータへのアクセス、プロファイルの読み取り、データ取得特性についての追従センサへの照会（例えば、データ取得特性についての追従センサへの照会）などによって、追従センサの１つまたは複数の特性を決定することができる。

【0072】

同期モジュール５１９は、起動モジュール７３２Ａ－７３２Ｚおよび７５２Ａ－７５２Ｚをさらに含む。一実施形態では、起動モジュールは、センサデータのキャプチャ、取得、記録などを起動することができる。例えば、起動モジュール７３２Ａは、フレーム、メッセージ、パケット、命令などをセンサ７２０Ａに送信して、センサにセンサデータのキャプチャを開始させることができる。メッセージ、パケット、命令などは、センサ７２０Ａを起動およびトリガーして、それにセンサデータをキャプチャさせることができる。起動モジュール７３２Ａが（センサをトリガーするか、またはセンサにセンサデータをキャプチャさせるために）メッセージ、パケット、命令などをセンサに送信するのにかかる時刻は、起動時刻と呼ばれ得る。

【0073】

一実施形態では、上記のように、同期モジュール５１９（例えば、ガイドセンサモジュールまたは追従センサモジュール）は、ガイドセンサ（例えば、センサ７１０Ａ）の一連のデータ取得特性、およびガイドセンサ（例えば、センサ７２０Ａ－７２０Ｚ）に関連付けられた一連の追従センサを決定することができる。同期モジュール５１９（例えば、起動モジュール）は、ガイドセンサ（例えば、センサ７１０Ａ）および１つまたは複数の追従センサ（例えば、センサ７２０Ａ－７２０Ｚ）のデータ取得特性に基づいて、ガイドセンサ（例えば、センサ７１０Ａ）および１つまたは複数の追従センサ（例えば、センサ７２０Ａ－７２０Ｚ）のデータ取得時刻を同期させることができる。例えば、同期モジュール５１９は、ガイドセンサに第一データ取得時刻（例えば、第一時刻または期間）にセンサデータを取得させることができ、追従センサに第二データ取得時刻（例えば、第二時刻または期間）にセンサデータを取得させることができる。データ取得時刻は、センサがセンサデータを取得できる時刻周期、時刻フレームなどとも呼ばれ得る。第一データ取得時刻と第二データ取得時刻は重複する場合がある。例えば、同期モジュール５１９は、ガイドセンサおよび（ガイドセンサに関連付けられた）１つまたは複数の追従センサに、データを同時に取得させることができる（例えば、センサの取得遅延の時刻周期は、少なくとも部分的に重複し得る）。

【0074】

一実施形態では、同期モジュール５１９（例えば、起動モジュール）は、ガイドセンサおよび／または１つまたは複数の追従センサのデータ取得特性に基づいて、ガイドセンサおよび／または１つまたは複数の追従センサのデータ取得時刻を決定することができる。例えば、以下でより詳細に説明されるように、同期モジュール５１９は、ガイドセンサおよび／または１つまたは複数の追従センサの起動遅延および／または取得遅延に基づいて、ガイドセンサおよび／または１つまたは複数の追従センサのデータ取得時刻を決定することができる。一実施形態では、センサのデータ取得時刻は、取得遅延を含み得、および／または取得遅延と同じであり得る（例えば、データ取得時刻は、取得遅延である）。

【0075】

一実施形態では、同期モジュール５１９（例えば、起動モジュール）は、ガイドセンサおよび／または１つまたは複数の追従センサのセンサ履歴に基づいて、ガイドセンサおよび／または１つまたは複数の追従センサのデータ取得時刻を決定することができる。例えば、同期モジュール５１９は、ガイドセンサおよび／または１つまたは複数の追従センサの以前の起動遅延および取得遅延を追跡、記録などすることができる。同期モジュール５１９は、ガイドセンサおよび／または１つまたは複数の追従センサの平均起動遅延および平均取得遅延を決定することができる。同期モジュール５１９は、ガイドセンサおよび／または１つまたは複数の追従センサの平均起動遅延および平均取得遅延に基づいて、ガイドセンサおよび／または１つまたは複数の追従センサのデータ取得時刻を決定することができる。

【0076】

一実施形態では、同期モジュール５１９（例えば、起動モジュール）は、センサのデータ取得時刻に基づいて、センサの起動時刻を決定することができる。センサのデータ取得時刻および所望のデータ取得時刻に基づいて、同期モジュール５１９は、センサが所望のデータ取得時刻（例えば、所望の時刻、時刻フレーム、時刻周期などの期間）にセンサデータをキャプチャ／取得するように、センサをいつ起動またはトリガーするかを決定することができる。例えば、以下でより詳細に説明されるように、センサの所望のデータ取得時刻（センサデータのキャプチャ／取得時刻）が時刻Ｔである場合、同期モジュール５１９は、センサの起動時刻がＴからセンサの起動遅延を引いたもの（および取得遅延の一部または全部を引いたもの）であるべきであると決定することができる。

【0077】

一実施形態では、ガイドセンサは、起動時刻の使用をサポートすることができ、１つまたは複数の追従センサは、起動時刻の使用をサポートすることができる。例えば、ガイドセンサおよび１つまたは複数の追従センサは、特定の時刻にセンサデータの取得を開始するようにトリガーされ得る（例えば、特定の時刻にセンサデータの取得を開始するように指示され得る）。別の実施形態では、ガイドセンサは、起動時刻の使用をサポートすることができない場合があり、１つまたは複数の追従センサは、起動時刻の使用をサポートすることができる場合がある。例えば、センサがセンサデータの取得を開始すると、センサは、センサデータのキャプチャに使用される周波数またはタイミングを調整できない場合がある（例えば、センサは、１５ミリ秒ごとにデータをキャプチャでき、異なる時刻間隔でデータをキャプチャできない場合がある）。ガイドセンサが特定の時刻にトリガーまたは起動されない可能性があるため、１つまたは複数の追従センサは、ガイドセンサのタイミング（例えば、取得遅延および／または起動遅延）を使用して、センサデータの取得を開始するために１つまたは複数の追従センサをトリガーすべき時刻を決定することができる。

【0078】

図８Ａは、一実施形態に係る２つのセンサＳ１およびＳ２の動作のタイミングを示す曲線図８００である。センサＳ１およびＳ２は、自動運転車両のセンサであり得る。例えば、センサＳ１はカメラであり得、センサＳ２はＬＩＤＡＲセンサ／デバイスであり得る。センサＳ２はガイドセンサであり得、センサＳ１はセンサＳ２に関連付けられた（例えば、ガイドセンサに関連付けられた）追従センサであり得る。上記のように、ガイドセンサは、１つまたは複数の追従センサがいつセンサデータを記録、キャプチャ、取得、獲得、感知などするべきかを決定するために使用されるセンサであり得る。センサＳ１およびＳ２は、それぞれ、１つまたは複数のデータ取得特性を有することができる。上記のように、センサのデータ取得特性は、センサがデータをキャプチャするのにかかる時刻を示したり、決定したりするために使用され得る特性、性質、パラメータ、属性、機能などであり得る。例えば、起動遅延および／または取得遅延は、センサのデータ取得特性であり得る。

【0079】

図８Ａに示すように、センサＳ１およびＳ２は５ミリ秒で起動され得る。例えば、センサＳ１およびＳ２は、メッセージ、命令、データなどを受信して、５ミリ秒でセンサデータのキャプチャ、記録、取得などを開始することができる。Ｔ１ＡはセンサＳ１の起動遅延であり得、Ｔ２ＡはセンサＳ２の起動遅延であり得る。上記のように、起動遅延は、センサがメッセージ、命令、データなどを受信した後、センサデータのキャプチャ、記録、取得などを開始するのにかかる時刻であり得る。Ｔ１Ａは５ｍｓの起動遅延を表し、Ｔ２Ａは１５ｍｓの起動遅延を表す。Ｔ１ＢはセンサＳ１の取得遅延であり得、Ｔ２ＢはセンサＳ２の取得遅延であり得る。上記のように、取得遅延は、センサがセンサデータをキャプチャするのにかかる時刻（例えば、カメラがキャプチャして画像化するのにかかる時刻）であり得る。Ｔ１Ｂは１０ｍｓの取得遅延を表し、Ｔ２Ｂは１５ｍｓの取得遅延を表す。

【0080】

図８Ａに示すように、センサＳ１およびＳ２は、異なる時点でセンサデータを収集、記録、キャプチャ、取得などすることができる。例えば、センサＳ１は、１０ｍｓで開始して２０ｍｓで終了する取得遅延Ｔ１Ｂの間にセンサデータを記録／取得する。センサＳ２は、２０ｍｓで開始して３５ｍｓで終了する取得遅延Ｔ２Ｂの間にセンサデータを記録／取得する。センサＳ１およびＳ２が異なる時点でセンサデータをキャプチャ／取得するため、それらは、異なる時点で環境内のオブジェクトを検出することができる。例えば、センサＳ１は取得遅延Ｔ１Ｂの間に別の車両を検出することができ、センサＳ２は取得遅延Ｔ２Ｂの間に同じ車両を検出することができる。しかしながら、センサＳ１およびＳ２が車両を検出する時刻、時刻周期、時刻フレームなどは重複しないため（例えば、センサＳ１およびＳ２がセンサデータを同時に取得・キャプチャしないため）、ＡＤＶにとって、センサＳ１およびＳ２からのセンサデータを相互に関連付けたり、使用したりするのはより困難になる可能性がある。例えば、センサＳ１は、取得遅延Ｔ１Ｂの間に車両の画像をキャプチャすることができる。センサＳ２は、レーザーを使用して、取得遅延Ｔ２Ｂの間に車両の距離および／または形状を検出することができる。しかしながら、センサＳ１が最初に車両の画像をキャプチャし、次にセンサＳ２が車両の距離を検出するので、センサＳ２が車両の距離を検出したとき、車両は、もはや同じ位置にない可能性がある（例えば、もはやＡＤＶから同じ距離にない可能性がある）。従って、ＡＤＶにとって、センサＳ１およびＳ２から受信されたセンサデータを相互に関連付けるのはより困難になる可能性がある。例えば、ＡＤＶにとって、センサＳ１からの画像からキャプチャされた車両が、センサＳ２によって検出された車両と同じであるか否かを決定するのはより困難（または不可能）になる可能性がある。

【0081】

図８Ｂは、一実施形態に係る２つのセンサＳ１およびＳ２の動作のタイミングを示す曲線図８００である。センサＳ１およびＳ２は、自動運転車両のセンサであり得る。センサＳ２はガイドセンサであり得、センサＳ１はセンサＳ２に関連付けられた（例えば、ガイドセンサに関連付けられた）追従センサであり得る。上記のように、ガイドセンサは、１つまたは複数の追従センサがいつセンサデータを記録、キャプチャ、取得、獲得、感知などするべきかを決定するために使用されるセンサであり得る。センサＳ１およびＳ２は、それぞれ、１つまたは複数のデータ取得特性を有することができる。上記のように、センサのデータ取得特性は、センサがデータをキャプチャするのにかかる時刻を示したり、決定したりするために使用され得る特性、性質、パラメータ、属性、機能などであり得る。

【0082】

一実施形態では、ＡＤＶは、センサＳ１およびＳ２のデータ取得特性に基づいて、センサＳ１およびＳ２の起動時刻を決定することができる。例えば、センサＳ１は、５ｍｓの起動遅延、および１０ｍｓの取得遅延を有する。センサＳ２は、１５ｍｓの起動遅延、および１５ｍｓの取得遅延を有する。ＡＤＶは、センサＳ１およびＳ２のデータ取得時刻が少なくとも部分的に重複するように、またはセンサＳ１およびＳ２がセンサデータを同時にキャプチャ、記録、取得などするように（例えば、センサＳ１のデータ取得時刻とセンサＳ２のデータ取得時刻との間には少なくともいくつかの重複がある）、センサＳ１およびＳ２のデータ取得時刻を決定することができる。

【0083】

図８Ｂに示すように、ＡＤＶ（例えば、図５および図７に示す同期モジュール５１９）は、センサＳ１およびＳ２の起動時刻を決定することができる。上記のように、センサＳ１およびＳ２の起動時刻は、センサＳ１およびＳ２がセンサデータの記録、キャプチャ、収集などを開始できる時刻であり得る。センサＳ１の起動遅延は１５ｍｓであり得、センサＳ２の起動遅延は５ｍｓであり得る。センサＳ１の起動遅延が５ｍｓであり、センサＳ２の起動遅延が１５ｍｓであるため、センサＳ２は、より早く起動され得る。これにより、センサＳ１およびＳ２は、センサデータのキャプチャ、記録などを同時に開始することができる。例えば、センサＳ１およびＳ２は両方とも、２０ｍｓの時点でセンサデータのキャプチャ、記録などを開始することができる。従って、センサＳ１およびＳ２は、センサデータの記録、キャプチャなどを同時に実行することができる。

【0084】

他の実施形態では、センサのデータ取得時刻の間に少なくともいくつかの重複がある場合（例えば、センサの取得遅延の時刻周期の間にいくつかの重複がある場合）、起動時刻および／またはデータ取得時刻は偏移され得る。例えば、センサＳ１の起動時刻は２０ｍｓであり得、取得遅延Ｔ１Ｂは２５ｍｓから３５ｍｓの間であり得る。これにより、センサＳ１およびＳ２は、キャプチャ、記録、取得などを同時に完了することができる。

【0085】

上記のように、センサが異なる時点でセンサデータをキャプチャ、記録、取得などする場合、ＡＤＶにとって、異なるセンサからのセンサデータを相互に関連付けるのは困難である可能性がある。図８Ｂに示すように、ＡＤＶは、センサＳ１およびＳ２がデータをキャプチャ、記録、取得などする期間に少なくともいくつかの重複があるように、センサＳ１およびＳ２を同期させる（例えば、センサＳ１およびＳ２の動作を同期させる）ことができる。センサＳ１およびＳ２がセンサデータを取得する時刻、時刻周期、時刻フレームなどは重複するため、これにより、ＡＤＶは、センサＳ１およびＳ２からのセンサデータをより容易に相互に関連付けることができる。例えば、センサＳ１はカメラであり得、取得遅延Ｔ１Ｂの間に車両の画像をキャプチャすることができる。センサＳ２はＬＩＤＡＲデバイス／センサであり得、取得遅延Ｔ２Ｂの間にレーザー機器を使用して車両の距離および／または形状を検出することができる。センサＳ１が最初に車両の画像をキャプチャし、同時にセンサＳ２が車両までの距離を検出するので、ＡＤＶは、センサＳ２によって（レーザーを使用して）検出された車両が、センサＳ１によって生成された画像内の車両と同じであると決定することができる。

【0086】

いくつかの実施形態では、異なるセンサからのセンサデータを相互に関連付けることは、ＡＤＶが、環境内の車両、オブジェクト、障害物、歩行者、車線などをより容易に、および／またはより正確に検出することを可能にし得る。例えば、カメラとＬＩＤＡＲデバイス／センサが同時に車両を検出する場合、ＡＤＶは、センサデータをより容易に相互に関連付けることができ、環境内にオブジェクトがあることをより確実にすることができる。別の例では、ＡＤＶが複数のセンサからのセンサデータをより容易に相互に関連付けることができる場合、ＡＤＶは、環境内のオブジェクトの位置、速度、および／または走行方向をより容易に決定することができる。

【0087】

図９は、一実施形態に係る、自動運転車両のセンサを同期させるための例示的なプロセス９００を示すフローチャートである。プロセス９００は、ソフトウェア、ハードウェア、またはそれらの組み合わせを含み得る処理ロジックによって実行され得る。プロセス９００は、ハードウェア（例えば、回路、特定用途向けロジック、プログラマブルロジック、プロセッサ、処理デバイス、中央処理装置（ＣＰＵ）、システムオンチップ（ＳｏＣ）など）、ソフトウェア（例えば、処理デバイスで伝達および実行される命令）、ファームウェア（例えば、マイクロコード）またはそれらの組み合わせを含み得る処理ロジックによって実行され得る。いくつかの実施形態では、プロセス９００は、処理デバイス、同期モジュール（例えば、図５および図７に示す同期モジュール５１９）、同期モジュールの一部（例えば、図７に示すガイドセンサモジュール、起動モジュール、および／または追従センサモジュール）などによって実行され得る。

【0088】

ブロック９０５において、プロセス９００は、ガイドセンサの１つまたは複数のデータ取得特性を決定することができる。例えば、プロセス９００は、ガイドセンサに照会するか、またはプロファイルにアクセスすることができる。ブロック９１０において、プロセス９００は、１つまたは複数の追従センサの１つまたは複数のデータ取得特性を決定することができる。例えば、プロセス９００は、１つまたは複数の追従センサに照会するか、または１つまたは複数のプロファイルにアクセスすることができる。

【0089】

ブロック９１５において、プロセス９００は、ガイドセンサのデータ取得時刻を、１つまたは複数の追従センサのデータ取得時刻と同期させることができる。例えば、ブロック９１６において、プロセス９００は、ガイドセンサおよび１つまたは複数の追従センサのデータ取得時刻を決定することができる（例えば、センサがセンサデータを同時に取得、採集、記録、収集などする必要がある場合）。ガイドセンサおよび１つまたは複数の追従センサのデータ取得時刻は、ガイドセンサおよび／または１つまたは複数の追従センサのデータ取得特性に基づいて（例えば、起動遅延、取得遅延などに基づいて）決定され得る。ブロック９１７において、プロセス９００は、ガイドセンサおよび／または１つまたは複数の追従センサの起動時刻を決定することができる。例えば、ガイドセンサがユーザの起動時刻をサポートできる場合、プロセス９００は、ガイドセンサおよび１つまたは複数の追従センサの起動時刻を決定することができる。別の例では、ガイドセンサがユーザの起動時刻をサポートできない場合、プロセス９００は、１つまたは複数の追従センサの起動時刻を決定することができる。ブロック９１８において、プロセス９００は、起動時刻にセンサ（例えば、ガイドセンサおよび／または１つまたは複数の追従センサ）を起動することができる。従って、ガイドセンサおよび／または１つまたは複数の追従センサは、センサデータを採集、記録、取得、収集などするために使用され得る。

【0090】

ブロック９２０において、プロセス９００は、センサデータに基づいてＡＤＶの経路を決定することができる。例えば、ＡＤＶのセンサによって検出された障害物を回避する道路上の経路を決定することができる。ブロック９２５において、プロセス９００は、経路に基づいてＡＤＶを制御することができる。例えば、プロセス９００は、ＡＤＶを経路に沿って移動させることができる。

【0091】

図１０Ａは、一実施形態に係る例示的なセンサ検証システム１０００を示すブロック図である。検証システム１０００は、センサシステム１１５および検証デバイス１０２０を含む。センサシステム１１５は、センサ５１０、検証モジュール１０１０、およびセンサユニット５００を含む。上記のように、センサシステム１１５は、ホストシステム（図１０Ａには図示せず）をさらに含み得る。センサ５１０は、カメラ、ＬＩＤＡＲデバイス、ＲＡＤＡＲデバイス、ＧＰＳ受信機、ＩＭＵ、超音波センサ、ＧＮＳＳ（グローバルナビゲーション衛星システム）受信機、ＬＴＥまたはセルラーＳＩＭカード、車両センサ（例えば、スロットル、ブレーキ、ステアリングセンサ）、システムセンサ（例えば、温度、湿度、圧力センサ）など、自動運転車両で使用される様々なセンサを含み得る。図１０Ａには１つのセンサ５１０が示されているが、他の実施形態では、センサシステム１１５は、複数のセンサを含み得る。

【0092】

一実施形態では、センサ５１０は、アクティブセンサであり得る。アクティブセンサは、波を放出、送信、伝播、生成などすることができるセンサであり得る。例えば、アクティブセンサは、電磁波（例えば、無線電波、光波、赤外線波など）を送信または放出することができ、電磁波の反射を検出して、自動運転車両の周囲環境内のオブジェクトを検出することができる。別の例では、アクティブセンサは、音波を送信または放出することができ、音波の反射を検出して、自動運転車両の周囲環境内のオブジェクトを検出することができる。アクティブセンサの例は、レーダーセンサ／デバイス、ＬＩＤＡＲセンサ／デバイス、超音波センサ／デバイスなどを含み得る。別の実施形態では、センサ５１０は、パッシブセンサであり得る。パッシブセンサは、波を放出、送信、伝播、生成などしないセンサであり得る。例えば、パッシブセンサは、電磁波または音波を検出して、自動運転車両の周囲環境内のオブジェクトを検出することができる。パッシブセンサの例は、マイクロフォン、カメラ、ビデオカメラなどを含み得る。

【0093】

センサユニット５００は、ＦＰＧＡデバイスまたはＡＳＩＣデバイスの形態で実装され得る。上記のように、センサユニット５００は、センサインターフェースを介してセンサ５１０と通信することができ、ホストインターフェースを介してホストシステムと通信することができる。センサインターフェースは、イーサネット、ＵＳＢ、ＬＴＥまたはセルラー、ＷｉＦｉ、ＧＰＳ、カメラ、ＣＡＮ、シリアル、ＳＩＭカードおよび／または他のＧＰＩＯインターフェースの１つまたは複数を含み得る。ホストインターフェース５０５は、ＰＣＩｅインターフェースなど、任意の高速または高帯域幅のインターフェースであり得る。センサユニット５００は、センサインターフェースを介してセンサ５１０からセンサデータを受信し、センサデータを処理することができる（例えば、フォーマット変換、エラーチェック）。センサユニット５００は、ホストインターフェースと互換性のある通信プロトコルを使用して、処理されたデータをホストシステムに送信することができる。同様に、送信経路または下流方向について、センサユニット５００は、ホストシステムからデータまたは命令を受信することができる。次に、センサユニット５００は、データをセンサ５１０と互換性のあるフォーマットに処理する。次に、処理されたデータをセンサ５１０に送信する。

【0094】

一実施形態では、センサ制御モジュールまたはロジック５０３は、センサデータをキャプチャすることのアクティブ化のタイミングなど、ホストインターフェース５０５を介してホストシステム（例えば、感知モジュール３０２）から受信された命令に応答して、センサ５１０の特定の動作を制御するように構成される。ホストシステム１１０は、センサデータが任意の時点で車両周辺の運転環境を感知するために使用され得るように、協調および／または同期方式でセンサデータをキャプチャするようにセンサ５１０を設定することができる。なお、センサ５１０は、任意のタイプのセンサであり得、様々な供給業者または供給者によって提供される。センサユニット５００は、異なるタイプのセンサおよびそれらのそれぞれのデータフォーマットおよび通信プロトコルを処理するように構成される。

【0095】

一実施形態では、センサユニット５００は、時刻生成回路（図１０Ａには図示せず）をさらに含む。時刻生成回路は、時刻を示したり、検証システム１０００のコンポーネントのために時刻（例えば、グローバル時刻、基準時刻など）を決定したりするために使用され得る信号を生成することができる。例えば、時刻生成回路は、現在の時刻を連続的に出力することができるクロックまたは現在の時刻を示すタイミング信号であり得る。センサ５１０および検証モジュールは、タイミング信号を使用して、タイムスタンプを決定したり、操作、動作などをいつ実行するかを決定したりすることができる。一実施形態では、時刻生成回路は、検証モジュール１０１０の一部であり得る。別の例では、上記のように、時刻生成回路は、センサユニット５００の一部であり得る。別の実施形態では、時刻生成回路は、検証モジュール１０１０およびセンサユニット５００から分離され得る。

【0096】

検証システム１０００は、検証デバイス１０２０を含む。一実施形態では、検証デバイス１０２０は、検出器であり得る。検出器は、センサ５１０によって生成、放出、送信などされる波を検出することができるデバイスであり得る。例えば、センサ５１０は、ＬＩＤＡＲデバイス（例えば、アクティブセンサ）であり得、検証デバイス１０２０は、ＬＩＤＡＲデバイスによって放出された光波を検出することができる光電検出器（例えば、レーザー機器）であり得る。別の例では、センサ５１０は、レーダーデバイス（例えば、アクティブセンサ）であり得、検証デバイス１０２０は、レーダーデバイスによって放出された無線電波を検出するアンテナであり得る。別の例では、センサ５１０は、超音波デバイス（例えば、アクティブセンサ）であり得、検証デバイス１０２０は、超音波デバイスによって放出された音波を検出するマイクロフォンであり得る。

【0097】

センサシステム１１５は、検証モジュール１０１０をさらに含む。一実施形態では、検証モジュール１０１０は、センサ５１０の動作を検証することができる。例えば、検証モジュール１０１０は、センサ５１０がセンサデータのキャプチャを十分に迅速に開始できるか否か（例えば、起動遅延が許容可能な時刻／範囲内にあるか否か）を決定することができる。別の例では、検証モジュール１０１０は、センサ５１０がセンサデータを十分に迅速にキャプチャできるか否か（例えば、取得遅延が許容可能な時刻／範囲内にあるか否か）を決定することができる。別の例では、検証モジュール１０１０は、センサ５１０がセンサデータを別のデバイス（例えば、ホストシステム）に十分に迅速に送信できるか否かを決定することができる。さらに別の例では、検証モジュール１０１０は、センサ５１０によって取得されたセンサデータに基づいて、センサ５１０がオブジェクトを検出できるか否かを決定することができる。

【0098】

上記のように、センサがセンサデータを同時にまたは一斉にキャプチャ、取得、および記録していない場合（例えば、センサが同期されていない場合）、ＡＤＶにとって、複数のセンサからのセンサデータを相互に関連付けたり、使用したりするのはより困難になる可能性がある。例えば、ＡＤＶにとって、特定のセンサによって検出されたオブジェクトが第二センサによって検出されたオブジェクトと同じであるか否かを決定するのはより困難になる可能性がある場合、または２つのセンサが異なる時点でオブジェクトを検出した場合、ＡＤＶにとって、オブジェクトの位置を決定するのはより困難になる可能性がある。ＡＤＶのセンサを同期させることは、ＡＤＶが、異なるセンサからの異なるセンサデータを相互に関連付けるか、またはより容易に相互に関連付けることを可能にし得る。異なるセンサからのセンサデータを相互に関連付けることは、ＡＤＶが、環境内の車両、オブジェクト、障害物、歩行者、車線などをより迅速に、効果的に、容易に、および／またはより正確に検出することを可能にし得る。例えば、ＡＤＶは、センサデータをより容易に相互に関連付けることができ、環境内にオブジェクトがあることをより確実にすることができる。別の例では、ＡＤＶが複数のセンサからのセンサデータをより容易に相互に関連付けることができる場合、ＡＤＶは、環境内のオブジェクトの位置、速度、および／または走行方向をより容易に決定することができる。

【0099】

センサ５１０の動作を検証することは、センサシステム１１５（例えば、図５および図７に示す同期モジュール５１９）がセンサ５１０を自動運転車両の他のセンサと適切に同期させることを可能にし得る。例えば、センサが適切に動作していない場合（例えば、センサデータを取得するのに時刻がかかりすぎたり、起動するのに時刻がかかりすぎたりする場合など）、センサシステム１１５は、センサ５１０を他のセンサと適切に同期させることができない可能性がある。検証モジュール１０１０は、センサシステム１１５が、センサ５１０が適切に動作しているか否かを検証することを可能にし得、これにより、センサは、自動運転車両の他のセンサと適切に同期され得る。センサ５１０が適切に動作していない場合、検証モジュール１０１０は、センサ５１０が適切に動作していないこと（例えば、エラーメッセージの送信、エラーメッセージの表示など）を提供することができる。これにより、ユーザ（例えば、運転者／乗客、機械工、技術者など）は、センサ５１０がいつ適切に動作していないかを把握し、センサ５１０を取り替えることができる。

【0100】

図１０Ｂは、一実施形態に係る例示的なセンサ検証システム１０５０を示すブロック図である。検証システム１０５０は、センサ５１０、検証モジュール１０１０、および検証デバイス１０２０を含む。センサ５１０は、自動運転車両で使用される様々なセンサ（例えば、ＬＩＤＡＲデバイス、レーダーデバイス、超音波センサ、カメラ、ビデオカメラ、ＧＰＳ受信機など）を含み得る。図１０Ｂには１つのセンサ５１０が示されているが、他の実施形態では、検証システム１０５０は、複数のセンサを含み得る。

【0101】

一実施形態では、センサ５１０は、アクティブセンサ（例えば、ＬＩＤＡＲセンサ、デバイス、レーダーセンサ／デバイス、ＩＲセンサ／デバイス、超音波センサ／デバイス）であり得る。アクティブセンサは、波（例えば、無線電波、光波、赤外線波、音波など）を放出、送信、伝播、生成などすることができ、波の反射を検出して、自動運転車両の周囲環境内のオブジェクトを検出することができるセンサであり得る。別の実施形態では、センサ５１０は、パッシブセンサであり得る。パッシブセンサは、波を放出、送信、伝播、生成などしないセンサ（例えば、カメラ、ビデオカメラ、ＧＰＳ受信機、マイクロフォンなど）であり得る。センサ５１０は、センサインターフェースを介して検証モジュール１０１０に接続され得る。上記のように、センサインターフェースは、イーサネット、ＵＳＢ、ＬＴＥまたはセルラー、ＷｉＦｉ、ＧＰＳ、カメラ、ＣＡＮ、シリアル、ＳＩＭカード、ＰＣＩｅインターフェースおよび／または他のＧＰＩＯインターフェースのうちの１つまたは複数を含み得る。検証モジュール１０１０は、センサインターフェースを介してセンサ５１０からセンサデータを受信し、センサデータを処理することができる（例えば、フォーマット変換、エラーチェック）。一実施形態では、検証モジュール１０１０は、センサデータをキャプチャすることのアクティブ化のタイミングなど、センサ５１０の特定の動作を制御するように構成される。これにより、検証モジュール１０１０は、センサ５１０の動作を検証することができる。

【0102】

一実施形態では、センサユニット５００は、時刻生成回路（図１０Ａには図示せず）をさらに含む。時刻生成回路は、時刻を示したり、検証システム１０００のコンポーネントのために時刻（例えば、グローバル時刻、基準時刻など）を決定したりするために使用され得る信号を生成することができる。例えば、時刻生成回路は、現在の時刻を連続的に出力することができるクロックまたは現在の時刻を示すタイミング信号であり得る。センサ５１０、検証デバイス１０１０、および検証モジュール１０２０は、タイミング信号を使用して、タイムスタンプを決定したり、操作、動作などをいつ実行するかを決定したりすることができる。一実施形態では、時刻生成回路は、検証モジュール１０１０の一部であり得る。別の例では、上記のように、時刻生成回路は、センサユニット５００の一部であり得る。別の実施形態では、時刻生成回路は、検証モジュール１０１０およびセンサユニット５００から分離され得る。

【0103】

検証システム１０００は、検証デバイス１０１０を含む。一実施形態では、検証デバイス１０２０は、検出器であり得る。検出器は、センサ５１０によって生成、放出、送信などされる波を検出することができるデバイスであり得る。例えば、センサ５１０は、ＬＩＤＡＲデバイス（例えば、アクティブセンサ）であり得、検証デバイス１０２０は、ＬＩＤＡＲデバイスによって放出された光波を検出することができる光電検出器（例えば、レーザー機器）であり得る。別の例では、センサ５１０は、レーダーデバイス（例えば、アクティブセンサ）であり得、検証デバイス１０２０は、レーダーデバイスによって放出された無線電波を検出するアンテナであり得る。別の例では、センサ５１０は、超音波デバイス（例えば、アクティブセンサ）であり得、検証デバイス１０２０は、超音波デバイスによって放出された音波を検出するマイクロフォンであり得る。

【0104】

【0105】

上記のように、センサがセンサデータを同時にまたは一斉にキャプチャ、取得、および記録していない場合、ＡＤＶにとって、複数のセンサからのセンサデータを相互に関連付けたり、使用したりするのはより困難になる可能性がある。ＡＤＶのセンサを同期させることは、ＡＤＶが、異なるセンサからの異なるセンサデータを相互に関連付けるか、またはより容易に相互に関連付けることを可能にし得る。異なるセンサからのセンサデータを相互に関連付けることは、ＡＤＶが、環境内の車両、オブジェクト、障害物、歩行者、車線などをより迅速に、効果的に、容易に、および／またはより正確に検出することを可能にし得る。センサ５１０の動作を検証することは、ユーザ（例えば、技術者、機械工など）が、センサ５１０が自動運転車両の他のセンサと適切に同期できるか否かを決定することを可能にし得る。検証モジュール１０１０は、センサシステム１１５が、センサ５１０が適切に動作しているか否かを検証することを可能にし得、これにより、センサ５１０は、自動運転車両の他のセンサと適切に同期され得る。センサ５１０が適切に動作していない場合、検証モジュール１０１０は、センサ５１０が適切に動作していないこと（例えば、エラーメッセージの送信、エラーメッセージの表示など）を提供することができ、これにより、ユーザは、センサ５１０がいつ適切に動作していないかを把握し、センサ５１０を取り替えることができる。

【0106】

図１１は、一実施形態に係る例示的な検証システム１１００を示すブロック図である。検証システム１１００は、センサ５１０、検証モジュール１０１０、および検出器１１５０を含む。センサ５１０は、ＬＩＤＡＲデバイス、レーダーデバイス、超音波デバイス、赤外線デバイス／センサ（例えば、赤外線を放出するデバイス）、紫外線デバイス／センサ（例えば、紫外線を放出するデバイス）などのアクティブセンサであり得る。上記のように、アクティブセンサは、波（例えば、無線電波、光波、電磁波、音波など）を放出、送信、生成などするデバイスであり得る。検証モジュール１０１０は、起動モジュール１１１０、検出モジュール１１２０、動作モジュール１１３０、およびタイミングモジュール１１４０を含む。

【0107】

一実施形態では、起動モジュール１１１０（例えば、検証モジュール）は、センサ５１０にセンサデータを取得させ、および／またはセンサデータの取得を開始させることができる（例えば、センサデータを取得するために操作、プロセス、機能、動作などを起動する）。例えば、起動モジュール１１１０は、センサデータのキャプチャ、取得、記録などを起動することができる。一実施形態では、起動モジュール１１１０は、フレーム、メッセージ、パケット、命令などをセンサ５１０に送信して、センサ５１０にセンサデータのキャプチャを開始させることができる。メッセージ、パケット、命令などは、センサ５１０を起動およびトリガーして、それにセンサデータをキャプチャさせることができる。一実施形態では、起動モジュール１１１０は、信号（例えば、ワイヤ上の１つまたは複数の電圧）をセンサ５１０に送信して、センサ５１０にセンサデータのキャプチャを開始させることができる。以下でより詳細に説明されるように、起動モジュール１１１０は、タイミングモジュール１１４０によって生成されたタイミング信号に基づいて、起動モジュール１１１０がセンサにセンサデータのキャプチャを開始させる時刻を決定することができる。起動モジュール１１１０は、起動モジュール１１１０がセンサにセンサデータのキャプチャを開始させる時刻を示すために、タイムスタンプまたは他のいくつかの情報を生成することができる。

【0108】

一実施形態では、検出モジュール１１２０（例えば、検証モジュール１０１０）は、検出器１１５０が、センサ５１０によって放出、生成、送信などされた波を検出したか否かを決定することができる。上記のように、検出器１１５０は、センサ５１０によって放出、生成、送信などされた波（例えば、電磁波、音波など）を検出することができる特定のタイプの検出器および／または検出デバイスであり得る。検出器１１５０は、光電検出器、アンテナ、マイクロフォンなどであり得る。検出モジュール１１２０（例えば、検証モジュール１０１０）は、検出器１１５０に接続され得る。検出モジュール１１２０はまた、検出器１１５０がセンサ５１０によって放出された波を検出する時刻を決定することができる。例えば、検出モジュール１１２０は、検出器１１５０がセンサ５１０によって放出された波を検出したことを示す信号（例えば、ワイヤ上の１つまたは複数の電圧）および／またはメッセージを検出器１１５０から受信することができる。検出モジュール１１２０は、タイミングモジュール１１４０（以下でより詳細に説明する）によって生成されたタイミング信号に基づいて、信号および／またはメッセージが検出器１１５０からいつ受信されるかを決定することができる。検出モジュール１１２０は、信号および／またはメッセージが検出器１１５０から受信された時刻を示すために、タイムスタンプまたは他のいくつかの情報を生成することができる。

【0109】

一実施形態では、動作モジュール１１３０は、センサ５１０からセンサデータを受信することができる。センサデータは、センサによって取得および／または生成されたデータであり得る。センサデータは、自動運転車両が動作している環境に関する情報を示すことができる。例えば、センサデータは、自動運転車両が配置されている環境内の１つまたは複数のオブジェクトを示したり、識別したりすることができる。動作モジュール１１３０は、センサデータがセンサ５１０からいつ受信されるかを決定することができる。例えば、動作モジュール１１３０は、タイミングモジュール１１４０（以下でより詳細に説明する）によって生成されたタイミング信号に基づいて、センサデータがセンサ５１０からいつ受信されるかを決定することができる。動作モジュール１１３０は、センサデータがセンサ５１０から受信された時刻を示すために、タイムスタンプまたは他のいくつかの情報を生成することができる。

【0110】

動作モジュール１１３０は、起動モジュール１１１０、検出モジュール１１２０、および動作モジュール１１３０によって決定された１つまたは複数の時刻および／またはタイムスタンプに基づいて、センサ５１０の動作を検証することができる。一実施形態では、動作モジュール１１３０は、起動モジュール１１１０がセンサ５１０にセンサデータを取得させる時刻（例えば、第一時刻および／またはタイムスタンプ）および検出器１１５０がセンサ５１０によって放出された波を検出する時刻（例えば、第二時刻および／またはタイムスタンプ）に基づいて、センサ５１０の起動遅延を決定することができる。例えば、動作モジュール１１３０は、第一時刻と第二時刻との間の差に基づいて起動遅延を決定することができる。起動遅延が閾値時刻以下（例えば、閾値期間未満）である場合、動作モジュール１１３０は、センサ５１０が適切におよび／または許容可能な性能レベル内で動作していると決定することができる。起動遅延が閾値時刻よりも大きい場合、動作モジュール１１３０は、センサ５１０が適切におよび／または許容可能な性能レベル内で動作していないと決定することができる。別の例では、動作モジュール１１３０は、センサ５１０の起動遅延がセンサの基準起動遅延の閾値内にあるか否かを決定することができる。基準起動遅延は、センサ５１０のデータ取得特性に基づくものであり得る。起動遅延が基準起動遅延の閾値内にある場合、センサ５１０は適切に動作することができ、逆もまた同様である。

【0111】

一実施形態では、動作モジュール１１３０は、起動モジュール１１１０がセンサ５１０にセンサデータを取得させる時刻（例えば、第一時刻および／またはタイムスタンプ）、検出器１１５０がセンサ５１０によって放出された波を検出する時刻（例えば、第二時刻および／またはタイムスタンプ）、および動作モジュール１１３０がセンサ５１０からセンサデータ受信する時刻（例えば、第三時刻および／またはタイムスタンプ）に基づいて、センサ５１０の取得遅延を決定することにより、センサの動作を検証することができる。例えば、動作モジュール１１３０は、第二時刻と第三時刻との間の差に基づいて取得遅延を決定することができる。取得遅延が閾値時刻以下（例えば、閾値期間未満）である場合、動作モジュール１１３０は、センサ５１０が適切におよび／または許容可能な性能レベル内で動作していると決定することができる。取得遅延が閾値時刻よりも大きい場合、動作モジュール１１３０は、センサ５１０が適切におよび／または許容可能な性能レベル内で動作していないと決定することができる。別の例では、動作モジュール１１３０は、センサ５１０の取得遅延がセンサの基準取得遅延の閾値内にあるか否かを決定することができる。基準取得遅延は、センサ５１０のデータ取得特性に基づくものであり得る。取得遅延が基準取得遅延の閾値内にある場合、センサ５１０は適切に動作することができ、逆もまた同様である。

【0112】

一実施形態では、動作モジュール１１３０は、第一時刻と第三時刻との間の差に基づいて、センサ５１０の動作を検証することができる。第一時刻と第三時刻との間の差は、センサ５１０がセンサデータを取得するのにかかる合計時刻を示すことができる。動作モジュール１１３０は、合計時刻が閾値以下であるか否か（例えば、センサ５１０がセンサデータを取得するのにかかる合計時刻が１０ミリ秒、２００ミリ秒、または他の適切な期間未満であるか否か）を決定することができる。合計時刻が閾値以下である場合、動作モジュール１１３０は、センサ５１０が適切に動作していると決定することができる。合計時刻が閾値よりも大きい場合、動作モジュール１１３０は、センサ５１０が適切に動作していないと決定することができる。

【0113】

一実施形態では、動作モジュール１１３０によって受信されたセンサデータは、タイムスタンプを含み得る。タイムスタンプは、センサ５１０がセンサデータを生成するのにかかる時刻を示すことができる。動作モジュール１１３０は、タイムスタンプが、検出器１１５０がセンサ５１０によって放出された波を検出する時刻（例えば、第二時刻および／またはタイムスタンプ）、および動作モジュール１１３０がセンサ５１０からセンサデータを受信する時刻（例えば、第三時刻および／またはタイムスタンプ）であるか否かを正確に決定することができる。例えば、動作モジュール１１３０は、タイムスタンプが、第三時刻よりも短いか、またはそれよりも早く、第一時刻よりも遅い時刻を示しているか否かを決定することができる。タイムスタンプが、第三時刻よりも短いか、またはそれよりも早く、第一時刻よりも遅い時刻を示している場合、動作モジュール１１３０は、センサが適切に動作していると決定することができ、逆もまた同様である。

【0114】

一実施形態では、動作モジュール１１３０は、センサ５１０から受信されたセンサデータが、センサがオブジェクトを検出したことを示しているか否かを決定することができる。例えば、基準オブジェクトは環境内に存在できる。動作モジュール１１３０は、センサデータが、センサ５１０が環境内の基準オブジェクトの存在を検出したことを示しているか否かを決定することができる。センサ５１０が基準オブジェクトの存在、位置、速度、および／または方向を検出する場合、動作モジュール１１３０は、センサ５１０が適切に動作していると決定することができ、逆もまた同様である。

【0115】

一実施形態では、タイミングモジュール１１４０は、タイミング信号を生成することができる。タイミング信号は、基準時刻を決定するためにセンサ５１０および検出器１１５０によって使用され得る。例えば、タイミング信号は、現在の時刻を示すことができ、および／または現在の時刻を決定するためにセンサ５１０および／または検出器１１５０によって使用され得る。これにより、検証システム１１００のすべてのコンポーネント（例えば、センサ５１０、検出器１１５０、および検証モジュール１０１０）は、同じ基準時刻を使用して動作できる。

【0116】

上記のように、ＡＤＶのセンサを同期させることは、ＡＤＶが、異なるセンサからの異なるセンサデータを相互に関連付けるか、またはより容易に相互に関連付けることを可能にし得る。異なるセンサからのセンサデータを相互に関連付けることは、ＡＤＶが、環境内の車両、オブジェクト、障害物、歩行者、車線などをより迅速に、効果的に、容易に、および／またはより正確に検出することを可能にし得る。センサ５１０の動作を検証することは、ユーザ（例えば、技術者、機械工など）が、センサ５１０が自動運転車両の他のセンサと適切に同期できるか否かを決定することを可能にし得る。検証モジュール１０１０は、センサシステム１１５が、センサ５１０が適切に動作しているか否かを検証することを可能にし得、これにより、センサ５１０は、自動運転車両の他のセンサと適切に同期され得る。センサ５１０が適切に動作していない場合、検証モジュール１０１０は、センサ５１０が適切に動作していないこと（例えば、エラーメッセージの送信、エラーメッセージの表示など）を提供することができ、これにより、ユーザは、センサ５１０がいつ適切に動作していないか（例えば、センサに欠陥があるか否か）を把握し、センサ５１０を取り替えることができる。

【0117】

図１２は、一実施形態に係る、自動運転車両で使用されるセンサを検証するための例示的なプロセスを示すフローチャートである。プロセス１２００は、ソフトウェア、ハードウェア、またはそれらの組み合わせを含み得る処理ロジックによって実行され得る。プロセス１２００は、ハードウェア（例えば、回路、特定用途向けロジック、プログラマブルロジック、プロセッサ、処理デバイス、中央処理装置（ＣＰＵ）、システムオンチップ（ＳｏＣ）など）、ソフトウェア（例えば、処理デバイスで伝達／実行される命令）、ファームウェア（例えば、マイクロコード）またはそれらの組み合わせを含み得る処理ロジックによって実行され得る。いくつかの実施形態では、プロセス１２００は、処理デバイス、検証モジュール（例えば、図１０Ａ、図１０Ｂ、図１１、および図１３に示す検証モジュール１０１０）、検証モジュールの一部（例えば、図１１に示す起動モジュール、検出モジュール、動作モジュール、および／またはタイミングモジュール）などによって実行され得る。

【0118】

ブロック１２０５において、プロセス１２００は、タイミング信号を生成することができる。例えば、プロセス１２００は、現在の時刻を示す連続信号を生成することができる。ブロック１２０５において、プロセス１２００は、タイミング信号をセンサおよび／または検出器に提供することができる。これにより、センサおよび／または検出器は、同じ現在の時刻を使用して動作できる。ブロック１２１５において、プロセス１２００は、第一時刻にセンサにセンサデータを取得させることができる。例えば、プロセス１２００は、メッセージおよび／または信号をセンサに送信して、センサにセンサデータを取得させることができる。ブロック１２２０において、プロセス１２００は、検出器がセンサによって生成された波を第二時刻に検出したと決定することができる。例えば、プロセス１２００は、検出器がセンサによって生成された電磁波または音波を検出したことを示す信号またはメッセージを検出器から受信することができる。ブロック１２２５において、プロセス１２００は、第三時刻にセンサからセンサデータを受信することができる。

【0119】

ブロック１２３０において、プロセス１２００は、第一時刻、第二時刻、および／または第三時刻のうちの１つまたは複数に基づいて、センサの動作を検証することができる。例えば、上記のように、プロセス１２００は、センサの起動時刻が基準起動時刻の閾値内にあるか否かを決定することができる。別の例では、上記のように、プロセス１２００は、センサの取得時刻が基準取得時刻の閾値内にあるか否かを決定することができる。

【0120】

図１３は、一実施形態に係る例示的な検証システム１３００を示すブロック図である。検証システム１３００は、センサ５１０、検証モジュール１０１０、および励起発生器１３５０を含む。センサ５１０は、カメラ、ビデオカメラ、マイクロフォン、ＧＰＳ受信機などのパッシブセンサであり得る。上記のように、パッシブセンサは、波（例えば、無線電波、光波、電磁波、音波など）を放出、送信、生成などしないデバイスであり得る。検証モジュール１０１０は、起動モジュール１３１０、励起モジュール１３２０、動作モジュール１３３０、およびタイミングモジュール１３４０を含む。

【0121】

一実施形態では、上記のように、起動モジュール１３１０（例えば、検証モジュール）は、センサ５１０にセンサデータを取得させ、および／またはセンサデータの取得を開始させることができる（例えば、センサデータを取得するために操作、プロセス、機能、動作などを起動する）。起動モジュール１３１０は、フレーム、メッセージ、パケット、命令などをセンサ５１０に送信して、センサ５１０にセンサデータのキャプチャを開始させることができる。起動モジュール１３１０はまた、信号（例えば、ワイヤ上の１つまたは複数の電圧）をセンサ５１０に送信して、センサ５１０にセンサデータのキャプチャを開始させることができる。起動モジュール１３１０は、タイミングモジュール１３４０によって生成されたタイミング信号に基づいて、起動モジュール１３１０がセンサにセンサデータのキャプチャを開始させる時刻を決定することができる。起動モジュール１３１０は、起動モジュール１３１０がセンサにセンサデータのキャプチャを開始させる時刻を示すために、タイムスタンプまたは他のいくつかの情報を生成することができる。

【0122】

一実施形態では、励起モジュール１３２０は、センサ５１０によって検出され得る励起を生成することができる。励起モジュール１３２０は、一定期間内に励起を生成することができる。例えば、励起モジュール１３２０は、一定期間内に光、音声などを生成することができる。この期間は、センサ５１０のデータ取得特性に基づくものであり得る。例えば、この期間は、センサ５１０の起動遅延および取得遅延に基づくものであり得る。起動遅延に基づいて、励起モジュール１３２０は、センサ５１０が起動されたときまたはその後に時刻周期を開始することができる。取得遅延に基づいて、励起モジュール１３２０は、この期間が取得遅延の閾値と同じであるか、または取得遅延の閾値内にあるように、この期間を終了することができる。センサ５１０の取得遅延の間に励起を生成することにより、励起モジュール１３２０は、動作モジュール１３３０が、センサ５１０が取得遅延の間に励起を検出したか否かを決定することを可能にし得る。励起モジュール１３２０はまた、動作モジュール１３３０が、センサ５１０の起動遅延が許容可能であるか否かを決定することを可能にし得る。励起モジュール１３２０はまた、動作モジュール１３３０が、センサ５１０の取得遅延が許容可能であるか否かを決定することを可能にし得る。励起モジュール１３２０は、メッセージおよび／または信号を励起発生器１３５０に送信して、励起発生器１３５０に励起を生成させることができる。例えば、このメッセージは、励起発生器１３５０がいつ、どのくらいの時刻励起を生成すべきかを示すことができる。

【0123】

一実施形態では、励起モジュール１３２０は、センサ５１０の基準起動遅延および基準取得遅延に基づいて、励起発生器１３５０が励起を生成すべき期間を決定することができる。例えば、基準起動遅延、および起動モジュール１３１０がセンサ５１０にセンサデータを取得させる時刻に基づいて、励起モジュール１３２０は、いつ励起の生成を開始するかを決定することができる。別の例では、センサ５１０の基準取得遅延に基づいて、励起モジュール１３２０は、どのくらいの時刻励起を生成すべきか（例えば、いつ励起の生成を停止すべきか）を決定することができる。

【0124】

一実施形態では、動作モジュール１３３０は、センサ５１０からセンサデータを受信することができる。センサデータは、センサによって取得および／または生成されたデータであり得る。センサデータは、自動運転車両が動作している環境に関する情報を示すことができる。動作モジュール１３３０は、センサデータがセンサ５１０からいつ受信されるかを決定することができる。動作モジュール１３３０は、センサデータがセンサ５１０から受信された時刻を示すために、タイムスタンプまたは他のいくつかの情報を生成することができる。

【0125】

動作モジュール１３３０は、起動モジュール１３１０、励起モジュール１３２０、および動作モジュール１３３０によって決定された１つまたは複数の時刻および／またはタイムスタンプに基づいて、センサ５１０の動作を検証することができる。一実施形態では、動作モジュール１３３０は、起動モジュール１３１０がセンサ５１０にセンサデータを取得させる時刻（例えば、第一時刻および／またはタイムスタンプ）、励起発生器１３５０がセンサ５１０によって検出された励起を生成する時刻（例えば、第二時刻および／またはタイムスタンプ）、およびセンサ５１０が励起を検出したか否かに基づいて、センサ５１０の起動遅延を決定することができる。例えば、起動遅延が時刻Ｔ０とＴ１の間にあり、励起発生器１３５０が時刻Ｔ１からＴ２で励起を生成する場合、動作モジュール１１３０は、励起が時刻Ｔ１からＴ２の間に検出されるか、または時刻Ｔ１からＴ２以外の閾値内（例えば、時刻Ｔ１の前またはＴ２の後の閾値時刻内）に検出されるかを決定することができる。起動遅延が閾値時刻よりも大きい場合、動作モジュール１３３０は、センサ５１０が適切におよび／または許容可能な性能レベル内で動作していないと決定することができる。別の例では、動作モジュール１３３０は、センサ５１０の起動遅延がセンサの基準起動遅延の閾値内にあるか否かを決定することができる。基準起動遅延は、センサ５１０のデータ取得特性に基づくものであり得る。起動遅延が基準起動遅延の閾値内にある場合、センサ５１０は適切に動作することができ、逆もまた同様である。

【0126】

一実施形態では、動作モジュール１３３０は、励起モジュール１３２０が励起発生器１３５０に励起を生成させる時刻、および動作モジュール１３３０がセンサ５１０からセンサデータを受信する時刻（例えば、第三時刻および／またはタイムスタンプ）に基づいて、センサ５１０の取得遅延を決定することにより、センサの動作を検証することができる。例えば、動作モジュール１３３０は、第二時刻と第三時刻との間の差に基づいて、取得遅延および取得遅延の間に励起が検出されるか否かを決定することができる。取得遅延が閾値時刻以下（例えば、閾値期間未満）である場合、動作モジュール１３３０は、センサ５１０が適切におよび／または許容可能な性能レベル内で動作していると決定することができる。取得遅延が閾値時刻よりも大きい場合、動作モジュール１３３０は、センサ５１０が適切におよび／または許容可能な性能レベル内で動作していないと決定することができる。別の例では、動作モジュール１３３０は、センサ５１０の取得遅延がセンサの基準取得遅延の閾値内にあるか否かを決定することができる。基準取得遅延は、センサ５１０のデータ取得特性に基づくものであり得る。取得遅延が基準取得遅延の閾値内にある場合、センサ５１０は適切に動作することができ、逆もまた同様である。

【0127】

一実施形態では、励起モジュール１３２０は、取得遅延の間に励起がセンサ５１０によって検出されるか否かを決定することができる。取得遅延の閾値量の間（例えば、取得遅延の９０％の間、取得遅延の８５％の間、または他の適切な量の間）に励起が検出された場合、センサ５１０は適切に動作することができ、逆もまた同様である。

【0128】

一実施形態では、動作モジュール１３３０は、第一時刻と第三時刻との間の差に基づいて、センサ５１０の動作を検証することができる。第一時刻と第三時刻との間の差は、センサ５１０がセンサデータを取得するのにかかる合計時刻を示すことができる。動作モジュール１３３０は、合計時刻が閾値以下であるか否かを決定することができる。合計時刻が閾値以下である場合、動作モジュール１３３０は、センサ５１０が適切に動作していると決定することができる。合計時刻が閾値よりも大きい場合、動作モジュール１３３０は、センサ５１０が適切に動作していないと決定することができる。

【0129】

一実施形態では、動作モジュール１３３０は、センサ５１０から受信されたセンサデータが、励起発生器１３５０によって生成された励起（例えば、光、音声など）がセンサ５１０によって検出されたことを示しているか否かを決定することができる。例えば、励起モジュール１３２０は、ライトを一定期間オンにすることができる。動作モジュール１３３０は、センサ５１０（カメラであり得る）からのセンサデータが、センサ５１０が光を検出したことを示しているか否かを決定することができる。センサデータが、センサ５１０が励起を検出したことを示している場合、動作モジュール１３３０は、センサ５１０が適切に動作していると決定することができ、逆もまた同様である。

【0130】

一実施形態では、タイミングモジュール１３４０は、タイミング信号を生成することができる。タイミング信号は、基準時刻を決定するためにセンサ５１０および励起発生器１３５０によって使用され得る。タイミング信号は、現在の時刻を示すことができ、および／または現在の時刻を決定するためにセンサ５１０および／または励起発生器１３５０によって使用され得る。これにより、検証システム１３００のすべてのコンポーネント（例えば、センサ５１０、励起発生器１３５０、および検証モジュール１０１０）は、同じ基準時刻を使用して動作できる。

【0131】

上記のように、ＡＤＶのセンサを同期させることは、ＡＤＶが、異なるセンサからの異なるセンサデータを互いに関連付けるか、またはより容易に互いに関連付けることを可能にし得る。これにより、ＡＤＶは、環境内の車両、オブジェクト、障害物、歩行者、車線などをより迅速に、効果的に、容易に、および／またはより正確に検出することができる。センサ５１０の動作を検証することは、ユーザが、センサ５１０が自動運転車両の他のセンサと適切に同期できるか否かを決定することを可能にし得る。検証モジュール１０１０は、検証システム１３００が、センサ５１０が適切に動作しているか否かを検証することを可能にし得、これにより、センサ５１０は、自動運転車両の他のセンサと適切に同期され得る。センサ５１０が適切に動作していない場合、検証モジュール１０１０は、センサ５１０が適切に動作していないことを提供することができる。これにより、ユーザは、センサ５１０がいつ適切に動作していないかを把握し、センサ５１０を取り替えることができる。

【0132】

図１４は、一実施形態に係る、自動運転車両で使用されるセンサを検証するための例示的なプロセスを示すフローチャートである。プロセス１４００は、ソフトウェア、ハードウェア、またはそれらの組み合わせを含み得る処理ロジックによって実行され得る。プロセス１４００は、ハードウェア（例えば、回路、特定用途向けロジック、プログラマブルロジック、プロセッサ、処理デバイス、中央処理装置（ＣＰＵ）、システムオンチップ（ＳｏＣ）など）、ソフトウェア（例えば、処理デバイスで伝達／実行される命令）、ファームウェア（例えば、マイクロコード）またはそれらの組み合わせを含み得る処理ロジックによって実行され得る。いくつかの実施形態では、プロセス１４００は、処理デバイス、検証モジュール（例えば、図１０Ａ、図１０Ｂ、図１１、および図１３に示す検証モジュール１０１０）、検証モジュールの一部（例えば、図１３に示す起動モジュール、励起モジュール、動作モジュール、および／またはタイミングモジュール）などによって実行され得る。

【0133】

ブロック１４０５において、プロセス１４００は、タイミング信号を生成することができる。例えば、プロセス１４００は、現在の時刻を示す連続信号を生成することができる。ブロック１４１０において、プロセス１４００は、タイミング信号をセンサおよび／または検出器に提供することができる。これにより、センサおよび／または検出器は、同じ現在の時刻を使用して動作できる。ブロック１４１５において、プロセス１４００は、センサに第一時刻にセンサデータを取得させることができる。例えば、プロセス１４００は、メッセージおよび／または信号をセンサに送信して、センサにセンサデータを取得させることができる。ブロック１４２０において、プロセス１４００は、センサ検出のための励起を生成することができる。例えば、プロセス１４００は、励起発生器に、センサによって検出され得る音声または光を生成させる。ブロック１４２５において、プロセス１４００は、第三時刻にセンサからセンサデータを受信することができる。

【0134】

ブロック１４３０において、プロセス１４００は、第一時刻、第二時刻、および／または第三時刻のうちの１つまたは複数に基づいて、センサの動作を検証することができる。例えば、上記のように、プロセス１４００は、センサの起動時刻が基準起動時刻の閾値内にあるか否かを決定することができる。別の例では、上記のように、プロセス１４００は、センサの取得時刻が基準取得時刻の閾値内にあるか否かを決定することができる。

【0135】

前述の詳細な説明の一部は、コンピュータメモリ内のデータビットに対する演算のアルゴリズムおよび記号表現に関して示される。これらのアルゴリズムの説明と表現は、データ処理分野の当業者が自分の作業の本質を他の当業者に最も効果的に伝えるために使用する手段である。本明細書では、アルゴリズムは一般に、所望の結果につながる自己矛盾のない一連の操作であると考えられている。これらの操作とは、物理量の物理的操作を必要とする操作を指す。

【0136】

なお、これらの用語および同様の用語はすべて、適切な物理量に関連付けることを目的としており、これらの量に適用される便利なラベルにすぎない。上記の説明において他の方式で明示的に指摘されない限り、明細書全体を通して、用語（例えば、添付の特許請求の範囲に記載の用語）を使用した説明とは、コンピュータシステムのレジスタとメモリ内で物理（電子）量として示されるデータを制御し、前記データをコンピュータシステムのメモリまたはレジスタ、または他の情報記憶装置、送信または表示装置内で物理量として同様に示される他のデータに変換する、コンピュータシステムまたは同様の電子コンピューティングデバイスの動作および処理を指すことを理解されたい。

【0137】

本開示の実施形態は、本明細書の操作を実行するためのデバイスにも関する。このコンピュータプログラムは、非一時的なコンピュータ可読媒体に記憶される。機械可読媒体は、機械（例えば、コンピュータ）によって読み取り可能な形態で情報を記憶するための任意のメカニズムを含む。例えば、機械可読（例えば、コンピュータ可読）媒体は、機械（例えば、コンピュータ）可読記憶媒体（例えば、読み取り専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス）を含む。

【0138】

前記図面に示されるプロセスまたは方法は、ハードウェア（例えば、回路、特定用途向けロジックなど）、ソフトウェア（例えば、非一時的なコンピュータ可読媒体で具体化されるもの）、または両方の組み合わせを含む処理ロジックによって実行され得る。前記プロセスまたは方法は、いくつかの連続操作に関して上記で説明されているが、前記操作の一部は、異なる順序で実行され得ることを理解されたい。また、いくつかの操作は、順次ではなく並列に実行され得る。

【0139】

本開示の実施形態は、特定のプログラミング言語を参照して説明されていない。本明細書で説明される本開示の実施形態の教示を実施するために、様々なプログラミング言語が使用され得ることを理解されたい。

【0140】

前述の明細書では、本開示の実施形態は、本開示の特定の例示的な実施形態を参照して説明されている。添付の特許請求の範囲に記載の本開示のより広い精神および範囲から逸脱することなく、本開示に様々な変更を加えることができることは明らかであろう。従って、本明細書および図面は、限定的な意味ではなく例示的な意味で理解されるべきである。

【図1】