特表 2022-523937 自律車両用の通信

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-04-27

(54)【発明の名称】自律車両用の通信

(51)【国際特許分類】

   G08G 1/09 20060101AFI20220420BHJP

   B60Q 1/02 20060101ALI20220420BHJP

   B60Q 5/00 20060101ALI20220420BHJP

   B60Q 1/46 20060101ALI20220420BHJP

【ＦＩ】

G08G1/09 H

B60Q1/02 C

B60Q5/00 610C

B60Q5/00 610F

B60Q5/00 610Z

B60Q5/00 620Z

B60Q5/00 630B

B60Q5/00 640Z

B60Q1/46

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021550045

(86)(22)【出願日】2020-03-09

(85)【翻訳文提出日】2021-10-13

(86)【国際出願番号】 US2020021679

(87)【国際公開番号】W WO2020185665

(87)【国際公開日】2020-09-17

(31)【優先権主張番号】16/351,124

(32)【優先日】2019-03-12

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】317015065

【氏名又は名称】ウェイモ エルエルシー

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100126480

【弁理士】

【氏名又は名称】佐藤 睦

(72)【発明者】

【氏名】パンディット，サリル

(72)【発明者】

【氏名】マーケイ，ジュリアン

(72)【発明者】

【氏名】ライト，クレメント

【テーマコード（参考）】

3K339

5H181

【Ｆターム（参考）】

3K339AA02

3K339AA16

3K339AA22

3K339AA25

3K339AA29

3K339AA31

3K339BA22

3K339BA25

3K339CA01

3K339CA12

3K339CA13

3K339CA30

3K339EA04

3K339EA07

3K339EA09

3K339FA02

3K339FA05

3K339FA08

3K339FA20

3K339GB01

3K339GB05

3K339GB08

3K339GB12

3K339GB21

3K339GB23

3K339GB26

3K339JA21

3K339KA02

3K339KA11

3K339KA37

3K339MA01

3K339MA04

3K339MA07

3K339MA10

3K339MB05

3K339MC03

3K339MC16

3K339MC17

3K339MC18

3K339MC21

3K339MC27

3K339MC35

3K339MC37

3K339MC39

3K339MC40

3K339MC41

3K339MC43

3K339MC45

3K339MC46

3K339MC47

3K339MC48

3K339MC52

3K339MC53

3K339MC74

5H181AA01

5H181BB04

5H181CC03

5H181CC04

5H181CC12

5H181CC27

(57)【要約】

本開示の態様は、自律車両（１００）からユーザへの通信を容易にする方法を提供する。例えば、方法は、ユーザをピックアップしようとしている間、およびユーザが車両に入る前に、ユーザに対する車両の位置を通信するための通信アクションのタイプを特定するために車両の現在位置および地図情報（２００）をモデルに入力するここと、通信アクションのタイプに基づいて第１の通信を有効にすることと、ユーザが受信したセンサデータからの第１の通信に応答したかどうかを判定することと、ユーザが通信に応答したかどうかの判定に基づいて、第２の通信を可能にすることと、を含むことができる。
【選択図】図１１

【特許請求の範囲】

【請求項1】

自律車両からユーザへの通信を容易にする方法であって、
前記ユーザをピックアップしようとしている間、および前記ユーザが前記自律車両に入る前に、前記車両の１つ以上のプロセッサによって、前記車両の現在位置および地図情報をモデルに入力することと、
前記モデルを使用して、前記車両の位置を前記ユーザに通信するための通信アクションのタイプを特定することと、
前記１つ以上のプロセッサによって、前記通信アクションの前記タイプに基づいて、第１の通信を有効にすることと、
前記第１の通信を有効にした後、前記１つ以上のプロセッサによって、受信したセンサデータから前記ユーザが前記車両に向かって移動しているかどうかを判定することと、を含む、方法。

【請求項2】

前記通信アクションのタイプが、前記車両による聴覚的通信を自動的に生成することであり、前記第１の通信を有効にすることが、前記聴覚的通信を行うように前記車両に指示することを含む、請求項１に記載の方法。

【請求項3】

前記第１の通信が、前記車両のクラクションを鳴らすことである、請求項２に記載の方法。

【請求項4】

前記通信アクションのタイプが、前記ユーザが前記車両に聴覚的通信を生成させることを可能にするために、前記ユーザのクライアントコンピューティングデバイス上にオプションを自動的に表面化することである、請求項１に記載の方法。

【請求項5】

前記通信アクションのタイプが、前記車両によって視覚的通信を自動的に生成することであり、前記第１の通信を有効にすることが、前記視覚的通信を行う前記車両を含む、請求項１に記載の方法。

【請求項6】

前記第１の通信が、前記車両のヘッドライトを点滅させることである、請求項５に記載の方法。

【請求項7】

前記通信アクションのタイプが、前記ユーザが前記車両に視覚的通信を生成させることを可能にするために、前記ユーザのクライアントコンピューティングデバイス上にオプションを自動的に表面化させることである、請求項１に記載の方法。

【請求項8】

前記受信されたセンサデータが、前記ユーザのクライアントコンピューティングデバイスによって生成された位置情報を含む、請求項１に記載の方法。

【請求項9】

前記受信されたセンサデータが、前記車両の知覚システムによって生成されたデータを含み、前記知覚システムが少なくとも１つのセンサを含む、請求項１に記載の方法。

【請求項10】

エスカレートされた通信のモデルを使用して、第２の通信ための通信アクションのタイプを決定することと、
前記１つ以上のプロセッサによって、前記ユーザが前記車両に向かって移動しているかどうかの前記判定に基づいて第２の通信を有効にすることと、をさらに含み、前記第２の通信のための前記通信アクションのタイプが、前記第２の通信を有効にするためにさらに使用される、請求項１に記載の方法。

【請求項11】

前記第２の通信のための前記通信アクションのタイプが、前記ユーザが前記車両に聴覚的通信を生成させることを可能にするために、前記ユーザのクライアントコンピューティングデバイス上にオプションを自動的に表面化させることである、請求項１０に記載の方法。

【請求項12】

前記第２の通信のための前記通信アクションのタイプが、前記ユーザが前記車両に視覚的通信を生成させることを可能にするために、前記ユーザのクライアントコンピューティングデバイス上にオプションを自動的に表面化させることである、請求項１０に記載の方法。

【請求項13】

前記第１の通信が、前記車両が前記車両のライトを自動的に点滅させることを含み、前記第２の通信が、前記車両が前記車両のクラクションを自動的に鳴らすことを含む、請求項１に記載の方法。

【請求項14】

前記第１の通信が、前記車両が前記車両のクラクションを自動的に鳴らすことを含み、前記第２の通信が、前記車両が顧客サービス担当者に前記ユーザのクライアントコンピューティングデバイスに接続するように自動的に要求することを含む、請求項１に記載の方法。

【請求項15】

前記モデルが、機械学習モデルである、請求項１に記載の方法。

【請求項16】

自律車両からユーザへの通信を容易にするためのモデルを訓練する方法であって、
１つ以上のコンピューティングデバイスによって、車両の位置を示す第１の訓練入力、地図情報を示す第２の訓練入力、前記ユーザの位置を示す第３の訓練入力、前記車両の環境内の１つ以上の物体を特定するセンサデータを特徴付ける第４の訓練入力、および通信のタイプを示すターゲット出力、を受信することと、
前記モデルのパラメータの現在の値に従う前記訓練データ上で、前記１つ以上のコンピューティングデバイスによって、前記モデルを訓練して、通信のタイプに対する適切性のレベルを示す出力値のセットを生成することと、
前記ターゲット出力および前記出力値のセットを使用して差分値を判定することと、
前記差分値を使用して、前記モデルのパラメータの前記現在の値を調整することと、を含む、方法。

【請求項17】

前記訓練データが、前記ユーザと通信するために前記車両に前記通信のタイプを実行させるための前記ユーザによる要求に対応する、請求項１６に記載の方法。

【請求項18】

前記通信のタイプが、聴覚的通信である、請求項１６に記載の方法。

【請求項19】

前記通信のタイプが、視覚的通信である、請求項１６に記載の方法。

【請求項20】

前記訓練データが、周囲照明状態をさらに含む、請求項１６に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１９年３月１２日に出願された米国出願第１６／３５１，１２４号の利益を主張し、その開示は参照により本明細書に組み込まれる。

【背景技術】

【0002】

人間の運転者を必要としない車両などの自律車両が、ある場所から別の場所への乗客または物品の輸送を支援するために使用される場合がある。かかる車両は、乗客がピックアップ場所または目的地などの何らかの初期入力を提供することができ、かつ車両がその場所まで車両自体を操縦する、完全な自律モードで動作し得る。

【0003】

人（またはユーザ）は、車両を介して２つの場所の間で物理的に輸送されることを望むとき、任意の数のタクシーサービスを使用し得る。現在に至るまで、これらのサービスは通常、ユーザをピックアップおよびドロップオフする場所への配車命令が与えられる人間の運転者を伴う。概して、これらの場所は、身体的な合図（すなわち、手を挙げて運転者を停止させること）、ユーザが実際にどこにいるかを説明する電話、または運転者とユーザとの間の直接の話し合いを介して分かる。これらのサービスは便利であるが、通常、ピックアップまたはドロップオフが発生する場所に関する正確な情報をユーザに提供することはできない。

【発明の概要】

【0004】

本開示の態様は、自律車両からユーザへの通信を容易にする方法を提供する。この方法は、ユーザをピックアップしようとしている間、ユーザが自律車両に入る前に、車両の１つ以上のプロセッサによって、車両の現在位置および地図情報をモデルに入力することと、モデルを使用して、車両の位置をユーザに通信するための通信アクションのタイプを特定することと、１つ以上のプロセッサによって、通信アクションのタイプに基づいて第１の通信を有効にすることと、第１の通信を有効にした後、１つ以上のプロセッサによって、ユーザが受信したセンサデータから車両に向かって移動しているかどうかを判定することと、を含む。

【0005】

一例では、通信アクションのタイプは、車両による聴覚的通信を自動的に生成することであり、第１の通信を可能にすることは、聴覚的通信を行うように車両に指示することを含む。この例では、第１の通信は、車両のクラクションを鳴らすことである。別の例では、通信アクションのタイプは、ユーザが車両に聴覚的通信を生成させることを可能にするために、ユーザのクライアントコンピューティングデバイス上にオプションを自動的に表面化することである。別の例では、通信アクションのタイプは、車両による視覚的通信を自動的に生成することであり、第１の通信を可能にすることは、車両が視覚的通信を行うことを含む。この例では、第１の通信は、車両のヘッドライトを点滅させることである。別の例では、通信アクションのタイプは、ユーザが車両に視覚的通信を生成させることを可能にするために、ユーザのクライアントコンピューティングデバイス上にオプションを自動的に表面化させることである。別の例では、受信されたセンサデータは、ユーザのクライアントコンピューティングデバイスによって生成された位置情報を含む。別の例では、受信されたセンサデータは、車両の知覚システムによって生成されたデータを含み、知覚システムは、少なくとも１つのセンサを含む。別の例では、この方法はまた、エスカレートされた通信のモデルを使用して、第２の通信のための通信アクションのタイプを決定することと、１つ以上のプロセッサによって、ユーザが車両に向かって移動しているかどうかの決定に基づいて第２の通信を可能にすることと、を含み、第２の通信のための通信アクションのタイプは、第２の通信を可能にするためにさらに使用される。この例では、第２の通信のための通信アクションのタイプは、ユーザのクライアントコンピューティングデバイス上にオプションを自動的に表面化して、ユーザが車両に聴覚的通信を生成させることを可能にすることである。代替的に、第２の通信のための通信アクションのタイプは、ユーザのクライアントコンピューティングデバイス上のオプションを自動的に表面化して、ユーザが車両に視覚的通信を生成させることを可能にすることである。別の例では、第１の通信は、車両が自動的にそのライトを点滅させることを含み、第２の通信は、車両が車両のクラクションを自動的に鳴らすことを含む。別の例では、第１の通信は、車両が車両のクラクションを自動的に鳴らすことを含み、第２の通信は、車両が顧客サービス担当者にユーザのクライアントコンピューティングデバイスに接続するように自動的に要求することを含む。別の例では、モデルは、機械学習モデルである。

【0006】

本開示の別の態様は、自律車両からユーザへの通信を容易にするためのモデルを訓練する方法を提供する。この方法は、１つ以上のコンピューティングデバイスによって、車両の位置を示す第１の訓練入力、地図情報を示す第２の訓練入力、ユーザの位置を示す第３の訓練入力、車両の環境内の１つ以上のオブジェクトを特定するセンサデータを特徴付ける第４の訓練入力、および通信のタイプを示すターゲット出力を含む訓練データを受信することと、モデルのパラメータの現在の値に従って訓練データ上で、１つ以上のコンピューティングデバイスによって、モデルを訓練して、通信のタイプに対する適切性のレベルを示す出力値のセットを生成することと、ターゲット出力と出力値のセットを使用して差分値を決定することと、差分値を使用して、モデルのパラメータの現在の値を調整することと、を含む。

【0007】

一例では、訓練データは、ユーザと通信するために車両に通信のタイプを実行させるようにするユーザによる要求に対応する。別の例では、通信のタイプは、聴覚的通信である。別の例では、通信のタイプは、視覚的通信である。別の例では、訓練データは、周囲照明状態をさらに含む。

【図面の簡単な説明】

【0008】

【図1】例示的な実施形態による例示的な車両の機能図である。

【図2】本開示の態様による地図情報の一例である。

【図3】本開示の態様にかかる車両の例示的な外観図である。

【図4】本開示の態様による例示的なシステムのイラスト図である。

【図5】本開示の態様による図４のシステムの機能図である。

【図6】本開示の態様によるクライアントコンピューティングデバイスおよび表示されたオプションの例である。

【図7】本開示の態様によるクライアントコンピューティングデバイスおよび表示されたオプションの例である。

【図8】本開示の態様によるクライアントコンピューティングデバイスおよび表示されたオプションの例である。

【図9】本開示の態様による地図情報の例である。

【図10】本開示の態様による地図情報の例である。

【図11】本開示の態様による例示的なフロー図である。

【発明を実施するための形態】

【0009】

概要
この技術は、聴覚的および／または視覚的通信を使用する自律車両の乗客（もしくはユーザ）または貨物のピックアップとドロップオフ、あるいは実際には歩行者が車両に到達する必要があるあらゆる状況を容易にすることに関連する。多くの状況では、自律車両には、人と通信して、人が車両または正しいドロップオフ位置を見つけること（つまり、ピックアップのために）を助けることができる人間の運転手がいない。そのため、自律車両は、様々な聴覚的および／または視覚的通信を使用して、有用かつ効果的な方法で人との通信を事前に試みることができる。例えば、モデルは、車両がいつ人に聴覚的および／または視覚的通信を提供すべきか、および／またはその人がそうするためのオプションを表面化するかどうかを決定できるようにするために生成され得る。

【0010】

モデルを生成するために、人は、例えば、人のコンピューティングデバイス（例えば、携帯電話または他のクライアントコンピューティングデバイス）上のアプリケーションを介して、車両に聴覚的通信を提供させるオプションを提供され得る。その人がオプションを使用すると、このデータが記録される場合がある。オプションが使用されるたびに、車両に通信を行わせるメッセージが車両に提供され得る。このメッセージには、要求が生成された日時、行われる通信のタイプ、および人の位置などの情報が含まれ得る。このメッセージおよび他の情報はまた、例えば、車両および／またはクライアントコンピューティングデバイスによって、サーバコンピューティングシステムに送信され得る。

【0011】

次に、メッセージおよび他の情報は、車両のコンピューティングデバイスが人とよりよく通信できるようにするためのモデルを生成するために、サーバコンピューティングデバイスによって処理され得る。例えば、特定のタイプの通信が適切かどうかを示すようにモデルを訓練してもよい。そうである場合、通信のタイプは、人のクライアントコンピューティングデバイス上のアプリケーションのオプションとして利用可能にされ、および／または車両のコンピューティングデバイスによって自動的に生成され得る。

【0012】

モデルを訓練するために、人の位置、他の情報、および地図情報を訓練入力として使用することができ、（メッセージからの）通信のタイプを訓練出力として使用することができる。モデルの訓練に使用される訓練データが多いほど、通信を提供するタイミングまたは通信を提供するオプションを決定する際のモデルの精度が高くなる。モデルは、視覚的通信が適切である状況と聴覚的通信が適切である状況を区別するように訓練することができる。

【0013】

場合によっては、利用可能な訓練データの量に応じて、モデルを特定の目的で訓練することができる。例えば、モデルは、サービスを用いる人またはグループの履歴の特性に基づいて、特定の人または人のグループのために訓練されてもよい。

【0014】

次いで、訓練されたモデルは、１つ以上の車両のコンピューティングデバイスが、人とより良好な通信を行うことを可能にするために、それらの車両に提供され得る。車両がピックアップまたはドロップオフの位置に接近または待機しているとき、車両のコンピューティングデバイス１１０は、モデルを使用して、通信が適切であるかどうか、そうである場合はどのタイプであるかを決定することができる。これは、例えば、車両の環境に基づいて、人（または乗客の可能性がある）が車両に対して明確な視線を持っているかどうか、またはその逆に応じて、行うことができる。

【0015】

一態様では、モデルを使用して、上記で説明したオプションをアプリケーションで表面化する必要があるかどうかを判定してもよい。加えて、モデルの出力が、視覚的通信が聴覚的通信よりも適切であることを示している場合、表面化されたオプションは視覚的通信のみを許可する場合がある。同様に、モデルの出力が、聴覚的通信が視覚的通信よりも適切であることを示している場合、表面化されたオプションは視覚的通信のみを許可する場合がある。別の態様では、聴覚的または視覚的通信のためのオプションをユーザに提供するのではなく、モデルを使用して、車両が自動的に聴覚的または視覚的通信を行うべきかどうかを判定することができる。加えて、または代替的に、モデルの出力を使用して、初期アクションを決定してもよく、後続のアクションは、初期アクションに応じて自動的に実行されてもよい。

【0016】

後続のアクションに対するユーザの応答を使用して、エスカレートされた通信のモデルを構築してもよい。例えば、後続のアクションが使用された各状況について、結果を追跡してもよい。次に、この情報を分析して、ユーザが車両通信に応答してより迅速に車両に入る可能性を高めるパターンを特定することができる。エスカレートされた通信のモデルは、前のまたは最初のアクションに基づいて、ユーザが車両に到達するのを最も容易にするために次のアクションがどうあるべきかを決定するように訓練され得る。繰り返すが、モデルの訓練に使用される訓練データが多いほど、モデルは前のアクションからエスカレートする方法をより正確に決定する。第１のモデルと同様に、エスカレートされた通信の訓練されたモデルは、それらの車両のコンピューティングデバイスが潜在的な乗客を含む人とよりよく通信できるようにするために、１つ以上の車両に提供され得る。

【0017】

本明細書に記載の特徴は、自律車両が乗客のピックアップおよびドロップオフを改善することを可能にし得る。例えば、ユーザは、自分自身で、または表面化されたオプションを使用するように促すことによって、車両がユーザと視覚的および／または聴覚的に通信するようにすることができる。これにより、ユーザが車両の位置をより容易に特定できる。加えて、または代替的に、車両はモデルを使用して、ユーザと通信するかどうか、および通信する方法、ならびに時間の経過とともにそれらの通信をエスカレートする方法を事前に決定してもよい。

【0018】

例示的なシステム
図１に示されるように、本開示の一態様による車両１００は、様々な構成要素を含む。本開示のいくつかの態様は、特定のタイプの車両に関連して特に有用であるが、車両は、自動車、トラック、オートバイ、バス、レクリエーション車両などを含むがこれらに限定されない任意のタイプの車両であってもよい。車両は、１つ以上のコンピューティングデバイス、例えば、１つ以上のプロセッサ１２０、メモリ１３０、および汎用コンピューティングデバイスに典型的に存在する他の構成要素を含むコンピューティングデバイス１１０を有し得る。

【0019】

メモリ１３０は、１つ以上のプロセッサ１２０によってアクセス可能である情報を記憶し、その情報には、プロセッサ１２０によって実行または別様に使用され得る命令１３４およびデータ１３２が含まれる。メモリ１３０は、プロセッサによってアクセス可能である情報を記憶することができる任意のタイプのメモリであってもよく、それには、コンピューティングデバイス可読媒体、またはハードドライブ、メモリカード、ＲＯＭ、ＲＡＭ、ＤＶＤ、もしくは他の光ディスク、ならびに他の書き込み可能および読出し専用メモリなどの電子デバイスを用いて読み取ることができるデータを記憶する他の媒体が含まれる。システムおよび方法は、上記の異なる組み合わせを含んでもよく、それによって、命令およびデータの様々な部分が、様々なタイプの媒体に記憶される。

【0020】

命令１３４は、プロセッサにより直接的に（マシンコードなど）または間接的に（スクリプトなど）実行される任意の一連の命令であってもよい。例えば、命令は、コンピューティングデバイス可読媒体上のコンピューティングデバイスコードとして記憶されてもよい。その点について、「命令」および「プログラム」という用語は、本明細書では、互換的に使用され得る。命令は、プロセッサによる直接処理のためのオブジェクトコード形式で、または要求に応じて解釈されるか、もしくは予めコンパイルされるスクリプトもしくは独立したソースコードモジュールの集合を含む、任意の他のコンピューティングデバイス言語で記憶されてもよい。命令の機能、方法、およびルーチンについては、以下にさらに詳細に説明される。

【0021】

データ１３２は、命令１３４に従ってプロセッサ１２０によって検索、記憶、または修正されてもよい。例えば、特許請求された主題は、いかなる特定のデータ構造にも限定されないが、データは、コンピューティングデバイスレジスタ内、複数の異なるフィールドおよびレコードを有する表、ＸＭＬドキュメント、またはフラットファイルとしてリレーショナルデータベース内に記憶されてもよい。データはまた、任意のコンピューティングデバイス可読形式でフォーマットされてもよい。

【0022】

１つ以上のプロセッサ１２０は、市販されているＣＰＵまたはＧＰＵなどの任意の従来のプロセッサであってもよい。代替的に、１つ以上のプロセッサは、ＡＳＩＣまたは他のハードウェアベースプロセッサなどの専用デバイスであり得る。図１は、プロセッサ、メモリ、およびコンピューティングデバイス１１０の他の要素を同じブロック内にあるものとして機能的に例示しているが、プロセッサ、コンピューティングデバイス、またはメモリは、実際には、同じ物理的な筐体内に格納されていてもいなくてもよい複数のプロセッサ、コンピューティングデバイス、またはメモリを含むことができることは、当業者により、理解されるであろう。例えば、メモリは、ハードドライブ、またはコンピューティングデバイス１１０の筐体とは異なる筐体内に配置された他のストレージ媒体であってもよい。したがって、プロセッサまたはコンピューティングデバイスへの言及は、並列に動作してもしなくてもよいプロセッサまたはコンピューティングデバイスまたはメモリの集合への言及を含むことが理解されよう。

【0023】

コンピューティングデバイス１１０は、上述したプロセッサおよびメモリ、ならびにユーザ入力装置１５０（例えば、マウス、キーボード、タッチスクリーン、および／またはマイクロフォン）および様々な電子ディスプレイ（例えば、スクリーンを有するモニタ、または情報を表示するように動作可能である任意の他の電気デバイス）などの、コンピューティングデバイスと接続して通常使用されるすべての構成要素を含み得る。この例では、車両は、情報または視聴覚体験を提供するために、電子ディスプレイ１５２のみならず１つ以上のスピーカ１５４を含む。この点について、電子ディスプレイ１５２は、車両１００の車内に位置していてもよく、コンピューティングデバイス１１０によって使用されて、車両１００内の乗客に情報を提供してもよい。場合によっては、電子ディスプレイ１５２は、車両の窓または他の透明な車両筐体を通して車両の外の人に見える内部ディスプレイであり得、および／または窓または他の透明な車両筐体を通して画像を投影することができ、車両の外の人に情報を提供してもよい。代替的に、電子ディスプレイ１５２は、車両内の乗客に情報を投影することができる外部取り付けディスプレイ（すなわち、ガラス屋根を通して表示できるルーフポッドの下側）および／または車両の外の人に情報を提供する外部取り付けディスプレイであってもよい。

【0024】

コンピューティングデバイス１１０はまた、１つ以上のワイヤレスネットワーク接続１５６も含むことにより、以下に詳細に説明するクライアントコンピューティングデバイスおよびサーバコンピューティングデバイスなどの他のコンピューティングデバイスと容易に通信することができる。無線ネットワーク接続には、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈローエネルギー（ＬＥ）、携帯電話接続などの短距離通信プロトコル、ならびにインターネット、Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ、イントラネット、仮想プライベートネットワーク、ワイドエリアネットワーク、ローカルネットワーク、１つ以上の企業に専用の通信プロトコルを使用するプライベートネットワーク、イーサネット、ＷｉＦｉ、およびＨＴＴＰを含む様々な構成およびプロトコル、ならびに上記の様々な組み合わせが含まれ得る。

【0025】

一例では、コンピューティングデバイス１１０は、車両１００に組み込まれた自律運転コンピューティングシステムの通信システムの一部であってもよい。これに関して、通信システムは、聴覚的通信がスピーカ１５４を通して再生されるようにする信号を送信するように含まれ得るか、または構成され得る。通信システムはまた、例えば、車両のヘッドライト３５０、３５２（図３に示される）を点滅させるか、さもなければ制御することによって、または内部電子ディスプレイ１５２上に情報を表示することによって、視覚的通信が行われるようにする信号を送信するように構成され得る。

【0026】

自律制御システム１７６は、自律運転モードで車両を制御するために車両の様々な構成要素と通信することができる、コンピューティングデバイス１１０と同様に構成された、様々なコンピューティングデバイスを含んでもよい。例えば、図１に戻ると、自律制御システム１７６は、自律運転モードにおいて、メモリ１３０の命令１３４にしたがって、車両１００の動き、速度などを制御するために、減速システム１６０、加速システム１６２、ステアリングシステム１６４、ルーティングシステム１６６、プランナシステム１６８、測位システム１７０、および知覚システム１７２など、車両１００の様々なシステムと通信してもよい。

【0027】

一例として、自律制御システム１７６のコンピューティングデバイスは、車両の速度を制御するために、減速システム１６０および加速システム１６２と相互作用してもよい。同様に、ステアリングシステム１６４は、車両１００の方向を制御するために、自律制御システム１７６によって使用されてもよい。例えば、車両１００が自動車またはトラックのように道路で使用するように構成されている場合、ステアリングシステムは、車両の向きを変えるための車輪の角度を制御する構成要素を含んでいてもよい。自律制御システム１７６はまた、例えば、必要に応じて方向指示器またはブレーキライトを点灯させることによって、車両の意図を他の運転手または車両に信号で伝えるために、信号システムを使用してもよい。

【0028】

ルーティングシステム１６６は、宛先へのルートを生成するために、自律制御システム１７６によって使用されてもよい。プランナシステム１６８は、ルートをたどるために、コンピューティングデバイス１１０によって使用されてもよい。これに関して、プランナシステム１６８および／またはルーティングシステム１６６は、詳細な地図情報、例えば、道路の形状および高度、車線境界線、交差点、横断歩道、制限速度、交通信号、建物、標識、リアルタイムの交通情報、路肩寄せスポット植生、または他のそのような物体および情報を特定する非常に詳細な地図を記憶してもよい。

【0029】

図２は、建物２２０用の駐車場２１０に隣接する交差点２０２を含む、車道のセクションに関する地図情報２００の例である。地図情報２００は、コンピューティングデバイス１１０のメモリ１３０に格納された地図情報のローカルバージョンでもよい。地図情報の他のバージョンもまた、以下でさらに考察される記憶システム４５０に記憶し得る。この例では、地図情報２００は、車線境界線２３０、２３２、２３４、２３６、車線２４０、２４２、２４４、２４６、一時停止標識２５０、２５２、２５４、２５６などの形状、位置、および他の特性を特定する情報を含む。この例では、地図情報２００は、駐車場２１０および建物２２０の特徴を特定する情報も含む。例えば、駐車スペース２６０、２６２、２６４、２６６、２６８、運転可能エリア２７０、２７２、２７４、２７６などとして。加えて、この例では、地図情報は、建物２２０の入口と出口２８２、２８４、２８６を識別する。図２の地図情報２００に示されている特徴はごくわずかであるが、車両１００を自律運転モードで制御できるようにするために、地図情報２００はかなり多くの特徴および詳細を含み得る。

【0030】

本明細書では、地図情報を画像ベースの地図として描いているが、地図情報は、完全に画像ベースである必要はない（例えば、ラスタ）。例えば、地図情報は、１つ以上の道路グラフ、または道路、車線、交差点、および道路区分で表し得るこれらの特徴間の接続などの情報のグラフネットワークを含み得る。各特徴は、グラフデータとして記憶され得、地理的場所などの情報と関連付けられ得、他の関連する特徴にリンクされているかどうかにかかわらず、例えば、一時停止標識は、道路および交差点などにリンクされ得る。いくつかの例では、関連付けられたデータは、道路グラフのグリッドベースのインデックスを含んで、特定の道路グラフの特徴の効率的な検索を可能にし得る。

【0031】

測位システム１７０は、地図上または地球上の車両の相対位置または絶対位置を判定するために、自律制御システム１７６によって使用されてもよい。例えば、測位システム１７０は、デバイスの緯度、経度、および／または高度の位置を判定するためのＧＰＳ受信機を含んでいてもよい。レーザを利用した位置特定システム、慣性支援ＧＰＳ、またはカメラを利用した位置特定などの他の位置特定システムも、車両の位置を識別するために使用することができる。車両の位置には、緯度、経度、高度などの絶対的な地理的位置情報の他に、すぐ周りの他の車両に対する位置などの相対的な位置情報が含まれてもよく、これは、多くの場合、絶対的な地理的位置よりも少ないノイズで判定することができる。

【0032】

測位システム１７０はまた、車両の方向および速度、またはそれらの変更を判定するための加速度計、ジャイロスコープ、または別の方向／速度検出デバイスなどの、コンピューティングデバイス自律制御システム１７６と通信する他のデバイスを含んでいてもよい。例示に過ぎないが、加速デバイスは、重力の方向、または重力に対して垂直な平面に対する車両の縦揺れ、偏揺れ、または横揺れ（またはそれらの変化）を判定してもよい。このデバイスはまた、速度の増減、およびそのような変化の方向を追跡することもできる。本明細書で説明したようなデバイスの位置および方位データの提供は、コンピューティングデバイス１１０、他のコンピューティングデバイス、および上記の組み合わせに自動的に提供され得る。

【0033】

知覚システム１７２はまた、他の車両、道路内の障害物、交通信号、標識、樹木などの車両の外部にある物体を検出するために１つ以上の構成要素を含む。例えば、知覚システム１７２は、レーザ、ソナー、レーダー、カメラ、および／または自律制御システム１７６のコンピューティングデバイスによって処理され得るデータを記録する任意の他の検出デバイスを含んでもよい。車両がミニバンなどの搭乗者車両である場合には、ミニバンは、屋根または他の都合の良い位置に搭載されるレーザまたは他のセンサを含んでもよい。例えば、図３は、車両１００の例示的な外観図である。この例では、ルーフ上部筐体３１０およびドーム状筐体３１２は、ＬＩＤＡＲセンサ、ならびに様々なカメラおよびレーダーユニットを含み得る。加えて、車両１００の前端部に位置する筐体３２０、ならびに車両の運転者側および助手席側の筐体３３０、３３２は、各々、ＬＩＤＡＲセンサを記憶し得る。例えば、筐体３３０は、運転者ドア３６０の前部に位置している。車両１００はまた、車両１００のルーフ上にまた位置するレーダーユニットおよび／またはカメラのための筐体３４０、３４２を含む。追加のレーダーユニットおよびカメラ（図示せず）は、車両１００の前端および後端に、ならびに／またはルーフもしくはルーフ上部筐体３１０に沿った他の位置上に位置し得る。

【0034】

自律制御システム１７６は、自律制御システム１７６のメモリの一次車両制御コードに従う車両１００の動きを制御するために、車両の様々な構成要素と通信することが可能であり得る。例えば、図１に戻ると、自律制御システム１７６は、メモリ１３０の命令１３４にしたがって、車両１００の動き、速度などを制御するために、減速システム１６０、加速システム１６２、ステアリングシステム１６４、ルーティングシステム１６６、プランナシステム１６８、測位システム１７０、知覚システム１７２、および電源システム１７４（すなわち、車両のエンジンまたはモータ）などの車両１００の様々なシステムと通信する様々なコンピューティングデバイスを含んでもよい。

【0035】

車両の様々なシステムは、どのように車両を制御するかを判定するためおよび制御するために、自律車両制御ソフトウェアを使用して機能し得る。一例として、認知システム１７２の認知システムソフトウェアモジュールは、カメラ、ＬＩＤＡＲセンサ、レーダーユニット、ソナーユニットなどの自律車両の１つ以上のセンサによって生成されたセンサデータを使用して、物体およびその特徴を検出および識別することができる。これらの特徴には、位置、タイプ、進行方向、配向、速度、加速度、加速度の変化、サイズ、形状などを含み得る。場合によっては、オブジェクトタイプに基づいて様々な動作モデルを使用する動作予測システムソフトウェアモジュールに特徴を入力して、検出されたオブジェクトの予測される将来の動作を出力する。他の例では、特徴は、既知の交通信号の状態を検出するように構成された信号機検出システムソフトウェアモジュール、車両の１つ以上のセンサによって生成されたセンサデータから建設ゾーンを検出するように構成された建設ゾーン検出システムソフトウェアモジュール、ならびに、車両のセンサによって生成されたセンサデータから緊急車両を検出するように構成された緊急車両検出システムなどの１つ以上の検出システムソフトウェアモジュールに入れることができる。これらの検出システムソフトウェアモジュールの各々は、様々なモデルを使用して、建設ゾーンまたはオブジェクトが緊急車両である可能性を出力し得る。検出された物体、予測された将来の行動、検出システムソフトウェアモジュールからの様々な可能性、車両の環境を識別する地図情報、車両の位置および配向を識別する測位システム１７０からの位置情報、車両の目的地、ならびに車両の様々な他のシステムからのフィードバックをプランナシステム１６８のプランナシステムソフトウェアモジュールに入力し得る。プランナシステムは、この入力を使用して、ルーティングシステム１６６のルーティングモジュールによって生成されたルートに基づいて、将来のある短い期間にわたって車両がたどる軌道を生成することができる。自律制御システム１７６の制御システムソフトウェアモジュールは、例えば、軌道をたどるために、車両の制動、加速、およびステアリングを制御することによって、車両の動きを制御するように構成され得る。

【0036】

自律制御システム１７６は、様々な構成要素を制御することにより、自律運転モードで車両を制御することができる。例えば、例として、自律制御システム１７６は、詳細な地図情報およびプランナシステム１６８からのデータを使用して、車両を目的地に完全に自律的にナビゲートすることができる。自律制御システム１７６は、測位システム１７０を使用して車両の位置を決定し、その位置に安全に到達するために必要とされるとき、知覚システム１７２を使用して物体を検出し、物体に対して応答し得る。繰り返すが、そうするために、コンピューティングデバイス１１０は、軌道を生成し、車両にこれらの軌道を追従させ、（例えば、加速システム１６２により、エンジンまたは電源システム１７４に燃料または他のエネルギーを供給することによって）車両を加速させ、（例えば、エンジンまたは電源システム１７４に供給される燃料を減少させ、ギヤを変更し、および／または減速システム１６０によりブレーキをかけることによって）減速させ、（例えば、ステアリングシステム１６４により、車両１００の前輪または後輪の向きを変えることによって）方向を変更し、（例えば、方向指示器を点灯することによって）そのような変更を信号で伝えることができる。したがって、加速システム１６２および減速システム１６０は、車両のエンジンと、車両の車輪との間の様々な構成要素を含むドライブトレインの一部であってもよい。繰り返すが、これらのシステムを制御することにより、自律制御システム１７６はまた、車両を自律的に操縦するために車両のドライブトレインを制御することもできる。

【0037】

車両１００のコンピューティングデバイス１１０はまた、輸送サービスの一部であるコンピューティングデバイスならびに他のコンピューティングデバイスのような他のコンピューティングデバイスとの間で情報を受信または転送することもできる。図４および図５は、それぞれ、例示的なシステム４００のイラスト図および機能図であり、システムは、ネットワーク４６０を介して接続された複数のコンピューティングデバイス４１０、４２０、４３０、４４０、および記憶システム４５０を含む。システム４００は、車両１００、および車両１００と同じまたは同様に構成され得る車両１００Ａ、１００Ｂも含む。簡潔にするため、いくつかの車両およびコンピューティングデバイスのみを図示しているが、典型的なシステムは、これよりもはるかに多くのものを含み得る。

【0038】

図５に示されるように、コンピューティングデバイス４１０、４２０、４３０、４４０の各々は、１つ以上のプロセッサ、メモリ、データ、および命令を含むことができる。そのようなプロセッサ、メモリ、データ、および命令は、コンピューティングデバイス１１０の１つ以上のプロセッサ１２０、メモリ１３０、データ１３２、および命令１３４と同様に構成されてもよい。

【0039】

ネットワーク４６０および仲介ノードは、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈ ＬＥ、インターネット、Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ、イントラネット、仮想プライベートネットワーク、ワイドエリアネットワーク、ローカルネットワーク、１つ以上の企業に専用の通信プロトコルを使用するプライベートネットワーク、イーサネット、ＷｉＦｉ、およびＨＴＴＰ、ならびに上記の様々な組み合わせなどの短距離通信プロトコルを含む様々な構成およびプロトコルを含んでもよい。このような通信は、モデムおよび無線インターフェースなどの、他のコンピューティングデバイスとの間でデータを送信することができる任意のデバイスによって容易に行われ得る。

【0040】

一例では、１つ以上のコンピューティングデバイス４１０は、他のコンピューティングデバイスとの間でデータを受信、処理、および送信する目的で、ネットワークの異なるノードと情報を交換する、例えば、負荷分散サーバファームなど、複数のコンピューティングデバイスを有する１つ以上のサーバコンピューティングデバイスを含んでもよい。例えば、１つ以上のコンピューティングデバイス４１０は、ネットワーク４６０を介して、車両１００のコンピューティングデバイス１１０、または車両１００Ａの同様のコンピューティングデバイス、ならびにコンピューティングデバイス４２０、４３０、４４０と通信することが可能である１つ以上のサーバコンピューティングデバイスを含んでもよい。例えば、車両１００、１００Ａは、サーバコンピューティングデバイスによって様々な場所に派遣され得る車両の車隊の一部であり得る。この点について、サーバコンピューティングデバイス４１０は、乗客をピックアップおよびドロップオフするために、車両１００および車両１００Ａのような車両を異なる場所に派遣するために使用することができる派遣サーバコンピューティングシステムとして機能し得る。加えて、サーバコンピューティングデバイス４１０は、ネットワーク４６０を使用し得、コンピューティングデバイス４２０、４３０、４４０のディスプレイ４２４、４３４、４４４のようなディスプレイ上に、ユーザ４２２、４３２、４４２などのユーザに情報を送信および提示する。この点について、コンピューティングデバイス４２０、４３０、４４０は、クライアントコンピューティングデバイスとみなされ得る。

【0041】

図５に示されるように、各クライアントコンピューティングデバイス４２０、４３０、４４０は、ユーザ４２２、４３２、４４２が使用することを意図されたパーソナルコンピューティングデバイスであってもよく、１つ以上のプロセッサ（例えば、中央処理装置（ＣＰＵ））、データおよび命令を記憶するメモリ（例えば、ＲＡＭおよび内蔵ハードドライブ）、ディスプレイ４２４、４３４、４４４などのディスプレイ（例えば、画面を有するモニタ、タッチスクリーン、プロジェクタ、テレビ、または情報を表示するように動作可能である他のデバイス）、およびユーザ入力デバイス４２６、４３６、４４６（例えば、マウス、キーボード、タッチスクリーン、またはマイクロフォン）を含む、パーソナルコンピューティングデバイスと接続して通常使用されるすべてのコンポーネントを有し得る。クライアントコンピューティングデバイスはまた、ビデオストリームを記録するためのカメラ、スピーカ、ネットワークインターフェースデバイス、およびこれらの要素を互いに接続するために使用される構成要素のすべてを含んでもよい。

【0042】

クライアントコンピューティングデバイス４２０、４３０、および４４０は、各々、フルサイズのパーソナルコンピューティングデバイスを備えてもよいが、代替的に、インターネットなどのネットワークを介してサーバとデータを無線で交換することができるモバイルコンピューティングデバイスを備えてもよい。ほんの一例として、クライアントコンピューティングデバイス４２０は、携帯電話、または無線対応ＰＤＡ、タブレットＰＣ、ウェアラブルコンピューティングデバイスもしくはシステムなどのデバイス、またはインターネットもしくは他のネットワークを介して情報を取得することができるネットブックであってもよい。別の例では、クライアントコンピューティングデバイス４３０は、図４に示されるように、腕時計として示されるウェアラブルコンピューティングシステムであってもよい。一例として、ユーザは、小型キーボード、キーパッド、マイクロフォンを使用して、カメラを用いる視覚信号、またはタッチスクリーンを使用して、情報を入力し得る。

【0043】

メモリ１３０と同様に、記憶システム４５０は、ハードドライブ、メモリカード、ＲＯＭ、ＲＡＭ、ＤＶＤ、ＣＤ－ＲＯＭ、書き込み可能メモリ、および読み出し専用メモリなど、サーバコンピューティングデバイス４１０によってアクセス可能な情報を記憶することができる、任意のタイプのコンピュータ化された記憶装置であり得る。加えて、記憶システム４５０は、データが、同じまたは異なる地理的位置に物理的に位置し得る複数の異なる記憶デバイス上に記憶される分散型記憶システムを含んでもよい。記憶システム４５０は、図４および図５に示すように、ネットワーク４６０を介してコンピューティングデバイスに接続され得、かつ／またはコンピューティングデバイス１１０、４１０、４２０、４３０、４４０などのいずれかに直接接続されるか、もしくは組み込まれ得る。

【0044】

記憶システム４５０は、様々なタイプの情報を記憶し得る。例えば、記憶システム４５０は、自律運転モードで車両を操作するために、車両１００などの車両によって使用される上述の自律車両制御ソフトウェアを記憶することもできる。記憶システム４５０に記憶されたこの自律車両制御ソフトウェアは、自律車両制御ソフトウェアの様々な無効化および検証されたバージョンを含む。検証されると、自律車両制御ソフトウェアは、例えば、自律運転モードで車両を制御するために、車両のコンピューティングデバイスによって使用されるように、車両１００のメモリ１３０に送信されてもよい。

【0045】

記憶システム４５０は、以下により詳細に説明されるように、様々なタイプの情報を記憶することができる。この情報は、本明細書で記載する特徴のうちのいくつかまたはすべてを実行するために、１つ以上のサーバコンピューティングデバイス４１０などのサーバコンピューティングデバイスによって検索または別様にアクセスされ得る。例えば、記憶システムは、様々なモデルと、以下でさらに説明するように訓練を介して更新できるモデルのパラメータ値とを記憶できる。記憶システム４５０はまた、ログデータを記憶することができる。このログデータは、例えば、車両１００の知覚システム１７２などの知覚システムによって生成されたセンサデータを含み得る。知覚システムは、センサデータを生成する複数のセンサを含み得る。一例として、センサデータは、生のセンサデータのみならず、車両、歩行者、自転車、植生、縁石、車線境界線、歩道、横断歩道、建物などの物体の形状、位置、配向、速度などの知覚された物体（他の道路利用者を含む）の定義特性を特定するデータを含み得る。ログデータには、以下でさらに説明するように、車両の環境および／または要求に応じて車両が生成する様々なタイプの聴覚的通信を特定する「イベント」データも含まれる場合がある。

【0046】

例示的な方法
上述し、図に示した動作に加えて、様々な動作を、ここで説明する。以下の動作は、以下に説明する正確な順序で実行される必要がないことを理解されたい。むしろ、様々な工程が、異なる順序で、または同時に処理されてもよく、工程もまた、追加または省略されてもよい。

【0047】

モデルを生成および訓練するために、サービスのユーザは、例えば、ユーザのコンピューティングデバイス（すなわち、携帯電話）上のアプリケーションを介して、車両が通信を提供することを要求するためのオプションを提供され得る。この点で、オプションを使用すると、車両に通信を提供させることができる。ユーザがオプションを使用すると、このデータが記録される場合がある。図６は、ディスプレイ４２４上に表示されるオプション６１０、６２０を含む、クライアントコンピューティングデバイス４２０の例示的な図である。この例では、オプション６１０は、クライアントコンピューティングデバイスが、例えば、ネットワーク４６０または他の無線接続を介して、車両に要求を送信し、クラクションを鳴らすことによって、またはスピーカ１５４を通して対応する音声を再生することによって、車両に聴覚的通信を生成させることを可能にし得る。オプション６２０は、クライアントコンピューティングデバイスが、例えば、ネットワーク４６０または他の無線接続を介して、車両に要求を送信し、例えば、ヘッドライト３５０、３５２を点滅させることによって、および／または電子ディスプレイ１５２に情報を表示することによって、車両に視覚的通信を生成させることを可能にし得る。いくつかの例では、オプション６３０は、ユーザが自分の車両を特定したと確信している場合など、ユーザが通信を要求しないことを可能にするために提供され得る。

【0048】

例えば、ユーザは暗い駐車場でオプション６２０を使用して、自律車両にヘッドライトを点滅させることができる。別の例として、他の歩行者がほとんどいない明るい駐車場では、ユーザは、オプション６１０を使用して、車両にクラクションを鳴らさせたり、あるいは他の何らかの聴覚的通信を提供したりすることができる。より多くの歩行者が存在する場合、ユーザは、オプション６１０よりもオプション６２０を選択することができる。別の例として、ユーザは、オプション６１０を使用して、大きな駐車場内または大きな建物の近くにいるときに、車両にクラクションを鳴らさせることができる。さらに別のオプションとして、ユーザは、オプション６２０を使用して、近くに複数の自律車両があるときに車両にそのヘッドライトを点滅させてもよい。代替的に、ヘッドライトを点滅させるのではなく、電子ディスプレイ１５２上に情報を表示するなどの別のタイプの視覚的通信オプションを提供してもよい。

【0049】

オプション６１０、６２０などのオプションの１つが通信を要求するために使用されるたびに、メッセージが車両に提供されて、車両のコンピューティングデバイス１１０に通信を行わせるかまたは生成させてもよい。このメッセージには、要求が生成された日時、行われる通信のタイプ、ならびにユーザの位置などの情報が含まれる場合がある。このメッセージのみならず他のメッセージ情報もまた、例えば、車両および／またはユーザのクライアントコンピューティングデバイスによって、メッセージを記憶システム４５０に記憶することができるサーバコンピューティングシステム４１０などのサーバコンピューティングシステムに送信されてもよい。一例として、他のメッセージ情報は、車両の位置、通信のタイプ（ライトの点滅、電子ディスプレイ１５２上の情報の表示、警笛を鳴らすことなど）、車両の知覚システム１７２によって検出された他の道路利用者（車両、歩行者、自転車利用者など）の位置および／または特性、周囲照明状態などの、車両のコンピューティングシステムによって生成されたデータを含み得る。

【0050】

一例として、周囲照明状態は、任意の数の異なる方法で決定され得る。例えば、コンピューティングデバイス１１０は、電子ディスプレイ１５２などの一部の場合には、車両のヘッドライトの状態を制御し、内部電子ディスプレイの明るさを調整するために使用されるものなどの、車両の光センサからのフィードバックを受信し得る。光センサからのフィードバックがコンピューティングデバイス１１０に直接利用できない場合、この情報はまた、車両のヘッドライトおよび／または内部電子ディスプレイの状態から収集され得る。言い換えれば、コンピューティングデバイス１１０は、この情報から、車両がヘッドライトを点灯するのに「十分に暗い」か、または特定の明るさの内部電子ディスプレイであるかを判定することができ得る。加えて、または代替的に、周囲照明状態は、車両の知覚システムによって生成されたデータから判定され得る。前述したように、知覚システム１７２は、複数の異なるセンサを含み得、そのいくつかは、静止カメラまたはビデオカメラなど、周囲照明状態を判定するために使用し得る。例えば、周囲照明状態を判定するために、車両の環境の「ライブ」カメラ画像を分析し得る。これには、カメラが向けられているエリアが明るいエリアであるかを判定するために画素の処理を含み得る。画素が明るく、画像が短い露光時間である場合、これはそのエリアも明るいことを示している可能性がある。別の例として、周囲照明状態は、カメラの露出値を使用することによってリアルタイムで判定され得る。一例として、画像を捕捉する場合、知覚システム１７２のカメラは、周囲照明状態が与えられると、露出値を自動的に再較正することができる。この点について、露出値は、車両のカメラによって現在視認可能なエリアの明るさの代用と見なし得る。例えば、リアルタイムの露出値を使用し得、周囲照明状態を判定する。露出値が長いほど、シーンは暗くなるか、またはむしろ、周囲照明状態は低くなる。同様に、露出値が短いほど、シーンは明るくなるか、またはむしろ、周囲照明状態は高くなる。加えて、太陽が出ていない期間（すなわち、１年のうちの任意の所与の日の夕暮れから夜明けまで）の露出値を確認し、より明るい人工照明を示す短い露出時間のものを識別することができる。

【0051】

センサデータを含むメッセージおよび他のメッセージ情報は、次に、モデルを生成および訓練するために、サーバコンピューティングデバイス４１０によって処理され得る。モデルは、決定木（ランダムフォレスト決定木など）、ディープニューラルネットワーク、ロジスティック回帰、ニューラルネットワークなどの機械学習モデルであり得る。モデルを訓練するには、ユーザの位置、他のメッセージ情報（メッセージを生成した様々な車両の知覚システム１７２によって生成されたセンサデータを含む）、ならびに地図情報を訓練入力として使用することができ、（メッセージからの）通信のタイプを訓練出力として使用することができる。

【0052】

したがって、訓練には、様々な訓練入力だけでなく、訓練出力またはターゲット出力を含む訓練データの受信が含まれる場合がある。モデルは、モデルのパラメータの現在の値を使用して訓練データで訓練され、出力値のセットを生成できる。これらの出力値は、通信のタイプの適切性のレベル、またはモデルを使用して決定されるその他の出力データを示す場合がある。ターゲット出力および出力値のセットを互いに比較して、これらの値が互いにどれだけ離れているかを示す１つ以上の差分値を決定することができる。この１つ以上の差分値に基づいて、モデルのパラメータの現在の値を調整することができる。訓練と調整を繰り返すと、モデルの精度を向上することができる。したがって、モデルの訓練に使用される訓練データが多いほど、モデルは、自動的に提供する通信かどうかおよびどの通信タイプか、または以下でさらに説明するように提供または有効にする通信オプションのどのタイプかを決定する際に、より正確になる。加えて、地図情報を訓練データとして使用することにより、モデルを訓練して、環境、例えば、車両および／または歩行者が位置している道路またはエリアのタイプ（例えば、住宅または商業）が、どのタイプの通信または通信オプションを提供または有効にするかの決定に通信に対するユーザの望みにどのように影響するかを組み込むことができる。

【0053】

加えて、訓練データとして日時および／または周囲照明状態を使用することによって、モデルは、モデルによって出力される異なるタイプの通信について、異なる時刻および照明状態を区別するように訓練され得る。例えば、日時のみならず周囲照明状態も訓練入力として使用できる。繰り返すが、モデルの訓練に使用される訓練データが多いほど、有効にするおよび／または提供する通信のタイミングとタイプを決定する際にモデルがより正確になり得る。

【0054】

加えて、フィードバックおよびハンド訓練を介して、誤検知の可能性を減らすために、または車両が不適切または不適当な時間に通信を生成する必要があることを示すために、様々な通信オプションに重みを割り当てる（または生成する）ことができる。このような重みは、環境要因（地図情報およびセンサデータなど）に大きく依存する可能性が高いため、このような入力により、モデルが対応する重み付き要因の影響を受ける可能性がある。例えば、モデルを訓練するとき、歩行者に不快感を与える可能性があるため、歩行者が車両から１～２メートルなどの短い距離内にいるときにクラクションを鳴らすことに対して、モデルは、より重み付けすることができる。

【0055】

同様に、モデルは、視覚的通信が適切である状況と聴覚的通信が適切である場合とを区別するように訓練することができる。例えば、混雑したエリアでクラクションを鳴らす（またはスピーカ１５４を介して対応する聴覚的通信を再生する）ことは適切ではない（またはより適切である）場合があり、日中にライトを使用することは適切でない（またはより適切である）場合がある。この点で、様々な通信の有効性または有用性に関するユーザのフィードバックを使用して、モデルを訓練することもできる。一例として、ユーザは、特定の通信が不適切または不便であったかどうか、およびその理由（例えば、ヘッドライトが点滅したときに人が車両の前に立っていたかどうか、その人の目に痛みを伴う可能性があるかどうか、クラクションまたは電子ディスプレイ上に表示される情報は、車両の環境で他の人を混乱させたかどうかなど）を示すフィードバックを提供してもよい。加えて、法律および規制に基づいて、聴覚的通信がより適切であるかまたは適切ではない場合がある（例えば、特定のエリアでヘッドライトを点滅させたり、またはクラクションを鳴らしたりすることは違法である場合がある）。不適切な、効果がない、不便な、またはあまり役に立たない通信のそのような例は、不適切であるとして（例えば、人間の操作者によって手動で）生成および／またはラベル付けされ、および／または訓練データとして使用され得る。したがって、上記のように、モデルは、通信が適切であるかどうか、もしそうであれば、通信のタイプ、またはむしろ、通信が聴覚的であるかもしくは視覚的であるかを出力するように訓練され得る。一例として、モデルは、可能な通信タイプのリストおよびそれぞれに対応する適切性のレベルを特定し得る。場合によっては、ユーザは自分の体験について肯定的および／または否定的なフィードバックを提供することがある。この情報は、ユーザがより適切であると最も役立つと思われた通信を選択するようにモデルを訓練するのを助けるためにも使用できる。

【0056】

場合によっては、利用可能な訓練データの量に応じて、モデルを特定の目的のために訓練することができる。例えば、モデルは、特定のユーザまたはユーザのタイプのために、特定の位置でピックアップされたそのユーザまたはユーザの履歴のタイプに基づいて訓練され得る。このようにして、モデルは、車両がそのユーザの典型的なピックアップ位置から逸脱する必要がある状況において、車両がユーザに事前に通知を提供することを可能にし得る。例えば、ユーザが通常は建物の片隅でピックアップされているが、障害物（建設、駐車中の車両、倒れた木の破片など）があり、車両が建物の別の隅などの別の位置に移動することを余儀なくされている場合、モデルは、車両が視覚的および／または聴覚的通信（クラクション、ライトの点滅など、または電子ディスプレイ１５２上に情報を表示することによって）を介してユーザに事前に通知できるように訓練して、ユーザが建物を出るときにユーザの注意を引くことができる。このようにして、車両は必要に応じて応答することができる。場合によっては、モデルは、視覚的および／または聴覚的通信と併せて、ユーザのクライアントコンピューティングデバイス上のアプリケーションを介してユーザにさらに通知するように訓練され得る。

【0057】

次に、訓練されたモデル、またはむしろモデルおよびパラメータ値を、車両１００、１００Ａなどの１つ以上の車両に提供して、これらの車両のコンピューティングデバイス１１０が人とよりよく通信できるようにすることができる。車両がピックアップ位置に近づくかまたは待機しているとき（または商品をドロップオフしているとき）。車両のコンピューティングデバイス１１０は、モデルを使用して、通信が適切であるかどうか、適切である場合はどのタイプであるかを決定することができる。これは、例えば、車両の環境に基づいて、および／またはユーザ（または可能な乗客）が車両に対して明確な視線を持っているかどうか、またはその逆に応じて、行われ得る。

【0058】

一態様では、モデルおよびパラメータ値を使用して、上記で説明したようなオプションをアプリケーションに表面化する必要があるかどうかを判定できる。例えば、車両の知覚システムによって生成されたセンサデータ、車両の周囲のエリアのローカル地図情報、および車両の現在位置をモデルに入力することができる。地図情報は、例えば、最も近い縁石、階段、入口または出口までの距離、および／または車両が、車両のユーザの視界を妨げる可能性のある壁または木などの別の物体に近接しているかどうかなどの様々な関連情報を含み得る。この決定は、例えば、車両のコンピューティングデバイスが、車両が停止してユーザを待つ場所を見つけ、その場所に寄せ、および／または車両がすでに停止している（つまり、すでに駐車した）場合に実行され得る。次に、モデルは、通信が適切であるかどうか、および各タイプの通信の適切性のレベルを示す値を出力することができる。

【0059】

ある例では、モデルの出力が、視覚的通信が聴覚的通信よりも適切であることを示している場合、表面化されたオプションは視覚的通信のみを許可してもよい。言い換えれば、視覚的通信の適切性を示す値が聴覚的通信を示す値よりも大きい場合、表面化されたオプションは視覚的通信のみを可能にし得る。例えば、図７に目を向けると、視覚的通信を提供するためのオプション６２０は利用できないが、聴覚的通信を提供するためのオプション６１０は利用可能である。

【0060】

同様に、モデルの出力が、聴覚的通信が視覚的通信よりも適切であることを示している場合、表面化されたオプションは視覚的通信のみを許可する場合がある。繰り返すが、言い換えれば、聴覚的通信の適切性を示す値が視覚的通信を示す値よりも大きい場合、表面化されたオプションは視覚的通信のみを許可してもよい。例えば、図８に目を向けると、聴覚的通信を提供するためのオプション６１０は利用できないが、視覚的通信を提供するためのオプション６２０は利用可能である。

【0061】

一例として、図２の地図情報２００に対応する図９に目を向けると、訓練データは、ユーザが、例えば入口および出口２８６を介して、建物２２０を出るとき、エリア９１０の近くに立ち、例えば、オプション６１０または６２０を介した聴覚的または視覚的通信を要求する傾向があることを示し得る。したがって、訓練されたモデルが使用されるとき、ユーザが、例えば入口および出口２８６を介して建物２２０を出て、それらのクライアントコンピューティングデバイスのＧＰＳによって追跡されるように（そしておそらく車両の知覚システム１７２による歩行者の検出によって確認されるように）エリア９１０に向かってまたはその近くの軌道上にあるとき、アプリケーションは、図６、７、および８のいずれかの例のように、通信（例えば、視覚的、聴覚的、またはその両方）を提供するオプションを自動的に表面化することができる。

【0062】

別の態様では、モデルを使用して、上記のようにオプションを表面化するだけではなく、車両が自動的に聴覚的通信を行うべきかどうかを決定することができる。繰り返すが、この決定は、例えば、車両のコンピューティングデバイスが、車両が停止してユーザを待つ場所を見つけ、その場所に寄せ、および／または車両がすでに停止している（すなわち、すでに駐車している）と実行され得る。例えば、図１０に目を向けると、訓練データは、ユーザが建物２２０を出るとき、例えば入口と出口２８２を経由する場合、エリア１０１０およびユーザオプション６１０の近くに立って、車両のコンピューティングデバイスにクラクションを鳴らさせる（または、スピーカ１５４を介して対応する聴覚的通信を生成する）傾向があることを示す。したがって、訓練されたモデルが使用されるとき、ユーザが建物２２０を出て、それらのクライアントコンピューティングデバイスのＧＰＳによって追跡されるように（そしておそらく車両の知覚システムによる歩行者の検出によって確認されるように）エリア１０１０に向かってまたはその近くの軌道上にあるとき、車両のコンピューティングデバイス１１０は、自動的にクラクションを鳴らす（またはスピーカ１５４を介して対応する聴覚的通信を生成する）ことができる。別の例では、訓練データは、ユーザが、例えば入口および出口２８６を介して、建物２２０を出るとき、ユーザはエリア１０２０の近くに立ち、オプション６２０を使用して車両のコンピューティングデバイスにヘッドライト３５０、３５２を点滅させる傾向があることを示し得る。したがって、訓練されたモデルが使用される場合、ユーザが入口および出口２８６を介して建物２２０を出て、ユーザが周囲に多くの歩行者がいるエリア１０２０に向かってまたはその近くに軌道上にいる場合に周囲に多くの歩行者が存在するとき、それらのクライアントコンピューティングデバイスのＧＰＳによって追跡される（そしておそらく車両の知覚システムによる歩行者の検出によって確認される）ように、車両のコンピューティングデバイス１１０がヘッドライト３５０、３５２を自動的に点滅させることができる。

【0063】

場合によっては、車両のコンピューティングデバイスは、ユーザのアカウント情報からの情報および／またはユーザからの他の入力を使用して、適切な通信のタイプを決定することができる。例えば、ユーザのアカウント情報または他の入力が、ユーザに障害（視覚または聴覚関連）があることを示している場合、これをコンピューティングデバイスが使用して、モデルの出力を「オーバーライド」、および／またはモードへの入力としてもよい。例えば、視覚障害者は、聴覚的通信からより多くの恩恵を受ける可能性がある。ただし、周囲に他の人がたくさんいる場合、システムは、警笛を鳴らすよりも、ユーザのデバイスを介して指示を与えることを好む場合がある。同様に、聴覚障害者は、聴覚的通信よりも視覚的通信の方が恩恵を受ける可能性がある。また、ユーザが車両に到達するためにカバーする必要のある距離に関連する様々なパラメータには、より高いしきい値が存在する場合がある。例えば、車両のコンピューティングデバイスは、視覚障害者が道路または他の歩行者に優しくないエリア（交通量が多い）を横断して車両に到達するように指示または奨励することを避ける必要がある。

【0064】

加えて、または代替的に、モデルの出力を使用して、初期アクションを決定および実行することができ、その後のアクションは、初期アクションに応じて自動的に実行され得る。繰り返すが、この決定は、例えば、車両のコンピューティングデバイスが、車両が停止してユーザを待つ場所を見つけ、その場所に寄せ、および／または車両がすでに停止している（すなわち、すでに駐車している）と実行され得る。例えば、ユーザが建物２２０を出てエリア１０２０に近づくと、車両のコンピューティングデバイス１１０は、ヘッドライト３５０、３５２を自動的に点滅させることができる。（例えば、車両に向かって）ユーザの軌道に即時の変化がなく、オプション６１０などのオプションが、ユーザのクライアントコンピューティングデバイスを介して表面化され、図７の例のように、ユーザが車両のコンピューティングデバイス１１０にクラクションを鳴らさせること（またはスピーカ１５４を介して対応する聴覚的通信を生成すること）を可能にし得る。別の例として、ユーザが建物２２０を出てエリア１０２０に近づくと、車両のコンピューティングデバイス１１０は、ヘッドライト３５０、３５２を自動的に点滅させることができる。（例えば、車両に向かって）ユーザの軌道に即時の変化がない場合、車両のコンピューティングデバイス１１０は、自動的に車両のクラクションを鳴らす（またはスピーカ１５４を介して対応する聴覚的通信を生成する）ことができる。場合によっては、自動的に警笛を鳴らすことに加えて、オプション６１０などのオプションも表面化して、図７の例に示すように、ユーザが車両に車両のクラクションを鳴らさせる（またはスピーカ１５４を介して対応する聴覚的通信を生成する）ことを可能にしてもよい。代替的に、オプションを表面化するのではなく、車両が車両のクラクションを鳴らしていることをユーザに知らせる通知を表示してもよい。少なくとも最初は、これらの後続のアクションは、ランダムに、または人間が調整したヒューリスティックを使用することによって、選択できる。場合によっては、これらのヒューリスティックは、特定の音声キューまたは車両の環境に関する他の情報（他のメッセージ情報など）への応答を伴う可能性がある。例えば、周囲のノイズが多い場合は、大音量の音声通信が最初のアクションとして役立ち得る。

【0065】

後続のアクションに対するユーザの応答を使用して、エスカレートされた通信のモデルを構築できる。エスカレートされた通信のモデルは、決定木（ランダムフォレスト決定木など）、ディープニューラルネットワーク、ロジスティック回帰、ニューラルネットワークなどの機械学習モデルである可能性がある。例えば、後続のアクションが使用された各状況に対して、結果が追跡される場合がある。次に、この情報は、例えば、サーバコンピューティングデバイス４１０によって分析されて、エスカレートされた通信のモデルを訓練し、それによって、ユーザが車両通信に応答してより迅速に車両に入る可能性を高めるパターンを特定することができる。例えば、この分析には、通信に応じた「搭乗までの時間」＋「軌道の変更の時間／一貫性」の両方が含まれる場合がある。例として、一般的な（または平均的な）ユーザが建物２２０を出るときに、搭乗するのにＮ秒かかる場合。しかし、車両のコンピューティングデバイス１１０が聴覚的通信を提供する場合、例えば、Ｎ／２に減少し、その結果、車両の発見可能性が大幅に改善される。軌道の変更についても同じことが言える。ユーザが一般に建物２２０で車両から離れようとしているが、平均的な場合で最終的には車両を見つけた場合、理想的には、車両が聴覚的通信を提供した後、ユーザが車両に向かう軌道を修正するまでの時間が大幅に改善される可能性がある。

【0066】

次に、エスカレートされた通信のモデルを訓練して、前のアクションまたは最初のアクションに基づいて、ユーザが車両に到達するのを最も容易にするための次のアクションがどうあるべきかを決定することができる。一例として、モデルは、ユーザの向きを使用して訓練することができる。例えば、モデルへの訓練入力は、ユーザが車両に到達する、および／または車両に搭乗するための実際の時間、時間の経過とともにユーザがどのアクションを利用したか、およびユーザの元の向きを含み得る。これらの組み合わせは、エスカレートされた通信、例えば、ユーザによって開始された第２または第３の通信が、ユーザがアクションをトリガしたときにユーザの向きを修正することによって搭乗時間を短縮したかどうかを示し得る。したがって、ユーザが北に向かって建物を出る場合（車両が実際には反対方向、ここでは南にある場合）、前述のオプションを使用して車両にクラクションを鳴らさせ、次に車両に向かって方向を変更すると、モデルは、出口を出て北に向かっているユーザを追跡するときに、モデルが車両にクラクションを早く鳴らさせ得るように訓練することができる。同様に、最初のアクションでユーザに向きを変更させない場合、エスカレートされた通信のモデルを使用して、必要に応じて、ユーザの反応（例えば、向きの変更など）に基づいて、第２の通信、第３の通信などを決定できる。繰り返すが、モデルの訓練に使用される訓練データが多いほど、モデルが前のアクションからエスカレートする方法を決定する際に正確なモードになる。

【0067】

一例として、エスカレートされた通信のモデルは、建物２２０を出てエリア１０１０に立っているユーザのために、車両が最初にユーザからの応答なしにライトを点滅させ、その後、車両が自動的に車両のクラクションを鳴らす（またはスピーカ１５４を介して対応する聴覚的通信を生成する）ように訓練され得る。（例えば、車両に向かって）ユーザの軌道に即時の変化がない場合、車両のコンピューティングデバイス１１０は、顧客サービス担当者、例えば、コンピューティングデバイス４４０を使用するユーザ４４２などの顧客サービス担当者を自動的に呼び出すことができる。担当者は、車両の知覚システム１７２によって生成され、そこから受信されたセンサデータ、車両の測位システム１７０によって生成され、そこから受信された車両の位置、ならびにユーザのクライアントコンピューティングデバイスによって生成され、そこから受信されたユーザの位置を使用することによって、ユーザと通信し、ユーザを車両に誘導することができ得る。

【0068】

別の例として、エスカレートされた通信のモデルは、建物２２０を出てエリア１０２０に立っているユーザのために、その後、車両は、ユーザの軌跡に変化があるかどうかを確認するために毎回待っている間に車両のクラクションを自動的に３回鳴らすべきであるように訓練され得る。別の例として、エスカレートされた通信のモデルは、夜間に建物Ｅを出るユーザのために、オプションを表面化させるのではなく、車両のコンピューティングデバイス１１０が常に顧客サービス担当者を自動的に呼び出すことができるように訓練され得る。

【0069】

第１のモデルと同様に、エスカレートされた通信の訓練されたモデルは、次に、それらの車両のコンピューティングデバイス１１０が人々とよりよく通信できるようにするために、車両１００、１００Ａなどの１つ以上の車両に提供され得る。

【0070】

メッセージおよび他の情報を使用してモデルを訓練することに加えて、ピックアップとドロップオフをより容易にするためにデータを分析することができる。例えば、ユーザがピックアップのために一般にエリア１０１０に位置し、通常、車両が１０２０であるときに車両のクラクションを作動させるオプションを使用する場合、これを使用して、車両をエリア１０１０の位置の近くで停止させることができる。

【0071】

図１１は、ユーザに対する自律車両からの通信を容易にするために、コンピューティングデバイス１１０のプロセッサ１２０など、１つ以上のコンピューティングデバイスの１つ以上のプロセッサによって実行され得る本開示の態様による例示的なフロー図１１００である。

【0072】

ブロック１１１０に示すように、車両によってユーザをピックアップしようとしている間、ユーザが車両に入る前に、ユーザに対する車両の位置を通信するための通信アクションのタイプを特定するために、車両の現在位置および地図情報がモデルに入力される。これには、モデルおよび／または上記のエスカレートされた通信のモデルが含まれる場合がある。したがって、上記のように、モデルは、通信が適切であるかどうか、もしそうであれば、通信のタイプ、またはむしろ、通信が聴覚的であるかもしくは視覚的であるかを出力することができる。

【0073】

ブロック１１２０において、第１の通信は、通信アクションのタイプに基づいて有効にされる。この有効化は、例えば、上記のようにオプションを表面化すること、および／または上記のように聴覚的または視覚的通信を自動的に生成することを含み得る。

【0074】

ブロック１１３０において、第１の通信を可能にした後、ユーザが車両に向かって移動しているかどうかは、受信したセンサデータから決定される。言い換えれば、ユーザが第１の通信に応答したかどうかが決定され得る。このセンサデータには、車両の知覚システム１７２によって生成されたセンサデータおよび／またはユーザのクライアントコンピューティングデバイスからのセンサデータが含まれ得る。このセンサデータから、車両のコンピューティングデバイスは、例えば、ユーザが車両に向かって移動しているか、車両に向かって向いているか、および／またはユーザが車両に向かって移動するために向きを変更したかどうかを決定することができる。

【0075】

ブロック１１４０において、第２の通信は、ユーザが車両に向かって移動しているかどうかの決定に基づいて有効にされる。一例として、第２の通信は、第１の通信の有効化に応答して車両に向かって移動するために、ユーザが車両に向かって移動していないか、またはユーザの向きまたは配向を変更していないときに有効になり得る。有効化は、例えば、上記のようにオプションを表面化すること、および／または上記のように聴覚的または視覚的通信を自動的に生成することを含み得る。

【0076】

本明細書に記載の特徴は、自律車両が乗客またはユーザのピックアップおよびドロップオフを改善することを可能にし得る。例えば、ユーザは、自分自身で、または表面化されたオプションを使用するように促すことによって、車両がユーザと視覚的および／または聴覚的に通信するようにすることができる。これにより、ユーザが車両の位置をより容易に特定できる。加えて、または代替的に、車両はモデルを使用して、ユーザと通信するかどうか、および通信する方法、ならびに時間の経過とともにそれらの通信をエスカレートする方法を事前に決定してもよい。

【0077】

特段の記述がない限り、前述の代替的な例は、相互に排他的ではないが、独自の有益点を達成するために様々な組み合わせで実施され得る。上で考察される特徴のこれらおよび他の変形および組み合わせは、特許請求の範囲によって規定される主題から逸脱することなく利用することができるので、実施形態の前述の説明は、特許請求の範囲によって規定される主題の限定としてではなく、例示としてみなされるべきである。加えて、本明細書に記載された例、ならびに「など」、「含む」などと表現された語句の提供は、特許請求の範囲の主題を特定の例に限定するものと解釈されるべきではなく、むしろ、例は、多くの可能な実施形態のうちの１つだけを例示することが意図される。さらに、異なる図面中の同じ参照番号は、同じまたは類似の要素を特定することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【手続補正書】

【提出日】2021-11-30

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】００１５

【補正方法】変更

【補正の内容】

【0015】

一態様では、モデルを使用して、上記で説明したオプションをアプリケーションで表面化する必要があるかどうかを判定してもよい。加えて、モデルの出力が、視覚的通信が聴覚的通信よりも適切であることを示している場合、表面化されたオプションは視覚的通信のみを許可する場合がある。同様に、モデルの出力が、聴覚的通信が視覚的通信よりも適切であることを示している場合、表面化されたオプションは聴覚的通信のみを許可する場合がある。別の態様では、聴覚的または視覚的通信のためのオプションをユーザに提供するのではなく、モデルを使用して、車両が自動的に聴覚的または視覚的通信を行うべきかどうかを判定することができる。加えて、または代替的に、モデルの出力を使用して、初期アクションを決定してもよく、後続のアクションは、初期アクションに応じて自動的に実行されてもよい。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００２３

【補正方法】変更

【補正の内容】

【0023】

コンピューティングデバイス１１０は、上述したプロセッサおよびメモリ、ならびにユーザ入力装置１５０（例えば、マウス、キーボード、タッチスクリーン、および／またはマイクロフォン）および様々な電子ディスプレイ（例えば、スクリーンを有するモニタ、または情報を表示するように動作可能である任意の他の電気デバイス）などの、コンピューティングデバイスと接続して通常使用されるすべての構成要素を含み得る。この例では、車両は、情報または視聴覚体験を提供するために、内部電子ディスプレイ１５２のみならず１つ以上のスピーカ１５４を含む。この点について、電子ディスプレイ１５２は、車両１００の車内に位置していてもよく、コンピューティングデバイス１１０によって使用されて、車両１００内の乗客に情報を提供してもよい。場合によっては、電子ディスプレイ１５２は、車両の窓または他の透明な車両筐体を通して車両の外の人に見える内部ディスプレイであり得、および／または窓または他の透明な車両筐体を通して画像を投影することができ、車両の外の人に情報を提供してもよい。代替的に、電子ディスプレイ１５２は、車両内の乗客に情報を投影することができる外部取り付けディスプレイ（すなわち、ガラス屋根を通して表示できるルーフポッドの下側）および／または車両の外の人に情報を提供する外部取り付けディスプレイであってもよい。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００２９

【補正方法】変更

【補正の内容】

【0029】

図２は、建物２２０用の駐車場２１０に隣接する交差点２０２を含む、車道のセクションに関する地図情報２００の例である。地図情報２００は、コンピューティングデバイス１１０のメモリ１３０に格納された地図情報のローカルバージョンでもよい。地図情報の他のバージョンもまた、以下でさらに考察される記憶システム４５０に記憶し得る。この例では、地図情報２００は、車線境界線２３０、２３２、２３４、２３６、車線２４０、２４２、２４４、２４６、一時停止標識２５０、２５２、２５４、２５６などの形状、位置、および他の特性を特定する情報を含む。この例では、地図情報２００は、駐車場２１０、建物２２０、駐車スペース２６０、２６２、２６４、２６６、２６８、および運転可能エリア２７０、２７２、２７４、２７６の特徴を特定する情報も含む。加えて、この例では、地図情報は、建物２２０の入口と出口２８２、２８４、２８６を識別する。図２の地図情報２００に示されている特徴はごくわずかであるが、車両１００を自律運転モードで制御できるようにするために、地図情報２００はかなり多くの特徴および詳細を含み得る。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】００３２

【補正方法】変更

【補正の内容】

【0032】

測位システム１７０はまた、車両の方向および速度、またはそれらの変更を判定するための加速度計、ジャイロスコープ、または別の方向／速度検出デバイスなどの、自律制御システム１７６のコンピューティングデバイスと通信する他のデバイスを含んでいてもよい。例示に過ぎないが、加速デバイスは、重力の方向、または重力に対して垂直な平面に対する車両の縦揺れ、偏揺れ、または横揺れ（またはそれらの変化）を判定してもよい。このデバイスはまた、速度の増減、およびそのような変化の方向を追跡することもできる。本明細書で説明したようなデバイスの位置および方位データの提供は、コンピューティングデバイス１１０、他のコンピューティングデバイス、および上記の組み合わせに自動的に提供され得る。

【手続補正5】

【補正対象書類名】明細書

【補正対象項目名】００３５

【補正方法】変更

【補正の内容】

【0035】

車両の様々なシステムは、どのように車両を制御するかを判定するためおよび制御するために、自律車両制御ソフトウェアを使用して機能し得る。一例として、認知システム１７２の認知システムソフトウェアモジュールは、カメラ、ＬＩＤＡＲセンサ、レーダーユニット、ソナーユニットなどの自律車両の１つ以上のセンサによって生成されたセンサデータを使用して、物体およびその特徴を検出および識別することができる。これらの特徴には、位置、タイプ、進行方向、配向、速度、加速度、加速度の変化、サイズ、形状などを含み得る。場合によっては、オブジェクトタイプに基づいて様々な動作モデルを使用する動作予測システムソフトウェアモジュールに特徴を入力して、検出されたオブジェクトの予測される将来の動作を出力する。他の例では、特徴は、既知の交通信号の状態を検出するように構成された信号機検出システムソフトウェアモジュール、車両の１つ以上のセンサによって生成されたセンサデータから建設ゾーンを検出するように構成された建設ゾーン検出システムソフトウェアモジュール、ならびに、車両のセンサによって生成されたセンサデータから緊急車両を検出するように構成された緊急車両検出システムソフトウェアモジュールなどの１つ以上の検出システムソフトウェアモジュールに入れることができる。これらの検出システムソフトウェアモジュールの各々は、様々なモデルを使用して、建設ゾーンまたはオブジェクトが緊急車両である可能性を出力し得る。検出された物体、予測された将来の行動、検出システムソフトウェアモジュールからの様々な可能性、車両の環境を識別する地図情報、車両の位置および配向を識別する測位システム１７０からの位置情報、車両の目的地、ならびに車両の様々な他のシステムからのフィードバックをプランナシステム１６８のプランナシステムソフトウェアモジュールに入力し得る。プランナシステムは、この入力を使用して、ルーティングシステム１６６のルーティングモジュールによって生成されたルートに基づいて、将来のある短い期間にわたって車両がたどる軌道を生成することができる。自律制御システム１７６の制御システムソフトウェアモジュールは、例えば、軌道をたどるために、車両の制動、加速、およびステアリングを制御することによって、車両の動きを制御するように構成され得る。

【手続補正6】

【補正対象書類名】明細書

【補正対象項目名】００３７

【補正方法】変更

【補正の内容】

【0037】

車両１００のコンピューティングデバイス１１０はまた、輸送サービスの一部であるコンピューティングデバイスならびに他のコンピューティングデバイスのような他のコンピューティングデバイスとの間で情報を受信または転送することもできる。図４および図５は、それぞれ、例示的なシステム４００のイラスト図および機能図であり、システムは、ネットワーク４６０を介して接続された複数のコンピューティングデバイス４１０、４２０、４３０、４４０、および記憶システム４５０を含む。システム４００は、車両１００、および車両１００と同じまたは同様に構成され得る車両１００Ａも含む。簡潔にするため、いくつかの車両およびコンピューティングデバイスのみを図示しているが、典型的なシステムは、これよりもはるかに多くのものを含み得る。

【手続補正7】

【補正対象書類名】明細書

【補正対象項目名】００５９

【補正方法】変更

【補正の内容】

【0059】

ある例では、モデルの出力が、聴覚的通信が視覚的通信よりも適切であることを示している場合、表面化されたオプションは聴覚的通信のみを許可してもよい。言い換えれば、聴覚的通信の適切性を示す値が視覚的通信を示す値よりも大きい場合、表面化されたオプションは聴覚的通信のみを可能にし得る。例えば、図７に目を向けると、視覚的通信を提供するためのオプション６２０は利用できないが、聴覚的通信を提供するためのオプション６１０は利用可能である。

【手続補正8】

【補正対象書類名】明細書

【補正対象項目名】００６０

【補正方法】変更

【補正の内容】

【0060】

同様に、モデルの出力が、視覚的通信が聴覚的通信よりも適切であることを示している場合、表面化されたオプションは視覚的通信のみを許可する場合がある。繰り返すが、言い換えれば、視覚的通信の適切性を示す値が聴覚的通信を示す値よりも大きい場合、表面化されたオプションは視覚的通信のみを許可してもよい。例えば、図８に目を向けると、聴覚的通信を提供するためのオプション６１０は利用できないが、視覚的通信を提供するためのオプション６２０は利用可能である。

【手続補正9】

【補正対象書類名】明細書

【補正対象項目名】００６６

【補正方法】変更

【補正の内容】

【0066】

次に、エスカレートされた通信のモデルを訓練して、前のアクションまたは最初のアクションに基づいて、ユーザが車両に到達するのを最も容易にするための次のアクションがどうあるべきかを決定することができる。一例として、モデルは、ユーザの向きを使用して訓練することができる。例えば、モデルへの訓練入力は、ユーザが車両に到達する、および／または車両に搭乗するための実際の時間、時間の経過とともにユーザがどのアクションを利用したか、およびユーザの元の向きを含み得る。これらの組み合わせは、エスカレートされた通信、例えば、ユーザによって開始された第２または第３の通信が、ユーザがアクションをトリガしたときにユーザの向きを修正することによって搭乗時間を短縮したかどうかを示し得る。したがって、ユーザが北に向かって建物を出る場合（車両が実際には反対方向、ここでは南にある場合）、前述のオプションを使用して車両にクラクションを鳴らさせ、次に車両に向かって方向を変更すると、モデルは、出口を出て北に向かっているユーザを追跡するときに、モデルが車両にクラクションを早く鳴らさせ得るように訓練することができる。同様に、最初のアクションでユーザに向きを変更させない場合、エスカレートされた通信のモデルを使用して、必要に応じて、ユーザの反応（例えば、向きの変更など）に基づいて、第２の通信、第３の通信などを決定できる。繰り返すが、モデルの訓練に使用される訓練データが多いほど、モデルが前のアクションからエスカレートする方法をより正確に決定する。

【手続補正10】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

自律車両からユーザへの通信を容易にする方法であって、
前記ユーザをピックアップしようとしている間、および前記ユーザが前記自律車両に入る前に、前記車両の１つ以上のプロセッサによって、前記車両の現在位置および地図情報をモデルに入力することと、
前記モデルを使用して、前記車両の位置を前記ユーザに通信するための通信アクションのタイプを特定することと、
前記１つ以上のプロセッサによって、前記通信アクションの前記タイプに基づいて、第１の通信を有効にすることと、
前記第１の通信を有効にした後、前記１つ以上のプロセッサによって、受信したセンサデータから前記ユーザが前記車両に向かって移動しているかどうかを判定することと、を含む、方法。

【請求項2】

前記通信アクションのタイプが、前記車両による聴覚的通信を自動的に生成することであり、前記第１の通信を有効にすることが、前記聴覚的通信を行うように前記車両に指示することを含む、請求項１に記載の方法。

【請求項3】

前記第１の通信が、前記車両のクラクションを鳴らすことである、請求項２に記載の方法。

【請求項4】

前記通信アクションのタイプが、前記ユーザが前記車両に聴覚的通信を生成させることを可能にするために、前記ユーザのクライアントコンピューティングデバイス上にオプションを自動的に表面化することである、請求項１に記載の方法。

【請求項5】

前記通信アクションのタイプが、前記車両によって視覚的通信を自動的に生成することであり、前記第１の通信を有効にすることが、前記視覚的通信を行う前記車両を含む、請求項１に記載の方法。

【請求項6】

前記第１の通信が、前記車両のヘッドライトを点滅させることである、請求項５に記載の方法。

【請求項7】

前記通信アクションのタイプが、前記ユーザが前記車両に視覚的通信を生成させることを可能にするために、前記ユーザのクライアントコンピューティングデバイス上にオプションを自動的に表面化させることである、請求項１に記載の方法。

【請求項8】

前記受信されたセンサデータが、前記ユーザのクライアントコンピューティングデバイスによって生成された位置情報を含む、請求項１に記載の方法。

【請求項9】

前記受信されたセンサデータが、前記車両の知覚システムによって生成されたデータを含み、前記知覚システムが少なくとも１つのセンサを含む、請求項１に記載の方法。

【請求項10】

エスカレートされた通信のモデルを使用して、第２の通信ための通信アクションのタイプを決定することと、
前記１つ以上のプロセッサによって、前記ユーザが前記車両に向かって移動しているかどうかの前記判定に基づいて第２の通信を有効にすることと、をさらに含み、前記第２の通信のための前記通信アクションのタイプが、前記第２の通信を有効にするためにさらに使用される、請求項１に記載の方法。

【請求項11】

前記第２の通信のための前記通信アクションのタイプが、前記ユーザが前記車両に聴覚的通信を生成させることを可能にするために、前記ユーザのクライアントコンピューティングデバイス上にオプションを自動的に表面化させることである、請求項１０に記載の方法。

【請求項12】

前記第２の通信のための前記通信アクションのタイプが、前記ユーザが前記車両に視覚的通信を生成させることを可能にするために、前記ユーザのクライアントコンピューティングデバイス上にオプションを自動的に表面化させることである、請求項１０に記載の方法。

【請求項13】

前記第１の通信が、前記車両が前記車両のライトを自動的に点滅させることを含み、前記第２の通信が、前記車両が前記車両のクラクションを自動的に鳴らすことを含む、請求項１０に記載の方法。

【請求項14】

前記第１の通信が、前記車両が前記車両のクラクションを自動的に鳴らすことを含み、前記第２の通信が、前記車両が顧客サービス担当者に前記ユーザのクライアントコンピューティングデバイスに接続するように自動的に要求することを含む、請求項１０に記載の方法。

【請求項15】

前記モデルが、機械学習モデルである、請求項１に記載の方法。

【請求項16】

自律車両からユーザへの通信を容易にするためのモデルを訓練する方法であって、
１つ以上のコンピューティングデバイスによって、車両の位置を示す第１の訓練入力、地図情報を示す第２の訓練入力、前記ユーザの位置を示す第３の訓練入力、前記車両の環境内の１つ以上の物体を特定するセンサデータを特徴付ける第４の訓練入力、および通信のタイプを示すターゲット出力、を受信することと、
前記モデルのパラメータの現在の値に従う訓練データ上で、前記１つ以上のコンピューティングデバイスによって、前記モデルを訓練して、通信のタイプに対する適切性のレベルを示す出力値のセットを生成することと、
前記ターゲット出力および前記出力値のセットを使用して差分値を判定することと、
前記差分値を使用して、前記モデルのパラメータの前記現在の値を調整することと、を含む、方法。

【請求項17】

前記訓練データが、前記ユーザと通信するために前記車両に前記通信のタイプを実行させるための前記ユーザによる要求に対応する、請求項１６に記載の方法。

【請求項18】

前記通信のタイプが、聴覚的通信である、請求項１６に記載の方法。

【請求項19】

前記通信のタイプが、視覚的通信である、請求項１６に記載の方法。

【請求項20】

前記訓練データが、周囲照明状態をさらに含む、請求項１６に記載の方法。

【国際調査報告】