IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ズークス インコーポレイテッドの特許一覧

<>
  • 特表-動的な車両警告信号の発信 図1
  • 特表-動的な車両警告信号の発信 図2
  • 特表-動的な車両警告信号の発信 図3
  • 特表-動的な車両警告信号の発信 図4
  • 特表-動的な車両警告信号の発信 図5
  • 特表-動的な車両警告信号の発信 図6
  • 特表-動的な車両警告信号の発信 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-12-21
(54)【発明の名称】動的な車両警告信号の発信
(51)【国際特許分類】
   G08G 1/16 20060101AFI20221214BHJP
   B60W 40/02 20060101ALI20221214BHJP
   B60Q 1/52 20060101ALI20221214BHJP
   B60Q 5/00 20060101ALI20221214BHJP
【FI】
G08G1/16 C
B60W40/02
B60Q1/52
B60Q5/00 620A
B60Q5/00 630B
B60Q5/00 640C
B60Q5/00 640Z
B60Q5/00 650A
B60Q5/00 650B
B60Q5/00 660B
B60Q5/00 660Z
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022522873
(86)(22)【出願日】2020-10-07
(85)【翻訳文提出日】2022-06-13
(86)【国際出願番号】 US2020054545
(87)【国際公開番号】W WO2021076369
(87)【国際公開日】2021-04-22
(31)【優先権主張番号】16/656,312
(32)【優先日】2019-10-17
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.BLUETOOTH
(71)【出願人】
【識別番号】518156417
【氏名又は名称】ズークス インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】ケビン マーク カロル
【テーマコード(参考)】
3D241
3K339
5H181
【Fターム(参考)】
3D241BA60
3D241CE01
3D241CE04
3D241CE05
3D241DC31Z
3D241DC32Z
3D241DC33Z
3D241DC51Z
3K339AA31
3K339BA02
3K339BA03
3K339BA09
3K339BA10
3K339CA21
3K339EA04
3K339EA05
3K339EA06
3K339FA09
3K339KA06
3K339KA13
3K339MA01
3K339MA04
3K339MA05
3K339MA06
3K339MA07
3K339MB01
3K339MB02
3K339MB04
3K339MB05
3K339MB06
3K339MC01
3K339MC02
3K339MC03
3K339MC13
3K339MC17
3K339MC26
3K339MC31
3K339MC35
3K339MC36
3K339MC39
3K339MC40
3K339MC48
3K339MC52
3K339MC54
3K339MC81
3K339MC85
5H181AA01
5H181BB20
5H181CC03
5H181CC04
5H181CC11
5H181CC12
5H181CC14
5H181FF04
5H181FF07
5H181FF27
5H181LL01
5H181LL04
5H181LL07
5H181LL08
5H181LL09
(57)【要約】
車両コンピューティングシステムは、オブジェクト(例えば、動的オブジェクト)が車両動作について通知されるように、車両からの警告信号を動的に修正する技術を実装し得る。車両コンピューティングシステムは、音声信号および/または視覚的な信号を含む第1の警告信号を発信してよく、第1の警告信号に対するオブジェクト反応を検出し得る。オブジェクト反応が、車両がオブジェクトを打ち負かす能力を実質的に変化させないという決定に基づいて、車両コンピューティングシステムは、第1の警告信号の周波数、音量、輝度、色、形状、動き等を修正し、第2の警告信号を発信し得る。車両コンピューティングシステムは、オブジェクトが予想反応に従って反応する、または車両にとって無関係になるまで、警告信号を継続的に修正し得る。
【特許請求の範囲】
【請求項1】
車両であって、
センサーと、
エミッタと、
1つまたは複数のプロセッサと、
実行されたとき前記車両が、
前記センサーからのセンサーデータに少なくとも部分的に基づいて、前記車両に関連付けられた環境におけるオブジェクトを決定し、
前記センサーデータに少なくとも部分的に基づいて、前記オブジェクトに関連付けられたオブジェクト軌道を決定し、
前記オブジェクト軌道に少なくとも部分的に基づいて、前記オブジェクトが前記車両の進行に関連することを決定し、
前記エミッタを介して、前記オブジェクトが前記車両の前記進行に関連することを決定することに少なくとも部分的に基づいた第1の信号を発信することであって、前記第1の信号は第1の特性を含み、
前記センサーデータに少なくとも部分的に基づいて、前記第1の信号に対するオブジェクト反応を決定し、
前記オブジェクト反応に少なくとも部分的に基づいて、第2の信号を発信することであって、前記第2の信号は前記第1の特性とは異なる第2の特性を含む、
ように構成される命令を格納した、1つまたは複数のコンピュータ可読媒体と、
を備える車両。
【請求項2】
前記第2の信号を発信することは、さらに、前記オブジェクト反応が予想反応とは異なることを決定することに少なくとも部分的に基づいており、
前記オブジェクト反応は第1のオブジェクト反応であり、且つ前記予想反応は第1の予想反応であり、
前記命令は、車両に、
前記第2の信号に対する第2のオブジェクト反応を決定させ、
前記第2のオブジェクト反応に少なくとも部分的に基づいて、前記第2のオブジェクト反応に関連付けられたデータをデータベースに格納させる、
請求項1に記載の車両。
【請求項3】
前記第1の特性が、
1つまたは複数の第1の周波数、
1つまたは複数の第1の音量、
1つまたは複数の第1の輝度、
1つまたは複数の第1の色、
1つまたは複数の第1の形状、或いは、
1つまたは複数の第1の動き、
の少なくとも1つを備え、
前記第2の特性が、
1つまたは複数の第2の周波数、
1つまたは複数の第2の音量、
1つまたは複数の第2の輝度、
1つまたは複数の第2の色、
1つまたは複数の第2の形状、或いは、
1つまたは複数の第2の動き、
の少なくとも1つを備える、
請求項1または2に記載の車両。
【請求項4】
前記第1の特性または前記第2の特性が前記オブジェクトに関連付けられた動きに少なくとも部分的に基づいており、前記動きは、
ヘッドホンを聞くこと、
モバイル機器のデータを見ること、
本を読むこと、
携帯電話で話すこと、
食べること、
飲むこと、
予測される軌道によって暗示される特定の動き、
感覚障害者用装置の操作、
前記車両に関連付けられた場所から離れる方向を向いている前記オブジェクトの頭部、
前記環境における他の車両と影響し合うこと、或いは、
前記オブジェクトに近接した他のオブジェクトと影響し合うこと、
の少なくとも1つを備える、請求項1から3のいずれか一項に記載の車両。
【請求項5】
前記命令が、さらに、車両に、
機械学習技術、または、
前記予想反応が、
前記第1の特性、
前記オブジェクトの分類、
前記オブジェクトの位置、或いは、
オブジェクトの動き、
の少なくとも1つに関連付けられるデータベースに格納された予想反応データ、
の少なくとも1つに、少なくとも部分的に基づいて、前記予想反応を決定させる、請求項1から4のいずれか一項に記載の車両。
【請求項6】
方法であって、
車両上のセンサーからのセンサーデータに基づいて、環境におけるオブジェクトを検出することであり、前記オブジェクトはオブジェクト属性を含むことと、
前記オブジェクト属性に少なくとも部分的に基づいて、第1の時間に車両のエミッタを介して第1の信号が発信されるようにすることであって、前記第1の信号は、第1の特性を含むことと、
前記センサーからの追加のセンサーデータに少なくとも部分的に基づいて、前記第1の時間後の第2の時間に前記オブジェクトのオブジェクト反応を決定することと、
前記オブジェクト反応に基づいて、前記車両の前記エミッタを介して第2の信号が発信されるようにすることであって、前記第2の信号は、第2の特性を含むこと、
を備える方法。
【請求項7】
前記センサーデータが第1のセンサーデータであり、前記方法が、
前記オブジェクトが前記車両の進行に関連することを決定することと、
前記オブジェクトが前記車両の前記進行に関連することを決定することに少なくとも部分的に基づいて、前記第1の信号または前記第2の信号の少なくとも1つが、前記オブジェクトに関連付けられた方向に発振されるようにすることと、
をさらに備える、請求項6に記載の方法。
【請求項8】
前記第2の信号が発信されるようにすることが、前記第2の時間の後、前記オブジェクトが前記車両の進行を妨げ続けることを決定することにさらに基づく、請求項6または7に記載の方法。
【請求項9】
前記第1の特性または前記第2の特性の少なくとも1つが、
前記環境における環境要因、
前記環境における気象条件、
前記環境における前記車両の場所、
前記環境における前記車両の速度、
前記オブジェクトに関連付けられた動き、
前記車両に対する前記オブジェクトの相対的な位置、
前記車両が動作している日、
前記車両が動作している年、或いは
前記車両が動作している曜日、
の少なくとも1つに、少なくとも部分的に基づいている、請求項6から8のいずれか一項に記載の方法。
【請求項10】
前記動きが、
ヘッドホンを聞くこと、
モバイル機器のデータを見ること、
本を読むこと、
携帯電話で話すこと、
食べること、
飲むこと、
予測される軌道によって暗示される特定の動き、
感覚障害者用装置の操作、
前記車両に関連付けられた場所から離れる方向を向いている前記オブジェクトの頭部、
前記環境における他の車両と影響し合うこと、或いは、
前記オブジェクトに近接した他のオブジェクトと影響し合うこと、
の1つまたは複数を備える、請求項9に記載の方法。
【請求項11】
前記第2の信号が発信させられるようにすることが、さらに、前記オブジェクト反応が予想反応と異なることを決定することに少なくとも基づいており、前記オブジェクト反応は第1のオブジェクト反応であり、前記予想反応は第1の予想反応であって、前記方法が、
前記第2の信号に対する、前記オブジェクトの第2のオブジェクト反応を決定することと、
前記第2のオブジェクト反応に少なくとも部分的に基づいて、前記第2の信号または前記第2のオブジェクト反応の少なくとも1つに関連付けられたデータを、データベースに格納することと、
をさらに備える、請求項6から10のいずれか一項に記載の方法。
【請求項12】
前記エミッタが、
スピーカー、
ライト、または、
プロジェクタ、
の少なくとも1つを備える、請求項6から11のいずれか一項に記載の方法。
【請求項13】
前記方法が、
前記オブジェクトが前記車両に関連付けられていないと決定すること、
警告信号に関連付けられたタイマーが満了したと決定すること、或いは、
発信された警告信号の数が閾値を満足するまたは超えることを決定すること、
の少なくとも1つまで、追加の信号を反復して発信することをさらに備える、請求項6から12のいずれか一項に記載の方法。
【請求項14】
前記方法が、
前記オブジェクトが前記車両に関連付けられた車両進路を少なくとも部分的に遮断していることを決定することと、
前記オブジェクトが移動するための場所を特定することであって、前記場所は前記車両進路の外側にあり、他のオブジェクトが離れていることと、
前記場所を特定することに少なくとも部分的に基づいて、第3の信号が第2のエミッタを介して発信されるようにすることであって、前記第3の信号は、前記オブジェクトが移動するように前記場所の前記オブジェクトに指示を提供することと、
をさらに備える、請求項6から13のいずれか一項に記載の方法。
【請求項15】
非一時的コンピュータ可読媒体であって、実行されると、1つまたは複数のプロセッサに請求項6から14のいずれか一項に記載の方法を実行させる命令を格納する、非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、動的な車両警告信号の発信に関する。
【背景技術】
【0002】
本PCT国際特許出願は、2019年10月17日に出願された「DYNAMIC VEHICLE WARNING SIGNAL EMISSION」と題される米国出願特許第16/656312号の継続出願であり、その内容全体が参照により本書に組み込まれる優先権の利益を主張する。
【0003】
今日、運転されている車両は、環境における潜在的な危険について他者に警告する等、車両の運転者が車両に注意喚起することを可能にする警笛が、しばしば装備される。従来の車両の警笛は、特定の周波数および音量で音を発するように構成されている。しかしながら、車両の警笛の特定の周波数および/または音量は、ヘッドホンで音楽を聴いている人や難聴者等の歩行者の注意を引くには、しばしば不十分であり得る。そのため、車両の警笛は、潜在的な危険を他者に警告するのに無効であり得る。
【図面の簡単な説明】
【0004】
詳細な説明は、添付の図面を参照して述べられる。図中で、符号の左端の数字は、その符号が最初に現れる図面を示している。異なる図で同じ符号を使用することは、類似または同一の構成要素または機能を示す。
【0005】
図1】本開示の実施例による、車両と環境内のオブジェクトとの間の潜在的なコンフリクトをオブジェクトに警告するために動的警告信号システムが自律車両によって使用され得る環境の説明図である。
図2】発信された警告信号に対して検出されたオブジェクト反応に少なくとも部分的に基づいて、車両によって発信された警告信号を修正するためのプロセスを示す説明図である。
図3】オブジェクトが車両の車両経路を遮断しているという決定に基づいて、車両が信号を発信する環境を示す説明図であり、信号は、遮断をアラートするための警告信号と、オブジェクトの潜在的な経路を示すためのオブジェクト経路信号を含む。
図4】本明細書で述べられる技術を実装するための例示的なシステムのブロック図である。
図5】車両とオブジェクトとの間の潜在的なコンフリクトをオブジェクトに警告するために、異なる信号を発信するための例示的なプロセスを示す図である。
図6】車両の場所と車両に関連するオブジェクトの検出に少なくとも部分的に基づいて、警告信号を発信するための別の例示的なプロセスを示している。
図7】オブジェクトが車両の進路を妨げているという決定に基づいて、警告信号または経路信号の少なくとも一方を発信するための例示的なプロセスを示す図である。
【発明を実施するための形態】
【0006】
本開示は、車両警告システムを改善するための技術に向けられる。車両警告システムは、車両に近接する環境にあるオブジェクト(例えば、動的オブジェクト)に、車両との潜在的なコンフリクトを警告するために、音および/または光を発するように構成され得る。車両は、自律車両または半自律車両を含み得る。オブジェクトは、歩行者、自転車、動物(例えば、犬、猫、鳥等)、他の車両(例えば、自動車、トラック、オートバイ、モペット等)、または車両とのコンフリクト(例えば、衝突)を引き起こす可能性のある他の任意のオブジェクトを含み得る。車両コンピューティングシステムは、環境中のオブジェクトを識別し、車両とオブジェクトとの間の潜在的なコンフリクトが発生し得ると決定するように構成されてもよい。車両コンピューティングシステムは、潜在的なコンフリクトについてオブジェクトに警告するために第1の信号を発信し、オブジェクト反応が、予想反応に実質的に一致しなかったという決定に基づいて、第2の(異なる)信号を発信してもよい。車両コンピューティングシステムは、オブジェクトが予想
される反応に従って反応する、またはオブジェクトが車両にもはや関連しなくなる(例えば、衝突の可能性がもはや存在しない)までは警告信号を修正し続けてよく、それにより車両の安全運転は最大化する。
【0007】
車両コンピューティングシステムは、環境内のオブジェクトを識別するように構成され得る。いくつかの例では、オブジェクトは、車両のセンサー(例えば、カメラ、モーション検出器、ライダー、レーダー等)からのセンサーデータに基づいて識別され得る。いくつかの例では、オブジェクトは、例えば、別の車両に関連付けられたセンサーや、複数の車両とデータを共有するように構成された、環境に取り付けられたセンサー等のリモートセンサーから受信したセンサーデータに基づいて識別され得る。様々な例において、車両コンピューティングシステムは、オブジェクトが歩行者、自転車、動物、他の車両等であるかどうか等、オブジェクトに関連付けられた分類を決定するように構成され得る。
【0008】
車両コンピューティングシステムは、車両の存在および/または動作について環境内の1つまたはのオブジェクトに警告するために、第1の警告信号を発信するように構成され得る。第1の警告信号は、音声信号および/または光信号を含み得る。第1の警告信号は、周波数、音量、輝度、色、形状、動き等の特性の第1のセットを含み得る。様々な例において、第1の警告信号は、環境内のオブジェクトの検出および/または検出に関連付けられた特徴に基づいて発信され得る。このような例では、検出に関連付けられた特徴は、車両とオブジェクトとの間の距離、車両とオブジェクトとの間の相対速度等を含み得る。例えば、車両コンピューティングシステムは、道路上の自転車を検出してもよく、自転車が後方から接近する車両の音を聞いていない可能性があると決定してもよい。車両コンピューティングシステムは、自転車の乗用者が道をそらさない、または他の方法で操縦をしないよう、車両の接近を自転車乗りに警告するために、自転車乗りに向けて警告信号を発信し得る。
【0009】
いくつかの例では、第1の警告信号は、検出されたオブジェクトに関連付けられた分類、サブ分類(例えば、年齢、高さ等)、および/または追加の特徴に基づいて、発信され得る。そのような例では、車両コンピューティングシステムは、検出されたオブジェクトに関連付けられた分類、サブ分類、および/または追加の特徴を決定してもよく、分類、サブ分類、および/または追加の特徴に基づいて第1の警告信号に関連付けられた特性の第1のセットを決定してもよい。例えば、歩行者に車両動作を警告するために生成された第1の警告信号は、上記の例で説明した自転車に警告するために生成された第1の警告信号より低い音量を含んでもよい。別の例として、自動車の運転者の注意を引くために生成された第1の警告信号は、オートバイの運転者の注意を引くために生成された第1の警告信号より高い音量を含んでもよい。さらに別の例として、ヘッドホンを装着している歩行者のために生成された第1の警告信号は、第1の周波数を含んでもよく、車両(例えば、関連付けられた方向)を見ている歩行者のために生成された第1の警告信号は、第2の周波数を含んでもよい。
【0010】
様々な例において、第1の警告信号は、歩行者、自転車、または他のオブジェクトに関連付けられた場所(例えば、スクールゾーン、運動場の近く、工事ゾーン等)等、車両に関連付けられた場所に基づいて発信され得る。いくつかの例では、第1の警告信号は、車両に関連付けられた速度(例えば、時速15マイル未満、時速30キロメートル未満等)に基づいて発信され得る。いくつかの例では、第1の警告信号は、法律および/または規制によって要求されるような電気自動車の警告音を含み得る。
【0011】
いくつかの例では、車両コンピューティングシステムは、検出されたオブジェクトが車両に関連する(例えば、車両とオブジェクトとの間に潜在的なコンフリクトが存在し得、オブジェクトは潜在的に車両の前進を減速させ得る)という決定に基づいて、第1の警告信号が発信されるようにしてもよい。様々な例において、車両コンピューティングシステムは、2018年11月16日に出願され、「Dynamic Sound Emission For Vehicles」と題された米国出願特許第16/193945号に記載された技術を利用してオブジェクトの関連性を決定するように構成されてもよく、その内容全体は参照により本明細書に組み込まれる。いくつかの例では、オブジェクトの関連性の決定は、オブジェクトに関連付けられた場所が車両経路の閾値距離内であることに基づき得る。そのような例では、経路は、車両が第1の場所から目的地まで走行する予定の走行可能な路面に対応し得る。いくつかの例では、オブジェクトの関連性の決定は、車両に関連付けられた軌道(例えば、車両経路に関連関連付けられた軌道)と交差するオブジェクトの潜在的な軌道に基づき得る。そのような例では、車両コンピューティングシステムは、センサーデータに基づいて、潜在的なオブジェクトの軌道を決定し得る。
【0012】
様々な例において、オブジェクトの軌道および/または意思は、2019年9月17日に出願され、「Feature-Based Prediction」と題された米国特許第10414395号に記載の技術を利用して決定されてよく、その内容全体は参照により本書に組み込まれる。例えば、車両コンピューティングシステムは、車両の前方の道路で信号無視をする歩行者を検出し得る。車両コンピューティングシステムは、歩行者の軌道が車両の軌道とコンフリクトする可能性があり、一方または両方の軌道に修正がなければ、車両と歩行者の衝突が発生し得ると決定してもよい。車両コンピューティングシステムは、道路上での車両動作を歩行者に警告するために、第1の警告信号が発信されるようにしてもよい。いくつかの例では、車両コンピューティングシステムは、車両の安全運転を最大化するように、車両の軌道修正(例えば、歩行者に譲ること)と同時に、またはその直前に、第1の警告信号を発信させてもよい。
【0013】
様々な例において、車両コンピューティングシステムは、センサーデータに基づいて、第1の警告信号に対するオブジェクト反応を決定し得る。いくつかの例では、反応は、オブジェクトの軌道の変化(例えば、速度増加、速度減少、車両から離れる方向等)、オブジェクトの頭部および/または肩の動き、ジェスチャー(例えば、波等)、オブジェクトの足の配置、オブジェクトが保持するアイテムへの位置調整(例えば、電子機器、書籍、雑誌、または他のアイテムの位置調整)、および/またはオブジェクトが第1の警告信号に反応することを示す他の任意の動き等を含み得る。
【0014】
様々な例において、車両コンピューティングシステムは、オブジェクト反応を、第1の警告信号(一般に、第1の信号とも呼ばれる)に関連付けられた予想反応(一般にオブジェクトアクションとも呼ばれる)と比較し得る。様々な例において、車両コンピューティングシステムは、第1の警告信号の1つまたは複数の特性(例えば、音量、周波数、光度、色、動き(例えば、アニメーションの動き、光のシーケンス等)、信号の形状等)、および/またはオブジェクトに関連付けられたデータ(例えば、オブジェクト属性(例えば、分類、位置(例えば、車両に向かう/動く、車両から離れる/動く等)、車両からの距離、軌道等)、オブジェクトの動き(例えば、歩く、走る、スクーターに乗る、(例えば、速度に基づく等、オブジェクトの軌道によって暗示される特定の動き)、本を読む、電話で話す、電子機器でデータを見る、他の車両と影響し合う、他のオブジェクトと影響し合う(例えば、他の人と話す、ベビーカーの中を見る等)、食べる、飲む、感覚障害者用装置(例えば、杖、補聴器等)の操作、ヘッドホンを聞く等)に基づいて、予想反応を決定するように構成され得る。いくつかの例では、車両コンピューティングシステムは、第1の警告信号に関連付けられた予想反応を決定するために、予想反応のデータベースにアクセスし得る。そのような例では、データベース内の予想反応は、少なくとも部分的に、オブジェクトおよび/または第1の警告信号の特性に関連付けられたデータに基づいて記憶され得る。様々な例において、車両コンピューティングシステムは、機械学習技術を利用して予想反応を決定し得る。そのような例では、複数の警告信号およびそれに対する検出された反応を含む訓練データを利用して、モデルが訓練され得る。
【0015】
オブジェクト反応と予想反応との比較に基づいて、車両コンピューティングシステムは、オブジェクトが予想通りに反応したかどうか(例えば、オブジェクト反応と予想反応との間に実質的な一致が存在するかどうか)を決定し得る。オブジェクト反応が予想反応と実質的に一致するという決定に応答して、車両コンピューティングシステムは、エンカウンタ(例えば、第1の警告信号およびオブジェクト反応に関連付けられたデータ)をデータベースに格納し得る。いくつかの例では、データベースは、第1の警告信号に対する反応の信頼性を高めるため、機械学習モデルを訓練するため等、将来のオブジェクト反応の比較のために使用され得る。
【0016】
様々な例において、オブジェクト反応と予想反応との実質的な一致の決定は、動作の閾値数(例えば、1つの一致する動作、2つの一致する動作等)、動作の閾値割合(例えば、90%、50%等)の一致、またはそれと同様のものを含み得る。いくつかの例では、実質的な一致は、オブジェクト反応と予想反応との間の閾値の一致および/または閾値の差に基づいて決定され得る。動作は、軌道修正(例えば、速度の増加、速度の減少、進行方向の変更等)、体の動き(例えば、足の配置、頭部の回転、肩の動き等)、ジェスチャー等を含んでもよい。例えば、第1の警告信号に対する予想反応は、頭部および/または肩の動きと、オブジェクトが保持する電子機器の位置調整とを含んでもよい。オブジェクト反応は、車両に向かう頭部の動きを含んでもよい。少なくとも頭部の動きの一致に基づき、車両コンピューティングシステムは、オブジェクト反応と予想反応とが実質的に一致すると決定してもよい。別の例では、車両コンピューティングシステムは、65%の閾値の一致で、オブジェクト反応が75%で予想反応と一致すると決定してもよい。一致する割合が閾値の一致を満たす、または超えるという決定に基づいて、車両コンピューティングシステムは、オブジェクト反応が予想反応に実質的に一致すると決定してもよい。
【0017】
いくつかの例では、オブジェクト反応と予想反応との間の実質的な一致の決定は、オブジェクトの軌道に対する修正が閾値修正を満たす、または超えることを決定することを含み得る。いくつかの例では、閾値修正は、オブジェクトを車両と無関係にする修正(例えば、車両の進行を妨げない、コンフリクトの可能性がない、等)を含み得る。そのような例では、修正の決定に少なくとも部分的に基づいて、車両コンピューティングシステムは、車両が車両の軌道に沿って(例えば、計画された速度、方向等で)進行するようにしてもよい。いくつかの例では、閾値修正は、オブジェクトの軌道に関連付けられた速度および/または方向(例えば、45度、90度等)の変化を含み得る。
【0018】
オブジェクト反応が実質的に一致しなかった(例えば、動作の閾値数未満、割合の一致等)という決定に応答して、車両コンピューティングシステムは、オブジェクトが予想反応に従って反応しなかったと決定してよい。そのような例では、車両コンピューティングシステムは、オブジェクトが車両動作および/または環境における車両の存在に気づかないままであると決定してもよい。オブジェクトが予想反応に従って反応しなかったという決定に基づき、車両コンピューティングシステムは、第2の警告信号を発信し得る。いくつかの例では、第2の警告信号は、第1の警告信号とは異なる様式(例えば、光、音等)の信号を含んでもよい。例えば、第1の警告信号は音の発信を含んでもよく、第2の警告信号は光の発信を含んでもよい。
【0019】
いくつかの例では、第2の警告信号は、第1の警告信号と同じ様式の信号を含んでもよい。そのような例では、車両コンピューティングシステムは、第2の警告信号を生成するために、第1の警告信号の周波数、音量、輝度、色、形状、動き、および/または他の特性を変更してもよい。例えば、検出されたオブジェクトが、50デシベルで発信される第1の周波数を含む第1の警告信号に対して、予想反応に従って反応しなかったという決定に基づいて、車両コンピューティングシステムは、第2の周波数を含む第2の警告信号を70デシベルで発信させてもよい。別の例として、検出されたオブジェクトが赤色および緑色の発光を含む第1の警告信号に反応しなかったという決定に基づいて、車両コンピューティングシステムは、黄色および青色の発光を含む第2の警告信号を発信させてもよい。しかしながら、前述の例における特定の音量および色は単に例示のためのものであり、他の信号特性(例えば、音量、周波数、輝度、色、形状、動き等)が本明細書において企図されていることが理解される。
【0020】
様々な例において、車両コンピューティングシステムは、第2のオブジェクト反応を第2の警告信号に関連付けられた第2の予想反応と比較し得る。第2のオブジェクト反応が第2の予想反応と実質的に一致するという決定に応答して、車両コンピューティングシステムは、オブジェクト反応および/または第2の警告信号に関連付けられたデータをオブジェクト反応のデータベースに格納してもよい。上述したように、いくつかの例では、データベースは、警告信号に対する反応の信頼性を高めるため、機械学習モデルを訓練するため等、将来のオブジェクト反応の比較のために使用されてもよい。
【0021】
第2のオブジェクト反応が第2の予想反応と実質的に一致しないという決定に応答して、車両コンピューティングシステムは、第3の警告信号を発信させてもよく、第3の警告信号は、第1の警告信号および第2の警告信号とは異なり得る(例えば、異なる様式、異なる特性等)。上述の例を続けると、70デシベルで発信された第2の周波数に対する第2のオブジェクト反応が第2の予想反応と実質的に一致しないという決定に基づいて、車両コンピューティングシステムは、第2の周波数を90デシベルで発信されるようにしてもよい。
【0022】
様々な例において、車両コンピューティングシステムは、オブジェクト反応が警告信号に対して予想反応と実質的に一致するまで、発信された警告信号を修正し続け得る(例えば、反復的に修正する)。様々な例において、車両コンピューティングシステムは、オブジェクトが車両に関連しているという決定に基づいて、発信された警告信号を修正し続け得る。そのような例では、検出されたオブジェクトが車両に関連するという決定に基づいて、修正された警告信号が発信されてもよい。いくつかの例では、車両コンピューティングシステムは、検出されたオブジェクトが車両に関連するかどうかを継続的および/または定期的(例えば、0.1秒ごと、1.0秒ごと、修正された警告信号を生成する前、等)に決定するように構成されてもよい。例えば、車両コンピューティングシステムは、検出されたオブジェクトが第2の警告信号に対し、第2の予想反応に従って反応しなかったと決定してもよい。しかしながら、第3の警告信号を発信する前に、車両コンピューティングシステムは、検出されたオブジェクトが車両の後方にあり、車両とは異なる方向に走行していると決定してもよい。そのため、車両コンピューティングシステムは、検出されたオブジェクトがもはや車両に関連していないと決定し、第3の警告信号を発信しないように決定してもよい。
【0023】
様々な例において、検出されたオブジェクトが予想反応に従って反応したという決定、および/または検出されたオブジェクトが車両と無関係であるという決定に基づいて、車両コンピューティングシステムは、警告信号の発信を停止させてもよい。いくつかの例では、検出されたオブジェクトが予想反応に従って反応した、および/または検出されたオブジェクトが車両と無関係である、という決定に基づいて、車両コンピューティングシステムは、第1の警告信号が発信されるようにしてもよい。そのような例では、第1の警告信号は、車両の存在および/または動作を近くのオブジェクトに警告するために発信されるベースライン警告信号を含んでもよい。例えば、そして上述したように、ベースライン警告信号は、法律および/または規制によって要求されるような電気自動車の警告音を含んでもよい。別の例として、ベースライン警告信号は、車両に関連付けられた場所に基づいて発信される音および/または光を含んでもよい。
【0024】
車両の存在および/または動作をオブジェクトに警告するための警告信号を提供することに加えて、車両コンピューティングシステムは、環境内のオブジェクトのための経路信号を生成するように構成され得る。様々な例において、経路信号は、車両とのコンフリクト(例えば、衝突、閉塞等)を回避するためにオブジェクトが取るべき提案された経路を含み得る。様々な例において、車両コンピューティングシステムは、オブジェクトが遮断オブジェクトであるという決定に基づいて、経路信号を生成し得る。そのような例では、車両コンピューティングシステムは、オブジェクトが車両経路を遮断していると決定し得る。オブジェクトは、オブジェクトが目的地に向かって車両の前進を少なくとも部分的に遮断する場所で停止しているという決定に基づいて、車両経路を遮断し得る。いくつかの例では、車両コンピューティングシステムは、オブジェクトが、車両が走行可能な通路(例えば、車両が経路に沿って走行する予定の走行可能な表面)の範囲内に留まりながら目的地に向かって進むことができない可能性があるという決定に基づいた車両であると決定し得る。例えば、オブジェクトは、車両が交差点を通って進むことができないように、車両の進路上の交差点で停止し得る。
【0025】
様々な例において、オブジェクトが遮断オブジェクトであるという決定に基づいて、車両コンピューティングシステムは、遮断オブジェクトの潜在的な経路オプションを識別するように構成され得る。潜在的な経路オプションは、遮断オブジェクトが車両経路から移動するために従うことができる明確な(例えば、無人の)経路を含み得る。いくつかの例では、潜在的な経路オプションは、遮断オブジェクトが移動することができる領域を含み得る。いくつかの例では、領域は、遮断オブジェクトと領域との間に別のオブジェクトが配置されていること等により、遮断オブジェクトのオペレータが見ることができないものを含み得る。上記の例を用いると、遮断オブジェクトは、車両の前の交差点で左折していてもよく、配送車両の後ろの交差点で第1の車線に停止している可能性がある。遮断オブジェクトは、第2の車線における交差点の先の領域が無人であることを見ることができず、したがって、遮断オブジェクトは、交差点をクリアするために遮断オブジェクトが移動し得る領域を知らない可能性がある。車両コンピューティングシステムは、遮断オブジェクトが移動し得る領域を特定するように構成されてもよい。
【0026】
様々な例において、遮断オブジェクトが移動し得る領域(例えば、遮断オブジェクトが車両経路から移動するために従い得る明確な経路)の識別に基づいて、車両コンピューティングシステムは、経路信号を発信させ得る。経路信号は、遮断オブジェクトのオペレータに、その領域がクリアであることを示してもよい。いくつかの例では、経路信号は、領域の方向に発信される光、矢印、または車両コンピューティングシステムが、遮断オブジェクトが移動し得る明確な領域を伝達し得る他の手段を含んでもよい。
【0027】
本明細書に記載される技術は、環境内で動作する自律車両および半自律車両の安全な動作を実質的に改善し得る。増加する歩行者、自転車利用者、スクーター利用者等は、しばしばヘッドホンを介して音楽、ポッドキャスト等を聞きながら、走行可能な路面上で動作している。ヘッドホンを介して発せられる音は、近くで運転する車両の音をかき消し、それによって人々は、電気自動車の警告音を発信する車両であっても、車両の存在および/または運転に気づかない可能性がある。自律車両および/または半自律車両の認識、ひいては安全性を高めるために、本明細書に記載される技術は、車両が発信する第1の警告信号にオブジェクトが反応していないことを認識し、車両動作および/または存在をオブジェクトに警告する試みにおいて、第1の警告信号の1つは複数の特性を調整する。車両コンピューティングシステムは、オブジェクトが予想反応に従って反応する、または車両にもはや関連しなくなるまで警告信号を修正(例えば、反復的に修正)し続け、それによって、環境における車両の安全運転を最大化する。
【0028】
本明細書に記載された技術は、多くの方法で実施され得る。例示的な実装は、以下の図を参照しながら後述に提供される。自律車両のコンテキストで論じられるが、本明細書に記載される方法、装置、およびシステムは、様々なシステム(例えば、センサーシステムまたはロボットプラットフォーム)に適用されてもよく、自律車両に限定されない。別の例では、本技術は、航空または航海のコンテキストで、またはマシンビジョンを使用する任意のシステムで(例えば、画像データを使用するシステムで)利用されてもよい。さらに、本明細書に記載される技術は、実データ(例えば、センサーを用いて取り込まれたもの)、シミュレーションデータ(例えば、シミュレータによって生成されたもの)、またはこれらの任意の組み合わせで使用されてもよい。
【0029】
図1は、環境100の説明図であり、自律車両104(例えば、車両104)の1つまたは複数のコンピューティングシステム102は、環境100における車両104の存在および/または動作について1つまたは複数のオブジェクト106に警告するために動的な警告信号システムを利用し得る。コンピューティングシステム102は、車両104の1つまたは複数のセンサー108および/または1つまたは複数のリモートセンサー(例えば、交通監視、衝突回避等のために、別の車両104に搭載されたセンサーおよび/または環境100に搭載されたセンサー)によって取り込まれたセンサーデータに基づいて、オブジェクト106を検出し得る。センサー108は、ライダーセンサー、レーダーセンサー、超音波トランスデューサ、ソナーセンサー、位置センサー(例えば、GPS、コンパス等)、慣性センサー(例えば、慣性測定ユニット(IMU)、加速度計、磁気計、ジャイロスコープ等)、カメラ(例えば、RGB、IR、強度、深度、time of flight等)、マイクロフォン、time of flightセンサー、環境センサー(例えば、温度センサー、湿度センサー、光センサー、圧力センサー等)等によって取り込まれたデータを含み得る。
【0030】
いくつかの例では、センサーデータは、オブジェクト106(例えば、車、トラック、歩行者、自転車、オートバイ、動物等)に関連付けられた分類112を決定するように構成される知覚コンポーネント110に提供されることができる。様々な例において、知覚コンポーネント110は、オブジェクト106に関連付けられた1つまたは複数の特徴に基づいて、オブジェクトの分類112を決定し得る。特徴は、オブジェクト106のサイズ(例えば、幅、高さ、深さ等)、形状(例えば、幾何学、対称性等)、および/または他の特徴的な特徴を含み得る。例えば、知覚コンポーネント110は、オブジェクト106(1)のようなオブジェクト106のサイズおよび/または形状が歩行者に対応し、オブジェクト106(2)のような別のオブジェクト106のサイズおよび/または形状が自転車の乗用者に対応することを認識してもよい。
【0031】
様々な例において、環境100内の1つまたは複数のオブジェクト106の検出に部分的に基づいて、コンピューティングシステム102の警告信号コンポーネント114は、オブジェクト106に車両104の存在および/または動作を警告するために、第1の警告信号を生成、および/または発信させられるようされ得る。第1の警告信号は、音声信号および/または視覚信号を含み得る。第1の警告信号は、周波数、音量、輝度、色、形状、動き等の特性の第1のセットを含み得る。いくつかの例では、特性の第1のセットは、特性の予め決定されたセットを含んでもよい。そのような例では、第1の警告信号は、車両104の存在および/または動作についてオブジェクト106に警告することに関連付けられたベースライン警告信号を含んでもよい。例えば、第1の警告信号は、予め決められた周波数を含み、予め決定された音量で発信される電気自動車の警告音を含んでもよい。
【0032】
様々な例において、特性の第1のセットは、環境100に関連付けられた1つまたは複数のリアルタイム条件に基づいて等、動的に決定され得る。リアルタイム条件は、オブジェクト106に関連付けられたデータ(例えば、オブジェクト属性(例えば、分類、位置(例えば、車両に向かう/動く、車両から離れる/向く等)、車両からの距離、軌道等)、オブジェクトの動き(例えば、歩く、走る、スクーターに乗る、(例えば、速度に基づく等、オブジェクトの軌道によって暗示される特定の動き)、本を読む、電話で話す、電子機器でデータを見る、他の車両と影響し合う、他のオブジェクトと影響しあう(例えば、他の人と話す、ベビーカーを覗く等)、食べる、飲む、感覚障害者用装置(杖、補聴器等)の操作、ヘッドホンを聞く等)、環境要因(環境100の騒音レベル、交通量、道路状況等)、天候(雨、雪、ひょう、風等)、車両の考慮事項(速度、車両104の乗客等)等)等がある。例えば、ヘッドホンを装着している歩行者のために生成される第1の警告信号に関連付けられた第1の特性のセットは、第1の周波数を含んでもよく、車両に関連付けられた方向を見ている歩行者のために生成される第1の警告信号に関連付けられた第1の特性のセットは、第2の周波数を含んでもよい。
【0033】
様々な例において、第1の警告信号の周波数(例えば、1つまたは複数の周波数)は、オブジェクト106の分類112に基づく等、オブジェクト106に対して知覚可能な周波数(または周波数のセット/範囲)を含み得る。例えば、警告信号コンポーネント114は、オブジェクト106が犬であると決定してもよい。犬としての分類112に部分的に基づいて、警告信号コンポーネント114は、犬に車両104および/または車両経路を回避させるように、人間ではなく犬に感知可能な周波数で第1の警告信号を発信することを決定してもよい。様々な例において、第1のセットの1つまたは複数の特性(例えば、音量および/または音量範囲、1つまたは複数の周波数、輝度、形状、動作、および/または色)は、警告の緊急性(例えば、低い緊急性(例えば、アラート)、中程度の緊急性(例えば、注意)、高い緊急性(例えば、警告))、車両104とオブジェクト106との間のコンフリクトの可能性、オブジェクト106に伝えるべきメッセージ(例えば、車両104が近づいている、停止してください、軌道が急速に収束している、等)に基づいて決定されてもよい。
【0034】
様々な例において、第1の特性のセットの1つまたは複数の特性は、オブジェクトの動き(例えば、オブジェクト106に関連付けられた、検出された動揺)に基づいて決定されてもよい。検出された動揺は、携帯電話の触覚的な使用、潜在的にコンフリクトするオブジェクトが会話(例えば、オブジェクト106に近接する別のオブジェクトと、携帯電話等で)に従事しているという決定、オブジェクト106がヘッドホン、イヤーマフ、耳栓、または聴覚管内もしくは周囲に適合するように構成された他の任意のデバイスを身に着けているという決定等を含み得る。
【0035】
いくつかの例では、第1の特性のセットの1つまたは複数の特性は、環境内の気象条件に基づいて決定され得る。気象条件は、雨、風、みぞれ、あられ、雪、温度、湿度、大きな圧力変化、または環境100内のオブジェクト106の聴覚に影響を与え得る他の任意の気象現象を含み得る。様々な例において、警告信号の1つまたは複数の特性は、環境内の道路状況に基づいて決定されてもよい。道路状況は、路面の滑らかさ(例えば、コンクリート、アスファルト、砂利等)、くぼみの数、凹凸地形(例えば、ランブルストリップ、洗濯板、道路の波形等)、またはそのようなものを含み得る。例えば、砂利道上で動作するオブジェクト106および/または車両104は、滑らかな表面上で動作するときよりも大量のノイズを発生させ得る。オブジェクト106および/または車両104によって発生する騒音の増加(例えば、走行による騒音の衝撃量)は、警告信号の決定された音量および/または音量範囲の以降の増加をもたらし得る。
【0036】
様々な例において、第1の特性のセットの1つまたは複数の特性は、環境100におけるオブジェクト106の場所に基づいて決定され得る。例えば、オブジェクト106が車両104と共有される車道に位置する場合、車道に入る意思を示す等、オブジェクト106が歩道に位置する場合よりも音量および/または音量範囲および/または光度が高くてもよい。別の例として、オブジェクト106が反対方向の交通の間の中央分離帯に立つ歩行者である場合、オブジェクト106が縁石に近接した自転車レーンに位置する場合よりも、音量および/または音量範囲および/または光度が高くてもよい。
【0037】
いくつかの例では、第1の特性のセットの1つまたは複数の特性は、車両104上の1つまたは複数のセンサー108の検出された損失に基づいて決定され得る。例えば、車両コンピューティングシステムは、車両上のスピーカーが最適な容量で機能していないと決定してもよい。それに応じて、車両コンピューティングシステムは、スピーカーの能力の低下を補うために、警告信号の音量を増加させてもよい。別の例として、車両コンピューティングシステムは、車両104上のライトが機能していないと決定してもよい。それに応じて、車両コンピューティングシステムは、機能していないライトを補うために、視覚的な警告信号の輝度および/または点滅の頻度を増加させてもよい。
【0038】
様々な例において、第1の特性のセットの1つまたは複数の特性は、車両104内の乗客の検出に基づいて決定され得る。いくつかの例では、乗客の検出は、車両の1つまたは複数のセンサー108から受信されたセンサーデータに基づいてもよい。いくつかの例では、乗客の検出は、乗客に関連付けられたコンピューティングデバイス等から受信された、車両内の乗客の存在を示す信号に基づいてもよい。様々な例において、車両コンピューティングシステムは、例えば、大きな音の発信により乗客に不快感を与えないよう、乗客の検出に基づいて、音声的な警告信号の音量および/または音量範囲および/または周波数を減少させてもよい。
【0039】
様々な例において、警告信号コンポーネント114は、車両104に関連付けられた場所に基づいて、第1の警告信号を生成(例えば、第1の特性のセットを決定)、および/または第1の警告信号が発信されるようにし得る。場所は、学校ゾーン、工事ゾーン、遊び場の近く、ビジネス街、繁華街等を含み得る。いくつかの例では、警告信号コンポーネント114は、時間帯、曜日、季節、日付(例えば、休日等)等に基づいて、第1の警告信号を生成、および/または発信されるようにしてもよい。いくつかの例では、警告信号コンポーネント114は、車両104に関連付けられた速度に基づいて、第1の警告信号を生成、および/または、第1の警告信号が発信されるようにしてもよい。そのような例では、車両104が閾値速度(例えば、時速28キロメートル、時速22マイル、時速15マイル等)以下で走行しているという決定に基づいて、警告信号コンポーネント114は、第1の警告信号が発信されるようにしてもよい。
【0040】
様々な例において、コンピューティングシステム102は、オブジェクト106(1)および106(2)等のオブジェクト106が車両104に関連している(例えば、車両104とオブジェクト106との間に潜在的なコンフリクトが存在し得る、オブジェクト106が車両104の前進を遅らせ得る)ことを決定するよう構成され得る。様々な例において、オブジェクトの関連性は、2019年4月19日に出願され、「Dynamic Object Relevance Determination」と題された米国出願特許第16/389720号、2019年5月20日に出願され、「Dynamic Object Relevance Determination」と題された米国出願特許16/417260、2019年8月2日に出願され、「Object Relevance Determination」と題された米国出願特許第16/530515号で述べられる技術を利用して決定されてもよく、これらの全体の内容は参照により本明細書に組み込まれる。
【0041】
いくつかの例では、オブジェクトの関連性は、オブジェクト106(1)と走行可能な表面116(例えば、車道、車両104が動作する車線等)との間の距離(D)に基づいて決定され得る。このような例では、オブジェクト106は、距離(D)が閾値距離(例えば、18インチ、1フィート、4メートル等)に等しい、またはそれ以下であることに基づいて、関連性があると決定され得る。様々な例において、閾値距離は、オブジェクト106に関連付けられた分類112に基づいて決定されてもよい。例えば、歩行者に関連付けられた第1の閾値距離は1メートルであってよく、自転車に関連付けられた第2の閾値距離は5メートルであってよい。
【0042】
様々な例において、オブジェクト106は、関連付けられたオブジェクトの軌道に基づいて関連性があると決定され得る。そのような例では、コンピューティングシステム102は、センサーデータに基づく等、予測されたオブジェクトの軌道(例えば、オブジェクトの軌道)を決定するように構成され得る。いくつかの例では、オブジェクトの軌道は、2018年10月4日に出願され、「Trajectory Prediction on Top-Down Scenes」と題された米国出願特許第16/151607号、および2019年7月5日に出願され、「Prediction on Top-Down Scenes based on Action Data」と題された米国出願特許第16/504147に記載される技術を利用して、環境のトップダウン表現に基づいてもよく、これらの内容全体は参照により本明細書に組み込まれる。いくつかの例では、予測されたオブジェクトの軌道は、2017年11月8日に出願され、「Probabilistic Heat Maps for Behavior Prediction」と題された米国出願特許15/807521に記載されたもの等、オブジェクトの行動を予測するための確率的ヒートマップ(例えば、離散化確率分布)、木探索方法、時間論理式、および/または機械学習技術を用いて決定してもよく、その全体の内容は参照により本明細書に組み込まれる。
【0043】
様々な例において、オブジェクト106は、オブジェクトの軌道と車両の軌道との間の交差点に基づいて、車両104と関連してもよい。いくつかの例では、オブジェクト106は、それぞれの軌道上のオブジェクト106および車両104の予測された場所に基づいて関連してもよい。いくつかの例では、オブジェクト106は、オブジェクトの軌道上を走行するオブジェクト106に関連付けられた予測された将来のオブジェクトの場所が、車両の軌道上を走行する車両104に関連付けられた予測された将来の車両の場所の閾値距離(例えば、2フィート、10フィート、2メートル、4メートル等)以内であるという決定に基づいて、車両104に関連してもよい。
【0044】
様々な例において、オブジェクト106は、オブジェクト106と車両104との間のコンフリクトの確率(例えば、衝突の可能性)に基づいて、車両104と関連してもよい。コンフリクトの確率は、オブジェクト106がオブジェクトの軌道を継続するであろう、および/またはオブジェクトの軌道を車両104とコンフリクトするものに変更するであろうという決定された可能性に基づいてもよい。いくつかの例では、コンフリクトの確率は、車両104とオブジェクト106との間のコンフリクトの可能性(例えば、確率)がコンフリクトの閾値レベル(例えば、閾値確率)以上であることに対応してもよい。
【0045】
様々な例において、車両コンピューティングシステムは、上記の本明細書に組み込まれた米国出願特許に記載されているような環境のトップダウン表現を利用して、コンフリクトの確率を決定してもよい。いくつかの例では、車両コンピューティングシステムは、オブジェクト106の将来の位置に関連付けられた確率を予測するヒートマップ表示を出力するように構成された機械学習モデルに環境のトップダウン表現を入力してもよい(例えば、オブジェクトの軌道および/またはそれに関連付けられた確率を予測する)。そのような例では、車両コンピューティングシステムは、車両104の動きを経時的に前方投影し、オブジェクト106に関連付けられたヒートマップと、経時的に前方投影することによって決定される車両104の将来の位置との間の重なり量の間のコンフリクトの確率を決定してもよい。
【0046】
いくつかの例では、コンフリクトの確率は、オブジェクト106に関連付けられた分類112に基づいて決定されてもよい。そのような例では、オブジェクト106に関連付けられた分類112は、オブジェクト106が軌道を維持または変更する可能性を決定することを支援し得る。例えば、車道の側で検出された鹿は、予測不可能であり、従って、車両104とコンフリクトするために軌道を変更する可能性が高くなり得る。そのため、鹿は、車両104と潜在的にコンフリクトし得る(例えば、関連する)オブジェクト106であると決定され得る。
【0047】
いくつかの例では、関連性の決定に基づいて、コンピューティングシステム102の警告信号コンポーネント114は、車両104の存在および/または動作の環境における関連するオブジェクト106にアラートするために第1の警告信号を生成し得る。上述したように、第1の警告信号の特性の第1のセット(例えば、周波数、音量、輝度、色、形状、動き等)は、関連するオブジェクト106に関連する分類112に基づいて決定されてもよい。
【0048】
様々な例において、第1の警告信号は、車両104上の1つまたは複数のエミッタ118を介して発信され得る。エミッタ118は、スピーカー、ライト、ディスプレイ、プロジェクタ、および/または信号を発信するように構成された他の任意のデバイスを含み得る。いくつかの例では、第1の警告信号は、車両の周囲の複数の方向(例えば、車両104の前方、後方、および側方に実質的に均等に)に発信されてよい。いくつかの例では、第1の警告信号は、車両104の周囲の多様な方向に、一様に発信されてよい。例えば、電気自動車の警告音は、車両104の角部に取り付けられたスピーカーを介して発信されてもよく、車両104の周囲に実質的に均等に第1の警告信号を拡散するように構成されてもよい。
【0049】
いくつかの例では、警告信号コンポーネント114は、第1の警告信号が、関連するオブジェクト106に向けて、および/または環境100内の検出されるオブジェクト106に向けて発信されるように構成されてもよい。いくつかの例では、第1の警告信号は、オブジェクト106(例えば、検出されるオブジェクト、関連するオブジェクト等)が検出される方向に実質的に面する1つまたは複数のエミッタ118を介して発信されてもよい。例えば、オブジェクト106は、車両104の前方および右側(例えば、走行可能な表面116に隣接する歩道上)で検出され得る。車両104の前方および右側のオブジェクトの検出に基づいて、警告信号コンポーネント114は、車両104の前方および右側に取り付けられたエミッタ118を介して、第1の警告信号を発信させ得る。いくつかの例では、第1の警告信号は、2017年5月4日に発行され、「Method for Robotic Vehicle Communication with an External Environment via Acoustic Beam Forming」と題された米国特許第9878664号に記載されているもの等、ビームステアリングおよび/またはビームフォーミングアレイ技術を利用して環境100内の関連するオブジェクト106に向けて発信されてよく、その内容全体は参照により、本明細書に組み込まれる。
【0050】
いくつかの例では、警告信号コンポーネント114は、第2の警告信号を生成するために、第2の警告信号を継続的および/または定期的に(例えば、0.5秒ごと、3.0秒ごと等)修正するように構成されてもよい。いくつかの例では、警告信号に対する修正は、コンピューティングシステム102によって処理される追加のセンサーデータに少なくとも部分的に基づいてよい。例えば、警告信号コンポーネント114は、第1の警告信号を第1の時間に発信するようにしてもよく、その少なくとも1つの特性は、環境におけるベースラインノイズレベルに基づいて決定される。車両コンピューティングシステムは、第2の時間にベースラインノイズレベルの増加を決定してもよく、警告信号コンポーネント114は、より高い音量で発信されるように第2の警告信号を生成してもよい。
【0051】
様々な例において、警告信号コンポーネント114は、第1の警告信号に対するオブジェクト反応を決定するように構成されてもよい。このような例では、警告信号コンポーネント114は、警告信号に対するリアルタイムのオブジェクト反応を決定するように構成され得る。いくつかの例では、警告信号コンポーネント114は、環境100内のオブジェクト106のオブジェクト反応に関連付けられたもの等、知覚コンポーネント110から処理されたセンサーデータを受信してもよい。オブジェクト反応は、オブジェクトの軌道の変化(またはその欠如)(例えば、速度増加、速度減少、車両から離れる進行方向等)、オブジェクトの頭部および/または肩の動き、ジェスチャー(例えば、波等)、オブジェクトの足の配置、オブジェクトが保持するアイテムの位置調整(例えば、電子機器、書籍、雑誌、又は他のアイテムの位置調整)、および/または第1の警告信号に反応するオブジェクトを示す任意の他の動き等、であり得る。
【0052】
警告信号コンポーネント114は、オブジェクト反応を予想反応120と比較し得る。予想反応は、第1の警告信号の特性(例えば、音量、周波数、輝度、色、動き(例えば、アニメーションの動き、光のシーケンス等)、信号の形状等)、および/またはオブジェクト106に関連付けられたデータ(例えば、オブジェクト属性(例えば、分類112、位置(例えば、車両104に向かう/動く、車両104から離れる/向く等)、車両104からの距離(D)、オブジェクトの軌道等)、オブジェクトの動き(例えば、歩く、走る、スクーターに乗る、(例えば、速度に基づく等、オブジェクトの軌道によって暗示される特定の動き)、本を読む、電話で話す、電子装置でデータを見る、他の車両と影響し合う、他のオブジェクト106と影響しあう(例えば、他の人と話す、ベビーカーの中を見る等)、食べる、飲む、感覚障害者用装置(例えば、杖、補聴器等)の操作、ヘッドホンを聞く、等)に基づき得る。いくつかの例では、警告信号コンポーネント114は、複数の予想反応を含むデータベース122にアクセスし、第1の警告信号に関連付けられた予想反応120を決定してもよい。そのような例では、データベース122内の予想反応120は、少なくとも部分的に、オブジェクト106および/または第1の警告信号の特性に関連付けられたデータに基づいて、格納されてもよい。例えば、データベース122は、オブジェクト106(1)が見ている電子機器を下げること、および/または、車両104に向かって頭部および/または肩を動かすこと(例えば、第1の警告信号の発信)を含むように、電子機器を見る歩行者であるオブジェクト106(1)の予想反応120(1)を含んでもよい。別の例では、データベース122は、オブジェクトの軌道の変化(例えば、速度の増加、速度の減少、進行方向の変更等)、および/または頭部の動きを含むように、自転車の乗用者であるオブジェクト106(2)の予想反応120(2)を含んでもよい。説明的な例では、データベース122は、コンピューティングシステム102とは別の自律車両104上に配置されてもよい。そのような例では、データベース122は、有線および/または無線接続を介して、コンピューティングシステム102にアクセス可能であってよい。いくつかの例では、データベース122は、リモートコンピューティングシステム上に格納され、無線接続を介してアクセス可能なもの等、コンピューティングシステム102からリモートなものであってもよい。さらに他の例では、データベース122は、コンピューティングシステム102上に配置されてもよい。
【0053】
オブジェクト106(2)に関して説明したように、予想反応120(2)は、オブジェクト106(2)に関連付けられた軌道の変化を含んでもよい。軌道の変化は、オブジェクト106(2)が移動する速度(例えば、速度を上げる、速度を落とす、速度を閾値量に変更する等)、および/または方向に対する修正を含んでもよい。様々な例において、コンピューティングシステム102は、第1の警告信号を発信した後の時間におけるセンサーからの追加のセンサーデータに基づいて、更新された予測されたオブジェクトの軌道を決定してもよい。いくつかの例では、更新された予測されたオブジェクトの軌道は、上記の参照により本明細書に組み込まれる米国出願特許に記載されるような、環境のトップダウン表現および/またはそれに関連付けられたヒートマップを利用して決定されてもよい。様々な例において、コンピューティングシステム102は、オブジェクトの軌道に対する修正(例えば、予測されるオブジェクトの軌道と、第1の警告信号を発信した後に決定された更新された予測されるオブジェクトの軌道との間の差分)を決定してもよい。いくつかの例では、予想反応は、修正に基づくものであってよい。例えば、予想反応は、オブジェクトが前進速度を減速させること、または進行方向を(例えば、車両104と交差する軌道から平行な軌道へ)変更することを含んでもよい。コンピューティングシステム102は、修正および/または更新されたオブジェクトの軌道を予想反応120(2)と比較し、オブジェクト106(2)が予想反応に従って反応するかどうかを決定してもよい。
【0054】
いくつかの例では、コンピューティングシステム102は、オブジェクトが第1の警告信号を発信してから閾値時間(例えば、1秒、2秒等)以内に反応(例えば、行動を修正)するという決定に基づいて、第1の警告信号がオブジェクト106にアラートすることに成功したと決定してもよい。いくつかの例では、コンピューティングシステム102は、反応に関連付けられた応答をデータベース122に格納してもよい。様々な例において、予想外の反応(例えば、予想反応ではない)を検出したにもかかわらず、コンピューティングシステム102は、予想反応が検出されるまで警告信号を反復的に修正し続け得る。そのような例では、コンピューティングシステムは、警告信号の各反復と対応する反応(予想および/または予想外)に関連付けられたデータをデータベース122に格納してもよい。
【0055】
様々な例において、車両コンピューティングシステムは、機械学習技術を利用して予想反応120を決定してもよい。図4に関して後述でより詳細に議論されるように、いくつかの例では、コンピューティングシステム102は、警告信号に対して予想反応120を決定するために機械学習技術を利用したモデルを訓練するように構成された反応訓練コンポーネントを含んでもよい。そのような例では、モデルは、複数の警告信号およびそれに対する検出された反応を含む訓練データで訓練されてもよい。
【0056】
オブジェクト反応(例えば、実際の反応、リアルタイムの反応等)と予想反応120との比較に基づいて、警告信号コンポーネント114は、オブジェクト106が第1の警告信号に対して予想通りに反応したかどうか(例えば、オブジェクト反応と予想反応120との間に実質的な一致が存在するかどうか)を決定し得る。様々な例において、オブジェクト反応と予想反応120との間の実質的な一致の決定は、動作の閾値数(例えば、1つの一致動作、2つの一致動作等)、動作の閾値割合(例えば、80%、55%等)の一致、または同様のものを含み得る。いくつかの例では、実質的な一致は、オブジェクト反応と予想反応120との間の閾値の一致および/または閾値差に基づいて決定されてもよい。動作は、軌道修正(例えば、速度の増加、速度の減少、進行方向の変更等)、体の動き(例えば、足の配置、頭部の回転、肩の動き等)、ジェスチャー等を含み得る。例えば、第1の警告信号に対する予想反応120(1)は、頭部および/または肩の動きと、オブジェクト106(1)が保持する電子機器の位置調整とを含んでもよい。実際のオブジェクト反応は、車両104に向かう頭部の動きを含んでもよい。少なくとも頭部の動きの一致に基づき、警告信号コンポーネント114は、オブジェクト反応と予想反応120とが実質的に一致すると決定してもよい。別の例として、第1の警告信号に対して予想反応120(2)は、頭部の動き、オブジェクトの軌道への修正、および/またはオブジェクトの軌道への修正の大きさを含んでもよい。警告信号コンポーネント114は、予測コンポーネント等から、オブジェクトの軌道に関連付けられた速度が時速5マイル減少したという指示を受信してもよい。オブジェクトの軌道修正およびその大きさに部分的に基づいて、警告信号コンポーネントは、オブジェクト反応が、動作の75%の閾値割合を超える85%で予想反応120(2)に一致し、オブジェクト反応が予想反応120(2)に実質的に一致すると決定してもよい。
【0057】
オブジェクト反応が予想反応120と実質的に一致するという決定に応答して、車両コンピューティングシステムは、データベース122にエンカウンタ(例えば、第1の警告信号とオブジェクト反応に関連付けられたデータ)を格納してもよい。いくつかの例では、データベース122は、第1の警告信号に対するオブジェクト反応の信頼性を高めるため、機械学習モデルを訓練するため等、将来のオブジェクト反応の比較のために使用されてもよい。
【0058】
オブジェクト反応が実質的に一致しなかった(例えば、動作の閾値数未満、割合一致等)という決定に応答して、警告信号コンポーネント114は、オブジェクト106が予想反応120に従って反応しなかったと決定し得る。このような例では、警告信号コンポーネント114は、オブジェクト106が車両104の動作および/または環境100における車両104の存在に気づかないままであると決定してもよい。オブジェクト106が予想反応120に従って反応しなかったという決定に基づき、警告信号コンポーネント114は、第2の警告信号を生成し得る。第2の信号は、音声信号および/または視覚的な信号を含み得る。第2の警告信号は、第1の警告信号と同じまたは異なる様式(例えば、光、音等)の信号を含んでもよい。例えば、第1の警告信号は音の発信を含んでもよく、第2の警告信号は光の発信を含んでもよい。別の例では、第1の警告信号は音の発信を含み、第2の警告信号は音の発信を含んでもよい。
【0059】
様々な例において、警告信号コンポーネント114は、第2の警告信号の第2の特性のセット(例えば、周波数、音量、輝度、色、動き(例えば、アニメーションの動き、光のシーケンス等)、信号の形状等)を決定し得る。いくつかの例では、第2の特性のセットは、第1の警告信号の特性のうちの1つまたは複数に対し、予め決められた修正を含んでもよい。そのような例では、警告信号コンポーネント114は、第2の警告信号を生成するために、第1の警告信号の周波数、音量、および/または輝度のうちの1つまたは複数を修正し得る。例えば、第2の警告信号に関連付けられた音量は、第1の警告信号の10デシベルからの増加を含み得る。
【0060】
様々な例において、第2の特性のセットは、上述したように、環境100におけるリアルタイム条件に基づいて等、動的に決定され得る。いくつかの例では、警告信号コンポーネント114は、リアルタイムの考慮事項および第1の警告信号に反応する失敗を処理してもよく、第2の警告信号に関連付けられた第2の特性のセットを決定してもよい。いくつかの例では、警告信号コンポーネント114は、データベース122にアクセスし、第2の信号に関連付けられた第2の特性のセットを決定してもよい。いくつかの例では、第2の特性のセットは、リアルタイムの考慮事項に基づいてデータベース122に格納されてもよい。様々な例において、第2の特性のセットは、機械学習技術を利用して決定されてもよい。いくつかの例では、警告信号コンポーネント114は、リアルタイムの考慮事項と、第1の警告信号が失敗したことを示す第1の特性セットとを、第2の特性セットを出力するように構成された機械学習モデルに入力してもよい。そのような例では、警告信号コンポーネント114は、出力された第2の特性のセットに従って、第2の警告信号を生成してもよい。
【0061】
様々な例において、第2の特性のセットは、低い緊急性から中程度または高い緊急性へのような緊急性の向上、中確率から高確率へのようなコンフリクトの可能性および/または確率の増加、または同様のものに部分的に基づき得る。例えば、警告信号コンポーネント114は、車両動作の走行可能な表面116の閾値距離内にあるオブジェクト106(1)等のオブジェクト106にアラートするために、第1の周波数および第1の音量で第1の警告信号が発信されるようにしてもよい。オブジェクト106(1)が予想反応120(1)に従って反応しなかったこと、および車両104がオブジェクト106(1)に関連付けられた場所に近づいたという決定に基づいて、車両コンピューティングシステムは、通知に関連付けられた緊急性および/またはコンフリクトの可能性が高まったと決定してもよい。それに応じて、警告信号コンポーネント114は、第2の警告信号を生成するために、第1の警告信号の周波数を修正および/または音量を増加させることを決定してもよい。
【0062】
様々な例において、特性の第2のセットは、特性の第1のセットに対して予め決められた修正を含み得る。そのような例では、特性の第1のセットの1つまたは複数が、特性の第2のセットを決定するために予め定義された量によって修正されてもよい。いくつかの例では、予め定義された修正は、第1の警告信号および/またはその特性、オブジェクト106に関連付けられたデータ等と関連して、データベース122に格納されてもよい。例えば、第2の警告信号に関連付けられた音量は、第1の警告信号よりも10デシベル増加することを含んでもよい。別の例として、第2の警告信号は、第1の警告信号に対する100ルーメンの増加を含んでもよい。
【0063】
様々な例において、警告信号コンポーネント114は、第2のオブジェクト反応を第2の警告信号に関連付けられた第2の予想反応120と比較し得る。第2のオブジェクト反応が第2の予想反応120と実質的に一致するという決定に応答して、警告信号コンポーネント114は、オブジェクト反応および/または第2の警告信号に関連付けられたデータをデータベース122に格納し得る。上述したように、いくつかの例では、データベース122は、警告信号に対する反応の信頼性を高めるため、機械学習モデルを訓練するため等、将来のオブジェクト反応の比較のために使用されてもよい。
【0064】
第2のオブジェクト反応が第2の予想反応120と実質的に一致しないという決定に応答して、警告信号コンポーネント114は、第3の警告信号が生成、発信されてよく、この第3の警告信号は、第1の警告信号および第2の警告信号と異なる(例えば、異なる様式、異なる特性等)。例えば、オブジェクト106が50デシベルで発信された第1の音声警告信号および70デシベルで発信された第2の音声警告信号に応答しなかったという決定に基づいて、警告信号コンポーネント114は、第3の警告信号として視覚的な警告信号を発信するように決定してもよい。それに応じて、警告信号コンポーネント114は、視覚的な警告信号の色および輝度(例えば、第3の警告信号に関連付けられた第3の特性セット)を決定してもよい。警告信号コンポーネント114は、第3の警告信号に関連付けられた第3のセットの特性を決定することに関して、上述したものと同様の技術または同じ技術を利用してもよい。
【0065】
様々な例において、車両コンピューティングシステムは、オブジェクト反応が警告信号に対する予想反応120に実質的に一致するまで、発信された警告信号を修正し続け得る。様々な例において、警告信号コンポーネント114は、オブジェクト106が車両104に関連したままであるという決定に基づいて、発信された警告信号を修正し続け得る。このような例では、オブジェクト106が車両104に関連しているという決定に基づいて、修正された警告信号が発信され得る。いくつかの例では、警告信号コンポーネント114は、継続的および/または定期的に(例えば、0.1秒ごと、1.0秒ごと、修正された警告信号を生成する前等)、オブジェクト106が車両104に関連しているかどうかを決定するように構成されてもよい。いくつかの例では、警告信号コンポーネント114は、コンピューティングシステム102の別のコンポーネントからオブジェクト106の関連性の指示を受信してもよい。様々な例において、オブジェクト106の関連性の指示は、警告信号コンポーネント114によって送信された関連性のクエリに応答して受信されてもよい。そのような例では、警告信号コンポーネント114は、修正された警告信号を生成するためにコンピューティングリソースを消費する前にオブジェクト106の関連性を検証するため等、修正された警告信号を生成する前に、関連性のクエリを送信してもよい。そのような例では、本明細書に記載された技術は、少なくとも、オブジェクト106の関連性の決定に基づいて、コンピューティングシステム102の他の機能に対して追加のコンピューティングリソース(処理能力、メモリ等)を利用可能にすることによって、コンピューティングシステム102の機能を向上させることができる。
【0066】
様々な例において、オブジェクト106が予想反応120に従って反応したこと、および/またはオブジェクト106が車両104と無関係であることの決定に基づいて、警告信号コンポーネント114は警告信号の発信を停止してもよい。いくつかの例では、オブジェクト106が予想反応120に従って反応したこと、および/またはオブジェクト106が車両104と無関係であることの決定に基づいて、警告信号コンポーネント114は、第1の警告信号が発信されるようにしてもよい。このような例では、第1の警告信号は、車両104の存在および/または動作を近くのオブジェクトにアラートするために発せられるベースライン警告信号を含んでもよい。例えば、そして上述したように、ベースライン警告信号は、法律および/または規制によって要求されるような電気自動車の警告音を含んでもよい。別の例として、ベースライン警告信号は、車両104に関連付けられた場所および/または上述したようなリアルタイムの状況に基づいて発信される音および/または光を含んでもよい。
【0067】
図2は、発信された警告信号202に対するオブジェクト106のオブジェクト反応204に少なくとも部分的に基づいて、車両104によって発信された警告信号202を修正するためのプロセス200を示す説明図である。
【0068】
動作206において、プロセスは、環境100等の環境において第1の警告信号202(1)を発信することを含み得る。第1の警告信号202(1)は、音声信号および/または視覚的な信号を含み得る。第1の警告信号202(1)は、特性の第1のセット(例えば、周波数、音量、輝度、色、動き(例えば、アニメーションの動き、光のシーケンス等)、信号の形状等)を含んでもよい。いくつかの例では、第1の警告信号202(1)に関連付けられた特性の第1のセットは、車両104の存在および/または動作をオブジェクト106にアラートするために車両104から発信されるベースライン音に基づく等、予め定義されてもよい。例えば、第1の警告信号202(1)は、100デシベルで発信される528ヘルツの周波数を有する電気自動車の警告音を含み得る。
【0069】
様々な例において、車両104に関連付けられた車両コンピューティングシステムは、環境における1つまたは複数のリアルタイム条件に基づいて、特性の第1のセットを決定し得る。上述したように、リアルタイム条件は、オブジェクト106に関連付けられたデータ(例えば、オブジェクト属性(例えば、分類、位置(例えば、車両に向かう/動く、車両から離れる/向く等)、車両からの距離、軌道等)、オブジェクトの動き(例えば、歩く、走る、スクーターに乗る、(例えば、速度に基づく等、オブジェクトの軌道によって暗示される特定の動き)、本を読む、電話で話す、電子機器でデータを見る、他の車両と影響し合う、他のオブジェクトと影響しあう(例えば、他の人と話す、ベビーカーを覗く等)、食べる、飲む、感覚障害者用装置(杖、補聴器等)の操作、ヘッドホンを聞く等)、環境要因(環境中の騒音レベル、交通量、道路状況等)、天候(雨、雪、ひょう、風等)、車両の考慮事項(速度、車両104の乗客等)等を含み得る。例えば、車両コンピューティングシステムは、検出されたオブジェクト106が、車両104に向かって雨の中を歩き、車両104の閾値距離内にいる歩行者であると決定し得る。オブジェクトの軌道、車両104の閾値距離内のオブジェクトの場所、および雨に起因して、車両コンピューティングシステムは、100デシベルで1000ヘルツの信号を発信することを決定してもよい。
【0070】
図示の例では、第1の警告信号202(1)は、検出されたオブジェクト106に関連付けられた車両104側で発信され得る。このような例では、第1の警告信号202(1)は、自転車専用レーン、歩道上、および/または車両コンピューティングシステムがオブジェクト106を検出および/またはオブジェクトが動作することを合理的に予想する他の領域(例えば、合法的な動作領域、典型的な動作領域等)において、オブジェクト106にアラートするように構成され得る。いくつかの例では、第1の警告信号202(1)は、前方、後方、右側、および左側に向かって等、車両の周囲に発信されてもよい。いくつかの例では、第1の警告信号202(1)は、オブジェクト106に向けられたビーム形式の音響信号および/または光信号を含んでもよい。
【0071】
動作208において、車両コンピューティングシステムは、オブジェクト反応204を第1の警告信号202(1)に対する予想反応120と比較し得る。上述したように、車両コンピューティングシステムは、1つまたは複数のセンサーからのセンサーデータに基づいて、オブジェクト反応204を決定してもよい。センサーは、車両に搭載されたセンサー、他の車両に搭載されたセンサー、および/または環境に搭載されたセンサーを含み得る。オブジェクト反応204は、オブジェクト106のオブジェクトの軌道、位置、および/または動きに対する変化、またはその欠如等、第1の警告信号202(1)に対するリアルタイムのオブジェクト反応を含み得る。説明的な例では、オブジェクト反応204は、移動の実質的な欠如を含む。例えば、オブジェクト106の位置(例えば、頭部、肩、腕、脚等)は実質的に同じままであり、オブジェクト106は実質的に同じ位置で電子機器を保持し続ける。
【0072】
予想反応120は、第1の警告信号202(1)の特性(例えば、音量、周波数、輝度、色、動き(例えば、アニメーションの動き、光のシーケンス等)、信号の形状等)および/またはオブジェクト106に関連付けられたデータ(例えば、オブジェクト属性(例えば、分類、位置(例えば、車両に向かう/動く、車両から離れる/動く等)、車両からの距離、軌道等)、オブジェクト動き(例えば、歩く、走る、スクーターに乗る、(例えば、速度に基づく等、オブジェクトの軌道によって暗示される特定の動き)、本を読む、電話で話す、電子機器でデータを見る、他の車両と影響し合う、他のオブジェクトと影響し合う(例えば、他の人と話す、ベビーカーの中を見る等)、食べる、飲む、感覚障害者用装置(例えば、杖、補聴器等)の操作、ヘッドホンを聞く、等)に基づき得る。いくつかの例では、車両コンピューティングシステムは、第1の警告信号202(1)に関連付けられた予想反応120を決定するために、複数の予想反応を含むデータベースにアクセスしてもよい。そのような例では、データベース内の予想反応120は、少なくとも部分的に、オブジェクト106に関連付けられたデータおよび/または第1の警告信号202(1)の特性に基づいて格納され得る。様々な例において、車両コンピューティングシステムは、機械学習技術を利用して予想反応120を決定してもよい。説明的な例では、予想反応120は、車両104に向かう頭部の動き(例えば、回転)と、高い位置(例えば、オブジェクトの頭部の前)から低い位置への電子機器の動きを含む。
【0073】
動作210において、プロセスは、オブジェクト反応204が予想反応120と実質的に異なることに基づいて、第2の警告信号を発信することを含む。様々な例において、車両コンピューティングシステムは、オブジェクト反応204と予想反応120との間の実質的な差に基づいて、オブジェクト106が第1の警告信号202(1)を処理しなかった(例えば、オブジェクト106が第1の警告信号202(1)を聞かなかった、および/または見なかった)ことを決定してもよい。
【0074】
実質的な相違の決定は、オブジェクト反応204に関連付けられた1つまたは複数の動作が、予想反応120の1つまたは複数の動作と異なることに基づき得る。動作は、軌道修正(例えば、速度の増加、速度の減少、進行方向の変更等)、体の動き(例えば、足の配置、頭部の回転、肩の動き等)、ジェスチャー等を含み得る。いくつかの例では、オブジェクト反応204は、動作の閾値数および/または動作の閾値割合が異なるという決定(例えば、閾値差)に基づいて、予想反応120と実質的に異なると決定され得る。例えば、予想反応は、足の配置、頭部の動き、および肩の動きを含んでもよい。オブジェクト反応が足の配置のみを含むという決定に基づいて、車両コンピューティングシステムは、動作の閾値数(2)が満たされておらず、したがって、オブジェクト反応が予想反応と実質的に異なると決定してもよい。
【0075】
第2の警告信号202(2)は、第1の警告信号202(1)と同じ様式の信号または異なる様式の信号を含んでもよい。第2の警告信号202(2)は、第2の特性のセットを含んでもよい。様々な例において、車両コンピューティングシステムは、特性の第1のセットに対して予め定義された調整に基づいて、特性の第2のセットを決定してもよい。このような例では、車両コンピューティングシステムは、予め定義された調整に基づいて、第1の警告信号202(1)の周波数、音量、輝度、色、動き、および/または形状を修正し得る。例えば、第1の警告信号202(1)は、65デシベルで発信される第1の周波数の音声信号を含んでもよい。オブジェクト106が予想反応に従って反応しなかったという決定に基づいて、車両コンピューティングシステムは、音量を15デシベル増加させ、80デシベルで第2の警告信号202(2)を発信し得る。
【0076】
説明的な例では、車両コンピューティングシステムは、第2の警告信号202(2)を、第1の警告信号202(1)と同じ側(例えば、検出されたオブジェクト106に関連付けられた車両104の側)で発信させ得る。他の例では、車両コンピューティングシステムは、ビーム形式の音響信号および/または光信号等において、第2の警告信号202(2)をオブジェクト106に向けさせてもよい。さらに他の例では、第2の警告信号202(2)は、車両104の前部、後部、右側部、および左側部に向けて等、車両の周囲に発信されてもよい。
【0077】
動作212において、プロセスは、オブジェクト反応204が予想反応120と一致する(例えば、実質的に一致する)、またはオブジェクト106が車両104にもはや関連しなくなるまで、異なる警告信号を発信することを含む。様々な例において、車両コンピューティングシステムは、環境における車両104の安全な動作を最適化するために、リアルタイムのオブジェクト反応に基づいて、警告信号を継続的に修正するように構成され得る。
【0078】
様々な例において、車両コンピューティングシステムは、同じ様式および/または異なる様式の異なる警告信号202を生成してもよい。いくつかの例では、車両コンピューティングシステムは、第1の様式で予め決められた数の警告信号202を発信してもよく、第2の様式に変更してもよい。そのような例では、車両コンピューティングシステムは、第1の様式が、車両104の存在および/または動作についてオブジェクト106にアラートするのに有効でないと決定し得る。例えば、車両コンピューティングシステムは、3つの音声警告信号202を発信してよく、音声信号に対するオブジェクト反応204と、それに対する予想反応120との間の実質的な差に基づいて、オブジェクト106が難聴である、大音量の音楽を聞いている、等の理由で音声信号は効果がないと決定してもよい。車両コンピューティングシステムは、第4の警告信号202(および後続の警告信号202)を、様々な色、動作(例えば、シーケンス)、形状、および/または強度の点滅光等の視覚的な警告信号202に修正してもよい。
【0079】
様々な例において、車両コンピューティングデバイスは、オブジェクト106が車両104に関連するかどうかを連続的および/または定期的(例えば、0.2秒ごと、0.5秒ごと、修正された警告信号を生成する前等)に決定するように構成され得る。いくつかの例では、後続の警告信号202を生成する前(オブジェクト反応204が予想反応120と実質的に異なるという決定の後等)に、車両コンピューティングデバイスは、車両104に対するオブジェクトの関連性を決定し得る。オブジェクト106は、オブジェクトの軌道と車両の軌道との間の交差点に基づいて、車両104に関連してもよい。オブジェクトの軌道は、上記および参照により組み込まれる特許出願に記載された技術を利用して決定されてもよい。いくつかの例では、オブジェクト106は、それぞれの軌道上のオブジェクト106および車両104の予測された場所に基づいて関連してもよい。
【0080】
いくつかの例では、オブジェクト106は、オブジェクトの軌道上を走行するオブジェクト106に関連付けられた予測された将来のオブジェクトの場所が、車両の軌道上を走行する車両104に関連付けられた予測された将来の車両の場所の閾値距離(例えば、4フィート、12フィート、1メートル、3メートル等)以内であるという決定に基づいて、車両104に関連付けられてもよい。様々な例において、オブジェクト106は、オブジェクト106が車両104の前方にある場所(例えば、ある方向に走行する車両104の前方)と、オブジェクト106と車両104が軌道上を走行している走行可能な表面(例えば、道路)との距離(例えば、オブジェクトから車両104の経路までの距離)に基づいて車両104に関連すると決定されてもよい。このような例では、オブジェクト106は、距離が閾値距離に等しい、またはそれ以下であるという決定に基づいて関連付けられ得る。
【0081】
様々な例において、オブジェクト106が予想反応120に従って反応したこと、および/またはオブジェクト106が車両104と無関係であることの決定に基づいて、車両コンピューティングデバイスは警告信号202の発信を停止し得る。いくつかの例では、オブジェクト106が予想反応120に従って反応したこと、および/またはオブジェクト106が車両104と無関係であることの決定に基づいて、警告信号コンポーネント114は、第1の警告信号202(1)を発信させてもよい。そのような例では、第1の警告信号は、車両104の存在および/または動作について近くのオブジェクト106に警告するために発信されるベースライン警告信号202を含み得る。例えば、ベースライン警告信号は、車両104に関連付けられた場所、および/または環境要因、気象条件、車両の考慮事項、オブジェクト106に関連付けられたデータ等のリアルタイム条件に基づいて発信される音および/または光を含み得る。
【0082】
図3は、オブジェクト308(1)が車両302の車両経路310を塞いでいるという決定に基づいて、車両104等の車両302が、信号304および306を発信する環境300を示す説明図である。信号は、オブジェクト106に車両302の存在および/または動作をアラートするための警告信号202等の警告信号304と、オブジェクト106の潜在的なオブジェクト経路を示す経路信号306と、を含み得る。車両に関連付けられた車両コンピューティングシステムは、車両の1つまたは複数のセンサーおよび/または1つまたは複数のリモートセンサー(例えば、他の車両に関連付けられたセンサー、環境300に取り付けられたセンサー等)から受信したセンサーデータに少なくとも部分的に基づいて、環境内のオブジェクト308、例えばオブジェクト106を検出するよう構成され得る。
【0083】
様々な例において、コンピューティングシステム102等の車両コンピューティングシステムは、オブジェクト308(例えば、遮断オブジェクト308(1))が環境300を通る車両302の移動に関連付けられた車両経路310(経路310)を遮断していると決定するように構成され得る。いくつかの例では、車両経路310は、現在地312から目的地までの車両302の経路を含み得る。いくつかの例では、車両経路310は、目的地までの車両302の移動に関連付けられた走行可能な表面(例えば、走行可能領域)を含み得る。いくつかの例では、走行可能な表面は、車両302の幅および/または車両302のいずれかの側の安全マージンを含み得る。いくつかの例では、走行可能な表面は、車両302が走行している車線314の幅を含み得る。
【0084】
いくつかの例では、車両コンピューティングシステムは、遮断オブジェクト308(1)に関連付けられたオブジェクトの場所316が、少なくとも部分的に、走行可能領域および/または車両経路310内にあるという決定に基づいて、遮断オブジェクト308(1)が車両経路310を遮断していると決定し得る。様々な例において、車両コンピューティングシステムは、車両302が車線314において遮断オブジェクト308(1)の周りを進むことができないという決定に基づいて、遮断オブジェクト308(1)が車両経路310を遮断していると決定し得る。図示の例では、遮断オブジェクト308(1)は、車両経路310を横切って停止しており、車線314を塞いでいる。このような例では、車両302は、車線314(または隣接する車線318)において車両経路310に沿って進むことができない可能性がある。他の例では、遮断オブジェクト308(1)は、車線314のより少ない部分を遮断し得る(例えば、車両経路310を遮断している遮断オブジェクト308(1)のより少ないパーセンテージ);しかしながら、車両コンピューティングシステムは、車両302が車線314の範囲内に留まりながら遮断オブジェクト308(1)を周回できないという決定に基づいて、オブジェクト308を遮断オブジェクト308(1)と決定してよい。
【0085】
様々な例において、車両コンピューティングシステムは、遮断オブジェクト308(1)が移動し得る領域320を特定するように構成され得る。いくつかの例では、領域320は、車両経路310、車線314、および/または隣接する車線318にない場所を含み得る。そのような例では、領域320は、車線314および/または隣接する車線318を走行する車両302および/または他の車両/オブジェクト308の進行をもはや遮断しないように遮断オブジェクト308(1)が移動し得る場所を含んでもよい。
【0086】
いくつかの例では、領域320は、オブジェクト308(2)等の別のオブジェクトによって目視できる経路が遮断されることに基づく等、遮断オブジェクト308(1)のオペレータが目視できない可能性がある場所を含み得る。例えば、遮断オブジェクト308(1)は、車両302の前方の交差点322において左折している可能性がある。また、遮断オブジェクト308(1)は、オブジェクト308(2)の後方の左側車線を走行している可能性がある。オブジェクトの場所316および位置(例えば、左折を部分的に通過する向き)に起因して、遮断オブジェクト308(1)のオペレータは、右側車線の領域320がオブジェクト308からクリアされているかどうかを確認できない可能性がある。
【0087】
様々な例において、車両コンピューティングシステムは、エミッタ118等のエミッタから経路信号306が発信されるようにしてもよい。いくつかの例では、経路信号306は、車両経路310の外にあるオブジェクト経路(ルート)の表示を含み得る。いくつかの例では、経路信号306は、遮断オブジェクト308(1)のオペレータに、領域320が存在し、クリアであることを示し得る。説明的な例では、経路信号306は、領域320を指す矢印を含み、経路信号306は、遮断オブジェクト308(1)のオペレータがオブジェクトの場所316から経路信号306を目視できるように道路の表面上に投影(例えば、表示)されている。別の例では、経路信号306は、遮断オブジェクト308(1)が移動し得る領域320の表示を提供するホログラフィックイメージを含み得る。図3では矢印として描かれているが、これは単に例示のためであり、他のデザイン、形状、記号等がここでは企図されている。例えば、経路信号306は、アプローチ照明装置のような、経路を示すように構成された光の点滅シーケンスを含んでもよい。
【0088】
様々な例において、車両コンピューティングシステムは、経路信号306を発信してよく、遮断オブジェクト308(1)のオペレータが予想反応に従って反応していない(例えば、オペレータが遮断オブジェクト308(1)を領域320に向かって移動させていない)と決定し得る。いくつかの例では、遮断オブジェクト308(1)のオペレータが経路信号306に対して予想反応に従って反応していないという決定に基づいて、車両コンピューティングシステムは、遮断オブジェクト308(1)のオペレータに経路信号306および/または車両の存在および/または動作についてアラートするように、警告信号304が発信されるようにしてもよい。いくつかの例では、車両コンピューティングシステムは、経路信号306を発信する前に、遮断オブジェクト308(1)のオペレータの注意を引くために、警告信号304が発信されてもよい。警告信号304は、第1の特性(例えば、周波数、音量、輝度、色、動き(例えば、アニメーションの動き、光のシーケンス等)、信号の形状等)のセットを有する音声信号および/または視覚的な信号を含んでもよい。
【0089】
上述したように、車両コンピューティングシステムは、警告信号304に対する遮断オブジェクト308(1)のオペレータの反応(例えば、オペレータ反応)を検出するように構成され得る。車両コンピューティングシステムは、車両に関連付けられたセンサーおよび/またはリモートセンサーから収集されたセンサーデータに基づいて、オペレータの反応を検出し得る。センサーデータによって提供される車両オペレータの限定的な可視性に部分的に起因して、オペレータの反応は、頭部の動き、肩の動き、手のジェスチャー(例えば、波等)等の体の動きを含み得る。上述したように、車両コンピューティングシステムは、オペレータの反応を、予想反応120等の予想反応と比較するように構成されてもよい。さらに、車両コンピューティングシステムが、経路信号306が警告信号304と同時に、またはそれ以前に発信されるようにする例では、予想反応は、領域320に向けた遮断オブジェクト308(1)の移動を含んでもよい。比較に基づいて、車両コンピューティングシステムは、遮断オブジェクト308(1)のオペレータが車両302および/または経路信号306の存在および/または動作に気付いているか否かを決定してもよい。
【0090】
遮断オブジェクト308(1)のオペレータが車両302の存在および/または動作に気付いていない(例えば、オペレータの反応が予想反応に実質的に一致しなかった)および/または経路信号306の決定に基づいて、車両コンピューティングシステムは警告信号304を修正し得る。修正は、様式の変更(例えば、音声信号から視覚的な信号へ、周波数、音量、輝度、色、動き、形状等)を含んでもよい。様々な例において、車両コンピューティングシステムは、車両302および/または経路信号306の存在および/または動作を遮断オブジェクト308(1)のオペレータにアラートするために、変更された警告信号304を発信し得る。上述したように、車両コンピューティングシステムは、オペレータの反応が予想反応と実質的に一致するまで、または車両コンピューティングシステムが、遮断オブジェクト308(1)が車両302と無関係である(例えば、もはや経路310を遮断していない)と決定するまで警告信号304を継続的に修正するよう構成されてもよい。
【0091】
図3は、遮断オブジェクト308(1)に関して説明されているが、これは限定することを意図しておらず、車両コンピューティングシステムは、他の(遮断ではない)オブジェクト308に対して経路信号306を生成、発信するよう構成されてもよい。例えば、車両コンピューティングシステムは、車両302の閾値距離内にあるオブジェクト308を検出してもよい。車両コンピューティングシステムは、オブジェクト308が閾値距離内にあることに基づいて、かつ、動作安全性を最大化するために、オブジェクト308が閾値距離内の第1の場所を維持する場合、車両302の前進速度を減速させることを決定してもよい。車両コンピューティングシステムは、オブジェクトが閾値の場所の外側の第2の場所に移動する場合、最適な動作安全性のために車両302が減速する必要がない場合があると決定してもよい。したがって、車両コンピューティングシステムは、車両302の前進を妨げないようにオブジェクト308が移動するための第2の場所をオブジェクト308に示すために、経路信号306を生成してもよい。
【0092】
図4は、本明細書に記載される技術を実装するための例示的なシステム400のブロック図である。少なくとも1つの例では、システム400は、車両104のような車両402を含み得る。
【0093】
車両402は、コンピューティングシステム102等の1または複数の車両コンピューティングデバイス404(例えば、車両コンピューティングシステム)、センサー108等の1つまたは複数のセンサーシステム406、エミッタ118等の1つまたは複数のエミッタ408、1つまたは複数の通信接続部410、少なくとも1つの直接接続部412および1つまたは複数の駆動システム414を含み得る。
【0094】
車両コンピューティングデバイス404は、1つまたは複数のプロセッサ416と、1つまたは複数のプロセッサ416と通信可能に結合されたメモリ418と、を含み得る。図示された例では、車両402は自律車両であるが、車両402は、半自律車両等の任意の他のタイプの車両、または少なくとも画像取り込み機器(例えば、カメラ付きスマートフォン)を有する任意の他のシステムであり得る。図示された例では、車両コンピューティングデバイス404のメモリ418は、定位コンポーネント420、知覚コンポーネント422、計画コンポーネント424、1つまたは複数のシステムコントローラ426、および信号発信コンポーネント430、反応決定コンポーネント432、機械学習コンポーネント434、反応データベース436、およびオブジェクト経路決定コンポーネント438を含む警告信号コンポーネント428を格納している。図4では、例示の目的でメモリ418に存在するように描かれているが、定位コンポーネント420、知覚コンポーネント422、計画コンポーネント424、1つまたは複数のシステムコントローラ426、および警告信号コンポーネント428(および/またはそこに例示されているコンポーネントおよび/またはデータベース)は、追加的または代替的に、車両402にアクセス可能であってもよい(例えば、車両402からリモートなメモリ、例えば、1つまたは複数の(リモート)コンピューティングデバイス442のメモリ440に格納されているか、さもなければそれによってアクセスできる)ことは想定されることである。
【0095】
少なくとも1つの例では、定位コンポーネント420は、センサーシステム406からデータを受信して車両402の位置および/または向き(例えば、x-、y-、z-位置、ロール、ピッチ、またはヨーのうちの1つまたは複数)を決定する機能を含み得る。例えば、定位コンポーネント420は、環境の1つまたは複数のマップを含む、および/または要求/受信してもよく、マップ内の自律車両の場所および/または方位を継続的に決定し得る。この議論の目的のために、マップは、トポロジー(交差点等)、通り、山脈、道路、地形、および環境一般等の環境に関する情報を提供し得る、2次元、3次元、またはN次元でモデル化された任意の数のデータ構造であり得る。いくつかの例では、マップは、以下のものを含むことができるが、これらに限定されない:テクスチャ情報(例えば、色情報(例えば、RGB色情報、Lab色情報、HSV/HSL色情報等)、強度情報(例えば、ライダー情報、レーダー情報等)、空間情報(例えば、メッシュに投影された画像データ、個々の「サーフェル」(例えば、個々の色及び/又は強度に関連付けられたポリゴン))、反射率情報(例えば、鏡面反射率情報、再帰反射率情報、BRDF情報、BSSRDF情報、および同様のもの)。少なくとも1つの例では、マップは、環境の3次元メッシュを含んでもよい。いくつかの例では、車両402は、マップに少なくとも部分的に基づいて制御されてもよい。すなわち、マップは、知覚コンポーネント422および/または計画コンポーネント424と関連して、車両402の場所を決定し、環境内のオブジェクトを検出、および/または環境内をナビゲートする経路および/または軌道を生成するために追加的に使用され得る。
【0096】
いくつかの例では、1つまたは複数のマップは、ネットワーク444を介してアクセス可能なリモートコンピューティングデバイス(コンピューティングデバイス442等)上に格納されてもよい。いくつかの例では、多様なマップは、例えば、特性(例えば、エンティティのタイプ、時間帯、曜日、1年の季節等)に基づいて格納されてもよい。多様なマップを格納することは、同様のメモリ要件を有し得るが、マップ内のデータがアクセスされ得る速度を増加させ得る。
【0097】
様々な例において、定位コンポーネント420は、車両402の場所を正確に決定するために、画像データ、ライダーデータ、レーダーデータ、IMUデータ、GPSデータ、ホイールエンコーダデータ等を受信するために、SLAM(同時定位およびマッピング)、CLAMS(較正、定位およびマッピング、同時)、相対SLAM、バンドル調整、非線形最小自乗最適化等を利用するよう構成され得る。いくつかの例では、定位コンポーネント420は、本明細書で論じられるように、オブジェクトが車両402に関連するかどうか等のオブジェクトとのコンフリクトの可能性(例えば、確率)を決定するための自律車両402の初期位置を決定するために車両402の様々なコンポーネントにデータを提供し得る。
【0098】
いくつかの例では、知覚コンポーネント422は、オブジェクト検出、セグメンテーション、および/または分類を実行するための機能を含み得る。いくつかの例では、知覚コンポーネント422は、車両402に近接しているオブジェクト(例えば、エンティティ、動的オブジェクト)の存在を示す処理されたセンサーデータ、および/またはオブジェクトタイプ(例えば、車、歩行者、自転車の乗用者、犬、猫、鹿、不明等)としてのオブジェクトの分類を提供し得る。いくつかの例では、知覚コンポーネント422は、車両402に近接している静止したエンティティの存在を示す処理されたセンサーデータ、および/またはタイプ(例えば、建物、木、路面、縁石、歩道、不明等)としての静止したエンティティの分類を提供してもよい。追加的または代替的な例では、知覚コンポーネント422は、検出されたオブジェクト(例えば、追跡されたオブジェクト)および/またはオブジェクトが配置されている環境に関連する1つまたは複数の特性を示す処理済みセンサーデータを提供してもよい。いくつかの例では、オブジェクトに関連付けられた特性は、x位置(グローバルおよび/またはローカル位置)、y位置(グローバルおよび/またはローカル位置)、z位置(グローバルおよび/またはローカル位置)、向き(例えば、ロール、ピッチ、ヨー)、オブジェクトタイプ(例えば、分類)、オブジェクトの速度、オブジェクトの加速度、オブジェクトの範囲(サイズ)、等を含み得るが、これらに限定はされない。環境に関連付けられた特性は、環境内の別のオブジェクトの存在、環境内の別のオブジェクトの状態、一日の時間、曜日、季節、天候(例えば、雨、みぞれ、ひょう、雪、温度、湿度等)、暗さ/明るさの表示等を含み得るが、これらに限定されない。
【0099】
一般に、計画コンポーネント424は、環境を横断するために車両402が従うべき経路を決定し得る。例えば、計画コンポーネント424は、様々な経路および軌道、並びに様々なレベルの詳細を決定し得る。例えば、計画コンポーネント424は、第1の場所(例えば、現在地)から第2の場所(例えば、目的地)へ移動する経路を決定し得る。この議論の目的のために、経路は、2つの場所間を移動するためのウェイポイントのシーケンスを含み得る。非限定的な例として、ウェイポイントは、通り、交差点、グローバルポジショニングシステム(GPS)座標等を含む。さらに、計画コンポーネント424は、第1の場所から第2の場所への経路の少なくとも一部に沿って車両402を誘導するための命令を生成してもよい。少なくとも1つの例では、計画コンポーネント424は、車両402をウェイポイントのシーケンス内の第1のウェイポイントからウェイポイントのシーケンス内の第2のウェイポイントに案内する方法を決定してもよい。いくつかの例では、命令は、軌道、または軌道の一部であってよい。いくつかの例では、多様な軌道が、receding horizon技術に従って実質的に同時に(例えば、技術的公差内で)生成されてもよく、多様な軌道のうちの1つが、車両402がナビゲートするために選択される。
【0100】
いくつかの例では、計画コンポーネント424は、環境内のオブジェクトの予測された軌道を生成するための予測コンポーネントを含み得る。例えば、予測コンポーネントは、車両402から閾値距離内のオブジェクトのための1つまたは複数の予測された軌道を生成し得る。いくつかの例では、予測コンポーネントは、オブジェクトの追跡を測定し、観察された挙動および予測された挙動に基づいて、オブジェクトのための軌道を生成してもよい。様々な例において、オブジェクトの軌道および/または意思は、参照により上記に組み込まれる米国特許10414395号および/または米国出願特許16/151607、16/504147号および/または15/807521号に記載の技術を利用して決定されてもよい。
【0101】
少なくとも1つの例では、車両コンピューティングデバイス404は、車両402のステアリング、推進、ブレーキ、安全、エミッタ、通信、および他のシステムを制御するように構成され得る1つまたは複数のシステムコントローラ426を含んでもよい。システムコントローラ426は、駆動システム414および/または車両402の他のコンポーネントの対応するシステムと通信、および/または制御してもよい。
【0102】
図4に示されるように、車両コンピューティングデバイス404は、警告信号コンポーネント428を含み得る。警告信号コンポーネント428は、信号発信コンポーネント430を含み得る。様々な例において、信号発信コンポーネント430は、警告信号202および304等の警告信号をいつ発信するかを決定するように構成されてもよい。いくつかの例では、信号発信コンポーネント430は、車両402に関連付けられた場所に基づいて警告信号を発信することを決定してもよい。このような例では、信号発信コンポーネント430は、定位コンポーネント420から場所データを受信してもよく、場所データに基づいて、警告信号を発信することを決定してもよい。様々な例において、場所は、スクールゾーン、都市部、ビジネス街、建設地帯、および/または歩行者、スクーター、自転車等が一般的に移動する他の地域に関連する領域を含み得る。
【0103】
様々な例において、信号発信コンポーネント430は、車両402に関連付けられた速度に基づいて警告信号を発信することを決定し得る。いくつかの例では、信号発信コンポーネント430は、知覚コンポーネント422からのような、車両速度の表示および/または車両速度が閾値速度(例えば、時速15マイル、時速30キロメートル等)を超えるまたは下回るという表示を受信してもよく、警告信号が発信されるようにしてもよい。様々な例において、警告信号は、電気(静音)自動車の環境内のオブジェクトに警告するために法律または規制によって要求されるような、電気自動車の警告音を含んでもよい。このような例では、信号発信コンポーネント430は、車両402の速度が閾値速度以下であるという指示を受信し、その指示に基づいて警告信号が発信されるようにしてもよい。
【0104】
様々な例において、信号発信コンポーネント430は、環境内のオブジェクトの検出および/またはそのオブジェクトと車両との関連性の決定に基づいて、警告信号を発信することを決定し得る。様々な例において、オブジェクトは、オブジェクトと車両との間の距離が閾値距離未満であることに基づいて、車両に関連すると決定されてもよい。いくつかの例では、オブジェクトは、オブジェクトの予測されたオブジェクトの軌道が車両402に関連付けられた車両の軌道と交差するという決定に基づいて、関連性があると決定されてもよい。このような例では、オブジェクトは、車両402とオブジェクトとの間にコンフリクト(例えば、衝突)が存在し得るという決定に基づいて関連していてもよい。
【0105】
信号発信コンポーネント430は、警告信号に関連付けられた特性のセットを決定するように構成され得る。様々な例において、特性のセットは、場所、車両402の速度等に基づいて、予め決定されてもよい(例えば、予め決定された周波数、音量、光度、色、動き、形状等)。このような例において、信号発信コンポーネント430は、予め決められた警告信号を発信してもよい。例えば、警告信号は、車両402の速度が時速23マイル未満であるとの決定に基づいて発信される電気自動車の警告音を含んでもよい。信号発信コンポーネント430は、電気自動車の警告音のために指定された、予め定められた周波数および音量を有する警告信号を、1つまたは複数のエミッタ408を介して発信させてもよい。
【0106】
様々な例において、信号発信コンポーネント430は、リアルタイム条件に基づいて等、警告信号に関連付けられた特性のセットを動的に決定し得る。リアルタイム条件は、1つまたは複数の環境要因(例えば、環境100内の騒音レベル、交通量、オブジェクト106の近接等)、気象条件(例えば、雨、雪、あられ、風等)、車両の考慮事項(例えば、速度、車両104内の乗客等)、オブジェクト106に関連付けられたデータ(例えば、オブジェクト属性(例えば、分類、位置(例えば、車両に向かう/動く、車両から離れる/動く等)、車両からの距離、軌道等)、オブジェクトの動き(例えば、歩く、走る、スクーターに乗る、(例えば、速度に基づく等、オブジェクトの軌道によって暗示される特定の活動)、本を読む、電話で話す、電子機器でデータを見る、他の車両と影響し合う、他のオブジェクトと影響し合う(例えば、他の人と話す、ベビーカーの中を見る等)、食べる、飲む、感覚障害者用装置(例えば、杖、補聴器等)の操作、ヘッドホンを聞く、等)等を含み得る。このような例では、信号発信コンポーネント430は、定位コンポーネント420および/または知覚コンポーネント422からのような、環境に関連付けられたデータを受信してもよく、警告信号に関連付けられた特性のセットを動的に決定してもよい。
【0107】
様々な例において、信号発信コンポーネント430は、環境要因の1つまたは複数が未知の環境要因を含むと決定するように構成され得る。未知の環境要因は、車両に近接する歩行者の数が閾値を超える、環境内のノイズレベルが閾値ノイズレベルを超える等、信号発信コンポーネント430が理解するように訓練されていない環境内の状態を含んでもよい。例えば、信号発信コンポーネント430は、車両が歩行者の大群に囲まれていると決定してもよい。様々な例において、信号発信コンポーネント430は、未知の環境要因に基づいて特性のセットを決定してもよい。このような例では、特性のセットは、未知の環境要因に基づくイベント固有の特性のセットを含んでもよい。様々な例において、信号発信コンポーネント430は、未知の環境因子、警告信号に関連付けられた特性のセット、および警告信号に対するオブジェクト反応に関連付けられたデータを反応データベースに格納させ得る。そのような例では、データは、未知の環境因子に対して予想される(所望の)反応に対して最適化するようにシステムを訓練するために利用されてもよい。
【0108】
様々な例において、信号発信コンポーネント430は、警告信号が発信されるべき方向を決定するように構成され得る。いくつかの例では、信号発信コンポーネント430は、警告信号を、車両の周囲のすべての方向等、車両の周囲に発信させてもよい。いくつかの例では、信号発信コンポーネント430は、警告信号を、環境内のオブジェクトに関連付けられた方向に発信させてもよい。例えば、警告信号は、車道に隣接する歩道上の歩行者および/または自転車レーン上の自転車乗りに向けて、車両の右側にあるスピーカーを介して発信されてもよい。様々な例において、信号発信コンポーネント430は、警告信号を、関連するオブジェクト等の特定のオブジェクトに向けて発信させてもよい。そのような例では、警告信号は、特定のオブジェクトに向けられたエミッタ408を介して発信されるようにしてもよい。いくつかの例では、音声警告信号は、ビームステアリングおよび/またはビームフォーミングアレイ技術を利用して、特定のオブジェクトに対して向けられ得る。
【0109】
様々な例において、警告信号コンポーネント428の反応決定コンポーネント432は、警告信号に対するオブジェクト反応を決定するように構成され得る。オブジェクト反応は、オブジェクトの軌道の変化(例えば、速度増加、速度減少、車両から離れる方向等)、オブジェクトの頭部および/または肩の動き、ジェスチャー(例えば、波等)、オブジェクトの足の配置、オブジェクトが保持するアイテムへの位置調整(例えば、電子機器、書籍、雑誌等のアイテムの位置調整)、および/またはオブジェクトが第1の警告信号に反応したことを示す任意の他の動き等が含まれ得る。様々な例において、反応決定コンポーネント432は、知覚コンポーネント422からセンサーデータを受信してもよく、センサーデータに基づいてオブジェクト反応を決定してもよい。他の例では、反応決定コンポーネント432は、知覚コンポーネント422から等、オブジェクト反応の指示を受信してもよい。このような例では、知覚コンポーネント422は、オブジェクト反応を決定するためにセンサーデータを処理してもよい。
【0110】
様々な例において、反応決定コンポーネント432は、検出されたオブジェクト反応を予想反応と比較し得る。様々な例において、反応決定コンポーネント432は、反応データベース436(および/またはコンピューティングデバイス442上の反応データベース456)にアクセスし、予想反応を決定してもよい。そのような例では、予想反応は、オブジェクトに関連付けられたデータおよび/または警告信号に関連する一連の特性に基づいて格納されてもよい。
【0111】
様々な例において、反応決定コンポーネント432は、コンピューティングデバイス442の機械学習コンポーネント434または機械学習コンポーネント454から予想反応を受信し得る。そのような例では、機械学習コンポーネント434および/または454は、オブジェクトおよび/または警告信号に関連付けられた一連の特性に関連するデータを受信し、予想反応を出力するように構成され得る。機械学習コンポーネント434および/または454は、複数の警告信号に対する複数のオブジェクト反応からなる訓練データを利用して訓練された1つまたは複数のモデルを含んでもよい。
【0112】
様々な例において、機械学習コンポーネント434および/または454は、車両の存在をオブジェクトにアラートするための最適な信号を決定するように訓練され得る。最適な信号は、環境要因、気象条件、オブジェクトの活動等、環境に存在する1つまたは複数のリアルタイムの考慮事項に基づいてもよい(上述したように)。最適な信号は、特定のオブジェクトに車両の存在および/または動作をアラートすることに成功する確率が最も高い信号を含み得る。
【0113】
いくつかの例では、機械学習コンポーネント434および/または454は、以前に発信された警告信号、それに対するオブジェクト反応、および/またはそれに関連するリアルタイムの考慮事項を含む訓練データを利用して訓練され得る。そのような例では、機械学習コンポーネント434および/または454は、リアルタイムの考慮事項を含む入力を受信するように構成されてもよく、最適な警告信号(例えば、最適な警告信号に関連する特性)および/またはそれに対する予想反応を出力し得る。様々な例において、訓練データは、オブジェクトを車両402から遠ざけるおよび/または邪魔にならないようにさせることに成功した、以前に発信された信号および関連付けられた反応および/またはリアルタイムの考慮事項を含んでもよい。そのような例では、特定のオブジェクトにアラートするために機械学習コンポーネント434および/または454によって出力された最適な信号は、特定のオブジェクトと同様の属性を有する別のオブジェクトが予想反応(例えば、車両経路から外れない、車両経路から移動する、車両402の存在を認める等)に従って反応する結果となった信号を含んでもよい。
【0114】
オブジェクト反応と予想反応との比較に基づいて、反応決定コンポーネント432は、オブジェクト反応が予想反応と実質的に一致するかどうかを決定するように構成され得る。いくつかの例では、オブジェクト反応と予想反応とが閾値数の動作(例えば、特徴)を共有するという決定に基づいて、オブジェクト反応が予想反応と実質的に一致し得る。動作の閾値数は、1つまたは複数の動作であってよい。いくつかの例では、アクションの閾値数は、シナリオ(例えば、緊急性、オブジェクトの分類、車両速度等)に基づいて動的に決定されてもよい。例えば、交差する関連付けられたオブジェクトに対する緊急警告信号は、オブジェクト反応が予想反応と実質的に一致すると決定するために3つのマッチング動作の閾値を含んでもよく、一方、歩道上に位置する静止したオブジェクトに向けられた非緊急警告信号は、実質的に一致すると決定するために1つのマッチング動作を含んでもよい。
【0115】
いくつかの例では、オブジェクト反応は、オブジェクト反応と予想反応との間で動作の閾値割合が一致するという決定に基づいて、予想反応に実質的に一致し得る。上記の例を続けると、交差する関連付けられたオブジェクトへの緊急警告信号は、90%の一致を含み、一方、非緊急警告信号は、50%の一致を含み得る。
【0116】
オブジェクト反応が予想反応と実質的に一致するという決定に応答して、反応決定コンポーネント432は、オブジェクトが車両402の存在および/または動作に対してアラートされたと決定し様々な例において、実質的に一致するという決定に基づいて、反応決定コンポーネント432は、警告信号とオブジェクト反応に関連付けられたデータを反応データベース436および/または反応データベース456に格納させ得る。いくつかの例では、実質的な一致の決定に基づいて、反応決定コンポーネント432は、機械学習コンポーネント434および/または454を訓練し、関連する予想反応を出力するように、オブジェクト反応および警告信号に関連付けられたデータを機械学習コンポーネント434および/または454に提供し得る。得る。
【0117】
オブジェクト反応が予想反応と実質的に一致しないという決定に応答して、反応決定コンポーネント432は、警告信号に関連付けられた特性のセットを修正し得る。様々な例において、反応決定コンポーネント432は、第2の(修正された)警告信号を発信させるようにし得る。第2の(修正された)警告信号は、第2の特性のセットを含んでもよい。第2の(修正された)警告信号は、第1の警告信号と同じまたは異なる様式の信号を含んでもよい。いくつかの例では、反応決定コンポーネント432は、警告信号の周波数、音量、輝度、色、動き、および/または形状のうちの1つまたは複数を修正して、第2の(修正された)警告信号を生成してもよい。反応決定コンポーネント432は、車両402の存在および/または動作をオブジェクトにアラートするための最新の試みで、第2の(修正された)警告信号を1つまたは複数のエミッタ408を介して発信させてもよい。
【0118】
様々な例において、反応決定コンポーネント432は、オブジェクト反応が予測される反応に実質的に一致するまで、警告信号に関連付けられた特性のセットを修正し続け得る。いくつかの例では、反応決定コンポーネント432は、車両402に対するオブジェクトの関連性の決定に基づいて、特性のセットを修正してよい。このような例では、反応決定コンポーネント432は、上述した技術を利用する等して、オブジェクトの関連性を決定するように構成され得る。様々な例において、反応決定コンポーネント432は、修正信号を生成する、および/または修正信号を発信させる前に、オブジェクトが関連するかどうかを決定してもよい。
【0119】
様々な例において、反応決定コンポーネント432は、関連するオブジェクトが遮断オブジェクトであると決定し得る。図3に関して上述したように、遮断オブジェクトは、車両402の経路を少なくとも部分的に遮断する場所にあり得る。いくつかの例では、関連するオブジェクトが遮断オブジェクトであると決定することに応答して、反応決定コンポーネント432は、遮断オブジェクトの表示をオブジェクト経路決定コンポーネント438に送信し得る。様々な例において、オブジェクト経路決定コンポーネント438は、道路上の領域が、遮断オブジェクトが車両402の邪魔にならないように移動し得る明確なものであるかどうかを決定するよう構成され得る。
【0120】
上述したように、領域は、車両経路、車両に関連付けられた車線、および/または隣接する車線にない場所を含んでもよい。いくつかの例では、領域は、車両402および/または車両402と同じ方向(同じ車線または同じ道路上)に走行する他の車両/オブジェクトの進行をもはや妨げないため、遮断オブジェクトが移動し得る場所を含んでもよい。いくつかの例では、領域は、視界経路が他のオブジェクトによって遮られることに基づく等、遮断オブジェクトのオペレータが見ることができない可能性がある場所を含んでもよい。
【0121】
様々な例において、オブジェクト経路決定コンポーネント438は、遮断オブジェクトが車両の邪魔にならないように移動し得るクリア領域の指示を信号発信コンポーネント430に送信し得る。いくつかの例では、信号発信コンポーネント430は、エミッタ408を介して経路信号を発信させ得る。経路信号は、遮断オブジェクトが移動し得るクリア領域、そこへの経路、および/または追加情報の表示を含んでもよい。様々な例において、経路信号は、領域への経路が明確であることをオペレータに示すための特性(例えば、周波数、音量、輝度、色、動き、形状等)を含んでもよい。例えば、経路案内信号は、クリア領域に関連付けられた車線等、車道の表面に投影される緑色の矢印を含んでもよい。別の例として、経路指示信号は、進入照明装置のように、進入可能区域につながる一連の連続した点滅光として見えるように道路の表面に投影されてもよい。
【0122】
いくつかの例では、反応決定コンポーネント432は、オペレータの反応が予想反応に一致するかどうかを決定するように構成され得る。そのような例では、予想反応は、遮断オブジェクトのオペレータが経路信号に従うこと(例えば、領域に向かって移動すること、車両経路から外れること)を含んでもよい。いくつかの例では、オペレータの反応が予想反応と実質的に一致、および/またはオブジェクトが車両402に無関係であるという決定に基づいて、反応決定コンポーネント432は、信号発信コンポーネント430および/またはエミッタ408に、経路信号の発信を停止する指示を送ってもよい。
【0123】
理解できるように、本明細書で論じられるコンポーネント(例えば、定位コンポーネント420、知覚コンポーネント422、計画コンポーネント424、1つまたは複数のシステムコントローラ426、信号発信コンポーネント430を含む警告信号コンポーネント428、反応決定コンポーネント432、機械学習コンポーネント434、反応データベース436、およびオブジェクト経路決定コンポーネント438は例示目的で分割されて記載されている。しかし、様々なコンポーネントによって実行されるオペレーションは、他の任意のコンポーネントにおいて組み合わされ、または実行されてもよい。
【0124】
いくつかの例において、本明細書で論じられるコンポーネントのいくつかまたはすべての態様は、任意のモデル、技術、および/または機械学習技術を含んでもよい。例えば、いくつかの例では、メモリ418(および後述するメモリ440)内のコンポーネントは、ニューラルネットワークとして実装されてもよい。本明細書で述べられるように、例示的なニューラルネットワークは、一連の接続された層に入力データを通過させて出力を生成する生物学的にインスパイアされた技術である。ニューラルネットワークの各層はまた、別のニューラルネットワークを構成してもよく、または任意の数の層(畳み込み型か否かにかかわらず)を構成してもよい。本開示のコンテキストで理解され得るように、ニューラルネットワークは、機械学習を利用してもよく、これは、訓練されたパラメータに基づいて出力が生成される、そのような技術の広いクラスを指し得る。
【0125】
いくつかの例では、車両コンピューティングデバイス404は、機械学習技術を利用して、車両402から発信されるべき警告信号の1つまたは複数の特性(例えば、周波数、音量、輝度、色、形状、動き等)を決定し得る。いくつかの例では、1つまたは複数のデータモデルが、環境における1つまたは複数の条件に基づいて警告信号の特性を決定するように訓練され得る。条件は、環境要因(例えば、環境内の騒音レベル、交通量、オブジェクトの近接等)、気象条件(例えば、雨、雪、雹、風等)、オブジェクトに関連付けられたデータ(例えば、オブジェクト属性(例えば、分類、位置(例えば、車両に向かう/動く、車両から離れる/動く等)、車両からの距離、軌道等)、オブジェクト動き(例えば、歩く、走る、スクーターに乗る、(例えば、速度に基づく等、オブジェクトの軌道によって暗示される特定の動き)、本を読む、電話で話す、電子機器でデータを見る、他の車両と影響し合う、他のオブジェクトと影響し合う(例えば、他の人と話す、ベビーカーの中を見る等)、食べる、飲む、感覚障害者用装置(例えば、杖、補聴器等)の操作、ヘッドホンを聞く等)等を含み得る。様々な例において、データモデルは、環境に存在する条件に少なくとも部分的に基づいて警告信号の特性を出力するように訓練され得る。
【0126】
ニューラルネットワークのコンテキストで論じられているが、本開示と一致する任意のタイプの機械学習が使用され得る。例えば、機械学習技術は、回帰技術(例えば、通常の最小二乗回帰(OLSR)、線形回帰、ロジスティック回帰、ステップワイズ回帰、多変量適応回帰スプライン(MARS)、局所的に重み付けされた散布図平滑化(LOESS))、インスタンスベースの技術(例えば、リッジ回帰、最小絶対縮退選択演算子(LASSO)、弾性ネット、最小角回帰(LARS))、決定木技術(例えば、分類回帰木(CART)、反復二分木3(ID3)、カイ二乗自動相互作用検出(CHAID)、決定スタンプ、条件付き決定木)、ベイジアン技術(例えば、ナイーブベイズ、ガウスナイーブベイズ、多項ナイーブベイズ、平均一従属性分類器(AODE)、ベイジアンビリーフネットワーク(BNN)、ベイジアンネットワーク)、クラスタリング技術(例えば、k-means、k-medians、期待値最大化(EM)、階層型クラスタリング)、相関ルール学習技術(例えば、パーセプトロン、バックプロパゲーション、ホップフィールドネットワーク、Radial Basis Function Network(RBFN))、深層学習技術(Deep Boltzmann Machine(DBM)、Deep Belief Networks(DBN)、畳み込みニューラルネットワーク(CNN)、Stacked Auto-Encoders)、次元削減技術(例えば、主成分分析(PCA)、主成分回帰(PCR)、部分最小二乗回帰(PLSR)、サモンマッピング、多次元尺度法(MDS)、Projection Pursuit、線形判別分析(LDA)、混合判別分析(MDA)、二次判別分析(QDA)、フレキシブル判別分析(FDA))、アンサンブル技術(例えば、Boosting、Bootstrapped Aggregation(Bagging)、AdaBoost、Stacked Generalization(Blending)、Gradient Boosting Machines(GBM)、Gradient Boosted Regression Trees(GBRT)、Random Forest)、SVM(Support Vector Machine)、教師あり学習、教師なし学習、半教師あり学習、等を含み得るが、これらに限定はされない。アーキテクチャの追加例は、ResNet50、ResNet101、VGG、DenseNet、PointNet等のニューラルネットワークを含む。
【0127】
少なくとも1つの例では、センサーシステム406は、ライダーセンサー、レーダーセンサー、超音波トランスデューサ、ソナーセンサー、位置センサー(例えば、GPS、コンパス等)、慣性センサー(例えば、慣性測定ユニット(IMU)、加速度計、磁気計、ジャイロスコープ等)、カメラ(例えば、RGB、IR、強度、深度、time of flight等)、マイクロフォン、ホイールエンコーダ、環境センサー(例えば、温度センサー、湿度センサー、光センサー、圧力センサー等)、等を含み得る。センサーシステム406は、これらのセンサーまたは他の種類のセンサーのそれぞれの多様な例を含んでもよい。例えば、ライダーセンサーは、車両402の角部、前面、背面、側面、および/または上部に配置された個々のライダーセンサーを含んでもよい。別の例として、カメラセンサーは、車両402の外装および/または内装に関する様々な場所に配置された多様なカメラを含んでもよい。センサーシステム406は、車両コンピューティングデバイス404に入力を提供してもよい。追加的または代替的に、センサーシステム406は、1つまたは複数のネットワーク444を介して、特定の頻度で、所定期間の経過後に、ほぼリアルタイムで、1つまたは複数のコンピューティングデバイス442にセンサーデータを送信してもよい。
【0128】
車両402は、上述のように、光および/または音を発信するための1つまたは複数のエミッタ408を含み得る。本例におけるエミッタ408は、車両402の乗客と通信するための内部音声エミッタおよび映像エミッタを含む。例示であって限定するものではないが、内部エミッタは、スピーカー、ライト、サイン、ディスプレイスクリーン、タッチスクリーン、触覚エミッタ(例えば、振動および/またはフォースフィードバック)、機械アクチュエータ(例えば、シートベルトテンショナー、シートポジショナー、ヘッドレストポジショナー等)等を含み得る。また、本例におけるエミッタ408は、外部エミッタを含む。例示であって限定するものではないが、本例における外部エミッタは、警告信号として、および/またはオブジェクトおよび/または車両402の進行方向を知らせるために、および/または車両動作の他の指標として発信されるライト(例えば、表示灯、看板、ライトアレイ等)、および歩行者または他の近くの車両と聴覚的に通信するための1つまたは複数の音声エミッタ(例えば、スピーカー、スピーカーアレイ、ホーン等)、その1つまたは複数の音響ビーム操縦技術を有するものを含む。
【0129】
車両402は、車両402と1つまたは複数の他のローカルまたはリモートコンピューティングデバイス442との間の通信を可能にする通信接続部410を含み得る。例えば、通信接続部410は、車両402および/または駆動システム414上の他のローカルコンピューティングデバイスとの通信を促進してもよい。また、通信接続部410は、車両が、センサーデータを受信するために、他の近くのコンピューティングデバイス(例えば、コンピューティングデバイス442、他の近くの車両等)および/または1つまたは複数のリモートセンサーシステム446と通信することを与えてもよい。
【0130】
通信接続部410は、車両コンピューティングデバイス404を別のコンピューティングデバイスまたはネットワーク444等のネットワークに接続するための物理的および/または論理的インターフェースを含み得る。例えば、通信接続部410は、IEEE802.11規格によって定義された周波数を介したようなWi-Fiベースの通信、Bluetoothのような短距離無線周波数、セルラー通信(例えば、2G、3G、4G、4G LTE、5G等)またはそれぞれのコンピューティングデバイスが他のコンピューティングデバイスとインターフェースすることを可能にする任意の適切な有線または無線通信プロトコルを可能にすることができる。
【0131】
少なくとも1つの例では、車両402は、1つまたは複数の駆動システム414を含み得る。いくつかの例では、車両402は、単一の駆動システム414を有していてもよい。少なくとも1つの例では、車両402が多様な駆動システムを有する場合、個々の駆動システム414は、車両402の対向する端部(例えば、前部と後部等)に配置され得る。少なくとも1つの例では、駆動システム414は、駆動システム414および/または車両402の周囲の状態を検出するための1つまたは複数のセンサーシステムを含んでもよい。限定ではなく例として、センサーシステムは、駆動システムの車輪の回転を感知するための1つまたは複数のホイールエンコーダ(例えば、ロータリーエンコーダ)、駆動システムの向きおよび加速度を測定するための慣性センサー(例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁気計等)、カメラまたは他の画像センサー、駆動システムの周囲にあるオブジェクトを音響的に検出する超音波センサー、ライダーセンサー、レーダーセンサー等を含んでもよい。ホイールエンコーダのようないくつかのセンサーは、駆動システム414に固有のものであってよい。場合によっては、駆動システム414上のセンサーシステムは、車両402の対応するシステム(例えば、センサーシステム406)と重畳、または補足し得る。
【0132】
駆動システム414は、高電圧バッテリ、車両を推進するモータ、バッテリからの直流を他の車両システムで使用するための交流に変換するインバータ、ステアリングモータおよびステアリングラック(これは電気であり得る)を含むステアリングシステム、油圧または電気アクチュエータを含むブレーキシステム、油圧および/または空気圧部品を含むサスペンションシステム、ブレーキ力を分配してトラクションの損失を緩和し制御性を保つための安定制御システム、HVACシステム、照明(例えば、ヘッド/テールランプ、車両の外装周辺を明るくする照明)、および1つまたは複数の他のシステム(例えば、冷却システム、安全システム、車載充電システム、DC/DCコンバータ、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポート等)を含み得る。さらに、駆動システム414は、センサーシステム406からデータを受信して前処理し、様々な車両システムの動作を制御するための駆動システムコントローラを含んでもよい。いくつかの例では、駆動システムコントローラは、1つまたは複数のプロセッサと、1つまたは複数のプロセッサと通信可能に結合されたメモリとを含んでもよい。メモリ418は、駆動システム414の様々な機能を実行するための1つまたは複数のモジュールを格納してもよい。さらに、駆動システム414は、それぞれの駆動システムによる1つまたは複数の他のローカルまたはリモートコンピューティングデバイス442との通信を可能にする1つまたは複数の通信接続部を含み得る。
【0133】
少なくとも1つの例では、直接接続部412は、1つまたは複数の駆動システム414を車両402のボディと結合するための物理的インターフェースを提供し得る。例えば、直接接続部412は、駆動システム414と車両との間のエネルギー、流体、空気、データ等の伝達を与え得る。いくつかの例では、さらに、直接接続部412は、駆動システム414を車両402の車体に解放可能に固定し得る。
【0134】
少なくとも1つの例では、定位コンポーネント420、知覚コンポーネント422、計画コンポーネント424、1つまたは複数のシステムコントローラ426、および警告信号コンポーネント428、およびその様々なコンポーネントは、上述のように、センサーデータを処理してもよく、1つまたは複数のネットワーク444を介して、それぞれの出力をコンピューティングデバイス442に送信してもよい。少なくとも1つの例では、定位コンポーネント420、知覚コンポーネント422、計画コンポーネント424、1つまたは複数のシステムコントローラ426、および警告信号コンポーネント428は、特定の頻度で、所定期間の経過後に、ほぼリアルタイムで、コンピューティングデバイス442にそれぞれの出力を送信し得る。
【0135】
いくつかの例では、車両402は、ネットワーク444を介してコンピューティングデバイス442にセンサーデータを送信し得る。いくつかの例では、車両402は、ネットワーク444を介してコンピューティングデバイス442および/または1つまたは複数のリモートセンサーシステム446からセンサーデータを受信してもよい。センサーデータは、生のセンサーデータおよび/または処理されたセンサーデータおよび/またはセンサーデータの表現を含んでもよい。いくつかの例では、センサーデータ(生または処理済み)は、1つまたは複数のログファイルとして送信および/または受信されてもよい。
【0136】
コンピューティングデバイス442は、プロセッサ448と、マップコンポーネント450、センサーデータ処理コンポーネント452、機械学習コンポーネント454、および(上述のように)反応データベース456を格納するメモリ440を含み得る。いくつかの例では、マップコンポーネント450は、様々な解像度のマップを生成する機能を含んでもよい。そのような例では、マップコンポーネント450は、ナビゲーションのために1つまたは複数のマップを車両コンピューティングデバイス404に送信し得る。様々な例において、センサーデータ処理コンポーネント452は、センサーシステム406および/またはリモートセンサーシステム446等の1つまたは複数のリモートセンサーからデータを受信するように構成され得る。いくつかの例では、センサーデータ処理コンポーネント452は、データを処理し、警告信号コンポーネント428による使用のため等、処理されたセンサーデータを車両コンピューティングデバイス404に送信するように構成され得る。いくつかの例では、センサーデータ処理コンポーネント452は、生のセンサーデータを車両コンピューティングデバイス404に送信するように構成されてもよい。
【0137】
車両402のプロセッサ416およびコンピューティングデバイス442のプロセッサ448は、本明細書に記載されるように、データを処理し動作を実行する命令を実行できる任意の適切なプロセッサであり得る。限定ではなく例として、プロセッサ416および448は、1つまたは複数の中央処理装置(CPU)、グラフィック処理装置(GPU)、または電子データを処理してその電子データをレジスタおよび/またはメモリに格納できる他の電子データに変換する装置の他の任意の装置または部分から構成されてもよい。いくつかの例では、集積回路(例えば、ASIC等)、ゲートアレイ(例えば、FPGA等)、および他のハードウェアデバイスも、それらが符号化された命令を実装するように構成される限り、プロセッサと見なされてよい。
【0138】
メモリ418および440は、非一時的コンピュータ可読媒体の例である。メモリ418および440は、本明細書に記載される方法および様々なシステムに帰属する機能を実装するために、オペレーティングシステムおよび1つまたは複数のソフトウェアアプリケーション、命令、プログラム、および/またはデータを格納し得る。様々な実装において、メモリは、静的ランダムアクセスメモリ(SRAM)、同期ダイナミックRAM(SDRAM)、不揮発性/フラッシュメモリ、または情報を格納できる他の任意のタイプのメモリ等、任意の適切なメモリ技術を使用して実装され得る。本明細書で述べられるアーキテクチャ、システム、および個々の要素は、他の多くの論理的、プログラム的、および物理的コンポーネントを含んでもよく、そのうち添付の図に示すものは、本明細書の議論に関連する単なる例示に過ぎない。
【0139】
いくつかの例では、メモリ418および440は、少なくとも作業メモリと記憶メモリとを含んでもよい。例えば、作業メモリは、プロセッサ416および448によって操作されるデータを格納するために使用される、容量が限られた高速メモリ(例えば、キャッシュメモリ)であり得る。いくつかの例では、メモリ418および440は、データの長期保存のために使用される比較的大きな容量の低速メモリであり得るストレージメモリを含んでもよい。場合によっては、プロセッサ416および448は、ストレージメモリに格納されているデータに対して直接的に動作することができず、データは、本明細書で論じられるように、データに基づいて動作を実行するための作業メモリにロードされる必要がある場合がある。
【0140】
図4は分散システムとして図示されているが、代替例では、車両402のコンポーネントがコンピューティングデバイス442に関連付けられ、および/またはコンピューティングデバイス442のコンポーネントが車両402に関連付けられ得ることに注意されるべきである。すなわち、車両402は、コンピューティングデバイス442に関連付けられた機能のうちの1つまたは複数を実行してもよく、その逆もまた然りである。
【0141】
図5-7は、本開示の実施形態による例示的なプロセスを示している。これらのプロセスは、論理フローグラフとして図示されており、その各動作は、ハードウェア、ソフトウェア、またはそれらの組み合わせで実装され得る動作のシーケンスを表す。ソフトウェアのコンテキストでは、動作は、1つまたは複数のプロセッサによって実行されると、言及された動作を実行する、1つまたは複数のコンピュータ可読記憶媒体に格納されたコンピュータ実行可能命令を表す。一般に、コンピュータ実行可能命令は、特定の機能を実行する、または特定の抽象的なデータタイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む。動作の説明順序は、限定として解釈されることを意図しておらず、説明された動作の任意の数は、処理を実行するために任意の順序で、および/または並行し、組み合わされてもよい。
【0142】
図5は、車両とオブジェクトとの間の潜在的なコンフリクトについてオブジェクトに警告するために異なる信号を発信するための例示的なプロセス500を示している。例えば、プロセス500の一部または全部は、本明細書で述べられるように、図4における1つまたは複数のコンポーネントによって実行され得る。例えば、プロセス500の一部または全部は、車両コンピューティングデバイス404によって実行されてよい。
【0143】
動作502において、プロセスは、センサーデータに少なくとも部分的に基づいて、車両の環境におけるオブジェクトを検出することを含み得る。センサーデータは、車両の1つまたは複数のセンサーおよび/または環境に搭載されたセンサーまたは他の車両に搭載されたセンサー等の1つまたは複数のリモートセンサーから受信されたデータを含み得る。様々な例において、車両の車両コンピューティングシステムは、オブジェクトに関連付けられた分類(例えば、タイプ)を決定するように構成されてもよい。
【0144】
動作504において、プロセスは、オブジェクトを検出することに少なくとも部分的に基づいて、第1の警告信号を発信することを含み得る。様々な例において、第1の警告信号は、オブジェクトの関連性の決定に基づいて発信せられ得る。そのような例では、車両コンピューティングシステムは、オブジェクトが車両に関連しているかどうかを決定するように構成されてもよい。様々な例において、オブジェクトの関連性は、上記参照により本明細書に組み込まれる米国出願特許16/389720号、16/417260号、および16/530515号に記載される技術を利用して決定されてもよい。
【0145】
いくつかの例では、オブジェクトの関連性は、オブジェクトと車両が動作する走行可能な表面(例えば、車道、車両が動作する車線等)との間の距離に基づいて決定され得る。このような例では、オブジェクトは、距離が閾値距離(例えば、23インチ、5フィート、5メートル等)と等しい、またはそれ以下であることに基づいて、関連性があると決定され得る。様々な例において、閾値距離は、オブジェクトおよび/またはオブジェクトの動きに関連付けられた分類に基づいて決定されてもよい。例えば、歩行中の歩行者に関連付けられた第1の閾値距離は2メートルであってもよく、走っている歩行者に関連付けられた第2の閾値距離は3メートルであってよい。
【0146】
様々な例において、オブジェクトは、それに関連付けられたオブジェクトの軌道に基づいて、関連性があると決定され得る。そのような例では、車両コンピューティングシステムは、センサーデータに基づく等して、予測されたオブジェクトの軌道(例えば、オブジェクトの軌道)を決定するように構成されてもよい。上述したように、オブジェクトの軌道は、参照により上記本明細書に組み込まれた米国出願特許16/151607号、16/504147号、および15/807521号に記載された技術に従って決定されてもよい。
【0147】
様々な例において、オブジェクトは、オブジェクトの軌道と車両の軌道との間の交差点に基づいて、車両に関連性があると決定され得る。いくつかの例では、オブジェクトは、それぞれの軌道上のオブジェクトおよび車両の予測された場所に基づいて関連性があるとされ得る。いくつかの例では、オブジェクトは、オブジェクトの軌道上を走行するオブジェクトに関連付けられた予測された将来のオブジェクトの場所が、車両の軌道上を走行する車両に関連付けられた予測された将来の車両の場所から閾値距離(例えば、3フィート、9フィート、1.5メートル、3.3メートル等)内にあるという決定に基づいて、車両と関連性を有し得る。
【0148】
様々な例において、第1の警告信号は、音声信号および/または視覚的な信号を含み得る。第1の警告信号は、周波数、音量、輝度、色、形状、動き等の特性の第1のセットを含んでもよい。いくつかの例では、特性の第1のセットは、特性の予め決定されたセットを含んでもよい。そのような例では、第1の警告信号は、車両の存在および/または動作についてオブジェクトにアラートすることに関連するベースライン警告信号を含み得る。様々な例において、特性の第1のセットは、環境に関連付けられた1つまたは複数のリアルタイム条件に基づいて等、動的に決定され得る。リアルタイム条件は、オブジェクトに関連付けられたデータ(例えば、オブジェクト属性(例えば、分類、位置(例えば、車両に向かう/動く、車両から離れる/向く等)、車両からの距離、軌道等)、オブジェクトの動き(例えば、歩く、走る、スクーターに乗る、(例えば、速度に基づく等、オブジェクトの軌道によって暗示される特定の動き)、本を読む、電話で話す、電子機器でデータを見る、他の車両と影響し合う、他のオブジェクトと影響し合う(例えば、他の人と話す、ベビーカーの中を見る等)食べる、飲む、感覚障害者用装置(例えば、杖、補聴器等)の操作、ヘッドホンを聞く、等)、環境要因(環境中の騒音レベル、交通量、道路状況等)、気象条件(雨、雪、あられ、風等)、車両に関する考慮事項(速度、車両内の乗客等)等を含み得る。
【0149】
様々な例において、第1の警告信号は、オブジェクトに関連付けられた方向に発信され得る。例えば、車両コンピューティングシステムは、オブジェクトに実質的に面するエミッタを介して第1の警告信号を発信させ得る。いくつかの例では、第1の警告信号は、ビーム形式のアレイのように、オブジェクトに向けられ得る。
【0150】
動作506において、プロセスは、オブジェクトが(第1の)警告信号に対する予想反応に従って反応し、オブジェクトが車両との関連性を維持するかどうかを決定することを含み得る。様々な例において、車両コンピューティングシステムは、オブジェクトが予想反応に従って反応するかどうかを決定する前に、またはそれと同時に、オブジェクトの車両に対する関連性を検証してもよい。
【0151】
様々な例において、車両コンピューティングシステムは、センサーデータに基づいて、第1の警告信号に対するオブジェクト反応を決定するように構成され得る。いくつかの例では、反応は、オブジェクトの軌道の変化(例えば、速度増加、速度減少、車両から離れる方向等)、オブジェクトの頭部および/または肩の動き、ジェスチャー(例えば、波等)、オブジェクトの足の配置、オブジェクトが保持するアイテムに対する位置調整(例えば、電子機器、書籍、雑誌、または他のアイテムの位置調整)、および/またはオブジェクトが第1の警告信号に反応することを示す他の任意の動きを含み得る。
【0152】
様々な例において、車両コンピューティングシステムは、オブジェクト反応を第1の警告信号に関連づけられた予想反応と比較し得る。様々な例において、車両コンピューティングシステムは、第1の警告信号の1つまたは複数の特性(例えば、音量、周波数、輝度、色、形状、動き等)および/またはオブジェクトに関連付けられたデータ(例えば、オブジェクト属性(例えば、分類、位置(例えば、車両に向かう/動く、車両から離れる/動く等)、車両からの距離、軌道等)、オブジェクトの動き(例えば、歩く、走る、スクーターに乗る、(例えば、速度に基づく等、オブジェクトの軌道によって暗示される特定の動き)、本を読む、電話で話す、電子機器でデータを見る、他の車両と影響し合う、他のオブジェクトと影響し合う(例えば、他の人と話す、ベビーカーの中を見る等)、食べる、飲む、感覚障害者用装置(例えば、杖、補聴器等)の操作、ヘッドホンを聞く、等)を含み得る。いくつかの例では、車両コンピューティングシステムは、第1の警告信号に関連付けられた予想反応を決定するために、予想反応のデータベースにアクセスしてもよい。そのような例では、データベース内の予想反応は、少なくとも部分的に、オブジェクトおよび/または第1の警告信号の特性に関連付けられたデータに基づいて格納され得る。様々な例において、車両コンピューティングシステムは、機械学習技術を利用して予想反応を決定してもよい。そのような例では、複数の警告信号およびそれに対する検出された反応を含む訓練データを利用して、モデルが訓練され得る。
【0153】
オブジェクト反応と予想反応との比較に基づいて、車両コンピューティングシステムは、オブジェクトが予想反応に従って反応するかどうか(例えば、オブジェクト反応と予想反応との間に実質的な一致が存在するかどうか)を決定してもよい。)
【0154】
オブジェクトが予想反応に従って反応するという決定(例えば、506で「Yes」)に基づき、動作508においてプロセスは、オブジェクト反応を反応データベースに格納することを含み得る。いくつかの例では、反応データベースは、第1の警告信号に対する反応の信頼性を高めるため、機械学習モデルを訓練するため等、将来のオブジェクト反応の比較のために使用されてもよい。様々な例において、第1の警告信号、オブジェクト反応、および/または環境に関連付けられたリアルタイムの考慮事項に関連するデータは、オブジェクトに通知する(例えば、アラートする)ための最適な信号を選択するための機械学習モデルを訓練するために使用されてもよい。
【0155】
オブジェクトが予想反応に従って反応しない(例えば、506で「No」)という決定に基づいて、動作510においてプロセスは、オブジェクト反応に少なくとも部分的に基づいて、第2の警告信号を発信することを含み得る。いくつかの例では、第2の信号は、第1の警告信号に対する修正を含んでもよい。そのような例では、第2の信号は、第1の警告信号と比較して、異なる周波数、音量、輝度、色、形状、動き等を有する信号を含み得る。
【0156】
いくつかの例では、車両コンピューティングシステムは、周波数、音量、輝度、色、形状、動き等に対する予め決められた修正に基づいて、第2の特性のセットを決定し得る。例えば、後続の警告信号は、第1の警告信号が50デシベルで発信せられる音声信号、第2の警告信号が60デシベルで発信される音声信号、といったように、音量の増加を含んでもよい。様々な例において、車両コンピューティングシステムは、1つまたは複数のリアルタイム条件に基づいて、第2の特性セットを決定してもよい。上述したように、リアルタイム条件は、環境要因、気象条件、車両に関する考慮事項、オブジェクトに関連付けられたデータ等を含んでもよい。
【0157】
様々な例において、第2の警告信号は、オブジェクトに関連付けられた方向に発信されてもよい。例えば、車両コンピューティングシステムは、第2の警告信号を、実質的にオブジェクトに面するエミッタを介して発信させ得る。いくつかの例では、第2の警告信号は、ビーム形式のアレイ等、オブジェクトに向けられ得る。
【0158】
様々な例において、車両コンピューティングシステムは、オブジェクトが予想反応に従って反応しないという決定(動作510で「No」)に基づき、第1の警告信号、オブジェクト反応、および/またはリアルタイムの考慮事項に関連付けられたデータを格納し得る。いくつかの例では、データは、与えられたシナリオのために最適化された信号を決定する等、異なる警告信号の相対的な有効性を比較するために利用されてもよい。
【0159】
第2の警告信号の発信後、プロセスは、動作506で例示されるような、オブジェクトが警告信号に対して予想反応に従って反応し、オブジェクトが車両に関連性を維持しているかどうかを再び決定することを含み得る。様々な例において、車両コンピューティングシステムは、車両コンピューティングシステムが、オブジェクトが予想反応に従って反応すると決定する、またはオブジェクトが車両に無関係であると決定するまで、警告信号を連続的に修正(例えば、反復的に修正)し得る。いくつかの例では、車両コンピューティングシステムは、警告信号に関連付けられた特性のセットが最大音量、周波数、および/または光度を含むまで、警告信号を予め決められた回数だけ修正してもよい。いくつかの例では、車両コンピューティングシステムは、オブジェクトが車両にもはや関連しなくなるまで、最後に修正された警告信号を発信させてもよい。いくつかの例では、車両コンピューティングシステムは、最後に修正された警告信号を予め決められた時間(例えば、30秒、2分等)だけ発信させるようにしてもよい。
【0160】
図6は、車両の場所と車両に関連付けられたオブジェクトの検出に少なくとも部分的に基づいて、警告信号を発信するための例示的なプロセス600を示す図である。例えば、プロセス600の一部または全部は、本明細書で述べられるように、図4における1つまたは複数のコンポーネントによって実行されてもよい。例えば、プロセス600の一部または全部は、車両コンピューティングデバイス404によって実行され得る。
【0161】
動作602において、プロセスは、環境における車両の速度および/または場所を決定することを含み得る。様々な例において、車両コンピューティングシステムは、車両の1つまたは複数のセンサーによって提供されるデータに基づいて、車両の速度および/または場所を決定し得る。
【0162】
動作604において、プロセスは、速度および/または場所が警告信号の発信と関連しているかどうかを決定することを含み得る。様々な例において、車両の速度は、警告信号の発信と関連していてもよい。そのような例では、車両の速度が閾値速度未満であることに基づいて、車両コンピューティングシステムは、車両に警告信号を発信させ得る。
【0163】
様々な例において、車両の場所は、警告信号の発信と関連付けられ得る。様々な例において、場所は、オブジェクトの分類(例えば、歩行者、自転車等)と関連付けられ得る。様々な例において、場所は、スクールゾーン、遊び場の近接、繁華街、ビジネス街、建設地帯、人気のあるサイクリングルート等と関連付けられ得る。
【0164】
様々な例において、場所は、一日の時間、曜日、日付(例えば、休日、季節等)に基づくオブジェクト、領域等の分類と関連付けられ得る。このような例では、車両コンピューティングシステムは、一日の時間、曜日、日付等を決定し、場所が警告信号の発信に関連しているかどうかを決定し得る。例えば、車両コンピューティングシステムは、歩行者に関連付けられたスクールゾーンで動作し得る。曜日および/または日付が登校日に関連しているという決定に基づいて、車両コンピューティングシステムは、場所が警告信号の発信に関連していると決定してもよい。
【0165】
場所が速度および/または警告信号の発信に関連づけられた場所と関連しない(動作604で「No」)という決定に基づいて、動作606においてプロセスは、関連付けられたオブジェクトが環境内で検出されたかどうかを決定することを含み得る。
【0166】
上述したように、オブジェクトは、車両の1つまたは複数のセンサーおよび/または1つまたは複数のリモートセンサーから受信されたセンサーデータに基づいて検出されてもよい。様々な例において、車両コンピューティングシステムは、オブジェクトが車両に関連するかどうかを決定してもよい。上述したように、関連性の決定は、オブジェクトと車両との間の距離、オブジェクトと車両経路(例えば、車両経路に関連付けられた走行可能な表面、車線等)との間の距離、1つまたは複数のオブジェクトの軌道、車両の軌道等に基づいてもよい。
【0167】
関連付けられたオブジェクトが領域内で検出されないという決定に基づいて(動作606で「No」)、プロセスは、動作602に関して述べたような、環境内の車両の速度および/または場所を決定することを含み得る。
【0168】
車両の速度および/または場所が警告信号の発信に関連する(動作604で「Yes」)、または関連付けられたオブジェクトが環境内で検出される(動作606で「Yes」)という決定に基づいて、動作608においてプロセスは、速度、場所、および/または関連付けられたオブジェクトに部分的に基づいて、第1の信号(例えば、第1の警告信号)を発信することを含み得る。第1の信号は、音声および/または視覚的な警告信号を含んでもよい。第1の信号は、第1の特性のセット(例えば、周波数、音量、輝度、色、形状、動き等)を含んでもよい。特性の第1のセットは、1つまたは複数の予め決定された特性および/または1つまたは複数の動的に決定された特性を含んでもよい。予め決定された特性は、速度、場所、および/または関連付けられたオブジェクト(例えば、分類、近接等)に基づいてもよい。動的に決定された特性は、環境における1つまたは複数のリアルタイム条件(例えば、オブジェクトに関連付けられたデータ、環境要因、気象条件、車両に関する考慮事項等)に基づいてもよい。
【0169】
様々な例において、第1の信号は、オブジェクトに関連付けられた方向に発信されてもよい。例えば、車両コンピューティングシステムは、オブジェクトに実質的に面するエミッタを介して、第1の信号を発信させてもよい。いくつかの例では、第1の信号は、ビーム形式のアレイ等によって、オブジェクトに向けられてもよい。
【0170】
動作610において、プロセスは、予想反応に従ってオブジェクトが(第1の信号に対して)反応するかどうかを決定することを含み得る。様々な例において、車両コンピューティングシステムは、センサーデータに基づく等して、オブジェクト反応を決定し得る。オブジェクト反応は、オブジェクトの軌道(例えば、速度増加、速度減少、車両から離れる方向等)の変化(またはその欠如)、オブジェクトの頭部および/または肩の動き、ジェスチャー(例えば、波等)、オブジェクトの足の配置、オブジェクトが保持するアイテムへの位置調整(例えば、電子機器、書籍、雑誌、または他のアイテムの位置調整)、および/またはオブジェクトが第1の信号に反応したことを示す任意の他の動きを含んでよい。
【0171】
車両コンピューティングシステムは、オブジェクト反応を予想反応と比較して、オブジェクトが予想反応に従って反応するかどうかを決定してもよい。いくつかの例では、コンピューティングシステムは、予想反応を決定するために、予想反応のデータベースにアクセスしてもよい。様々な例において、予想反応は、オブジェクトに関連付けられたデータ、第1の信号の特性等に基づいて、データベースに格納されてもよい。いくつかの例では、車両コンピューティングシステムは、機械学習技術を利用して予想反応を決定してもよい。そのような例では、車両コンピューティングシステムは、オブジェクトに関連付けられたデータおよび/または第1信号の特性を、オブジェクトの予想反応を決定するために訓練された機械学習モデルに入力してもよく、予想反応の出力を受信してもよい。
【0172】
上述したように、オブジェクトは、(観察、検出された)オブジェクト反応と予想反応との間の実質的な一致に基づいて、予想反応に従って反応し得る。車両コンピューティングシステムは、オブジェクト反応と予想反応の一致の間の動作(例えば、特徴)の数および/または動作の割合に基づいて、実質的な一致を決定してもよい。
【0173】
オブジェクトが予想反応に従って反応するという決定(動作610で「Yes」)に基づいて、動作612においてプロセスは、オブジェクト反応をデータベース122等の反応データベースに格納することを含み得る。いくつかの例では、データベースは、第1の信号に対するオブジェクト反応の信頼性を高めるため、機械学習モデルを訓練するため等、将来のオブジェクト反応の比較のために使用されてもよい。
【0174】
オブジェクトが予想反応に従って反応しないという決定(動作610で「No」)に基づいて、動作614においてプロセスは、オブジェクトが車両に対する関連性を維持しているかどうかを決定することを含み得る。関連性が続いているという決定は、動作606の説明等で上述した、関連性の決定技術に基づくものであり得る。
【0175】
様々な例において、車両コンピューティングシステムは、オブジェクトが予想反応に従って反応しない(動作610で「No」)という決定に基づいて、第1の信号、オブジェクト反応、および/またはリアルタイムの考慮事項に関連付けられたデータを格納し得る。いくつかの例では、データは、与えられたシナリオのために最適化された信号を決定する等、異なる警告信号の相対的な有効性を比較するために利用されてもよい。
【0176】
オブジェクトが車両に無関係であるという決定(動作614で「No」)に基づいて、動作602においてプロセスは、環境における車両の速度および/または場所を決定することを含み得る。
【0177】
オブジェクトが車両に関連しているという決定(動作614で「Yes」)に基づいて、動作616においてプロセスは、オブジェクト反応に少なくとも部分的に基づいて、第2の信号を発信することを含み得る。第2の信号は、車両の存在および/または動作をオブジェクトにアラートするために発信される音声信号および/または視覚的な信号を含み得る。第2の信号は、第1の信号と同じ様式または異なる様式を含み得る。第2の信号は、第2の特性のセットを含んでもよい。様々な例において、第2の特性のセットは、第1の特性のセットとは異なる1つまたは複数の特性を含み得る。いくつかの例では、車両コンピューティングシステムは、第2の信号(例えば、第2の特性のセット)を生成するために、第1の特性のセットを修正してもよい。
【0178】
様々な例において、第2の信号は、オブジェクトに関連付けられた方向に発信されてもよい。例えば、車両コンピューティングシステムは、第2の信号を、実質的にオブジェクトに面するエミッタを介して発信させてもよい。いくつかの例では、第2の信号は、ビーム形式のアレイ等よって、オブジェクトに向けられてもよい。
【0179】
第2の信号を発信することに少なくとも部分的に基づいて、動作610においてプロセスは、オブジェクトが予想反応に従って(第2の信号に対して)反応するかどうかを決定することを含み得る。様々な例において、車両コンピューティングシステムは、オブジェクトが車両と無関係になる、またはオブジェクトが予想反応に従って反応するまで、発信された信号を修正し続けてもよい。いくつかの例では、車両コンピューティングシステムは、予め決められた回数(例えば、7回、10回等)、信号を修正してもよい。そのような例では、車両コンピューティングシステムは、発信された信号を修正することを停止してもよい。いくつかの例では、車両コンピューティングシステムは、予め決められた期間の間、信号を修正してもよい。そのような例では、車両コンピューティングシステムは、期間が満了した後、信号を修正することを停止してもよい。
【0180】
図7は、オブジェクトが車両経路を遮断しているという決定に基づいて、警告信号または経路信号の少なくとも一方を発信するための例示的なプロセス700を示す図である。例えば、プロセス700の一部または全部は、本明細書で述べられるように、図4における1つまたは複数のコンポーネントによって実行され得る。例えば、プロセス700の一部または全部は、車両コンピューティングデバイス404によって実行され得る。
【0181】
動作702において、プロセスは、環境内のオブジェクトが車両経路を遮断していることを決定することを含み得る。車両コンピューティングシステムは、環境内の車両の1つまたは複数のセンサーおよび/またはリモートセンサーから受信したセンサーデータに基づいて、オブジェクトが遮断オブジェクトであると決定し得る。様々な例において、車両経路は、車両の現在地から目的地までの経路に関連付けられた道路の走行可能な領域を含み得る。いくつかの例では、走行可能な領域は、車両の幅、および/または車両のいずれかの側の緩衝距離(例えば、12センチメートル、6インチ、1フィート等)を含んでもよい。
【0182】
様々な例において、車両コンピューティングシステムは、オブジェクトに関連付けられたオブジェクトの場所が少なくとも部分的に車両経路内にあるという決定に基づいて、オブジェクトが車両経路を遮断していると決定し得る。様々な例において、車両コンピューティングシステムは、車両が車両経路に関連付けられた車線においてオブジェクトの周りを進むことができないという決定に基づいて、オブジェクトが車両経路を遮断していると決定してもよい。
【0183】
動作704において、プロセスは、車両経路を遮断するオブジェクトに基づいて、第1の信号を発信することを含み得る。第1の信号は、音声および/または視覚的な警告信号を含んでもよい。第1の信号は、第1の特性のセット(例えば、周波数、音量、輝度、色、形状、動き等)を含んでもよい。特性の第1のセットは、1つまたは複数の予め決定された特性および/または1つまたは複数の動的に決定された特性を含んでもよい。予め決定された特性は、速度、場所、および/または関連付けられたオブジェクト(例えば、分類、近接等)に基づいてもよい。動的に決定された特性は、環境における1つまたは複数のリアルタイム条件(例えば、オブジェクトに関連付けられたデータ、環境要因、気象条件、車両に関する考慮事項等)に基づいてもよい。
【0184】
様々な例において、第1の信号は、オブジェクトに関連付けられた方向に発信されてもよい。例えば、車両コンピューティングシステムは、オブジェクトに実質的に面するエミッタを介して第1の信号を発信してもよい。いくつかの例では、第1の信号は、ビーム形式のアレイ等によって、オブジェクトに向けられてもよい。
【0185】
動作706において、プロセスは、オブジェクトが予想反応に従って(第1の信号に対して)反応するかどうかを決定することを含み得る。様々な例において、車両コンピューティングシステムは、センサーデータに基づく等して、オブジェクト反応を決定してもよい。オブジェクト反応は、オブジェクトの軌道(例えば、速度増加、速度減少、車両から離れる方向等)の変化(またはその欠如)、オブジェクトの頭部および/または肩の動き、ジェスチャー(例えば、波等)、オブジェクトの足の配置、オブジェクトが保持するアイテムへの位置調整(例えば、電子機器、書籍、雑誌、または他のアイテムの位置調整)、および/または第1の信号に反応したオブジェクトを示す他の任意の動きを含み得る。
【0186】
車両コンピューティングシステムは、オブジェクト反応を予想反応と比較して、オブジェクトが予想反応に従って反応するかどうかを決定してもよい。いくつかの例では、コンピューティングシステムは、予想反応を決定するために、予想反応のデータベースにアクセスしてもよい。様々な例において、予想反応は、オブジェクトに関連付けられたデータ、第1の信号の特性等に基づいてデータベースに格納されてもよい。いくつかの例では、車両コンピューティングシステムは、機械学習技術を利用して、予想反応を決定してもよい。そのような例では、車両コンピューティングシステムは、オブジェクトに関連付けられたデータおよび/または第1の信号の特性を、オブジェクトの予想反応を決定するために訓練された機械学習モデルに入力してもよく、予想反応の出力を受信してもよい。
【0187】
上述したように、オブジェクトは、(観察、検出された)オブジェクト反応と予想反応との間の実質的な一致に基づいて、予想反応に従って反応し得る。車両コンピューティングシステムは、オブジェクト反応と予想反応の一致の間の動作(例えば、特徴)の数、および/または動作の割合に基づいて、実質的な一致を決定してもよい。
【0188】
オブジェクトが予想反応に従って反応しないという決定(動作706で「No」)に基づいて、動作708においてプロセスは、オブジェクトに向かって第2の信号を発信することを含み得る。第2の信号は、音声および/または視覚的な警告信号を含んでもよい。第2の信号は、第2の特性のセット(例えば、周波数、音量、輝度、色、形状、動き等)を含んでもよい。第2の特性のセットは、1つまたは複数の予め決定された特性および/または1つまたは複数の動的に決定された特性を含んでもよい。予め決定された特性は、速度、場所、および/または関連付けられたオブジェクト(例えば、分類、近接等)に基づいてもよい。動的に決定された特性は、環境における1つまたは複数のリアルタイム条件(例えば、オブジェクトに関連付けられたデータ、環境要因、気象条件、車両に関する考慮事項等)に基づいてもよい。
【0189】
様々な例において、第2の信号は、オブジェクトに関連付けられた方向に発信されてもよい。例えば、車両コンピューティングシステムは、オブジェクトに面するエミッタを介して、第2の信号を発信させてよい。いくつかの例では、第2の信号は、ビーム形式のアレイ等によって、オブジェクトに向けられてもよい。
【0190】
オブジェクトが予想反応に従って反応するという決定(動作706で「Yes」)に基づいて、動作710においてプロセスは、オブジェクトが車両経路から移動するための領域が特定されるかどうかを決定することを含み得る。いくつかの例では、領域は、車両経路にない場所、車両に関連付けられた車線、および/または隣接する車線を含んでもよい。そのような例では、領域は、車両および/または車線および/または隣接する車線を走行する他の車両/オブジェクトの進行を妨げないために、遮断しているオブジェクトが移動し得る場所を含んでもよい。いくつかの例では、領域は、オブジェクトが移動して車両および/または他の車両/オブジェクトの進行を妨げないために十分な大きさのサイズを含んでもよい。いくつかの例では、領域は、他のオブジェクトによって視界が遮られることに基づく等、オブジェクトのオペレータが見ることができない可能性がある場所を含んでもよい。
【0191】
オブジェクトが車両経路から移動するための領域が存在するという決定(動作710で「Yes」)に基づいて、動作712においてプロセスは、領域の指示を含む第3の信号を発信することを含み得る。いくつかの例では、第3の信号は、車両経路の外に出るオブジェクト経路(ルート)の指示を含み得る。いくつかの例では、第3の信号は、オブジェクトのオペレータに、領域が存在し、クリアであることを示してもよい。様々な例において、第3の信号は、オブジェクトのオペレータに領域に関連付けられた場所を示すための、矢印等のシンボルまたは他のインジケータを含んでよい。様々な例において、シンボルまたは他のインジケータは、オブジェクトおよび/または領域に近接する走行可能な表面上に投影されてもよい。いくつかの例では、シンボルまたは他のインジケータは、オブジェクトのオペレータの視界に投影されるホログラフィックイメージを含み得る。
【0192】
動作714において、プロセスは、オブジェクトが車両に無関係であると決定することを含み得る。さらに、車両コンピューティングシステムは、オブジェクトが経路から移動するための領域が存在しないという決定(動作710で「No」)に基づいて、オブジェクトが無関係であると決定してもよい。様々な例において、オブジェクトが車両に無関係であるという決定は、オブジェクトがもはや車両経路を遮断していないという決定に基づいてもよい。そのような例では、車両コンピューティングシステムは、オブジェクトが(例えば、第3の信号に従って)領域内またはそれに向かって移動したこと、および/または車両経路の外にある別の領域に移動したことを決定し得る。
【0193】
動作716において、プロセスは、頭部にしたがって車両を制御することを含み得る。様々な例において、車両経路に従った車両の制御は、交通規則、法律等に基づき得る。例えば、車両コンピューティングシステムは、オブジェクトが車両経路を遮断しなくなるまでに、交通信号が赤になったことを決定してもよい。信号が赤であるとの決定に基づき、車両は、位置を維持し、信号が青になるのを待機してもよい。
【0194】
(例示項)
A.車両であって、センサーと、エミッタと、1つまたは複数のプロセッサと、実行されたとき車両が、センサーからのセンサーデータに少なくとも部分的に基づいて、車両に関連付けられた環境におけるオブジェクトを決定し、オブジェクトの軌道に少なくとも部分的に基づいて、オブジェクトが車両の進行に関連することを決定し、エミッタを介して、オブジェクトが車両の進行に関連することを決定することに少なくとも部分的に基づいた第1の信号を発信することであって、第1の信号は第1の特性を含み、センサーデータに少なくとも部分的に基づいて、第1の信号に対するオブジェクト反応を決定し、オブジェクト反応に少なくとも部分的に基づいて、第2の信号を発信することであって、第2の信号は第1の特性とは異なる第2の特性を含む、ように構成される命令を格納した、1つまたは複数のコンピュータ可読媒体とを含む。
【0195】
B.段落Aに記載の車両であって、第2の信号を発信することは、さらに、オブジェクト反応が予想反応とは異なることを決定することに少なくとも部分的に基づいており、オブジェクト反応は第1のオブジェクト反応であり、且つ予想反応は第1の予想反応であり、命令は、車両に、第2の信号に対する第2のオブジェクト反応を決定させ、第2のオブジェクト反応に少なくとも部分的に基づいて、第2のオブジェクト反応に関連付けられたデータをデータベースに格納させる。
【0196】
C.段落AまたはBに記載の車両であって、第1の特性が、1つまたは複数の第1の周波数、1つまたは複数の第1の音量、1つまたは複数の第1の輝度、1つまたは複数の第1の色、1つまたは複数の第1の形状、或いは、1つまたは複数の第1の動きの少なくとも1つを含み、第2の特性が、1つまたは複数の第2の周波数、1つまたは複数の第2の音量、1つまたは複数の第2の輝度、1つまたは複数の第2の色、1つまたは複数の第2の形状、或いは、1つまたは複数の第2の動きの少なくとも1つを含む。
【0197】
D.段落AからCのいずれかに記載の車両であって、第1の特性または第2の特性がオブジェクトに関連付けられた動きに少なくとも部分的に基づいており、動きは、ヘッドホンを聞くこと、モバイル機器のデータを見ること、本を読むこと、携帯電話で話すこと、食べること、飲むこと、予測される軌道によって暗示される特定の動き、感覚障害者用装置の操作、車両に関連付けられた場所から離れる方向を向いているオブジェクトの頭部、環境における他の車両と影響し合うこと、或いは、オブジェクトに近接した他のオブジェクトと影響し合うことの少なくとも1つを含む。
【0198】
E.段落AからCのいずれかに記載の車両であって、命令が、さらに、車両に、機械学習技術、または、予想反応が、第1の特性、オブジェクトの分類、オブジェクトの位置、或いは、オブジェクトの動きの少なくとも1つに関連付けられるデータベースに格納された予想反応データの少なくとも1つに、少なくとも部分的に基づいて、予想反応を決定させる。
【0199】
F.コンピュータによって実装される方法であって、車両上のセンサーからのセンサーデータに基づいて、環境におけるオブジェクトを検出することであり、オブジェクトはオブジェクト属性を含むことと、オブジェクト属性に少なくとも部分的に基づいて、第1の時間に車両のエミッタを介して第1の信号が発信されるようにすることであって、第1の信号は、第1の特性を含むことと、センサーからの追加のセンサーデータに少なくとも部分的に基づいて、第1の時間後の第2の時間にオブジェクトのオブジェクト反応を決定することと、オブジェクト反応に基づいて、車両のエミッタを介して第2の信号が発信されるようにすることであって、第2の信号は、第2の特性を含むことを含む。
【0200】
G.段落Fに記載のコンピュータによって実装される方法であって、センサーデータが第1のセンサーデータであり、方法が、オブジェクトが車両の進行に関連することを決定することと、オブジェクトが車両の進行に関連することを決定することに少なくとも部分的に基づいて、第1の信号または第2の信号の少なくとも1つが、オブジェクトに関連付けられた方向に発振されるようにすることとをさらに含む
【0201】
H.段落FまたはGのいずれかに記載のコンピュータによって実装される方法であって、第2の信号が発信されるようにすることが、第2の時間の後、オブジェクトが車両の進行を妨げ続けることを決定することにさらに基づく。
【0202】
I.段落FからHのいずれかに記載のコンピュータによって実装される方法であって、第1の特性または第2の特性の少なくとも1つが、環境における環境要因、環境における車両の場所、環境における車両の速度、オブジェクトに関連付けられた動き、車両に対するオブジェクトの相対的な位置、車両が動作している日、車両が動作している年、或いは車両が動作している曜日の少なくとも1つに、少なくとも部分的に基づいている。
【0203】
J.段落Iに記載のコンピュータによって実装される方法であって、動きが、ヘッドホンを聞くこと、モバイル機器のデータを見ること、本を読むこと、携帯電話で話すこと、食べること、飲むこと、予測される軌道によって暗示される特定の動き、感覚障害者用装置の操作、車両に関連付けられた場所から離れる方向を向いているオブジェクトの頭部、環境における他の車両と影響し合うこと、或いは、オブジェクトに近接した他のオブジェクトと影響し合うことの1つまたは複数を含む。
【0204】
K.段落FからIのいずれかに記載のコンピュータによって実装される方法であって、第2の信号が発信させられるようにすることが、さらに、オブジェクト反応が予想反応と異なることを決定することに少なくとも基づいており、オブジェクト反応は第1のオブジェクト反応であり、予想反応は第1の予想反応であって、方法が、第2の信号に対する、オブジェクトの第2のオブジェクト反応を決定することと、第2のオブジェクト反応に少なくとも部分的に基づいて、第2の信号または第2のオブジェクト反応の少なくとも1つに関連付けられたデータを、データベースに格納することと、をさらに含む。
【0205】
L.段落FからKのいずれかに記載のコンピュータによって実装される方法であって、エミッタが、スピーカー、ライト、または、プロジェクタの少なくとも1つを含む。
【0206】
M.段落FからLのいずれかに記載のコンピュータによって実装される方法であって、方法が、車両に関連付けられていないオブジェクトを決定すること、警告信号に関連付けられたタイマーが満了したと決定すること、或いは、発信された警告信号の数が閾値を満足するまたは超えることを決定することの少なくとも1つまで、追加の信号を反復して発信することをさらに含む。
【0207】
N.段落FからLのいずれかに記載のコンピュータによって実装される方法であって、方法が、オブジェクトが車両に関連付けられた頭部を少なくとも部分的に遮断していることを決定することと、オブジェクトが移動するための場所を特定することであって、場所は頭部の外側にあり、他のオブジェクトがクリアであることと、場所を特定することに少なくとも部分的に基づいて、第3の信号が第2のエミッタを介して発信されるようにすることであって、第3の信号は、車両が移動するための場所のオブジェクトに指示を提供することとをさらに含む。
【0208】
O.システムまたはデバイスであって、プロセッサと、実行されるとプロセッサに段落FからMのいずれかに記載のコンピュータによって実装される方法を実行させる命令を格納する非一時的コンピュータ可読媒体とを含む。
【0209】
P.システムまたはデバイスであって、処理のための手段と、処理のための手段に結合された格納するための手段とを含み、格納するための手段は、段落FからMのいずれかに記載されるコンピュータによって実装される方法を実行するために1つまたは複数のデバイスを構成するための命令を含む。
【0210】
Q.実行されると、車両に動作を実行させる命令を格納する1つまたは複数の非一時的コンピュータ可読媒体であって、センサーからのセンサーデータに少なくとも部分的に基づいて、環境内のオブジェクトを検出すること、オブジェクトはオブジェクト属性を含むこと、オブジェクト属性に少なくとも部分的に基づいて、第1の時間に車両のエミッタを介して第1の信号を発信すること、第1の信号は第1の特性を含むこと、センサーからの追加のセンサーデータに少なくとも部分的に基づいて、第1の時間の後の第2の時間にオブジェクトのオブジェクト反応を決定すること、オブジェクト反応に基づき車両のエミッタを介して第2の信号を発信すること、第2の信号は第2の特性を含むこと、を含む。
【0211】
R.段落Qに記載の1つまたは複数の非一時的コンピュータ可読媒体であって、動作は、オブジェクトが車両の進行に関連すると決定することと、オブジェクトが車両の進行に関連すると決定することに少なくとも部分的に基づいて、第1の信号または第2の信号の少なくとも1つをオブジェクトに関連する方向に発信させることとをさらに含む。
【0212】
S.段落QまたはRに記載の1つまたは複数の非一時的コンピュータ可読媒体であって、動作は、オブジェクトに関連する動きを決定することと、動きに少なくとも部分的に基づいて、第1の特性を決定することをさらに含み、動きは、ヘッドホンを聞くこと、モバイル機器でデータを見ること、本を読むこと、携帯電話で話すこと、食べること、飲むこと、予測軌道によって暗示される特定の動き、感覚障害装置を操作すること、オブジェクトの頭部が車両に関連付けられた場所から離れる方向に向くこと、環境内の別の車両と影響し合うこと、或いは、オブジェクトに近接する別のオブジェクトと影響し合うことのうちの1つまたは複数を含む。
【0213】
T.段落QからSのいずれかに記載の1つまたは複数の非一時的コンピュータ可読媒体であって、動作は、機械学習モデルを利用して第2の特性を決定することをさらに含み、機械学習モデルは、同様の属性を有する追加のオブジェクトに車両の遮断を解除する行動を実行させる前に発信された信号に基づいて、少なくとも部分的に訓練される。
【0214】
U.段落QからTのいずれかに記載の1つまたは複数の非一時的コンピュータ可読媒体であって、オブジェクト属性はオブジェクト軌道を含み、オブジェクト反応はオブジェクト軌道に関連付けられた速度または方向の少なくとも1つに対する修正を含み、第2の信号を発信することは、速度または方向の少なくとも1つに対する修正が予想反応に関連付けられた閾値修正よりも小さいと決定することに少なくとも部分的に基づく。
【0215】
V.段落Uに記載の1つまたは複数の非一時的コンピュータ可読媒体であって、オブジェクトが車両の進行に関連しないと決定すること、警告信号に関連付けられたタイマーが満了したと決定すること、または、発信された警告信号の数が閾値を満たすまたは超えることを決定することの少なくとも1つまで、繰り返し追加の信号を発信する動作をさらに含む。
【0216】
上述した例示項A-Vは、ある特定の実装に関して説明されているが、本書のコンテキストにおいて、例示項A-Vの内容も、方法、装置、システム、コンピュータ可読媒体、および/または別の実装を介して実装され得ることが理解されるべきである。
【0217】
(結言)
本明細書で説明される技術の1つまたは複数の例について説明されたが、それの様々な改変、追加、置換、および等価物が本明細書で説明される技術の範囲内に含まれる。
【0218】
例の説明では、例として請求する主題の特定の例を示す本明細書の一部を形成する添付図面が参照される。他の例が使用され得ることと、構造的な変更などの変更または改変が行われ得ることとが理解されるべきである。そのような例、変更または改変は、必ずしも意図された請求する主題に関する範囲からの逸脱とは限らない。本明細書におけるステップがある順序で提示され得るが、場合によっては、順序は変更され得、したがって、いくつかの入力は、説明されるシステムおよび方法の機能を変更することなしに異なる時間にまたは異なる順序で与えられる。開示されるプロシージャはまた、異なる順序で実行される可能性がある。さらに、本明細書にある様々な計算は、開示される順序で実行される必要はなく、計算の代替順序を使用する他の例が容易に実装されることができる。並べ替えられることに加えて、計算はまた、同じ結果をもつサブ計算に分解されることができる。
図1
図2
図3
図4
図5
図6
図7
【国際調査報告】