(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-23
(54)【発明の名称】車両オペレータへの関連する警告の提示
(51)【国際特許分類】
G08G 1/16 20060101AFI20241016BHJP
B60W 30/08 20120101ALI20241016BHJP
B60W 40/04 20060101ALI20241016BHJP
B60W 50/14 20200101ALI20241016BHJP
【FI】
G08G1/16 A
B60W30/08
B60W40/04
B60W50/14
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024518707
(86)(22)【出願日】2022-07-26
(85)【翻訳文提出日】2024-03-25
(86)【国際出願番号】 US2022038338
(87)【国際公開番号】W WO2023059391
(87)【国際公開日】2023-04-13
(32)【優先日】2021-10-07
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】507364838
【氏名又は名称】クアルコム,インコーポレイテッド
(74)【代理人】
【識別番号】100108453
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100163522
【氏名又は名称】黒田 晋平
(72)【発明者】
【氏名】ジョナサン・プティ
(72)【発明者】
【氏名】スマント・パランジペ
(72)【発明者】
【氏名】ジャン-フィリップ・モンテウイス
(72)【発明者】
【氏名】モハンマド・ラーシド・アンサリ
(72)【発明者】
【氏名】コン・チェン
【テーマコード(参考)】
3D241
5H181
【Fターム(参考)】
3D241BA31
3D241BA60
3D241BB04
3D241DC20Z
3D241DC25Z
3D241DC31Z
5H181AA01
5H181BB04
5H181BB05
5H181BB13
5H181BB20
5H181CC02
5H181CC03
5H181CC04
5H181CC11
5H181CC14
5H181CC22
5H181FF04
5H181FF05
5H181FF13
5H181FF33
5H181LL08
5H181LL09
5H181LL17
5H181LL20
(57)【要約】
実施形態は、ビークルツーエブリシング(V2X)識別された脅威に関する情報を含むV2X通信を受信することと、車両オペレータがV2Xが識別した脅威を認識していないかどうかを判定することと、車両オペレータがV2Xが識別した脅威を認識していないと判定したことに応答して、車両オペレータの注意を受ける可能性が最も高いディスプレイロケーションを決定することと判定されたディスプレイロケーション上のV2Xが識別した脅威に関するアラートを生成することとを含む、車両オペレータに関連する警告を提示するために車両のプロセッサによって実行されるシステム及び方法を含む。決定されたディスプレイロケーション上のV2Xが識別した脅威に関する生成されたアラートは、車両オペレータが認識したとプロセッサが決定した任意の脅威条件に関するアラートを除外し得る。
【特許請求の範囲】
【請求項1】
関連する警告を車両オペレータに提示するために車両のプロセッサによって実行される方法であって、
ビークルツーエブリシング(V2X)が識別した脅威に関する情報を含むV2X通信を受信するステップと、
前記車両オペレータが前記V2Xが識別した脅威を認識したかどうかを判定するステップと、
前記車両オペレータが前記V2Xが識別した脅威を認識していないと判定したことに応答して、前記車両オペレータの注意を受ける可能性が最も高いディスプレイロケーションを決定するステップと、
前記決定されたディスプレイロケーション上の前記V2Xが識別した脅威に関するアラートを生成するステップと
を含む、方法。
【請求項2】
前記決定されたディスプレイロケーション上の前記V2Xが識別した脅威に関する前記アラートを生成するステップは、前記車両オペレータが認識した任意の脅威条件に関するアラートを除外する表示を生成するステップを含む、請求項1に記載の方法。
【請求項3】
前記V2Xが識別した脅威を含む前記車両の外側の領域のロケーションを決定するステップと、
前記車両オペレータの視線の方向を決定するステップと
をさらに含み、
前記車両オペレータが前記V2Xが識別した脅威を認識したかどうかを判定するステップは、前記V2Xが識別した脅威を含む前記車両の外側の前記領域の前記ロケーションが、前記車両オペレータの視線の前記決定された方向における前記車両オペレータの視野内にないと判定したことに応答して、前記車両オペレータが前記V2Xが識別した脅威を認識していないと判定するステップを含む、
請求項1に記載の方法。
【請求項4】
前記V2Xが識別した脅威を含む前記車両の外側の領域のロケーションを決定するステップと、
前記V2Xが識別した脅威を含む前記車両の外側の前記領域の前記ロケーションが、前記車両オペレータの認識された死角内にあるかどうかを判定するステップと
をさらに含み、
前記車両オペレータが前記V2Xが識別した脅威を認識したかどうかを判定するステップは、前記V2Xが識別した脅威を含む前記車両の外側の前記領域の前記ロケーションが、前記車両オペレータの前記認識された死角内にあると判定したことに応答して、前記車両オペレータが前記V2Xが識別した脅威を認識していないと判定するステップを含む、
請求項1に記載の方法。
【請求項5】
前記車両オペレータの視線の方向を決定するステップをさらに含み、前記車両オペレータの注意を受ける可能性が最も高い前記ディスプレイロケーションを決定するステップは、前記車両オペレータの視線の前記決定された方向において前記車両オペレータの視野内で可視であるディスプレイロケーションを識別するステップを含む、請求項1に記載の方法。
【請求項6】
前記車両オペレータの注意を受ける可能性が最も高い前記ディスプレイロケーションを決定するステップは、複数の車両ディスプレイのうちのどれが、V2Xが識別した脅威に対する好ましいディスプレイとして指定されるかを決定するステップを含む、請求項1に記載の方法。
【請求項7】
前記V2Xが識別した脅威に関して、前記車両オペレータから脅威確認が受信されたかどうかを判定するステップをさらに含み、
前記車両オペレータが前記V2Xが識別した脅威を認識したかどうかを判定するステップは、前記V2Xが識別した脅威に関して、前記車両オペレータから脅威確認が受信されていないと判定したステップに応答して、前記車両オペレータが前記V2Xが識別した脅威を認識していないと判定するステップを含む、請求項1に記載の方法。
【請求項8】
前記車両オペレータに対する前記V2Xが識別した脅威の可視性を低減する条件が存在するステップを示すV2X遮蔽データを受信するステップをさらに含み、
前記車両オペレータが前記V2Xが識別した脅威を認識したかどうかを判定するステップは、前記V2X遮蔽データを受信したことに応答して、前記車両オペレータが前記V2Xが識別した脅威を認識していないと判定するステップを含む、
請求項1に記載の方法。
【請求項9】
前記車両オペレータが前記V2Xが識別した脅威を認識していないと判定したことに応答して、前記V2Xが識別した脅威の通知優先度を増加させるステップと、
前記V2Xが識別した脅威の前記増加した通知優先度が、他の識別された脅威よりも高い優先度であるかどうかを判定するステップと
をさらに含み、
前記決定されたディスプレイロケーション上の前記V2Xが識別した脅威に関する前記アラートを生成するステップは、前記V2Xが識別した脅威の前記増加した通知優先度が他の識別された脅威よりも高い優先度であると判定したことに応答して、前記V2Xが識別した脅威に関する前記アラートを生成するが、前記決定されたディスプレイロケーション上の他の識別された脅威に関するアラートを除外するステップを含む、
請求項1に記載の方法。
【請求項10】
前記V2Xが識別した脅威に関する前記情報を含む前記V2X通信は、前記車両から遠隔のソースから受信される、請求項1に記載の方法。
【請求項11】
車両であって、
無線モジュールと、
前記無線モジュールに結合されるプロセッサであって、
ビークルツーエブリシング(V2X)が識別した脅威に関する情報を含むV2X通信を受信し、
車両オペレータが前記V2Xが識別した脅威を認識したかどうかを判定し、
前記車両オペレータが前記V2Xが識別した脅威を認識していないと判定したことに応答して、前記車両オペレータの注意を受ける可能性が最も高いディスプレイロケーションを決定し、
前記決定されたディスプレイロケーション上の前記V2Xが識別した脅威に関するアラートを生成する
ためのプロセッサ実行可能命令で構成される、プロセッサと
を備える、車両。
【請求項12】
前記プロセッサは、前記車両オペレータが認識したと前記プロセッサが決定した任意の脅威条件に関するアラートを除外する、前記決定されたディスプレイロケーション上の前記V2Xが識別した脅威に関する前記アラートを生成するためのプロセッサ実行可能命令でさらに構成される、請求項11に記載の車両。
【請求項13】
前記プロセッサは、
前記V2Xが識別した脅威を含む前記車両の外側の領域のロケーションを決定し、
前記車両オペレータの視線の方向を決定する
ためのプロセッサ実行可能命令でさらに構成され、
前記プロセッサは、前記V2Xが識別した脅威を含む前記車両の外側の前記領域の前記ロケーションが、前記車両オペレータの視線の前記決定された方向における前記車両オペレータの視野内にないと判定したことに応答して、前記車両オペレータが前記V2Xが識別した脅威を認識していないと判定するためのプロセッサ実行可能命令でさらに構成される、
請求項11に記載の車両。
【請求項14】
前記プロセッサは、
前記V2Xが識別した脅威を含む前記車両の外側の領域のロケーションを決定し、
前記V2Xが識別した脅威を含む前記車両の外側の前記領域の前記ロケーションが、前記車両オペレータの認識された死角内にあるかどうかを判定する
ためのプロセッサ実行可能命令でさらに構成され、
前記プロセッサは、前記V2Xが識別した脅威を含む前記車両の外側の前記領域の前記ロケーションが、前記車両オペレータの前記認識された死角内にあると判定したことに応答して、前記車両オペレータが前記V2Xが識別した脅威を認識していないと判定するためのプロセッサ実行可能命令でさらに構成される、
請求項11に記載の車両。
【請求項15】
前記プロセッサは、前記車両オペレータの視線の方向を決定するためのプロセッサ実行可能命令でさらに構成され、
前記プロセッサは、前記車両オペレータの視線の前記決定された方向において前記車両オペレータの視野内で可視であるディスプレイロケーションを決定することによって、前記車両オペレータの注意を受ける可能性が最も高い前記ディスプレイロケーションを決定するためのプロセッサ実行可能命令でさらに構成される、請求項11に記載の車両。
【請求項16】
前記プロセッサは、複数の車両ディスプレイのうちのどれが、V2Xが識別した脅威のための好ましいディスプレイとして指定されるかを決定することによって、前記車両オペレータの注意を受ける可能性が最も高い前記ディスプレイロケーションを決定するためのプロセッサ実行可能命令でさらに構成される、請求項11に記載の車両。
【請求項17】
前記プロセッサは、前記V2Xが識別した脅威に関して、前記車両オペレータから脅威確認が受信されたかどうかを判定するためのプロセッサ実行可能命令でさらに構成され、
前記プロセッサは、前記V2Xが識別した脅威に関して、前記車両オペレータから脅威確認が受信されていないと判定したことに応答して、前記車両オペレータが前記V2Xが識別した脅威を認識していないと判定するためのプロセッサ実行可能命令でさらに構成される、請求項11に記載の車両。
【請求項18】
前記プロセッサは、
前記車両オペレータに対する前記V2Xが識別した脅威の可視性を低減する条件が存在することを示すV2X遮蔽データを受信するためのプロセッサ実行可能命令でさらに構成され、
前記プロセッサは、前記V2X遮蔽データを受信したことに応答して、前記車両オペレータが前記V2Xが識別した脅威を認識していないと判定するためのプロセッサ実行可能命令でさらに構成される、請求項11に記載の車両。
【請求項19】
前記プロセッサは、
前記車両オペレータが前記V2Xが識別した脅威を認識していないと判定したことに応答して、前記V2Xが識別した脅威の通知優先度を増加させ、
前記V2Xが識別した脅威の前記増加した通知優先度が、他の識別された脅威よりも高い優先度であるかどうかを判定する、ためのプロセッサ実行可能命令でさらに構成され、
前記プロセッサは、前記V2Xが識別した脅威の前記増加した通知優先度が他の識別された脅威よりも高い優先度であると判定したことに応答して、前記V2Xが識別した脅威に関する前記アラートを生成するが、前記決定されたディスプレイロケーション上の他の識別された脅威に関するアラートを除外することによって、前記決定されたディスプレイロケーション上の前記V2Xが識別した脅威に関する前記アラートを生成するためのプロセッサ実行可能命令でさらに構成される、請求項11に記載の車両。
【請求項20】
前記プロセッサは、前記車両から遠隔のソースから前記V2Xが識別した脅威に関する前記情報を受信するためのプロセッサ実行可能命令でさらに構成される、請求項11に記載の車両。
【請求項21】
車両であって、
ビークルツーエブリシング(V2X)が識別した脅威に関する情報を含むV2X通信を受信するための手段と、
車両オペレータが前記V2Xが識別した脅威を認識したかどうかを判定するための手段と、
前記車両オペレータが前記V2Xが識別した脅威を認識していないと判定したことに応答して、前記車両オペレータの注意を受ける可能性が最も高いディスプレイロケーションを決定するための手段と、
前記決定されたディスプレイロケーション上の前記V2Xが識別した脅威に関するアラートを生成するための手段と
を備える、車両。
【請求項22】
前記決定されたディスプレイロケーション上の前記V2Xが識別した脅威に関するアラートを生成するための手段は、前記車両オペレータが認識した任意の脅威条件に関するアラートを除外する表示を生成するための手段を含む、請求項21に記載の車両。
【請求項23】
前記V2Xが識別した脅威を含む前記車両の外側の領域のロケーションを決定するための手段と、
前記車両オペレータの視線の方向を決定するための手段と
をさらに備え、
前記車両オペレータが前記V2Xが識別した脅威を認識したかどうかを判定するための手段は、前記V2Xが識別した脅威を含む前記車両の外側の前記領域の前記ロケーションが、前記車両オペレータの視線の前記決定された方向における前記車両オペレータの視野内にないと判定したことに応答して、前記車両オペレータが前記V2Xが識別した脅威を認識していないと判定するための手段を含む、
請求項21に記載の車両。
【請求項24】
前記V2Xが識別した脅威を含む前記車両の外側の領域のロケーションを決定するための手段と、
前記V2Xが識別した脅威を含む前記車両の外側の前記領域の前記ロケーションが、前記車両オペレータの認識された死角内にあるかどうかを判定するための手段と
をさらに備え、
前記車両オペレータが前記V2Xが識別した脅威を認識したかどうかを判定するための手段は、前記V2Xが識別した脅威を含む前記車両の外側の前記領域の前記ロケーションが、前記車両オペレータの前記認識された死角内にあると判定したことに応答して、前記車両オペレータが前記V2Xが識別した脅威を認識していないと判定するための手段を含む、請求項21に記載の車両。
【請求項25】
前記車両オペレータの視線の方向を決定するための手段をさらに備え、前記車両オペレータの注意を受ける可能性が最も高い前記ディスプレイロケーションを決定するための手段は、前記車両オペレータの視線の前記決定された方向において前記車両オペレータの視野内で可視であるディスプレイロケーションを決定するための手段を含む、請求項21に記載の車両。
【請求項26】
前記V2Xが識別した脅威に関して、前記車両オペレータから脅威確認が受信されたかどうかを判定するための手段をさらに含み、
前記車両オペレータが前記V2Xが識別した脅威を認識したかどうかを判定するための手段は、前記V2Xが識別した脅威に関して、前記車両オペレータから脅威確認が受信されていないと判定したことに応答して、前記車両オペレータが前記V2Xが識別した脅威を認識していないと判定するための手段を含む、請求項21に記載の車両。
【請求項27】
前記車両オペレータに対する前記V2Xが識別した脅威の可視性を低減する条件が存在することを示すV2X遮蔽データを受信するための手段をさらに含み、
前記車両オペレータが前記V2Xが識別した脅威を認識したかどうかを判定するための手段は、前記V2X遮蔽データを受信したことに応答して、前記車両オペレータが前記V2Xが識別した脅威を認識していないと判定するための手段を含む、請求項21に記載の車両。
【請求項28】
前記車両オペレータが前記V2Xが識別した脅威を認識していないと判定したことに応答して、前記V2Xが識別した脅威の通知優先度を増加させるための手段と、
前記V2Xが識別した脅威の前記増加した通知優先度が、他の識別された脅威よりも高い優先度であるかどうかを判定するための手段と
をさらに備え、
前記決定されたディスプレイロケーション上の前記V2Xが識別した脅威に関する前記アラートを生成するための手段は、前記V2Xが識別した脅威の前記増加した通知優先度が他の識別された脅威よりも高い前記優先度であると判定したことに応答して、前記V2Xが識別した脅威に関する前記アラートを生成するが、前記決定されたディスプレイロケーション上の他の識別された脅威に関するアラートを除外するための手段を含む、請求項21に記載の車両。
【請求項29】
車両のプロセッサに動作を実行させるように構成されるプロセッサ実行可能命令をその上に記憶した非一時的プロセッサ可読記憶媒体であって、前記動作は、
ビークルツーエブリシング(V2X)が識別した脅威に関する情報を含むV2X通信を受信することと、
車両オペレータが前記V2Xが識別した脅威を認識していないかどうかを判定することと、
前記車両オペレータが前記V2Xが識別した脅威を認識していないと判定したことに応答して、前記車両オペレータの注意を受ける可能性が最も高いディスプレイロケーションを決定することと、
前記決定されたディスプレイロケーション上の前記V2Xが識別した脅威に関するアラートを生成することと
を含む、非一時的プロセッサ可読記憶媒体。
【請求項30】
前記記憶されたプロセッサ実行可能命令は、車両のプロセッサに、前記決定されたディスプレイロケーション上の前記V2Xが識別した脅威に関する前記アラートを生成することが、前記車両オペレータが認識した任意の脅威条件に関するアラートを除外する表示を生成することを含むような動作を実行させるように構成される、請求項29に記載の非一時的プロセッサ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願
本出願は、2021年10月7日に出願された米国特許出願第17/496,691号からの優先権の利益を主張する。なお、当該出願の内容全体は、参照により本明細書に組み込まれる。
【背景技術】
【0002】
インテリジェントトランスポートシステム(ITS)は、異なる輸送モードに関連するサービスを提供し、道路安全性、交通効率、及びエネルギー節約を改善することを目的とする。ITSネットワークは、インターネットプロトコル(IP)ベースの通信、並びに車両、インフラストラクチャ、及びそのような通信のために構成されるワイヤレスデバイスを携帯する個人の間のアドホック直接通信を含む、高度テレマティクス及びハイブリッド通信を含む。また、ITSネットワークは、V2I路車間(V2I)、車ネットワーク間(V2N)、車車間(V2V)、歩車間(V2P)、ビークルツーデバイス(V2D)、及びビークルツーグリッド(V2g)など、より特定のタイプの通信を可能にし、これらは全てまとめてビークルツーエブリシング(V2X)通信と呼ばれる。
【0003】
V2X技術を装備した車両は、路側ユニット、車両、ワイヤレスデバイスを携帯する個人を含む近隣エンティティからメッセージを受信する。V2X搭載機器は、受信されたメッセージからの情報を分析及び使用して、車両安全動作を改善することができる。適切な場合、V2X搭載機器は、車両又は車両の乗員に脅威を与え得る安全上重要なイベント又は条件について、車両のオペレータに警告し得る。
【発明の概要】
【0004】
様々な態様は、車両のプロセッサ上で実装され得る方法と、オペレータの視野及び注意領域に応答して車両オペレータに関連する警告を提示するための方法を実装するためのシステムとを含み得る。
【0005】
いくつかの態様は、ビークルツーエブリシング(V2X)が識別した脅威に関する情報を含むV2X通信を受信することと、車両オペレータがV2Xが識別した脅威を認識したかどうかを決定することと、車両オペレータがV2Xが識別した脅威を認識していないと判定したことに応答して、車両オペレータの注意を受ける可能性が最も高いディスプレイロケーションを決定することと、決定されたディスプレイロケーション上のV2Xが識別した脅威に関するアラートを生成することと、を含む。いくつかの態様は、決定されたディスプレイロケーション上のV2Xが識別した脅威に関するアラートを生成することは、車両オペレータが認識した任意の脅威条件に関するアラートを除外する表示を生成することを含んでもよい。
【0006】
いくつかの態様は、V2Xが識別した脅威を含む車両の外側の領域のロケーションを決定することと、車両オペレータの視線の方向を決定することと、を含んでもよく、車両オペレータがV2Xが識別した脅威を認識したかどうかを決定することは、V2Xが識別した脅威を含む車両の外側の領域のロケーションが、車両オペレータの視線の決定された方向における車両オペレータの視野内にないと決定したことに応答して、車両オペレータがV2Xが識別した脅威を認識していないと判定することを含んでもよい。
【0007】
いくつかの態様は、V2Xが識別した脅威を含む車両の外側の領域のロケーションを決定することと、V2Xが識別した脅威を含む車両の外側の領域のロケーションが、車両オペレータの認識された死角内にあるかどうかを決定することと、を含んでもよく、車両オペレータがV2Xが識別した脅威を認識したかどうかを決定することは、V2Xが識別した脅威を含む車両の外側の領域のロケーションが、車両オペレータの認識された死角内にあると決定したことに応答して、車両オペレータがV2Xが識別した脅威を認識していないと判定することを含んでもよい。
【0008】
いくつかの態様は、車両オペレータの視線の方向を決定することを含んでもよく、車両オペレータの注意を受ける可能性が最も高いディスプレイロケーションを決定することは、車両オペレータの視線の決定された方向において車両オペレータの視野内で可視であるディスプレイロケーションを識別することを決定することを含んでもよい。
【0009】
いくつかの態様は、車両オペレータの注意を受ける可能性が最も高いディスプレイロケーションを決定することは、複数の車両ディスプレイのうちのどれが、V2Xが識別した脅威に対する好ましいディスプレイとして指定されるかを決定することを含んでもよい。
【0010】
いくつかの態様は、V2Xが識別した脅威に関して、車両オペレータから脅威確認が受信されたかどうかを決定することを含んでもよく、車両オペレータがV2Xが識別した脅威を認識したかどうかを決定することは、V2Xが識別した脅威に関して、車両オペレータから脅威確認が受信されていないと判定したことに応答して、車両オペレータがV2Xが識別した脅威を認識していないと判定することを含んでもよい。
【0011】
いくつかの態様は、車両オペレータに対するV2Xが識別した脅威の可視性を低減する条件が存在することを示すV2X遮蔽データを受信することを含んでもよく、車両オペレータがV2Xが識別した脅威を認識したかどうかを決定することは、V2X遮蔽データを受信したことに応答して、車両オペレータがV2Xが識別した脅威を認識していないと判定することを含んでもよい。
【0012】
いくつかの態様は、車両オペレータがV2Xが識別した脅威を認識していないと判定したことに応答して、V2Xが識別した脅威の通知優先度を増加させることと、V2Xが識別した脅威の増加した通知優先度が、他の識別された脅威よりも高い優先度であるかどうかを決定することと、を含んでもよく、決定されたディスプレイロケーション上のV2Xが識別した脅威に関するアラートを生成することは、V2Xが識別した脅威の増加された通知優先度が他の識別された脅威よりも高い優先度であると決定したことに応答して、V2Xが識別した脅威に関するアラートを生成するが、決定されたディスプレイロケーション上の他の識別された脅威に関するアラートを除外することを含んでもよい。
【0013】
いくつかの態様では、V2Xが識別した脅威に関する情報を含むV2X通信は、車両から遠隔のソースから受信されてもよい。
【0014】
更なる態様は、メモリと、上記で要約した方法のうちのいずれかの動作を実行するように構成されるプロセッサとを含む車両システムを含む。更なる態様は、上記で要約した方法のいずれに対応する機能を実施するための様々な手段を有する車両システムを含むことができる。更なる態様は、上記で要約した方法のうちのいずれかに対応する様々な動作を車両システムのプロセッサに実行させるように構成されるプロセッサ実行可能命令を記憶した非一時的プロセッサ可読記憶媒体を含み得る。
【0015】
本明細書に組み込まれ、本明細書の一部を構成する添付の図面は、特許請求の範囲の例示的な実施形態を示し、上で与えられた一般的な説明及び下記の発明を実施するための形態とともに、特許請求の範囲の特徴を説明するのに役立つ。
【図面の簡単な説明】
【0016】
【
図1】様々な実施形態を実装するのに適した例示的なV2Xシステムを示す概略図である。
【
図2A】様々な実施形態を実施するのに適した車両を示す構成要素ブロック図である。
【
図2B】様々な実施形態を実施するのに適した車両を示す構成要素ブロック図である。
【
図2C】様々な実施形態を実装するのに適した例示的な車両システムの構成要素図である。
【
図2D】様々な実施形態を実装するのに適した例示的なV2X通信プロトコルスタックを示す概念図である。
【
図3A】様々な実施形態を実施するのに適した、例示的な車両管理システムの構成要素を示す構成要素ブロック図である。
【
図3B】様々な実施形態を実施するのに適した、別の例示的な車両管理システムの構成要素を示す構成要素ブロック図である。
【
図4A】様々な実施形態による、車両オペレータに関連する警告を提示するための例示的な方法のプロセスフロー図である。
【
図4B】様々な実施形態による、関連する警告を車両オペレータに提示するための方法の一部として実行され得る例示的な動作のプロセスフロー図である。
【
図4C】様々な実施形態による、関連する警告を車両オペレータに提示するための方法の一部として実行され得る例示的な動作のプロセスフロー図である。
【
図4D】様々な実施形態による、関連する警告を車両オペレータに提示するための方法の一部として実行され得る例示的な動作のプロセスフロー図である。
【
図4E】様々な実施形態による、関連する警告を車両オペレータに提示するための方法の一部として実行され得る例示的な動作のプロセスフロー図である。
【
図4F】様々な実施形態による、関連する警告を車両オペレータに提示するための方法の一部として実行され得る例示的な動作のプロセスフロー図である。
【
図4G】様々な実施形態による、関連する警告を車両オペレータに提示するための方法の一部として実行され得る例示的な動作のプロセスフロー図である。
【発明を実施するための形態】
【0017】
添付の図面を参照しながら、様々な実施形態について詳細に説明する。可能な場合はどこでも、同じか又は同様の部分を指すために、図面全体にわたって同じ参照番号が使用される。特定の例及び実装形態に対してなされる参照は、例示を目的としており、特許請求の範囲を限定するものではない。
【0018】
概して、様々な実施形態は、V2X警告システム、車両内部/乗員監視システム(OMS)、及び車載センサーの要素を活用して、複数の車両ディスプレイの中から、車両オペレータの注意を受ける可能性が最も高い車載ディスプレイなどの適切なロケーションにおいて、関連する警告を識別して車両オペレータに表示することができる。様々な実施形態は、遮られた又は劣化した通視線、車両オペレータの知覚のエリア、及び脅威がオペレータによって認識されるかどうかを計算して、車両オペレータによって気づかれる可能性が高いロケーション及び/又は方法で関連する警告のみを提示することができる。さらに、車両オペレータに提示される関連する1つ又は複数の警告は、オペレータがすでに認識した脅威及び/又は優先度の低い脅威に関する情報又は警告を除外することができる。また、関連する1つ又は複数の警告は、複数のディスプレイロケーションではなく、選択されたディスプレイロケーションにのみ提示されてもよく、これは、ディスプレイを混乱させ、オペレータが警告(単数又は複数)を認識して評価する可能性を潜在的に低減する可能性がある。
【0019】
「システムオンチップ」(SOC)という用語は、単一の基板上に統合された複数のリソース及び/又はプロセッサを含んでいる、単一の集積回路(IC)チップを指すために、本明細書で使用される。単一のSOCは、デジタル、アナログ、混合信号、及び無線周波数機能のための回路を含んでもよい。単一のSOCはまた、任意の数の汎用及び/又は専用プロセッサ(デジタル信号プロセッサ、モデムプロセッサ、ビデオプロセッサなど)、メモリブロック(例えば、ROM、RAM、フラッシュなど)、並びにリソース(例えば、タイマー、電圧調整器、発振器など)を含んでもよい。SOCはまた、統合されたリソース及びプロセッサを制御するため、並びに周辺デバイスを制御するためのソフトウェアを含んでもよい。
【0020】
「システムインパッケージ」(SIP)という用語は、2つ以上のICチップ、基板、又はSOC上で複数のリソース、計算ユニット、コア、及び/又はプロセッサを含んでいる、単一のモジュール又はパッケージを指すために、本明細書で使用されてもよい。例えば、SIPは、その上で複数のICチップ又は半導体ダイが垂直構成で積層される、単一の基板を含み得る。同様に、SIPは、その上で複数のIC又は半導体ダイが、単一化基板にパッケージングされる、1つ又は複数のマルチチップモジュール(multi-chip module、MCM)を含み得る。SIPはまた、単一のマザーボード上、又は単一のワイヤレスデバイス内などで、高速通信回路を介して互いに結合され、極めて近接してパッケージングされた、複数の独立したSOCを含んでもよい。SOCの近接性によって、高速通信、並びにメモリ及びリソースの共有が容易になる。
【0021】
「構成要素」、「システム」、「ユニット」、「モジュール」などの用語は、限定はしないが、特定の動作又は機能を実行するように構成される、ハードウェア、ファームウェア、ハードウェアとソフトウェアとの組み合わせ、ソフトウェア、又は実行中のソフトウェアなどの、コンピュータ関連エンティティを指す。例えば、構成要素は、限定はしないが、プロセッサ上で実行中のプロセス、プロセッサ、オブジェクト、実行ファイル、実行スレッド、プログラム、及び/又はコンピュータであってもよい。例として、通信デバイス上で実行中のアプリケーションと通信デバイスの両方が、構成要素と呼ばれることがある。1つ又は複数の構成要素は、プロセス及び/又は実行スレッド内に存在してもよく、構成要素は、1つのプロセッサ若しくはコア上で局所化されてもよく、かつ/又は2つ以上のプロセッサ若しくはコアの間で分散されてもよい。加えて、これらの構成要素は、様々な命令及び/又はデータ構造を記憶した様々な非一時的コンピュータ可読媒体から実行してもよい。構成要素は、ローカルプロセス及び/又はリモートプロセス、関数又はプロシージャ呼出し、電子信号、データパケット、メモリ読取り/書込み、並びに知られている他のコンピュータ、プロセッサ、及び/又はプロセス関連の通信方法によって、通信してもよい。
【0022】
「V2Xが識別した脅威」という用語は、車両、車両の乗員、又は車両上若しくは車両内の何かに対する害又は害のリスクを引き起こし得る、車両上又は車両付近のイベント又は条件を指す。加えて、車両に対する害又はリスクは、牽引された車両、貨物、及び/又はキャラバン内の若しくは隊列として動作している関連する車両などの車両の任意の延長に対する害又はリスクを含み得る。
【0023】
「V2X搭載機器」という用語は、ビークルツーエブリシング(V2X)機能を提供する車両又はデバイスに搭載された機器を指す。V2X搭載機器は、典型的には、1つ又は複数のプロセッサ、SoC、及び/又はSIPを含み得る処理システムを含み、それらのうちのいずれかは、V2X機能を実装する1つ又は複数の構成要素、システム、ユニット、及び/又はモジュールを含み得る(本明細書では簡潔にするために「処理システム」と総称する)。V2X搭載機器及び機能の態様は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素とソフトウェア構成要素との組み合わせで実装され得る。
【0024】
「ワイヤレスデバイス」という用語は、本明細書では、セルラー電話、スマートフォン、ポータブルコンピューティングデバイス、タブレットコンピュータ、スマートブック、ワイヤレス電子メール受信機、マルチメディアインターネット対応セルラー電話、スマートウォッチ、スマート衣類、スマートグラス、スマートリストバンド、スマートジュエリー(例えば、スマートリング、スマートブレスレットなど)を含むウェアラブルデバイス、並びにメモリ、ワイヤレス通信構成要素、及びプログラマブルプロセッサを含む同様の電子デバイスのうちのいずれか1つ又は全てを指すために使用される。
【0025】
C-ITS(Cooperative-ITS)は、道路の安全性を向上させ、C-ITS及び道路輸送と交通テレマティクス(RTTT)専用のダイレクトワイヤレス短距離通信を介した情報の交換に基づく完全な自律運転の実現への道を開くために開発中である。北米で使用するための米国電気電子技術者協会(IEEE)及び米国自動車技術者協会(SAE)によって、並びに欧州で使用するための欧州電気通信規格協会(ETSI)及び欧州標準化委員会(CEN)によって開発された規格を含む、世界の複数の地域が車両ベース通信システム及び機能のための規格を開発している。そのようなシステムに含まれるのは、交通安全を改善するために他の車両が受信及び処理することができるメッセージを車両がブロードキャストする能力である。そのようなメッセージは、北米では基本安全メッセージ(Basic Safety Message:BSM)と呼ばれ、欧州では協調認識メッセージ(Cooperative Awareness Message:CAM)と呼ばれる(本明細書では簡潔にするためにまとめてBSMメッセージと呼ぶ)。
【0026】
IEEE802.11p規格は、専用近距離通信(DSRC)及びITS-G5通信規格の基礎である。IEEE1609は、IEEE802.11pに基づくより上位の規格である。セルラビークルツーエブリシング(C-V2X)規格は、第3世代パートナーシッププロジェクトの賛助下で開発された競合する規格である。これらの規格は、インテリジェントハイウェイ、自律車両及び半自律車両をサポートし、幹線道路輸送システムの全体的な効率及び安全性を改善するために使用される車車間及び車両-交通システム間のワイヤレス通信のための基礎として機能する。他のV2Xワイヤレス技術も、世界の複数の異なる地域で検討される。本明細書において記載される技法は、任意のV2Xワイヤレス技術に適用可能である。
【0027】
C-V2Xプロトコルは、強化された道路安全性及び自律運転のための360°通視線外の認識及びより高レベルの予測可能性を一緒に提供する2つの送信モードを規定する。第1の送信モードは、ダイレクトC-V2Xを含み、ダイレクトC-V2Xは、車車間(V2V)、路車間(V2I)、及び歩車間(V2P)を含み、セルラーネットワークから独立している専用インテリジェントトランスポートシステム(ITS)5.9ギガヘルツ(GHz)スペクトルの中で、拡張された通信範囲及び信頼性をもたらす。第2の送信モードは、第3世代ワイヤレスモバイル通信技術(3G)(例えば、モバイル通信用グローバルシステム(GSM)エボリューション(EDGE)システム、符号分割多元接続(CDMA)2000システムなど)、第4世代ワイヤレスモバイル通信技術(4G)(例えば、ロングタームエボリューション(LTE)システム、LTEアドバンストシステム、モバイルワールドワイドインターオペラビリティフォーマイクロウェーブアクセス(モバイルWiMAX)システムなど)、第5世代ワイヤレスモバイル通信技術(5G NRシステムなど)などの、モバイルブロードバンドシステム及び技術における車ネットワーク間通信(V2N)を含む。他のV2Xワイヤレス技術もまた、世界の異なる地域において検討中である。本明細書において記載される技法は、任意のV2Xワイヤレス技術に適用可能である。
【0028】
V2Xシステム及び技術は、車両のロケーション、速度、進行方向、制動、並びに衝突防止及び他の安全機能のために他の車両にとって有用であり得る他のファクタに関する情報を、車両が共有することを可能にすることによって、交通流及び車両安全性を改善するためにかなり有望である。V2X搭載機器を備えた車両は、それらの車両情報を、基本安全メッセージ(BSM)又は協調認識メッセージ(CAM)などのスモールメッセージにおいて頻繁に(例えば、最大20回毎秒)伝送し得る。全てのV2X対応車両がそのようなBSM/CAMメッセージを送信する場合、全ての受信車両は、衝突を回避し、互いに対して車両を効率的かつ安全に位置決めするために、それ自体の速度及び方向を制御するために必要とされる情報を有する。
【0029】
現在のV2Xアプリケーションは、マップ、車両運動学的状態、及び車両の進行方向/進路を使用して、関連する識別されたエリア内の安全重視イベント又は条件を計算し、識別する。これらの関連エリア外のイベント及び条件は、オペレータに警告する目的で無視されてもよい。関連エリアを定義することは、追跡されるV2Xオブジェクトを低減し、計算能力及びリソースをより適切な安全性関連データに集中させるために有用であり得る。しかしながら、このような関連エリアは、オペレータの座席からの実際の通視線又は現在のオペレータの視線方向を考慮していない。したがって、そのようなシステムは、車両又はその乗員に対する脅威をオペレータに警告することが多く、オペレータはその脅威をすでに知っている。無視され得る繰り返される警告は、オペレータが警告に対して鈍感になる可能性があり、これは、そのような警告システムの利益を減少させる可能性がある。また、不必要な警告をしばしば生成する警告システムは、ユーザの不快感及び/又は疲労を引き起こす可能性がある。
【0030】
様々な実施形態は、オペレータがそのような警告を知覚して処理する可能性を高めるように構成される方法で、車両オペレータに関連する警告を提示するための方法を実行するように構成される方法及びシステムを含む。様々な実施形態において、車両処理システム(例えば、V2X搭載機器)は、車両又は車両乗員に対するV2Xが識別した脅威に関する情報を含むV2X通信を受信することができる。V2Xが識別した脅威に関する情報を含む、受信されたV2X通信は、搭載システム、V2Xインフラストラクチャ、他の車両、他の外部システムなどからのものであってもよい。車両処理システムは、メッセージの受信に応答して、V2Xが識別した脅威が車両又は乗客に真の脅威をもたらすかどうかを決定することに関連する複数の要因を評価してもよい。車両処理システムは、様々な車両センサーからの情報を評価して、車両オペレータがV2Xが識別した脅威を認識したかどうかを決定することができる。オペレータが認識した脅威は、警告を正当化しない可能性があるが、オペレータは、認識されていないV2Xが識別した脅威について警告される必要があり得る。様々な実施形態では、車両の処理システムは、オペレータがV2Xが識別した脅威を認識したかどうかに関する明示的及び/又は暗黙的な指示を識別するために、車両OMS及び車載センサー又は機器設定からの入力を評価し得る。
【0031】
車両処理システムは、車両オペレータがV2Xが識別した脅威を認識していないと判定したことに応答して、車両オペレータの注意を受ける可能性が最も高いディスプレイロケーションを決定してもよい。車両は、サイドウィンドウ上のヘッドアップディスプレイ及び/又はダッシュボード上の複数の異なるディスプレイ等の複数のディスプレイと同様に、フロントガラスの全てではないにしても多くを包含するなどの大型ヘッドアップディスプレイ能力を有し得る。さらに、オペレータは、ユーザが見ている車両の内側及び外側のビュー上にオーバーレイされた車両情報の拡張現実表示を提供するヘッドマウントディスプレイ(HMD)を装着している場合がある。オペレータが脅威警告メッセージ又はアラートを見て知覚する可能性を高めるために、処理システムは、オペレータがどこを見ているかを決定し、V2Xが識別した脅威に関する可視警告を提示するオペレータの通視線内にあるディスプレイロケーションを識別することができる。例えば、対向車両のような脅威がオペレータの右側から接近しているが、オペレータが現在車両の左側を注視している場合、車両処理システムは、オペレータの左側の車両ディスプレイロケーション(例えば、大型ディスプレイの一部又は位置するディスプレイ)に警告メッセージをレンダリングしてもよい。大型ディスプレイ(例えば、フロントガラスを取り囲むHUD)を装備した車両では、車両処理システムによって決定されたアラートメッセージを提示するためのディスプレイロケーションは、オペレータの現在の通視線と位置合わせされたディスプレイの一部であり得る。そのような車両では、車両処理システムは、オペレータが彼/彼女の目及び頭を動かすにつれて、大型ディスプレイにわたってアラートメッセージを移動させてもよい(すなわち、ディスプレイロケーションは、オペレータの目/頭の動きに応答して変化してもよい)。複数のディスプレイ(例えば、小型HUD、ダッシュボードディスプレイ、及びサイドパネルディスプレイ)を装備した車両では、決定されたディスプレイロケーションは、複数のディスプレイのうち、オペレータの現在の通視線に最も近く位置合わせされた1つであり得る。そのような車両では、車両処理システムは、オペレータが自分の目及び頭を動かすにつれて、警告メッセージを1つのディスプレイから別のディスプレイに移動させることができる(すなわち、アラートメッセージを提示するために選択されたディスプレイは、オペレータの目/頭の動きに応答して変化することができる)。V2X関連アラートを表示するために専用の又は好適なディスプレイを含む車両に適したいくつかの実施形態では、車両オペレータの注意を受ける可能性が最も高いディスプレイロケーションを決定することは、複数の車両ディスプレイのうち、V2Xが識別した脅威に対する好ましいディスプレイとして指定された1つ車両ディスプレイを選択することを伴い得る。
【0032】
次いで、処理システムは、V2Xが識別した脅威に関するアラートを生成し、オペレータがアラートメッセージを見て処理する可能性を向上させるように、決定されたディスプレイロケーションにアラートをレンダリングすることができる。オペレータにとってあまり重要でない情報でオペレータを過負荷にすることを回避するために、車両処理システムは、オペレータがいくつかの脅威に気づいているか(又は気づいている可能性があるか)どうかの考慮を含み得る、最も関連する情報又は最も高い優先度の情報のみを含むアラート表示を生成し得る。いくつかの実施形態では、処理システムは、V2Xが識別した脅威に関するアラートを生成することができ、このアラートは、車両オペレータがすでに認識しているか又は見ることができる任意の脅威条件に関する警報を除外する。例えば、特定の脅威がオペレータによって認識されたと車両処理システムが決定すると、生成されたアラートメッセージは、認識された脅威に対する情報を削除することができる。別の例として、オペレータの右側及び左側の両方にオブジェクト又は接近車両によってもたらされる脅威が存在する場合、車両処理システムは、オペレータがオペレータの左側の脅威を見ることができるので、オペレータの右側の脅威のみを含み得るオペレータの左側の車両ディスプレイロケーション(例えば、大型ディスプレイ又は位置するディスプレイの一部)に警告メッセージをレンダリングし得る。いくつかの実施形態では、処理システムは、オペレータの注意に関連する情報を評価して、決定されたディスプレイロケーション上に提示される警告から警告メッセージを除外する前に、オペレータが見ている方向においてオペレータが実際に脅威を認識したかどうかを決定することができる。さらに、関連する1つ又は複数の警告は、選択されたディスプレイロケーション(すなわち、オペレータが見ている場所)にのみ提示されてもよく、複数のディスプレイ又はディスプレイロケーション上で警告又は複数の警告を繰り返すことを回避し、これは、オペレータが警告を認識し、評価する可能性を潜在的に低減し得る。
【0033】
様々な実施形態は、オペレータが見ているディスプレイロケーションにおいてV2X装備車両のオペレータに有用な警告を提示し、オペレータの不快感又は不必要な警告疲労につながり得る不必要な警告をレンダリングすることを回避する車両安全システムの安全性及び有効性を改善し得る。したがって、様々な実施形態は、オペレータが脅威警告を知覚し、それに反応する可能性を高めることによって、車両安全システムの安全性及び有効性を改善する。
【0034】
図1は、様々な実施形態を実装するのに適した例示的なV2Xシステム100を示す。
図1を参照すると、車両101、102、103は、互いの間にワイヤレス通信リンク121、122、123を確立するように構成され得るV2X搭載機器111、112、113をそれぞれ含み得る。同様に、歩行者50は、やはりV2X対応車両101、102、103とのワイヤレス通信リンク131、132、133を確立するように構成され得る、やはりV2X搭載機器を装備したワイヤレスデバイス105を携行している可能性がある。さらに、1つ又は複数の路側ユニット109はまた、車両101、102、103及びワイヤレスデバイス105とのワイヤレス通信リンク141、142、143、144を確立するように構成され得るV2X搭載機器を装備し得る。それらのワイヤレス通信リンク121、122、123、131、132、133、141、142、143、144は、車両101、102、103、ワイヤレスデバイス104、及び/又は路側ユニット109の間でブロードキャストされる基本安全メッセージ(BSM)又は他のV2X通信を周期的に搬送するように構成され得る。対照的に、車両104は、V2Xメッセージを送信又は受信する能力を備えていない他の車両を表し得る。
【0035】
図1に示される環境は、特定の視点(POV)を有する第1の車両101の車両オペレータが、ゾーンAに位置する歩行者50及び他の物を容易に観察することができるが、ゾーンBの遠端に位置する物の遮られた又は部分的に遮られた視界を有する場合がある状況を反映する。この状況では、第1の車両101のオペレータは、ゾーンBの遮られた部分に位置する第3の車両103が道路10の北に向かっていることに気づかない場合がある。状況について完全に知らされていない場合、第1の車両101のオペレータは、北行きの交通に自由に出て行くことができると誤って考え、衝突をもたらす可能性がある。
【0036】
車両/デバイスのロケーション、速度、方向、ベロシティなどの挙動、加速/減速、旋回などを共有することによって、車両101、102、103及び歩行者は、安全な分離を維持し、潜在的な衝突(すなわち、脅威)を識別及び回避することができる。例えば、駐車スペースから出庫し始めている第1の車両101は、車両又は車両乗員に対するV2Xが識別した脅威に関する情報を含むV2X通信(例えば、BSM、CAM)を受信することができる。他の車両102、103、ワイヤレスデバイス105、及び/又は路側ユニット109のうちの1つ又は複数からなどの任意のV2X搭載機器は、V2X通信を第1の車両101に送信及び/又は中継することができる。第1の車両101の処理システムは、受信されると、V2X通信に含まれるか又は付随する情報(すなわち、V2Xが識別した脅威)を使用して、第3の車両103のロケーション及び軌道を決定することができる。その後、第1の車両101は、第3の車両103との衝突の差し迫った危険をオペレータに知らせるアラートを生成することができる。そのようなアラートは、第1の車両101のオペレータが、少し長く(例えば、少なくとも第3の車両103が通過するまで)駐車スペースに留まり、衝突を回避することを可能にし得る。
【0037】
V2X搭載機器さらに、第1の車両101内のV2X搭載機器111は、受信したV2Xメッセージに含まれて、又は別個のV2Xメッセージの一部として、第1の車両101に向かって歩いている歩行者50に関連付けられた脅威に関する情報を受信することができる。しかしながら、ゾーンBの遮られた部分にある第3の車両103とは異なり、歩行者50は、第1の車両101のオペレータのPOVからの見通し内を歩いている。したがって、様々な実施形態によれば、第1の車両101の処理システムは、歩行者50のロケーション及び軌道を決定し、車両オペレータがその脅威を認識した表示があるので、その脅威に関するアラートを生成しないことを決定することができる。すなわち、歩行者50からの脅威(すなわち、歩行者との衝突を引き起こす危険性)が車両オペレータに明らか可視である、又は明らかに可視であるべきであるという事実である。例えば、第1の車両101内のOMS及び/又は内部センサーは、車両オペレータの視線の方向(すなわち、車両オペレータが、固定的に、逆方向に、又は他の方法で見ている現在の方向)を検出することができ、車両プロセッサは、歩行者50が車両オペレータの視線のその方向の視野内にあることを決定するために使用することができる。車両オペレータの視野内に位置する脅威は、脅威の暗黙的な肯定応答(すなわち、脅威確認)として解釈され得る。代替的に、車両オペレータは、ジェスチャ、言葉による合図、又は車両オペレータがその脅威に気づいていることを車両プロセッサに示す他のシステム入力などの明示的な脅威確認を与え得る。
【0038】
加えて、車両101、102、103、ワイヤレスデバイス105、及び/又は路側ユニット109は、V2Xが識別した脅威及び/又は他のV2X通信に関するデータ及び情報を、通信ネットワーク(例えば、V2X、セルラー、WiFiなど)を通じてITSに送信することができる。ITSの要素は、ワイヤード又はワイヤレスネットワークを介して互いに通信して、V2Xが識別した脅威を引き起こすか、又はそれに関連付けられ得るオブジェクト及び条件に関する詳細などの情報を交換するように構成され得る。
【0039】
様々な実施形態が様々な車両内で実施されてよく、様々な車両のうちの例示的な車両101が
図2A及び
図2Bに示される。
図1~
図2Bを参照すると、車両101は、
図1に関して説明した車両101、102、103のうちの任意の1つ又は複数を表し得る。様々な実施形態では、車両101は、V2X搭載機器(例えば、111)と、衛星地理測位システム受信機213、占有センサー212、216、218、226、228、タイヤ圧力センサー214、220、カメラ222、236、マイクロフォン224、234、衝突センサー230、レーダー232、及びライダー238を含む複数のセンサー211~238とを含むことができる制御ユニット240を含むことができる。車両の中又は上に配設される複数のセンサー211~238は、自律及び半自律ナビゲーション及び制御、衝突回避、位置決定などの様々な目的のために、並びに車両101の中又は上のオブジェクト及び人々に関するセンサーデータを提供するために使用され得る。センサー211~238は、ナビゲーション及び衝突回避にとって有用な様々な情報を検出することが可能な多種多様なセンサーのうちの1つ又は複数を含んでよい。センサー211~238の各々は、制御ユニット240と、並びに互いに、ワイヤード通信又はワイヤレス通信中であり得る。詳細には、センサーは、1つ又は複数のカメラ222、236、又は他の光センサー若しくはフォトオプティックセンサーを含んでよい。センサーは、レーダー232、ライダー238、IRセンサー、及び超音波センサーなどの、他のタイプのオブジェクト検出及び測距センサーをさらに含んでよい。センサーは、タイヤ圧力センサー214、220、湿度センサー、温度センサー、衛星地理測位システムセンサー213、制御入力センサー211、加速度計、振動センサー、ジャイロスコープ、重力計、衝突センサー230、強度計、応力計、ひずみセンサー、流体センサー、化学センサー、ガス含有量分析器、pHセンサー、放射線センサー、ガイガーカウンター、中性子検出器、生体物質センサー、マイクロフォン224、234、占有センサー212、216、218、226、228、近接センサー、及び他のセンサーをさらに含んでよい。
【0040】
様々な実施形態によれば、車両制御ユニット240は、狭帯域Wi-Fiエミッタ205F、205Rの一方又は両方からの信号を方向づけるように構成され得る。さらに、制御ユニット240は、方向づけない設定、又は狭帯域Wi-Fiエミッタ205F、205Rの一方又は両方をステアリングホイールに追従するように自動的に指示する設定など、狭帯域Wi-Fiエミッタ205F、205Rの一方又は両方のデフォルト設定を有することができる。制御ユニット240が狭帯域Wi-Fiエミッタ205F、205Rの一方又は両方をアクティブに方向づけていないとき、デフォルト設定に従ってよい。
【0041】
車両制御ユニット240は、様々なセンサー、特にカメラ222、236から受信された情報を使用して、ナビゲーション及び衝突回避動作を実行するためのプロセッサ実行可能命令で構成され得る。いくつかの実施形態では、制御ユニット240は、レーダー232及び/又はライダー238のセンサーから取得されてよい距離及び相対位置(例えば、相対的な方位角)を使用して、カメラ画像の処理を補ってよい。制御ユニット240は、様々な実施形態を使用して決定される他の車両に関する情報を使用して、自律モード又は半自律モードで動作するとき、車両101のステアリング、制動、及び速度を制御するようにさらに構成され得る。
【0042】
図2Cは、様々な実施形態を実装するのに適した例示的な車両システム200の構成要素図である。
図1~
図2Cを参照すると、システム200は、V2X搭載機器111(例えば、テレマティクス制御ユニット又は搭載ユニット(TCU/OBU))を含む車両101を含むことができる。V2X搭載機器111は、車内ネットワーク250、インフォテインメントシステム252、様々なセンサー254、様々なアクチュエータ256、及び無線周波数(RF)モジュール172などの様々なシステム及びデバイスと通信することができる。V2X搭載機器111はまた、様々な他の車両201、路側ユニット109、基地局260、及び他の外部デバイスと通信することもできる。V2X搭載機器111は、以下でさらに説明されるように、車両オペレータに関連する警告を提示するための動作を実行するように構成され得る。
【0043】
図2Cに示す例では、V2X搭載機器111は、プロセッサ164、メモリ166、入力モジュール168、出力モジュール170、及び無線モジュール172を含む。プロセッサ164は、関連する警告の車両オペレータへのアラートに関する決定、並びに任意選択的に、様々な実施形態の動作を含む、車両101の操縦、ナビゲーション、及び/又は他の動作を制御するためのプロセッサ実行可能命令で構成することができる。プロセッサ164は、メモリ166に結合されてよい。また、プロセッサ164は、出力モジュール170に結合されてもよく、出力モジュールは、決定されたディスプレイロケーションにV2Xが識別した脅威に関するアラートを生成するための車載ディスプレイを制御することができる。
【0044】
V2X搭載機器111は、V2Xアンテナ(例えば、RFモジュール172)を含むことができ、別の車両201、路側ユニット109、及び基地局260又は別の適切なネットワークアクセスポイントなどの1つ又は複数のITS参加者(例えば、ステーション)と通信するように構成され得る。様々な実施形態において、V2X搭載機器111は、車内ネットワーク250、インフォテインメントシステム252、様々なセンサー254、様々なアクチュエータ256、及びRFモジュール172などの複数の情報源から情報を受信することができる。V2X搭載機器111は、以下でさらに説明されるように、車両オペレータに関連する警告を警告するように構成され得る。
【0045】
車内ネットワーク250の例は、コントローラエリアネットワーク(CAN)、ローカル相互接続ネットワーク(LIN)、FlexRayプロトコルを使用したネットワーク、メディア指向システム輸送(MOST)ネットワーク、及び車載用Ethernetネットワークを含む。車両センサー254の例は、ロケーション決定システム(全地球的航法衛星システム(GNSS)のシステムなど)、カメラ、レーダー、ライダー、超音波センサー、赤外線センサー、並びに他の適切なセンサーデバイス及びシステムを含む。車両アクチュエータ256の例は、ステアリング、ブレーキ、エンジン運転、照明、方向指示器などのような様々な物理的制御システムを含む。
【0046】
図2Dは、様々な実施形態を実装するのに適した例示的なV2X通信プロトコルスタック270を示す概念図である。
【0047】
図3Aは、例示的な車両脅威管理システム300の構成要素を示す構成要素ブロック図である。車両脅威管理システム300は、車両101内で利用され得る様々なサブシステム、通信要素、計算要素、コンピューティングデバイス、又はコンピューティングユニットを含み得る。
図1~
図3Aを参照すると、車両脅威管理システム300内の様々な計算要素、コンピューティングデバイス又はユニットは、(例えば、
図3Aの矢印によって示される)データ及びコマンドを互いに通信する、相互接続されたコンピューティングデバイス(すなわち、サブシステム)のシステム内で実装され得る。いくつかの実装形態では、車両脅威管理システム300内の様々な計算要素、コンピューティングデバイス又はユニットは、別個のスレッド、プロセス、アルゴリズム又は計算要素など、単一のコンピューティングデバイス内で実装され得る。したがって、
図3Aに示す各サブシステム/計算要素はまた、一般に、本明細書では車両脅威管理システム300を構成する計算「スタック」内の「レイヤ」と呼ばれる。しかしながら、様々な実施形態について説明する際のレイヤ及びスタックという用語の使用は、対応する機能が単一の自律(又は、半自律)車両管理システムコンピューティングデバイス内に実装されることを暗示又は必要とするものではないが、そのことは可能な実装実施形態である。むしろ、「レイヤ」という用語の使用は、1つ又は複数のコンピューティングデバイス及びサブシステムと計算要素との組み合わせの中で実行する、独立したプロセッサ、計算要素(例えば、スレッド、アルゴリズム、サブルーチンなど)を有するサブシステムを包含することを意図する。
【0048】
車両脅威管理システム300は、レーダー知覚レイヤ302、カメラ知覚レイヤ304、測位エンジンレイヤ306、マップ融合及びアービトレーションレイヤ308、V2X通信レイヤ310、センサー融合及び道路世界モデル(RWM)管理レイヤ312、脅威評価レイヤ314、及びオペレータ知覚評価レイヤ316を含むことができる。レイヤ302~316は、車両脅威管理システム300の1つの例示的な構成におけるいくつかのレイヤの例にすぎない。他の構成では、他の知覚センサー(例えば、LIDAR知覚レイヤなど)のための追加のレイヤ、アラート及び/又はディスプレイ選択を生成するための追加のレイヤ、モデリングのための追加のレイヤなどの他のレイヤを含めることができ、及び/又はレイヤ302~316のうちの特定のものを車両脅威管理システム300から除外することができる。レイヤ302~316の各々は、
図3Aの中の矢印によって図示したように、データ、計算結果、及びコマンドを交換してよい。さらに、車両脅威管理システム300は、センサー(例えば、レーダー、ライダー、カメラ、慣性測定ユニット(IMU:inertial measurement unit)など)、ナビゲーションシステム(例えば、Global Position System(GPS)受信機、IMUなど)、車両ネットワーク(例えば、コントローラエリアネットワーク(CAN)バス)、及びメモリの中のデータベース(例えば、デジタル地図データ)からのデータを受信及び処理してよい。車両脅威管理システム300は、選択した車載ディスプレイロケーション上のV2Xが識別した脅威に関するアラートを生成するためのアラート及び/又はコマンドを出力することができる。
図3Aに示す車両脅威管理システム300の構成は、例示的な構成にすぎず、車両管理システム及び他の車両構成要素の他の構成が使用されてよい。一例として、
図3Aに示す車両脅威管理システム300の構成は、自律動作又は半自律動作のために構成される車両の中で使用されてよいが、非自律車両では異なる構成が使用されてよい。
【0049】
レーダー知覚レイヤ302は、レーダー(例えば、132)及び/又はライダー(例えば、138)などの1つ又は複数の検出及び測距センサーからデータを受信してよく、そのデータを処理して車両101の近傍内の他の車両及びオブジェクトのロケーションを認識及び決定してよい。レーダー知覚レイヤ302は、オブジェクト及び車両を認識するためのニューラルネットワーク処理及び人工知能方法の使用を含んでよく、そのような情報をセンサー融合及びRWM管理レイヤ312に伝えてよい。
【0050】
カメラ知覚レイヤ304は、カメラ(例えば、122、136)などの1つ又は複数のカメラからデータを受信してよく、そのデータを処理して車両100の近傍内の他の車両及びオブジェクトのロケーション、並びにオペレータ(例えば、オペレータの視線の方向)に関する観測値を認識及び決定することができる。カメラ知覚レイヤ304は、オブジェクト及び車両を認識するためのニューラルネットワーク処理及び人工知能方法の使用を含んでよく、そのような情報をセンサー融合及びRWM管理レイヤ312に伝えてよい。
【0051】
測位エンジンレイヤ306は、様々なセンサーからデータを受信してよく、そのデータを処理して車両101の位置を決定してよい。様々なセンサーは、限定はしないが、GPSセンサー、IMU、及び/又はCANバスを介して接続された他のセンサーを含み得る。測位エンジンレイヤ306はまた、カメラ(例えば、122、136)などの1つ若しくは複数のカメラ、及び/又はレーダー、LIDARなどの任意の他の利用可能なセンサーからの入力も利用し得る。
【0052】
車両脅威管理システム300は、車両ワイヤレス通信サブシステム330を含むか又はそれに結合され得る。ワイヤレス通信サブシステム330は、V2X通信等を介して、他の車両コンピューティングデバイス及び遠隔V2X通信システムと通信するように構成されてもよい。
【0053】
マップ融合及びアービトレーションレイヤ308は、他のV2Xシステム参加者から受信されたセンサーデータにアクセスし、測位エンジンレイヤ306から受信された出力を受信し、そのデータを処理して、通行車線内でのロケーション、街路マップ内での位置などの、マップ内の車両101の位置をさらに決定してよい。センサーデータは、メモリ(例えば、メモリ166)内に記憶され得る。例えば、マップ融合及びアービトレーションレイヤ308は、GPSからの緯度及び経度情報を、センサーデータに含まれている路面マップ内のロケーションに変換し得る。GPS位置決定は誤差を含み、そのため、マップ融合及びアービトレーションレイヤ308は、GPS座標とセンサーデータとの間の調停に基づいて、道路内での車両の最良の推測ロケーションを決定するように機能してよい。例えば、GPS座標は、センサーデータの中の2車線道路の中央の近くに車両の場所を特定する場合があるが、マップ融合及びアービトレーションレイヤ308は、進行方向から、進行方向に一致する進行車線に車両が位置合わせされる可能性が最も高いことを決定する場合がある。マップ融合及びアービトレーションレイヤ308は、マップベースのロケーション情報をセンサー融合及びRWM管理レイヤ312に渡してよい。
【0054】
V2X通信レイヤ310は、ITSからセンサーデータ及び他の入力を受信及び利用して、車両(例えば、101)の近く及び周囲の移動オブジェクト及び条件に関する情報を収集することができる。V2X通信レイヤ310によって受信されるV2X通信は、多くのタイプの情報を提供することができる。例えば、他の車両又は路側ユニットは、分析され得る(すなわち、近接度、動き、軌道などを測定する)カメラ画像又はセンサー読取り値を提供し得る。V2X通信レイヤ310は、V2Xメッセージング情報をセンサー融合及びRWM管理レイヤ312に渡すことができる。しかしながら、センサー融合及びRWM管理レイヤ312などの他のレイヤによるV2Xメッセージング情報の使用は必要とされない。例えば、他のスタックは、受信されたV2Xメッセージング情報を使用せずに車両を制御する(例えば、1つ又は複数の車両ディスプレイを制御する)ことができる。
【0055】
いくつかの実施形態では、プロセッサは、機械学習プロセスを採用して、ITS参加者タイプのための検出器設定を最初に決定又は改善してもよい。いくつかの実施形態では、プロセッサは、ITS参加者タイプのパラメータの複数の観測値を、ITS参加者タイプモデルなどの訓練されたモデルに提供してもよく、モデル(例えば、ITS参加者タイプモデル)からの出力として、ITS参加者の態様を評価するように構成される1つ又は複数の検出器の検出器設定を受信してもよい。
【0056】
いくつかの実施形態では、プロセッサは、各ITS参加者タイプについての検出器設定を、車両処理システムによって(例えば、ITS参加者タイプによって)アクセス可能なメモリに記憶してもよい。いくつかの実施形態において、プロセッサは、ワイヤレスネットワーク(例えば、路側ユニット(RSU)からのV2X、5Gネットワークなど)を介して、検出器設定及び設定更新を領域内の一部又は全てのITS参加者に配信する中央ソースから更新を受信してもよい。そのような分散された検出器設定又は検出器設定更新は、ITS参加者タイプに基づいて提供されてもよい。検出器設定又は検出器設定更新は、単一のITS参加者タイプの1つ又は複数のパラメータを含む、任意のレベルの特異性又は粒度でITS参加者間で分散されてもよい。例えば、ITS参加者プロセッサは、車の最大妥当速度を示す更新を受信して記憶してもよい。このようにして、検出器設定は、区画化された様式で、例えば、個別に、及び/又はITS参加者タイプによって、受信、更新、及び/又は記憶されてもよい。ITS参加者タイプに対してわずか1つの検出器設定について検出器設定が受信され、更新され、及び/又は記憶されることを可能にすることによって、検出器設定は、改ざん又は誤った若しくは偽の設定の導入に対してよりロバストであり得る。例えば、車の最大妥当速度に対する誤った設定を含む更新は、車に関連する検出に影響を及ぼし得るが、他のITS参加者タイプ(例えば、バス、バイク、歩行者等)に関連する検出には影響を及ぼさない。
【0057】
いくつかの実施形態では、プロセッサは、ITS参加者タイプに基づく検出器設定を使用して、V2Xメッセージ内の情報が妥当であるか妥当でないかを決定することができる。いくつかの実施形態では、プロセッサは、V2Xメッセージ中の情報が検出器のための最大又は最小妥当パラメータを満たす(例えば、それ以上である)かどうかに基づいて、メッセージが妥当でないかどうかを決定し得る。いくつかの実施形態では、プロセッサは、いくつかの検出器の出力に基づいて、メッセージが妥当であるか妥当でないかを決定してもよい。いくつかの実施形態では、V2Xメッセージ中の情報が妥当でないと決定したことに応答して、プロセッサはセキュリティアクションを実行し得る。例えば、プロセッサは、セキュリティサーバなどのITSネットワーク要素に、又は同様若しくは適切な機能を実行するネットワーク要素に、ITS参加者についての不正行為報告を送信することができる。
【0058】
参照を容易にするために、実施形態のうちのいくつかは、V2Xシステム及びプロトコルを使用する車両に関して本出願において説明される。しかしながら、様々な実施形態は、V2X又は車両ベースの通信規格、メッセージ、プロトコル、及び/又は技術のいずれか又は全てを包含することは理解されたい。したがって、本出願内の何物も、特許請求の範囲においてそのように明示的に記載されていない限り、特許請求の範囲を特定のシステム(例えば、V2X)又はメッセージ又はメッセージングプロトコル(例えば、基本安全メッセージ(BSM))に限定すると解釈されるべきではない。加えて、本明細書で説明される実施形態は、車両内のV2X処理システムに言及し得る。V2X処理システムが、モバイルデバイス、モバイルコンピュータ、路側ユニット(RSU)、並びに道路及び車両の条件を監視し、V2X通信に参加するように装備された他のデバイスにおいて動作し得るか、又はそれらに含まれ得る他の実施形態が企図される。
【0059】
センサー融合及びRWM管理レイヤ312は、レーダー知覚レイヤ302、カメラ知覚レイヤ304、マップ融合及びアービトレーションレイヤ308、並びにV2X通信レイヤ310によって生み出されるデータ及び出力を受信してよく、そのような入力の一部又は全部を使用して、道路、道路上の他の車両、及び車両101の近傍内の他のオブジェクト又は生物に対して、車両101のロケーション及び状態を推定又は改善してよい。例えば、センサー融合及びRWM管理レイヤ312は、カメラ知覚レイヤ304からの画像データをマップ融合及びアービトレーションレイヤ308からの調停されたマップロケーション情報と組み合わせて、通行車線内での車両の決定された位置を改善してよい。別の例として、センサー融合及びRWM管理レイヤ312は、カメラ知覚レイヤ304からの物体認識及び画像データをレーダー知覚レイヤ302からのオブジェクト検出及び測距データと組み合わせて、車両の近傍にある他の車両及び物体の相対位置を決定及び改善してよい。別の例として、センサー融合及びRWM管理レイヤ312は、他の車両位置及び進行方向に関する情報を(CANバス又はワイヤレス通信サブシステム330などを介して)V2X通信から受信してよく、その情報をレーダー知覚レイヤ302及びカメラ知覚レイヤ304からの情報と組み合わせて、他のオブジェクトのロケーション及び動きを改善してよい。センサー融合及びRWM管理レイヤ312は、車両101の改善されたロケーション及び状態情報、並びに車両の近傍にある他の車両及びオブジェクトの改善されたロケーション及び状態情報を、脅威評価レイヤ314及び/又はオペレータ知覚評価レイヤ316に出力することができる。
【0060】
更なる例として、センサー融合及びRWM管理レイヤ312は、レーダー知覚レイヤ302、カメラ知覚レイヤ304、他の知覚レイヤなどからの知覚データなどの、様々なセンサーからの知覚データ、及び/又は1つ若しくは複数のセンサー自体からのデータを監視して、車両センサーデータの中の条件を分析してよい。センサー融合及びRWM管理レイヤ312は、センサー測定値が閾値にあるのか、閾値を超えるのか、又は閾値未満であるのか、いくつかのタイプのセンサー測定が行われることなどの、センサーデータの中の条件を検出するように構成されてよく、オペレータ知覚評価レイヤ316に、並びに/又はV2X接続、他のワイヤレス接続などを通して、ワイヤレス通信を介して、データサーバ、他の車両などの、車両100から遠隔のデバイスに提供される、車両101の改善されたロケーション及び状態情報の一部として、センサーデータを出力してよい。
【0061】
改善されたロケーション及び状態情報は、車両仕様(例えば、サイズ、重量、色、搭載センサータイプ等)、車両位置、速度、加速度、進行方向、姿勢、向き、目的地、燃料/電力レベル、及び他の状態情報、車両緊急状況(例えば、車両が緊急車両であるか、又は緊急事態にある個人であるか)、車両制限(例えば、重い/広い負荷、旋回制限、高占有車両(HOV)許可など)、性能(例えば、全輪駆動、四輪駆動、スノータイヤ、チェーン、サポートされる接続タイプ、搭載センサー動作状況、搭載センサー分解能レベルなど)、機器の問題(例えば、低いタイヤ圧力、弱いブレーキ、センサー機能停止など)、所有者/オペレータの移動選好(例えば、好ましい車線、道路、経路、及び/又は目的地、通行料又は高速道路を回避する選好、最速経路の選好等)、センサーデータをデータ機関サーバ(例えば、ネットワークサーバ184)に提供する許可、及び/又は所有者/オペレータ識別情報等の、車両並びに車両所有者及び/又はオペレータに関連付けられた車両記述子を含んでもよい。
【0062】
車両脅威管理システム300のオペレータ知覚評価レイヤ316は、センサー融合及びRWM管理レイヤ312から出力された、車両101の改善されたロケーション及び状態情報、並びに他の車両及び物体のロケーション及び状態情報を使用して、他の車両及び/又はオブジェクトの将来の挙動を予測してよい。例えば、オペレータ知覚評価レイヤ316は、そのような情報を使用して、それ自体の車両位置及びベロシティ並びに他の車両の位置及びベロシティに基づいて、車両の近傍にある他の車両の将来の相対位置を予測してよい。そのような予測は、ホスト車両及び他の車両が道路に追従するときの相対的な車両位置の変化を予期するために、ローカルダイナミックマップデータからの情報とルートプランニングとを考慮に入れ得る。オペレータ知覚評価レイヤ316は、他の車両及びオブジェクトの挙動及びロケーション予測を、脅威評価レイヤ314に出力してよい。追加として、オペレータ知覚評価レイヤ316は、ロケーション予測と組み合わせてオブジェクト挙動を使用して計画してよく、車両101の運行を制御するための制御信号を生成してよい。例えば、ルートプランニング情報、道路情報の中の改善されたロケーション、並びに他の車両の相対ロケーション及び運行に基づいて、オペレータ知覚評価レイヤ316は、他の車両からの最小間隔を維持若しくは達成すること、及び/又は転回若しくは出口に対して準備することなどのために、車両101が車線を変更し加速する必要があることを決定してよい。その結果、オペレータ知覚評価レイヤ316は、そのような車線変更及び加速を実現するために必要なそのような様々なパラメータと一緒に、脅威評価レイヤ314並びに車両制御ユニット240に指令されるべき、ホイールに対するステアリング角度、及びスロットル設定の変更を、計算するか又は別のやり方で決定してよい。1つのそのようなパラメータは、算出されたステアリングホイール指令角であってよい。
【0063】
いくつかの実施形態では、オペレータ知覚評価レイヤ316は、V2Xが識別した脅威を含む、識別された脅威に対するオペレータの遮られた(又は劣化した)通視線を計算することができる。そのような計算は、1つ又は複数の車載センサー及び/又はOMSから受信された入力に基づいてもよく、入力は、オペレータの挙動、姿勢、動きなどを検出する入力を含んでもよい。いくつかの実施形態では、オペレータ知覚評価レイヤ316は、オペレータが利用可能な知覚エリア(すなわち、オペレータがその方向を見た場合にオペレータが見ることができる外界の利用可能なビュー)を計算してもよい。そのような動作では、オペレータ知覚評価レイヤ316は、死角、外部障害物、及び脅威の方向におけるオペレータの知覚を遮断又は制限し得る他の構造又はオペレータ制限を評価し、並びにオペレータが見ることができるエリア又はゾーン(例えば、知覚の潜在的エリア)を識別し得る。さらに、オペレータ知覚評価レイヤ316は、オペレータが過去数秒内に見た場所に基づいて、又はオペレータの視線の現在の方向/角度に基づいて、可能性のある知覚のエリアを評価することができる。V2X脅威を含む識別された脅威が、遮られた通視線に入るか、又は知覚のエリア内に入るかを比較することによって、オペレータ知覚評価レイヤ316は、オペレータが識別された脅威を見た可能性が高いかどうかを決定することができる。さらに、オペレータ知覚評価レイヤ316は、オペレータアクション又は反応に関連する内部センサーデータ又はOMS出力を評価して、オペレータが、識別された脅威に対して承認又は反応したかどうかを決定することができる。例えば、オペレータ知覚評価レイヤ316は、オペレータがオペレータアクション(例えば、ブレーキに触れる、スロットルレベルを変更する、ホイールを回転させる等)を行ったかどうか、又はオペレータが脅威を知覚したことを示す顔の変化若しくは身体の動きを示したかどうか(例えば、彼/彼女の視線を脅威源に集中させた、彼/彼女の頭を脅威源に向けたなど)を評価し得る。
【0064】
脅威評価レイヤ314は、センサー融合及びRWM管理レイヤ312並びに他の車両及びオブジェクトの挙動からのデータ及び情報出力、並びにオペレータ知覚評価レイヤ316からのロケーション予測を受信してよく、この情報を使用して、計画してよく、車両101の運行を制御するための制御信号を生成してよく、そのような制御信号が車両101に対する安全性要件を満たすことを検証してよい。例えば、ルートプランニング情報、道路情報内の改善されたロケーション、並びに他の車両の相対ロケーション及び動きに基づいて、脅威評価レイヤ314は、決定されたディスプレイロケーション上のV2Xが識別した脅威に関する1つ又は複数のアラートを検証し、生成することができる。
【0065】
様々な実施形態では、ワイヤレス通信サブシステム330は、ワイヤレス通信リンクを介して、他のV2Xシステム参加者と通信して、センサーデータ、位置データ、車両データ、及び搭載センサーによって車両の周囲の環境について収集されたデータを送信し得る。そのような情報は、他のV2Xシステム参加者への中継のために記憶されたセンサーデータを更新するために、他のV2Xシステム参加者によって使用され得る。
【0066】
様々な実施形態では、車両脅威管理システム300は、車両及び乗員の安全性に影響を及ぼすことがある、様々なコマンド、様々なレイヤの計画策定又は他の決定の、安全性検査又は監督を実行する機能を含んでよい。そのような安全性検査又は監督機能は、専用のレイヤ内に実装されてよく、又は様々なレイヤの間で分散されるとともに機能の一部として含められてもよい。いくつかの実施形態では、様々な安全性パラメータは、メモリの中に記憶されてよく、安全性検査又は監督機能は、決定された値(例えば、近くの車両までの相対間隔、道路中心線からの距離など)を、対応する安全性パラメータと比較してよく、安全性パラメータが違反されるか又は違反されることになる場合、警告又はコマンドを発行してよい。例えば、オペレータ知覚評価レイヤ316の中の(又は、別個のレイヤの中の)安全性又は監督機能は、(センサー融合及びRWM管理レイヤ312によって規定されるような)別の車両とその車両との間の現在又は将来の分離距離を(例えば、センサー融合及びRWM管理レイヤ312によって改善された世界モデルに基づいて)決定してよく、その分離距離を、メモリの中に記憶された安全分離距離パラメータと比較してよく、脅威評価レイヤ314に命令を発行することができる。
【0067】
図3Bは、車両101内で利用されてよい、車両管理システム350内のサブシステム、計算要素、コンピューティングデバイス、又はコンピューティングユニットの一例を示す。
図1~
図3Bを参照すると、いくつかの実施形態では、車両脅威管理システム350のレイヤ302、304、306、308、310、312、及び316は、
図3Aを参照しながら説明したものと類似であってよく、車両脅威管理システム350は、車両脅威管理システム350が様々なデータ又は命令を車両安全及び衝突回避システム352に渡してよいことを除いて、車両脅威管理システム300と同様に動作してよい。例えば、
図3Bに示す車両脅威管理システム350並びに車両安全及び衝突回避システム352の構成は、非自律車両の中で使用されてよい。
【0068】
様々な実施形態では、オペレータ知覚評価レイヤ316並びに/又はセンサー融合及びRWM管理レイヤ312は、車両安全及び衝突回避システム352にデータを出力してよい。例えば、センサー融合及びRWM管理レイヤ312は、車両安全及び衝突回避システム352に提供される、車両101の改善されたロケーション及び状態情報の一部として、センサーデータを出力してよい。車両安全及び衝突回避システム352は、車両101の改善されたロケーション及び状態情報を使用して、車両101及び/又はその乗員に関する安全性決定を行ってよい。別の例として、オペレータ知覚評価レイヤ316は、オペレータ認識、視線方向、及び/又は脅威確認に関連する挙動モデル及び/又は予測を車両安全及び衝突回避システム352に出力することができる。車両安全及び衝突回避システム352は、挙動モデル及び/又は予測を使用して、車両101及び/又はその乗員に関する安全性決定を行ってよい。
【0069】
様々な実施形態では、車両安全及び衝突回避システム352は、車両及び乗員の安全性に影響を及ぼすことがある、様々なコマンド、様々なレイヤのプランニング又は他の決定、並びに人間のオペレータアクションの、安全性検査又は監督を実行する機能を含んでよい。いくつかの実施形態では、様々な安全性パラメータは、メモリの中に記憶されてよく、車両安全及び衝突回避システム352は、決定された値(例えば、近くの車両までの相対間隔、道路中心線からの距離など)を、対応する安全性パラメータと比較してよく、安全性パラメータが違反されるか又は違反されることになる場合、警告又はコマンドを発行してよい。例えば、車両安全及び衝突回避システム352は、(センサー融合及びRWM管理レイヤ312によって規定されるような)別の車両とその車両との間の現在又は将来の分離距離を(例えば、センサー融合及びRWM管理レイヤ312によって改善された世界モデルに基づいて)決定してよく、その分離距離を、メモリの中に記憶された安全分離距離パラメータと比較してよく、現在の又は予測される分離距離が安全分離距離パラメータに違反する場合、加速、減速、又は転回するための命令をオペレータに発行してよい。別の例として、車両安全及び衝突回避システム352は、ステアリングホイール角における人間のオペレータの変更を、安全ホイール角度限度又はパラメータと比較してよく、安全ホイール角度限度を上回るステアリングホイール角に応答して、オーバーライドコマンド及び/又は警報を発行してよい。
【0070】
図4Aは、様々な実施形態による、関連する警告を車両オペレータに提示するための例示的な方法400のプロセスフロー図である。
図1~
図4Aを参照すると、方法400の動作は、車両(例えば、101、102、103)のV2X搭載機器(例えば、111、112、113)の処理システム(例えば、164、240、270、300、350)によって実行され得る。
【0071】
ブロック421において、処理システムは、車両又は車両乗員に対するV2Xが識別した脅威に関する情報を含むビークルツーエブリシング(V2X)通信を受信することができる。例えば、受信されたV2X通信は、車両又は車両乗員に脅威(すなわち、V2Xが識別した脅威)をもたらし得る車両、オブジェクト、生物、又は条件に関する情報を含み得る。受信されたV2X通信は、車両又は車両乗員に対する複数の脅威に関する情報を含むことができる。そのようなV2Xが識別した脅威は、接近する車両、オブジェクト、又は生物、車両が接近している車両、オブジェクト、生物、若しくは条件、及び/又は車両の所定の近接度内に存在する車両、オブジェクト、生物、若しくは条件に関連し得る。1つ又は複数のV2Xが識別した脅威に関する情報を含む受信されたV2X通信は、搭載システム、V2Xインフラストラクチャ、他の車両、他の外部システム、及び/又はV2X通信の任意のソース又は媒介からのものであってもよい。
【0072】
ブロック421において、V2Xが識別した脅威に関する情報を含むV2X通信を受信したことに応答して、車両は、V2Xが識別した脅威の自己評価を行うことができる。例えば、処理システムは、V2Xが識別した脅威を識別及び報告したV2Xシステムよりも狭い考慮事項を有し得る。
【0073】
ブロック421における動作の一部として、処理システムは、V2Xが識別した脅威の自己評価を行うときに車両及び/又はその乗員に課されるリスクに関連する広範囲の要因を評価することができる。いくつかの実施形態では、ブロック421において、処理システムは、車両の操縦性、他の車両/オブジェクト/生物の挙動、及び車両のロケーション情報(例えば、都市街路、駐車場、郊外又はより狭い建物の存在、郊外、田舎など)に影響を及ぼす可能性がある条件など、車両に近接した、又は車両の一般的な近傍にあるエリアのエリア区分を評価することができる。いくつかの実施形態では、ブロック421において、処理システムは、可視性、車両操縦、及び車両挙動に影響を及ぼし得る条件など、車両に近接する道路エリアの道路構成を評価し得る。例えば、処理システムは、交差点、歩道、狭い道路、直線対曲線の道路、道路地形(例えば、起伏の多い又は平坦)、横断歩道、自転車専用道等の存在を評価してもよく、これらは、車両又は乗員にもたらされるリスク、並びに車両が他の車両、歩行者、所有物、動物等にもたらし得る脅威に影響を及ぼし得る。いくつかの実施形態では、ブロック421において、処理システムは、エリアが事故の履歴を有するかどうか、事故の種類、及び事故の頻度等、車両に近接するエリアの履歴リスク情報を決定してもよい。
【0074】
いくつかの実施形態では、ブロック421において、処理システムは、他の車両、オブジェクト、又は生物の観察された挙動を評価することができ、例えば、別の車両が不規則に操縦しているか、対象車両の走行レーン又は道路上若しくは道路付近を走行しているか、歩道上又は自転車専用道を走行しているかどうかなどを評価することができる。いくつかの実施形態では、ブロック421において、処理システムは、他の車両、オブジェクト、及び/又は生物が車、トラック、サイクリスト、歩行者、動物などであるかどうかなど、他の車両、オブジェクト、及び/又は生物を分類することができる。
【0075】
いくつかの実施形態では、ブロック421において、処理システムは、霧、雨、氷、濡れた道路又は滑りやすい道路などの存在を含む、可視性、操縦性、及び車両操作に影響を及ぼし得る条件などの局所的な気象条件、並びに夜明け又は夕暮れ、夜間、昼光、夜間の街路照明の有無などの日光又は照明条件を評価することができる。
【0076】
いくつかの実施形態では、ブロック421において、処理システムは、複数の要因を評価して、車両によって他の車両、オブジェクト、及び/又は生物に課されるリスクについてのリスクスコアを決定することができる。いくつかの実施形態では、要因の各々の評価は、リスクスコアを増加又は減少させ得る。そのような実施形態では、処理システムは、車両によって他の車両、オブジェクト、及び/又は生物に課されるリスクを決定することに関連する要因の評価の集約としてリスクスコアを決定することができる。いくつかの実施形態では、処理システムは、複数の要因の各々を重み要因と関連付け得る。そのような実施形態では、処理システムは、車両によって他の車両、オブジェクト、及び/又は生物に課されるリスク及びそれらの割り当てられた重み係数を決定することに関連する要因の集約としてリスクスコアを決定することができる。いくつかの実施形態では、処理システムは、他の検出された要因の値又は影響に基づいて、いくつかの要因に適用される重みを調整することができ、例えば、予測された最も近い接近点における車両と他の車両、オブジェクト、及び/又は生物との間の予測された分離距離が閾値を満たすか、又は閾値未満であるときに、いくつかの要因に関連付けられた重みを増加させることができる。
【0077】
処理システムは、ブロック421において、V2Xが識別した脅威の自己評価を行うとき、様々な方法で複数の要因を評価することができる。いくつかの実施形態では、処理システムは、決定された各要因に数値を割り当てることができ、割り当てられた数値を集計してリスクスコアを決定することができる。いくつかの実施形態において、処理システムは、決定された要因を、リスクスコアを出力として生成するように構成される決定木に適用してもよい。いくつかの実施形態では、処理システムは、複数の要因(又は要因の各々に割り当てられた数値)を、出力としてリスクスコアを生成するように構成される重み付けされた式への入力として提供し得る。いくつかの実施形態において、処理システムは、リスクスコアを出力として提供する訓練されたニューラルネットワークモデルに複数の要因を適用してもよい。ブロック406において複数の要因を評価するための他の技法も可能である。いくつかの実施形態では、処理システムは、リスクスコアが警告閾値を満たすかどうかを決定してもよい。例えば、処理システムは、リスクスコアをメモリに記憶された閾値と比較することができる。いくつかの実施形態では、閾値は、車両のオペレータ、車両が自律的に動作しているかどうか、予測される最も近い接近点における車両と他の車両、オブジェクト、及び/又は生物との間の予測される分離距離などの状況に応じて変化し得る。
【0078】
ブロック420の動作を実行するための手段は、処理システム164、240、270、300、350と、メモリ166と、入力モジュール168と、出力モジュール170と、無線モジュール172と、脅威評価モジュール314とを含む。
【0079】
ブロック422において、処理システムは、車両オペレータがV2Xが識別した脅威を認識したかどうかを決定することができる。ブロック422の動作の一部として、処理システムは、オペレータの現在の視野、並びに識別された脅威のオペレータの視界に潜在的に影響を及ぼす内部要因及び外部要因を評価することができる。
【0080】
いくつかの実施形態では、車両オペレータがV2Xが識別した脅威を認識したかどうかを決定することは、V2Xが識別した脅威を含む車両の外側の領域のロケーションがオペレータの視線の視野内にないと決定したことに応答して、車両オペレータがV2Xが識別した脅威を認識していないと判定することを含み得る。したがって、脅威オブジェクト(例えば、別の車両)が、オペレータが見ることができないエリア内に位置するので、V2Xが識別した脅威がオペレータに見えない場合、例えば、物体のオペレータの視界が外部車両、オブジェクト、生物、又は条件などによって遮られる場合などである。いくつかの実施形態では、ブロック422において、処理システムは、日の出、日没、グレア、霧、スモッグ、雨など、可視性を妨害又は遮蔽し得る環境要因を考慮に入れ得る。
【0081】
いくつかの実施形態では、車両オペレータがV2Xが識別した脅威を認識していないかどうかを決定することは、V2Xが識別した脅威を含む車両の外側の領域のロケーションが車両オペレータの認識された死角内にあると決定したことに応答して、車両オペレータがV2Xが識別した脅威を認識していないと判定することを含み得る。例えば、車両オペレータの視点に基づいて、車両データは、車両構造又は特徴に起因して車両オペレータの視界を遮られた車両の外側の領域である既知の車両死角を識別し得る。更なる例として、処理システムは、日没、日の出、霧など、死角を生じ得る外部要素又は要因を識別し得る外部環境情報を取得し得る。このようにして、外部要素又は要因が位置する車両の外側の1つ又は複数の領域が、車両オペレータの認識された死角として指定され得る。
【0082】
いくつかの実施形態では、車両オペレータがV2Xが識別した脅威を認識していないかどうかを決定することは、オペレータがV2Xが識別した脅威を見ることができない可能性があることを示すV2X遮蔽データを受信したことに応答して、車両オペレータがV2Xが識別した脅威を認識していないと判定することを含むことができる。
【0083】
いくつかの実施形態では、車両オペレータがV2Xが識別した脅威を認識していないかどうかを決定することは、オペレータがV2Xが識別した脅威を見て確認したことを示すようにオペレータが反応していないと判定したことに応答して、車両オペレータがV2Xが識別した脅威を認識していないと判定することを含み得る。
【0084】
いくつかの実施形態では、ブロック422において、処理システムは、V2X通信から(すなわち、遠隔センサーの観点から)示される任意の遮蔽又は障害物を考慮に入れて、オペレータの通視線及び対応する視野を計算することができ、これは、遮られた物体に関する情報を提供することができる。加えて、処理システムは、(例えば、座席高さ等の入力を提供する車載センサー及び/又はOMSを使用して)物のオペレータの視点を考慮に入れて、オペレータの通視線及び対応する視野を計算し得る。さらに、処理システムは、オペレータの挙動を分析して、視線角度/方向、顔の姿勢、及び/又は身体の動きを使用して、コンテキストデータ及び/又は動的データを分析に追加する。
【0085】
この全ての情報の組み合わせを使用して、処理システムは、ブロック422において、脅威評価のために車両の外側の真の関連性のあるエリアを計算することができる。処理システムが、識別された脅威が真の関連性のあるエリア(単数又は複数)の外側に配置されると決定した場合、オペレータは、その識別された脅威について通知される必要はない。
【0086】
ブロック422において処理システムによって行われる決定は、処理システムが、V2Xが識別した脅威の自己評価を通じて、V2Xが識別した脅威が車両及び/又は車両乗員に重大なリスクをもたらすことを確認することに応答したものであり得る。ブロック422の動作を実行するための手段は、処理システム164、240、270、300、350と、メモリ166と、入力モジュール168と、出力モジュール170と、無線モジュール172と、オペレータ知覚評価モジュール316と、車両安全及び衝突回避モジュール352とを含む。
【0087】
ブロック424において、処理システムは、車両オペレータがV2Xが識別した脅威を認識していないと判定したことに応答して、車両オペレータの注意を受ける可能性が最も高いディスプレイロケーションを決定してもよい。フロントガラスの大部分又は全部を包含するヘッドアップディスプレイ等の大型ディスプレイを伴う車両に好適ないくつかの実施形態では、車両オペレータの注意を受ける可能性が最も高いディスプレイロケーションを決定することは、オペレータの視線の決定された方向におけるオペレータの視野内で可視である(すなわち、それと整合する)大型ディスプレイの部分又はセグメントを決定することを含んでもよい。複数の車両ディスプレイを有する車両に適したいくつかの実施形態では、車両オペレータの注意を受ける可能性が最も高いディスプレイロケーションを決定することは、複数の車両ディスプレイのうちのどれが、オペレータの視線の決定された方向においてオペレータの視野内で可視であるかを決定することを含み得る。例えば、V2Xが識別した脅威はオペレータの右側から来ているが(
図1参照)、オペレータが左(すなわち、反対方向)を見ている場合、ダッシュボードの左側に位置するディスプレイロケーション(例えば、完全なフロントガラスディスプレイの左側、ダッシュボードの左側に位置する別個のディスプレイ上、又はHMD拡張現実ディスプレイの一部上)が、オペレータに警告を提示する際に使用するために処理システムによって選択され得る。いくつかの実施形態は、車両オペレータの注意を受ける可能性が最も高いディスプレイロケーションを決定することは、複数の車両ディスプレイのうちのどれが、V2Xが識別した脅威に対する好ましいディスプレイとして指定されるかを決定することを含んでもよい。このようにして、処理システムは、オペレータに警告を表示するために、最適な又は最良の利用可能なロケーションを計算することができる。ブロック424の動作を実行するための手段は、処理システム164、240、270、300、350と、メモリ166と、入力モジュール168と、出力モジュール170と、無線モジュール172と、脅威評価モジュール314と、オペレータ知覚評価モジュール316と、車両安全及び衝突回避モジュール352とを含む。
【0088】
ブロック426において、処理システムは、決定されたディスプレイロケーション上のV2Xが識別した脅威に関するアラートを生成することができる。いくつかの実施形態では、処理システムは、車両オペレータが認識したか又は見ることができる(すなわち、オペレータの現在の視野内に入り、遮られていない)脅威条件に関するアラートを除外する、決定されたディスプレイロケーション上のV2Xが識別した脅威に関するアラートを生成し得る。また、特定の実施形態では、関連する1つ又は複数の警告は、複数のディスプレイロケーションではなく、選択されたディスプレイロケーションにのみ提示されてもよく、これは、ディスプレイを混乱させ、オペレータが警告(単数又は複数)を認識して評価する可能性を潜在的に低減する可能性がある。いくつかの実施形態では、処理システムは、V2Xが識別した脅威が他の識別された脅威よりも高い優先度を有すると決定したことに応答して、決定されたディスプレイロケーション上のV2Xが識別した脅威のみを含む、決定されたディスプレイロケーション上のV2Xが識別した脅威に関するアラートを生成してもよい。言い換えれば、処理システムは、V2Xが識別した脅威が別の脅威よりも重要であると決定し、したがって、他の脅威ではなくV2Xが識別した脅威に関するアラートを生成することができる。例えば、
図1の環境に関して説明した状況において、処理システムが、第3の車両(例えば、103)によってもたらされる脅威が歩行者(例えば、50)によってもたらされる脅威よりも大きいと決定した場合、処理システムは、決定されたディスプレイロケーションにおいて、歩行者に言及しない第3の車両に関するアラートを生成してもよい。別の例として、処理システムが、オペレータが第3の車両(例えば、103)によってもたらされる脅威をすでに見たか又は認識したと決定した場合、処理システムは、第3の車両に言及しない、決定されたディスプレイロケーション上の歩行者(例えば、50)に関するアラートを生成してもよい。
【0089】
ブロック426の動作を実行するための手段は、処理システム164、240、270、300、350と、メモリ166と、入力モジュール168と、出力モジュール170と、無線モジュール172と、脅威評価モジュール314と、オペレータ知覚評価モジュール316と、車両安全及び衝突回避モジュール352とを含む。
【0090】
いくつかの実施形態では、処理システムは、メモリから警告閾値を取得又は取り出してもよい。そのような実施形態では、リスクスコアがメモリから取得された警告閾値を満たすと決定したことに応答して、処理システムは、決定されたディスプレイロケーションに警告メッセージを送信することができる。
【0091】
いくつかの実施形態では、処理システムは、1つ又は複数のセンサー及び/又はITSから受信された情報に基づいて警告閾値を決定してもよい。例えば、4台の車両が車両に近接している状況では、車両は、それらのロケーション、車両からの距離及び方向などの情報を含む情報を(例えば、1つ又は複数のV2Xメッセージを介して)互いに通信することができる。そのような実施形態では、(例えば、車両のうちの1つ又は複数の)処理システムは、4台全ての車両が警告メッセージを送信するのではなく、車両のうちの1台又は2台が車両に警告メッセージを送信する可能性が統計的に高いように、警告閾値を選択することができる。
【0092】
図4B~
図4Gは、様々な実施形態による、関連する警告を車両オペレータに提示するための方法400の一部として実行され得る例示的な動作402、404、406、408、410、及び412のプロセスフロー図である。動作402、404、406、408、410、及び412は、車両(例えば、101、102、103)のV2X搭載機器(例えば、111、112、113)の処理システム(例えば、164、240、270、300、350)によって実行され得る。
【0093】
図4Bは、V2Xが識別した脅威を含む車両の外側の領域のロケーションを決定するために、いくつかの実施形態において処理システムによって実行され得る動作402を示す。
【0094】
図1~
図4Bを参照すると、方法400のブロック420においてV2X通信を受信した後、処理システムは、ブロック428において、V2Xが識別した脅威を含む車両の外側の領域のロケーションを決定することができる。例えば、処理システムは、V2Xが識別した脅威が車両の半径360度内のどこに位置するかを決定することができる。加えて、処理システムは、脅威がどの程度離れているか、適用可能であれば脅威がどの程度速く移動しているか、及び/又は適用可能であれば脅威の現在の軌道を決定することができる。上述したように、処理システムは、車両の様々なセンサーからの情報及び/又はV2X通信における情報を受信することができる。ブロック428の動作を実行するための手段は、処理システム164、240、270、300、350と、メモリ166と、入力モジュール168と、出力モジュール170と、無線モジュール172と、脅威評価モジュール314と、車両安全及び衝突回避モジュール352とを含む。
【0095】
ブロック430において、処理システムは、オペレータの視線の方向を決定することができる。処理システムは、内部カメラを含む内部車両センサー及び/又はOMS出力を使用して、オペレータの視線方向を決定することができる。処理システムは、頭部のチルト/回転角度及び/又はオペレータの目の焦点など、オペレータの視線に関する入力を分析することができる。ブロック430の動作を実行するための手段は、処理システム164、240、270、300、350と、メモリ166と、入力モジュール168と、出力モジュール170と、無線モジュール172と、オペレータ知覚評価モジュール316と、車両安全及び衝突回避モジュール352とを含む。ブロック430における動作に続いて、処理システムは、説明したように方法400のブロック422における動作を実行してもよい。
【0096】
図4Cは、いくつかの実施形態において処理システムによって実行され得る動作406を示す。
図1~
図4Cを参照すると、V2Xが識別した脅威を含む車両の外側の領域のロケーションを決定した後(動作402のブロック428)、処理システムは、ブロック432において、V2Xが識別した脅威を含む車両の外側の領域のロケーションが車両オペレータの認識された死角内にあるかどうかを決定することができる。例えば、車両の外側のある領域は、オペレータの視界を制限する構造柱及び他の車両要素のために、オペレータによって視界から遮られることが知られている場合がある。オペレータの視点(POV)から、これらのブロックされたエリアは、死角と呼ばれる。ブロック430の動作を実行するための手段は、処理システム164、240、270、300、350と、メモリ166と、入力モジュール168と、出力モジュール170と、無線モジュール172と、オペレータ知覚評価モジュール316と、車両安全及び衝突回避モジュール352とを含む。ブロック432における動作に続いて、処理システムは、説明したように方法400のブロック422における動作を実行してもよい。
【0097】
図4Dは、いくつかの実施形態において処理システムによって実行され得る動作406を示す。
図1~
図4Dを参照すると、ブロック420においてV2X通信を受信した後、処理システムは、動作402を参照しながら説明したように、ブロック430においてオペレータの視線の方向を決定し得る。ブロック430における動作に続いて、処理システムは、説明したように方法400のブロック422における動作を実行してもよい。
【0098】
図4Eは、いくつかの実施形態において処理システムによって実行され得る動作408を示す。
図1~
図4Eを参照すると、ブロック420においてV2X通信を受信した後、処理システムは、ブロック434において、V2Xが識別した脅威に関して、オペレータから脅威確認が受信されたかどうかを決定することができる。例えば、いくつかの実施形態では、オペレータから受信される脅威確認は、オペレータから受信される明示的入力(例えば、口頭入力/コマンド、ユーザインタフェース入力、肯定応答を確認するための所定の点滅パターン等のユーザジェスチャ)であってもよい。代替又は追加として、いくつかの実施形態では、オペレータから受信される脅威確認は、暗黙の肯定応答(例えば、瞳孔拡張、スマートグラス観察、関連する脅威の方向への注意、トレーニングサイクルを通して学習されるような関連する脅威に対するユーザの反応の機械学習検出、ユーザの視線の方向など)であり得る。ブロック434の動作を実行するための手段は、処理システム164、240、270、300、350と、メモリ166と、入力モジュール168と、出力モジュール170と、無線モジュール172と、オペレータ知覚評価モジュール316と、車両安全及び衝突回避モジュール352とを含む。ブロック434における動作に続いて、処理システムは、説明したように方法400のブロック422における動作を実行してもよい。
【0099】
図4Fは、いくつかの実施形態において処理システムによって実行され得る動作410を示す。
図1~
図4Fを参照すると、ブロック420においてV2X通信を受信した後、処理システムは、ブロック436において、オペレータに対するV2Xが識別した脅威の可視性を低減する条件が存在することを示すV2X遮蔽データを受信し得る。例えば、ブロック436において、処理システムは、オペレータが見ることを困難にし得る気象条件(例えば、暗闇、霧、雨、雪、スモッグなど)、近くの障害物(例えば、1つ又は複数の他の車両、オブジェクト、構造物、生物)等に関する情報を受信することができる。そのような条件及び/又は要素は、オペレータの視界を部分的に又は完全に遮断及び/又は妨害する場合、遮蔽と見なされ得る。ブロック436の動作を実行するための手段は、処理システム164、240、270、300、350と、メモリ166と、入力モジュール168と、出力モジュール170と、無線モジュール172と、オペレータ知覚評価モジュール316と、車両安全及び衝突回避モジュール352とを含む。ブロック436における動作に続いて、処理システムは、説明したように方法400のブロック422における動作を実行してもよい。
【0100】
図4Gは、いくつかの実施形態において処理システムによって実行され得る動作412を示す。
図1~
図4Gを参照すると、処理システムは、車両オペレータがV2Xが識別した脅威を認識していないと判定したことに応答して、V2Xが識別した脅威の通知優先度を増加するための動作を実行することができる。方法400のブロック422において、車両オペレータがV2Xが識別した脅威を認識していないと処理システムが決定したことに応答して、処理システムは、ブロック438において、車両オペレータがV2Xが識別した脅威を認識していないと判定したことに応答して、V2Xが識別した脅威の通知優先度を増加することができる。例えば、処理システムは、オペレータの視線の現在の方向がV2Xが識別した脅威の方向にないと決定することができ、これは、オペレータが脅威を認識していないことを暗示する。別の例として、処理システムは、オペレータの瞳孔の変化(例えば、拡張)がないこと、又は顔の動き若しくは表情の変化がないことを観察してもよく、これは、オペレータが脅威を認識していないことを示唆し得る。上述したように、処理システムは、車両の様々なセンサーからの情報及び/又はV2X通信における情報を受信することができる。いくつかの実施形態では、脅威評価モジュール314又は他の車両システムは、車両又は車両乗員に対する様々な脅威のランキングを維持して、それらの脅威に関する通知の階層を提供することができる。このようにして、オペレータが脅威を確認したかどうかに応じて、様々な脅威のランキングを調整(すなわち、増加又は減少)することができる。ブロック438の動作を実行するための手段は、処理システム164、240、270、300、350と、メモリ166と、入力モジュール168と、出力モジュール170と、無線モジュール172と、脅威評価モジュール314と、車両安全及び衝突回避モジュール352とを含む。
【0101】
ブロック440において、処理システムは、V2Xが識別した脅威の増加した通知優先度が、他の識別された脅威よりも高い優先度であるかどうかを決定することができる。例えば、特定のV2Xが識別した脅威は、通常、比較的低いリスクランキングを有する可能性があるが、車両オペレータはその脅威を認識していないので、その低いリスクランキングは増加し、以前より高いランクを有していた他のリスクよりも高いランクのリスクになる可能性がある。そのような場合、処理システムは、V2Xが識別した脅威の増加した通知優先度が他の識別された脅威よりも高い優先度であると決定することができる。ブロック430の動作を実行するための手段は、処理システム164、240、270、300、350と、メモリ166と、入力モジュール168と、出力モジュール170と、無線モジュール172と、脅威評価モジュール314と、車両安全及び衝突回避モジュール352とを含む。
【0102】
ブロック440における動作に続いて、処理システムは、説明したように、ブロック424においてディスプレイロケーションを識別し、ブロック426において方法400のV2Xが識別した脅威に関するアラートを生成する動作を実行することができる。特に、処理システムは、ブロック426において、増加した通知優先度のV2Xが識別した脅威を含むが、説明されるような他のより低い優先度の識別された脅威に関する情報を除外するアラートを生成し得る。また、処理システムは、アラートを単一のディスプレイロケーションのみに提示してもよい(アラートの複数の冗長なレンダリングに対する)。
【0103】
いくつかの異なるセルラー通信及びモバイル通信のサービス及び規格が利用可能であるか、又は将来において企図され、それらの全てが様々な実施形態を実装し、様々な実施形態から利益を得ることができる。そのようなサービス及び規格は、第3世代パートナーシッププロジェクト(3GPP)、ロングタームエボリューション(LTE)システム、第3世代ワイヤレスモバイル通信技術(3G)、第4世代ワイヤレスモバイル通信技術(4G)、第5世代ワイヤレスモバイル通信技術(5G)、モバイル通信用グローバルシステム(GSM)、ユニバーサルモバイルテレコミュニケーションズシステム(UMTS)、3GSM、汎用パケット無線サービス(GPRS)、符号分割多元接続(CDMA)システム(cdmaOne、CDMA1020(商標)など)、GSM進化型高速データレート(EDGE)、高度モバイルフォンシステム(AMPS)、デジタルAMPS(IS-136/TDMA)、エボリューションデータオプティマイズド(EV-DO)、デジタル強化コードレス電気通信(DECT:digital enhanced cordless telecommunications)、ワールドワイドインターオペラビリティフォーマイクロウェーブアクセス(WiMAX)、ワイヤレスローカルエリアネットワーク(WLAN)、Wi-Fi保護アクセスI&II(WPA、WPA2)、及び統合デジタル拡張ネットワーク(iDEN)などを含む。これらの技術の各々は、例えば、音声、データ、シグナリング、及び/又はコンテンツメッセージの送信及び受信を伴う。個々の電気通信の規格又は技術に関係する用語及び/又は技術的詳細に対するいかなる言及も例示目的にすぎず、請求項の文言に具体的に記載されない限り、特許請求の範囲の範囲を特定の通信システム又は通信技術に限定するものではないことを理解されたい。
【0104】
実装例について、以下の段落において説明する。以下の実装例のいくつかは、例示的な方法に関して説明されるが、更なる例示的な実装は、以下の実装例の方法の動作を実行するためのプロセッサ実行可能命令で構成されるプロセッサを含むV2X搭載機器の処理システムによって実装される以下の段落で説明される例示的な方法と、以下の実施例の方法の機能を実行するための手段を含む、V2X搭載機器の処理システムによって実施される以下の段落で説明される例示的な方法とを含んでもよく、以下の段落で説明される例示的な方法は、V2X搭載機器の処理システムによって以下の実施例の方法の動作を実行させるように構成されるプロセッサ実行可能命令が記憶された非一時的プロセッサ可読記憶媒体として実施されてもよい。
【0105】
実施例1.関連する警告を車両オペレータに提示するために車両のプロセッサによって実行される方法であって、車両又は車両乗員に対するV2Xが識別した脅威に関する情報を含むV2X通信を受信することと、車両オペレータがV2Xが識別した脅威を認識したかどうかを決定することと、車両オペレータがV2Xが識別した脅威を認識していないと判定したことに応答して、車両オペレータの注意を受ける可能性が最も高いディスプレイロケーションを決定することと、決定されたディスプレイロケーション上のV2Xが識別した脅威に関するアラートを生成することと、を含む、方法。
【0106】
実施例2.決定されたディスプレイロケーション上のV2Xが識別した脅威に関するアラートを生成することは、車両オペレータが認識した任意の脅威条件に関するアラートを除外する表示を生成することをさらに含む、実施例1に記載の方法。
【0107】
実施例3.V2Xが識別した脅威を含む車両の外側の領域のロケーションを決定することと、車両オペレータの視線の方向を決定することと、をさらに含み、車両オペレータがV2Xが識別した脅威を認識したかどうかを決定することは、V2Xが識別した脅威を含む車両の外側の領域のロケーションが、車両オペレータの視線の決定された方向における車両オペレータの視野内にないと決定したことに応答して、車両オペレータがV2Xが識別した脅威を認識していないと判定することを含む、実施例1又は2のいずれかに記載の方法。
【0108】
実施例4.V2Xが識別した脅威を含む車両の外側の領域のロケーションを決定することと、V2Xが識別した脅威を含む車両の外側の領域のロケーションが、車両オペレータの認識された死角内にあるかどうかを決定することと、をさらに含み、車両オペレータがV2Xが識別した脅威を認識したかどうかを決定することは、V2Xが識別した脅威を含む車両の外側の領域のロケーションが、車両オペレータの認識された死角内にあると決定したことに応答して、車両オペレータがV2Xが識別した脅威を認識していないと判定することを含む、実施例1から3のいずれかに記載の方法。
【0109】
実施例5.車両オペレータの視線の方向を決定することをさらに含み、車両オペレータの注意を受ける可能性が最も高いディスプレイロケーションを決定することは、車両オペレータの視線の決定された方向において車両オペレータの視野内で可視であるディスプレイロケーションを識別することを決定することを含む、実施例1から4のいずれかに記載の方法。
【0110】
実施例6.車両オペレータの注意を受ける可能性が最も高いディスプレイロケーションを決定することは、複数の車両ディスプレイのうちのどれが、V2Xが識別した脅威に対する好ましいディスプレイとして指定されるかを決定することを含む、実施例1から5のいずれかに記載の方法。
【0111】
実施例7.V2Xが識別した脅威に関して、車両オペレータから脅威確認が受信されたかどうかを決定することをさらに含み、車両オペレータがV2Xが識別した脅威を認識したかどうかを決定することは、V2Xが識別した脅威に関して、車両オペレータから脅威確認が受信されていないと判定したことに応答して、車両オペレータがV2Xが識別した脅威を認識していないと判定することを含む、実施例1から6のいずれかに記載の方法。
【0112】
実施例8.車両オペレータに対するV2Xが識別した脅威の可視性を低減する条件が存在することを示すV2X遮蔽データを受信することをさらに含み、車両オペレータがV2Xが識別した脅威を認識したかどうかを決定することは、V2X遮蔽データを受信したことに応答して、車両オペレータがV2Xが識別した脅威を認識していないと判定することを含む、実施例1から7のいずれかに記載の方法。
【0113】
実施例9.車両オペレータがV2Xが識別した脅威を認識していないと判定したことに応答して、V2Xが識別した脅威の通知優先度を増加させることと、V2Xが識別した脅威の増加した通知優先度が、他の識別された脅威よりも高い優先度であるかどうかを決定することと、をさらに含み、決定されたディスプレイロケーション上のV2Xが識別した脅威に関するアラートを生成することは、V2Xが識別した脅威の増加された通知優先度が他の識別された脅威よりも高い優先度であると決定したことに応答して、V2Xが識別した脅威に関するアラートを生成するが、決定されたディスプレイロケーション上の他の識別された脅威に関するアラートを除外することを含む、実施例1から8のいずれかに記載の方法。
【0114】
実施例10.V2Xが識別した脅威に関する情報を含むV2X通信は、車両から遠隔のソースから受信される、実施例1から9のいずれかに記載の方法。
【0115】
図示及び説明する様々な実施形態は、特許請求の範囲の様々な特徴を示すための例として提供されるにすぎない。しかしながら、任意の所与の実施形態に関して図示及び説明される特徴は、必ずしも関連する実施形態に限定されるとは限らず、図示及び説明される他の実施形態とともに使用されてよく、又はそれらと組み合わせられてもよい。さらに、特許請求の範囲は、いかなる例示的な一実施形態によっても限定されるものでない。
【0116】
上記の方法の説明及びプロセスフロー図は、例示的な例として提供されるにすぎず、様々な実施形態の動作が、提示された順序で実行されなければならないことを要求又は暗示するものではない。当業者によって理解されるように、上述の実施形態における動作の順序は、任意の順序で実施されてもよい。さらに、「その後(thereafter)」、「次いで(then)」、「次に(next)」などの語は、動作の順序を限定するものではない。これらの語は、方法の説明を通じて読者を導くために使用される。さらに、例えば、冠詞「a」、「an」又は「the」を使用する単数形での請求項要素へのいかなる言及も、要素を単数形に限定するものとして解釈されるべきではない。
【0117】
本明細書で開示する実施形態に関して説明する様々な例示的な論理ブロック、モジュール、構成要素、回路、及びアルゴリズム動作は、電子ハードウェア、コンピュータソフトウェア、又はその両方の組み合わせとして実装され得る。ハードウェア及びソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路及び動作について、概してそれらの機能性に関して上記で説明してきた。そのような機能がハードウェアとして実装されるのか又はソフトウェアとして実装されるのかは、特定の適用例及びシステム全体に課される設計上の制約に依存する。当業者は、説明した機能性を特定の適用例ごとに様々な方法で実装してよいが、そのような実施形態の決定は、特許請求の範囲からの逸脱を引き起こすものとして解釈されるべきではない。
【0118】
本明細書で開示する実施形態に関して説明する様々な例示的な論理、論理ブロック、モジュール、及び回路を実装するために使用されるハードウェアは、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)若しくは他のプログラマブル論理デバイス、個別ゲート若しくはトランジスタ論理、個別ハードウェア構成要素、又は本明細書で説明する機能を実行するように設計されたそれらの任意の組み合わせを用いて実装又は実行され得る。汎用プロセッサはマイクロプロセッサであってもよいが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、又は状態機械であってもよい。プロセッサはまた、受信機スマートオブジェクトの組み合わせ、例えば、DSPとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、DSPコアと連携する1つ若しくは複数のマイクロプロセッサ、又は任意の他のそのような構成として実装されてもよい。代替的に、いくつかの動作又は方法は、所与の機能に固有の回路によって実行されてもよい。
【0119】
1つ又は複数の実施形態では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせで実装されてもよい。ソフトウェアにおいて実装される場合、機能は、非一時的コンピュータ可読記憶媒体又は非一時的プロセッサ可読記憶媒体上に1つ又は複数の命令又はコードとして記憶されてもよい。本明細書で開示する方法又はアルゴリズムの動作は、非一時的コンピュータ可読又はプロセッサ可読記憶媒体上に存在し得るプロセッサ実行可能ソフトウェアモジュール又はプロセッサ実行可能命令において具現化されてもよい。非一時的コンピュータ可読又はプロセッサ可読記憶媒体は、コンピュータ又はプロセッサによってアクセスされてもよい任意の記憶媒体であってもよい。限定ではなく例として、そのような非一時的コンピュータ可読又はプロセッサ可読記憶媒体は、RAM、ROM、EEPROM、FLASHメモリ、CD-ROM若しくは他の光ディスクストレージ、磁気ディスクストレージ若しくは他の磁気ストレージスマートオブジェクト、又は命令若しくはデータ構造の形態で所望のプログラムコードを記憶するために使用される場合があり、コンピュータによってアクセスされる場合がある任意の他の媒体を含んでもよい。本明細書で使用するディスク(Disk)及びディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)、及びBlu-rayディスク(disc)を含み、ここで、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、レーザーを用いてデータを光学的に再生する。上記の組み合わせも、非一時的コンピュータ可読及びプロセッサ可読媒体の範囲内に含まれる。さらに、方法又はアルゴリズムの動作は、非一時的プロセッサ可読記憶媒体及び/又は非一時的コンピュータ可読記憶媒体上のコード及び/又は命令の1つ又は任意の組み合わせ又はセットとして存在してもよく、これらの記憶媒体は、コンピュータプログラム製品内に組み込まれてもよい。
【0120】
開示する実施形態の前述の説明は、任意の当業者が特許請求の範囲を製作又は使用することを可能にするために提供される。これらの実施形態への様々な修正が当業者には容易に明らかになり、本明細書で定義される一般原理は、特許請求の範囲から逸脱することなく他の実施形態に適用されてよい。したがって、本開示は、本明細書で示される実施形態に限定されるように意図されるものではなく、以下の特許請求の範囲並びに本明細書において開示する原理及び新規の特徴に一致する最も広い範囲を与えられるべきである。
【国際調査報告】