IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ディーイーアールキュー インコーポレイテッドの特許一覧

<>
  • 特開-早期警告および衝突回避 図1
  • 特開-早期警告および衝突回避 図2
  • 特開-早期警告および衝突回避 図3
  • 特開-早期警告および衝突回避 図4
  • 特開-早期警告および衝突回避 図5
  • 特開-早期警告および衝突回避 図6
  • 特開-早期警告および衝突回避 図7
  • 特開-早期警告および衝突回避 図8
  • 特開-早期警告および衝突回避 図9
  • 特開-早期警告および衝突回避 図10
  • 特開-早期警告および衝突回避 図11
  • 特開-早期警告および衝突回避 図12
  • 特開-早期警告および衝突回避 図13
  • 特開-早期警告および衝突回避 図14
  • 特開-早期警告および衝突回避 図15
  • 特開-早期警告および衝突回避 図16
  • 特開-早期警告および衝突回避 図17
  • 特開-早期警告および衝突回避 図18
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023156430
(43)【公開日】2023-10-24
(54)【発明の名称】早期警告および衝突回避
(51)【国際特許分類】
   G08G 1/16 20060101AFI20231017BHJP
   G08B 21/00 20060101ALI20231017BHJP
   G08B 21/24 20060101ALI20231017BHJP
【FI】
G08G1/16 A
G08B21/00 U
G08B21/24
【審査請求】有
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2023131721
(22)【出願日】2023-08-11
(62)【分割の表示】P 2021500364の分割
【原出願日】2019-03-14
(31)【優先権主張番号】62/644,725
(32)【優先日】2018-03-19
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】15/994,568
(32)【優先日】2018-05-31
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】15/994,826
(32)【優先日】2018-05-31
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】15/994,702
(32)【優先日】2018-05-31
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】15/994,915
(32)【優先日】2018-05-31
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】15/994,850
(32)【優先日】2018-05-31
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/222,536
(32)【優先日】2018-12-17
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.FACEBOOK
2.INSTAGRAM
3.TWITTER
(71)【出願人】
【識別番号】520361852
【氏名又は名称】ディーイーアールキュー インコーポレイテッド
【氏名又は名称原語表記】DERQ INC.
【住所又は居所原語表記】Commerce House, WickhamsCay 1, Tortola, P.O. Box 3140 (VG)
(74)【代理人】
【識別番号】100125818
【弁理士】
【氏名又は名称】立原 聡
(72)【発明者】
【氏名】アウーデ ジョージズ
(72)【発明者】
【氏名】アブファデル アメール
(72)【発明者】
【氏名】ジャンバート カール
(72)【発明者】
【氏名】シャルマ アンキット
(72)【発明者】
【氏名】チョウダリー リシャブー
(57)【要約】      (修正有)
【課題】衝突回避を補助するための危険な状況の早期警告を提供する。
【解決手段】機器は交差点に位置し、地上交通エンティティまたは交差点付近における地上交通エンティティを監視するように配向されたセンサーからデータを受信する。無線通信デバイスが、交差点における危険な状況または交差点付近における危険な状況に関する警告を、地上交通エンティティのうちの1つのデバイスに送信する。現時点における交差点における地上交通エンティティまたは交差点付近における地上交通エンティティの挙動を予測し得る機械学習モデルが記憶される。センサーから受信された現在の動作データが、地上交通エンティティの切迫した挙動を予測するために、機械学習モデルに適用される。無線通信デバイスが、地上交通エンティティのうちの1つのデバイスに危険な状況に関する警告を送信する。
【選択図】図6
【特許請求の範囲】
【請求項1】
横断歩道内のエリアおよび横断歩道の近くのエリアを監視するために、道路を横断する前記横断歩道の近傍に位置する電子的なセンサーを使用することであって、前記電子的なセンサーが、前記横断歩道内にいる被害を受け得る車道ユーザーまたは前記横断歩道の近くにいる被害を受け得る車道ユーザーに関する動作データを生成し、前記動作データが、前記被害を受け得る車道ユーザーの位置と方向とを含む、使用することと、
前記被害を受け得る車道ユーザーのうちの1の前記被害を受け得る車道ユーザーが前記横断歩道内の前記道路または前記横断歩道の近くの前記道路に入ろうとしていることの予測を行うために、前記横断歩道の近傍に位置する機器において動作する機械学習モデルに、生成された前記動作データを適用することであって、前記予測が、前記被害を受け得る車道ユーザーが前記横断歩道内の前記道路または前記横断歩道の近くの前記道路に入る前に行われ、前記機械学習モデルが、前記横断歩道の近傍において生成された動作データであって、以前に前記横断歩道内にいた、または前記横断歩道の近くにいた被害を受け得る車道ユーザーの意図または挙動を示す前記動作データを使用して訓練されたものであり、前記動作データが、位置、速度、加速度、および配向を含む、適用することと、
前記被害を受け得る車道ユーザーが前記横断歩道内の前記道路または前記横断歩道の近くの前記道路に入る前に、前記被害を受け得る車道ユーザーに関連したデバイスと、前記道路上の前記横断歩道に接近している他の地上交通エンティティに関連したデバイスと、前記被害を受け得る車道ユーザーまたは運転手に警報を出すように構成された道路標識とのうちの少なくとも1つに、警告を送信することと、
を含む、方法。
【請求項2】
前記被害を受け得る車道ユーザーが、歩行者、動物、またはサイクリストを含む、
請求項1に記載の方法。
【請求項3】
前記被害を受け得る車道ユーザーに関連した前記デバイスが、スマートウォッチもしくは他の装着型装置、スマートフォン、または別のモバイルデバイスを含む、
請求項1に記載の方法。
【請求項4】
前記他の地上交通エンティティが、モーター駆動式車両を含む、
請求項1に記載の方法。
【請求項5】
前記他の地上交通エンティティに関連した前記デバイスが、スマートフォンまたは別のモバイルデバイスを含む、
請求項1に記載の方法。
【請求項6】
前記機械学習モデルが、インターネットを通してリモートサーバーにより前記横断歩道の近傍に位置する前記機器に提供される、
請求項1に記載の方法。
【請求項7】
前記機械学習モデルが、前記横断歩道の近傍に位置する前記機器において生成される、
請求項1に記載の方法。
【請求項8】
前記横断歩道の近傍に位置する前記センサーにより生成された動作データを使用して前記機械学習モデルを訓練することを含む、
請求項1に記載の方法。
【請求項9】
前記機械学習モデルを訓練することにおける使用のために、サーバーに、前記横断歩道の近傍に位置する前記センサーにより生成された動作データを送信することを含む、
請求項1に記載の方法。
【請求項10】
前記横断歩道の近傍における対応するゾーンに基づいて、前記横断歩道の近傍に位置する前記センサーにより生成された前記動作データをセグメント分けすることを含む、
請求項1に記載の方法。
【請求項11】
前記被害を受け得る車道ユーザーの物理的性質を表す動作関連データを生成するために、前記電子的なセンサーを使用することを含む、
請求項1に記載の方法。
【請求項12】
前記センサーにより生成された動作データから、前記被害を受け得る車道ユーザーに関する軌道情報を導出することを含む、
請求項1に記載の方法。
【請求項13】
交通網の平面交差点に位置する機器を備える装置であって、
前記平面交差点が、道路の交差点、横断歩道、および鉄道線路を含み、
前記機器が、
前記平面交差点における道路車両および歩行者または前記平面交差点付近における道路車両および歩行者を監視するように配向されたセンサーからデータを受信することと、前記道路上の信号および前記鉄道線路上の信号に対するフェーズおよびタイミングデータを受信することとをする入力と、
前記平面交差点における危険な状況または前記平面交差点付近における危険な状況に関する警告を、地上交通エンティティ、歩行者、または前記鉄道線路上の鉄道車両のうちの1つのデバイスに送信する無線通信デバイスと、
プロセッサと、
ストレージと、
を備え、
前記ストレージが、
現時点における前記平面交差点における地上交通エンティティまたは前記平面交差点付近における地上交通エンティティの挙動を予測することができる機械学習モデルを記憶することであって、前記機械学習モデルが、前記交差点における道路車両および歩行者、または、前記交差点付近における道路車両および歩行者の以前の動作および関連する挙動に関する訓練データと、前記道路上の信号および前記鉄道線路上の信号に対する以前のフェーズおよびタイミングデータとに基づいている、記憶することと、
前記平面交差点における道路車両および歩行者または前記平面交差点付近における道路車両および歩行者に関する、前記センサーから受信された現在の動作データと、前記道路上の信号および前記鉄道線路上の信号に対する現在のフェーズおよびタイミングデータとを、前記道路車両および前記歩行者の切迫した挙動を予測するために、前記機械学習モデルに適用することと、
予測された前記切迫した挙動から、前記交差点における前記鉄道線路上の鉄道車両、または、前記交差点付近における前記鉄道線路上の鉄道車両に対する切迫した危険な状況を推測することと、
前記道路車両、前記歩行者、および前記鉄道車両のうちの少なくとも1つのデバイスに、前記危険な状況に関する前記警告を送信することを前記無線通信デバイスにさせることと、
をするための、前記プロセッサにより実行可能な命令のための前記ストレージである、
装置。
【請求項14】
前記警告が、前記鉄道車両の車載機器に送信される、
請求項13に記載の装置。
【請求項15】
前記鉄道線路が、分離された鉄道用地にある、
請求項13に記載の装置。
【請求項16】
前記鉄道線路が、分離された鉄道用地にあるのではない、
請求項13に記載の装置。
【請求項17】
前記機器が、道路沿いの機器を含む、
請求項13に記載の装置。
【請求項18】
前記平面交差点における前記地上交通エンティティ、前記歩行者、または前記鉄道車両、または、前記平面交差点付近における前記地上交通エンティティ、前記歩行者、または前記鉄道車両のうちの任意のものによる受信のための前記警告をブロードキャストすることにより、前記警告が送信される、
請求項13に記載の装置。
【請求項19】
前記切迫した危険な状況が、衝突またはニアミスを含む、
請求項13に記載の装置。
【請求項20】
地上交通網における運転されている道路車両または歩行している歩行者の位置および動作を表す、インフラストラクチャーセンサーからのデータを受信することと、
前記道路車両および前記歩行者の状態に関する、基本的な安全メッセージまたは仮想的な基本的な安全メッセージと個人用安全メッセージと仮想的な個人用安全メッセージとにおけるデータを受信することであって、前記基本的な安全メッセージと前記仮想的な基本的な安全メッセージと前記個人用安全メッセージと前記仮想的な個人用安全メッセージとが、前記道路車両または前記歩行者に関する位置、進行方向、および速度情報を含み、前記基本的な安全メッセージと前記個人用安全メッセージとが、前記道路車両または前記歩行者から受信され、前記仮想的な基本的な安全メッセージと前記仮想的な個人用安全メッセージとが、前記インフラストラクチャーセンサーから受信された前記データから再構成された前記道路車両と前記歩行者とに関する位置、進行方向、および速度情報を含む、受信することと、
前記道路車両または前記歩行者のうちの1つの危険な運転または歩行挙動を識別するために、訓練された機械学習モデルに、前記インフラストラクチャーセンサーから受信された前記データを、および、前記基本的な安全メッセージと前記仮想的な基本的な安全メッセージと前記個人用安全メッセージと前記仮想的な個人用安全メッセージとからのデータを適用することと、
当局に、前記危険な運転または歩行挙動を自動的に報告することと、
を含む、方法。
【請求項21】
プレートナンバー認識に基づいて前記道路車両を識別することを含む、
請求項20に記載の方法。
【請求項22】
バイオメトリック認識に基づいて前記歩行者を識別することを含む、
請求項20に記載の方法。
【請求項23】
ソーシャルネットワーキングに基づいて前記道路車両または前記歩行者を識別することを含む、
請求項20に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、2018年5月31日に出願された米国特許出願第15/994,568号、2018年5月31日に出願された第15/994,826号、2018年5月31日に出願された第15/994,702号、2018年5月31日に出願された第15/994,915号、2018年12月17日に出願された第16/222,536号、2018年5月31日に出願された第15/994,850号の出願日の利益を享受する権利があり、上記出願のすべてが2018年3月19日に出願された米国仮特許出願62/644,725に基づく優先権および利益を主張し、上記文献の全内容が参照により本明細書に組み込まれる。
【背景技術】
【0002】
本説明は、早期警告および衝突回避に関する。
【0003】
衝突回避システムが増えてきている。Kingら(米国特許出願公開第2007/0276600(A1)号、2007)は、例えば、進行方向および速度に基づいて交差点において2つの車両が衝突しようとしているか否かを予測するために、交差点の前にセンサーを配置すること、および、物理学ベースの判断ルールを適用することについて説明した。
【0004】
Aoudeら(米国特許第9,129,519(B2)号、2015、同文献の全内容が参照により本明細書に組み込まれる)では、交差点における交通状況における違反の予測および防止を可能にするために、運転手の挙動が監視され、およびモデル化される。
【発明の概要】
【発明が解決しようとする課題】
【0005】
衝突回避は、地上交通における損傷および死亡、および資産に対する主な防御策である。危険な状況の早期警告を提供することは、衝突回避を補助することとなる。
【課題を解決するための手段】
【0006】
概して、一態様において、機器は、交通網の交差点に位置する。機器は、交差点において、または、交差点付近において地上交通エンティティを監視するように配向されたセンサーからデータを受信する入力を含む。無線通信デバイスは、交差点における危険な状況または交差点付近における危険な状況に関する警告を、地上交通エンティティのうちの1つのデバイスに送信し、および、プロセッサと、以下のものを含む動作を実施するための、プロセッサにより実行可能な命令のためのストレージとが存在する。現時点における交差点における地上交通エンティティまたは交差点付近における地上交通エンティティの挙動を予測することができる機械学習モデルが記憶される。機械学習モデルは、交差点における地上交通エンティティまたは交差点付近における地上交通エンティティの以前の動作と関連する挙動とに関する訓練データに基づいている。交差点における地上交通エンティティまたは交差点付近における地上交通エンティティに関する、センサーから受信された現在の動作データは、地上交通エンティティの切迫した挙動を予測するために機械学習モデルに適用される。交差点における地上交通エンティティまたは交差点付近における地上交通エンティティのうちの1つまたは複数に対する切迫した危険な状況は、予測された切迫した挙動から推測される。無線通信デバイスは、地上交通エンティティのうちの1つのデバイスに危険な状況に関する警告を送信する。
【0007】
実施態様は、以下の特徴のうちののうちの1つ、または2つ以上の組み合わせを含み得る。無線通信デバイスは、標識または他のインフラストラクチャー提示デバイスに危険な状況に関する警告を送信する。警告は、特定の地上交通エンティティを制御することが可能な命令またはコマンドを含む。機器は、道路沿いの機器を包含する。機器のためのハウジングが存在し、センサーがハウジングに装着される。交差点における地上交通エンティティまたは交差点付近における地上交通エンティティのうちの任意のものによる受信のための警告をブロードキャストすることにより、警告が送信される。機械学習モデルは、人工知能モデルを包含する。訓練データおよび動作データは、速度、位置、または進行方向のうちの少なくとも1つを包含する。訓練データおよび動作データは、意図、姿勢、見ている方向、または例えばグループ内での他の被害を受け得る道路ユーザーとの対話を更に包含し得る。プロセッサは、機器において機械学習モデルを生成することを可能にするように構成される。訓練データは、機器に記憶される。交差点は、信号機の無い交差点を包含する。交差点は、信号機付き交差点を包含する。交通網は、道路網を包含する。地上交通エンティティは、被害を受け得る道路ユーザーを包含する。地上交通エンティティは、車両を包含する。切迫した危険な状況は、衝突またはニアミスを包含する。地上交通エンティティは、横断歩道において道路を横断している歩行者を包含する。中央サーバーと通信する別の通信デバイスが存在する。地上交通エンティティのうちの1つのデバイスは、モバイル通信デバイスを包含する。
【0008】
概して、一態様において、機器は、交通網の交差点に位置する。機器は、交差点における地上交通エンティティまたは交差点付近における地上交通エンティティを監視するように配向されたセンサーからデータを受信する入力を含む。無線通信デバイスは、交差点における危険な状況または交差点付近における危険な状況に関する警告を、地上交通エンティティのうちの1つのデバイスに送信する。プロセッサと、現時点における交差点における地上交通エンティティまたは交差点付近における地上交通エンティティの挙動を予測することができる機械学習モデルを記憶するための、プロセッサにより実行可能な命令のためのストレージとが存在する。機械学習モデルは、交差点における地上交通エンティティまたは交差点付近における地上交通エンティティの以前の動作と関連する挙動とに関する訓練データに基づいている。交差点における地上交通エンティティまたは交差点付近における地上交通エンティティに関する、センサーから受信された現在の動作データは、関連するデバイス(地上交通エンティティのデバイス)が無線通信デバイスから警告を受信することができない地上交通エンティティを含む、地上交通エンティティの切迫した挙動を予測するために、機械学習モデルに適用される。関連するデバイス(地上交通エンティティのデバイス)が無線通信デバイスから警告を受信し得る地上交通エンティティに対する切迫した危険な状況が推測される。切迫した危険な状況は、警告を受信することができない地上交通エンティティの予測された切迫した挙動の結果である。危険な状況に関する警告は、無線通信デバイスから警告を受信し得る地上交通エンティティのデバイスに送信される。
【0009】
実施態様は、以下の特徴のうちの1つ、または2つ以上の組み合わせを含み得る。機器は、道路沿いの機器を包含する。機器のためのハウジングが存在し、センサーがハウジングに装着される。警告を受信し得る交差点における地上交通エンティティまたは交差点付近における地上交通エンティティのうちの任意のものによる受信のための警告をブロードキャストすることにより、警告が送信される。機械学習モデルは、人工知能モデルを包含する。交差点は、信号機の無い交差点を包含する。交差点は、信号機付き交差点を包含する。交通網は、道路網を包含する。地上交通エンティティは、被害を受け得る道路ユーザーを包含する。地上交通エンティティは、車両を包含する。切迫した危険な状況は、衝突を包含する。関連するデバイスが無線通信デバイスから警告を受信することができない地上交通エンティティは、車両を包含する。関連するデバイスが無線通信デバイスから警告を受信し得る地上交通エンティティは、横断歩道において道路を横断する歩行者を包含する。中央サーバーと通信する別の通信デバイスが存在する。地上交通エンティティのうちの1つのデバイスは、モバイル通信デバイスを包含する。
【0010】
概して、一態様において、地上交通網内を移動する道路車両において、他の地上交通エンティティの位置、動作、および状態に関する外部ソースからのメッセージ、道路および運転状態に関する、および、車両の周辺における静的な物体および動く地上交通エンティティの位置に関する、車載センサーからのデータ、道路車両の運転手による運転の質に関するデータ、および、他の地上交通エンティティからの基本的な安全メッセージおよび被害を受け得る道路ユーザーからの個人用安全メッセージを含むメッセージおよびデータが受信される。受信されたデータおよびメッセージは融合され、道路車両の運転手の、または、被害を受け得る道路ユーザーの行動、または、道路車両に対する衝突リスク、またはその両方を予測するために、人工知能モデルに適用される。
【0011】
実施態様は、以下の特徴のうちの1つ、または2つ以上の組み合わせを含んでよい。道路車両は、道路車両の近傍における静的な物体および動く地上交通エンティティのマップを生成する。道路車両の運転手は、衝突リスクについて警報を受ける。衝突リスクは、近くの他の動く地上交通エンティティの予測された軌道の確率に基づいて特定される。基本的な安全メッセージおよび個人用安全メッセージは、道路車両の運転手に提供される警報の数を減らすようにフィルタ処理される。
【0012】
概して、一態様において、道路を横断する横断歩道の近傍に位置する電子的なセンサーが、横断歩道内のエリアまたは横断歩道の近くのエリアを監視するために使用される。電子的なセンサーは、横断歩道内にいる被害を受け得る車道ユーザーまたは横断歩道の近くにいる被害を受け得る車道ユーザーに関する動作データを生成する。生成された動作データは、被害を受け得る車道ユーザーのうちの1の被害を受け得る車道ユーザーが横断歩道に入ろうとしていることを予測するために、横断歩道の近傍に位置する機器において動作する機械学習モデルに適用される。被害を受け得る車道ユーザーが横断歩道に入る前に、警告が、被害を受け得る車道ユーザーに関連したデバイス、または、道路上の横断歩道に接近している別の地上交通エンティティに関連したデバイスのうちの少なくとも1つに無線により送信される。
【0013】
実施態様は、以下の特徴のうちの1つ、または2つ以上の組み合わせを含んでよい。機器は、道路沿いの機器を包含する。被害を受け得る車道ユーザーは、歩行者、動物、またはサイクリストを包含する。被害を受け得る車道ユーザーに関連したデバイスは、スマートウォッチもしくは他の装着型装置、スマートフォン、または別のモバイルデバイスを包含する。他の地上交通エンティティは、モーター駆動式車両を包含する。他の地上交通エンティティに関連したデバイスは、スマートフォンまたは別のモバイルデバイスを包含する。機械学習モデルは、インターネットを通してリモートサーバーにより横断歩道の近傍に位置する機器に提供される。機械学習モデルは、横断歩道の近傍に位置する機器において生成される。機械学習モデルは、横断歩道の近傍に位置するセンサーにより生成された動作データを使用して訓練される。横断歩道の近傍に位置するセンサーにより生成された動作データは、機械学習モデルを訓練することにおける使用のためにサーバーに送信される。横断歩道の近傍に位置するセンサーにより生成された動作データは、横断歩道の近傍における対応するゾーンに基づいてセグメント分けされる。電子的なセンサーは、被害を受け得る道路ユーザーの物理的性質を表す動作関連データを生成するために使用される。被害を受け得る道路ユーザーに関する軌道情報は、センサーにより生成された動作データから導出される。
【0014】
概して、一態様において、地上交通網の交差点と交差点への進入路とを監視するために、交差点の近傍に位置する電子的なセンサーが使用される。電子的なセンサーは、進入路において動く地上交通エンティティまたは交差点において動く地上交通エンティティに関する動作データを生成する。地上交通エンティティのうちの1つまたは複数は、交差点の近傍における他の地上交通エンティティに基本的な安全メッセージを送信することができない。電子的なセンサーにより生成された動作データに基づいて、仮想的な基本的な安全メッセージがメッセージを受信することが可能な地上交通エンティティのうちの1つまたは複数に送信される。仮想的な基本的な安全メッセージは、基本的な安全メッセージを送信することができない地上交通エンティティのうちの1つまたは複数に関する情報を組み込む。仮想的な基本的な安全メッセージの各々における組み込まれた情報は、基本的な安全メッセージを送信することができない地上交通エンティティのうちの1つの位置と進行方向と速度と予測された将来の軌道とのうちの少なくとも1つを含む。
【0015】
実施態様は、以下の特徴のうちの1つ、または2つ以上の組み合わせを含んでよい。機器は、道路沿いの機器を包含する。組み込まれた情報は、地上交通エンティティが基本的な安全メッセージを送信することが可能であると仮定した場合に地上交通エンティティにより生成される基本的な安全メッセージに組み込まれる情報の部分集合を含む。生成された動作データは、基本的な安全メッセージを送信することができない地上交通エンティティの軌道を予測するために、交差点の近傍に位置する機器において動作する機械学習モデルに適用される。地上交通エンティティのうちの1つは、モーター駆動式車両を包含する。機械学習モデルは、インターネットを通してリモートサーバーにより交差点の近傍に位置する機器に提供される。機械学習モデルは、交差点の近傍に位置する機器において生成される。機械学習モデルは、交差点の近傍に位置するセンサーにより生成された動作データを使用して訓練される。交差点の近傍に位置するセンサーにより生成された動作データは、機械学習モデルを訓練することにおける使用のためにサーバーに送信される。
【0016】
概して、一態様において、地上交通網の交差点と交差点への進入路とを監視するために、交差点の近傍に位置する電子的なセンサーが使用される。電子的なセンサーは、進入路において動く地上交通エンティティまたは交差点において動く地上交通エンティティに関する動作データを生成する。別個の仮想ゾーンが交差点および交差点への進入路において規定される。生成された動作データが関連する対応する仮想ゾーンに従って、動作データがセグメント分けされる。生成された動作データは、それぞれのセグメントの各々に対して、地上交通エンティティのうちの1つまたは複数を伴う、交差点、または、進入路のうちの1つにおける切迫した危険な状況を予測するために、交差点の近傍に位置する機器において動作する機械学習モデルに適用される。切迫した危険な状況が実際の危険な状況になる前に、関与する地上交通エンティティのうちの少なくとも1つの地上交通エンティティに関連したデバイスに、警告が無線により送信される。
【0017】
実施態様は、以下の特徴のうちの1つ、または2つ以上の組み合わせを含んでよい。機器は、道路沿いの機器を包含する。地上交通エンティティの各々に関連したデバイスは、装着型装置、スマートフォン、または別のモバイルデバイスを包含する。地上交通エンティティのうちの1つは、モーター駆動式車両を包含する。機械学習モデルは、インターネットを通してリモートサーバーにより交差点の近傍に位置する機器に提供される。機械学習モデルは、交差点の近傍に位置する機器において生成される。機械学習モデルは、交差点の近傍に位置するセンサーにより生成された動作データを使用して訓練される。交差点の近傍に位置するセンサーにより生成された動作データは、機械学習モデルを訓練することにおける使用のためにサーバーに送信される。電子的なセンサーは、交差点への進入路のうちの1つを横断する横断歩道内のエリアまたは横断歩道の近くのエリアを監視するために使用される。電子的なセンサーは、横断歩道の近傍における被害を受け得る道路ユーザーの物理的性質を表す動作関連データを生成するために使用される。被害を受け得る道路ユーザーに関する軌道情報は、センサーにより生成された動作データから導出される。交差点への進入路の各々に対して機械学習モデルが存在する。別の近くの交差点に関連したセンサーにより生成された動作データに更に基づく警告を送信するか否かの判定がなされる。進入路において動く地上交通エンティティまたは交差点において動く地上交通エンティティから受信された情報に更に基づく警告を送信するか否かの判定がなされる。交差点が信号機付きであり、信号の状態に関する情報が受信される。交差点は信号機付きではなく、1つまたは複数の標識により制御される。規定の仮想ゾーンは、標識により制御される1つまたは複数の進入路を包含する。標識は、一時停止の標識または譲れの標識を包含する。地上交通エンティティのうちの1つは、鉄道車両を包含する。
【0018】
概して、一態様において、機器は、地上交通エンティティ内に、または地上交通エンティティ上に位置する。機器は、地上交通エンティティ内の、または地上交通エンティティ上のセンサーであって、地上交通網の近くの特徴を監視するように配向されたセンサーからのデータと、地上交通エンティティが地上交通網を横断しているコンテキストに関する他の情報とを受信する入力を含む。無線通信デバイスは、本コンテキストに関する情報を受信する。信号プロセッサは、センサーからのデータと、本コンテキストに関する他の情報とに信号処理を適用する。プロセッサと、以下のこと、すなわち、地上交通エンティティのオペレーターの挙動と近傍における他の地上交通エンティティの意図および動きとを予測することができる機械学習モデルを記憶することと、オペレーターの挙動と近傍における他の地上交通エンティティの意図および動きとを予測するために、センサーからの現在の受信されたデータとコンテキストに関する他の情報とを適用することとを含む動作を実施するための、プロセッサにより実行可能な命令のためのストレージとが存在する。
【0019】
実施態様は、以下の特徴のうちの1つ、または2つ以上の組み合わせを含んでよい。機器は、道路沿いの機器を包含する。命令は、地上交通エンティティのユーザーまたは乗っている人を監視するためにプロセッサにより実行可能である。コンテキストに関する他の情報は、緊急放送、道路沿いの機器の交通および安全メッセージ、および、他の地上交通エンティティからの安全、位置、および他の動作情報に関するメッセージを包含する。センサーは、カメラ、距離センサー、振動センサー、マイクロホン、座席センサー、炭化水素センサー、揮発性有機化合物および他の有毒物質のセンサー、および運動学的センサー、または、それらの組み合わせを包含する。命令は、現在位置と、環境条件と、運転手の挙動と、車両の調子およびステータスと、運動学(kinematics)とにおいてどの警報が重要であるかを予測するために、機械学習モデルに警報を適用することにより、車両が受信する受信された警報をフィルタ処理するために、プロセッサにより実行可能である。
【0020】
概して、一態様において、動作データは、交通網において動く接続されていない地上交通エンティティに対して獲得される。接続されていない地上交通エンティティに対する動作データに関する情報を組み込んだ仮想安全メッセージが、接続されていない地上交通エンティティの近傍における接続された地上交通エンティティに送信される。
【0021】
実施態様は、以下の特徴のうちの1つ、または2つ以上の組み合わせを含んでよい。仮想安全メッセージは、接続されていない地上交通エンティティが接続されていると仮定した場合に接続されていない地上交通エンティティにより送信される安全メッセージの代わりである。接続されていない地上交通エンティティは、車両を包含し、仮想安全メッセージは、基本的な安全メッセージの代わりである。接続されていない地上交通エンティティは、被害を受け得る道路ユーザーを包含し、仮想安全メッセージが、個人用安全メッセージの代わりである。動作データは、インフラストラクチャーセンサーにより検出される。
【0022】
概して、一態様において、交通網の交差点に位置する機器は、交差点における地上交通エンティティまたは交差点付近における地上交通エンティティを監視するように配向されたセンサーからデータを受信するための入力を含む。センサーの各々からのデータが、地上交通エンティティのうちの少なくとも1つの地上交通エンティティの少なくとも1つの位置または動作パラメータを表す。センサーの各々からのデータは、ネイティブなフォーマットにより表される。センサーのうちの少なくとも2つから受信されたデータが、位置または動作パラメータに関して、またはネイティブなフォーマットに関して、またはその両方に関して一致しない。センサーの各々からのデータを、センサーのデータのネイティブなフォーマットから独立した共通フォーマットをもつデータに変換するための、プロセッサにより実行可能な命令のためのストレージが存在する。共通フォーマットをもつデータが、交差点において、または、交差点付近において監視されている地上交通エンティティのグローバルな統合的表現に組み込まれる。グローバルな統合的表現は、地上交通エンティティの各々の位置、速度、および進行方向を包含する。地上交通エンティティのうちの2つの地上交通エンティティの位置および動作の関連性が、グローバルな統合的表現を使用して特定される。2つの地上交通エンティティに関わる危険な状況が予測され、危険な状況について2つの地上交通エンティティのうちの少なくとも1つの地上交通エンティティに警報を出すメッセージが、2つの地上交通エンティティのうちのその少なくとも1つの地上交通エンティティに送信される。
【0023】
実施態様は、以下の特徴のうちの1つ、または2つ以上の組み合わせを含んでよい。センサーは、レーダー、ライダー、およびカメラのうちの少なくとも2つを包含する。センサーのうちの1つから受信されたデータは、連続した瞬間における視野の画像データを包含する。センサーのうちの1つから受信されたデータは、3D空間における反射点を包含する。センサーのうちの1つから受信されたデータは、センサーからの距離、および速度を包含する。グローバルな統合的表現は、共通基準座標系における地上交通エンティティの位置を表す。2つのセンサーであって、そのセンサーからデータが受信される、その2つのセンサーが、交差点における固定位置または交差点付近における固定位置に備え付けられ、および、少なくとも部分的に重ならない視野をもつ。センサーのうちの1つがレーダーを含み、データの変換が、レーダーの知られた位置からの地上交通エンティティの位置と、レーダーから地上交通エンティティまでの距離とを特定することを含む。センサーのうちの1つがカメラを含み、データの変換が、知られた位置からの地上交通エンティティの位置、視野方向、およびカメラのチルト、および、カメラの画像フレーム内における地上交通エンティティの位置を特定することを含む。
【0024】
概して、一態様において、機器は、道路の交差点、横断歩道、および鉄道線路を含む交通網の平面交差点に位置する。機器は平面交差点における道路車両および歩行者または平面交差点付近における道路車両および歩行者を監視するように配向されたセンサーからデータを受信するための、および、道路上の、および鉄道線路上の信号に対するフェーズおよびタイミングデータを受信するための入力を含む。無線通信デバイスは、地上交通エンティティ、歩行者、または鉄道線路上の鉄道車両のうちの1つのデバイスに、平面交差点における危険な状況または平面交差点付近における危険な状況に関する警告を送信するために含まれる。現時点における平面交差点における地上交通エンティティまたは平面交差点付近における地上交通エンティティの挙動を予測することができる機械学習モデルを記憶するためのプロセッサにより実行可能な命令のためのストレージが存在する。機械学習モデルは、交差点における道路車両および歩行者、または、交差点付近における道路車両および歩行者の以前の動作と関連する挙動とに関する訓練データに基づく。平面交差点における道路車両および歩行者または平面交差点付近における道路車両および歩行者に関する、センサーから受信された現在の動作データは、道路車両および歩行者の切迫した挙動を予測するために機械学習モデルに適用される。交差点における鉄道線路上の鉄道車両、または、交差点付近における鉄道線路上の鉄道車両に対する切迫した危険な状況は、予測された切迫した挙動から推測される。無線通信デバイスは、道路車両、歩行者、および鉄道車両のうちの少なくとも1つのデバイスに危険な状況に関する警告を送信させられる。
【0025】
実施態様は、以下の特徴のうちの1つ、または2つ以上の組み合わせを含んでよい。警告は、鉄道車両の車載機器に送信される。鉄道線路は、分離された鉄道用地にある。鉄道線路は、分離された鉄道用地にあるのではない。機器は、道路沿いの機器を包含する。平面交差点における地上交通エンティティ、歩行者、または鉄道車両、または、平面交差点付近における地上交通エンティティ、歩行者、または鉄道車両のうちの任意のものによる受信のための警告をブロードキャストすることにより、警告が送信される。切迫した危険な状況は衝突またはニアミスを包含する。
【0026】
概して、一態様において、地上交通網において運転されている道路車両または歩行している歩行者の位置および動作を表すデータが、インフラストラクチャーセンサーから受信される。データは、仮想的な基本的な安全メッセージ、および、道路車両および歩行者の状態に関する仮想的な個人用安全メッセージにおいて受信される。受信されたデータは、道路車両または歩行者のうちの1つの危険な運転または歩行挙動を識別するために訓練される機械学習モデルに適用される。危険な運転または歩行挙動は当局に報告される。
【0027】
実施態様は、以下の特徴のうちの1つ、または2つ以上の組み合わせを含んでよい。道路車両は、プレートナンバー認識に基づいて識別される。歩行者は、バイオメトリック認識に基づいて識別される。道路車両または歩行者は、ソーシャルネットワーキングに基づいて識別される。
【0028】
これらの態様および他の態様、特徴、および実施態様は、方法、装置、システム、コンポーネント、プログラムプロダクト、ビジネスを行う方法、機能を実施するための手段またはステップ、および他の手法として表され得る。
【0029】
これらの態様および他の態様、特徴、および実施態様は、請求項を含む以下の説明から明らかとなる。
【図面の簡単な説明】
【0030】
図1】ブロック図である。
図2】ブロック図である。
図3】ブロック図である。
図4】上方からの道路網の概略図である。
図5】上方からの道路網の概略図である。
図6】交差点の注釈付き斜視図である。
図7】交差点の注釈付き斜視図である。
図8】上方からの道路網の概略図である。
図9】上方からの道路網の概略図である。
図10】上方からの道路網の概略図である。
図11】上方からの道路網の概略図である。
図12】道路網の概略側面図である。
図13】上方からの道路網の概略図である。
図14】上方からの道路網の概略図である。
図15】ブロック図である。
図16】道路網の概略斜視図である。
図17】上方からの道路網の概略図である。
図18】上方からの道路網の概略図である。
【発明を実施するための形態】
【0031】
センサー技術およびコンピュータの進歩に伴って、危険な状況を予測すること(および、危険な状況の早期警告を提供すること)、および、そのようにして、地上交通の実施において地上交通エンティティの衝突およびニアミスを防ぐこと(すなわち、衝突回避を可能にすること)が実現可能となった。
【0032】
本明細書では、例えば、地球の表面上における陸上または水への接触を伴って場所を変えて動くことの任意のモードまたは媒体、例えば、歩行すること、または走ること(または、他の歩行行動を行うこと)、非モーター駆動式車両、モーター駆動式車両(自律、半自律、および非自律)、および鉄道車両を包含するように、「地上交通」という用語が広く使用される。
【0033】
本明細書では、例えば、地上交通のモードに関わっている人または離散したモーター駆動式または非モーター駆動式車両、例えば、他にもあり得るが、歩行者、自転車ライダー、ボート、自動車、トラック、トラム、路面電車、または列車を包含するように、「地上交通エンティティ」(または、場合によっては単に「エンティティ」)という用語が広く使用される。場合によっては、本明細書では、地上交通エンティティに対する簡潔な参照として「車両」または「道路ユーザー」という用語が使用される。
【0034】
本明細書では、例えば、切迫した財産の損傷または人体損傷または死をもたらし得る、および、低減可能であり得る、または回避可能であり得る、任意のイベント、発生、シーケンス、コンテキスト、または他の状況を包含するように、広く「危険な状況」という用語が使用される。本明細書では場合によっては、「危険な状況」と置換可能に「危険」という用語が使用される。本明細書では場合によっては、危険な状況をもたらす、危険な状況につながり得る、または危険な状況につながるであろうエンティティの挙動に対して、「違反」または「違反する」という語句が使用される。
【0035】
本明細書において議論される技術の幾つかの実施態様において、地上交通網は、交通コネクティビティをもたない、または、交通コネクティビティを使用しない地上交通エンティティと、交通コネクティビティを確かにもつ、および交通コネクティビティを使用する地上交通エンティティとの混ざったものにより使用される。
【0036】
本明細書では、例えば、(a)地上交通エンティティの周辺環境、地上交通エンティティの近傍における他の地上交通エンティティ、および、地上交通エンティティに関連した交通状況の知識情報を認識するための、および、その知識情報に基づいて行動するための、(b)地上交通エンティティの状態に関するデータをブロードキャストする、または別様に送信するための、または、(c)(a)と(b)との両方をするための、地上交通エンティティの任意の能力を包含するように、「コネクティビティ」という用語が広く使用される。送信されるデータは、その位置、進行方向、速度、または、交通状況に関連したそのコンポーネントの内部状態を包含し得る。幾つかの例において、地上交通エンティティの認識は、地上交通エンティティの動作に関連した他の地上交通エンティティまたは交通状況に関する無線により受信されたデータに基づく。受信されたデータは、他の地上交通エンティティに由来し、またはインフラストラクチャーデバイスに由来し、またはその両方に由来し得る。典型的には、コネクティビティは、リアルタイムで、または実質的にリアルタイムで、または、地上交通エンティティのうちの1つまたは複数が交通状況においてデータに基づいて行動するのに間に合うように、データを送信または受信することを伴う。
【0037】
本明細書では、2つ以上の地上交通エンティティが互いの近傍において動作する任意の状況、および、エンティティの各々の動作またはステータスが他のものの動作またはステータスに影響を与え得る、または関連し得る任意の状況を包含するように、「交通状況」という用語が広く使用される。
【0038】
本明細書では場合によっては、コネクティビティまたはコネクティビティの態様をもたない、または、コネクティビティまたはコネクティビティの態様を使用しない地上交通エンティティを、「接続されていない地上交通エンティティ」または単に「接続されていないエンティティ」と呼ぶ。本明細書では場合によっては、コネクティビティまたはコネクティビティの態様をもつ、および、コネクティビティまたはコネクティビティの態様を使用している地上交通エンティティを、「接続された地上交通エンティティ」または単に「接続されたエンティティ」と呼ぶ。
【0039】
本明細書では場合によっては、地上交通エンティティの環境に、例えば、位置、進行方向、速度、または車載安全システム(例えば、ブレーキ、ライト、およびワイパー)の状態を包含するデータをブロードキャストする地上交通エンティティを表すために、「連携したエンティティ」という用語が使用される。
【0040】
本明細書では場合によっては、1つまたは複数の種類のデータ、例えば、地上交通エンティティの位置、速度、進行方向、または状態、を地上交通エンティティの環境にブロードキャストしない地上交通エンティティを表すために、「連携していないエンティティ」という用語が使用される。
【0041】
本明細書では場合によっては、例えば、エンティティによるブロードキャストが他の地上交通エンティティまたはインフラストラクチャーデバイスにより受信され得るエリアを包含するように、地上交通エンティティの「近傍」という用語が広く使用される。幾つかの例において、近傍は、エンティティの位置、および、エンティティの周囲における障害物の数および特性に伴って変わる。砂漠における開けた道路を移動するエンティティは、エンティティからのブロードキャスト信号が長距離に到達することを妨げる障害物が存在しないので、非常に広い近傍をもつ。逆に、都市の谷間における近傍は、エンティティの周囲における建物により小さくされる。更に、ブロードケース信号の品質を低下させ、ひいては受信距離(近傍)を短くする電磁ノイズ源が存在し得る。
【0042】
図14に示されるように、道路7005に沿って移動するエンティティ7001の近傍は同心円により表され得、最も外側の円7002が近傍の最も外側の範囲を表す。円7002内に存在する任意の他のエンティティは、エンティティ7001の近傍にある。円7002の外部に位置している任意の他のエンティティは、エンティティ7001の近傍の外部にあり、エンティティ7001によるブロードキャストを受信することができない。エンティティ7001は、その近傍の外部のすべてのエンティティおよびインフラストラクチャーデバイスにとって視認不能である。
【0043】
典型的には、連携したエンティティは、連携したエンティティの状態データを連続的にブロードキャストしている。ブロードキャストしているエンティティの近傍における接続されたエンティティは、これらのブロードキャストを受信することができ、受信されたデータを処理し得、および受信されたデータに基づいて行動し得る。例えば、被害を受け得る道路ユーザーがエンティティ、例えば接近しているトラック、からブロードキャストを受信し得る装着型デバイスを所持している場合、装着型デバイスは、受信されたデータを処理して、道路を横断することがいつ安全であるかを、被害を受け得るユーザーに知らせ得る。ユーザーのデバイスがブロードキャストを受信し得る限り、すなわち、連携したエンティティの近傍内にある限り、この動作は、「スマート」交差点に対する、連携したエンティティまたは被害を受け得るユーザーの位置を考慮せずに発生する。
【0044】
本明細書では、例えば、モーター駆動式車両を使用していない、車道の、または道路網の他の特徴の任意のユーザーを包含するように、「被害を受け得る道路ユーザー」または「被害を受け得る道路ユーザー」という用語が広く使用される。被害を受け得る道路ユーザーがモーター駆動式車両に衝突した場合、被害を受け得る道路ユーザーは、概して、損傷または死または財産の損傷に対して保護されていない。幾つかの例において、被害を受け得る道路ユーザーは、歩いている人、走っている人、自転車に乗っている人、または、被害を受け得る道路ユーザーを、衝突の場合に車両または他の地上交通エンティティによる直接的な物理的な接触のリスクにさらす任意の種類の行動を実施している人であり得る。
【0045】
幾つかの実施態様において、本明細書において説明されている衝突回避技術およびシステム(本明細書では場合によっては単に「システム」と呼ばれる)は、地上交通エンティティ、および、地上交通エンティティの運転手およびオペレーターの動作(例えば、速度、進行方向、および位置)、挙動(例えば高速)、および意図(例えば一時停止の標識に違反しようとしている)を監視、追跡、検出、および予測するために、インフラストラクチャー設備に搭載されたセンサーを使用する。センサーにより提供される情報(「センサーデータ」)は、システムが危険な状況を予測すること、および、エンティティに早期警告を提供して衝突回避の機会を増やすことを可能にする。
【0046】
本明細書では、例えば、危険な状況によりもたらされ得る2つ以上の地上交通エンティティの間の、または、地上交通エンティティと環境における別の物体との間の衝突またはニアミスが防止される任意の状況、または、このような相互作用の機会が減らされる任意の状況を包含するように、「衝突回避」という用語が広く使用される。
【0047】
本明細書では、例えば、危険な状況を識別する、提案する、または何らかの手法により示す、および衝突回避のために有用な情報の、任意の通知、警報、命令、コマンド、ブロードキャスト、送信、または、他の送信または受信を包含するように、「早期警告」という用語が広く使用される。
【0048】
道路の交差点は、危険な状況が発生し得る主な位置である。本明細書において説明される技術は、危険な状況の同時監視、検出、および予測を可能にする、センサー、演算ハードウェアおよびインテリジェンスを含む、インフラストラクチャーデバイスを含む交差点を含み得る。これらのセンサーからのデータは、1つの基準座標系に正規化された後、処理される。交差点への異なる進入路に沿った交通の流れの人工知能モデルが構成される。これらのモデルは、例えば、交通規則に違反する可能性が高いエンティティの役に立つ。本モデルは、実際の違反の前に危険な状況を検出するように構成され、したがって、予測とみなされ得る。危険な状況の予測に基づいて、交差点におけるインフラストラクチャーデバイスから、交差点の近傍におけるすべての接続されたエンティティに、警報が送信される。警報を受信する各エンティティが、警報におけるデータを処理し、および警報フィルタ処理を実施する。警報フィルタ処理は、エンティティに有益ではない警報を破棄または無視する工程である。例えば差し迫った衝突の警報といった警報が有益であるとみなされた(すなわち、フィルタ処理の結果として無視されていない)場合、エンティティが(例えば、ブレーキを適用することにより)警報に自動的に反応し、もしくは、通知が運転者に提示され、または、その両方が行われる。
【0049】
システムは、車道、水路、および鉄道に使用され得るが、これらに限定されない。本明細書では場合によっては、これらの、および他の同様の交通コンテキストを「地上交通網」と呼ぶ。
【0050】
本明細書では多くの場合、交差点に関する文脈におけるシステムについて議論するが、システムは他のコンテキストにも適用され得る。
【0051】
本明細書では、例えば、地上交通網の経路に沿って移動する2つ以上の地上交通エンティティがある時点および位置において同じ位置を占有して衝突を起こし得る道路、レール、水域、または他の移動経路の任意の現実の配置を包含するように、「交差点」という用語が広く使用される。
【0052】
地上交通網を使用する地上交通エンティティは様々な速度で動き、異なる速度および時刻で所与の交差点に到達し得る。交差点からのエンティティの速度および距離が知られている場合、距離を速度で除算すること(いずれも同じ単位系において表される)が、交差点への到達時間を与える。しかし、例えば、交通状態、ルートにおける速度制限、交通信号、および他の因子に起因して意図する速度は変化するので、交差点への想定される到達時間は連続的に変わる。想定される到達時間のこの動的な変化は、100%の信頼性をもって実際の到達時間を予測することを不可能にする。
【0053】
エンティティの動作に影響を与える因子を考慮することは、エンティティの速度および様々な影響因子の間の多数の関連性を適用することを必要とする。エンティティの動作の状態の絶対値は、エンティティから、または外部の位置からそのエンティティを追跡するセンサーにより観測され得る。これらのセンサーにより捕捉されたデータは、エンティティの動作、挙動、および意図のパターンをモデル化するために使用され得る。膨大な量のデータから複雑なモデルを生成するために機械学習が使用され得る。エンティティの運動学を使用して直接モデル化されることができないパターンは、機械学習を使用して捕捉され得る。訓練されたモデルは、特定の点においてエンティティが動こうとしているか、または停止しようとしているかを、それらを追跡するセンサーからのそのエンティティの追跡データを使用することにより予測し得る。
【0054】
言い換えると、センサーデータから直接的に地上交通エンティティに関する情報を検出することに加えて、システムは人工知能および機械学習を使用して、膨大な量のセンサーデータを処理して、例えば、地上交通網の交差点における、このような交差点への進入路における、および地上交通網の横断歩道における、地上交通エンティティの動作、挙動、および意図のパターンを学習する。現在のセンサーデータの直接的な使用に基づいて、および、現在のセンサーデータに人工知能および機械学習を適用した結果に基づいて、システムが、例えば危険な状況の警報といった早期警告を生成し、ひいては衝突回避を補助する。命令またはコマンドの形態をとる早期警告に関連して、コマンドまたは命令は、直接的に車両を制御するために、特定の自律した、または人により運転されるエンティティを対象にし得る。例えば、命令またはコマンドは、人を傷付けようとすることを目的として赤信号で走ろうとしていると判定された悪意のある人により運転されているエンティティを減速または停止させることができる。
【0055】
システムは、その特定の交差点に対する予測をするように、および、警報をブロードキャストしているデバイスの近傍におけるエンティティに警報を送信するように調整され得る。この目的において、システムは、センサーを使用して危険なエンティティに関するデータを導出し、訓練されたモデルを通すようにセンサーからの現在の読み取り値を渡す。したがって、モデルの出力は、危険な状況を予測し、対応する警報をブロードキャストし得る。近傍における接続されたエンティティにより受信された警報は、危険なエンティティに関する情報を含み、結果として、受信側エンティティがその情報を分析して、危険なエンティティにより受信側エンティティにもたらされる脅威を評価し得る。脅威が存在する場合、受信側エンティティは、受信側エンティティ自体により行動を取る(例えば減速する)か、または、視覚、音声、触覚、または任意の種類の感覚刺激に基づいて、人間機械インターフェースを使用して、受信側エンティティの運転手に通知し得る。自律したエンティティは、危険な状況を回避するために、自律したエンティティ自体により行動を取り得る。
【0056】
警報は、更に、セルラーネットワークまたは他のネットワークを通して、警報を受信するように具備された、および歩行者により保有された、携帯電話または他のデバイスに、直接的に送信され得る。システムは、交差点における潜在的な危険なエンティティを識別し、通信ユニットを含む歩行者の個人用デバイスに警報をブロードキャスト(または直接的に送信)する。警報は、例えば、歩行者が横断歩道に入ることを防ぎ、ひいては、潜在的な事故を回避し得る。
【0057】
システムは、更に、歩行者を追跡し、他のエンティティが危険な状況を回避するための行動を取り得るように、歩行者の状態に関連した情報(位置、速度、および他のパラメータ)を他のエンティティにブロードキャストし得る。
【0058】
図1に示されるように、システムは、少なくとも以下の種類のコンポーネントを含む。
【0059】
1.地上交通エンティティ14の動作(例えば、速度、進行方向、および位置)、挙動(例えば高速)、および意図(例えば、一時停止の標識に違反する)を監視、追跡、検出、および予測するためのセンサー12を含むか、または使用する道路沿いの機器(RSE:Roadside Equipment)10。RSEは、更に、データ処理ユニット11およびデータストレージ18を含むか、または使用し得る。地上交通エンティティは、地上交通網のインフラストラクチャー、ならびに、エンティティ自体の状態、運転手の状態、および他の地上交通エンティティの状態に依存した、広範囲の挙動を示す。エンティティの挙動を捕捉するために、RSEは、センサー、他のRSE、OBE、OPE、局所サーバーまたは中央サーバー、および他のデータ処理ユニットから情報を収集する。RSEは、更に、RSEにより受信されたデータを保存し、および、パイプラインにおけるステップのうちの一部またはすべてにおいて、処理されたデータを保存し得る。
【0060】
RSEは、ローカルストレージデバイスまたはリモートストレージにデータを保存し得る。収集されたデータは、既定のロジックを使用して、または、RSEがRSE自体のロジックを自動的に更新し得ることを意味する動的に収集されたデータに基づくロジックを使用して、リアルタイムで処理される。データは、1つの処理ユニットにおいて、または、より高速に結果を取得するために処理ユニットのクラスターにおいて処理され得る。データは、ローカルまたはリモート処理ユニットまたは、処理ユニットのローカルまたはリモートクラスターにおいて処理され得る。RSEは、単純なロジックまたは収集されたデータ上で訓練された高度なモデルを使用し得る。モデルは、ローカル的に、またはリモート的に訓練され得る。
【0061】
RSEは、外れ値をフィルタ処理するように、訓練されたモデルを使用する前に、データを前処理し得る。センサーにおけるノイズ、または反射に起因して、または、何らかの他のアーティファクトに起因して、外れ値が現れ得る。結果として得られる外れ値は、RSE全体のパフォーマンスに影響を与え得る誤警報をもたらし得る。ろ過方法(filtration method)は、RSE、OBE、OPE、またはオンラインリソースにより収集されたデータに基づき得る。RSEは、データ処理パイプラインにおける使用のために情報を抽出するために、他の制御装置、例えば、交差点または他の位置における交通信号灯制御装置との間を仲介し得る。
【0062】
RSEは、更に、他のRSEと、および、OBE、OPE、局所サーバーまたは中央サーバー、および他のデータ処理ユニットと、有線または無線により通信するための通信機器20を含むか、または使用し得る。RSEは、他の機器との通信のための任意の利用可能な規格を使用し得る。RSEは、他の機器にデータをダウンロードおよびアップロードするための有線または無線インターネット接続、メッセージを送信し、および他のセルラーデバイスからメッセージを受信するためのセルラーネットワーク、および、交差点または他の位置におけるインフラストラクチャーデバイスおよび他のRSEに対して通信するための専用ラジオデバイスを使用し得る。
【0063】
RSEは、異なる種類の交差点に近接して設置され得る。例えば、信号機付き交差点(例えば、交通が信号灯により制御される交差点)において、RSE10は、交通信号灯制御装置26付近において同じエンクロージャ内に、または近くのエンクロージャ内に設置される。データ(例えば、交通信号灯のフェーズおよびタイミング)は、交通信号灯制御装置とRSEとの間を流れる28ことが意図される。信号機の無い交差点において、RSE10は通常、交差点の近傍における道路または地上交通網の他の特徴を監視するために使用されるセンサー12にRSE10を接続することを簡単化するために位置している。交差点に対するRSEの近さは、警報に応答するために受信側地上ユニットに最大の時間を提供するために重要な低レイテンシシステムを維持することに役立つ。
【0064】
2.エンティティに関する安全関連データに加えてエンティティの位置および運動学(動作データ)を特定するセンサー38を含む地上交通エンティティ14に搭載された、地上交通エンティティ14により支持された、または、地上交通エンティティ14内の車載機器(OBE:Onboard Equipment)36。OBEは、データ処理ユニット40、データストレージ42、および、他のOBE、OPE、RSE、および、場合によっては、サーバーおよび演算ユニットと無線により通信し得る通信機器44を更に含む。
【0065】
3.限定されないが、携帯電話であり、装着型デバイスであり、または、人または動物により身に着けられること、人または動物により保持されること、人または動物に装着されること、または、人または動物と別様に結び付けることすることが可能な任意の他のデバイスであり得る人上機器(OPE:On Person Equipment)46。OPEは、必要な場合、データ処理ユニット48、データストレージ50、および通信機器52を含み得、または、データ処理ユニット48、データストレージ50、および通信機器52に結合され得る。幾つかの実施態様において、OPEは、車両ではない被害を受け得る道路ユーザーのための専用通信ユニットとして機能する。幾つかの例において、OPEは、他の目的にも使用され得る。OPEは、被害を受け得る道路ユーザーに視覚、音声、または触覚アラート提供するためのコンポーネントを包含し得る。
【0066】
被害を受け得る道路ユーザーは、歩行者、サイクリスト、道路作業者、車椅子、スクーター、自動平衡デバイス、または電池駆動式個人用移動装置に乗った人、動物により駆動されるキャリッジ、案内用のまたは警察用の動物、家畜、動物の群れ、およびペットを包含し得る。
【0067】
典型的には、OPEは、被害を受け得る道路ユーザーに所持され、メッセージを送信および受信することが可能である。OPEは、携帯電話、タブレット、個人用移動装置、自転車、装着型デバイス(例えば、腕時計、ブレスレット、アンクレット)に装着されるか、または統合され得、または、ペットの首輪に装着され得る。
【0068】
OPEにより送信されたメッセージは、限定されないが時刻、3D位置、進行方向、速度、および加速度を包含する、被害を受け得る道路ユーザーに関連した運動学的情報を含み得る。送信されたメッセージは、被害を受け得る道路ユーザー、例えば、横断歩道を現在横断している、音楽を聞いている、または、横断歩道を横断しようとしている被害を受け得る道路ユーザーの、警報レベル、現在の挙動、および将来の意図を表すデータを更に伝達し得る。他にもあり得るが、メッセージは、被害を受け得る道路ユーザーのブロブサイズまたはデータサイズ、被害を受け得る道路ユーザーを伴う外部デバイス(例えば、ベビーカー、カート、または他のデバイス)が存在するか否か、被害を受け得る道路ユーザーが身体障害を伴っているか否か、または、任意の個人用補助を使用しているか否かを伝達し得る。メッセージは、被害を受け得る道路ユーザーが作業者である場合、作業者のカテゴリを伝達し得、および、作業者により行われている行動の種類を更に説明し得る。同様の被害を受け得る道路ユーザーのクラスター(例えば、歩行者の群)が同様の特性をもっている場合、複数のメッセージブロードキャストを避けるために1つのメッセージが送信され得る。
【0069】
典型的には、OPEにより受信されたメッセージは、道路沿いの機器から、またはエンティティからの警報メッセージである。OPEは、被害を受け得る道路ユーザーに警報を出すことにより、受信されたメッセージに基づいて動作し得る。警報メッセージは、被害を受け得る道路ユーザーのためにカスタム式の警報を提供することにおいて有用なデータを伝達する。例えば、被害を受け得る道路ユーザーに対する警報は、危険な状況の種類を提示し得、および、取り得る行動を提案し得る。OPEは、すべての受信されたメッセージに警報フィルタ処理を適用し得、および、被害を受け得る道路ユーザーに、関連するメッセージのみを提示し得る。
【0070】
警報フィルタ処理は、被害を受け得る道路ユーザーの各々に対して警報フィルタ処理をカスタム式に調整することを可能にする、OPEに関連した履歴データに学習アルゴリズムを適用することの結果に基づく。OPE学習アルゴリズムは、受信された警報に対する被害を受け得る道路ユーザーの応答を追跡し、被害を受け得る道路ユーザーから最良の応答時間および最良の注意を引き出すように、将来の警報を調整する。学習アルゴリズムは、送信されたメッセージにおいて伝達されるデータにも適用され得る。
【0071】
4.限定されないが、クラウドストレージ、ローカルストレージ、または、データの記憶および入手を可能にする任意の他のストレージ設備であり得るデータストレージサーバー54。データストレージサーバーは、例えば早期警告および衝突回避に関連したデータを記憶することを目的として、RSEにより、演算ユニットにより、および、場合によってはOBE、OPE、およびデータサーバーによりアクセス可能である。データストレージサーバーは、記憶されたデータをフェッチすることを目的として、RSEから、および場合によってはOBE、OPE、およびデータサーバーからアクセス可能である。データは、生のセンサーデータ、処理ユニットにより処理されたデータ、または、RSE、OBEおよびOPEにより生成された任意の他の情報であり得る。
【0072】
連続的に地上交通エンティティを監視する交差点におけるセンサーは、毎日、多量のデータを生成し得る。このデータのボリュームは、センサーの数および種類に依存する。データは、リアルタイムに処理されることと、例えば交差点においてローカルにデータストレージユニット(例えば、ハードディスクドライブ、ソリッドステートドライブ、および他の大容量ストレージデバイス)を必要とする、将来の分析のために保存されることとの両方を行われる。ローカルストレージデバイスは、ローカルストレージデバイスの記憶容量、生成されたデータのボリューム、および、データが生成される速度に応じて、ある期間後にいっぱいになる。将来の使用のためにデータを保存するために、データは、より大きな容量をもつリモートサーバーにアップロードされる。リモートサーバーは、必要に応じてオンデマンドで記憶容量をアップグレードし得る。リモートサーバーは、ネットワーク接続を通してアクセス可能な、ローカルストレージと同様のデータストレージデバイス(例えばハードディスクドライブ、ソリッドステートドライブ、または他の大容量ストレージデバイス)を使用してよい。
【0073】
将来の分析のためにローカルに、およびサーバーに記憶されたデータは、将来の分析のために保存された、地上交通エンティティによりブロードキャストされた、およびRSEにより受信されたデータを含み得る。記憶されたデータは、RSEにおける処理のために、サーバーまたは他のリモートソースからダウンロードされ得る。例えば、RSEが位置する交差点の機械学習モデルは、サーバーに、または他のリモートストレージに記憶されてよく、および、ローカルソースからのRSEにおいて受信された現在のデータを分析するために使用するために、RSEによりダウンロードされてよい。
【0074】
5.クラウドに、またはローカルに(例えばRSEの一部として)、または、それらの組み合わせに位置する強力な演算マシンである演算ユニット56。他の機能もあり得るが、演算ユニットは、利用可能なデータを処理して、予測を生成し、交通網を使用する車両、歩行者、または他の地上交通エンティティの動作、挙動、および意図の機械学習ベースのモデルを生成する。演算ユナイトの各々が、対応する種類のデータを処理するための専用ハードウェア(例えば画像を処理のためのグラフィックス処理ユニット)を含み得る。重い処理負荷の場合、RSEにおける演算ユニットは、過負荷状態になり得る。例えば、追加的なデータ生成ユニット(例えばセンサー)が演算的な過負荷を引き起こしているシステムに追加される場合に、これが発生し得る。演算ユニットにおいて動作しているロジックが、より演算的に負荷のかかるロジックと置換された場合にも、過負荷が発生し得る。追跡されている地上交通エンティティの数の増加により、過負荷が発生し得る。ローカルな演算の過負荷が発生した場合、RSEは、タスクのうちの幾つかを別の演算ユニットに負荷委譲し得る。そうした他の演算ユニットは、RSEの近くにあり得、またはリモートにあり得、例えばサーバーであり得る。演算タスクは優先順位付けされ得、および時間的に重要でないタスクはそうした他の演算ユニットにおいて遂行され得、結果はローカル演算ユニットにより入手され得る。例えば、RSEにおける演算ユニットは、保存されたデータを分析するために、および、データを使用してモデルを訓練するためにジョブを実行することを、別の演算ユニットに要求し得る。訓練されたモデルは、その後、RSEにおける演算ユニットにより、そこで記憶および使用するためにダウンロードされる。
【0075】
RSEにおける演算ユニットは、より効率的に演算的に負荷のかかるジョブを実施するために他の小さい演算ユニットを使用して時間を削減し得る。利用可能な演算ユニットは、例えば、RSE演算ユニットと他の利用可能な演算ユニットとの間においてタスクを分割することにより、最短時間でほとんどのタスクを実施するために、賢明に使用される。演算ユニットは、更に、RSEにおける演算ユニットにより多くの演算能力を追加するために、RSEに外部デバイスとして装着され得る。外部から装着された演算ユニットは、RSEにおける演算ユニットと比べて同じまたは異なるアーキテクチャを含み得る。外部から装着された演算ユニットは、任意の利用可能な通信ポートを使用して既存の演算ユニットと通信し得る。RSE演算ユニットは、必要に応じて外部演算ユニットからのより多くの演算能力を要求し得る。
【0076】
本明細書の以下の部分は、他にもあり得る中で、システムにおける上述のコンポーネントの役割および機能を詳細に説明している。
【0077】
道路沿いの機器(RSE)
【0078】
図2に示されるように、RSEは、限定されないが以下のコンポーネントを含み得る。
【0079】
1.近くの車両または他の地上交通エンティティ、インフラストラクチャー、および、リモートサーバー、および、データストレージシステム130からの、および、近くの車両または他の地上交通エンティティ、インフラストラクチャー、および、リモートサーバー、および、データストレージシステム130への、地上交通エンティティに関連した動作データおよび他のデータ、および、交通安全データの受信もしくは送信またはその両方を可能にする1つまたは複数の通信ユニット103、104。幾つかの例において、この種類の通信は、インフラストラクチャー・対・エブリシング(I2X:infrastructure-to-everything)として知られており、I2Xは、インフラストラクチャー・対・車両(I2V:infrastructure-to-vehicles)、インフラストラクチャー・対・歩行者(I2P:infrastructure-to-pedestrians)、インフラストラクチャー・対・インフラストラクチャー(I2I:infrastructure-to-infrastructure)、およびインフラストラクチャー・対・デバイス(I2D:infrastructure-to-devices)、および、それらの組み合わせを包含するがこれらに限定されない。通信は、無線または有線であってよく、および幅広い様々な通信プロトコルに準拠していてよい。
【0080】
2.通信ユニット103は、地上交通エンティティとの通信のために使用され、ユニット104はリモートサーバーおよびデータストレージシステム130との、インターネットを通した通信のために使用される。
【0081】
3.プログラム、交差点モデル、および、挙動および交通モデルを記憶するためのローカルストレージ106。ローカルストレージ106は、センサー101から収集されたデータの一時的な記憶のためにも使用され得る。
【0082】
4.例えば典型的にはRSE付近の地上交通エンティティといった、動く対象物の監視(例えば、動く対象物に関するデータの生成)を可能にするセンサー101およびセンサー制御装置107。センサーは、カメラ、レーダー、ライダー、超音波ディテクター、または、他にもあり得るが、地上交通エンティティまでの距離、または、地上交通エンティティの速度、進行方向、または位置、またはそれらの組み合わせを、検出されたデータから検出または推測し得る任意の他のハードウェアを包含してよいがこれらに限定されない。センサー融合は、2つ以上のセンサー101からのデータの収集または組み合わせを使用して実施される。
【0083】
5.位置特定データ(例えばRSEの位置の座標)を提供する、および、地上交通エンティティの位置特定における位置特定の誤りを修正することに役立つ位置受信器(102)(例えばGPS受信器)。
【0084】
6.センサーから生成されたデータ、および、通信ユニット103、104からの入来データを獲得する、および使用する処理ユニット105。処理ユニットは、ローカルにデータを処理し、および記憶しおよび、幾つかの実施態様において、リモートでの記憶および更なる処理のためにデータを送信する。処理ユニットは、更に、近くの歩行者、モーター車両、または他の地上交通エンティティに、および、幾つかの例において標識または他のインフラストラクチャー提示デバイスに、無線通信設備を通してブロードキャストされる、または別様に送信されるメッセージおよび警報を生成する。処理ユニットは、更に、監視のためにリモートサーバーにすべてのRSEシステムの調子およびステータスを周期的に報告する。
【0085】
7.RSEおよび他のハードウェア、または、他のコンポーネント、例えば、温度および湿度センサー、交通信号灯制御装置、上述のような他の演算ユニット、および、将来的に利用可能となり得る他の電子機器の間の制御および通信を可能にする拡張コネクタ108。
【0086】
車載機器(OBE)
【0087】
車載機器は、典型的には、地上交通エンティティのためのオリジナル機器であってよく、または、サードパーティーサプライヤーによりエンティティに追加されてよい。図3に示されるように、OBEは、以下のコンポーネントを包含してよいがこれらに限定されない。
【0088】
1.近くの車両、歩行者、サイクリスト、または他の地上交通エンティティ、およびインフラストラクチャー、およびそれらの組み合わせへの、および、近くの車両、歩行者、サイクリスト、または他の地上交通エンティティ、およびインフラストラクチャー、およびそれらの組み合わせからの、データの送信および受信、またはその両方を可能にする通信ユニット203。通信ユニットは、機械学習を目的として、および、サーバーによる地上交通エンティティのリモート監視のために、車両または他の地上交通エンティティとローカルまたはリモートサーバー212との間のデータの送信または受信(またはその両方)を更に可能にする。幾つかの例において、この種類の通信は、車両・対・エブリシング(V2X:vehicle-to-everything)として知られ、V2Xは、車両・対・車両(V2V:vehicles-to-vehicles)、車両・対・歩行者(V2P:vehicles-to-pedestrians)、車両・対・インフラストラクチャー(V2I:vehicle-to-infrastructure)、車両・対・デバイス(V2D:vehicle-to-devices)、およびそれらの組み合わせを包含するがこれらに限定されない。通信は、無線または有線であってよく、および、幅広い様々な通信プロトコルに準拠してよい。
【0089】
通信ユニット204は、プログラム更新、データ記憶、およびデータ処理のために、リモートサーバーとインターネットを通してOBEが通信することを可能にする。
【0090】
2.プログラム、交差点モデル、および交通モデルを記憶するためのローカルストレージ206。ローカルストレージ206は、センサー201から収集されたデータの一時的な記憶のために使用されてもよい。
【0091】
3.外部カメラ、ライダー、レーダー、超音波センサー、または、近くの物体または人または他の地上交通エンティティを検出するために使用され得る任意のデバイスを包含してよいがこれらに限定されないセンサー201およびセンサー制御装置207。センサー201は、追加的な運動学的センサー、全地球測位受信器、および、内部およびローカルマイクロホンおよびカメラを包含してもよい。
【0092】
4.位置特定データ(例えば地上交通エンティティの位置の座標)を提供する位置受信器202(例えばGPS受信器)。
【0093】
5.通信ユニットからのデータを消費すること、および、通信ユニットにデータを送信することおよび、地上交通エンティティ内のセンサーまたは地上交通エンティティ上のセンサーからのデータを消費することを含む、データを獲得すること、使用すること、生成すること、および送信することをする処理ユニット205。
【0094】
6.OBEおよび他のハードウェアの制御、および、OBEと他のハードウェアとの間の通信を可能にする拡張コネクタ208。
【0095】
7.例えば、視覚、可聴、または触覚フィードバックを使用して、1つまたは複数の手法によりヘッドユニット、ハンドル、または運転手モバイルデバイスに追加導入され、または統合され得るインターフェースユニット。
【0096】
スマートOBE(SOBE:Smart OBE)
【0097】
すべての車両および他の地上交通エンティティが接続されたエンティティである世界では、各車両または他の地上交通エンティティは、他と連携したエンティティであり得、その現在位置、安全ステータス、意図、および他の情報を他のものに報告し得る。現時点で、ほぼすべての車両が、接続されたエンティティではなく、他の地上交通エンティティにこのような情報を報告することができず、および、異なるレベルの技量、幸せさ、ストレス、および挙動を伴う人により操作される。このようなコネクティビティおよび通信が無ければ、車両の次の動きまたは地上交通エンティティの次の動きを予測することが困難になり、衝突回避を実装する能力、および早期警告を提供する能力の低下をもたらす。
【0098】
スマートOBEは、環境、および、地上交通エンティティのユーザーまたは乗っている人を監視する。スマートOBEは更に、エンティティの異なるシステムおよびサブシステムの調子およびステータスを監視する。SOBEは、例えば、緊急放送からのラジオ波送信、近くのRSEからの交通および安全メッセージ、および、他の接続された車両または他の地上交通エンティティからの安全、位置、および他の動作情報に関するメッセージをリッスンすることにより外部世界を監視する。SOBEは、更に、道路および運転状態を見得る車載センサー、例えば、このような監視を可能にするカメラ、距離センサー、振動センサー、マイクロホン、または任意の他のセンサー、とインターフェース接続する。SOBEは、更に、すぐそばの環境を監視し、すべての静止した物体および動く物体のマップを生成する。
【0099】
SOBEは、更に、車両または他の地上交通エンティティのユーザーまたは乗っている人の挙動を監視し得る。SOBEは、会話の質を監視するためにマイクロホンを使用する。SOBEは、例えば、座席センサー、カメラ、炭化水素センサー、および、揮発性有機化合物および他の有毒物質のセンサーといった、他のセンサーを更に使用し得る。SOBEは、運転手の反応および挙動を測定し、そこから運転の質を推測するために、運動学的センサーを更に使用し得る。
【0100】
SOBEは、更に他の地上交通エンティティからの車両・対・車両メッセージ(例えば基本的な安全メッセージ(BSM:basic safety messages))、および、被害を受け得る道路ユーザーからの車両・対・歩行者メッセージ(例えば個人用安全メッセージ(PSM:personal safety messages))を受信する。
【0101】
SOBEは、次に、センサー、ソース、およびメッセージのこのアレイからのデータを融合する。SOBEは、次に、車両または他の地上交通エンティティの運転手またはユーザーの、または被害を受け得る道路ユーザーの、次の行動または反応を予測することができるだけでなく、意図および将来の軌道を予測すること、および、他の車両、地上交通エンティティ、および、近くの被害を受け得る道路ユーザーに起因した関連するニアミスまたは衝突リスクを予測することもできる人工知能モデルに融合されたデータを適用する。例えば、SOBEは、近くの車両が、それ自体のホスト車両に対するリスクを生じる車線変更の操縦に入ろうとしていることを予測するために、近くの車両から受信されたBSMを使用し得、および、切迫したリスクについて運転手に警報を出し得る。リスクは、近くの車両の様々な将来の予測された軌道(例えば、直進すること、右に車線を変更すること、左に車線を変更すること)、および、それらの軌道の各々に対するホスト車両との関連する衝突リスクの確率に基づいてSOBEにより演算される。衝突リスクが特定の閾値より高い場合、警告が、ホスト車両の運転者に表示される。
【0102】
外部因子(例えば変化する環境および気象状態)によっても影響を受ける人間の運転手の挙動のモデル化の複雑さに起因して、意図および将来の軌道を予測するために、典型的には機械学習が必要とされる。
【0103】
SOBEは、多数のデータフィードであって、そのうちの幾つかが1秒当たり数メガバイトのデータを提供する、多数のデータフィードを処理することができる強力な演算能力をもつことにより特徴付けられる。利用可能なデータの量は、更に、各センサーから要求される詳細さのレベルに比例する。
【0104】
SOBEは、高い(信号)ノイズレベルおよび低い信号対ノイズ比をもつことが知られた環境から有用な情報を引き出すことができる強力な信号処理機器を更に含む。SOBEは、更に、スマート警報フィルタ処理を提供することにより、車両が受信する膨大な数の警報から運転手を保護する。警報フィルタ処理は、現在位置と、環境条件と、運転手の挙動と、車両の調子およびステータスと、運動学とにおいてどの警報が重要かを区別することができる機械学習モデルの結果である。
【0105】
スマートOBEは、衝突回避および早期警告のために重要であり、および、SOBEを含む車両の乗っている人またはユーザーのためにというだけでなく、すべてのユーザーのためにより安全な交通網を実現するためにも重要である。SOBEは、道路上の異なるエンティティの動きを検出し、および予測し得、したがって、衝突回避を補助し得る。
【0106】
人上機器(OPE)
【0107】
上述のように、人上機器(OPE)は、地上交通エンティティである、または、別様に地上交通網上に存在する、または、地上交通網を使用している、歩行者、ジョギングしている人、または他の人により、保持され得る、装着され得る、または直接的に別様に結び付けられ得る任意のデバイスを含む。このような人は、例えば、車両に衝突されやすい被害を受け得る道路ユーザーであり得る。OPEは、モバイルデバイス(例えば、スマートフォン、タブレット、デジタルアシスタント)、装着型装置(例えば、アイウェア、腕時計、ブレスレット、アンクレット)、および、インプラントを包含してよいがこれらに限定されない。OPEの既存のコンポーネントおよび特徴は、位置、速度、および進行方向を追跡する、および報告するために使用され得る。OPEは、データを受信する、および処理するために、および、様々なモード(例えば視覚、音、触覚)によりユーザーに警報を表示するために使用されてもよい。
【0108】
Hondaは、OPEを使用した車両と歩行者との間の直接的な通信に注目したV2P用途のための通信システムおよび方法を開発した。ある例において、車両は、周辺の歩行者のOPEにメッセージをブロードキャストするためのOBEを備える。メッセージは、例えば車両パラメータ、速度、および進行方向を包含する車両の現在のステータスを伝達する。例えば、メッセージは、基本的な安全メッセージ(BSM)であり得る。必要な場合、OPEは、衝突を避けるために、予測された危険な状況に関する、歩行者の注意散漫レベルに合わせて調整された警報を歩行者に提示する。別の例において、歩行者のOPEは、歩行者が車両の意図される経路を横断し得るというメッセージ(例えば個人用安全メッセージ(PSM))を周辺の車両のOBEにブロードキャストする。必要な場合、車両のOBEは、衝突を避けるために予測された危険に関する警報を車両ユーザーに表示する。Strickland、Richard Deanら、「Vehicle to pedestrian communication system and method.」米国特許第9,421,909号を参照されたい。
【0109】
本明細書において説明されているシステムは、歩行者および他の被害を受け得る道路ユーザーに関するデータを追跡する、および収集するために、車両および歩行者の外部の(主にインフラストラクチャーにおける)センサーを使用するI2PまたはI2Vアプローチを使用する。例えば、センサーは、街路を横断する歩行者、および、横断場所において、または、横断場所付近において動作する車両を追跡し得る。収集されたデータは、続いて、ルールベースの方法および機械学習方法を使用して、道路における、歩行者および車両の運転手の意図および挙動の予測モデルを構築するために使用される。これらのモデルは、収集されたデータを分析すること、および、歩行者および車両の経路および意図の予測をすることに役立つ。危険が予測された場合、メッセージが、RSEからOBEもしくはOPE、またはその両方にブロードキャストされ、他のものの意図される経路の各エンティティに警報を出し、それらの各々が、衝突を回避するための十分な時間を伴って先手を打つような行動をすることを可能にする。
【0110】
リモート演算(クラウドコンピューティングおよびストレージ)
【0111】
RSE、OBE、およびOPEに接続された、または組み込まれたセンサーから収集されたデータは、効果的な数学的機械学習モデルが生成され得るように処理されることを必要とする。この処理は、各モデルを生成するために必要な時間を短くするために多くのデータ処理能力を必要とする。必要な処理能力は、RSEにおいて典型的にローカルに利用可能な処理能力よりはるかに多い。これを解決するために、必要な能力を提供する、およびオンデマンドで拡縮し得るリモート演算設備に、データが送信され得る。本明細書では、リモート演算設備は、演算に関する文献において使用される用語に沿う「リモートサーバー」と呼ばれる。幾つかの例において、RCEにハイパワーの演算能力を具備させることによりRCEにおいて処理の一部またはすべてを実施することが可能であり得る。
【0112】
ルールベースの処理
【0113】
人工知能および機械学習技術と異なり、ルールベースの処理は、データ収集、訓練、およびモデル構築を必要とせずに任意の時点で適用され得る。ルールベースの処理はシステムの動作の初めから配備され得、典型的には、機械学習モデルを生成するために十分な訓練データが獲得されるまで、それが行われる。新しいインストールの後に、入来センサーデータを処理するようにルールがセットアップされる。これは道路の安全性を改善するために有用なだけでなくシステムのすべてのコンポーネントが想定されるように動作することを確実なものとするための適切なテストケースでもある。機械学習が正確な予測をすることができないレアケースを捕捉するための追加的な層として、ルールベースの処理が更に追加され、および後で使用され得る。ルールベースのアプローチは、収集されたデータパラメータ(例えば、速度、範囲など)間の単純な関連性に基づいている。ルールベースのアプローチは、機械学習アルゴリズムのパフォーマンスの評価のためのベースラインを更に提供し得る。
【0114】
ルールベースの処理において、地上交通網の一部を横断する車両または他の地上交通エンティティがセンサーにより監視される。その現在の速度および加速度が、道路上の停止バー(線)の前でそれが停止することを妨げる閾値を上回った場合、例えば、警報が生成される。可変な領域が車両または他の地上交通エンティティの各々に割り当てられる。領域はジレンマゾーンとしてラベル付けされ、ジレンマゾーン内において車両はまだ違反車両としてラベル付けされていない。車両が、その速度もしくは加速度、またはその両方が既定の閾値より高くなったという理由から、ジレンマゾーンを越えて危険ゾーン内に入った場合、車両は違反エンティティとしてラベル付けされ、警報が生成される。速度および加速度に対する閾値は、物理学および運動学に基づいており、例えば交差点に近づく各地上交通エンティティに応じて変わる。
【0115】
2つの従来のルールベースのアプローチは、1)静的TTI(タイム・トゥ・インターセクション:Time-To-Intersection)、および、2)静的RDP(要求減速度パラメータ:Required Deceleration Parameter)である。Aoude、Georges S.ら、「Driver behavior classification at intersections and validation on large naturalistic data set.」、IEEE Transactions on Intelligent Transportation Systems 13.2(2012):724-736を参照されたい。
【0116】
静的TTI(タイム・トゥ・インターセクション)は分類基準として、交差点に到達する推定された時間を使用する。その最も単純な形態において、TTIは、
【数1】
と演算され、ここで、rは交差点における交線までの距離であり、vは車両または他の地上交通エンティティの現在の速度である。TTI<TTIreqである場合、車両が危険と分類され、ここで、TTIreqは、ブレーキ制動が始動された後に車両が安全に停止するために必要な時間である。TTIreqパラメータは、ルールベースのアルゴリズムの保守性レベルを反映している。車両の減速度が減速度閾値(例えば-0.075g)をまたいだときとして識別されるブレーキ制動の開始時に、TTIが演算される。車両がこの閾値をまたがない場合、典型的には、交差点に到達するまでの推定された残り時間が1秒から2秒の範囲である指定された最終時点において、分類が実施される。
【0117】
静的RDP(要求減速度パラメータ)は、車両の現在の速度および道路上の位置を与えられて、安全に停止するために車両に対して要求される減速度を計算する。RDPは、
【数2】
と演算され、ここで、rは交差点における交線までの距離であり、vは車両または他の地上交通エンティティの現在の速度である。gは重力加速度定数である。車両の要求される減速度が選択されたRDP閾値RDPwarnより大きい場合、車両が危険(すなわち、車両が危険な状況を生んだ、または生む)と分類される。実際には、任意の時点でr<ralertである場合、車両が危険と分類され、ここで、
【数3】
である。
【0118】
静的TTIアルゴリズムと同様に、RDPalertパラメータはルールベースのアルゴリズムの保守性レベルを反映する。
【0119】
本明細書では、本開示の機械学習アルゴリズムのパフォーマンスの評価のためのベースラインとして、ルールベースのアプローチが使用され、幾つかの場合において、機械学習が予測することができないものであり得るレアケースを捕捉するために、機械学習アルゴリズムと並列にそれらが実行される。
【0120】
機械学習
【0121】
運転手の挙動をモデル化することは、ヒトの挙動の複雑さを考慮すると、複雑なタスクであることが示されている。H.M.MandaliaおよびD.D.Dalvucci、「Using Support Vector Machines for Lane-Change Detection」、Human Factors and Ergonomics Society Annual Meeting Proceedings、vol.49、1965{1969ページ、2005、を参照されたい。機械学習技術は、ヒトの挙動をモデル化することによく適しているが、適切に動作するために、訓練データを使用して「学習」することを必要とする。優れた検出および予測結果を提供するために、本明細書では、配備フェーズ中に現在の交通に警報処理が適用される前の訓練期間中に、交差点において検出された交通、または地上交通網の他の特徴をモデル化するために、機械学習が使用される。機械学習は、車載機器(OBE)からの車両内データを使用して運転手の応答をモデル化するために更に使用され得、および車両内センサーおよび運転記録の履歴および好みに更に基づき得る。本明細書では被害を受け得る道路ユーザー(例えば歩行者)の軌道、挙動、および意図を検出するために、および予測するために機械学習モデルが更に使用される。機械学習は、人上機器(OPE)からの被害を受け得る道路ユーザーの応答をモデルするために更に使用され得る。これらのモデルは、エンティティ間の、被害を受け得る道路ユーザー間の、および、1つまたは複数のエンティティと1または複数の被害を受け得る道路ユーザーとの間の相互作用を含み得る。
【0122】
機械学習技術は、非自律地上交通エンティティの挙動をモデル化するために更に使用され得る。非自律地上交通エンティティを観察すること、または非自律地上交通エンティティと通信すること、またはその両方により、機械学習は、非自律地上交通エンティティの意図を予測するために、および、ニアミス、または事故、または他の危険な状況が予測されたとき、非自律地上交通エンティティと通信するために、および、他の関与するエンティティと通信するために使用され得る。
【0123】
機械学習メカニズムは、2つのフェーズ、すなわち、1)訓練、および2)配備において適切に機能する。
【0124】
訓練フェーズ
【0125】
設置後、RSEは、RSEがアクセスすることができるセンサーからデータを収集することを開始する。AIモデル訓練は強力な演算能力を必要とするので、AIモデル訓練は、通常、訓練フェーズを高速化するために複数の並列処理モジュールを含む強力なサーバーにおいて実施される。この理由により、地上交通網におけるRSEの位置において獲得されたデータは、パッケージ化され、獲得のすぐ後にリモートの強力なサーバーに送信され得る。これはインターネット接続を使用して行われる。次に、データが、自動的に、またはデータサイエンティストの助けを受けて準備される。次に、AIモデルが、その交差点または地上交通網の他の態様に対する車両および他の地上交通エンティティの交通の流れの重要な特性を捕捉するように構築される。捕捉されたデータ特徴は、車両または他の地上交通エンティティの位置、方向、および動きを包含してよく、車両または他の地上交通エンティティの位置、方向、および動きは、次に意図および挙動に変換され得る。意図を知ることにより、高精度に、AIモデルを使用して交通位置に接近する車両または他の地上交通エンティティの行動および将来の挙動が予測され得る。訓練されたAIモデルは、訓練フェーズに含まれていなかったデータの部分集合上で試験される。AIモデルのパフォーマンスが期待に沿っている場合、訓練が完了とみなされる。モデルの満足のいくパフォーマンスが達成されるまで、異なるモデルパラメータを使用してこのフェーズが繰り返し反復される。
【0126】
配備フェーズ
【0127】
幾つかの実施態様において、次に、完了した試験されたAIモデルは、インターネットを通して、地上交通網における交通位置におけるRSEに伝達される。次に、RSEは、新しいセンサーデータを処理する準備、および危険な状況、例えば交通信号灯違反、の予測および検出を実施する準備が整った状態となる。危険な状況が予測された場合、RSEは、適切な警報メッセージを生成する。予測された危険な状況が発生する前に、危険な状況が予測され得、警報メッセージが生成され得、および、警報メッセージがRSEの近傍における車両および他の地上交通エンティティにブロードキャストされ、RSEの近傍における車両および他の地上交通エンティティにより受信され得る。これは、車両または他の地上交通エンティティのオペレーターに反応するための、および衝突回避を行うための十分な期間を与える。対応するRSEが位置する様々な交差点からのAIモデルの出力が記録され得、および、直感的な、およびユーザーフレンドリーな手法により生成された、および表示されたすべてのデータを組み込んだダッシュボードにおいてオンラインで利用可能にされ得る。このようなダッシュボードは、システムの顧客(例えば都市交通エンジニアまたは計画者)とのインターフェースとして使用され得る。ダッシュボードの一例は、監視される交差点の位置、発生した違反イベント、AI予測および実際の結果に基づく統計データおよび分析結果を示すマーカーを含むマップである。
【0128】
スマートRSE(SRSE:Smart RSE)および接続されたエンティティ/接続されていないエンティティのブリッジ
【0129】
既に示唆されているように、接続されたエンティティおよび接続されていないエンティティの能力および行動の間にギャップがある。例えば、接続されたエンティティは、典型的には、それらの位置、および、安全システムステータス、例えば、速度、進行方向、ブレーキステータス、およびヘッドライトステータスを、世界に連続的にアドバタイズする連携したエンティティである。接続されていないエンティティは、これらの手法により連携すること、および通信することができない。したがって、接続されたエンティティでも接続されたエンティティの近傍に無い、または、干渉、距離、または、見晴らしの良い場所が無いことに起因して検出範囲の外にある接続されていないエンティティを認識しない。
【0130】
適切な機器および構成を伴うことにより、RSEは、接続されていないエンティティを含む、それらの近傍における地上交通網を使用するすべてのエンティティを検出することを可能にされ得る。特殊なセンサーが、異なる種類のエンティティを検出するために使用され得る。例えば、レーダーは、動く金属物体、例えば、自動車、バス、およびトラック、を検出することに適している。このような道路エンティティは、交差点に向かって1つの方向に動いている可能性が最も高い。カメラは、横断するための安全なタイミングを見計らっている、交差点の周囲において思案している可能性のある被害を受け得る道路ユーザーを検出することに適している。
【0131】
地上交通網のコンポーネントにセンサーを配置することは、少なくとも以下の利点をもつ。
【0132】
- 見晴らしの良い地点:インフラストラクチャーのポール、梁、および支持ケーブルは、通常、高い見晴らしの良い地点を含む。高い見晴らしの良い地点交差点のより全体的な眺望を可能にする。これは、地面上の重要な、および被害を受け得るユーザーのうちの大部分の全景を管制官が見渡す、空港における管制塔に類似している。地上交通エンティティに対しては、対照的に、センサー(カメラ、ライダー、レーダーなど、…、または他のもの)の見晴らしの良い地点からの眺望は、近接した車線におけるトラック、直射日光、または他の干渉により妨害され、または邪魔され得る。交差点におけるセンサーは、このような干渉に耐性があり、このような干渉を受けにくいように選択され得る。例えば、レーダーは日光による影響を受けず、夕方の通勤通学中に効果的なままであり続ける。温度カメラは、光学カメラの眺望が妨げられる明るい光の状況において歩行者を検出する可能性が高い。
【0133】
- 定位置:交差点に位置するセンサーは、重要なターゲットを検出することに最適であり得る特定の方向において検出するように調節され、および固定され得る。これは、処理ソフトウェアがより適切に物体を検出することに役立つ。一例として、カメラが固定の眺望をもつ場合、固定の眺望における背景の(動かない物体および構造物の)情報が簡単に検出され得、比較的重要な動くエンティティの識別および分類を改善するために使用され得る。
【0134】
固定のセンサー位置は、更に、交差点の統合的なグローバルな眺望における各エンティティのより簡単な配置を可能にする。センサーの眺望が固定されているので、センサーからの測定結果は、交差点の統合的グローバル位置マップに簡単にマッピングされ得る。このような統合的マップは、ある交通の流れの別のものへの相互作用および依存性を調査するために、すべての方向から交通の動きのグローバル分析を実施するときに有用である。一例は、ニアミス(危険な状況)が発生する前にニアミス(危険な状況)を検出する。2つのエンティティが交差する経路に沿って移動しているとき、交差点のグローバルな、および統合的な眺望は、それぞれの経路の交差点への各エンティティの到達時間の計算を可能にする。時間が特定の限度または許容範囲内である場合、ニアミスは、ニアミスが発生する前にフラグを立てられ(例えば警報メッセージの対象にされ)得る。
【0135】
インフラストラクチャーのコンポーネントに設置されたセンサーの助けを受けて、スマートRSE(SRSE)がこのギャップを橋渡しし得、および、接続されたエンティティが「ダークな」または接続されていないエンティティを認識することを可能にし得る。
【0136】
図8は、接続されていないエンティティの速度および位置を接続されたエンティティが識別することに、戦略的に配置されたセンサーがどのように役立ち得るかを説明するシナリオを示す。
【0137】
接続されたエンティティ1001は、経路1007に沿って移動する。エンティティ1001が青信号1010を点けている。接続されていないエンティティ1002が経路1006に沿って移動している。接続されていないエンティティ1002は赤信号1009の対象であるが、赤信号で経路1006に沿って右折しようとしている。これは、エンティティ1001の経路に直接、接続されていないエンティティ1002を位置させる。エンティティ1001がエンティティ1002を認識しないので、危険な状況が切迫している。エンティティ1002が接続されていないエンティティであるので、交差点をシェアしている他のエンティティにエンティティ1002の位置および進行方向をブロードキャスト(例えばアドバタイズ)することができない。更に、エンティティ1001が接続されている場合であっても、エンティティ1001は、建物1008により見えなくされているエンティティ1002を「見る」ことができない。交差点を通って直進してエンティティ1002に衝突するエンティティ1001のリスクが存在する。
【0138】
交差点がスマート交差点として構成されている場合、交差点における道路の上方の梁1005に搭載されたレーダー1004がエンティティ1002、および、エンティティ1002の速度および距離を検出する。この情報は、接続されていないエンティティ1002と接続されたエンティティ1001との間の橋渡しとして機能するSRSE1011を通して、接続されたエンティティ1001に中継され得る。
【0139】
人工知能および機械学習
【0140】
スマートRSEは、更に、危険な状況をより適切に予測する、および防止するために、および、衝突を回避するために、交通パターンおよびエンティティの挙動を学習することに依存する。図8に示されるように、レーダー1004は、進入路1012に沿って動く各エンティティに関して常に検出し、およびデータを提供している。このデータは収集され、例えば、分析のために、および、進入路1012に沿った交通を適格に表すモデルを構築する、および訓練するために、直接的に、またはRSEを通してクラウドに伝達される。モデルが完成したとき、モデルがSRSE1011にダウンロードされる。次に、このモデルは、進入路1012に沿って動く各エンティティに適用され得る。エンティティが、交通規則に違反している(または、しようとしている)ものとしてモデルにより分類された場合、近傍におけるすべての接続されたエンティティに、SRSEにより警告(警報)がブロードキャストされ得る。交差点衝突回避警告として知られるこの警告は、接続されたエンティティにより受信され、危険な状況を考慮することに、および衝突を回避することに影響を与え得る。適切な交通モデルを使用することで、違反エンティティが予め検出され、交差点を使用している接続されたエンティティに、反応して危険な状況を回避するための十分な時間を与え得る。
【0141】
複数のセンサー(幾つかは地上交通網のインフラストラクチャーのコンポーネントに高くに搭載されている)、人工知能モデル、および正確な交通モデルの助けを受けて、SRSEは、地上交通網の仮想的な概観を取得し得、および視野内において接続されたエンティティにとって「視認可能」ではない、視野内における接続されていないエンティティを含む、その視野内における各エンティティを認識し得る、SRSEはこのデータを使用して、AIモデルを供給し得、および、接続されていないエンティティの代わりに接続されたエンティティに警報を提供し得る。そのようにしない場合、接続されたエンティティは、道路をシェアしている接続されていないエンティティが存在することを知ることがない。
【0142】
SRSEは、同じハウジング内において、または、近くのユニットへの接続により、または、サーバーへのインターネットを通した接続により、SRSEの位置において大容量演算能力を利用可能である。SRSEは、センサーから直接受信されたデータ、または、近くのSRSEからのブロードキャストにより受信されたデータ、緊急および気象情報、および他のデータを処理し得る。SRSEは、データを記憶する、および処理することに役立つ大容量ストレージを更に備える。高帯域幅コネクティビティが、更に、SRSEと更により強力なリモートサーバーとの間において生データおよびAIモデルを伝達することに役立つために必要とされる。SRSEは、AIを使用した他の交通危険検出技術を強化して、高い精度を達成し、反応して衝突を回避するための追加的な時間を提供する。
【0143】
SRSEは、現在の、および新しい標準化された通信プロトコルに依然として適合し得、したがって、SRSEは、現場に既に配備された機器にシームレスにインターフェース接続され得る。
【0144】
SRSEは更に、必要なときにのみメッセージを送信することによりネットワーク輻輳を低減し得る。
【0145】
グローバルな、および統合的な交差点トポロジー
【0146】
交差点の効果的な交通監視および制御は、障害物、照明、または任意の他の干渉により妨げられない交差点の鳥瞰的眺望の恩恵を受ける。
【0147】
ここまでに説明されているように、異なる種類のセンサーが、異なる種類のエンティティを検出するために使用され得る。これらのセンサーからの情報は異なり得、例えば、そのデータが表す位置または動作パラメータに関して、または、データのネイティブなフォーマットに関して、または、その両方に関して一致しない。例えば、レーダーデータは、典型的には、速度、距離を含み、場合によって、追加的な情報、例えば、レーダーの視野内にある、動く、および静止したエンティティの数、を含む。カメラデータは、対照的に、任意の時点における視野の画像を表し得る。ライダーデータは、特定の時間および進行方向においてライダーから出射されたレーザービームの反射点に対応した3D空間における点の位置を提供し得る。概して、各センサーは、センサーが測定する物理量を適格に表すネイティブなフォーマットによりデータを提供する。
【0148】
交差点の統合的な眺望(表現)を取得するために、異なる種類のセンサーからのデータの融合が有用である。融合を目的として、様々なセンサーからのデータが、使用されるセンサーに依存しない共通(統合的)フォーマットに変換される。センサーのうちのすべてからの統合的フォーマットで含まれるデータは、それがどのように検出されたかとは無関係に、交差点を使用している各エンティティのグローバルな位置、速度、および進行方向を含む。
【0149】
この統合的グローバルデータを使用することにより、スマートRSEは、エンティティの動きを検出し、および予測し得るだけでなく、更に、相互に、異なるエンティティの相対位置および進行方向を特定し得る。したがって、SRSEは、危険な状況の改善された検出および予測を達成し得る。
【0150】
例えば、図9に示されるシナリオでは、モーター駆動式エンティティ2001と被害を受け得る道路ユーザー2002とが同じ横断歩道をシェアしている。エンティティ2001は道路2007に沿って移動しており、レーダー2003により検出される。歩道2006に沿って歩行している被害を受け得る道路ユーザー2002が、カメラ2004により検出される。被害を受け得る道路ユーザー2002は、横断歩道2005を使用して道路2007を横断することを決断し得る。そうすることは、エンティティ2001の経路における道路ユーザー2002が潜在的な危険な状況を生み出すことをもたらす。センサーの各々はそのそれぞれの視野においてエンティティを検出するのみであり得るので、センサー2003および2004の各々からのデータが独立して考慮されるとともに、他の情報が考慮されない場合、危険な状況が識別されない。更に、センサーの各々は、センサーが検出するように設計されていない物体を検出することは不可能であり得る。しかし、統合的な眺望がSRSEにより考慮される場合、エンティティ2001の、および被害を受け得る道路ユーザー2002の位置およびダイナミクスは、同じ基準座標系、すなわち、地理的座標系、例えば、地図投影法、または、他の座標系に配置され得る。共通基準系内において検討される場合、センサーからの融合されたデータは、2つのエンティティ2001と2002との間において発生し得る危険な状況を検出する、および予測するために使用され得る。以下の段落で、センサー空間と統合空間との間の変換が議論される。
【0151】
レーダーデータから統合的基準への変換
【0152】
図10に示されるように、レーダー3001は、それぞれセンターライン3006および3007を含む2つの車線3005および3008を含む道路に沿って移動する道路エンティティを監視するために使用される。停止バー3003は、車線3005および3008の端部を示す。T3006は、マーカー3003と3004とのセットにより規定され得る。図10は、2つのマーカーのみを示すが、概して、センターラインは区分的線形関数である。マーカー3003および3004(および、図示されていない他のマーカー)のグローバルな位置は車道の設計により既定されており、システムに知られている。レーダー3001の正確なグローバルな位置が、更に特定され得る。したがって、レーダー3001からのマーカー3003および3004の距離3009および3010が計算され得る。レーダー3001からのエンティティ3002の距離3011は、レーダー3001により測定され得る。単純な幾何学を使用して、システムは、測定された距離3011を使用してエンティティ3002の位置を特定し得る。それはマーカー3003、3004およびレーダー3001のグローバルな位置から導出されるので、結果はグローバルな位置である。各車道は一般化された区分的線形関数により近似され得るので、上記の方法は、レーダーにより監視され得る任意の車道に適用され得る。
【0153】
図11は、湾曲した道路における同様のシナリオを示す。レーダー4001は道路4008に沿って動くエンティティを監視する。マーカー4003および4004は、センターライン4007の(区分的線形関数の)線形セグメント4009を表す。距離4005および4006は、通常、それぞれ、レーダー4001の平面4010とマーカー4003および4004との間の法線距離を表す。距離4007は、レーダー平面4010からのエンティティ4002の測定された距離である。ここまでの説明に続いて、レーダー4001およびマーカー4003および4004のグローバルな位置が与えられると、エンティティ4002のグローバルな位置は、単純な比の算術を使用して計算され得る。
【0154】
カメラデータから統合的基準への変換
【0155】
カメラの高さ、グローバルな位置、方向、チルト、および視野を知ることにより、カメラ画像における各ピクセルのグローバルな位置を計算することは、既存の3Dの幾何学的な法則および変換を使用して単純になる。結果として、物体が画像において識別されたとき、そのグローバルな位置は、物体が占有しているピクセルを知ることにより容易に推定され得る。カメラの仕様、例えば、センサーサイズ、焦点距離、または視野、またはそれらの組み合わせ、が知られている場合、カメラの種類が無関係なことに留意することが有益である。
【0156】
図12は、エンティティ5002を見るカメラ5001の側面図を示す。カメラ5001の高さ5008およびチルト角度5006は、設置時に決定され得る。視野5007は、カメラ5001の仕様から把握され得る。カメラ5001のグローバルな位置も、設置時に特定され得る。知られた情報から、システムは、点5003および5004のグローバルな位置を特定し得る。点5003と点5004との間の距離は、更に、カメラ5001により生成された画像におけるピクセルに分割される。このピクセル数は、カメラ5001の仕様から知られる。エンティティ5002により占有されたピクセルが特定され得る。したがって、距離5005が計算され得る。エンティティ5002のグローバルな位置も計算され得る。
【0157】
様々なセンサーからの情報を融合することにより、任意の交差点のグローバルな統合的な眺望が一緒にまとめ上げられ得る。図13は、4方向交差点の上面図を示す。交差点の各脚は、中央値6003で割られる。図中の交差点は、2つの異なる種類のセンサー、レーダーおよびカメラ、により監視され、本明細書において説明されている原理は、他の種類のセンサーに一般化され得る。この例において、レーダー監視領域6001は、カメラ監視領域6002に重なる。統一的なグローバルな眺望を使用することにより、領域間を移動する各エンティティは、統一的なグローバルな眺望内において追跡され続ける。これは、例えば異なるエンティティの動作間の関連性の、SRSEによる特定を簡単に可能にする。このような情報は、交差点および車道の真に普遍的な鳥瞰的眺望を可能にする。センサーからの統合的データは、次に、以下の段落で説明されるように人工知能プログラムに供給され得る。
【0158】
上記の図2はRSEのコンポーネントを示していた。加えて、SRSEにおいて、処理ユニットは、データを並列に処理し得る1つまたは複数の特殊な処理ユニットを更に含んでよい。このようなユニットの例は、グラフィック処理ユニットまたはGPUである。GPUまたは同様のハードウェアの支援により、機械学習アルゴリズムは、SRSEにおいてはるかに効率的に動作し得、リアルタイムで結果を提供することができる。このような処理アーキテクチャは、危険な状況のリアルタイムの予測を可能にし、したがって、反応して衝突を回避するための十分な時間をエンティティに提供するために、早期に警告を送信することを可能にする。加えて、SRSEは、異なるセンサーおよび異なる種類のセンサーからのデータを使用し得る処理を実行し得るので、SRSEは、交通の流れの分析および危険な状況の検出および予測に役立つ交差点の統合的な眺望を構築し得る。
【0159】
使用例
【0160】
幅広い様々な例は、システムによる恩恵、および、システムが衝突回避のために提供し得る早期警告による恩恵を受け得る。例が本明細書において提供される。
【0161】
例1:被害を受け得る地上交通エンティティ
【0162】
図4に示されるように、典型的な交差点409を横断する車道は、歩行者および他の被害を受け得る道路ユーザー(被害を受け得る道路ユーザー)が車道を横断して歩くために使用し得る特定の横断エリア401、402、403、404を含む横断歩道を含み得る。このような横断または他の被害を受け得るユーザーを検出することに適したセンサーが、横断歩道および横断歩道の周辺の監視を可能にする1つまたは複数の見晴らしの良い地点に位置する。訓練フェーズ中、収集されたデータが、交差点における被害を受け得る道路ユーザーの挙動について学習するように人工知能モデルを訓練するために使用され得る。次に、配備フェーズ中、AIモデルが、被害を受け得る道路ユーザーに関する現在のデータを使用して、例えば、被害を受け得る道路ユーザーが車道を横断しようとしていることを予測し得、および、被害を受け得る道路ユーザーが横断し始める前にその予測を行い得る。歩行者、および、他の被害を受け得る道路ユーザー、運転手、車両、および、他の人および地上交通エンティティの挙動および意図が前もって予測され得る場合、早期警告(例えば警報)が、それらのうちのいずれかまたはすべてに送信され得る。早期警告は、車両が停止すること、減速すること、経路を変えること、またはそれらの組み合わせを可能にし得、危険な状況が切迫していると予測された場合、被害を受け得る道路ユーザーが道路を横断することを自制することを可能にし得る。
【0163】
概して、センサーは、交差点の近傍における被害を受け得る道路ユーザーおよび車両の起こり得る動きのすべてのエリアを監視するために使用される。使用されるセンサーの種類は、監視および追跡されている対象物の種類に依存する。幾つかのセンサーは、人および自転車または他の非モーター駆動式車両を追跡することがより得意である。幾つかのセンサーは、モーター駆動式車両を監視すること、および追跡することがより得意である。監視され、および追跡される対象物の種類に依存し得る十分なデータレートにおいて適切なデータをセンサーが提供する場合、センサーの種類は無関係であるので、本明細書において説明されている解決策はセンサーおよびハードウェアを問わない。例えば、ドップラーレーダーは、車両の速度および距離を監視するための、および追跡するための適切なセンサーである。データレート、またはサンプリングレートは、レーダーが連続した新しいデータ値を提供することができるレートである。データレートは、監視される、および追跡される対象物の動作のダイナミクスを捕捉する程度に十分速くなければならない。サンプリングレートが高いほど、より詳細なものが捕捉されデータによる動作の表現がより高ロバストに、およびより正確になる。サンプリングレートが過度に低い場合、および、車両が2つのサンプルインスタンス間において大幅な距離を移動する場合、データが生成されないインターバル中の見逃された詳細事項のせいで、挙動をモデル化することが困難になる。
【0164】
横断歩道に対して、センサーは、交差点および交差点の近傍におけるエリアにおいて横断する歩行者および他の被害を受け得る道路ユーザー(例えばサイクリスト)を監視する。これらのセンサーからのデータは、検出および位置特定に役立つように、それぞれの異なる仮想ゾーンを使用して状態を表すようにセグメント分けされ得る。ゾーンは、例えば、歩道、歩道の入口、および、交差点への道路の入来進入路405、406、407、408といったように、危険な状況が想定され得るそれぞれのクリティカルエリアに対応するように選択され得る。各ゾーンにおける行動および他の条件が記録される。記録は、運動学(例えば、位置、進行方向、速度、および、加速度)、および、顔の、および体の特徴(例えば目、姿勢)を包含し得るが、これらに限定されない。
【0165】
センサーの数、ゾーンの数、および、ゾーンの形状は、各交差点に特有であり、および交差点への各進入路に特有である。
【0166】
図5は、歩行者または他の被害を受け得る道路ユーザー、および、モーター駆動式車両および、非モーター駆動式車両、および、他の地上交通エンティティの動きおよび挙動を監視するために、および追跡するために使用される異なるゾーンを示す典型的な例示的なセットアップの平面図を示す。
【0167】
センサーは、道路を横断する横断歩道を監視するように構成される。仮想ゾーン(301、302)は、歩道に、および横断歩道に沿って位置し得る。他のセンサーは、横断歩道に続く道を進行している車両および他の地上交通エンティティを監視するように配置されており、仮想ゾーン(303、304)は、例えば、入来する車両および他の地上交通エンティティ、横断歩道からそれらの距離、および、それらの速度を検出することに役立つように戦略的に配置されている。
【0168】
システム(例えば、センサーに関連したRSEまたはSRSE)は、すべてのセンサーからデータのストリームを収集する。システムが最初に動作状態にされたとき、機器の校正および機能に役立つように、初期のルールベースのモデルが配備され得る。その間にも、センサーデータ(例えば、レーダーユニットから速度および距離、カメラから画像およびビデオ)が、収集され、準備中にRSEにローカルに記憶され、幾つかの実施態様において、この収集されたデータを使用して交差点の異なるエンティティの挙動のAIモデルを構築するために十分に強力なリモートコンピュータに伝達される。幾つかの例において、RSE自体が、AIモデルを生成することが可能なSRSEである。
【0169】
したがって、データが準備され、交差点を通る各地上交通エンティティに対して軌道が構築される。例えば、軌道は、同じエンティティに属する異なる距離の点を一緒に連結することにより、レーダーデータから導き出され得る。歩行者の軌道および挙動は、例えば、カメラおよびビデオ記録から導き出され得る。ビデオおよび画像処理技術を実施することにより、歩行者の動きは、画像およびビデオにおいて検出され得、それらのそれぞれの軌道が推定され得る。
【0170】
ヒトの挙動に対して、インテリジェント機械学習ベースのモデルは、典型的には、単純な物理学に基づく単純なルールより優れている。これは、人間の意図は捉えることが困難であるから、および、パターンを検出することができるために大きいデータ集合が必要とされるからである。
【0171】
機械学習(AI)モデルがサーバーにおいて完成されたとき、AIモデルは、例えばインターネットを通して、RSEにダウンロードされる。次に、RSEは、センサーから捕捉された現在のデータをAIモデルに適用して、意図および挙動をそれが予測することをもたらし、危険な状況が切迫している時を特定し、および、被害を受け得る道路ユーザーおよび運転手が衝突回避ステップを実行することを可能にするために間に合うように、早期警告として車両および他の地上交通エンティティに、および、被害を受け得る道路ユーザーおよび運転手に拡散される(例えばブロードキャストされる)対応する警報をトリガーする。
【0172】
この例示的な設定は、任意の他の使用例、例えば、信号機付き交差点または平面交差点における交通、と組み合わされ得る。
【0173】
例2:信号機付き交差点
【0174】
信号機付き交差点(例えば交通信号灯により制御されるもの)の場合、システムの全体的な設定は、例1の場合のように行われる。1つの違いは、車両の速度、進行方向、距離、および位置を監視する、または追跡するために使用されるセンサーの種類であり得る。例1の横断歩道に対する設定は、更に、より全般的な解決策のために、信号機付き交差点の設定と組み合わされ得る。
【0175】
信号機付き交差点の使用例に対する動作の概念は、ユーザーに関するデータ、または、ユーザー自体により通信されたデータを収集する外部センサーを使用して交差点の周囲における道路ユーザーを追跡すること、ユーザーの挙動を予測すること、および、概して交差点の交通規則の違反、例えば赤信号に違反すること、に起因した近づきつつある危険な状況に関して、異なる通信手段を通して警報をブロードキャストすることである。
【0176】
道路ユーザーに関するデータは、(a)例えばBSMまたはPSMを通した、各エンティティの現在の状態に関する、各エンティティ自体によりブロードキャストされたエンティティデータ、および、(b)例えばドップラーレーダー、超音波センサー、視覚カメラまたは温度カメラ、ライダーなどの、インフラストラクチャーに、または車両に外部から設置されたセンサー、を使用して収集され得る。上述のように、選択されたセンサーの種類、および、交差点における選択されたセンサーの位置および配向は、交差点またはその調査中の部分の最も広範囲のカバレッジを提供しなければならず、更に、交差点に接近するエンティティに関する収集されたデータは最も正確である。したがって、収集されたデータは、道路ユーザーの現在の状態の再構成、および、正確な、時宜にかなった、有用なVBSM(仮想的な基本的な安全メッセージ:virtual basic safety message)またはVPSM(仮想的な個人用安全メッセージ:virtual personal safety message)の生成を可能にする。データが収集されなければならない頻度は、各種類の道路ユーザーの潜在的な危険、および、潜在的な違反のクリティカリティに依存する。例えば、交差点において高速で移動するモーター駆動式車両は、通常、リアルタイムの衝突回避を達成するために1秒当たり10回のデータの更新を必要とし、はるかに低い速度で交差点を横断する歩行者は、1秒当たり1回の少ないデータ更新を必要とし得る。
【0177】
ここまでに説明されているように、図4は、検出仮想ゾーンを含む信号機付き交差点の平面図の例を示す。これらのゾーンは、交差点への各進入路を別々の車線410、411、412、413、405、406、407、408にセグメント分けし得、更に、各車線を停止バーからの距離の一般的な範囲に対応したエリアに区切り得る。これらのゾーンの選択は、概して特定の進入路および交差点の特性に適合するように経験的に実施され得る。交差点をセグメント分けすることは、各道路ユーザーに対する相対的な進行方向、速度、加速度、および位置の、より正確な特定を可能にし、ひいては、道路ユーザーが他の地上交通エンティティに見せる潜在的な危険のより適切な評価を可能にする。
【0178】
観測された交通状況が危険な状況であるか否かを判定するために、システムは、更に、予測された状況の結果を交通信号灯の状態と比較すること、および、ローカル交通規則(例えば、左折用車線、赤信号での右折など)を考慮することを必要とする。したがって、交差点の信号フェーズおよびタイミング(SPaT:signal phase and timing)情報を収集すること、および使用することが必要とされる。SPaTデータは、交差点における交通信号灯制御装置と直接的にインターフェース接続することにより、概して、有線接続を通してデータを読み取ることにより、または、例えばAPIを通して、要求されたデータを受信するように交通管理システムとインターフェース接続することにより収集され得る。道路ユーザーの状態が交通信号の状態と常に同期されることを確実なものとするために、道路ユーザーデータが収集されるレートにできる限り近いレートでSPaTデータを収集することが重要である。SPaT情報を知るという要求に対する追加的な複雑さは、交差点付近における交通の流れを調節するために使用される現代の交通制御技法が固定のタイミングに基づいておらず、リアルタイムの交通状態に動的に適応し得るアルゴリズムを使用することである。したがって、違反予測における最高の正確さを保証するために、SPaTデータ予測アルゴリズムを組み込むことが重要である。これらのSPaTデータ予測アルゴリズムは、ルールベースの方法または機械学習方法を使用して構築され得る。
【0179】
交差点への各進入路に対して、RSE(またはSRSE)によりデータが収集され、収集されたデータに対応した車両の挙動を説明するために機械学習(AI)モデルが構成される。次に、交差点への進入路のうちの1つにおいて移動している車両または他の地上交通エンティティが、例えば交通信号灯に違反しようとしているか否かの早期予測を生成するために、交差点において収集された現在のデータがAIモデルに適用される。違反が切迫している場合、メッセージがRSEから近傍における地上交通エンティティに中継(例えばブロードキャスト)される。(違反車両を含む)車両、および、歩行者または他の被害を受け得る道路ユーザーが、メッセージを受信し、衝突を回避するために適切な先手を打つような手段を取るための時間を得る。メッセージは、次の手法、すなわち、他にもあり得るが、点滅するライト、標識、またはラジオ信号のうちの1つまたは複数により、地上交通エンティティに送達され得る。
【0180】
交差点に接近している車両または他のエンティティがOBEまたはOPEを備える場合、潜在的な危険が交差点において予測されたという、RSEからブロードキャストされたメッセージを受信することができる。これは、ユーザーが警告されること、および、衝突を回避するために適切な先手を打つような手段を取ることを可能にする。交差点における違反道路ユーザーもOBEまたはOPEを備えている場合、ユーザーもブロードキャストされた警報を受信する。次に、OBEまたはOPEにおけるアルゴリズムがユーザーの違反挙動とメッセージとを照合し得、適切にユーザーに警告し得る。
【0181】
警報を送信する判断は、交差点におけるセンサーにより収集されたデータにより表された車両の挙動に依存するだけではない。センサーは判断において大きい役割を果たすが、他の入力も考慮される。これらの入力は、近くの交差点からの情報(車両が近くの交差点において信号を無視して走った場合、その車両がこの交差点において同じことを行う確率がより高い)、他の連携した車両からの情報、または、更には、例えば、その車両が異常を抱えていることをその車両が報告している場合のその車両自体からの情報を包含してよいがこれらに限定されない。
【0182】
例3:信号機の無い交差点
【0183】
信号機の無い制御される交差点、例えば、一時停止の標識、または譲れの標識により制御される交差点も、同様に監視され得る。交通標識により制御される進入路を監視するためにセンサーが使用され、信号機付き交差点への進入路における入来する車両に関する予測と同様に、入来する車両に関する予測が行われ得る。信号機の無い制御される交差点における道路の規則は、典型的には明確に規定される。一時停止の標識により制御される進入路における地上交通エンティティは、完全に停止しなければならない。多方向停止式の交差点では、地上交通エンティティが交差点に到達する順序により、優先的な通行権が決定される。1方向停止に伴う特別な場合が考慮され得る。センサーの集合は、一時停止の標識の無い進入路も同様に監視し得る。このような設定は、一時停止の標識のギャップネゴシエーションを支援し得る。譲れの標識により制御される交差点に対して、譲れの標識により制御される進入路における地上交通エンティティは、交差点において他の地上交通エンティティに優先的な通行権を与えるために、その速度を落とさなければならない。
【0184】
主な課題は、内的因子(例えば運転手の注意散漫)、または、外的因子(例えば視認性の欠如)に起因して、地上交通エンティティが道路の規則に違反し、他の地上交通エンティティをリスクにさらすことである。
【0185】
一時停止の標識により制御される交差点の一般的な例(すなわち、各進入路が一時停止の標識により制御される)では、システムの全体的な設定が例1の場合のように行われる。1つの違いは、車両の速度、進行方向、距離、および位置を監視する、または追跡するために使用されるセンサーの種類であり得る。別の違いは、交通信号灯制御装置を含まずに、道路の規則が道路標識により示されることである。例1の横断歩道に対する設定も、より全般的な解決策のために、信号機の無い制御される交差点の設定と組み合わされ得る。
【0186】
図4は、更に、検出仮想ゾーンを含む4方向停止式の交差点の平面図の例を示すように理解され得る。これらのゾーンは、交差点への各進入路を別々の車線410、411、412、413、405、406、407、408にセグメント分けし得、停止バーからの距離の一般的な範囲に対応したエリアに各車線を更に区切り得る。これらのゾーンの選択は、概して特定の進入路および交差点の特性に適合するように経験的に行われ得る。
【0187】
図4に対してここまでに説明されているものと同様の手法により、交差点において収集された現在のデータが、AIモデルに適用されて、交差点への進入路のうちの1つにおいて移動している車両または他の地上交通エンティティが一時停止の標識に違反しようとしているか否かの早期予測を生成する。違反が切迫している場合、メッセージは、交通信号灯違反を伴う前述の例と同様に取り扱われ得る。
【0188】
更に、ここまでの説明と同様に、警報を送信する判断は、前述の因子に基づき、および、他の情報、例えば、車両が近くの交差点において一時停止の標識を無視して走ったか否か(その車両がこの交差点において同じことを行う確率がより高いことを示唆する)に基づき得る。
【0189】
図18は、制御される信号機の無い交差点に対する使用例を示す。それは、戦略的に配置されたセンサーを含むSRSEが、接続されていないエンティティから発生する差し迫る危険な状況を、接続されたエンティティにどのように警告し得るかを説明する。
【0190】
接続されたエンティティ9106が、経路9109に沿って移動している。エンティティ9106は、優先的な通行権をもつ。接続されていないエンティティ9107が、経路9110に沿って移動している。エンティティ9107は譲れの標識9104の対象であり、エンティティ9106に優先的な通行権を与えずに経路9109に合流しようとしており、エンティティ9106の経路に直接、エンティティ9107を出そうとしている。エンティティ9106がエンティティ9107を認識しないので、危険な状況が切迫している。エンティティ9107が接続されていないエンティティであるので、エンティティ9107の位置および進行方向を、交差点をシェアしている他のエンティティにアドバタイズ(ブロードキャスト)することができない。更に、エンティティ9106は、エンティティ9106の直接的な視野内に無いエンティティ9107を「見る」ことが不可能であり得る。エンティティ9106がその経路に沿って進行する場合、エンティティ9106は、エンティティ9107と最終的に衝突し得る。
【0191】
交差点はスマート交差点であるので、道路の上方の梁9102に搭載されたレーダー9111がエンティティ9107を検出する。レーダー9111は、更にエンティティ9107の速度および距離を検出する。この情報は、SRSE9101を通して、接続されたエンティティ9106に警報として中継され得る。SRSE9101は、進入路9110に沿って動くエンティティに対する機械学習モデルを含む。エンティティ9107が交通規則の潜在的な違反者としてモデルにより分類され、接続されたエンティティ9106に警告(警報)がブロードキャストされる。この警告が前もって送信され、危険な状況に反応する、および、危険な状況を防止するための十分な時間をエンティティ9106に与える。
【0192】
例4:平面交差点
【0193】
平面交差点はモーター駆動式車両、歩行者、および鉄道車両を通行させ得るので、平面交差点は危険である。多くの場合、平面交差点に続く道は、列車または他の鉄道車両の運転者(例えば車掌)の死角に入る。鉄道車両の運転手は主に見通し線の情報に基づいて運転するので、道路ユーザーが鉄道車両の優先的な通行権に違反した場合、および、道路ユーザーが横断することを許可されていない場合に平面交差点を横断するとき、これが事故の可能性を高める。
【0194】
平面交差点が、多くの場合、交通規則および信号により調節される道路と鉄道交通との間の衝突点であるという意味で平面交差点の使用例の動作は、信号機付き交差点の使用例と同様である。したがって、この使用例は、平面交差点付近の安全性を高めるために衝突回避警告を更に必要とする。鉄道交通は、計画的に分離された鉄道用地をもち得(例えば、高速鉄道)、または分離された鉄道用地をもたない(例えば、軽量都市鉄道または路面電車)。軽量鉄道および路面電車を使用する場合、これらの鉄道車両は更に活動のある道路において運行するので、および、道路ユーザーと同じ交通規則に従う必要があるので、本使用例はさらに重要になる。
【0195】
図6は、道路および横断歩道が鉄道を横断している、平面交差点の一般的な使用例を示す。横断歩道の使用例と同様に、歩行者の動きおよび意図に関するデータを収集するために、センサーが配置される。交差点に接近しようとしている道路車両の動きを監視する、および予測するために、他のセンサーが使用される。道路ユーザーに関するデータは、道路ユーザーブロードキャスト(例えばBSMまたはPSM)からも収集され得る。近くの交差点、車両、および、リモート指揮・制御センターからのデータが、警報をトリガーするための判断に使用され得る。
【0196】
違反の可能性を適切に評価するために、道路および鉄道の進入路に対するSPaTに関するデータも収集されることが必要である。
【0197】
信号機付き交差点の使用例と同様に、収集されたデータは、ルールベースのアルゴリズムおよび機械学習アルゴリズムを使用した予測モデルの生成を可能にする。
【0198】
この使用例において、鉄道車両は、衝突回避警告を受信するためにOBEまたはOPEを備える。鉄道車両の優先的な通行権の違反が予測された場合、RSEが警報メッセージをブロードキャストし、道路ユーザーがその意図される経路にいることを鉄道車両の運転手に警告し、鉄道車両の運転手が衝突を回避するための十分な時間を伴って先手を打つような行動を取ることを可能にする。
【0199】
違反道路ユーザーが更にOBEまたはOPEを備えている場合、RSEによりブロードキャストされたメッセージは、更に違反道路ユーザーにより受信される。OBEまたはOPEにおけるアルゴリズムは、次に、ユーザーの違反挙動と受信されたメッセージとを照合し得、ユーザーに適切に警告し得る。
【0200】
(ギャップを橋渡しする)仮想的な接続された地上交通環境
【0201】
ここまでに説明されているように、システムの有用な用途は、接続されていない地上交通エンティティの代わりに仮想的な接続された環境を生成することである。接続された技術の採用に対する障害は、インフラストラクチャー設置物の欠如だけでなく、接続された車両、接続された被害を受け得る道路ユーザー、および接続された他の地上交通エンティティがほぼ存在しないことである。
【0202】
接続された車両に関連して、幾つかの規制体制において、このような車両は基本的な安全メッセージ(BSM)と呼ばれるものを常に送信している。BSMは、他の情報もあり得るが、車両の位置、進行方向、速度、および将来の経路を含む。他の接続された車両は、これらのメッセージに注意を払い、それらの環境に存在する車両のマップを生成するためにそれらのメッセージを使用し得る。周辺の車両がどこにあるかを知ることにより、車両が自律的であるか否かによらず、車両は高レベルの安全性を維持するために有用な情報をもつ。例えば、自律的な車両はその経路に接続された車両が存在する場合、操縦を行って回避し得る。同様に、運転者がたどろうと計画している経路に何らかの他の車両が存在する場合、例えば突然の車線変更などの場合、運転者は警報を受け得る。
【0203】
すべての地上交通エンティティが交通安全メッセージおよび情報を送信および受信するように装備されるまで、幾つかの道路エンティティは、道路エンティティのうちの残りのものについて「ダーク」であり、または視認不能である。ダークな道路エンティティは、危険な状況のリスクをもたらす。
【0204】
ダークな道路エンティティは、それらの位置をアドバタイズ(例えばブロードキャスト)しないので、道路エンティティの情報をブロードキャストすること(すなわち、接続されたエンティティであること)をすべての道路エンティティに期待し得る接続されたエンティティとって、ダークな道路エンティティは視認不能である。車載センサーは障害物および他の道路エンティティを検出し得るが、これらのセンサーの範囲は、危険な状況および衝突を防ぐことに効果的であるには短すぎる傾向がある。したがって、接続された車両のコネクティビティと接続されていない車両のコネクティビティの欠如との間にギャップがある。以下で説明される技術は、交差点におけるすべての車両または地上交通網の他のコンポーネントを検出し得る、および接続されていない車両の代わりにメッセージを送信し得るインフラストラクチャーに関するインテリジェンスを使用することによりこのギャップを橋渡しすることを目的としたものである。
【0205】
システムは、ほとんどの車両(および他の地上交通エンティティ)が接続されたエンティティとなることが想定される将来と、ほとんどの車両および他の地上交通エンティティがコネクティビティをもたない現時点との間のギャップを橋渡しし得る、例えば交差点における、仮想的な接続された地上交通環境を確立し得る。仮想的な接続された地上交通環境において、スマート交通信号灯および他のインフラストラクチャー設置物は、すべての車両および他の地上交通エンティティ(接続された、接続されていない、半自律、自律、非自律)を追跡するためにセンサーを使用し得、および、(車両の場合)それらの代わりに仮想BSMメッセージ(VBSM)を生成し得る。
【0206】
VBSMメッセージは、BSMの部分集合とみなされ得る。それは、BSMを生成するために必要とされるすべてのフィールドを含むわけではないものであり得るが、位置、進行方向、速度、および軌道を包含するすべての位置特定情報を含み得る。V2X通信は標準化され、および匿名にされているので、VBSMおよびBSMは簡単に区別されることができず、同じメッセージ構造に従う。2つのメッセージ間の主な相違点は、これらのメッセージに含まれる情報のソースの可用性である。VBSMは、例えば、ハンドルの角度、ブレーキステータス、タイヤ圧、またはワイパーの有効化といった、外部センサーにより簡単に生成されないデータおよび情報を含まないものであり得る。
【0207】
適切なセンサーが設置されることにより、スマートRSEを含む交差点は、交差点を通って移動するすべての道路エンティティを検出し得る。SRSEは、更に、複数のセンサーからのすべてのデータをグローバル統合座標系に変換し得る。このグローバル統合系は、各道路エンティティの地理的位置、速度、および進行方向により表される。各道路エンティティは、各道路エンティティが接続されているか否かによらず交差点機器により検出され、各道路エンティティの代わりとなってグローバル統合位置が生成される。したがって、道路エンティティの代わりに、標準的な安全メッセージがブロードキャストされ得る。しかし、RSEが検出するすべてのエンティティのために、RSEが安全メッセージをブロードキャストする場合、RSEが、接続された道路エンティティの代わりにメッセージを送信し得る。コンフリクトを解決するために、RSEは、そのダークエンティティのリストから接続された道路エンティティをフィルタ処理し得る。RSEは接続された車両から安全メッセージを連続的に受信するので、および、RSEセンサーが交差点を通る道路エンティティを連続的に検出しているので、これが達成され得る。検出された道路エンティティの位置が、ある位置であって、そのある位置からの安全メッセージがRSE受信器により受信された、そのある位置に一致している場合、道路エンティティが接続されていると推測され、その道路エンティティの代わりにRSEにより安全メッセージがブロードキャストされない。これは図15に示される。
【0208】
接続された車両と接続されていない車両との間の橋渡しを生成することにより、(自律的な車両を含む)接続されたエンティティは、近くのすべての道路エンティティの完全な認識を伴って、交差点を通って安全に操縦し得る。
【0209】
本技術のこの態様は図17に示される。交差点9001は所与の時点において複数の道路エンティティを含む。これらのエンティティのうちの幾つかは接続されていないもの9004、9006であり、他は接続されたもの9005、9007である。被害を受け得る道路ユーザー9004、9007がカメラ9002により検出される。モーター駆動式道路エンティティ9005、9006がレーダー9003により検出される。各道路エンティティの位置が計算される。接続された道路エンティティからのブロードキャストが更にRSE9008により受信される。エンティティの位置であって、その位置からのメッセージが受信された、エンティティの位置が、エンティティが検出された位置と比較される。2つのエンティティが所定の公差内で一致している場合、その位置におけるエンティティは接続されているとみなされ、そのエンティティの代わりに安全メッセージは送信されない。一致する受信位置のない、道路エンティティのうちの残りのものはダークとみなされる。それらの代わりに、安全メッセージがブロードキャストされる。
【0210】
V2Xプロトコルの統合部分である衝突警告および交差点違反警告に対して、各エンティティは、システムが効果的であるために接続される必要がある。その要求は、V2Xデバイスおよびシステムの配備においてハードルとなる。スマートRSEを備える交差点は、接続された車両と接続されていない車両との間の仮想的な橋渡しを提供することによりその懸念を解決する。
【0211】
米国DOT(運輸省:Department of Transportation)およびNHTSA(米国高速道路交通安全局:National Highway Traffic Safety Administration)は、BSMを使用する多くの接続された車両用途を特定し、機能異常によらない衝突(non-impaired crash)および死亡者を実質的に減らすことを支援する。これらの用途は、前方衝突警告(FCW:Forward Collision Warning)、交差点移動支援(IMA:Intersection Movement Assist)、左折支援(LTA:Left Turn Assist)、追い越し禁止警告(DNPW:Do Not Pass Warning)、および死角/車線変更警告(BS/LCW:Blind Spot/Lane Change Warning)を包含するがこれらに限定されない。米国DOTおよびNHTSAは、これらの用途を以下のように規定している。
【0212】
FCWは、追突事故を解決し、前方における停止した、減速している、またはより遅い車両について運転手に警告する。IMAは、交差点横断衝突を回避するように設計されており、交差点に横方向から接近している車両について運転手に警告し、同じ方向または逆方向への進路変更経路および直線的な横断経路という2つの主なシナリオをカバーする。LTAは、ある関与する車両が交差点において左折したとともに、他の車両が逆方向から直線的に移動した場合の衝突を解決し、および、左折をしようとしているとき、近づいてくる反対方向の交通の存在を運転手に警告する。DNPWは、追い越し運転によりもたらされる反対方向の衝突を回避するために運転手を支援し、分割されていない2車線車道において、より遅い車両を追い越そうと試みるとき、近づいてくる反対方向の車両の運転手に警告する。BS/LCWは、衝突前に、車両が車線変更/合流運転を行った場合の衝突を解決し、および、接近している車両について、または、近接した車線におけるそれらの死角にいる車両の存在について運転手に警報を出す。
【0213】
V2Xプロトコルは、これらの用途が車両・対・車両(V2V)通信を使用して達成されなければならないことを規定しており、ここで、ある接続された離れた車両が接続されたホスト車両に基本的な安全メッセージをブロードキャストする。次に、ホスト車両のOBEが、それ自体の車両パラメータ、例えば、速度、進行方向、および軌道とこれらのBSMとを照合しようと試み、ここまでに本明細書において説明されているように、離れた車両により引き起こされる潜在的な危険性または脅威が存在するか否かを判定する。更に、自律的な車両は、その車載センサーから収集されたデータに含まれない重要な情報部分である意図を周辺の車両が通信することを可能にするので、自律的な車両はこのような用途により特に恩恵を受ける。
【0214】
しかし、現在の車両は接続されておらず、上述のように、BSMが上述のように適切に機能するように、接続された車両の割合が高くなるまで、非常に長い期間を要する。したがって、仮に上述の用途を可能にするほどに、およびV2X通信により完全に恩恵を受けるほどに接続された車両の割合が十分に高い環境であれば接続された車両が受信するであろう多数のBSMを接続された車両が受信する、および分析することは、接続された車両の割合が小さい環境では必要とされない。
【0215】
VBSMは、大半が接続されていないエンティティを含む現在の環境と大半が接続されたエンティティを含む将来の環境との間のギャップを橋渡しすることに役立ち得、合間の期間に上述の用途を可能にし得る。本明細書において説明されている技術では、VBSMを受信する接続された車両は、その用途において正規のBSMとしてVBSMを処理する。VBSMおよびBSMは同じメッセージ構造に従うので、および、VBSMはBSMと実質的に同じ基本情報、例えば、速度、加速度、進行方向、過去の軌道、および予測された軌道、を含むので、所与の用途にメッセージを適用することの結果は実質的に同じである。
【0216】
例えば、接続されていない離れた車両が優先的な通行権をもって反対方向から直線的に移動している瞬間に、接続されたホスト車両が左折を試みようとしている、保護されていない左折を伴う交差点を検討する。これは、操縦の遂行が本状況のホスト車両の運転手の判断に依存している状況である本状況の不適切な評価は、コンフリクトおよび潜在的な衝突しそうな接近または衝突をもたらし得る。周辺のインフラストラクチャーに設置された外部センサーは、離れた車両または、更には両方の車両を検出し、および追跡し得、基本情報、例えば、速度、加速度、進行方向、および過去の軌道、を収集し得、それらをRSEに送信し得、続いてRSEが、ルールベースのアルゴリズムまたは機械学習アルゴリズムまたはその両方を使用して離れた車両に対して予測された軌道を構築し、VBSMのために必要とされるフィールドを埋め、接続されていない離れた車両の代わりにそれをブロードキャストし得る。ホスト車両のOBEは、離れた車両に関する情報を含むVBSMを受信し、運転手の操縦が潜在的な危険性をもたらすか否か、および、衝突を回避するための先を見越した行動、または修正する行動を取るために、OBEがホスト車両の運転手に警告を表示しなければならないか否かを判定するために、そのLTAアプリケーションにおいてVBSMを処理する。離れた車両が接続されており、衝突が予測される左折を対向車両がしようとしているというデータをRSEおよびセンサーから受信した場合にも、同様の結果が達成され得る。
【0217】
VBSMは、車線変更の操縦においても使用され得る。車線を変更している車両が、操縦の安全性を確認するための、例えば、バックミラーおよびサイドミラー、および、死角を確認するための必要なステップを実施していない場合このような操縦が危険であり得る。車両が危険な車線変更を実施することを防ぐために役立つように、例えば、車載超音波センサーを使用した死角警告などの新しい高度な運転手支援システムが発展してきた。しかし、これらのシステムは、センサーが汚れている場合、または、視野を塞がれている場合に関して短所をもち得る。更に、既存のシステムは、車線変更をしようとしている別の車両について、危険にさらされた車両に警告することを試みない。V2X通信は、例えばBSMを使用したBS/LCWといった用途を通してこの問題を解決することに役立つが、車線変更をしようとしている車両は、接続されていない車両に該当し、その結果、その意図を通信することができないものであり得る。VBSMは、その目標を達成するために役立ち得る。LTAの使用例と同様に、周辺のインフラストラクチャーに設置された外部センサーが、車線変更の操縦をしようとしている接続されていない車両を検出し、および追跡し、速度、加速度、進行方向および過去の軌道などの基本情報を収集し、それらをRSEに送信し得る。次に、RSEが、ルールベースのアルゴリズムおよび機械学習アルゴリズムを使用して車線を変更している車両に対して予測された軌道を構築し、VBSMのために必要とされるフィールドを埋め、接続されていない離れた車両の代わりにそれをブロードキャストする。次に、危険にさらされた車両のOBEが、同じ車線に合流しようとしている車両に関する情報を含むVBSMを受信し、VBSMを処理し、操縦が潜在的な危険性をもたらすか否か、および、それが車両の運転手に車線変更警告を表示しなければならないか否かを判定する。車線を変更している車両が接続された車両である場合、そのOBEは、その死角にある車両に関して、RSEからVBSMを同様に受信し、車線変更の操縦が周辺の交通に潜在的な危険性をもたらすか否か、および、それが車両の運転手に死角警告を表示しなければならないか否かを判定し得る。両方の車両が接続されている場合、両方の車両が互いにBSMをブロードキャストすることができ、BS/LCW用途を可能にする。しかし、これらの用途は、OBEが警告を表示するか否かを判断することを伴って、車線を変更している車両の意図を早期に予測するために、上述のようにBSMデータに同じルールベースのアルゴリズムまたは機械学習アルゴリズム(またはその両方)を適用することによる恩恵を依然として受ける。
【0218】
自律的な車両
【0219】
接続されていない道路エンティティに欠けているコネクティビティは、自律的な車両に影響を与える。自律的な車両におけるセンサーは、短距離であるか、または狭い視野をもつ。それらのセンサーは、例えば街路の角における建物付近に来る車両を検出することができない。それらのセンサーは、配達用トラックの後方に隠され得る車両を検出することもできない。これらの隠された車両が接続されていないエンティティである場合、これらの隠された車両は、自律的な車両にとって視認不能である。これらの状況は、技術の大規模な採用に必要な安全性のレベルを達成するための自律的な車両の技術の能力に影響を与える。スマート交差点は、このギャップを軽減することに役立ち得、公衆による自律的な車両の受け入れを補助し得る。自律的な車両は、それがもつセンサーと同様な良さをもつにすぎない。スマートRSEを備える交差点は、見通しの悪い角の周囲に、または、大きいトラックを越えて車載センサーの対応範囲を延ばし得る。このような延長は、自律的なエンティティおよび他の接続されたエンティティが従来の接続されていない車両と共存することを可能にする。このような共存は、自律的な車両およびそれらがもたらす利点の採用を加速し得る。
【0220】
仮想的な接続された地上交通環境は、他の手法では実装することが困難であった車両・対・車両(V2V)、車両・対・歩行者(V2P)、および車両・対・デバイス(V2D)用途の実装を可能にするVBSMメッセージを含む。
【0221】
システムは機械学習を使用して、様々な安全メッセージに必要なデータのフィールドを迅速に、および正確に生成し、それらをVBSMメッセージ構造体にパックし、例えば、これらに限定されないが、DSRC、Wi-Fi、セルラー、または従来の道路標識といった様々な媒体を使用して、近傍における地上交通エンティティにメッセージを送信し得る。
【0222】
仮想的な個人用安全メッセージ(VPMS:Virtual personal safety messages)
【0223】
地上交通環境は、接続されていない車両だけでなく、接続されていない人および他の被害を受け得る道路ユーザーを含み得る。
【0224】
幾つかの規制体制では、接続された被害を受け得る地上交通エンティティが、個人用安全メッセージ(PSM)を連続的に送信する。PSMは、他の情報もあり得るが、被害を受け得る地上交通エンティティの位置、進行方向、速度、および将来の経路を含む。接続された車両およびインフラストラクチャーは、これらのメッセージを受信し得、それらのメッセージを使用して、被害を受け得るエンティティを含むマップを生成し、および地上交通網における安全性のレベルを高め得る。
【0225】
したがって、仮想的な接続された地上交通環境は、ほとんどの被害を受け得る地上交通エンティティが接続されると想定される将来と、ほとんどの被害を受け得る地上交通エンティティがコネクティビティをもたない現時点との間のギャップを橋渡しし得る。仮想的な接続された地上交通環境において、スマート交通信号灯および他のインフラストラクチャー設置物は、すべての(接続された、接続されていない)被害を受け得る地上交通エンティティを追跡するためにセンサーを使用し得、それらの代わりにVPSMを生成し得る。
【0226】
VPSMメッセージは、PSMの部分集合とみなされ得る。VPSMは、PSMを生成するために必要とされるすべてのフィールドを含むことを必要としないが、安全性評価および危険な状況の防止に必要なデータを含み得、位置、進行方向、速度、および軌道を包含する位置特定情報を含み得る。幾つかの例において、例えば、運転手の意図、姿勢、または見ている方向といった、標準的ではないPSMフィールドがVPSMに更に含まれ得る。
【0227】
システムは、機械学習を使用して、これらのフィールドを迅速に、および正確に生成し、それらをVPSMメッセージ構造体にパックし、例えば、これらに限定されないが、DSRC、Wi-Fi、セルラー、または従来の道路標識といった様々な媒体を使用して近傍における地上交通エンティティにそれを送信し得る。
【0228】
VPSMメッセージは、他の手法では実装することが困難であった、歩行者・対・車両(P2V:pedestrian to vehicle)、歩行者・対・インフラストラクチャー(P2I:pedestrian to infrastructure)、歩行者・対・デバイス(P2D:pedestrian to devices)、車両・対・歩行者(V2P:vehicle to pedestrian)、インフラストラクチャー・対・歩行者(I2P:infrastructure to pedestrians)、およびデバイス・対・歩行者(D2P:devices to pedestrians)用途の実装を可能にする。
【0229】
図16は、横断歩道8103を横断している歩行者8102を示す。横断歩道8103は、交差点における横断歩道、または、交差点間の一続きの道路をまたぐ、ブロックの途中の横断歩道にあり得る。カメラ8101は、歩道8104を監視するために使用される。カメラ8101の視野8105の境界のグローバルな位置は、設置時に決定され得る。視野8105は、カメラ8101の仕様により反映される所定の数のピクセルによりカバーされる。道路エンティティ8102がカメラの視野内において検出され得、そのグローバルな位置が計算され得る。道路エンティティ8102の速度および進行方向が更に、s時点でその変位量から特定され得る。道路エンティティ8102の経路は、エンティティ8102が横断した位置の列であるブレッドクラム8106により表され得る。このデータは、仮想PSMメッセージを構築するために使用され得る。次に、PSMメッセージは交差点付近のすべてのエンティティにブロードキャストされ得る。
【0230】
信号機の無い交差点における交通執行および挙動執行
【0231】
システムの別の有用な用途は、信号機の無い交差点における交通執行(例えば、一時停止の標識、譲れの標識)、および、地上交通網の任意の場所における良い運転挙動の執行である。
【0232】
VBSMおよびVPSMを生成することの副産物として、システムは、交通法規を順守しない、および危険な状況および衝突の確率を高める道路ユーザーを追跡し、および検出し得る。危険な状況の予測は、執行を含むように拡張され得る。危険な状況は必ずしも衝突を起こすわけではない。ニアミスが一般的であり、運転手のストレスレベルを高め、その後の事故につながり得る。ニアミスの頻度は執行の欠如に正に相関する。
【0233】
更に、VBSMを使用して、システムは、不適切な運転挙動、例えば、急激な車線変更、および他の形態の無謀な運転を検出し得る。センサーにより収集されたデータは、訓練するために使用され得、および、機械学習モデルが危険な運転挙動を行っている地上交通エンティティにフラグを立てることを可能にし得る。
【0234】
取締当局は、通常、被害を受け得る道路ユーザーを包含する地上交通エンティティに対して道路の規則を執行するが、当局は、違反を監視する、検出する、および報告するために交差点の近傍に存在することを必要とする。VBSMおよびVPSMを使用して被害を受け得る道路ユーザーを包含する接続されていない地上交通エンティティを追跡することにより、スマートRSEは、取締当局の役割を果たし、および、交差点における道路の規則を執行し得る。例えば、スマートRSEにより追跡される接続されていない車両は、一時停止の標識または譲れの標識に違反していることを検出され得、識別され得、および、当局に報告され得る。同様に、スマートRSEにより追跡される交差点付近の被害を受け得る道路ユーザーは、交差点を違法に横断していることを検出され得、識別され得、および、当局に報告され得る。
【0235】
執行および他の目的のために、地上交通エンティティは、プレートナンバー認識を包含するがこれらに限定されない固有の識別情報を使用して識別され得る。被害を受け得る道路ユーザーは、顔識別、網膜識別、および声波形識別を包含するがこれらに限定されないバイオメトリック認識を使用して識別され得る。民事事件の調査または犯罪捜査を含む特別な場合には、違反している地上交通エンティティまたは被害を受け得る道路ユーザーの識別をサポートするために、ソーシャルメディアネットワーク(例えば、Facebook、Instagram、Twitter)が更に使用され得る。活用されるソーシャルネットワークの例は、違反者の捕捉された写真をソーシャルネットワークにアップロードし、および、違反者に見覚えのあるソーシャルネットワークのユーザーに対して、違反者を識別することに役立つ情報を取締当局に提供するように要求する。
【0236】
他の実施態様も後述の請求項の範囲に入る。
(付記項1)
交通網の交差点に位置する機器を備える装置であって、
前記機器が、
前記交差点における地上交通エンティティまたは前記交差点付近における地上交通エンティティを監視するように配向されたセンサーからデータを受信する入力と、
前記交差点における危険な状況または前記交差点付近における危険な状況に関する警告を、前記地上交通エンティティのうちの1つのデバイスに送信する無線通信デバイスと、
プロセッサと、
ストレージと、
を備え、
前記ストレージが、
現時点における前記交差点における地上交通エンティティまたは前記交差点付近における地上交通エンティティの挙動を予測することができる機械学習モデルを記憶することであって、前記機械学習モデルが、前記交差点における地上交通エンティティまたは前記交差点付近における地上交通エンティティの以前の動作と関連する挙動とに関する訓練データに基づいている、記憶することと、
前記交差点における地上交通エンティティまたは前記交差点付近における地上交通エンティティに関する、前記センサーから受信された現在の動作データを、前記地上交通エンティティの切迫した挙動を予測するために前記機械学習モデルに適用することと、
予測された前記切迫した挙動から、前記交差点における前記地上交通エンティティまたは前記交差点付近における前記地上交通エンティティのうちの1つまたは複数に対する切迫した危険な状況を推測することと、
前記地上交通エンティティのうちの1つの前記デバイスに前記危険な状況に関する前記警告を送信することを前記無線通信デバイスにさせることと、
をするための、前記プロセッサにより実行可能な命令のための前記ストレージである、
装置。
(付記項2)
前記機器が、道路沿いの機器を含む、
付記項1に記載の装置。
(付記項3)
前記装置が、前記機器のためのハウジングを備え、
前記センサーが、前記ハウジングに装着された、
付記項1に記載の装置。
(付記項4)
前記交差点における前記地上交通エンティティまたは前記交差点付近における前記地上交通エンティティのうちの任意のものによる受信のための前記警告をブロードキャストすることにより、前記警告が送信される、
付記項1に記載の装置。
(付記項5)
前記機械学習モデルが、人工知能モデルを含む、
付記項1に記載の装置。
(付記項6)
前記訓練データおよび前記動作データが、速度、位置、進行方向、意図、姿勢、または見ている方向のうちの少なくとも1つを含む、
付記項1に記載の装置。
(付記項7)
前記プロセッサが、前記機器において前記機械学習モデルを生成することを可能にするように構成される、
付記項1に記載の装置。
(付記項8)
前記機械学習モデルが、前記機器において生成される、
付記項1に記載の装置。
(付記項9)
前記命令が、前記機器において前記訓練データを記憶するように前記プロセッサにより実行可能である、
付記項1に記載の装置。
(付記項10)
前記交差点が、信号機の無い交差点を含む、
付記項1に記載の装置。
(付記項11)
前記交通網が、道路網を含む、
付記項1に記載の装置。
(付記項12)
前記地上交通エンティティが、被害を受け得る道路ユーザーを含む、
付記項1に記載の装置。
(付記項13)
前記地上交通エンティティが、車両を含む、
付記項1に記載の装置。
(付記項14)
前記切迫した危険な状況が、衝突またはニアミスを含む、
付記項1に記載の装置。
(付記項15)
前記地上交通エンティティが、横断歩道において道路を横断している歩行者を含む、
付記項1に記載の装置。
(付記項16)
中央サーバーと通信する別の通信デバイスを備える、
付記項1に記載の装置。
(付記項17)
前記地上交通エンティティのうちの1つの前記デバイスが、モバイル通信デバイスを含む、
付記項1に記載の装置。
(付記項18)
地上交通エンティティ内に位置する機器または地上交通エンティティ上に位置する前記機器を備える装置であって、
前記機器が、
前記地上交通エンティティ内のセンサーまたは前記地上交通エンティティ上の前記センサーであって、地上交通網の近くの特徴を監視するように配向された前記センサーからのデータと、前記地上交通エンティティが前記地上交通網を横断するコンテキストに関する他の情報とを受信する入力と、
前記コンテキストに関する情報を受信する無線通信デバイスと、
前記センサーからのデータと前記コンテキストに関する他の情報とに信号処理を適用する信号プロセッサと、
プロセッサと、
ストレージと、
を備え、
前記ストレージが、
前記地上交通エンティティのオペレーターの挙動と近傍における他の地上交通エンティティの意図および動きとを予測することができる機械学習モデルを記憶することと、
前記オペレーターの前記挙動と近傍における他の地上交通エンティティの意図および動きとを予測するために、前記センサーからの現在の受信された前記データと前記コンテキストに関する他の情報とを適用することと、
をするための、前記プロセッサにより実行可能な命令のためのストレージである、
装置。
(付記項19)
前記命令が、前記地上交通エンティティのユーザーまたは乗っている人を監視するために、前記プロセッサにより実行可能である、
付記項18に記載の装置。
(付記項20)
前記コンテキストに関する前記他の情報が、緊急放送と、道路沿いの機器の交通および安全メッセージと、安全、位置、および他の地上交通エンティティからの他の動作情報に関するメッセージとを包含する、
付記項18に記載の装置。
(付記項21)
前記センサーが、カメラ、距離センサー、振動センサー、マイクロホン、座席センサー、炭化水素センサー、揮発性有機化合物および他の有毒物質のセンサー、および、運動学的センサー、または、それらの組み合わせを包含する、
付記項18に記載の装置。
(付記項22)
現在位置と、環境条件と、運転手の挙動と、車両の調子およびステータスと、運動学とにおいてどの警報が重要かを予測するために、前記機械学習モデルに前記警報を適用することにより、前記車両において受信された前記警報をフィルタ処理するために、命令が前記プロセッサにより実行可能である、
付記項18に記載の装置。
(付記項23)
前記無線通信デバイスが、標識または他のインフラストラクチャー提示デバイスに、危険な状況に関する警告を送信する、
付記項18に記載の装置。
(付記項24)
警告が、特定の地上交通エンティティを制御することが可能な命令またはコマンドを含む、
付記項18に記載の装置。
(付記項25)
現時点における交通網の交差点における地上交通エンティティまたは前記交通網の前記交差点付近の地上交通エンティティの挙動を予測することができる機械学習モデルを記憶することであって、前記機械学習モデルが、前記交差点における地上交通エンティティまたは前記交差点付近における地上交通エンティティの以前の動作と関連する挙動とに関する訓練データに基づいている、記憶することと、
前記交差点における地上交通エンティティまたは前記交差点付近における地上交通エンティティに関する、センサーから受信された現在の動作データを、前記地上交通エンティティの切迫した挙動を予測するために前記機械学習モデルに適用することと、
予測された前記切迫した挙動から、前記交差点における前記地上交通エンティティまたは前記交差点付近における前記地上交通エンティティのうちの1つまたは複数に対する切迫した危険な状況を推測することと、
前記地上交通エンティティのうちの1つのデバイスに前記危険な状況に関する警告を送信することを無線通信デバイスにさせることと、
を含む方法。
(付記項26)
前記交差点における前記地上交通エンティティまたは前記交差点付近における前記地上交通エンティティのうちの任意のものによる受信のための前記警告をブロードキャストすることにより、前記警告が送信される、
付記項25に記載の方法。
(付記項27)
前記機械学習モデルが、人工知能モデルを含む、
付記項25に記載の方法。
(付記項28)
前記訓練データおよび前記動作データが、速度、位置、進行方向、意図、姿勢、または見ている方向のうちの少なくとも1つを含む、
付記項25に記載の方法。
(付記項29)
機器において前記機械学習モデルを生成することを含む、
付記項25に記載の方法。
(付記項30)
機器において前記訓練データを記憶することを含む、
付記項25に記載の方法。
(付記項31)
地上交通エンティティ内のセンサーまたは地上交通エンティティ上のセンサーであって、地上交通網の近くの特徴を監視するように配向された前記センサーからのデータと、前記地上交通エンティティが前記地上交通網を横断するコンテキストに関する他の情報とを受信することと、
前記コンテキストに関する情報を受信することと、
前記地上交通エンティティのオペレーターの挙動と近傍における他の地上交通エンティティの意図および動きとを予測することができる機械学習モデルを記憶することと、
前記オペレーターの挙動と近傍における他の地上交通エンティティの意図および動きとを予測するために、前記センサーからの現在の受信された前記データと前記コンテキストに関する他の情報とを適用することと、
を含む、方法。
(付記項32)
前記地上交通エンティティのユーザーまたは乗っている人を監視することを含む、
付記項31に記載の方法。
(付記項33)
前記コンテキストに関する前記他の情報が、緊急放送と、道路沿いの機器の交通および安全メッセージと、他の地上交通エンティティからの安全、位置、および他の動作情報に関するメッセージとを包含する、
付記項31に記載の方法。
(付記項34)
前記センサーが、カメラ、距離センサー、振動センサー、マイクロホン、座席センサー、炭化水素センサー、揮発性有機化合物および他の有毒物質のセンサー、および運動学的センサー、または、それらの組み合わせを包含する、
付記項31に記載の方法。
(付記項35)
現在位置と、環境条件と、運転手の挙動と、車両の調子およびステータスと、運動学とにおいてどの警報が重要かを予測するために、機械学習モデルに前記警報を適用することにより、前記車両において受信された前記警報をフィルタ処理することを含む、
付記項31に記載の方法。
(付記項36)
標識または他のインフラストラクチャー提示デバイスに危険な状況に関する警告を送信することを含む、
付記項31に記載の方法。
(付記項37)
警告が、特定の地上交通エンティティを制御することが可能な命令またはコマンドを含む、
付記項31に記載の装置。
(付記項38)
地上交通網内を移動する道路車両において、
他の地上交通エンティティの位置、動作、および状態に関する、外部ソースからのメッセージを受信することと、
道路および運転状態に関する、および、前記車両の周辺における静的な物体および動く地上交通エンティティの位置に関する、車載センサーからのデータを受信することと、
前記道路車両の運転手による運転の質に関するデータを受信することと、
他の地上交通エンティティからの基本的な安全メッセージと被害を受け得る道路ユーザーからの個人用安全メッセージとを受信することと、
受信された前記データおよび前記メッセージを融合することと、
前記道路車両の運転手の行動もしくは被害を受け得る道路ユーザーの行動、もしくは、前記道路車両に対する衝突リスク、または、前記道路車両の運転手の行動もしくは被害を受け得る道路ユーザーの行動と前記道路車両に対する衝突リスクとの両方を予測するために、融合された前記データおよび前記メッセージを人工知能モデルに適用することと、
を含む、方法。
(付記項39)
前記道路車両において、前記道路車両の近傍における前記静的な物体と前記動く地上交通エンティティとのマップを生成することを含む、
付記項38に記載の方法。
(付記項40)
衝突リスクについて前記道路車両の前記運転手に警報を出すことを含む、
付記項38に記載の方法。
(付記項41)
近くの他の動く地上交通エンティティの予測された軌道の確率に基づいて前記衝突リスクを特定することを含む、
付記項38に記載の方法。
(付記項42)
前記道路車両の前記運転手に提供される警報の数を減らすために、受信された基本的な安全メッセージと個人用安全メッセージとをフィルタ処理することとを含む、
付記項38に記載の方法。
(付記項43)
交通網において動く接続されていない地上交通エンティティに対する動作データを獲得することと、
前記接続されていない地上交通エンティティの近傍における接続された地上交通エンティティに、前記接続されていない地上交通エンティティに対する前記動作データに関する情報を組み込んだ仮想安全メッセージを送信することと、
を含む、方法。
(付記項44)
前記仮想安全メッセージが、前記接続されていない地上交通エンティティが接続されていると仮定した場合に前記接続されていない地上交通エンティティにより送信される安全メッセージの代わりである、
付記項43に記載の方法。
(付記項45)
前記接続されていない地上交通エンティティが、車両を含み、
前記仮想安全メッセージが、基本的な安全メッセージの代わりである、
付記項43に記載の方法。
(付記項46)
前記接続されていない地上交通エンティティが、被害を受け得る道路ユーザーを含み、
前記仮想安全メッセージが、個人用安全メッセージの代わりである、
付記項43に記載の方法。
(付記項47)
前記動作データが、インフラストラクチャーセンサーにより獲得される、
付記項43に記載の方法。
(付記項48)
交通網の交差点に位置する機器を備える装置であって、
前記機器が、
前記交差点における地上交通エンティティまたは前記交差点付近における地上交通エンティティを監視するように配向されたセンサーからデータを受信する入力と、
前記交差点における危険な状況または前記交差点付近における危険な状況に関する警告を、前記地上交通エンティティのうちの1つのデバイスに送信する無線通信デバイスと、
プロセッサと、
ストレージと、
を備え、
前記ストレージが、
現時点における前記交差点における地上交通エンティティまたは前記交差点付近における地上交通エンティティの挙動を予測することができる機械学習モデルを記憶することであって、前記機械学習モデルが、前記交差点における地上交通エンティティまたは前記交差点付近における地上交通エンティティの以前の動作と関連する挙動とに関する訓練データに基づいている、記憶することと、
前記交差点における地上交通エンティティまたは前記交差点付近における地上交通エンティティに関する、前記センサーから受信された現在の動作データを、関与するデバイスが前記無線通信デバイスから警告を受信することができない地上交通エンティティを含む前記地上交通エンティティの切迫した挙動を予測するために、前記機械学習モデルに適用することと、
関与するデバイスが前記無線通信デバイスから警告を受信することができる地上交通エンティティに対する切迫した危険な状況を推測することであって、前記切迫した危険な状況が、前記警告を受信することができない前記地上交通エンティティの予測された切迫した挙動の結果である、推測することと、
前記無線通信デバイスから前記警告を受信し得る前記地上交通エンティティの前記デバイスに前記危険な状況に関する前記警告を送信することと、
をするための、前記プロセッサにより実行可能な命令のためのストレージである、
装置。
(付記項49)
前記機器が、道路沿いの機器を含む、
付記項48に記載の装置。
(付記項50)
前記装置が、前記機器のためのハウジングを備え、
前記センサーが、前記ハウジングに装着された、
付記項48に記載の装置。
(付記項51)
前記警告を受信することができる前記交差点における前記地上交通エンティティまたは前記交差点付近における前記地上交通エンティティのうちの任意のものによる受信のための前記警告をブロードキャストすることにより、前記警告が送信される、
付記項48に記載の装置。
(付記項52)
前記機械学習モデルが、人工知能モデルを含む、
付記項48に記載の装置。
(付記項53)
前記交差点が、信号機の無い交差点を含む、
付記項48に記載の装置。
(付記項54)
前記交差点が、信号機付き交差点を含む、
付記項48に記載の装置。
(付記項55)
前記交通網が、道路網を含む、
付記項48に記載の装置。
(付記項56)
前記地上交通エンティティが、被害を受け得る道路ユーザーを含む、
付記項48に記載の装置。
(付記項57)
前記地上交通エンティティが、車両を含む、
付記項48に記載の装置。
(付記項58)
前記切迫した危険な状況が、衝突を含む、
付記項48に記載の装置。
(付記項59)
関与する前記デバイスが前記無線通信デバイスから前記警告を受信することができない前記地上交通エンティティが、車両を含み、
関与する前記デバイスが前記無線通信デバイスから前記警告を受信することができる前記地上交通エンティティが、横断歩道において道路を横断する歩行者を含む、
付記項48に記載の装置。
(付記項60)
中央サーバーと通信する別の通信デバイスを備える、
付記項48に記載の装置。
(付記項61)
前記地上交通エンティティのうちの1つの前記デバイスが、モバイル通信デバイスを備える、
付記項48に記載の装置。
(付記項62)
地上交通網の交差点と前記交差点への進入路とを監視するために、前記交差点の近傍に位置する電子的なセンサーを使用することであって、前記電子的なセンサーが、前記進入路において動く地上交通エンティティまたは前記交差点において動く地上交通エンティティに関する動作データを生成し、前記地上交通エンティティのうちの1つまたは複数が、前記交差点の近傍における他の地上交通エンティティに安全メッセージを送信することができない、使用することと、
前記電子的なセンサーにより生成された前記動作データに基づいて、メッセージを受信することが可能な前記地上交通エンティティのうちの1つまたは複数に仮想安全メッセージを送信することと、
安全メッセージを送信することができない前記地上交通エンティティのうちの1つまたは複数に関する情報を前記仮想安全メッセージに組み込むことであって、前記仮想安全メッセージの各々における組み込まれた前記情報が、安全メッセージを送信することができない前記地上交通エンティティのうちの1つの位置と進行方向と速度と予測された将来の軌道とのうちの少なくとも1つを含む、組み込むことと、
を含む、方法。
(付記項63)
組み込まれた前記情報が、前記地上交通エンティティが基本的な安全メッセージまたは個人用安全メッセージを送信することが可能であると仮定した場合に前記地上交通エンティティにより生成される基本的な安全メッセージまたは個人用安全メッセージに組み込まれる情報の部分集合を含む、
付記項62に記載の方法。
(付記項64)
安全メッセージを送信することができない前記地上交通エンティティの軌道を予測するために、前記交差点の近傍に位置する機器において動作する機械学習モデルに、生成された前記動作データを適用することを含む、
付記項62に記載の方法。
(付記項65)
前記地上交通エンティティのうちの少なくとも1つが、モーター駆動式車両を含む、
付記項62に記載の方法。
(付記項66)
機械学習モデルが、インターネットを通してリモートサーバーにより前記交差点の近傍に位置する機器に提供される、
付記項62に記載の方法。
(付記項67)
機械学習モデルが、前記交差点の近傍に位置する機器において生成される、
付記項62に記載の方法。
(付記項68)
前記交差点の近傍に位置する前記センサーにより生成された動作データを使用して機械学習モデルを訓練することを含む、
付記項62に記載の方法。
(付記項69)
機械学習モデルを訓練することにおける使用のために、サーバーに、前記交差点の近傍に位置する前記センサーにより生成された動作データを送信することを含む、
付記項62に記載の方法。
(付記項70)
横断歩道内のエリアまたは横断歩道の近くのエリアを監視するために、道路を横断する前記横断歩道の近傍に位置する電子的なセンサーを使用することであって、前記電子的なセンサーが、前記横断歩道内にいる被害を受け得る車道ユーザーまたは前記横断歩道の近くにいる被害を受け得る車道ユーザーに関する動作データを生成する、使用することと、
前記被害を受け得る車道ユーザーのうちの1の前記被害を受け得る車道ユーザーが前記横断歩道に入ろうとしていることを予測するために、前記横断歩道の近傍に位置する機器において動作する機械学習モデルに、生成された前記動作データを適用することと、
前記被害を受け得る車道ユーザーが前記横断歩道に入る前に、前記被害を受け得る車道ユーザーに関連したデバイス、または、前記道路上の前記横断歩道に接近している他の地上交通エンティティに関連したデバイスのうちの少なくとも1つに、警告を無線により送信することと、
を含む、方法。
(付記項71)
前記被害を受け得る車道ユーザーが、歩行者、動物、またはサイクリストを含む、
付記項70に記載の方法。
(付記項72)
前記被害を受け得る車道ユーザーに関連した前記デバイスが、スマートウォッチもしくは他の装着型装置、スマートフォン、または別のモバイルデバイスを含む、
付記項70に記載の方法。
(付記項73)
前記他の地上交通エンティティが、モーター駆動式車両を含む、
付記項70に記載の方法。
(付記項74)
前記他の地上交通エンティティに関連した前記デバイスが、スマートフォンまたは別のモバイルデバイスを含む、
付記項70に記載の方法。
(付記項75)
前記機械学習モデルが、インターネットを通してリモートサーバーにより前記横断歩道の近傍に位置する前記機器に提供される、
付記項70に記載の方法。
(付記項76)
前記機械学習モデルが、前記横断歩道の近傍に位置する前記機器において生成される、
付記項70に記載の方法。
(付記項77)
前記横断歩道の近傍に位置する前記センサーにより生成された動作データを使用して前記機械学習モデルを訓練することを含む、
付記項70に記載の方法。
(付記項78)
前記機械学習モデルを訓練することにおける使用のために、サーバーに、前記横断歩道の近傍に位置する前記センサーにより生成された動作データを送信することを含む、
付記項70に記載の方法。
(付記項79)
前記横断歩道の近傍における対応するゾーンに基づいて、前記横断歩道の近傍に位置する前記センサーにより生成された前記動作データをセグメント分けすることを含む、
付記項70に記載の方法。
(付記項80)
前記被害を受け得る道路ユーザーの物理的性質を表す動作関連データを生成するために、前記電子的なセンサーを使用することを含む、
付記項70に記載の方法。
(付記項81)
前記センサーにより生成された動作データから、前記被害を受け得る道路ユーザーに関する軌道情報を導出することを含む、
付記項70に記載の方法。
(付記項82)
交通網の平面交差点に位置する機器を備える装置であって、
前記平面交差点が、道路の交差点、横断歩道、および鉄道線路を含み、
前記機器が、
前記平面交差点における道路車両および歩行者または前記平面交差点付近における道路車両および歩行者を監視するように配向されたセンサーからデータを受信することと、前記道路上の信号および前記鉄道線路上の信号に対するフェーズおよびタイミングデータを受信することとをする入力と、
前記平面交差点における危険な状況または前記平面交差点付近における危険な状況に関する警告を、地上交通エンティティ、歩行者、または前記鉄道線路上の鉄道車両のうちの1つのデバイスに送信する無線通信デバイスと、
プロセッサと、
ストレージと、
を備え、
前記ストレージが、
現時点における前記平面交差点における地上交通エンティティまたは前記平面交差点付近における地上交通エンティティの挙動を予測することができる機械学習モデルを記憶することであって、前記機械学習モデルが、前記交差点における道路車両および歩行者、または、前記交差点付近における道路車両および歩行者の以前の動作および関連する挙動に関する訓練データに基づいている、記憶することと、
前記平面交差点における道路車両および歩行者または前記平面交差点付近における道路車両および歩行者に関する、前記センサーから受信された現在の動作データを、前記道路車両および前記歩行者の切迫した挙動を予測するために、前記機械学習モデルに適用することと、
予測された前記切迫した挙動から、前記交差点における前記鉄道線路上の鉄道車両、または、前記交差点付近における前記鉄道線路上の鉄道車両に対する切迫した危険な状況を推測することと、
前記道路車両、前記歩行者、および前記鉄道車両のうちの少なくとも1つのデバイスに、前記危険な状況に関する前記警告を送信することを前記無線通信デバイスさせることと、
をするための、前記プロセッサにより実行可能な命令のための前記ストレージである、
装置。
(付記項83)
前記警告が、前記鉄道車両の車載機器に送信される、
付記項82に記載の装置。
(付記項84)
前記鉄道線路が、分離された鉄道用地にある、
付記項82に記載の装置。
(付記項85)
前記鉄道線路が、分離された鉄道用地にあるのではない、
付記項82に記載の装置。
(付記項86)
前記機器が、道路沿いの機器を含む、
付記項82に記載の装置。
(付記項87)
前記平面交差点における前記地上交通エンティティ、前記歩行者、または前記鉄道車両、または、前記平面交差点付近における前記地上交通エンティティ、前記歩行者、または前記鉄道車両のうちの任意のものによる受信のための前記警告をブロードキャストすることにより、前記警告が送信される、
付記項82に記載の装置。
(付記項88)
前記切迫した危険な状況が、衝突またはニアミスを含む、
付記項82に記載の装置。
(付記項89)
地上交通網における運転されている道路車両または歩行している歩行者の位置および動作を表す、インフラストラクチャーセンサーからのデータを受信することと、
前記道路車両および前記歩行者の状態に関する、仮想的な基本的な安全メッセージおよび仮想的な個人用安全メッセージにおけるデータを受信することと、
前記道路車両または前記歩行者のうちの1つの危険な運転または歩行挙動を識別するために、訓練された機械学習モデルに、受信された前記データを適用することと、
当局に、前記危険な運転または歩行挙動を報告することと、
を含む、方法。
(付記項90)
プレートナンバー認識に基づいて前記道路車両を識別することを含む、
付記項89に記載の方法。
(付記項91)
バイオメトリック認識に基づいて前記歩行者を識別することを含む、
付記項89に記載の方法。
(付記項92)
ソーシャルネットワーキングに基づいて前記道路車両または前記歩行者を識別することを含む、
付記項89に記載の方法。
(付記項93)
地上交通網の交差点および前記交差点への進入路を監視するために、前記交差点の近傍に位置する電子的なセンサーを使用することであって、前記電子的なセンサーが、前記進入路において動く地上交通エンティティまたは前記交差点において動く地上交通エンティティに関する動作データを生成する、使用することと、
前記交差点および前記交差点への前記進入路において別個の仮想ゾーンを規定することと、
生成された前記動作データが関連する対応する前記仮想ゾーンに従って、前記動作データをセグメント分けすることと、
それぞれのセグメントの各々に対する生成された前記動作データを、前記地上交通エンティティのうちの1つまたは複数を伴う、前記交差点における、または前記進入路のうちの1つにおける切迫した危険な状況を予測するために、前記交差点の近傍に位置する機器において動作する機械学習モデルに適用することと、
前記切迫した危険な状況が実際の危険な状況になる前に、関与する前記地上交通エンティティのうちの少なくとも1つに関連したデバイスに、警告を無線により送信することと、
を含む、方法。
(付記項94)
前記地上交通エンティティの各々に関連した前記デバイスが、装着型装置、スマートフォン、または別のモバイルデバイスを含む、
付記項93に記載の方法。
(付記項95)
前記地上交通エンティティのうちの少なくとも1つが、モーター駆動式車両を含む、
付記項93に記載の方法。
(付記項96)
前記機械学習モデルが、インターネットを通してリモートサーバーにより前記交差点の近傍に位置する前記機器に提供される、
付記項93に記載の方法。
(付記項97)
前記機械学習モデルが、前記交差点の近傍に位置する前記機器において生成される、
付記項93に記載の方法。
(付記項98)
前記交差点の近傍に位置する前記センサーにより生成された動作データを使用して前記機械学習モデルを訓練することを含む、
付記項93に記載の方法。
(付記項99)
前記機械学習モデルを訓練することにおける使用のために、サーバーに前記交差点の近傍に位置する前記センサーにより生成された前記動作データを送信することを含む、
付記項93に記載の方法。
(付記項100)
前記交差点への前記進入路のうちの1つを横断する横断歩道内のエリアまたは前記横断歩道の近くのエリアを監視するために、前記電子的なセンサーを使用することを含む、
付記項93に記載の方法。
(付記項101)
横断歩道の近傍における被害を受け得る道路ユーザーの物理的性質を表す動作関連データを生成するために、前記電子的なセンサーを使用することを含む、
付記項93に記載の方法。
(付記項102)
前記センサーにより生成された動作データから、被害を受け得る道路ユーザーに関する軌道情報を導出することを含む、
付記項93に記載の方法。
(付記項103)
前記交差点への前記進入路の各々に対して機械学習モデルが存在する、
付記項93に記載の方法。
(付記項104)
別の近くの交差点に関連したセンサーにより生成された動作データに更に基づいて、前記警告を送信するか否かを判定することを含む、
付記項93に記載の方法。
(付記項105)
前記進入路において動く地上交通エンティティまたは前記交差点において動く地上交通エンティティから受信された情報に更に基づいて、前記警告を送信するか否かを判定することを含む、
付記項93に記載の方法。
(付記項106)
前記交差点が、信号機付きであり、
信号の状態に関する情報が受信される、
付記項93に記載の方法。
(付記項107)
前記交差点が、信号機付きではなく、1つまたは複数の標識により制御される、
付記項93に記載の方法。
(付記項108)
規定の前記仮想ゾーンが、前記標識により制御される1つまたは複数の前記進入路を含む、
付記項107に記載の方法。
(付記項109)
前記標識が、一時停止の標識または譲れの標識を含む、
付記項107に記載の方法。
(付記項110)
前記地上交通エンティティのうちの1つが、鉄道車両を含む、
付記項107に記載の方法。
(付記項111)
交通網の交差点に位置する機器を備える装置であって、
前記機器が、
前記交差点における地上交通エンティティまたは前記交差点付近における地上交通エンティティを監視するように配向されたセンサーからデータを受信する入力であって、前記センサーの各々からの前記データが、前記地上交通エンティティのうちの少なくとも1つの前記地上交通エンティティの少なくとも1つの位置または動作パラメータを表し、前記センサーの各々からの前記データが、ネイティブなフォーマットにより表され、前記センサーのうちの少なくとも2つから受信された前記データが、前記位置または動作パラメータに関して、または、前記ネイティブなフォーマットに関して、または、前記位置または動作パラメータと前記ネイティブなフォーマットとの両方に関して一致しない、前記入力と、
プロセッサと、
ストレージと、
を備え、
前記ストレージが、
前記センサーの各々からの前記データを、前記センサーの前記データの前記ネイティブなフォーマットから独立した共通フォーマットをもつデータに変換することと、
前記共通フォーマットをもつ前記データを、前記交差点において監視されている前記地上交通エンティティまたは前記交差点付近において監視されている前記地上交通エンティティのグローバルな統合的表現に組み込むことであって、前記グローバルな統合的表現が、前記地上交通エンティティの各々の位置、速度、および進行方向を包含する、組み込むことと、
前記グローバルな統合的表現を使用して前記地上交通エンティティのうちの2つの前記地上交通エンティティの位置および動作の関連性を特定することと、
前記2つの地上交通エンティティに関わる危険な状況を予測することと、
前記危険な状況について前記2つの地上交通エンティティのうちの少なくとも1つの前記地上交通エンティティに警報を出すメッセージを、前記2つの地上交通エンティティのうちの前記少なくとも1つの地上交通エンティティに送信することと、
をするための、前記プロセッサにより実行可能な命令のための前記ストレージである、
装置。
(付記項112)
前記センサーが、レーダー、ライダー、およびカメラのうちの少なくとも2つを含む、
付記項111に記載の装置。
(付記項113)
前記センサーのうちの1つから受信された前記データが、連続した瞬間における視野の画像データを含む、
付記項111に記載の装置。
(付記項114)
前記センサーのうちの1つから受信された前記データが、3D空間における反射点を含む、
付記項111に記載の装置。
(付記項115)
前記センサーのうちの1つから受信された前記データが、前記センサーからの距離および速度を包含する、
付記項111に記載の装置。
(付記項116)
前記グローバルな統合的表現が、共通基準座標系における前記地上交通エンティティの位置を表す、
付記項111に記載の装置。
(付記項117)
前記装置が、少なくとも2つの前記センサーを備え、
前記少なくとも2つのセンサーから前記データが受信され、
2つの前記センサーが、前記交差点における固定位置または前記交差点付近における固定位置に備え付けられており、少なくとも部分的に重ならない視野をもつ、
付記項111に記載の装置。
(付記項118)
前記センサーのうちの1つが、レーダーを含み、
前記データを変換することが、前記レーダーの知られた位置からの地上交通エンティティの位置と、前記レーダーから前記地上交通エンティティまでの距離とを特定することを含む、
付記項117に記載の装置。
(付記項119)
前記センサーのうちの1つが、カメラを含み、
前記データを変換することが、知られた位置からの地上交通エンティティの位置、視野方向、および、前記カメラのチルト、および、前記カメラの画像フレーム内における前記地上交通エンティティの位置を特定することを含む、
付記項117に記載の装置。
(付記項120)
地上交通網の交差点における地上交通エンティティ、または、地上交通網の交差点付近における地上交通エンティティを監視するように配向されたセンサーからデータを受信することであって、前記センサーの各々からの前記データが、前記地上交通エンティティのうちの少なくとも1つの前記地上交通エンティティの少なくとも1つの位置または動作パラメータを表し、前記センサーの各々からの前記データが、ネイティブなフォーマットにより表され、前記センサーのうちの少なくとも2つから受信された前記データが、前記位置または動作パラメータに関して、または、前記ネイティブなフォーマットに関して、または、前記位置または動作パラメータと前記ネイティブなフォーマットとの両方に関して一致しない、受信することと、
前記センサーの各々からの前記データを、前記センサーの前記データの前記ネイティブなフォーマットから独立した共通フォーマットをもつデータに変換することと、
前記共通フォーマットをもつ前記データを、前記交差点において監視されている前記地上交通エンティティまたは前記交差点付近において監視されている前記地上交通エンティティのグローバルな統合的表現に組み込むことであって、前記グローバルな統合的表現が、前記地上交通エンティティの各々の位置、速度、および進行方向を包含する、組み込むことと、
前記グローバルな統合的表現を使用して前記地上交通エンティティのうちの2つの前記地上交通エンティティの位置および動作の関連性を特定することと、
前記2つの地上交通エンティティに関わる危険な状況を予測することと、
前記危険な状況について前記2つの地上交通エンティティのうちの少なくとも1つの前記地上交通エンティティに警報を出すメッセージを、前記2つの地上交通エンティティのうちの前記少なくとも1つの地上交通エンティティに送信することと、
を含む、方法。
(付記項121)
前記センサーが、レーダー、ライダー、およびカメラのうちの少なくとも2つを含む、
付記項120に記載の方法。
(付記項122)
前記センサーのうちの1つから受信された前記データが、連続した瞬間における視野の画像データを含む、
付記項120に記載の方法。
(付記項123)
前記センサーのうちの1つから受信された前記データが、3D空間における反射点を含む、
付記項120に記載の方法。
(付記項124)
前記センサーのうちの1つから受信された前記データが、前記センサーからの距離および速度を包含する、
付記項120に記載の方法。
(付記項125)
前記グローバルな統合的表現が、共通基準座標系における前記地上交通エンティティの位置を表す、
付記項120に記載の方法。
(付記項126)
前記データが、前記交差点における固定位置または前記交差点付近における固定位置に備え付けられた、および、少なくとも部分的に重ならない視野をもつ2つの前記センサーのうちの少なくとも2つの前記センサーから受信される、
付記項120に記載の方法。
(付記項127)
前記センサーのうちの1つが、レーダーを含み、
前記方法が、前記レーダーの知られた位置からの地上交通エンティティの位置と、前記レーダーから前記地上交通エンティティまでの距離とを特定することを含む、前記データを変換することを含む、
付記項126に記載の方法。
(付記項128)
前記センサーのうちの1つが、カメラを備え、
前記方法が、知られた位置からの地上交通エンティティの位置、視野方向、および、前記カメラのチルト、および、前記カメラの画像フレーム内における前記地上交通エンティティの位置を特定することを含む、前記データを変換することを含む、
付記項126に記載の方法。
(態様1)
横断歩道内のエリアおよび横断歩道の近くのエリアを監視するために、道路を横断する前記横断歩道の近傍に位置する電子的なセンサーを使用することであって、前記電子的なセンサーが、前記横断歩道内にいる被害を受け得る車道ユーザーまたは前記横断歩道の近くにいる被害を受け得る車道ユーザーに関する動作データを生成し、前記動作データが、前記被害を受け得る車道ユーザーの位置と方向とを含む、使用することと、
前記被害を受け得る車道ユーザーのうちの1の前記被害を受け得る車道ユーザーが前記横断歩道内の前記道路または前記横断歩道の近くの前記道路に入ろうとしていることの予測を行うために、前記横断歩道の近傍に位置する機器において動作する機械学習モデルに、生成された前記動作データを適用することであって、前記予測が、前記被害を受け得る車道ユーザーが前記横断歩道内の前記道路または前記横断歩道の近くの前記道路に入る前に行われ、前記機械学習モデルが、前記横断歩道の近傍において生成された動作データであって、以前に前記横断歩道内にいた、または前記横断歩道の近くにいた被害を受け得る車道ユーザーの意図または挙動を示す前記動作データを使用して訓練されたものであり、前記動作データが、位置、速度、加速度、および配向を含む、適用することと、
前記被害を受け得る車道ユーザーが前記横断歩道内の前記道路または前記横断歩道の近くの前記道路に入る前に、前記被害を受け得る車道ユーザーに関連したデバイスと、前記道路上の前記横断歩道に接近している他の地上交通エンティティに関連したデバイスと、前記被害を受け得る車道ユーザーまたは運転手に警報を出すように構成された道路標識とのうちの少なくとも1つに、警告を送信することと、
を含む、方法。
(態様2)
前記被害を受け得る車道ユーザーが、歩行者、動物、またはサイクリストを含む、
態様1に記載の方法。
(態様3)
前記被害を受け得る車道ユーザーに関連した前記デバイスが、スマートウォッチもしくは他の装着型装置、スマートフォン、または別のモバイルデバイスを含む、
態様1に記載の方法。
(態様4)
前記他の地上交通エンティティが、モーター駆動式車両を含む、
態様1に記載の方法。
(態様5)
前記他の地上交通エンティティに関連した前記デバイスが、スマートフォンまたは別のモバイルデバイスを含む、
態様1に記載の方法。
(態様6)
前記機械学習モデルが、インターネットを通してリモートサーバーにより前記横断歩道の近傍に位置する前記機器に提供される、
態様1に記載の方法。
(態様7)
前記機械学習モデルが、前記横断歩道の近傍に位置する前記機器において生成される、
態様1に記載の方法。
(態様8)
前記横断歩道の近傍に位置する前記センサーにより生成された動作データを使用して前記機械学習モデルを訓練することを含む、
態様1に記載の方法。
(態様9)
前記機械学習モデルを訓練することにおける使用のために、サーバーに、前記横断歩道の近傍に位置する前記センサーにより生成された動作データを送信することを含む、
態様1に記載の方法。
(態様10)
前記横断歩道の近傍における対応するゾーンに基づいて、前記横断歩道の近傍に位置する前記センサーにより生成された前記動作データをセグメント分けすることを含む、
態様1に記載の方法。
(態様11)
前記被害を受け得る車道ユーザーの物理的性質を表す動作関連データを生成するために、前記電子的なセンサーを使用することを含む、
態様1に記載の方法。
(態様12)
前記センサーにより生成された動作データから、前記被害を受け得る車道ユーザーに関する軌道情報を導出することを含む、
態様1に記載の方法。
(態様13)
交通網の平面交差点に位置する機器を備える装置であって、
前記平面交差点が、道路の交差点、横断歩道、および鉄道線路を含み、
前記機器が、
前記平面交差点における道路車両および歩行者または前記平面交差点付近における道路車両および歩行者を監視するように配向されたセンサーからデータを受信することと、前記道路上の信号および前記鉄道線路上の信号に対するフェーズおよびタイミングデータを受信することとをする入力と、
前記平面交差点における危険な状況または前記平面交差点付近における危険な状況に関する警告を、地上交通エンティティ、歩行者、または前記鉄道線路上の鉄道車両のうちの1つのデバイスに送信する無線通信デバイスと、
プロセッサと、
ストレージと、
を備え、
前記ストレージが、
現時点における前記平面交差点における地上交通エンティティまたは前記平面交差点付近における地上交通エンティティの挙動を予測することができる機械学習モデルを記憶することであって、前記機械学習モデルが、前記交差点における道路車両および歩行者、または、前記交差点付近における道路車両および歩行者の以前の動作および関連する挙動に関する訓練データと、前記道路上の信号および前記鉄道線路上の信号に対する以前のフェーズおよびタイミングデータとに基づいている、記憶することと、
前記平面交差点における道路車両および歩行者または前記平面交差点付近における道路車両および歩行者に関する、前記センサーから受信された現在の動作データと、前記道路上の信号および前記鉄道線路上の信号に対する現在のフェーズおよびタイミングデータとを、前記道路車両および前記歩行者の切迫した挙動を予測するために、前記機械学習モデルに適用することと、
予測された前記切迫した挙動から、前記交差点における前記鉄道線路上の鉄道車両、または、前記交差点付近における前記鉄道線路上の鉄道車両に対する切迫した危険な状況を推測することと、
前記道路車両、前記歩行者、および前記鉄道車両のうちの少なくとも1つのデバイスに、前記危険な状況に関する前記警告を送信することを前記無線通信デバイスにさせることと、
をするための、前記プロセッサにより実行可能な命令のための前記ストレージである、
装置。
(態様14)
前記警告が、前記鉄道車両の車載機器に送信される、
態様13に記載の装置。
(態様15)
前記鉄道線路が、分離された鉄道用地にある、
態様13に記載の装置。
(態様16)
前記鉄道線路が、分離された鉄道用地にあるのではない、
態様13に記載の装置。
(態様17)
前記機器が、道路沿いの機器を含む、
態様13に記載の装置。
(態様18)
前記平面交差点における前記地上交通エンティティ、前記歩行者、または前記鉄道車両、または、前記平面交差点付近における前記地上交通エンティティ、前記歩行者、または前記鉄道車両のうちの任意のものによる受信のための前記警告をブロードキャストすることにより、前記警告が送信される、
態様13に記載の装置。
(態様19)
前記切迫した危険な状況が、衝突またはニアミスを含む、
態様13に記載の装置。
(態様20)
地上交通網における運転されている道路車両または歩行している歩行者の位置および動作を表す、インフラストラクチャーセンサーからのデータを受信することと、
前記道路車両および前記歩行者の状態に関する、基本的な安全メッセージまたは仮想的な基本的な安全メッセージと個人用安全メッセージと仮想的な個人用安全メッセージとにおけるデータを受信することであって、前記基本的な安全メッセージと前記仮想的な基本的な安全メッセージと前記個人用安全メッセージと前記仮想的な個人用安全メッセージとが、前記道路車両または前記歩行者に関する位置、進行方向、および速度情報を含み、前記基本的な安全メッセージと前記個人用安全メッセージとが、前記道路車両または前記歩行者から受信され、前記仮想的な基本的な安全メッセージと前記仮想的な個人用安全メッセージとが、前記インフラストラクチャーセンサーから受信された前記データから再構成された前記道路車両と前記歩行者とに関する位置、進行方向、および速度情報を含む、受信することと、
前記道路車両または前記歩行者のうちの1つの危険な運転または歩行挙動を識別するために、訓練された機械学習モデルに、前記インフラストラクチャーセンサーから受信された前記データを、および、前記基本的な安全メッセージと前記仮想的な基本的な安全メッセージと前記個人用安全メッセージと前記仮想的な個人用安全メッセージとからのデータを適用することと、
当局に、前記危険な運転または歩行挙動を自動的に報告することと、
を含む、方法。
(態様21)
プレートナンバー認識に基づいて前記道路車両を識別することを含む、
態様20に記載の方法。
(態様22)
バイオメトリック認識に基づいて前記歩行者を識別することを含む、
態様20に記載の方法。
(態様23)
ソーシャルネットワーキングに基づいて前記道路車両または前記歩行者を識別することを含む、
態様20に記載の方法。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
【手続補正書】
【提出日】2023-09-07
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
交通網の平面交差点に位置する機器を備える装置であって、
前記平面交差点が、道路の交差点、横断歩道、および鉄道線路を含み、
前記機器が、
前記平面交差点における道路車両および歩行者または前記平面交差点付近における道路車両および歩行者を監視するように配向されたセンサーからデータを受信することと、前記道路上の信号および前記鉄道線路上の信号に対するフェーズおよびタイミングデータを受信することとをする入力と、
前記平面交差点における危険な状況または前記平面交差点付近における危険な状況に関する警告を、地上交通エンティティ、歩行者、または前記鉄道線路上の鉄道車両のうちの1つのデバイスに送信する無線通信デバイスと、
プロセッサと、
ストレージと、
を備え、
前記ストレージが、
現時点における前記平面交差点における地上交通エンティティまたは前記平面交差点付近における地上交通エンティティの挙動を予測することができる機械学習モデルを記憶することであって、前記機械学習モデルが、前記交差点における道路車両および歩行者、または、前記交差点付近における道路車両および歩行者の以前の動作および関連する挙動に関する訓練データと、前記道路上の信号および前記鉄道線路上の信号に対する以前のフェーズおよびタイミングデータとに基づいている、記憶することと、
前記平面交差点における道路車両および歩行者または前記平面交差点付近における道路車両および歩行者に関する、前記センサーから受信された現在の動作データと、前記道路上の信号および前記鉄道線路上の信号に対する現在のフェーズおよびタイミングデータとを、前記道路車両および前記歩行者の切迫した挙動を予測するために、前記機械学習モデルに適用することと、
予測された前記切迫した挙動から、前記交差点における前記鉄道線路上の鉄道車両、または、前記交差点付近における前記鉄道線路上の鉄道車両に対する切迫した危険な状況を推測することと、
前記道路車両、前記歩行者、および前記鉄道車両のうちの少なくとも1つのデバイスに、前記危険な状況に関する前記警告を送信することを前記無線通信デバイスにさせることと、
をするための、前記プロセッサにより実行可能な命令のための前記ストレージである、
装置。
【請求項2】
前記警告が、前記鉄道車両の車載機器に送信される、
請求項に記載の装置。
【請求項3】
前記鉄道線路が、分離された鉄道用地にある、
請求項に記載の装置。
【請求項4】
前記鉄道線路が、分離された鉄道用地にあるのではない、
請求項に記載の装置。
【請求項5】
前記機器が、道路沿いの機器を含む、
請求項に記載の装置。
【請求項6】
前記平面交差点における前記地上交通エンティティ、前記歩行者、または前記鉄道車両、または、前記平面交差点付近における前記地上交通エンティティ、前記歩行者、または前記鉄道車両のうちの任意のものによる受信のための前記警告をブロードキャストすることにより、前記警告が送信される、
請求項に記載の装置。
【請求項7】
前記切迫した危険な状況が、衝突またはニアミスを含む、
請求項に記載の装置。
【請求項8】
地上交通網における運転されている道路車両または歩行している歩行者の位置および動作を表す、インフラストラクチャーセンサーからのデータを受信することと、
前記道路車両および前記歩行者の状態に関する、基本的な安全メッセージまたは仮想的な基本的な安全メッセージと個人用安全メッセージと仮想的な個人用安全メッセージとにおけるデータを受信することであって、前記基本的な安全メッセージと前記仮想的な基本的な安全メッセージと前記個人用安全メッセージと前記仮想的な個人用安全メッセージとが、前記道路車両または前記歩行者に関する位置、進行方向、および速度情報を含み、前記基本的な安全メッセージと前記個人用安全メッセージとが、前記道路車両または前記歩行者から受信され、前記仮想的な基本的な安全メッセージと前記仮想的な個人用安全メッセージとが、前記インフラストラクチャーセンサーから受信された前記データから再構成された前記道路車両と前記歩行者とに関する位置、進行方向、および速度情報を含む、受信することと、
前記道路車両または前記歩行者のうちの1つの危険な運転または歩行挙動を識別するために、訓練された機械学習モデルに、前記インフラストラクチャーセンサーから受信された前記データを、および、前記基本的な安全メッセージと前記仮想的な基本的な安全メッセージと前記個人用安全メッセージと前記仮想的な個人用安全メッセージとからのデータを適用することと、
当局に、前記危険な運転または歩行挙動を自動的に報告することと、
を含む、方法。
【請求項9】
プレートナンバー認識に基づいて前記道路車両を識別することを含む、
請求項に記載の方法。
【請求項10】
バイオメトリック認識に基づいて前記歩行者を識別することを含む、
請求項に記載の方法。
【請求項11】
ソーシャルネットワーキングに基づいて前記道路車両または前記歩行者を識別することを含む、
請求項に記載の方法。