▶ ウーブン・プラネット・ホールディングス株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023147200
(43)【公開日】2023-10-12
(54)【発明の名称】危険通知方法及び実装するためのシステム
(51)【国際特許分類】
G08G 1/16 20060101AFI20231004BHJP
【ＦＩ】
G08G1/16 F
【審査請求】有
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023025084
(22)【出願日】2023-02-21
(31)【優先権主張番号】17/707,878
(32)【優先日】2022-03-29
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】521042770
【氏名又は名称】ウーブン・バイ・トヨタ株式会社
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100147555
【弁理士】
【氏名又は名称】伊藤 公一
(74)【代理人】
【識別番号】100123593
【弁理士】
【氏名又は名称】関根 宣夫
(74)【代理人】
【識別番号】100133835
【弁理士】
【氏名又は名称】河野 努
(74)【代理人】
【識別番号】100180194
【弁理士】
【氏名又は名称】利根 勇基
(72)【発明者】
【氏名】橋本 大輔
【テーマコード（参考）】
5H181
【Ｆターム（参考）】
5H181AA01
5H181BB04
5H181BB13
5H181BB20
5H181CC03
5H181CC04
5H181CC11
5H181CC12
5H181CC14
5H181FF04
5H181FF13
5H181FF25
5H181FF27
5H181FF33
5H181FF35
5H181LL07
5H181LL08
5H181LL20
(57)【要約】
【課題】車両のドライバを含む乗員の異常な挙動を識別することができる自動危険通知システム及びその使用方法が提供される。
【解決手段】危険を識別する方法が、車両に取り付けられた第１センサから制御パラメータデータを受信することを含み、制御パラメータデータは車両の乗員の挙動に関連付けられる。本方法は、さらに、制御パラメータデータを乗員のパフォーマンス分布と比較して、制御パラメータが異常挙動を示すか否かを判別することを含む。本方法は、さらに、制御パラメータが異常挙動を示すという判別に応答して、車両に取り付けられた第２センサから収集されるべきセンサデータを識別することを含む。本方法は、さらに、収集されたセンサデータに基づいてログデータを生成することを含む。本方法は、さらに、ログデータを外部装置に送信することを含む。
【選択図】図７
【解決手段】危険を識別する方法が、車両に取り付けられた第１センサから制御パラメータデータを受信することを含み、制御パラメータデータは車両の乗員の挙動に関連付けられる。本方法は、さらに、制御パラメータデータを乗員のパフォーマンス分布と比較して、制御パラメータが異常挙動を示すか否かを判別することを含む。本方法は、さらに、制御パラメータが異常挙動を示すという判別に応答して、車両に取り付けられた第２センサから収集されるべきセンサデータを識別することを含む。本方法は、さらに、収集されたセンサデータに基づいてログデータを生成することを含む。本方法は、さらに、ログデータを外部装置に送信することを含む。
【選択図】図７
【特許請求の範囲】
【請求項1】
危険を識別する方法であって、
車両に取り付けられた第１センサから、前記車両の乗員の挙動に関連付けられた制御パラメータデータを受信することと、
前記制御パラメータデータを前記乗員のパフォーマンス分布と比較して、前記制御パラメータが異常挙動を示すか否かを判別することと、
前記制御パラメータが異常挙動を示すという判別に応答して、前記車両に取り付けられた第２センサから収集されるべきセンサデータを識別することと、
収集されたセンサデータに基づいてログデータを生成することと、
前記ログデータを外部装置に送信することと
を含む、方法。
車両に取り付けられた第１センサから、前記車両の乗員の挙動に関連付けられた制御パラメータデータを受信することと、
前記制御パラメータデータを前記乗員のパフォーマンス分布と比較して、前記制御パラメータが異常挙動を示すか否かを判別することと、
前記制御パラメータが異常挙動を示すという判別に応答して、前記車両に取り付けられた第２センサから収集されるべきセンサデータを識別することと、
収集されたセンサデータに基づいてログデータを生成することと、
前記ログデータを外部装置に送信することと
を含む、方法。
【請求項2】
前記制御パラメータデータを前記パフォーマンス分布と比較することが、前記制御パラメータデータが前記パフォーマンス分布のピーク値から三以上の標準偏差であることに応答して、前記制御パラメータが異常挙動を示すと判別することを含む、請求項１に記載の方法。
【請求項3】
前記制御パラメータデータを受信することが、前記車両の加速度、前記車両の操舵又は前記車両の速度の少なくとも一つに関するデータを受信することを含む、請求項１又は２に記載の方法。
【請求項4】
前記制御パラメータデータを受信することが、前記乗員の視線が向けられた方向を示す視線データを受信することを含む、請求項１又は２に記載の方法。
【請求項5】
前記収集されるべきセンサデータを識別することが、前記車両に取り付けられたカメラからの画像データを識別することを含む、請求項１又は２に記載の方法。
【請求項6】
前記ログデータを生成する前に前記画像データをトリミングすることを更に含む、請求項５に記載の方法。
【請求項7】
前記ログデータを生成することが、前記収集されたセンサデータを、該センサデータが捕捉された場所と関連付けることを含む、請求項１又は２に記載の方法。
【請求項8】
前記車両の周囲の環境の画像を捕捉することを更に含む、請求項１又は２に記載の方法。
【請求項9】
学習済みのニューラルネットワークを用いて前記画像に対する物体認識を実行して、該画像内に異常物体が存在するか否かを判別することを更に含む、請求項８に記載の方法。
【請求項10】
学習済みのニューラルネットワークを用いて前記画像に対するシーン分類を実行して、該画像内に異常なシーンが存在するか否かを判別することを更に含む、請求項８に記載の方法。
【請求項11】
学習済みのニューラルネットワークを用いて前記画像に対するセマンティックセグメンテーションを実行して、前記車両の周囲の環境のビットマップを生成することを更に含む、請求項８に記載の方法。
【請求項12】
危険識別システムであって、
命令を記憶するように構成された非一時的なコンピュータ可読媒体と、
前記非一時的なコンピュータ可読媒体に接続されたプロセッサと
を備え、
前記プロセッサは、
車両に取り付けられた第１センサから、前記車両の乗員の挙動に関連付けられた制御パラメータデータを受信し、
前記制御パラメータデータを前記乗員のパフォーマンス分布と比較して、前記制御パラメータが異常挙動を示すか否かを判別し、
前記制御パラメータが異常挙動を示すという判別に応答して、前記車両に取り付けられた第２センサから収集されるべきセンサデータを識別し、
収集されたセンサデータに基づいてログデータを生成し、
前記ログデータを外部装置に送信する
ための前記命令を実行するように構成される、危険識別システム。
命令を記憶するように構成された非一時的なコンピュータ可読媒体と、
前記非一時的なコンピュータ可読媒体に接続されたプロセッサと
を備え、
前記プロセッサは、
車両に取り付けられた第１センサから、前記車両の乗員の挙動に関連付けられた制御パラメータデータを受信し、
前記制御パラメータデータを前記乗員のパフォーマンス分布と比較して、前記制御パラメータが異常挙動を示すか否かを判別し、
前記制御パラメータが異常挙動を示すという判別に応答して、前記車両に取り付けられた第２センサから収集されるべきセンサデータを識別し、
収集されたセンサデータに基づいてログデータを生成し、
前記ログデータを外部装置に送信する
ための前記命令を実行するように構成される、危険識別システム。
【請求項13】
前記プロセッサは、さらに、前記制御パラメータデータが前記パフォーマンス分布のピーク値から三以上の標準偏差であることに応答して、前記制御パラメータが異常挙動を示すと判別するための前記命令を実行するように構成される、請求項１２に記載のシステム。
【請求項14】
前記プロセッサは、さらに、前記車両の加速度、前記車両の操舵又は前記車両の速度の少なくとも一つに関するデータを含む前記制御パラメータデータを受信するための前記命令を実行するように構成される、請求項１２又は１３に記載のシステム。
【請求項15】
前記プロセッサは、さらに、前記乗員の視線が向けられた方向を示す視線データを含む前記制御パラメータデータを受信するための前記命令を実行するように構成される、請求項１２又は１３に記載のシステム。
【請求項16】
前記プロセッサは、さらに、前記車両に取り付けられたカメラからの画像データを含む前記収集されるべきセンサデータを識別するための前記命令を実行するように構成される、請求項１２又は１３に記載のシステム。
【請求項17】
前記プロセッサは、さらに、前記ログデータを生成する前に前記画像データをトリミングするための前記命令を実行するように構成される、請求項１６に記載のシステム。
【請求項18】
前記ログデータを生成することは、前記収集されたセンサデータを、該センサデータが捕捉された場所と関連付けることを含む、請求項１２又は１３に記載のシステム。
【請求項19】
被通知車両に危険を通知する方法であって、
検出車両に取り付けられた第１センサから、前記検出車両の乗員の挙動に関連付けられた制御パラメータデータを受信することと、
前記制御パラメータデータを前記検出車両の乗員のパフォーマンス分布と比較して、前記制御パラメータが異常挙動を示すか否かを判別することと、
前記制御パラメータが異常挙動を示すという判別に応答して、前記検出車両に取り付けられた第２センサからのデータに基づいてログデータを生成することと、
前記ログデータを前記被通知車両に送信することと、
前記ログデータに基づいて前記被通知車両の乗員に危険を通知することと
を含む、方法。
検出車両に取り付けられた第１センサから、前記検出車両の乗員の挙動に関連付けられた制御パラメータデータを受信することと、
前記制御パラメータデータを前記検出車両の乗員のパフォーマンス分布と比較して、前記制御パラメータが異常挙動を示すか否かを判別することと、
前記制御パラメータが異常挙動を示すという判別に応答して、前記検出車両に取り付けられた第２センサからのデータに基づいてログデータを生成することと、
前記ログデータを前記被通知車両に送信することと、
前記ログデータに基づいて前記被通知車両の乗員に危険を通知することと
を含む、方法。
【請求項20】
前記ログデータを送信することが、
前記ログデータを前記検出車両からサーバに送信することと、
前記サーバを用いて前記ログデータを符号化することと、
前記符号化されたログデータを前記被通知車両に送信することと
を含む、請求項１９に記載の方法。
前記ログデータを前記検出車両からサーバに送信することと、
前記サーバを用いて前記ログデータを符号化することと、
前記符号化されたログデータを前記被通知車両に送信することと
を含む、請求項１９に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、全体として参照により本明細書に取り込まれる、２０２１年１０月８日に出願された米国出願第１７／４９７８４６号明細書に関する。
【背景技術】
【0002】
車両のドライバは、車両の経路に沿って危険を回避する態様で車両を運転する。加えて、車両の乗員は車両の窓の外側の危険を見る。他の車両の乗員及びドライバに危険を通知することは、事故のリスク又は他の車両への被害を低減するのに役立つ。いくつかの手法では、ドライバ又は乗員が、観察車両内のユーザインタフェース（ＵＩ）を使用して危険情報を入力し、他の車両に通知する。いくつかの手法では、ドライバ又は乗員が、モバイルデバイスを使用して危険情報を入力し、他の車両に通知する。これら手法は、危険情報を提供するためにユーザ入力に頼る。
【図面の簡単な説明】
【0003】
【発明を実施するための形態】
【0004】
本開示の態様は、以下の詳細な説明を添付の図面と共に読むときに最も良く理解される。業界の標準的な慣行に従って、様々な特徴が一定の縮尺では描かれていないことに留意されたい。実際、様々な特徴の寸法は、説明を明確にするために、任意に増減されうる。
【0005】
以下の開示では、提供される主題の種々の特徴を実装するための多くの種々の実施形態又は例が提供される。本開示を単純化するために、構成要素、値、動作、材料、配置等の具体例が以下に記載される。当然のことながら、これらは、単なる例であり、限定することを意図していない。他の構成要素、値、動作、材料、配置等が考えられる。例えば、以下の説明における第２の特徴の上方又は上の第１の特徴の形成は、第１の特徴及び第２の特徴が直接接触して形成される実施形態を含むことができ、第１の特徴及び第２の特徴が直接接触しないように第１の特徴と第２の特徴との間に追加の特徴が形成される実施形態も含むことができる。加えて、本開示では、様々な例において参照符号が繰り返し用いられうる。この繰り返しは、単純化又は明確化を目的としており、それ自体、説明される様々な実施形態及び／又は構成の間の関係を決定するものではない。
【0006】
車両によって走行される道に沿って危険の事前通知を行うことは、車両のドライバが、事故を引き起こし又は車両へのリスキーな操作を行うことなく危険を回避するのに役立つ。いくつかの手法では、危険についての通知はモバイルアプリケーションを通して提供される。しかしながら、これらモバイルアプリケーションは、危険通知を入力するために人的相互作用に頼る。いくつの例では、このことは、通知を行うユーザインタフェース（ＵＩ）に情報を入力する間、ドライバの注意を散漫にする。加えて、危険の場所は、危険情報の入力が行われるときのモバイルデバイスの場所に設定されることが多い。このことは、危険の真の場所を識別する精度を低くする。いくつかの例では、人がＵＩに情報を入力し損なって、危険が報告されない。いくつかの例では、モバイルアプリケーションにおいて危険を識別するための選択肢が限られ、このことは、他の車両のドライバが容易に危険を回避することができないリスクを増大させる。
【0007】
本説明では、車両のドライバを含む乗員の異常な挙動を識別することができる自動危険通知システム及びその使用方法が提供される。異常な挙動を検出したことに応答して、危険通知システムは、車両内のセンサを使用して、車両の周囲の環境に危険が存在するか否かを判別する。危険が検出された場合、他の車両のドライバに危険を通知するために、ログデータが、収集され、符号化及び他の車両への流布のためにサーバに送信される。この結果、ドライバは、システムが人間の入力に頼って危険の存在を報告することなく、危険の事前通知を受ける。
【0008】
いくつかの実施形態では、危険及び危険の場所が車両ＵＩに表示される。いくつかの実施形態では、危険の画像が被通知車両に提供される。いくつかの実施形態では、被通知車両は、自動的に又は被通知車両の乗員からの入力に基づいて、危険の存在の確認、危険についての更新情報又は他の適切な情報を提供するように構成される。
【0009】
本説明では自動車に焦点が当てられているが、当業者は、本説明が、電車、航空機又は他の適切な車両のような他の車両に適用可能であることを理解するだろう。本説明は、単に車両の人間のドライバではなく、車両内の自動運転システムに通知することにも適用可能である。
【0010】
図１は、いくつかの実施形態に従った危険通知システム１００のブロック図である。危険通知システム１００の説明は、ドライバによって制御される自動車に焦点を当てる。しかしながら、当業者は、エンジニアによって運転される電車、又は他の移動車両のような他の車両及びオペレータが本開示の範囲内であることを認識するだろう。また、本開示は車道における危険について言及する。当業者は、本開示が車道における危険に限定されないことを理解するだろう。例えば、いくつかの実施形態では、危険は、全地形対応車（ＡＴＶ）のトレイル、電車の線路、車両によって走行される他の小道のような経路に沿って存在する。さらに、いくつかの実施形態では、危険は、実際に車道においてではなく、車道に隣接して存在する。
【0011】
危険通知システム１００は検出車両システム１１０を含み、検出車両システム１１０は、車道に危険が存在するか否かを判別し、危険が存在すると判別したことに応答して危険についての情報を捕捉する。検出車両システム１１０は、危険についての情報を捕捉し、情報をサーバに送信する。危険通知システム１００はサーバ１４０を更に備え、サーバ１４０は、危険情報を受信し、危険情報を符号化し、サーバ１４０に接続された一つ又は複数の他の車両に危険情報を広めるように構成される。危険通知システム１００は更に被通知車両システム１５０を更に含み、被通知車両システム１５０は、符号化された危険情報を受信し、被通知車両の乗員１６０に危険の存在及び場所を通知するように構成される。いくつかの実施形態では、被通知車両はさらに乗員１６０に危険の種類を通知するように構成される。いくつかの実施形態では、車両は、第１の危険について検出車両システム１１０として機能することができ、第１の危険とは異なる第２の危険について被通知車両システム１５０として機能することができる。
【0012】
検出車両システム１１０は電子制御ユニット（ＥＣＵ）１２０を含み、ＥＣＵ１２０は、乗員監視カメラ１１２、フロントカメラ１１４、全地球測位システム（ＧＰＳ）１１６及びマップ１１８からデータを受信するように構成される。ＥＣＵ１２０は、異常状況検出器１２２、データ指定子（data specifier）１３２、ログ収集器１３４及びログ送信機１３６を含む。異常状況検出器１２２は、車両制御モニタ１２４、異常物体検出器１２６、異常シーン検出器１２８及び視線検出器１３０を含む。
【0013】
いくつかの実施形態では、ＥＣＵ１２０は注目エリア認識器を更に含み、注目エリア認識器は乗員の視線の位置を判別するように構成される。いくつかの実施形態では、ＥＣＵ１２０は位置特定部を更に含み、位置特定部は、ＧＰＳ１１６及びマップ１１８からデータを受信し、検出され且つ／又は既知の物体及び／又は道路位置に対する車両の位置並びに車両の姿勢及び状態を判別するように構成される。姿勢は車道のような参照点に対する車両の向きである。いくつかの実施形態では、車両の位置は車両の位置ベクトルも意味する。車両の姿勢及び状態は車両の速度及び進行方向を意味する。いくつかの実施形態では、車両の姿勢及び状態は、車両の速度ベクトル、加速度ベクトル及びジャークベクトルも意味する。いくつかの実施形態では、位置ベクトル、速度ベクトル、加速度ベクトル及びジャークベクトルは角度ベクトルを含む。いくつかの実施形態では、車両の状態は、車両のエンジン又はモータが作動しているか否かも意味する。
【0014】
乗員監視カメラ１１２は観察車両（viewing vehicle）のドライバ又は他の乗員の画像を捕捉するように構成される。乗員監視カメラ１１２は車両に接続される。いくつかの実施形態では、乗員監視カメラ１１２は可視光カメラを含む。いくつかの実施形態では、乗員監視カメラ１１２は赤外線（ＩＲ）カメラ又は別の適切なセンサを含む。いくつかの実施形態では、乗員監視カメラ１１２は、種々の大きさである乗員の少なくとも一方の眼の画像を捕捉すべく、車両に対して移動可能である。乗員の両眼の画像を捕捉することが好ましいが、いくつかの乗員は一つのみの眼を有し、乗員の頭部が乗員監視カメラ１１２から逸れたいくつかの例では、乗員の眼の一方のみが乗員監視カメラ１１２によって捕捉可能である。いくつかの実施形態では、乗員監視カメラ１１２は自動的に調整される。いくつかの実施形態では、乗員監視カメラ１１２は手動で調整可能である。いくつかの実施形態では、捕捉される画像は乗員の少なくとも一方の眼を含む。いくつかの実施形態では、乗員監視カメラ１１２は、乗員の種々の領域の画像を捕捉するための複数の画像捕捉装置を含む。いくつかの実施形態では、乗員監視カメラ１１２は車両内の種々の場所に配設される。例えば、いくつかの実施形態では、第１の乗員監視カメラ１１２が車両の中央領域におけるバックミラーに近接して配設され、第２の乗員監視カメラ１１２がドライバ側のドアに近接して配設される。当業者は、車両の運転を妨げない、乗員監視カメラ１１２についての他の場所が本開示の範囲内であることを認識するだろう。いくつかの実施形態では、乗員監視カメラ１１２からのデータは、他のデータとの同期を助けるタイムスタンプ又は他のメタデータを含む。
【0015】
当業者は、いくつかの実施形態において車両システム１１０が複数の乗員を監視するための追加のカメラを含むことを理解するだろう。追加のカメラの各々は、上述された乗員監視カメラ１１２と同様である。例えば、いくつかの実施形態では、一つ又は複数の監視カメラが前方座席の乗客の少なくとも一方の眼の画像を捕捉するために車両内に配置される。いくつかの実施形態では、一つ又は複数の監視カメラが後部座席の乗客の少なくとも一方の眼の画像を捕捉するために車両内に配置される。いくつかの実施形態では、追加のカメラは、車両が対応する前方座席の乗客又は後部座席の乗客を検出したことに応答したときにのみ作動される。いくつかの実施形態では、車両のオペレータが追加のカメラを選択的に非作動にすることができる。追加のカメラを含む実施形態では、捕捉される画像は依然として視線検出器１３０に送信され、視線検出器１３０は、車両の監視された乗員の各々についての視線結果を生成することができる。
【0016】
センサ１１４は、車両の周囲の環境の画像のような情報を捕捉するように構成される。いくつかの実施形態では、センサ１１４は、可視光カメラ、ＩＲカメラを含む。いくつかの実施形態では、センサ１１４は、光検出及び測距（ＬｉＤＡＲ）センサ、無線検出及び測距（ＲＡＤＡＲ）センサ、音波探知機（ソナー）センサ又は別の適切なセンサによって置換され又はこれらが更に加えられる。いくつかの実施形態では、センサ１１４は、車両上の他の場所に配設された追加のカメラを含む。例えば、いくつかの実施形態では、追加のカメラが、観察車両の左右の環境の大部分を検出すべく、車両の両側に配設される。車両の乗員が車両のサイドウィンドウの外側を見ることができるので、追加のカメラを用いて車両の周囲の環境の大部分を検出することは、車両の乗員によって見られる異常物体又は異常シーンを検出する精度を高めるのに役立つ。例えば、いくつかの実施形態では、追加のカメラは、車両の後方の環境の大部分を検出すべく、車両の背側に配設される。この情報は、ドライバ以外の車両の乗員がリアウィンドウの外側で見ることができる異常物体を捕捉するのに役立つ。いくつかの実施形態では、センサ１１４からのデータは、センサ１１４からのデータを乗員監視カメラ１１２からのデータと同期させるのを助けるべく、タイムスタンプ又は他のメタデータを含む。
【0017】
ＧＰＳ１１６は、車両の場所を判別するように構成される。観察車両の場所を知ることは、異常物体又は異常シーンを、乗員の注意を引く方向と、マップ１１８上の判別された場所に関する物体及びエリアとに関連付けるのに役立つ。車両の進行方向を知ることは、視線データの生成を支援すべく、車両の乗員が見ている方向を予測するのに役立つ。観察車両の速度を知ることは、車両の乗員が物体を見る機会をどのくらい有していたかを判別するのに役立つ。例えば、いくつかの実施形態では、速く移動する車両において乗員が長時間見ている物体又はシーンは、遅く移動する車両において同じ時間だけ見られた物体又はシーンよりも異常物体として識別される可能性が高くなる。速く移動する車両では、シーン又は物体が車両の乗員に見える可能な時間の合計は、遅く移動する車両よりも短い。車両の速度を考慮することによって、シーン又は物体が見える最大可能時間のうち、乗員がシーン又は物体を見る時間の割合が、シーン又は物体が乗員の注意を強く引いた否かを判別するのに役立つ。乗員をより強く引き付けることは、シーン又は物体が乗員に見える時間の高い割合で乗員がシーン又は物体を見ることをもたらす。この結果、種々の時間における車両の場所を知ることは、異常である可能性がある物体及びシーンに乗員の挙動を関連付けることを助ける。
【0018】
マップ１１８は、車道と車道に沿った既知の物体とに関する情報を含む。いくつかの実施形態では、マップ１１８は、車両の場所及び進行方向を判別するためにＧＰＳ１１６と併せて使用可能である。いくつかの実施形態では、マップ１１８はサーバ１４０のような外部装置から受信される。いくつかの実施形態では、マップ１１８はフロントカメラ１１４及び／又はＧＰＳ１１６からの情報に基づいて周期的に更新される。いくつかの実施形態では、マップ１１８は、外部装置から受信された情報に基づいて周期的に更新される。いくつかの実施形態では、マップ１１８は、同時ローカリゼーション及びマッピング（ＳＬＡＭ）アルゴリズムによってセンサデータから生成される。マップ１１８を含むことは、物体が異常であるか否かを判別するのに役立つ。例えば、いくつかの実施形態では、車両の乗員は長時間に亘って既知の道路標識を見るだろう。しかしながら、道路標識は異常物体ではなく、危険通知を生成すべきではない。既知の物体を有するマップ１１８を含むことは、誤検出の危険通知のリスクを低減するのに役立つ。
【0019】
以下の説明では、簡潔の目的で、ドライバに関する情報の分析に主に焦点が当てられる。当業者は、この説明が車両の前方座席の乗客又は後部座席の乗客のような他の乗員にも適用可能であることを理解するだろう。
【0020】
異常状況検出器１２２は、ドライバの正常な挙動のプロファイルを生成し、正常な挙動からの異常な偏差が検出されたか否かを判別する。いくつかの実施形態では、正常な挙動のプロファイルは複数の挙動に関する。いくつかの実施形態では、挙動は、視線方向の挙動、走行速度の挙動、加速／制動の挙動、操舵の挙動又は他の適切な挙動の少なくとも一つを含む。視線方向の挙動は、車両が走行している方向にドライバの注意がどのくらい向けられているかに関する。例えば、ドライバは車両のサイドウィンドウの外側を見ることが多い。走行速度の挙動は、ドライバが車両を正常に運転する速度に関する。例えば、ドライバは車道に沿って制限速度超又は制限速度未満で正常に走行する。加速／制動の挙動は、ドライバがアクセル又はブレーキを正常に使用しているかに関する。例えば、ドライバは正常にゆっくり加速し若しくはアクセルを強く踏み、又はドライバは正常にゆっくり惰性で停止し若しくはブレーキを強く踏む。操舵の挙動は車両のステアリングホイールの回転の大きさ及び急さに関する。例えば、ドライバはステアリングホイールを大きく回転させることが多く、又はドライバはステアリングホイールを小さく回転させることによって大きなターンを行うことが多い。いくつかの実施形態では、要因間の相関関係がプロファイルを開発するのに使用される。例えば、いくつかの実施形態では、車両の速度と操舵の挙動とが組み合わされる。すなわち、速い車両速度において、ドライバは遅い車両速度よりも少ない程度だけステアリングホイールを回転させる。ドライバの正常な挙動のプロファイルを使用して、異常状況検出器１２２は、異常物体又は異常シーンが車両の周囲の環境に存在している可能性が高いか否かを判別すべく、正常な挙動とは著しく異なる行為をドライバが行っているか否かを判別することができる。
【0021】
正常な挙動のプロファイルに基づいて、一つ又は複数のパフォーマンス曲線（performance curve）がドライバについて開発される。いくつかの実施形態では、各ドライバは固有のパフォーマンス曲線を有し、異常状況検出器１２２はドライバの身元に基づいて異常物体又は異常シーンの存在の可能性を判別するように構成される。いくつかの実施形態では、ドライバの身元は乗員監視カメラ１１２のデータに基づいて判別される。いくつかの実施形態では、ドライバの身元は、例えばＵＩを介してドライバから受信した入力に基づいて判別される。いくつかの実施形態では、ドライバの身元は、車両の所有者として登録された人のような公式記録に基づいて判別される。いくつかの実施形態では、検出されたパフォーマンスが、パフォーマンス曲線によって判別される正常な挙動から三以上の標準偏差であることに応答して、ドライバのパフォーマンスが異常であると見なされる。パフォーマンス曲線に関する追加情報が図６に関して以下に提供される。いくつかの実施形態では、検出車両システム１１０は交通情報受信機を更に含み、交通情報受信機は、道路交通情報通信システム（ＶＩＣＳ（登録商標））又は交通メッセージチャネル（ＴＭＣ）のような走行情報を、検出車両システム１１０の外側から受信する。検出車両システム１１０が、検出車両システム１１０の近くの場所でいくつかの異常状況が起きていることを示す情報を受信すると、異常状況検出器は、異常状況が起きていることを判別するための閾値を低くすることができる。検出車両システム１１０における情報と交通情報とを組み合わせることは、誤検出を低減するのに役立つ。
【0022】
車両制御モニタ１２４は、センサデータを受信し、車両の現在の運転に関するログを制御するように構成される。いくつかの実施形態では、センサデータは、車両速度、加速、ジャーク、制動、操舵、ピッチング、ローリング、ヨーイング、ハザードランプの点滅、ホーンビープ音又は他の適切な情報に関する情報を含む。いくつかの実施形態では、車両制御モニタ１２４によって収集されたデータは、ドライバに関連付けられたパフォーマンス曲線を連続的に更新するのに使用される。車両制御モニタ１２４は、受信されたセンサデータのいくつかがドライバの正常な挙動からの異常な偏差を示すか否かを判別するように構成される。
【0023】
異常物体検出器１２６は、センサ１１４からセンサデータを受信して、異常物体が車道に配設されているか否かを判別するように構成される。いくつかの実施形態では、異常物体検出器１２６は、さらに、異常物体が車道に沿って又は車道に近接して存在しているか否かを判別するように構成される。いくつかの実施形態では、センサ１１４からのセンサデータは画像を含み、異常物体検出器１２６は、例えば学習済みのニューラルネットワークを用いて、受信された画像に対する画像認識を実行して異常物体を識別するように構成される。いくつかの実施形態では、異常物体検出器１２６は、識別された物体を、識別された物体が異常物体であるか否かを判別するのに役立つ、ＧＰＳ１１６及びマップ１１８からの情報と比較するように構成される。いくつかの実施形態では、異常物体検出器１２６は、落下物のような物体、例えば、タイヤ、自動車部品等、動物、路面の窪み、交通規制板、緊急車両、ハザードランプ点灯車両、又は他の適切な物体を異常物体として識別するように構成される。
【0024】
異常シーン検出器１２８は、センサ１１４からセンサデータを受信して、異常シーンが車両の周囲の環境に配設されているか否かを判別するように構成される。異常シーンは、異常な態様で配置された正常な物体を異常シーンが含むことができるという点で異常物体とは異なる。いくつかの実施形態では、異常シーン検出器１２８は、２台以上の車両が互いに接触していること又は車両が複数の落下物に囲まれていることを検出したことに応答して、車両事故が発生したと判別するように構成される。いくつかの実施形態では、異常シーン検出器１２８は、近接する複数の建設車両を検出したことに基づいて建設が発生していると判別するように構成される。いくつかの実施形態では、異常シーン検出器１２８は、車両が車道に隣接して配設され且つ他の車両よりも著しく遅く移動し又は移動していないと判別したことに基づいて、車両が路肩に駐車していると判別するように構成される。いくつかの実施形態では、異常シーン検出器１２８は、ハザードランプ点灯車両を検出したことに基づいて、異常シーンを判別するように構成される。いくつかの実施形態では、異常シーン検出器１２８は、学習済みのニューラルネットワークを介したような画像認識を使用して、異常シーンを識別するための基準が存在するか否かを判別するように構成される。
【0025】
視線検出器１３０は乗員監視カメラ１１２からデータを受信して視線検出結果を生成するように構成される。視線検出結果は、乗員の眼が見ている方向を含む。いくつかの実施形態では、方向は方位角及び仰角を含む。方位角及び仰角を含むことは、ドライバが水平線に対して平行及び水平線に対して垂直の両方を見ている方向の判別を可能とする。いくつかの実施形態では、視線検出結果は深度情報を更に含む。深度情報は、ドライバの眼の視軸が収束するドライバからの推定距離である。深度情報を含むことは、ドライバと、ドライバが視線を集中させている物体との間の距離の判別を可能とする。深度情報を方位角及び仰角と組み合わせることは視線検出結果の精度を高める。捕捉された画像が乗員の片眼のみを含むいくつかの実施形態では、深度情報を判別することが困難であるので、方位角及び仰角のみが視線検出器１３０によって判別される。いくつかの実施形態では、視線検出器１３０は、さらに、センサ１１４からデータを受信し、方位角及び仰角に基づいて、検出された視線をセンサ１１４からの画像のピクセル位置と関連付けるように構成される。
【0026】
いくつかの実施形態では、視線検出器１３０は車両に取り付けられていない。いくつかの実施形態では、視線検出器１３０は観察車両の乗員に取り付けられる。例えば、いくつかの実施形態では、視線検出器１３０は、スマートグラス、別のスマート衣類、又は着用者の視線情報を判別することができる他の斯かる装置を含む。スマートグラスを利用するいくつかの実施形態では、歩行者、自転車に乗っている人々、又は車両にいない他の人々から視線データを収集することができる。危険通知システム１００は関心の物体を識別するのを助けるためにこの視線データを利用することができる。
【0027】
視線検出器１３０は、また、ドライバが、異常に長い時間、異常な方向、例えば車両のサイドウィンドウの外側を見ているか否かを判別するように構成される。例えば、いくつかの実施形態では、事故が発生した場合又は警察車両が存在する場合に、ドライバは、車両を運転しつつ、車両のサイドウィンドウの外側の事故又は警察車両を見るだろう。
【0028】
いくつかの実施形態では、異常物体検出器１２６、異常シーン検出器１２８及び視線検出器１３０の各々は、車両の運転の全期間の間、例えば車両のエンジン又はモータが作動しているときに作動される。いくつかの実施形態では、異常物体検出器１２６、異常シーン検出器１２８又は視線検出器１３０の少なくとも一つは、異常挙動が検出されたと車両制御モニタ１２４が判別したことに応答して作動される。
【0029】
データ指定子１３２は、異常状況と総称される異常挙動、異常物体又は異常シーンが検出されたという判別を受信するように構成される。データ指定子１３２は、受信された情報を分析して、受信されたデータに基づいてセンサ１１４からのどのセンサデータが収集されるべきかを判別するように構成される。例えば、ドライバによる異常な操舵の挙動が検出されたいくつかの実施形態では、データ指定子１３２は、センサ１１４のフロントカメラからの画像データが捕捉されるべきであると判別するように構成される。さらに、データ指定子１３２は、検出された異常状況の時刻に基づいて、センサ１１４からのデータが収集されるべき期間を判別するように構成される。
【0030】
いくつかの実施形態では、データ指定子１３２は、検出された異常状況に関連する、受信されたセンサデータの領域を判別するように構成される。いくつかの実施形態では、受信されたセンサデータの領域は視線検出器１３０からの視線データに基づいて識別される。いくつかの実施形態では、受信されたセンサデータの領域は、例えば異常物体検出器１２６又は異常シーン検出器１２８によってセンサデータに対して実行された画像認識に基づいて識別される。いくつかの実施形態では、データ指定子１３２は、異常状況のログの情報量を低減すべく、センサデータからの受信された画像をトリミングし又はセンサデータが画像ではない場合にはセンサデータから無関係なデータを除去するように構成される。いくつかの実施形態では、データ指定子は、ナンバープレート、人間の顔等のような個人情報をセンサデータから除去するように構成される。
【0031】
ログ収集器１３４はデータ指定子１３２からデータを受信するように構成される。いくつかの実施形態では、ログ収集器１３４は、データ指定子１３２によって提供された情報に基づいて、センサ１１４、ＧＰＳ１１６又は異常状況検出器１２２から直接データを受信するように構成される。ログ収集器１３４は、また、ＧＰＳ１１６又はマップ１１８からの位置情報、センサ１１４からの画像情報、データ指定子１３２からのトリミングされ若しくは低減された情報、視線検出器１３０からの視線データ、異常状況が検出された時刻に関するタイムスタンプ情報、又は他の適切な情報などの何の情報が危険の種類及び場所を識別するために有用であるかを判別するように構成される。
【0032】
ログ収集器１３４は、受信され且つ相互に関連付けられたデータ、例えばトリミングされた画像と位置データとに基づいてログデータを生成する。ログ収集器１３４は、また、収集されたデータの同期を支援するため且つサーバ１４０内のキューの優先度のためにタイムスタンプ情報をログデータに関連付ける。いくつかの実施形態では、ログ収集器１３４は、トリミングされた画像に関連付けられた世界座標を更に含むログデータを生成する。いくつかの実施形態では、ログ収集器１３４は、トリミングされた画像に関連付けられたマップ位置を更に含むログデータを生成する。いくつかの実施形態では、ログ収集器１３４は、異常状況の種類及び異常状況の場所を判別する精度を高めることを支援するための追加の情報を含む。
【0033】
上記の説明は、センサ１１４からの画像に基づいてログデータを生成することに関するが、当業者は、ログ収集器１３４が単に画像に基づいてログデータを生成することに限定されないことを理解するだろう。いくつかの実施形態では、ログ収集器１３４は、レーダ、ライダ又は他の適切なセンサのような、車両に取り付けられた他のセンサからの情報に基づいてログデータを生成するように構成される。乗員がスマートグラスを着用しているいくつかの実施形態では、ログ収集器１３４は、さらに、スマートグラスから受信された情報に基づいてログデータを生成するように構成される。
【0034】
ログ送信機１３６は、ログ収集器１３４からログデータを受信し、ログデータをサーバ１４０に送信するように構成される。いくつかの実施形態では、ログ送信機１３６はログデータを無線で送信するように構成される。いくつかの実施形態では、ログ送信機１３６はログデータを有線接続を介して送信するように構成される。いくつかの実施形態では、ログ送信機１３６はログデータを被通知車両システム１５０に直接送信するように構成される。いくつかの実施形態では、ログ送信機１３６は、乗員がアクセス可能なモバイルデバイスにログデータを送信するように構成され、次いで、モバイルデバイスはログデータをサーバ１４０に送信するように構成される。いくつかの実施形態では、ログ送信機１３６はブルートゥース（登録商標）又は別の適切な無線技術を用いてモバイルデバイスにログデータを送信するように構成される。いくつかの実施形態では、ＥＣＵ１２０は、モバイルデバイスからサーバ１４０へのデータ転送レートがログ送信機１３６からサーバ１４０への転送レートよりも高いか否かを判別するように構成される。モバイルデバイスからサーバ１４０へのデータ転送レートがより高いという判別に応答して、ログ送信機１３６は、サーバ１４０に送信されるべきログデータをモバイルデバイスに送信するように構成される。モバイルデバイス１６０からサーバ１４０へのデータ転送レートがより低いという判別に応答して、ログ送信機１３６は、ログデータをモバイルデバイス１６０に転送することなくログデータを車両システム１１０からサーバ１４０に直接送信するように構成される。
【0035】
いくつかの実施形態では、検出車両システム１１０は、車両に取り付けられたセンサからのセンサデータを記憶するように構成されたメモリを更に含む。いくつかの実施形態では、メモリは、さらに、以前の異常状況に関連付けられた情報を記憶するように構成される。いくつかの実施形態では、以前の異常状況に適合する異常状況を検出したことに応答して、データ指定子１３２は、適合する異常状況に基づいて結果を提供するように構成される。いくつかの実施形態では、検出車両システム１１０は、さらに、異常状況検出器１２２からの判別された異常状況に適合する異常状況に関する情報を検出車両がサーバ１４０から受信したか否かを判別するように構成される。いくつかの実施形態では、判別された異常状況に関する情報を検出車両が既に受信していると判別したことに応答して、検出車両システム１１０はサーバへのログデータの送信を止めるように構成される。サーバ１４０への余分な情報の送信を回避することは、サーバ１４０に送信されるデータを低減するのに役立ち、検出車両による電力消費を最小にするのに役立つ。いくつかの実施形態では、以前の要求を記憶することはキャッシングと呼ばれる。当業者は、そのデータについての将来の要求がより迅速に処理され得るようにハードウェア又はソフトウェアを用いてデータを記憶することとしてキャッシングを理解するだろう。
【0036】
サーバ１４０は、ログ送信機１３６からログデータを受信するように構成されたログデータ受信機１４２を含む。いくつかの実施形態では、ログデータ受信機１４２はモバイルデバイスからログデータを受信するように構成される。サーバ１４０は、ログデータを符号化するように構成されたログエンコーダ１４４を更に含む。サーバ１４０は、符号化されたログデータを被通知車両システム１５０に送信するように構成されたログ転送機１４６を更に含む。
【0037】
ログデータ受信機１４２はログ送信機１３６からログデータを受信するように構成される。いくつかの実施形態では、ログデータ受信機１４２はモバイルデバイスからログデータを受信するように構成される。いくつかの実施形態では、ログデータ受信機１４２はログデータを無線で受信するように構成される。いくつかの実施形態では、ログデータ受信機１４２はログデータを有線接続を介して受信するように構成される。いくつかの実施形態では、ログデータ受信機１４２は、ログデータが受信された時刻についてのタイムスタンプをログデータに添付するように構成される。
【0038】
ログエンコーダ１４４は、予め定められた符号化プロトコルに従って、受信されたログデータを符号化するように構成される。予め定められた符号化プロトコルに従ってログデータを符号化することは、被通知車両システム１５０が被通知車両システム１５０による使用のためにログデータを信頼性高く復号できることを確実なものとするのに役立つ。いくつかの実施形態では、ログエンコーダ１４４は、ログデータの圧縮、画像の符号化、サムネイル画像の作成又は他の適切な符号化プロトコルを実行するように構成される。いくつかの実施形態では、ログエンコーダ１４４はログデータの暗号化を実行するように構成される。いくつかの実施形態では、ログエンコーダ１４４は、さらに、超解像を実行して、データを乗員１６０にとってより見やすくするように構成される。当業者は、超解像が低解像度画像から高解像度画像を受信する工程であることを理解するだろう。ログデータの解像度を高めることは誤検出又は検出漏れを低減するのに役立つ。
【0039】
いくつかの実施形態では、サーバ１４０は、受信されたログデータを記憶するためのデータベースを更に含む。いくつかの実施形態では、ログデータは、ログエンコーダ１４４による符号化の前及び／又は後にデータベースに記憶される。いくつかの実施形態では、ログデータは優先度付きキュー（priority queue）でデータベースに記憶される。いくつかの実施形態では、優先度キューの優先度は、異常状況が検出された時刻、ログデータがログデータ受信機１４２によって受信された時刻、異常状況の種類、検出車両のドライバの身元、又は他の適切な優先度の基準に基づいて決定される。
【0040】
ログ転送機１４６は、符号化されたログデータをログエンコーダ１４４から受信するように構成される。ログ転送機１４６は、符号化されたログデータを被通知車両システム１５０に送信するように構成される。いくつかの実施形態では、ログ転送機１４６は、被通知車両システム１５０に加えて又は被通知車両システム１５０の代わりに、被通知車両の乗員がアクセス可能なモバイルデバイスに、符号化されたログデータを送信するように構成される。いくつかの実施形態では、ログ転送機１４６は、符号化されたログデータを無線で転送するように構成される。いくつかの実施形態では、ログ転送機１４６は、有線接続を介して、符号化されたログデータを送信するように構成される。いくつかの実施形態では、ログ転送機１４６は、符号化されたログデータと共に符号化プロトコル情報を送信するように構成される。符号化されたログデータについての符号化プロトコル情報を送信することは、モバイルデバイス又は被通知車両システム１５０が、被通知車両システム１５０による使用のために、符号化されたログデータを正確に復号することを助ける。
【0041】
いくつかの実施形態では、サーバ１４０は複数の車両から位置情報を受信するように構成される。いくつかの実施形態では、サーバ１４０は複数の車両からナビゲーション計画を受信するように構成される。いくつかの実施形態では、ログ転送機１４６は、符号化されたログデータの送信を、異常状況の予め定められた距離内にある車両のみに限定するように構成される。いくつかの実施形態では、ログ転送機１４６は、符号化されたログデータの送信を、異常状況の予め定められた距離内を車両が通過していることを示すナビゲーション計画を有する車両のみに限定するように構成される。符号化されたログデータを受信する車両を限定することは、異常状況による影響を受けないであろう、サーバに接続された車両に無関係なデータが転送されることを低減するのに役立つ。
【0042】
いくつかの実施形態では、サーバ１４０は、新たに識別された異常状況に関連付けられたログデータのみを送信するように構成される。すなわち、異常状況がサーバ１４０によって既に報告されていた場合、異常状況は再び報告されない。異常状況の繰り返しの報告を制限することは、サーバ１４０に接続された車両によって受信される余分なデータを低減するのに役立つ。
【0043】
被通知車両システム１５０はＥＣＵ１５２を含む。ＥＣＵ１５２は、符号化されたログデータをログ転送機１４６から受信するように構成されたログデコーダ１５４を含む。ＥＣＵ１５２は、復号されたログデータに基づいて異常状況の視覚的表現を生成するように構成されたログビジュアライザ（log visualizer）１５６を更に含む。被通知車両システム１５０はＵＩ１５８を更に含み、ＵＩ１５８は、復号されたログデータの視覚的表現を表示し、又は復号されたログデータに基づいて乗員１６０への通知を提供するように構成される。
【0044】
ログデコーダ１５４は、符号化されたログデータからの情報をログ転送機１４６から受信し、受信したデータを復号するように構成される。いくつかの実施形態では、ログデコーダ１５４は無線で情報を受信するように構成される。いくつかの実施形態では、ログデコーダ１５４は有線接続を介して情報を受信するように構成される。いくつかの実施形態では、ログデコーダ１５４は、サーバ１４０によって使用される予め定められた符号化プロトコルとマッチする予め定められた復号プロトコルに従って、符号化されたログデータを復号するように構成される。いくつかの実施形態では、ログデコーダ１５４は、受信された符号化プロトコル情報に基づいて、符号化されたログデータを復号するように構成される。
【0045】
ログビジュアライザ１５６は、復号されたログデータを受信し、復号されたログデータに基づいて、検出された異常状況の視覚的表現を生成するように構成される。いくつかの実施形態では、ログビジュアライザ１５６は異常状況の画像を生成するように構成される。いくつかの実施形態では、ログビジュアライザ１５６はライダの点群データを視覚化するように構成される。当業者は、点群データが、検出器からの各点の距離に基づいて三次元形状又は三次元物体を表すのに使用可能な空間における一組のデータ点を含むことを認識するだろう。いくつかの実施形態では、ログビジュアライザ１５６は、例えば復号されたログデータにおける視線データに基づいて、異常状況に関連付けられた生成画像の部分を強調表示するように構成される。いくつかの実施形態では、ログビジュアライザ１５６は、異常状況を表すアイコンを生成するように構成される。いくつかの実施形態では、ログビジュアライザ１５６は、異常状況の視覚的表現に関連付けられた視覚的又は聴覚的な警告を生成するように構成される。いくつかの実施形態では、ログビジュアライザ１５６は、異常状況の位置を含むマップを生成するように構成される。
【0046】
ＵＩ１５８は、ログビジュアライザ１５６から情報を受信し、乗員１６０への通知を提供するように構成される。いくつかの実施形態では、乗員１６０はドライバである。いくつかの実施形態では、乗員１６０はドライバではない。いくつかの実施形態では、ＵＩ１５８はタッチスクリーンを含む。いくつかの実施形態では、ＵＩ１５８はスマートフォンの一部である。いくつかの実施形態では、ＵＩ１５８は、被通知車両システム１５０を含む車両に組み込まれる。いくつかの実施形態では、ＵＩ１５８は、乗員１６０からの入力を受信するように構成される。いくつかの実施形態では、ＵＩ１５８は、異常状況の確認を示す入力を受信するように構成される。いくつかの実施形態では、ＵＩ１５８は、異常状況についての追加情報を要求する乗員１６０からのデータ要求に対応する入力を受信するように構成される。いくつかの実施形態では、追加情報は、異常状況の周りの被通知車両の経路を定めるための更新されたナビゲーション計画を含む。例えば、異常状況が車両事故である場合、いくつかの実施形態では、ＵＩ１５８は、車両事故の場所を回避して車両事故に関連する通行を回避するナビゲーション計画についての要求を受信する。いくつかの実施形態では、ＵＩ１５８は、通知が正確であったか否かについて又は乗員が通知を気に入ったか否かについて、乗員１６０からフィードバックを受信する。このフィードバックを含むことは、誤検出を抑制するために、ログ転送機１４６及びログビジュアライザ１５６をニューラルネットワークとして学習させるのに役立つ。
【0047】
いくつかの実施形態では、ＵＩ１５８は異常状況を回避するために被通知車両のドライバに提案を提供するように構成される。いくつかの実施形態では、提案は視覚的又は聴覚的な提案を含む。いくつかの実施形態では、提案は、通行の特定の車線を回避するための助言を含む。いくつかの実施形態では、提案は、特定の道路を回避するための助言を含む。いくつかの実施形態では、提案は、被通知車両のための新たなナビゲーション経路についての助言を含む。いくつかの実施形態では、提案は、車両の速度を下げるための助言を含む。
【0048】
被通知車両システム１５０が自動運転車両の一部であるいくつかの実施形態では、被通知車両システム１５０は、自動運転車両の走行計画を自動的に更新して異常状況を回避するように構成される。いくつかの実施形態では、更新された走行計画は、自動運転車両が、車線を変更し、異なる道路を通り若しくは速度を下げるための指示、又は他の適切な指示を含む。
【0049】
当業者は、危険通知システム１００に対する修正が本開示の範囲内であることを理解するだろう。例えば、いくつかの実施形態では、検出車両システム１１０は無線ネットワークのようなネットワークを介してログデータを被通知車両システム１５０に直接送信することができる。いくつかの実施形態では、検出車両内の乗員のモバイルデバイスは無線ネットワークのようなネットワークを介してログデータを被通知車両の乗員のモバイルデバイスに直接送信することができる。
【0050】
車両の周囲の環境において検出された異常状況に関する情報を自動的に識別して広めることによって、他の車両システムは、危険データに関連付けられた正確な位置情報を有する危険データを受信することができる。自動的な検出及び流布は、また、異常状況が発生しており且つドライバが既に車両の運転から部分的に気を逸らしているときに、検出車両のドライバの注意散漫を最小にするのに役立つ。
【0051】
図２は、いくつかの実施形態に従った検出車両システムの一部の機能図２００である。いくつかの実施形態では、検出車両システムは検出車両システム１１０（図１）を含む。いくつかの実施形態では、図２００の機能は異常物体検出器１２６（図１）を用いて実装される。いくつかの実施形態では、図２００の機能はシステム９００（図９）を用いて実装される。
【0052】
センサデータ２１０は、車両に取り付けられた一つ又は複数のセンサから収集される。いくつかの実施形態では、一つ又は複数のセンサは車両と一体である。いくつかの実施形態では、一つ又は複数のセンサの少なくとも一つは車両から分離可能である。いくつかの実施形態では、一つ又は複数のセンサの少なくとも一つはスマートグラスを含む。いくつかの実施形態では、一つ又は複数のセンサはセンサ１１４（図１）に対応する。
【0053】
センサデータ２１０は異常物体検出器２２０によって受信される。いくつかの実施形態では、異常物体検出器２２０は異常物体検出器１２６（図１）に対応する。異常物体検出器２２０は物体検出ニューラルネットワーク２２２を含む。物体検出ニューラルネットワーク２２２は、センサデータ２１０を分析して、センサデータ２１０内に物体が存在するか否かを判別するように構成される。いくつかの実施形態では、物体検出ニューラルネットワーク２２２は、さらに、識別された物体とマップデータ、例えばマップ１１８（図１）からのマップデータとを比較して、識別された物体が異常物体であるか否かを判別するように構成される。物体検出ニューラルネットワーク２２２は、物体認識のために使用可能な完全に又は部分的に学習されたニューラルネットワークを含む。いくつかの実施形態では、物体検出ニューラルネットワーク２２２は完全畳み込みニューラルネットワークを含む。いくつかの実施形態では、物体検出ニューラルネットワーク２２２は、更新されたパラメータ及び重みを外部装置から受信するように構成される。いくつかの実施形態では、物体検出ニューラルネットワーク２２２は、更新されたパラメータ及び重みを周期的に受信するように構成される。いくつかの実施形態では、物体検出ニューラルネットワーク２２２は、検出車両システムを含む車両の乗員からの要求に応答して、更新されたパラメータ及び重みを受信するように構成される。いくつかの実施形態では、セマンティックセグメンテーションのニューラルネットワークが物体検出ニューラルネットワーク２２２の代わりに使用される。
【0054】
物体検出ニューラルネットワーク２２２は、物体が存在している２３０か否かに関する判別を出力するように構成される。いくつかの実施形態では、物体検出ニューラルネットワーク２２２は、物体が異常物体であるという判別に応答してのみ、物体が存在しているという判別を出力するように構成される。物体検出ニューラルネットワーク２２２は、さらに、物体が存在しているという判別に応答して、物体の種類２３２を出力するように構成される。物体検出ニューラルネットワーク２２２は、さらに、物体が存在しているという判別に応答して、物体の位置２３４を出力するように構成される。
【0055】
当業者は、機能図２００に対する修正が本開示の範囲内であることを理解するだろう。例えば、いくつかの実施形態では、物体検出ニューラルネットワーク２２２は視線データを例えば視線検出器１３０（図１）から受信して物体の位置の判別を支援するように構成される。いくつかの実施形態では、物体検出ニューラルネットワーク２２２はＧＰＳデータを例えばＧＰＳ１１６（図１）から受信して物体の位置の判別を支援するように構成される。当業者は、追加の修正も本開示の範囲内であることを理解するだろう。
【0056】
図３は、いくつかの実施形態に従った検出車両システムの一部の機能図３００である。いくつかの実施形態では、検出車両システムは検出車両システム１１０（図１）を含む。いくつかの実施形態では、図３００の機能は異常シーン検出器１２８（図１）を用いて実装される。いくつかの実施形態では、図３００の機能はシステム９００（図９）を用いて実装される。
【0057】
センサデータ３１０は、車両に取り付けられた一つ又は複数のセンサから収集される。いくつかの実施形態では、一つ又は複数のセンサは車両と一体である。いくつかの実施形態では、一つ又は複数のセンサの少なくとも一つは車両から分離可能である。いくつかの実施形態では、一つ又は複数のセンサの少なくとも一つはスマートグラスを含む。いくつかの実施形態では、一つ又は複数のセンサはセンサ１１４（図１）に対応する。
【0058】
センサデータ３１０は異常シーン検出器３２０によって受信される。いくつかの実施形態では、異常シーン検出器３２０は異常シーン検出器１２８（図１）に対応する。異常シーン検出器３２０はシーン分類器のニューラルネットワーク３２２を含む。シーン分類器のニューラルネットワーク３２２は、センサデータ３１０を分析して、車両の周囲の環境が異常シーン又は物体の組合せを含むか否かを判別するように構成される。いくつかの実施形態では、シーン分類器のニューラルネットワーク３２２は、センサデータ３１０からの複数の画像を受信して、点滅ライト、例えば、緊急車両のライト、車両のハザードランプ又は他の点滅ライトが車両の周囲の環境に存在するか否かを判別するように構成される。いくつかの実施形態では、シーン分類器のニューラルネットワーク３２２は、さらに、識別されたシーンとマップデータ、例えばマップ１１８（図１）からのマップデータとを比較して、識別されたシーンが異常シーンであるか否かを判別するように構成される。シーン分類器のニューラルネットワーク３２２は、物体認識のために使用可能な完全に又は部分的に学習されたニューラルネットワークを含む。いくつかの実施形態では、シーン分類器のニューラルネットワーク３２２は完全畳み込みニューラルネットワークを含む。いくつかの実施形態では、シーン分類器のニューラルネットワーク３２２は、更新されたパラメータ及び重みを外部装置から受信するように構成される。いくつかの実施形態では、シーン分類器のニューラルネットワーク３２２は、更新されたパラメータ及び重みを周期的に受信するように構成される。いくつかの実施形態では、シーン分類器のニューラルネットワーク３２２は、検出車両システムを含む車両の乗員からの要求に応答して、更新されたパラメータ及び重みを受信するように構成される。
【0059】
シーン分類器のニューラルネットワーク３２２は、シーンの種類３３０に関する判別を出力するように構成される。いくつかの実施形態では、シーン分類器のニューラルネットワーク３２２は、シーンが異常であるという判別に応答してのみ、シーンの種類３３０を出力するように構成される。
【0060】
当業者は、機能図３００に対する修正が本開示の範囲内であることを理解するだろう。例えば、いくつかの実施形態では、シーン分類器のニューラルネットワーク３２２は、さらに、シーンの位置を出力するように構成される。いくつかの実施形態では、シーン分類器のニューラルネットワーク３２２は視線データを例えば視線検出器１３０（図１）から受信してシーンの位置の判別を支援するように構成される。いくつかの実施形態では、シーン分類器のニューラルネットワーク３２２はＧＰＳデータを例えばＧＰＳ１１６（図１）から受信して物体の位置の判別を支援するように構成される。当業者は、追加の修正も本開示の範囲内であることを理解するだろう。
【0061】
図４は、いくつかの実施形態に従った検出車両システムの一部の機能図４００である。いくつかの実施形態では、検出車両システムは検出車両システム１１０（図１）を含む。いくつかの実施形態では、図４００の機能は異常シーン検出器１２８（図１）を用いて実装される。いくつかの実施形態では、図４００の機能はシステム９００（図９）を用いて実装される。
【0062】
センサデータ４１０は、車両に取り付けられた一つ又は複数のセンサから収集される。いくつかの実施形態では、一つ又は複数のセンサは車両と一体である。いくつかの実施形態では、一つ又は複数のセンサの少なくとも一つは車両から分離可能である。いくつかの実施形態では、一つ又は複数のセンサの少なくとも一つはスマートグラスを含む。いくつかの実施形態では、一つ又は複数のセンサはセンサ１１４（図１）に対応する。
【0063】
センサデータ４１０は異常シーン検出器４２０によって受信される。いくつかの実施形態では、異常シーン検出器４２０は異常シーン検出器１２８（図１）に対応する。異常シーン検出器４２０はセマンティックセグメンテーションのニューラルネットワーク４２２を含む。セマンティックセグメンテーションのニューラルネットワーク４２２は、センサデータ４１０を分析して、車両の周囲の環境が異常シーン又は物体の組合せを含むか否かを判別するように構成される。例えば、センサデータ４１０が一つ又は複数の画像を含む場合、セマンティックセグメンテーションのニューラルネットワーク４２２は、一つ又は複数の画像の各ピクセルを分類して、対応するピクセル内に物体が存在するか否かを判別し、物体が存在する場合には物体の種類を判別するように構成される。いくつかの実施形態では、物体の種類は、車両、車道、落下物、人間又は他の適切な物体の種類を含む。いくつかの実施形態では、セマンティックセグメンテーションのニューラルネットワーク４２２は、さらに、識別されたシーンとマップデータ、例えばマップ１１８（図１）からのマップデータとを比較して、識別されたシーンが異常シーンであるか否かを判別するように構成される。セマンティックセグメンテーションのニューラルネットワーク４２２は、物体認識のために使用可能な完全に又は部分的に学習されたニューラルネットワークを含む。いくつかの実施形態では、セマンティックセグメンテーションのニューラルネットワーク４２２は完全畳み込みニューラルネットワークを含む。いくつかの実施形態では、セマンティックセグメンテーションのニューラルネットワーク４２２は、更新されたパラメータ及び重みを外部装置から受信するように構成される。いくつかの実施形態では、セマンティックセグメンテーションのニューラルネットワーク４２２は、更新されたパラメータ及び重みを周期的に受信するように構成される。いくつかの実施形態では、セマンティックセグメンテーションのニューラルネットワーク４２２は、検出車両システムを含む車両の乗員からの要求に応答して、更新されたパラメータ及び重みを受信するように構成される。
【0064】
セマンティックセグメンテーションのニューラルネットワーク４２２は異常エリアのビットマップ４３０を出力するように構成される。いくつかの実施形態では、セマンティックセグメンテーションのニューラルネットワーク４２２は、シーンが異常であるという判別に応答してのみ、異常エリアのビットマップ４３０を出力するように構成される。いくつかの実施形態では、セマンティックセグメンテーションのニューラルネットワーク４２２は、識別することができないシーンが異常シーンであると判別するように構成される。異常エリアのビットマップ４３０は、車両が周囲環境内の場所に移動できるか否かに関する情報を含む。いくつかの実施形態では、ビットマップは、車両が種々の場所に移動できるか否かを示す、ヒートマップのような色分けされたマップを含む。
【0065】
以下の説明は、センサデータ４１０が車両のフロントカメラからの画像情報を含む例を利用する。いくつかの実施形態では、ビットマップは、車両が、識別された異常シーン又は異常物体を回避するために特定の場所に前進することができるか否かを示す。いくつかの実施形態では、ビットマップは、識別された異常シーン又は異常物体の存在により、特定の場所を回避すべきであるか否かを示す。
【0066】
当業者は、機能図４００に対する修正が本開示の範囲内であることを理解するだろう。例えば、いくつかの実施形態では、セマンティックセグメンテーションのニューラルネットワーク４２２は、さらに、シーンの位置を出力するように構成される。いくつかの実施形態では、セマンティックセグメンテーションのニューラルネットワーク４２２は視線データを例えば視線検出器１３０（図１）から受信してシーンの位置の判別を支援するように構成される。いくつかの実施形態では、セマンティックセグメンテーションのニューラルネットワーク４２２はＧＰＳデータを例えばＧＰＳ１１６（図１）から受信して物体の位置の判別を支援するように構成される。当業者は、追加の修正も本開示の範囲内であることを理解するだろう。
【0067】
図５は、いくつかの実施形態に従って危険を検出する方法５００のフローチャートである。いくつかの実施形態では、方法５００は検出車両システム１１０（図１）を用いて実装される。いくつかの実施形態では、方法５００はシステム９００（図９）を用いて実装される。以下の説明では、主に車両のドライバに焦点が当てられる。しかしながら、当業者は、方法５００が車両内の他の乗員にも適用可能であることを理解するだろう。
【0068】
動作５０５では、乗員の正常な挙動における制御パラメータの確率分布が得られる。確率分布は乗員の正常な挙動に対応する。いくつかの実施形態では、正常な挙動のプロファイルが複数の挙動に関する。いくつかの実施形態では、挙動は、視線方向の挙動、走行速度の挙動、加速／制動の挙動、操舵の挙動又は他の適切な挙動の少なくとも一つを含む。視線方向の挙動は、車両が走行している方向にドライバの注意がどのくらい向けられているかに関する。走行速度の挙動は、ドライバが車両を正常に運転する速度に関する。加速／制動の挙動は、ドライバがアクセル又はブレーキを正常に使用しているかに関する。操舵の挙動は車両のステアリングホイールの回転の大きさ及び急さに関する。いくつかの実施形態では、要因間の相関関係がプロファイルを開発するのに使用される。例えば、いくつかの実施形態では、車両の速度と操舵の挙動とが組み合わされる。ドライバの正常な挙動のプロファイルを使用して、この正常な挙動に関連付けられた制御パラメータの分布が得られる。
【0069】
動作５１０において、乗員の制御パラメータが計測される。いくつかの実施形態では、制御パラメータは、乗員監視カメラ、例えば乗員監視カメラ１１２（図１）を用いて計測される。いくつかの実施形態では、制御パラメータは、ジャイロスコープ、加速度計、速度計又は車両内の他の適切なセンサを用いて計測される。
【0070】
動作５１５では、動作５１０からの計測された制御パラメータが、動作５０５において得られた分布と比較される。いくつかの実施形態では、複数のパラメータ分布が動作５０５において得られる。例えば、ドライバについての視線方向分布とドライバについての加速／制動分布とが得られる。動作５０５において複数の分布が得られるいくつかの実施形態では、動作５１５は、計測された制御パラメータを、動作５０５において得られた対応する各分布と比較することを含む。すなわち、いくつかの実施形態では、視線方向分布が、例えば視線検出器１３０（図１）から受信された視線データと比較され、加速／制動分布が、例えば加速度計から受信された車両の加速／制動と比較される。
【0071】
動作５２０において、得られた分布からの偏差が相当な偏差であるか否かに関する判別がなされる。相当な偏差は、ドライバについての非常に稀な挙動である偏差である。例えば、ドライバが長時間に亘ってサイドウィンドウの外側を見ていたこと、又はドライバが正常に円滑なターンを行っていたときにドライバがステアリングホイールを急に切ったことである。いくつかの実施形態では、偏差が最も高い確率の挙動から三以上の標準偏差であることに応答して、偏差が相当な偏差であると見なされる。いくつかの実施形態では、偏差の閾値はＶＩＣＳ及びＴＭＣのような交通情報のような外部情報に基づいて又は異常状況検出器１２２からの指示に基づいて動的に変更される。相当な偏差のみに危険通知を制限することによって、誤検出が低減され、検出車両の処理負荷及び電力消費が低減される。低減された電力消費は、電気車両又はハイブリッド車両におけるバッテリ消費を低減するのに役立つ。正常な挙動からの偏差に関する追加情報が、図６に関して以下に提供される。
【0072】
相当な偏差が生じたという判別に応答して、方法５００は動作５２５に進む。相当な偏差が生じなかったという判別に応答して、方法５００は動作５０５に戻る。いくつかの実施形態では、確率分布は、新たに計測された制御パラメータに基づいて連続的に更新される。いくつかの実施形態では、相当な偏差が生じなかったという判別に応答して、方法５００は動作５１０に戻り、確率分布は更新されない。
【0073】
動作５２５では、相当な偏差に関連するセンサデータを識別するために、要求がデータ指定子に送信される。いくつかの実施形態では、データ指定子はデータ指定子１３２（図１）に対応する。データ指定子への要求は、データ指定子が、車両のセンサからセンサデータを読み出して、正常なドライバの挙動からの相当な偏差を引き起こした可能性が高い危険を他の車両に通知するためのログデータを生成することを要求する。
【0074】
図６は、いくつかの実施形態に従った乗員パラメータのプロット６００である。いくつかの実施形態では、プロット６００は、検出された乗員挙動が正常又は異常かを判別するために、異常状況検出器１２２（図１）によって使用可能である。いくつかの実施形態では、プロット６００は、乗員挙動からの相当な偏差が生じたか否かを判別するために、動作５２０（図５）において使用可能である。いくつかの実施形態では、プロット６００は、危険が存在するか否かを判別するために、システム９００（図９）によって使用可能である。以下の説明では、主に車両のドライバに焦点が当てられる。しかしながら、当業者は、以下の説明がドライバ以外の車両の乗員にも適用可能であることを理解するだろう。
【0075】
プロット６００は、ドライバによる挙動を示す挙動分布線６１０を含む。いくつかの実施形態では、挙動分布線６１０はパフォーマンス曲線と呼ばれる。挙動分布線６１０は、ドライバが車両の運転中にどのように振る舞うかを示す。線６２０におけるピークパフォーマンス値はドライバの最も一般的な挙動を示す。例として車両の加速／制動を用いると、線６２０におけるピークパフォーマンス値は、ドライバがブレーキを踏む全ての時間に亘って車両のブレーキに印加される圧力の最も一般的な量を示す。
【0076】
プロット６００は線６３０ａ及び６３０ｂにおける閾値も示す。閾値は、線６２０におけるピークパフォーマンス値とは著しく異なるドライバによるパフォーマンスを示す。線６３０ａにおける閾値は、線６２０におけるピークパフォーマンス値からの偏差Ｄａである。線６３０ｂにおける閾値は、線６２０におけるピークパフォーマンス値からの偏差Ｄｂである。いくつかの実施形態では、偏差Ｄａは偏差Ｄｂと等しい。いくつかの実施形態では、偏差Ｄａは偏差Ｄｂとは異なる。いくつかの実施形態では、偏差Ｄａ及び偏差Ｄｂの各々は線６２０におけるピークパフォーマンス値から三以上の標準偏差である。いくつかの例では、偏差Ｄａ及びＤｂが小さすぎる場合には、誤検出のリスクが増大する。いくつかの例では、偏差Ｄａ及びＤｂが大きすぎる場合には、検出漏れのリスクが増大する。偏差Ｄａ及びＤｂは、検出車両の処理負荷及び電力消費と被通知車両への信頼性高い危険通知とのバランスを取るように設定される。いくつかの実施形態では、偏差の閾値はＶＩＣＳ及びＴＭＣのような交通情報のような外部情報に基づいて又は異常状況検出器１２２からの指示に基づいて動的に変更される。
【0077】
乗員が異常に振る舞うか否かに関する判別の間、乗員に関連付けられたパラメータ、例えばドライバによる車両の制動が計測される。計測されたパラメータは、挙動が線６２０におけるピークパフォーマンス値からの相当な偏差を構成するか否かを判別するために、プロット６００に適用される。計測された制御パラメータがプロット６００における点６４０に当たる場合、乗員のパフォーマンスは線６２０におけるピークパフォーマンス値からの相当な偏差を有さないと判別される。対照的に、計測された制御パラメータが点６５０ａ又は６５０ｂに当たる場合、パフォーマンスパラメータが線６２０におけるピークパフォーマンス値からの点６５０ａについての偏差Ｄａ又は点６５０ｂについての偏差Ｄｂよりも大きいので、パフォーマンスは線６２０におけるピークパフォーマンス値からの相当な偏差を有すると見なされる。
【0078】
プロット６００は、線６２０におけるピークパフォーマンス値を中心とするベルカーブを含む。しかしながら、当業者は、他の挙動分布線の形状が本開示の範囲内であることを理解するだろう。
【0079】
図７は、いくつかの実施形態に従った危険通知システムを実装する方法７００のフローチャートである。いくつかの実施形態では、方法７００は、危険通知システム１００（図１）を用いて実装される。いくつかの実施形態では、方法７００はシステム９００（図９）を用いて実装される。以下の説明では、主に車両のドライバに焦点が当てられる。しかしながら、当業者は、方法７００が車両内の他の乗員にも適用可能であることを理解するだろう。
【0080】
動作７０５において、センサデータが収集される。センサデータは、車両に接続可能な一つ又は複数のセンサによって収集される。いくつかの実施形態では、センサデータは車両の制御パラメータを含む。いくつかの実施形態では、センサデータは車両のドライバの視線方向についての情報を含む。いくつかの実施形態では、センサデータは、車両の周囲の環境に関する情報を含む。いくつかの実施形態では、センサデータはセンサ１１４（図１）及び／又は乗員監視カメラ１１２（図１）からのデータを含む。
【0081】
動作７１０において、センサデータが処理される。センサデータは、車両のドライバの挙動が異常であるか否か又は異常物体又は異常シーンが一つ又は複数のセンサによって検出されたか否かを判別するために処理される。いくつかの実施形態では、センサデータは異常状況検出器１２２（図１）によって処理される。
【0082】
動作７１５において、センサデータが異常挙動を示すか否か又は異常物体又は異常シーンが存在するか否かに関する判別がなされる。いくつかの実施形態では、ドライバのパフォーマンスが正常なドライバのパフォーマンスからの相当な偏差であることをセンサデータが示すか否かに基づいて、判別がなされる。いくつかの実施形態では、ドライバパフォーマンス曲線、例えばプロット６００（図６）に基づいて判別がなされる。いくつかの実施形態では、車両の周囲の環境に関する一つ又は複数のセンサによって検出された物体又は情報に基づいて判別がなされる。いくつかの実施形態では、異常状況検出器１２２（図１）を用いて判別がなされる。
【0083】
異常状況が検出されたという判別に応答して、方法７００は動作７２０に進む。異常状況が検出されなかったという判別に応答して、方法７００は動作７０５に戻る。
【0084】
動作７２０において、異常状況の種類に基づいてどのセンサ情報が収集されるべきかに関する判別がなされる。いくつかの実施形態では、視線データ、例えば視線検出器１３０（図１）からの視線データに基づいて判別がなされる。いくつかの実施形態では、ドライバの計測された制御パフォーマンスに基づいて判別がなされる。いくつかの実施形態では、識別された異常物体又は異常シーンに基づいて判別がなされる。いくつかの実施形態では、データ指定子１３２（図１）を用いて判別がなされる。いくつかの実施形態では、収集されたデータが、無関係なデータを低減し又は除去するためにトリミングされ又は処理される。
【0085】
動作７２５において、収集されたデータが記憶される。いくつかの実施形態では、収集されたデータはメモリに記憶される。いくつかの実施形態では、収集されたデータは、データが収集されたとき又は異常状況が判別されたときに関するタイムスタンプ情報に関連して記憶される。いくつかの実施形態では、収集されたデータはログ収集器１３４（図１）を用いて記憶される。
【0086】
動作７３０において、記憶されたデータがサーバ１４０に送信される。いくつかの実施形態では、記憶されたデータは無線で送信される。いくつかの実施形態では、記憶されたデータは有線接続を介して送信される。いくつかの実施形態では、記憶されたデータはログ送信機１３６（図１）を用いて送信される。
【0087】
動作７３５において、送信されたデータがサーバ１４０によって受信される。いくつかの実施形態では、データはログデータ受信機１４２（図１）によって受信される。いくつかの実施形態では、受信されたデータはサーバ１４０のメモリに記憶される。いくつかの実施形態では、受信されたデータは、優先度が付けられたキューでサーバ１４０に記憶される。
【0088】
動作７４０において、受信されたデータが符号化される。いくつかの実施形態では、受信されたデータは、予め定められた符号化プロトコルに従って符号化される。いくつかの実施形態では、受信されたデータは、受信されたデータの種類に基づいて符号化される。いくつかの実施形態では、データは、優先度が付けられたキューにおけるデータの優先度に従って符号化される。いくつかの実施形態では、符号化されたデータはサーバ１４０のメモリに記憶される。いくつかの実施形態では、符号化されたデータは、優先度が付けられたキューでサーバ１４０のメモリに記憶される。
【0089】
動作７４５において、符号化されたデータが被通知車両システム１５０に送信される。いくつかの実施形態では、符号化されたデータは無線で送信される。いくつかの実施形態では、符号化されたデータは有線接続を介して送信される。いくつかの実施形態では、符号化されたデータは、優先度が付けられたキューにおける符号化されたデータの優先度に従って送信される。いくつかの実施形態では、符号化されたデータは車両の既知の場所又はナビゲーション経路に基づいて車両に送信される。いくつかの実施形態では、符号化されたデータはログ転送機１４６（図１）によって送信される。
【0090】
動作７５０において、符号化されたデータが受信される。いくつかの実施形態では、符号化されたデータはログデコーダ１５４（図１）によって受信される。いくつかの実施形態では、受信されたデータは復号の前に被通知車両システム１５０のメモリに記憶される。いくつかの実施形態では、受信されたデータは、優先度が付けられたキューで被通知車両システム１５０に記憶される。
【0091】
動作７５５において、データが復号される。いくつかの実施形態では、データは、予め定められた復号プロトコルに従って復号される。いくつかの実施形態では、データは、サーバ１４０からデータと共に受信された符号化プロトコル情報に基づいて復号される。いくつかの実施形態では、データは、受信されたデータの種類に従って復号される。いくつかの実施形態では、データは、優先度が付けられたキューにおける優先度に基づいて復号される。いくつかの実施形態では、復号されたデータは被通知車両システム１５０のメモリに記憶される。いくつかの実施形態では、復号されたデータは、優先度が付けられたキューで被通知車両システム１５０のメモリに記憶される。いくつかの実施形態では、データはログデコーダ１５４（図１）によって復号される。
【0092】
動作７６０において、復号されたデータが視覚化される。復号されたデータを視覚化することによって、データの視覚的表現が提供される。いくつかの実施形態では、視覚的表現は異常状況の画像を含む。いくつかの実施形態では、視覚的表現は、異常状況を表すアイコンを含む。いくつかの実施形態では、視覚的表現はマップ上の異常状況の場所を含む。いくつかの実施形態では、復号されたデータはログビジュアライザ１５６（図１）を用いて視覚化される。
【0093】
動作７６５において、乗員は異常状況について通知される。いくつかの実施形態では、乗員は、ＵＩ、例えばＵＩ１５８（図１）を用いて通知される。いくつかの実施形態では、乗員は、乗員がアクセス可能なモバイルデバイスを用いて通知される。いくつかの実施形態では、通知は聴覚的又は視覚的な警告を含む。いくつかの実施形態では、通知は、乗員がアクセス可能なモバイルデバイス上で警告を自動的に生成するように構成される。いくつかの実施形態では、通知は、更新されたナビゲーション情報を含む。車両が自動運転車両であるいくつかの実施形態では、通知は、異常状況を回避するための自動運転車両への指示を含む。
【0094】
当業者は、方法７００に対する修正が本開示の範囲内であることを理解するだろう。いくつかの実施形態では、少なくとも一つの追加の動作が方法７００に含まれる。例えば、いくつかの実施形態では、方法７００は、被通知車両が異常状況の場所に到着したときに乗員から異常状況の確認を受信することを更に含む。いくつかの実施形態では、方法７００の少なくとも一つの動作が除外される。例えば、いくつかの実施形態では、動作７４０が除外され、データは、データを符号化することなく被通知車両システム１５０に提供される。いくつかの実施形態では、方法７００の動作の順序が調整される。例えば、いくつかの実施形態では、センサデータの保存を助けるために、異常状況が存在するか否かに関する判別の前に動作７２５が生じる。当業者は、方法７００に対する他の修正が本開示の範囲内であることを理解するだろう。
【0095】
図８は、いくつかの実施形態に従ったユーザインタフェース８００の図である。いくつかの実施形態では、ＵＩ８００はＵＩ１５８（図１）に対応する。いくつかの実施形態では、ＵＩ８００は、乗員１６０（図１）がアクセス可能なモバイルデバイスの一部である。いくつかの実施形態では、ＵＩ８００は被通知車両システム１５０（図１）の一部である。いくつかの実施形態では、ＵＩ８００はシステム９００（図９）を用いて実装される。
【0096】
ＵＩ８００はナビゲーションＵＩ８０５及び画像ＵＩ８１０を含む。画像ＵＩ８１０は、車両センサ８１５からの捕捉画像と、識別された物体８２０のハイライト（highlight）とを含む。ＵＩ８００は、画像ＵＩ８１０を用いて乗員に異常状況を通知するのに使用可能である。ＵＩ８００は、さらに、ナビゲーションＵＩ８０５を用いて異常状況を回避するための走行経路を乗員に通知するのに使用可能である。いくつかの実施形態では、ＵＩ８００は異常状況の継続的な存在を確認するために乗員から情報を受信するように構成される。いくつかの実施形態では、ＵＩ８００は車両と一体である。いくつかの実施形態では、ＵＩ８００は車両から分離可能である。
【0097】
ナビゲーションＵＩ８０５は、ＧＰＳ情報、例えばＧＰＳ１１６（図１）からのＧＰＳ情報を受信し、車両のドライバが見えるマップを表示するように構成される。ナビゲーションＵＩ８０５は、さらに、車両が識別された物体に到達するために横切ることができる、マップに沿った走行経路を表示するように構成される。いくつかの実施形態では、ナビゲーションＵＩ８０５はタッチスクリーンを含む。いくつかの実施形態では、ナビゲーションＵＩ８０５はマップ及び／又は走行経路の更新をサーバ１４０（図１）のような外部装置から受信するように構成される。
【0098】
画像ＵＩ８１０は、車両センサ８１５からの捕捉画像と、異常状況に関連付けられた物体８２０のハイライトとを含む。識別された物体８２０のハイライトは、車両センサからの画像内の物体を識別するために、車両センサ８１５からの画像に重ねられる。いくつかの実施形態では、車両センサ８１５からの画像は、車両センサからのトリミングされた画像である。いくつかの実施形態では、画像ＵＩ８１０は異常状況の継続的な存在を確認し又は否定するために乗員からの入力を受信することができる。いくつかの実施形態では、画像ＵＩ８１０はタッチスクリーンを含む。
【0099】
図８は、画像ＵＩ８１０とは別個のナビゲーションＵＩ８０５を含む。いくつかの実施形態では、画像ＵＩ８１０はナビゲーションＵＩ８０５に重ね合わされる。いくつかの実施形態では、車両が動いている間、画像ＵＩ８１０は隠される。
【0100】
図９は、いくつかの実施形態に従った物体識別を実装するためのシステムのブロック図である。システム９００は、ハードウェアプロセッサ９０２と、コンピュータプログラムコード９０６、すなわち一組の実行可能な命令で符号化された非一時的なコンピュータ可読記憶媒体９０４、すなわち一組の実行可能な命令を記憶する非一時的なコンピュータ可読記憶媒体９０４とを含む。コンピュータ可読記憶媒体９０４は、また、外部装置とインタフェースで接続するために命令９０７で符号化される。プロセッサ９０２はバス９０８を介してコンピュータ可読記憶媒体９０４に電気的に結合される。プロセッサ９０２はバス９０８によって入力／出力（Ｉ／Ｏ）インタフェース９１０にも電気的に結合される。また、ネットワークインタフェース９１２がバス９０８を介してプロセッサ９０２に電気的に接続される。ネットワークインタフェース９１２がネットワーク９１４に接続されるので、プロセッサ９０２及びコンピュータ可読記憶媒体９０４はネットワーク９１４を介して外部要素に接続することができる。プロセッサ９０２は、危険通知システム１００（図１）、方法５００（図５）又は方法７００（図７）において説明されたような動作の一部又は全てを実行するためにシステム９００を使用可能にすべく、コンピュータ可読記憶媒体９０４において符号化されたコンピュータプログラムコード９０６を実行するように構成される。
【0101】
いくつかの実施形態では、プロセッサ９０２は、中央処理装置（ＣＰＵ）、マルチプロセッサ、分散処理システム、特定用途向け集積回路（ＡＳＩＣ）、及び／又は適切な処理装置である。
【0102】
いくつかの実施形態では、コンピュータ可読記憶媒体９０４は、電子的な、磁気的な、光学的な、電磁気的な、赤外線の、及び／又は半導体のシステム（又は機器若しくは装置）を含む。例えば、コンピュータ可読記憶媒体９０４は、半導体メモリ、ソリッドステートメモリ、磁気テープ、リムーバブルコンピュータディスケット、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、剛性磁気ディスク及び／又は光ディスクを含む。光ディスクを使用するいくつかの実施形態では、コンピュータ可読記憶媒体９０４は、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、コンパクトディスク読み取り／書き込み（ＣＤ－Ｒ／Ｗ）及び／又はデジタルビデオディスク（ＤＶＤ）を含む。
【0103】
いくつかの実施形態では、記憶媒体９０４は、危険通知システム１００（図１）、方法５００（図５）又は方法７００（図７）において説明されたような動作の一部又は全てをシステム９００に実行させるように構成されたコンピュータプログラムコード９０６を記憶する。いくつかの実施形態では、記憶媒体９０４は、また、センサデータパラメータ９１６、分布パラメータ９１８、収集されたデータパラメータ９２０、符号化プロトコルパラメータ９２２、及び／又は危険通知システム１００（図１）、方法５００（図５）又は方法７００（図７）において説明されたような動作の一部又は全てを実行するための一組の実行可能な命令のような、危険通知システム１００（図１）、方法５００（図５）又は方法７００（図７）において説明されたような動作の一部又は全てを実行するために必要な情報と、危険通知システム１００（図１）、方法５００（図５）又は方法７００（図７）において説明されたような動作の一部又は全てを実行する間に生成される情報とを記憶する。
【0104】
いくつかの実施形態では、記憶媒体９０４は、外部装置とインタフェースで接続するための命令９０７を記憶する。命令９０７は、危険通知システム１００（図１）、方法５００（図５）又は方法７００（図７）において説明されたような動作の一部又は全てを効率的に実装するために、外部装置によって読み取り可能な命令をプロセッサ９０２が生成することを可能とする。
【0105】
システム９００はＩ／Ｏインタフェース９１０を含む。Ｉ／Ｏインタフェース９１０は外部回路に結合される。いくつかの実施形態では、Ｉ／Ｏインタフェース９１０は、情報及びコマンドをプロセッサ９０２に通信するために、キーボード、キーパッド、マウス、トラックボール、トラックパッド及び／又はカーソル方向キーを含む。
【0106】
システム９００は、プロセッサ９０２に結合されたネットワークインタフェース９１２も含む。ネットワークインタフェース９１２は、一つ又は複数の他のコンピュータシステムが接続されたネットワーク９１４とシステム９００が通信することを可能とする。ネットワークインタフェース９１２は、ブルートゥース、ＷＩＦＩ（登録商標）、ＷＩＭＡＸ（登録商標）、ＧＰＲＳ若しくはＷＣＤＭＡ（登録商標）のような無線ネットワークインタフェース、又はＥＴＨＥＲＮＥＴ（登録商標）、ＵＳＢ（登録商標）若しくはＩＥＥＥ－１３９４のような有線ネットワークインタフェースを含む。いくつかの実施形態では、危険通知システム１００（図１）、方法５００（図５）又は方法７００（図７）において説明されたような動作の一部又は全てが二つ又は三つ以上のシステム９００において実装され、センサデータパラメータ９１６、分布パラメータ９１８、収集されたデータパラメータ９２０又は符号化プロトコルパラメータ９２２のような情報がネットワーク９１４を介して種々のシステム９００の間で交換される。
【0107】
本説明の態様は、危険を識別する方法に関する。本方法は、車両に取り付けられた第１センサから制御パラメータデータを受信することを含み、制御パラメータデータは車両の乗員の挙動に関連付けられる。本方法は、さらに、制御パラメータデータを乗員のパフォーマンス分布と比較して、制御パラメータが異常挙動を示すか否かを判別することを含む。本方法は、さらに、制御パラメータが異常挙動を示すという判別に応答して、車両に取り付けられた第２センサから収集されるべきセンサデータを識別することを含む。本方法は、さらに、収集されたセンサデータに基づいてログデータを生成することを含む。本方法は、さらに、ログデータを外部装置に送信することを含む。いくつかの実施形態では、制御パラメータデータをパフォーマンス分布と比較することは、制御パラメータデータがパフォーマンス分布のピーク値から三以上の標準偏差であることに応答して、制御パラメータが異常挙動を示すと判別することを含む。いくつかの実施形態では、制御パラメータデータを受信することは、車両の加速度、車両の操舵又は車両の速度の少なくとも一つに関するデータを受信することを含む。いくつかの実施形態では、制御パラメータデータを受信することは、乗員の視線が向けられた方向を示す視線データを受信することを含む。いくつかの実施形態では、収集されるべきセンサデータを識別することは、車両に取り付けられたカメラからの画像データを識別することを含む。いくつかの実施形態では、本方法は、さらに、ログデータを生成する前に画像データをトリミングすることを含む。いくつかの実施形態では、ログデータを生成することは、収集されたセンサデータを、センサデータが捕捉された場所と関連付けることを含む。いくつかの実施形態では、本方法は、さらに、車両の周囲の環境の画像を捕捉することを含む。いくつかの実施形態では、本方法は、さらに、学習済みのニューラルネットワークを用いて画像に対する物体認識を実行して、画像内に異常物体が存在するか否かを判別することを含む。いくつかの実施形態では、本方法は、さらに、学習済みのニューラルネットワークを用いて画像に対するシーン分類を実行して、画像内に異常なシーンが存在するか否かを判別することを含む。いくつかの実施形態では、本方法は、さらに、学習済みのニューラルネットワークを用いて画像に対するセマンティックセグメンテーションを実行して、車両の周囲の環境のビットマップを生成することを含む。
【0108】
本説明の態様は危険識別システムに関する。システムは、命令を記憶するように構成された非一時的なコンピュータ可読媒体を含む。システムは、非一時的なコンピュータ可読媒体に接続されたプロセッサを更に含む。プロセッサは、車両に取り付けられた第１センサから制御パラメータデータを受信するための命令を実行するように構成され、制御パラメータデータは車両の乗員の挙動に関連付けられる。プロセッサは、さらに、制御パラメータデータを乗員のパフォーマンス分布と比較して、制御パラメータが異常挙動を示すか否かを判別するための命令を実行するように構成される。プロセッサは、さらに、制御パラメータが異常挙動を示すという判別に応答して、車両に取り付けられた第２センサから収集されるべきセンサデータを識別するための命令を実行するように構成される。プロセッサは、さらに、収集されたセンサデータに基づいてログデータを生成するための命令を実行するように構成される。プロセッサは、さらに、ログデータを外部装置に送信するための命令を生成するための命令を実行するように構成される。いくつかの実施形態では、プロセッサは、さらに、制御パラメータデータがパフォーマンス分布のピーク値から三以上の標準偏差であることに応答して、制御パラメータが異常挙動を示すと判別するための命令を実行するように構成される。いくつかの実施形態では、プロセッサは、さらに、車両の加速度、車両の操舵又は車両の速度の少なくとも一つに関するデータを含む制御パラメータデータを受信するための命令を実行するように構成される。いくつかの実施形態では、プロセッサは、さらに、乗員の視線が向けられた方向を示す視線データを含む制御パラメータデータを受信するための命令を実行するように構成される。いくつかの実施形態では、プロセッサは、さらに、車両に取り付けられたカメラからの画像データを含む、収集されるべきセンサデータを識別するための命令を実行するように構成される。いくつかの実施形態では、プロセッサは、さらに、ログデータを生成する前に画像データをトリミングするための命令を実行するように構成される。いくつかの実施形態では、ログデータを生成することは、収集されたセンサデータを、センサデータが捕捉された場所と関連付けることを含む。
【0109】
本説明の態様は、被通知車両に危険を通知する方法に関する。本方法は、検出車両に取り付けられた第１センサから制御パラメータデータを受信することを含み、制御パラメータデータは検出車両の乗員の挙動に関連付けられる。本方法は、さらに、制御パラメータデータを検出車両の乗員のパフォーマンス分布と比較して、制御パラメータが異常挙動を示すか否かを判別することを含む。本方法は、さらに、制御パラメータが異常挙動を示すという判別に応答して、検出車両に取り付けられた第２センサからのデータに基づいてログデータを生成することを含む。本方法は、さらに、ログデータを被通知車両に送信することを含む。本方法は、さらに、ログデータに基づいて被通知車両の乗員に危険を通知することを含む。いくつかの実施形態では、ログデータを送信することは、ログデータを検出車両からサーバに送信することと、サーバを用いてログデータを符号化することと、符号化されたログデータを被通知車両に送信することとを含む。
【0110】
以上の説明は、当業者が本開示の態様をより良く理解できるように、いくつかの実施形態の特徴を概説したものである。当業者は、本明細書に導入された実施形態と同一の目的を実行し且つ／又は同一の利点を達成するために他の工程及び構造を設計又は修正するための基礎として本開示を容易に使用できることを理解すべきである。また、当業者は、斯かる均等の構成が本開示の思想及び範囲から逸脱しないことと、当業者が、本開示の思想及び範囲から逸脱することなく、本明細書において様々な変更、置換及び改変を行うことができることとを認識すべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【外国語明細書】