(58)【調査した分野】(Int.Cl.,DB名)
請求項2の方法において、前記ユーザ応答は、前記衝突接近事象を包含する時間枠の間にサンプリングされた前記第2の映像のセグメントから特定されることを特徴とする方法。
請求項1の方法において、前記内向きカメラは、前記外向きカメラに対して既知の配向で共通のハウジングによって固定的に取り付けられ、前記第1の映像は前記第2の映像と同時に取得され、前記方法がさらに、前記第2の映像と前記配向に基づいて前記物体に対するドライバーの視線方向を特定するステップを含み、前記ユーザ行動スコアは、前記物体に対するドライバーの視線方向に基づいて決定されることを特徴とする方法。
請求項1の方法において、前記第1の映像を取得するステップと、前記物体を検出するステップと、前記物体パラメータを特定するステップと、前記第2の映像を取得するステップと、前記ユーザ行動スコアを決定するステップと、前記リスクマップを生成するステップと、前記衝突接近事象を検出するステップとが、リアルタイムで実行されることを特徴とする方法。
請求項1の方法が、さらに、少なくとも第1の映像の一部および少なくとも第2の映像の一部に基づいて制御モジュールをトレーニングするステップを含み、前記制御モジュールが二次車両を自動的に制御するように構成されていることを特徴とする方法。
請求項1の方法において、前記ユーザ行動スコアが、前記第2の映像と、前記内向きカメラに対する前記外向きカメラの一定の方向とに基づいて決定されることを特徴とする方法。
【発明を実施するための形態】
【0006】
[0022]本発明の好ましい実施形態の以下の説明は、本発明をこれらの好ましい実施形態に限定することを意図するものではなく、むしろ当業者が本発明を製造および使用することを可能にすることを意図する。
【0007】
[0023]
図1に示すように、衝突接近判定方法は、車両のリスクマップを決定するステップS100と、リスクマップに対する車両の挙動に基づいて対象物との衝突接近事象を自動的に検出するステップS200とを含む。
【0008】
[0024]この方法は、好ましくは、物理的体積を通る物理的な車両に対して実行されるが、(例えば、車両の)仮想モデルに対して実行されてもよく、その他に実行されてもよい。車両は、自動車、オートバイ、自転車、スケートボード、航空システム(例えば、無人機、飛行機など)、または任意の他の適切な車両であり得る。車両は、人間のドライバーに運転されてもよいし、自動制御されてもよいし、遠隔制御されてもよいし、あるいは他の方法で制御されてもよい。この方法は、好ましくは、複数の車両のそれぞれに対して実行されるが、代替として、単一の車両または他の任意の適切な一組の車両に対して実行することもできる。
【0009】
[0025]この方法の変形例は、従来のシステムに対して1またはそれ以上の利点を付与することができる。第1に、本方法のいくつかの変形例は、計算資源および/または消費電力を低減または節約することができる。一実施例では、この方法は、衝突接近事象について車両周辺の限られた領域(例えば、予想される軌道または進行方向を包含する領域のみ)を監視する(例えば、そのリスク測定基準を特定する)ことができる。第2の実施例では、同じモデルのリスク評価モジュール(RAM)を複数の方法で使用することができ(例えば、リスク測定基準値を計算し、衝突接近事象の原因を特定するために使用する)、これにより実行する必要があるモデルが減少し、計算負荷が軽減される。第2に、本方法のいくつかの変形例は、リスク測定基準決定のためにパラメトリックモデルまたは方程式を使用することができ、それは、データセット(例えば、所与のドライバーの運転履歴)が比較的小さく、パラメトリックモデル(または方程式)がノンパラメトリックモデル(またはニューラルネットワーク)よりも未知の条件を説明することができるという理由で有利であり得る。パラメトリックモデルはまた、個々のパラメータの影響がモデル自体から決定され(例えば原因を特定するために)、よりよく制御されデバッグされることができるため(例えば管理者が、RAMが誤検出または検出漏れした理由を特定し、間違った結果を修正できるため)有利であり得る。しかしながら、本システムおよび方法は、様々な他の適切な一連の利点を付与することができる。
【0010】
[0026]この方法は、リアルタイムまたはほぼリアルタイムで実行されることが好ましいが、この方法の全部または一部を非同期的または他の適切な時間に実行することもできる。この方法は、所定の頻度(例えば、ミリ秒毎、サンプリング周波数等)で繰り返し実行されることが好ましいが、動作イベント(例えば、車両の挙動の変化、ユーザの注意散漫レベルの変化、運転セッション情報の受信、新しいセンサ情報の受信、高衝突リスクに関する地理的領域への物理的車両の進入、物体の接近検出など)の発生に応答して実行されてもよく、1回の運転セッションについて一度だけ実行されてもよいし、当該車両について一回だけ実行されてもよいし、または他の適切な頻度で実行されてもよい。
【0011】
[0027]この方法は、複数の車両の各車両に搭載された演算システムによって実行されることが好ましいが、代替的に、サーバシステムなどのリモート演算システム、スマートフォンなどのユーザデバイス、または他の適切な演算システムのセットによって全部または一部が実行されてもよい。この方法は、演算システムによってサンプリングされたデータを使用して実行されることが好ましいが、付加的または代替的に、車両データ(例えば、車両センサによってサンプリングされた信号)、他の車両のデータ(例えばソース車両またはリモート演算システムから受信)、総人口データ、履歴データ(例えば、車両、ドライバー、地理的位置など)、または他の任意の適切な情報源からの任意の他の適切なデータを用いて実行してもよい。
【0012】
[0028]演算システムは、処理システム(例えば、一組のGPU、CPU、マイクロプロセッサ、TPUなど)、記憶システム(例えば、RAM、フラッシュ)、通信システム、センサセット、電力システム(例えば、バッテリ、車両の電力コネクタ、太陽光発電システムなど)、ハウジング、または他の任意の適切な構成要素を含むことができる。通信システムは、遠隔測定システム(例えば、車両間、車両とインフラストラクチャ間、車両とリモート演算システム間、または他の通信用)、無線システム(例えば、セルラー、WiFi、または他の802.11xプロトコル、Bluetooth、RF、NFCなど)、有線システム(例えば、イーサネット(商標)、車両バス接続など)、または任意の他の適切な通信システムを含むことができる。センサは、カメラ(例えば、広角、狭角、または任意の他の適切な視野を有する;可視範囲、不可視範囲、IR、マルチスペクトル、ハイパースペクトル、または任意の適切な波長に沿って感知可能な;単眼、立体、または任意の適切な数のセンサまたはカメラを有する)、運動学的センサ(例えば加速度計、IMU、ジャイロスコープなど)、光学システム(例えば周辺光センサなど)、音響システム(例えばマイク、スピーカなど)、距離測定システム(例えば、レーダー、ソナー、TOFシステム、LIDARシステムなど)、位置測定システム(例えば、GPS、セルラー三辺測量システム、近距離位置特定システム、推測航法システムなど)、温度センサ、圧力センサ、近接センサ(例えば、距離測定システム、短距離無線など)、または任意の他の適切なセンサのセットを含み得る。
【0013】
[0029]一変形形態では、演算システムは、一組の内部センサと、一組の外部センサと、処理システムとを含む。内部センサ(例えば、内向きカメラ、マイクなど)は、車両の内部、より好ましくはドライバー本人に向けられこれを監視するが、代替的または追加的に任意の適切な内部物体に向けられ、監視してもよい。外部センサ(例えば、外向きカメラ)は、好ましくは車両の外側に向けられ、より好ましくは車両の前方領域(例えば、車両の軌道に沿った車両の前方領域、ドライバーの近くの車両を囲む領域、ドライブトレインの長手方向ベクトルなど)に向けられるが、代替的に、車両の側方、上方、底部、後方、または車両外部の任意の他の適切な領域に向けることができる。センサは、好ましくは車両におよび/または互いに静的に取り付けられるが、ジンバル、減衰システム、または他の運動機構によって移動可能に取り付けることができる。
【0014】
[0030]特定の例(例えば、
図13A、13B)では、演算システムは、共通ハウジングによって外向きカメラに対して既知の向きで静的に取り付けられた内向きカメラと、内向きカメラおよび外向きカメラと電気的に接続されたプロセッサとを具え、プロセッサは共通ハウジング内に配置されてもよいし、共通ハウジングの外側に配置されてもよい。プロセッサは、外向きカメラの視野(または記録画像)内の1またはそれ以上の点(例えばピクセル)の相対位置を、内向きカメラの視野(または記録された画像)内の1またはそれ以上の点(例えばピクセル)の位置と関連付ける仮想マッピングを任意に記憶することができる。内向きカメラおよび外向きカメラは、好ましくは同時に作動される(例えば、それぞれ同時にまたは同期して内部および外部の画像または映像をサンプリングする)が、代替的に異なるレートまたは時間で画像または映像をサンプリングしたり、他のカメラの信号値に基づいてサンプリングしたり(例えば、内向きカメラのサンプリングは、外向きカメラの物体検出などの条件が満たされたときにトリガされる)、または任意の適切な時間に作動したりしてもよい。共通ハウジングは、好ましくは、車両に演算システムを後付けすることを可能にするが、システムは代替的に車両に一体化されてもよい。共通ハウジングは、演算システムを好ましくは取り外し可能なように車両に、より好ましくは車両内部に(例えば、ダッシュボードに沿ってダッシュボードの中央領域の近くに;バックミラーに近いフロントガラスに沿ってなど)取り付けるが、代替的に車両外部(例えば、フードに沿って、サイドミラーに沿ってなど)に取り付けてもよい。しかしながら、演算システムは、他の方法で構成することができ、および/または任意の適切な構成の中に任意の適切な構成要素のセットを具えてもよい。
【0015】
[0031]車両のリスクマップを決定するステップS100は、車両近くの物理的領域(例えば、監視領域)内の複数のサブ領域(例えば、位置、場所)の各々に対する衝突リスクを決定するように機能する。リスクマップ(例えば、Safety Assessment Map(商標)またはSAM)は、リアルタイム、ほぼリアルタイム、所定の頻度で、あるいは任意の他の適切な時間で、動的に生成または更新されることが好ましいが、運転パラメータ値(例えば、ドライバー識別子、車両識別子、地理的位置、リフレッシュ頻度など)に基づいて、または他の方法により予め(例えば固定的に)決定されてもよい。リスクマップは、好ましくは、車両搭載の演算システム(例えば、車両ECU、車両プロセッサ、車両の補助プロセッサなど)によって決定されるが、代替として、リモート演算システム、ローカルユーザデバイス、または他の適切なシステムによって決定することもできる。ここで、サンプリングされたセンサ信号は分析のために遠隔システムに送信されることができる。
【0016】
[0032]リスクマップは、監視領域と、当該監視領域内の各位置またはサブ領域(
図2Aおよび
図2Bに示す例)のリスク測定基準とを含むことが好ましいが、追加的または代替的に、任意の他の適切な情報を含み得る。リスクマップは、好ましくは車両と共に移動する(例えば、移動式である)が、代替として、地理位置のセット(例えば、現在の車両位置;車両経路に沿った位置;まばらなデータまたは大きく変化するリスクを有する位置などのプラットフォーム特定位置)に対して決定されてもよく、または適切な場所のセットに関連付けることができる。車両の地理的位置または領域は、2017年8月9日提出の米国特許出願第15/673,098号に開示されている方法を使用して、車両位置特定システム(例えば、GPSシステム、RTK?GPSシステム、三辺測量システムなど)から、または任意の他の適切な方法を使用して決定することができる(本明細書でその全体がこの参考により援用される)。
【0017】
[0033]リスクマップは、対象物(例えば、外部の障害物や物体、近くの物体など)、オペレータ(例えば、運転手、遠隔操作者)、車両自体、地理的位置、動作状況、または任意の他のパラメータに基づいて動的に生成することができ、リスクマップを決定するステップは、係数値を決定するステップを含み得る。これらの係数は、追加的または代替的に、監視領域パラメータ(例えば、サイズ、幾何形状、使用されるモデルタイプなど)、衝突接近事象の原因(例えば、一組の候補からの原因を選択)を決定するために使用され、または他の方法で使用され得る。
【0018】
[0034]これらの係数は、演算システムのセンサ、物体センサ、車両センサ、または他のセンサによってサンプリングされたセンサ信号に基づいて決定されることが好ましい(本方法が、センサデータをサンプリングするステップS110と、センサ信号から係数値を決定するステップS120を含む)。追加的にまたは代替的に、状況情報(例えば、天気)や任意の他の適切な基礎データに基づいて決定してもよく、その場合に本方法は、基礎となるデータを決定するステップを含み得る。基礎となるデータ(または要約、平均、標準偏差などの派生情報)は、恒久的に、一時的に、所定の期間、または任意の他の適切な期間、オンボードシステム(例えば、車両、補助システム)、遠隔システム、または任意の他の適切なシステムによって格納(例えばキャッシュ)することができる。
図8に示す変形例では、基礎となるデータは、所定の期間(例えば、1秒、5秒など)、好ましくはオンボードシステムによって、あるいはリモートシステムによってキャッシュすることができ、この期間に衝突接近事象が検出されなかった場合は消去され、当該期間内に衝突接近事象が検出された場合には(例えば、衝突接近事象に関連づけて)保持される(例えば、記録システムまたは処理システムによって記憶され、遠隔システムに送信される)。しかしながら、基礎となるデータは他の方法で保持してもよい。
【0019】
[0035]リスクマップを生成するために使用することができる物体についての物体パラメータは、物体の存在、姿勢、運動学、予想される挙動(例えば、軌跡、運動学など)、現在の挙動(例えば、分類、パターンなど)、分類またはタイプ、物体のリスクマップ(例えば、V2VまたはV2X通信を使用して送信される)、物体の識別子、関連するRAM、関連するオペレータ識別子、衝突までの推定時間(例えば、オブジェクトの運動学および/または予想軌道、自車両の運動学および/または予想軌道などに基づいて決定される)、または他のパラメータを含み得る。物体パラメータ(および/または関連情報)は、車両搭載処理システム(例えば、演算システム)によって決定されることが好ましいが、代替的または追加的に遠隔システムによって決定されてもよい。しかしながら、物体パラメータは、遠隔データベースによって、ドライバーユーザ装置によって、あるいは車両によって事前に決定され保存されており、アクセス許可に応じてオンデマンドで取得され、あるいは他の方法でアクセスまたは決定される。リモート演算システムから取得された、あるいは他の方法で決定された同じか異なる信号(例えば、同じ信号タイプの異なるインスタンス、異なるセンサによってサンプリングされた信号など)を使用して、異なるパラメータを決定してもよい。
【0020】
[0036]物体は、好ましくは車両外部の物理的障害物であるが、他の方法で定義することもできる。物体は静的あるいは移動可能である。物体の例には、他の車両(例えば、自動車両またはマニュアル駆動)、自転車、歩行者、標識、縁石、くぼみ、または車両が物理的に相互作用し得る他の任意の適切な障害物が含まれる。物体は、物体の識別子(例えばナンバープレート、RFIDなどの無線識別子、ビーコン識別子など)から、または他の方法で識別される、(物体から受け取った)物体の既知の位置を、(車両の位置に基づいて決定された)物体の推定位置と照合することによって、光学的に(例えば、画像、映像、LIDARなどから)、音響的に(例えば、記録された音、超音波などから)識別することができる。
【0021】
[0037]物体パラメータは、車両搭載センサ信号(例えば、近接センサ、距離測定センサ、カメラなど)、演算システムセンサ信号、物体のセンサ信号(例えば、信号や導関数情報が処理システムに送信されて処理される)、補助センサ(例えば、防犯カメラ、道路内の重量センサなどのような、物体パラメータを監視するように構成された環境内センサ)、物体ナビゲーション情報(例えば物体に関連付けられたユーザデバイスから受信された運転命令)、物体に関連付けられたモデル(タイプ、クラスなど)、物体の挙動履歴、または他の適切な情報に基づいて決定することができる。物体パラメータは、パターンマッチング、コンピュータビジョン技術、パラメトリック法、ノンパラメトリック法、ヒューリスティック、ルール、決定木、ナイーブベイズ、マルコフ、ニューラルネットワーク、遺伝的プログラム、サポートベクトル、または任意の他の適切な方法を使用して決定され得る。
【0022】
[0038]物体パラメータを決定するステップの第1の変形例は、外向きカメラによって記録された1またはそれ以上の画像(例えば、静止画像、映像など)内の物体を検出するステップを含み得る。物体は、センサフュージョン(例えば、近接センサが物体の存在と位置を示し、物体の位置に対応する画像のセグメントが物体パラメータを確認または特定するために使用されるなど)、物体認識(例えば、画像内で検出された物体は、1組の所定のまたは学習された物体のうちの1つである、分類、回帰、パターンマッチングなど)、物体識別、画像検出(例えば、画像データが物体の状態について走査される)、シーンマッチング(例えば、画像を、同じ地理的位置で同じシーンにおける基準画像と比較することによって物体が検出される)、または他の適切な方法を用いて検出することができる。利用可能な物体認識アプローチの例には、幾何学的アプローチ、測光アプローチ、ニューラルネットワーク(例えばCNN)、物体モデルに基づく方法(例えば、エッジ検出、初期スケッチ、ロウ(Lowe)、パーツによる認識など)、外観ベースの方法(例えば、エッジマッチング、分割統治法、グレースケールマッチング、勾配マッチング、受容野応答ヒストグラム、HOG、ラージモデルベース)、特徴ベースの方法(例えば、解釈ツリー、仮説と検証、姿勢の一貫性、姿勢のクラスタ化、不変性、幾何学的ハッシング、SIFT、SURF、バッグオブワード表現、ビオラ・ジョーンズ物体検出、ハールカスケード検出)、遺伝的アルゴリズム、または他の適切なアプローチを含む。第1の例では、物体を検出するステップは、フレームからHOG画像を生成するステップと(例えば、グローバル分析モジュール、オブジェクト固有分析モジュールを使用して)、抽出されたHOGパターンを1組の物体に関する所定のHOGパターンと照合するステップと、物体を投影および/またはポージングするステップと(例えば、オブジェクトランドマーク推定、アフィン変換、および/または他の特徴識別方法もしくは変換を使用して)、元となる、あるいは一組の測定値を用いて画像をエンコードするステップと(例えば、物体の画像に対してトレーニングされたCNNを使用して)、元となる値に基づいて物体を識別するステップと(例えば、SVM分類器などの分類器を使用して)を含み得る。第2の例では、物体のタイプを決定するステップは、センサ測定値から物体の形状を抽出するステップと、物体のタイプを特定するために物体の形状を分類するステップとを含む。しかしながら、他の方法で物体を検出および/または識別してもよい。物体には、特定の方程式に関連付けられた、特定のパラメトリックな重みに関連付けられた、その他にリスクスコアの計算に影響を与える番号を付けることができる。
【0023】
[0039]物体パラメータを決定する第2の変形例は、外向きカメラによって記録された画像から姿勢推定技術を使用して物体の姿勢(例えば、カメラ、車両、またはセンサに対する相対位置、距離、角度、向きなど)を特定するステップを含み得る。姿勢は、解析的または幾何学的方法(例えば、検出された物体のクラスまたはタイプ、車両バッジなどの物体のマーキング、または他の特徴に基づいて取得された既知の物体の幾何学的形状のセットを使用して)を用いて決定されることが好ましいが、代替的に、遺伝子アルゴリズム法、学習ベースの方法、または他の適切な方法を用いて決定されてもよい。マッチングされた物体の形状またはライブラリは、すべての利用可能なオブジェクト形状、運転状況に関連する物体の形状(例えば、高速道路で人間の形または画像モジュールは記録されない)、またはその他の限定であり得る。例えば、車両の投影を含む可能性が高い画像領域から生成されたHOG画像を、一台の車両(例えば、一般的な車両、特定の車両の製造元やモデルなど)の一組の姿勢についての所定のHOGパターンと照合することができ、ここでマッチングされた所定のパターンに関連する姿勢を、検出された車両に割り当てることができる。第2の例では、外向きカメラはステレオカメラ対であり、車両から物体への距離は、ステレオカメラ対によって記録された画像間の視差に基づいて決定することができる。しかしながら、物体の姿勢またはその要素は、他の方法で決定してもよい。
【0024】
[0040]物体パラメータを決定するステップの第3の変形例は、物体の運動学を特定するステップを含み得る。これは、直接法(例えば、ブロックマッチング技術、位相相関および周波数領域法、ルーカス−カナード、ホーン−シュンク、バクストン−バクストン、ブラック−ジェプソン、変分法、離散最適化法、ピクセル再帰アルゴリズム、オプティカルフロー法などの微分法など)、間接法(例、コーナー検出、RANSACなど)、その他の適切な方法といった、レーダーまたは他の測距システムを使用する、外向きカメラで記録された画像(例えば、外部映像、第1の映像など)へのモーション推定方法の適用を含むことができ、または他の方法で決定することができる。一例では、物体の運動学を決定するステップは、第1のセンサ信号フレーム(例えば、画像、映像フレーム)内で物体を識別するステップと、後続の複数のフレームにわたって物体を追跡するステップと、各フレーム内の相対的な物体の位置および各フレームのタイムスタンプに基づいて、各フレームに関連付けられた相対的な物体の軌道および/または運動学(例えば、加速度、速度)を特定するステップと(例えば、同時に記録された方位センサデータに基づいて、オプティカルフロー技術に基づいてなど)、相対的な物体の運動学と自車両の運動学に基づいて、物体の運動学を特定するステップとを含む。第2の例では、物体の運動学を決定するステップは、一連の画像から運動パターンを抽出するステップと、運動パターンを分類またはパターンマッチングすることによって運動学パラメータ値を決定するステップとを含む。しかしながら、物体の運動学は、(例えば補助システム、ユーザデバイスを用いて測定された、車両から受信された)車両の運動学に基づいて、(例えば、物体から受信された、物体の専属的なセンサ測定値から推定された)物体の運動学に基づいて、あるいは他の方法で決定され得る。しかしながら、物体の軌道または運動学は他の方法で決定してもよい。
【0025】
[0041]物体パラメータを決定するステップの第4の変形例は、物体の予想される挙動を決定するステップを含み得る。予想される挙動は、物体(または類似のオブジェクト)の挙動履歴、パターン認識、物体パラメータ値にマッピングされた所定の挙動、センサ信号で検出された誘発因子(precipitating factors)にマッピングされた所定の挙動、または他の適切なデータを用いて決定することができる。一実施形態では、物体の予想される挙動を決定するステップは、物体のクラスや物体の姿勢などの物体パラメータに基づいて物体の予想される挙動を検索するステップを含む。例えば、先行する車両は、制限速度または(例えば、車両のナンバープレート番号を用いて取得される)その車両の過去の速度で前進すると予想することができる。別の実施例では、(例えば、外部画像に実行される視線追跡方法に基づいて)自車両を見ている交差点にいる歩行者は、通りを横切ると予想することができる。第2の実施形態では、(例えば一連のセンサ測定値から決定される)物体の履歴経路にパターン認識方法を適用することができ、ここでは物体の予想される挙動は認識されたパターンから決定することができる。第3の実施形態では、同じ場所または類似の運転状況(例えば、類似の気象条件、交差点の数、物体の分布など)に対する物体の挙動履歴を用いて、物体の予想される挙動の代用とすることができる。第4の実施形態では、物体の予想される挙動は、センサ信号から抽出された誘発因子にマッピングされた所定の予想される挙動であり得る。誘発因子は、自己運動(例えば、行動)、指標、V2V通信、または物体の移動開始に関連する他の任意の適切な要因を含み得る。誘発因子の例には、(先行する車両の減速に関連する、前向きセンサのストリームなどから決定される)先行車両のブレーキライト作動、外部車両の方向指示インジケータ作動またはホイール回転(例えば方向指示器または車輪の回転に関連する側への外部車両の並進移動に関連する)、(例えば、外部車両の軌道の不確実性が高いことに関連する)、交差点内の歩行者の身体部分(例えば、歩行者が通りを渡ることに関連する)、センサ信号パターン(例えば、外部車両のハンドル位置センサ信号、ブレーキ位置、アクセル位置、ギア選択など)、または他の適切な誘発要因などの視覚的インジケータを含み得る。誘発要因および対応する予想される挙動は、手動で関連付けてもよいし、自動的に関連付けてもよいし(例えば、指導付きまたは指導なしトレーニングセットを使用して学習される)、または他の方法で決定することができる。しかしながら、物体の予想される挙動は、外部車両のナビゲーションシステムから(例えば、ドライバーのユーザデバイス上のアプリから、中央ナビゲーションシステムなどから)、車両OEMが用いる制御アルゴリズムから、外部車両自体から、その場所または領域内の物体が過去にとった最も可能性の高い経路から、またはその他の方法で決定することができる。
【0026】
[0042]物体パラメータを決定するステップの第5の変形例は、画像記録の所定の時間窓内に記録された二次センサ情報(例えば、近接センサ情報、距離測定情報、レーダ情報など)から物体パラメータを決定するステップを含み得る。同じオブジェクトについて異なるセンサ源から抽出されたパラメータ値は、走行距離計、タイムスタンプ、または他の適切な関連付けを使用して相関させることができる。しかしながら、物体パラメータは他の方法で抽出または決定することができる。
【0027】
[0043]リスクマップを生成するために使用できるオペレータパラメータ(ユーザパラメータ)は、オペレータプロファイル(例えば、履歴、ドライバースコアなど)、注意散漫レベル、表情(例:驚き、怒りなど)、反応または行動(例:回避操作、転回、急ブレーキ、叫び声など)、認知能力(例えば、自覚)、運転技能、故意行動(例えば、車両制御入力位置から決定される)、注意力、注視頻度または所定の方向(例えば、前方向)への持続時間、二次的タスクの実行(例えば、携帯電話で話す、乗客と話す、食べるなど運転とは無関係のタスク)、またはその他の行動パラメータといったオペレータの動作(例えば、ユーザの動作)、または他の適切なオペレータパラメータを含む。このオペレータは、自車両のオペレータ、物体または車両のオペレータ、あるいは他の任意の適切なオペレータであり得る。
【0028】
[0044]オペレータの行動は、行動クラスまたはタイプ、行動スコア(例えば、オペレータの注意散漫レベル、表現などに基づいて計算される)として、または他の方法で特徴付けることができる。オペレータの行動は、オペレータ監視センサ信号(例えば、内向きカメラの映像)から決定されることが好ましいが、特定された車両の傲慢な挙動から導出されるか、または他の方法で決定されることができる。オペレータの行動は、所定ルール(例えば、衝突接近事象からの時間窓内)、ヒューリスティック、決定木、サポートベクトル、確率論(例えば、ナイーブベイズ)、ニューラルネットワーク、遺伝的プログラム、パターンマッチング(例えば、1以上のセンサデータセットのパターン)、または任意の適切な方法を用いて、識別および/または特徴付けることができる。オペレータプロファイルは、それぞれの車両(例えば、外部車両、自車両)の車両識別子に関連づけられたドライバープロファイルとすることができ、ここで車両識別子は、車両搭載センサによって記録されたセンサ測定値(例えば、外向きカメラから抽出されたナンバープレート)、演算システムに関連付けられた車両識別子、またはその他の方法で特定することができる。あるいは、オペレータプロファイルは、物体と同じ場所にある地理的な場所に関連付けられたオペレータプロファイル、運転セッションまたは時間枠(例えば、車両の予定ドライバー)に関連するオペレータプロファイル、ユーザ識別子(例えば、ドングル識別子、ユーザデバイス識別子、顔など)に関連付けられたオペレータプロファイル、または他の任意の適切なオペレータプロファイルであり得る。オペレータプロファイルは、過去のリスクマップなどの(例えば過去の運転セッション中に記録された)車両運転データ履歴に基づいて自動的に生成されることが好ましいが、代替的にマニュアルで(例えばオペレータによって、フリートまたはシステム管理エンティティによって)、あるいは他の方法で生成されてもよい。オペレータプロファイルは、オペレータのリスクスコア(例えば、過去のリスクマップ、衝突接近履歴、追い越し履歴、気晴らし履歴、衝突履歴などに基づいて計算される)、ルート、オペレータ識別子、オペレータ運転スケジュール、RAM、またはその他の適切な情報を含み得る。
【0029】
[0045]オペレータの行動は、車内を監視しているサンプリングされた信号から特定することができ、あるいは他の方法で特定することができる。一変形例では、オペレータの行動は、内向きカメラ(例えば、社内ビデオ、第2ビデオなど)によって記録された画像から特定することができる。内向きカメラは、ドライバーの方に向いていることが好ましいが、代替的に社内全体に向いていてもよく、または任意の適切なものに向いていてもよい。一例では、検出された物体に対するオペレータの注意は、内向きセンサ信号、外向きセンサ信号、および内向きセンサと外向きセンサの既知の相対配向に基づいて、物体に対するオペレータの視線方向(例えば、オペレータが物体を見ているかどうか)に基づいて特定することができる。特定の例(例えば、
図12)では、オペレータの注意は、内部画像から(例えば、アイトラッキング方法を使用して)車両に対するオペレータの注視方向を特定するステップと、外部画像から車両に対する外部物体の位置を特定するステップと、内向きカメラと外向きカメラとの間の既知の相対配向を使用してオペレータの注視方向を外部注視領域にマッピングするステップと、外部注視領域が外部物体の位置を包含する場合に高い注意スコアを割り当てるステップ(またはオペレータが物体を見たと判断するステップ)とによって特定することができる。しかしながら、オペレータの注意は他の方法で特定してもよい。第2の変形例では、感情表現認識技術を使用して、内部画像でオペレータの感情(例えば、驚き)を分析することができる。第3の変形例では、センサ信号または車両制御入力位置を、オペレータの行動(例えば、旋回、急ブレーキなど)を示すパターンについて分析することができる。しかしながら、オペレータの行動は他の方法で特定してもよい。
【0030】
[0046]リスクマップを決定するために使用できる車両パラメータは、車両の運動学(例えば、加速度、急加速、速度など)、質量、クラス、製造またはモデル、磨耗、年数、制御入力位置(例えば、ブレーキ位置、アクセル位置、トランスミッション位置など)、現在の地理的位置(例えば、車両搭載の位置特定システムを用いる)、過去の地理的位置または走行経路、予想される走行経路(例えば、ナビゲーションシステム、経路履歴などから決定される)、車線標示または他の道路標示に対する車両位置、または他の車両パラメータを含み得る。車両の運動学は、オプティカルフロー法、加速度計やIMUなどの搭載された運動学的センサ、位置センサを使用して、あるいは他の方法で特定することができる。車両パラメータは、演算システムまたは運転セッションを監視するセンサのセットに予め関連付けられてもよいし、自車両の車両識別子に関連付けられた車両パラメータであってもよいし、運転セッション中にサンプリングされたセンサ信号に基づいて決定されるパラメータであってもよいし、その他の方法で決定されてもよい。
【0031】
[0047]リスクマップを生成するために使用できる地理的位置パラメータは、その場所のリスクプロファイル(例えば、地理的位置または地域に関連づけられた衝突リスクマップ)、その場所の交通規制(例えば、データベースから検索された制限速度など)、その場所の交通状況(例えば、その地域に位置する演算システムの密度から、交通量の履歴などから決定される)、道路の種類(例えば、その車両の位置とデータベースに基づいて決定される、都市や高速道路など)、道路状況または構造(例えば、公共レポート、ドライバーの報告履歴、他のドライバーのセンサデータなどから推測される)、道路インフラ、交通標識(例えば、所定の地図から、外向きカメラによってサンプリングされた画像などから決定)、道路標示(例えば車線標示など)、その場所に関連するRAM、または任意の他の適切な地理的位置情報を含み得る。特定の例では、交差点は、高速道路からの様々なリスク評価モデルと関連付けることができる。地理的位置は、好ましくは、自車両の現在の地理的位置(例えば、搭載された位置特定システムによって決定)であるが、代わりに、自車両の過去のまたは予想される地理的位置、あるいは他の適切な地理的位置であってもよい。地理的位置パラメータは、リモートデータベースから(例えば、リモート演算システムから)検索されてもよいし、搭載された演算システムに格納されてもよいし、他の方法でアクセスすることができる。地理的位置パラメータは、リアルタイムまたはほぼリアルタイムで(例えば、搭載センサ信号、V2X通信などに基づいて)、非同期的に、または他の方法で生成することができる。地理的位置パラメータは、マニュアル生成されてもよいし、自動生成されてもよいし(例えば、複数の車両または経路から集約された1またはそれ以上の車両の動作パラメータに基づいて)、地図から生成されてもよいし、あるいは別の方法で特定されてもよい。
【0032】
[0048]リスクマップを決定するために使用できる運転状況パラメータは、交通密度、時刻、天気、周囲の照明、車輪のトラクション、視覚障害物、または他の適切な状況パラメータを含む。状況パラメータは、外部データベースから検索してもよいし(S130)、搭載センサを使用して測定してもよいし、他の方法で特定してもよい。運転状況パラメータは、任意選択で、利用可能な計算能力、利用可能な電力(例えば、演算デバイスのバッテリ充電状態)、利用可能なメモリ、または任意の他の適切なパラメータなどの、演算システム動作パラメータを含み得る。
【0033】
[0049]リスク測定基準は、監視領域内の各サブ領域についての衝突リスクを示すことが好ましいが、追加的または代替的に、各サブ領域内での衝突の可能性、各サブ領域内での車両の安全性、あるいは他の適切なパラメータを示してもよい。リスク測定基準は、監視領域内の複数の場所にわたる連続機能(
図6に示す例)であってもよいし、各個別のサブ領域に対する個別のスコア(
図4に示す例)であってもよいし、その他の方法で決定してもよい。例えば、リスク評価モジュール(RAM)は方程式を含み、外部物体に近接する場所のリスクスコアのみを方程式を使用して計算することができる。監視領域内の他のサブ領域のリスクスコアは、第1のリスクスコアが閾値を超えることに応答して計算することができる。リスク測定基準は、領域の向きに合わせてもよいし、他の方法で向きを合わせてもよい。リスク測定基準は、リアルタイムまたはほぼリアルタイムで(例えば、センサデータがサンプリングまたは受信されたとき、要因値が特定されたときなど)、所定の頻度で、所定の事象の発生に応答して、(例えば、監視領域に対象物が入った場合)、固定的(例えば、予め定められている)、または他の適切な時間に特定されるように、更新することができる。各サブ領域のリスク測定基準は、好ましくは、上述の要因のうちの1つ以上に基づいて決定されるが、他の方法で決定してもよい。リスク測定基準は、ヒューリスティックに、所定の規則を用いて、計算により(例えば、方程式を用いて)、人工ニューラルネットワーク(例えば、CNN、DNNなど)、決定木、クラスタリング、ベイジアンネットワークを用いて、またはその他の方法で決定することができる。
【0034】
[0050]しかしながら、リスクマップは、他の任意の適切な要因のセットを使用して任意の適切な方法で決定することができる。
【0035】
[0051]監視領域は、衝突接近事象について監視される、車両近くの物理的容積または領域であることが好ましいが、他の方法で定義してもよい。監視領域は、好ましくは仮想的に監視されるが、代替的または追加的に、(例えば、搭載車両センサを使用して)物理的に監視してもよいし、他の方法で監視してもよい。監視領域を仮想的に監視する工程は、好ましくは、物理領域に対応する仮想領域を包含する仮想リスクマップを生成する工程を含むが、代替的または追加的に物理領域を表す仮想シーン(例えば、検出された物体の表現を含む)、物理的領域全体のリスクスコア、リスクベクトル(例えば、車両に対する最も高い衝突リスクの方向を示す)を含み、あるいは他の方法で監視領域を仮想的に監視する。
【0036】
[0052]監視領域(および/または仮想領域。監視領域の記述は以後仮想領域にも適用することができる)は、領域の大きさ、(例えば、車両、物体、非車両の点に対する)領域の姿勢、または他の適切な領域パラメータに関連付けることができる。監視領域は、リスクポイント分布、RAM、または他の任意の適切なデータと任意に関連付けることができる。
【0037】
[0053]領域の大きさは、どの程度早く誘発事象(例えば、衝突接近事象、衝突接近事象に先行する事象)が検出されるかに影響を及ぼし得る。領域の大きさは、追加的または代替的に、どの物体がリスク評価で考慮されるかに影響を与え得る。例えば、監視領域外の物体は無視することができる。領域は、(例えば、時空的に)2D、3D、4Dであってもよいし、任意の適切な次元数を有してもよい。領域の大きさは、領域の幾何学形状(例えば形状)、面積、限界寸法(例えば半径、高さ)、または他の適切な寸法の組を含むことができる。領域の幾何学的形状は、好ましくは円形または球形であるが、円錐形の断面、多角形、扇形、円錐形、角錐形、角柱形、不定形、または他の形状でもよい。領域は、1以上の軸(例えば、x、y、z)について対称的または非対称的であり得る。
【0038】
[0054]車両に対する監視領域または仮想領域の姿勢(例えば位置および/または向き)は、監視空間の面積または容積を制限するように機能する。監視領域は、車両を包含し(例えば、車両を囲み、車両に中心が合わせられ、車両からオフセットされ、等)、車両から延在し、車両に隣接し、車両の輪郭をなぞり、車両の隣にあり(例えば、車両に接触し、車両からゼロでない距離だけ離れており)、あるいは他の方法で車両に関連してもよい。一例では、領域は、近接センサの感度距離と実質的に等しい距離だけ車両から離れており、演算システムを遠位の障害物に対する衝突リスクを監視するために使用し、近接センサを近位の障害物の衝突リスクを監視するのに用いることができる。監視領域は、車両周囲の容積のサブセットを包含することが好ましいが、代替的に、車両周囲の容積全体、車両周囲の地上容積全体、または任意の適切な容積を包含してもよい。一例では、監視領域は、車両後方の近接領域を除外する。第2の例では、監視領域は、車両の前(または前方)の領域を包含する。第3の例では、監視領域は、自車両のとりうる軌跡(例えば、車両の運動学などに基づいて選択できる、直ちに考えられる、所定の期間内に考えられる軌跡など)を包含する領域を包含する。第4の例では、領域は所定のジオフェンスによって規定される。しかしながら、監視領域は、他の方法で車両に対して配置することができる。監視領域は、追加的または代替的に、物体を包含し、隣接し、あるいは物理的に関連付けられてもよい。
【0039】
[0055]領域の向きは、好ましくは、自車両の移動の瞬間的または予想される方向に沿って整列(例えば、中心合わせ、平行、同軸など)されるが、代替的に、車両の中心線(例えば長手方向の中心線)と整列されたり、車両の基準点(例えば、長手方向の中心線に対して)に関して所定のベクトルと整列されたり、最もリスクの高い軌跡を表すベクトルと整列されたり、その他の方法で位置合わせされてもよい。自車両の移動の瞬間的または予想される方向は、ステアリングホイールの位置、ホイール(タイヤなど)の位置、過去の運動学データ(例えば運動学センサで所定の時間窓内でサンプリングされたもの)、オプティカルフローデータ(例えば、カメラによってサンプリングされた画像から)、ナビゲーション情報(例えば、オペレータのユーザデバイスから取得された、車両制御命令からなど)、履歴経路情報(例えば、オペレータ、車両などの)から、または他の方法で決定することができる。自車両の移動の瞬間的なまたは予想される方向は、パターンマッチング、規則、決定木、ナイーブベイズ、ニューラルネットワーク、遺伝的プログラム、サポートベクトル、または任意の他の適切な方法を使用して決定することができる。
【0040】
[0056]リスクポイント分布は、リスク値が決定されることになる監視領域内のサブ領域(例えば、ポイント、サブエリア、サブボリュームなど、および/またはそれらの位置)を特定するように機能する。(リスクが決定される)サブ領域は、同じかまたは異なる幾何学的形状、サイズ、または他のパラメータを有することができる。リスクポイント分布は、好ましくは連続空間(例えば位相的、体積的)を形成するが、代替的または付加的に、離散的空間(例えば位相的、体積的)を形成したり、部分的に連続的かつ部分的に離散的空間を形成したり、あるいは他の適切な空間を形成してもよい。離散空間内のリスクポイント分布は、均一、ランダム、非線形(例えば、二次、対数、指数関数など)、線形、単一のサブ領域、または他の方法で分布してもよい。例えば、リスクポイント分布は、車両の近くでより高い点密度を有したり、予想される軌道の近くでより高い点密度を有したり、並置されたもしくはそれぞれのリスクスコアの関数として変化する点密度を有したり、あるいは他の適切な分布を有する。リスクポイント分布は、監視領域のパラメータ(例えば、異なるパラメータ値の組み合わせに対する異なる分布)、RAM、因子値に基づいて決定したり、デフォルト分布としたり、または他の方法で決定することができる。追加的または代替的に、領域がリスクポイント分布を含まず、二値決定(例えば、物体が監視空間内で検出されるか監視空間に入ると予測されるか)、監視空間に対するリスクスコア、リスクベクトル(例えば、因子値に関連するリスクベクトルから合計される)を含んでもよいし、他の適切なリスク測定基準に関連してもよい。
【0041】
[0057]監視領域パラメータは、動的に調整されてもよいし(例えば、最新のセンサ情報に基づいて)、静的であってもよいし、他の方法で決定してもよい(S140)。監視領域パラメータは、普遍的なもの、因子値の組み合わせに固有のもの、オペレータまたは車両に固有のもの、あるいは共有のものであってよい。領域パラメータは、(例えば、数秒または数分などの領域パラメータ決定の時間窓内にサンプリングされた信号から)因子値に基づいて決定されることが好ましいが、他の方法で決定してもよい。監視領域パラメータを動的に調整することは、状況を考慮して、衝突について監視すべき物理領域を監視しながら、計算能力を低減または節約するように機能することができる。これは全体的な電力消費を抑えるように機能し、処理システムが電池または他の限られた電源を用いて電力供給される用途(例えば補助、電池式システム、電気自動車などにおいて)において望ましい。監視領域パラメータは、ヒューリスティックに、所定の規則を用いて、計算により、人工ニューラルネットワーク(例えば、CNN、DNNなど)、決定木、クラスタリング、ベイジアンネットワークを使用して、または他の方法で決定することができる。監視領域パラメータは、センサ信号(例えば、画像、加速度計データ、車両センサデータなど)、ドライバープロファイル(例えば、習慣履歴、リスクスコア)、位置データ(例えば、交通規制、道路種別、道路状況など)、物体の挙動(現在または予想)、その派生情報に基づいて、またはその他の適切な情報に基づいて決定することができる。
【0042】
[0058]領域の大きさは、静的(例えば、所定のもの)でも可変でもよい。後者の例では、領域の大きさは、上記関数の1以上の値に基づいて、時間の関数として、衝突衝突イベント頻度の関数として、リスクマップ生成に使用されるRAMの結果として(例えば、RAMはそれぞれ一組の領域の大きさと関連付けられ、その結果得られる領域の大きさは前記大きさの集合である)、(例えば、所定のライブラリ関連因子および次元値から)選択または計算してもよいし、あるいは他の適切な方法で変化してもよい。例えば、領域の大きさは、自車両の速度(例えば、車両速度の増加と共に増加する)、車両の地理的位置(例えば、各地理的位置または関連する衝突危険マップまたはスコアを一組の領域の大きさと関連させることができる)、予想される物体の挙動(例えば、先行車両、隣の車両、歩行者などに対する)、または任意の他の適切な要素の関数として変化し得る。
【0043】
[0059]第1の例では、地理的リスクが増大するにつれて領域のサイズまたは面積が増大してもよい。第2の具体例では、先行車両が右に移動すると予想される場合に(例えば、右のインジケータ操作に基づいて)領域形状を右に偏向されるように調整する(または新しい形状が選択される)ことができる。第3の例では、監視領域サイズが、車両速度、制限速度、道路種別(例えば、高速道路では増加、都市街路では減少)に伴って増加し、ルートに沿って交通量が増加したら減少する。特定の例では、この方法は、瞬間のパラメータ値に基づいてドライバーの追従距離を決定し、決定された追従距離に監視領域のサイズを設定するステップを含む。第4の例では、リスクスコアが決定される監視領域内のサブ領域の数が速度の増加と共に減少し、各サブ領域で囲まれる面積は増加する。第3の例では、監視領域の形状がその場所のプロファイルに基づいて変化する。具体例では、監視領域の形状は、側面衝突頻度が高いか側面交通が遅い(例えば、歩行者または自転車の交通)を有する場所については円であり、側面衝撃頻度が低い場所(例えば、高速道路)については扇形とすることができる。第4の例では、監視領域のサイズはドライバーのリスクスコアと共に増大する。しかしながら、監視領域パラメータは他の方法で決定してもよい。
【0044】
[0060]リスクマップを決定するステップS100は、監視領域についてリスク測定基準を決定するステップS160を含み得る。リスク測定基準は、監視領域全体、監視領域の1以上のサブ領域(例えば、リスクポイント)、または他の任意の適切な領域に対して決定することができる。リスク測定基準は好ましくはリスクスコアであるが、リスク確率でも他の適切な測定基準でもよい。リスク測定基準は、好ましくはRAMによって決定されるが、任意の適切なシステムによって決定することができる。
【0045】
[0061]リスクマップは、(例えば、各サブ領域の識別子についての)リスク測定基準値のアレイ、ヒートマップ(例えば、ヒートマップとして保存または視覚化されたもの)、方程式、または他の方法で構造化することができる。リスクマップまたはそのパラメータ(例えば、RAM、因子値、重み、地理的位置など)は、一時的に(例えば、瞬間リスクを分析するのに十分な長さ)、運転セッション期間の間、運転セッションより長い間、または任意の適切な時間について記録することができる。生成されたリスクマップまたはそのパラメータの全部または一部を記録することができる。リスクマップ(またはそのパラメータ)は、それぞれの車両識別子、地理的位置または地域識別子、オペレータ識別子、車両運動学、または他の任意の適切な因子値と関連付けて記憶することができる。
【0046】
[0062]監視領域機能に関連付けられたリスク評価モジュール(RAM)は、監視領域のリスク測定基準を決定するためのモデルまたは方法を提供する。RAMは、リスクポイント分布内の各リスクポイントに対するリスクスコアを決定する(例えば、リスクマップを埋める)ことが好ましいが、代替的にまたは追加的に、分布内のリスクポイントのサブセットについてのリスクスコア、監視領域のリスクスコア、瞬間的運転状況のリスクスコアを決定してもよく、または他の適切な地域または状況の他の適切なリスク測定基準を決定してもよい。監視領域内の各リスクポイントは、同じRAM(例えば
図5)または異なるRAM(例えば
図4)に関連付けることができる。RAMは、連続関数を含むことが好ましいが、代替的または追加的に、離散化関数または他の任意の適切な関数を含むことができる。RAMは、パラメトリックモデル(例えば、パラメトリックモジュール)を含むことが好ましいが、代替として、ノンパラメトリックモデル、セミパラメトリックモデル、セミノンパラメトリックモデル、または任意の他の適切なモデルを含むことができる。RAMは1またはそれ以上のモデルを含むことができる。RAMは、好ましくは一組の方程式(例えば、1つ以上の確率分布)を含むが、代替として、ニューラルネットワーク(例えば、CNN)、サポートベクトル、決定木、一組の規則、分類器(例えば、ベイズ分類器)、遺伝子プログラム、または他の方法で構造化されてもよい。例えば、RAMは、離散確率分布、連続確率分布、正規分布(例えば、2Dガウスまたは3Dガウスなどのガウス分布、多変量正規分布など)、対数正規分布、パレート分布、離散一様分布、連続一様分布、ベルヌーイ分布、二項分布、負の二項分布、幾何学的分布、超幾何学的分布、ベータ二項分布、カテゴリカル分布、多項分布、ツイード分布、ポアソン分布、指数分布、ガンマ分布、ベータ分布、レイリー分布、ライス分布、または他の適切なリスク決定モデルを含み得る。リスク分布は集中してもよいし、外部物体、車両、または任意の他の適切な場所に頂点を有してもよい。一例では、リスクモデルは、一組の重み付けられた因子を有する方程式を含む。ただし、モデルは他の方法で構成してもよい。RAMは1つ以上のモデルを含むことができる。各監視領域は、所与の時間に1またはそれ以上のRAMと関連付けることができ、経時的に(例えば運転セッションにわたって)同じか異なるRAMと関連付けることができる。
【0047】
[0063]RAMは、リスク特定のために因子値を使用することが好ましいが、代わりに他の値を使用してもよい。例えば、リスクマップの各サブ領域のリスクは、物体パラメータおよびオペレータの行動スコアに基づいて決定することができる。ただし、各サブ領域のリスクは他の方法で決定してもよい。
【0048】
[0064]各RAMは、固定であることが好ましいが、動的に調整されてもよいし(例えば、因子値が決定される都度リアルタイムまたはほぼリアルタイムで)、所定の頻度で調整されてもよいし、事象発生に応じて調整されてもよいし(例えば、アップデートを介して)、他の方法で調整されてもよく、この方法は、RAMを生成するステップを含むことができる。RAM(例えば、その中のモデル、重み、因子など)は、マニュアル生成してもよいし、自動生成されてもよいし(例えば、衝突接近ラベルまたは衝突ラベルでラベル付けされた時系列データのセットを使用するなどの、監督付または監督なしの学習を用いて)、ニューラルネットワークや他の機械学習アルゴリズムを用いて生成されてもよいし、経験的または帰納的に生成されてもよいし、動的に生成されてもいし(例えば、因子の重みが二次因子の値に基づいて占められる)、または他の方法で決定されてもよい。
【0049】
[0065]システムは、ユニバーサルRAMまたは複数のRAMを含むことができ、異なるRAMが異なる監視領域(例えばタイプ、クラス)、監視領域パラメータ(例えば形状、サイズ、向き、バイアス)、オペレータプロファイル、車両プロファイル、演算システム、地理的位置または領域(例えばジオフェンス)、物体パラメータ、運転状況、他の因子についての具体値、特定の因子値の組み合わせ(例えば、シナリオクラス、レジスタなど)、または他の任意の適切なデータセットに関連付けることができる。システムが複数のRAMを有する場合、本方法はRAMを決定するステップを含むことができる。
【0050】
[0066]第1の変形例では、単一のRAM(例えば、方程式)を使用して、すべてのレジスタ(例えば、状況)のすべてのリスクスコア(例えば、リスクマップ)を計算することができる。
【0051】
[0067]第2の変形例では、異なるRAMを用いて、異なるレジスタ内のリスク測定基準(例えば、リスクマップ)が計算され、および/または異なるレジスタが同時に発生したときにオーバーレイされる。使用されるRAMは、因子値に基づいて決定されることが好ましいが、監視領域パラメータに基づいて決定されてもよいし、他の方法で決定されてもよい。どのRAMを使用するかを決定するために使用される因子値は、リスク測定基準(例えば、リスクマップ)を決定するためにRAMに供給されるものと同じか異なる因子であり得る。RAMは、1またはそれ以上の因子値に基づいて所定のライブラリから選択されることが好ましいが(例えば、リスク測定基準が、選択されたRAMを使用して監視領域内の各サブ領域に対して決定される)、代替的に、動的に生成されてもよいし(選択されたタイプ、計算された、選択された、または他の方法で決定された重みなど)、他の方法で決定されてもよい(S150)。第1の実施形態では、RAMは、地理的位置識別子、地理的位置に関する総合リスクマップ、地理的位置パラメータ(例えば、交通密度、歩行者密度、交差点の存在、平均速度、制限速度など)、および/または他の任意の適切な地理的位置データに基づいて選択される。第2の実施形態では、RAMは、自車両の動作パラメータに基づいて選択される。例えば、異なる車両加速度または速度に対して異なるモジュール(またはその中で使用される重みまたは係数)を選択することができる。第3の実施形態では、異なる演算子が異なるRAM(および/または監視領域パラメータ)に関連付けられる。例えば、ドライバースコアや反応時間が高いオペレータは、気付かれていない近位の物体に低い重みを割り当て、一方でドライバースコアが低いオペレータは同じ物体に高い重みを割り当てることができる。第4の実施形態では、RAMは物体パラメータ値(例えば、クラス、距離、予想軌道、運動学、オペレータプロファイルなど)に基づいて選択される。この実施形態では、検出される各物体についてRAMを決定することができ、複数のRAMを組み合わせて(例えば、オーバーレイなど)、領域を監視するために使用される複合RAMを協調的に形成することができる。ある具体例では、この方法は、先行車両の検出に応答して第1の方程式を選択するステップと、車両から斜めに位置する自転車の検出に応答して第2の方程式を選択するステップと、先行車両の予測される旋回に応答して第3の方程式を選択するステップとを含む。しかしながら、RAMは他の方法で決定してもよい。
【0052】
[0068]第1の変形例では、監視領域のリスク測定基準を決定するステップは、監視領域内の複数のサブ領域の各々のリスクスコアを計算するステップを含む。リスクスコアは、搭載システム、遠隔システム、または他の適切なシステムによって計算することができる。リスクスコアは、加重係数を用いた式で計算できるが、他の方法で計算してもよい。
【0053】
[0069]一例では、サブ領域のリスクスコアは、物体の存在および種類、車両に対する物体の運動学(例えば、
図6)、物体のオペレータプロファイル(例えば、
図8)、物体の予想される挙動(例えば、
図9)、および自車両のドライバーの行動スコア(例えば、注意レベルや注意散漫レベルなど)に基づいて決定することができる。しかしながら、リスクスコアは、他の適切な式から他の方法で計算してもよい。
【0054】
[0070]第2の変形例では、監視領域内の各サブ領域を異なる方程式と関連付けることができ、各サブ領域に対するスコアは独立して計算することができる。この変形例では、本方法は、物体について監視領域を監視するステップと、物体と一致するサブ領域を同定するステップと、同定されたサブ領域のそれぞれについてリスクスコアを計算するステップと(例えば、物体パラメータに基づいて)、計算されたリスクスコアに基づいて衝突接近事象を特定するステップとを含み得る。しかしながら、他の方法でサブ領域ごとの方程式を用いてもよい。
【0055】
[0071]第3の変形例では、本方法は、ニューラルネットワークを使用して各サブ領域のリスクスコアを決定するステップを含むことができる。この変形例では、監視領域全体が単一の領域として扱われることが好ましく、単一のニューラルネットワークが各サブ領域のリスクスコアを決定する。しかしながら、監視領域内の各サブ領域は、関連するリスクスコアを決定する異なるニューラルネットワークと関連付けることができる。
【0056】
[0072]第4の変形例では、本方法は、(例えば、同時位置特定およびマッピングを使用して)車両の環境のマップを生成し当該環境内で車両の位置を追跡するステップと、任意で同定された物体を静止しているか動いているか分類するステップと、各サブ領域への潜在的な車両の移動経路を特定するステップと(例えば、RRTを使用して)、マップおよび潜在的な車両の移動経路に基づいて各サブ領域の衝突確率を決定するステップとを含む。
【0057】
[0073]しかしながら、リスクスコアは、前述の方法の組み合わせを使用して決定してもよいし、他の方法で決定してもよい。
【0058】
[0074]衝突接近事象を自動的に検出するステップS200は、危険性の高いイベントを同定するように機能する。衝突接近事象(あやうく衝突する事象)は、車両オペレータによる回避操作を必要とする状況、車両が物体と衝突する可能性が閾値を超えている状況、その他の方法で定義することができる。
【0059】
[0075]衝突接近事象は、リアルタイムまたはほぼリアルタイムで(例えば、イベントが発生しようとするとき、イベントが発生する前に)決定されることが好ましいが、非同期的に、または他の適切な時間に決定してもよい。衝突接近事象は、車両搭載システムによって(例えば、補助システム、車両自体などによって)特定されることが好ましいが、代替として、リモート演算システムまたは任意の他の適切なシステムによって特定されてもよい。衝突接近事象は、リスクマップに基づいて自動的に検出されることが好ましいが、他の方法で特定してもよい。衝突接近事象は、同時リスクマップ(例えば、衝突接近事象の前の所定の期間内に生成されたリスクマップ、衝突接近事象が検出された期間中に生成されたリスクマップなど)を使用して検出されることが好ましいが、事前リスクマップ、一連の事前リスクマップ、またはその他の適切なリスクマップのセットを使用して検出してもよい。
【0060】
[0076]第1の変形例では、リスクマップ内の危険性の高い領域が物体の位置と重なったときに衝突接近事象を検出する(
図10に示す例)。この高リスク領域は、リスク値が閾値リスク値(例えば、リスクスコア)を超える監視領域の領域(例えば、面積、サブ領域、点、位置、仮想または地理的位置)、高リスクエリアとして割り当てられた監視領域の定義済みエリア、またはその他の方法で定義された領域であり得る。閾値リスク値は、オペレータプロファイルまたはスコア、過去の位置リスク、近位の物体に関するオペレータプロファイルまたはスコア、または任意の他の適切な要因に基づいて決定(例えば、計算、選択など)することができる。
【0061】
[0077]第2の変形例では、衝突接近事象は、自車両が高リスク領域へと進入するか向かっている場合(例えば、予想される軌跡または現在の進行方向が境界を越えるかそちらへ向かっている場合)に応答して検出される。この変形例では、リスクマップは、当該リスクマップが生成された地理的位置に対して固定であってもよいし、自車両と共に移動してもよいし、他の任意の適切な動力学セットを有してもよい。
【0062】
[0078]第3の変形例では、(例えば、リスクマップ内の)高リスク領域に対する車両の動きが(例えば、衝突接近事象のパターン履歴に基づいて決定された)衝突接近事象パターンと実質的に一致するとき、衝突接近事象が検出され、(例えば、空間的リスク測定基準パターン、時間的リスク測定基準パターンなどに基づいて)衝突接近事象として分類されるか、他の方法で所定の衝突接近事象に関連付けられる。
【0063】
[0079]第4の変形例では、衝突接近事象は、リスクマップ内のリスクスコアが閾値リスクスコアを超えたことに応答して検出される。衝突接近事象は、リスクがリスクスコア閾値を超えたら直ぐに検出してもよいし、リスクが閾値期間閾値を超えた場合、空間的に隣接するリスクスコア(例えば閾値数、閾値分布、閾値物理、または、仮想ボリュームまたは面積など)が閾値を越えた場合、または他の方法で監視領域内のリスクスコアに基づいて検出してもよい。閾値リスクスコアは、マニュアル選択でも、自動決定されてもよいし(例えば、衝突接近事象にラベル付けされた運転セッションから学習)、または他の方法で決定してもよい。
【0064】
[0080]第5の変形例では、衝突接近事象は、車両の閾値距離内のリスクスコアが閾値リスク値を越えることに応答して検出され、ここで監視領域は前記閾値距離を包含することが好ましいが、代替的に他の方法で閾値距離に関連付けられてもよい。閾値距離は、好ましくは、車両横断ベクトルに沿って測定されるが、代替的に、車両横断ベクトルの所定の角度範囲内、車両横断ベクトルの閾値幅(例えば、車体の幅)内、車体または中心であってもよく、その他の方法で定義されてもよい。閾値距離は予め決定されてもよいし、ユーザの注意力、認知能力、反応時間、注意散漫レベル、車両速度、物体の軌道、運動学、または分布で動的に決定されてもよいし(例えば、その関数として変化する)、その他の方法で決定されてもよい。例えば、衝突接近事象は、車両の前方5フィート以内のリスクスコアが閾値リスクスコアを超えたことに応答して検出することができる。
【0065】
[0081]第6の変形例では、衝突接近事象は、リスクスコアを有する監視領域内のサブ領域の総面積または体積が、閾値面積または閾値体積を超える閾値リスクスコアを超えることに応答して検出される。
【0066】
[0082]第6の変形例では、衝突接近事象は、車両の逐次リスクマップのパターンが衝突接近事象に関連するパターンと実質的に一致する(例えば、合致する)ことに応じて検出される。しかしながら、衝突接近事象は他の方法で特定されてもよい。
【0067】
[0083]第7の変形例では、衝突接近事象は、車両搭載センサ(例えば補助システムセンサ、車両センサ、近接センサなど)によってサンプリングされた信号、車両パラメータ(例えばアクセルペダル位置、ハンドル位置、ブレーキ位置など)、外部車両センサ信号に基づいて、またはパターンマッチング(例えば、センサ信号パターンが衝突接近イベントに関連するパターンと一致する場合)、ニューラルネットワーク、規則、または他の適切な方法を使用した他の適切な測定に基づいて検出されてもよい。例えば、衝突接近事象は、運動学センサ測定において減速スパイクが検出された場合、内向きカメラのストリームからドライバーの驚いた表情が検出された場合、運動学パターンが「曲がる」パターンと実質的に一致した場合(例えば、ブレーキペダル位置などの車両のセンサに基づく、システムの加速度計、ジャイロスコープ、またはIMUの測定値が所定の閾値を超えるG力を示すことに基づく、記録システムによって記録された画像に基づく、横加速度が閾値加速度を超えた場合)、急ブレーキがかけられたとき、物体が閾値割合を超えて外向きカメラの視野を占有しているとき、叫び声が検出されたとき(例えば、音声センサから)、衝突が検出されたとき(例えば、衝突時間より前にサンプリングされたセンサデータが衝突接近イベントに関連する場合、測定されたG力が衝突閾値を超えたことに応答して、音響パターンが衝突パターンと実質的に一致することに応答して、エアバッグが展開されたことに応答して、あるいは他の方法で特定される)、または衝突接近事象に関連する他の適切な状態が検出されたときに、衝突が検出される、
【0068】
[0084]しかしながら、衝突接近事象は他の方法で決定されてもよい。
【0069】
[0085]この方法は、任意で、衝突接近事象のパラメータを格納するステップS210を含んでもよい。衝突接近事象パラメータは、衝突接近事象時間(例えば、検出時間、基礎となるデータのサンプリングタイムスタンプなど)、衝突接近事象中の車両位置(例えば、搭載システムの位置センサから受信される)、運転状況のパラメータ(例えば、車線識別子のような車両位置情報、道路タイプ、交通状況、気象状況など)、車両運転者のオペレータ識別子(例えば、参照により本明細書に組み込まれる、2017年7月5日出願の米国特許出願第15/642,094号に開示された方法で特定されるか、任意の他の適切な方法を使用して検索され、または決定される)、車両の車両識別子、物体の識別子、衝突接近方向、または他の因子値を含み得る。
【0070】
[0086]この方法は、衝突接近事象パラメータと共に関連データを記憶するステップを任意に含むことができる(例えば、
図11)。関連データは、基礎となるデータ(例えば、衝突接近事象が検出された元データ)、衝突接近事象の前、最中、または後にサンプリングされたセンサデータ(例えば、衝突接近事象の時間窓内にサンプリングされたセンサストリームセグメント)、衝突接近事象とパラメータを共有するセンサデータ(例えば、同じ運転セッション中に取得された)、または他の適切なデータを含み得る。格納された関連データは、衝突接近事象ラベルに基づいて選択してもよいし(例えば、異なるラベルを異なるデータタイプおよび/または時間枠に関連付けることができる)、所定のデータセットであってもよいし(例えば、所定の時間枠内にサンプリングさたカメラ画像と運動センサデータのみ)、あるいは他の適切なデータであってもよい。一例では、衝突接近事象の状況を記述するデータと(例えば、近接センサデータ、外向きカメラ映像、または他のセンサデータストリームもしくは時系列のセグメント)、オペレータの反応に関するデータ(例えば、内向きカメラ映像、車両制御入力センサ、ユーザ反応データ、または他のセンサデータストリームまたは時系列のセグメント)とを、衝突接近事象パラメータと関連付けて格納することができる。センサデータストリームまたは時系列の格納されたセグメントは、衝突前事象時間枠の前、後、および/または最中の所定の時間窓でサンプリングされたセンサ信号であってもよいし、運転セッション全体におけるセンサ信号であってもよいし、他の任意のセットであってもよい。時間窓は事前に設定されてもよいし、リスクマップの最高のリスクスコア、リスクスコアの分布、その他のリスクパラメータに基づいて異なってもよいし、衝突が発生したかどうかに基づいて選択されるか、衝突接近原因またはクラスに基づいて選択されるか、その他の方法で決定されてもよい。パラメータ、データ、または他の情報は、搭載システムによって、リモートシステムによって(例えば、情報は、ほぼリアルタイムで、または所与の接続タイプが検出された場合に、処理システムまたは記録システムからリモートシステムへ非同期で送信することができる)、または任意の適切なシステムによって格納することができる。
【0071】
[0087]この方法は、衝突接近事象をラベリングするステップを任意に含むことができ、これは、以降の集約的な衝突接近事象処理を容易にするように作用する。追加的または代替的に、運転セッション(例えば、セッション識別子、セッションデータなど)は、衝突接近事象ラベルを用いて衝突接近事象としてラベル付けすることができ、または他の方法でラベル付けすることができる。衝突接近事象は、自動的に(例えば、リモート演算システムによって、車両などによって)ラベル付けされてもよいし、手動でラベル付けされてもよいし、他の方法でラベル付けされてもよい。衝突接近事象は非同期的にラベル付けされることが好ましいが、代替的にリアルタイムまたはほぼリアルタイムでラベル付けされてもよい。ラベルは、衝突接近事象のクラスまたはタイプ(例えば、先行車との衝突、自転車、歩行者、看板、または縁石との側面衝突、逆衝突など。ここで衝突接近事象は実質的に同時記録されたデータに基づいて分類することができる。)、リスクの重大度(例えば、異常接近したミスなど)、衝突接近原因、または他の適切な記述子のセットとすることができる。
【0072】
[0088]この方法は、衝突接近事象の原因(例えば、一組の誘発イベント)を特定するステップS230を任意選択で含んでもよい。原因は、衝突接近事象の検出の基礎となるデータに関連付けて(例えば、ラベル付けに使用される)格納することができ、または他の方法で使用することができる。原因は、衝突接近事象のフィルタリング、クラスタリング、またはその他の方法での管理、衝突への問題(fault)の割り当て、ドライバスコアの計算(例えば、オペレータが原因ではない衝突接近事象はオペレータスコアの計算から除外できる)、レポート(保険レポート、事故レポートなど)の自動識別または自動記入、地理的位置の衝突リスクマップ全体に対する各リスクマップの影響の調整、自律型車両制御モジュールまたはリスクマップモジュールのトレーニングにどのトレーニングデータを使用するかの決定(例えば、ドライバーによって引き起こされた衝突接近事象のデータの除外、エッジケースの特定など)、通知または自動制御パラメータの決定に用いることができ、またはその他の方法で使用することができる。
【0073】
[0089]第1の変形例では、原因は、所定のリスクマップに対する連続的な車両の挙動に基づいて決定することができる。例えば、車両の軌道が所定の高危険度のリスクマップ領域に向いている場合(例えば交差する、所定の距離内または角度領域内にあるなど)、または車両が高危険度のリスクマップ領域に向かって実質的に動いている場合に、車両オペレータが原因であると特定することができる。第2の例では、車両の軌跡が高危険度のリスクマップ領域に向けられていないが、車両の近くの高危険度のリスクマップ領域が(例えば、オブジェクトの移動のために)時間とともに増加している場合、物体が原因であると特定することができる。しかしながら、その後の車両の挙動に基づいて他の方法で原因を判断してもよい。
【0074】
[0090]第2の変形例では、原因はRAMに基づいて判断することができる。一実施形態では、原因は、RAMモデルの個々のパラメータに基づいて判断することができる。例えば、原因は、最も高い重み、最も高い加重値(例えば、重みと因子値の積)、最も高い因子値のリスクスコアへの影響、上記の最も低い値、あるいは他の適切なパラメータに基づいて決定することができる。原因は、パラメータ自体、パラメータまたは因子に関連する原因、最も影響力のあるパラメータ(例えば、パラメータの組み合わせ、パラメータ値の組み合わせなど)に関連する原因であってもよいし、その他の方法で決定されてもよい。第2の実施形態では、原因は、RAMの導関数または積分、または結果のリスク測定基準(例えば、リスクマップ)に基づいて決定することができる。第3の実施形態では、原因は、所与の車両について経時的に選択された一連のRAMに基づいて(例えば、RAMの一時的パターンが所定の原因に関連付けられている)、またはそれぞれのRAMによって生成された一連のリスク測定基準(例えば、リスクマップ)に基づいて決定できる。しかしながら、原因は、RAMおよび/または結果として生じるリスク測定基準から他の方法で特定してもよい。
【0075】
[0091]第3の変形例では、原因は、衝突接近事象に関連するデータの分析から特定することができる。第1の実施形態では、この方法は、リスクマップを用いて衝突接近事象を検出するステップと、衝突接近事象の所定の時間窓内に記録されたデータを取得するステップと(例えば、リスクマップ生成にデータの全部、一部が用いられ、あるいはまったく用いられない)、原因のデータを分析するステップとを含む。データは、外部映像、内部映像、近接センサデータ、車両センサデータ、または任意の他のデータを含み得る。データは、パターンマッチング(例えば、異なる信号パターンが事前に関連付けられた原因と関連付けられる)、分類、ニューラルネットワーク、規則、決定木、ベイジアン、サポートベクター、遺伝的プログラム、または任意の他の適切な方法を用いて分析され得る。特定の例では、衝突接近事象(例えば、衝突接近事象を包含する、または他の方法で関連する内部映像のセグメント)の前、最中、および/または後に記録された内向きカメラストリームを分析して、ドライバーが衝突前に物体を見たかどうかを特定することができる。第2の特定の例では、位置システムの測定値を分析して、ドライバーが車線境界内を運転していたかどうかを判定することができる。第3の特定の例では、衝突近くの事象の前、最中、および/または後の物体センサの測定値を分析して、物体の障害の寄与を決定することができる。しかしながら、他の方法で原因を特定してもよい。
【0076】
[0092]この方法は、(例えば、衝突接近イベントを記録する前または運転データにラベリングする前に)衝突接近イベントを検証するステップを任意選択で含むことができる。一変形例では、衝突接近事象を検証するステップは、(例えば、上で開示された)個々の検出の変形例または検出システムを用いて(例えば、同じか類似のパラメータ、タイムスタンプなどを用いて)同じ衝突接近事象を検出するステップを含む。例えば、リスクマップが閾値を超えるリスクスコアを含むときに衝突接近事象を検出することができ、近接センサ信号に基づいて、(リスクスコアの高いサブ領域に位置する)物体が車両に向かって動いているという判定に応答して検証することができる。第2の例では、リスクマップが閾値を超えるリスクスコアを含むとき(例えば、最初は、最初にサンプリングされた信号に基づいて)衝突接近事象を検出することができ、(例えば、最初の前、後または最中にサンプリングされた)回避行動に関連するセンサ信号がさらに同定された場合に検証することができる。
【0077】
[0093]この方法は、衝突接近事象に関連するオペレータの行動を特定するステップS240を任意選択で含むことができる。オペレータの行動の例には、回避操作(例えば、操舵、制動、加速、車両能力の限界に近い制御入力の組み合わせなど)、衝突前操作、注意、または他の適切な行動が含まれる。オペレータの行動は、内向きカメラ、オペレータ向きカメラ、または車両制御入力センサ(例えば、ペダルセンサ、ステアリングホイールセンサなど)のような、オペレータをモニタするセンサ信号から特定されることが好ましいが、代替的に、外部物体を監視するセンサ信号または任意の他の適切なセンサから特定してもよい。オペレータの行動を特定するステップは、センサ信号内でオペレータの行動を同定すること、オペレータの行動を説明するセンサ信号を同定すること、オペレータの行動を分類またはラベリングすること(例えば、良、不良、安全、危険など)、または他のオペレータの行動の処理を含み得る。オペレータの行動は、分類器、パターンマッチングシステム、規則のセット(例えば、所定の時間窓内に所定のセンサセットによってサンプリングされた信号がオペレータの行動に関連付けられる)を使用して、または他の方法で特定することができる。オペレータの行動はそれぞれの衝突接近事象情報と共に記憶され、各オペレータのドライバースコアを決定するために使用されるか、他の方法で使用される。
【0078】
[0094]この方法は、衝突接近事象の検出に応答して行動するステップS250を任意選択で含むことができ、これは、1またはそれ以上の用途において、検出された衝突接近事象および/またはそのパラメータを使用するように機能し得る。例えば、自動的にドライバー通知を発すること、自動車両制御を実行すること、仮想シミュレーションを生成すること、または他の任意の適切な行動を、衝突接近イベント検出に応答して自動的に取ることができる。
【0079】
[0095]第1の変形例では、この方法は、検出された衝突接近事象および/または関連する因子もしくはパラメータ(例えば原因)に基づいて通知を生成するステップを含むことができる。通知は、衝突接近事象の前、最中、またはその後に生成および/または送信することができる。通知は、ユーザ(例えば、管理主体、オペレータ、保険会社などに対する推奨または通知を含む)、車両、または他の端末に対するものとすることができる。通知は自動的に生成および/または発信することができるが、代替的に他の方法で制御してもよい。第1の例では、衝突接近事象の検出に応答して、点滅光、音声通知(例えば、警告音)、車両要素の作動(例えば、シートの振動、ステアリングホイールの振動など)、または他の通知を、ユーザに提示することができる。第2の例では、迫る衝突を回避するために車両を自動的に制御することができる。例えば、差し迫る衝突の検出に応答して、加速度計を再マッピングし、ブレーキを自動的にかけ、速度を自動的に減速し、または車輪を自動的に回転させることができる(例えば、
図16に示す自動決定回避経路に入るか追従する。これは、コンカレントリスクマップから決定することができ、または他の方法で決定することができる)。第3の例では、オペレータに推奨する運転行動(例えば、コーチングの推奨)を送信することができる。後続のドライバーの行動を、任意選択的に、運転行動における正の変化(例えば、衝突接近事象の頻度の減少)または負の変化(例えば、衝突接近事象の頻度の増加)について所定期間監視してもよい。負の変化が特定された場合に異なる推奨がドライバーに提供されてもよく、一方で正の変化が特定された(例えば、所定の時間窓の間に発生頻度が閾値頻度を下回った)場合は、同一または類似の推奨が(例えば類似のリスクプロファイル、運転習慣、原因などを有する)他のオペレータに提供されてもよい。しかしながら、他の任意の適切な行動をとることができる。
【0080】
[0096]第2の変形例では、この方法は関連するセンサ測定値をリモート演算システムに送るステップを含むことができる。関連するセンサ測定値は、衝突接近事象検出の基礎となるセンサ測定値、衝突接近事象に先行する所定期間記録されたセンサ測定値、または任意の他の適切なセンサ測定値を含むことができる。
【0081】
[0097]第3の変形例では、所与のドライバーについて検出された衝突接近事象(例えば、ドライバーの電話、ドライバーのバイオメトリクスなどによって同定される)のパラメータ(例えば、頻度、重大度、種類、原因など)を用いて、ドライバーに運転リスクまたは安全性を示すドライバースコアを割り当てることができる。ドライバースコアは、以降に、リスクマップのパラメータ(例えば、監視領域、リスクスコアの決定など)、RAMのパラメータ、衝突接近イベント検出を引き起こす条件、保険料の決定、コーチングコースを運転するドライバー、を決定するために使用することができ、そのトレーニングデータは、自律型車両制御モジュールのトレーニングに使用されるか、他の方法で使用されるべきとなる。
【0082】
[0098]第4の変形例では、衝突接近事象の前、最中、および/または後の車両および/または物体の動作を抽出し、分析し、利用することができる。第1の例では、車両の挙動、物体の挙動、ドライバーの行動、または衝突接近事象に先行する他のパラメータを抽出してリスクマップ生成を洗練し、衝突接近事象の原因を特定し、ドライバーに失点を割り当て(例えば、失点率を決定する)、または他の方法利用することができる。この情報は、追加的または代替的に、コーチングの向上の対象となり得るドライバーの運転技術の弱点領域を同定するために使用することができる。第2の例では、衝突を回避するために取られた車両の軌跡またはドライバーの行動を抽出し、同様の状況で他のドライバーを指導するために使用したり、同様の状況で同様の物体の反応を予測するのに使用したり、(例えば、同様の状況で歩行者がどのように反応するかを予測する)、同様の状況で自律走行車両の応答を特定するために使用したり、あるいは他の方法で使用することができる。しかしながら、衝突接近検出事象および/またはそのパラメータは、他の方法で用いてもよい。
【0083】
[0099]第5の変形例では、この方法は、衝突接近事象の情報セットに基づいてモジュールをトレーニングするステップS280を含む。衝突接近事象の情報セット(例えば、複数の衝突接近事象データ)は、所与のオペレータ、車両、ユーザの母集団、位置、時間枠(例えば、繰り返しの時間枠、単一の時間枠など)、すべての方法インスタンス(例えば、複数の有効または無効の車両について)、または他のパラメータについて集約された衝突接近事象(好ましくはラベル付き、あるいはラベルなし)および/または関連データを含むことができる。情報セットは、モジュールトレーニング(例えば、較正、更新など)のためのトレーニングセット(例えば、指導付き、あるいは指導なし)を生成するために使用することができる。トレーニングセットを使用してトレーニングできるモジュールは、監視領域サイズ決定モジュール、監視領域形状決定モジュール、監視領域方向決定モジュール、リスク特定モジュール、リスク方程式選択モジュール、自律型車両制御モジュール(AV制御モジュール)、または他の適切なモジュールを含む。トレーニングされたモジュールは、好ましくは、その後本方法で使用されるか、二次車両を制御するため(例えば、AV制御モジュール)に使用されるか、他の方法で使用される。
【0084】
[00100]第1の例では、衝突接近事象の情報セットは、所定の原因のセットを含むか除外するようにフィルタリングすることができ、AV制御モジュールは、フィルタリングされたセットに対してトレーニングすることができる。例えば、衝突接近事象に関連する運転軌跡、軌跡分類、またはドライバー反応を使用して、不良の運転軌跡または反応から、良好な運転軌跡または反応をフィルタリングすることができ、あるいは別の方法で異なる運転軌跡を区別することができる(
図17に例示)。良好な運転軌跡は、(例えば、手動または自動で決定された閾値スコアを超える)ドライバースコアの高いドライバーによって、ドライバーが原因でない衝突接近事象に応答して、衝突を軽減するか回避することの成功で、以降に衝突リスクの高い領域が生じないことで、あるいは他の方法で特徴付けられた軌跡またはドライバー応答を含み得る。これらの運転軌跡は、その後、自律走行車の移動を制御するために、自律走行車制御モジュールをトレーニングまたは開発するために、または他の方法で使用することができる。
【0085】
[00101]第2の例では、AV制御モジュールをトレーニングするために使用された衝突接近事象の情報セットから、オペレータによって引き起こされた衝突接近事象を除外することができる。第3の例では、情報セットをフィルタリングしてエッジケース(例えば、手動で決定される、または情報セット内のラベル出現頻度に基づいて決定される、稀な出現)を同定することができ、これらのエッジケースは、AV制御モジュールをトレーニングするのに用いることができる。第4の例では、情報セットは、衝突接近事象の状況を記述するデータ(例えば、近接センサデータ、外向きカメラ映像、または他のセンサストリームセグメントなど)と、オペレータの反応を記述するデータ(例えば、内部映像、車両制御入力センサ、または他のセンサストリームセグメントなど)を含み得る。この例では、情報セットは、回避操作が成功した衝突接近事象(例えば、所定の時間枠内に衝突事象が続いていない衝突接近事象)、所望の行動(例えば、安全操作など)、優良ドライバー(例えば、ドライバースコアが高いオペレータ)、所定の原因セット、あるいは他のパラメータ(例えば、所望の回避操作に関連する)についてフィルタリングすることができ、ここで同定された衝突接近事象の情報(例えば、惹起した原因のデータおよびユーザ応答)は、AVコントロールモジュールのトレーニングに利用することができる。第5の例では、衝突接近事象の情報セットは、特定の道路形状(例えば、ラウンドアバウト、交差点など)を含むようにフィルタリングすることができ、フィルタリングされたセットについてAV制御モジュールをトレーニングすることができる。
【0086】
[00102]しかしながら、上記のように、衝突接近事象は他の方法で利用してもよい。
【0087】
[00103]この方法は、任意で、格納されたリスクマップに作用するステップを含むことができ、これは所与の地理的位置、運転セッション(またはそのセグメント)、車両、ドライバー、または他のデータオブジェクトについてのリスクを特徴付けるように機能する。リスクマップは、リモート演算システムによって処理および/または実行されることが好ましい(例えば、リスクマップまたはそのパラメータは、車両からリモートの演算システムに送信される)が、代替として、車両搭載システム、二次車両システム、または他の適切なシステムによって処理および/または実行してもよい。
【0088】
[00104]第1の変形例では、所与の地理的位置または領域に対する衝突リスクマップは、車両の集団にわたって集約されたリスクマップおよび/または衝突接近事象から生成することができる。衝突リスクマップは、複数の位置のそれぞれ、単一の位置、または任意の位置セットに対して生成および/または関連付けて記憶することができる。衝突リスクマップは、所定の再帰時間(例えば、一日のうちの時間)について、または所定の期間(例えば、全期間にわたって)について、リアルタイムまたはほぼリアルタイムで、リスク(例えば、リスクマップから)、衝突、および/または衝突接近のホットスポットを含むことができる。一例では、衝突リスクマップは、交通動態のほぼリアルタイムのマップを反映することができ、これは動的な経路プランニング、ADAS感度の向上、または他の方法で二次車両によって使用することができる。第2の例では、衝突リスクマップは、インフラストラクチャの管理または改善のために使用することができる。特定の例では、衝突ホットスポットは、ドライバーの視認性の向上、車線分割線の挿入、または他のインフラストラクチャの改善を目的とすることができる。第3の例では、衝突リスクマップを使用して、リスクマップのパラメータ、RAMのパラメータ(例えば、どのパラメータが含まれるか、パラメータ値の範囲、パラメータの重み、モデル自体など)、衝突接近事象の検出をトリガする条件を調整することができ、または他の方法で衝突接近検出方法にフィードバックしてもよい。例えば、衝突接近事象についての監視領域は、衝突接近事象が頻繁に発生する場所では動的に増加させることができる。
【0089】
[00105]第1の変形例の一実施形態では、本方法は、所与の地理的位置または領域について(例えば、リアルタイムで、常に、月曜日の午前8時などの再帰時間枠などについて)リスクマップを集約し、当該地理的位置についての衝突リスクマップを生成するステップS260を含むことができる(例えば、
図15)。一例では、本方法は、(例えば、二次自動車、ナビゲーションシステム、または他の端末からの)二次自動車の位置識別子を有する衝突リスクマップ要求を受信するステップと、および/または、二次車両のナビゲーション、操作、または他の用途のために、二次車両または関連システムの位置識別子に関連するリスクマップを取り出して送信するステップとを含み得る。例えば、二次自動車用のADASは、高リスク領域では自動車の速度を自動的に遅くすることができる。二次車両は、利用可能な車両集団内の車両(例えば、演算システムなどを含むシステムを実行することが可能)、利用可能な車両集団以外の利用不能な車両(例えば、システムを実行することができない、演算システムを有さないなど)、または任意の適切な車両であり得る。
【0090】
[00106]第2の変形例では、本方法は、リスクマップに基づいて車両の避難経路を同定するステップS270を含み、ここで避難経路を使用してオペレータ通知(例えば、触覚、光学などの通知)を生成し、車両の動作を自動制御することができ(例えば、避難経路に沿って移動させる)、または他の方法で利用することができる。逃避経路は、リスクスコアが閾値未満の領域を通過する軌跡、平均または総合リスクスコアが閾値未満の軌跡であってもよく、他の方法で定義してもよい。しかしながら、リスクマップは他の方法で使用することができる。
【0091】
[00107]本システムおよび/または方法の実施形態は、様々なシステム構成要素および様々な方法プロセスのあらゆる組み合わせおよび置換を含むことができ、方法プロセスは、任意の適切な順序で、順次または同時に実行することができる。
【0092】
[00108]当業者であれば、前述の詳細な説明ならびに図面および特許請求の範囲から認識されるように、添付の特許請求の範囲で定義される本発明の範囲から逸脱することなく、本発明の好ましい実施形態に対して修正および変更を加えることができる。