特表 2024-525153 衝突を予測する、交差点での違反を予測する、および／またはカメラ画像内のオブジェクト検出の対象領域を決定するためのデバイスおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-10

(54)【発明の名称】衝突を予測する、交差点での違反を予測する、および／またはカメラ画像内のオブジェクト検出の対象領域を決定するためのデバイスおよび方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240703BHJP

【ＦＩ】

G08G1/16 F

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023577297

(86)(22)【出願日】2022-05-13

(85)【翻訳文提出日】2024-02-08

(86)【国際出願番号】 US2022029312

(87)【国際公開番号】W WO2022265776

(87)【国際公開日】2022-12-22

(31)【優先権主張番号】17/348,715

(32)【優先日】2021-06-15

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/348,727

(32)【優先日】2021-06-15

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/348,732

(32)【優先日】2021-06-15

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ブルートゥース

(71)【出願人】

【識別番号】519003653

【氏名又は名称】ナウト，インコーポレイテッド

【氏名又は名称原語表記】Ｎａｕｔｏ，Ｉｎｃ．

(74)【代理人】

【識別番号】110000062

【氏名又は名称】弁理士法人第一国際特許事務所

(72)【発明者】

【氏名】アルパート， ベンジャミン

(72)【発明者】

【氏名】マームド， タミダ

(72)【発明者】

【氏名】ウー， アレクサンダー

(72)【発明者】

【氏名】チャンドラ， ピユシュ

(72)【発明者】

【氏名】マースチク， ジェレミー

(72)【発明者】

【氏名】クワン， ゲーリー

(72)【発明者】

【氏名】ヘック， ステファン

(72)【発明者】

【氏名】ベルキン， ルスラン

(72)【発明者】

【氏名】ホーンスタイン，イアン

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181BB05

5H181BB12

5H181BB20

5H181CC04

5H181FF27

5H181LL01

5H181LL02

5H181LL04

5H181LL07

5H181LL08

5H181LL20

(57)【要約】

ヴィークル外部の環境を観察するように構成されている第１のカメラと、ヴィークルの運転者を観察するように構成されている第２のカメラと、第１のカメラから第１の画像を受信し、第２のカメラから第２の画像を受信するように構成されている処理ユニットとを含む装置。処理ユニットは、第１の画像に少なくとも部分的に基づいてヴィークルとの衝突のリスクを示す第１の情報を決定する、ように構成されている。処理ユニットは、第２の画像に少なくとも部分的に基づいて、運転者の状態を示す第２の情報を決定する、ように構成されている。処理ユニットは、（１）ヴィークルとの衝突のリスクを示す第１の情報と、（２）運転者の状態を示す第２の情報とに基づいて、デバイスを動作させるための制御信号を提供するか否かを決定する、ように構成されている。
【選択図】図１

【特許請求の範囲】

【請求項1】

ヴィークル外部の環境を観察するように構成されている第１のカメラと、
前記ヴィークルの運転者を観察するように構成されている第２のカメラと、
前記第１のカメラから第１の画像を、そして前記第２のカメラから第２の画像を、受信するように構成されている処理ユニットと、
を備える装置であって、
前記処理ユニットが、前記第１の画像に少なくとも部分的に基づいて前記ヴィークルとの衝突のリスクを示す第１の情報を決定する、ように構成されていて、
前記処理ユニットが、前記第２の画像に少なくとも部分的に基づいて、前記運転者の状態を示す第２の情報を決定する、ように構成されていて、そして
前記処理ユニットが、（１）前記ヴィークルとの衝突のリスクを示す前記第１の情報と、（２）前記運転者の状態を示す前記第２の情報とに基づいて、デバイスを動作させるための制御信号を提供するか否かを決定する、ように構成されている、
装置。

【請求項2】

前記処理ユニットが、予測される前記衝突の予想される発生時刻の少なくとも３秒以上前に前記衝突を予測する、ように構成されている、請求項１に記載の装置。

【請求項3】

前記処理ユニットが、前記運転者の脳が入力を処理し、そして前記運転者が、前記衝突のリスクを軽減するアクションを実行するのに、十分なリードタイムで前記衝突を予測する、ように構成されている、請求項１に記載の装置。

【請求項4】

前記十分なリードタイムが、前記運転者の状態に依存する、請求項３に記載の装置。

【請求項5】

衝突のリスクを示す前記第１の情報が、予測される衝突を備え、前記処理ユニットが、前記予測される衝突が発生するまでにかかる推定時間を決定する、ように構成されていて、そして前記処理ユニットが、前記予測される衝突が発生するまでにかかる推定時間が閾値を下回った場合、前記制御信号を提供する、請求項１に記載の装置。

【請求項6】

前記デバイスが、警告発生器を備え、そして前記処理ユニットが、前記予測される衝突が発生するまでにかかる前記推定時間が前記閾値を下回った場合、前記デバイスに前記運転者に対する警告を提供させる前記制御信号を提供する、ように構成されている、請求項５に記載の装置。

【請求項7】

前記デバイスが、ヴィークル制御器を備え、そして前記処理ユニットが、前記予測される衝突が発生するまでにかかる前記推定時間が前記閾値を下回る場合、前記デバイスに前記ヴィークルを制御させるための前記制御信号を提供する、ように構成されている、請求項５に記載の装置。

【請求項8】

前記閾値が、前記運転者の状態を示す前記第２の情報に基づいて可変である、請求項５に記載の装置。

【請求項9】

前記処理ユニットが、前記予測される衝突が発生するのにかかる前記推定時間の減少に対応して、前記予測される衝突が時間的に近づくに連れて、可変閾値に関して前記推定時間を繰り返し評価する、ように構成されている、請求項８に記載の装置。

【請求項10】

前記閾値が、前記運転者の状態に基づいてリアルタイムで可変である、請求項８に記載の装置。

【請求項11】

前記運転者の状態が、前記運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合、前記処理ユニットが、前記閾値を増加させる、ように構成されている、請求項８に記載の装置。

【請求項12】

前記予測される衝突が発生するまでにかかる前記推定時間が、前記閾値よりも高い場合、前記処理ユニットが、前記制御信号の提供を少なくとも一時的に保留する、ように構成されている、請求項５に記載の装置。

【請求項13】

前記処理ユニットが、前記衝突のリスクのレベルを決定する、ように構成されていて、そして前記処理ユニットが、前記衝突のリスクの前記決定されたレベルに基づいて前記閾値を調整する、ように構成されている、請求項５に記載の装置。

【請求項14】

前記運転者の状態が注意力散漫である状態を備え、そして前記処理ユニットが、前記運転者が注意力散漫である状態のレベルを決定する、ように構成されていて、そして前記処理ユニットが、前記運転者が注意力散漫である状態の前記決定されたレベルに基づいて前記閾値を調整する、ように構成されている、請求項５に記載の装置。

【請求項15】

前記運転者の状態が、前記運転者が運転タスクに注意を払っていることを示す場合、前記閾値は第１の値を有し、そして前記運転者の状態が、前記運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合、前記閾値が前記第１の値よりも高い第２の値を有する、請求項５に記載の装置。

【請求項16】

前記閾値が、前記ヴィークルが、前記衝突のリスクを軽減するように動作されていることを示すセンサ情報にも基づいている、請求項５に記載の装置。

【請求項17】

前記処理ユニットが、（１）前記ヴィークルとの前記衝突のリスクを示す前記第１の情報と、（２）前記運転者の状態を示す前記第２の情報と、（３) 前記ヴィークルが前記衝突のリスクを軽減するように動作されていることを示すセンサ情報とに基づいて、前記制御信号を提供するか否かを決定する、ように構成されている、請求項１に記載の装置。

【請求項18】

第１のモデルを格納する非一時的媒体を更に備え、前記処理ユニットが、前記衝突のリスクを決定するために、前記第１のモデルに基づいて前記第１の画像を処理するように構成されている、請求項１に記載の装置。

【請求項19】

前記第１のモデルが、ニューラルネットワークモデルを備える、請求項１８に記載の装置。

【請求項20】

前記非一時的媒体が、第２のモデルを格納する、ように構成されていて、そして前記処理ユニットが、前記第２のモデルに基づいて前記第２の画像を処理して、前記運転者の状態を決定する、ように構成されている、請求項１８に記載の装置。

【請求項21】

前記処理ユニットが、複数のそれぞれの姿勢の分類化に対してメトリック値を決定する、ように構成されていて、そして前記処理ユニットが、１つまたは複数のメトリック値に基づいて、前記運転者が運転タスクに従事しているか否かを決定する、ように構成されている、請求項１に記載の装置。

【請求項22】

前記姿勢の分類化が、下を向いている姿勢、上を向いている姿勢、左を向いている姿勢右を向いている姿勢、携帯電話を使用している姿勢、喫煙をしている姿勢、オブジェクトを保持している姿勢、ステアリングホイールを保持していない姿勢、シートベルトを着用していない姿勢、目を閉じている姿勢、前を見ている姿勢、片手でステアリングホイールを保持している姿勢、および両手でステアリングホイールを保持している姿勢、の内の２つ以上を備える、請求項２１に記載の装置。

【請求項23】

前記処理ユニットが、前記メトリック値をそれぞれの前記姿勢の分類化のそれぞれの閾値と比較する、ように構成されている、請求項２１に記載の装置。

【請求項24】

前記処理ユニットが、前記メトリック値の対応する１つの値が、前記閾値の対応する１つの値またはそれより大である場合、前記運転者が前記姿勢の分類化の１つに属すると決定する、ように構成されている、請求項２３に記載の装置。

【請求項25】

前記第１のカメラ、前記第２のカメラ、および前記処理ユニットが、前記ヴィークルのアフターマーケットデバイスの部品として統合されている、請求項１に記載の装置。

【請求項26】

前記処理ユニットが、前記第２の画像を処理して、前記運転者の画像が姿勢の分類化を満たすか否かを決定することによって、前記第２の情報を決定するように、構成されていて、そして
前記処理ユニットが、前記運転者の画像が前記姿勢の分類化を満たしているか否かに基づいて、前記運転者が運転タスクに従事しているか否かを決定する、ように構成されている、
請求項１に記載の装置。

【請求項27】

前記処理ユニットが、ニューラルネットワークモデルに基づいて前記第２の画像を処理して、前記運転者の状態を決定する、ように構成されている、請求項１に記載の装置。

【請求項28】

前記処理ユニットが、前記第１の画像内のオブジェクトまたは前記オブジェクトの境界ボックスが、関心領域と重なっているか否かを決定する、ように構成されている、請求項１に記載の装置。

【請求項29】

前記関心領域が、前記ヴィークルが走行している道路または車線の形状に対応して可変な幾何学的形状を有する、請求項２８に記載の装置。

【請求項30】

前記処理ユニットが、前記ヴィークルが走行している道路または車線の中心線を決定する、ように構成されていて、そして前記関心領域が前記中心線に基づく形状を有する、請求項２８に記載の装置。

【請求項31】

前記処理ユニットが、前記第１のカメラによって提供されるカメラ画像内の物理的位置のｙ座標に基づいて、前記ヴィークルと前記物理的位置との間の距離を決定する、ように構成されていて、前記ｙ座標が、画像座標フレームに関している、請求項１に記載の装置。

【請求項32】

装置によって実行される方法であって、
ヴィークル外部の環境を観察するように構成されている第１のカメラによって生成された第１の画像を取得すること、
前記ヴィークルの運転者を観察するように構成されている第２のカメラによって生成された第２の画像を取得すること、
前記第１の画像に少なくとも部分的に基づいて、前記ヴィークルとの衝突のリスクを示す第１の情報を決定すること、
前記第２の画像に少なくとも部分的に基づいて、前記運転者の状態を示す第２の情報を決定すること、
（１）前記ヴィークルとの衝突の前記リスクを示す前記第１の情報と、（２）前記運転者の前記状態を示す前記第２の情報とに基づいて、デバイスを動作させるための制御信号を提供するか否かを決定すること
を備える方法。

【請求項33】

前記第１の情報が、前記衝突を予測することによって決定され、そして前記衝突が、予測される衝突の予想される発生の少なくとも３秒以上前に予測される、請求項３２に記載の方法。

【請求項34】

前記第１の情報が、前記衝突を予測することによって決定され、そして前記衝突が、前記運転者の脳が入力を処理しそして前記運転者が前記衝突のリスクを軽減するための行動を実行するのに十分なリードタイムをもって予測される、請求項３２に記載の方法。

【請求項35】

前記十分なリードタイムが、前記運転者の状態に依存している、請求項３４に記載の方法。

【請求項36】

前記衝突のリスクを示す前記第１の情報が、予測される衝突を備え、前記方法が、更に、前記予測される衝突が発生するまでにかかる推定時間を決定することを備え、そして前記予測される衝突が発生するまでにかかる前記推定時間が閾値を下回った場合、前記制御信号が、前記デバイスに前記制御信号を提供させるために提供される、請求項３２に記載の方法。

【請求項37】

前記デバイスが、ヴィークル制御器を備え、そして前記予測される衝突が発生するまでにかかる前記推定時間が閾値を下回る場合、前記制御信号が、前記デバイスに前記ヴィークルを制御させるために提供される、請求項３６に記載の方法。

【請求項38】

前記デバイスが、ヴィークル制御器を備え、そして前記予測される衝突が発生するまでにかかる前記推定時間が前記閾値を下回る場合、前記制御信号が、前記デバイスに前記ヴィークルを制御させるために提供される、請求項３６に記載の方法。

【請求項39】

前記閾値が、前記運転者の状態を示す前記第２の情報に基づいて可変である、請求項３６に記載の方法。

【請求項40】

前記予測される衝突が発生するまでにかかる前記推定時間の減少に対応して、前記予測される衝突が時間的に近づくに連れて、前記推定時間が、可変閾値に関して繰り返し評価される、請求項３９に記載の方法。

【請求項41】

前記閾値が、前記運転者の状態に基づいてリアルタイムで可変である、請求項３９に記載の方法。

【請求項42】

前記運転者の状態が、前記運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合、前記閾値を増加させることを、更に、備える、請求項３９に記載の方法。

【請求項43】

前記方法が、前記予測される衝突が発生するまでにかかる前記推定時間が前記閾値よりも高い場合、前記制御信号の生成を少なくとも一時的に保留することを、更に、備える、請求項３６に記載の方法。

【請求項44】

前記衝突のリスクのレベルを決定すること、および前記衝突のリスクの前記決定されたレベルに基づいて前記閾値を調整することを、更に、備える、請求項３６に記載の方法。

【請求項45】

前記運転者の状態が注意力散漫である状態を備え、そして前記方法が、更に、前記運転者が注意力散漫である状態のレベルを決定すること、および前記運転者の前記注意力散漫である状態の前記決定されたレベルに基づいて前記閾値を調整することを備える、請求項３６に記載の方法。

【請求項46】

前記運転者の状態が、前記運転者が運転タスクに注意を払っていることを示す場合、前記閾値が第１の値を有し、そして前記運転者の状態が、前記運転者が、注意力散漫であるまたは前記運転タスクに注意を払っていないことを示す場合、前記閾値が、前記第１の値よりも高い第２の値を有する、請求項３６に記載の方法。

【請求項47】

前記閾値が、前記ヴィークルが前記衝突のリスクを軽減するように動作されていることを示すセンサ情報にも基づいている、請求項３６に記載の方法。

【請求項48】

前記デバイスを動作させるための制御信号を提供するか否かを決定する行為が、前記ヴィークルが前記衝突のリスクを軽減するように動作されていることを示すセンサ情報にも基づいて実行される、請求項３２に記載の方法。

【請求項49】

前記衝突のリスクを示す前記第１の情報を決定する行為が、第１のモデルに基づいて前記第１の画像を処理することを備える、請求項３２に記載の方法。

【請求項50】

前記第１のモデルが、ニューラルネットワークモデルを備える、請求項４９に記載の方法。

【請求項51】

前記運転者の状態を示す前記第２の情報を決定する前記行為が、第２のモデルに基づいて前記第２の画像を処理することを備える、請求項４９に記載の方法。

【請求項52】

前記方法が、更に、複数のそれぞれの姿勢の分類化に対してメトリック値を決定すること、および１つまたは複数の前記メトリック値に基づいて、前記運転者が運転タスクに従事しているか否かを決定することを備える、請求項３２に記載の方法。

【請求項53】

前記姿勢の分類化が、下を向いている姿勢、上を向いている姿勢、左を向いている姿勢、右を向いている姿勢、携帯電話を使用している姿勢、喫煙をしている姿勢、オブジェクトを保持している姿勢、ステアリングホイールを保持していない姿勢、シートベルトを着用していない姿勢、目を閉じている姿勢、前を見ている姿勢、片手でステアリングホイールを保持している姿勢、両手でステアリングホイールを保持している姿勢、の内の２つ以上を備える、請求項５２に記載の方法。

【請求項54】

前記メトリック値を、それぞれの前記姿勢の分類化に対するそれぞれの閾値と比較することを、更に、備える、請求項５２に記載の方法。

【請求項55】

前記メトリック値の前記対応する１つの値が前記閾値の対応する１つの値より大である場合、前記運転者が前記姿勢の分類化の１つに属すると決定することを、更に、備える、請求項５４に記載の方法。

【請求項56】

前記方法がアフターマーケットデバイスによって実行され、そして前記第１のカメラと前記第２のカメラが、前記アフターマーケットデバイスの一部として統合されている、請求項３２に記載の方法。

【請求項57】

前記第２の情報が、前記第２の画像を処理して、前記運転者の画像が姿勢の分類化を満たすか否かを決定することによって決定され、そして
前記方法が、更に、前記運転者の前記画像が、前記姿勢の分類化を満たすか否かに基づいて、前記運転者が運転タスクに従事しているか否かを決定することを備える、
請求項３２に記載の方法。

【請求項58】

前記運転者の状態を示す前記第２の情報を決定する行為が、ニューラルネットワークモデルに基づいて前記第２の画像を処理することを備える、請求項３２に記載の方法。

【請求項59】

前記第１の画像内のオブジェクトまたは前記オブジェクトの境界ボックスが、関心領域と重なっているか否かを決定することを、更に、備える、請求項３２に記載の方法。

【請求項60】

前記関心領域が、前記ヴィークルが走行している道路または車線の形状に対応して可変である幾何学的形状を有する、請求項５９に記載の方法。

【請求項61】

更に、前記ヴィークルが走行している道路または車線の中心線を決定することを備え、そして前記関心領域が、前記中心線に基づく形状を有する、請求項５９に記載の方法。

【請求項62】

更に、前記第１のカメラによって提供されるカメラ画像内の物理的位置のｙ座標に基づいて、前記ヴィークルと前記物理的位置との間の距離を決定することを備え、前記ｙ座標が、画像座標フレームに関している、請求項３２に記載の方法。

【請求項63】

ヴィークル外部の環境を観察するように構成されている第１のカメラと、
前記ヴィークルの運転者を観察するように構成されている第２のカメラと、
前記第１のカメラから第１の画像を、そして前記第２のカメラから第２の画像を受信するように構成されている処理ユニットと
を備える装置であって、
前記処理ユニットが、前記第１の画像に少なくとも部分的に基づいて交差点での違反のリスクを示す第１の情報を決定する、ように構成されていて、
前記処理ユニットが、前記第２の画像に少なくとも部分的に基づいて、前記運転者の状態を示す第２の情報を決定する、ように構成されていて、そして
前記処理ユニットが、（１）前記交差点での違反を示す前記第１の情報と、（２）運転者の状態を示す前記第２の情報とに基づいて、デバイスを動作させるための制御信号を提供するか否かを決定する、ように構成されている、
装置。

【請求項64】

前記処理ユニットが、予測される交差点での違反の予想発生時刻の少なくとも３秒以上前に前記交差点での違反を予測する、ように構成されている、請求項６３に記載の装置。

【請求項65】

前記処理ユニットが、前記運転者の脳が入力を処理するのに対しそして前記運転者が前記交差点での違反のリスクを軽減するための行動の実行に対し、十分なリードタイムを持って前記交差点での違反を予測する、ように構成されている、請求項６３に記載の装置。

【請求項66】

前記十分なリードタイムが、前記運転者の状態に依存する、請求項６５に記載の装置。

【請求項67】

前記交差点での違反のリスクを示す前記第１の情報が、予測される交差点での違反を備え、前記処理ユニットが、前記予測される交差点での違反が発生するのにかかる推定時間を決定する、ように構成されていて、そして前記処理ユニットが、前記予測される交差点での違反が発生するまでにかかる前記推定時間が閾値を下回る場合、前記制御信号を提供する、ように構成されている、請求項６３に記載の装置。

【請求項68】

前記デバイスが警告発生器を備え、そして前記処理ユニットが、前記予測される交差点での違反が発生するまでにかかる前記推定時間が前記閾値を下回る場合、前記デバイスに前記運転者に警告を提供させるための前記制御信号を提供する、ように構成されている、請求項６７に記載の装置。

【請求項69】

前記デバイスがヴィークル制御器を備え、そして前記予測される交差点での違反が発生するまでにかかる前記推定時間が前記閾値を下回る場合、前記処理ユニットが、前記デバイスに前記ヴィークルを制御させるための前記制御信号を提供する、ように構成されている、請求項６７に記載の装置。

【請求項70】

前記閾値が、前記運転者の状態を示す前記第２の情報に基づいて可変である、請求項６７に記載の装置。

【請求項71】

前記処理ユニットが、前記予測される交差点での違反が、前記予測される交差点での違反にかかる前記推定時間の減少に対応して時間的に近づくに連れて、前記推定時間を可変閾値に対して繰り返し評価する、ように構成されている、請求項７０に記載の装置。

【請求項72】

前記閾値が、前記運転者の状態に基づいてリアルタイムで可変である、請求項７０に記載の装置。

【請求項73】

前記運転者の状態が、前記運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合、前記処理ユニットが、前記閾値を増加させる、ように構成されている、請求項７０に記載の装置。

【請求項74】

前記予測される交差点での違反が発生するまでにかかる前記推定時間が前記閾値より高い場合、前記処理ユニットが、前記制御信号の提供を少なくとも一時的に保留する、ように構成されている、請求項６７に記載の装置。

【請求項75】

前記処理ユニットが、前記交差点での違反のリスクのレベルを決定する、ように構成されていて、そして前記処理ユニットが、前記交差点での違反のリスクの前記決定されたレベルに基づいて、前記閾値を調整する、ように構成されている、請求項６７に記載の装置。

【請求項76】

前記運転者の状態が、注意力散漫である状態を備え、そして前記処理ユニットが、前記運転者が注意力散漫である状態のレベルを決定する、ように構成されていて、そして前記処理ユニットが、前記運転者の前記注意力散漫である状態の前記決定されたレベルに基づいて前記閾値を調整する、ように構成されている、請求項６７に記載の装置。

【請求項77】

前記運転者の状態が、前記運転者が運転タスクに注意を払っていることを示す場合、前記閾値が、第１の値を有し、そして前記運転者の状態が、前記運転者が、注意力散漫であるまたは前記運転タスクに注意を払っていないことを示す場合、前記閾値が、前記第１の値よりも高い第２の値を有する、請求項６７に記載の装置。

【請求項78】

前記閾値が、前記ヴィークルが、前記交差点での違反のリスクを軽減するように動作されていることを示すセンサ情報にも基づいている、請求項６７に記載の装置。

【請求項79】

前記処理ユニットが、（１）前記交差点での違反のリスクを示す前記第１の情報、（２）前記運転者の状態を示す前記第２の情報、および（３） 前記交差点での違反のリスクを軽減するように前記ヴィークルが運転されていることを示すセンサ情報に基づいて、前記制御信号を提供するか否かを決定する、ように構成されている、請求項６３に記載の装置。

【請求項80】

第１のモデルを格納する非一時的媒体を更に備え、前記処理ユニットが、前記交差点での違反のリスクを決定するために、前記第１のモデルに基づいて前記第１の画像を処理する、ように構成されている、請求項６３に記載の装置。

【請求項81】

前記第１のモデルが、ニューラルネットワークモデルを備える、請求項８０に記載の装置。

【請求項82】

前記非一時的媒体が、第２のモデルを格納するように構成されていて、そして前記処理ユニットが、前記第２のモデルに基づいて前記第２の画像を処理して、前記運転者の状態を決定する、ように構成されている、請求項８０に記載の装置。

【請求項83】

前記処理ユニットが、複数のそれぞれの姿勢の分類化に対しメトリック値を決定する、ように構成されていて、そして前記処理ユニットが、前記メトリック値の内の１つまたは複数に基づいて、前記運転者が運転タスクに従事しているか否かを決定する、ように構成されている、請求項６３に記載の装置。

【請求項84】

前記姿勢の分類化が、下を向いている姿勢、上を向いている姿勢、左を向いている姿勢、右を向いている姿勢、携帯電話を使用している姿勢、喫煙をしている姿勢、オブジェクトを保持している姿勢、ステアリングホイールを保持していない姿勢、シートベルトを着用していない姿勢、目を閉じている姿勢、前を見ている姿勢、片手でステアリングホイールを保持している姿勢、両手でステアリングホイールを保持している姿勢、の内の２つ以上を備える、請求項８３に記載の装置。

【請求項85】

前記処理ユニットが、前記メトリック値を、前記それぞれの姿勢の分類化のそれぞれの閾値と比較する、ように構成されている、請求項８３に記載の装置。

【請求項86】

前記メトリック値の対応する値が、前記閾値の対応する値を満たすまたはそれを超える場合、前記処理ユニットが、前記運転者が前記姿勢の分類化の１つに属すると決定する、ように構成されている、請求項８５に記載の装置。

【請求項87】

前記第１のカメラ、前記第２のカメラ、および前記処理ユニットが、前記ヴィークル用のアフターマーケットデバイスの一部として統合されている、請求項６３に記載の装置。

【請求項88】

前記処理ユニットが、前記第２の画像を処理して、前記運転者の画像が姿勢の分類化を満たすか否かを決定することによって、前記第２の情報を決定する、ように構成されていて、そして
前記運転者の画像が、前記姿勢の分類化を満たすか否かに基づいて、前記処理ユニットが、前記運転者が運転タスクに従事しているか否かを決定する、ように構成されている、
請求項６３に記載の装置。

【請求項89】

前記処理ユニットが、ニューラルネットワークモデルに基づいて前記第２の画像を処理して、前記運転者の状態を決定する、ように構成されている、請求項６３に記載の装置。

【請求項90】

前記処理ユニットが、前記第１のカメラによって提供されるカメラ画像内の物理的位置のｙ座標に基づいて、前記ヴィークルと前記物理的位置との間の距離を決定する、ように構成されていて、前記ｙ座標が、画像座標フレームに関している、請求項６３に記載の装置。

【請求項91】

前記処理ユニットが、ローリング停止操作を検出する、ようにも構成されている、請求項６３に記載の装置。

【請求項92】

ヴィークル外部の環境を観察するように構成されている第１のカメラによって生成された第１の画像を取得すること、
前記ヴィークルの運転者を観察するように構成されている第２のカメラによって生成された第２の画像を取得すること、
前記第２の画像に少なくとも部分的に基づいて、前記運転者の状態を示す第２の情報を決定すること、および
（１）交差点での違反のリスクを示す第１の情報と、（２）前記運転者の状態を示す第２の情報とに基づいて、デバイスを動作させるための制御信号を供給するか否かを決定すること
を備える方法。

【請求項93】

前記第１の情報が、前記交差点での違反を予測することによって決定され、そして前記予測される交差点での違反が、前記予測される交差点での違反の予想発生時刻の少なくとも３秒以上前に予測される、請求項９２に記載の方法。

【請求項94】

前記第１の情報が、前記交差点での違反を予測することによって決定され、そして前記交差点での違反が、前記運転者の脳が入力を処理するために、そして前記運転者が前記交差点での違反のリスクを緩和するための行動を実行するために、十分なリードタイムをもって予測される、請求項９２に記載の方法。

【請求項95】

前記十分なリードタイムが、前記運転者の状態に依存する、請求項９４に記載の方法。

【請求項96】

前記交差点での違反のリスクを示す前記第１の情報が、予測される交差点での違反を備え、前記方法が、前記予測される交差点での違反が発生するのにかかる推定時間を決定することを、更に、備え、そして前記予測される交差点での違反が発生するまでにかかる前記推定時間が、閾値を下回る場合、前記デバイスに前記制御信号を提供させるために、前記制御信号が提供される、請求項９２に記載の方法。

【請求項97】

前記デバイスが警告発生器を備え、そして前記予測される交差点での違反が発生するまでにかかる前記推定時間が、閾値を下回る場合、前記デバイスに前記運転者に警告を供給させるために、前記制御信号が提供される、請求項９６に記載の方法。

【請求項98】

前記デバイスがヴィークル制御器を備え、そして前記予測される交差点での違反が発生するのにかかる前記推定時間が、前記閾値を下回る場合、前記デバイスに前記ヴィークルを制御させるために、前記制御信号が提供される、請求項９６に記載の方法。

【請求項99】

前記閾値が、前記運転者の状態を示す前記第２の情報に基づいて可変である、請求項９６に記載の方法。

【請求項100】

前記予測される交差点での違反が発生するのにかかる前記推定時間の減少に対応して、前記予測される交差点での違反が時間的に近づくに連れて、前記推定時間が、前記可変閾値に関して繰り返し評価される、請求項９９に記載の方法。

【請求項101】

前記閾値が、前記運転者の状態に基づいてリアルタイムで可変である、請求項９９に記載の方法。

【請求項102】

前記運転者の状態が、前記運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合、前記閾値を増加させることを、更に、備える、請求項９９に記載の方法。

【請求項103】

前記予測される交差点での違反が発生するのにかかる前記推定時間が、前記閾値よりも高い場合、前記制御信号の生成を少なくとも一時的に保留することを、更に、備える、請求項９６に記載の方法。

【請求項104】

前記交差点での違反のリスクのレベルを決定すること、および前記交差点での違反のリスクの前記決定されたレベルに基づいて前記閾値を調整することを、更に、備える、請求項９６に記載の方法。

【請求項105】

前記運転者の状態が注意力散漫である状態を備え、そして前記方法が、更に、前記運転者が注意力散漫である状態のレベルを決定すること、および前記運転者の注意力散漫である状態の前記決定されたレベルに基づいて前記閾値を調整することを備える、請求項９６に記載の方法。

【請求項106】

前記運転者の状態が、前記運転者が運転タスクに注意を払っていることを示す場合、前記閾値が、第１の値を有し、そして前記運転者の状態が、前記運転者が、注意力散漫になっているまたは前記運転タスクに注意を払っていないことを示す場合、前記閾値が、前記第１の値よりも高い第２の値を有する、請求項９６に記載の方法。

【請求項107】

前記閾値が、前記ヴィークルが、前記交差点での違反のリスクを軽減するように運転されていることを示すセンサ情報にも基づいている、請求項９６に記載の方法。

【請求項108】

前記デバイスを動作させるための前記制御信号を提供するか否かを決定する行為が、前記交差点での違反のリスクを軽減するように前記ヴィークルが動作されていることを示すセンサ情報にも基づいて実行される、請求項９２に記載の方法。

【請求項109】

前記交差点での違反のリスクを示す前記第１の情報を決定する行為が、第１のモデルに基づいて前記第１の画像を処理することを備える、請求項９２に記載の方法。

【請求項110】

前記第１のモデルが、ニューラルネットワークモデルを備える、請求項１０９に記載の方法。

【請求項111】

前記運転者の状態を示す前記第２の情報を決定する前記行為が、第２のモデルに基づいて前記第２の画像を処理することを備える、請求項１０９に記載の方法。

【請求項112】

複数のそれぞれの姿勢の分類化に対するメトリック値を決定すること、および前記メトリック値の１つまたは複数に基づいて、前記運転者が運転タスクに従事しているか否かを決定することを、更に、備える、請求項９２に記載の方法。

【請求項113】

前記姿勢の分類化が、下を向いている姿勢、上を向いている姿勢、左を向いている姿勢、右を向いている姿勢、携帯電話を使用している姿勢、喫煙をしている姿勢、オブジェクトを保持している姿勢、ステアリングホイールを保持していない姿勢、シートベルトを着用していない姿勢、目を閉じている姿勢、前を見ている姿勢、片手でステアリングホイールを保持している姿勢、両手でステアリングホイールを保持している姿勢、の内の２つ以上を備える、請求項１１２に記載の方法。

【請求項114】

前記メトリック値を、前記それぞれの姿勢の分類化のそれぞれの閾値と比較することを、更に、備える、請求項１１２に記載の方法。

【請求項115】

前記メトリック値の対応する値が、前記閾値の対応する値を満たすまたはそれを超える場合、前記運転者が前記姿勢の分類化の１つに属すると決定することを、更に、備える、請求項１１４に記載の方法。

【請求項116】

前記方法が、アフターマーケットデバイスによって実行され、そして前記第１のカメラと前記第２のカメラが、前記アフターマーケットデバイスの一部として統合されている、請求項９２に記載の方法。

【請求項117】

前記運転者の画像が姿勢の分類化を満たすか否かを決定するために前記第２の画像を処理することによって、前記第２の情報が決定され、そして
この方法が、前記運転者が、前記姿勢の分類化を満たすか否かの画像に基づいて、前記運転者が運転タスクに従事しているか否かを決定することを、更に、備える、請求項９２に記載の方法。

【請求項118】

前記運転者の状態を示す前記第２の情報を決定する行為が、ニューラルネットワークモデルに基づいて前記第２の画像を処理することを備える、請求項９２に記載の方法。

【請求項119】

前記第１のカメラによって提供されるカメラ画像内の物理的位置のｙ座標に基づいて、前記ヴィークルと前記物理的位置との間の距離を決定することを、更に、備え、前記ｙ座標が、画像の座標フレームに関している、請求項９２に記載の方法。

【請求項120】

ローリング停止操作を検出することを、更に、備える、請求項９２に記載の方法。

【請求項121】

ヴィークル外部の環境を観察するように構成されている第１のカメラ、および
前記第１のカメラから第１の画像を受信するように構成されている処理ユニット
を備える装置であって、
前記処理ユニットが、前記ヴィークルが走行している道路または車線の中心線を決定する、ように構成されていて、そして
前記処理ユニットが、前記中心線に基づく関心領域を決定する、ように構成されていて、前記関心領域が、前記中心線の特徴に基づく幾何学的形状を有する、
装置。

【請求項122】

前記処理ユニットが、前記ヴィークルが走行している前記道路または前記車線の前記中心線をニューラルネットワークモデルを使用して決定する、ように構成されている、請求項１２１に記載の装置。

【請求項123】

前記処理ユニットが、複数の中心線の点を決定することによって、前記ヴィークルが走行している前記道路または前記車線の前記中心線を決定する、ように構成されている、請求項１２１に記載の装置。

【請求項124】

前記中心線の点が、第１の中心線の点および第２の中心線の点を備え、そして前記処理ユニットが、前記第１の中心線の点および前記第２の中心線の点に基づいて、前記関心領域を決定する、ように構成されている、請求項１２３に記載の装置。

【請求項125】

前期処理ユニットが、
前記第１の中心線の点から左へ距離ｄ１にある第１の左側の点を決定すること、
前記第１の中心線の点から右へ距離ｄ１にある第１の右側の点を決定すること、
前記第２の中心線の点から左へ距離ｄ２にある第２の左側の点を決定すること、および
前記第２の中心線の点から右へ距離ｄ２にある第２の右側の点を決定すること
によって前記関心領域を決定する、ように構成されている、
請求項１２４に記載の装置。

【請求項126】

前記処理ユニットが、
前記第１の左側の点および前記第２の左側の点に基づいて前記関心領域の左境界を決定すること、および
前記第１の右側の点および第２の右側の点に基づいて前記関心領域の右境界を決定すること
によっても前記関心領域を決定する、ように構成されている、
請求項１２５に記載の装置。

【請求項127】

前記中心線の点が、第１のｙ座標を有する第１の中心線の点、第２のｙ座標を有する第２の中心線の点、および第３のｙ座標を有する第３の中心線の点を少なくとも有し、そして
前記第１のｙ座標と前記第２のｙ座標との間の第１の差が、前記第２のｙ座標と前記第３のｙ座標との間の第２の差とは異なる、
請求項１２３に記載の装置。

【請求項128】

前記処理ユニットが、前記決定された中心線に基づいて前記関心領域の左境界を決定すること、および前記決定された中心線に基づいて前記関心領域の右境界を決定すること、によって前記関心領域を決定する、ように構成されている、請求項１２１に記載の装置。

【請求項129】

前記中心線と前記関心領域の前記左境界との間の第１の距離が、非定数であり、そして前記中心線と前記関心領域の前記右境界との間の第２の距離も非定数である、請求項１２８に記載の装置。

【請求項130】

前記関心領域が、テーパ形状を有する、請求項１２１に記載の装置。
パーリング形状。

【請求項131】

前記テーパ形状が、可変の曲率を有する、請求項１３０に記載の装置。

【請求項132】

前記テーパ形状が可変の曲がりを有する、請求項１３０に記載の装置。

【請求項133】

前記第１の画像がオブジェクトの画像を備え、そして前記処理ユニットが、前記オブジェクトの前記画像または前記オブジェクトの前記画像の周囲の境界ボックスが、前記関心領域と交差するか否かを決定する、ように構成されている、請求項１２１に記載の装置。

【請求項134】

前記処理ユニットが、前記オブジェクトの前記画像または前記オブジェクトの前記画像の周囲の境界ボックスが、前記関心領域と交差する場合、衝突のリスクを示す第１の情報を決定する、ように構成されている、請求項１３３に記載の装置。

【請求項135】

前記ヴィークルの運転者を観察するように構成されている第２のカメラを、更に、備え、
前記処理ユニットが、前記カメラによって提供される第２の画像に少なくとも部分的に基づいて、前記運転者の状態を示す第２の情報を決定する、ように構成されている、
請求項１３４に記載の装置。

【請求項136】

前記処理ユニットが、（１）衝突のリスクを示す前記第１の情報、および（２）前記運転者の状態を示す前記第２の情報に基づいて、デバイスを動作させるための制御信号を提供するか否かを決定する、ように構成されている、請求項１３５に記載の装置。

【請求項137】

装置によって実行される方法であって、
処理ユニットが、ヴィークル外部の環境を観察するように構成されている第１のカメラによって生成された第１の画像を取得すること、
前記処理ユニットが、前記ヴィークルが走行している道路または車線の中心線を決定すること、および
前記処理ユニットが、前記中心線に基づいて関心領域を決定すること、
を備え、
前記関心領域が、前記中心線の特徴に基づく幾何学的形状を有する、
方法。

【請求項138】

前記ヴィークルが走行している前記道路または前記車線の前記中心線が、ニューラルネットワークモデルを使用して決定される、請求項１３７に記載の方法。

【請求項139】

前記ヴィークルが走行している前記道路または前記車線の前記中心線を決定する行為が、複数の中心線の点を決定することを備える、請求項１３７に記載の方法。

【請求項140】

前記中心線の点が、第１の中心線の点および第２の中心線の点を備え、そして前記関心領域が、前記第１の中心線の点および前記第２の中心線の点に基づいて決定される、請求項１３９に記載の方法。

【請求項141】

前記関心領域を決定する行為が、
前記第１の中心線の点から左へ距離ｄ１にある第１の左側の点を決定すること、
前記第１の中心線の点から右へ前記距離ｄ１にある第１の右側の点を決定すること、
前記第２の中心線の点から左へ距離ｄ２にある第２の左側の点を決定すること、および
第２の中心線の点から右へ前記距離ｄ２にある第２の右側の点を決定すること
を備える、
請求項１４０に記載の方法。

【請求項142】

前記関心領域を決定する行為が、更に、
前記第１の左側の点および前記第２の左側の点に基づいて前記関心領域の左境界を決定すること、および
前記第１の右側の点および前記第２の右側の点に基づいて前記関心領域の右境界を決定すること
を備える、請求項１４１に記載の方法。

【請求項143】

前記中心線の点が、第１のｙ座標を有する第１の中心線の点、第２のｙ座標を有する第２の中心線の点、および第３のｙ座標を有する第３の中心線の点を少なくとも有し、そして
前記第１のｙ座標と前記第２のｙ座標との間の第１の差が、前記第２のｙ座標と前記第３のｙ座標との間の第２の差とは異なる、
請求項１３９に記載の方法。

【請求項144】

前記関心領域を決定する行為が、前記決定された前記中心線に基づいて前記関心領域の左境界を決定すること、および前記決定された前記中心線に基づいて前記関心領域の右境界を決定することを備える、請求項１３７に記載の方法。

【請求項145】

前記中心線と前記関心領域の左境界との間の第１の距離が、非定数であり、そして前記中心線と前記関心領域の右境界との間の第２の距離も非定数である、請求項１４４に記載の方法。

【請求項146】

前記関心領域が、テーパ形状を有する、請求項１３７に記載の方法。

【請求項147】

前記テーパ形状が、可変の曲率を有する、請求項１４６に記載の方法。

【請求項148】

前記テーパ形状が、可変の曲がりを有する、請求項１４６に記載の方法。

【請求項149】

前記第１の画像がオブジェクトの画像を備え、そして前記方法が、前記オブジェクトの前記画像または前記オブジェクトの前記画像の周囲の境界ボックスが、前記関心領域と交差するか否かを決定することを備える、請求項１３７に記載の方法。

【請求項150】

前記オブジェクトの前記画像または前記オブジェクトの前記画像の周囲の境界ボックスが、前記関心領域と交差する場合、衝突のリスクを示す第１の情報を決定することを、更に、備える、請求項１４９に記載の方法。

【請求項151】

前記ヴィークルの運転者を観察するように構成されている第２のカメラを、更に、備え、
前記方法が、前記カメラによって提供される第２の画像に少なくとも部分的に基づいて、前記運転者の状態を示す第２の情報を決定することを、更に、備える、
請求項１５０に記載の方法。

【請求項152】

（１）衝突のリスクを示す前記第１の情報、および（２）前記運転者の状態を示す前記第２の情報に基づいて、デバイスを動作させるための制御信号を提供するか否かを決定することを、更に、備える、請求項１５１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願）
本出願は、２０２１年６月１５日に出願された米国特許出願第１７／３４８，７１５号；２０２１年６月１５日に出願された米国特許出願第１７／３４８，７２７号；および２０２１年６月１５日に出願された米国特許出願第１７／３４８，７３２号の優先権および利益を主張する。

【0002】

本分野は、ヴィークル(vehicle)の動作を支援するデバイス、より詳細には、衝突を予測する、交差点での違反を予測する、またはその両方を行うためのデバイスおよび方法に関する。

【背景技術】

【0003】

ヴィークル外部の道路状況の画像を取得するために、カメラが、ヴィークルで使用されて来ている。例えば、カメラは、対象ヴィークルの走行経路を監視するため、または対象ヴィークルの周囲の他のヴィークルを監視するために、対象ヴィークルに取り付けることができる。

【0004】

カメラ画像を使用して衝突の予測および／または交差点での違反の予測を提供することは望ましいことであろう。また、予測される衝突および／または予測される交差点での違反に応じて、運転者に警告を発すること、および／またはヴィークルを自動的に動作させることも望ましいことであろう。

【0005】

本明細書では、衝突のリスクを決定および追跡するための、および／または交差点での違反のリスクを決定および追跡するための新しい技術が、記載される。また、本明細書では、警報発生器が、運転者に衝突のリスクおよび／または交差点での違反のリスクを警告するように動作するための制御信号を提供する新しい技術も、記載される。

【発明の概要】

【0006】

装置は、ヴィークル外部の環境を観察するように構成されている第１のカメラと、前記ヴィークルの運転者を観察するように構成されている第２のカメラと、前記第１のカメラから第１の画像を受信するように構成されている処理ユニットと、前記第２のカメラからの第２の画像とを含み；前記処理ユニットが、前記第１の画像に少なくとも部分的に基づいてヴィークルとの衝突のリスクを示す第１の情報を決定する、ように構成されていて；前記処理ユニットが、前記第２の画像に少なくとも部分的に基づいて、前記運転者の状態を示す第２の情報を決定する、ように構成されていて；前記処理ユニットが、（１）前記ヴィークルとの衝突のリスクを示す第１の情報と、（２）前記運転者の状態を示す第２の情報とに基づいて、デバイスを動作させるための制御信号を提供するか否かを決定する、ように構成されている。

【0007】

オプションとして、前記処理ユニットは、前記予測される衝突の予想される発生時刻の少なくとも３秒以上前に前記衝突を予測する、ように構成されている。

【0008】

オプションとして、前記処理ユニットは、前記運転者の脳が入力を処理し、そして前記運転者が、前記衝突のリスクを軽減するアクションを実行するのに、十分なリードタイムで前記衝突を予測する、ように構成されている。

【0009】

オプションとして、前記十分なリードタイムは、前記運転者の状態に依存する。

【0010】

オプションとして、衝突のリスクを示す前記第１の情報が、予測される衝突を含み、前記処理ユニットが、前記予測される衝突が発生するまでにかかる推定時間を決定する、ように構成されていて、そして前記処理ユニットが、前記予測される衝突が発生するまでにかかる推定時間が閾値を下回った場合に前記制御信号を提供する、ように構成されている。

【0011】

オプションとして、前記デバイスが、警告発生器を備え、そして前記処理ユニットが、前記予測される衝突が発生するまでにかかる前記推定時間が閾値を下回った場合、前記運転者に対する警告を前記デバイスに提供させる前記制御信号を提供する、ように構成されている。

【0012】

オプションとして、前記デバイスが、ヴィークル制御器を備え、そして前記処理ユニットが、前記予測される衝突が発生するまでにかかる前記推定時間が閾値を下回る場合、前記デバイスに前記ヴィークルを制御させるための制御信号を提供する、ように構成されている。

【0013】

オプションとして、前記閾値が、前記運転者の状態を示す前記第２の情報に基づいて可変である。

【0014】

オプションとして、前記処理ユニットが、前記予測される衝突が発生するのにかかる前記推定時間の減少に対応して、前記予測される衝突が時間的に近づくに連れて、前記可変閾値に関して前記推定時間を繰り返し評価する、ように構成されている。

【0015】

オプションとして、前記閾値が、前記運転者の状態に基づいてリアルタイムで可変である。

【0016】

オプションとして、前記運転者の状態が、前記運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合、前記処理ユニットが、前記閾値を増加させる、ように構成されている。

【0017】

オプションとして、前記予測される衝突が発生するまでにかかる前記推定時間が、前記閾値よりも長い場合、前記処理ユニットが、前記制御信号の提供を少なくとも一時的に保留する、ように構成されている。

【0018】

オプションとして、前記処理ユニットが、前記衝突のリスクのレベルを決定する、ように構成されていて、そして前記処理ユニットが、前記衝突のリスクの前記決定されたレベルに基づいて前記衝突のリスクのレベルを調整する、ように構成されている。

【0019】

オプションとして、前記運転者の状態が注意力散漫である状態を備え、そして前記処理ユニットが、前記運転者が注意力散漫である状態のレベルを決定する、ように構成されていて、そして前記処理ユニットが、前記運転者が注意力散漫である状態の前記決定されたレベルに基づいて前記閾値を調整する、ように構成されている。

【0020】

オプションとして、前記運転者の状態が、前記運転者が運転タスクに注意を払っていることを示す場合、前記閾値は第１の値を有し、そして前記運転者の状態が、前記運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合、前記閾値が第１の値よりも高い第２の値を有する。

【0021】

オプションとして、前記閾値が、前記ヴィークルが、衝突のリスクを軽減するように動作されていることを示すセンサ情報にも基づいている。

【0022】

オプションとして、前記処理ユニットが、（１）前記ヴィークルとの前記衝突のリスクを示す前記第１の情報と、（２）前記運転者の状態を示す前記第２の情報と、（３) 前記ヴィークルが前記衝突のリスクを軽減するように動作されていることを示すセンサ情報とに基づいて、制御信号を提供するか否かを決定する、ように構成されている。

【0023】

オプションとして、前記装置が、第１のモデルを格納する非一時的媒体を更に備え、前記処理ユニットが、前記衝突のリスクを決定するために、前記第１のモデルに基づいて前記第１の画像を処理するように構成されている。

【0024】

オプションとして、前記第１のモデルが、ニューラルネットワークモデルを備える。

【0025】

オプションとして、前記非一時的媒体が、第２のモデルを格納するように構成されていて、そして前記処理ユニットが、前記第２のモデルに基づいて前記第２の画像を処理して、前記運転者の状態を決定する、ように構成されている。

【0026】

オプションとして、前記処理ユニットが、複数のそれぞれの姿勢の分類化に対してメトリック値を決定する、ように構成されていて、そして前記処理ユニットが、１つまたは複数のメトリック値に基づいて、前記運転者が運転タスクに従事しているか否かを決定する、ように構成されている。

【0027】

オプションとして、前記姿勢の分類化が、下を向いている姿勢上を向いている姿勢左を向いている姿勢右を向いている姿勢、携帯電話を使用している姿勢、喫煙をしている姿勢、オブジェクトを保持している姿勢、ステアリングホイールを保持していない姿勢、シートベルトを着用していない姿勢、目を閉じている姿勢、前を見ている姿勢、片手でステアリングホイールを保持している姿勢、両手でステアリングホイールを保持している姿勢、の内の２つ以上を備える。

【0028】

オプションとして、前記処理ユニットが、前記メトリック値を前記それぞれの姿勢の分類化のそれぞれの閾値と比較する、ように構成されている。

【0029】

オプションとして、前記処理ユニットが、前記メトリック値の対応する１つの値が、前記閾値の対応する１つの値またはそれより大である場合、前記運転者が前記姿勢の分類化の１つに属すると決定する、ように構成されている。

【0030】

オプションとして、前記第１のカメラ、前記第２のカメラ、および前記処理ユニットが、前記ヴィークル用のアフターマーケットデバイスの部品として統合されている。

【0031】

オプションとして、前記処理ユニットが、前記第２の画像を処理して、運転者の画像が姿勢の分類化を満たすか否かを決定することによって、前記第２の情報を決定するように構成されていて、そして前記処理ユニットが、前記運転者の画像が前記姿勢の分類化を満たしているか否かに基づいて、前記運転者が運転タスクに従事しているか否かを決定する、ように構成されている。

【0032】

オプションとして、前記処理ユニットが、ニューラルネットワークモデルに基づいて前記第２の画像を処理して、前記運転者の状態を決定する、ように構成されている。

【0033】

オプションとして、前記処理ユニットが、前記第１の画像内のオブジェクトまたは前記オブジェクトの境界ボックスが、関心領域と重なっているか否かを決定する、ように構成されている。

【0034】

オプションとして、前記関心領域が、前記ヴィークルが走行している道路または車線の形状に対応して可変な幾何学的形状を有する。

【0035】

オプションとして、前記処理ユニットが、ヴィークルが走行している道路または車線の中心線を決定するように構成されていて、そして前記関心領域が前記中心線に基づく形状を有する。

【0036】

オプションとして、前記処理ユニットが、前記第１のカメラによって提供されるカメラ画像内の物理的位置のｙ座標に基づいて、前記ヴィークルと物理的位置との間の距離を決定するように構成されていて、前記ｙ座標は、画像座標フレームに関している。

【0037】

装置によって実行される方法は、ヴィークル外部の環境を観察するように構成されている第１のカメラによって生成された第１の画像を取得すること；前記ヴィークルの運転者を観察するように構成されている第２のカメラによって生成された第２の画像を取得すること；前記第１の画像に少なくとも部分的に基づいて、前記ヴィークルとの衝突のリスクを示す第１の情報を決定すること；前記第２の画像に少なくとも部分的に基づいて、前記運転者の状態を示す第２の情報を決定すること；（１）ヴィークルとの衝突のリスクを示す第１の情報と、（２）前記運転者の状態を示す第２の情報とに基づいて、デバイスを動作させるための制御信号を提供するか否かを決定すること、を含む。

【0038】

オプションとして、前記第１の情報が、前記衝突を予測することによって決定され、そして前記衝突が、前記予測される衝突の予想される発生時刻の少なくとも３秒以上前に予測される。

【0039】

オプションとして、前記第１の情報が、前記衝突を予測することによって決定され、前記衝突が、前記運転者の脳が入力を処理し、前記運転者が前記衝突のリスクを軽減するための行動を実行するのに十分なリードタイムをもって予測される。

【0040】

オプションとして、前記十分なリードタイムが、前記運転者の状態に依存している。

【0041】

オプションとして、前記衝突のリスクを示す前記第１の情報が、予測される衝突を備え、前記方法が、更に、前記予測される衝突が発生するまでにかかる推定時間を決定することを備え、そして前記制御信号が、前記予測される衝突が発生するまでにかかる前記推定時間が閾値を下回った場合、前記デバイスに前記制御信号を提供させるために提供される。

【0042】

オプションとして、前記デバイスは、警告発生器を備え、そして前記制御信号は、前記予測される衝突が発生するまでにかかる推定時間が閾値を下回る場合、前記デバイスに前記運転者に対する警告を提供させるために提供される。

【0043】

オプションとして、前記デバイスが、ヴィークル制御器を備え、そして前記制御信号が、予測される衝突が発生するまでにかかる前記推定時間が前記閾値を下回る場合、前記デバイスに前記ヴィークルを制御させるために提供される。

【0044】

オプションとして、前記閾値が、前記運転者の状態を示す前記第２の情報に基づいて可変である。

【0045】

オプションとして、前記予測される衝突が、発生するのにかかる前記推定時間の減少に応じて、前記予測される衝突が時間的に近づくに連れて、前記予測時間が、前記可変閾値に関して繰り返し評価される。

【0046】

オプションとして、前記閾値が、前記運転者の状態に基づいてリアルタイムで可変である。

【0047】

オプションとして、前記運転者の状態が、前記運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合に、前記閾値を増加させることを更に備える。

【0048】

オプションとして、前記方法が、更に、前記予測される衝突が発生するまでにかかる前記推定時間が前記閾値よりも長い場合、前記制御信号の生成を少なくとも一時的に保留することを備える。

【0049】

オプションとして、前記衝突のリスクのレベルを決定すること、および前記決定された衝突のリスクのレベルに基づいて前記閾値を調整することを更に備える。

【0050】

オプションとして、前記運転者の状態が注意力散漫である状態を備え、そして前記方法が、更に、前記運転者が注意力散漫である状態のレベルを決定すること、前記運転者の前記注意力散漫である状態の前記決定されたレベルに基づいて前記閾値を調整することを備える。

【0051】

オプションとして、前記運転者の状態が、前記運転者が運転タスクに注意を払っていることを示す場合、前記閾値が第１の値を有し、そして前記運転者の状態が、前記運転者が注意力散漫である、または前記運転タスクに注意を払っていないことを示す場合、前記閾値が、前記第１の値よりも高い第２の値を有する。

【0052】

オプションとして、前記閾値が、前記ヴィークルが前記衝突のリスクを軽減するように動作されていることを示すセンサ情報にも基づいている。

【0053】

オプションとして、前記デバイスを動作させるための制御信号を提供するか否かを決定する前記行為が、前記ヴィークルが前記衝突のリスクを軽減するように動作されていることを示すセンサ情報に基づいて実行される。

【0054】

オプションとして、前記衝突のリスクを示す前記第１の情報を決定する前記行為が、第１のモデルに基づいて前記第１の画像を処理することを備える。

【0055】

オプションとして、前記第１のモデルが、ニューラルネットワークモデルを備える。

【0056】

オプションとして、前記運転者の状態を示す前記第２の情報を決定する行為が、第２のモデルに基づいて前記第２の画像を処理することを備える。

【0057】

オプションとして、前記方法が、更に、複数のそれぞれの姿勢の分類化に対してメトリック値を決定すること、および１つまたは複数の前記メトリック値に基づいて、前記運転者が運転タスクに従事しているか否かを決定することを備える。

【0058】

オプションとして、前記姿勢の分類化が、下を向いている姿勢、上を向いている姿勢、左を向いている姿勢、右を向いている姿勢、携帯電話を使用している姿勢、喫煙をしている姿勢、オブジェクトを保持している姿勢、ステアリングホイールを保持していない姿勢、シートベルトを着用していない姿勢、目を閉じている姿勢、前を見ている姿勢、片手でステアリングホイールを保持している姿勢、両手でステアリングホイールを保持している姿勢、の内の２つ以上を備える。

【0059】

オプションとして、前記方法が、更に、前記メトリック値を前記それぞれの前記姿勢の分類化に対するそれぞれの閾値と比較することを備える。

【0060】

オプションとして、前記方法は、更に、前記メトリック値の前記対応する１つの値が前記閾値の対応する１つの値より大である場合、前記運転者が前記姿勢の分類化の１つに属すると決定することを備える。

【0061】

オプションとして、前記方法がアフターマーケットデバイスによって実行され、そして前記第１のカメラと前記第２のカメラが、前記アフターマーケットデバイスの一部として統合されている。

【0062】

オプションとして、前記第２の情報が、前記第２の画像を処理して、前記運転者の画像が姿勢の分類化を満たすか否かを決定することによって決定され、そして前記方法が、更に、前記姿勢の分類化を満たすか否かの前記運転者の前記画像に基づいて、前記運転者が運転タスクに従事しているか否かを決定することを備える。

【0063】

オプションとして、前記運転者の状態を示す前記第２の情報を決定する前記行為が、ニューラルネットワークモデルに基づいて前記第２の画像を処理することを備える。

【0064】

オプションとして、前記方法が、更に、前記第１の画像内のオブジェクトまたは前記オブジェクトの境界ボックスが、関心領域と重なっているか否かを決定することを備える。

【0065】

オプションとして、前記関心領域が、前記ヴィークルが走行している道路または車線の形状に対応して可変である幾何学的形状を有する。

【0066】

オプションとして、前記方法は、更に、前記ヴィークルが走行している道路または車線の中心線を決定することを含み、そして前記関心領域が、前記中心線に基づく形状を有する。

【0067】

オプションとして、前記方法は、更に、前記第１のカメラによって提供されるカメラ画像内の前記物理的位置のｙ座標に基づいて、前記ヴィークルと物理的位置との間の距離を決定することを備え、前記ｙ座標が、画像座標フレームに関している。

【0068】

他のさらなる態様および特徴は、以下の詳細な説明を読めば明らかになるであろう。

【0069】

図面は、実施形態の設計および実用性を示していて、同種の要素は共通する参照番号で参照されている。利点および目的がどのように得られるかをより良く理解するために、実施形態のより具体的な説明が、添付の図面を参照して説明される。これらの図面は、例示的な実施形態を示すのみであるので、請求項に記載される発明の範囲を限定するものとみなされるべきではないことは理解されるべきである。

【図面の簡単な説明】

【0070】

【図1】いくつかの実施形態による装置を示す。

【図2A】いくつかの実施形態による図１の装置のブロック図を示す。

【図2B】図２Ａの装置の処理スキームの一例を示す。

【図3】図２の装置のカメラによって捕捉された画像の一例を示す。

【図4】分類器の一例を示す。

【図5】いくつかの実施形態による方法を示す。

【図6】図１のカメラによって捕捉された、様々な分類子の出力である画像の一例を示す。

【図7】図１のカメラによって捕捉された、様々な分類子の出力である画像の一例を示す。

【図8】図１のカメラによって捕捉された、様々な分類子の出力である画像の一例を示す。

【図9】直列に結合された第１のモデルと第２のモデルを有する処理アーキテクチャの一例を示す。

【図10】第２のモデルが受信する特徴情報の一例を示す。

【図11】第２のモデルが受信する特徴情報の他の例を示す。

【図12】いくつかの実施形態に従って図２の装置によって実行される眠気を検出する方法を示す。

【図13】図２Ａの装置を使用して実装することができる処理アーキテクチャの一例を示す。

【図14】いくつかの実施形態によるオブジェクト検出の例を示す。

【図15A】オブジェクト識別子の別の例を示し、特に各オブジェクト識別子が、先行ヴィークルを表すボックスであることを示している。

【図15B】オブジェクト識別子の別の例を示し、特に各オブジェクト識別子が、水平線であることを示している。

【図15C】いくつかの実施形態による先行ヴィークル検出の一例を示す。

【図15D】中心線検出に基づいて関心領域を決定する技術を示す。

【図15E】衝突のリスクのあるオブジェクトを検出する、図１５Ｄの関心領域を使用する利点を示す。

【図16】先行ヴィークルとの衝突に関する３つの例示的なシナリオを示す。

【図17】検出されるオブジェクトが人間であるオブジェクト検出の別の例を示す。

【図18】人の移動の予測の例を示す。

【図19A】検出されるオブジェクトが交差点に関連付けられているオブジェクト検出の他の例を示す。

【図19B】検出されるオブジェクトが交差点に関連付けられているオブジェクト検出の他の例を示す。

【図19C】制動距離の概念を示す。

【図20】対象ヴィークルとヴィークル前方位置との距離を決定する技術を示す。

【図21】ヴィークルを制御するため、および／または運転者への警告を発生させるための制御信号を生成する技術の一例を示す。

【図22A】いくつかの実施形態による衝突予測が含まれる方法を示す。

【図22B】いくつかの実施形態による交差点での違反の予測を伴う方法を示す。

【図23】いくつかの実施形態による図２Ａの装置によって使用されるモデルを決定する技術を示す。

【図24】本明細書で説明される１つまたは複数の電子デバイスを実装するための特殊な処理システムを示す。

【発明を実施するための形態】

【0071】

以下、図面を参照して様々な実施形態を説明する。図面は、一定の縮尺で描かれていることもあればそうでないこともあり、そして同種の構造または機能の要素は、図面全体を通じて同様の参照番号で表されていることに留意されたい。また、図は、実施形態の説明を容易にすることだけを目的としていることに留意されたい。これらは、特許請求の範囲に記載された発明の網羅的な説明、または特許請求の範囲に記載された発明の範囲を限定することを意図していない。更に、図示された実施形態が、図示された本発明の全ての態様または利点を有する必要はない。特定の実施形態に関連して説明される態様または利点は、必ずしもその実施形態に限定されるわけではなく、例え図示されていなくても、または明示的に説明されていなくても、他の実施形態においても実施させることができる。

【0072】

図１は、いくつかの実施形態による装置２００を示す。装置２００は、ヴィークルのフロントガラス、ヴィークルのバックミラー等に取り付けられる、ように構成されている。装置２００は、ヴィークル外部を見るように構成されている第１のカメラ２０２と、ヴィークルの車室内を見るように構成されている第２のカメラ２０４とを含む。図示の実施形態では、装置２００は、ヴィークルに取り付けることができるアフターマーケットデバイス（すなわち、ヴィークルの製造プロセスからオフラインのデバイス）の形態にある。装置２００は、装置２００をヴィークルに結合させるように構成されているコネクタを含むことができる。非限定的な例として、コネクタは、吸盤、接着剤、クランプ、１つまたは複数のネジ等とすることができる。コネクタは、装置２００をヴィークルに取り外し可能に固定するように構成することもできる。この場合、装置２００は、必要に応じて、ヴィークルから選択的に取り外す、および／またはヴィークルに結合させることができる。これに代えて、コネクタは、装置２００をヴィークルに永久的に固定するように構成することもできる。他の実施形態では、装置２００は、ヴィークルの製造プロセス中に取り付けられるヴィークルの構成要素とすることができる。装置２００は、この例に示された構成を有することに限定されず、そして他の実施形態では、装置２００が他の構成を有することができることに留意されたい。例えば、他の実施形態では、装置２００は、異なるフォームファクタを有することができる。他の実施形態では、装置２００は、１つまたは複数のカメラを有する携帯電話、タブレットの様なエンドユーザデバイスとすることができる。

【0073】

図２Ａは、いくつかの実施形態による図１の装置２００のブロック図を示す。装置２００は、第１のカメラ２０２および第２のカメラ２０４を含む。図示されるように、装置２００は、また、第１のカメラ２０２および第２のカメラ２０４に結合された処理ユニット２１０、データを格納するように構成されている非一時的媒体２３０、処理ユニット２１０に接続された通信ユニット２４０、および処理ユニット２１０に接続されたスピーカ２５０も含む。

【0074】

図示された実施形態では、第１のカメラ２０２、第２のカメラ２０４、処理ユニット２１０、非一時的媒体２３０、通信ユニット２４０、およびスピーカ２５０は、ヴィークルのアフターマーケットデバイスの一部として統合させることができる。他の実施形態では、第１のカメラ２０２、第２のカメラ２０４、処理ユニット２１０、非一時的媒体２３０、通信ユニット２４０、およびスピーカ２５０は、ヴィークルに一体化させることができ、そしてヴィークルの製造工程中にヴィークルに取り付けることができる。

【0075】

処理ユニット２１０は、第１のカメラ２０２からの画像と第２のカメラ２０４からの画像を取得し、そして第１および第２のカメラ２０２、２０４からの画像を処理する、ように構成されている。いくつかの実施形態では、第１のカメラ２０２からの画像は、ヴィークルの外部の環境を監視するために（例えば、衝突検出、衝突防止、運転環境監視等のために）処理ユニット２１０によって処理させることができる。また、いくつかの実施形態では、第２のカメラ２０４からの画像は、運転者の運転行動（例えば、運転者が、注意力散漫である、眠気を催している、集中しているか等）を監視するために、処理ユニット２１０によって処理させることができる。さらなる実施形態では、処理ユニット２１０は、第１のカメラ２０２および／または第２のカメラ２０４からの画像を処理して、衝突のリスクを決定し、衝突を予測し、運転者に警告を提供する等をすることができる。他の実施形態では、装置２００は、第１のカメラ２０を含まなくてもよい。このような場合、装置２００は、ヴィークルの車室内の環境のみを監視する、ように構成されている。

【0076】

装置２００の処理ユニット２１０は、ハードウェア、ソフトウェア、または両方の組み合わせを含むことができる。非限定的な例として、処理ユニット２１０のハードウェアは、１つまたは複数のプロセッサおよび／または複数の集積回路を含むことができる。いくつかの実施形態では、処理ユニット２１０は、モジュールとして実装することができ、および／または任意の集積回路の一部とすることができる。

【0077】

非一時的媒体２３０は、処理ユニット２１０の動作に関連するデータを格納する、ように構成されている。図示の実施形態では、非一時的媒体２３０は、処理ユニット２１０が、カメラ２０４からの画像に現れる運転者の姿勢を識別するため、および／または運転者が運転タスクに従事しているか否かを決定するためにアクセスして使用することができるモデルを格納する、ように構成されている。これに代えて、モデルが、運転者の姿勢を識別し、および／または運転者が運転タスクに従事しているか否かを決定する機能を有するように、処理ユニット２１０を構成することもできる。オプションとして、非一時的媒体２３０は、第１のカメラ２０２からの画像および／または第２のカメラ２０４からの画像を保存するように構成することもできる。また、いくつかの実施形態では、非一時的媒体２３０は、処理ユニット２１０によって生成されたデータを保存するように構成することもできる。

【0078】

一時的媒体２３０に格納されるモデルは、ニューラルネットワークモデルを含むが、これに限定されない、任意の計算モデルまたは処理モデルとすることができる。いくつかの実施形態では、モデルは、特徴抽出パラメータを含むことができる。処理ユニット２１０は、これに基づいて、運転者の頭、帽子、顔、鼻、モービルデバイスの様なオブジェクトを識別するために、カメラ２０４によって提供される画像から特徴を抽出することが出来る。また、いくつかの実施形態では、モデルは、プログラム命令、コマンド、スクリプト等を含むことができる。一実装形態では、モデルは、装置２００が無線で受信することが出来るアプリケーションの形式とすることができる。

【0079】

装置２００の通信ユニット２４０は、クラウド、インターネット、ブルートゥースネットワークの様なネットワークから無線でデータを受信する、ように構成されている。いくつかの実施形態では、通信ユニット２４０は、また、無線でデータを送信するように構成することもできる。例えば、第１のカメラ２０２からの画像、第２のカメラ２０４からの画像、処理ユニットによって生成されたデータ、またはこれらの任意の組み合わせは、通信ユニット２４０によって別のデバイス（例えば、サーバ、アクセサリデバイス）に送信させることができる。いくつかの実施形態では、通信ユニット２４０は、１つまたは複数のアンテナを含むことができる。例えば、通信ユニット２４０は、長距離通信を提供するように構成されている第１のアンテナと、（ブルートゥースを介する様な）近距離通信を提供するように構成されている第２のアンテナとを含むことができる。他の実施形態では、通信ユニット２４０は、ケーブルまたは電気接点を介して物理的にデータを送信および／または受信するように構成することができる。このような場合、通信ユニット２４０は、データ送信装置と結合するように構成されている１つ以上の通信コネクタを含むことができる。例えば、通信ユニット２４０は、ケーブルと結合するように構成されているコネクタ、ＵＳＢドライブを受け入れるように構成されているＵＳＢスロット、メモリカードを受け入れるように構成されているメモリカードスロット等を含むことができる。

【0080】

装置２００のスピーカ２５０は、ヴィークルの運転者に音声警告および／またはメッセージを提供する、ように構成されている。例えば、いくつかの実施形態では、処理ユニット２１０は、ヴィークルとヴィークル外部のオブジェクトとの間の差し迫った衝突を検出するように構成することができる。このような場合、差し迫った衝突の検出に応答して、処理ユニット２１０は、スピーカ２５０に音声警告および／またはメッセージを出力させるための制御信号を生成することができる。別の例として、いくつかの実施形態では、処理ユニット２１０は、運転者が運転タスクに従事しているか否かを決定するように構成することができる。運転者が、運転タスクに従事していない場合、または所定の期間（例えば、２秒、３秒、４秒、５秒等）運転タスクに従事していない場合、処理ユニット２１０は、スピーカ２５０に、音声警告および／またはメッセージを出力させる制御信号を生成することができる。

【0081】

装置２００は、第１のカメラ２０２および第２のカメラ２０４を有するものとして説明されているが、他の実施形態では、装置２００は、第１のカメラ２０２ではなく、第２のカメラ（キャビンカメラ）２０４のみを含むことができる。他の実施形態では、装置２００は、ヴィークル内部の客室を観察するように構成されている複数のカメラを含むことができる。

【0082】

図２Ａに示されるように、処理ユニット２１０は、運転者監視モジュール２１１、オブジェクト検出器２１６、衝突予測器２１８、交差点での違反予測器２２２および信号生成制御器も含む。運転者監視モジュール２１１は、第２のカメラ２０４によって提供される１つまたは複数の画像に基づいてヴィークルの運転者を監視する、ように構成されている。いくつかの実施形態では、運転者監視モジュール２１１は、運転者の１つ以上の姿勢を決定する、ように構成されている。また、いくつかの実施形態では、運転者監視モジュール２１１は、運転者が覚醒している、眠気を催している、運転タスクに注意を払っている様な、運転者の状態を決定する、ように構成することができる。場合によっては、運転者自体の姿勢を、運転者の状態と考えることもできる。

【0083】

オブジェクト検出器２１６は、第１のカメラ２０２によって提供される１つまたは複数の画像に基づいて、ヴィークル外部の環境にある１つまたは複数のオブジェクトを検出する、ように構成されている。非限定的な例では、検出されるオブジェクトは、ヴィークル（例：自動車、オートバイ等）、車線の境界線、人間、自転車、動物、道路標識（例：一時停止標識、道路標識、方向転換禁止標識等）、信号機、道路標示（例：停止線、車線分割線、道路に描かれた文字等）等である。いくつかの実施形態では、検出されるヴィークルは、対象ヴィークルと同じ車線内を走行中の対象ヴィークルの前方のヴィークルである先行ヴィークルとすることができる。

【0084】

衝突予測器２１８は、オブジェクト検出器２１６からの出力に基づいて衝突のリスクを決定する、ように構成されている。例えば、いくつかの実施形態では、衝突予測器２１８は、先行ヴィークルとの衝突のリスクがあると決定し、そして衝突のリスクを示す情報を出力することができる。いくつかの実施形態では、衝突予測器２１８は、ヴィークルの速度、ヴィークルの加速度、ヴィークルのターン角度、ヴィークルのターン方向、ヴィークルのターン方向、ヴィークルのブレーキ、ヴィークルの進行方向、またはこれらの組み合わせの様なヴィークルの状態を示すセンサ情報をオプションで取得することもできる。このような場合、衝突予測器２１８は、オブジェクト検出器２１６からの出力に基づいて、そして取得されたセンサ情報にも基づいて、衝突のリスクを決定する、ように構成することができる。また、いくつかの実施形態では、衝突予測器２１８は、対象ヴィークルとオブジェクト（例：先行ヴィークル）との間の相対速度を決定し、そして決定された相対速度に基づいて衝突のリスクがあると決定する、ように構成することができる。いくつかの実施形態では、衝突予測器２１８は、対象ヴィークルの速度、移動オブジェクトの速度、対象ヴィークルの走行経路、および移動オブジェクトの走行経路を決定し、そしてこれらのパラメータに基づいて衝突のリスクが存在すると決定する、ように構成することができる。例えば、オブジェクトが、対象ヴィークルの進路と交差する経路に沿って移動していて、そしてそれぞれの速度に基づいてオブジェクトと対象ヴィークルが衝突するまでにかかる時間が、時間閾値より短い場合、衝突予測器２１８は、衝突のリスクがあると決定することができる。対象ヴィークルと衝突する可能性のあるオブジェクトは、移動オブジェクト（例：自動車、オートバイ、自転車、歩行者、動物等）に限定されず、そして衝突予測器２１８は、駐車中の車、道路標識、電柱、建物、樹木、郵便ポスト等の様な動かないオブジェクトと衝突するリスクの決定を行うように構成することができることに留意されたい。

【0085】

いくつかの実施形態では、衝突予測器２１８は、予測される衝突が発生するまでにかかる時間を決定し、そしてその時間を閾値時間と比較する、ように構成することができる。この時間が閾値時間より短い場合、衝突予測器２１８は、対象ヴィークルと衝突するリスクがあると決定することができる。いくつかの実施形態では、衝突のリスクを特定するための閾値時間は、少なくとも：２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、１５、１６、１７、１８、１９、２０秒、またはそれ以上とすることできる。いくつかの実施形態では、衝突を予測するとき、衝突予測器２１８は、対象ヴィークルの速度、加速度、進行方向、ブレーキ動作、またはこれらの任意の組み合わせを考慮することができる。オプションとして、衝突予測器２１８は、ヴィークルと衝突すると予測される検出されたオブジェクトの速度、加速度、進行方向、またはこれらの任意の組み合わせを考慮することもできる。

【0086】

交差点での違反予測器２２２は、オブジェクト検出器２１６からの出力に基づいて交差点での違反のリスクを決定する、ように構成されている。例えば、いくつかの実施形態では、交差点での違反予測器２２２は、対象ヴィークルが、一時停止標識または赤信号が関係する目標エリアで一時停止することができないリスクを決定することができ、そしてこのような交差点での違反のリスクを示す情報を出力する。いくつかの実施形態では、交差点での違反予測器２２２は、ヴィークルの速度、ヴィークルの加速度、ヴィークルのターン角、ヴィークルのターン方向、ヴィークルの制動、またはこれらの任意の組み合わせの様なヴィークルの状態を示すセンサ情報をオプションで取得することもできる。このような場合、交差点での違反予測器２２２は、オブジェクト検出器２１６からの出力に基づいて、そして取得されたセンサ情報にも基づいて、交差点での違反のリスクを決定するように構成することができる。

【0087】

また、いくつかの実施形態では、交差点での違反予測器２２２は、対象ヴィークルが停止すると予想される目標エリア（例：停止線）を決定し、対象ヴィークルと目標エリアとの間の距離を決定し、そして距離を閾値距離と比較する、ように構成することができる。距離が閾値距離未満である場合、交差点での違反予測器２２２は、交差点での違反のリスクがあると決定することができる。

【0088】

他の実施形態では、交差点での違反予測器２２２は、対象ヴィークルが停止すると予想される目標エリア（例：停止線）を決定し、ヴィークルが目標に到達するのにかかる時間を決定し、そしてこの時間を閾値時間と比較するように構成することができる。この時間が閾値時間より短い場合、交差点での違反予測器２２２は、交差点での違反のリスクがあると決定することができる。いくつかの実施形態では、交差点での違反のリスクを特定するための閾値時間は、少なくとも：２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、１５、１６、１７、２８、１９、２０秒以上とすることができる。いくつかの実施形態では、交差点での違反を予測する際、交差点での違反予測器２２２は、対象ヴィークルの速度、加速度、進行方向、ブレーキ動作、またはこれらの任意の組み合わせを考慮することができる。

【0089】

交差点での違反は一時停止標識および赤信号の違反に限定されず、そして交差点での違反予測器２２２は、ヴィークルが道路を逆方向に進入する、ヴィークルが「ターンすることが赤信号」である交差点をターンする等の様な他の交差点での違反のリスクを決定するように構成することができることに留意されたい。

【0090】

いくつかの実施形態では、信号生成制御器２２４は、衝突予測器２１８からの出力および運転者監視モジュールからの出力に基づいて、制御信号を生成するか否かを決定する、ように構成されている。これに代えてまたは加えて、信号生成制御器２２４は、交差点での違反予測器２２２からの出力に基づいて、そしてオプションとして運転者監視モジュールからの出力にも基づいて、制御信号を生成するか否かを決定する、ように構成されている。いくつかの実施形態では、信号生成制御器２２４は、ヴィークルの１つまたは複数のセンサによって提供されるセンサ情報にも基づいて、制御信号を生成するか否かを決定する、ように構成されている。

【0091】

いくつかの実施形態では、制御信号は、予測される衝突が発生するまでにかかる推定時間が閾値（動作閾値）を下回る場合に、デバイス（例：警告発生器）が運転者に警告を発する、ように構成されている。例えば、警告発生器は、運転者に警告するために、音声信号、視覚信号、機械的振動（ステアリングホイールの震動）、またはこれらの任意の組み合わせを出力することができる。これに代えてまたは加えて、制御信号は、予測される衝突が発生するまでにかかる推定時間が閾値（動作閾値）を下回る場合、デバイス（例：ヴィークル制御器）に、ヴィークルを制御させる、ように構成されている。例えば、ヴィークル制御器は、ヴィークルのブレーキを自動的に掛けたり、アクセルペダルを自動的に解除したり、ハザードランプを自動的に動作させたり、またはこれらの任意の組み合わせを行うことができる。いくつかの実施形態では、信号生成制御器２２４は、運転者に警告を与える第１の制御信号を提供する、ように構成することができる。運転者が衝突のリスクを軽減するための行動をとらない場合、信号生成制御器２２４は、ヴィークル制御器に、ヴィークルのブレーキを自動的にかける様に、ヴィークルを制御させる第２の制御信号を提供することができる。

【0092】

いくつかの実施形態では、信号生成制御器２２４は、衝突予測器２１８および交差点での違反予測器２２２とは別個のコンポーネント（例：モジュール）とすることができる。他の実施形態では、信号生成制御器２２４または信号生成制御器２２４の少なくとも一部は、衝突予測器２１８および／または交差点での違反予測器２２２の一部として実装することができる。また、いくつかの実施形態では、衝突予測器２１８および交差点での違反予測器２２２は、一体に統合することができる。

【0093】

使用中、装置２００は、第１のカメラ２０２がヴィークル外部を観察し、そして第２のカメラ２０４がヴィークル内の運転者を観察するように、ヴィークルに結合されている。運転者がヴィークルを動作させている間、第１のカメラ２０２は車外の画像を撮影し、そして第２のカメラ２０４はヴィークル内部の画像を捕捉する。図２Ｂは、装置２００の処理スキームの一例を示す。図示されるように、装置２００の使用中、第２のカメラ２０４は、運転者監視モジュール２１１への入力画像を提供する。運転者監視モジュール２１１は、画像を分析して、対象ヴィークルの運転者の１つまたは複数の姿勢を決定する。非限定的な例として、１つまたは複数の姿勢は、下を向いている姿勢、上を向いている姿勢、左を向いている姿勢、右を向いている姿勢、携帯電話を使用している姿勢、喫煙をしている姿勢、オブジェクトを保持している姿勢、ステアリングホイールを保持していない姿勢、シートベルトを着用していない姿勢、目を閉じている姿勢、前を見ている姿勢、片手でステアリングホイールを保持している姿勢、両手でステアリングホイールを保持している姿勢、の内の２つ以上を含むことができる。いくつかの実施形態では、運転者監視モジュール２１１は、決定された運転者の姿勢に基づいて運転者の１つまたは複数の状態を決定する、ように構成することができる。例えば、運転者監視モジュール２１１は、運転者の決定された１つ以上の姿勢に基づいて、運転者が注意力散漫であるか否かを決定することができる。別の例として、運転者監視モジュール２１１は、運転者の決定された１つ以上の姿勢に基づいて、運転者が眠気を催しているか否かを決定することができる。いくつかの実施形態では、運転者が特定の姿勢（例：携帯電話を使用している姿勢）をしている場合、運転者監視モジュール２１１は、運転者が注意力散漫であると決定することができる。また、いくつかの実施形態では、運転者監視モジュール２１１は、一定期間に渡る運転者の姿勢の分類化のシーケンスを分析して、運転者が眠気を催しているか否かを決定することができる。

【0094】

第１のカメラ２０２は、オブジェクト検出器２１６への入力として画像を提供する。オブジェクト検出器２１６は、画像を分析して画像内の１つまたは複数のオブジェクトを検出する。図示されるように、オブジェクト検出器２１６は、異なるタイプのオブジェクトを検出するように構成されている異なる検出器を備える。特に、オブジェクト検出器２１６は、対象ヴィークル外部のヴィークルを検出するように構成されているヴィークル検出器２６０と、人間、人が乗った自転車、動物の様な脆弱なオブジェクトを検出するように構成されている脆弱オブジェクト検出器２６２と、交差点を識別するために１つ以上のアイテム（一時停止標識、信号機、横断歩道標識等) を検出する交差点検出器２６４とを有する。いくつかの実施形態では、オブジェクト検出器２１６は、異なるそれぞれのモデルに基づいて、異なるタイプのオブジェクトを決定するように構成することができる。このモデルは、例えば、ヴィークルを検出するように構成されているヴィークル検出モデル、人間を検出するように構成されている人間検出モデル、動物を検出するように構成されている動物検出モデル、信号機を検出するように構成されている信号機検出モデル、道路の中心線を検出するように構成されている一時停止標識検出モデル等とすることができる。いくつかの実施形態では、異なるモデルは、異なるそれぞれのタイプのオブジェクトを検出するように訓練された異なるそれぞれのニューラルネットワークモデルとすることができる。

【0095】

ヴィークル検出器２６０は、対象ヴィークル外部のヴィークルを検出し、検出されたヴィークルに関する情報（ヴィークル識別子、ヴィークル位置等）をモジュール２２１に提供する、ように構成されている。モジュール２２１は、衝突予測器２１８および／または交差点での衝突予測器２２２とすることができる。モジュール２２１は、検出されたヴィークルの１つまたは複数を追跡するように構成されているオブジェクト追跡器２６６、予測される衝突の進路を決定するように構成されている進路予測器２６８、および推定される衝突が発生するまでにかかる時間を推定するように構成されている衝突／交差までの時間（ＴＴＣ:time to collision/crossing）モジュール２６９を含む。いくつかの実施形態では、オブジェクト追跡器２６６は、対象ヴィークルの前を走行している先行ヴィークルを識別する、ように構成されている。また、いくつかの実施形態では、進路予測器２６８は、識別された先行ヴィークルおよびセンサ２２５からのセンサ情報に基づいて、予測される衝突の進路を決定する、ように構成されている。例えば、対象ヴィークルの速度および対象ヴィークルの進行方向に基づいて、進路予測器２６８は、予測される衝突の進路を決定することができる。ＴＴＣモジュール２６９は、予測される衝突進路に関する情報およびセンサ２２５からのセンサ情報に基づいて、推定される衝突が発生するまでにかかる時間を計算する、ように構成されている。例えば、ＴＴＣモジュール２６９は、衝突経路の距離および先行ヴィークルと対象ヴィークルとの相対速度に基づいてＴＴＣ（衝突までの時間）を計算することができる。信号生成制御器２２４は、モジュール２２１からの出力およびＴＴＣモジュール２６９からの出力に基づいて、運転者に警告を与えるために警告発生器を動作させるための制御信号を生成するか否か、および／またはヴィークルを制御するために（例：アクセルペダル動作を自動的に解除する、ブレーキをかける等のために）ヴィークル制御器を動作させるための制御信号を生成するか否かを決定する、ように構成されている。いくつかの実施形態では、ＴＴＣが閾値（例：３秒）を下回る場合、信号生成制御器２２４は、警報発生器および／またはヴィークル制御器を動作させるための制御信号を生成する。また、いくつかの実施形態では、閾値は、運転者監視モジュール２１１からの出力に基づいて調整可能とすることができる。例えば、運転者監視モジュール２１１からの出力が、運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合、信号生成制御器２２４は、閾値を増加（例：閾値を５秒にする）させることもできる。このようにして、信号生成制御器２２４は、先行ヴィークルとのＴＴＣが５秒未満のときに制御信号を提供するであろう。

【0096】

モジュール２２１は、先行ヴィークルとの衝突を予測することに限定されず、そしてモジュール２２１は、他のヴィークルとの衝突も予測するように構成することができることに留意されたい。例えば、いくつかの実施形態では、モジュール２２１は、交差点に接近するヴィークル、対象ヴィークルの車線に向かって合流するヴィークル等、対象ヴィークルの経路に向かって走行しているヴィークルを検出するように構成することができる。これらの状況では、進路予測器２６８は、対象ヴィークルの進路および他のヴィークルの進路を決定し、そして２つの進路が交差する点も決定する。ＴＴＣモジュール２６９は、交差する点の位置、他のヴィークルの速度、および対象ヴィークルの速度に基づいてＴＴＣを決定する、ように構成されている。

【0097】

脆弱オブジェクト検出器２６２は、対象ヴィークル外部の脆弱オブジェクトを検出し、そして検出されたオブジェクトに関する情報（オブジェクト識別子、オブジェクトの位置等）をモジュール２２１に提供する、ように構成されている。例えば、脆弱オブジェクト検出器２６２は、対象ヴィークル外部の人間を検出し、そしてこの検出された人間に関する情報をモジュール２２１に提供する。モジュール２２１は、検出されたオブジェクト（例：人間）の内の１つまたは複数を追跡するように構成されているオブジェクト追跡器２６６、予測される衝突の進路を決定するように構成されている進路予測器２６８、および予測される衝突が発生するまでにかかる時間を推定するように構成されている衝突／交差までの時間（ＴＴＣ:time to collision/crossing)モジュール２６９を含む。人間、動物、自転車に乗る人の様な特定のオブジェクトは、予測不可能な移動をする可能性があるので、いくつかの実施形態では、進路予測器２６８は、検出されたオブジェクトの可能性がある位置を示すために、検出されたオブジェクトの画像を囲むボックスを決定する、ように構成されている。いくつかの実施形態では、進路予測器２６８は、識別されたオブジェクト（例：人間）を囲むボックスおよびセンサ２２５からのセンサ情報に基づいて、予測される衝突の進路を決定する、ように構成されている。例えば、対象ヴィークルの速度、対象ヴィークルの進行方向、および識別されたオブジェクトを囲むボックスに基づいて、進路予測器２６８は、対象ヴィークルの現在の進行経路がボックスと交差すると決定することができる。この様な場合、衝突予測進路が対象ヴィークルの走行経路となり、衝突予測位置は、対象ヴィークルの進行経路とオブジェクトを囲むボックスとの交点となるであろう。ＴＴＣモジュール２６９は、予測される衝突進路に関する情報およびセンサ２２５からのセンサ情報に基づいて、推定される衝突が発生するまでにかかる時間を計算する、ように構成されている。例えば、ＴＴＣモジュール２６９は、衝突進路の距離と、先行ヴィークルと人間との間の相対速度とに基づいてＴＴＣ（衝突／交差までの時間)を計算することができる。信号生成制御器２２４は、モジュール２２１からの出力およびＴＴＣモジュール２６９からの出力に基づいて、運転者に警告を与えるために警告発生器を動作させるための制御信号を生成するか否か、および／またはヴィークルを制御するために（例：アクセルペダル動作を自動的に解除する、ブレーキをかける等のために）ヴィークル制御器を動作させるための制御信号を生成するか否かを決定する、ように構成されている。いくつかの実施形態では、ＴＴＣが閾値（例：３秒）未満である場合、信号生成制御器２２４は、警報発生器および／またはヴィークル制御器を動作させるための制御信号を生成する。また、いくつかの実施形態では、閾値は、運転者監視モジュール２１１からの出力に基づいて調整することが可能である。例えば、運転者監視モジュール２１１からの出力が、運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合、信号生成制御器２２４は、閾値を増加させる（例：閾値を５秒にする）ことができる。この場合、信号生成制御器２２４は、オブジェクトとのＴＴＣが５秒未満になると制御信号を提供するであろう。

【0098】

モジュール２２１は、人間との衝突を予測することに限定されず、そしてモジュール２２１は、他のオブジェクトとの衝突も予測するように構成することができることに留意されたい。例えば、いくつかの実施形態では、モジュール２２１は、動物、自転車に乗る人、ローラースケートをする人、スケートボードに乗る人等を検出するように構成することができる。これらの状況では、進路予測器２６８は、対象ヴィークルの進路のみならず、検出されたオブジェクト（自転車に乗る人の様に、オブジェクトが一方向に移動している場合) の進路、および２つの進路が交差する点も決定する。他のケースでは、オブジェクトの移動が（動物の様に）より予測不可能である場合、進路予測器２６８は、対象ヴィークルの経路と、オブジェクトの可能性がある位置の範囲を囲むボックスとを決定し、そして同様に説明したように、対象ヴィークルとボックスの経路が交差する点を決定することができる。ＴＴＣモジュール２６９は、交差点の位置および対象ヴィークルの速度に基づいてＴＴＣを決定する、ように構成されている。

【0099】

交差点検出器２６４は、交差点を示す、対象ヴィークルの外部の１つまたは複数のオブジェクトを検出し、そして交差点に関する情報（交差点のタイプ、ヴィークルに必要な停止位置等）をモジュール２２１に提供する、ように構成されている。非限定的な例として、交差点を示す１つまたは複数のオブジェクトは、信号機、一時停止標識、道路標示等、またはこれらの任意の組み合わせを含むことができる。また、交差点検出器２６４によって検出できる交差点は、一時停止標識交差点、信号交差点、鉄道線路との交差点等を含むことができる。モジュール２２１は、予測される交差点での違反の進路を決定するように構成されている進路予測器２６８と、推定される交差点での違反が発生するまでにかかる時間を推定するように構成されている衝突／交差までの時間（ＴＴＣ)モジュール２６９とを含む。ＴＴＣモジュール２６９は、ヴィークルが停止するのに必要な位置およびセンサ２２５からのセンサ情報に基づいて、推定される交差点での違反が発生するまでにかかる時間を計算する、ように構成されている。例えば、ＴＴＣモジュール２６９は、進路の距離（例：ヴィークルの現在位置とヴィークルが停止するのに必要な位置との間の距離）と対象ヴィークルの速度とに基づいてＴＴＣ（Time To Crossing）を計算する。いくつかの実施形態では、必要な停止位置は、オブジェクト検出器２１６が道路上の停止線標識を検出することによって決定させることができる。他の実施形態では、停止線標識が道路上に存在しない場合があり得る。このような場合、進路予測器２６８は、必要な停止位置を示す仮想線または図形線を決定することができる。信号生成制御器２２４は、モジュール２２１からの出力およびＴＴＣモジュール２６９からの出力に基づいて、運転者に警告を与えるために警告発生器を動作させるための制御信号を生成するか否か、および／またはヴィークルを制御するために（例：アクセルペダル動作を自動的に解除する、ブレーキをかける等のために）ヴィークル制御器を動作させるための制御信号を生成するか否かを決定する、ように構成されている。いくつかの実施形態では、ＴＴＣが閾値（例：３秒）未満になると、信号生成制御器２２４は、警報発生器および／またはヴィークル制御器を動作させるための制御信号を生成する。また、いくつかの実施形態では、閾値は、運転者監視モジュール２１１からの出力に基づいて調整することができる。例えば、運転者監視モジュール２１１からの出力が、運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合、信号生成制御器２２４は、閾値を増加させる（例：閾値を５秒にする）ことができる。このようにして、信号生成制御器２２４は、交差点を交差するまでの時間が５秒未満の場合、制御信号を提供するであろう。

【0100】

いくつかの実施形態では、別のヴィークルとの予測される衝突、オブジェクトとの予測される衝突、または予測される交差点での違反に関して、信号生成制御器２２４は、運転者監視モジュール２１１の出力により示される運転者の状態のタイプに基づいて制御信号の生成に異なる閾値を適用する、ように構成することができる。例えば、運転者監視モジュール２１１の出力が、運転者が携帯電話を見ていることを示す場合、信号生成制御器２２４は、制御信号が、５秒の閾値を満たすまたはそれ以下であることに応答して、警報発生器を動作させるおよび／またはヴィークル制御を動作させる制御信号を生成することができる。一方、運転者監視モジュール２１１の出力が、運転者が眠気を催していることを示す場合、信号生成制御器２２４は、ＴＴＣが８秒の閾値を下回っている（例：運転者が携帯電話を使用している場合の閾値より長い）ことに応答して、警報発生器を動作させるおよび／またはヴィークル制御を動作させるための制御信号を生成することができる。場合によっては、運転者の特定の状態（運転者が眠い状態または眠気を催している状態）により、運転者が、差し迫った衝突に反応するのに時間がかかるので、運転者に警告するためおよび／またはヴィークル制御を動作させるために、（ＴＴＣ値と比較して）より長い時間閾値が、必要になる。従って、信号生成制御器２２４は、これらの状況における予測される衝突に応じて、運転者に警告し、および／またはヴィークル制御器をより早く動作させることができる。

【0101】

運転者状態の決定

【0102】

本明細書に記載されているように、第２のカメラ２０４は、車内の運転者を観察する、ように構成されている。運転者がヴィークルを動作させている間、第１のカメラ２０２はヴィークル外部の画像を撮影し、第２のカメラ２０４はヴィークル内部の画像を撮影する。図３は、図２の装置２００の第２のカメラ２０４によって捕捉された画像３００の一例を示す。図示されるように、第２のカメラ２０２からの画像３００は、対象ヴィークル（装置２００を搭載したヴィークル）を動作させる運転者３１０の画像を含むことができる。処理ユニット２１０は、カメラ２０２からの画像（例：画像３００）を処理し、そして運転者が運転タスクに従事しているか否かを決定する、ように構成されている。非限定的な例として、運転タスクは、対象ヴィークルの前方の道路または環境に注意を払っていること、ステアリングホイールを保持していること等とすることができる。

【0103】

図４を参照すると、いくつかの実施形態では、処理ユニット２１０は、カメラ２０２からの運転者の画像３００を処理し、そして運転者が特定の姿勢の分類化に属するか否かを決定する、ように構成されている。非限定的な例として、姿勢の分類化は、下を向いている姿勢、上を向いている姿勢、左を向いている姿勢、右を向いている姿勢、携帯電話を使用している姿勢、喫煙をしている姿勢、オブジェクトを保持している姿勢、ステアリングホイールを保持していない姿勢、シートベルトを着用していない姿勢、目を閉じている姿勢、前を見ている姿勢、片手でステアリングホイールを保持している姿勢、両手でステアリングホイールを保持している姿勢、の内の２つ以上を含むことができる。また、いくつかの実施形態では、処理ユニット２１０は、１つまたは複数の姿勢の分類化に基づいて、運転者が運転タスクに従事しているか否かを決定する、ように構成されている。例えば、運転者の頭が下を「見て」いて、そして運転者が携帯電話を保持している場合、処理ユニット２１０は、運転者が運転タスクに従事していない（すなわち、運転者が道路またはヴィークルの前の環境に注意を払っていない）と決定することができる。別の例として、運転者の頭が右または左を「見ていて」、そして頭のターン角度が特定の閾値を超えている場合、処理ユニット２１０は、運転者が運転タスクに従事していないと決定することができる。

【0104】

いくつかの実施形態では、処理ユニット２１０は、画像に現れる運転者の１つまたは複数の姿勢に基づいて、運転者の目の視線方向を決定する必要無く、運転者が運転タスクに従事しているか否かを決定する、ように構成されている。この特徴は、運転者の目の視線方向を画像に取り込む必要がなく、または正確に決定する必要がないので、有利である。例えば、ヴィークルの運転者は、ヴィークルカメラに目が映らないように帽子をかぶっている場合がある。運転者が、目の検出を妨げるサングラスを着用している場合もある。場合によっては、運転者が透明な度付きメガネを着用している場合、メガネのフレームが目の検出を妨げたり、および／またはメガネのレンズが目の検出を不正確にすることがある。従って、注視方向を決定することができない場合でも、処理ユニット２１０は、運転者が運転タスクに従事しているか否かを決定することができるので、運転者の目の視線方向を決定する必要無しに、運転者が運転タスクに従事しているか否かを決定することは有利である。

【0105】

いくつかの実施形態では、処理ユニット２１０は、コンテキストベースの分類化を使用して、運転者が運転タスクに従事しているか否かを決定することができる。例えば、運転者の頭が下を向いていて、そして運転者が携帯電話を膝の上に保持していて、かつ運転者の頭がそれに向いている場合、処理ユニット２１０は、運転者が運転タスクに従事していないと決定することができる。処理ユニット２１０は、例え、（例：図３に示されるように、運転者の目が帽子によって遮られているので）運転者の目が検出できない場合であっても、このような決定を行うことができる。処理ユニット２１０は、コンテキストベースの分類を使用して、運転者の１つまたは複数の姿勢を決定することもできる。例えば、運転者の頭が下を向いている場合、処理ユニット２１０は、例え、運転者の目が検出できなかったとしても、運転者が下を向いていると決定することができる。別の例として、運転者の頭が上を向いている場合、処理ユニット２１０は、例え、運転者の目を検出することができなくても、運転者が上を向いていると決定することができる。さらなる例として、運転者の頭が右を向いている場合、処理ユニット２１０は、例え、運転者の目が検出できない場合であっても、運転者が右を見ていると決定することもできる。さらなる例として、運転者の頭が左を向いている場合、処理ユニット２１０は、例え、運転者の目を検出することができなくても、運転者が左を向いていると決定することができる。

【0106】

一実装形態では、処理ユニット２１０は、モデルを使用して運転者の１つ以上の姿勢を識別し、そして運転者が運転タスクに従事しているか否かを決定する、ように構成することができる。処理ユニット２１０は、カメラ２０４からの画像を処理するために、このモデルを使用することができる。いくつかの実施形態では、このモデルは、非一時的媒体２３０に格納することができる。また、いくつかの実施形態では、このモデルは、サーバから送信させることもでき、そして通信ユニット２４０を介して装置２００によって受信させることができる。

【0107】

いくつかの実施形態では、モデルは、ニューラルネットワークモデルとすることができる。このような場合、ニューラルネットワークモデルは、他の運転者の画像に基づいて訓練させることができる。例えば、ニューラルネットワークモデルは、下を向いている姿勢、上を向いている姿勢、左を向いている姿勢、右を向いている姿勢、携帯電話を使用している姿勢、喫煙をしている姿勢、オブジェクトを保持している姿勢、ステアリングホイールを保持していない姿勢、シートベルトを着用していない姿勢、目を閉じている姿勢、前を見ている姿勢、片手でステアリングホイールを保持している姿勢、両手でステアリングホイールを保持している姿勢の様な異なる姿勢を識別するために、運転者の画像を使用して訓練させることができる。いくつかの実施形態では、ニューラルネットワークモデルは、画像内の人物の目を検出せずに、異なる姿勢を識別するように訓練することができる。これにより、ニューラルネットワークモデルが、異なる姿勢を識別する、および／またはコンテキストに基づいて（例：運転者の目の注視方向以外の運転者の状態に関して画像にキャプチャされた情報に基づいて）運転者が運転タスクに従事しているか否かを決定することが可能になる。他の実施形態では、このモデルは、ニューラルネットワークモデルとは異なる他のタイプの任意のモデルとすることができる。

【0108】

いくつかの実施形態では、ニューラルネットワークモデルは、コンテキストに基づいて、姿勢を分類するように、および／または運転者が運転タスクに従事しているか否かを決定するように、訓練することができる。例えば、運転者が携帯電話を保持していて、頭の姿勢が携帯電話に向かって下を向いている場合、ニューラルネットワークモデルは、運転者の目を検出することなく、運転者が運転タスクに従事していない（例：道路またはヴィークル前方の環境を見ていない）と決定することができる。

【0109】

いくつかの実施形態では、深層学習または人工知能は、運転者の姿勢を特定する、および／または運転者が運転タスクに従事しているか否かを決定することができるモデルの開発に、使用することができる。このようなモデルは、運転タスクに従事している運転者とそうでない運転者を区別することができる。

【0110】

いくつかの実施形態では、運転者の姿勢を識別するために処理ユニット２１０によって使用されるモデルは、畳み込みニューラルネットワークモデルとすることができる。他の実施形態では、このモデルは単純に任意の数学モデルとすることもできる。

【0111】

図５は、運転者が運転タスクに従事しているか否かを決定するためのアルゴリズム５００を示す。例えば、アルゴリズム５００は、運転者がヴィークルの前方の道路または環境に注意を払っているか否かを決定するために使用することができる。アルゴリズム５００は、いくつかの実施形態では、処理ユニット２１０を使用して実装および／または実行することができる。

【0112】

最初に、処理ユニット２１０は、カメラ２０４からの画像を処理して、画像に基づいて運転者の顔を検出することを試みる（項目５０２）。画像内に運転者の顔が検出できない場合、処理ユニット２１０は、運転者が運転タスクに従事しているか否かが不明であると決定することができる。一方、処理ユニット２１０が、運転者の顔が画像内に存在すると決定した場合、処理ユニット２１０は、運転者の目が閉じているか否かを決定することができる（項目５０４）。一実装形態では、処理ユニット２１０は、ニューラルネットワークモデルの様なモデルに基づいて目が開いているか否かを決定するように構成することができる。処理ユニット２１０が、運転者の目が閉じていると決定した場合、処理ユニット２１０は、運転者が運転タスクに従事していないと決定することができる。一方、処理ユニット２１０が、運転者の目が閉じていないと決定した場合、処理ユニット２１０は、画像に基づいて運転者の目の視線の検出を試みることができる（項目５０６）。

【0113】

アルゴリズム５００の項目５１０を参照すると、処理ユニット２１０が運転者の目の視線の検出に成功した場合、処理ユニット２１０は、視線の方向を決定することができる（項目５１０）。例えば、処理ユニット２１０は、画像を分析して、運転者の目の注視方向のピッチ（例：上下方向）および／または偏揺れ角（例えば、左右方向）を決定することができる。視線方向のピッチが規定ピッチ範囲内にあり、そして注視方向の偏揺れ角が所定の偏揺れ角の範囲にある場合、処理ユニット２１０は、ユーザが運転タスクに従事している（すなわち、ユーザがヴィークルの前方の道路または環境を見ている）と決定することができる。（項目５１２)。一方、注視方向のピッチが所定のピッチ範囲内にない場合、または注視方向の偏揺れ角が所定のヨー範囲内にない場合、処理ユニット２１０は、ユーザが運転タスクに従事していないと決定することができる。（項目５１４）。

【0114】

アルゴリズム５００の項目５２０を参照すると、処理ユニット２１０が運転者の目の視線をうまく検出できない場合、処理ユニット２１０は、運転者が運転タスクに従事しているか否かを、運転者の目の視線方向の決定を必要とせずに、決定することができる。（項目５２０）。いくつかの実施形態では、処理ユニット２１０は、コンテキストに基づいて（例：運転者の目の注視方向以外の運転者の状態に関する、画像内に取り込まれた情報に基づいて）このような決定を行うモデルを使用するように構成することができる。いくつかの実施形態では、このモデルは、運転者が運転タスクに従事しているか否かを決定するためにコンテキストベースの分類化を実行するように構成されているニューラルネットワークモデルとすることができる。一実施形態では、このモデルは、画像を処理して、運転者が１つ以上の姿勢の分類化に属するか否かを決定する、ように構成されている。運転者が１つ以上の姿勢の分類化に属すると決定された場合、処理ユニット２１０は、運転者が運転タスクに従事していないと決定することができる（項目５２２）。運転者が１つまたは複数の姿勢の分類化に属していないと決定された場合、処理ユニット２１０は、運転者が運転タスクに従事している、または運転者が運転タスクに従事しているか否かは不明である、と決定することができる（項目５２４）。

【0115】

いくつかの実施形態では、処理ユニット２１０が、上記の項目５０２、５０４、５０６、５１０、５２０を繰り返し実行して、カメラ２０４によって提供されるシーケンスで複数の画像を処理し、これによって運転者がヴィークルを動作している間、運転者のリアルタイム監視が実行される。

【0116】

アルゴリズム５００は、説明した例に限定されず、そして処理ユニット２１０を使用して実装されるアルゴリズム５００は、他の特徴および／または変形も有することができることに留意されたい。例えば、他の実施形態では、アルゴリズム５００は、項目５０２（運転者の顔の検出）を含まなくてもよい。別の例として、他の実施形態では、アルゴリズム５００は、項目５０４（目が閉じられている状態の検出）を含まなくてもよい。また、さらなる実施形態では、アルゴリズム５００は、項目５０６（視線の検出の試み）および／または項目５１０（視線方向の決定）を含まなくてもよい。

【0117】

また、いくつかの実施形態では、例え、運転者の目の視線方向が処理ユニット２１０によって検出できたとしても、処理ユニット２１０は、依然としてコンテキストベースの分類化を実行して、運転者が１つ以上の姿勢に属するか否かを決定することができる。場合によっては、処理ユニット２１０は、姿勢の分類化を使用して、運転者の目の視線方向を確認することができる。これに代えて、処理ユニット２１０は、運転者の目の視線方向を使用して、運転者の１つまたは複数の姿勢の分類化を確認することもできる。

【0118】

上述したように、いくつかの実施形態では、処理ユニット２１０は、カメラ２０４からの画像に基づいて運転者が１つ以上の姿勢の分類化に属するか否かを決定し、そして１つ以上の姿勢の分類化に基づいて運転者が運転タスクに従事しているか否かを決定する、ように構成されている。いくつかの実施形態では、処理ユニット２１０は、複数のそれぞれの姿勢の分類化に対するメトリック値を決定し、そして１つまたは複数のメトリック値に基づいて、運転者が運転タスクに従事しているか否かを決定する、ように構成されている。図６は、画像６０４ａに基づいて処理ユニット２１０によって提供される分類化出力６０２の例を示す。この例では、分類化出力６０２は、それぞれの異なる姿勢の分類化、すなわち、「下を見ている」分類化、「上を見ている」分類化、「左を見ている」分類化、「右を見ている」分類化、「携帯電話を使用している」分類化、「喫煙している」分類化、「オブジェクトを保持している」分類化、「目を閉じている」分類化、「顔無し」分類化、そして「シートベルト無し」分類化のメトリック値を含む。これらの異なる姿勢の分類化のメトリック値は、相対的に低く（例：０．２未満）、画像６０４ａ内の運転者がこれらの姿勢の分類化の何れにも適合しないことを示している。また、図示の例では、運転者の目は閉じていないので、運転者の視線方向は処理ユニット２１０によって決定させることができる。視線方向は、画像内の運転者の鼻に重畳されたグラフィックオブジェクトによって表されている。グラフィックオブジェクトは、視線の方向に平行なベクトルまたは線を含むことができる。これに代えてまたは加えて、グラフィックオブジェクトは、視線方向に垂直な１つまたは複数のベクトルまたは１つまたは複数の線を含むことができる。

【0119】

図７は、画像６０４ｂに基づいて処理ユニット２１０によって提供される分類化出力６０２の他の例を示す。図示の例では、「下を見ている」姿勢に対するメトリック値は、相対的に高い（例：０．６より高い）値を有していて、運転者が「下を見ている」姿勢を取っていることを示している。他の姿勢に対するメトリック値は、相対的に低い値を有し、これは、画像６０４ｂ内の運転者がこれらの姿勢の分類化を満たしていないことを示している。

【0120】

図８は、画像６０４ｃに基づいて処理ユニット２１０によって提供される分類化出力６０２の他の例を示す。図示の例では、「左を見ている」姿勢に対するメトリック値は相対的に高い（例：０．６より高い）値を有していて、これは、運転者が「左を見ている」姿勢であることを示している。他の姿勢に対するメトリック値は相対的に低い値を有していて、これは、画像６０４ｃ内の運転者がこれらの姿勢の分類化を満たしていないことを示している。

【0121】

いくつかの実施形態では、処理ユニット２１０は、メトリック値をそれぞれの姿勢の分類化のそれぞれの閾値と比較する、ように構成されている。このような場合、処理ユニット２１０は、メトリック値の対応する値が、閾値の対応する値を満たすまたはそれを超える場合、運転者が、姿勢の分類化の１つに属していると決定する、ように構成されている。例えば、異なる姿勢の分類化に対する閾値は０．６に設定することができる。このような場合、姿勢の分類化の任意のメトリック値の何れかが０．６を超える場合、処理ユニット２１０は、運転者がこの姿勢の分類化に属する姿勢（すなわち、メトリック値が０．６を超える姿勢）を取っていると決定することができる。また、いくつかの実施形態では、姿勢の分類化の任意のメトリック値の何れかが、事前に設定された閾値（例：０．６）を超える場合、処理ユニット２１０は、運転者が運転タスクに従事していないと決定することができる。上記の例に従うと、「下を向いている」姿勢、「上を向いている」姿勢、「左を向いている」姿勢、「右を向いている」姿勢、「携帯電話を使用している」姿勢、または「目を閉じている」姿勢に対するメトリック値が、０．６より大きい場合、処理ユニット２１０は、運転者が運転タスクに従事していないと決定することができる。

【0122】

上記の例では、異なるそれぞれの姿勢の分類化に対して、同じ事前に設定された閾値が、実装されている。他の実施形態では、少なくとも２つのそれぞれの姿勢の分類化に対し、閾値の内の少なくとも２つは、異なる値を有することができる。また、上記の例では、姿勢の分類化のメトリック値の範囲は、０．０～１．０（１．０が最高）である。他の実施形態では、姿勢の分類化に対し、メトリック値は他の範囲を有することができる。また、他の実施形態では、メトリック値の規則は、より低いメトリック値が、運転者が特定の姿勢の分類化を満たしていることを示し、そしてより高いメトリック値が、運転者が特定の姿勢の分類化を満たしていないことを示す、という点で逆にすることもできる。

【0123】

また、いくつかの実施形態では、異なる姿勢の分類化が、処理ユニット２１０が、運転者の画像が特定の姿勢の分類化に属するか否かを決定することを可能にする、それぞれが調整された閾値を有する様に、異なる姿勢の分類化に対する閾値は、調整手順で調整させることができる。

【0124】

いくつかの実施形態では、処理ユニット２１０は、単一のモデルを使用して、複数の姿勢の分類化を提供することができる。処理ユニット２１０は、複数の姿勢の分類化を並行してまたは順次に出力することができる。他の実施形態では、モデルは、各サブモデルが姿勢の特定の分類を検出するように構成されている、複数のサブモデルを備えることができる。このサブモデルは、例えば、顔を検出するサブモデル、視線方向を検出するサブモデル、見上げ姿勢を検出するサブモデル、下を見ている姿勢を検出するサブモデル、右を向いている姿勢を検出するサブモデル、左を向いている姿勢を検出するサブモデル、携帯電話を使用している姿勢を検出するサブモデル、ステアリングホイールに手を置いていない姿勢を検出するサブモデル、シートベルト非着用姿勢を検出するモデル、目を閉じている姿勢を検出するサブモデル等とすることができる。

【0125】

上記の実施形態では、姿勢の分類化に対するそれぞれの閾値は、運転者の画像がそれぞれの姿勢の分類化を満たすか否かを決定する、ように構成されている。他の実施形態では、それぞれの姿勢の分類化に対する閾値は、処理ユニット２１０が、運転者が運転タスクに従事しているか否かを決定することができる、ように構成することができる。このような場合、１つまたは複数のそれぞれの姿勢の分類化に対する１つまたは複数のメトリック値が、１つまたは複数のそれぞれの閾値を満たすまたはそれを超える場合、処理ユニット２１０は、運転者が運転タスクに従事しているか否かを決定することができる。いくつかの実施形態では、姿勢の分類化は「注意力散漫である」分類に属することができる。このような場合、姿勢の分類化の何れかの基準が満たされると、処理ユニット２１０は、運転者が運転タスクに従事していない（例：運転者が注意力散漫である）と決定することができる。「注意力散漫である」分類に属する姿勢の分類例としては、「左を見ている」姿勢、「右を見ている」姿勢、「上を見ている」姿勢、「下を見ている」姿勢、「携帯電話を保持している」姿勢等が挙げられる。いくつかの実施形態では、姿勢の分類化は「注意」分類に属することもできる。このような場合、姿勢の分類化の何れかの基準が満たされると、処理ユニット２１０は、運転者が運転タスクに従事している（例：運転者が運転に注意を払っている）と決定することができる。「注意」分類に属する姿勢の分類化の例には、「前を見ている」姿勢、「ステアリングホイールを保持している」姿勢等が挙げられる。

【0126】

上記の例に示されるように、コンテキストベースの分類は、運転者の目の視線方向が検出できない場合でも、処理ユニット２１０が、運転タスクに従事していない運転者を識別することができるので有利である。場合によっては、装置２００がヴィークルに対して非常にずれた角度で取り付けられている場合（この結果、運転者は、カメラ画像内で奇妙な角度および／または位置に現れる可能性がある）であっても、コンテキストベースの識別は、依然としてユニット２１０が、運転タスクに従事していない運転者を識別することを可能するであろう。アフターマーケット製品は取り付け位置が異なるので、目および視線の検出を困難にする可能性がある。本明細書に記載される特徴は、装置２００が、運転者の目や視線を検出できないように取り付けられている場合でも、運転者が運転タスクに従事しているか否かを決定することができるので、有利である。

【0127】

処理ユニット２１０は、姿勢の分類化および／または運転者が運転タスクに従事しているか否かを決定するためにニューラルネットワークモデルを使用することに限定されず、そして処理ユニット２１０は、任意の処理技術、アルゴリズム、または処理アーキテクチャを使用して、姿勢の分類化および／または運転者が運転タスクに従事しているか否かを決定することができることに留意されたい。非限定的な例として、処理ユニット２１０は、方程式、回帰、分類、ニューラルネットワーク（例；畳み込みニューラルネットワーク、深層ニューラルネットワーク）、ヒューリスティックス、選択（例：ライブラリ、グラフ、またはチャートから）、画像を処理するためのインスタンスベースの方法（最近傍法等)、相関法、正則化法（リッジ回帰等)、決定木、ベイジアン法、カーネル法、確率、決定論、または上記の２つ以上の組み合わせを使用して、カメラ２０４からの画像を処理して、姿勢の分類化および／または運転者が運転タスクに従事しているか否かを決定することができる。姿勢の分類化は、二値分類または二値スコア（例：見上げているか否か）、スコア（例：連続的または不連続）、分類（例：高、中、低）、または姿勢の分類化の他の適切な尺度とすることが出来る。

【0128】

また、処理ユニット２１０は、運転者が運転タスクに従事していないことを示す姿勢（例：「注意力散漫である」分類に属する姿勢）を検出することに限定されないことにも留意されたい。他の実施形態では、処理ユニット２１０は、運転者が運転タスクに従事していることを示す姿勢（例：「注意」分類に属する姿勢）を検出する、ように構成することができる。さらなる実施形態では、処理ユニット２１０は、（１）運転者が運転タスクに従事していないことを示す姿勢および（２）運転者が運転タスクに従事していることを示す姿勢の両方を検出するように構成することができる。

【0129】

本明細書に記載される１つ以上の実施形態では、処理ユニット２１０は、更に、運転者が運転タスクに従事しているか否かに基づいて、衝突リスクを決定するように構成することができる。いくつかの実施形態では、処理ユニット２１０は、運転者が運転タスクに従事しているか否かのみに基づいて、衝突のリスクを決定する、ように構成することができる。例えば、処理ユニット２１０は、運転者が運転タスクに従事していない場合、衝突のリスクが「高い」と決定し、そして運転者が運転タスクに従事している場合、衝突のリスクが「低い」と決定することができる。他の実施形態では、処理ユニット２１０は、追加情報に基づいて衝突リスクを決定するように構成することができる。例えば、処理ユニット２１０は、運転者が運転タスクに関与していない期間を追跡する、ように構成することができ、そして「運転タスクに関与していない」状態の継続時間に基づいて衝突リスクレベルを決定することができる。別の例として、処理ユニット２１０は、第１のカメラ２０２からの画像を処理して、対象ヴィークルの前に障害物（例：ヴィークル、歩行者等）があるか否かを決定し、そしてこのような障害物の検出と姿勢の分類化の組み合わせに基づいて衝突リスクを決定することもできる。

【0130】

上記の実施形態では、（ヴィークルの車室内の環境を観察する）カメラ２０４からのカメラ画像が、運転者の運転タスクへの取り組みを監視するために使用される。他の実施形態では、カメラ２０２（ヴィークルの外部環境を観察するカメラ）からのカメラ画像も同様に使用することができる。例えば、いくつかの実施形態では、ヴィークルの外部環境を捕捉するカメラ画像を処理ユニット２１０によって処理して、ヴィークルが左折（左にターン）している、直進している、または右折（右にターン）しているかを決定することができる。次に、処理ユニット２１０は、ヴィークルの進行方向に基づいて、運転者の姿勢の分類化のための１つ以上の閾値、および／または運転者が運転タスクに従事しているか否かを決定する１つ以上の閾値を調整することができる。例えば、処理ユニット２１０が、（カメラ２０２からの画像の処理に基づいて）ヴィークルが左折していると決定した場合、処理ユニット２１０は、「左を見ている」姿勢の分類化に対する閾値を調整することができる。このため、左を向いている人が、運転タスクに従事していないと分類されることは無いであろう。一実装形態では、「左を見ている」姿勢の分類化に対する閾値は、直進するヴィークルに対しては０．６の値を、そして左折するヴィークルに対しては０．９の値を有することができる。このような場合、処理ユニット２１０が、ヴィークルが（カメラ２０２からの画像の処理に基づいて）直進していると決定し、そして「左を見ている」姿勢に対するメトリックが、（カメラ２０４からの画像の処理に基づいて）０．７の値を有すると決定した場合、（０．７のメトリック値が直進するヴィークルの閾値０．６を超えるため）処理ユニット２１０は、運転者が運転タスクに従事していないと決定することができる。一方、処理ユニット２１０が、（カメラ２０２からの画像の処理に基づいて）ヴィークルが左折していると決定し、そして「左を見ている」姿勢に対するメトリックが０．７の値を有すると決定した場合、（メトリック値０．７が左折ヴィークルの閾値０．９を超えていないので）処理ユニット２１０は、（カメラ２０４からの画像の処理に基づいて）運転者が運転タスクに従事していると決定することができる。従って、上記の例で示したように、姿勢の分類化（例：「左を見ている」姿勢）は、ある状況では「注意力散漫」分類に属し、そして別の状況では「注意」分類に属することができる。いくつかの実施形態では、処理ユニット２１０は、カメラ２０２からの外部環境の画像を処理して出力を取得し、出力に基づいて１つまたは複数の閾値を調整する、ように構成されている。非限定的な例として、出力は、運転状態の分類化、外部環境の分類化、環境の決定された特徴、ヴィークルの動作のコンテキスト等とすることができる。

【0131】

眠気の検出

【0132】

いくつかの実施形態では、処理ユニット２１０は、また、カメラ２０４からの画像（例：画像３００）を処理し、そして画像の処理に基づいて運転者が眠気を催しているか否かを決定するように、構成することもできる。いくつかの実施形態では、処理ユニット２１０は、また、カメラ２０４からの画像を処理して、運転者が注意力散漫であるか否かを決定することもできる。さらなる実施形態では、処理ユニット２１０は、カメラ２０２からの画像を処理して、衝突のリスクを決定することもできる。

【0133】

いくつかの実施形態では、処理ユニット２１０の運転者監視モジュール２１１は、運転者の眠気を協働して検出するように構成されている第１のモデルおよび第２のモデルを含むことができる。図９は、直列に結合された第１のモデル２１２と第２のモデル２１４を有する処理アーキテクチャの一例を示す。第１および第２のモデル２１２、２１４は、処理ユニット２１０内にあり、および／または処理ユニット２１０の一部（例：運転者監視モジュール２１１の一部）とみなすこともできる。モデル２１２、２１４は、概略的に、処理ユニット２１０内にあるように示されているが、いくつかの実施形態では、モデル２１２、２１４は、非一時的媒体２３０に格納させることもできる。このような場合でも、モデル２１２、２１４は、依然として処理ユニット２１０の一部とみなすことができる。この例に示されるように、カメラ２０４からの画像４００ａ－４００ｅのシーケンスは、処理ユニット２１０によって受信される。処理ユニット２１０の第１のモデル２１２は、画像４００ａ－４００ｅを処理する、ように構成されている。いくつかの実施形態では、第１のモデル２１２は、画像４００ａ－４００ｅの内の対応する１つに対して１つまたは複数の姿勢を決定する、ように構成されている。例えば、第１のモデル２１２は、画像４００ａを分析し、そして運転者が「目を開けた」姿勢および「頭が前を向いている」姿勢をとっていると決定することができる。第１のモデル２１２は、画像４００ｂを分析し、そして運転者が「目を閉じた」姿勢をとっていると決定することができる。第１のモデル２１２は、画像４００ｃを分析し、運転者が「目を閉じた」姿勢を取っていると決定する。第１のモデル２１２は、画像４００ｄを分析し、運転者が「目を閉じた」姿勢および「頭を下げた」姿勢をとっていると決定することができる。第１のモデル２１２は、画像４００ｅを分析し、そして運転者が「目を閉じた」姿勢および「頭が前を向いている」姿勢をとっていると決定することができる。５つの画像４００ａ－４００ｅしか示されていないが、他の例では、第１のモデル２１２によって受信される画像のシーケンスは、５つより多くてもよい。いくつかの実施形態では、カメラ２０２は、少なくとも毎秒１０フレーム（例：１５ｆｐｓ）のフレームレートを有することができ、そして第１のモデル２１２は、運転者がヴィークルを動作させている持続期間中、そのレートでカメラ２０２から画像を受信し続けることができる。

【0134】

いくつかの実施形態では、第１のモデルは、処理ユニット２１０によって複数の姿勢の分類化を提供するために使用される単一のモデルとすることができる。処理ユニット２１０は、複数の姿勢の分類化を並行してまたは順次に出力することができる。他の実施形態では、第１のモデルは、各サブモデルが、姿勢の特定の分類を検出するように構成されている複数のサブモデルを備えることができる。これらのサブモデルは、例えば、顔を検出するサブモデル、頭を上げた姿勢を検出するサブモデル、頭を下げた姿勢を検出するサブモデル、目を閉じている姿勢を検出するサブモデル、頭が前を向いている姿勢を検出するサブモデル、目が開いている姿勢を検出するサブモデル等とすることができる。

【0135】

いくつかの実施形態では、処理ユニット２１０の第１のモデル２１２は、複数のそれぞれの姿勢の分類化に対してメトリック値を決定する、ように構成されている。処理ユニット２１０の第１のモデル２１２は、また、メトリック値をそれぞれの姿勢の分類化のそれぞれの閾値と比較する、ように構成されている。このような場合、処理ユニット２１０は、メトリック値の対応する値が、閾値の対応する値を満たすまたはそれを超える場合、運転者が姿勢の分類化の１つに属すると決定する、ように構成されている。例えば、異なる姿勢の分類化に対する閾値は０．６に設定することができる。このような場合、姿勢の分類化の任意のメトリック値の何れかが０．６を超えた場合、処理ユニット２１０は、運転者がその姿勢の分類化に属する姿勢（すなわち、メトリック値が０．６を超える姿勢）を有すると決定することができる。

【0136】

上記の例では、事前に設定された同じ閾値が、異なるそれぞれの姿勢の分類化に対して実装されている。他の実施形態では、少なくとも２つのそれぞれの姿勢の分類化に対する閾値の内の少なくとも２つは、異なる値を有することができる。また、上記の例では、姿勢の分類化のメトリック値の範囲は ０．０－１．０ （１．０ が最高）である。他の実施形態では、姿勢の分類化のメトリック値は、他の範囲を有することができる。また、他の実施形態では、メトリック値の規則は、より低いメトリック値が、運転者が特定の姿勢の分類化を満たしていることを示し、そしてより高いメトリック値が、運転者が特定の姿勢の分類化を満たしていないことを示すという様に、逆転させることもできる。

【0137】

上述したように、いくつかの実施形態では、第１のモデル２１２は、カメラ２０４からの運転者の画像を処理し、そして運転者が特定の姿勢の分類化に属するか否かを決定する、ように構成されている。姿勢の分類化は、姿勢の分類化のそれぞれが眠気の兆候を示すことができる「眠気」分類に属することができる。非限定的な例として、「眠気」分類の姿勢の分類化は、頭を下げた姿勢、目を閉じている姿勢の様な１つまたは複数、または運転者が眠気を催しているか否かを決定するのに役立つ他の姿勢とすることができる。これに代えてまたは加えて、姿勢の分類化は、姿勢の分類化のそれぞれが覚醒の兆候を示すことができる「覚醒」分類に属することもできる。非限定的な例として、姿勢の分類化は、携帯電話を使用している姿勢等、または運転者が眠気を催しているか否かを決定するのに役立つ他の姿勢、の内の１つまたは複数とすることができる。いくつかの実施形態では、特定の姿勢は、「眠気」分類と「覚醒」分類の両方に属すことができる。例えば、頭が前を向きそして目を開けた姿勢は、両方の分類に属すことができる。

【0138】

図示されるように、第１のモデル２１２は、姿勢識別（または分類化）を特徴情報として出力することができる。第２のモデル２１４は、第１のモデル２１２から特徴情報を入力として取得し、そしてその特徴情報を処理して、運転者が眠気を催しているか否かを決定する。第２のモデル２１４は、運転者が眠気を催しているか否かを示す出力も生成する。

【0139】

いくつかの実施形態では、第１のモデル２１２によって出力される特徴情報は、時系列データとすることができる。データの時系列は、異なるそれぞれの時間における異なる画像４００に対する運転者の姿勢の分類化とすることができる。特に、画像がカメラ２０４によって１つずつ連続的に生成されると、第１のモデル２１２は、画像を１つずつ順次に処理して、各画像の姿勢を決定する。第１のモデル２１２によって画像ごとに姿勢の分類化が決定されると、第１のモデル２１２は、その画像について決定された姿勢の分類化を特徴情報として出力する。従って、画像が第１のモデル２１２によって１つずつ受信されると、各画像の特徴情報も第１のモデル２１２によって１つずつ順次に出力される。

【0140】

図１０は、第２のモデル２１４が受信した特徴情報の一例を示す。図示されるように、特徴情報には、シーケンス内の異なるそれぞれの画像の姿勢の分類化が含まれていて、「Ｏ」は、画像内で運転者が「目を開けている（開眼している）」ことを示し、そして「Ｃ」は、画像内で運転者が「目を閉じている」姿勢であることを示す。特徴情報のシーケンスが第２のモデル２１４によって取得されると、第２のモデル２１４は特徴情報を分析して、運転者が眠気を催しているか否かを決定する。一実装形態では、第２のモデル２１４は、特徴情報のパターンを分析し、そしてそれが眠気と関連するパターン（例：眠気を示すパターン）であるか否かを決定するように、構成（例：プログラムする、作成する、訓練す等）することができる。例えば、第２のモデル２１４は、瞬き率、閉眼持続時間、瞼を閉じるのに要した時間、ＰＥＲＣＬＯＳ、または覚醒度または眠気を測定または示す他の測定基準の何れかを、特徴情報の時系列に基づいて決定するように、構成することができる。

【0141】

いくつかの実施形態では、瞬き率が、眠気に関連する瞬き率閾値を超える値を有する場合、処理ユニット２１０は、運転者が眠気を催していると決定することができる。

【0142】

これに代えてまたは加えて、閉眼期間が、眠気に関連する閉眼期間閾値を超える値を有する場合、処理ユニット２１０は、運転者が眠気を催していると決定することができる。眠気を催している人は、覚醒している人に比べて目を閉じている時間が長くなる可能性がある。

【0143】

これに代えてまたは加えて、瞼を閉じるのに要した時間が、眠気と関連する時間閾値を超える値を有する場合、処理ユニット２１０は、運転者が眠気を催していると決定することができる。瞼を閉じるのに要した時間は、目が実質的に開いている（例：少なくとも８０％開いている、少なくとも９０％開いている、１００％開いている等）状態と、瞼が実質的に閉じている（例：少なくとも７０％閉じている、少なくとも８０％閉じている、少なくとも９０％閉じている、１００％閉じている等）までの時間間隔であることに留意されたい。眠気を催している人は、覚醒している人に比べて瞼を閉じる速度が遅くなる傾向がある。

【0144】

これに代えてまたは加えて、ＰＥＲＣＬＯＳが、眠気と関連するＰＥＲＣＬＯＳ閾値を超える値を有する場合、処理ユニット２１０は、運転者が眠気を催していると決定することができる。ＰＥＲＣＬＯＳは、目が、1分間に少なくとも８０％閉じられている時間の割合を示す眠気の指標であることに留意されたい。ＰＥＲＣＬＯＳは、時間の経過に対する瞳孔上の瞼の閉鎖の割合であり、そして瞬きではなくゆっくりと瞼が閉じることを反映する。

【0145】

第１のモデル２１２によって第２のモデル２１４に提供される特徴情報は、図１０に記載された姿勢の分類化の例に限定されないことに留意されたい。また、眠気を検出するために第２のモデル２１４によって使用される特徴情報は、他の姿勢の分類化を含むことができる。図１１は、第２のモデル２１４によって受信される特徴情報の別の例を示す。図示されるように、特徴情報は、シーケンス内の異なるそれぞれの画像に対する姿勢の分類化を含む。ここで、「Ｓ」は、画像内で運転者の姿勢が「頭が前を向いている」状態であることを示し、そして「Ｄ」は、画像内で運転者の姿勢が「頭を下げた」状態であることを示す。特徴情報のシーケンスが第２のモデル２１４によって取得されると、第２のモデル２１４は特徴情報を分析して、そして運転者が眠気を催しているか否かを決定する。例えば、「頭が前を向いている」および「頭を下げた」姿勢の分類化が、眠気と関連する特定のパターンで繰り返される場合、処理ユニットは、運転者が眠気を催していると決定することができる。一実装形態では、第２のモデル２１４は、特徴情報のパターンを分析し、そしてそれが眠気と関連するパターン（例：眠気を示すパターン）であるか否かを決定するように、構成（例：プログラムする、作成する、訓練する等）することができる。

【0146】

いくつかの実施形態では、第１のモデル２１２によって第２のモデル２１４に提供される特徴情報は、異なる姿勢の分類化を異なる時点に関連付けることを可能にするデータ構造を有することができる。また、いくつかの実施形態では、このようなデータ構造は、１つまたは複数の姿勢の分類化を特定の時点に関連付けることも可能にする。

【0147】

また、いくつかの実施形態では、第１のモデル２１２の出力は、第１のモデル２１２によって検出された姿勢の数値表現を提供する数値ベクトル（例：埋め込みの様な低次元数値ベクトル）とすることができる。数値ベクトルは、人間には解釈できないが、検出された姿勢に関する情報を提供することができる。

【0148】

いくつかの実施形態では、第１のモデル２１２は、ニューラルネットワークモデルとすることができる。このような場合、このニューラルネットワークモデルは、他の運転者の画像に基づいて訓練させることができる。例えば、このニューラルネットワークモデルは、頭を下げた姿勢、頭を上げた姿勢、頭が前を向いている姿勢、目を閉じている姿勢、目が開いている姿勢、携帯電話を使用している姿勢の様な様々な姿勢を識別するために、運転者の画像を使用して訓練させることができる。他の実施形態では、第１のモデル２１２は、このニューラルネットワークモデルとは異なる他のタイプの任意のモデルとすることができる。

【0149】

また、いくつかの実施形態では、第２のモデル２１４は、ニューラルネットワークモデルとすることができる。このような場合、このニューラルネットワークモデルは、特徴情報に基づいて訓練させることができる。例えば、特徴情報は、姿勢の分類化の様な運転者の状態を示す何れかの情報とすることができる。一実施形態では、このニューラルネットワークモデルは、第１のモデル２１２によって出力される特徴情報を使用して訓練させることができる。他の実施形態では、第２のモデル２１４は、このニューラルネットワークモデルとは異なる他のタイプの何れかのモデルとすることができる。

【0150】

いくつかの実施形態では、運転者の姿勢を識別するために処理ユニット２１０によって使用される第１のモデル２１２は、畳み込みニューラルネットワークモデルとすることができる。他の実施形態では、第１のモデル２１２は単純に任意の数学モデルとすることができる。また、いくつかの実施形態では、運転者が眠気を催しているか否かを決定するために処理ユニット２１０によって使用される第２のモデル２１４は、畳み込みニューラルネットワークモデルとすることができる。他の実施形態では、第２のモデル２１４は単純に任意の数学モデルとすることができる。

【0151】

いくつかの実施形態では、第１のモデル２１２は、コンテキストに基づいて姿勢を分類するように訓練された第１のニューラルネットワークモデルとすることができる。例えば、運転者の頭が下を向いている場合、このニューラルネットワークモデルは、例え、運転者の目を検出することができなくても（例：目が帽子によって遮られているため)、運転者が前を見ていないと決定することができる。また、いくつかの実施形態では、第２のモデル２１４は、コンテキストに基づいて運転者が眠気を催しているか否かを決定するように訓練された第２のニューラルネットワークモデルとすることができる。例えば、瞬きの割合が特定の閾値を超えた場合、および／または頭を下にした姿勢と頭が前を向いている姿勢が周期的なパターンで繰り返された場合、このニューラルネットワークモデルは、運転者が眠気を催していると決定することができる。別の例として、瞼を閉じるのに要した時間が特定の閾値を超えた場合、このニューラルネットワークモデルは、運転者が眠気を催していると決定することができる。

【0152】

いくつかの実施形態では、深層学習または人工知能は、運転者の姿勢を特定するおよび／または運転者が眠気を催しているか否かを決定する１つまたは複数のモデルの開発に、使用することができる。このようなモデルは、眠気を催している運転者と覚醒している運転者を区別することができる。

【0153】

処理ユニット２１０は、ニューラルネットワークモデルを使用して姿勢の分類化をおよび／または運転者が眠気を催している否かを決定することに限定されず、そして処理ユニット２１０は、任意の処理技術、アルゴリズム、または処理アーキテクチャを使用して姿勢の分類化をおよび／または運転者が眠気を催しているか否かを決定することができることに留意されたい。非限定的な例として、処理ユニット２１０は、方程式、回帰、分類化、ニューラルネットワーク（例：畳み込みニューラルネットワーク、深層ニューラルネットワーク）、ヒューリスティックス、選択（例：ライブラリ、グラフ、またはチャートから）、画像を処理するためのインスタンスベースの方法（例：最近傍法)、相関法、正則化法（例：リッジ回帰)、決定木、ベイジアン法、カーネル法、確率、決定論、または上記の２つ以上の組み合わせ（複数の）を使用して、カメラ２０４からの画像を処理して、姿勢の分類化を決定する、および／または時系列の特徴情報を処理して、運転者が眠気を催しているか否かを決定する。姿勢の分類化は、二値分類または二値スコア（例：頭を下げているか否か）、スコア（例：連続的または不連続）、分類化（例：高、中、低）とすることができ、またはこれに代えて、姿勢の分類化の他の任意の適切な尺度とすることができる。同様に、眠気の分類化は、二値分類または二値スコア（例：眠気を催している否か）、スコア（例：連続的または不連続）、分類（例：高、中、低）とすることが出来、または他の任意の適切な眠気の尺度とすることができる。

【0154】

いくつかの実施形態では、運転者が眠気を催しているか否かの決定は、ある期間、例えば、少なくとも１秒の何分の１、１秒、２秒、５秒、１０秒、１２秒、１５ 秒、２０秒、３０秒、１分、２分、５分、１０分、１５分、２０分、２５分、３０分、４０分等である様な期間に渡って発生する運転者の姿勢の分類化のパターンを分析することによって達成することができる。この期間は、（例えば、少なくとも１秒の何分の１、１秒、２秒、５秒、１０秒、１２秒、１５ 秒、２０秒、３０秒、１分、２分、５分、１０分、１５分、２０分、２５分、３０分、４０分等の最後の持続時間に発生したデータを識別するための）移動ウィンドウまたは移動ボックスの事前に決定された任意の持続時間とすることができる。

【0155】

いくつかの実施形態では、第１のモデル２１２および第２のモデル２１４は、１秒以内、１― １．５秒の間または２秒以上の持続時間に渡って起こるゆっくりとした瞼の閉鎖の様な「微小睡眠」イベントを協働して検出する、ように構成することができる。他の実施形態では、第１のモデル２１２および第２のモデル２１４は、１０秒、１２秒、１５秒、２０秒、３０秒、１分、２分、５分、１０分、１５分、２０分、２５分、３０分、４０分等より長い期間の様な、より長い期間に捕獲された画像に基づいて眠気の初期の兆候を協働して検出する、ように構成することができる。

【0156】

上記の例で示したように、眠気を検出するために複数の逐次モデルを使用することは有利である。特に、（１）運転者の姿勢を識別するために（各カメラ画像が生成されるたびに１つずつ)カメラ画像を処理する第１のモデルと、（２）第１のモデルによるカメラ画像の処理により得られた特徴情報を処理する第２のモデルとを組み合わせた手法が、処理ユニット２１０が画像のシーケンスをバッチで収集し、そしてカメラ画像（ビデオ）のバッチを一緒に処理すること不要とする。これにより、計算リソースとメモリ空間が大幅に節約される。更に、上記の例で説明したように、第２のモデルは、カメラからの画像を処理しない。これに代えて、第２のモデルは、第１のモデルからの出力として特徴情報を受信し、そしてこの特徴情報を処理して運転者が眠気を催しているか否かを決定する。これは、特徴情報の処理が、カメラ画像のバッチを処理するよりも簡単かつ高速であるため、有利である。また、コンテキストベースの分類は、処理ユニット２１０が運転者の異なる姿勢を正確に識別することを可能にするので、有利である。場合によっては、例え、装置２００がヴィークルに対して非常にずれた角度で取り付けられている場合でも（この結果、運転者がカメラ画像内で奇妙な角度および／または位置に現れる可能性がある）、コンテキストベースの識別は、処理ユニット２１０が、依然として運転者の姿勢を正確に識別することを可能とするであろう。アフターマーケット製品は、異なる位置に取り付けられる可能性がある。また、本明細書で説明する特徴は、装置２００が異なる角度で取り付けられている場合でも、それらが、運転者が眠気を催しているか否かを決定することを可能にする点でも、有利である。

【0157】

処理ユニット２１０は、運転者が眠気を催していることを示す姿勢（例：「眠気」分類に属する姿勢）を検出することに限定されないことに留意されたい。他の実施形態では、処理ユニット２１０は、運転者が覚醒していることを示す姿勢（例：「覚醒」分類に属する姿勢）を検出するように構成することもできる。さらなる実施形態では、処理ユニット２１０は、（１）運転者が眠気を催していることを示す姿勢および（２）運転者が覚醒していることを示す姿勢の両方を検出するように構成することもできる。

【0158】

いくつかの実施形態では、処理ユニット２１０は、運転者が眠気を催しているか否かを決定するための追加パラメータを（例：受信または決定することによって）取得することができる。非限定的な例として、処理ユニット２１０は、ヴィークルの加速度、ヴィークルの減速度、走行車線に対するヴィークルの位置、運転者の運転への参加に関する情報等を取得するように、構成することができる。場合によっては、第２のモデル２１４が、上記のパラメータの内の１つまたは複数を取得することができ、第２のモデル２１４は、次いで、第１のモデル２１２からの出力およびこのようなパラメータに基づいて、運転者が眠気を催しているか否かを決定する。加速度、減速度、および運転者の参加に関する情報が、運転者が積極的に運転しているか否かを示す指標であることは、留意すべきである。例えば、運転者が速度を変えているまたはステアリングホイールを回している場合、運転者が眠気を催す可能性は低い。いくつかの実施形態では、ヴィークル内に組み込まれたセンサは、加速および減速情報を提供することができる。このような場合、処理ユニット２１０は、このような情報を受信するためにヴィークルシステムに配線接続させることができる。これに代えて、処理ユニット２１０は、このような情報を無線で受信するように構成することもできる。さらなる実施形態では、処理ユニット２１０を備える装置２００は、オプションとして、加速度および減速度を検出するための加速度計を、更に、備えることができる。このような場合、第２のモデル２１４は、加速度計から加速度および／または減速度情報を取得するように構成することができる。また、運転者の参加に関する情報は、運転者がヴィークルを運転しているか否かを示す任意の情報とすることができる。非限定的な例として、このような情報は、ステアリングホイールをターンさせているまたはターンさせていない、ターニングライトレバーを動作しているまたは動作していない、ギアを変更しているまたは変更していない、ブレーキを踏んでいるまたは踏んでいない、アクセルペダルを踏込んでいるまたは踏込んでいない、の内の1つまたは複数を含むことができる。いくつかの実施形態では、運転者の参加に関する情報は、過去の特定の期間内（例：過去１０秒以上以内、過去２０秒以上以内、過去３０秒以上以内、または過去1分以上以内等の一定期間内）に発生した運転者の参加に関する情報とすることができる。

【0159】

更に、いくつかの実施形態では、走行車線に対するヴィークルの位置は、処理ユニット２１０が外部に向くカメラ２０２からの画像を処理することによって、決定することができる。特に、処理ユニット２１０は、ヴィークルが車線の中心線から一定の閾値内を走行しているか否かを決定する、ように構成されている。ヴィークルが車線の中心線から一定の閾値内を走行している場合、これは運転者が積極的に運転に参加していることを意味する。一方、ヴィークルが閾値を超えて車線の中心線から外れている場合、これは、運転者が運転に積極的に参加していない可能性があることを意味する。いくつかの実施形態では、第２のモデル２１４が、第１のカメラ２０２から画像を受信し、そしてヴィークルが車線の中心線から特定の閾値内を走行しているか否かを決定するように構成することができる。他の実施形態では、別のモジュールが、この機能を提供するように構成することができる。このような場合、モジュールの出力は第２のモデル２１４に入力され、このモデル２１４がモジュールの出力に基づいて運転者が眠気を催しているか否かを決定することを可能にする。

【0160】

また、本明細書に記載の１つ以上の実施形態では、処理ユニット２１０は、更に、運転者が眠気を催しているか否かに基づいて、衝突のリスクを決定するように構成することができる。いくつかの実施形態では、処理ユニット２１０は、運転者が眠気を催しているか否かのみに基づいて衝突のリスクを決定するように構成することができる。例えば、処理ユニット２１０は、運転者が眠気を催している場合、衝突のリスクが「高い」と決定し、運転者が眠気を催していない（例：注意を払っている）場合、衝突のリスクは「低い」と決定することができる。他の実施形態では、処理ユニット２１０は、追加情報に基づいて衝突リスクを決定するように構成することができる。例えば、処理ユニット２１０は、運転者がどの程度眠気を催しているかを追跡するように構成することができ、そして眠気の持続時間に基づいて衝突リスクレベルを決定することができる。

【0161】

別の例として、処理ユニット２１０は、第１のカメラ２０２からの画像を処理して出力を決定し、そしてこのような出力に基づいて、姿勢の分類化および／または眠気決定との組み合わせにより衝突リスクを決定することができる。非限定的な例として、出力は、運転状態の分類化、外部環境の分類化、環境の決定された特徴、ヴィークルの動作の状況等とすることができる。ヴィークルの外部環境を捕捉するカメラ画像は、ヴィークルが、左折している、直進している、右折しているかを処理ユニット２１０が決定する処理を行うことによって、対象ヴィークル等の前方に障害物（例：ヴィークル、歩行者等）が存在するか否かが処理される。眠気が検出されている間に、ヴィークルが、ターンしている場合、および／またはヴィークルの走行路上に障害物が検出された場合、処理ユニット２１０は、衝突のリスクが高いと決定するができる。

【0162】

処理ユニット２１０の第２のモデル２１４は、第１のモデル２１２からの出力のみを受信することに限定されないことに留意されたい。第２のモデル２１４は、第１のモデル２１２からの出力に加えた他の情報を（入力として）受信する、ように構成することもできる。例えば、他の実施形態では、第２のモデル２１４は、ヴィークルに取り付けられた１つまたは複数のセンサからセンサ信号を受信する、ように構成することができる。このセンサは、ヴィークルの運動特性および／または動作特性についての情報を感知する、ように構成することができる。非限定的な例として、第２のモデル２１４によって取得されるセンサ信号は、加速度計信号、ジャイロスコープ信号、速度信号、位置信号（例：ＧＰＳ信号）等、またはこれらの任意の組み合わせとすることができる。さらなる実施形態では、処理ユニット２１０は、センサ信号を処理する処理モジュールを含むことができる。このような場合、第２のモデル２１４は、処理モジュールから処理されたセンサ信号を受信する、ように構成することができる。いくつかの実施形態では、第２のモデル２１４は、衝突のリスクを決定するために、（センサによって提供される）センサ信号または（処理モジュールから提供される）処理されたセンサ信号を処理する、ように構成することができる。衝突リスクの決定は、眠気の検出とセンサ信号に基づいて行うことができる。他の実施形態では、衝突リスクの決定は、眠気の検出、センサ信号、およびカメラ２０２によって捕捉されたヴィークル外部の周囲環境の画像に基づくことができる。

【0163】

また、いくつかの実施形態では、処理ユニット２１０は、カメラ２０４の画像に取り込まれた運転者の１つまたは複数の顔のランドマークを検出するように構成されている顔のランドマーク検出モジュールを含むことができる。このような場合、第２のモデル２１４は、顔のランドマーク検出モジュールから出力を受信する、ように構成することができる。場合によっては、第２のモデル２１４は、顔のランドマーク検出モジュールからの出力を使用して、眠気および／または覚醒状態を決定することができる。これに代えてまたは加えて、顔のランドマーク検出モジュールからの出力を使用して、第２のモデル２１４を訓練することもできる。

【0164】

また、いくつかの実施形態では、処理ユニット２１０は、カメラ２０４の画像に取り込まれた運転者の１つまたは複数の目のランドマークを検出する、ように構成されている目のランドマーク検出モジュールを含むことができる。このような場合、第２のモデル２１４は、目のランドマーク検出モジュールからの出力を受信する、ように構成することができる。場合によっては、第２のモデル２１４は、目のランドマーク検出モジュールからの出力を使用して、眠気および／または覚醒状態を決定することができる。これに代えてまたは加えて、目のランドマーク検出モジュールからの出力は、第２のモデル２１４を訓練するために使用することもできる。目のランドマークは、瞳孔、眼球、瞼等、または運転者の目に関連する任意の特徴とすることができる。

【0165】

いくつかの実施形態では、第２のモデル２１４が、第１のモデル２１２からの出力に加えて、１つ以上の他の情報を受信する、ように構成されている場合、第２のモデル２１４は、１つ以上の情報と第１のモデル２１２からの出力を並列に受信する、ように構成することができる。これにより、第２のモデル２１４が、異なる情報を独立しておよび／または同時に受信することが可能になる。

【0166】

図１２は、図１１の装置２００によって実行される、いくつかの実施形態による図２Ａに示される方法６５０を示す。この方法６５０は、カメラがヴィークルの運転者の画像を生成すること（項目６５２）；処理ユニットの第１のモデルが画像を処理して特徴情報を取得すること（項目６５４）；第１のモデルが特徴情報を提供すること（項目６５６）；第２のモデルが、第１のモデルから特徴情報を取得すること（項目６５８）；そして、第２のモデルが特徴情報を処理して、運転者が眠気を催しているか否かを示す出力を取得すること（項目６６０）を含む。

【0167】

運転者監視モジュール２１１が決定することができる姿勢は、ここで説明された例に限定されず、そして運転者監視モジュール２１１は、運転者の他の姿勢または動作を決定することができることに留意されたい。非限定的な例として、運転者監視モジュール２１１は、運転者の会話、歌、食事、空想等、またはこれらの任意の組み合わせを検出する、ように構成することができる。認知的に注意力散漫である状態（例：会話）を検出することは有利である。何故ならば、例え、運転者が道路を見ている場合であっても、（運転者が運転に注意力を保持している場合と比較して）運転者が認知的に注意力散漫である場合、交差点での違反のリスクおよび／または衝突のリスクが高くなる可能性があるためである。

【0168】

衝突予測

【0169】

図１３は、いくつかの実施形態による処理アーキテクチャ６７０の一例を示す。処理アーキテクチャ６７０の少なくとも一部は、いくつかの実施形態の図２Ａの装置を使用して実装することができる。処理アーキテクチャ６７０は、対象ヴィークルと衝突するリスクがある画像内のオブジェクトを検出するための関心領域を決定するように構成されている校正モジュール６７１、ヴィークルを検出するように構成されているヴィークル検出器６７２、および対象ヴィークルの１つ以上の状態に関する情報を取得するように構成されているヴィークル状態モジュール６７４、を含む。処理アーキテクチャ６７０は、また、追跡器６７６と衝突までの時間（ＴＴＣ）計算ユニット６８０とを有する衝突予測器６７５を含む。処理アーキテクチャ６７０は、更に、対象ヴィークルの運転者が注意力散漫であるか否かを決定するように構成されている運転者監視モジュール６７８を含む。処理アーキテクチャ６７０は、また、衝突予測器６７５によって提供される出力に基づいて特定のイベントの検出に応答して制御信号６８４を生成する、ように構成されているイベントトリガモジュール６８２と、運転者監視モジュール６７８によって提供される出力に基づいてコンテキスト警告６８８を提供する、ように構成されているコンテキストイベントモジュール６８６とを含む。

【0170】

いくつかの実施形態では、ヴィークル検出器６７２は、オブジェクト検出器２１６によって実装することができ、および／またはオブジェクト検出器２１６の一例として考慮することができる。衝突予測器６７５は、いくつかの実施形態における処理ユニット２１０の衝突予測器２１８の一例とすることができる。いくつかの実施形態では、処理ユニット２１０の運転者監視モジュール２１１は、運転者監視モジュール６７８を実装することができる。イベントトリガモジュール６８２は、処理ユニット２１０の信号生成制御器２２４を使用して実装することができ、および／または信号生成制御器２２４の例として考慮することができる。

【0171】

使用中、校正モジュール６７１は、第１のカメラ２０２が、対象ヴィークルと衝突するリスクがあるヴィークルを検出するための関心領域を決定する、ように構成されている。校正モジュール６７１は、図１５Ａ－図１５Ｃを参照して更に説明されるであろう。ヴィークル検出器６７２は、第１のカメラ２０２によって提供されるカメラ画像内のヴィークルを識別する、ように構成されている。いくつかの実施形態では、ヴィークル検出器６７２は、ヴィークルを識別するように訓練されたニューラルネットワークモデルの様なモデルに基づいて画像内のヴィークルを検出する、ように構成されている。

【0172】

運転者監視モジュール６７８は、対象ヴィークルの運転者が注意力散漫になっているか否かを決定する、ように構成されている。いくつかの実施形態では、運転者監視モジュール６７８は、第２のカメラ２０４によって提供される画像に基づいて、運転者の１つまたは複数の姿勢を決定することができる。運転者監視モジュール６７８は、運転者の姿勢に基づいて、運転者が注意力散漫であるか否かを決定することができる。場合によっては、運転者監視モジュール６７８は、運転者の姿勢を識別するように訓練されたニューラルネットワークモデルの様なモデルに基づいて、運転者の１つまたは複数の姿勢を決定することができる。

【0173】

衝突予測器６７５は、ヴィークル検出器６７２によって検出された１つまたは複数のヴィークルを、衝突を予測することが可能な候補として選択する、ように構成されている。いくつかの実施形態では、衝突予測器６７５は、ヴィークルの画像が、画像フレーム内の（校正モジュール６７１によって決定される）関心領域と交差する場合に、衝突が予測されるヴィークルを選択する、ように構成されている。衝突予測器６７５は、また、選択されたヴィークルの状態を（追跡器６７６によって）追跡する、ように構成されている。非限定的な例として、追跡されている選択されたヴィークルの状態は、ヴィークルの位置、ヴィークルの速度、ヴィークルの加速度または減速度、ヴィークルの移動方向、またはこれら任意の組み合わせ等とすることができる。いくつかの実施形態では、追跡器６７６は、対象ヴィークルの走行経路および／または検出されたヴィークルの走行経路に基づいて、検出されたヴィークルが、対象ヴィークルとの衝突進路にあるか否かを決定する、ように構成することができる。また、いくつかの実施形態では、追跡器６７６は、第１のカメラ２０２からの画像フレーム内に現れる検出されたヴィークルの画像が、画像フレーム内の関心領域と交差する場合、ヴィークルが先行ヴィークルであると決定する、ように構成することができる。

【0174】

衝突予測器６７５のＴＴＣユニット６８０は、選択されたヴィークルの追跡状態および（ヴィークル状態モジュール６７４によって提供される）対象ヴィークルの状態に基づいて、予測される衝突に対して選択されたヴィークルが対象ヴィークルと衝突するまでにかかる推定時間を計算する、ように構成されている。例えば、選択されたヴィークルの追跡状態が、このヴィークルが対象ヴィークルの進路上にあり、そして対象ヴィークルよりも低速で走行していることを示す場合、ＴＴＣユニット６８０は、選択されたヴィークルが対象ヴィークルと衝突するまでにかかる推定時間を決定する。別の例として、選択されたヴィークルの追跡状態が、このヴィークルが、対象ヴィークルの前方にいる先行ヴィークルであることを示す場合、ＴＴＣユニット６８０は、選択されたヴィークルが対象ヴィークルと衝突するまでにかかる推定時間を決定する。いくつかの実施形態では、ＴＴＣユニット６８０は、２台のヴィークル間の相対速度および／または２台のヴィークル間の距離に基づいて、予測される衝突までの推定時間を決定することができる。ＴＴＣユニット６８０は、推定時間（ＴＴＣパラメータ）を出力として提供する、ように構成されている。

【0175】

衝突予測器６７５は、先行ヴィークルと対象ヴィークルとの間の衝突を予測することに限定されず、そして衝突予測器６７５が、他のタイプの衝突を予測するように構成することができることに留意されたい。例えば、いくつかの実施形態では、衝突予測器６７５は、２つの異なるそれぞれの道路（例：交差する道路）を走行し、そして交差点に向かって進んでいる対象ヴィークルと別のヴィークルとの間の衝突を予測する、ように構成することができる。別の例として、いくつかの実施形態では、衝突予測器６７５は、対象ヴィークルと、対象ヴィークルの車線に合流するまたは流れ込む次の車線を走行する別のヴィークルとの間の衝突を予測する、ように構成することもできる。

【0176】

イベントトリガモジュール６８２は、衝突予測器６７５により提供される出力および運転者監視モジュール６７８により提供される出力に基づいて、制御信号を提供する、ように構成されている。いくつかの実施形態では、イベントトリガモジュール６８２は、運転者監視モジュール６７８によって提供される出力に基づいて、運転者の状態を継続的または周期的に監視する、ように構成されている。イベントトリガモジュール６８２は、また、並行してＴＴＣパラメータも監視する。予測される衝突が発生するまでにかかる推定時間が、特定の閾値（例：８秒、７秒、６秒、５秒、４秒、３秒等) を下回っていることを、ＴＴＣパラメータが示す場合、そして運転者監視モジュール６７８による出力が、運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合、イベントトリガモジュール６８２は、制御信号６８２を生成するであろう。

【0177】

いくつかの実施形態では、イベントトリガモジュール６８２からの制御信号６８４は、運転者に警告を提供するように構成されている警告発生器に送信させることができる。これに代えてまたは加えて、イベントトリガモジュール６８２からの制御信号６８４は、ヴィークルを制御する（例：アクセルペダル動作を自動的に解除する、ブレーキをかける等）ように構成されているヴィークル制御器に送信させることができる。

【0178】

いくつかの実施形態では、閾値は、運転者監視モジュール６７８からの出力に基づいて可変である。例えば、運転者監視モジュール６７８からの出力が、運転者が、注意力散漫でないおよび／または運転タスクに注意を払っていることを示す場合、イベントトリガモジュール６８２は、ＴＴＣが第１の閾値（例：３秒）を満たすまたはそれを下回ったことに応答して、警告発生器を動作させる、および／またはヴィークル制御を動作させるための制御信号６８４を生成することができる。一方、運転者監視モジュール６７８からの出力が、運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合、イベントトリガモジュール６８２は、ＴＴＣが、第１の閾値よりも高い第２の閾値（例：５秒）を満たす、またはそれを下回ったことに応答して、警告発生器を動作させるおよび／またはヴィークル制御器を動作させる制御信号６８４を生成することができる。

【0179】

また、いくつかの実施形態では、イベントトリガモジュール６８２は、運転者監視モジュール６７８の出力によって示される運転者の状態のタイプに基づいて、制御信号６８４の生成に対し異なる閾値を適用するように構成することができる。例えば、運転者監視モジュール６７８の出力が、運転者が携帯電話を見ていることを示す場合、イベントトリガモジュール６８２は、ＴＴＣ が５秒の閾値を満たす、またはそれを下回っていることに応じて、警告発生器を動作させるため、および／またはヴィークル制御を動作させるための制御信号６８４を生成することができる。一方、運転者監視モジュール６７８の出力が、運転者が眠気を催していることを示す場合、イベントトリガモジュール６８２は、ＴＴＣ が、８秒の（例：運転者が携帯電話を使用している場合の閾値よりも長い）閾値に達している、またはそれを下回っていることに応答して、警告発生器を動作させる、および／または運転者ヴィークル制御を動作させるための制御信号６８４を生成することができる。場合によっては、（運転者が眠気を催しているまたは居眠りしている様な）運転者の特定の状態により、運転者が差し迫った衝突に反応する時間が長くなる可能性があるので、運転者に警告する、および／またはヴィークルを制御するためには、（ＴＴＣ値と比較して）より長い時間閾値が必要になる可能性がある。従って、イベントトリガモジュール６８２は、これらの状況で予測される衝突に応答して、より早く運転者に警告する、および／またはヴィークル制御器をより早く動作させることができる。

【0180】

いくつかの実施形態では、ＴＴＣユニット６８０は、予測される衝突に対してＴＴＣ値を決定し、そしてその後、このＴＴＣ値に関する時間の経過を追跡する、ように構成されている。例えば、ＴＴＣユニット６８０が、予測される衝突のＴＴＣが１０秒であると決定した場合、ＴＴＣユニット６８０は、１０秒間の時間のカウントダウンを実行することができる。ＴＴＣユニット６８０がカウントダウンを行っているとき、ＴＴＣユニット６８０は、定期的にＴＴＣを出力して、イベントトリガモジュール６８２に現在のＴＴＣ値を知らせる。従って、予測される衝突の異なるそれぞれの時刻でＴＴＣユニット６８０によって出力されるＴＴＣは、カウントダウンに基づいてそれぞれ異なる値を有するであろう。他の実施形態では、ＴＴＣユニット６８０は、第１のカメラ２０２からの画像に基づいて、予測される衝突のＴＴＣ値を繰り返し決定する、ように構成されている。このような場合、予測される衝突の異なるそれぞれの時刻でＴＴＣユニット６８０によって出力されるＴＴＣは、第１のカメラ２０２からの画像に基づいてＴＴＣユニット６８０によって計算されるそれぞれ異なる値を有するであろう。

【0181】

また、いくつかの実施形態では、衝突予測器６７５は、衝突が予測された後、他のヴィークルおよび／または対象ヴィークルの状態を監視し続けることができる。例えば、他のヴィークルが対象ヴィークルの進路から外れてしまった場合、および／または（例：他のヴィークルが加速したため、および／または対象ヴィークルが減速したため）２台のヴィークル間の距離が増加している場合、衝突予測器６７５は、もはや衝突のリスクがないことを示す出力を提供することができる。いくつかの実施形態では、ＴＴＣユニット６８０は、イベントトリガモジュール６８２に、それが制御信号６８４を生成する必要がないことを示す信号を出力することができる。他の実施形態では、ＴＴＣユニット６８０は、非常に高い所定の任意のＴＴＣ値（例：２０００秒）、または負の値を有するＴＴＣを出力することができる。これにより、イベントトリガモジュール６８２がＴＴＣ値を処理するときに、制御信号６８４が生成されない結果となるであろう。

【0182】

衝突予測器６７５の実施形態（衝突予測器２１８の例）およびイベントトリガモジュール６８２の実施形態（信号生成制御器２２４の例）が、以下で更に説明されるであろう。

【0183】

コンテキストイベントモジュール６８６は、運転者監視モジュール６７８によって提供される出力に基づいてコンテキスト警告６８８を提供する、ように構成されている。例えば、運転者監視モジュール６７８の出力が、運転者が、持続時間閾値を超える期間、または頻度閾値を超える頻度で注意力散漫であったことを示す場合、コンテキストイベントモジュール６８６は、運転者に警告する警報を生成することができる。これに代えてまたは加えて、コンテキストイベントモジュール６８６は、フリート管理者、保険会社等に通知するためのメッセージを生成することもできる。他の実施形態では、コンテキストイベントモジュール６８６はオプションであり、そして処理アーキテクチャ６７０はコンテキストイベントモジュール６８６を含まなくてもよい。

【0184】

他の実施形態では、アイテム６７２は人間検出器とすることができ、そして処理アーキテクチャ６７０は、本明細書での説明と同様に、人間との衝突を予測し、そして予測された衝突および運転者監視モジュール６７８によって出力された運転者の状態に基づいて、制御信号を生成する、ように構成することができる。

【0185】

さらなる実施形態では、アイテム６７２は、交差点に関連するオブジェクトを検出するように構成されているオブジェクト検出器とすることができ、そして処理アーキテクチャ６７０は、本明細書での説明と同様に、交差点での違反を予測し、そして予測された交差点での違反および運転者監視モジュール６７８によって出力される運転者の状態に基づいて、制御信号を生成する、ように構成することができる。

【0186】

更に別の実施形態では、アイテム６７２は、ヴィークル、人間、交差点等に関連するオブジェクトの様な複数に分類されるオブジェクトを検出する、ように構成されているオブジェクト検出器とすることができる。このような場合、処理アーキテクチャ６７０は、本明細書で同様に説明するように、これらの予測されたイベントの何れか１つに基づいて、そして運転者監視モジュール６７８によって出力された運転者の状態に基づいて、ヴィークルの衝突を予測し、人間の衝突を予測し、交差点での違反等を予測し、そして制御信号を生成する、ように構成することができる。

【0187】

図１４は、いくつかの実施形態によるオブジェクト検出の例を示す。図示されるように、検出されたオブジェクトは、第１のカメラ２０２によって提供された画像に捕捉されたヴィークルである。オブジェクトの検出は、オブジェクト検出器２１６によって実行させることができる。図示の例では、識別されたヴィークルには、（例：識別されたそれぞれのヴィークルの空間範囲を示す境界ボックスの形式で)それぞれの識別子が提供されている。オブジェクト検出器２１６は、長方形の境界ボックスである識別子を識別されたヴィークルに提供することに限定されず、そしてオブジェクト検出器２１６は、識別されたヴィークルのそれぞれに対して他の形式の識別子を提供するように構成することもできることに留意されたい。いくつかの実施形態では、オブジェクト検出器２１６は、先行ヴィークルであるヴィークルを、先行ヴィークルではない他のヴィークルから区別することができる。

【0188】

また、いくつかの実施形態では、処理ユニット２１０は、識別された先行ヴィークルを追跡し、そしてこのような識別された先行ヴィークルの空間分布に基づいて関心領域を決定することができる。例えば、図１５Ａに示されるように、処理ユニット２１０は、ある期間（例えば、前の５秒、前の１０秒、前の１分、前の２分等）に渡って識別された先行ヴィークルの（例では境界ボックスの形での）識別器７５０を使用することができる。図示の実施形態では、関心領域は、カメラ画像フレームに対して特定の寸法および位置（ここで、この位置は、画像フレームの下部に、そして水平方向のほぼ中央にある）を有する。

【0189】

いくつかの実施形態では、処理ユニット２１０は、境界ボックスを使用する代わりに、水平線７５２を使用して関心領域を形成することができる（図１５Ｂ）。図示の例では、各水平線７５２は、ある期間に渡って識別されて来た、識別された先行ヴィークルを表す。水平線７５２は、識別された先行ヴィークルの識別子の例と考えることができる。場合によっては、水平線７５２は、境界ボックスの（例：図１５Ａに示す識別器７５０のような）下辺のみを抽出することによって取得することができる。図１５Ｂに示されるように、水平線７５２の分布は、（水平線７５２によって満たされた領域によって表される）ほぼ三角形または台形の形状を有する関心領域を形成する。処理ユニット２１０は、将来の先行ヴィークルを検出するために、このような関心領域を検出ゾーンとして使用することができる。例えば、図１５Ｃに示されるように、処理ユニット２１０は、識別された先行ヴィークルの識別子（例：線７５２）を使用して、（この例では三角形の形状を有する）関心領域７５４を形成することができる。次で、オブジェクト検出器２１６は、対象領域７５４を使用して先行ヴィークルを識別することができる。図示の例では、オブジェクト検出器２１６は、ヴィークル７５６を検出する。検出されたヴィークル７５６の少なくとも一部が関心領域７５４内に位置するので、オブジェクト検出器２１６は、識別されたヴィークルが先行ヴィークルであると決定することができる。

【0190】

いくつかの実施形態では、関心領域７５４は、校正プロセス中に処理ユニット２１０内の校正モジュールによって決定させることができる。また、いくつかの実施形態では、関心領域７５４は、装置２００の使用中に定期的に更新させることができる。先行ヴィークルを検出するための関心領域７５４は、記載された例に限定されず、そして関心領域７５４は、他の実施形態の他の構成（例：サイズ、形状、位置等）を有することができることに留意されたい。また、他の実施形態では、関心領域７５４は、他の技術を使用して決定することもできる。例えば、他の実施形態では、先行ヴィークルを検出するための関心領域７５４は、以前に検出された先行ヴィークルの分布を使用せずに、事前に決定しておく（例：製造中にプログラムする）ことができる。

【0191】

上記の例では、関心領域７５４は、校正プロセス中に決定することができる三角形の形状を有する。他の実施形態では、関心領域７５４は、他の形状を有することができ、そして車線の中心線の検出に基づいて決定することができる。例えば、他の実施形態では、処理ユニット２１０は、対象ヴィークルが走行している車線または道路の中心線を決定するように構成されている中心線検出モジュールを含むことができる。いくつかの実施形態では、中心線検出モジュールは、第１のカメラ２０２からの画像を処理することによって中心線を決定するように構成することができる。一実装形態では、中心線検出モジュールは、第１のカメラ２０２からの画像を分析して、モデルに基づいて車線または道路の中心線を決定する。このモデルは、様々な道路状況の画像に基づいて中心線を決定するように訓練されたニューラルネットワークモデルとすることができる。これに代えて、このモデルは、数学的モデル、方程式等の様な他のタイプの何れかとすることもできる。図１５Ｄは、中心線を決定する中心線検出モジュールの例と、検出された中心線に基づく関心領域の例とを示す。図示されるように、中心線検出モジュールは、対象ヴィークルが走行している車線または道路の中心線を表す点のセット７５７ａ－７５７ｅを決定する。５つの点７５７ａ－７５７ｅが示されているが、他の例では、中心線検出モジュールは、中心線を表す５つを超える点７５７または５つ未満の点７５７を決定することができる。また、図示されるように、点７５７ａ－７５７ｅに基づいて、処理ユニット２１０は、左側の点７５８ａ－７５８ｅのセットと右側の点７５９ａ－７５９ｅのセットとを決定することができる。処理ユニット２１０は、左側の点７５８ａ－７５８ｅを接続する第１の線のセット、および右側の点７５９ａ－７５９ｅを接続する第２の線のセットを決定することもできる。図示されるように、第１のセットの線は関心領域７５４の左境界を形成し、そして第２のセットの線は関心領域７５４の右境界を形成する。

【0192】

図示の例では、処理ユニット２１０は、左側の点７５８ａが、中心線の点７５７ａと同じｙ座標を有し、そして中心線の点７５７ａからｘ座標の左側に距離ｄ１にあるｘ座標を有すると決定する、ように構成されている。また、処理ユニット２１０は、右側の点７５９ａが、中心線の点７５７ａと同じｙ座標を有し、そして中心線の点７５７ａからｘ座標の右側に距離ｄ１にあるｘ座標を有すると決定する、ように構成されている。従って、左側の点７５８ａ、中心線の点７５７ａ、および右側の点７５９ａは、水平に整列している。同様に、処理ユニット２１０は、左側の点７５８ｂ－７５８ｅが、それぞれの中心線の点７５７ｂ－７５７ｅと同じｙ座標をそれぞれ有し、そして中心線の点７５７ｂ－７５７ｅからそれぞれのｘ座標の左側にそれぞれ距離ｄ２－ｄ５にあるｘ座標をそれぞれ有すると決定する、ように構成されている。処理ユニット２１０は、また、右側の点７５９ｂ－７５９ｅが、それぞれの中心線の点７５７ｂ－７５７ｅと同じｙ座標をそれぞれ有し、そして中心線の点７５７ｂ－７５７ｅのそれぞれのｘ座標が中心線の点７５７ｂ－７５７ｅの右側にそれぞれ距離ｄ２－ｄ５にあるものとして決定する、ように構成されている。

【0193】

図示の例では、ｄ１＞ｄ２＞ｄ３＞ｄ４＞ｄ５であり、この結果、関心領域７５４は、カメラ画像に現れる道路の形状に対応するテーパ形状を有することになる。第１のカメラ２０２が、ヴィークルの走行中に道路を捕捉するカメラ画像を繰り返し提供するので、処理ユニット２１０は、中心線と、中心線に基づいて関心領域７５４の左右境界とを繰り返し決定する。従って、関心領域７５４は、カメラ画像に現れる道路の変化する形状に対応して可変の（例：関心領域７５４のテーパの曲率は可変である）テーパ形状を有する。言い換えれば、中心線は、道路の形状に基づいて決定され、そして関心領域７５４の形状は、決定された中心線に基づいているので、関心領域７５４の形状はヴィークルが走行している道路の形状に応じて可変である。

【0194】

図１５Ｅは、衝突のリスクのあるオブジェクトの検出において、図１５Ｄの関心領域７５４を使用する利点を示す。特に、図の右側は、図１５Ｄを参照して説明したように、対象ヴィークルが走行している道路または車線の中心線に基づいて決定される関心領域７５４を示す。図の左側は、図１５Ａ－図１５Ｃを参照して説明したようなカメラ校正に基づいて決定され、そして道路／車線の中心線とは独立した形状（例：中心線の曲率）を有する、別の関心領域７５４を示す。左側の関心領域７５４は、道路／車線の曲率に依存しないので、関心領域７５４の形状は、道路／車線の形状と必ずしも一致しない。従って、図示された例では、歩行者が関心領域７５４と交差するので、処理ユニット２１０は、歩行者と衝突するリスクがあると誤って検出する可能性がある。別の同様の状況では、左の図の関心領域７５４は、対象車線の外側にある駐車中のヴィークルを、衝突のリスクがあるオブジェクトとして誤って検出する可能性がある。いくつかの実施形態では、処理ユニット２１０は、（例：オブジェクトを衝突のリスクとして誤って検出する）偽陽性の問題に対処するために追加の処理を実行する、ように構成することができる。一方、右側の関心領域７５４には、上記の偽陽性の問題がないという利点がある。

【0195】

他の実施形態では、道路の形状に対応して可変の形状を有する関心領域７５４を決定するために他の技術を使用することができることに留意されたい。例えば、他の実施形態では、処理ユニット２１０は、対象ヴィークルが走行している車線または道路の左右境界を識別するように構成されている道路または車線境界モジュールを含むことができる。処理ユニット２１０は、また、左境界に適合する１つ以上の線、および右境界に適合する１つ以上の線を決定し、そして決定された線に基づいて関心領域７５４を決定することができる。

【0196】

いくつかの実施形態では、処理ユニット２１０は、（１）（図１５Ａ－１５Ｃを参照して説明した三角形の関心領域７５４のような）第１の関心領域、および（２）図１５Ｄを参照して説明した関心領域７５４の様な第２の関心領域の両方を決定するように構成することができる。第１の関心領域は、処理ユニット２１０を使用してカメラ画像をトリミングさせることができる。例えば、第１の関心領域から離れている、または第１の関心領域から一定の距離にあるカメラ画像の特定の部分は、画像データを処理する必要量を削減させるために、トリミングさせることができる。第２の関心領域は、検出されたオブジェクトが衝突のリスクをもたらすか否かを決定するために、処理ユニット２１０に使用させることができる。例えば、検出されたオブジェクトまたは検出されたオブジェクトの境界ボックスが、第２の関心領域と重なる場合、処理ユニット２１０は、検出されたオブジェクトと衝突するリスクがあると決定することができる。いくつかの実施形態では、第１の関心領域は、カメラ画像内の先行ヴィークルを検出するために、処理ユニット２１０に使用させることができる。検出されたヴィークルの幅および画像の座標系に対するそれらの対応する位置は、ｙ対距離マッピングを決定するために、処理ユニット２１０に使用させることができる。これは、図２０を参照して以下で更に詳細に説明されるであろう。

【0197】

いくつかの実施形態では、衝突予測器２１８は、関心領域７５４（例：中心線に基づいて作成された多角形）が、先行ヴィークル、衝突ヴィークルの様な検出されたオブジェクトの境界ボックスと交差するか否かを決定する、ように構成することができる。交差する場合、衝突予測器２１８は、衝突のリスクがあると決定することができ、そして境界ボックスに対応するオブジェクトは、ＴＴＣ計算に適格であるとみなされる。

【0198】

いくつかの実施形態では、衝突予測器２１８は、少なくとも３つの異なるシナリオで先行ヴィークルとの衝突を予測するように構成することができる。図１６は、先行ヴィークルとの衝突についての３つの例示的なシナリオを示している。上側の図（第 1 のシナリオ) では、対象ヴィークル（左側のヴィークル)がゼロでは無い速度Ｖ_ＳＶで走行していて、そして先行ヴィークル（右側のヴィークル)が完全に停止しているので、速度Ｖ_ＰＯＶ＝０になる。中央の図（第２のシナリオ）では、対象ヴィークル（左側のヴィークル）は非ゼロ速度Ｖ_ＳＶで走行していて、そして先行ヴィークル（右側のヴィークル）は速度Ｖ_ＳＶより遅い非ゼロ速度Ｖ_ＰＯＶで走行している。下側の図（第３のシナリオ) では、対象ヴィークル（左側のヴィークル)は当初非ゼロ速度Ｖ_ＳＶで走行していて、そして先行ヴィークル（右側のヴィークル) も当初非ゼロ速度Ｖ_ＰＯＶ＝Ｖ_ＳＶ で走行していた。その後、先行ヴィークルがブレーキをかけ、そして速度Ｖｐｏｖが低下するので、対象ヴィークルの速度Ｖｓｖが先行ヴィークルの速度Ｖｐｏｖよりも速くなる。いくつかの実施形態では、衝突予測器２１８は、図３に示される３つのシナリオの何れかで発生する可能性がある対象ヴィークルと先行ヴィークルとの間の衝突を予測する、ように構成されている。一実装形態では、衝突予測器２１８は、第１のカメラ２０２からの画像のシーケンスを分析して、対象ヴィークルと先行ヴィークルとの間の相対速度を決定することができる。別の実施形態では、衝突予測器２１８は、対象ヴィークルと先行ヴィークルとの間の相対速度を示すセンサ情報を取得することができる。例えば、衝突予測器２１８は、ある期間に渡る対象ヴィークルと先行ヴィークルとの間の距離を示すセンサ情報のシーケンスを取得することができる。ある期間に渡る距離の変化を分析することによって、衝突予測器２１８は、対象ヴィークルと先行ヴィークルとの間の相対速度を決定することができる。また、いくつかの実施形態では、衝突予測器２１８は、対象ヴィークルの速度センサから、ＧＰＳシステムから、または対象ヴィークルの速度とは異なる別個の速度センサから、の様に対象ヴィークルの速度を取得することができる。

【0199】

いくつかの実施形態では、衝突予測器２１８は、対象ヴィークルと先行ヴィークルとの間の相対速度、対象ヴィークルの速度、ヴィークルの速度、先行ヴィークルの速度またはこれらの任意の組み合わせに基づいて、対象ヴィークルと先行ヴィークルとの間の衝突を予測するように構成することができる。例えば、場合によっては、衝突予測器２１８は、（１）オブジェクト検出器２１６が先行ヴィークルを検出する場合、（２）先行ヴィークルと対象ヴィークルとの間の相対速度がゼロで無い場合、そして（３）先行ヴィークルと対象ヴィークルとの車間距離が減少している場合、衝突のリスクがあると決定することができる。場合によっては、基準（２）と（３） を組み合わせて、対象ヴィークルが先行ヴィークルよりも速く走行しているか否かを示すこともできる。このような場合、衝突予測器２１８は、（１）オブジェクト検出器２１６が先行ヴィークルを検出する場合、そして（２）（対象ヴィークルが 先行ヴィークルに向かって進んでいる様に）対象ヴィークルが先行ヴィークルよりも速く走行している場合、衝突のリスクがあると決定する。

【0200】

いくつかの実施形態では、衝突予測器２１８は、衝突のリスクがあるか否かを決定するために使用される他の情報を取得することができる。非限定的な例として、衝突予測器２１８は、先行ヴィークルがブレーキをかけていることを示す情報（例：カメラ画像、検出された光等）、（加速、減速、ターン等を示す情報の様な）動作パラメータ、対象ヴィークルの（加速、減速、ターン等を示す情報の様な）動作パラメータ、またはこれらの任意の組み合わせを取得することができる。

【0201】

いくつかの実施形態では、衝突予測器２１８は、予測される衝突の予想される発生時刻の少なくとも３秒以上前に衝突を予測するように、構成されている。例えば、衝突予測器２１８は、予測される衝突の発生が予想される時刻の少なくとも３秒、４秒、５秒、６秒、７秒、８秒、９秒、１０秒、１１秒、１２秒、１３秒、１４秒、１５秒等前に衝突を予測するように、構成することができる。また、いくつかの実施形態では、衝突予測器２１８は、運転者の脳が入力を処理し、そして運転者が衝突のリスクを軽減するための行動を実行するのに十分なリードタイムで衝突を予測するように、構成されている。いくつかの実施形態では、十分なリードタイムは、運転者監視モジュール２１１が決定する、運転者の状態に依存させることができる。

【0202】

いくつかの実施形態では、オブジェクト検出器２１６は、人間を検出する、ように構成することができることに留意されたい。このような場合、衝突予測器２１８は、人間との衝突を予測する、ように構成することができる。図１７は、検出されるオブジェクトが人間であるオブジェクト検出の別の例を示す。図示されるように、検出されるオブジェクトは、第１のカメラ２０２によって提供された画像内で捕獲された人間である。オブジェクトの検出は、オブジェクト検出器２１６によって実行させることができる。図示の例では、識別された人間には、（例：識別されたそれぞれのヴィークルの空間範囲を示す境界ボックス７６０の形で）識別子がそれぞれ提供されている。オブジェクト検出器２１６は、識別された人間に対して長方形の境界ボックス７６０である識別子を提供することに限定されず、そしてオブジェクト検出器２１６は、識別されたそれぞれの人間に対して他の形式の識別子を提供するように構成することもできることに留意されたい。いくつかの実施形態では、オブジェクト検出器２１６は、対象ヴィークルの前方（例：ヴィークルの経路内）にいる人間を、対象ヴィークルの経路内にいない他の人間から区別することができる。いくつかの実施形態では、オブジェクト検出器２１６は、先行ヴィークルを検出するために前述したものと同じ関心領域７５４を、対象ヴィークルの進路内にいる人間を検出するために使用することができる。

【0203】

いくつかの実施形態では、衝突予測器２１８は、第１のカメラ２０２によって提供された人間の画像のシーケンスを分析することによって、検出された人間の移動方向を決定するように構成することができる。衝突予測器２１８は、また、人間の画像のシーケンスを分析することによって、検出された人間の移動速度（例：人間がどの程度の速さで歩いたり走ったりしているか）を決定するように構成することができる。また、衝突予測器２１８は、対象ヴィークルの走行経路と、検出された人間の移動方向とに基づいて、人間と衝突するリスクがあるか否かを決定する、ように構成することができる。このような特徴は、ヴィークルの進路上にはいないが、対象ヴィークルの経路方向に移動する歩道にいる可能性のある人間との衝突を防止するために望ましいであろう。

【0204】

いくつかの実施形態では、衝突予測器２１８は、検出された人間の移動速度と方向に基づいて、将来のある時刻（例えば、次の０．５秒、次の１秒、次の２秒、次の３秒等）において検出される人間がいる可能性のある位置を示す、検出された人間の隣のエリアを決定するように、構成されている。次で、衝突予測器２１８は、対象ヴィークルの速度に基づいて、対象ヴィークルが人間の予測位置を示す、決定された領域（例：ボックス内）を横切るか否かを決定することができる。一実装形態では、衝突予測器２１８は、決定された領域が関心領域７５４と交差するか否かを決定することができる。交差する場合、衝突予測器２１８は、人間と衝突するリスクがあると決定し、そして予測される衝突を示す出力を生成することができる。

【0205】

図１８は、人間の歩行速度と方向に基づく人間の予測される位置の例を示す図である。人間の移動は、本質的に予測可能ではないため、いくつかの実施形態では、例え、検出された人間が立っている場合であっても（例：道路の隣に立っている歩行者）、衝突予測器２１８は、人間の（例：人間が歩き始めたり、走り始めた場合の）可能性がある位置を示す人間に関するエリアを決定することができる。例えば、衝突予測器２１８は、検出された人間を囲む境界ボックス７６０（例：長方形のボックス）を決定し、そして次いで、人間の将来の予測位置の不確実性を考慮して、境界ボックス７６０の寸法を増加させることができる。ここで、拡大されたボックスは、人間の予測位置を示す領域を定義する。次に、衝突予測器２１８は、対象ヴィークルが、人間の予測位置を示す、決定されたエリアを横切るか否かを決定することができる。一実装形態では、衝突予測器２１８は、拡大されたボックスの決定された領域が、関心領域７５４と交差するか否かを決定することができる。交差する場合、衝突予測器２１８は、人間との衝突のリスクがあると決定し、そして予測される衝突を示す出力を生成することができる。

【0206】

いくつかの実施形態では、衝突予測器２１８は、少なくとも３つの異なるシナリオで人間との衝突を予測するように構成することができる。第１のシナリオでは、検出された人間（または検出された人間を囲む境界ボックス７６０）が、関心領域７５４と交差して、人間がすでに対象ヴィークルの走行経路内にいることを示す。第２のシナリオでは、検出された人間は、対象ヴィークルの走行経路内にはいなく、そして車道の脇に立っている。このような場合、衝突予測器２１８は、上述したように、検出された人間の拡大された境界ボックスの領域を使用して、衝突のリスクがあるか否かを決定することができる。拡大された境界ボックスが、（衝突を検出するための）関心領域７５４と交差する場合、衝突予測器２１８は、立っている人間と衝突するリスクがあると決定することができる。第３のシナリオでは、検出された人間は移動していて、そして人間の画像（またはその境界ボックス７６０）は、（衝突を検出するための）関心領域７５４と交差しない。このような場合、衝突予測器２１８は、上述したように、人間の予測位置の領域を使用して、衝突のリスクがあるか否かを決定することができる。予測位置の領域が関心領域７５４と交差する場合、衝突予測器２１８は、人間と衝突するリスクがあると決定することができる。

【0207】

いくつかの実施形態では、拡大された境界ボックスは、検出されたオブジェクトの寸法に追加の長さを加えたものに基づく寸法を有することができる。この長さは、オブジェクトの移動の不確実性を考慮して予め定められている。他の実施形態では、拡大された境界ボックスは、オブジェクトの位置の予測に基づいて決定することができる。図１８に示されるように、検出されたオブジェクトは、初期境界ボックス７６０を有することができる。第１のカメラ２０２からの画像内のオブジェクトの位置に基づいて、処理ユニット２１０は、移動オブジェクトの位置を予測することができる。図示されるように、ボックス７６２ａは、今から０．３秒後のオブジェクトの可能性がある位置を表す処理ユニット２１０によって、決定させることができる。処理ユニット２１０は、また、今から０．７秒後のオブジェクトの可能性がある位置を表すボックス７６２ｂ、および今から１秒後のオブジェクトの可能性がある位置を表すボックス７６２ｃを決定することもできる。いくつかの実施形態では、衝突予測器２１８は、特定の将来の時刻における検出されたオブジェクト（例：人間）の将来の位置を予測し続け、そして対象ヴィークルの経路がこれらの位置の何れかと交差するか否かを決定することができる。交差する場合、衝突予測器２１８は、オブジェクトと衝突するリスクがあると決定することができる。

【0208】

いくつかの実施形態では、関心領域７５４は、運転者監視モジュール２１１が運転者が注意力散漫であることを検出したことに応答して拡大させることができる。例えば、関心領域７５４は、運転者監視モジュール２１１が運転者が注意力散漫である状態を検出したことに応答して拡大させることができる。これには、道路または車線の外側にあるオブジェクトを、衝突が起こり得るリスクとして考慮することができるという利点がある。例えば、運転者が注意力散漫である場合、処理ユニット２１０は、関心領域７５４を広げる。これは、検出されたオブジェクトと関心領域７５４との重なりを検出するための閾値を緩和すると言う効果をもたらす。自転車に乗っている人が、車線の端を走っている場合、処理ユニット２１０は、それが拡大された関心領域７５４と重なり得るので、自転車に乗っている人を、衝突する可能性があるリスクとして検出することができる。一方、運転者が注意力を保持している（例：注意力散漫でない）場合、関心領域はより小さくなり、そして自転車に乗っている人が関心領域７５４と交差することはないであろう。従って、このシナリオでは、処理ユニット２１０は、自転車に乗っている人を、衝突するリスクがあるとはみなさないであろう。注意力のある運転者が、自転車に乗っている人との衝突を避けようとする可能性は高いので、これは理にかなっている。

【0209】

いくつかの実施形態では、計算需要を減らすために、衝突予測器２１８は、画像内で検出された人間の全てについて衝突のリスクを決定しなくてもよい。例えば、いくつかの実施形態では、衝突予測器２１８は、ヴィークル内にいる検出された人間、バス停に立っている人間、屋外に座っている人間等を除外することができる。他の実施形態では、衝突予測器２１８は、衝突予測に対して、検出された全ての人間を考慮することができる。

【0210】

いくつかの実施形態では、オブジェクト検出器２１６は、１つまたは複数のモデルを使用して、（図示されているような）自動車、オートバイ、歩行者、動物、車線分離線、道路標識、交通標識、信号機の様な様々なオブジェクトを検出することができる。いくつかの実施形態では、オブジェクト検出器２１６によって使用されるモデルは、様々なオブジェクトを識別するように訓練されたニューラルネットワークモデルとすることができる。他の実施形態では、モデルは、オブジェクトを識別するように構成されている数学的モデルの様な他のタイプのモデルの何れかとすることができる。オブジェクト検出器２１６によって使用されるモデルは、非一時的媒体２３０に格納させることができ、および／またはオブジェクト検出器２１６の一部として組み込むことができる。

【0211】

交差点での違反の予測

【0212】

図１９Ａ－１９Ｂは、オブジェクト検出器２１６によって検出されるオブジェクトが、交差点に関連付けられているオブジェクトの検出の他の例を示す。図１９Ａに示されるように、オブジェクト検出器２１６は、信号機７８０を検出するように構成することができる。図１９Ｂに示されるように、オブジェクト検出器２１６は、一時停止標識７９０を検出する、ように構成することができる。オブジェクト検出器２１６は、また、道路標示、縁石の角、ランプ等の様な、交差点に関連する他のオブジェクトを検出するように、構成することもできる。

【0213】

いくつかの実施形態では、交差点での違反予測器２２２は、オブジェクト検出器２１６によって検出されたオブジェクト検出器２１６に基づいて交差点を検出する、ように構成されている。場合によっては、オブジェクト検出器２１６は、対象ヴィークルの予想される停止位置を示す交差点の停止線を検出することができる。交差点での違反予測器２２２は、停止線の位置および対象ヴィークルの速度に基づいてＴＴＣ（Time To Crossing）を決定することができる。例えば、交差点での違反予測器２２２は、対象ヴィークルと停止線の位置との間の距離ｄを決定し、そして式ＴＴＣ＝ｄ／Ｖに基づいてＴＴＣを計算することができる。ここで、Ｖは対象ヴィークルの速度である。また、いくつかの実施形態では、交差点での違反予測器２２２は、図１９Ｂに示されるように、検出された停止線に対応する線７９２を決定し、そして線７９２に基づいてＴＴＣを取得するための計算を実行する、ように構成することができる。場合によっては、オブジェクト検出器２１６によって停止線が検出されない場合、交差点での違反予測器２２２は、交差点で検出されたオブジェクトに基づいて、予想される停止位置を推定することができる。例えば、交差点での違反予測器２２２は、予想される停止位置と、一時停止標識、信号機等の様な周囲のオブジェクトとの間の既知の相対位置に基づいて、予想される停止位置を推定することができる。

【0214】

いくつかの実施形態では、交差点での違反予測器２２２は、ＴＴＣを決定する代わりに、停止線の位置および対象ヴィークルの速度に基づいて制動時間（ＴＴＢ:time-to-brake）を決定する、ように構成することができる。ＴＴＢは、交差点に関連する必要な停止位置またはその手前で安全に停止するように、ブレーキ動作を開始するために、運転者が現在の速度で出発してからの時間を測定する。例えば、交差点での違反予測器２２２は、対象ヴィークルと停止線の位置との間の距離ｄを求め、そして対象ヴィークルの現在速度に基づいてＴＴＢを算出することができる。いくつかの実施形態では、交差点での違反予測器２２２は、ヴィークルの速度に基づいてヴィークルが完全に停止するまでに必要な距離を示す制動距離ＢＤを決定し、そしてこの制動距離に基づいてＴＴＢを決定する、ように構成することができる。速度が速いヴィークルほど、制動距離は長くなる。いくつかの実施形態では、制動距離は、道路状況にも依存する可能性がある。例えば、ヴィークルの速度が同じ場合、制動距離は、乾いた道路状態に比べて濡れた道路状態の方が長くなる可能性がある。図１９Ｃは、異なるヴィークル速度および異なる道路状況に対して必要な、異なる制動距離を示す。例えば、図示されるように、時速４０ｋｍで走行するヴィークルの場合、乾いた道路状態では９メートルの制動距離が必要となり、そして濡れた道路状態では１３メートルの制動距離が必要になるであろう。一方、時速１１０ｋｍで走行するヴィークルの場合、乾いた道路状態では６７メートルの制動距離が必要となり、そして濡れた道路状態では９７メートルの制動距離が必要になるであろう。図１９Ｃは、運転者の反応時間を１．５秒にした場合、ヴィークルがどれだけ移動するであろうかも示している。例えば、時速４０ｋｍで走行しているヴィークルの場合、運転者がブレーキをかけるまでに約１．５秒（運転者の反応時間)を要し、１７メートル移動するであろう。従って、時速４０ｋｍで走行しているヴィークルが停止するまでにかかる総距離は、（運転者の反応時間を考慮すると)、乾燥した道路状態では２６メートル、そして濡れた道路状態では３０メートルになるであろう。

【0215】

いくつかの実施形態では、交差点での違反予測器２２２は、式：ＴＴＢ＝（ｄ－ＢＤ）／Ｖ（Ｖはヴィークルの速度）に基づいてＴＴＢを決定することができる。ｄがヴィークルの現在位置から停止位置（停止線等) までの距離、そしてＢＤが制動距離であるので、項（ｄ－ＢＤ）は対象ヴィークルが走行する残りの距離（この間に、運転者は、ヴィークルにブレーキをかける前に環境に反応する可能性がある）を表す。従って、項（ｄ－ＢＤ）／Ｖは、運転者が、ヴィークルにブレーキをかける前に環境に反応しなければならない時間を表す。いくつかの実施形態では、ＴＴＢ＝（ｄ－ＢＤ）／Ｖ≦閾値反応時間である場合、交差点での違反予測器２２２は、本明細書に記載されているように、運転者に警告を与えるようにデバイスを動作させる、および／または自動的にヴィークルを制御するようにデバイスを動作させる、ための制御信号を生成することができる。

【0216】

いくつかの実施形態では、閾値反応時間は、１．５秒以上、２秒以上、２．５秒以上、３秒以上、４秒以上等とすることができる。

【0217】

また、いくつかの実施形態では、閾値反応時間は、運転者監視モジュール２１１によって決定される運転者の状態に基づいて可変とすることができる。例えば、いくつかの実施形態では、運転者監視モジュール２１１が、運転者が注意力散漫になっていると決定した場合、処理ユニット２１０は、閾値反応時間を増加させることができる（例：注意力散漫でない運転者の場合の２秒から、注意力散漫である運転者の場合の４秒に変更する等）。更に、いくつかの実施形態では、閾値反応時間は、運転者の異なる状態に対して異なる値を有することができる。例えば、運転者が、覚醒しているが注意力散漫になっている場合、閾値反応時間を４秒とし、そして運転者が眠気を催している場合、閾値反応時間を６秒とすることができる。

【0218】

いくつかの実施形態では、交差点での違反予測器２２２は、第１のカメラ２０２からの画像を分析することによって、対象ヴィークルと停止位置との間の距離ｄを決定する、ように構成することができる。これに代えてまたは加えて、交差点での違反予測器２２２は、ＧＰＳシステムから、対象ヴィークルの位置および交差点の位置を示す情報を受信することができる。このような場合、交差点での違反予測器２２２は、対象ヴィークルの位置と交差点の位置とに基づいて距離ｄを決定することもできる。

【0219】

いくつかの実施形態では、交差点での違反予測器２２２は、異なるヴィークル速度をそれぞれの制動距離にマッピングするテーブルを参照することによって、制動距離ＢＤを決定することができる。他の実施形態では、交差点での違反予測器２２２は、ヴィークルの速度を入力として受信するモデル（例：方程式）に基づいて計算を実行することによって、制動距離ＢＤを決定し、そして制動距離を出力することができる。また、いくつかの実施形態では、処理ユニット２１０は、道路状況を示す情報を受信し、そしてこの道路状況に基づいて制動距離ＢＤを決定することができる。例えば、いくつかの実施形態では、処理ユニット２１０は、雨が降っていることを示す湿気センサからの出力を受信することができる。このような場合、処理ユニット２１０は、制動距離ＢＤに対してより高い値を決定することができる。

【0220】

いくつかの実施形態では、ＴＴＢを決定する代わりに、またはＴＴＢを決定することに加えて、交差点での違反予測器２２２は、対象ヴィークルの速度Ｖに基づいて（そしてオプションとして道路状況および／またはヴィークルダイナミクスにも基づいて）制動距離ＢＤを決定する、ように構成することができ、そして制動距離ＢＤが、交差点までの距離ｄ（例：対象ヴィークルと交差点に関連する予想される停止位置との間の距離）より小さい場合、またはｄ－ ＢＤ≦距離閾値の場合、制御信号を生成することができる。この制御信号は、本明細書に記載されるように、デバイスを動作させて運転者に対する警告を生成する、および／またはデバイスを動作させてヴィークルを制御することができる。いくつかの実施形態では、距離閾値は、運転者の状態に基づいて調整させることができる。例えば、運転者監視モジュール２１１が、運転者が注意力散漫であると決定した場合、処理ユニット２１０は、運転者が反応するまでのより長い距離を考慮して距離閾値を増加させることができる。

【0221】

距離推定

【0222】

本明細書に記載される１つまたは複数の実施形態では、処理ユニット２１０は、対象ヴィークルとヴィークルの前方の位置との間の距離ｄを決定する、ように構成することができる。ここで、この位置は、第１のカメラ２０２からの画像に取り込まれたオブジェクト（例：先行ヴィークル、歩行者等）の位置、ヴィークルの予想停止位置等とすることができる。異なる実施形態では、距離ｄを決定するために、様々な技術を使用することができる。

【0223】

いくつかの実施形態では、処理ユニット２１０は、Ｙからｄへのマッピングに基づいて距離ｄを決定するように構成することができる。ここで、Ｙは、画像フレーム内のｙ座標を表し、そしてｄは、画像フレーム内の対象ヴィークルとｙ座標に対応する位置との間の距離を表す。この概念は、図２０の例に示されていて、これは、対象ヴィークルとヴィークル前方位置との間の距離ｄを求める手法の一例を示す。上側のグラフでは、カメラ画像内で検出された先行ヴィークルの境界ボックスの様々な幅が、それぞれのｙ座標（つまり、カメラ画像に現れた、検出されたオブジェクトの境界ボックスのそれぞれの位置のｙ成分) に対してプロットされていて、そして境界ボックスのｙ座標とそれぞれの幅を関連付けるために最良適合線を決定することが出来る。上側のグラフでは、ｙ座標は、原点ｙ＝０がカメラ画像の上部にある座標系に基づいている。他の実施形態では、ｙ座標は、他の座標系（例：原点ｙ＝０が画像の下部または画像の中央にある座標系)に依存させることができる。図示の例では、より高いｙ座標値が、より大きな境界ボックスの幅に対応する。これは、カメラの近くで検出されたヴィークルは、カメラから遠くにある別のヴィークルに比べて、大きくなり（対応する境界ボックスが大きくなり)、そしてカメラ画像の下部に近く表示されるためである。また、図示の例では、図２０の上側のグラフの最良適合線は、Ｂ＝６９３．４１および ｍ＝１．４６と言う２つのパラメータを持つ線形方程式を有する。ここで、Ｂはｙ＝０のときの値、そしてｍは最良適合線の傾きである。

【0224】

カメラ画像の座標系における幅（つまり水平寸法）は、ホモグラフィ原理に基づく現実世界の距離ｄに関係することに留意されたい。従って、図２０の上側のグラフの幅パラメータは、いくつかの実施形態において、透視投影幾何学に基づいて現実世界の距離ｄに変換させることができる。いくつかの実施形態では、幅対距離のマッピングは、透視投影幾何学に基づいて計算を実行することによって経験的に取得することができる。他の実施形態では、幅対距離のマッピングは、カメラとある位置のオブジェクトとの間の実際の距離ｄを測定し、そしてカメラから距離ｄの位置にあるオブジェクトを捕捉するカメラ画像の座標系においてオブジェクトの幅を決定することによって、取得することができる。また、さらなる実施形態では、幅対距離のマッピングを決定する代わりに、カメラと現実世界の位置Ｌとの間の実際の距離ｄを測定し、そしてカメラ画像の座標系において位置Ｌのｙ座標を決定することによって、ｙ対ｄのマッピングを決定することができる。

【0225】

図２０の下側のグラフの情報は、いくつかの実施形態で、処理ユニット２１０が距離ｄを決定する際に使用することが出来る。例えば、いくつかの実施形態では、ｙ座標を距離ｄに関連付ける情報は、非一時的媒体に格納することができる。この情報は、距離ｄを異なるｙ座標に関連付ける曲線の方程式、異なるｙ座標およびこれらに対応する距離ｄを含むテーブル等とすることができる。使用中に、処理ユニット２１０は、オブジェクト（例：ヴィークル）を検出することができる。カメラ画像に現れた、検出されたオブジェクトの画像は、カメラ画像の座標系に対して特定の座標（ｘ、ｙ）を有する。例えば、検出されたオブジェクトのｙ座標が５１０の値を有する場合、検出されたオブジェクトのカメラ／対象ヴィークルからの距離は、図２０の曲線に基づいて、約２５メートルとなる。

【0226】

別の例として、使用中、処理ユニット２１０は、対象ヴィークルの所望の停止位置を表す、カメラ画像内の位置を決定することができる。カメラ画像内の位置は、カメラ画像の座標系に対して特定の座標（ｘ, ｙ) を有する。例えば、（対象ヴィークルの所望の位置を表す）位置のｙ座標が４９０の値を有する場合、所望の停止位置（例：実際の交差点停止線、または人工的に作成された停止線）とカメラ／対象ヴィークルとの間の距離ｄは、図２０の曲線に基づいて、約５０メートルとなる。

【0227】

距離ｄを決定するための技術は、記載された例に限定されず、処理ユニット２１０が、距離ｄを決定するために他の技術を使用することができることに留意されたい。例えば、他の実施形態では、処理ユニット２１０は、距離決定のために飛行時間技術を使用するセンサの様な距離センサから距離情報を受信することができる。

【0228】

警報の生成および／または自動ヴィークル制御

【0229】

本明細書に記載されるように、信号生成制御器２２４は、衝突予測器２１８または交差点での違反予測器２２２からの出力および運転者の状態を示す運転者監視モジュール２１１からの出力にも基づいて、警報発生器を動作させるためのおよび／またはヴィークル制御器に対象ヴィークルを制御させるための制御信号を生成する、ように構成されている。衝突予測器２１８からの出力は、（別のヴィークルまたは別のオブジェクトとの）衝突までの時間または検出された交差点を交差するまでの時間を示すＴＴＣ値とすることができる。

【0230】

いくつかの実施形態では、信号生成制御器２２４は、（時間の経過に応じて変化する）ＴＴＣ値を閾値（閾値時間）と比較し、そしてこの結果に基づいて制御信号を生成するか否かを決定する、ように構成されている。いくつかの実施形態では、（予測される衝突または予測される交差点での違反に応じて）制御信号を生成するか否かを決定するために、処理ユニット２１０の信号生成制御器２２４が使用する閾値は、少なくとも２秒、または３秒、または４秒、または５秒、または６秒、または７秒、または８秒、または９秒、または１０秒の値である最小値を有することができる。この閾値は、運転者監視モジュール２１１によって提供される情報によって示される運転者の状態に基づいて可変である。例えば、運転者の状態が、運転者が注意力散漫であることを示す場合、処理ユニット２１０は、閾値時間をその最小値から増加させる（例：最小値が３秒の場合、閾値を５秒に調整させることができる）ことにより、閾値を調整することができる。一方、運転者の状態が眠気を催していることを示す場合、処理ユニット２１０は、例えば、７秒となる（すなわち、この例では５秒を超える）ように閾値を調整することができる。これは、眠気を催している状態にある運転者が、衝突のリスクまたは停止の必要性に気づき、そして衝突のリスクを軽減するための行動を起こすまでに、より時間がかかるからである。

【0231】

図２１は、ヴィークルを制御するための、および／または運転者に対する警告を発生させるための制御信号を生成するための技術の一例を示す。この例では、衝突予測器２１８は、ＴＴＣが１０秒であると決定する。グラフのｘ軸は、ＴＴＣ を決定してからの経過時間を示す。時間ｔ＝０において、初期ＴＴＣ＝１０秒が、衝突予測器２１８によって決定された。（ｘ軸で表される）時間が経過するに連れて、（ｙ軸で表される）ＴＴＣは、ＴＴＣ＝１０－ｔの関係に基づいて減少する。ここで１０は、最初に決定された衝突時間ＴＴＣの１０秒である。時間の経過ともに、予測される衝突が時間的に近づいて来るに連れて、ＴＴＣも減少する。図示の例では、運転者監視モジュール２１１によって出力される運転者の状態が、運転者が注意力散漫でないことを示している時には、処理ユニット２１０は、（運転者に警告するため、および／または衝突のリスクを軽減するようにヴィークル制御を自動的に動作させるために）制御信号を提供するため、３秒の第１の閾値ＴＨ１を使用する。また、図示の例では、運転者監視モジュール２１１によって出力された運転者の状態が、運転者が注意力散漫になっていることを示している時には、処理ユニット２１０は、（運転者に警告するため、および／または衝突のリスクを軽減するようにヴィークル制御器を自動的に動作させるために）制御信号を提供するため、５秒の第２の閾値ＴＨ２を使用する。図示の例では、運転者監視モジュール２１１によって出力された運転者の状態が、運転者が眠気を催していることを示している時には、処理ユニット２１０は、（運転者に警告するため、および／または衝突のリスクを軽減するようにヴィークル制御器を自動的に動作させるために）制御信号を提供するため、８秒の第３の閾値ＴＨ３を使用する。

【0232】

図２１には、４つの異なるシナリオが提示されている。シナリオ１では、運転者監視モジュール２１１の出力は、運転者が、ｔ＝０から７秒（３秒のＴＴＣに相当）およびそれ以降、注意力散漫でない（Ｎ）ことを示す。従って、信号生成制御器２２４は、（警報装置および／またはヴィークル制御を動作させる）制御信号ＣＳを提供するための時間として、第１の閾値ＴＨ１（ＴＴＣ＝３秒、これはｔ＝７秒に対応する）を使用する。換言すれば、ＴＴＣが最初の１０秒から減少して３秒の閾値に達すると、信号生成制御器２２４は制御信号ＣＳを供給する。

【0233】

シナリオ２では、運転者監視モジュール２１１の出力は、運転者がｔ＝０からｔ＝１．５秒までは注意力散漫でない（Ｎ）、ｔ＝１．５から５秒（ ５秒のＴＴＣに相当）以降では注意力散漫である（Ｄ）ことを示す。従って、信号生成制御器２２４は、（警告デバイスおよび／またはヴィークル制御を動作させるための）制御信号ＣＳを提供するための時間として、第２の閾値ＴＨ２（ＴＴＣ＝５秒、これは、ｔ＝５秒に対応する）を使用する。換言すれば、ＴＴＣが最初の１０秒から減少して５秒の閾値に達すると、信号生成制御器２２４は制御信号ＣＳを供給する。従って、運転者が注意力散漫である状況では、信号生成制御器２２４は、運転者に警告を与えおよび／またはヴィークルを動作させるための制御信号をより早く提供するであろう。

【0234】

シナリオ３では、運転者監視モジュール２１１の出力は、運転者が、ｔ＝０からｔ＝２秒までは注意力散漫でない（Ｎ）、ｔ＝２から３．５秒までは注意力散漫であり（Ｄ）、そしてｔ＝３．５秒から５秒以降、再び注意力散漫でない（Ｎ）状態になる。ｔ＝５秒で第２の閾値ＴＨ２に達したとき、運転者の状態は、注意力散漫でない（Ｎ）が、信号生成制御器２２４は、依然として第２の閾値ＴＨ２（注意力散漫である状態）を使用する。何故ならばこのシナリオにおける運転者の状態は、ｔ＝５秒での閾値ＴＨ２の直前でのみ、注意力散漫である状態から注意力散漫でない状態に変わるからである。従って、いくつかの実施形態では、信号生成制御器２２４は、制御信号の生成を決定するために閾値を使用するか否かを決定するために、閾値より前（例：ＴＨ２の１．５秒前、２秒前等）の時間窓内の運転者の状態を考慮する、ように構成することができる。他の実施形態では、信号生成制御器２２４は、閾値の時刻での運転者の状態を考慮して、閾値を使用するか否かを決定する、ように構成することができる。

【0235】

シナリオ４では、運転者監視モジュール２１１の出力は、運転者が、ｔ＝０からｔ＝２秒（８秒のＴＴＣに相当）およびそれ以降、眠気を催している（Ｒ）ことを示す。従って、信号生成制御器２２４は、第３の閾値ＴＨ３（ＴＴＣ＝８秒、これは、ｔ＝２秒に対応する）を（警告デバイスおよび／またはヴィークル制御を動作させるための）制御信号ＣＳを提供するための時間として使用する。換言すれば、ＴＴＣが最初の１０秒から減少して８秒の閾値に達すると、信号生成制御器２２４は、制御信号ＣＳを供給する。従って、運転者が眠気を催している状況では、信号生成制御器２２４は、運転者に警告を与えるためおよび／またはヴィークルを動作させるため、更に早く（すなわち、運転者が注意を払っているが注意力散漫であるときよりも早く）制御信号を供給する。

【0236】

従って、上記の例に示されるように、いくつかの実施形態では、閾値は、運転者監視モジュール２１１によって決定される運転者の状態に基づいてリアルタイムで可変とすることができる。

【0237】

上記のシナリオの何れにおいても、運転者が、衝突のリスクを軽減するようにヴィークルを動作させている（ブレーキをかける等）ことを示す（例：センサ２２５によって提供される）センサ情報が受信された場合、信号生成制御器２２４は、制御信号の提供を保留することができる。

【0238】

図２１および４つのシナリオは、衝突予測に関して説明されているが、交差点での違反の予測にも適用することができる。交差点での違反の予測の場合、ＴＴＣ値は交差点を交差するまでの時間を示すであろう。いくつかの実施形態では、衝突予測に対し（警報発生器を動作させるため、および／またはヴィークル制御器を動作させるための）制御信号をいつ提供するかを決定するために、交差点での違反の予測にも、同じ閾値ＴＨ１、ＴＨ２、ＴＨ３を使用することができる。他の実施形態では、衝突予測のための制御信号をいつ提供するかを決定するための閾値ＴＨ１、ＴＨ２、ＴＨ３は、交差点での違反の予測のための制御信号をいつ提供するかを決定するための閾値ＴＨ１、ＴＨ２、ＴＨ３とは異なっていてもよい。

【0239】

上記の例に示されるように、いくつかの実施形態では、衝突予測器２１８は、予測される衝突が発生するまでにかかる推定時間を決定する、ように構成されていて、そして処理ユニット２１０の信号生成制御器２２４は、予測される衝突が発生するまでにかかる推定時間が閾値を下回った場合に、デバイスを動作させるための制御信号を提供する、ように構成されている。いくつかの実施形態では、デバイスは警告発生器を備え、そして処理ユニット２１０の信号生成制御器２２４は、発生することが予想される衝突に対する予測所要時間が閾値を下回る場合、デバイスが運転者に警告を提供する制御信号を提供する、ように構成されている。これに代えてまたは加えて、デバイスは、ヴィークル制御器を含むことができ、そして処理ユニット２１０の信号生成制御器２２４は、発生することが予想される衝突に対する予測所要時間が閾値を下回る場合、デバイスにヴィークルを制御させるための制御信号を提供する、ように構成されている。

【0240】

また、上記の例に示されるように、いくつかの実施形態では、予測される衝突／交差点での違反が発生するまでの推定時間の減少に応じて、予測される衝突／交差点が時間的に近づくに連れて、処理ユニット２１０の信号生成制御器２２４は、可変閾値に関する推定時間（ＴＴＣ）を繰り返し評価する、ように構成されている。

【0241】

また、いくつかの実施形態では、処理ユニット２１０（例：処理ユニット２１０の信号生成制御器２２４）は、運転者の状態が、運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合、閾値を増加させる、ように構成されている。

【0242】

また、上記の例に示されるように、いくつかの実施形態では、処理ユニット２１０の信号生成制御器２２４は、予測される衝突にかかる推定時間が閾値を超える場合、制御信号の提供を少なくとも一時的に保留する、ように構成されている。

【0243】

いくつかの実施形態では、運転者の状態が、運転者が運転タスクに注意を払っていることを示す場合、閾値は第１の値を有し、そして運転者の状態が、運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合、閾値は第１の値より高い第２の値を有する。

【0244】

また、上記の例に示されるように、いくつかの実施形態では、閾値は、衝突のリスクを軽減するようにヴィークルを動作させていることを示すセンサ情報にも基づく。例えば、センサ２２５が、運転者がヴィークルのブレーキをかけていることを示すセンサ情報を提供する場合、処理ユニット２１０は、閾値をより高い値に増加させることができる。いくつかの実施形態では、処理ユニット２１０の信号生成制御器２２４は、（１）ヴィークルとの衝突のリスクを示す第１の情報、（２）運転者の状態を示す第２の情報、そして（３）衝突のリスクを軽減するようにヴィークルを動作させていることを示すセンサ情報に基づいて、制御信号を提供するか否かを決定する、ように構成されている。

【0245】

いくつかの実施形態では、処理ユニット２１０は、衝突のリスクのレベルを決定する、ように構成されていて、そして処理ユニット２１０（例：処理ユニット２１０の信号生成制御器２２４）は、衝突のリスクの決定されたレベルに基づいて閾値を調整する、ように構成されている。

【0246】

いくつかの実施形態では、運転者の状態は、注意力散漫である状態を含み、そして処理ユニット２１０は、運転者が注意力散漫である状態のレベルを決定する、ように構成されていて、そして処理ユニット２１０（例：処理ユニット２１０の信号生成制御器２２４）は、運転者が注意力散漫である状態の決定されたレベルに基づいて閾値を調整する、ように構成されている。また、いくつかの実施形態では、異なる警告は、異なる閾値で、そして運転者が注意力を保持しているか否かに基づいて提供することができる。例えば、いくつかの実施形態では、処理ユニット２１０は、（ヴィークル、歩行者等との）衝突のリスクがありそして運転者が注意力を保持している場合、第１の特性を備えた第１の警報を提供するようにデバイスを制御することができ、そして衝突のリスクがありそして運転者が注意力散漫である場合、第２の特性を備えた第２の警報を発するようにデバイスを制御することができる。第１の警報の第１の特性は、第１の警報音量とすることができ、そして第２の警報の第２の特性は、第１の警報音量よりも高い第２の警報音量とすることができる。また、いくつかの実施形態では、処理ユニット２１０が、衝突のリスクがより高いと決定した場合、処理ユニット２１０は、より強力な警報（例：より大きな音量および／またはより高い周波数のビープ音）を提供するようにデバイスを制御することができる。従って、いくつかの実施形態では、対象ヴィークルがオブジェクトに接近している場合には穏やかな警報を提供させ、そして対象ヴィークルがオブジェクトに対してより近くに接近している場合にはより強力な警報を提供させることができる。

【0247】

同様に、いくつかの実施形態では、処理ユニット２１０は、交差点での違反のリスクがありそして運転者が注意深い場合、第１の特徴を有する第１の警報を提供するようにデバイスを制御し、そして交差点での違反のリスクがありそして運転者が注意力散漫である場合、第２の特徴を有する第２の警報を提供するようにデバイスを制御することができる。第１の警報の第１の特性は、第１の警報音量とすることができ、そして第２の警報の第２の特性は、第１の警報音量よりも高い第２の警報音量とすることができる。また、いくつかの実施形態では、処理ユニット２１０が、交差点での違反のリスクがより高いと決定した場合、処理ユニット２１０は、より強力な警報（例：より大きな音量の警報、および／またはより高い周波数のビープ音の警報）を提供するようにデバイスを制御することができる。従って、いくつかの実施形態では、対象ヴィークルが交差点に近づくと穏やかな警報が提供され、そして対象ヴィークルが交差点により近くに接近している場合にはより強力な警報を提供することができる。

【0248】

上記の例に示されるように、装置２００は有利である。何故ならば、これは、警告を提供するためのデバイスを動作させるための制御信号を生成するか否か、および／またはヴィークルを制御するためのデバイスを動作させるための制御信号を生成するか否かを決定する際に、運転者の状態を考慮するからである。運転者の状態は、監視閾値を調整するために使用することができるので、装置２００は、運転者に警告を提供することができ、および／または（運転者が注意力散漫である、眠気を催している等）に応じて運転者の特定の状態を考慮して、衝突のリスクおよび／または交差点での違反のリスクをより早期に軽減するように、ヴィークルを制御することができる。例えば、いくつかの実施形態では、装置２００は、予測されるリスク（例：衝突のリスクまたは交差点での違反のリスク）の２秒前、または少なくとも３秒、４秒、５秒、６秒、７秒、８秒、９秒、１０秒、１１秒、１２秒、１３秒、１４秒、１５秒等の様により早く、運転者に警告を提供する、および／またはヴィークルを制御することができる。また、運転者の状態を考慮しない従来の監視システムでは、感度を高めることを犠牲にして誤検出を回避するために、より高い精度が組み込まれている。運転者の状態を組み込むことによって、装置２００は、より低い感度（例：既存の解決策より低いまたは同程度）で動作するように構成することができ、そして装置２００の感度は、運転者が不注意である場合にのみ増加させることができる。運転者の状態に基づく感度の増加は、衝突までの時間を決定するための閾値、交差点を交差するまでの時間を決定するための閾値、ブレーキまでの時間を決定するための閾値、対象領域とオブジェクトが交差するか否かを決定するための閾値（例：カメラ キャリブレーションＲＯＩ、中心線検出に基づいて決定されるＲＯＩ等）、オブジェクト検出の信頼度に関する閾値、の様な運転者の状態に基づいて、１つまたは複数の閾値を調整することによって、達成させることができる。

【0249】

あおり運転

【0250】

いくつかの実施形態では、処理ユニット２１０は、対象ヴィークルがあおり運転をしているシナリオを考慮するように構成することもできる。いくつかの実施形態では、あおり運転は、先行ヴィークルまでの距離を対象ヴィークル（自己中心的なヴィークル）の速度で割ったものとして定義される車間距離によって決定（例：測定）することができる。いくつかの実施形態では、対象ヴィークルの速度は、このヴィークルの速度感知システムから取得することができる。他の実施形態では、対象ヴィークルの速度はＧＰＳシステムから取得することができる。さらなる実施形態では、対象ヴィークルの速度は、装置２００の第１のカメラ２０２から受信した外部画像を処理する処理ユニット２１０によって決定させることができる。また、いくつかの実施形態では、先行ヴィークルまでの距離は、処理ユニット２１０によって決定させることができる。他の実施形態では、先行ヴィークルまでの距離は、飛行時間技術を採用したセンサの様な距離センサから取得することができる。

【0251】

いくつかの実施形態では、処理ユニット２１０は、車間距離があおり運転閾値未満である場合、あおり運転が存在すると決定することができる。非限定的な例として、あおり運転閾値は、２秒以下、１．５秒以下、１秒以下、０．８秒以下、０．６秒以下、０．５秒以下等とすることができる。

【0252】

いくつかの実施形態では、処理ユニット２１０は、対象ヴィークルがあおり運転をしている場合、および運転者監視モジュール２１１が、運転者が注意力散漫であると決定した場合、衝突のリスクがあると決定する、ように構成することができる。次いで、処理ユニット２１０は、上述したように、デバイス（例：警告発生器）に、運転者に対し警告を提供させるための、および／またはデバイス（例：ヴィークル制御器）にヴィークルを制御させるための制御信号を生成することができる。例えば、ヴィークル制御器は、ヴィークルのブレーキを自動的に掛けたり、アクセルペダルを自動的に解除したり、ハザードランプを自動的に動作させたり、またはこれらの任意の組み合わせを行うことができる。

【0253】

ローリング停止

【0254】

いくつかの実施形態では、処理ユニット２１０は、ローリング停止操作を検出するように構成されているローリング停止モジュールを含むことができる。ローリング停止モジュールは、いくつかの実施形態では、交差点での違反予測器２２２の一部として実装させることができる。使用中に、処理ユニット２１０は、ヴィークルの停止を必要とする交差点を検出することができる（例：処理ユニット２１０は、第１のカメラ２０２からの画像の処理に基づいて、一時停止標識、赤信号等を識別することができる）。ローリング停止モジュールは、ヴィークルの動作を示す１つまたは複数のパラメータを監視して、ヴィークルが、交差点に対してローリング停止操作を行っているか否かを決定することができる。例えば、ローリング停止モジュールは、ヴィークルの速度、ヴィークルの制動、ヴィークルの減速度等、またはこれらの任意の組み合わせを示すパラメータを取得することができる。いくつかの実施形態では、ローリング停止モジュールは、ヴィークルが交差点に接近しているときの一定期間に渡ってヴィークルの速度プロファイルを分析することによって、ローリング停止操作があることを決定することができる。例えば、ヴィークルが既に減速していて（運転者が交差点に気づいていることを示す)、そしてヴィークルの速度が一定期間内に更に低下しない場合、ローリング停止モジュールは、運転者がローリング停止操作を実行していると決定することができる。別の例として、ヴィークルが既に減速していて（運転者が交差点に気づいていることを示している）、そしてヴィークルが交差点に近づくに連れてヴィークルの速度が増加し始める場合、ローリング停止モジュールは、運転者がローリング停止操作を行っていると決定することができる。別の技術では、ヴィークルが交差点に近づいている時にヴィークルの速度が既に低下していたが、ヴィークルの速度が必要な停止位置から一定の距離内で特定の閾値に達するほど十分に低下していない場合、ローリング停止操作は、運転者がローリング停止操作を実行していると決定することができる。

【0255】

いくつかの実施形態では、ローリング停止モジュールが、（例：運転者が一時停止標識または赤信号に応答して減速することができるが、完全には停止していないので）ヴィークルが完全には停止していないと決定した場合、交差点での違反予測器２２２は、交差点での違反のリスクがあると決定することができる。リスクがあると決定された交差点での違反のリスクに応じて、ローリング停止モジュールは、デバイスを動作させるための制御信号を生成することができる。例えば、制御信号は、通信デバイスを動作させて、メッセージを無線でサーバシステム（例：クラウドシステム）に送信することができる。このサーバシステムは、フリート管理者が運転者を指導するために使用する、または保険会社がリスクがある運転者を特定するために使用することができる。これに代えてまたは加えて、制御信号は、警告システムを動作させて運転者に警告を与えることができ、これは運転者を指導する方法として機能させることができる。これに代えてまたは加えて、制御信号は、ヴィークルのブレーキシステムを動作させて、ヴィークルが完全に停止するように制御することができる。

【0256】

方法

【0257】

図２２Ａは、いくつかの実施形態による図２Ａの装置２００によって実行される方法８００を示す。この方法８００は、ヴィークル外部の環境を観察するように構成されている第１のカメラによって生成された第１の画像を取得すること（項目８０２）；ヴィークルの運転者を観察するように構成されている第２のカメラによって生成された第２の画像を取得すること（項目８０４）；第１の画像に少なくとも部分的に基づいて、ヴィークルとの衝突のリスクを示す第１の情報を決定すること（項目８０６）；第２の画像に少なくとも部分的に基づいて、運転者の状態を示す第２の情報を決定すること（項目８０８）；（１）ヴィークルとの衝突のリスクを示す第１の情報と、（２）運転者の状態を示す第２の情報とに基づいて、デバイスを動作させるための制御信号を提供するか否かを決定すること（項目８１０）とを含む。

【0258】

オプションとして、方法８００において、第１の情報は、衝突を予測することによって決定され、そしてこの衝突は、予測される衝突の予想される発生時刻の少なくとも３秒以上前に予測される。

【0259】

オプションとして、方法８００では、第１の情報は、衝突を予測することによって決定され、そしてこの衝突は、運転者の脳が入力を処理し、そして運転者が衝突のリスクを緩和するための行動を実行するのに十分なリードタイムをもって予測される。

【0260】

オプションとして、方法８００では、十分なリードタイムは、運転者の状態に依存する。

【0261】

オプションとして、方法８００では、衝突のリスクを示す第１の情報は、予測される衝突を含み、この方法は、予測される衝突が発生するまでにかかる推定時間を決定することを更に含み、そしてこの制御信号は、予測される衝突が発生するまでにかかる推定時間が閾値を下回る場合、デバイスに制御信号を提供させる。

【0262】

オプションとして、方法８００では、デバイスは警告発生器を備え、予測される衝突が発生するまでにかかる推定時間が閾値を下回る場合、デバイスに運転者に対する警告を提供させるための制御信号が、提供される。

【0263】

オプションとして、方法８００では、デバイスはヴィークル制御器を備え、そして予測される衝突が発生するまでにかかる推定時間が閾値を下回る場合に、デバイスにヴィークルを制御させるための制御信号が、提供される。

【0264】

オプションとして、方法８００では、閾値は、運転者の状態を示す第２の情報に基づいて可変である。

【0265】

オプションとして、方法８００では、予測される衝突が発生するのにかかる推定時間の減少に対応して、予測される衝突が時間的に近づいて来るに連れ、予測時間が可変閾値に関して繰り返し評価される。

【0266】

オプションとして、方法８００では、閾値は、運転者の状態に基づいてリアルタイムで可変である。

【0267】

オプションとして、方法８００は、運転者の状態が、運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合、閾値を増加させることを、更に、備える。

【0268】

オプションとして、方法８００は、予測される衝突が発生するまでにかかる推定時間が閾値よりも長い場合、制御信号の生成を少なくとも一時的に保留することを、更に、備える。

【0269】

オプションとして、方法８００は、衝突のリスクのレベルを決定すること、および決定された衝突のリスクのレベルに基づいて閾値を調整することを、更に、備える。

【0270】

オプションとして、方法８００では、運転者の状態は、注意力散漫である状態を含み、そしてこの方法は、運転者が注意力散漫である状態のレベルを決定すること、運転者が注意力散漫である状態の決定されたレベルに基づいて注意力散漫である状態のレベルを調整することを、更に、備える。

【0271】

オプションとして、方法８００では、運転者の状態が、運転者が運転タスクに注意を払っていることを示す場合、閾値は第１の値を有し、そして運転者の状態が、運転者が、注意力散漫であるまたは運転タスクに注意を払っていない場合、閾値は第１の値よりも高い第２の値を有する。

【0272】

オプションとして、方法８００では、この閾値は、また、ヴィークルが衝突のリスクを軽減するように動作されていることを示すセンサ情報に基づく。

【0273】

オプションとして、方法８００では、デバイスを動作させるための制御信号を提供するか否かを決定する行為は、衝突のリスクを軽減するようにヴィークルが動作していることを示すセンサ情報にも基づいて実行される。

【0274】

オプションとして、方法８００において、衝突のリスクを示す第１の情報を決定する行為は、第１のモデルに基づいて第１の画像を処理することを備える。

【0275】

オプションとして、方法８００では、第１のモデルはニューラルネットワークモデルを備える。

【0276】

オプションとして、方法８００において、運転者の状態を示す第２の情報を決定する行為は、第２のモデルに基づいて第２の画像を処理することを備える。

【0277】

オプションとして、方法８００は、複数のそれぞれの姿勢の分類化に対するメトリック値を決定すること、１つ以上のメトリック値に基づいて、運転者が運転タスクに従事しているか否かを決定することを、更に、備える。

【0278】

オプションとして、方法８００では、姿勢の分類化は、下を向いている姿勢、上を向いている姿勢、左を向いている姿勢、右を向いている姿勢、携帯電話を使用している姿勢、喫煙している姿勢、オブジェクトを保持している姿勢、ステアリングホイールを保持していない姿勢、シートベルトを着けていない姿勢、目を閉じている姿勢、まっすぐ見つめている姿勢、片手でステアリングホイールを保持している姿勢、そして両手でステアリングホイールを保持している姿勢、の内の２つ以上を備える。

【0279】

オプションとして、方法８００は、メトリック値を、それぞれの姿勢の分類化のそれぞれの閾値と比較することを、更に、備える。

【0280】

オプションとして、方法８００は、メトリック値の対応する１つが閾値の対応する１つ以上である場合、運転者が姿勢の分類化の１つに属すると決定することを、更に、備える。

【0281】

オプションとして、方法８００は、アフターマーケットデバイスによって実行され、そして第１のカメラと第２のカメラはアフターマーケットデバイスの一部として統合されている。

【0282】

オプションとして、方法８００では、第２の情報は、第２の画像を処理して、運転者の画像が姿勢の分類化を満たすか否かを決定することによって決定され、そしてこの方法は、更に、運転者の画像が姿勢の分類化を満たすか否かに基づいて、運転者が運転タスクに従事しているか否かを決定することを備える。

【0283】

オプションとして、方法８００において、運転者の状態を示す第２の情報を決定する行為は、ニューラルネットワークモデルに基づいて第２の画像を処理することを備える。

【0284】

図２２Ｂは、図２２Ａの装置２００によって実行される方法８５０を示す。いくつかの実施形態による図２Ａに示される。この方法８５０は、ヴィークル外部の環境を観察するように構成されている第１のカメラによって生成された第１の画像を取得すること（項目８５２）；ヴィークルの運転者を観察するように構成されている第２のカメラによって生成された第２の画像を取得すること（項目８５４）；第１の画像に少なくとも部分的に基づいて、交差点での違反のリスクを示す第１の情報を決定すること（項目８５６）；第２の画像に少なくとも部分的に基づいて、運転者の状態を示す第２の情報を決定すること（項目８５８）；第２の画像に少なくとも部分的に基づいて、運転者の状態を示す第２の情報を決定する（項目８０８）；（１）ヴィークルとの衝突のリスクを示す第１の情報と、（２）運転者の状態を示す第２の情報とに基づいて、デバイスを動作させるための制御信号を提供するか否かを決定すること（項目８１０）とを含む。

【0285】

オプションとして、第１の情報は、交差点での違反を予測することによって決定され、そして予測される交差点での違反は、予測される交差点での違反の予想発生時刻の少なくとも３秒以上前に予測される。

【0286】

オプションとして、第１の情報は、交差点での違反を予測することによって決定され、そして交差点での違反は、運転者の脳が入力を処理し、運転者が交差点での違反のリスクを軽減するための行動を実行するのに十分なリードタイムをもって予測される。

【0287】

オプションとして、十分なリードタイムは、運転者の状態に依存する。

【0288】

オプションとして、交差点での違反のリスクを示す第１の情報は、予測される交差点での違反のリスクを備え、この方法は、更に、予測される交差点での違反が発生するであろう推定時間を決定することを備え、そして予測される交差点での違反が発生するまでにかかる推定時間が閾値を下回る場合、デバイスに、制御信号を提供させるように、制御信号が提供される。

【0289】

オプションとして、デバイスは警告発生器を備え、そして予測される交差点での違反が発生するまでにかかる推定時間が閾値を下回る場合、デバイスに、運転者に警告を提供させるように、制御信号が提供される。

【0290】

オプションとして、デバイスはヴィークル制御器を備え、そし予測される交差点での違反が発生するまでにかかる推定時間が閾値を下回る場合、デバイスに、ヴィークルを制御させるために、制御信号が提供される。

【0291】

オプションとして、閾値は、運転者の状態を示す第２の情報に基づいて可変である。

【0292】

オプションとして、予測される交差点での違反が発生するのにかかる推定時間の減少に応じて予測される交差点での違反が時間的に近づいて来るに連れて、予測時間は、可変閾値に関して繰り返し評価される。

【0293】

オプションとして、閾値は、運転者の状態に基づいてリアルタイムで可変である。

【0294】

オプションとして、この方法は、運転者の状態が、運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合、閾値を増加させることを、更に、備える。

【0295】

オプションとして、この方法は、予測される交差点での違反が発生するのにかかる推定時間が閾値よりも長い場合、制御信号の生成を少なくとも一時的に保留することを含む。

【0296】

オプションとして、この方法は、更に、交差点での違反のリスクのレベルを決定すること、交差点での違反のリスクの決定されたレベルに基づいて閾値を調整することを含む。

【0297】

オプションとして、運転者の状態は注意力散漫である状態を含み、そしてこの方法は、更に、運転者が注意力散漫である状態のレベルを決定すること、決定された運転者が注意力散漫である状態のレベルに基づいて閾値を調整することを備える。

【0298】

オプションとして、運転者の状態が、運転者が運転タスクに注意を払っていることを示す場合、閾値は第１の値を有し、そして運転者の状態が、運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合、閾値は第１の値よりも高い第２の値を有する。

【0299】

オプションとして、閾値は、また、交差点での違反のリスクを軽減するようにヴィークルが動作されていることを示すセンサ情報に基づいている。

【0300】

オプションとして、デバイスを動作させるための制御信号を提供するか否かを決定する行為が、交差点での違反のリスクを軽減するようにヴィークルが動作されていることを示すセンサ情報に基づいて実行される。

【0301】

オプションとして、交差点での違反のリスクを示す第１の情報を決定する行為は、第１のモデルに基づいて第１の画像を処理することを備える。

【0302】

オプションとして、第１のモデルは、ニューラルネットワークモデルを備える。

【0303】

オプションとして、運転者の状態を示す第２の情報を決定する行為は、第２のモデルに基づいて第２の画像を処理することを備える。

【0304】

オプションとして、本方法は、更に、複数のそれぞれの姿勢の分類化に対するメトリック値を決定すること、１つ以上のメトリック値に基づいて運転者が運転タスクに従事しているか否かを決定することを含む。

【0305】

オプションとして、姿勢の分類化は、下を見ている姿勢、見上げている姿勢、左を向いている姿勢、右を向いている姿勢、携帯電話を使用している姿勢、喫煙している姿勢、オブジェクトを保持している姿勢、ステアリングホイールに手を乗せていない姿勢、シートベルトを着用してしない姿勢、目を閉じている姿勢、前を見ている姿勢、ステアリングホイールに片手を乗せている姿勢、ステアリングホイールに両手を乗せている姿勢の２つ以上を備える。

【0306】

オプションとして、この方法は、更に、メトリック値をそれぞれの姿勢の分類化のそれぞれの閾値と比較することを、更に、備える。

【0307】

オプションとして、この方法は、更に、メトリック値の対応する１つが閾値の対応する１つ以上である場合、運転者が姿勢の分類化の１つに属すると決定することを含む。

【0308】

オプションとして、この方法は、アフターマーケットデバイスによって実行され、そして第１のカメラと第２のカメラは、アフターマーケットデバイスの一部として統合されている。

【0309】

オプションとして、第２の情報は、第２の画像を処理して、運転者の画像が姿勢の分類化を満たすか否かを決定することによって決定され、そしてこの方法は、更に、姿勢の分類化を満たすか否かの運転者の画像に基づいて、運転者が運転タスクに従事しているか否かを決定することを備える。

【0310】

オプションとして、運転者の状態を示す第２の情報を決定する行為は、ニューラルネットワークモデルに基づいて第２の画像を処理することを備える。

【0311】

モデルの生成と組み込み

【0312】

図２３は、いくつかの実施形態に従って装置２００によって使用されるモデルを決定する技術を示す。図示されるように、それぞれ装置２００ａ－２００ｄを備えた複数のヴィークル９１０ａ－９１０ｄが、存在する。各装置２００ａ－２００ｄは、図２Ａの装置２００を参照して説明した構成および特徴を有することができる。使用中、ヴィークル９１０ｂ－９１０ｄ内の装置２００ｂ－２００ｄのカメラ（外部監視カメラおよび内部監視カメラの両方）は、各ヴィークル９１０ｂ－９１０ｄの外部環境の画像および各運転者の画像を捕捉する。画像は、ネットワーク（例：クラウド、インターネット等）を介して、直接的または間接的にサーバ９２０に送信される。サーバ９２０は、ヴィークル９１０ｂ－９１０ｄ内の装置２００ｂ－３００ｄからの画像を処理してモデル９３０を決定するように構成されている処理ユニット９２２と、１つまたは複数のモデル９３２とを含む。モデル９３０は、運転者の姿勢を検出する、ように構成することができ、そしてモデル９３２は、カメラ画像内の異なるタイプのオブジェクトを検出する、ように構成することができる。次に、モデル９３０、９３２は、サーバ９２０内の非一時的媒体９２４に格納させることができる。サーバ９２０は、モデル９３０、９３２を、ネットワーク（例：クラウド、インターネット等）を介して直接または間接的にヴィークル９１０ａの装置２００ａに送信することができる。また、装置２００ａは、次いで、モデル９３２を使用して、装置２００ａのカメラによって受信された画像を処理して、ヴィークル９１０ａの外側の異なるオブジェクトを検出する、および／または装置２００ａのカメラの関心領域を決定することができる。

【0313】

図２３に示されるように、３台のヴィークル９１０ｂ－９１０ｄにはそれぞれ画像を提供する３台の装置２００ｂ－２００ｄが存在する。他の例では、サーバ９２０に画像を提供するために、３つより多いヴィークル９１０のそれぞれに、３つより多い装置２００が存在しても良い。これに代えて、サーバ９２０に画像を提供するために、３つより少ないヴィークル９１０に３つより少ない装置２００が存在しても良い。

【0314】

いくつかの実施形態では、サーバ９２０によって提供されるモデル９３０は、ニューラルネットワークモデルとすることができる。サーバ９２０によって提供されるモデル９３２は、１つ以上のニューラルネットワークモデルとすることができる。このような場合、サーバ９２０は、ニューラルネットワーク、またはニューラルネットワークの一部とすることができ、そして装置２００ｂ－２００ｄからの画像は、モデル９３０および／またはモデル９３２を構成するためにサーバ９２０によって使用させることができる。特に、サーバ９２０の処理ユニット９２２は、機械学習によりモデル９３０を訓練することによって、モデル９３０および／またはモデル９３２を構成することができる。場合によっては、異なる装置２００ｂ－２００ｄからの画像は、対応するヴィークルに関して異なる位置に取り付けられた、異なるカメラからの豊富なデータセットを形成する。これは、モデル９３０および／またはモデル９３２を訓練するのに役立つであろう。本明細書で使用される「ニューラルネットワーク」という用語は、入力に対する動的状態応答によって情報を処理する、相互接続された多数の処理要素により構成されている任意のコンピューティングデバイス、システム、またはモジュールを指す。いくつかの実施形態では、ニューラルネットワークは、深層学習能力および／または人工知能を有することができる。いくつかの実施形態では、ニューラルネットワークは、１つまたは複数のデータセットを使用して訓練できる単純な任意のコンピューティング要素とすることができる。非限定的な例として、ニューラルネットワークは、パーセプトロン、フィードフォワードニューラルネットワーク、放射基底ニューラルネットワーク、深層フィードフォワードニューラルネットワーク、リカレントニューラルネットワーク、長期／短期格納ニューラルネットワーク、ゲートリカレントユニット、自動エンコーダニューラルネットワーク、変分自動エンコーダニューラルネットワーク、ノイズ除去自動エンコーダニューラルネットワーク、スパース自動エンコーダニューラルネットワーク、マルコフ連鎖ニューラルネットワーク、ホップフィールドニューラルネットワーク、ボルツマンマシン、制限付きボルツマンマシン 、深い信念ネットワーク、畳み込みネットワーク、逆畳み込みネットワーク、深い畳み込み逆グラフィックスネットワーク、敵対的生成ネットワーク、リキッドステートマシン、極限学習マシン、エコーステートネットワーク、深い残差ネットワーク、コホーネン ネットワーク、サポートベクターマシン、ニューラルチューリング マシン、モジュラーニューラルネットワーク、シーケンスツーシーケンスモデル等、または前述のものの任意の組み合わせとすることができる。

【0315】

いくつかの実施形態では、サーバ９２０の処理ユニット９２２は、画像を使用して、運転者の特定の姿勢を識別するようにモデル９３０を構成する（例えば、訓練する）。非限定的な例として、モデル９３０は、運転者が、下を向いている姿勢、上を向いている姿勢、左を向いている姿勢、右を向いている姿勢、携帯電話を使用している姿勢、喫煙をしている姿勢、オブジェクトを保持している姿勢、ステアリングホイールを保持していない姿勢、シートベルトを着用していない姿勢、目を閉じている姿勢、前を見ている姿勢、片手でステアリングホイールを保持している姿勢、両手でステアリングホイールを保持している姿勢であるかを識別する、ように構成されている。 また、いくつかの実施形態では、サーバ９２０の処理ユニット９２２は、画像を使用して、運転者が運転タスクに従事しているか否かを決定するモデルを構成することができる。いくつかの実施形態では、運転者が運転タスクに従事しているか否かの決定は、運転者の姿勢の分類化を処理する処理ユニットによって達成させることができる。一実施形態では、姿勢の分類化は、ニューラルネットワークモデルによって提供される出力とすることができる。このような場合、ニューラルネットワークモデルは、ニューラルネットワークモデルからの姿勢の分類化に基づいて、運転者が運転タスクに従事しているか否かを決定する処理ユニットに、渡すことができる。他の実施形態では、姿勢の分類化を受信する処理ユニットは、別の（例えば、第２の）ニューラルネットワークモデルとすることができる。このような場合、第１のニューラルネットワークモデルは、姿勢の分類化を出力する、ように構成され、そして第２のニューラルネットワークモデルは、第１のニューラルネットワークモデルによって出力された姿勢の分類化に基づいて、運転者が運転タスクに従事しているか否かを決定する、ように構成されている。このような場合、モデル９３０は、第１のニューラルネットワークモデルと第２のニューラルネットワークモデルの両方を有すると考えることができる。さらなる実施形態では、モデル９３０は、画像を入力として受信し、そして運転者が運転タスクに従事しているか否かを示す出力を提供するように構成されている単一のニューラルネットワークモデルとすることができる。

【0316】

また、いくつかの実施形態では、サーバ９２０の処理ユニット９２２は、画像を使用して、異なるオブジェクトを検出するようにモデル９３２を構成する（例えば、訓練する）。非限定的な例として、モデル９３２は、ヴィークル、人間、動物、自転車、信号機、道路標識、道路標示、縁石側、車道の中心線等を検出する、ように構成することができる。

【0317】

他の実施形態では、モデル９３０および／またはモデル９３２は、ニューラルネットワークモデルでなくても良く、他のタイプのモデルの何れかとすることができる。このような場合、処理ユニット９２２によるモデル９３０および／またはモデル９３２の構成は機械学習を含まなくても良く、および／または装置２００ｂ－２００ｄからの画像を必要としなくても良い。代わりに、処理ユニット９２２によるモデル９３０および／またはモデル９３２の構成は、処理ユニット９２２が処理パラメータ（特徴抽出パラメータ等）を決定する（例えば、取得、計算する等）ことによって達成させることができる。いくつかの実施形態では、モデル９３０および／またはモデル９３２は、プログラム命令、コマンド、スクリプト、パラメータ（例えば、特徴抽出パラメータ）等を含むことができる。一実装形態では、モデル９３０および／またはモデル９３２は、装置２００によって無線で受信できるアプリケーションの形式とすることができる。

【0318】

モデル９３０およびモデル９３２がサーバ９２０によって構成された後、異なるヴィークル９１０内の装置２００がカメラ画像内のオブジェクトを識別するために、モデル９３０、９３２が使用可能になる。図示されるように、モデル９３０、９３２は、サーバ９２０からヴィークル９１０ａ内の装置２００ａに送信することができる。モデル９３０、９３２は、サーバ９２０からそれぞれのヴィークル９１０ｂ－９１０ｄ内の装置２００ｂ－２００ｄに送信することができる。装置２００ａがモデル９３０、９３２を受信した後、装置２００ａ内の処理ユニットは、モデル９３０に基づいて装置２００ａのカメラ（内部監視カメラ）によって生成された画像を処理して、運転者の姿勢を識別し、および／または 本明細書で説明されるように、運転者が運転タスクに従事しているか否かを決定し、そしてモデル９３２に基づいて装置２００ａのカメラ（外部監視カメラ）によって生成された画像を処理して、ヴィークル９１０ａの外部のオブジェクトを検出することができる。

【0319】

いくつかの実施形態では、サーバ９２０から装置２００（例：装置２００ａ）へのモデル９３０、９３２の送信は、サーバ９２０がモデル９３０、９３２を「プッシュ」することによって実行させることができる。装置２００は、モデル９３０、９３２を要求する必要はない。他の実施形態では、サーバ９２０からのモデル９３０、９３２の送信は、装置２００によって生成されそして送信された信号に応答してサーバ９２０によって実行させることができる。例えば、装置２００は、装置２００の電源が入った後または装置２００を備えたヴィークルが始動した後に、信号を生成しそして送信することができる。信号はサーバ９２０によって受信され、その後、サーバ９２０は、装置２００が受信するようにモデル９３０、９３２を送信する。別の例として、装置２００は、装置２００のユーザが、モデル９３０、９３２に対する要求を送ることを可能にする、ボタンの様なユーザインタフェースを含むことができる。このような場合、ボタンが押されると、装置２００は、モデル９３０、９３２に対する要求をサーバ９２０に送信する。この要求に応じて、サーバ９２０は、モデル９３０、９３２を装置２００に送信する。

【0320】

図２３のサーバ９２０は、１台のサーバデバイスに限られず、そして複数台のサーバデバイスとすることができることに留意されたい。また、サーバ９２０の処理ユニット９２２は、１つ以上のプロセッサ、１つ以上のプロセッサモジュール等を含むことができる。

【0321】

他の実施形態では、サーバ９２０が取得する画像は、装置２００ｂ－２００ｄによって生成されなくても良い。代わりに、モデル９３０、９３２を決定する（例：訓練する、構成する等）ためにサーバ９２０が使用する画像は、携帯電話（複数可）、カメラ（複数可）の様な他のデバイス（複数可）を使用して記録させることができる。また、他の実施形態では、モデル９３０、９３２を決定する（例：訓練する、構成する等）ためにサーバ９２０が使用する画像は、例えば、サーバ９２０に関連付けられたデータベース、または第三者が所有するデータベースからサーバ９２０にダウンロードさせることができる。

【0322】

専用処理システム

【0323】

図２４は、本明細書で説明される１つまたは複数の電子デバイスを実装するための専用処理システムを示す。例えば、処理システム１６００には、装置２００、または装置２００の処理ユニット２１０の様な装置２００の少なくとも一部を実装することができる。

【0324】

処理システム１６００は、情報を通信するためのバス１６０２または他の通信機構と、情報を処理するためにバス１６０２に結合されたプロセッサ１６０４とを含む。プロセッサシステム１６００は、また、プロセッサ１６０４によって実行される情報および命令を格納するためにバス１６０２に結合されたランダムアクセスメモリ（ＲＡＭ）または他の動的格納デバイスの様な、メインメモリ１６０６を含む。メインメモリ１６０６は、プロセッサ１６０４によって実行される命令の実行中に、一時変数または他の中間情報を格納するためにも使用することができる。プロセッサシステム１６００は、更に、静的情報を格納するためにバス１６０２に結合された読み取り専用メモリ（ＲＯＭ）１６０８または他の静的格納デバイスを含む。情報および命令を格納するために、磁気ディスクまたは光ディスクの様なデータ格納デバイス１６１０が、提供されそしてバス１６０２に結合される。

【0325】

プロセッサシステム１６００は、バス１６０２を介して、ユーザに情報を表示するために、スクリーンまたはフラットパネルの様なディスプレイ１６７に結合させることができる。英数字キーおよび他のキー、またはタッチスクリーンを含む入力デバイス１６１４は、情報およびコマンド選択をプロセッサ１６０４に伝達するためにバス１６０２に結合されている。別のタイプのユーザ入力デバイスは、タッチパッド、タッチスクリーン、タッチスクリーン、トラックボール、またはプロセッサ１６０４に方向情報およびコマンド選択を伝達し、そしてディスプレイ１６７上のカーソルの移動を制御するためのカーソル方向キーの様なカーソル制御１６１６である。この入力デバイスは、通常、デバイスが平面内の位置を指定することを可能にする、第１の軸（例：ｘ）および第２の軸（ｙ等)の２つの軸に２自由度を有する。

【0326】

いくつかの実施形態では、プロセッサシステム１６００は、本明細書で説明される様々な機能を実行するために使用することができる。いくつかの実施形態によれば、このような使用は、プロセッサ１６０４が、メインメモリ１６０６に含まれる１つまたは複数の命令の１つまたは複数のシーケンスを実行することに応答して、プロセッサシステム１６００によって提供される。当業者は、本明細書で説明される機能と方法に基づいて、どのようにしてこの様な命令を準備するかを知るであろう。このような命令は、格納デバイス１６１０の様な別のプロセッサ可読媒体からメインメモリ１６０６に読み込ませることができる。メインメモリ１６０６に含まれる命令のシーケンスを実行することにより、プロセッサ１６０４は本明細書に記載のプロセスを実行する。マルチプロセッシング構成内の１つまたは複数のプロセッサを使用して、メインメモリ１６０６に含まれる命令のシーケンスを実行することもできる。代替実施形態では、本明細書に記載される様々な実施形態を実装するために、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて、配線回路を使用することができる。従って、実施形態は、ハードウェア回路とソフトウェアの特定の組み合わせに限定されない。

【0327】

本明細書で使用される「プロセッサ可読媒体」という用語は、実行のためにプロセッサ１６０４に命令を提供することに関与する任意の媒体を指す。このような媒体は、不揮発性媒体、揮発性媒体、および伝送媒体を含むが、これらに限定されない多くの形式をとることができる。不揮発性媒体には、例えば、格納デバイス１６１０の様な光ディスクまたは磁気ディスクが含まれる。不揮発性媒体は、非一時的媒体の一例と考えることができる。揮発性媒体には、メインメモリ１６０６の様な動的メモリが含まれる。揮発性媒体は、非一時的媒体の一例と考えることができる。伝送媒体には、ケーブル、ワイヤ、およびバス１６０２を構成するワイヤを含む光ファイバが含まれる。伝送媒体は、電波および赤外線データ通信中に生成される音響波または光波の形態をとることもできる。

【0328】

プロセッサ可読媒体の一般的な形式は、例えば、ハードディスク、磁気媒体、ＣＤ－ＲＯＭ、その他の光学媒体、ＲＡＭ、ＰＲＯＭ、およびＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、その他のメモリチップまたはカートリッジ、以下に記載される搬送波、またはプロセッサが読み取ることが出来る他の媒体を含むことができる。

【0329】

プロセッサ可読媒体の様々な形態は、実行するために１つ以上の命令の１つ以上のシーケンスをプロセッサ１６０４に運ぶことに関与させることができる。例えば、命令は最初にリモートコンピュータまたはリモートデバイスの格納デバイスに保存させることができる。リモートコンピュータまたはデバイスは、インターネットの様なネットワークを介して命令を送信することができる。処理システム１６００にローカルに存在する受信ユニットは、ネットワークからデータを受信し、そしてバス１６０２上にデータを提供することができる。バス１６０２は、データをメインメモリ１６０６に運び、そこからプロセッサ１６０４が命令を取り出しそして実行する。メインメモリ１６０６によって受信された命令は、オプションとして、プロセッサ１６０４による実行の前または後の何れかに格納デバイス１６１０に格納させることができる。

【0330】

処理システム１６００は、バス１６０２に結合された通信インターフェース１６１８も含む。通信インターフェース１６１８は、ローカルネットワーク１６２２に接続されたネットワークリンク１６２０に結合されている双方向データ通信を提供する。インターフェース１６１８は、データ通信を提供する統合サービスデジタルネットワーク（ＩＳＤＮ）カードとすることができる。別の例として、通信インターフェース１６１８は、互換性のあるＬＡＮへのデータ通信接続を提供するローカルエリアネットワーク（ＬＡＮ）カードとすることができる。無線リンクも実装することができる。このような実装形態では、通信インターフェース１６１８は、様々な種類の情報を表すデータストリームを搬送する電気信号、電磁信号、または光信号を送受信する。

【0331】

ネットワークリンク１６２０は、通常、１つまたは複数のネットワークを介して他のデバイスにデータ通信を提供する。例えば、ネットワークリンク１６２０は、ローカルネットワーク１６２２を介してホストコンピュータ１６２４または機器１６２６への接続を提供することができる。ネットワークリンク１６２０を介して転送されるデータストリームは、電気信号、電磁信号、または光信号を含むことができる。処理システム１６００との間でデータを搬送する様々なネットワークを介する信号、ネットワークリンク１６２０および通信インターフェース１６１８を介する信号は、情報を搬送する搬送波の例示的な形態である。処理システム１６００は、ネットワーク、ネットワークリンク１６２０、および通信インターフェース１６１８を介して、メッセージを送信し、そしてプログラムコードを含むデータを受信することができる。

【0332】

本明細書で使用される「画像」という用語は、表示される画像に限定されず、そして表示される画像または表示されない画像（例：保存されるデータまたはデジタル形式の画像）を指すことができる。同様に、本明細書で使用される「グラフィック要素」という用語、または「グラフィック識別子」の様な他の同様の用語は、表示されるアイテムまたは表示されないアイテムを指すことができる。このアイテムは、計算要素、グラフィック要素／識別子を表す方程式、グラフィック要素／識別子に関連付けられた１つまたは複数の幾何学的パラメータとすることができる。

【0333】

更に、本明細書で使用される「モデル」という用語は、1つまたは複数のアルゴリズム、1つまたは複数の方程式、1つまたは複数の処理アプリケーション、1つまたは複数の変数、1つまたは複数の基準、1つまたは複数のパラメータ、または上記の２つ以上の任意の組み合わせを指すことができる。

【0334】

更に、本明細書で使用されるように、「運転者が運転タスクに従事しているか否かを決定する」という表現、または他の同様の表現は、必ずしも、（１）「運転者が運転タスクに従事している」および（２）「運転者が運転タスクに従事していない」の両方の決定結果が発生し得ることを必要としない。むしろ、このようなフレーズおよび同様のフェーズは、（１）「運転者が運転タスクに従事している」、または（２）「運転者が運転タスクに従事していない」、または（３）「運転者が運転タスクに従事している」および「運転者が運転タスクに従事していない」の両方、の決定結果が発生し得ることをカバーすることを意図している。例えば、上記のフレーズまたは他の同様のフレーズは、処理ユニットが、（１）運転者が運転タスクに従事していること、または（２）運転者が運転タスクに従事しているか否かが不明であることを、（フレーズの最初の部分で決定結果（１）が言及されているので)２つの可能な処理結果として決定する、ように構成されている実施形態をカバーする。別の例として、上記の語句または他の同様の語句は、処理ユニットが、（１）運転者が運転タスクに従事していないこと、または（２）運転者が運転タスクに従事しているか否かが不明であることを、（フレーズの後半で決定結果（２）について言及しているので）２つの可能な処理結果として決定する、ように構成されている実施形態をカバーする。

【0335】

また、本明細書で使用される「信号」という用語は、１つまたは複数の信号を指すことができる。非限定的な例として、信号は、１つ以上のデータ、１つ以上の情報、１つ以上の信号値、１つ以上の離散値等を含むことができる。

【0336】

特定の特徴を図示しそして説明してきたが、これらが特許請求の範囲に記載された発明を限定することを意図したものではないことは、理解され、そして請求された発明の精神と範囲から逸脱することなく様々な変更および修正を行うことができることは、当業者には明らかであろう。従って、明細書および図面は、限定的な意味ではなく、例示的な意味としてみなされるべきである。特許請求の範囲に記載された発明は、全ての代替物、修正物、および等価物をカバーすることが意図されている。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15A】

【図15B】

【図15C】

【図15D】

【図15E】

【図16】

【図17】

【図18】

【図19A】

【図19B】

【図19C】

【図20】

【図21】

【図22A】

【図22B】

【図23】

【図24】

【国際調査報告】